diff --git a/.gitattributes b/.gitattributes index a6344aac8c09253b3b630fb776ae94478aa0275b..29af5f0107a4a9080bd91d5a26734027b5b1748d 100644 --- a/.gitattributes +++ b/.gitattributes @@ -33,3 +33,11 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text *.zip filter=lfs diff=lfs merge=lfs -text *.zst filter=lfs diff=lfs merge=lfs -text *tfevents* filter=lfs diff=lfs merge=lfs -text +llmtf_eval/daru_treewayabstractive.jsonl filter=lfs diff=lfs merge=lfs -text +llmtf_eval/daru_treewayextractive.jsonl filter=lfs diff=lfs merge=lfs -text +llmtf_eval/darumeru_MultiQ.jsonl filter=lfs diff=lfs merge=lfs -text +llmtf_eval/darumeru_USE.jsonl filter=lfs diff=lfs merge=lfs -text +llmtf_eval/darumeru_ruMMLU.jsonl filter=lfs diff=lfs merge=lfs -text +llmtf_eval/nlpcoreteam_enMMLU.jsonl filter=lfs diff=lfs merge=lfs -text +llmtf_eval/nlpcoreteam_ruMMLU.jsonl filter=lfs diff=lfs merge=lfs -text +llmtf_eval/russiannlp_rucola_custom.jsonl filter=lfs diff=lfs merge=lfs -text diff --git a/README.md b/README.md new file mode 100644 index 0000000000000000000000000000000000000000..28290a0e139c3ebb2b2ec9371dba8ea369147e26 --- /dev/null +++ b/README.md @@ -0,0 +1,74 @@ +--- +base_model: RefalMachine/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_mean_init_03_07_24 +tags: +- generated_from_trainer +metrics: +- accuracy +model-index: +- name: mistral_extended_darulm_20_05_24_part1-2_32000_bpe_part1_lr2e5_bs256 + results: [] +--- + + + +# mistral_extended_darulm_20_05_24_part1-2_32000_bpe_part1_lr2e5_bs256 + +This model is a fine-tuned version of [RefalMachine/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_mean_init_03_07_24](https://huggingface.co/RefalMachine/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_mean_init_03_07_24) on an unknown dataset. +It achieves the following results on the evaluation set: +- Loss: 2.2338 +- Accuracy: 0.5418 + +## Model description + +More information needed + +## Intended uses & limitations + +More information needed + +## Training and evaluation data + +More information needed + +## Training procedure + +### Training hyperparameters + +The following hyperparameters were used during training: +- learning_rate: 2e-05 +- train_batch_size: 4 +- eval_batch_size: 4 +- seed: 42 +- distributed_type: multi-GPU +- num_devices: 32 +- total_train_batch_size: 128 +- total_eval_batch_size: 128 +- optimizer: Adam with betas=(0.9,0.95) and epsilon=1e-05 +- lr_scheduler_type: cosine +- lr_scheduler_warmup_steps: 100 +- num_epochs: 1.0 + +### Training results + +| Training Loss | Epoch | Step | Validation Loss | Accuracy | +|:-------------:|:-----:|:-----:|:---------------:|:--------:| +| 2.6021 | 0.09 | 2000 | 2.3285 | 0.5305 | +| 2.5355 | 0.18 | 4000 | 2.2744 | 0.5365 | +| 2.5063 | 0.27 | 6000 | 2.2538 | 0.5391 | +| 2.4939 | 0.36 | 8000 | 2.2441 | 0.5402 | +| 2.463 | 0.45 | 10000 | 2.2385 | 0.5410 | +| 2.4559 | 0.54 | 12000 | 2.2359 | 0.5414 | +| 2.5186 | 0.63 | 14000 | 2.2347 | 0.5415 | +| 2.4755 | 0.73 | 16000 | 2.2340 | 0.5416 | +| 2.4813 | 0.82 | 18000 | 2.2338 | 0.5417 | +| 2.4797 | 0.91 | 20000 | 2.2338 | 0.5418 | +| 2.4525 | 1.0 | 22000 | 2.2338 | 0.5418 | + + +### Framework versions + +- Transformers 4.37.2 +- Pytorch 2.3.0a0+6ddf5cf85e.nv24.04 +- Datasets 2.18.0 +- Tokenizers 0.15.2 diff --git a/all_results.json b/all_results.json new file mode 100644 index 0000000000000000000000000000000000000000..64576e31f6c3c0f42228834e02f92f77140d7799 --- /dev/null +++ b/all_results.json @@ -0,0 +1,15 @@ +{ + "epoch": 1.0, + "eval_accuracy": 0.541759001631102, + "eval_loss": 2.233785390853882, + "eval_runtime": 8.8105, + "eval_samples": 1367, + "eval_samples_per_second": 155.155, + "eval_steps_per_second": 1.249, + "perplexity": 9.335136421381748, + "train_loss": 2.52519507538886, + "train_runtime": 21683.5632, + "train_samples": 2824235, + "train_samples_per_second": 130.248, + "train_steps_per_second": 1.018 +} \ No newline at end of file diff --git a/checkpoint-10000/config.json b/checkpoint-10000/config.json new file mode 100644 index 0000000000000000000000000000000000000000..dd89ae776fae9251e8e17d6f521eec4cac48b559 --- /dev/null +++ b/checkpoint-10000/config.json @@ -0,0 +1,26 @@ +{ + "_name_or_path": "RefalMachine/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_mean_init_03_07_24", + "architectures": [ + "MistralForCausalLM" + ], + "attention_dropout": 0.0, + "bos_token_id": 1, + "eos_token_id": 2, + "hidden_act": "silu", + "hidden_size": 4096, + "initializer_range": 0.02, + "intermediate_size": 14336, + "max_position_embeddings": 32768, + "model_type": "mistral", + "num_attention_heads": 32, + "num_hidden_layers": 32, + "num_key_value_heads": 8, + "rms_norm_eps": 1e-05, + "rope_theta": 10000.0, + "sliding_window": 4096, + "tie_word_embeddings": false, + "torch_dtype": "bfloat16", + "transformers_version": "4.37.2", + "use_cache": true, + "vocab_size": 55329 +} diff --git a/checkpoint-10000/generation_config.json b/checkpoint-10000/generation_config.json new file mode 100644 index 0000000000000000000000000000000000000000..69b7806611a4865cd48c3e991dbd7d8312e0c5d3 --- /dev/null +++ b/checkpoint-10000/generation_config.json @@ -0,0 +1,6 @@ +{ + "_from_model_config": true, + "bos_token_id": 1, + "eos_token_id": 2, + "transformers_version": "4.37.2" +} diff --git a/checkpoint-10000/model-00001-of-00004.safetensors b/checkpoint-10000/model-00001-of-00004.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..0c55c630fd88145cda0f69ae832ff394d3005e79 --- /dev/null +++ b/checkpoint-10000/model-00001-of-00004.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:d8890386736002ef7003c453374da92f1f091566ed4b04145e983b48b5ae40ad +size 4899392256 diff --git a/checkpoint-10000/model-00002-of-00004.safetensors b/checkpoint-10000/model-00002-of-00004.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..76d7978efb90d266fda5d12049d76dcfaf157faf --- /dev/null +++ b/checkpoint-10000/model-00002-of-00004.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:322b3610f2907b12b178a329ce2e57a6c136f5a434cbdd3b19a8e8811aefac96 +size 4915916184 diff --git a/checkpoint-10000/model-00003-of-00004.safetensors b/checkpoint-10000/model-00003-of-00004.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..eabe9cb81d8e76f0e357d59e902e6f30b37aa8d7 --- /dev/null +++ b/checkpoint-10000/model-00003-of-00004.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:dd6eeda49cd19fe02f9272ba0fa246d028400625bf468bca3c3a0954184845a8 +size 4597156656 diff --git a/checkpoint-10000/model-00004-of-00004.safetensors b/checkpoint-10000/model-00004-of-00004.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..1181e3ca325ac0a2160e46e90d630d3310883f23 --- /dev/null +++ b/checkpoint-10000/model-00004-of-00004.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:e9dff056f76325d885f203a0b375d5b959ca4bc879893313af9a447a205ca869 +size 453255296 diff --git a/checkpoint-10000/model.safetensors.index.json b/checkpoint-10000/model.safetensors.index.json new file mode 100644 index 0000000000000000000000000000000000000000..17d44b033b8f228dfa9606b8610839369e6f3a75 --- /dev/null +++ b/checkpoint-10000/model.safetensors.index.json @@ -0,0 +1,298 @@ +{ + "metadata": { + "total_size": 14865686528 + }, + "weight_map": { + "lm_head.weight": "model-00004-of-00004.safetensors", + "model.embed_tokens.weight": "model-00001-of-00004.safetensors", + "model.layers.0.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.0.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.0.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.1.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.1.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.10.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.10.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.10.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.10.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.10.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.10.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.10.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.10.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.10.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.11.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.11.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.11.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.12.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.12.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.13.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.13.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.14.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.14.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.15.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.15.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.16.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.16.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.17.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.17.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.18.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.18.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.19.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.19.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.2.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.2.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.2.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.20.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.20.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.20.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.21.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.21.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.21.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.21.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.21.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.21.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.21.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.21.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.21.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.22.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.22.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.22.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.23.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.23.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.24.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.24.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.25.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.25.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.26.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.26.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.27.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.27.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.28.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.28.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.29.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.29.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.3.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.3.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.3.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.30.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.30.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.30.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.31.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.31.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.4.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.4.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.4.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.5.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.5.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.6.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.6.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.7.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.7.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.8.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.8.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.9.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.9.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.norm.weight": "model-00003-of-00004.safetensors" + } +} diff --git a/checkpoint-10000/optimizer.pt b/checkpoint-10000/optimizer.pt new file mode 100644 index 0000000000000000000000000000000000000000..6452d7170d353b926a8419d5a388f25327972492 --- /dev/null +++ b/checkpoint-10000/optimizer.pt @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:fac9b1058d5de4c38587d6c59c12a2c36bfed2ab40c33ff7e990d3614406601c +size 1813023580 diff --git a/checkpoint-10000/rng_state_0.pth b/checkpoint-10000/rng_state_0.pth new file mode 100644 index 0000000000000000000000000000000000000000..572d9bd86f4559e91e7b9a4fdc47494e5c6e9568 --- /dev/null +++ b/checkpoint-10000/rng_state_0.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:a7d7e02ffb4d440dce7ab4ce0b5617578ec9ce3672acee7434ed6f1153f1ae0c +size 15984 diff --git a/checkpoint-10000/rng_state_1.pth b/checkpoint-10000/rng_state_1.pth new file mode 100644 index 0000000000000000000000000000000000000000..0d21df4c1d8717a3994f151fbc05460a0172725e --- /dev/null +++ b/checkpoint-10000/rng_state_1.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:c5b40ca759e432b2688f021b81291d74a40f56a205e9842119f7e772275eebd3 +size 15984 diff --git a/checkpoint-10000/rng_state_10.pth b/checkpoint-10000/rng_state_10.pth new file mode 100644 index 0000000000000000000000000000000000000000..d66e24311a91ca2715929f1017c5ff08e3e3165d --- /dev/null +++ b/checkpoint-10000/rng_state_10.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:d77ef8825b0e27c584c2d3eaeebfd82ebe38732eae91ff9f69c9a874632730c8 +size 15997 diff --git a/checkpoint-10000/rng_state_11.pth b/checkpoint-10000/rng_state_11.pth new file mode 100644 index 0000000000000000000000000000000000000000..4b994000c04684fcc6a1e13797f3b8a7928afa54 --- /dev/null +++ b/checkpoint-10000/rng_state_11.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:32f9f9d83cb982f1d825d89bde80de05cf37ecaa787ad08de64e0c8df94e6115 +size 15997 diff --git a/checkpoint-10000/rng_state_12.pth b/checkpoint-10000/rng_state_12.pth new file mode 100644 index 0000000000000000000000000000000000000000..535516ce99205d44f6c48320fd50f0161c168871 --- /dev/null +++ b/checkpoint-10000/rng_state_12.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:77270e25477a4a35eaceb98ecff060e192a6357bdc322e5d19aa92ecacd4e7e3 +size 15997 diff --git a/checkpoint-10000/rng_state_13.pth b/checkpoint-10000/rng_state_13.pth new file mode 100644 index 0000000000000000000000000000000000000000..40905e997cf4f78a8b0556e0f97f023c2ae72204 --- /dev/null +++ b/checkpoint-10000/rng_state_13.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:b9eab08108477ca9ce657269520a7cfc34510e7812e8499eb4c1a918805c8fb0 +size 15997 diff --git a/checkpoint-10000/rng_state_14.pth b/checkpoint-10000/rng_state_14.pth new file mode 100644 index 0000000000000000000000000000000000000000..64172aa00b83332c0f767397d06dc3a2fb19bc61 --- /dev/null +++ b/checkpoint-10000/rng_state_14.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:162d71274c75bc8f1dcbf21836ecdbc2a8c2756b4971b76847083de39d3d4098 +size 15997 diff --git a/checkpoint-10000/rng_state_15.pth b/checkpoint-10000/rng_state_15.pth new file mode 100644 index 0000000000000000000000000000000000000000..91e8fa11770821bceadcdda8cc15358648e0aaf7 --- /dev/null +++ b/checkpoint-10000/rng_state_15.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:8517010852772c3221be3f5fe18254baa1d12a58a99ef4cabc7765112ce8a7ea +size 15997 diff --git a/checkpoint-10000/rng_state_16.pth b/checkpoint-10000/rng_state_16.pth new file mode 100644 index 0000000000000000000000000000000000000000..7b221c954f1ab11059d55cabdc26bf3900623d2a --- /dev/null +++ b/checkpoint-10000/rng_state_16.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:a250ed254795e4e4504b506d04db82f380f4eb2e6595f5b4db26d5287d9f19f9 +size 15997 diff --git a/checkpoint-10000/rng_state_17.pth b/checkpoint-10000/rng_state_17.pth new file mode 100644 index 0000000000000000000000000000000000000000..b584e169f0d756ec4a9babaa069c8d05fe241d6e --- /dev/null +++ b/checkpoint-10000/rng_state_17.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:f82da447eda9d13563c872f9f02082326c2609222589e499952428deddddc0c0 +size 15997 diff --git a/checkpoint-10000/rng_state_18.pth b/checkpoint-10000/rng_state_18.pth new file mode 100644 index 0000000000000000000000000000000000000000..6df255e86fc45741524bb30ea15117dc5f33d1c8 --- /dev/null +++ b/checkpoint-10000/rng_state_18.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:670bb76c1a617a793d411f1fd5e637820bb73461acecb7079b46e77656742b23 +size 15997 diff --git a/checkpoint-10000/rng_state_19.pth b/checkpoint-10000/rng_state_19.pth new file mode 100644 index 0000000000000000000000000000000000000000..70da428b775d7a80e095c39566196b8e3b63998d --- /dev/null +++ b/checkpoint-10000/rng_state_19.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:61abdae5bf60c67d4ab6dd90c24302ecc2653679c87490e05e124cef29d067c8 +size 15997 diff --git a/checkpoint-10000/rng_state_2.pth b/checkpoint-10000/rng_state_2.pth new file mode 100644 index 0000000000000000000000000000000000000000..6048bfa1e35e3b563aec9f5c1c6788496c3f068d --- /dev/null +++ b/checkpoint-10000/rng_state_2.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:cdaef955ddd36d6bc1c40584113dd6205483e2aa85b02439b8b27e82e02a8359 +size 15984 diff --git a/checkpoint-10000/rng_state_20.pth b/checkpoint-10000/rng_state_20.pth new file mode 100644 index 0000000000000000000000000000000000000000..7e955219c5d490e9051d357f78e10b743f99379d --- /dev/null +++ b/checkpoint-10000/rng_state_20.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:208f88af7af8cd9bdf60807bf690c18250c657a04e5f149e2cc3c9d6bbde6b6a +size 15997 diff --git a/checkpoint-10000/rng_state_21.pth b/checkpoint-10000/rng_state_21.pth new file mode 100644 index 0000000000000000000000000000000000000000..62dc9fe4e39d70cbf1f389178c05c92f741bc184 --- /dev/null +++ b/checkpoint-10000/rng_state_21.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:b9c7f278df9fa37cd3734cd0a888b2abf03557f030bd4fcb8fb7f8839333ba29 +size 15997 diff --git a/checkpoint-10000/rng_state_22.pth b/checkpoint-10000/rng_state_22.pth new file mode 100644 index 0000000000000000000000000000000000000000..9c10de61dc881021f6821f5dd6d383e1914f459a --- /dev/null +++ b/checkpoint-10000/rng_state_22.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:5664286b7500e3455c4e3c2484e1c9a1d4249e8dd4f5659baf6fcbd6c7e4eaca +size 15997 diff --git a/checkpoint-10000/rng_state_23.pth b/checkpoint-10000/rng_state_23.pth new file mode 100644 index 0000000000000000000000000000000000000000..6b5e0b520e82259ce04b685f3f8ffc9389268547 --- /dev/null +++ b/checkpoint-10000/rng_state_23.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:6b5f3473cece9689d4b60980dbfadb31d214c80d2ffe2c6600d4cdba8d3f211e +size 15997 diff --git a/checkpoint-10000/rng_state_24.pth b/checkpoint-10000/rng_state_24.pth new file mode 100644 index 0000000000000000000000000000000000000000..375d32def3fa87482b946e1945df6e2e267eb920 --- /dev/null +++ b/checkpoint-10000/rng_state_24.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:11f0c24c9ee5222490187668cc08d631e1ee07a6b63b8338900bce68f73738bc +size 15997 diff --git a/checkpoint-10000/rng_state_25.pth b/checkpoint-10000/rng_state_25.pth new file mode 100644 index 0000000000000000000000000000000000000000..6e5764d0b8637a8fc46b0ca7feb9d99526d5895b --- /dev/null +++ b/checkpoint-10000/rng_state_25.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:6ab3f5c8d599ac596e106554a773afb645c00fde628d961a321177c4bdfcf3f6 +size 15997 diff --git a/checkpoint-10000/rng_state_26.pth b/checkpoint-10000/rng_state_26.pth new file mode 100644 index 0000000000000000000000000000000000000000..b5895937e68933fb08070a8267d20b5c2dd36798 --- /dev/null +++ b/checkpoint-10000/rng_state_26.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:d68e0abe3b89ecf1a271ba7ae74389c841a70bd0ec78bb2e58367110f6c331ff +size 15997 diff --git a/checkpoint-10000/rng_state_27.pth b/checkpoint-10000/rng_state_27.pth new file mode 100644 index 0000000000000000000000000000000000000000..d99d00b2f45073bcefa549ee181efcdbe22a0fb7 --- /dev/null +++ b/checkpoint-10000/rng_state_27.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:ac0aa38ec6826eb2657378429c2c869402118c5d7861bc4e7e6fcda83ba33424 +size 15997 diff --git a/checkpoint-10000/rng_state_28.pth b/checkpoint-10000/rng_state_28.pth new file mode 100644 index 0000000000000000000000000000000000000000..f23a568f07f1917455d9687451ddf6eaa02d34fc --- /dev/null +++ b/checkpoint-10000/rng_state_28.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:1887f9cde8811d5e3dd9b40238c012638cb63058f2819a957829b8396d8877bd +size 15997 diff --git a/checkpoint-10000/rng_state_29.pth b/checkpoint-10000/rng_state_29.pth new file mode 100644 index 0000000000000000000000000000000000000000..970c71db6fa9bcd3dd6c0402c3db2f12d7fdfc2a --- /dev/null +++ b/checkpoint-10000/rng_state_29.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:55fe904e256fc348cda96846bb29f74c60d8afccc953b0178119c1e1fece2d55 +size 15997 diff --git a/checkpoint-10000/rng_state_3.pth b/checkpoint-10000/rng_state_3.pth new file mode 100644 index 0000000000000000000000000000000000000000..3722ed81a034ae380c794d8b45b0464c00099aa6 --- /dev/null +++ b/checkpoint-10000/rng_state_3.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:10b14ae5db356e6512538751d6b386c190754e307cc99cd652d5c6dd891e1f82 +size 15984 diff --git a/checkpoint-10000/rng_state_30.pth b/checkpoint-10000/rng_state_30.pth new file mode 100644 index 0000000000000000000000000000000000000000..037df7faae92e806512e2651007a50f679eab8eb --- /dev/null +++ b/checkpoint-10000/rng_state_30.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:7d175386cc8bbe8aa48992fbfa5e6a66cb5c42b37a0de5f55a2f75c48f905455 +size 15997 diff --git a/checkpoint-10000/rng_state_31.pth b/checkpoint-10000/rng_state_31.pth new file mode 100644 index 0000000000000000000000000000000000000000..a6fb7b88f2ae47f55641c1f417c37840de726fab --- /dev/null +++ b/checkpoint-10000/rng_state_31.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:09c698121ff56cee70b59047dd5a4ca22dff6309e792bd80877a57dd2ae21c4d +size 15997 diff --git a/checkpoint-10000/rng_state_4.pth b/checkpoint-10000/rng_state_4.pth new file mode 100644 index 0000000000000000000000000000000000000000..13231ff967baa9c056d5a7ec0cc489a62679039c --- /dev/null +++ b/checkpoint-10000/rng_state_4.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:f26e28be26826eeeed244b77185c67b443ac185175f8d4bf5ba94caa8b271bc5 +size 15984 diff --git a/checkpoint-10000/rng_state_5.pth b/checkpoint-10000/rng_state_5.pth new file mode 100644 index 0000000000000000000000000000000000000000..f3401deecf687fd1382dae699b8d2e1a52949a4a --- /dev/null +++ b/checkpoint-10000/rng_state_5.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:847cedc1d6ca26f299a132c2ade9754887374acb9d98f26594a85d4c7742d474 +size 15984 diff --git a/checkpoint-10000/rng_state_6.pth b/checkpoint-10000/rng_state_6.pth new file mode 100644 index 0000000000000000000000000000000000000000..90ab10b8ff32ba08d69bdf75cb904d226b3d9008 --- /dev/null +++ b/checkpoint-10000/rng_state_6.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:bcd043d1690ae0ff6991b03322799a0b28f021427b15fd9f1e5ed8b9905d9307 +size 15984 diff --git a/checkpoint-10000/rng_state_7.pth b/checkpoint-10000/rng_state_7.pth new file mode 100644 index 0000000000000000000000000000000000000000..3c6fb5670c4f108f08c81f04f22272cdd57b7745 --- /dev/null +++ b/checkpoint-10000/rng_state_7.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:772190f7e6667c865d25fc72da7bdd1b5d39f46fe03bb5c2d754aee1ad3c99c7 +size 15984 diff --git a/checkpoint-10000/rng_state_8.pth b/checkpoint-10000/rng_state_8.pth new file mode 100644 index 0000000000000000000000000000000000000000..67608e8de4c9989d4ef49d3e429f01867a68eea3 --- /dev/null +++ b/checkpoint-10000/rng_state_8.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:6632cfcdbb30b4b8f6c2437ffa4a4f76a2a7c729fefd331ecb675d2f63f96bf5 +size 15984 diff --git a/checkpoint-10000/rng_state_9.pth b/checkpoint-10000/rng_state_9.pth new file mode 100644 index 0000000000000000000000000000000000000000..08d38d8e06752aa1a380460a34ead02d5bd36e01 --- /dev/null +++ b/checkpoint-10000/rng_state_9.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:4e6c87b73b3f0787cc3976a6cbd289ee87123c4cb74f388630459c010fa9fbeb +size 15984 diff --git a/checkpoint-10000/scheduler.pt b/checkpoint-10000/scheduler.pt new file mode 100644 index 0000000000000000000000000000000000000000..a667df2ded3f4451c68109b9d19b12567adc00c6 --- /dev/null +++ b/checkpoint-10000/scheduler.pt @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:04642644a95e9c41e7fa23bc5200bc679c5342228c54a3a0e0b04d598f94a7c7 +size 1064 diff --git a/checkpoint-10000/special_tokens_map.json b/checkpoint-10000/special_tokens_map.json new file mode 100644 index 0000000000000000000000000000000000000000..451134b2ddc2e78555d1e857518c54b4bdc2e87d --- /dev/null +++ b/checkpoint-10000/special_tokens_map.json @@ -0,0 +1,23 @@ +{ + "bos_token": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false + }, + "eos_token": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false + }, + "unk_token": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false + } +} diff --git a/checkpoint-10000/tokenizer.json b/checkpoint-10000/tokenizer.json new file mode 100644 index 0000000000000000000000000000000000000000..d67a3c1e77b4b0b203b73618cf801758ad026268 --- /dev/null +++ b/checkpoint-10000/tokenizer.json @@ -0,0 +1,158022 @@ +{ + "version": "1.0", + "truncation": null, + "padding": null, + "added_tokens": [ + { + "id": 0, + "content": "", + "single_word": false, + "lstrip": false, + "rstrip": false, + "normalized": false, + "special": true + }, + { + "id": 1, + "content": "", + "single_word": false, + "lstrip": false, + "rstrip": false, + "normalized": false, + "special": true + }, + { + "id": 2, + "content": "", + "single_word": false, + "lstrip": false, + "rstrip": false, + "normalized": false, + "special": true + } + ], + "normalizer": { + "type": "Sequence", + "normalizers": [ + { + "type": "Prepend", + "prepend": "▁" + }, + { + "type": "Replace", + "pattern": { + "String": " " + }, + "content": "▁" + } + ] + }, + "pre_tokenizer": null, + "post_processor": { + "type": "TemplateProcessing", + "single": [ + { + "SpecialToken": { + "id": "", + "type_id": 0 + } + }, + { + "Sequence": { + "id": "A", + "type_id": 0 + } + } + ], + "pair": [ + { + "SpecialToken": { + "id": "", + "type_id": 0 + } + }, + { + "Sequence": { + "id": "A", + "type_id": 0 + } + }, + { + "SpecialToken": { + "id": "", + "type_id": 1 + } + }, + { + "Sequence": { + "id": "B", + "type_id": 1 + } + } + ], + "special_tokens": { + "": { + "id": "", + "ids": [ + 1 + ], + "tokens": [ + "" + ] + } + } + }, + "decoder": { + "type": "Sequence", + "decoders": [ + { + "type": "Replace", + "pattern": { + "String": "▁" + }, + "content": " " + }, + { + "type": "ByteFallback" + }, + { + "type": "Fuse" + }, + { + "type": "Strip", + "content": " ", + "start": 1, + "stop": 0 + } + ] + }, + "model": { + "type": "BPE", + "dropout": null, + "unk_token": "", + "continuing_subword_prefix": null, + "end_of_word_suffix": null, + "fuse_unk": true, + "byte_fallback": true, + "vocab": { + "": 0, + "": 1, + "": 2, + "<0x00>": 3, + "<0x01>": 4, + "<0x02>": 5, + "<0x03>": 6, + "<0x04>": 7, + "<0x05>": 8, + "<0x06>": 9, + "<0x07>": 10, + "<0x08>": 11, + "<0x09>": 12, + "<0x0A>": 13, + "<0x0B>": 14, + "<0x0C>": 15, + "<0x0D>": 16, + "<0x0E>": 17, + "<0x0F>": 18, + "<0x10>": 19, + "<0x11>": 20, + "<0x12>": 21, + "<0x13>": 22, + "<0x14>": 23, + "<0x15>": 24, + "<0x16>": 25, + "<0x17>": 26, + "<0x18>": 27, + "<0x19>": 28, + "<0x1A>": 29, + "<0x1B>": 30, + "<0x1C>": 31, + "<0x1D>": 32, + "<0x1E>": 33, + "<0x1F>": 34, + "<0x20>": 35, + "<0x21>": 36, + "<0x22>": 37, + "<0x23>": 38, + "<0x24>": 39, + "<0x25>": 40, + "<0x26>": 41, + "<0x27>": 42, + "<0x28>": 43, + "<0x29>": 44, + "<0x2A>": 45, + "<0x2B>": 46, + "<0x2C>": 47, + "<0x2D>": 48, + "<0x2E>": 49, + "<0x2F>": 50, + "<0x30>": 51, + "<0x31>": 52, + "<0x32>": 53, + "<0x33>": 54, + "<0x34>": 55, + "<0x35>": 56, + "<0x36>": 57, + "<0x37>": 58, + "<0x38>": 59, + "<0x39>": 60, + "<0x3A>": 61, + "<0x3B>": 62, + "<0x3C>": 63, + "<0x3D>": 64, + "<0x3E>": 65, + "<0x3F>": 66, + "<0x40>": 67, + "<0x41>": 68, + "<0x42>": 69, + "<0x43>": 70, + "<0x44>": 71, + "<0x45>": 72, + "<0x46>": 73, + "<0x47>": 74, + "<0x48>": 75, + "<0x49>": 76, + "<0x4A>": 77, + "<0x4B>": 78, + "<0x4C>": 79, + "<0x4D>": 80, + "<0x4E>": 81, + "<0x4F>": 82, + "<0x50>": 83, + "<0x51>": 84, + "<0x52>": 85, + "<0x53>": 86, + "<0x54>": 87, + "<0x55>": 88, + "<0x56>": 89, + "<0x57>": 90, + "<0x58>": 91, + "<0x59>": 92, + "<0x5A>": 93, + "<0x5B>": 94, + "<0x5C>": 95, + "<0x5D>": 96, + "<0x5E>": 97, + "<0x5F>": 98, + "<0x60>": 99, + "<0x61>": 100, + "<0x62>": 101, + "<0x63>": 102, + "<0x64>": 103, + "<0x65>": 104, + "<0x66>": 105, + "<0x67>": 106, + "<0x68>": 107, + "<0x69>": 108, + "<0x6A>": 109, + "<0x6B>": 110, + "<0x6C>": 111, + "<0x6D>": 112, + "<0x6E>": 113, + "<0x6F>": 114, + "<0x70>": 115, + "<0x71>": 116, + "<0x72>": 117, + "<0x73>": 118, + "<0x74>": 119, + "<0x75>": 120, + "<0x76>": 121, + "<0x77>": 122, + "<0x78>": 123, + "<0x79>": 124, + "<0x7A>": 125, + "<0x7B>": 126, + "<0x7C>": 127, + "<0x7D>": 128, + "<0x7E>": 129, + "<0x7F>": 130, + "<0x80>": 131, + "<0x81>": 132, + "<0x82>": 133, + "<0x83>": 134, + "<0x84>": 135, + "<0x85>": 136, + "<0x86>": 137, + "<0x87>": 138, + "<0x88>": 139, + "<0x89>": 140, + "<0x8A>": 141, + "<0x8B>": 142, + "<0x8C>": 143, + "<0x8D>": 144, + "<0x8E>": 145, + "<0x8F>": 146, + "<0x90>": 147, + "<0x91>": 148, + "<0x92>": 149, + "<0x93>": 150, + "<0x94>": 151, + "<0x95>": 152, + "<0x96>": 153, + "<0x97>": 154, + "<0x98>": 155, + "<0x99>": 156, + "<0x9A>": 157, + "<0x9B>": 158, + "<0x9C>": 159, + "<0x9D>": 160, + "<0x9E>": 161, + "<0x9F>": 162, + "<0xA0>": 163, + "<0xA1>": 164, + "<0xA2>": 165, + "<0xA3>": 166, + "<0xA4>": 167, + "<0xA5>": 168, + "<0xA6>": 169, + "<0xA7>": 170, + "<0xA8>": 171, + "<0xA9>": 172, + "<0xAA>": 173, + "<0xAB>": 174, + "<0xAC>": 175, + "<0xAD>": 176, + "<0xAE>": 177, + "<0xAF>": 178, + "<0xB0>": 179, + "<0xB1>": 180, + "<0xB2>": 181, + "<0xB3>": 182, + "<0xB4>": 183, + "<0xB5>": 184, + "<0xB6>": 185, + "<0xB7>": 186, + "<0xB8>": 187, + "<0xB9>": 188, + "<0xBA>": 189, + "<0xBB>": 190, + "<0xBC>": 191, + "<0xBD>": 192, + "<0xBE>": 193, + "<0xBF>": 194, + "<0xC0>": 195, + "<0xC1>": 196, + "<0xC2>": 197, + "<0xC3>": 198, + "<0xC4>": 199, + "<0xC5>": 200, + "<0xC6>": 201, + "<0xC7>": 202, + "<0xC8>": 203, + "<0xC9>": 204, + "<0xCA>": 205, + "<0xCB>": 206, + "<0xCC>": 207, + "<0xCD>": 208, + "<0xCE>": 209, + "<0xCF>": 210, + "<0xD0>": 211, + "<0xD1>": 212, + "<0xD2>": 213, + "<0xD3>": 214, + "<0xD4>": 215, + "<0xD5>": 216, + "<0xD6>": 217, + "<0xD7>": 218, + "<0xD8>": 219, + "<0xD9>": 220, + "<0xDA>": 221, + "<0xDB>": 222, + "<0xDC>": 223, + "<0xDD>": 224, + "<0xDE>": 225, + "<0xDF>": 226, + "<0xE0>": 227, + "<0xE1>": 228, + "<0xE2>": 229, + "<0xE3>": 230, + "<0xE4>": 231, + "<0xE5>": 232, + "<0xE6>": 233, + "<0xE7>": 234, + "<0xE8>": 235, + "<0xE9>": 236, + "<0xEA>": 237, + "<0xEB>": 238, + "<0xEC>": 239, + "<0xED>": 240, + "<0xEE>": 241, + "<0xEF>": 242, + "<0xF0>": 243, + "<0xF1>": 244, + "<0xF2>": 245, + "<0xF3>": 246, + "<0xF4>": 247, + "<0xF5>": 248, + "<0xF6>": 249, + "<0xF7>": 250, + "<0xF8>": 251, + "<0xF9>": 252, + "<0xFA>": 253, + "<0xFB>": 254, + "<0xFC>": 255, + "<0xFD>": 256, + "<0xFE>": 257, + "<0xFF>": 258, + "▁▁": 259, + "▁▁▁▁": 260, + "▁t": 261, + "in": 262, + "er": 263, + "▁a": 264, + "he": 265, + "on": 266, + "re": 267, + "▁s": 268, + "en": 269, + "at": 270, + "or": 271, + "▁the": 272, + "▁▁▁▁▁▁▁▁": 273, + "es": 274, + "▁w": 275, + "an": 276, + "▁c": 277, + "is": 278, + "it": 279, + "ou": 280, + "▁d": 281, + "al": 282, + "ar": 283, + "▁p": 284, + "▁f": 285, + "ed": 286, + "▁b": 287, + "ing": 288, + "▁o": 289, + "▁m": 290, + "le": 291, + "nd": 292, + "as": 293, + "ic": 294, + "▁h": 295, + "ion": 296, + "▁in": 297, + "▁to": 298, + "et": 299, + "om": 300, + "el": 301, + "▁of": 302, + "st": 303, + "▁and": 304, + "▁l": 305, + "▁th": 306, + "▁n": 307, + "ent": 308, + "il": 309, + "ct": 310, + "ro": 311, + "▁re": 312, + "id": 313, + "am": 314, + "▁I": 315, + "ad": 316, + "▁e": 317, + "▁S": 318, + "▁g": 319, + "▁T": 320, + "im": 321, + "ot": 322, + "ac": 323, + "ur": 324, + "▁(": 325, + "ig": 326, + "▁=": 327, + "ol": 328, + "ut": 329, + "▁A": 330, + "se": 331, + "▁u": 332, + "ve": 333, + "▁C": 334, + "if": 335, + "ow": 336, + "▁y": 337, + "ch": 338, + "ay": 339, + "▁de": 340, + "▁st": 341, + "▁|": 342, + "ver": 343, + ");": 344, + "▁\"": 345, + "ly": 346, + "▁be": 347, + "**": 348, + "▁is": 349, + "od": 350, + "▁M": 351, + "ation": 352, + "ul": 353, + "▁for": 354, + "▁▁▁▁▁": 355, + "▁on": 356, + "ag": 357, + "ce": 358, + "▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁": 359, + "ter": 360, + "ir": 361, + "th": 362, + "▁v": 363, + "qu": 364, + "▁B": 365, + "em": 366, + "▁P": 367, + "▁you": 368, + "▁that": 369, + "un": 370, + "▁{": 371, + "ith": 372, + "ri": 373, + "est": 374, + "ab": 375, + "--": 376, + "ap": 377, + "▁it": 378, + "▁con": 379, + "ate": 380, + "us": 381, + "▁H": 382, + "um": 383, + "▁D": 384, + "os": 385, + "pe": 386, + "▁-": 387, + "▁wh": 388, + "▁al": 389, + "▁as": 390, + "and": 391, + "ist": 392, + "▁L": 393, + "▁W": 394, + "▁with": 395, + "▁an": 396, + "ere": 397, + "▁*": 398, + "▁R": 399, + "▁he": 400, + "▁F": 401, + "oc": 402, + "▁was": 403, + "ers": 404, + "ke": 405, + "out": 406, + "ht": 407, + "▁r": 408, + "ess": 409, + "op": 410, + "res": 411, + "ie": 412, + "▁E": 413, + "▁\\": 414, + "▁The": 415, + "end": 416, + "ld": 417, + "▁N": 418, + "ort": 419, + "▁G": 420, + "//": 421, + "▁#": 422, + "our": 423, + "te": 424, + "ill": 425, + "ain": 426, + "▁se": 427, + "▁▁▁▁▁▁": 428, + "▁$": 429, + "▁pro": 430, + "ore": 431, + "▁com": 432, + "ame": 433, + "tr": 434, + "▁ne": 435, + "rom": 436, + "ub": 437, + "▁at": 438, + "▁ex": 439, + "ant": 440, + "ue": 441, + "▁or": 442, + "▁}": 443, + "art": 444, + "ction": 445, + "▁k": 446, + "pt": 447, + "nt": 448, + "iv": 449, + "de": 450, + "▁O": 451, + "pl": 452, + "urn": 453, + "ight": 454, + "all": 455, + "▁this": 456, + "ser": 457, + "ave": 458, + "▁not": 459, + "▁are": 460, + "▁j": 461, + "▁le": 462, + "iz": 463, + "▁'": 464, + "age": 465, + "ment": 466, + "▁tr": 467, + "ack": 468, + "ust": 469, + "()": 470, + "->": 471, + "ity": 472, + "ine": 473, + "ould": 474, + "▁J": 475, + "og": 476, + "▁from": 477, + "▁we": 478, + "ell": 479, + "▁sh": 480, + "▁en": 481, + "ure": 482, + "port": 483, + "▁ch": 484, + "ne": 485, + "▁by": 486, + "per": 487, + "ard": 488, + "ass": 489, + "ge": 490, + "ak": 491, + "are": 492, + "ok": 493, + "av": 494, + "ive": 495, + "ff": 496, + "ies": 497, + "ath": 498, + "turn": 499, + "▁U": 500, + "int": 501, + "----": 502, + "▁im": 503, + "ost": 504, + "ial": 505, + "▁have": 506, + "ind": 507, + "ip": 508, + "ans": 509, + "xt": 510, + "▁do": 511, + "cl": 512, + "▁if": 513, + "con": 514, + "ia": 515, + "▁his": 516, + "ult": 517, + "rou": 518, + "▁su": 519, + "ra": 520, + "▁un": 521, + "able": 522, + "▁<": 523, + "▁K": 524, + "ome": 525, + "▁qu": 526, + "get": 527, + "▁me": 528, + "ast": 529, + "ect": 530, + "▁##": 531, + "to": 532, + "▁cl": 533, + "▁ab": 534, + "ice": 535, + "ire": 536, + "ber": 537, + "one": 538, + "ich": 539, + "hen": 540, + "▁can": 541, + "▁Th": 542, + "▁la": 543, + "▁all": 544, + "ime": 545, + "ile": 546, + "ide": 547, + "\",": 548, + "▁pl": 549, + "▁V": 550, + "ru": 551, + "orm": 552, + "▁had": 553, + "ud": 554, + "ase": 555, + "ord": 556, + "),": 557, + "▁▁▁▁▁▁▁▁▁▁▁▁": 558, + "▁her": 559, + "▁In": 560, + "ace": 561, + "▁but": 562, + "ata": 563, + "::": 564, + "****": 565, + "ong": 566, + "▁&": 567, + "..": 568, + "▁▁▁▁▁▁▁▁▁▁▁▁▁": 569, + "ite": 570, + "ype": 571, + "act": 572, + "ode": 573, + "▁your": 574, + "▁out": 575, + "▁go": 576, + "lic": 577, + "ally": 578, + "▁so": 579, + "ork": 580, + "au": 581, + "▁up": 582, + "▁_": 583, + "ll": 584, + "==": 585, + "▁my": 586, + "pp": 587, + "cc": 588, + "▁//": 589, + "▁they": 590, + "gh": 591, + "▁us": 592, + "ib": 593, + "ions": 594, + "ach": 595, + "ens": 596, + "▁ar": 597, + "ob": 598, + "elf": 599, + "ook": 600, + "ated": 601, + "ang": 602, + "ign": 603, + "▁return": 604, + "▁res": 605, + "ck": 606, + "ous": 607, + "ст": 608, + ").": 609, + "▁п": 610, + ".\"": 611, + "на": 612, + "▁i": 613, + "ail": 614, + "ep": 615, + "▁ad": 616, + "ance": 617, + "(\"": 618, + "▁**": 619, + "ther": 620, + "ake": 621, + "▁will": 622, + "▁comp": 623, + "▁one": 624, + "▁get": 625, + "ov": 626, + "▁Y": 627, + "ary": 628, + "ock": 629, + "▁she": 630, + "che": 631, + "ft": 632, + "▁new": 633, + "▁des": 634, + "▁li": 635, + "ence": 636, + "▁sa": 637, + "ress": 638, + "▁el": 639, + "▁und": 640, + "eg": 641, + "fer": 642, + "ry": 643, + "ear": 644, + "ose": 645, + "very": 646, + "',": 647, + "▁+": 648, + "▁в": 649, + "▁He": 650, + "ublic": 651, + "▁their": 652, + "ize": 653, + "▁were": 654, + "ink": 655, + "own": 656, + "In": 657, + "{\\": 658, + "▁has": 659, + "▁per": 660, + "▁It": 661, + "▁St": 662, + "her": 663, + "ject": 664, + "ра": 665, + "ild": 666, + "so": 667, + "▁sp": 668, + "ни": 669, + "du": 670, + "row": 671, + "alue": 672, + "set": 673, + "form": 674, + "com": 675, + "▁man": 676, + "ont": 677, + "ull": 678, + "▁cont": 679, + "▁more": 680, + "ick": 681, + "▁would": 682, + "▁ev": 683, + "▁about": 684, + "ition": 685, + "▁z": 686, + "ound": 687, + "ree": 688, + "▁Ch": 689, + "▁which": 690, + "io": 691, + "();": 692, + "▁who": 693, + "err": 694, + "ory": 695, + "ount": 696, + "ations": 697, + "▁с": 698, + "ring": 699, + "": 876, + "▁em": 877, + "▁$\\": 878, + "▁year": 879, + "wn": 880, + "},": 881, + "▁del": 882, + "ale": 883, + "ty": 884, + "fig": 885, + "sp": 886, + "hed": 887, + "round": 888, + "ew": 889, + "▁di": 890, + "▁der": 891, + "ри": 892, + "red": 893, + "this": 894, + "let": 895, + "RE": 896, + "ax": 897, + "fr": 898, + "essage": 899, + "ough": 900, + "▁comm": 901, + "fo": 902, + "uch": 903, + "oy": 904, + "▁people": 905, + "ystem": 906, + "▁first": 907, + "▁function": 908, + "ange": 909, + "▁how": 910, + "▁et": 911, + "ah": 912, + "▁look": 913, + "то": 914, + "und": 915, + "▁under": 916, + "ка": 917, + "▁!": 918, + "ray": 919, + "ST": 920, + "ific": 921, + "ли": 922, + "read": 923, + "▁bet": 924, + "ious": 925, + "arg": 926, + "▁need": 927, + "math": 928, + "▁на": 929, + "ert": 930, + "▁op": 931, + "▁acc": 932, + "Pro": 933, + "▁est": 934, + "▁Un": 935, + "▁ent": 936, + "▁rec": 937, + "▁use": 938, + "ен": 939, + "▁par": 940, + "az": 941, + "▁д": 942, + "▁Wh": 943, + "self": 944, + "▁ke": 945, + "та": 946, + "▁want": 947, + "▁end": 948, + "▁don": 949, + "ek": 950, + "ren": 951, + "Name": 952, + "▁=>": 953, + "▁app": 954, + "▁que": 955, + "igh": 956, + "▁bu": 957, + "equ": 958, + "vel": 959, + "▁act": 960, + "cre": 961, + "AT": 962, + "▁var": 963, + "cess": 964, + "====": 965, + "Ex": 966, + "▁add": 967, + "▁mod": 968, + "ung": 969, + "▁where": 970, + "ning": 971, + "▁fl": 972, + "als": 973, + "tern": 974, + "}}": 975, + "▁Al": 976, + "▁pos": 977, + "ank": 978, + "▁ap": 979, + "eng": 980, + "▁“": 981, + "ble": 982, + "▁reg": 983, + "^{": 984, + "▁She": 985, + "▁*/": 986, + "ude": 987, + "add": 988, + "▁two": 989, + "▁col": 990, + "▁sm": 991, + "air": 992, + "▁may": 993, + "fore": 994, + "▁You": 995, + "rough": 996, + "▁che": 997, + "▁att": 998, + "oth": 999, + "ла": 1000, + "▁co": 1001, + "ates": 1002, + "▁rem": 1003, + "ood": 1004, + "Type": 1005, + "led": 1006, + "ful": 1007, + "▁self": 1008, + "of": 1009, + "▁Ar": 1010, + "que": 1011, + "▁every": 1012, + "ref": 1013, + "The": 1014, + "▁And": 1015, + "▁rel": 1016, + "OR": 1017, + "Id": 1018, + "▁even": 1019, + "EN": 1020, + "▁hand": 1021, + "ait": 1022, + "▁should": 1023, + "▁after": 1024, + "▁dif": 1025, + "ght": 1026, + "ife": 1027, + "ator": 1028, + "ash": 1029, + "ribut": 1030, + "umber": 1031, + "▁see": 1032, + "ms": 1033, + "▁call": 1034, + "yn": 1035, + "dd": 1036, + "▁es": 1037, + "▁make": 1038, + "other": 1039, + "▁—": 1040, + "\");": 1041, + "str": 1042, + "▁long": 1043, + "lement": 1044, + "▁wor": 1045, + "its": 1046, + "▁If": 1047, + "alse": 1048, + "ль": 1049, + "ward": 1050, + "▁по": 1051, + "val": 1052, + "ons": 1053, + "▁Z": 1054, + "▁now": 1055, + "data": 1056, + "amp": 1057, + "ense": 1058, + "▁through": 1059, + "▁down": 1060, + "att": 1061, + "▁static": 1062, + "ics": 1063, + "##": 1064, + "pos": 1065, + "▁void": 1066, + "aw": 1067, + "oun": 1068, + "▁way": 1069, + "ible": 1070, + "vent": 1071, + "ower": 1072, + "▁think": 1073, + "ts": 1074, + "*/": 1075, + "▁again": 1076, + "ating": 1077, + "те": 1078, + "ner": 1079, + "▁most": 1080, + "line": 1081, + "ym": 1082, + "▁sub": 1083, + "erson": 1084, + "▁requ": 1085, + "AL": 1086, + "AR": 1087, + "abel": 1088, + "ond": 1089, + "));": 1090, + "▁Se": 1091, + "▁But": 1092, + "alk": 1093, + "▁An": 1094, + "new": 1095, + "▁because": 1096, + "ger": 1097, + "ular": 1098, + "roup": 1099, + "ta": 1100, + "...": 1101, + "▁cons": 1102, + "▁right": 1103, + "▁fr": 1104, + "be": 1105, + "ily": 1106, + "ки": 1107, + "▁ph": 1108, + "ead": 1109, + "?\"": 1110, + "▁gu": 1111, + "▁else": 1112, + "▁som": 1113, + "rent": 1114, + "co": 1115, + "ement": 1116, + "▁str": 1117, + "ault": 1118, + "▁з": 1119, + "ло": 1120, + "sert": 1121, + "var": 1122, + "type": 1123, + "▁Com": 1124, + "ле": 1125, + "ins": 1126, + "me": 1127, + "way": 1128, + "ident": 1129, + "▁prov": 1130, + "▁м": 1131, + "▁true": 1132, + "▁Pro": 1133, + "fl": 1134, + "▁sl": 1135, + "▁As": 1136, + "}\\": 1137, + "ID": 1138, + "ues": 1139, + "▁inst": 1140, + "▁name": 1141, + "ox": 1142, + "▁)": 1143, + "li": 1144, + "ames": 1145, + "Res": 1146, + "▁sur": 1147, + "param": 1148, + "▁start": 1149, + "aj": 1150, + "SE": 1151, + "ask": 1152, + "IT": 1153, + "String": 1154, + "▁ass": 1155, + "▁play": 1156, + "ting": 1157, + "ton": 1158, + "▁before": 1159, + "▁pol": 1160, + "arch": 1161, + "▁well": 1162, + "Com": 1163, + "any": 1164, + "olog": 1165, + "▁err": 1166, + "▁these": 1167, + "ars": 1168, + "eb": 1169, + "▁br": 1170, + "▁incl": 1171, + "▁hel": 1172, + "ern": 1173, + "ody": 1174, + "во": 1175, + "▁ind": 1176, + "----------------": 1177, + "▁data": 1178, + "▁good": 1179, + "LE": 1180, + "],": 1181, + "▁av": 1182, + "▁ac": 1183, + "ider": 1184, + "не": 1185, + "▁Q": 1186, + "▁min": 1187, + "▁much": 1188, + "ci": 1189, + "els": 1190, + "▁cur": 1191, + "▁value": 1192, + "ery": 1193, + "uf": 1194, + "▁loc": 1195, + "reak": 1196, + "ative": 1197, + "imes": 1198, + "Cl": 1199, + "▁,": 1200, + "▁ser": 1201, + "▁die": 1202, + "▁trans": 1203, + "▁result": 1204, + "ext": 1205, + "▁aut": 1206, + "land": 1207, + "▁&&": 1208, + "Ch": 1209, + "ten": 1210, + "}$": 1211, + "▁type": 1212, + "cond": 1213, + "ices": 1214, + "▁very": 1215, + "▁own": 1216, + "▁fil": 1217, + "ities": 1218, + "▁produ": 1219, + "▁read": 1220, + "▁form": 1221, + "▁case": 1222, + "ather": 1223, + "ти": 1224, + "да": 1225, + "ер": 1226, + "Th": 1227, + "aut": 1228, + "▁spec": 1229, + "ij": 1230, + "bl": 1231, + "ility": 1232, + "▁é": 1233, + "▁er": 1234, + "▁does": 1235, + "▁here": 1236, + "the": 1237, + "ures": 1238, + "▁%": 1239, + "min": 1240, + "▁null": 1241, + "rap": 1242, + "\")": 1243, + "rr": 1244, + "List": 1245, + "right": 1246, + "▁User": 1247, + "UL": 1248, + "ational": 1249, + "▁being": 1250, + "AN": 1251, + "sk": 1252, + "▁car": 1253, + "ole": 1254, + "▁dist": 1255, + "plic": 1256, + "ollow": 1257, + "▁pres": 1258, + "▁such": 1259, + "ream": 1260, + "ince": 1261, + "gan": 1262, + "▁For": 1263, + "\":": 1264, + "son": 1265, + "rivate": 1266, + "▁years": 1267, + "▁serv": 1268, + "▁made": 1269, + "def": 1270, + ";\r": 1271, + "▁gl": 1272, + "▁bel": 1273, + "▁list": 1274, + "▁cor": 1275, + "▁det": 1276, + "ception": 1277, + "egin": 1278, + "▁б": 1279, + "▁char": 1280, + "trans": 1281, + "▁fam": 1282, + "▁!=": 1283, + "ouse": 1284, + "▁dec": 1285, + "ica": 1286, + "▁many": 1287, + "aking": 1288, + "▁à": 1289, + "▁sim": 1290, + "ages": 1291, + "uff": 1292, + "ased": 1293, + "man": 1294, + "▁Sh": 1295, + "iet": 1296, + "irect": 1297, + "▁Re": 1298, + "▁differ": 1299, + "▁find": 1300, + "ethod": 1301, + "▁\r": 1302, + "ines": 1303, + "▁inv": 1304, + "▁point": 1305, + "▁They": 1306, + "▁used": 1307, + "ctions": 1308, + "▁still": 1309, + "ió": 1310, + "ined": 1311, + "▁while": 1312, + "It": 1313, + "ember": 1314, + "▁say": 1315, + "▁help": 1316, + "▁cre": 1317, + "▁x": 1318, + "▁Tr": 1319, + "ument": 1320, + "▁sk": 1321, + "ought": 1322, + "ually": 1323, + "message": 1324, + "▁Con": 1325, + "▁mon": 1326, + "ared": 1327, + "work": 1328, + "):": 1329, + "ister": 1330, + "arn": 1331, + "ized": 1332, + "Data": 1333, + "orn": 1334, + "▁head": 1335, + "DE": 1336, + "▁Le": 1337, + "▁person": 1338, + "ments": 1339, + "ength": 1340, + "▁false": 1341, + "▁med": 1342, + "▁De": 1343, + "ache": 1344, + "ited": 1345, + "▁let": 1346, + "▁show": 1347, + "▁same": 1348, + "uss": 1349, + "▁gener": 1350, + "▁у": 1351, + "cur": 1352, + "▁real": 1353, + "ced": 1354, + "\">": 1355, + "struct": 1356, + "begin": 1357, + "cept": 1358, + "▁bo": 1359, + "ired": 1360, + "▁Fr": 1361, + "▁stud": 1362, + "dev": 1363, + "Ar": 1364, + "(\\": 1365, + "▁Cl": 1366, + "ween": 1367, + "▁too": 1368, + "▁test": 1369, + "▁day": 1370, + "oh": 1371, + "▁follow": 1372, + "ature": 1373, + "ze": 1374, + "ien": 1375, + "reg": 1376, + "ces": 1377, + "uring": 1378, + "amb": 1379, + "ina": 1380, + "cri": 1381, + "▁ed": 1382, + "SS": 1383, + "uck": 1384, + "▁/*": 1385, + "CT": 1386, + "▁There": 1387, + "▁take": 1388, + "par": 1389, + "ule": 1390, + "cal": 1391, + "for": 1392, + "****************": 1393, + "source": 1394, + "▁those": 1395, + "col": 1396, + "▁eff": 1397, + "mod": 1398, + "cont": 1399, + "}{": 1400, + "▁around": 1401, + "press": 1402, + "by": 1403, + "▁going": 1404, + "ponse": 1405, + "▁С": 1406, + "▁line": 1407, + "date": 1408, + "code": 1409, + "['": 1410, + "▁life": 1411, + "ason": 1412, + "▁using": 1413, + "▁val": 1414, + "▁du": 1415, + "yp": 1416, + "▁▁▁▁▁▁▁▁▁▁▁▁▁▁": 1417, + "▁On": 1418, + "▁found": 1419, + "olut": 1420, + "']": 1421, + "arent": 1422, + "▁string": 1423, + "▁met": 1424, + "▁wr": 1425, + "ush": 1426, + "string": 1427, + "size": 1428, + "▁ver": 1429, + "▁each": 1430, + "value": 1431, + "▁last": 1432, + "▁got": 1433, + "ven": 1434, + "back": 1435, + "Set": 1436, + "ey": 1437, + "rol": 1438, + "▁cr": 1439, + "thing": 1440, + "ret": 1441, + "és": 1442, + "ism": 1443, + "▁between": 1444, + "Ob": 1445, + "ething": 1446, + "mp": 1447, + "▁lo": 1448, + "ats": 1449, + "▁New": 1450, + "ви": 1451, + "ado": 1452, + "dex": 1453, + "ди": 1454, + "▁pass": 1455, + "wh": 1456, + "▁den": 1457, + "Get": 1458, + "apt": 1459, + "▁ask": 1460, + "▁sup": 1461, + "Value": 1462, + "ны": 1463, + "▁try": 1464, + "lation": 1465, + "day": 1466, + "ness": 1467, + "ets": 1468, + "▁exper": 1469, + "Tr": 1470, + "▁Mar": 1471, + "serv": 1472, + "br": 1473, + "▁number": 1474, + "inal": 1475, + "cent": 1476, + "/*": 1477, + "not": 1478, + "ional": 1479, + "▁final": 1480, + "')": 1481, + "▁run": 1482, + "over": 1483, + "▁never": 1484, + "uc": 1485, + "▁high": 1486, + "yle": 1487, + "▁ins": 1488, + "▁best": 1489, + "ittle": 1490, + "ric": 1491, + "▁sign": 1492, + "▁dem": 1493, + "iness": 1494, + "gy": 1495, + "▁war": 1496, + "ished": 1497, + "▁giv": 1498, + "key": 1499, + "▁X": 1500, + "($": 1501, + "▁child": 1502, + "less": 1503, + "ways": 1504, + "incl": 1505, + "rop": 1506, + "raw": 1507, + "://": 1508, + "▁«": 1509, + "no": 1510, + "indow": 1511, + "fe": 1512, + "riend": 1513, + "▁les": 1514, + "▁los": 1515, + "file": 1516, + "formation": 1517, + "ccess": 1518, + "▁В": 1519, + "na": 1520, + "▁il": 1521, + "ision": 1522, + "ler": 1523, + "▁art": 1524, + "Cont": 1525, + "▁world": 1526, + "▁turn": 1527, + "▁really": 1528, + "▁Ex": 1529, + "ма": 1530, + "▁П": 1531, + "ters": 1532, + "arget": 1533, + "Err": 1534, + "▁happ": 1535, + "time": 1536, + "▁So": 1537, + "div": 1538, + "▁didn": 1539, + "ada": 1540, + "oot": 1541, + "})": 1542, + "▁sch": 1543, + "▁cle": 1544, + "▁something": 1545, + "().": 1546, + "▁cour": 1547, + "ever": 1548, + "ants": 1549, + "▁?": 1550, + "To": 1551, + "▁`": 1552, + "try": 1553, + "ux": 1554, + "ais": 1555, + "ross": 1556, + "hip": 1557, + "▁rep": 1558, + "label": 1559, + "▁both": 1560, + "*,": 1561, + "ott": 1562, + "ми": 1563, + "ane": 1564, + "▁open": 1565, + "ww": 1566, + "▁come": 1567, + "▁ext": 1568, + "rem": 1569, + "_{\\": 1570, + "▁old": 1571, + "ched": 1572, + "._": 1573, + "ME": 1574, + "ify": 1575, + "gg": 1576, + "Col": 1577, + "view": 1578, + "▁bus": 1579, + "▁must": 1580, + "▁different": 1581, + "log": 1582, + "ists": 1583, + "roll": 1584, + "ai": 1585, + "▁за": 1586, + "▁system": 1587, + "ivers": 1588, + "atus": 1589, + "ote": 1590, + "med": 1591, + "].": 1592, + "akes": 1593, + "RO": 1594, + "▁cent": 1595, + "gram": 1596, + "▁private": 1597, + "▁great": 1598, + "\";": 1599, + "opy": 1600, + "▁feel": 1601, + "▁How": 1602, + "////": 1603, + "IC": 1604, + "▁dr": 1605, + "ains": 1606, + "lock": 1607, + "En": 1608, + "▁Sch": 1609, + "▁mat": 1610, + "▁home": 1611, + "perty": 1612, + "test": 1613, + "loc": 1614, + "▁wom": 1615, + "sw": 1616, + "arly": 1617, + "▁En": 1618, + "▁ко": 1619, + "den": 1620, + "ста": 1621, + "▁а": 1622, + "eter": 1623, + "▁includ": 1624, + "ULL": 1625, + "▁mem": 1626, + "▁po": 1627, + "▁little": 1628, + "▁arg": 1629, + "▁},": 1630, + "include": 1631, + "eta": 1632, + "▁place": 1633, + "idth": 1634, + "ustom": 1635, + "▁||": 1636, + "▁tem": 1637, + "ried": 1638, + "▁fact": 1639, + "ience": 1640, + "▁Pl": 1641, + "opt": 1642, + "ele": 1643, + "go": 1644, + "AC": 1645, + "inter": 1646, + "========": 1647, + "(),": 1648, + "ots": 1649, + "ral": 1650, + "ique": 1651, + "aving": 1652, + "ml": 1653, + "▁thought": 1654, + "frac": 1655, + "▁care": 1656, + "());": 1657, + "▁put": 1658, + "▁might": 1659, + "▁Amer": 1660, + "▁(!": 1661, + "ample": 1662, + "alth": 1663, + "▁few": 1664, + "▁state": 1665, + "sub": 1666, + "▁Or": 1667, + "];": 1668, + "▁size": 1669, + "▁Sp": 1670, + "▁without": 1671, + "▁poss": 1672, + "eq": 1673, + "play": 1674, + "▁expect": 1675, + "▁second": 1676, + "▁String": 1677, + "uild": 1678, + "▁next": 1679, + "++": 1680, + "requ": 1681, + "▁All": 1682, + "▁men": 1683, + "▁When": 1684, + "iter": 1685, + "ament": 1686, + "net": 1687, + "▁К": 1688, + "ron": 1689, + "aint": 1690, + "▁Is": 1691, + "ве": 1692, + "pend": 1693, + "translation": 1694, + "▁го": 1695, + "че": 1696, + "▁van": 1697, + "▁another": 1698, + "▁ret": 1699, + "▁La": 1700, + "Mod": 1701, + "ION": 1702, + "list": 1703, + "▁post": 1704, + "da": 1705, + "ware": 1706, + "▁word": 1707, + "Error": 1708, + "▁seem": 1709, + "▁contin": 1710, + "atic": 1711, + "▁three": 1712, + "Object": 1713, + "▁partic": 1714, + "$.": 1715, + "▁mark": 1716, + "▁vis": 1717, + "rc": 1718, + "▁sw": 1719, + "ptions": 1720, + "▁break": 1721, + "▁things": 1722, + "ute": 1723, + "ui": 1724, + "▁That": 1725, + "urs": 1726, + "gl": 1727, + "ру": 1728, + "▁file": 1729, + "use": 1730, + "igned": 1731, + "part": 1732, + "Un": 1733, + "▁equ": 1734, + "(&": 1735, + "▁lead": 1736, + "rm": 1737, + "ained": 1738, + "▁Be": 1739, + "path": 1740, + "▁small": 1741, + "ager": 1742, + "▁always": 1743, + "▁El": 1744, + "▁order": 1745, + "▁ey": 1746, + "▁won": 1747, + "ape": 1748, + "▁left": 1749, + "ava": 1750, + "item": 1751, + "hor": 1752, + "▁away": 1753, + "bb": 1754, + "fun": 1755, + "▁Ind": 1756, + "mb": 1757, + "▁struct": 1758, + "▁process": 1759, + "▁support": 1760, + ");\r": 1761, + "ión": 1762, + "LO": 1763, + "▁oper": 1764, + "UT": 1765, + "▁·": 1766, + "PE": 1767, + "load": 1768, + "off": 1769, + "▁No": 1770, + "ives": 1771, + "ican": 1772, + "▁ve": 1773, + "action": 1774, + "';": 1775, + "▁vo": 1776, + "$,": 1777, + "▁Gr": 1778, + "pre": 1779, + "ny": 1780, + "aining": 1781, + "ior": 1782, + "init": 1783, + "lection": 1784, + "arm": 1785, + "umn": 1786, + "ags": 1787, + "ци": 1788, + "ско": 1789, + "version": 1790, + "▁To": 1791, + "▁ref": 1792, + "stand": 1793, + "▁At": 1794, + "ift": 1795, + "▁ein": 1796, + "face": 1797, + "bo": 1798, + "ified": 1799, + "ved": 1800, + "sum": 1801, + "une": 1802, + "ital": 1803, + "ump": 1804, + "comm": 1805, + "▁mov": 1806, + "elt": 1807, + "▁von": 1808, + "velop": 1809, + "ctor": 1810, + "head": 1811, + "cle": 1812, + "▁build": 1813, + "inc": 1814, + ".'": 1815, + "bs": 1816, + "info": 1817, + "chn": 1818, + "▁week": 1819, + "▁book": 1820, + "HE": 1821, + "bar": 1822, + "icense": 1823, + "▁What": 1824, + "▁quest": 1825, + "urch": 1826, + "ato": 1827, + "left": 1828, + "▁mar": 1829, + "▁top": 1830, + "FF": 1831, + "▁friend": 1832, + "▁beh": 1833, + "▁field": 1834, + "▁against": 1835, + "ract": 1836, + "ization": 1837, + "user": 1838, + "chen": 1839, + "▁keep": 1840, + "AD": 1841, + "itor": 1842, + "▁non": 1843, + "ird": 1844, + "ope": 1845, + "▁rest": 1846, + "▁dev": 1847, + "▁__": 1848, + "▁una": 1849, + "▁term": 1850, + "IS": 1851, + "▁pop": 1852, + "rist": 1853, + "▁since": 1854, + "ves": 1855, + "▁hard": 1856, + "pi": 1857, + "util": 1858, + "▁soc": 1859, + "ene": 1860, + "Exception": 1861, + "▁local": 1862, + "▁direct": 1863, + "▁sure": 1864, + "▁bro": 1865, + "▁da": 1866, + "▁": 2370, + "aim": 2371, + "▁service": 2372, + "▁within": 2373, + "angu": 2374, + "▁Д": 2375, + "uffer": 2376, + "AG": 2377, + "▁Do": 2378, + "▁incre": 2379, + "▁understand": 2380, + "}^": 2381, + "▁looked": 2382, + "gen": 2383, + "ailed": 2384, + "▁е": 2385, + "ayer": 2386, + "▁One": 2387, + "▁bas": 2388, + "▁job": 2389, + "mu": 2390, + "but": 2391, + "elta": 2392, + "▁Christ": 2393, + "uration": 2394, + "▁record": 2395, + "▁Univers": 2396, + "ivid": 2397, + "valid": 2398, + "▁Р": 2399, + "▁hold": 2400, + "▁table": 2401, + "ones": 2402, + "link": 2403, + "▁Ge": 2404, + "▁offer": 2405, + "ster": 2406, + "Form": 2407, + "={": 2408, + "▁не": 2409, + "stance": 2410, + "▁govern": 2411, + "▁techn": 2412, + "▁prim": 2413, + "*.": 2414, + "cho": 2415, + "max": 2416, + "▁fore": 2417, + "▁Can": 2418, + "▁polit": 2419, + "ories": 2420, + "▁times": 2421, + "▁dans": 2422, + "▁air": 2423, + "▁anything": 2424, + "▁sever": 2425, + "acy": 2426, + "}_": 2427, + "He": 2428, + "▁least": 2429, + "ips": 2430, + "ENT": 2431, + "do": 2432, + "▁от": 2433, + "▁cost": 2434, + ".”": 2435, + "▁children": 2436, + "ability": 2437, + "But": 2438, + "▁path": 2439, + "result": 2440, + "acter": 2441, + "▁element": 2442, + "ee": 2443, + "▁wait": 2444, + "▁money": 2445, + "Map": 2446, + "td": 2447, + "oin": 2448, + "iving": 2449, + "icht": 2450, + "icy": 2451, + "sch": 2452, + "ste": 2453, + "ду": 2454, + "ored": 2455, + "oud": 2456, + "ille": 2457, + "ised": 2458, + "plication": 2459, + "▁custom": 2460, + "▁having": 2461, + "ponent": 2462, + "▁By": 2463, + "ules": 2464, + "ued": 2465, + "atter": 2466, + "And": 2467, + "itive": 2468, + "Def": 2469, + "▁moment": 2470, + "aterial": 2471, + "Class": 2472, + "ograph": 2473, + "ike": 2474, + "▁large": 2475, + "▁####": 2476, + "▁either": 2477, + "duct": 2478, + "▁Then": 2479, + "▁Gu": 2480, + "olean": 2481, + "pert": 2482, + "▁Get": 2483, + "▁Ab": 2484, + "▁short": 2485, + "On": 2486, + "iment": 2487, + "▁project": 2488, + "cript": 2489, + "▁including": 2490, + "ния": 2491, + "▁making": 2492, + "▁someone": 2493, + "▁Fl": 2494, + "▁sat": 2495, + "▁company": 2496, + "ocus": 2497, + "pu": 2498, + "▁God": 2499, + "ification": 2500, + "No": 2501, + "▁sn": 2502, + "ano": 2503, + "ga": 2504, + "▁au": 2505, + "▁cou": 2506, + "ás": 2507, + "ended": 2508, + "ту": 2509, + "ober": 2510, + "▁nothing": 2511, + "▁net": 2512, + "▁pot": 2513, + "▁typ": 2514, + "▁item": 2515, + "rew": 2516, + "Att": 2517, + "▁young": 2518, + "}\r": 2519, + "nder": 2520, + "start": 2521, + "▁Sc": 2522, + "*)": 2523, + "▁enc": 2524, + "▁women": 2525, + "▁looking": 2526, + "▁ро": 2527, + "▁health": 2528, + "Path": 2529, + "▁After": 2530, + "▁mult": 2531, + "▁{\\": 2532, + "▁land": 2533, + "orld": 2534, + "▁Des": 2535, + "▁eng": 2536, + "input": 2537, + "▁Pol": 2538, + "\"\"": 2539, + "Code": 2540, + "▁supp": 2541, + "ainer": 2542, + "heck": 2543, + "▁mor": 2544, + "▁mill": 2545, + "▁aw": 2546, + "fs": 2547, + "▁doing": 2548, + "tings": 2549, + "ades": 2550, + "▁toget": 2551, + "▁certain": 2552, + "▁together": 2553, + "CE": 2554, + "ideo": 2555, + "▁American": 2556, + "ony": 2557, + "idd": 2558, + "II": 2559, + "ged": 2560, + "ables": 2561, + "▁ident": 2562, + "iod": 2563, + "▁parent": 2564, + "For": 2565, + "ambda": 2566, + "ando": 2567, + "=\\": 2568, + "aged": 2569, + "ending": 2570, + "Int": 2571, + "▁possible": 2572, + "▁со": 2573, + "ivity": 2574, + "num": 2575, + "rt": 2576, + "ajor": 2577, + "create": 2578, + "ride": 2579, + "▁knew": 2580, + "bit": 2581, + "itional": 2582, + "▁lik": 2583, + "▁Her": 2584, + "ension": 2585, + "\".": 2586, + "oto": 2587, + "▁exist": 2588, + "aken": 2589, + "▁actually": 2590, + "ca": 2591, + "▁Г": 2592, + "хо": 2593, + "inn": 2594, + "All": 2595, + "buf": 2596, + "▁Me": 2597, + "▁seen": 2598, + "ops": 2599, + "▁▁▁▁▁▁▁▁▁": 2600, + "Not": 2601, + "▁control": 2602, + "▁respon": 2603, + "};": 2604, + "ilt": 2605, + "isk": 2606, + "▁bad": 2607, + "▁often": 2608, + "▁past": 2609, + "aper": 2610, + "▁reason": 2611, + "eters": 2612, + "▁wanted": 2613, + "ura": 2614, + "table": 2615, + "ormal": 2616, + "width": 2617, + "га": 2618, + "ptr": 2619, + "▁dest": 2620, + "▁design": 2621, + "▁sound": 2622, + "▁plan": 2623, + "▁base": 2624, + "hand": 2625, + "gs": 2626, + "▁says": 2627, + "function": 2628, + "▁tri": 2629, + "mt": 2630, + "▁invest": 2631, + "▁available": 2632, + "ayout": 2633, + "▁och": 2634, + "▁las": 2635, + "illed": 2636, + "Val": 2637, + "▁ф": 2638, + "iety": 2639, + "mon": 2640, + "Hand": 2641, + "Fr": 2642, + "iam": 2643, + "pace": 2644, + "▁Ob": 2645, + "▁para": 2646, + "▁meet": 2647, + "▁sum": 2648, + "Message": 2649, + "ici": 2650, + "▁known": 2651, + "▁gen": 2652, + "amma": 2653, + "arr": 2654, + "▁tre": 2655, + "oke": 2656, + "uth": 2657, + "~\\": 2658, + "▁experience": 2659, + "icle": 2660, + "▁Il": 2661, + "▁sent": 2662, + "▁others": 2663, + "▁soft": 2664, + "IP": 2665, + "▁max": 2666, + "ball": 2667, + "▁market": 2668, + "▁pour": 2669, + "pression": 2670, + "eps": 2671, + "▁saw": 2672, + "▁across": 2673, + "▁Su": 2674, + "Over": 2675, + "ние": 2676, + "ulation": 2677, + "▁Reg": 2678, + "▁+=": 2679, + "body": 2680, + ")\\": 2681, + "▁print": 2682, + "▁при": 2683, + "db": 2684, + "ources": 2685, + "wards": 2686, + "▁black": 2687, + "со": 2688, + "ili": 2689, + "▁Ed": 2690, + "▁complet": 2691, + "▁single": 2692, + "▁IN": 2693, + "ached": 2694, + "bt": 2695, + "▁code": 2696, + "▁bool": 2697, + "▁area": 2698, + "▁require": 2699, + "▁problem": 2700, + "aced": 2701, + "Equ": 2702, + "▁config": 2703, + "vec": 2704, + "ney": 2705, + "cy": 2706, + "Al": 2707, + "▁account": 2708, + "ymbol": 2709, + "▁ste": 2710, + "ges": 2711, + "Array": 2712, + "empl": 2713, + "context": 2714, + "Des": 2715, + "Result": 2716, + "ecut": 2717, + "▁target": 2718, + "▁getting": 2719, + "\"/>": 2720, + "ogle": 2721, + "▁himself": 2722, + "▁wasn": 2723, + "▁block": 2724, + "▁ant": 2725, + "▁York": 2726, + "▁become": 2727, + "iff": 2728, + "ports": 2729, + "reate": 2730, + "='": 2731, + "cd": 2732, + "location": 2733, + "ет": 2734, + "▁access": 2735, + "gress": 2736, + "ros": 2737, + "Up": 2738, + "▁working": 2739, + "▁Am": 2740, + "iqu": 2741, + "cer": 2742, + "▁((": 2743, + "▁Per": 2744, + "▁func": 2745, + "▁girl": 2746, + "▁above": 2747, + "pen": 2748, + "пи": 2749, + "ido": 2750, + "▁version": 2751, + "TY": 2752, + "▁;": 2753, + "mary": 2754, + "abled": 2755, + "annel": 2756, + "▁example": 2757, + "▁context": 2758, + "OP": 2759, + "▁red": 2760, + "▁cir": 2761, + "sm": 2762, + "Log": 2763, + "▁space": 2764, + "▁fut": 2765, + "▁Gener": 2766, + "ills": 2767, + "▁dri": 2768, + "_.": 2769, + "▁felt": 2770, + "▁offic": 2771, + "▁===": 2772, + "ii": 2773, + "▁started": 2774, + "▁Т": 2775, + "▁});": 2776, + "js": 2777, + "▁front": 2778, + "▁almost": 2779, + "irm": 2780, + "!\"": 2781, + "signed": 2782, + "▁yet": 2783, + "▁trad": 2784, + "ients": 2785, + "ama": 2786, + "▁input": 2787, + "lim": 2788, + "па": 2789, + "▁ка": 2790, + "▁camp": 2791, + "ibr": 2792, + "fect": 2793, + "unt": 2794, + "▁half": 2795, + "▁cover": 2796, + "anguage": 2797, + "▁ben": 2798, + "ha": 2799, + "▁diff": 2800, + "_\\": 2801, + "▁об": 2802, + "])": 2803, + "odes": 2804, + "hel": 2805, + "ios": 2806, + "▁О": 2807, + "▁mot": 2808, + "▁social": 2809, + "////////": 2810, + "▁stre": 2811, + "ground": 2812, + "ів": 2813, + "object": 2814, + "ples": 2815, + "reed": 2816, + "▁een": 2817, + "▁based": 2818, + "▁range": 2819, + "An": 2820, + "urg": 2821, + "▁learn": 2822, + "▁exc": 2823, + "▁imp": 2824, + "▁means": 2825, + "▁wur": 2826, + "ends": 2827, + "void": 2828, + "▁std": 2829, + "▁particular": 2830, + "ja": 2831, + "▁source": 2832, + "default": 2833, + "py": 2834, + "▁als": 2835, + "scri": 2836, + "status": 2837, + "▁story": 2838, + "▁begin": 2839, + "▁position": 2840, + "▁special": 2841, + "php": 2842, + "▁bar": 2843, + "▁pract": 2844, + "call": 2845, + "▁das": 2846, + "▁rad": 2847, + "▁close": 2848, + "www": 2849, + "ере": 2850, + "gu": 2851, + "▁Er": 2852, + "▁dom": 2853, + "AM": 2854, + "▁bed": 2855, + "▁several": 2856, + "aul": 2857, + "box": 2858, + "▁low": 2859, + "pack": 2860, + "Reg": 2861, + "Of": 2862, + "atures": 2863, + "én": 2864, + "eder": 2865, + "uilder": 2866, + "cast": 2867, + "conom": 2868, + "raft": 2869, + "▁makes": 2870, + "Loc": 2871, + "http": 2872, + "▁abs": 2873, + "resh": 2874, + "▁Will": 2875, + "break": 2876, + "▁options": 2877, + "fort": 2878, + "▁из": 2879, + "▁anal": 2880, + "▁env": 2881, + "({": 2882, + "event": 2883, + "▁page": 2884, + "ternal": 2885, + "▁distribut": 2886, + "▁food": 2887, + "check": 2888, + "CK": 2889, + "▁во": 2890, + "assert": 2891, + "án": 2892, + "base": 2893, + "▁whole": 2894, + "ación": 2895, + "OD": 2896, + "▁turned": 2897, + "igma": 2898, + "▁response": 2899, + "▁University": 2900, + "▁div": 2901, + "apter": 2902, + "▁results": 2903, + "▁represent": 2904, + "▁everything": 2905, + "▁Cent": 2906, + "utes": 2907, + "rix": 2908, + "▁Some": 2909, + "▁behind": 2910, + "▁creat": 2911, + "place": 2912, + "su": 2913, + "▁Part": 2914, + "umb": 2915, + "mathbb": 2916, + "ping": 2917, + "▁match": 2918, + "Out": 2919, + "dom": 2920, + "▁situ": 2921, + "dr": 2922, + "ara": 2923, + "▁window": 2924, + "ns": 2925, + "lished": 2926, + "▁Ver": 2927, + "▁message": 2928, + "▁Em": 2929, + "▁human": 2930, + "perties": 2931, + "лу": 2932, + "lem": 2933, + "ORT": 2934, + "▁early": 2935, + "▁quick": 2936, + "▁та": 2937, + "roid": 2938, + "▁country": 2939, + "▁due": 2940, + "▁Die": 2941, + "▁trying": 2942, + "▁live": 2943, + "▁press": 2944, + "INT": 2945, + "With": 2946, + "oved": 2947, + "▁specific": 2948, + "▁fall": 2949, + "uk": 2950, + "yl": 2951, + "▁general": 2952, + "му": 2953, + "ну": 2954, + "▁names": 2955, + "where": 2956, + "▁These": 2957, + "▁sil": 2958, + "ét": 2959, + "▁ener": 2960, + "▁Now": 2961, + "▁address": 2962, + "Response": 2963, + "▁Mr": 2964, + "▁answ": 2965, + "▁film": 2966, + "▁strong": 2967, + "▁bring": 2968, + "▁United": 2969, + "▁ge": 2970, + "▁woman": 2971, + "New": 2972, + "ett": 2973, + ".)": 2974, + "ename": 2975, + "▁AN": 2976, + "▁describ": 2977, + "за": 2978, + "ising": 2979, + "EL": 2980, + "ql": 2981, + "▁fur": 2982, + "ying": 2983, + "▁Cal": 2984, + "▁Dr": 2985, + "ERR": 2986, + "▁\\\\": 2987, + "angle": 2988, + "urope": 2989, + "▁city": 2990, + "▁index": 2991, + "▁action": 2992, + "▁However": 2993, + "▁fig": 2994, + "ias": 2995, + "▁question": 2996, + "▁Jan": 2997, + "▁Med": 2998, + "▁Cont": 2999, + "amed": 3000, + "Call": 3001, + "plied": 3002, + "tty": 3003, + "▁individ": 3004, + "page": 3005, + "▁comb": 3006, + "section": 3007, + "▁Comm": 3008, + "uel": 3009, + "▁het": 3010, + "▁Bar": 3011, + "agement": 3012, + "fin": 3013, + "▁major": 3014, + "oper": 3015, + "api": 3016, + "room": 3017, + "▁„": 3018, + "▁hab": 3019, + "зи": 3020, + "▁auf": 3021, + "current": 3022, + "ni": 3023, + "▁include": 3024, + "▁qui": 3025, + "va": 3026, + "UE": 3027, + "▁idea": 3028, + ",'": 3029, + "▁required": 3030, + "▁heart": 3031, + "ibility": 3032, + "iction": 3033, + "Model": 3034, + "write": 3035, + "▁content": 3036, + "▁wer": 3037, + "▁hands": 3038, + "zen": 3039, + "char": 3040, + "}^{": 3041, + "▁mass": 3042, + "ply": 3043, + "▁nat": 3044, + "rel": 3045, + "▁dat": 3046, + "================": 3047, + "imal": 3048, + "▁probably": 3049, + "unch": 3050, + "▁mer": 3051, + "ilar": 3052, + "ires": 3053, + "▁watch": 3054, + "SI": 3055, + "▁cult": 3056, + "▁mother": 3057, + "▁government": 3058, + "ording": 3059, + "▁()": 3060, + "▁pri": 3061, + "▁link": 3062, + "group": 3063, + "OL": 3064, + "▁near": 3065, + "▁Ser": 3066, + "Ser": 3067, + "ito": 3068, + "▁values": 3069, + "▁java": 3070, + "fully": 3071, + "Count": 3072, + "++)": 3073, + "▁vi": 3074, + "▁white": 3075, + "mat": 3076, + "ctx": 3077, + "▁conc": 3078, + "▁stay": 3079, + "ging": 3080, + "▁clear": 3081, + "▁copy": 3082, + "selves": 3083, + "▁provide": 3084, + "▁words": 3085, + "comp": 3086, + "args": 3087, + "▁pick": 3088, + "uly": 3089, + "▁vari": 3090, + "▁believe": 3091, + "▁Co": 3092, + "Property": 3093, + "Group": 3094, + "▁ten": 3095, + "ischen": 3096, + "eturn": 3097, + "ival": 3098, + "System": 3099, + "CL": 3100, + "bed": 3101, + "▁total": 3102, + "▁ist": 3103, + "Input": 3104, + "uments": 3105, + "Manager": 3106, + "ши": 3107, + "▁win": 3108, + "leep": 3109, + "PI": 3110, + "ного": 3111, + "ruction": 3112, + "▁inte": 3113, + "App": 3114, + "avor": 3115, + "▁respect": 3116, + "ators": 3117, + "▁como": 3118, + "▁cut": 3119, + "FA": 3120, + "▁sus": 3121, + "▁App": 3122, + "rect": 3123, + "FI": 3124, + "▁began": 3125, + "oph": 3126, + "▁sort": 3127, + "though": 3128, + "је": 3129, + "icro": 3130, + "Trans": 3131, + "лі": 3132, + "▁Inst": 3133, + "request": 3134, + "ор": 3135, + "▁relations": 3136, + "-\\": 3137, + "Status": 3138, + "жи": 3139, + "▁father": 3140, + "cs": 3141, + "▁sex": 3142, + "isch": 3143, + "vo": 3144, + "}_{": 3145, + "aven": 3146, + "▁Ne": 3147, + "ATE": 3148, + "itten": 3149, + "▁ess": 3150, + "TH": 3151, + "ights": 3152, + "▁hom": 3153, + "▁today": 3154, + "▁zu": 3155, + "ita": 3156, + "▁isn": 3157, + "▁opt": 3158, + "ogn": 3159, + "ér": 3160, + "▁whether": 3161, + "ixed": 3162, + "phi": 3163, + "idence": 3164, + "ald": 3165, + "Client": 3166, + "At": 3167, + "▁death": 3168, + "▁Let": 3169, + "ius": 3170, + "ги": 3171, + "▁ре": 3172, + "ben": 3173, + ")\r": 3174, + "ba": 3175, + ">": 3193, + "▁Just": 3194, + "What": 3195, + "atal": 3196, + "▁Min": 3197, + "▁Cor": 3198, + "▁dark": 3199, + "rl": 3200, + "▁larg": 3201, + "ding": 3202, + "ón": 3203, + "ouch": 3204, + "▁um": 3205, + "▁elect": 3206, + "▁dam": 3207, + "▁needs": 3208, + "▁matter": 3209, + "▁rather": 3210, + "from": 3211, + "ram": 3212, + "▁і": 3213, + "▁taken": 3214, + "▁deal": 3215, + "▁period": 3216, + "▁Mon": 3217, + "▁Л": 3218, + "▁Aug": 3219, + "run": 3220, + "mm": 3221, + "elle": 3222, + "▁export": 3223, + "Sc": 3224, + "vis": 3225, + "abor": 3226, + "▁author": 3227, + "ère": 3228, + "▁remember": 3229, + "▁redu": 3230, + "▁List": 3231, + "▁focus": 3232, + "▁character": 3233, + "Table": 3234, + "▁individual": 3235, + "▁needed": 3236, + "bum": 3237, + "▁style": 3238, + "inary": 3239, + "ersion": 3240, + "oute": 3241, + "▁Pe": 3242, + "▁hon": 3243, + "mut": 3244, + "see": 3245, + "▁became": 3246, + "▁dire": 3247, + "▁document": 3248, + "sec": 3249, + "ening": 3250, + "▁visit": 3251, + "▁fac": 3252, + "tx": 3253, + "down": 3254, + "plit": 3255, + "▁phys": 3256, + "itting": 3257, + "joy": 3258, + "▁hig": 3259, + "This": 3260, + "Ad": 3261, + "▁Brit": 3262, + "▁employ": 3263, + "▁ré": 3264, + "▁т": 3265, + "lambda": 3266, + "▁impro": 3267, + "▁Bo": 3268, + "iding": 3269, + "▁online": 3270, + "mem": 3271, + "atform": 3272, + "▁War": 3273, + "▁cas": 3274, + "asure": 3275, + "▁pur": 3276, + "medi": 3277, + "Dis": 3278, + "▁Germ": 3279, + "pc": 3280, + "са": 3281, + "▁friends": 3282, + "▁Mc": 3283, + "DI": 3284, + "▁plus": 3285, + "▁Set": 3286, + "iddle": 3287, + "itut": 3288, + "▁depend": 3289, + "rest": 3290, + "▁Je": 3291, + "▁hor": 3292, + "▁entire": 3293, + "Query": 3294, + "▁refer": 3295, + "▁hot": 3296, + "▁Aust": 3297, + "▁common": 3298, + "ці": 3299, + "▁pull": 3300, + "▁Add": 3301, + "▁season": 3302, + "▁invol": 3303, + "▁World": 3304, + "client": 3305, + "now": 3306, + "true": 3307, + "append": 3308, + "itted": 3309, + "empt": 3310, + "){": 3311, + "///": 3312, + "▁prop": 3313, + "imate": 3314, + "SC": 3315, + "▁hours": 3316, + "▁hope": 3317, + "andom": 3318, + "ід": 3319, + "istic": 3320, + "▁property": 3321, + "sg": 3322, + ">(": 3323, + "▁write": 3324, + "mark": 3325, + "find": 3326, + "▁personal": 3327, + "][": 3328, + "rown": 3329, + "Ph": 3330, + "▁foot": 3331, + "▁research": 3332, + "ironment": 3333, + "▁nom": 3334, + "▁instance": 3335, + "▁held": 3336, + "De": 3337, + "▁members": 3338, + "▁fire": 3339, + "▁history": 3340, + "▁map": 3341, + "▁discuss": 3342, + "▁espec": 3343, + "▁taking": 3344, + "▁services": 3345, + "▁indust": 3346, + "igen": 3347, + "▁Ass": 3348, + "▁expected": 3349, + "▁wurde": 3350, + "dir": 3351, + "▁among": 3352, + "▁sugg": 3353, + "rec": 3354, + "Inter": 3355, + "block": 3356, + "▁Rep": 3357, + "▁pain": 3358, + "▁five": 3359, + "▁fund": 3360, + "rid": 3361, + "arrow": 3362, + "▁treat": 3363, + "▁heard": 3364, + "▁determ": 3365, + "icult": 3366, + "▁sense": 3367, + "ese": 3368, + "Fun": 3369, + "▁months": 3370, + "json": 3371, + ",”": 3372, + "TI": 3373, + "orage": 3374, + "▁У": 3375, + "▁everyone": 3376, + "▁clos": 3377, + "iers": 3378, + "airs": 3379, + "define": 3380, + "If": 3381, + "osp": 3382, + "▁wonder": 3383, + "NA": 3384, + "query": 3385, + "pg": 3386, + "ites": 3387, + "▁material": 3388, + "yd": 3389, + "Read": 3390, + "html": 3391, + "TE": 3392, + "Pr": 3393, + "^{\\": 3394, + "▁gave": 3395, + "▁IS": 3396, + "▁suggest": 3397, + "Override": 3398, + "rodu": 3399, + "From": 3400, + "▁Europe": 3401, + "PO": 3402, + "▁soon": 3403, + "host": 3404, + "▁Ber": 3405, + "....": 3406, + "▁Har": 3407, + "▁energy": 3408, + "><": 3409, + "aves": 3410, + "▁easy": 3411, + "▁bre": 3412, + "frame": 3413, + "▁ground": 3414, + "with": 3415, + "▁inside": 3416, + "ief": 3417, + "▁mo": 3418, + "pm": 3419, + "pan": 3420, + "igr": 3421, + "▁om": 3422, + "next": 3423, + "omet": 3424, + "▁status": 3425, + "▁}\r": 3426, + "▁music": 3427, + "ora": 3428, + "iles": 3429, + "ki": 3430, + "▁esc": 3431, + "▁bes": 3432, + "▁Dis": 3433, + "▁host": 3434, + "▁comes": 3435, + "used": 3436, + "▁future": 3437, + "lick": 3438, + "aid": 3439, + "▁compet": 3440, + "▁voice": 3441, + "▁load": 3442, + "evel": 3443, + "▁neg": 3444, + "▁command": 3445, + "▁für": 3446, + "▁pie": 3447, + "▁quite": 3448, + "▁blo": 3449, + "agn": 3450, + "ilon": 3451, + "▁claim": 3452, + "▁teach": 3453, + "▁previous": 3454, + "▁site": 3455, + "color": 3456, + "attr": 3457, + "▁accept": 3458, + "▁exact": 3459, + ")}": 3460, + "aft": 3461, + "roller": 3462, + "он": 3463, + "oo": 3464, + "Date": 3465, + "▁ou": 3466, + "sy": 3467, + "▁pretty": 3468, + "▁image": 3469, + "BU": 3470, + "▁terms": 3471, + "▁search": 3472, + "▁è": 3473, + "▁Val": 3474, + "▁‘": 3475, + "▁Dav": 3476, + "MS": 3477, + "src": 3478, + "mar": 3479, + "incip": 3480, + "▁couldn": 3481, + "ados": 3482, + "▁dro": 3483, + "beta": 3484, + "imum": 3485, + "▁minutes": 3486, + "▁grand": 3487, + "▁»": 3488, + "▁Our": 3489, + "Str": 3490, + "VER": 3491, + "maz": 3492, + "▁original": 3493, + "ini": 3494, + "▁coll": 3495, + "loat": 3496, + "▁os": 3497, + "});": 3498, + "summary": 3499, + "▁wall": 3500, + "Color": 3501, + "▁vers": 3502, + "▁della": 3503, + "▁\"\"\"": 3504, + "mathbf": 3505, + "zer": 3506, + "aur": 3507, + "▁track": 3508, + "▁associ": 3509, + "▁suff": 3510, + "▁inde": 3511, + "ague": 3512, + "▁Apr": 3513, + "Le": 3514, + "roups": 3515, + "board": 3516, + "▁attack": 3517, + "▁series": 3518, + "▁instead": 3519, + "ham": 3520, + "book": 3521, + "▁six": 3522, + "▁Rec": 3523, + "▁coming": 3524, + "urt": 3525, + "▁global": 3526, + "▁necess": 3527, + "lege": 3528, + "Pos": 3529, + "▁leave": 3530, + "▁pod": 3531, + "ategory": 3532, + "uz": 3533, + "▁deep": 3534, + "▁km": 3535, + "▁outside": 3536, + "has": 3537, + "options": 3538, + "▁Sm": 3539, + "Sub": 3540, + "rows": 3541, + "▁ви": 3542, + "▁States": 3543, + "▁wrong": 3544, + "▁however": 3545, + "▁sem": 3546, + "▁catch": 3547, + "\"),": 3548, + "model": 3549, + "▁http": 3550, + "▁option": 3551, + "rie": 3552, + "▁ста": 3553, + "▁är": 3554, + "▁enjoy": 3555, + "nu": 3556, + "▁pas": 3557, + "▁amount": 3558, + "▁respons": 3559, + "▁Intern": 3560, + "▁myself": 3561, + "▁opp": 3562, + "▁Sim": 3563, + "▁sens": 3564, + "Ed": 3565, + "▁(\\": 3566, + "▁students": 3567, + "нов": 3568, + "▁points": 3569, + "arning": 3570, + "UP": 3571, + "elling": 3572, + "▁cannot": 3573, + "Be": 3574, + "▁length": 3575, + "null": 3576, + "uint": 3577, + "wise": 3578, + "▁double": 3579, + "ige": 3580, + "ista": 3581, + "▁estab": 3582, + "anch": 3583, + "▁ago": 3584, + "▁bound": 3585, + "▁fa": 3586, + "▁clean": 3587, + "▁simple": 3588, + "mi": 3589, + "########": 3590, + "ifier": 3591, + "▁General": 3592, + "▁seemed": 3593, + "ena": 3594, + "▁age": 3595, + "ной": 3596, + "endif": 3597, + "AA": 3598, + "▁caus": 3599, + "▁educ": 3600, + "▁cell": 3601, + "Gener": 3602, + "space": 3603, + "▁Your": 3604, + "▁beaut": 3605, + "gt": 3606, + "▁limit": 3607, + "▁date": 3608, + "Util": 3609, + "▁National": 3610, + "ows": 3611, + "pat": 3612, + "quad": 3613, + "▁ok": 3614, + "▁И": 3615, + "arth": 3616, + "hat": 3617, + "▁community": 3618, + "oul": 3619, + "▁econom": 3620, + "Component": 3621, + "bor": 3622, + "usion": 3623, + "▁below": 3624, + "earch": 3625, + "ores": 3626, + "ban": 3627, + "▁August": 3628, + "▁further": 3629, + "sigma": 3630, + "▁ha": 3631, + "ji": 3632, + "▁comput": 3633, + "гра": 3634, + "▁None": 3635, + "▁ter": 3636, + "▁anyone": 3637, + "▁task": 3638, + "ente": 3639, + "position": 3640, + "pped": 3641, + "▁aus": 3642, + "Attribute": 3643, + "req": 3644, + "addr": 3645, + "light": 3646, + "ше": 3647, + "▁arm": 3648, + "cover": 3649, + "upport": 3650, + "▁Gl": 3651, + "▁San": 3652, + "▁writing": 3653, + "▁lost": 3654, + "▁Mark": 3655, + "▁gre": 3656, + "TYPE": 3657, + "▁South": 3658, + "▁perfect": 3659, + "▁package": 3660, + "▁infl": 3661, + "haps": 3662, + "▁Ang": 3663, + "respon": 3664, + "ris": 3665, + "ptember": 3666, + "▁building": 3667, + "VAL": 3668, + "free": 3669, + "▁ce": 3670, + "HT": 3671, + "▁From": 3672, + "ds": 3673, + "roy": 3674, + "achine": 3675, + "nown": 3676, + "▁saying": 3677, + "▁бы": 3678, + "oe": 3679, + "Ref": 3680, + "▁network": 3681, + "parent": 3682, + "uge": 3683, + "▁similar": 3684, + ">\r": 3685, + "Builder": 3686, + "▁living": 3687, + "▁continue": 3688, + "anger": 3689, + "▁Red": 3690, + "▁hair": 3691, + "anced": 3692, + "ians": 3693, + "▁dead": 3694, + "▁boolean": 3695, + "ication": 3696, + "▁де": 3697, + "▁client": 3698, + "uct": 3699, + "▁•": 3700, + "SP": 3701, + "older": 3702, + "пе": 3703, + "udio": 3704, + "▁deg": 3705, + "asing": 3706, + "▁step": 3707, + "▁pers": 3708, + "ção": 3709, + "obj": 3710, + "oz": 3711, + "ula": 3712, + "▁round": 3713, + "▁upon": 3714, + "▁resource": 3715, + "▁valid": 3716, + "▁II": 3717, + "bug": 3718, + "std": 3719, + "▁ang": 3720, + "span": 3721, + "pol": 3722, + "ialog": 3723, + "▁phot": 3724, + "?'": 3725, + "DB": 3726, + "▁Fin": 3727, + "VE": 3728, + "Em": 3729, + "▁cam": 3730, + "target": 3731, + "pected": 3732, + "Hel": 3733, + "▁ut": 3734, + "▁Test": 3735, + "▁town": 3736, + "align": 3737, + "▁webs": 3738, + "inner": 3739, + "augh": 3740, + "▁except": 3741, + "▁initial": 3742, + "enty": 3743, + "lich": 3744, + "▁Aut": 3745, + "top": 3746, + "▁fail": 3747, + "ona": 3748, + "▁benef": 3749, + "anks": 3750, + "ische": 3751, + ".*": 3752, + "▁signific": 3753, + "▁contact": 3754, + "Rec": 3755, + "ario": 3756, + "ottom": 3757, + "▁relationship": 3758, + "]);": 3759, + "▁На": 3760, + "Head": 3761, + "format": 3762, + "▁ét": 3763, + "▁More": 3764, + "actory": 3765, + "portun": 3766, + "+\\": 3767, + "▁simply": 3768, + "▁ep": 3769, + "▁Russ": 3770, + "ní": 3771, + "ua": 3772, + "erc": 3773, + "▁longer": 3774, + "inition": 3775, + "ector": 3776, + "aption": 3777, + "▁profess": 3778, + "▁Mus": 3779, + "ilities": 3780, + "ès": 3781, + "▁Act": 3782, + "offset": 3783, + "▁ill": 3784, + "band": 3785, + "▁Ag": 3786, + "▁По": 3787, + "би": 3788, + "content": 3789, + "icon": 3790, + "▁works": 3791, + "ynam": 3792, + "plement": 3793, + "Resource": 3794, + "Action": 3795, + "▁difficult": 3796, + "▁West": 3797, + "▁video": 3798, + "▁THE": 3799, + "▁decl": 3800, + "ondon": 3801, + "ded": 3802, + "}{\\": 3803, + "ocr": 3804, + "▁City": 3805, + "▁я": 3806, + "uer": 3807, + "cz": 3808, + "▁imag": 3809, + "cr": 3810, + "ete": 3811, + "idget": 3812, + "▁Mod": 3813, + "▁forward": 3814, + "▁pict": 3815, + "orge": 3816, + "▁subject": 3817, + "update": 3818, + "attle": 3819, + "sa": 3820, + "▁Ant": 3821, + "▁running": 3822, + "▁sal": 3823, + "conne": 3824, + "▁output": 3825, + "adata": 3826, + "ML": 3827, + "Check": 3828, + "ledge": 3829, + "▁paper": 3830, + "params": 3831, + "avy": 3832, + "▁af": 3833, + "▁eine": 3834, + "▁jour": 3835, + "AY": 3836, + "▁itself": 3837, + "▁Str": 3838, + "style": 3839, + "That": 3840, + "▁million": 3841, + "▁language": 3842, + "OS": 3843, + "ving": 3844, + "▁ма": 3845, + "▁то": 3846, + ")(": 3847, + "▁buy": 3848, + "./": 3849, + "▁...": 3850, + "▁tried": 3851, + "▁compl": 3852, + "▁activ": 3853, + "apped": 3854, + "Button": 3855, + "Token": 3856, + "▁provided": 3857, + "iber": 3858, + "▁created": 3859, + "curity": 3860, + "End": 3861, + "ał": 3862, + "uster": 3863, + "izing": 3864, + "omb": 3865, + "▁sich": 3866, + "▁compon": 3867, + "▁See": 3868, + "▁uint": 3869, + "▁label": 3870, + "vol": 3871, + "ów": 3872, + "ocol": 3873, + "▁received": 3874, + "▁intern": 3875, + "це": 3876, + "Run": 3877, + "▁road": 3878, + "▁Oct": 3879, + "▁Comp": 3880, + "▁study": 3881, + "▁те": 3882, + "Act": 3883, + "▁tour": 3884, + "▁State": 3885, + "▁added": 3886, + "https": 3887, + "stream": 3888, + "▁lower": 3889, + "▁box": 3890, + "▁Sk": 3891, + "▁themselves": 3892, + "▁cross": 3893, + "▁echo": 3894, + "▁device": 3895, + "pose": 3896, + "▁games": 3897, + "PL": 3898, + "Window": 3899, + "ises": 3900, + "title": 3901, + "Stream": 3902, + "zt": 3903, + "▁Sw": 3904, + "▁role": 3905, + "iant": 3906, + "ku": 3907, + "sequ": 3908, + "▁late": 3909, + "▁sold": 3910, + "ря": 3911, + "Comm": 3912, + "▁entre": 3913, + "▁dog": 3914, + "device": 3915, + "Par": 3916, + "▁likely": 3917, + "^{-": 3918, + "▁len": 3919, + "▁Paul": 3920, + "▁tool": 3921, + "Off": 3922, + "▁famil": 3923, + "▁draw": 3924, + "apping": 3925, + "▁events": 3926, + "cret": 3927, + "rought": 3928, + "Content": 3929, + "▁software": 3930, + "ria": 3931, + "msg": 3932, + "gamma": 3933, + "▁hear": 3934, + "Oper": 3935, + "▁yourself": 3936, + "▁liter": 3937, + "emp": 3938, + "▁separ": 3939, + "▁З": 3940, + "▁title": 3941, + "Method": 3942, + "mathrm": 3943, + "▁slow": 3944, + "▁Rom": 3945, + "!!": 3946, + "▁tax": 3947, + "ска": 3948, + "emplate": 3949, + "oi": 3950, + "▁Art": 3951, + "false": 3952, + "astic": 3953, + "сть": 3954, + "ocket": 3955, + "▁ens": 3956, + "TO": 3957, + "amente": 3958, + "local": 3959, + "chie": 3960, + "▁pan": 3961, + "ний": 3962, + "chema": 3963, + "▁North": 3964, + "зо": 3965, + "▁>=": 3966, + "Aut": 3967, + "▁dig": 3968, + "▁seems": 3969, + "▁morning": 3970, + "sole": 3971, + "umer": 3972, + "delta": 3973, + "ité": 3974, + "abase": 3975, + "raf": 3976, + "▁observ": 3977, + "▁Est": 3978, + "▁seg": 3979, + "▁[]": 3980, + "▁Pres": 3981, + "iful": 3982, + "push": 3983, + "▁Off": 3984, + "ipe": 3985, + "ati": 3986, + "▁dim": 3987, + "ceed": 3988, + "Ent": 3989, + "____": 3990, + "entry": 3991, + "▁fight": 3992, + "▁cred": 3993, + "▁OR": 3994, + "▁Dep": 3995, + "${": 3996, + "лен": 3997, + "Create": 3998, + "▁April": 3999, + "ministr": 4000, + "FL": 4001, + "▁Ap": 4002, + "▁Here": 4003, + "private": 4004, + "Instance": 4005, + "iem": 4006, + "▁office": 4007, + "▁third": 4008, + "▁update": 4009, + "Line": 4010, + "tag": 4011, + "▁especially": 4012, + "▁года": 4013, + "▁cu": 4014, + "▁kill": 4015, + "aught": 4016, + "▁swe": 4017, + "Options": 4018, + "IM": 4019, + "CC": 4020, + "▁compan": 4021, + "just": 4022, + "▁While": 4023, + "izer": 4024, + "▁мо": 4025, + "ке": 4026, + "▁auto": 4027, + "▁band": 4028, + "мен": 4029, + "iques": 4030, + "▁ple": 4031, + "NO": 4032, + "▁OF": 4033, + "▁song": 4034, + "▁Acc": 4035, + "EXT": 4036, + "ensor": 4037, + "ining": 4038, + "▁lat": 4039, + "big": 4040, + "▁King": 4041, + "och": 4042, + "si": 4043, + "▁Hist": 4044, + "▁quality": 4045, + "mode": 4046, + "▁opportun": 4047, + "▁wouldn": 4048, + ":**": 4049, + "output": 4050, + "▁feet": 4051, + "▁mis": 4052, + "df": 4053, + "aging": 4054, + "▁ме": 4055, + "▁tro": 4056, + "▁defined": 4057, + "▁review": 4058, + "▁Fil": 4059, + ">>": 4060, + "▁princip": 4061, + "Base": 4062, + "dict": 4063, + "verage": 4064, + "icient": 4065, + "IF": 4066, + "▁hit": 4067, + "Page": 4068, + "▁perm": 4069, + "cel": 4070, + "ít": 4071, + "▁express": 4072, + "▁indic": 4073, + "▁September": 4074, + "image": 4075, + "▁products": 4076, + "▁media": 4077, + "change": 4078, + "igger": 4079, + "▁send": 4080, + "last": 4081, + "ming": 4082, + "pa": 4083, + "uary": 4084, + "▁speak": 4085, + "ный": 4086, + "ще": 4087, + "ysis": 4088, + "lying": 4089, + "▁ч": 4090, + "like": 4091, + "ры": 4092, + "ві": 4093, + "▁Mich": 4094, + "MO": 4095, + "▁Jah": 4096, + "ensive": 4097, + "▁share": 4098, + "▁development": 4099, + "CP": 4100, + "spec": 4101, + "▁fast": 4102, + "het": 4103, + "HO": 4104, + "▁particip": 4105, + "Block": 4106, + "▁viol": 4107, + "▁frame": 4108, + "▁qual": 4109, + "tre": 4110, + "▁Ф": 4111, + "▁toward": 4112, + "fg": 4113, + "Box": 4114, + "Column": 4115, + "▁milit": 4116, + "▁March": 4117, + "▁various": 4118, + "pass": 4119, + "▁Park": 4120, + "▁Ben": 4121, + "Frame": 4122, + "▁normal": 4123, + "open": 4124, + "px": 4125, + "▁phone": 4126, + "▁Even": 4127, + "▁ma": 4128, + "ibrary": 4129, + "Start": 4130, + "idden": 4131, + "rho": 4132, + "graph": 4133, + "acing": 4134, + "'.": 4135, + "arter": 4136, + "mes": 4137, + "inst": 4138, + "▁ir": 4139, + "active": 4140, + "▁fem": 4141, + "▁moved": 4142, + "▁store": 4143, + "▁price": 4144, + "\").": 4145, + "berg": 4146, + "▁nov": 4147, + "▁card": 4148, + "ellow": 4149, + "▁party": 4150, + "▁Mor": 4151, + "ael": 4152, + "▁percent": 4153, + "▁training": 4154, + "▁ing": 4155, + "imer": 4156, + "▁Sam": 4157, + "Default": 4158, + "▁fuck": 4159, + "▁complete": 4160, + "uid": 4161, + "▁details": 4162, + "▁led": 4163, + "Point": 4164, + "▁Count": 4165, + "▁regard": 4166, + "zo": 4167, + "▁Bro": 4168, + "▁recogn": 4169, + "▁Hol": 4170, + "UM": 4171, + "element": 4172, + "Mode": 4173, + "▁exam": 4174, + "▁EX": 4175, + "Image": 4176, + "verse": 4177, + "riter": 4178, + "soft": 4179, + "▁introdu": 4180, + "▁surpr": 4181, + "Buffer": 4182, + "lector": 4183, + "aren": 4184, + "anged": 4185, + "▁Pat": 4186, + "▁Pal": 4187, + "▁contr": 4188, + "Handler": 4189, + "▁features": 4190, + "iple": 4191, + "▁CON": 4192, + "Fil": 4193, + "▁Port": 4194, + "▁thinking": 4195, + "doc": 4196, + "wer": 4197, + "▁worked": 4198, + "PC": 4199, + "cm": 4200, + "dat": 4201, + "PRO": 4202, + "▁Every": 4203, + "▁era": 4204, + "▁First": 4205, + "gn": 4206, + "▁immedi": 4207, + "ovember": 4208, + "apan": 4209, + "▁extra": 4210, + "▁section": 4211, + "▁June": 4212, + "▁via": 4213, + "▁gone": 4214, + "come": 4215, + "▁stri": 4216, + "^\\": 4217, + "antly": 4218, + "▁arch": 4219, + "Source": 4220, + "▁conv": 4221, + "▁London": 4222, + "Number": 4223, + "▁questions": 4224, + "andid": 4225, + "▁played": 4226, + "env": 4227, + "▁School": 4228, + "▁natural": 4229, + "can": 4230, + "▁news": 4231, + "DR": 4232, + "▁chall": 4233, + "▁Soc": 4234, + "▁э": 4235, + "▁attempt": 4236, + "*}": 4237, + "Null": 4238, + "rote": 4239, + "▁bi": 4240, + "▁written": 4241, + "▁blood": 4242, + "▁happened": 4243, + "▁cause": 4244, + "ashing": 4245, + "▁William": 4246, + "adem": 4247, + "▁brought": 4248, + "▁display": 4249, + "ima": 4250, + "▁finally": 4251, + "tab": 4252, + "▁returned": 4253, + "ных": 4254, + "nie": 4255, + "▁q": 4256, + "▁hers": 4257, + "▁Pre": 4258, + "▁dou": 4259, + "buffer": 4260, + "▁effort": 4261, + "aine": 4262, + "xy": 4263, + "▁histor": 4264, + "enu": 4265, + "▁arriv": 4266, + "▁Dem": 4267, + "▁favor": 4268, + "▁handle": 4269, + "SET": 4270, + "▁Public": 4271, + "rupt": 4272, + "▁ur": 4273, + "▁force": 4274, + "▁és": 4275, + "ube": 4276, + "Pre": 4277, + "рі": 4278, + "iny": 4279, + "theta": 4280, + "isf": 4281, + "▁national": 4282, + "Equal": 4283, + "rench": 4284, + "▁wife": 4285, + "▁capt": 4286, + "▁Inter": 4287, + "tau": 4288, + "▁sleep": 4289, + "../../": 4290, + "▁issue": 4291, + "▁member": 4292, + "▁await": 4293, + "▁Dan": 4294, + "zi": 4295, + "inate": 4296, + "▁sym": 4297, + "chan": 4298, + "▁Jack": 4299, + "▁English": 4300, + "▁sz": 4301, + "ributes": 4302, + "▁ign": 4303, + "ál": 4304, + "▁appear": 4305, + "rad": 4306, + "idge": 4307, + "▁couple": 4308, + "▁ship": 4309, + "lig": 4310, + "web": 4311, + "▁usually": 4312, + "▁ready": 4313, + "▁vill": 4314, + "▁Why": 4315, + "ebru": 4316, + "▁grad": 4317, + "ords": 4318, + "▁inf": 4319, + "▁loss": 4320, + "▁od": 4321, + "▁Phil": 4322, + "server": 4323, + "▁Up": 4324, + "▁buff": 4325, + "▁filename": 4326, + "ABLE": 4327, + "iting": 4328, + "efore": 4329, + "()->": 4330, + "▁conditions": 4331, + "vm": 4332, + "eld": 4333, + "itz": 4334, + "▁Trans": 4335, + "▁weight": 4336, + "▁higher": 4337, + "▁rate": 4338, + "▁accom": 4339, + "vider": 4340, + "OM": 4341, + "▁ways": 4342, + "coming": 4343, + "▁lock": 4344, + "▁etc": 4345, + "▁avec": 4346, + "▁takes": 4347, + "▁Char": 4348, + "▁November": 4349, + "method": 4350, + "▁Austral": 4351, + "▁America": 4352, + "long": 4353, + "cember": 4354, + "▁political": 4355, + "flow": 4356, + "▁maybe": 4357, + "▁amb": 4358, + "Layout": 4359, + "iled": 4360, + "omen": 4361, + "ola": 4362, + "icip": 4363, + "partial": 4364, + "True": 4365, + "▁floor": 4366, + "▁Def": 4367, + "▁concern": 4368, + "yr": 4369, + "▁shows": 4370, + "ih": 4371, + "▁answer": 4372, + "acc": 4373, + "▁ball": 4374, + "▁Rev": 4375, + "▁sun": 4376, + "▁quickly": 4377, + "▁somet": 4378, + "mente": 4379, + "▁Mal": 4380, + "undred": 4381, + "▁issues": 4382, + "ecause": 4383, + "pes": 4384, + "▁player": 4385, + "▁parents": 4386, + "▁popular": 4387, + "▁mode": 4388, + "▁mention": 4389, + "NE": 4390, + "Load": 4391, + "▁regular": 4392, + "aved": 4393, + "?:": 4394, + "year": 4395, + "func": 4396, + "▁performance": 4397, + "▁July": 4398, + "thern": 4399, + "▁website": 4400, + "ford": 4401, + "PR": 4402, + "ela": 4403, + "level": 4404, + "uit": 4405, + "flags": 4406, + "▁worth": 4407, + "▁correspon": 4408, + "▁British": 4409, + "sim": 4410, + "▁alone": 4411, + "▁har": 4412, + "▁ones": 4413, + "obile": 4414, + "▁dru": 4415, + "chi": 4416, + "▁David": 4417, + "▁problems": 4418, + "▁column": 4419, + "();\r": 4420, + "ZE": 4421, + "▁relig": 4422, + "ological": 4423, + "▁region": 4424, + "ady": 4425, + "IO": 4426, + "ander": 4427, + "Net": 4428, + "▁built": 4429, + "▁install": 4430, + "▁approach": 4431, + "Cur": 4432, + "▁fine": 4433, + "▁talking": 4434, + "▁changes": 4435, + "Style": 4436, + "▁Mart": 4437, + "лю": 4438, + "response": 4439, + "teger": 4440, + "{\r": 4441, + "irit": 4442, + "▁protected": 4443, + "▁rele": 4444, + "ership": 4445, + "тель": 4446, + "unsigned": 4447, + "ialize": 4448, + "▁https": 4449, + "Tag": 4450, + "▁$(": 4451, + "more": 4452, + "ypes": 4453, + "▁stream": 4454, + "etch": 4455, + "▁engine": 4456, + "KE": 4457, + "cmd": 4458, + "script": 4459, + "ttp": 4460, + "▁avoid": 4461, + "▁terr": 4462, + "▁rock": 4463, + "▁ful": 4464, + "Update": 4465, + "▁environment": 4466, + "▁prec": 4467, + "▁са": 4468, + "▁cases": 4469, + "▁offset": 4470, + "▁rais": 4471, + "lib": 4472, + "ées": 4473, + "aa": 4474, + "yt": 4475, + "▁arr": 4476, + "opyright": 4477, + "first": 4478, + "▁util": 4479, + "▁feature": 4480, + "posed": 4481, + "ffect": 4482, + "жа": 4483, + "itude": 4484, + "ements": 4485, + "asc": 4486, + "ador": 4487, + "lections": 4488, + "▁club": 4489, + "]{": 4490, + "▁*)": 4491, + "ство": 4492, + "▁imm": 4493, + "▁former": 4494, + "▁rights": 4495, + "▁decided": 4496, + "▁rev": 4497, + "▁ment": 4498, + "ani": 4499, + "▁stru": 4500, + "▁attention": 4501, + "artment": 4502, + "▁Ital": 4503, + "alle": 4504, + "▁bis": 4505, + "gener": 4506, + "▁integr": 4507, + "ello": 4508, + "rypt": 4509, + "▁achie": 4510, + "nes": 4511, + "▁stra": 4512, + "sb": 4513, + "▁types": 4514, + "▁RE": 4515, + "Init": 4516, + "▁comment": 4517, + "▁addition": 4518, + "▁ID": 4519, + "ART": 4520, + "FO": 4521, + "щи": 4522, + "Conne": 4523, + "▁squ": 4524, + "▁considered": 4525, + "idad": 4526, + "▁October": 4527, + "cial": 4528, + "▁Of": 4529, + "▁travel": 4530, + "▁boy": 4531, + "').": 4532, + "uy": 4533, + "illa": 4534, + "istry": 4535, + "▁va": 4536, + "▁Che": 4537, + "ERT": 4538, + "ende": 4539, + "ungen": 4540, + "aby": 4541, + "▁Rober": 4542, + "▁playing": 4543, + "ils": 4544, + "▁sam": 4545, + "▁execut": 4546, + "▁Us": 4547, + "▁mut": 4548, + "▁bal": 4549, + "asse": 4550, + "▁kids": 4551, + "▁financ": 4552, + "gor": 4553, + "▁Sec": 4554, + "bert": 4555, + "▁High": 4556, + "▁је": 4557, + "▁kept": 4558, + "button": 4559, + "itory": 4560, + "▁Rem": 4561, + "▁DE": 4562, + "▁reach": 4563, + "▁bur": 4564, + "Label": 4565, + "át": 4566, + "ago": 4567, + "▁passed": 4568, + "▁behav": 4569, + "xFF": 4570, + "▁Return": 4571, + "STR": 4572, + "▁Les": 4573, + "▁ord": 4574, + "ala": 4575, + "inger": 4576, + "▁Since": 4577, + "▁experi": 4578, + "▁shall": 4579, + "▁star": 4580, + "non": 4581, + "▁gun": 4582, + "▁Bel": 4583, + "▁obj": 4584, + "ares": 4585, + "rs": 4586, + "▁weeks": 4587, + "nen": 4588, + "▁Stre": 4589, + "oring": 4590, + "▁î": 4591, + "▁serious": 4592, + "times": 4593, + "▁House": 4594, + "▁roll": 4595, + "▁register": 4596, + "▁module": 4597, + "▁applic": 4598, + "IR": 4599, + "▁cook": 4600, + "aux": 4601, + "▁save": 4602, + "▁Cr": 4603, + ",\r": 4604, + "▁states": 4605, + "▁empty": 4606, + "▁autom": 4607, + "figure": 4608, + "iance": 4609, + "▁happy": 4610, + "▁fn": 4611, + "▁jud": 4612, + "▁hat": 4613, + "ACK": 4614, + "▁Fe": 4615, + "$-": 4616, + "ivil": 4617, + "oted": 4618, + "▁sizeof": 4619, + "▁situation": 4620, + "▁lives": 4621, + "▁feeling": 4622, + "▁risk": 4623, + "▁January": 4624, + "▁Object": 4625, + "▁recomm": 4626, + "▁вы": 4627, + "▁potential": 4628, + "eah": 4629, + "▁complex": 4630, + "printf": 4631, + "istance": 4632, + "irth": 4633, + "lik": 4634, + "aste": 4635, + "▁whose": 4636, + "Arg": 4637, + "▁modern": 4638, + "iones": 4639, + "▁че": 4640, + "▁sett": 4641, + "▁Mag": 4642, + "ae": 4643, + "▁condition": 4644, + "Length": 4645, + "▁fit": 4646, + "ounds": 4647, + "▁changed": 4648, + "▁guy": 4649, + "filter": 4650, + "atever": 4651, + "éd": 4652, + "remove": 4653, + "▁hop": 4654, + "▁Out": 4655, + "▁Rich": 4656, + "child": 4657, + "▁included": 4658, + "$\\": 4659, + "▁Tom": 4660, + "eline": 4661, + "▁sometimes": 4662, + "▁drink": 4663, + "▁quant": 4664, + "▁please": 4665, + "▁Int": 4666, + "rief": 4667, + "▁exactly": 4668, + "cing": 4669, + "▁allowed": 4670, + "build": 4671, + "▁beautiful": 4672, + "▁Well": 4673, + "▁looks": 4674, + "▁ü": 4675, + "▁chance": 4676, + "▁wrote": 4677, + "▁nor": 4678, + "▁failed": 4679, + "Met": 4680, + "▁prior": 4681, + "▁hundred": 4682, + "ской": 4683, + "oria": 4684, + "▁cy": 4685, + "▁web": 4686, + "▁mess": 4687, + "leq": 4688, + "dy": 4689, + "tex": 4690, + "▁anim": 4691, + "atur": 4692, + "▁structure": 4693, + "option": 4694, + "▁actual": 4695, + "▁Franc": 4696, + "enced": 4697, + ".": 4884, + "▁production": 4885, + "iger": 4886, + "▁ст": 4887, + "show": 4888, + "▁population": 4889, + "▁park": 4890, + "▁Ze": 4891, + "▁necessary": 4892, + "▁trust": 4893, + "▁shown": 4894, + "module": 4895, + "GE": 4896, + "▁lay": 4897, + "▁announ": 4898, + "▁className": 4899, + "▁calcul": 4900, + "Function": 4901, + "▁Sal": 4902, + "OK": 4903, + "TP": 4904, + "▁entry": 4905, + "▁Stud": 4906, + "▁items": 4907, + "▁security": 4908, + "Entry": 4909, + "float": 4910, + "ls": 4911, + "ibly": 4912, + "▁contribut": 4913, + "▁Check": 4914, + "MD": 4915, + "▁improve": 4916, + "Part": 4917, + "▁systems": 4918, + "Bl": 4919, + "▁policy": 4920, + "▁screen": 4921, + "▁Any": 4922, + "▁opened": 4923, + "alloc": 4924, + "▁December": 4925, + "▁É": 4926, + "▁email": 4927, + "ader": 4928, + "=>": 4929, + "▁Hen": 4930, + "▁info": 4931, + "▁float": 4932, + "▁switch": 4933, + "ран": 4934, + "urance": 4935, + "▁assum": 4936, + "ustr": 4937, + "▁groups": 4938, + "▁Read": 4939, + "▁wat": 4940, + "Sp": 4941, + "вер": 4942, + "RAN": 4943, + "hib": 4944, + "ALL": 4945, + "▁hus": 4946, + "Spec": 4947, + "\"))": 4948, + "▁French": 4949, + "▁Class": 4950, + "▁president": 4951, + "▁definit": 4952, + "▁Nor": 4953, + "▁Thom": 4954, + "aign": 4955, + "Width": 4956, + "Do": 4957, + "▁{@": 4958, + "agon": 4959, + "▁Lu": 4960, + "▁followed": 4961, + "MM": 4962, + "asons": 4963, + "tmp": 4964, + "▁throws": 4965, + "ITY": 4966, + "ном": 4967, + "▁fair": 4968, + "▁pen": 4969, + "ég": 4970, + "▁interface": 4971, + "▁saf": 4972, + "oon": 4973, + "Back": 4974, + "▁speed": 4975, + "▁extends": 4976, + "empty": 4977, + "▁пере": 4978, + "▁proper": 4979, + "▁driv": 4980, + "фи": 4981, + "▁center": 4982, + "header": 4983, + "▁})": 4984, + "wa": 4985, + "▁middle": 4986, + "▁choose": 4987, + "▁Stad": 4988, + "SO": 4989, + "Factory": 4990, + "Dev": 4991, + "icles": 4992, + "▁application": 4993, + "▁models": 4994, + "pite": 4995, + "cap": 4996, + "xi": 4997, + "ospital": 4998, + "▁dream": 4999, + "END": 5000, + "▁contract": 5001, + "icrosoft": 5002, + "▁thous": 5003, + "izes": 5004, + "▁да": 5005, + "▁CO": 5006, + "▁direction": 5007, + "▁``": 5008, + "▁drive": 5009, + "Max": 5010, + "cia": 5011, + "▁continu": 5012, + "▁Alex": 5013, + "▁gold": 5014, + "▁prep": 5015, + "▁origin": 5016, + "▁rap": 5017, + "Op": 5018, + "ously": 5019, + "▁areas": 5020, + "PORT": 5021, + "она": 5022, + "▁safe": 5023, + "▁professional": 5024, + "apache": 5025, + "▁temper": 5026, + "sz": 5027, + "▁unit": 5028, + "▁cop": 5029, + "eqn": 5030, + "Listener": 5031, + "▁format": 5032, + "select": 5033, + "▁comfort": 5034, + "▁meant": 5035, + "iday": 5036, + "eme": 5037, + "▁active": 5038, + "▁note": 5039, + "▁Mil": 5040, + "only": 5041, + "▁<=": 5042, + "▁neigh": 5043, + "ao": 5044, + "▁blue": 5045, + "▁TV": 5046, + "Child": 5047, + "▁reached": 5048, + "Address": 5049, + "ств": 5050, + "▁closed": 5051, + "inder": 5052, + "olo": 5053, + "▁alt": 5054, + "▁adm": 5055, + "Format": 5056, + "UI": 5057, + "▁Ham": 5058, + "▁frequ": 5059, + "▁independ": 5060, + "▁easily": 5061, + "▁Land": 5062, + "▁tor": 5063, + "ography": 5064, + "infty": 5065, + "▁Work": 5066, + "iven": 5067, + "▁County": 5068, + "▁src": 5069, + "}$,": 5070, + "parse": 5071, + "CD": 5072, + "▁Cour": 5073, + "▁fol": 5074, + "Entity": 5075, + "pgf": 5076, + "▁China": 5077, + "▁Sub": 5078, + "hood": 5079, + "▁fields": 5080, + "▁yes": 5081, + "rend": 5082, + "▁towards": 5083, + "▁staff": 5084, + "▁Air": 5085, + "▁station": 5086, + "atives": 5087, + "▁impact": 5088, + "вы": 5089, + "▁directly": 5090, + "issions": 5091, + "iva": 5092, + "|\\": 5093, + "Ptr": 5094, + "▁Sant": 5095, + "Pol": 5096, + "▁progress": 5097, + "itar": 5098, + "▁parts": 5099, + "▁plant": 5100, + "▁absolut": 5101, + "▁guess": 5102, + "eqref": 5103, + "▁tim": 5104, + "▁Lou": 5105, + "▁cool": 5106, + "alu": 5107, + "▁mouth": 5108, + "них": 5109, + "▁height": 5110, + "gest": 5111, + "▁Post": 5112, + "▁board": 5113, + "▁tit": 5114, + "▁hour": 5115, + "▁server": 5116, + "▁players": 5117, + "rier": 5118, + "Link": 5119, + "▁President": 5120, + "](": 5121, + "▁construct": 5122, + "handle": 5123, + "}$.": 5124, + "rying": 5125, + "▁shop": 5126, + "iana": 5127, + "exp": 5128, + "Helper": 5129, + "Offset": 5130, + "aches": 5131, + "▁connection": 5132, + "▁difference": 5133, + "service": 5134, + "▁gas": 5135, + "▁priv": 5136, + "▁univers": 5137, + "▁wish": 5138, + "Rem": 5139, + "Url": 5140, + "geb": 5141, + "So": 5142, + "ensions": 5143, + "Module": 5144, + "SIZE": 5145, + "▁prem": 5146, + "window": 5147, + "▁dies": 5148, + "del": 5149, + "▁row": 5150, + "▁average": 5151, + "xim": 5152, + "▁pu": 5153, + "anç": 5154, + "Det": 5155, + "ker": 5156, + "ya": 5157, + "▁Det": 5158, + "▁på": 5159, + "▁named": 5160, + "▁decision": 5161, + "win": 5162, + "▁George": 5163, + "arily": 5164, + "▁solution": 5165, + "▁multiple": 5166, + "ategy": 5167, + "▁learning": 5168, + "▁secret": 5169, + "DO": 5170, + "▁nice": 5171, + "////////////////": 5172, + "Su": 5173, + "itation": 5174, + "▁join": 5175, + "▁elements": 5176, + "▁emer": 5177, + "tilde": 5178, + "▁dep": 5179, + "▁shot": 5180, + "▁platform": 5181, + "othing": 5182, + "My": 5183, + "edia": 5184, + "oms": 5185, + "aily": 5186, + "([": 5187, + "▁dress": 5188, + "▁official": 5189, + "estern": 5190, + "▁discover": 5191, + "▁mi": 5192, + "ные": 5193, + "CA": 5194, + "oding": 5195, + "▁Found": 5196, + "▁affect": 5197, + "Vis": 5198, + "stract": 5199, + "iced": 5200, + "debug": 5201, + "▁related": 5202, + "▁spect": 5203, + "ushed": 5204, + "сько": 5205, + "▁bank": 5206, + "▁cele": 5207, + "AND": 5208, + "olf": 5209, + "ем": 5210, + "▁fill": 5211, + "▁gives": 5212, + "▁бу": 5213, + "aron": 5214, + "▁Jes": 5215, + "REG": 5216, + "▁sudd": 5217, + "dated": 5218, + "vi": 5219, + "▁gi": 5220, + "send": 5221, + "cpp": 5222, + "▁spent": 5223, + "ande": 5224, + "▁operation": 5225, + "process": 5226, + "▁inform": 5227, + "▁Free": 5228, + "yond": 5229, + "▁perhaps": 5230, + "▁surv": 5231, + "▁Loc": 5232, + "▁concl": 5233, + "▁раз": 5234, + "▁Over": 5235, + "hol": 5236, + "raz": 5237, + "Write": 5238, + "▁giving": 5239, + "rd": 5240, + "instance": 5241, + "▁released": 5242, + "▁Ro": 5243, + "RA": 5244, + "▁practice": 5245, + "▁graph": 5246, + "▁increase": 5247, + "▁figure": 5248, + "Filter": 5249, + "HECK": 5250, + "idx": 5251, + "▁glass": 5252, + "ski": 5253, + "comes": 5254, + "▁cat": 5255, + "▁cold": 5256, + "goto": 5257, + "ufact": 5258, + "▁Copyright": 5259, + "}}\\": 5260, + "▁streng": 5261, + "▁dir": 5262, + "token": 5263, + "▁occur": 5264, + "arlier": 5265, + "▁measure": 5266, + "▁sec": 5267, + "▁más": 5268, + "▁Net": 5269, + "▁argument": 5270, + "▁sou": 5271, + "▁moving": 5272, + "▁prefer": 5273, + "mask": 5274, + "<<": 5275, + "▁breath": 5276, + "▁physical": 5277, + "▁positive": 5278, + "▁sor": 5279, + "▁depart": 5280, + "▁remove": 5281, + "▁kit": 5282, + "▁meeting": 5283, + "▁Data": 5284, + "ograf": 5285, + "actions": 5286, + "▁parameters": 5287, + "▁Att": 5288, + "esch": 5289, + "▁involved": 5290, + "ät": 5291, + "LL": 5292, + "Bar": 5293, + "▁си": 5294, + "ech": 5295, + "GET": 5296, + "▁prevent": 5297, + "▁beyond": 5298, + "▁Other": 5299, + "än": 5300, + "byte": 5301, + "▁sudden": 5302, + "olve": 5303, + "▁но": 5304, + "LOG": 5305, + "unit": 5306, + "▁truth": 5307, + "rat": 5308, + "SD": 5309, + "▁eat": 5310, + "▁Mad": 5311, + "▁provides": 5312, + "▁session": 5313, + "Dele": 5314, + "▁convers": 5315, + "center": 5316, + "▁continued": 5317, + "otion": 5318, + "cache": 5319, + "display": 5320, + "▁protect": 5321, + "ams": 5322, + "▁pow": 5323, + "CTION": 5324, + "▁Mac": 5325, + "mo": 5326, + "ха": 5327, + "▁distance": 5328, + "▁Time": 5329, + "gi": 5330, + "▁sequ": 5331, + "Target": 5332, + "сле": 5333, + "Server": 5334, + "▁wide": 5335, + "close": 5336, + "▁cru": 5337, + "Ext": 5338, + "▁select": 5339, + "▁pattern": 5340, + "\"));": 5341, + "Provider": 5342, + "URL": 5343, + "▁green": 5344, + "▁waiting": 5345, + "proto": 5346, + "▁immediately": 5347, + "common": 5348, + "azione": 5349, + "river": 5350, + "▁sen": 5351, + "▁!==": 5352, + "▁February": 5353, + "urb": 5354, + "▁Sen": 5355, + "dest": 5356, + ">": 6122, + "command": 6123, + "atz": 6124, + "▁mal": 6125, + "став": 6126, + "▁Press": 6127, + "▁characters": 6128, + "▁zero": 6129, + "AGE": 6130, + "rapper": 6131, + "▁kitchen": 6132, + "aming": 6133, + "▁restr": 6134, + "XX": 6135, + "▁College": 6136, + "▁Array": 6137, + "▁fresh": 6138, + "▁shift": 6139, + "▁specified": 6140, + "plete": 6141, + "ITE": 6142, + "▁Camp": 6143, + "rial": 6144, + "cb": 6145, + "▁TH": 6146, + "IB": 6147, + "osen": 6148, + "▁ú": 6149, + "▁params": 6150, + "ignment": 6151, + "adding": 6152, + "▁degree": 6153, + "Local": 6154, + "Oh": 6155, + "▁zur": 6156, + "▁levels": 6157, + "CS": 6158, + "finished": 6159, + "Case": 6160, + "riage": 6161, + "Vector": 6162, + "▁sea": 6163, + "antic": 6164, + "▁League": 6165, + "▁therefore": 6166, + "One": 6167, + "Return": 6168, + "Access": 6169, + "vas": 6170, + "▁ос": 6171, + "▁rat": 6172, + "Big": 6173, + "▁behavior": 6174, + "kr": 6175, + "▁undefined": 6176, + "▁Es": 6177, + "▁appeared": 6178, + "eles": 6179, + "▁WAR": 6180, + "Stat": 6181, + "▁Google": 6182, + "▁credit": 6183, + "▁File": 6184, + "anging": 6185, + "house": 6186, + "romise": 6187, + "gent": 6188, + "▁habit": 6189, + "▁society": 6190, + "▁encour": 6191, + "▁paint": 6192, + "pet": 6193, + "▁UK": 6194, + "aws": 6195, + "onom": 6196, + "Gl": 6197, + "}_{\\": 6198, + "eless": 6199, + "emy": 6200, + "▁Cong": 6201, + "▁developed": 6202, + "▁images": 6203, + "▁ö": 6204, + "▁font": 6205, + "clear": 6206, + "gin": 6207, + "▁Lord": 6208, + "▁transport": 6209, + "▁::": 6210, + "▁cup": 6211, + "ulate": 6212, + "▁During": 6213, + "priv": 6214, + "▁extrem": 6215, + "▁Di": 6216, + "▁doubt": 6217, + "Py": 6218, + "ifying": 6219, + "split": 6220, + "ego": 6221, + "github": 6222, + "▁),": 6223, + "ROM": 6224, + "▁chair": 6225, + "▁trade": 6226, + "▁nicht": 6227, + "Top": 6228, + "Store": 6229, + "▁parte": 6230, + "project": 6231, + "nia": 6232, + "▁від": 6233, + "war": 6234, + "▁Prof": 6235, + "▁caught": 6236, + "Thread": 6237, + "ства": 6238, + "author": 6239, + "▁doll": 6240, + "▁harm": 6241, + "▁Gen": 6242, + "tree": 6243, + "etime": 6244, + "cfg": 6245, + "▁guys": 6246, + "▁California": 6247, + "▁Green": 6248, + "▁movement": 6249, + "iej": 6250, + "▁statement": 6251, + "▁seeing": 6252, + "▁haven": 6253, + "vention": 6254, + "SL": 6255, + "chedul": 6256, + "iert": 6257, + "▁primary": 6258, + "▁civil": 6259, + "rian": 6260, + "▁button": 6261, + "▁lived": 6262, + "Pass": 6263, + "sor": 6264, + "▁watching": 6265, + "▁skills": 6266, + "tee": 6267, + "Level": 6268, + "▁scient": 6269, + "hs": 6270, + "▁agre": 6271, + "cat": 6272, + "▁tend": 6273, + "▁Mill": 6274, + "▁Cap": 6275, + "ORD": 6276, + "gle": 6277, + "▁сво": 6278, + "»,": 6279, + "▁ahead": 6280, + "vest": 6281, + "▁Jose": 6282, + "ischer": 6283, + "și": 6284, + "▁leaving": 6285, + "▁для": 6286, + "▁south": 6287, + "▁consum": 6288, + "Range": 6289, + "▁activities": 6290, + "Sec": 6291, + "▁sales": 6292, + "▁fix": 6293, + "▁jed": 6294, + "rum": 6295, + "vector": 6296, + "▁spot": 6297, + "▁manufact": 6298, + "кт": 6299, + "orrow": 6300, + "sign": 6301, + "▁college": 6302, + "▁driver": 6303, + "▁definitely": 6304, + "▁spend": 6305, + "mission": 6306, + "зу": 6307, + "atively": 6308, + "bi": 6309, + "Callback": 6310, + "▁particularly": 6311, + "▁hell": 6312, + "▁pool": 6313, + "PRE": 6314, + "▁clearly": 6315, + "PT": 6316, + "othes": 6317, + "▁Id": 6318, + "Location": 6319, + "▁Run": 6320, + "▁fixed": 6321, + "▁Hand": 6322, + "bal": 6323, + "double": 6324, + "Can": 6325, + "Omega": 6326, + "▁challeng": 6327, + "▁standing": 6328, + "iten": 6329, + "▁mechan": 6330, + "▁durch": 6331, + "▁dell": 6332, + "▁raised": 6333, + "▁weak": 6334, + "▁Du": 6335, + "grad": 6336, + "▁scene": 6337, + "poss": 6338, + "▁ton": 6339, + "▁earth": 6340, + "ulations": 6341, + "▁strength": 6342, + "aked": 6343, + "▁remain": 6344, + "▁Bi": 6345, + "▁customer": 6346, + "range": 6347, + "▁interested": 6348, + "ONE": 6349, + "▁coff": 6350, + "require": 6351, + "▁Only": 6352, + "▁Web": 6353, + "▁farm": 6354, + "▁activity": 6355, + "▁rout": 6356, + "bling": 6357, + "SY": 6358, + "▁Richard": 6359, + "▁Ref": 6360, + "▁кон": 6361, + "▁jun": 6362, + "born": 6363, + "ijn": 6364, + "Configuration": 6365, + "uman": 6366, + "EE": 6367, + "▁married": 6368, + "▁За": 6369, + "▁fat": 6370, + "▁kid": 6371, + "▁Tur": 6372, + "▁offered": 6373, + "nic": 6374, + "▁Big": 6375, + "Gamma": 6376, + "▁Health": 6377, + "▁TR": 6378, + "▁się": 6379, + "▁construction": 6380, + "▁Church": 6381, + "▁Bet": 6382, + "bus": 6383, + "▁earn": 6384, + "rict": 6385, + "▁пра": 6386, + "▁brain": 6387, + "▁fra": 6388, + "▁Op": 6389, + "FIG": 6390, + "ema": 6391, + "▁European": 6392, + "▁Saint": 6393, + "ARE": 6394, + "uri": 6395, + "▁River": 6396, + "{}": 6397, + "▁sitting": 6398, + "▁understanding": 6399, + "▁plans": 6400, + "ropri": 6401, + "▁older": 6402, + "▁pressure": 6403, + "Impl": 6404, + "▁peace": 6405, + "Connection": 6406, + "▁fi": 6407, + "rich": 6408, + "▁shut": 6409, + "apers": 6410, + "Port": 6411, + "▁Look": 6412, + "rim": 6413, + "auth": 6414, + "auto": 6415, + "▁highly": 6416, + "▁unless": 6417, + "▁Wal": 6418, + "▁ren": 6419, + "ws": 6420, + "▁core": 6421, + "(-": 6422, + "▁clim": 6423, + "ruit": 6424, + "▁callback": 6425, + "hest": 6426, + "▁Charles": 6427, + "▁Long": 6428, + "}=": 6429, + "ър": 6430, + "▁shared": 6431, + "ulated": 6432, + "gorithm": 6433, + "▁Home": 6434, + "▁village": 6435, + "ees": 6436, + "sv": 6437, + "▁restaur": 6438, + "rey": 6439, + "▁Cast": 6440, + "▁Person": 6441, + "кий": 6442, + "▁organiz": 6443, + "▁Rad": 6444, + "ponents": 6445, + "▁werden": 6446, + "▁bow": 6447, + "sen": 6448, + "ami": 6449, + "Interface": 6450, + "▁basis": 6451, + "▁Company": 6452, + "ernel": 6453, + "itu": 6454, + "Hash": 6455, + "▁aan": 6456, + "▁х": 6457, + "▁smile": 6458, + "xml": 6459, + "▁scen": 6460, + "amm": 6461, + "tool": 6462, + "aria": 6463, + "▁accur": 6464, + "settings": 6465, + "▁Jesus": 6466, + "acement": 6467, + "power": 6468, + "(!": 6469, + "▁calls": 6470, + "▁basic": 6471, + "▁settings": 6472, + "ript": 6473, + "pool": 6474, + "ctors": 6475, + "▁Foundation": 6476, + "▁weap": 6477, + "KEY": 6478, + "foot": 6479, + "▁radio": 6480, + "▁helped": 6481, + "mann": 6482, + "▁jump": 6483, + "▁tick": 6484, + "▁growing": 6485, + "aten": 6486, + "real": 6487, + "▁increasing": 6488, + "Device": 6489, + "varepsilon": 6490, + "▁sets": 6491, + "▁advant": 6492, + "Open": 6493, + "▁reasons": 6494, + "▁supposed": 6495, + "oes": 6496, + "ede": 6497, + "teen": 6498, + "ifdef": 6499, + "▁delete": 6500, + "▁&=": 6501, + "▁Bill": 6502, + "▁aim": 6503, + "▁Ok": 6504, + "▁Av": 6505, + "reci": 6506, + "acks": 6507, + "iste": 6508, + "Properties": 6509, + "▁tmp": 6510, + "▁dei": 6511, + "PER": 6512, + "DC": 6513, + "sta": 6514, + "нии": 6515, + "▁limited": 6516, + "▁greater": 6517, + "description": 6518, + "ori": 6519, + "aints": 6520, + "▁hy": 6521, + "▁Mel": 6522, + "▁CH": 6523, + "cons": 6524, + "▁surround": 6525, + "▁Who": 6526, + "arc": 6527, + "▁telev": 6528, + "itution": 6529, + "▁equal": 6530, + "кі": 6531, + "▁Israel": 6532, + "äh": 6533, + "▁Caption": 6534, + "▁exerc": 6535, + "empor": 6536, + "▁++": 6537, + "▁lib": 6538, + "make": 6539, + "▁MA": 6540, + "copy": 6541, + "friend": 6542, + "▁кото": 6543, + "▁damage": 6544, + "▁\\,": 6545, + "oded": 6546, + "▁none": 6547, + "▁evalu": 6548, + "ston": 6549, + ">,": 6550, + "FOR": 6551, + "▁norm": 6552, + "appe": 6553, + "Session": 6554, + "▁adult": 6555, + "▁hospital": 6556, + "▁recommend": 6557, + "property": 6558, + "stein": 6559, + "final": 6560, + "▁nu": 6561, + "second": 6562, + "▁aspect": 6563, + "\")]": 6564, + "жен": 6565, + "amento": 6566, + "▁rac": 6567, + "save": 6568, + "▁football": 6569, + "Ab": 6570, + "ungs": 6571, + "abil": 6572, + "▁Arch": 6573, + "system": 6574, + "hist": 6575, + "▁luck": 6576, + "render": 6577, + "▁sein": 6578, + "ioni": 6579, + "▁rot": 6580, + "▁corner": 6581, + "▁appropri": 6582, + "▁Software": 6583, + "▁tele": 6584, + "Delete": 6585, + "▁According": 6586, + "▁prison": 6587, + "▁lic": 6588, + "▁ми": 6589, + "term": 6590, + "sets": 6591, + "▁vel": 6592, + "▁rank": 6593, + "▁existing": 6594, + "▁Vir": 6595, + "▁trip": 6596, + "▁му": 6597, + "avax": 6598, + "▁ris": 6599, + "▁define": 6600, + "▁heat": 6601, + "car": 6602, + "▁convert": 6603, + "email": 6604, + "▁Under": 6605, + "▁Ш": 6606, + "▁Grand": 6607, + "▁exists": 6608, + "sys": 6609, + "eff": 6610, + "▁Top": 6611, + "▁č": 6612, + "▁tempor": 6613, + "▁arguments": 6614, + "▁supported": 6615, + "ensed": 6616, + "▁Francis": 6617, + "▁coord": 6618, + "▁achieve": 6619, + "▁Name": 6620, + "▁Jahr": 6621, + "▁Gi": 6622, + "she": 6623, + "▁Dev": 6624, + "▁alla": 6625, + "▁WIT": 6626, + "agment": 6627, + "custom": 6628, + "alls": 6629, + "&&": 6630, + "WE": 6631, + "▁holding": 6632, + "prototype": 6633, + "▁fing": 6634, + "▁bag": 6635, + "▁Party": 6636, + "stack": 6637, + "▁economic": 6638, + "▁Gal": 6639, + "idents": 6640, + "▁Jun": 6641, + "▁showed": 6642, + "osh": 6643, + "▁Bay": 6644, + "mail": 6645, + "▁SO": 6646, + "▁\"<": 6647, + "graphics": 6648, + "▁fu": 6649, + "click": 6650, + "▁battle": 6651, + "{{": 6652, + "▁Event": 6653, + "rior": 6654, + "chaft": 6655, + "▁favorite": 6656, + "usive": 6657, + "support": 6658, + "bm": 6659, + "Kind": 6660, + "▁safety": 6661, + "▁Ent": 6662, + "cup": 6663, + "▁Australia": 6664, + "▁destroy": 6665, + "▁organization": 6666, + "iden": 6667, + "################": 6668, + "dec": 6669, + "▁za": 6670, + "▁seven": 6671, + "arely": 6672, + "▁flag": 6673, + "Dir": 6674, + "▁Carl": 6675, + "▁doctor": 6676, + "▁variety": 6677, + "▁Lin": 6678, + "▁tom": 6679, + "^{(": 6680, + "Bo": 6681, + "antes": 6682, + "▁mine": 6683, + "▁Mit": 6684, + "▁describe": 6685, + "Args": 6686, + "LS": 6687, + "API": 6688, + "▁Luc": 6689, + "phone": 6690, + "▁science": 6691, + "▁Oper": 6692, + "Next": 6693, + "▁investig": 6694, + "▁demonstr": 6695, + "▁Govern": 6696, + "▁objects": 6697, + "▁Louis": 6698, + "▁Returns": 6699, + "▁han": 6700, + "nam": 6701, + "▁comme": 6702, + "▁presence": 6703, + "▁pel": 6704, + "▁detect": 6705, + ")=": 6706, + "▁Chinese": 6707, + "▁rich": 6708, + "▁classes": 6709, + "▁expand": 6710, + "▁Dom": 6711, + "▁Dec": 6712, + "sn": 6713, + "peed": 6714, + "▁Jim": 6715, + "should": 6716, + "▁Smith": 6717, + "▁pages": 6718, + "▁Jean": 6719, + "rics": 6720, + "▁Sund": 6721, + "ads": 6722, + "▁Their": 6723, + "unicip": 6724, + "ву": 6725, + "▁download": 6726, + "▁stress": 6727, + "▁Pet": 6728, + "menu": 6729, + "reme": 6730, + "▁compared": 6731, + "Ste": 6732, + "IND": 6733, + "container": 6734, + "▁Indian": 6735, + "oren": 6736, + "▁ses": 6737, + "▁Whe": 6738, + "▁roku": 6739, + "▁established": 6740, + "▁generally": 6741, + "▁fle": 6742, + "__(": 6743, + "=\"+": 6744, + "Var": 6745, + "▁Make": 6746, + "▁removed": 6747, + "zz": 6748, + "ün": 6749, + "▁mix": 6750, + "erk": 6751, + "iation": 6752, + "outer": 6753, + "SK": 6754, + "▁becomes": 6755, + "▁Hall": 6756, + "scious": 6757, + "▁watched": 6758, + "▁gather": 6759, + "▁Result": 6760, + "proof": 6761, + "pay": 6762, + "▁produced": 6763, + "▁|=": 6764, + "▁border": 6765, + "▁din": 6766, + "▁script": 6767, + "▁actions": 6768, + "▁mas": 6769, + "ща": 6770, + "ooth": 6771, + "▁Techn": 6772, + "Json": 6773, + "▁filled": 6774, + "ден": 6775, + "undle": 6776, + "сту": 6777, + "Tool": 6778, + "▁king": 6779, + "▁ven": 6780, + "stra": 6781, + "▁predict": 6782, + "▁lui": 6783, + "▁WARRAN": 6784, + "▁Fun": 6785, + "Script": 6786, + "▁powerful": 6787, + "▁lose": 6788, + "atically": 6789, + "▁daily": 6790, + "▁ring": 6791, + "▁arrived": 6792, + "Stack": 6793, + "scope": 6794, + "▁Back": 6795, + "elij": 6796, + "▁ze": 6797, + "keys": 6798, + "{\"": 6799, + "VID": 6800, + "▁license": 6801, + "what": 6802, + "▁proced": 6803, + "rant": 6804, + "estival": 6805, + "agram": 6806, + "▁LO": 6807, + "▁Henry": 6808, + "▁flags": 6809, + "Down": 6810, + "scription": 6811, + "▁families": 6812, + "isse": 6813, + "bour": 6814, + "▁Bur": 6815, + "—\"": 6816, + "▁brief": 6817, + "▁creating": 6818, + "▁clients": 6819, + "rangle": 6820, + "▁amazing": 6821, + "▁sind": 6822, + "▁covered": 6823, + "Well": 6824, + "сте": 6825, + "тор": 6826, + "▁Bas": 6827, + "total": 6828, + "▁Init": 6829, + "▁sand": 6830, + "Unit": 6831, + "▁murder": 6832, + "▁bright": 6833, + "▁trav": 6834, + "icans": 6835, + "▁attribute": 6836, + "fc": 6837, + "▁placed": 6838, + "EST": 6839, + "Vari": 6840, + "▁cos": 6841, + "▁attract": 6842, + "anel": 6843, + "}).": 6844, + "bytes": 6845, + "▁parse": 6846, + "▁belong": 6847, + "BN": 6848, + "▁Sol": 6849, + "Po": 6850, + "`,": 6851, + "▁calling": 6852, + "▁?>": 6853, + "▁iter": 6854, + "▁url": 6855, + "▁evening": 6856, + "reek": 6857, + "▁honest": 6858, + "▁director": 6859, + "RC": 6860, + "▁solid": 6861, + "▁phil": 6862, + "iene": 6863, + "FAULT": 6864, + "cope": 6865, + "▁History": 6866, + "▁Team": 6867, + "reedom": 6868, + "▁ru": 6869, + "UB": 6870, + "▁worse": 6871, + "imo": 6872, + "Mat": 6873, + "▁Mex": 6874, + "actor": 6875, + "▁vor": 6876, + "ться": 6877, + "▁experiment": 6878, + "▁Play": 6879, + "▁Another": 6880, + "▁happens": 6881, + "uan": 6882, + "▁patients": 6883, + "▁rend": 6884, + "▁Mo": 6885, + "▁Tex": 6886, + "▁wed": 6887, + "tn": 6888, + "insert": 6889, + "▁па": 6890, + "▁anti": 6891, + "Match": 6892, + "ampionship": 6893, + "▁forces": 6894, + "▁Hot": 6895, + "▁phase": 6896, + "▁template": 6897, + "stop": 6898, + "icated": 6899, + "▁managed": 6900, + "wait": 6901, + "▁*(": 6902, + "GB": 6903, + "▁appoint": 6904, + "ła": 6905, + "▁stick": 6906, + "▁FOR": 6907, + "▁Vis": 6908, + "tor": 6909, + "▁př": 6910, + "quest": 6911, + "uses": 6912, + "\");\r": 6913, + "▁suddenly": 6914, + "éc": 6915, + "ND": 6916, + "urop": 6917, + "ред": 6918, + "▁insurance": 6919, + "access": 6920, + "unfinished": 6921, + "▁tamb": 6922, + "▁sac": 6923, + "▁Court": 6924, + "▁missing": 6925, + "▁Where": 6926, + "▁Sum": 6927, + "}^{\\": 6928, + "▁sua": 6929, + "_,": 6930, + "▁thick": 6931, + "▁Trump": 6932, + "▁operations": 6933, + "FS": 6934, + "▁deux": 6935, + "dz": 6936, + "Template": 6937, + "▁\"/": 6938, + "▁odd": 6939, + "▁reality": 6940, + "▁teams": 6941, + "▁cer": 6942, + "oma": 6943, + "▁și": 6944, + "▁cloud": 6945, + "▁Department": 6946, + "Ne": 6947, + "▁requires": 6948, + "items": 6949, + "▁III": 6950, + "rightarrow": 6951, + ")->": 6952, + "▁writer": 6953, + "replace": 6954, + "▁thr": 6955, + "jen": 6956, + "▁ot": 6957, + "▁occup": 6958, + "▁eventually": 6959, + "▁Math": 6960, + "▁conserv": 6961, + "amer": 6962, + "▁Fort": 6963, + "▁dry": 6964, + "▁sexual": 6965, + "▁costs": 6966, + "▁forms": 6967, + "▁Vict": 6968, + "PAR": 6969, + "framework": 6970, + "▁ди": 6971, + "Operation": 6972, + "зна": 6973, + "which": 6974, + "▁tight": 6975, + "Invalid": 6976, + "▁partner": 6977, + "▁пред": 6978, + "▁thank": 6979, + "▁guard": 6980, + "hem": 6981, + "Body": 6982, + "▁emot": 6983, + "IX": 6984, + "fast": 6985, + "що": 6986, + "ño": 6987, + "night": 6988, + "▁Sci": 6989, + "ника": 6990, + "▁TO": 6991, + "▁individuals": 6992, + "сси": 6993, + "}),": 6994, + "False": 6995, + "(\"%": 6996, + "▁optim": 6997, + "▁-->": 6998, + "▁factor": 6999, + "▁smaller": 7000, + "▁contain": 7001, + "spect": 7002, + "Engine": 7003, + "▁announced": 7004, + "▁Democr": 7005, + "▁rob": 7006, + "▁flat": 7007, + "osoph": 7008, + "Search": 7009, + "ahl": 7010, + "▁Exception": 7011, + "▁Ol": 7012, + "equals": 7013, + "▁unter": 7014, + "shape": 7015, + "NS": 7016, + "Obj": 7017, + "▁species": 7018, + "weight": 7019, + "you": 7020, + "▁este": 7021, + "▁View": 7022, + "▁mission": 7023, + "▁journal": 7024, + "Values": 7025, + "▁einem": 7026, + "ismo": 7027, + "▁projects": 7028, + "▁Das": 7029, + "rible": 7030, + "▁serve": 7031, + "▁opening": 7032, + "▁hur": 7033, + "▁programs": 7034, + "▁USA": 7035, + "iliar": 7036, + "idos": 7037, + "Br": 7038, + "estamp": 7039, + "▁tools": 7040, + "anner": 7041, + "RT": 7042, + "▁Start": 7043, + "▁bath": 7044, + "▁coffee": 7045, + "orter": 7046, + "internal": 7047, + "files": 7048, + "INVAL": 7049, + "ako": 7050, + "dt": 7051, + "▁Second": 7052, + "▁alloc": 7053, + "▁ended": 7054, + "acional": 7055, + "▁manager": 7056, + "▁Sun": 7057, + "agg": 7058, + "▁leader": 7059, + "olved": 7060, + "▁что": 7061, + "▁traditional": 7062, + "shot": 7063, + "rup": 7064, + "CF": 7065, + "▁Each": 7066, + "wr": 7067, + "▁Som": 7068, + "▁materials": 7069, + "▁msg": 7070, + "▁syn": 7071, + "▁produce": 7072, + "▁storage": 7073, + "subsection": 7074, + "▁Sie": 7075, + "▁IP": 7076, + "CESS": 7077, + "▁wa": 7078, + "Record": 7079, + "▁marketing": 7080, + "plet": 7081, + "Dialog": 7082, + "▁mentioned": 7083, + "▁Na": 7084, + "▁Union": 7085, + "▁API": 7086, + "▁negative": 7087, + "txt": 7088, + "▁easier": 7089, + "legal": 7090, + "Dep": 7091, + "▁novel": 7092, + "eur": 7093, + "ació": 7094, + "▁Bud": 7095, + "▁carry": 7096, + "schaft": 7097, + "▁broken": 7098, + "▁trees": 7099, + ">();": 7100, + "▁emb": 7101, + "ieder": 7102, + "▁route": 7103, + "ikel": 7104, + "▁listen": 7105, + "ashion": 7106, + "▁Mrs": 7107, + "▁equipment": 7108, + "agger": 7109, + "▁Thus": 7110, + "▁matrix": 7111, + "alla": 7112, + "▁Tour": 7113, + "▁conversation": 7114, + "Mon": 7115, + "ournal": 7116, + "▁minute": 7117, + "Am": 7118, + "Api": 7119, + "▁forget": 7120, + "Me": 7121, + "levant": 7122, + "temp": 7123, + "▁telling": 7124, + "move": 7125, + "▁independent": 7126, + "toString": 7127, + "edit": 7128, + "▁Jac": 7129, + "azz": 7130, + "react": 7131, + "▁cin": 7132, + "▁Prov": 7133, + "isted": 7134, + "▁hash": 7135, + "onna": 7136, + "iki": 7137, + "▁generated": 7138, + "Render": 7139, + "▁psych": 7140, + "nav": 7141, + "▁entr": 7142, + "пра": 7143, + "rx": 7144, + "ATH": 7145, + "▁assume": 7146, + "Tree": 7147, + "sembly": 7148, + "▁Matt": 7149, + "caption": 7150, + "▁solutions": 7151, + "▁faith": 7152, + "▁digital": 7153, + "▁excell": 7154, + "▁Version": 7155, + "Debug": 7156, + "▁жи": 7157, + "▁carried": 7158, + "reset": 7159, + "▁slowly": 7160, + "ancing": 7161, + "▁owner": 7162, + "▁Ter": 7163, + "▁Did": 7164, + "▁gest": 7165, + "▁été": 7166, + "▁proof": 7167, + "Font": 7168, + "▁nob": 7169, + "Co": 7170, + "▁GNU": 7171, + "▁liber": 7172, + "itness": 7173, + "▁hij": 7174, + "▁vert": 7175, + "ша": 7176, + "FLAG": 7177, + "MENT": 7178, + "▁Son": 7179, + "Mult": 7180, + "▁district": 7181, + "connect": 7182, + "jection": 7183, + "lymp": 7184, + "▁realized": 7185, + "mos": 7186, + "ye": 7187, + "▁render": 7188, + "rio": 7189, + "▁interpret": 7190, + "▁slightly": 7191, + "fix": 7192, + "▁studies": 7193, + "▁rid": 7194, + "atre": 7195, + "▁benefits": 7196, + "▁Face": 7197, + "ivery": 7198, + "рия": 7199, + "document": 7200, + "▁asking": 7201, + "Last": 7202, + "arante": 7203, + "▁Martin": 7204, + "▁Ell": 7205, + "▁vector": 7206, + "▁forced": 7207, + "оло": 7208, + "PH": 7209, + "WR": 7210, + "▁Kl": 7211, + "▁sky": 7212, + "▁strategy": 7213, + "ocked": 7214, + "▁neck": 7215, + "ści": 7216, + "OUT": 7217, + ")),": 7218, + "Custom": 7219, + "▁wie": 7220, + "▁sweet": 7221, + "▁temp": 7222, + "▁foreign": 7223, + "▁hall": 7224, + "astr": 7225, + "Ass": 7226, + "MODE": 7227, + "▁maximum": 7228, + "annels": 7229, + "▁tip": 7230, + "▁seconds": 7231, + "▁stack": 7232, + "iga": 7233, + "▁raise": 7234, + "enable": 7235, + "oir": 7236, + "▁soul": 7237, + "Ke": 7238, + ")$.": 7239, + "▁Tim": 7240, + "ALSE": 7241, + "iser": 7242, + "contin": 7243, + "bel": 7244, + "▁mad": 7245, + "lichen": 7246, + "abe": 7247, + "safe": 7248, + "▁concent": 7249, + "bound": 7250, + "▁Requ": 7251, + "switch": 7252, + "▁stone": 7253, + "▁transl": 7254, + "▁vac": 7255, + "andon": 7256, + "▁Fore": 7257, + "▁sounds": 7258, + "▁Pop": 7259, + "▁HT": 7260, + "lia": 7261, + "enter": 7262, + "▁helps": 7263, + "edy": 7264, + "ствен": 7265, + "anted": 7266, + "▁Its": 7267, + "▁Step": 7268, + "Icon": 7269, + "▁EXPECT": 7270, + "ialized": 7271, + "Post": 7272, + "aze": 7273, + "▁Carol": 7274, + "▁req": 7275, + "▁critical": 7276, + "DS": 7277, + "▁seat": 7278, + "aped": 7279, + "▁upper": 7280, + "▁Sy": 7281, + "▁explain": 7282, + "▁'./": 7283, + "utils": 7284, + "possible": 7285, + "▁dont": 7286, + "Host": 7287, + "▁approxim": 7288, + "Async": 7289, + "▁grab": 7290, + "▁sources": 7291, + "▁Mos": 7292, + "▁Germany": 7293, + "▁rub": 7294, + "CHAN": 7295, + "▁rain": 7296, + "▁truly": 7297, + "▁joined": 7298, + "▁": 8276, + "agnost": 8277, + "▁proposed": 8278, + "▁Game": 8279, + "▁efforts": 8280, + "вя": 8281, + "tc": 8282, + "ск": 8283, + "▁intent": 8284, + "▁Bre": 8285, + "isc": 8286, + "▁protest": 8287, + "▁holds": 8288, + "ometry": 8289, + "▁Have": 8290, + "▁detail": 8291, + "▁WITHOUT": 8292, + "yer": 8293, + "▁Kon": 8294, + "▁noticed": 8295, + "▁requirements": 8296, + "DEBUG": 8297, + "kins": 8298, + "▁Span": 8299, + "▁cars": 8300, + "meta": 8301, + "▁kil": 8302, + "▁Bron": 8303, + "▁experienced": 8304, + "▁remind": 8305, + "ourse": 8306, + "▁Western": 8307, + "tered": 8308, + "▁devices": 8309, + "▁pictures": 8310, + "▁tut": 8311, + "\"`": 8312, + "▁impossible": 8313, + "▁rail": 8314, + "▁feels": 8315, + "icas": 8316, + "illing": 8317, + "▁accident": 8318, + "▁'@": 8319, + "________": 8320, + "▁notes": 8321, + "oman": 8322, + "Parser": 8323, + "▁discovered": 8324, + "▁Roman": 8325, + "▁budget": 8326, + "▁guide": 8327, + "king": 8328, + "▁incred": 8329, + "olar": 8330, + "enden": 8331, + "Desc": 8332, + "▁wave": 8333, + "бли": 8334, + "igt": 8335, + "▁restrict": 8336, + "▁Ret": 8337, + "▁mac": 8338, + "ур": 8339, + "BS": 8340, + "ís": 8341, + "▁generation": 8342, + "dem": 8343, + "alo": 8344, + "бра": 8345, + "▁ordered": 8346, + "drop": 8347, + "▁pp": 8348, + "▁Review": 8349, + "▁literally": 8350, + "▁Sir": 8351, + "▁Yeah": 8352, + "▁density": 8353, + "riz": 8354, + "inde": 8355, + "▁gain": 8356, + "▁panel": 8357, + "jet": 8358, + "▁Times": 8359, + "▁nella": 8360, + "▁previously": 8361, + "points": 8362, + "Send": 8363, + "▁Brown": 8364, + "each": 8365, + "▁trigger": 8366, + "ometimes": 8367, + "icos": 8368, + "GR": 8369, + "Panel": 8370, + "ogen": 8371, + "▁cm": 8372, + "ructions": 8373, + "▁kiss": 8374, + "▁solo": 8375, + "▁famous": 8376, + "ran": 8377, + "про": 8378, + "▁thro": 8379, + "Graph": 8380, + "imit": 8381, + "▁Value": 8382, + "▁starts": 8383, + "ipeline": 8384, + "hd": 8385, + "TC": 8386, + "▁discussion": 8387, + "▁truck": 8388, + "aka": 8389, + "Only": 8390, + "▁Equ": 8391, + "▁kö": 8392, + "▁Bes": 8393, + "▁critic": 8394, + "▁propos": 8395, + "▁batt": 8396, + "▁Section": 8397, + "Show": 8398, + "gp": 8399, + "STATE": 8400, + "POST": 8401, + "▁Nord": 8402, + "▁innov": 8403, + "▁crim": 8404, + "axis": 8405, + "▁Turn": 8406, + "conn": 8407, + "Runtime": 8408, + "▁remaining": 8409, + "oston": 8410, + "▁Э": 8411, + "▁windows": 8412, + "▁Royal": 8413, + "▁vide": 8414, + "PP": 8415, + "chron": 8416, + "▁san": 8417, + "▁rise": 8418, + "▁delle": 8419, + "▁Dur": 8420, + "▁rapid": 8421, + "cert": 8422, + "LA": 8423, + "edge": 8424, + "▁\\]": 8425, + "▁entered": 8426, + "▁laws": 8427, + "▁photo": 8428, + "▁applications": 8429, + "▁Berlin": 8430, + "▁arrest": 8431, + "▁federal": 8432, + "▁Russia": 8433, + "▁usual": 8434, + "▁raw": 8435, + "▁più": 8436, + "être": 8437, + "JSON": 8438, + "SION": 8439, + "xture": 8440, + "istent": 8441, + "▁Power": 8442, + "Bit": 8443, + "▁capacity": 8444, + "▁cards": 8445, + "UID": 8446, + "iments": 8447, + "▁dar": 8448, + "▁Chicago": 8449, + "▁comfortable": 8450, + "tip": 8451, + "bas": 8452, + "▁mu": 8453, + "▁enemy": 8454, + "yan": 8455, + "▁фи": 8456, + "▁updated": 8457, + "ango": 8458, + "Ev": 8459, + "Effect": 8460, + "osing": 8461, + "rence": 8462, + "▁Congress": 8463, + "▁defe": 8464, + "▁ip": 8465, + "▁tout": 8466, + "▁freedom": 8467, + "▁ao": 8468, + "▁Therefore": 8469, + "Edit": 8470, + "▁Virgin": 8471, + "REE": 8472, + "argo": 8473, + "▁Dam": 8474, + "▁traffic": 8475, + "ños": 8476, + "▁alle": 8477, + "▁depth": 8478, + "Now": 8479, + "▁sides": 8480, + "▁годи": 8481, + "Descriptor": 8482, + "▁artikel": 8483, + "▁narrow": 8484, + "___": 8485, + "kw": 8486, + "uto": 8487, + "▁Facebook": 8488, + "tegr": 8489, + "boolean": 8490, + "nik": 8491, + "bd": 8492, + "Track": 8493, + "▁gran": 8494, + "reshold": 8495, + "вет": 8496, + "wrap": 8497, + "▁noise": 8498, + "igu": 8499, + "▁Bon": 8500, + "▁wy": 8501, + "linux": 8502, + "cks": 8503, + "▁fans": 8504, + "▁mach": 8505, + "▁prices": 8506, + "év": 8507, + "outs": 8508, + "standing": 8509, + "▁categ": 8510, + ";\\": 8511, + "▁decre": 8512, + "▁Saturday": 8513, + "▁menu": 8514, + "▁Nov": 8515, + "▁Yet": 8516, + "▁так": 8517, + "liche": 8518, + "▁Academ": 8519, + "▁communication": 8520, + "using": 8521, + "▁Society": 8522, + "▁nuc": 8523, + "pective": 8524, + "orial": 8525, + "▁afraid": 8526, + "▁animal": 8527, + "▁turning": 8528, + "dst": 8529, + "mathfrak": 8530, + "lers": 8531, + "▁lots": 8532, + "▁á": 8533, + "▁Tra": 8534, + "np": 8535, + "▁rose": 8536, + "▁GL": 8537, + "▁helping": 8538, + "▁winter": 8539, + "▁ком": 8540, + "Mock": 8541, + "▁investment": 8542, + "Use": 8543, + "▁Canad": 8544, + "нд": 8545, + "Copy": 8546, + "▁fly": 8547, + "SER": 8548, + "▁Far": 8549, + "▁Ros": 8550, + "amil": 8551, + "▁fighting": 8552, + "▁religious": 8553, + "super": 8554, + "screen": 8555, + "▁furn": 8556, + "▁surprised": 8557, + "▁replied": 8558, + "Activity": 8559, + "▁Down": 8560, + "▁insert": 8561, + "▁Olymp": 8562, + "▁pointed": 8563, + "▁Card": 8564, + "driver": 8565, + "▁Da": 8566, + "!--": 8567, + "roud": 8568, + "undo": 8569, + "▁messages": 8570, + "▁Point": 8571, + "VM": 8572, + "▁plane": 8573, + "xc": 8574, + "▁television": 8575, + "ён": 8576, + "▁thousands": 8577, + "▁cris": 8578, + "▁delay": 8579, + "▁Next": 8580, + "▁nombre": 8581, + "▁tu": 8582, + "▁skip": 8583, + "road": 8584, + "istration": 8585, + "▁tur": 8586, + "▁Develop": 8587, + "▁Па": 8588, + "▁дру": 8589, + "▁wonderful": 8590, + ">&": 8591, + "▁Liber": 8592, + "▁scope": 8593, + "▁manage": 8594, + "▁dass": 8595, + "▁recall": 8596, + "PM": 8597, + "▁relevant": 8598, + "▁Earth": 8599, + "▁как": 8600, + "▁apr": 8601, + "▁ASS": 8602, + "ién": 8603, + "▁SH": 8604, + "oom": 8605, + "itet": 8606, + "none": 8607, + "asi": 8608, + "▁motor": 8609, + "▁Show": 8610, + "nb": 8611, + "▁factors": 8612, + "▁forest": 8613, + "▁вре": 8614, + "thm": 8615, + "▁municip": 8616, + "▁turns": 8617, + "▁Division": 8618, + "EC": 8619, + "▁disappe": 8620, + "structor": 8621, + "▁somewhere": 8622, + "▁African": 8623, + "▁Institute": 8624, + "Grid": 8625, + "▁teacher": 8626, + "uries": 8627, + "▁respectively": 8628, + "▁SD": 8629, + "▁alive": 8630, + "▁pou": 8631, + "▁Water": 8632, + "фе": 8633, + "▁changing": 8634, + "▁afternoon": 8635, + "▁orders": 8636, + "Ret": 8637, + "Pointer": 8638, + "▁sav": 8639, + "erg": 8640, + "oked": 8641, + "essions": 8642, + "▁Fire": 8643, + "aret": 8644, + "imm": 8645, + "▁desire": 8646, + "▁що": 8647, + "▁Design": 8648, + "uture": 8649, + "▁Office": 8650, + "▁cmd": 8651, + "▁eating": 8652, + "Network": 8653, + "▁rough": 8654, + "operator": 8655, + "IGN": 8656, + "▁sports": 8657, + "▁weren": 8658, + "▁noted": 8659, + "▁twice": 8660, + "III": 8661, + "▁anx": 8662, + "▁elim": 8663, + "▁ав": 8664, + "▁io": 8665, + "▁speech": 8666, + "▁condu": 8667, + "elles": 8668, + "idade": 8669, + "▁advance": 8670, + "RI": 8671, + "oca": 8672, + "/\\": 8673, + "apshot": 8674, + "▁tail": 8675, + "models": 8676, + "ogy": 8677, + "▁Jeff": 8678, + "iration": 8679, + "▁Kore": 8680, + "▁leads": 8681, + "bat": 8682, + "Adapter": 8683, + "category": 8684, + "angular": 8685, + "▁saved": 8686, + "▁uniform": 8687, + "▁né": 8688, + "▁businesses": 8689, + "Hist": 8690, + "▁ар": 8691, + "domain": 8692, + "▁Si": 8693, + "raise": 8694, + "▁warn": 8695, + "hetic": 8696, + "▁Gro": 8697, + ")).": 8698, + "}>": 8699, + "зе": 8700, + "▁Amazon": 8701, + "▁Organ": 8702, + "▁Lake": 8703, + "▁agreement": 8704, + "xa": 8705, + "▁perman": 8706, + "▁containing": 8707, + "▁strange": 8708, + "сті": 8709, + "▁stupid": 8710, + "▁speaking": 8711, + "▁Internet": 8712, + "prefix": 8713, + "esc": 8714, + "Assert": 8715, + "prote": 8716, + "▁manner": 8717, + "▁Sz": 8718, + "unte": 8719, + "iot": 8720, + "Profile": 8721, + "oven": 8722, + "▁formed": 8723, + "▁lit": 8724, + "▁economy": 8725, + "▁cz": 8726, + "wid": 8727, + "REQ": 8728, + "▁chosen": 8729, + "▁Produ": 8730, + "oster": 8731, + "stances": 8732, + "awa": 8733, + "▁Ren": 8734, + "▁confirm": 8735, + "▁Бо": 8736, + "▁billion": 8737, + "▁déc": 8738, + "ých": 8739, + "▁illustr": 8740, + "TIES": 8741, + "▁Pub": 8742, + "▁ban": 8743, + "aded": 8744, + "ahn": 8745, + "▁Cath": 8746, + "nonumber": 8747, + "▁worst": 8748, + "▁Ме": 8749, + "▁suggested": 8750, + "stats": 8751, + "▁cant": 8752, + "▁align": 8753, + "kappa": 8754, + "▁hen": 8755, + "▁initi": 8756, + "'])": 8757, + "BI": 8758, + "▁garden": 8759, + "▁secure": 8760, + "▁\\[": 8761, + "handler": 8762, + "elli": 8763, + "ldots": 8764, + "secut": 8765, + "▁extended": 8766, + "}-": 8767, + "anie": 8768, + "▁Find": 8769, + "▁Museum": 8770, + "▁Conne": 8771, + "yy": 8772, + "▁passion": 8773, + "akers": 8774, + "ahr": 8775, + "ologies": 8776, + "▁equation": 8777, + "▁occasion": 8778, + "Let": 8779, + "']['": 8780, + "Print": 8781, + "anes": 8782, + "iente": 8783, + "▁Today": 8784, + "LECT": 8785, + "▁Af": 8786, + ",,": 8787, + "▁Та": 8788, + "▁```": 8789, + "even": 8790, + "sin": 8791, + "urer": 8792, + "▁°": 8793, + "otimes": 8794, + "▁IO": 8795, + "▁poet": 8796, + "()));": 8797, + "▁−": 8798, + "▁adopt": 8799, + "phere": 8800, + "#[": 8801, + "▁centre": 8802, + "oves": 8803, + "▁ans": 8804, + "dp": 8805, + "▁Kir": 8806, + "▁applicable": 8807, + "fp": 8808, + "▁visual": 8809, + "▁okay": 8810, + "oro": 8811, + "▁opportunities": 8812, + "Repository": 8813, + "▁ll": 8814, + "▁Rod": 8815, + "▁shel": 8816, + "▁launch": 8817, + "▁conven": 8818, + "▁Spe": 8819, + "Amer": 8820, + "▁cette": 8821, + "Cond": 8822, + "dep": 8823, + "Own": 8824, + "▁hook": 8825, + "▁dict": 8826, + "▁Those": 8827, + "▁fellow": 8828, + "▁philosoph": 8829, + "vin": 8830, + "ferences": 8831, + "hav": 8832, + "▁adding": 8833, + "iverse": 8834, + "game": 8835, + "▁Blue": 8836, + "▁clin": 8837, + "note": 8838, + "▁Ram": 8839, + "мер": 8840, + "covery": 8841, + "ña": 8842, + "▁би": 8843, + "▁fashion": 8844, + "▁broke": 8845, + "▁'\\": 8846, + "▁reader": 8847, + "ное": 8848, + "ности": 8849, + "▁payment": 8850, + "▁Lic": 8851, + "▁lips": 8852, + "▁academ": 8853, + "▁Mot": 8854, + "ells": 8855, + "CHECK": 8856, + "▁ру": 8857, + "▁MS": 8858, + "Editor": 8859, + "▁zone": 8860, + "iture": 8861, + "▁IT": 8862, + "runtime": 8863, + "▁proceed": 8864, + "лов": 8865, + "▁Maria": 8866, + "olver": 8867, + "▁Thanks": 8868, + "▁shouldn": 8869, + "▁Joh": 8870, + "▁Model": 8871, + "▁Sov": 8872, + "!'": 8873, + "Di": 8874, + "▁cancer": 8875, + "Ident": 8876, + "▁exchange": 8877, + "iller": 8878, + "inf": 8879, + "LEN": 8880, + "(){": 8881, + "aga": 8882, + "\"],": 8883, + "uh": 8884, + "▁Ken": 8885, + "▁photos": 8886, + "▁tiny": 8887, + "▁gent": 8888, + "ül": 8889, + "▁Take": 8890, + "idel": 8891, + "outing": 8892, + "Internal": 8893, + "▁cells": 8894, + "ним": 8895, + "hard": 8896, + "▁Town": 8897, + "obe": 8898, + "plex": 8899, + "тер": 8900, + "tons": 8901, + "▁concentr": 8902, + "mock": 8903, + "vc": 8904, + "áz": 8905, + "▁Championship": 8906, + "▁бе": 8907, + "??": 8908, + "éri": 8909, + "aly": 8910, + "▁Ц": 8911, + "ierte": 8912, + "▁totally": 8913, + "▁Auf": 8914, + "▁ourselves": 8915, + "▁Self": 8916, + "Forms": 8917, + "ighter": 8918, + "▁island": 8919, + "fmt": 8920, + "▁rc": 8921, + "▁tells": 8922, + "BB": 8923, + "dit": 8924, + "▁variables": 8925, + "▁intended": 8926, + "izont": 8927, + "▁plays": 8928, + "dam": 8929, + "seq": 8930, + "▁Sup": 8931, + "▁cultural": 8932, + "▁scream": 8933, + "__,": 8934, + "cipl": 8935, + "Timeout": 8936, + "▁ж": 8937, + "orte": 8938, + "▁replaced": 8939, + "EM": 8940, + "▁abandon": 8941, + "▁Special": 8942, + "ellen": 8943, + "▁Bru": 8944, + "irmed": 8945, + "Te": 8946, + "olt": 8947, + "ju": 8948, + "Argument": 8949, + "▁neut": 8950, + "scape": 8951, + "▁Ray": 8952, + "▁Polit": 8953, + "▁crowd": 8954, + "▁Windows": 8955, + "iego": 8956, + "▁escape": 8957, + "▁Apache": 8958, + "sync": 8959, + "eben": 8960, + "ifies": 8961, + "ether": 8962, + "Meta": 8963, + "▁biggest": 8964, + "Game": 8965, + "▁transaction": 8966, + "Env": 8967, + "▁Мо": 8968, + "▁plenty": 8969, + "▁mel": 8970, + "пре": 8971, + "▁motiv": 8972, + "▁ор": 8973, + "organ": 8974, + "▁mock": 8975, + "▁$_": 8976, + "ене": 8977, + "▁Number": 8978, + "cknow": 8979, + "▁Update": 8980, + "zero": 8981, + "▁surprise": 8982, + "cean": 8983, + "pdf": 8984, + "Global": 8985, + "▁attend": 8986, + "▁fond": 8987, + "▁understood": 8988, + "Nav": 8989, + "▁Mic": 8990, + "=$": 8991, + "oking": 8992, + "▁Stadium": 8993, + "Close": 8994, + "▁competition": 8995, + "▁soldiers": 8996, + "▁OP": 8997, + "agne": 8998, + "▁Anton": 8999, + "Main": 9000, + "ák": 9001, + "▁#[": 9002, + "▁Commit": 9003, + "pyx": 9004, + "▁east": 9005, + "▁Order": 9006, + "Float": 9007, + "▁accepted": 9008, + "▁monitor": 9009, + "▁pad": 9010, + "onic": 9011, + "▁pushed": 9012, + "▁replace": 9013, + "CRE": 9014, + "▁ride": 9015, + "found": 9016, + "=%": 9017, + "вой": 9018, + "▁matches": 9019, + "▁Lie": 9020, + "▁experiences": 9021, + "Pool": 9022, + "ups": 9023, + "AV": 9024, + "▁existence": 9025, + "▁thin": 9026, + "▁magn": 9027, + "COMP": 9028, + "home": 9029, + "▁ni": 9030, + "▁wurden": 9031, + "лав": 9032, + "▁teeth": 9033, + "▁Stan": 9034, + "appro": 9035, + "anny": 9036, + "ifts": 9037, + "▁unknown": 9038, + "▁homes": 9039, + "▁entity": 9040, + "cie": 9041, + "ление": 9042, + "iar": 9043, + "▁compliance": 9044, + "▁focused": 9045, + "uzz": 9046, + "=\\\"": 9047, + "components": 9048, + "Attr": 9049, + "allery": 9050, + "▁identify": 9051, + "Ok": 9052, + "pie": 9053, + "▁Still": 9054, + "▁offering": 9055, + "▁busy": 9056, + "ctl": 9057, + "itors": 9058, + "▁concerned": 9059, + "▁brown": 9060, + "clk": 9061, + "Selected": 9062, + "▁Block": 9063, + "▁egy": 9064, + "icing": 9065, + "▁URL": 9066, + "▁topic": 9067, + "▁Product": 9068, + "▁чи": 9069, + "▁trial": 9070, + "▁weekend": 9071, + "lu": 9072, + "▁IV": 9073, + "▁Egy": 9074, + "xC": 9075, + "▁nove": 9076, + "▁lett": 9077, + "enne": 9078, + "()).": 9079, + ".**": 9080, + "▁promise": 9081, + "election": 9082, + "Auth": 9083, + "rv": 9084, + "ril": 9085, + "▁conduct": 9086, + "▁maintain": 9087, + "▁boat": 9088, + "▁opposite": 9089, + "spin": 9090, + "webpack": 9091, + "anta": 9092, + "▁orient": 9093, + "▁suc": 9094, + "▁exercise": 9095, + "▁efficient": 9096, + "▁tradition": 9097, + "▁zw": 9098, + "▁Sud": 9099, + "going": 9100, + "▁Pier": 9101, + "inv": 9102, + "ipes": 9103, + "ensuremath": 9104, + "▁conver": 9105, + "creen": 9106, + "▁terror": 9107, + "▁Dou": 9108, + "▁invalid": 9109, + "ceived": 9110, + "▁Arab": 9111, + "▁wire": 9112, + "application": 9113, + "shift": 9114, + "Generic": 9115, + "▁Plan": 9116, + "▁Wall": 9117, + "▁directory": 9118, + "▁egg": 9119, + "▁wealth": 9120, + "random": 9121, + "attribute": 9122, + "▁hide": 9123, + "Serial": 9124, + "cam": 9125, + "▁ital": 9126, + "▁Line": 9127, + "▁CHECK": 9128, + "ployment": 9129, + "▁massive": 9130, + "▁extract": 9131, + "chain": 9132, + "Rest": 9133, + "▁Las": 9134, + "▁bear": 9135, + "▁links": 9136, + "▁newsp": 9137, + "▁FC": 9138, + "Card": 9139, + "aks": 9140, + "▁visible": 9141, + "▁Marc": 9142, + "▁Boston": 9143, + "▁reserved": 9144, + "▁roof": 9145, + "licenses": 9146, + "dc": 9147, + "▁Information": 9148, + "▁witness": 9149, + "Sk": 9150, + "*),": 9151, + "Scope": 9152, + "'];": 9153, + "▁Mir": 9154, + "uding": 9155, + "▁trend": 9156, + "rep": 9157, + "▁musical": 9158, + "▁neither": 9159, + "▁Creat": 9160, + "▁positions": 9161, + "LC": 9162, + "ridge": 9163, + "▁officers": 9164, + "▁violence": 9165, + "▁Tem": 9166, + "▁Sus": 9167, + "▁Way": 9168, + "After": 9169, + "acket": 9170, + "▁Sou": 9171, + "acer": 9172, + "||": 9173, + "▁remark": 9174, + "water": 9175, + "ně": 9176, + "▁Са": 9177, + "▁sed": 9178, + "Each": 9179, + "▁photograph": 9180, + "▁letters": 9181, + "▁invent": 9182, + "▁Mas": 9183, + "▁songs": 9184, + "ól": 9185, + "kind": 9186, + "▁Non": 9187, + "▁dust": 9188, + "**:": 9189, + "nabla": 9190, + ".\",": 9191, + "Lock": 9192, + "▁До": 9193, + "▁cluster": 9194, + "loss": 9195, + "▁ASSERT": 9196, + "fall": 9197, + "▁reject": 9198, + "▁Spring": 9199, + "▁wedding": 9200, + "▁grav": 9201, + "ression": 9202, + "limit": 9203, + "RES": 9204, + "]}": 9205, + "▁listed": 9206, + "▁Tele": 9207, + "hline": 9208, + "▁chief": 9209, + "MEM": 9210, + "дар": 9211, + "▁expensive": 9212, + "trace": 9213, + "▁Rog": 9214, + "▁Coll": 9215, + "▁Author": 9216, + "▁Board": 9217, + "▁Capt": 9218, + "TEXT": 9219, + "▁recon": 9220, + "esta": 9221, + "▁properly": 9222, + "▁&\\": 9223, + "leton": 9224, + "iker": 9225, + "Gu": 9226, + "▁Kom": 9227, + "oco": 9228, + "▁anymore": 9229, + "▁taste": 9230, + "▁Santa": 9231, + "gex": 9232, + "▁Secret": 9233, + "▁talent": 9234, + "▁moments": 9235, + "▁Ba": 9236, + "▁extr": 9237, + "▁Commission": 9238, + "▁modify": 9239, + "▁Figure": 9240, + "▁domin": 9241, + "▁plot": 9242, + "enger": 9243, + "utch": 9244, + "▁cities": 9245, + "▁nut": 9246, + "profile": 9247, + "▁Stat": 9248, + "▁nodes": 9249, + "▁ns": 9250, + "essages": 9251, + "impl": 9252, + "icker": 9253, + "▁examples": 9254, + "abeth": 9255, + "▁stated": 9256, + "fire": 9257, + "bul": 9258, + "▁dangerous": 9259, + "▁Pay": 9260, + "▁Gre": 9261, + "▁Monday": 9262, + "esome": 9263, + "igan": 9264, + "rund": 9265, + "prise": 9266, + "fail": 9267, + "▁Never": 9268, + "Av": 9269, + "▁linear": 9270, + "▁ul": 9271, + "WAR": 9272, + "рен": 9273, + "▁AT": 9274, + "▁dop": 9275, + "▁nou": 9276, + "Dest": 9277, + "▁claims": 9278, + "enda": 9279, + "▁crazy": 9280, + "gel": 9281, + "oggle": 9282, + "▁representation": 9283, + "inen": 9284, + "▁alternative": 9285, + "DM": 9286, + "ABILITY": 9287, + "faces": 9288, + "▁doors": 9289, + "ativ": 9290, + "Look": 9291, + "▁JSON": 9292, + "▁appearance": 9293, + "бря": 9294, + "SQL": 9295, + "▁silence": 9296, + "udo": 9297, + "▁Director": 9298, + "Statement": 9299, + "selected": 9300, + "high": 9301, + "prime": 9302, + "▁ignore": 9303, + "▁colors": 9304, + "ushing": 9305, + "▁virt": 9306, + "manager": 9307, + "▁remote": 9308, + "ło": 9309, + "small": 9310, + "▁crime": 9311, + "rb": 9312, + "▁creation": 9313, + "▁flight": 9314, + "▁Sign": 9315, + "ILE": 9316, + "▁DO": 9317, + "comment": 9318, + "▁Cost": 9319, + ".__": 9320, + "▁Cop": 9321, + "▁vom": 9322, + "▁Science": 9323, + "ления": 9324, + "oop": 9325, + "interface": 9326, + "▁WARRANTIES": 9327, + "▁Page": 9328, + "******": 9329, + "ском": 9330, + "TRUE": 9331, + "▁repeated": 9332, + "▁его": 9333, + "шо": 9334, + "▁roz": 9335, + "Pe": 9336, + "▁ISBN": 9337, + "irts": 9338, + "poses": 9339, + "})$": 9340, + "▁І": 9341, + "children": 9342, + "bles": 9343, + "ECT": 9344, + "▁iz": 9345, + "▁builder": 9346, + "▁Media": 9347, + "iat": 9348, + "▁contrast": 9349, + "”,": 9350, + "▁Link": 9351, + "▁Education": 9352, + "▁joint": 9353, + "▁external": 9354, + "▁роз": 9355, + "▁bits": 9356, + "FORM": 9357, + "erman": 9358, + "wp": 9359, + "▁Mike": 9360, + "▁Master": 9361, + "▁senior": 9362, + "▁Nav": 9363, + "▁recorded": 9364, + "eling": 9365, + "esh": 9366, + "fx": 9367, + "кан": 9368, + "▁tall": 9369, + "▁Johnson": 9370, + "▁sono": 9371, + "▁anche": 9372, + "icken": 9373, + "loop": 9374, + "iciency": 9375, + "emporary": 9376, + "▁Does": 9377, + "▁relation": 9378, + "мы": 9379, + "was": 9380, + "low": 9381, + "ichte": 9382, + "▁Jones": 9383, + "▁bedroom": 9384, + "DIS": 9385, + "▁magnet": 9386, + "▁Engine": 9387, + "▁feelings": 9388, + "GC": 9389, + "▁torn": 9390, + "▁relationships": 9391, + "▁Ре": 9392, + "▁proud": 9393, + "▁twe": 9394, + "oval": 9395, + "▁waste": 9396, + "▁reduced": 9397, + "ilton": 9398, + "BP": 9399, + "▁forgot": 9400, + "▁bodies": 9401, + "▁Haw": 9402, + "lag": 9403, + "▁www": 9404, + "door": 9405, + "▁sufficient": 9406, + "▁dollars": 9407, + "Len": 9408, + "▁talked": 9409, + "▁bond": 9410, + "▁Bor": 9411, + "}}{": 9412, + "rod": 9413, + "Password": 9414, + "quare": 9415, + "▁lights": 9416, + "eren": 9417, + "▁thirty": 9418, + "NC": 9419, + "▁TODO": 9420, + "▁respond": 9421, + "ких": 9422, + "direct": 9423, + "ação": 9424, + "▁heav": 9425, + "Media": 9426, + "exit": 9427, + "License": 9428, + "`.": 9429, + "▁mixed": 9430, + "▁desk": 9431, + "▁teaching": 9432, + "▁maj": 9433, + "▁nerv": 9434, + "inations": 9435, + "typeof": 9436, + "▁coast": 9437, + "▁же": 9438, + "▁beside": 9439, + "ummy": 9440, + "Doc": 9441, + "▁schedule": 9442, + "▁recover": 9443, + "▁Further": 9444, + "▁steel": 9445, + "boot": 9446, + "▁Perhaps": 9447, + "▁съ": 9448, + "▁Os": 9449, + "rick": 9450, + "▁Ви": 9451, + "Support": 9452, + "▁(_": 9453, + "nil": 9454, + "pis": 9455, + "xpected": 9456, + "▁processing": 9457, + "Build": 9458, + "arian": 9459, + "▁icon": 9460, + "▁CA": 9461, + "wick": 9462, + "=(": 9463, + "▁algorithm": 9464, + "▁Young": 9465, + "▁Management": 9466, + "▁ancient": 9467, + "ность": 9468, + "oti": 9469, + "▁combination": 9470, + "world": 9471, + "nn": 9472, + "▁dram": 9473, + "enabled": 9474, + "Ac": 9475, + "CCESS": 9476, + "aration": 9477, + "▁blocks": 9478, + "▁Angeles": 9479, + "▁Qual": 9480, + "▁succeed": 9481, + "network": 9482, + "▁oblig": 9483, + "springframework": 9484, + "▁Tre": 9485, + "okes": 9486, + "mun": 9487, + "▁Network": 9488, + "Del": 9489, + "▁estate": 9490, + "▁liqu": 9491, + "▁pob": 9492, + "▁dad": 9493, + "▁distinct": 9494, + "▁Tit": 9495, + "▁Lear": 9496, + "ferred": 9497, + "android": 9498, + "▁subsequ": 9499, + "▁Florida": 9500, + "subset": 9501, + "▁whisper": 9502, + "Vol": 9503, + "ulous": 9504, + "▁crew": 9505, + "▁lug": 9506, + "pid": 9507, + "ocity": 9508, + "skb": 9509, + "▁tea": 9510, + "ун": 9511, + "▁honor": 9512, + "▁Ins": 9513, + "▁gew": 9514, + "Details": 9515, + "eneath": 9516, + "atar": 9517, + "▁_{": 9518, + "amen": 9519, + "▁setup": 9520, + "Transaction": 9521, + "▁blank": 9522, + "Failed": 9523, + "job": 9524, + "▁pret": 9525, + "ße": 9526, + "loor": 9527, + "ří": 9528, + "ncia": 9529, + "▁anywhere": 9530, + "▁Light": 9531, + "▁Ak": 9532, + "BD": 9533, + "▁excited": 9534, + "agers": 9535, + "▁warning": 9536, + "▁processes": 9537, + "hu": 9538, + "▁youth": 9539, + "▁dogs": 9540, + "▁oct": 9541, + "▁nine": 9542, + "Writer": 9543, + "grid": 9544, + "▁importance": 9545, + "estic": 9546, + "▁carefully": 9547, + "master": 9548, + "▁decisions": 9549, + "▁pin": 9550, + "▁crack": 9551, + "TEST": 9552, + "▁Local": 9553, + "▁Right": 9554, + "▁vast": 9555, + "▁faster": 9556, + "▁institut": 9557, + "▁annual": 9558, + "LAN": 9559, + "▁episode": 9560, + "▁XV": 9561, + "▁delivery": 9562, + "tl": 9563, + "FP": 9564, + "circ": 9565, + "▁typically": 9566, + "igo": 9567, + "▁intel": 9568, + "nat": 9569, + "xb": 9570, + "стро": 9571, + ")-": 9572, + "▁Bal": 9573, + "▁Jos": 9574, + "▁gonna": 9575, + "▁Rest": 9576, + "jor": 9577, + "onia": 9578, + "orship": 9579, + "overy": 9580, + "LINE": 9581, + "]:": 9582, + "Queue": 9583, + "▁compare": 9584, + "▁apartment": 9585, + "▁rul": 9586, + "Dr": 9587, + "gency": 9588, + "▁obviously": 9589, + "zie": 9590, + "ycl": 9591, + "fortunately": 9592, + "▁stepped": 9593, + "▁Seg": 9594, + "▁Which": 9595, + "▁PC": 9596, + "▁ast": 9597, + "endor": 9598, + "▁permission": 9599, + "COL": 9600, + "▁TEST": 9601, + "Pay": 9602, + "ères": 9603, + "▁studied": 9604, + "▁accompl": 9605, + "role": 9606, + "Where": 9607, + "protobuf": 9608, + "metadata": 9609, + "Job": 9610, + "▁Four": 9611, + "plements": 9612, + "disable": 9613, + "▁loud": 9614, + "▁happening": 9615, + "▁Using": 9616, + "rog": 9617, + "▁depends": 9618, + "ím": 9619, + "'\\": 9620, + "▁taught": 9621, + "shared": 9622, + "▁attributes": 9623, + "▁Action": 9624, + "▁dess": 9625, + "▁houses": 9626, + "▁reset": 9627, + "▁bien": 9628, + "▁explicit": 9629, + "LOW": 9630, + "->_": 9631, + "▁PM": 9632, + "Category": 9633, + "oice": 9634, + "into": 9635, + "▁mail": 9636, + "▁authority": 9637, + "▁unable": 9638, + "filename": 9639, + "ék": 9640, + "лей": 9641, + "▁sector": 9642, + "appoint": 9643, + "▁hang": 9644, + "▁cel": 9645, + "related": 9646, + "itate": 9647, + "▁'<": 9648, + "amber": 9649, + "▁cheap": 9650, + "▁enabled": 9651, + "▁division": 9652, + "Any": 9653, + "▁hier": 9654, + "▁Head": 9655, + "ntax": 9656, + "uda": 9657, + "▁limitations": 9658, + "▁studio": 9659, + "media": 9660, + "▁circle": 9661, + "нова": 9662, + "▁laug": 9663, + "acts": 9664, + "▁Во": 9665, + "ód": 9666, + "pled": 9667, + "LOC": 9668, + "Expr": 9669, + ">:": 9670, + "▁prés": 9671, + "▁laughed": 9672, + "▁Three": 9673, + "лы": 9674, + "▁ends": 9675, + "▁fundament": 9676, + "▁inher": 9677, + "▁liv": 9678, + "bid": 9679, + "▁responsibility": 9680, + "▁checked": 9681, + "▁Pac": 9682, + "▁fault": 9683, + "▁yellow": 9684, + "▁salt": 9685, + "▁Francisco": 9686, + "▁^": 9687, + "▁ON": 9688, + "▁beauty": 9689, + "yg": 9690, + "▁Aff": 9691, + "▁Eq": 9692, + "▁magic": 9693, + "▁handler": 9694, + "xE": 9695, + "▁numerous": 9696, + "▁hole": 9697, + "▁rooms": 9698, + "cción": 9699, + "▁Arm": 9700, + "person": 9701, + "▁buildings": 9702, + "▁plate": 9703, + "bled": 9704, + "errors": 9705, + "▁Again": 9706, + "▁Default": 9707, + "▁Hard": 9708, + "tó": 9709, + "hus": 9710, + "▁dimension": 9711, + "iale": 9712, + "▁Mult": 9713, + "▁Government": 9714, + "Func": 9715, + "▁blow": 9716, + "▁rect": 9717, + "erra": 9718, + "connection": 9719, + "▁passing": 9720, + "ßen": 9721, + "phas": 9722, + "ensional": 9723, + "record": 9724, + "cohol": 9725, + "▁Harry": 9726, + "izontal": 9727, + "▁finger": 9728, + "▁younger": 9729, + "▁SC": 9730, + "operation": 9731, + "BY": 9732, + "heim": 9733, + "▁Bad": 9734, + "▁storm": 9735, + "▁Nat": 9736, + "▁buying": 9737, + "▁Sometimes": 9738, + "▁Ста": 9739, + "essed": 9740, + "▁damn": 9741, + "▁meg": 9742, + "umes": 9743, + "ünd": 9744, + "тра": 9745, + "▁silver": 9746, + "wd": 9747, + "hidden": 9748, + "ardo": 9749, + "▁communities": 9750, + "▁diet": 9751, + "otted": 9752, + "▁bat": 9753, + "ancer": 9754, + "▁fmt": 9755, + "▁Pen": 9756, + "▁til": 9757, + "Enum": 9758, + "PATH": 9759, + "▁matters": 9760, + "timeout": 9761, + "------------": 9762, + "kan": 9763, + "▁Corpor": 9764, + "=\"../../": 9765, + "▁Ale": 9766, + "hentication": 9767, + "▁complic": 9768, + "▁Security": 9769, + "OFF": 9770, + "Rad": 9771, + "apse": 9772, + "▁dance": 9773, + "▁permissions": 9774, + "▁warrant": 9775, + "▁lad": 9776, + "▁isol": 9777, + "dl": 9778, + "▁Au": 9779, + "yes": 9780, + "▁tv": 9781, + "▁provider": 9782, + "▁terrible": 9783, + "▁department": 9784, + "eral": 9785, + "▁implementation": 9786, + "SR": 9787, + "▁hearing": 9788, + "▁Kn": 9789, + "FR": 9790, + "tv": 9791, + "▁diss": 9792, + "FUN": 9793, + "▁durante": 9794, + "osis": 9795, + "▁tasks": 9796, + "▁Blo": 9797, + "вод": 9798, + "▁branch": 9799, + "▁politics": 9800, + "▁Elle": 9801, + "▁leadership": 9802, + "expr": 9803, + "▁techniques": 9804, + "prec": 9805, + "Sigma": 9806, + "imately": 9807, + "tk": 9808, + "achment": 9809, + "▁Enter": 9810, + "▁creative": 9811, + "▁зна": 9812, + "appy": 9813, + "unched": 9814, + "▁'',": 9815, + "onder": 9816, + "{-": 9817, + "NUM": 9818, + "▁narr": 9819, + "Memory": 9820, + "▁winning": 9821, + "▁Follow": 9822, + "*/\r": 9823, + "vision": 9824, + "resents": 9825, + "zione": 9826, + "▁latter": 9827, + "▁requests": 9828, + "▁margin": 9829, + "▁{\"": 9830, + "video": 9831, + "cn": 9832, + "▁Image": 9833, + "Tim": 9834, + "CONFIG": 9835, + "▁allowing": 9836, + "▁combined": 9837, + "PUT": 9838, + "▁instanceof": 9839, + "igin": 9840, + "▁pero": 9841, + "▁''": 9842, + "▁confidence": 9843, + "▁equivalent": 9844, + "pad": 9845, + "effect": 9846, + "RX": 9847, + "▁lang": 9848, + "strong": 9849, + "▁bridge": 9850, + "aya": 9851, + "▁treated": 9852, + "▁forth": 9853, + "SW": 9854, + "▁accounts": 9855, + "▁PO": 9856, + "▁listening": 9857, + "Route": 9858, + "()))": 9859, + "cpy": 9860, + "▁reform": 9861, + "▁gate": 9862, + "▁Walk": 9863, + "▁somehow": 9864, + "tf": 9865, + "▁layout": 9866, + "umin": 9867, + "▁considering": 9868, + "▁premi": 9869, + "▁Mom": 9870, + "athan": 9871, + "Gen": 9872, + "▁planet": 9873, + "amples": 9874, + "▁MO": 9875, + "shop": 9876, + "▁premier": 9877, + "▁simpl": 9878, + "▁segu": 9879, + "LY": 9880, + "Sum": 9881, + "▁tables": 9882, + "ska": 9883, + "▁ž": 9884, + "pd": 9885, + "▁sous": 9886, + "▁conference": 9887, + "▁Dat": 9888, + "Scroll": 9889, + "▁standards": 9890, + "▁гру": 9891, + "esse": 9892, + "▁citizens": 9893, + "▁occurred": 9894, + "▁democr": 9895, + "▁elev": 9896, + "▁Sem": 9897, + "ensus": 9898, + "headers": 9899, + "▁Chris": 9900, + "imento": 9901, + "kom": 9902, + "Cor": 9903, + "MIN": 9904, + "usher": 9905, + "Database": 9906, + "▁formal": 9907, + "igne": 9908, + "▁organizations": 9909, + "▁Ire": 9910, + "Xml": 9911, + "из": 9912, + "▁pray": 9913, + "▁bomb": 9914, + "▁mand": 9915, + "erts": 9916, + "▁clock": 9917, + "▁buck": 9918, + "вали": 9919, + "ensch": 9920, + "▁volt": 9921, + "▁films": 9922, + "▁plants": 9923, + "inode": 9924, + "Boolean": 9925, + "▁restaurant": 9926, + "ían": 9927, + "▁debut": 9928, + "pages": 9929, + "▁wordt": 9930, + "▁Ба": 9931, + "▁greatest": 9932, + "(\"/": 9933, + "▁copyright": 9934, + "▁rit": 9935, + "sizeof": 9936, + "Trace": 9937, + "uent": 9938, + "тур": 9939, + "▁ko": 9940, + ":\\": 9941, + "▁bigger": 9942, + "▁perfectly": 9943, + "tenance": 9944, + "MASK": 9945, + "ré": 9946, + "▁ett": 9947, + "▁nose": 9948, + "▁craft": 9949, + "iteral": 9950, + "▁discussed": 9951, + "▁Jewish": 9952, + "Cap": 9953, + "▁Unless": 9954, + "▁Jackson": 9955, + "Attributes": 9956, + "▁lunch": 9957, + "öl": 9958, + "atr": 9959, + "▁paying": 9960, + "Parse": 9961, + "()\r": 9962, + "lad": 9963, + "▁rare": 9964, + "▁[];": 9965, + "stone": 9966, + "▁unc": 9967, + "▁defense": 9968, + "}+": 9969, + "▁Global": 9970, + "▁Soviet": 9971, + "▁Australian": 9972, + "▁gli": 9973, + "variant": 9974, + "▁Ron": 9975, + "▁loan": 9976, + "Step": 9977, + "member": 9978, + "Sch": 9979, + "▁Committee": 9980, + "▁spending": 9981, + "▁Tri": 9982, + "▁Journal": 9983, + "▁sugar": 9984, + "elly": 9985, + "HTML": 9986, + "▁advent": 9987, + "wing": 9988, + "▁Whether": 9989, + "oration": 9990, + "▁NE": 9991, + "iveness": 9992, + "▁hav": 9993, + "▁conscious": 9994, + "een": 9995, + "Symbol": 9996, + "▁ку": 9997, + "Logger": 9998, + "▁Little": 9999, + "widet": 10000, + "ocation": 10001, + "pin": 10002, + "▁symmet": 10003, + "▁AD": 10004, + "▁posts": 10005, + "shal": 10006, + "▁Conf": 10007, + "▁chose": 10008, + "mal": 10009, + "ulo": 10010, + "▁Method": 10011, + "▁missed": 10012, + "Remove": 10013, + "Auto": 10014, + "VALUE": 10015, + "thlet": 10016, + "▁Force": 10017, + "pf": 10018, + "▁Я": 10019, + "late": 10020, + "▁pul": 10021, + "Pop": 10022, + "▁advanced": 10023, + "aires": 10024, + "ressed": 10025, + "AME": 10026, + "bell": 10027, + "aching": 10028, + "ić": 10029, + "echo": 10030, + "HS": 10031, + "▁funny": 10032, + "рии": 10033, + "▁eer": 10034, + "▁veget": 10035, + "▁fourth": 10036, + "cf": 10037, + "transform": 10038, + "▁grown": 10039, + "▁McC": 10040, + "site": 10041, + "▁beneath": 10042, + "▁shell": 10043, + "xd": 10044, + "Play": 10045, + "short": 10046, + "Role": 10047, + "▁religion": 10048, + "inator": 10049, + "}<": 10123, + "asp": 10124, + "ajo": 10125, + "exports": 10126, + "▁Node": 10127, + "▁jako": 10128, + "▁ya": 10129, + "▁successfully": 10130, + "▁friendly": 10131, + "buff": 10132, + "DEFAULT": 10133, + "▁pregn": 10134, + "Required": 10135, + "▁binary": 10136, + "isting": 10137, + "▁stared": 10138, + "▁circumstances": 10139, + "▁хо": 10140, + "rei": 10141, + "▁Го": 10142, + "Transform": 10143, + "cnt": 10144, + "▁Ext": 10145, + "report": 10146, + "VERSION": 10147, + "▁analy": 10148, + "▁Marg": 10149, + "▁alleg": 10150, + "builder": 10151, + "ToString": 10152, + "Layer": 10153, + "íst": 10154, + "Prop": 10155, + "▁Emp": 10156, + "}]": 10157, + "▁selling": 10158, + "▁queue": 10159, + "▁seriously": 10160, + "▁Lead": 10161, + "textit": 10162, + "testing": 10163, + "▁Пре": 10164, + "security": 10165, + "iał": 10166, + "ún": 10167, + "chip": 10168, + "▁candidate": 10169, + "▁minister": 10170, + "eria": 10171, + "▁Het": 10172, + "дин": 10173, + "▁Britain": 10174, + "▁barely": 10175, + "▁sty": 10176, + "▁Spanish": 10177, + "▁Ven": 10178, + "timer": 10179, + "ків": 10180, + "▁documents": 10181, + "('.": 10182, + "▁debug": 10183, + "▁contro": 10184, + "стоя": 10185, + "▁joy": 10186, + "Sn": 10187, + "Inv": 10188, + "▁protocol": 10189, + "▁faces": 10190, + "▁Despite": 10191, + "sed": 10192, + "Conf": 10193, + "ARG": 10194, + "▁evolution": 10195, + "▁tod": 10196, + "▁Promise": 10197, + "▁posted": 10198, + "Perm": 10199, + "bet": 10200, + "Ang": 10201, + "Just": 10202, + "▁rum": 10203, + "layer": 10204, + "▁behavi": 10205, + "ipping": 10206, + "▁dynam": 10207, + "▁scheme": 10208, + "▁proto": 10209, + ")/": 10210, + "Collections": 10211, + "riev": 10212, + "▁Click": 10213, + "▁uns": 10214, + "widetilde": 10215, + "▁remembered": 10216, + "гі": 10217, + "inates": 10218, + "▁incorpor": 10219, + "▁Description": 10220, + "▁prepare": 10221, + "▁Final": 10222, + "uation": 10223, + "▁Queen": 10224, + ">;": 10225, + "▁automatically": 10226, + "▁sharp": 10227, + "▁meat": 10228, + "ateur": 10229, + "astern": 10230, + "▁stuck": 10231, + "ASSERT": 10232, + "▁planned": 10233, + "dots": 10234, + "ookie": 10235, + "▁Histor": 10236, + "▁reviews": 10237, + "IMP": 10238, + "▁answered": 10239, + "Total": 10240, + "▁sau": 10241, + "▁Mexico": 10242, + "continue": 10243, + "▁Apple": 10244, + "likely": 10245, + "зва": 10246, + "users": 10247, + "▁identified": 10248, + "▁Lev": 10249, + "▁mol": 10250, + "▁Islam": 10251, + "▁committed": 10252, + "writ": 10253, + "бер": 10254, + "rift": 10255, + "▁interrupt": 10256, + "▁readonly": 10257, + "schema": 10258, + "Sm": 10259, + "Double": 10260, + "aza": 10261, + "▁Hal": 10262, + "Move": 10263, + "▁Series": 10264, + "inline": 10265, + "▁которы": 10266, + "soc": 10267, + "▁tent": 10268, + "▁amer": 10269, + "aki": 10270, + "▁lady": 10271, + "▁tired": 10272, + "ifi": 10273, + "▁même": 10274, + "ouver": 10275, + "▁aside": 10276, + "Did": 10277, + "',\r": 10278, + "▁bringing": 10279, + "Drawing": 10280, + "aro": 10281, + "▁Rh": 10282, + "▁Naz": 10283, + "esso": 10284, + "▁reaction": 10285, + "mitted": 10286, + "▁absolute": 10287, + "haust": 10288, + "(()": 10289, + "▁Task": 10290, + "ERS": 10291, + "▁^{": 10292, + "VD": 10293, + "▁tone": 10294, + "dist": 10295, + "vs": 10296, + "▁wheel": 10297, + "▁administration": 10298, + "▁interests": 10299, + "▁pointer": 10300, + "▁encounter": 10301, + "aver": 10302, + "▁nord": 10303, + "ket": 10304, + "▁beach": 10305, + "▁enjoyed": 10306, + "contains": 10307, + "▁append": 10308, + "Wait": 10309, + "▁squad": 10310, + "zel": 10311, + "▁medium": 10312, + "▁sending": 10313, + "▁Lady": 10314, + "ções": 10315, + "▁destination": 10316, + "nych": 10317, + "▁conflict": 10318, + "▁Ly": 10319, + "▁vul": 10320, + "▁basically": 10321, + "reated": 10322, + "black": 10323, + "ugins": 10324, + "▁calm": 10325, + "érie": 10326, + "har": 10327, + "лан": 10328, + "▁Се": 10329, + "watch": 10330, + "▁Put": 10331, + "▁dump": 10332, + "acher": 10333, + "scroll": 10334, + "▁claimed": 10335, + "▁Control": 10336, + "▁blind": 10337, + "enti": 10338, + "▁Keep": 10339, + "▁Development": 10340, + "images": 10341, + "▁tough": 10342, + "gebra": 10343, + "▁sept": 10344, + "hew": 10345, + "▁skill": 10346, + "▁Tay": 10347, + "▁któ": 10348, + "owner": 10349, + "pare": 10350, + "▁fee": 10351, + "▁continues": 10352, + "▁kan": 10353, + "bes": 10354, + "▁cha": 10355, + "ovo": 10356, + "▁Night": 10357, + "icture": 10358, + "shire": 10359, + "▁essay": 10360, + "▁suppose": 10361, + "etic": 10362, + "Art": 10363, + "acon": 10364, + "lla": 10365, + "words": 10366, + "▁comparison": 10367, + "▁BE": 10368, + "▁challenges": 10369, + "▁ol": 10370, + "citep": 10371, + "▁Foot": 10372, + "▁Such": 10373, + "▁papers": 10374, + "activ": 10375, + "quer": 10376, + "тя": 10377, + "▁То": 10378, + "ський": 10379, + "thur": 10380, + "done": 10381, + "▁shock": 10382, + "▁dedicated": 10383, + "▁correspond": 10384, + "Second": 10385, + "▁bull": 10386, + "life": 10387, + "indent": 10388, + "▁figures": 10389, + "▁Andrew": 10390, + "isp": 10391, + "▁favour": 10392, + "зда": 10393, + "▁Elect": 10394, + "Full": 10395, + "▁nearby": 10396, + "▁Register": 10397, + "Scale": 10398, + "ications": 10399, + "ин": 10400, + "▁AM": 10401, + "pair": 10402, + "▁perspective": 10403, + "▁nos": 10404, + "apa": 10405, + "ostał": 10406, + "▁Pers": 10407, + "icer": 10408, + "▁plastic": 10409, + "дов": 10410, + "ciples": 10411, + "zą": 10412, + "clos": 10413, + "▁уча": 10414, + "▁Á": 10415, + "plugin": 10416, + "▁angle": 10417, + "▁commission": 10418, + "▁funds": 10419, + "▁indu": 10420, + "▁drawn": 10421, + "ám": 10422, + "▁developing": 10423, + "▁segment": 10424, + "isme": 10425, + "scr": 10426, + "▁lies": 10427, + "▁IL": 10428, + "▁api": 10429, + "Extension": 10430, + "▁scal": 10431, + "install": 10432, + "▁Week": 10433, + "▁gentle": 10434, + "▁Canadian": 10435, + "▁dialog": 10436, + "▁articles": 10437, + "Theme": 10438, + "SM": 10439, + "▁Bul": 10440, + "▁leur": 10441, + "▁stom": 10442, + "Plugin": 10443, + "▁после": 10444, + "▁stead": 10445, + "▁ś": 10446, + "ipher": 10447, + "▁prze": 10448, + "▁draft": 10449, + "bottom": 10450, + "▁{};": 10451, + "▁stayed": 10452, + "feature": 10453, + "▁vot": 10454, + "▁fabric": 10455, + "ça": 10456, + "('#": 10457, + "rea": 10458, + "▁reput": 10459, + "▁Cir": 10460, + "▁AL": 10461, + "▁assertEquals": 10462, + "results": 10463, + "▁Cross": 10464, + "ursday": 10465, + "▁audio": 10466, + "▁gap": 10467, + "▁streets": 10468, + "▁scientific": 10469, + "platform": 10470, + "▁auss": 10471, + "▁Cro": 10472, + "▁partial": 10473, + "unc": 10474, + "▁choices": 10475, + "▁или": 10476, + "pred": 10477, + "▁heads": 10478, + "terday": 10479, + "▁Nick": 10480, + "▁weird": 10481, + "asant": 10482, + "▁represented": 10483, + "▁пи": 10484, + "DP": 10485, + "orders": 10486, + "clock": 10487, + "▁Ho": 10488, + "arters": 10489, + "Cmd": 10490, + "oga": 10491, + "Keys": 10492, + "Report": 10493, + "▁Vill": 10494, + "▁Mu": 10495, + "▁owned": 10496, + "SUCCESS": 10497, + "▁typeof": 10498, + "hdr": 10499, + "uable": 10500, + "▁neighborhood": 10501, + "▁AP": 10502, + "▁resulting": 10503, + "▁shadow": 10504, + "STRING": 10505, + "▁videos": 10506, + "лення": 10507, + "expect": 10508, + "▁Valley": 10509, + "▁goto": 10510, + "▁Sher": 10511, + "frastr": 10512, + "▁operating": 10513, + "▁это": 10514, + "▁Licensed": 10515, + "Variable": 10516, + "▁PR": 10517, + "▁Hans": 10518, + "clone": 10519, + "▁Gesch": 10520, + "▁Band": 10521, + "........": 10522, + "uing": 10523, + "▁hundreds": 10524, + "▁ок": 10525, + "▁emotional": 10526, + "▁Indust": 10527, + ")+": 10528, + "▁Egypt": 10529, + "▁franç": 10530, + "▁š": 10531, + "▁fasc": 10532, + "onto": 10533, + "▁Adam": 10534, + "▁laid": 10535, + "▁rig": 10536, + "▁detailed": 10537, + "▁implements": 10538, + "▁university": 10539, + "▁Hy": 10540, + "▁grid": 10541, + "▁regions": 10542, + "Stop": 10543, + "▁slot": 10544, + "▁angry": 10545, + "▁-=": 10546, + "▁waited": 10547, + "Vert": 10548, + "\":\"": 10549, + "▁elem": 10550, + "▁rég": 10551, + "owed": 10552, + "Member": 10553, + "▁ratio": 10554, + "isen": 10555, + "▁Lem": 10556, + "gery": 10557, + "▁cream": 10558, + "▁était": 10559, + "▁geb": 10560, + "unique": 10561, + "▁Deb": 10562, + "▁factory": 10563, + "że": 10564, + "dialog": 10565, + "▁Config": 10566, + "Sync": 10567, + "angers": 10568, + "▁governing": 10569, + "▁Hun": 10570, + "Space": 10571, + "▁jest": 10572, + "icious": 10573, + "▁emphas": 10574, + "umps": 10575, + "▁Esp": 10576, + "▁sul": 10577, + "▁historical": 10578, + "ija": 10579, + "▁lying": 10580, + "▁Steve": 10581, + "▁measures": 10582, + "osto": 10583, + "?”": 10584, + "▁pocket": 10585, + "▁Sat": 10586, + "▁pitch": 10587, + "▁natur": 10588, + "▁humans": 10589, + "▁Simon": 10590, + "adores": 10591, + "(\"\\": 10592, + "inking": 10593, + "▁expos": 10594, + "material": 10595, + "▁apparently": 10596, + "▁Camb": 10597, + "▁Box": 10598, + "▁spaces": 10599, + "exists": 10600, + "▁acting": 10601, + "ORY": 10602, + "зова": 10603, + "Good": 10604, + "ienne": 10605, + "▁Williams": 10606, + "▁fruit": 10607, + "iera": 10608, + "▁Lim": 10609, + "▁trait": 10610, + "▁artists": 10611, + "▁absor": 10612, + "rait": 10613, + "LOAD": 10614, + "▁movies": 10615, + "▁dynamic": 10616, + "asts": 10617, + "▁Integer": 10618, + "▁smoke": 10619, + "пі": 10620, + "angel": 10621, + ">(\"": 10622, + "▁instrument": 10623, + "▁fuel": 10624, + "ної": 10625, + "atalogue": 10626, + "▁serial": 10627, + "Files": 10628, + "▁bathroom": 10629, + "ilo": 10630, + "esto": 10631, + "▁pm": 10632, + "entials": 10633, + "▁Online": 10634, + "white": 10635, + "▁tips": 10636, + "▁capable": 10637, + "Fig": 10638, + "TV": 10639, + "▁он": 10640, + "ké": 10641, + "bitr": 10642, + "Mapping": 10643, + "▁tak": 10644, + "ющи": 10645, + "вля": 10646, + ")\",": 10647, + "▁Karl": 10648, + "▁Human": 10649, + "▁Pot": 10650, + "▁represents": 10651, + "▁consistent": 10652, + "_(": 10653, + "wen": 10654, + "▁Rose": 10655, + "law": 10656, + "▁FROM": 10657, + "▁begins": 10658, + "▁edit": 10659, + "▁mountain": 10660, + "▁chapter": 10661, + "▁wondered": 10662, + "▁industrial": 10663, + "▁Major": 10664, + "▁ges": 10665, + "▁directed": 10666, + "eros": 10667, + "▁Wild": 10668, + "liament": 10669, + "Book": 10670, + "username": 10671, + "hot": 10672, + "▁nam": 10673, + "▁league": 10674, + "bra": 10675, + "кон": 10676, + "▁Tal": 10677, + "▁Ва": 10678, + "▁exports": 10679, + "(@": 10680, + "▁sharing": 10681, + "▁Tro": 10682, + "ść": 10683, + "uesday": 10684, + "ylv": 10685, + "▁guitar": 10686, + "elen": 10687, + "Selection": 10688, + "▁confident": 10689, + "rypto": 10690, + "▁hors": 10691, + "editor": 10692, + "▁shoulders": 10693, + "getName": 10694, + "encing": 10695, + "SELECT": 10696, + "вши": 10697, + "▁kinds": 10698, + "▁Wel": 10699, + "▁purposes": 10700, + "Matrix": 10701, + "invalid": 10702, + "▁owners": 10703, + "▁Records": 10704, + "▁Process": 10705, + "▁chat": 10706, + "▁Dor": 10707, + "▁bin": 10708, + "redit": 10709, + "oire": 10710, + "▁Total": 10711, + "▁Family": 10712, + "ARY": 10713, + "▁bread": 10714, + "▁compre": 10715, + "▁shoes": 10716, + "▁raz": 10717, + "▁trace": 10718, + "nej": 10719, + "orted": 10720, + "hn": 10721, + "▁procedure": 10722, + "properties": 10723, + "plier": 10724, + "▁hero": 10725, + "panel": 10726, + "▁marked": 10727, + "▁worried": 10728, + "\\|": 10729, + "pts": 10730, + "▁Support": 10731, + "▁serving": 10732, + "Fail": 10733, + "▁disappoint": 10734, + "▁Scot": 10735, + "▁pleasure": 10736, + "▁judge": 10737, + "zeich": 10738, + "▁forever": 10739, + "▁Zeit": 10740, + "uous": 10741, + "inent": 10742, + "▁dw": 10743, + "▁waren": 10744, + "▁flash": 10745, + "▁troops": 10746, + "▁drugs": 10747, + "▁diam": 10748, + ".~": 10749, + "imp": 10750, + "inned": 10751, + "▁EV": 10752, + "Struct": 10753, + "▁justice": 10754, + "▁officials": 10755, + "ffff": 10756, + "▁Common": 10757, + "▁Cat": 10758, + "▁tomorrow": 10759, + "▁él": 10760, + "Texture": 10761, + "qpoint": 10762, + "▁Fried": 10763, + "▁Term": 10764, + "pgfqpoint": 10765, + "▁nem": 10766, + "norm": 10767, + "▁hardly": 10768, + "oda": 10769, + "zeta": 10770, + "emic": 10771, + "▁полу": 10772, + "▁loaded": 10773, + "kes": 10774, + "ció": 10775, + "▁fool": 10776, + "▁trick": 10777, + "▁dst": 10778, + "Find": 10779, + "▁все": 10780, + "}},": 10781, + "▁framework": 10782, + "▁merely": 10783, + "▁union": 10784, + "▁Edward": 10785, + "rif": 10786, + "Flag": 10787, + "▁crisis": 10788, + "▁finite": 10789, + "▁lol": 10790, + "▁Kim": 10791, + "ната": 10792, + "since": 10793, + "▁compat": 10794, + "▁pert": 10795, + "ibilities": 10796, + "▁también": 10797, + "ibli": 10798, + "▁teen": 10799, + "▁sympt": 10800, + "oral": 10801, + "ders": 10802, + "otte": 10803, + "при": 10804, + "▁Jane": 10805, + "▁originally": 10806, + "▁throat": 10807, + "mag": 10808, + "sup": 10809, + "uni": 10810, + "$$": 10811, + "▁Library": 10812, + "▁attacks": 10813, + "ingen": 10814, + "('/": 10815, + "▁hes": 10816, + "coin": 10817, + "ounce": 10818, + "▁Academy": 10819, + "MODULE": 10820, + "isms": 10821, + "▁Adv": 10822, + "▁Bol": 10823, + "▁incident": 10824, + ")^{": 10825, + "▁bij": 10826, + "▁Rome": 10827, + "▁Italy": 10828, + "events": 10829, + "▁Fern": 10830, + "▁ber": 10831, + "▁silent": 10832, + "▁pier": 10833, + "▁YO": 10834, + "▁plain": 10835, + "Bas": 10836, + "▁pill": 10837, + "rase": 10838, + "▁carrying": 10839, + "▁resp": 10840, + "ную": 10841, + "▁typical": 10842, + "Wrapper": 10843, + "▁gau": 10844, + "▁chemical": 10845, + "▁hal": 10846, + "throw": 10847, + "Cluster": 10848, + "▁Gab": 10849, + "▁Girl": 10850, + "quir": 10851, + "▁Arg": 10852, + "▁relief": 10853, + "▁Ве": 10854, + "dm": 10855, + "▁frustr": 10856, + "\\%": 10857, + "▁stores": 10858, + "▁bottle": 10859, + "▁Lew": 10860, + "two": 10861, + "stad": 10862, + "▁cheek": 10863, + "▁concerns": 10864, + "▁helpful": 10865, + "▁coverage": 10866, + "isi": 10867, + "ADD": 10868, + "async": 10869, + "▁approximately": 10870, + "iffer": 10871, + "hook": 10872, + "▁enum": 10873, + "ová": 10874, + "▁evil": 10875, + "▁constantly": 10876, + "apply": 10877, + "▁siè": 10878, + "▁practices": 10879, + "▁teachers": 10880, + "▁Sn": 10881, + "▁Awards": 10882, + "▁substant": 10883, + "▁$.": 10884, + "dk": 10885, + "▁mob": 10886, + "▁ingred": 10887, + "vere": 10888, + "Multi": 10889, + "пер": 10890, + "stal": 10891, + "yard": 10892, + "required": 10893, + "vement": 10894, + "▁intelligence": 10895, + "▁thinks": 10896, + "▁personally": 10897, + "▁trained": 10898, + "orney": 10899, + ")\\": 11266, + "anal": 11267, + "Section": 11268, + "plus": 11269, + "üt": 11270, + "▁embed": 11271, + "▁strings": 11272, + "Before": 11273, + "proc": 11274, + "▁спо": 11275, + "trl": 11276, + "vr": 11277, + "Background": 11278, + "logger": 11279, + "agraph": 11280, + "iest": 11281, + "▁goods": 11282, + "batch": 11283, + "▁optional": 11284, + "▁Taylor": 11285, + "▁recognize": 11286, + "walk": 11287, + "▁Hit": 11288, + "▁Elizabeth": 11289, + "}:": 11290, + "▁careful": 11291, + "краї": 11292, + "▁locations": 11293, + "▁structures": 11294, + "▁disk": 11295, + "▁ships": 11296, + "▁suo": 11297, + "▁sowie": 11298, + "▁Ess": 11299, + "▁Hash": 11300, + "▁reasonable": 11301, + "▁Moreover": 11302, + "▁formula": 11303, + "▁Centre": 11304, + "▁residents": 11305, + "RS": 11306, + "Ids": 11307, + "▁Know": 11308, + "▁trib": 11309, + "▁rés": 11310, + "▁stable": 11311, + "▁Would": 11312, + "▁breaking": 11313, + "▁meal": 11314, + "▁phen": 11315, + "▁fel": 11316, + "▁Fred": 11317, + "Author": 11318, + "▁capture": 11319, + "opts": 11320, + "▁everywhere": 11321, + "▁sque": 11322, + "▁moder": 11323, + "setup": 11324, + "▁Supp": 11325, + "▁whenever": 11326, + "{(": 11327, + "wart": 11328, + "▁toe": 11329, + "Prefix": 11330, + "hou": 11331, + "gage": 11332, + ">\"": 11333, + "▁frag": 11334, + "▁Theorem": 11335, + "memory": 11336, + "▁contents": 11337, + "docs": 11338, + "}'": 11339, + "▁Irish": 11340, + "Then": 11341, + "aats": 11342, + "Save": 11343, + "▁agency": 11344, + "▁име": 11345, + "дова": 11346, + "▁Function": 11347, + "NN": 11348, + "destroy": 11349, + "▁Message": 11350, + "▁cancel": 11351, + "▁superior": 11352, + "▁ec": 11353, + "▁literature": 11354, + "▁PART": 11355, + "Il": 11356, + "▁Cab": 11357, + "engine": 11358, + "▁basket": 11359, + "worth": 11360, + "▁Sel": 11361, + "fetch": 11362, + "▁Stadt": 11363, + "▁Ки": 11364, + "▁conj": 11365, + "▁seiner": 11366, + "▁confirmed": 11367, + "▁Argent": 11368, + "amar": 11369, + "pgfpath": 11370, + "▁struggle": 11371, + "Pattern": 11372, + "▁Middle": 11373, + "itan": 11374, + "▁moon": 11375, + "orough": 11376, + "▁Catholic": 11377, + "▁struck": 11378, + "]->": 11379, + "▁weapon": 11380, + "▁subst": 11381, + "▁instructions": 11382, + "▁occas": 11383, + "protected": 11384, + "▁Less": 11385, + "▁batch": 11386, + "▁contra": 11387, + "▁deck": 11388, + "▁ignored": 11389, + "▁refused": 11390, + "trigger": 11391, + "▁criminal": 11392, + "GA": 11393, + "olly": 11394, + "▁Bell": 11395, + "▁Ю": 11396, + "forward": 11397, + "▁prefix": 11398, + "▁immediate": 11399, + "▁assigned": 11400, + "▁elected": 11401, + "▁tonight": 11402, + "▁Dies": 11403, + "▁Beach": 11404, + "▁preced": 11405, + "ował": 11406, + "▁galax": 11407, + "▁logic": 11408, + "enza": 11409, + "▁Captain": 11410, + "▁Hay": 11411, + "▁facts": 11412, + "▁ни": 11413, + "té": 11414, + "▁sb": 11415, + "oped": 11416, + "▁combat": 11417, + "▁explore": 11418, + "▁(-": 11419, + "Loader": 11420, + "▁Wilson": 11421, + "▁locked": 11422, + ":)": 12970, + "▁quel": 12971, + "▁Га": 12972, + "Ty": 12973, + "▁temps": 12974, + "▁ghost": 12975, + "Material": 12976, + "ERCHANT": 12977, + "pointer": 12978, + "жда": 12979, + "aha": 12980, + "ulf": 12981, + "▁supplement": 12982, + "▁dismiss": 12983, + "▁closing": 12984, + "▁vulner": 12985, + "▁après": 12986, + "▁overwhel": 12987, + "ское": 12988, + "▁disag": 12989, + "acia": 12990, + "oured": 12991, + "ruption": 12992, + "▁PS": 12993, + "Endpoint": 12994, + "Real": 12995, + "▁Tag": 12996, + "▁stairs": 12997, + "lyn": 12998, + "▁eleg": 12999, + "▁veter": 13000, + "factory": 13001, + "anne": 13002, + "▁Bat": 13003, + "▁franc": 13004, + "lung": 13005, + "▁\"'": 13006, + ".',": 13007, + "▁Country": 13008, + "^{[": 13009, + "▁yours": 13010, + "ailability": 13011, + "Clear": 13012, + "ätt": 13013, + "пис": 13014, + "▁joke": 13015, + "▁annoy": 13016, + "▁rag": 13017, + "vari": 13018, + "лекс": 13019, + "▁Psy": 13020, + "ilty": 13021, + "mount": 13022, + "▁cual": 13023, + "▁solar": 13024, + "}^{(": 13025, + "Short": 13026, + "▁taxes": 13027, + "Append": 13028, + "Win": 13029, + "estyle": 13030, + "▁facil": 13031, + "вро": 13032, + "▁sought": 13033, + "▁bare": 13034, + "▁react": 13035, + "jar": 13036, + "MAC": 13037, + "lov": 13038, + "warn": 13039, + "▁crucial": 13040, + "▁museum": 13041, + "ниц": 13042, + "▁Kent": 13043, + "Maybe": 13044, + "▁bike": 13045, + "▁Address": 13046, + "XML": 13047, + "▁admitted": 13048, + "▁$(\\": 13049, + "▁spell": 13050, + "▁vic": 13051, + "gre": 13052, + "▁proc": 13053, + "theless": 13054, + "▁Nom": 13055, + "▁Rail": 13056, + "▁acceler": 13057, + "▁convin": 13058, + "▁Property": 13059, + "▁DA": 13060, + "▁clip": 13061, + "▁plugin": 13062, + "Limit": 13063, + "views": 13064, + "bru": 13065, + "▁pra": 13066, + "▁ak": 13067, + "▁ej": 13068, + "▁opts": 13069, + "▁slip": 13070, + "▁gang": 13071, + "asted": 13072, + "uals": 13073, + "▁dying": 13074, + "Coll": 13075, + "ammen": 13076, + "▁Policy": 13077, + "ERCHANTABILITY": 13078, + "▁Collection": 13079, + "▁vec": 13080, + "▁Dick": 13081, + "stud": 13082, + "▁layers": 13083, + "▁tied": 13084, + "}\\\\": 13085, + "▁alors": 13086, + "▁jou": 13087, + "▁chicken": 13088, + "▁permanent": 13089, + "▁Everything": 13090, + "▁Low": 13091, + "▁Cook": 13092, + "▁peak": 13093, + "▁PARTICULAR": 13094, + "▁dear": 13095, + "ič": 13096, + "▁introduce": 13097, + "▁causing": 13098, + "писа": 13099, + "Bound": 13100, + "hund": 13101, + "multi": 13102, + "▁pare": 13103, + "annt": 13104, + "▁breat": 13105, + "▁commitment": 13106, + "▁increasingly": 13107, + "кой": 13108, + "▁Friend": 13109, + "▁statistics": 13110, + "▁Manager": 13111, + "plicate": 13112, + "Cloud": 13113, + "aci": 13114, + "▁Conference": 13115, + "Span": 13116, + "▁CEO": 13117, + "▁Wait": 13118, + "▁Ober": 13119, + "ifting": 13120, + "imiento": 13121, + "getElement": 13122, + "▁gle": 13123, + "лия": 13124, + "▁wieder": 13125, + "▁instruction": 13126, + "gly": 13127, + "▁blame": 13128, + "▁listade": 13129, + "▁aapt": 13130, + "▁Lewis": 13131, + "Fragment": 13132, + "▁gear": 13133, + "mill": 13134, + "prod": 13135, + "▁burning": 13136, + "ється": 13137, + "▁mé": 13138, + "ène": 13139, + "▁complicated": 13140, + "bh": 13141, + "▁Justice": 13142, + "▁tested": 13143, + "▁staring": 13144, + "▁survive": 13145, + "▁cous": 13146, + "▁rib": 13147, + "aml": 13148, + "▁Trust": 13149, + "▁cad": 13150, + "▁Terr": 13151, + "▁mapping": 13152, + "▁twelve": 13153, + "▁grant": 13154, + "▁thorough": 13155, + "▁Ü": 13156, + "▁folks": 13157, + "▁Content": 13158, + "▁childhood": 13159, + "cker": 13160, + "сно": 13161, + "RECT": 13162, + "▁finale": 13163, + "▁shower": 13164, + "éric": 13165, + "▁spat": 13166, + "odge": 13167, + "рь": 13168, + "▁pes": 13169, + "eda": 13170, + "Db": 13171, + "▁Antonio": 13172, + "▁engaged": 13173, + "▁vess": 13174, + "vals": 13175, + "▁electronic": 13176, + "lemma": 13177, + "▁Wy": 13178, + "mad": 13179, + "merge": 13180, + "apon": 13181, + "▁privile": 13182, + "▁novembre": 13183, + "▁Sports": 13184, + "will": 13185, + "▁controls": 13186, + "▁categories": 13187, + "▁Georgia": 13188, + "ipedia": 13189, + "▁AV": 13190, + "atori": 13191, + "▁___": 13192, + "▁À": 13193, + "▁Ryan": 13194, + "▁Charlie": 13195, + "▁исто": 13196, + "▁emotion": 13197, + "▁cooking": 13198, + "▁attempts": 13199, + "▁FITNESS": 13200, + "äter": 13201, + "Enable": 13202, + "DT": 13203, + "▁Change": 13204, + "AspNet": 13205, + "▁га": 13206, + "▁ordinary": 13207, + "▁SQL": 13208, + "plane": 13209, + "%.": 13210, + "▁Summer": 13211, + "▁avait": 13212, + "upp": 13213, + "▁illness": 13214, + "UINT": 13215, + ">{": 13216, + "▁zwischen": 13217, + "▁hardware": 13218, + "▁sounded": 13219, + "equiv": 13220, + "▁piano": 13221, + "uset": 13222, + "kn": 13223, + "TRY": 13224, + "▁bab": 13225, + "нен": 13226, + "▁reliable": 13227, + "▁Bronnen": 13228, + "▁Store": 13229, + "Az": 13230, + "▁»,": 13231, + "Static": 13232, + "dw": 13233, + "green": 13234, + "▁'';": 13235, + "lij": 13236, + "eva": 13237, + "ній": 13238, + "▁Syd": 13239, + "inois": 13240, + "convert": 13241, + "▁declare": 13242, + "bres": 13243, + "INK": 13244, + "itled": 13245, + "▁accord": 13246, + "▁mars": 13247, + "Sequence": 13248, + "zip": 13249, + "▁Brazil": 13250, + "▁meetings": 13251, + "▁accuracy": 13252, + "▁Machine": 13253, + "▁autor": 13254, + "▁ainsi": 13255, + "Simple": 13256, + "Resources": 13257, + "каза": 13258, + "▁MP": 13259, + "they": 13260, + "▁Bang": 13261, + "▁eing": 13262, + "ateful": 13263, + "▁Something": 13264, + "▁upset": 13265, + "History": 13266, + "dimensional": 13267, + "▁explanation": 13268, + "▁civ": 13269, + "▁conce": 13270, + "▁köz": 13271, + "▁promised": 13272, + "жду": 13273, + "wed": 13274, + "Fore": 13275, + "Amount": 13276, + "abb": 13277, + "▁clothing": 13278, + "лись": 13279, + "oen": 13280, + "▁Print": 13281, + "▁sizes": 13282, + "▁banks": 13283, + "ribed": 13284, + "▁'../": 13285, + "FIX": 13286, + "▁Hug": 13287, + "▁zn": 13288, + "▁INT": 13289, + "▁instances": 13290, + "▁alongside": 13291, + "Namespace": 13292, + "▁renew": 13293, + "▁asc": 13294, + "▁waves": 13295, + "▁pom": 13296, + "Duration": 13297, + "days": 13298, + "$(": 13299, + "▁grabbed": 13300, + "▁surgery": 13301, + "▁restore": 13302, + "Normal": 13303, + "▁Leb": 13304, + "▁analyt": 13305, + "Literal": 13306, + "HA": 13307, + "▁shares": 13308, + "illet": 13309, + "ols": 13310, + "▁Dog": 13311, + "orno": 13312, + "▁manip": 13313, + "jav": 13314, + "▁essentially": 13315, + "▁casual": 13316, + "opl": 13317, + "▁р": 13318, + "▁SU": 13319, + "▁engineering": 13320, + "▁Prime": 13321, + "▁SW": 13322, + "▁reaching": 13323, + "▁вла": 13324, + "▁Росси": 13325, + "▁Kre": 13326, + "erry": 13327, + "▁oppon": 13328, + "program": 13329, + "emper": 13330, + "isEmpty": 13331, + "▁Unit": 13332, + "INTER": 13333, + "ethe": 13334, + "zd": 13335, + "CUR": 13336, + "▁vm": 13337, + "conv": 13338, + "ropol": 13339, + "▁Coast": 13340, + "▁Select": 13341, + "▁была": 13342, + "▁Ve": 13343, + "owy": 13344, + "▁myth": 13345, + "ceptions": 13346, + "classes": 13347, + "▁worden": 13348, + "▁assault": 13349, + "▁dual": 13350, + "ORK": 13351, + "▁inches": 13352, + "▁FA": 13353, + "▁Station": 13354, + "▁personality": 13355, + "▁scar": 13356, + "▁regime": 13357, + "▁noten": 13358, + "▁rural": 13359, + "iza": 13360, + "Audio": 13361, + "▁disput": 13362, + "▁aver": 13363, + "▁obst": 13364, + "▁Region": 13365, + "utf": 13366, + "▁Cass": 13367, + "hspace": 13368, + "▁shipping": 13369, + "iko": 13370, + "icked": 13371, + "numer": 13372, + "дна": 13373, + "riel": 13374, + "disabled": 13375, + "opol": 13376, + "looking": 13377, + "▁classical": 13378, + "▁constructed": 13379, + "▁referenties": 13380, + "]+": 13381, + "▁captured": 13382, + "▁minimal": 13383, + "▁sock": 13384, + "father": 13385, + "isión": 13386, + "▁equally": 13387, + "▁reduction": 13388, + "Ant": 13389, + "aison": 13390, + "▁argue": 13391, + "circle": 13392, + "▁toler": 13393, + "}\",": 13394, + "▁primarily": 13395, + "usal": 13396, + "▁algebra": 13397, + "▁gathered": 13398, + "▁Remember": 13399, + "_);": 13400, + "UTE": 13401, + "▁Kit": 13402, + "Sy": 13403, + "HEAD": 13404, + "▁recipe": 13405, + "▁scenario": 13406, + "▁Following": 13407, + "VAR": 13408, + "▁yard": 13409, + "▁stad": 13410, + "*(": 13411, + "▁validate": 13412, + "DEX": 13413, + "▁committee": 13414, + "▁temporary": 13415, + "▁consequences": 13416, + "▁également": 13417, + "ктив": 13418, + "▁ra": 13419, + "▁displ": 13420, + "▁apps": 13421, + "▁Teil": 13422, + "▁».": 13423, + "▁adopted": 13424, + "tensor": 13425, + "▁femin": 13426, + "▁мар": 13427, + "логи": 13428, + "tech": 13429, + "▁Rot": 13430, + "▁knees": 13431, + "phys": 13432, + "owej": 13433, + "▁Oxford": 13434, + "анд": 13435, + "hell": 13436, + "ografia": 13437, + "▁exposed": 13438, + "ktop": 13439, + "oby": 13440, + "lower": 13441, + "▁Senate": 13442, + "▁sword": 13443, + "Flow": 13444, + "▁Unfortunately": 13445, + "▁boxes": 13446, + "▁cuando": 13447, + "▁pilot": 13448, + "▁Album": 13449, + "Bal": 13450, + "Sort": 13451, + "FIELD": 13452, + "▁desert": 13453, + "COMM": 13454, + "rons": 13455, + "adows": 13456, + "▁loyal": 13457, + "▁asset": 13458, + "▁mud": 13459, + "фа": 13460, + "▁secondary": 13461, + "▁Ар": 13462, + "▁cul": 13463, + "▁Asian": 13464, + "▁staying": 13465, + "▁dataset": 13466, + "▁USE": 13467, + "▁loves": 13468, + "▁velocity": 13469, + "áv": 13470, + "▁purchased": 13471, + "SOC": 13472, + "▁competitive": 13473, + "▁Football": 13474, + "iska": 13475, + "▁knock": 13476, + "stairs": 13477, + "azy": 13478, + "▁vend": 13479, + "▁arts": 13480, + "▁Bras": 13481, + "uela": 13482, + "кто": 13483, + "trim": 13484, + "▁dirty": 13485, + "▁websites": 13486, + "▁Indep": 13487, + "▁стра": 13488, + "sr": 13489, + "▁ticket": 13490, + "atile": 13491, + "▁implemented": 13492, + "▁время": 13493, + "▁bowl": 13494, + "DATE": 13495, + "▁alter": 13496, + "▁Space": 13497, + "▁accompan": 13498, + "ordon": 13499, + "▁doctors": 13500, + "istas": 13501, + "Cast": 13502, + "дом": 13503, + "CTL": 13504, + "urers": 13505, + "▁ingredients": 13506, + "▁calculated": 13507, + "▁leather": 13508, + "▁sensitive": 13509, + "▁suspic": 13510, + "stan": 13511, + "▁anni": 13512, + "await": 13513, + "▁Franç": 13514, + "▁abort": 13515, + "▁Spirit": 13516, + "▁Walter": 13517, + "unkt": 13518, + "▁vertical": 13519, + "ORS": 13520, + "best": 13521, + "▁Client": 13522, + "itated": 13523, + "▁ва": 13524, + "▁Č": 13525, + "▁ville": 13526, + "▁diplom": 13527, + "orne": 13528, + "▁bars": 13529, + "Uri": 13530, + "APTER": 13531, + "pons": 13532, + "utz": 13533, + "Proto": 13534, + "▁stir": 13535, + "▁це": 13536, + "▁primer": 13537, + "igible": 13538, + "extra": 13539, + "▁Books": 13540, + "▁Bos": 13541, + "▁Et": 13542, + "▁Welt": 13543, + "▁Korea": 13544, + "рито": 13545, + "▁vibr": 13546, + "Self": 13547, + "linear": 13548, + "об": 13549, + "▁Lang": 13550, + "▁deeper": 13551, + "▁termin": 13552, + "enschaft": 13553, + "▁році": 13554, + "ammed": 13555, + "visible": 13556, + "▁IOException": 13557, + "▁Wind": 13558, + "usqu": 13559, + "▁Stop": 13560, + "▁орга": 13561, + "INVALID": 13562, + "▁cub": 13563, + "▁jew": 13564, + "▁captain": 13565, + "зі": 13566, + "chunk": 13567, + "apture": 13568, + "ashboard": 13569, + "▁divided": 13570, + "▁extensive": 13571, + "▁suffer": 13572, + "▁heading": 13573, + "created": 13574, + "▁quietly": 13575, + "▁ny": 13576, + "▁пол": 13577, + "\"+": 13578, + "ikan": 13579, + "▁designs": 13580, + "zu": 13581, + "}+\\": 13582, + "Operator": 13583, + "▁Lemma": 13584, + "▁нау": 13585, + "acji": 13586, + "лове": 13587, + "Servlet": 13588, + "▁Kevin": 13589, + "stage": 13590, + "bn": 13591, + "textwidth": 13592, + "failed": 13593, + "▁Staff": 13594, + "▁enem": 13595, + "unde": 13596, + "ень": 13597, + "Packet": 13598, + "▁Als": 13599, + "kar": 13600, + "]['": 13601, + "ked": 13602, + "Pers": 13603, + ">::": 13604, + "▁arc": 13605, + "▁synt": 13606, + "SPE": 13607, + "▁Да": 13608, + "▁Mi": 13609, + "▁Moh": 13610, + "▁Death": 13611, + "browser": 13612, + "▁Dave": 13613, + "▁succ": 13614, + "toggle": 13615, + "▁tack": 13616, + "Comment": 13617, + "eron": 13618, + "▁awareness": 13619, + "▁hug": 13620, + "▁contemporary": 13621, + "ulating": 13622, + "▁Title": 13623, + "▁THIS": 13624, + "havior": 13625, + "rank": 13626, + "▁dozen": 13627, + "▁cheese": 13628, + "coln": 13629, + "▁radius": 13630, + "▁dimensions": 13631, + "roduction": 13632, + "▁adds": 13633, + "▁household": 13634, + "▁Davis": 13635, + "pkg": 13636, + "{$": 13637, + "▁casino": 13638, + "▁Pierre": 13639, + "▁objective": 13640, + "train": 13641, + "▁Michigan": 13642, + "payload": 13643, + "▁rug": 13644, + "▁severe": 13645, + "mean": 13646, + "▁toss": 13647, + "▁embarrass": 13648, + "▁Very": 13649, + "▁appeal": 13650, + "▁Comput": 13651, + "▁forgotten": 13652, + "▁kernel": 13653, + "▁carbon": 13654, + "fw": 13655, + "▁Су": 13656, + "▁Empire": 13657, + "▁quote": 13658, + "etz": 13659, + "▁mini": 13660, + "▁pipe": 13661, + "▁nous": 13662, + "▁Move": 13663, + "▁ду": 13664, + "▁nervous": 13665, + "▁Мар": 13666, + "*\r": 13667, + "▁Bush": 13668, + "▁peer": 13669, + "▁Writ": 13670, + "▁satisfied": 13671, + "▁pulling": 13672, + "▁Pur": 13673, + "▁Miller": 13674, + "▁FL": 13675, + "amaz": 13676, + "▁mile": 13677, + "▁Need": 13678, + "▁supplies": 13679, + "▁año": 13680, + "▁pace": 13681, + "▁Victoria": 13682, + "▁ought": 13683, + "▁Player": 13684, + "agnostic": 13685, + "▁viv": 13686, + "▁Patrick": 13687, + "▁Š": 13688, + "▁Story": 13689, + "aca": 13690, + "▁mountains": 13691, + "CLASS": 13692, + "▁fragment": 13693, + "▁settlement": 13694, + "▁Furthermore": 13695, + "▁drivers": 13696, + "▁Ju": 13697, + "▁были": 13698, + "Rows": 13699, + "▁impression": 13700, + "▁infer": 13701, + "▁Expl": 13702, + "olute": 13703, + "ovan": 13704, + "arance": 13705, + "CAP": 13706, + "▁enforce": 13707, + "▁Burn": 13708, + "Reset": 13709, + "mother": 13710, + "▁Battle": 13711, + "padding": 13712, + "iate": 13713, + "▁cried": 13714, + "AK": 13715, + "uns": 13716, + "▁siècle": 13717, + "▁Contin": 13718, + "bank": 13719, + "junit": 13720, + "objects": 13721, + "Rot": 13722, + "issa": 13723, + "▁begun": 13724, + "*-": 13725, + "▁visiting": 13726, + "жде": 13727, + "▁targets": 13728, + "▁Latin": 13729, + "ут": 13730, + "▁Esc": 13731, + "*;": 13732, + "ång": 13733, + "▁({": 13734, + "▁diagram": 13735, + "Models": 13736, + "▁partnership": 13737, + "▁från": 13738, + "ulty": 13739, + "Pod": 13740, + "CALL": 13741, + "modal": 13742, + "sig": 13743, + "itzer": 13744, + "itel": 13745, + "▁convinced": 13746, + "abl": 13747, + "стве": 13748, + "▁cot": 13749, + "▁repeat": 13750, + "▁lists": 13751, + "sound": 13752, + "▁royal": 13753, + "▁grace": 13754, + "▁oraz": 13755, + "Notification": 13756, + "prite": 13757, + "▁arrival": 13758, + "ancell": 13759, + "hentic": 13760, + "decode": 13761, + "▁fantastic": 13762, + "progress": 13763, + "proxy": 13764, + "ző": 13765, + "kel": 13766, + "▁convenient": 13767, + "aque": 13768, + "riet": 13769, + "▁Digital": 13770, + "iors": 13771, + "▁Budd": 13772, + "andra": 13773, + "addy": 13774, + "▁overs": 13775, + "▁consumers": 13776, + "pn": 13777, + "mouse": 13778, + "▁BC": 13779, + "deg": 13780, + "perm": 13781, + "ités": 13782, + "▁испо": 13783, + "heast": 13784, + "hour": 13785, + "PARAM": 13786, + "conscious": 13787, + "▁wing": 13788, + "▁atmosphere": 13789, + "▁gig": 13790, + "▁contre": 13791, + "▁drama": 13792, + "ят": 13793, + "▁Front": 13794, + "▁philosophy": 13795, + "▁Hart": 13796, + "▁nurs": 13797, + "uras": 13798, + "▁Tru": 13799, + "▁sud": 13800, + "▁performing": 13801, + "пы": 13802, + "▁confused": 13803, + "▁checks": 13804, + "amt": 13805, + "Make": 13806, + "▁RO": 13807, + "▁df": 13808, + "izations": 13809, + "▁degli": 13810, + "▁architecture": 13811, + "Renderer": 13812, + "▁Ла": 13813, + "▁ptr": 13814, + "▁dieser": 13815, + "submit": 13816, + "▁topics": 13817, + "▁principles": 13818, + "vars": 13819, + "sock": 13820, + "▁tongue": 13821, + "▁percentage": 13822, + "▁SS": 13823, + "▁dol": 13824, + "▁rice": 13825, + "ío": 13826, + "▁Eastern": 13827, + "▁recognition": 13828, + "▁Ern": 13829, + "▁Ut": 13830, + "▁caut": 13831, + "▁Cloud": 13832, + "▁conversion": 13833, + "▁Ohio": 13834, + "▁ME": 13835, + "▁surely": 13836, + "▁gard": 13837, + "puis": 13838, + "▁urg": 13839, + "imi": 13840, + "▁absence": 13841, + "▁winner": 13842, + "Language": 13843, + "▁HTTP": 13844, + "wt": 13845, + "▁translation": 13846, + "сс": 13847, + "▁Kind": 13848, + "Two": 13849, + "▁Revolution": 13850, + "Insert": 13851, + "Every": 13852, + "orient": 13853, + "▁тра": 13854, + "▁emotions": 13855, + "details": 13856, + "▁flu": 13857, + "▁operate": 13858, + "Ag": 13859, + "unning": 13860, + "▁partie": 13861, + "tri": 13862, + "▁golden": 13863, + "▁Би": 13864, + "▁foundation": 13865, + "isten": 13866, + "▁Carlos": 13867, + "Children": 13868, + "▁neighb": 13869, + "▁Cart": 13870, + "Begin": 13871, + "гда": 13872, + "▁scheduled": 13873, + "'>": 13874, + "▁observations": 13875, + "▁producer": 13876, + "athers": 13877, + "ному": 13878, + "▁expectations": 13879, + "oso": 13880, + "zh": 13881, + "mutable": 13882, + "▁writes": 13883, + "▁pushing": 13884, + "▁seats": 13885, + "▁breast": 13886, + "aping": 13887, + "▁Simple": 13888, + "▁socket": 13889, + "▁slave": 13890, + "iley": 13891, + "▁assistant": 13892, + "▁trim": 13893, + "▁landscape": 13894, + "▁association": 13895, + "quant": 13896, + "▁Palest": 13897, + "▁sweat": 13898, + "engers": 13899, + "?_": 13900, + "ép": 13901, + ">.": 13902, + "▁curious": 13903, + "▁Component": 13904, + "▁replacement": 13905, + "раль": 13906, + "▁Track": 13907, + "▁Remove": 13908, + "▁Size": 13909, + "peror": 13910, + "▁calculate": 13911, + "▁sessions": 13912, + "▁typed": 13913, + "▁submit": 13914, + "!!!": 13915, + "▁partition": 13916, + "eding": 13917, + "-----": 13918, + "azioni": 13919, + "ließ": 13920, + "onal": 13921, + "▁shru": 13922, + "▁REG": 13923, + "▁Fac": 13924, + "configuration": 13925, + "▁было": 13926, + "▁Among": 13927, + "__);": 13928, + "▁Server": 13929, + "▁LOG": 13930, + "▁cand": 13931, + "']);": 13932, + "gov": 13933, + "▁Six": 13934, + "undefined": 13935, + "▁ty": 13936, + "asa": 13937, + "▁particles": 13938, + "▁фор": 13939, + "``": 13940, + "Tube": 13941, + "eland": 13942, + "fold": 13943, + "ogo": 13944, + "▁approaches": 13945, + "onda": 13946, + "agr": 13947, + ",$": 13948, + "▁{{": 13949, + "▁Modern": 13950, + "▁Winter": 13951, + "available": 13952, + "▁Lud": 13953, + "▁casa": 13954, + "▁Could": 13955, + "▁fifteen": 13956, + "▁potentially": 13957, + "^^": 13958, + "▁seit": 13959, + "Animation": 13960, + "кого": 13961, + "Zone": 13962, + "elif": 13963, + "▁acknowled": 13964, + "▁ownership": 13965, + "▁describes": 13966, + "▁reverse": 13967, + "▁contest": 13968, + "▁scored": 13969, + "▁opposed": 13970, + "flex": 13971, + "kre": 13972, + "▁merge": 13973, + "▁covering": 13974, + "▁honestly": 13975, + "▁Mess": 13976, + "▁rarely": 13977, + "▁incredible": 13978, + "itage": 13979, + "▁victims": 13980, + "ными": 13981, + "wl": 13982, + "izza": 13983, + "dn": 13984, + "onde": 13985, + "▁przy": 13986, + "▁HTML": 13987, + "▁payload": 13988, + "Bus": 13989, + "usb": 13990, + "Fn": 13991, + "▁displayed": 13992, + "▁ocean": 13993, + "▁Avenue": 13994, + "acion": 13995, + "ghan": 13996, + "metric": 13997, + "ieties": 13998, + "▁attractive": 13999, + "▁fö": 14000, + "Creat": 14001, + "verter": 14002, + "▁Alice": 14003, + "пол": 14004, + "▁fraction": 14005, + "▁behaviour": 14006, + "▁Jersey": 14007, + "▁revenue": 14008, + "▁tres": 14009, + "ILD": 14010, + "▁Ét": 14011, + "▁sync": 14012, + "wich": 14013, + "▁ancest": 14014, + "ът": 14015, + "omo": 14016, + "▁Ide": 14017, + "▁gained": 14018, + "▁momentum": 14019, + "▁Ko": 14020, + "ieu": 14021, + "ielt": 14022, + "▁bonus": 14023, + "▁texture": 14024, + "Modal": 14025, + "NEXT": 14026, + "▁године": 14027, + "▁languages": 14028, + "vt": 14029, + "▁representing": 14030, + "▁Dream": 14031, + "curr": 14032, + "qual": 14033, + "▁js": 14034, + "burn": 14035, + "▁contributions": 14036, + "▁ric": 14037, + "}-\\": 14038, + "={{": 14039, + "cart": 14040, + "FB": 14041, + "jud": 14042, + "esp": 14043, + "▁electron": 14044, + "▁ell": 14045, + "▁Runtime": 14046, + "achel": 14047, + "\\_": 14048, + "week": 14049, + "packet": 14050, + "▁Secretary": 14051, + "▁Jahrhund": 14052, + "▁threshold": 14053, + "bage": 14054, + "▁concer": 14055, + "▁bone": 14056, + "▁Hollywood": 14057, + "Cursor": 14058, + "▁awarded": 14059, + "▁summary": 14060, + "aggio": 14061, + "▁stell": 14062, + "▁flesh": 14063, + "Pair": 14064, + "▁Age": 14065, + "ington": 14066, + "▁'.": 14067, + "aser": 14068, + "кова": 14069, + "▁quart": 14070, + "ryption": 14071, + "Alloc": 14072, + "ften": 14073, + "Operand": 14074, + "▁indicated": 14075, + "($_": 14076, + "getString": 14077, + "▁listener": 14078, + "spir": 14079, + ")_": 14080, + "vens": 14081, + "▁foods": 14082, + "anza": 14083, + "teil": 14084, + "DESC": 14085, + "▁notion": 14086, + "▁employment": 14087, + "▁swing": 14088, + "nbsp": 14089, + "▁pounds": 14090, + "tools": 14091, + "▁participate": 14092, + "▁Tax": 14093, + "▁скла": 14094, + "apol": 14095, + "▁fost": 14096, + "compat": 14097, + "▁publication": 14098, + "▁rapidly": 14099, + "▁Wis": 14100, + "EventListener": 14101, + "▁première": 14102, + "uso": 14103, + "extend": 14104, + "▁MERCHANTABILITY": 14105, + "UTF": 14106, + "▁experiments": 14107, + "single": 14108, + "zk": 14109, + "▁naj": 14110, + "}}}": 14111, + "Lin": 14112, + "▁interact": 14113, + "▁cms": 14114, + "▁Roger": 14115, + "▁Ру": 14116, + ">'": 14117, + "commit": 14118, + "лось": 14119, + "▁outcome": 14120, + "▁hits": 14121, + "▁им": 14122, + "▁spark": 14123, + "console": 14124, + "▁verw": 14125, + "▁като": 14126, + "agnostics": 14127, + "▁soci": 14128, + "▁dining": 14129, + "▁tech": 14130, + "št": 14131, + "folio": 14132, + "ultane": 14133, + "ктор": 14134, + "▁Brand": 14135, + "Join": 14136, + "▁ию": 14137, + "▁pros": 14138, + "▁posit": 14139, + "Public": 14140, + "AspNetCore": 14141, + "▁Shop": 14142, + "▁coinc": 14143, + "нием": 14144, + "▁references": 14145, + "about": 14146, + "namespace": 14147, + "DL": 14148, + "▁IR": 14149, + "▁cada": 14150, + "▁Jordan": 14151, + "▁gep": 14152, + "▁bron": 14153, + "andidate": 14154, + "EXPECT": 14155, + "amo": 14156, + "▁Deutsch": 14157, + "auc": 14158, + "▁райо": 14159, + "▁Labor": 14160, + "▁surrounded": 14161, + "тро": 14162, + "▁nome": 14163, + "▁underlying": 14164, + "▁educational": 14165, + "RIGHT": 14166, + "COUNT": 14167, + "inch": 14168, + "Typ": 14169, + "umph": 14170, + "four": 14171, + "Controls": 14172, + "▁cp": 14173, + "cost": 14174, + "▁mechanism": 14175, + "eness": 14176, + "équ": 14177, + "▁acquired": 14178, + "▁falls": 14179, + "▁Hou": 14180, + "▁LE": 14181, + "forEach": 14182, + "▁vertex": 14183, + "▁IF": 14184, + "curs": 14185, + "'=>": 14186, + "тери": 14187, + "▁SA": 14188, + "riers": 14189, + "▁uw": 14190, + "▁marks": 14191, + "▁energ": 14192, + "hof": 14193, + "ylvania": 14194, + "▁Allen": 14195, + "umpy": 14196, + "ого": 14197, + "ству": 14198, + "voice": 14199, + "▁engage": 14200, + "▁mant": 14201, + "orse": 14202, + "===": 14203, + "▁improvement": 14204, + "Opt": 14205, + "▁arrested": 14206, + "тия": 14207, + "▁сле": 14208, + "itched": 14209, + "socket": 14210, + "▁cycl": 14211, + "▁SM": 14212, + "▁Sex": 14213, + "▁neutral": 14214, + "вав": 14215, + "▁Jess": 14216, + "▁dip": 14217, + "▁opposition": 14218, + "▁borrow": 14219, + "спе": 14220, + "▁avant": 14221, + "кола": 14222, + "▁ta": 14223, + "Anim": 14224, + "▁Gall": 14225, + "rgb": 14226, + "▁guilty": 14227, + "▁buried": 14228, + "▁gy": 14229, + "Initial": 14230, + "▁accomp": 14231, + "▁breathing": 14232, + "berry": 14233, + "GRO": 14234, + "▁subsequent": 14235, + "roupe": 14236, + "ulpt": 14237, + "tb": 14238, + "▁ä": 14239, + "Pi": 14240, + "argv": 14241, + "▁Must": 14242, + ":'": 14243, + "svg": 14244, + "oup": 14245, + "▁precisely": 14246, + "▁Ta": 14247, + "rena": 14248, + "▁folder": 14249, + "▁Channel": 14250, + "▁revol": 14251, + "Miss": 14252, + "лом": 14253, + "reddit": 14254, + "adelph": 14255, + "▁discrim": 14256, + "▁ave": 14257, + "pleted": 14258, + "▁gently": 14259, + "FFFF": 14260, + "ropy": 14261, + "▁dial": 14262, + "NotFound": 14263, + "▁\"[": 14264, + "Home": 14265, + "onte": 14266, + "▁relie": 14267, + "▁Context": 14268, + "▁stats": 14269, + "▁Energy": 14270, + "ounced": 14271, + "▁grave": 14272, + "▁recip": 14273, + "лин": 14274, + "blog": 14275, + "▁naam": 14276, + "▁wo": 14277, + "▁directions": 14278, + "▁Lincoln": 14279, + "!)": 14280, + "unci": 14281, + "neq": 14282, + "Tags": 14283, + "▁tum": 14284, + "▁saving": 14285, + "aille": 14286, + "itemize": 14287, + "▁Famil": 14288, + "msm": 14289, + "news": 14290, + "FFER": 14291, + "▁Dead": 14292, + "▁territory": 14293, + "▁Kat": 14294, + "ocker": 14295, + "integer": 14296, + "▁sne": 14297, + "▁fails": 14298, + "▁français": 14299, + "▁introduction": 14300, + "▁Grant": 14301, + "ycle": 14302, + "'].": 14303, + "▁vier": 14304, + "native": 14305, + "▁Kle": 14306, + "quote": 14307, + "Users": 14308, + "▁advis": 14309, + "▁gym": 14310, + "▁protein": 14311, + "ال": 14312, + "▁Mai": 14313, + "▁providers": 14314, + "▁soil": 14315, + "gui": 14316, + "▁Nation": 14317, + "reation": 14318, + "▁Tab": 14319, + "ensis": 14320, + "inas": 14321, + "▁Scotland": 14322, + "▁dispatch": 14323, + "union": 14324, + "▁bere": 14325, + "▁Pow": 14326, + "▁Hig": 14327, + "▁studying": 14328, + "REF": 14329, + "SSL": 14330, + "▁fright": 14331, + "▁SORT": 14332, + "▁compr": 14333, + "▁Madrid": 14334, + "rowned": 14335, + "opes": 14336, + "pdev": 14337, + "▁wash": 14338, + "▁'../../": 14339, + "}}_": 14340, + "▁accum": 14341, + "rolling": 14342, + "▁NC": 14343, + "▁fiction": 14344, + "ipt": 14345, + "connected": 14346, + "limits": 14347, + "▁lap": 14348, + "▁whereas": 14349, + "prom": 14350, + "▁appointment": 14351, + "Program": 14352, + "▁Пер": 14353, + "nah": 14354, + "Validation": 14355, + "icons": 14356, + "äll": 14357, + "▁radical": 14358, + "▁exclusive": 14359, + "emony": 14360, + "▁challenging": 14361, + "▁ms": 14362, + "▁Private": 14363, + "▁vida": 14364, + "▁други": 14365, + "▁campus": 14366, + "forms": 14367, + "дно": 14368, + "plaat": 14369, + "bst": 14370, + "ATED": 14371, + "▁Abstract": 14372, + "▁intense": 14373, + "▁Ltd": 14374, + "▁controvers": 14375, + "óg": 14376, + "▁să": 14377, + "▁landing": 14378, + "!=": 14379, + "▁scenes": 14380, + "▁Chap": 14381, + "▁spoken": 14382, + "cred": 14383, + "▁pride": 14384, + "quet": 14385, + "▁meter": 14386, + "▁deutsch": 14387, + "uum": 14388, + "▁bless": 14389, + "▁Hann": 14390, + "▁inputs": 14391, + "▁Row": 14392, + "▁withdraw": 14393, + "Pal": 14394, + "acles": 14395, + "assets": 14396, + "▁vl": 14397, + "веде": 14398, + "▁Got": 14399, + "▁airport": 14400, + "wind": 14401, + "▁Columbia": 14402, + "▁chocolate": 14403, + "▁hö": 14404, + "▁alarm": 14405, + "FTWARE": 14406, + "▁Jay": 14407, + "▁sake": 14408, + "▁registration": 14409, + "vid": 14410, + "▁lake": 14411, + "▁username": 14412, + "▁hack": 14413, + "indexOf": 14414, + "cx": 14415, + "▁festival": 14416, + "▁clubs": 14417, + "cases": 14418, + "CTRL": 14419, + "];\r": 14420, + "▁Aud": 14421, + "▁primera": 14422, + "ват": 14423, + "▁brilliant": 14424, + "uther": 14425, + "▁difficulty": 14426, + "itals": 14427, + "▁scores": 14428, + "▁polít": 14429, + "database": 14430, + "aska": 14431, + "▁######": 14432, + "▁acid": 14433, + "aton": 14434, + "atomic": 14435, + "freq": 14436, + "▁WARRANTY": 14437, + "▁reporting": 14438, + ".),": 14439, + "▁nights": 14440, + "▁programme": 14441, + ")}{": 14442, + "xic": 14443, + "▁spo": 14444, + "lined": 14445, + "quarters": 14446, + "eree": 14447, + "mers": 14448, + "▁serves": 14449, + "cow": 14450, + "лько": 14451, + "enso": 14452, + "▁environ": 14453, + "Like": 14454, + "anche": 14455, + "▁crash": 14456, + "▁Kap": 14457, + "noindent": 14458, + "Conn": 14459, + "▁авто": 14460, + "▁infrastructure": 14461, + "IME": 14462, + "▁Room": 14463, + "need": 14464, + "orer": 14465, + "▁Dest": 14466, + "▁Domin": 14467, + "atherine": 14468, + "▁Sydney": 14469, + "▁gauge": 14470, + "▁jet": 14471, + "bably": 14472, + "▁commonly": 14473, + "▁stations": 14474, + "iah": 14475, + "nl": 14476, + "жу": 14477, + "eten": 14478, + "_)": 14479, + "iac": 14480, + "amos": 14481, + "nement": 14482, + "kon": 14483, + "Interval": 14484, + "▁cabin": 14485, + "▁eg": 14486, + "▁shots": 14487, + "▁Area": 14488, + "smith": 14489, + "parameter": 14490, + "'}": 14491, + "▁hem": 14492, + "▁singing": 14493, + "▁accessible": 14494, + "▁Prin": 14495, + "optional": 14496, + "ancial": 14497, + "ships": 14498, + "▁canvas": 14499, + "spe": 14500, + "▁addresses": 14501, + "▁xml": 14502, + "▁'\"": 14503, + "▁kar": 14504, + "öff": 14505, + "▁ages": 14506, + "ёр": 14507, + "zing": 14508, + "▁över": 14509, + "▁Clean": 14510, + "▁Silver": 14511, + "▁осо": 14512, + "health": 14513, + "Ali": 14514, + "▁ts": 14515, + "atern": 14516, + "▁choosing": 14517, + "▁burned": 14518, + "brid": 14519, + "rooms": 14520, + "ött": 14521, + "KERN": 14522, + "▁dish": 14523, + "Sa": 14524, + "Detail": 14525, + "▁Hind": 14526, + "▁Dans": 14527, + "ię": 14528, + "▁Jahren": 14529, + "extension": 14530, + "allas": 14531, + "▁Billy": 14532, + "usammen": 14533, + "itud": 14534, + "geon": 14535, + "Temp": 14536, + "Leg": 14537, + "ittel": 14538, + "addle": 14539, + "▁muscle": 14540, + "▁scared": 14541, + "sson": 14542, + "▁denote": 14543, + "ieurs": 14544, + "▁orange": 14545, + "▁hub": 14546, + "▁reb": 14547, + "edi": 14548, + "▁voices": 14549, + "Folder": 14550, + "▁suspend": 14551, + "▁Heart": 14552, + "▁scrap": 14553, + "▁aggreg": 14554, + "▁Guide": 14555, + "transaction": 14556, + "▁riding": 14557, + "▁vá": 14558, + "▁breed": 14559, + "▁concert": 14560, + "approx": 14561, + "▁chances": 14562, + "Tok": 14563, + "Eq": 14564, + "parts": 14565, + "▁scholar": 14566, + "offs": 14567, + "flush": 14568, + "!”": 14569, + "▁login": 14570, + "▁soort": 14571, + "▁Mand": 14572, + "▁functional": 14573, + "▁Bou": 14574, + "▁subjects": 14575, + "mys": 14576, + "▁extraord": 14577, + "▁Building": 14578, + "ikt": 14579, + "Bad": 14580, + "iami": 14581, + "Driver": 14582, + "ête": 14583, + "▁kv": 14584, + "▁timer": 14585, + "itionally": 14586, + "▁athlet": 14587, + "▁\");": 14588, + "wy": 14589, + "CFG": 14590, + "▁heaven": 14591, + "ов": 14592, + "▁experimental": 14593, + "▁bounds": 14594, + "ICK": 14595, + "▁excit": 14596, + "▁quit": 14597, + "▁universal": 14598, + "дь": 14599, + "▁SP": 14600, + "▁stub": 14601, + "▁kle": 14602, + "▁Bart": 14603, + "▁\"@": 14604, + "pel": 14605, + "▁(!(": 14606, + "▁selector": 14607, + "EB": 14608, + "▁coc": 14609, + "eted": 14610, + "ють": 14611, + "▁possess": 14612, + "▁Rick": 14613, + "▁unusual": 14614, + "termin": 14615, + "▁bags": 14616, + "▁loading": 14617, + "▁tf": 14618, + "▁)\r": 14619, + "provider": 14620, + "pletion": 14621, + "▁cursor": 14622, + "▁paused": 14623, + "им": 14624, + "▁counsel": 14625, + "]<": 14626, + "zech": 14627, + "▁tie": 14628, + "▁Moon": 14629, + "▁armed": 14630, + "▁observe": 14631, + "▁permet": 14632, + "▁Job": 14633, + "för": 14634, + "argument": 14635, + "▁eggs": 14636, + "ást": 14637, + "▁incredibly": 14638, + "werken": 14639, + "izard": 14640, + "▁painted": 14641, + "▁Vietnam": 14642, + "▁violent": 14643, + "Est": 14644, + "ierra": 14645, + "reader": 14646, + "weise": 14647, + "▁Josh": 14648, + "▁Him": 14649, + "ashes": 14650, + "origin": 14651, + "▁spir": 14652, + "▁Tree": 14653, + "▁niet": 14654, + "WIN": 14655, + "margin": 14656, + "▁involves": 14657, + "▁organis": 14658, + "▁Nacional": 14659, + "bara": 14660, + "▁depuis": 14661, + "pio": 14662, + "features": 14663, + "stru": 14664, + "▁Disney": 14665, + "▁restaurants": 14666, + "Mill": 14667, + "))\r": 14668, + "сла": 14669, + "remote": 14670, + "▁Third": 14671, + "▁baseball": 14672, + "▁algun": 14673, + "]$": 14674, + "▁employed": 14675, + "pot": 14676, + "▁UnityEngine": 14677, + "▁integration": 14678, + "▁risks": 14679, + "▁stro": 14680, + "▁agosto": 14681, + "including": 14682, + "▁Mind": 14683, + "▁stroke": 14684, + "▁deals": 14685, + "ajax": 14686, + "ёт": 14687, + "▁\\|": 14688, + "tar": 14689, + "adelphia": 14690, + "▁sab": 14691, + "pur": 14692, + "▁screw": 14693, + "▁inev": 14694, + "▁\\;": 14695, + "▁Donald": 14696, + "öd": 14697, + "cca": 14698, + "esis": 14699, + "▁separated": 14700, + "DBG": 14701, + "agent": 14702, + "▁packed": 14703, + "ння": 14704, + "intern": 14705, + "▁Monte": 14706, + "▁province": 14707, + "▁expanded": 14708, + "▁approached": 14709, + "▁Ep": 14710, + "CLK": 14711, + "▁ore": 14712, + "Batch": 14713, + "▁impressive": 14714, + "RM": 14715, + "▁Location": 14716, + "▁shame": 14717, + "wrapper": 14718, + "unwrap": 14719, + "peer": 14720, + "Bits": 14721, + "▁SN": 14722, + "scar": 14723, + "Come": 14724, + "▁council": 14725, + "▁shouted": 14726, + "making": 14727, + "▁Maur": 14728, + "▁wis": 14729, + "LETE": 14730, + "▁fs": 14731, + "▁dz": 14732, + "unque": 14733, + "uego": 14734, + "Random": 14735, + "Html": 14736, + "zem": 14737, + "▁Dutch": 14738, + "▁Golden": 14739, + "▁Tar": 14740, + "▁Herm": 14741, + "▁stretch": 14742, + "vard": 14743, + "▁tries": 14744, + "WI": 14745, + "▁disappeared": 14746, + "▁crusher": 14747, + "▁Kan": 14748, + "Mag": 14749, + "ør": 14750, + "▁Cambridge": 14751, + "▁dopo": 14752, + "atura": 14753, + "heart": 14754, + "▁Spiel": 14755, + "/**\r": 14756, + "Direction": 14757, + "atting": 14758, + "wig": 14759, + "▁codes": 14760, + "▁powder": 14761, + "alert": 14762, + "sembl": 14763, + "▁ye": 14764, + "Star": 14765, + "▁roots": 14766, + "▁Holl": 14767, + "Rele": 14768, + "▁constitu": 14769, + "nc": 14770, + "“.": 14771, + "reference": 14772, + "ificial": 14773, + "closure": 14774, + "▁figured": 14775, + "▁assumption": 14776, + "getElementById": 14777, + "▁AG": 14778, + "oses": 14779, + "▁_\"": 14780, + "epper": 14781, + "obre": 14782, + "enumerate": 14783, + "ографи": 14784, + "▁lessons": 14785, + "▁qualified": 14786, + "Person": 14787, + "anse": 14788, + "▁Mort": 14789, + "sylvania": 14790, + "▁cré": 14791, + "Binding": 14792, + "іс": 14793, + "▁Vari": 14794, + "▁reminded": 14795, + "▁membership": 14796, + "iper": 14797, + "zte": 14798, + "▁cref": 14799, + "▁PA": 14800, + "plaatst": 14801, + "▁Environment": 14802, + "boy": 14803, + "▁phrase": 14804, + "rivial": 14805, + "rag": 14806, + "води": 14807, + "▁pse": 14808, + "▁tournament": 14809, + ")},": 14810, + "▁Sound": 14811, + "▁Vel": 14812, + "▁Berg": 14813, + "elson": 14814, + "▁refuge": 14815, + "▁elsewhere": 14816, + "quality": 14817, + "▁abandoned": 14818, + "▁Flo": 14819, + "ibil": 14820, + "UAL": 14821, + "▁Platz": 14822, + "▁delta": 14823, + "▁Buy": 14824, + "rière": 14825, + "▁flour": 14826, + "▁laughing": 14827, + "▁Looking": 14828, + "Agent": 14829, + "▁wx": 14830, + "▁Wales": 14831, + "Ctx": 14832, + "▁cake": 14833, + "▁crate": 14834, + "▁кла": 14835, + "anga": 14836, + "Zero": 14837, + "▁amounts": 14838, + "Tra": 14839, + "ometric": 14840, + "▁constraints": 14841, + "▁temple": 14842, + "▁installation": 14843, + "stroke": 14844, + "▁Neder": 14845, + "ți": 14846, + "▁Ibid": 14847, + "▁obs": 14848, + "entries": 14849, + "▁jusqu": 14850, + "ORM": 14851, + "▁Sky": 14852, + "ikes": 14853, + "nak": 14854, + "▁modes": 14855, + "▁Hitler": 14856, + "▁belt": 14857, + "▁pointing": 14858, + "▁Ban": 14859, + "ignore": 14860, + "▁persu": 14861, + "▁Besides": 14862, + "ynom": 14863, + "▁legis": 14864, + "▁CPU": 14865, + "anded": 14866, + "uis": 14867, + "bsite": 14868, + "▁Euro": 14869, + "▁utter": 14870, + "eclipse": 14871, + "▁irre": 14872, + "▁Document": 14873, + "▁Meanwhile": 14874, + "▁familie": 14875, + "verify": 14876, + "▁Jason": 14877, + "▁Ort": 14878, + "▁ciudad": 14879, + "▁technologies": 14880, + "▁части": 14881, + "nica": 14882, + "cancel": 14883, + "Virtual": 14884, + "▁evident": 14885, + "aman": 14886, + "▁Supreme": 14887, + "atoes": 14888, + "▁steady": 14889, + "▁monthly": 14890, + "▁SOFTWARE": 14891, + "Die": 14892, + "▁applying": 14893, + "Dig": 14894, + "vier": 14895, + "▁горо": 14896, + "▁WH": 14897, + "▁minds": 14898, + "▁kam": 14899, + "▁expertise": 14900, + "▁notification": 14901, + ".-": 14902, + "▁deliber": 14903, + "▁HE": 14904, + "▁resist": 14905, + "outes": 14906, + "▁Howard": 14907, + "special": 14908, + "▁presentation": 14909, + "▁YouTube": 14910, + "mir": 14911, + "▁rust": 14912, + "▁nations": 14913, + "▁Gets": 14914, + "▁responses": 14915, + "arded": 14916, + "immer": 14917, + "▁reveal": 14918, + "▁Meg": 14919, + "▁todos": 14920, + "▁ade": 14921, + "ategories": 14922, + "▁payments": 14923, + "ôt": 14924, + "Enumer": 14925, + "▁platforms": 14926, + "▁lifetime": 14927, + "Complete": 14928, + "Quest": 14929, + "enders": 14930, + "▁cum": 14931, + "pler": 14932, + "▁appl": 14933, + "ährend": 14934, + "зь": 14935, + "enez": 14936, + "overty": 14937, + "ynchron": 14938, + "▁argued": 14939, + "▁Kath": 14940, + "▁synchron": 14941, + "▁Builder": 14942, + "Border": 14943, + "Plan": 14944, + "rieb": 14945, + "nm": 14946, + "FORMAT": 14947, + "usk": 14948, + "▁jumped": 14949, + "charg": 14950, + "▁contribute": 14951, + "Mesh": 14952, + "Univers": 14953, + "rell": 14954, + "▁polar": 14955, + "▁trois": 14956, + "icio": 14957, + "Groups": 14958, + "▁(%": 14959, + "Loop": 14960, + "▁gaz": 14961, + "dbg": 14962, + "LAY": 14963, + "John": 14964, + "blocks": 14965, + "▁lung": 14966, + "▁kön": 14967, + "through": 14968, + "▁fifth": 14969, + "lisher": 14970, + "▁involving": 14971, + "▁Deep": 14972, + "▁области": 14973, + "▁sull": 14974, + "Export": 14975, + "▁Kate": 14976, + "period": 14977, + "charge": 14978, + "GT": 14979, + "\">\r": 14980, + "тин": 14981, + "▁Ott": 14982, + "▁interactions": 14983, + "▁Toronto": 14984, + "TRACE": 14985, + "▁difer": 14986, + "▁liberal": 14987, + "▁particle": 14988, + "▁surve": 14989, + "alous": 14990, + "reason": 14991, + "▁depression": 14992, + "ал": 14993, + "▁flower": 14994, + "▁waar": 14995, + "▁hade": 14996, + "▁centuries": 14997, + "uty": 14998, + "party": 14999, + "▁approval": 15000, + "generate": 15001, + "▁Barn": 15002, + "▁marg": 15003, + "▁monde": 15004, + "▁ook": 15005, + "▁Clark": 15006, + "▁theoret": 15007, + "viously": 15008, + "?)": 15009, + "▁Rud": 15010, + "stmt": 15011, + "inction": 15012, + "▁tun": 15013, + "▁roads": 15014, + "▁rotation": 15015, + "ppen": 15016, + "sensor": 15017, + "▁Kol": 15018, + "idelines": 15019, + "▁є": 15020, + "▁composed": 15021, + "▁virus": 15022, + "'$": 15023, + "SN": 15024, + "▁Von": 15025, + "mont": 15026, + "lar": 15027, + "▁opinions": 15028, + "uction": 15029, + "rupal": 15030, + "underline": 15031, + "▁horror": 15032, + "Must": 15033, + "otto": 15034, + "Should": 15035, + "▁statist": 15036, + "▁gem": 15037, + "▁secre": 15038, + "▁strip": 15039, + "▁dirt": 15040, + "amazon": 15041, + "▁Round": 15042, + "▁discovery": 15043, + "▁GO": 15044, + "▁substantial": 15045, + "ibt": 15046, + "▁demands": 15047, + "▁everyday": 15048, + "▁besch": 15049, + "▁Bridge": 15050, + "▁HD": 15051, + "▁Dol": 15052, + "▁très": 15053, + "anni": 15054, + "roit": 15055, + "());\r": 15056, + "far": 15057, + "timestamp": 15058, + "▁bulk": 15059, + "Black": 15060, + "▁gan": 15061, + "setting": 15062, + "retval": 15063, + "ване": 15064, + "nung": 15065, + "▁talks": 15066, + "▁scientists": 15067, + "▁vig": 15068, + "▁quantity": 15069, + "▁Gard": 15070, + "▁movements": 15071, + "ähr": 15072, + "lings": 15073, + "▁Те": 15074, + "team": 15075, + "rito": 15076, + "▁assembly": 15077, + "ilst": 15078, + "▁happiness": 15079, + "▁leaf": 15080, + "▁assessment": 15081, + "Coord": 15082, + "irs": 15083, + "sam": 15084, + "▁attorney": 15085, + "▁geme": 15086, + "IDE": 15087, + "▁Vere": 15088, + "▁Anthony": 15089, + "amiento": 15090, + "▁Ast": 15091, + "▁circul": 15092, + "▁Frances": 15093, + "▁pent": 15094, + "▁mate": 15095, + "▁Transport": 15096, + "owo": 15097, + "чу": 15098, + "istes": 15099, + "TRAN": 15100, + "IMPORT": 15101, + "▁Break": 15102, + "▁sons": 15103, + "▁investors": 15104, + "▁Philipp": 15105, + "THOD": 15106, + "▁panic": 15107, + "▁:)": 15108, + "▁detection": 15109, + "▁simultane": 15110, + "nte": 15111, + "▁listened": 15112, + "кре": 15113, + "▁Brig": 15114, + "Optional": 15115, + "▁abund": 15116, + "▁criteria": 15117, + "▁chip": 15118, + "▁окру": 15119, + "▁Constant": 15120, + "▁mining": 15121, + "тал": 15122, + "mates": 15123, + "▁worship": 15124, + "router": 15125, + "CN": 15126, + "▁Match": 15127, + "▁Cole": 15128, + "▁downt": 15129, + "▁holes": 15130, + "▁grateful": 15131, + "RESULT": 15132, + "▁Europa": 15133, + "▁consent": 15134, + "lä": 15135, + "opter": 15136, + "▁colleagues": 15137, + "orous": 15138, + "▁enemies": 15139, + "hang": 15140, + "actual": 15141, + "Objects": 15142, + "▁як": 15143, + "▁fluid": 15144, + "fixed": 15145, + "▁Graph": 15146, + "▁scratch": 15147, + "cers": 15148, + "ribu": 15149, + "▁validation": 15150, + "▁completion": 15151, + "▁Begin": 15152, + "endpoint": 15153, + "rient": 15154, + "CM": 15155, + "▁Site": 15156, + "▁explains": 15157, + "tres": 15158, + "▁anybody": 15159, + "foreach": 15160, + "lon": 15161, + "Chain": 15162, + "▁Buff": 15163, + "ocal": 15164, + "▁Morgan": 15165, + "▁sang": 15166, + "▁passes": 15167, + "@@": 15168, + "ijd": 15169, + "Word": 15170, + "▁Hung": 15171, + "▁Fer": 15172, + "▁vý": 15173, + "bast": 15174, + "▁entertainment": 15175, + "hin": 15176, + "▁grat": 15177, + "▁Member": 15178, + "▁Minn": 15179, + "▁printed": 15180, + "▁Franklin": 15181, + "▁Imp": 15182, + "Machine": 15183, + "columns": 15184, + "▁deleted": 15185, + "▁manufacturing": 15186, + "▁rely": 15187, + "▁conse": 15188, + "▁fishing": 15189, + "blo": 15190, + "-$": 15191, + "▁.\"": 15192, + "▁clinical": 15193, + "▁Studies": 15194, + "▁Бу": 15195, + "definition": 15196, + "▁evaluation": 15197, + "▁attacked": 15198, + "▁frozen": 15199, + "zent": 15200, + "▁últ": 15201, + "▁rational": 15202, + "othe": 15203, + "Cancel": 15204, + "history": 15205, + "setText": 15206, + "▁alc": 15207, + "▁hydro": 15208, + "▁Theatre": 15209, + "▁Material": 15210, + "IOException": 15211, + "******/": 15212, + "spl": 15213, + "NODE": 15214, + "attrs": 15215, + "▁mie": 15216, + "▁offices": 15217, + "ró": 15218, + "▁jam": 15219, + "▁Ident": 15220, + "vé": 15221, + "Setting": 15222, + "▁Several": 15223, + "▁decay": 15224, + "Android": 15225, + "▁Save": 15226, + "unted": 15227, + "▁Mountain": 15228, + "usc": 15229, + "▁marzo": 15230, + "▁asleep": 15231, + "▁soldier": 15232, + "▁Double": 15233, + "PK": 15234, + "▁contrad": 15235, + "▁wins": 15236, + "ceiver": 15237, + "▁seasons": 15238, + "▁Chall": 15239, + "▁healthcare": 15240, + "ład": 15241, + "от": 15242, + "▁Five": 15243, + "▁Hell": 15244, + "▁worldwide": 15245, + "▁',": 15246, + "ян": 15247, + "made": 15248, + "▁responded": 15249, + "▁ay": 15250, + "▁procedures": 15251, + "тера": 15252, + "▁cleared": 15253, + "\"].": 15254, + "▁Target": 15255, + "▁Side": 15256, + "omin": 15257, + "▁deploy": 15258, + "▁Tell": 15259, + "▁ongoing": 15260, + "floor": 15261, + "▁bones": 15262, + "▁Delete": 15263, + "▁shrugged": 15264, + "Our": 15265, + "Der": 15266, + "▁initialize": 15267, + "▁Ted": 15268, + "MAGE": 15269, + "▁hire": 15270, + "▁tracking": 15271, + "▁ash": 15272, + "▁ceiling": 15273, + "ках": 15274, + "etti": 15275, + "▁courage": 15276, + "enschapp": 15277, + "ются": 15278, + "More": 15279, + "▁folg": 15280, + "▁Grace": 15281, + "▁Kelly": 15282, + "▁reven": 15283, + "▁Ali": 15284, + "▁disp": 15285, + "▁defeat": 15286, + "▁creature": 15287, + "▁Kennedy": 15288, + "▁Diego": 15289, + "EMP": 15290, + "▁steam": 15291, + "endance": 15292, + "rig": 15293, + "▁ignor": 15294, + "emen": 15295, + "▁Gru": 15296, + "▁proposal": 15297, + "▁weiter": 15298, + "▁лі": 15299, + "ibles": 15300, + "▁consideration": 15301, + "▁believes": 15302, + "▁Soph": 15303, + "“,": 15304, + "▁Matthew": 15305, + "▁circuit": 15306, + "▁singer": 15307, + "▁Square": 15308, + "ço": 15309, + "Edge": 15310, + "▁astr": 15311, + "▁representative": 15312, + "▁comprehensive": 15313, + "liga": 15314, + "▁mere": 15315, + "tbl": 15316, + "▁continuing": 15317, + "ographer": 15318, + "LED": 15319, + "▁/***/": 15320, + "▁sear": 15321, + "▁enormous": 15322, + "izi": 15323, + "Dit": 15324, + "there": 15325, + "ін": 15326, + "сите": 15327, + "▁guerra": 15328, + "▁endpoint": 15329, + "▁lesson": 15330, + "zon": 15331, + "variable": 15332, + "ис": 15333, + "▁researchers": 15334, + "▁attempted": 15335, + "▁enf": 15336, + "тура": 15337, + "▁defin": 15338, + "вест": 15339, + "▁awful": 15340, + "▁lowest": 15341, + "rules": 15342, + "▁unlike": 15343, + "interval": 15344, + "▁producing": 15345, + "▁Kam": 15346, + "▁IMP": 15347, + "General": 15348, + "▁faire": 15349, + "▁maxim": 15350, + "assemb": 15351, + "acent": 15352, + "?>": 15353, + "plica": 15354, + "▁ram": 15355, + "mate": 15356, + "цу": 15357, + "mn": 15358, + "▁Hi": 15359, + "▁stages": 15360, + "▁Editor": 15361, + "▁tang": 15362, + "RD": 15363, + "▁ich": 15364, + "▁dependent": 15365, + "lifer": 15366, + "ascript": 15367, + "▁exposure": 15368, + "рез": 15369, + "▁mart": 15370, + "▁Barcel": 15371, + "xspace": 15372, + "SESSION": 15373, + "▁prest": 15374, + "URCE": 15375, + "-.": 15376, + "▁село": 15377, + "have": 15378, + "▁observation": 15379, + "▁commands": 15380, + "▁eager": 15381, + "▁outdoor": 15382, + "▁DEBUG": 15383, + "▁hr": 15384, + "AX": 15385, + "▁puzz": 15386, + "blank": 15387, + "бур": 15388, + "▁kennis": 15389, + "▁regarded": 15390, + "▁}),": 15391, + "volume": 15392, + "▁произ": 15393, + "▁Training": 15394, + "añ": 15395, + "▁fois": 15396, + "▁три": 15397, + "вня": 15398, + "▁optimal": 15399, + "▁subscription": 15400, + "bridge": 15401, + "imental": 15402, + "▁Think": 15403, + "▁\";": 15404, + "▁legisl": 15405, + "▁Hop": 15406, + "▁branches": 15407, + "▁Veg": 15408, + "▁sprint": 15409, + "▁flux": 15410, + "▁Freder": 15411, + "sis": 15412, + "notify": 15413, + "▁Фран": 15414, + "som": 15415, + "nym": 15416, + "▁Ré": 15417, + "lett": 15418, + "ingham": 15419, + "▁Farm": 15420, + "DOM": 15421, + "▁shield": 15422, + "Here": 15423, + "▁Treat": 15424, + "▁Luke": 15425, + "▁unsafe": 15426, + "anton": 15427, + "▁Imper": 15428, + "▁telephone": 15429, + "▁unlock": 15430, + "Owner": 15431, + "collection": 15432, + "▁snd": 15433, + "▁suiv": 15434, + "▁entering": 15435, + "шен": 15436, + "▁Label": 15437, + "selector": 15438, + "▁GET": 15439, + "▁quando": 15440, + "▁fed": 15441, + "jQuery": 15442, + "Origin": 15443, + "▁Alan": 15444, + "mathscr": 15445, + "▁pregnant": 15446, + "Expect": 15447, + "resources": 15448, + "▁ersten": 15449, + "alia": 15450, + "▁retired": 15451, + "ût": 15452, + "Cred": 15453, + "▁méd": 15454, + "▁erh": 15455, + "Framework": 15456, + "Slot": 15457, + "duration": 15458, + "sal": 15459, + "▁composition": 15460, + "article": 15461, + "gpu": 15462, + "▁permitted": 15463, + "▁Font": 15464, + "▁Much": 15465, + "▁pending": 15466, + "▁agencies": 15467, + "Columns": 15468, + "▁klik": 15469, + "▁rating": 15470, + "mind": 15471, + "▁Pennsylvania": 15472, + "Java": 15473, + "abstract": 15474, + "▁dumb": 15475, + "▁VI": 15476, + "usa": 15477, + "Remote": 15478, + "▁YOU": 15479, + "▁Creek": 15480, + "мати": 15481, + "Bottom": 15482, + "▁rolling": 15483, + "▁bundle": 15484, + "▁golf": 15485, + "gpio": 15486, + "▁Chair": 15487, + "▁cls": 15488, + "$}": 15489, + "▁Parliament": 15490, + "führ": 15491, + "Many": 15492, + "▁Sep": 15493, + "▁badly": 15494, + "igi": 15495, + "▁Gemeinde": 15496, + "Ill": 15497, + "▁Ан": 15498, + "uart": 15499, + "itempty": 15500, + "▁Niger": 15501, + "▁immigr": 15502, + "Super": 15503, + "vá": 15504, + "istribute": 15505, + "Helpers": 15506, + "▁waters": 15507, + "▁joining": 15508, + "omitempty": 15509, + "▁Otherwise": 15510, + "▁Host": 15511, + "▁redd": 15512, + "▁dy": 15513, + "▁converted": 15514, + "▁prayer": 15515, + "▁Украї": 15516, + "▁elections": 15517, + "reb": 15518, + "erie": 15519, + "▁свя": 15520, + "Abs": 15521, + "iembre": 15522, + "holders": 15523, + "▁Rol": 15524, + "utschen": 15525, + "▁Gh": 15526, + "tery": 15527, + "анг": 15528, + "▁narrative": 15529, + "minus": 15530, + "▁Iron": 15531, + "=\"#": 15532, + "▁wand": 15533, + "▁wished": 15534, + "icode": 15535, + "orr": 15536, + "[[": 15537, + "▁detected": 15538, + "▁municipal": 15539, + "▁Pour": 15540, + "▁Serv": 15541, + "citet": 15542, + "▁grey": 15543, + "▁Rap": 15544, + "▁voy": 15545, + "▁lleg": 15546, + "▁currency": 15547, + "▁Script": 15548, + "strument": 15549, + "▁expecting": 15550, + "▁tickets": 15551, + "▁bucket": 15552, + "egr": 15553, + "▁jacket": 15554, + "drv": 15555, + "▁loans": 15556, + "▁kann": 15557, + "▁integral": 15558, + "▁characteristics": 15559, + "(\".": 15560, + "▁manual": 15561, + "▁dynamics": 15562, + ":*": 15563, + "sha": 15564, + "reens": 15565, + "onical": 15566, + "▁toile": 15567, + "aña": 15568, + "▁distant": 15569, + "▁handled": 15570, + "Bool": 15571, + "▁penal": 15572, + "▁Things": 15573, + "▁prominent": 15574, + "▁exped": 15575, + "▁Help": 15576, + "▁asp": 15577, + "lap": 15578, + "▁Auth": 15579, + "Basic": 15580, + "achuset": 15581, + "▁Bild": 15582, + "▁entitled": 15583, + "▁jag": 15584, + "▁rejected": 15585, + "▁memor": 15586, + "orts": 15587, + "▁applies": 15588, + "▁Language": 15589, + "specific": 15590, + "achusetts": 15591, + "HAND": 15592, + "▁Route": 15593, + "market": 15594, + "▁Ky": 15595, + "▁pose": 15596, + "ACHE": 15597, + "poll": 15598, + "▁rocks": 15599, + "bone": 15600, + "▁DIS": 15601, + "Watch": 15602, + "▁smiling": 15603, + "рио": 15604, + "Month": 15605, + "▁efter": 15606, + "construct": 15607, + "▁bands": 15608, + "▁collaboration": 15609, + "ними": 15610, + "glas": 15611, + "▁vy": 15612, + "▁engagement": 15613, + "__)": 15614, + "▁wings": 15615, + "ким": 15616, + "netje": 15617, + "ativa": 15618, + "▁Duke": 15619, + "лее": 15620, + "▁Within": 15621, + "▁dove": 15622, + "▁cb": 15623, + "yers": 15624, + "pow": 15625, + "[(": 15626, + "▁evaluate": 15627, + "Points": 15628, + "▁рі": 15629, + "odigd": 15630, + "onomy": 15631, + "▁Illinois": 15632, + "▁Typ": 15633, + "▁coordinates": 15634, + "pisode": 15635, + "ucked": 15636, + "▁flav": 15637, + "▁brands": 15638, + "▁calendar": 15639, + "Lib": 15640, + "▁uitgen": 15641, + "▁tale": 15642, + "▁briefly": 15643, + "▁mic": 15644, + "RESS": 15645, + "▁später": 15646, + "▁integrated": 15647, + "▁cookies": 15648, + "▁uitgenodigd": 15649, + "▁Priv": 15650, + "▁phenomen": 15651, + "▁voegen": 15652, + "Supp": 15653, + "▁refers": 15654, + "пад": 15655, + "▁Clinton": 15656, + "▁assignment": 15657, + "inals": 15658, + "▁asym": 15659, + "cycle": 15660, + "▁Anderson": 15661, + "▁binding": 15662, + "rique": 15663, + "hind": 15664, + "▁behalf": 15665, + "▁Fle": 15666, + "▁breaks": 15667, + "▁soap": 15668, + "вар": 15669, + "▁vä": 15670, + "▁crying": 15671, + "▁→": 15672, + "▁msm": 15673, + "▁boots": 15674, + "owing": 15675, + "▁bell": 15676, + "suite": 15677, + "▁Bundes": 15678, + "Year": 15679, + "ndef": 15680, + "Other": 15681, + "▁google": 15682, + "ENCE": 15683, + "WER": 15684, + "Les": 15685, + "Shared": 15686, + "▁ED": 15687, + "IFT": 15688, + "▁floating": 15689, + "ým": 15690, + "{},": 15691, + "Binary": 15692, + "▁roce": 15693, + "raj": 15694, + "▁bewerken": 15695, + "BF": 15696, + "▁Hur": 15697, + "cen": 15698, + "▁ere": 15699, + "▁camb": 15700, + "▁Pakistan": 15701, + "▁greatly": 15702, + "▁logging": 15703, + "/.": 15704, + "Tensor": 15705, + "▁opens": 15706, + "▁Rio": 15707, + "▁klikken": 15708, + "▁sculpt": 15709, + "apore": 15710, + "wx": 15711, + "▁Nich": 15712, + "nan": 15713, + "▁injured": 15714, + "compare": 15715, + "tha": 15716, + "Sample": 15717, + "Shell": 15718, + "▁commander": 15719, + "▁receiver": 15720, + "▁hopes": 15721, + "▁byl": 15722, + "▁proxy": 15723, + "▁gall": 15724, + "getId": 15725, + "▁Bab": 15726, + "feld": 15727, + "▁\"_": 15728, + "▁Hab": 15729, + "simple": 15730, + "▁executed": 15731, + "▁ate": 15732, + "▁animation": 15733, + "▁inhab": 15734, + "▁боль": 15735, + "▁router": 15736, + "▁glob": 15737, + "Geplaatst": 15738, + "▁beginnetje": 15739, + "▁Kur": 15740, + "▁Ха": 15741, + "aligned": 15742, + "▁certificate": 15743, + "▁Å": 15744, + ".).": 15745, + "▁soll": 15746, + "▁Import": 15747, + "реди": 15748, + "▁pandemic": 15749, + "▁nic": 15750, + "vä": 15751, + "▁Gree": 15752, + "▁Say": 15753, + "▁ді": 15754, + "▁Num": 15755, + "▁roughly": 15756, + "▁después": 15757, + "▁​": 15758, + "▁specify": 15759, + "Mapper": 15760, + "licht": 15761, + "▁thumb": 15762, + "wie": 15763, + "▁unlikely": 15764, + "▁Edd": 15765, + "Hey": 15766, + "▁Opt": 15767, + "BLOCK": 15768, + "вор": 15769, + "▁×": 15770, + "▁ba": 15771, + "▁periods": 15772, + "▁titles": 15773, + "Med": 15774, + "▁fon": 15775, + "▁bast": 15776, + "▁Forest": 15777, + "▁№": 15778, + "onds": 15779, + "▁fal": 15780, + "▁gesch": 15781, + "direction": 15782, + "IFY": 15783, + "▁LA": 15784, + "▁(((": 15785, + "GTH": 15786, + "itudes": 15787, + "▁destruction": 15788, + "▁Ja": 15789, + "▁stake": 15790, + "ifferent": 15791, + "▁identical": 15792, + "▁fog": 15793, + "▁Reb": 15794, + "ские": 15795, + "ступ": 15796, + "jax": 15797, + "▁Mars": 15798, + "▁historic": 15799, + "▁Vo": 15800, + "▁entrepre": 15801, + "▁tension": 15802, + "▁WHERE": 15803, + "▁Philadelphia": 15804, + "Counter": 15805, + "▁frames": 15806, + "▁muy": 15807, + "ej": 15808, + "öt": 15809, + "eu": 15810, + "▁челове": 15811, + "PROC": 15812, + "▁resolved": 15813, + "▁tape": 15814, + "цион": 15815, + "▁singular": 15816, + "▁personnel": 15817, + "▁Mun": 15818, + "▁Occ": 15819, + "▁scalar": 15820, + "dess": 15821, + "▁cable": 15822, + "being": 15823, + "▁Jenn": 15824, + "▁erst": 15825, + "Actions": 15826, + "Environment": 15827, + "via": 15828, + "▁struggling": 15829, + "▁DVD": 15830, + "whe": 15831, + "▁throwing": 15832, + "Bounds": 15833, + "▁MD": 15834, + "▁\"../": 15835, + "▁satisfy": 15836, + "▁Colorado": 15837, + "▁Active": 15838, + "Tasks": 15839, + "<>();": 15840, + "▁slipped": 15841, + "▁poison": 15842, + "zb": 15843, + "Dispatch": 15844, + "warning": 15845, + "▁ultimate": 15846, + "picture": 15847, + "expression": 15848, + "▁Talk": 15849, + "▁flick": 15850, + "▁raising": 15851, + "▁transactions": 15852, + "▁glance": 15853, + "▁gri": 15854, + "▁през": 15855, + "selection": 15856, + "ња": 15857, + "endl": 15858, + "▁Abb": 15859, + "▁bold": 15860, + "▁maintained": 15861, + "Exists": 15862, + "▁encouraged": 15863, + "Qual": 15864, + "▁essere": 15865, + "▁hired": 15866, + "letter": 15867, + "itches": 15868, + "others": 15869, + "▁woj": 15870, + "▁injuries": 15871, + "▁dil": 15872, + "execut": 15873, + "▁Steel": 15874, + "▁Garden": 15875, + "зя": 15876, + "\\,\\": 15877, + "▁Angel": 15878, + "prim": 15879, + ">:]<": 15880, + "gb": 15881, + "peat": 15882, + "inte": 15883, + "▁apolog": 15884, + "▁regulations": 15885, + "Src": 15886, + "kh": 15887, + "Upload": 15888, + "mapping": 15889, + "▁presents": 15890, + "▁poetry": 15891, + "▁stops": 15892, + "▁Tol": 15893, + "▁tower": 15894, + "▁OUT": 15895, + "Thank": 15896, + "▁organic": 15897, + "▁drei": 15898, + "▁pound": 15899, + "century": 15900, + "▁modules": 15901, + "▁дере": 15902, + "▁worn": 15903, + "▁parad": 15904, + "▁Cos": 15905, + "fic": 15906, + "▁без": 15907, + "▁Jimmy": 15908, + "▁lands": 15909, + "▁minist": 15910, + "vspace": 15911, + "▁lighting": 15912, + "▁naked": 15913, + "▁designer": 15914, + "▁Stream": 15915, + "TMP": 15916, + "Center": 15917, + "resentation": 15918, + "ONT": 15919, + "▁ers": 15920, + "▁measurement": 15921, + "▁muscles": 15922, + "▁Ign": 15923, + "▁COM": 15924, + "▁fru": 15925, + "▁genre": 15926, + "▁alpha": 15927, + "▁retirement": 15928, + "▁Gon": 15929, + "ől": 15930, + "contents": 15931, + "▁healing": 15932, + "▁sido": 15933, + "incipal": 15934, + "Permission": 15935, + "рак": 15936, + "▁Gordon": 15937, + "▁Rank": 15938, + "▁Autom": 15939, + "Constructor": 15940, + "wiki": 15941, + "▁concerning": 15942, + "rizona": 15943, + "▁variant": 15944, + "▁arranged": 15945, + "▁Spr": 15946, + "BPACK": 15947, + "Timestamp": 15948, + "restore": 15949, + "aware": 15950, + "▁Observ": 15951, + "▁SV": 15952, + "ipp": 15953, + "▁Executive": 15954, + "▁colleg": 15955, + "▁explicitly": 15956, + "written": 15957, + "▁Kön": 15958, + "irus": 15959, + "▁Hold": 15960, + "▁Pract": 15961, + "Character": 15962, + "▁redistribute": 15963, + "uerto": 15964, + "▁Student": 15965, + "▁elder": 15966, + "▁Dop": 15967, + "vp": 15968, + "▁Hub": 15969, + "▁grounds": 15970, + "▁Ry": 15971, + "▁signals": 15972, + "▁gifts": 15973, + "▁strengthen": 15974, + "▁Lyn": 15975, + "commun": 15976, + "▁най": 15977, + "▁finance": 15978, + "noc": 15979, + "helm": 15980, + "▁cuts": 15981, + "▁adventure": 15982, + "▁Ric": 15983, + "▁intellectual": 15984, + "▁Output": 15985, + "▁awk": 15986, + "▁concentration": 15987, + "▁guidance": 15988, + "Buff": 15989, + "▁filling": 15990, + "▁regul": 15991, + "▁delicious": 15992, + "([]": 15993, + "ших": 15994, + "▁tons": 15995, + "activity": 15996, + "GP": 15997, + "LOB": 15998, + "stadt": 15999, + "tal": 16000, + "▁img": 16001, + "▁rush": 16002, + "attice": 16003, + "▁pok": 16004, + "steps": 16005, + "▁lid": 16006, + "▁DNA": 16007, + "Browser": 16008, + "▁ladies": 16009, + "▁années": 16010, + "▁rescue": 16011, + "avity": 16012, + "rock": 16013, + "▁glasses": 16014, + "▁Bey": 16015, + ")}$": 16016, + "detail": 16017, + "▁dés": 16018, + "tax": 16019, + "▁favourite": 16020, + "▁precision": 16021, + "▁conoc": 16022, + "Ms": 16023, + "▁Native": 16024, + "▁Pil": 16025, + "InputStream": 16026, + "orp": 16027, + "▁Pap": 16028, + "▁picking": 16029, + "iph": 16030, + "Loading": 16031, + "▁priest": 16032, + "Hook": 16033, + "▁pist": 16034, + "▁Une": 16035, + "%,": 16036, + "▁bil": 16037, + "▁conservative": 16038, + "eval": 16039, + "iking": 16040, + "'},": 16041, + "▁sauce": 16042, + "▁Due": 16043, + "assen": 16044, + "▁occasionally": 16045, + "▁Дж": 16046, + "unknown": 16047, + "DED": 16048, + "▁drum": 16049, + "▁dub": 16050, + "ATURE": 16051, + "usage": 16052, + "getType": 16053, + "reply": 16054, + "▁strategic": 16055, + "▁kap": 16056, + "design": 16057, + "datetime": 16058, + "▁Prim": 16059, + "Master": 16060, + "▁Corps": 16061, + "▁considerable": 16062, + "▁Tu": 16063, + "▁ла": 16064, + "▁tous": 16065, + "▁clar": 16066, + "▁poem": 16067, + "album": 16068, + "]*": 16069, + "loaded": 16070, + "▁traveling": 16071, + "вые": 16072, + "▁Ferr": 16073, + "▁pharm": 16074, + "abi": 16075, + "▁}\\": 16076, + "collect": 16077, + "▁Bour": 16078, + "OC": 16079, + "▁measurements": 16080, + "▁Professional": 16081, + "▁sensor": 16082, + "utsche": 16083, + "▁demanded": 16084, + "▁accompanied": 16085, + "▁prend": 16086, + "▁encoding": 16087, + "▁Geschichte": 16088, + "▁mig": 16089, + "▁Gib": 16090, + "▁Reich": 16091, + "▁myster": 16092, + "▁Mock": 16093, + "▁physically": 16094, + "▁Bau": 16095, + "▁Single": 16096, + "▁managing": 16097, + "▁Kil": 16098, + "▁Temple": 16099, + "▁lev": 16100, + "▁lí": 16101, + "CPU": 16102, + "▁Premier": 16103, + "▁Give": 16104, + "iri": 16105, + "NV": 16106, + "▁AI": 16107, + "▁fp": 16108, + "лександ": 16109, + "▁tant": 16110, + "▁fot": 16111, + "Nullable": 16112, + "▁guards": 16113, + "Once": 16114, + "▁chamber": 16115, + "film": 16116, + "▁bias": 16117, + "▁Tai": 16118, + "insic": 16119, + "▁ml": 16120, + "▁Ka": 16121, + "вал": 16122, + "▁SER": 16123, + "▁Someone": 16124, + "}}_{": 16125, + "Fixed": 16126, + "▁bent": 16127, + "▁prohib": 16128, + "▁bid": 16129, + "▁fewer": 16130, + "кры": 16131, + "▁lugar": 16132, + "▁deserve": 16133, + "ssl": 16134, + "▁cfg": 16135, + "reck": 16136, + "▁stability": 16137, + "resize": 16138, + "▁assertThat": 16139, + "Trigger": 16140, + "▁станов": 16141, + "plugins": 16142, + "▁lets": 16143, + "хід": 16144, + "▁Laura": 16145, + "нер": 16146, + "▁brut": 16147, + "▁FI": 16148, + "isons": 16149, + "▁dyn": 16150, + "icher": 16151, + "rayed": 16152, + "▁frequent": 16153, + "▁jedoch": 16154, + "▁Marine": 16155, + "strings": 16156, + "▁Util": 16157, + "▁bos": 16158, + "Mus": 16159, + "▁Portugal": 16160, + "Strategy": 16161, + "▁посе": 16162, + "▁slice": 16163, + "▁insight": 16164, + "▁widget": 16165, + "▁général": 16166, + "messages": 16167, + "▁Hu": 16168, + "▁requirement": 16169, + "Side": 16170, + "emplates": 16171, + "▁ceremony": 16172, + "▁physics": 16173, + "▁graduate": 16174, + "para": 16175, + "▁preserv": 16176, + "▁shops": 16177, + "zek": 16178, + "▁ub": 16179, + "prepare": 16180, + "▁Oil": 16181, + "▁fib": 16182, + "▁runtime": 16183, + "▁hogy": 16184, + "Warning": 16185, + "▁Convert": 16186, + "bourne": 16187, + "▁emerged": 16188, + "▁Ди": 16189, + "ighth": 16190, + "guard": 16191, + "kal": 16192, + "validation": 16193, + "ência": 16194, + "▁drinks": 16195, + "theorem": 16196, + "HR": 16197, + "iev": 16198, + "ployee": 16199, + "Usage": 16200, + "▁спе": 16201, + "dispatch": 16202, + "▁instantly": 16203, + "obi": 16204, + "▁justify": 16205, + "▁Nev": 16206, + "▁явля": 16207, + "agra": 16208, + "▁transmission": 16209, + "fly": 16210, + ";';": 17021, + "▁cousin": 17022, + "createElement": 17023, + "Could": 17024, + "▁capac": 17025, + "▁pause": 17026, + "ArrayList": 17027, + "kte": 17028, + "ordered": 17029, + "▁shaking": 17030, + "labels": 17031, + "▁reducing": 17032, + "вых": 17033, + "USED": 17034, + "▁voting": 17035, + "▁Ministry": 17036, + "▁Mig": 17037, + "▁Chen": 17038, + "▁accompany": 17039, + "ulle": 17040, + "▁ga": 17041, + "▁equipped": 17042, + "▁nun": 17043, + "Bet": 17044, + "▁licensed": 17045, + "ARCH": 17046, + "FN": 17047, + "▁engines": 17048, + "▁ster": 17049, + "▁locale": 17050, + "▁въ": 17051, + "links": 17052, + "▁Capital": 17053, + "▁alien": 17054, + "Wr": 17055, + "ръ": 17056, + "Cart": 17057, + "▁Marketing": 17058, + "▁RT": 17059, + "FileName": 17060, + "▁ti": 17061, + "iji": 17062, + "▁versus": 17063, + "live": 17064, + "Sym": 17065, + "kor": 17066, + "▁emission": 17067, + "umm": 17068, + "ycz": 17069, + "▁climbed": 17070, + "▁plusieurs": 17071, + "кри": 17072, + "yar": 17073, + "osten": 17074, + "▁usb": 17075, + "▁crossing": 17076, + "▁polynom": 17077, + "▁removal": 17078, + "▁Adams": 17079, + "▁ihre": 17080, + "anden": 17081, + "▁Benj": 17082, + "▁Phill": 17083, + "▁wounded": 17084, + "▁Castle": 17085, + "bild": 17086, + "Annotation": 17087, + "Processor": 17088, + "▁tin": 17089, + "folg": 17090, + "▁Students": 17091, + "▁Mexican": 17092, + "▁administrative": 17093, + "ILED": 17094, + "▁conqu": 17095, + "▁cheer": 17096, + "▁Ces": 17097, + "Because": 17098, + "▁Juni": 17099, + "▁encontr": 17100, + "avi": 17101, + "VI": 17102, + "aku": 17103, + "▁Ton": 17104, + "▁smoking": 17105, + "▁bay": 17106, + "works": 17107, + "ат": 17108, + "attered": 17109, + "▁Boolean": 17110, + "▁Balt": 17111, + "defer": 17112, + "pathy": 17113, + "Ah": 17114, + "▁akt": 17115, + "▁governor": 17116, + "Pad": 17117, + "▁sisters": 17118, + "Lat": 17119, + "▁revel": 17120, + "▁SY": 17121, + "itos": 17122, + "▁filters": 17123, + "Chunk": 17124, + "consum": 17125, + "▁removing": 17126, + "▁Herr": 17127, + "▁generator": 17128, + "▁Cra": 17129, + "▁farmers": 17130, + "▁Members": 17131, + "▁overcome": 17132, + "▁Cin": 17133, + "igkeit": 17134, + "criptions": 17135, + "Tests": 17136, + "▁клу": 17137, + "▁shake": 17138, + "▁yy": 17139, + "placement": 17140, + "▁awards": 17141, + "▁episodes": 17142, + "▁Blood": 17143, + "▁bullet": 17144, + "▁viene": 17145, + "▁Financial": 17146, + "Future": 17147, + "▁rou": 17148, + "▁biologie": 17149, + "▁useState": 17150, + "iani": 17151, + "piece": 17152, + "▁speaker": 17153, + "▁refr": 17154, + "ARK": 17155, + "▁MIT": 17156, + "▁Tan": 17157, + "▁Based": 17158, + "▁cultiv": 17159, + "▁hungry": 17160, + "▁Ay": 17161, + "▁Hey": 17162, + "▁excitement": 17163, + "ibraries": 17164, + "Hit": 17165, + "▁Ende": 17166, + "NG": 17167, + "FIL": 17168, + ".\")": 17169, + "Family": 17170, + "inery": 17171, + "necess": 17172, + "velope": 17173, + "▁Bot": 17174, + "porter": 17175, + "▁climb": 17176, + "▁Eli": 17177, + "urent": 17178, + "▁mistakes": 17179, + "ában": 17180, + "marks": 17181, + "pkt": 17182, + "Library": 17183, + "sted": 17184, + "ublice": 17185, + "▁Administration": 17186, + "▁shapes": 17187, + "публи": 17188, + "God": 17189, + "innen": 17190, + "коло": 17191, + "<<<<": 17192, + "ibe": 17193, + "ês": 17194, + "▁США": 17195, + "▁Foreign": 17196, + "▁Margaret": 17197, + "▁gene": 17198, + "▁disturb": 17199, + "▁тер": 17200, + "▁onClick": 17201, + "▁Engineering": 17202, + "▁stopping": 17203, + "▁restrictions": 17204, + ",*": 17205, + "BUF": 17206, + "▁shadows": 17207, + "hci": 17208, + "▁Christians": 17209, + "▁fence": 17210, + "▁luxury": 17211, + "akh": 17212, + "coord": 17213, + "▁investigate": 17214, + "▁conventional": 17215, + "\"—": 17216, + "▁visits": 17217, + "isé": 17218, + "▁Sac": 17219, + "className": 17220, + "▁Psych": 17221, + "▁reflected": 17222, + "▁пло": 17223, + "▁Vice": 17224, + "ław": 17225, + "________________": 17226, + "▁Wolf": 17227, + "rente": 17228, + "▁Champion": 17229, + "▁simulation": 17230, + "esota": 17231, + "▁Soon": 17232, + "▁Cel": 17233, + "▁theories": 17234, + "▁STR": 17235, + "▁collective": 17236, + "▁coordinate": 17237, + "querySelector": 17238, + "emed": 17239, + "Break": 17240, + "▁gef": 17241, + "▁electricity": 17242, + "▁gathering": 17243, + "aters": 17244, + "exper": 17245, + "▁Roma": 17246, + "▁Cooper": 17247, + "SYMBOL": 17248, + "vd": 17249, + "iversary": 17250, + "aines": 17251, + "▁Grad": 17252, + "▁independence": 17253, + "woh": 17254, + "▁consequence": 17255, + "▁conversations": 17256, + "▁Rou": 17257, + "▁andere": 17258, + "▁Systems": 17259, + "гар": 17260, + "▁moist": 17261, + "flu": 17262, + "ція": 17263, + "ниш": 17264, + "▁rode": 17265, + "▁perd": 17266, + "▁szer": 17267, + "▁flood": 17268, + "▁intim": 17269, + "stderr": 17270, + "▁reflection": 17271, + "Scan": 17272, + "▁disaster": 17273, + "akespe": 17274, + "▁Invalid": 17275, + "▁humor": 17276, + "▁Friedrich": 17277, + "▁suggestions": 17278, + "uvud": 17279, + "Delay": 17280, + "brief": 17281, + "▁ис": 17282, + "glied": 17283, + "fas": 17284, + "▁Smart": 17285, + "▁medi": 17286, + "sdk": 17287, + "▁seus": 17288, + "▁Arizona": 17289, + "▁innocent": 17290, + "Warn": 17291, + "acious": 17292, + "▁Moscow": 17293, + "▁caps": 17294, + "Delegate": 17295, + "▁dramatic": 17296, + "books": 17297, + "▁shore": 17298, + "uki": 17299, + "▁Russell": 17300, + "▁correlation": 17301, + "Help": 17302, + "▁pubblic": 17303, + "zym": 17304, + "comb": 17305, + "EY": 17306, + "LENGTH": 17307, + "▁Mün": 17308, + "▁_.": 17309, + "▁ferm": 17310, + "▁Ian": 17311, + "▁Studio": 17312, + "▁affairs": 17313, + "los": 17314, + "Rules": 17315, + "running": 17316, + "▁Posted": 17317, + "Pixel": 17318, + "▁dancing": 17319, + "▁agreements": 17320, + "▁Pic": 17321, + "ancia": 17322, + "▁má": 17323, + "ationToken": 17324, + "descriptor": 17325, + "▁Carter": 17326, + "Release": 17327, + "************": 17328, + "▁outstanding": 17329, + "changes": 17330, + "ARRAY": 17331, + "▁Barbara": 17332, + "▁nurse": 17333, + "(\r": 17334, + "▁Douglas": 17335, + "▁nucle": 17336, + "ouri": 17337, + "▁Style": 17338, + "avo": 17339, + "▁painful": 17340, + "▁slic": 17341, + "▁seinem": 17342, + "SUPPORT": 17343, + "ogene": 17344, + "▁satell": 17345, + "tagon": 17346, + "▁collapse": 17347, + "velle": 17348, + "MON": 17349, + "aughters": 17350, + "▁threatened": 17351, + "▁Illegal": 17352, + "▁desperate": 17353, + "strict": 17354, + "rus": 17355, + "ститу": 17356, + "\\\":": 17357, + "▁conflic": 17358, + "download": 17359, + "atos": 17360, + "▁Position": 17361, + ".*;": 17362, + "▁theater": 17363, + "▁pleasant": 17364, + "▁Cette": 17365, + "▁Singapore": 17366, + "heet": 17367, + "▁pir": 17368, + "▁acquis": 17369, + "▁назва": 17370, + "теля": 17371, + "▁recru": 17372, + "жения": 17373, + "ёл": 17374, + "версите": 17375, + "▁respective": 17376, + "▁tunnel": 17377, + "▁Dean": 17378, + "Du": 17379, + "▁uncle": 17380, + "▁offensive": 17381, + "colo": 17382, + "▁Unlike": 17383, + "series": 17384, + "▁Arn": 17385, + "minute": 17386, + "▁descriptor": 17387, + "▁stones": 17388, + "ICATION": 17389, + "▁Pad": 17390, + "▁iPhone": 17391, + "ei": 17392, + "▁fantasy": 17393, + "▁Korean": 17394, + "\"}": 17395, + "▁orth": 17396, + "halten": 17397, + "deep": 17398, + "▁Kay": 17399, + "requency": 17400, + "▁duties": 17401, + "awt": 17402, + "▁nearest": 17403, + "▁disorder": 17404, + "стру": 17405, + "▁Chile": 17406, + "▁seq": 17407, + "▁transportation": 17408, + "OO": 17409, + "▁Dez": 17410, + "iju": 17411, + "▁Results": 17412, + "jed": 17413, + "ivel": 17414, + "HOST": 17415, + "▁€": 17416, + "▁Î": 17417, + "▁chin": 17418, + "▁matt": 17419, + "▁voted": 17420, + "▁gehör": 17421, + "▁▁▁▁▁▁▁▁▁▁▁": 17422, + "▁sue": 17423, + "▁legacy": 17424, + "вся": 17425, + "SOURCE": 17426, + "WORK": 17427, + "itis": 17428, + "▁$|": 17429, + "▁обо": 17430, + "▁nr": 17431, + "▁Tamb": 17432, + "▁snap": 17433, + "▁impressed": 17434, + "▁deposit": 17435, + "▁divid": 17436, + "Segment": 17437, + "▁кар": 17438, + "▁Gas": 17439, + "▁crimes": 17440, + "▁insult": 17441, + "▁Hum": 17442, + "▁bounded": 17443, + "▁kicked": 17444, + "▁Му": 17445, + "▁|\\": 17446, + "added": 17447, + "Produ": 17448, + "▁./": 17449, + "▁awkward": 17450, + "▁Кра": 17451, + "▁ї": 17452, + "▁CONTR": 17453, + "▁beim": 17454, + "▁placeholder": 17455, + "spi": 17456, + "▁Bei": 17457, + "▁Pf": 17458, + "ientes": 17459, + "disk": 17460, + "blk": 17461, + "neo": 17462, + "itarian": 17463, + "▁cogn": 17464, + "▁sout": 17465, + "▁trash": 17466, + "▁Rab": 17467, + "▁decline": 17468, + "tat": 17469, + "▁combine": 17470, + "▁Tot": 17471, + "▁drops": 17472, + "Times": 17473, + "cheduler": 17474, + "▁governments": 17475, + "Tex": 17476, + "▁Used": 17477, + "зан": 17478, + "▁pd": 17479, + "мет": 17480, + "▁&=&": 17481, + "▁Nag": 17482, + "▁дол": 17483, + "▁Always": 17484, + "rtc": 17485, + "ске": 17486, + "▁performances": 17487, + "rupted": 17488, + "▁два": 17489, + "▁managers": 17490, + "▁Pitt": 17491, + "▁mystery": 17492, + "▁settle": 17493, + "ulse": 17494, + "cross": 17495, + "question": 17496, + "asha": 17497, + "seed": 17498, + "urable": 17499, + "Final": 17500, + "++++": 17501, + "inputs": 17502, + "▁backup": 17503, + "▁Learning": 17504, + "▁*,": 17505, + "logo": 17506, + "▁seinen": 17507, + "▁vulnerable": 17508, + "directory": 17509, + "ië": 17510, + "▁friendship": 17511, + "tu": 17512, + "▁Vec": 17513, + "rifice": 17514, + "▁бра": 17515, + "▁involve": 17516, + "TON": 17517, + "▁corrid": 17518, + "separ": 17519, + "Destroy": 17520, + "▁jul": 17521, + "▁inequality": 17522, + "▁ain": 17523, + "hex": 17524, + "▁wider": 17525, + "тели": 17526, + "▁jack": 17527, + "▁quot": 17528, + "▁Glen": 17529, + "initely": 17530, + "ihood": 17531, + "▁waist": 17532, + "▁Manchester": 17533, + "regular": 17534, + "▁(&": 17535, + "▁masses": 17536, + "▁DEFAULT": 17537, + "▁chairs": 17538, + "▁Fast": 17539, + "▁citt": 17540, + "_{{\\": 17541, + "oa": 17542, + "▁$\\{": 17543, + "▁seeds": 17544, + "▁Ald": 17545, + "▁Batt": 17546, + "fab": 17547, + "▁democracy": 17548, + "DTO": 17549, + "▁Hij": 17550, + "PTR": 17551, + "Na": 17552, + "▁Harvard": 17553, + "sid": 17554, + "Pred": 17555, + "fers": 17556, + "▁spare": 17557, + "AMP": 17558, + "▁groupe": 17559, + "▁sender": 17560, + "▁Christopher": 17561, + "▁prisoners": 17562, + "▁Ker": 17563, + "▁Crist": 17564, + "▁ALL": 17565, + "rice": 17566, + "▁antes": 17567, + "natural": 17568, + "▁Susan": 17569, + "▁Juli": 17570, + "▁diab": 17571, + "ixon": 17572, + "icator": 17573, + "▁flexible": 17574, + "▁reserve": 17575, + "Contains": 17576, + "▁Hil": 17577, + "▁Isa": 17578, + "▁towns": 17579, + "GS": 17580, + "▁Trad": 17581, + "▁Lock": 17582, + "▁Grund": 17583, + "▁criticism": 17584, + "ню": 17585, + "▁că": 17586, + "▁politician": 17587, + "stable": 17588, + "Accept": 17589, + "Summary": 17590, + "▁também": 17591, + "}^{-": 17592, + "▁IM": 17593, + "idal": 17594, + "мор": 17595, + "Blue": 17596, + "GROUP": 17597, + "▁terminal": 17598, + "▁complexity": 17599, + "▁locally": 17600, + "DOWN": 17601, + "▁Near": 17602, + "Depth": 17603, + "▁pole": 17604, + "▁equality": 17605, + "Site": 17606, + "▁isinstance": 17607, + "Speed": 17608, + "ippi": 17609, + ",&": 17610, + "▁Enc": 17611, + "щен": 17612, + "▁mater": 17613, + "▁slaves": 17614, + "ACTION": 17615, + "usalem": 17616, + "▁haz": 17617, + "▁Beat": 17618, + "▁wrest": 17619, + "▁llam": 17620, + "Ins": 17621, + "мина": 17622, + "▁був": 17623, + "▁Frame": 17624, + "ushes": 17625, + "▁virtually": 17626, + "▁Perm": 17627, + "▁weights": 17628, + "▁llvm": 17629, + "▁cave": 17630, + "states": 17631, + "DMA": 17632, + "ellt": 17633, + "ifact": 17634, + "vendor": 17635, + "▁Emma": 17636, + "Locale": 17637, + "▁SET": 17638, + "▁geometry": 17639, + "Styles": 17640, + "▁Referee": 17641, + "▁weit": 17642, + "fica": 17643, + "▁ads": 17644, + "gray": 17645, + "▁Burg": 17646, + "iona": 17647, + "dagger": 17648, + "▁Januar": 17649, + "дей": 17650, + "isterschaft": 17651, + "ppo": 17652, + "oids": 17653, + "▁départ": 17654, + "Shader": 17655, + "▁constraint": 17656, + "Secret": 17657, + "▁Peters": 17658, + "▁eyeb": 17659, + "▁mesh": 17660, + "▁cookie": 17661, + "▁Pick": 17662, + "▁nick": 17663, + "bye": 17664, + "▁savings": 17665, + "Try": 17666, + "python": 17667, + "▁patri": 17668, + "▁multip": 17669, + "▁kinda": 17670, + "▁'_": 17671, + "▁Franz": 17672, + "▁cloth": 17673, + "зульта": 17674, + "▁fleet": 17675, + "▁humanity": 17676, + "resa": 17677, + "blob": 17678, + "▁TX": 17679, + "▁Buch": 17680, + "▁Lond": 17681, + "▁valley": 17682, + "▁murm": 17683, + "▁Trade": 17684, + "linewidth": 17685, + "▁especial": 17686, + "upper": 17687, + "▁hosp": 17688, + "▁tanto": 17689, + "▁oldest": 17690, + "▁Roose": 17691, + "▁hitting": 17692, + "dog": 17693, + "ovi": 17694, + "},\r": 17695, + "▁compatible": 17696, + "▁Website": 17697, + "poch": 17698, + "▁Bag": 17699, + "▁accomplish": 17700, + "Christ": 17701, + "asset": 17702, + "▁Until": 17703, + "▁geld": 17704, + "Listen": 17705, + "SB": 17706, + "Setup": 17707, + "icia": 17708, + "▁lum": 17709, + "▁janvier": 17710, + "PAGE": 17711, + "▁Nu": 17712, + "/\"": 17713, + "▁divorce": 17714, + "Execute": 17715, + "Depend": 17716, + "▁Scottish": 17717, + "▁Ts": 17718, + "ruppe": 17719, + "▁refuse": 17720, + "▁Oktober": 17721, + "ijk": 17722, + "▁Amy": 17723, + "▁dimin": 17724, + "▁gross": 17725, + "▁trat": 17726, + "isible": 17727, + "mixer": 17728, + "▁autres": 17729, + "▁neat": 17730, + "▁otros": 17731, + "Void": 17732, + "▁schol": 17733, + "▁Walker": 17734, + "▁tube": 17735, + "ologists": 17736, + "▁груп": 17737, + "▁haben": 17738, + "uber": 17739, + "ACTIVE": 17740, + "▁Attendance": 17741, + "▁оп": 17742, + "▁blade": 17743, + "oplus": 17744, + "▁Original": 17745, + "▁manufacturer": 17746, + "asz": 17747, + "âte": 17748, + "rer": 17749, + "▁Json": 17750, + "▁succeeded": 17751, + "uffle": 17752, + "▁backed": 17753, + "esian": 17754, + "tick": 17755, + "External": 17756, + "▁XIX": 17757, + "▁hearts": 17758, + "▁После": 17759, + "olu": 17760, + "▁лет": 17761, + "VICE": 17762, + "ário": 17763, + "▁fraud": 17764, + "edu": 17765, + "Primary": 17766, + "▁gaming": 17767, + "▁plt": 17768, + "igator": 17769, + "IES": 17770, + "Compiler": 17771, + "▁monument": 17772, + "agem": 17773, + "▁Rain": 17774, + "▁moins": 17775, + "oku": 17776, + "osex": 17777, + "▁Kansas": 17778, + "▁gepublice": 17779, + "▁Joy": 17780, + "Scene": 17781, + "▁kingdom": 17782, + "rices": 17783, + "▁juin": 17784, + "▁uncomfortable": 17785, + "▁Money": 17786, + "obb": 17787, + "expl": 17788, + "strcmp": 17789, + "▁dread": 17790, + "rition": 17791, + "▁Chi": 17792, + "▁demonstrated": 17793, + "▁vertices": 17794, + "чо": 17795, + "▁Culture": 17796, + "FX": 17797, + "Dictionary": 17798, + "▁Dru": 17799, + "trm": 17800, + "▁examine": 17801, + "▁therap": 17802, + "ième": 17803, + "мини": 17804, + "▁produces": 17805, + "▁photographs": 17806, + "▁threads": 17807, + "▁MI": 17808, + "▁extraordinary": 17809, + "ским": 17810, + "▁gepubliceerd": 17811, + "▁Poland": 17812, + "▁guaranteed": 17813, + "RG": 17814, + "osc": 17815, + "али": 17816, + "▁тех": 17817, + "errno": 17818, + "science": 17819, + "iffs": 17820, + "▁Tam": 17821, + "▁Beth": 17822, + "▁Travel": 17823, + "▁translate": 17824, + "ché": 17825, + "▁ling": 17826, + "▁belongs": 17827, + "▁electrical": 17828, + "ensk": 17829, + "▁Compet": 17830, + "cg": 17831, + "VC": 17832, + "topic": 17833, + "▁presum": 17834, + "вета": 17835, + "▁approximation": 17836, + "▁grim": 17837, + "▁Из": 17838, + "_{(": 17839, + "вин": 17840, + "ution": 17841, + "owych": 17842, + "åg": 17843, + "sterreich": 17844, + "▁characteristic": 17845, + "oming": 17846, + "▁/*!": 17847, + "▁prize": 17848, + "▁Minnesota": 17849, + "ted": 17850, + "цы": 17851, + "▁Om": 17852, + "▁indices": 17853, + "▁stem": 17854, + "regon": 17855, + "ниче": 17856, + "▁Salv": 17857, + "ése": 17858, + "▁aged": 17859, + "▁Past": 17860, + "▁internation": 17861, + "▁Vic": 17862, + "▁resume": 17863, + "akespeare": 17864, + "▁estado": 17865, + "▁abilities": 17866, + "▁brow": 17867, + "▁NFL": 17868, + "▁trends": 17869, + "▁Austin": 17870, + "▁LIMIT": 17871, + "▁Kor": 17872, + "▁folk": 17873, + "▁ward": 17874, + "▁nest": 17875, + "▁Junior": 17876, + "▁maintaining": 17877, + "Pub": 17878, + "OBJECT": 17879, + "▁bloody": 17880, + "▁sj": 17881, + "▁dtype": 17882, + "Pane": 17883, + "▁bacter": 17884, + "▁gradually": 17885, + "mr": 17886, + "Team": 17887, + "▁indicating": 17888, + "▁decrease": 17889, + "tek": 17890, + "▁Represent": 17891, + "▁developers": 17892, + "Guid": 17893, + "▁Diet": 17894, + "▁retr": 17895, + "Navigation": 17896, + "esi": 17897, + "▁lazy": 17898, + "Standard": 17899, + "Er": 17900, + "AW": 17901, + "▁États": 17902, + "▁assured": 17903, + "San": 17904, + "▁Andre": 17905, + "’,": 17906, + "fang": 17907, + "ération": 17908, + "▁industries": 17909, + "▁incon": 17910, + "Emit": 17911, + "▁где": 17912, + "▁retriev": 17913, + "eni": 17914, + "▁Turkey": 17915, + "izers": 17916, + "Angle": 17917, + "▁oc": 17918, + "▁palm": 17919, + "▁stan": 17920, + "льно": 17921, + "▁CSS": 17922, + "▁frances": 17923, + "▁grin": 17924, + "▁tiempo": 17925, + "▁Prix": 17926, + "]).": 17927, + "▁deput": 17928, + "▁Pin": 17929, + "▁sixt": 17930, + "▁predicted": 17931, + "azure": 17932, + "▁Motor": 17933, + "▁ihm": 17934, + "▁manus": 17935, + "apos": 17936, + "▁instruments": 17937, + "▁counts": 17938, + "▁aimed": 17939, + "profit": 17940, + "▁dok": 17941, + "обра": 17942, + "▁estud": 17943, + "iesz": 17944, + "▁piss": 17945, + "▁inaug": 17946, + "▁voters": 17947, + "▁packages": 17948, + "▁cute": 17949, + "▁fitness": 17950, + "▁leurs": 17951, + "▁sorted": 17952, + "phant": 17953, + "OPT": 17954, + "▁zip": 17955, + "season": 17956, + "emi": 17957, + "encoding": 17958, + "won": 17959, + "elect": 17960, + "▁tooth": 17961, + "▁upcoming": 17962, + "▁Graham": 17963, + "nut": 17964, + "▁Ark": 17965, + "ält": 17966, + "▁precious": 17967, + "agle": 17968, + "née": 17969, + "ница": 17970, + "aris": 17971, + "▁pile": 17972, + "cole": 17973, + "▁WITH": 17974, + "routing": 17975, + "▁***": 17976, + "Appearance": 17977, + "llvm": 17978, + "▁Oliver": 17979, + "▁PL": 17980, + "ifndef": 17981, + "etzt": 17982, + "skiego": 17983, + "▁pon": 17984, + "ARGET": 17985, + "kö": 17986, + "alled": 17987, + "▁=\\": 17988, + "sure": 17989, + "matches": 17990, + "▁temperatures": 17991, + "SEL": 17992, + "▁clone": 17993, + "▁eller": 17994, + "erna": 17995, + "▁поло": 17996, + "Management": 17997, + "company": 17998, + "▁lun": 17999, + "▁streaming": 18000, + "▁Ni": 18001, + "▁sí": 18002, + "Contact": 18003, + "▁Credit": 18004, + "▁Oak": 18005, + "▁представ": 18006, + "radius": 18007, + "cli": 18008, + "IENT": 18009, + "▁Lucy": 18010, + "▁calculation": 18011, + "▁pixel": 18012, + "▁mul": 18013, + "▁outcomes": 18014, + "▁centers": 18015, + "▁residence": 18016, + "Constraint": 18017, + "▁preserve": 18018, + "peon": 18019, + "uffix": 18020, + "▁Roberts": 18021, + "▁promot": 18022, + "?!": 18023, + "balance": 18024, + "▁courts": 18025, + "▁disg": 18026, + "PRINT": 18027, + "▁их": 18028, + "elfare": 18029, + "▁retreat": 18030, + "▁Ав": 18031, + "Cost": 18032, + "also": 18033, + "▁Für": 18034, + "▁März": 18035, + "DIO": 18036, + "▁bez": 18037, + "AUTH": 18038, + "Den": 18039, + "▁atom": 18040, + "▁roman": 18041, + "▁Pel": 18042, + "▁Roosevelt": 18043, + "▁Plant": 18044, + "Contents": 18045, + "▁Between": 18046, + "▁coupling": 18047, + "structure": 18048, + "▁Marshall": 18049, + "▁Career": 18050, + "▁railway": 18051, + "▁Bureau": 18052, + "▁possibilities": 18053, + "▁kor": 18054, + "){\r": 18055, + "mero": 18056, + "mov": 18057, + "англ": 18058, + "AIN": 18059, + "mund": 18060, + "lette": 18061, + "▁summar": 18062, + "▁describing": 18063, + "▁NAS": 18064, + "▁Emb": 18065, + "Instruction": 18066, + "liest": 18067, + "▁Sig": 18068, + "Bill": 18069, + "▁verd": 18070, + "plant": 18071, + "▁galaxies": 18072, + "\"])": 18073, + "▁PyObject": 18074, + "▁Gy": 18075, + "▁mě": 18076, + "▁organisation": 18077, + "Her": 18078, + "Sep": 18079, + "ocom": 18080, + "▁Same": 18081, + "▁bite": 18082, + "▁Seattle": 18083, + "зыва": 18084, + "Observer": 18085, + "’.": 18086, + "▁morph": 18087, + "urches": 18088, + "alph": 18089, + "reement": 18090, + "consin": 18091, + "^-": 18092, + "▁dann": 18093, + "translate": 18094, + "вих": 18095, + "React": 18096, + "▁cats": 18097, + "▁brew": 18098, + "▁ds": 18099, + "▁circles": 18100, + "▁drift": 18101, + "agma": 18102, + "▁Valent": 18103, + "PIN": 18104, + "ARM": 18105, + "▁surviv": 18106, + "alin": 18107, + "Pref": 18108, + "friendly": 18109, + "▁uncertainty": 18110, + "▁fd": 18111, + "▁engineer": 18112, + "Ben": 18113, + "icular": 18114, + "orest": 18115, + "▁horizontal": 18116, + "UTC": 18117, + "textrm": 18118, + "Live": 18119, + "Score": 18120, + "▁Germans": 18121, + "distance": 18122, + "uti": 18123, + "▁équ": 18124, + "▁numerical": 18125, + "▁reass": 18126, + "Activ": 18127, + "▁cod": 18128, + "bullet": 18129, + "ensing": 18130, + "▁Gem": 18131, + "▁navigation": 18132, + "addClass": 18133, + "▁simultaneously": 18134, + "вий": 18135, + "▁його": 18136, + "▁Hö": 18137, + "▁harsh": 18138, + "precated": 18139, + "ССР": 18140, + "▁Equip": 18141, + "adget": 18142, + "▁TYPE": 18143, + "▁mg": 18144, + "IGH": 18145, + "▁vin": 18146, + "▁findings": 18147, + "ivan": 18148, + "▁possession": 18149, + "▁того": 18150, + "▁parsed": 18151, + "riors": 18152, + "zeichnet": 18153, + "ников": 18154, + "Worker": 18155, + "▁enables": 18156, + "▁($\\": 18157, + "▁Copy": 18158, + "▁orientation": 18159, + "стре": 18160, + "▁Indians": 18161, + "▁Gary": 18162, + "▁Insurance": 18163, + "isan": 18164, + "Chat": 18165, + "▁comun": 18166, + "▁coron": 18167, + "ография": 18168, + "updated": 18169, + "▁Ин": 18170, + "These": 18171, + "SEC": 18172, + "▁boyfriend": 18173, + "Diagnostics": 18174, + "Hint": 18175, + "mul": 18176, + "▁inode": 18177, + "xA": 18178, + "eft": 18179, + "OPTION": 18180, + "unct": 18181, + "annon": 18182, + "ENS": 18183, + "strip": 18184, + "▁enthusi": 18185, + "▁Whit": 18186, + "▁Фи": 18187, + "aude": 18188, + "▁disagree": 18189, + "▁snapped": 18190, + "Phys": 18191, + "▁Syn": 18192, + "▁sour": 18193, + "▁Lux": 18194, + "ugar": 18195, + "tile": 18196, + "▁infection": 18197, + "▁Feb": 18198, + "▁Chem": 18199, + "dataset": 18200, + "chts": 18201, + "Dynamic": 18202, + "▁сред": 18203, + "▁queen": 18204, + "worker": 18205, + "swap": 18206, + "▁timestamp": 18207, + "▁Integr": 18208, + "▁interviews": 18209, + "such": 18210, + "▁laughter": 18211, + "prof": 18212, + "▁Bird": 18213, + "(|": 18214, + "ân": 18215, + "▁gra": 18216, + "&=": 18217, + "zens": 18218, + "getMessage": 18219, + "▁Ost": 18220, + "▁gab": 18221, + "▁mortgage": 18222, + "multicol": 18223, + "LEVEL": 18224, + "partition": 18225, + "seen": 18226, + "▁declar": 18227, + "AU": 18228, + "▁ox": 18229, + "▁ligger": 18230, + "▁Carm": 18231, + "geme": 18232, + "▁Vegas": 18233, + "▁Eug": 18234, + "orus": 18235, + "▁brick": 18236, + "▁así": 18237, + "▁Magazine": 18238, + "HasColumnType": 18239, + "VR": 18240, + "licher": 18241, + "▁Future": 18242, + "▁Jug": 18243, + "attan": 18244, + "constructor": 18245, + "VP": 18246, + "▁тур": 18247, + "чина": 18248, + "Comparator": 18249, + "▁authentic": 18250, + "▁monster": 18251, + "▁transformed": 18252, + "▁firms": 18253, + "FW": 18254, + "▁catalog": 18255, + "boards": 18256, + "▁diseases": 18257, + "▁Benjamin": 18258, + "▁horizon": 18259, + "▁Available": 18260, + "Mvc": 18261, + "Stud": 18262, + "▁lord": 18263, + "general": 18264, + "пар": 18265, + "▁cabinet": 18266, + "▁Basic": 18267, + "TestCase": 18268, + "ansk": 18269, + "▁Snow": 18270, + "ierten": 18271, + "▁vocal": 18272, + "Padding": 18273, + "halt": 18274, + "▁Alexand": 18275, + "▁Colomb": 18276, + "ivamente": 18277, + "▁artificial": 18278, + "▁Atlanta": 18279, + "▁mentre": 18280, + "▁estaba": 18281, + "jekt": 18282, + "▁slept": 18283, + "▁endless": 18284, + "éro": 18285, + "attery": 18286, + "uur": 18287, + "▁weakness": 18288, + "▁attempting": 18289, + "BYTE": 18290, + "▁founder": 18291, + "▁salv": 18292, + "▁Medicine": 18293, + "tid": 18294, + "▁Schwe": 18295, + "raction": 18296, + "▁¿": 18297, + "crate": 18298, + "SERVER": 18299, + "▁compound": 18300, + "▁conve": 18301, + "▁caf": 18302, + "▁handful": 18303, + "onne": 18304, + "ública": 18305, + "▁defensive": 18306, + "Alignment": 18307, + "▁préc": 18308, + "▁significance": 18309, + "élé": 18310, + "arta": 18311, + "Dam": 18312, + "▁perpet": 18313, + "▁caller": 18314, + "icients": 18315, + "cep": 18316, + "▁Multi": 18317, + "▁stolen": 18318, + "▁focusing": 18319, + "embed": 18320, + "▁bree": 18321, + "▁AB": 18322, + "▁occasions": 18323, + "sea": 18324, + "Prov": 18325, + "чение": 18326, + "▁Category": 18327, + "▁sq": 18328, + "▁Фе": 18329, + "VA": 18330, + "Diff": 18331, + "Tri": 18332, + "issement": 18333, + "▁actress": 18334, + "▁Пе": 18335, + "▁jej": 18336, + "▁twisted": 18337, + "▁Nicol": 18338, + "▁junior": 18339, + "Sound": 18340, + "▁Brasil": 18341, + "▁juice": 18342, + "▁>>>": 18343, + "▁Alb": 18344, + "▁softly": 18345, + "▁McK": 18346, + "▁Gren": 18347, + "▁italiano": 18348, + "▁creatures": 18349, + "▁residential": 18350, + "▁Instagram": 18351, + "ucks": 18352, + "▁killer": 18353, + "▁Johnny": 18354, + "▁enterprise": 18355, + "Dto": 18356, + "chestra": 18357, + "▁Tel": 18358, + "▁Activ": 18359, + "factor": 18360, + "oust": 18361, + "▁vacuum": 18362, + "рал": 18363, + "')->": 18364, + "▁Left": 18365, + "▁defect": 18366, + "▁ninete": 18367, + "fare": 18368, + "▁regret": 18369, + "▁shar": 18370, + "ctrine": 18371, + "mesh": 18372, + "city": 18373, + "icit": 18374, + "▁Fem": 18375, + "limited": 18376, + "oka": 18377, + "!\\!\\": 18378, + "Donald": 18379, + "зно": 18380, + "▁provision": 18381, + "▁discussions": 18382, + "Drag": 18383, + "▁Incl": 18384, + "Exit": 18385, + "▁Abd": 18386, + "story": 18387, + "ieve": 18388, + "▁był": 18389, + "olving": 18390, + "wohner": 18391, + "▁guidelines": 18392, + "▁straw": 18393, + "üss": 18394, + "▁було": 18395, + "▁burden": 18396, + "▁spatial": 18397, + "▁stretched": 18398, + "▁Inf": 18399, + "▁typedef": 18400, + "▁robot": 18401, + "▁Doc": 18402, + "pliers": 18403, + "wal": 18404, + "camp": 18405, + "▁diffé": 18406, + "▁McG": 18407, + "▁tel": 18408, + "arette": 18409, + "▁subsequently": 18410, + "▁honey": 18411, + "FUNC": 18412, + "▁establishment": 18413, + "tesy": 18414, + "▁który": 18415, + "▁сель": 18416, + "▁FO": 18417, + "▁Islands": 18418, + "▁mp": 18419, + "Scalar": 18420, + "▁Yan": 18421, + "cken": 18422, + "▁variation": 18423, + "ią": 18424, + "optim": 18425, + "azor": 18426, + "tuple": 18427, + "▁gravity": 18428, + "▁conclude": 18429, + "▁collections": 18430, + "ész": 18431, + "▁Liver": 18432, + "▁ethnic": 18433, + "compile": 18434, + "▁parl": 18435, + "Surface": 18436, + "{'": 18437, + "▁paragraph": 18438, + "posite": 18439, + "ítulo": 18440, + "oba": 18441, + "binary": 18442, + "rob": 18443, + "▁Pedro": 18444, + "▁fis": 18445, + "▁Grande": 18446, + "odox": 18447, + "▁posting": 18448, + "": 26345, + "olent": 26346, + "▁этого": 26347, + "▁Generic": 26348, + "▁*/,": 26349, + "▁combinations": 26350, + "▁rejo": 26351, + "спубли": 26352, + "capacity": 26353, + "▁traces": 26354, + "▁opacity": 26355, + "▁Official": 26356, + "icion": 26357, + "▁emotionally": 26358, + "▁Joel": 26359, + "ському": 26360, + "▁legendary": 26361, + "▁pam": 26362, + "▁También": 26363, + ".<": 26364, + "iba": 26365, + "midt": 26366, + "бом": 26367, + "▁ensuite": 26368, + "Authorization": 26369, + "Pag": 26370, + "▁helmet": 26371, + "▁territo": 26372, + "secondary": 26373, + "▁segunda": 26374, + "▁Wire": 26375, + "recated": 26376, + "▁invoked": 26377, + "▁ValueError": 26378, + "▁фо": 26379, + "ALIGN": 26380, + "CURRENT": 26381, + "\\+\\_\\": 26382, + "▁compilation": 26383, + "ær": 26384, + "▁Palmar": 26385, + "▁influences": 26386, + "/:": 26387, + "Mix": 26388, + "NOP": 26389, + "econom": 26390, + "▁tucked": 26391, + "▁});\r": 26392, + "ANK": 26393, + "reject": 26394, + "▁pension": 26395, + "▁generates": 26396, + "чё": 26397, + "▁incap": 26398, + "▁clicked": 26399, + "▁fus": 26400, + "ourses": 26401, + "▁Easter": 26402, + "%;": 26403, + "zin": 26404, + "▁obligations": 26405, + "▁Tips": 26406, + "};\r": 26407, + ".\"_": 26408, + "▁BSD": 26409, + "ática": 26410, + "▁expose": 26411, + "Pars": 26412, + "▁Amanda": 26413, + "куп": 26414, + "▁guessed": 26415, + "dsi": 26416, + "▁Leip": 26417, + "Broad": 26418, + "▁Hughes": 26419, + "ié": 26420, + "▁Wahl": 26421, + "▁formerly": 26422, + "Relative": 26423, + "▁Yu": 26424, + "▁Mountains": 26425, + "▁Enum": 26426, + "▁strang": 26427, + "_-": 26428, + "recht": 26429, + "viv": 26430, + "pause": 26431, + "▁Londres": 26432, + "▁elbow": 26433, + "▁Hawaii": 26434, + "▁Casino": 26435, + "Threshold": 26436, + "Units": 26437, + "Include": 26438, + "ито": 26439, + "asury": 26440, + "▁steht": 26441, + "▁damned": 26442, + "▁packets": 26443, + "▁Werk": 26444, + "▁elevator": 26445, + "iedad": 26446, + "govern": 26447, + "▁CONTRACT": 26448, + "mals": 26449, + "▁remem": 26450, + "▁entonces": 26451, + "▁vas": 26452, + "▁sympathy": 26453, + "▁befindet": 26454, + "incing": 26455, + "DataSet": 26456, + "▁additionally": 26457, + "▁musician": 26458, + "шего": 26459, + "▁listop": 26460, + ">\")": 26461, + "Printf": 26462, + "▁Felix": 26463, + "▁carved": 26464, + "▁nicely": 26465, + "гом": 26466, + "chap": 26467, + "▁Nieder": 26468, + "▁Lav": 26469, + "▁modifications": 26470, + "moment": 26471, + "▁balcon": 26472, + "▁dependency": 26473, + "CKET": 26474, + "▁vanished": 26475, + "▁fighters": 26476, + "▁zunächst": 26477, + "ioctl": 26478, + "▁defens": 26479, + "▁Nem": 26480, + "Utility": 26481, + "▁curv": 26482, + "▁DAMAGES": 26483, + "▁Rogers": 26484, + "▁gratitude": 26485, + "▁Denmark": 26486, + "рая": 26487, + "grpc": 26488, + "▁juni": 26489, + "▁октября": 26490, + "▁immense": 26491, + "▁prevented": 26492, + "▁foam": 26493, + "▁Extra": 26494, + "aimed": 26495, + "▁Criteria": 26496, + "▁Simply": 26497, + "boxes": 26498, + "▁Legend": 26499, + "▁Players": 26500, + "▁Mercedes": 26501, + "▁Branch": 26502, + "TERN": 26503, + "omena": 26504, + "▁incorporate": 26505, + "conde": 26506, + "▁Estado": 26507, + "▁wasted": 26508, + "▁complaining": 26509, + "▁warriors": 26510, + "oter": 26511, + "▁этом": 26512, + "▁conten": 26513, + "▁machinery": 26514, + "▁technological": 26515, + "▁TD": 26516, + "▁gras": 26517, + "▁minimize": 26518, + "▁Door": 26519, + "▁bzw": 26520, + "▁prac": 26521, + "TREE": 26522, + "▁Wing": 26523, + "▁Transaction": 26524, + "▁MVT": 26525, + "▁Klein": 26526, + "commons": 26527, + "▁}{": 26528, + "▁Heritage": 26529, + "▁fade": 26530, + "рок": 26531, + "setValue": 26532, + "▁Wallace": 26533, + "MX": 26534, + "▁ACT": 26535, + "▁footage": 26536, + "▁entstand": 26537, + "arga": 26538, + "▁nails": 26539, + "▁capitalism": 26540, + "▁Garc": 26541, + "▁suspension": 26542, + "ilis": 26543, + "▁Mov": 26544, + "uffled": 26545, + "Arc": 26546, + "▁Beautiful": 26547, + "WAY": 26548, + "Parallel": 26549, + "XXXX": 26550, + "diag": 26551, + "▁DT": 26552, + "mq": 26553, + "TextView": 26554, + "MLE": 26555, + "ennen": 26556, + "▁infected": 26557, + "▁therapist": 26558, + "INGS": 26559, + "▁cidade": 26560, + "ън": 26561, + "▁pdf": 26562, + "▁bump": 26563, + "CTX": 26564, + "▁INCLUDING": 26565, + "▁Gef": 26566, + "ENTIAL": 26567, + "▁handy": 26568, + "▁temporal": 26569, + "AtA": 26570, + "ISH": 26571, + "▁Pattern": 26572, + "▁lan": 26573, + "ependant": 26574, + "▁shining": 26575, + "idy": 26576, + "▁NT": 26577, + "▁Fran": 26578, + "▁nurses": 26579, + "▁betray": 26580, + "▁sensible": 26581, + "▁апреля": 26582, + "▁'[": 26583, + "▁thirteen": 26584, + ")}_{": 26585, + "▁Noah": 26586, + "INSERT": 26587, + "istically": 26588, + "▁Appendix": 26589, + "▁recher": 26590, + "Receiver": 26591, + "▁dernier": 26592, + "лла": 26593, + "лиза": 26594, + "▁Partido": 26595, + "▁maximal": 26596, + "snap": 26597, + "▁часть": 26598, + "STOP": 26599, + "▁ultra": 26600, + "▁développ": 26601, + "▁tegen": 26602, + "▁Чи": 26603, + "LIB": 26604, + "▁baseline": 26605, + "reload": 26606, + "▁Arbitro": 26607, + "▁kall": 26608, + "capture": 26609, + "Arm": 26610, + "quin": 26611, + "impse": 26612, + "zas": 26613, + "▁Cand": 26614, + "▁brains": 26615, + "▁hostile": 26616, + "▁marble": 26617, + "oons": 26618, + "▁Loss": 26619, + "MetaData": 26620, + "▁República": 26621, + "▁andra": 26622, + "oden": 26623, + "▁documented": 26624, + "▁Moses": 26625, + "odd": 26626, + "▁wax": 26627, + "usch": 26628, + "▁diagnosed": 26629, + "inkle": 26630, + "▁Xbox": 26631, + "▁seventy": 26632, + "cias": 26633, + "▁noviembre": 26634, + "Compute": 26635, + "});\r": 26636, + "▁Philippe": 26637, + "▁För": 26638, + "Leave": 26639, + "▁sage": 26640, + "▁unpre": 26641, + "▁Fortunately": 26642, + "▁apost": 26643, + "entities": 26644, + "▁ellos": 26645, + "authorized": 26646, + "GBT": 26647, + "▁insist": 26648, + "▁inspire": 26649, + "Mass": 26650, + "▁rôle": 26651, + "fee": 26652, + "ipart": 26653, + "цер": 26654, + "unate": 26655, + "▁CNN": 26656, + ":}": 26657, + "▁unhappy": 26658, + "▁imported": 26659, + "HIGH": 26660, + "rings": 26661, + "▁Instance": 26662, + "Bay": 26663, + "agles": 26664, + "mee": 26665, + "bery": 26666, + "▁Stories": 26667, + "▁Chase": 26668, + "▁carriage": 26669, + "▁misunder": 26670, + "▁imagin": 26671, + "pw": 26672, + "▁Meter": 26673, + "▁crowds": 26674, + "▁Fame": 26675, + "skill": 26676, + "▁comed": 26677, + "▁ranch": 26678, + "▁lacking": 26679, + "▁submar": 26680, + "iante": 26681, + "▁lanz": 26682, + "▁служ": 26683, + "-----------": 26684, + "▁obten": 26685, + "▁downstairs": 26686, + "YN": 26687, + "rotation": 26688, + "▁Jesse": 26689, + "$(\"#": 26690, + "▁puls": 26691, + "irling": 26692, + "▁Schaus": 26693, + "▁deployed": 26694, + "▁{}\",": 26695, + "▁Marvel": 26696, + "ENUM": 26697, + "▁Mathemat": 26698, + "▁nn": 26699, + "compet": 26700, + "ków": 26701, + "bil": 26702, + "Which": 26703, + "isine": 26704, + "▁rude": 26705, + "▁niveau": 26706, + "▁área": 26707, + "▁près": 26708, + "atis": 26709, + "▁[...]": 26710, + "fur": 26711, + "omm": 26712, + "packed": 26713, + "мене": 26714, + "scriptstyle": 26715, + "▁Ath": 26716, + "▁desp": 26717, + "eltemperaturen": 26718, + "▁talents": 26719, + "ocy": 26720, + "▁raises": 26721, + "LIMIT": 26722, + "▁editorial": 26723, + "▁Animal": 26724, + "drive": 26725, + "▁работа": 26726, + "bss": 26727, + "▁Sev": 26728, + "epoch": 26729, + "▁RC": 26730, + "UNUSED": 26731, + "▁mandatory": 26732, + "(?:": 26733, + "▁Bin": 26734, + "▁synthetic": 26735, + "▁gown": 26736, + "▁Dob": 26737, + "kap": 26738, + "▁harmon": 26739, + "▁liberty": 26740, + "▁Rice": 26741, + "▁prayers": 26742, + "▁mise": 26743, + "▁confusing": 26744, + "▁leap": 26745, + "▁arrives": 26746, + "kamp": 26747, + "▁thats": 26748, + "ACC": 26749, + "▁Parameters": 26750, + "▁одно": 26751, + "▁Bio": 26752, + "density": 26753, + "▁glimpse": 26754, + "FORE": 26755, + "▁Listen": 26756, + "Prev": 26757, + "}\\,\\": 26758, + "куль": 26759, + "▁SEC": 26760, + "▁explored": 26761, + "▁meantime": 26762, + "AIL": 26763, + "▁WP": 26764, + "▁raison": 26765, + "▁existe": 26766, + "▁lesser": 26767, + "▁Validate": 26768, + "▁caution": 26769, + "usta": 26770, + "heading": 26771, + "EFF": 26772, + ".'\"": 26773, + "▁Gilbert": 26774, + "▁limitation": 26775, + "▁retour": 26776, + "▁Commonwealth": 26777, + "▁gewann": 26778, + "▁miserable": 26779, + "▁networking": 26780, + "▁ottobre": 26781, + "▁Dise": 26782, + "edges": 26783, + "▁sede": 26784, + "вича": 26785, + "uniform": 26786, + "▁деятель": 26787, + "iros": 26788, + "▁desen": 26789, + "▁parc": 26790, + "▁Rico": 26791, + "Ns": 26792, + "guid": 26793, + "orio": 26794, + "avelength": 26795, + "▁Gle": 26796, + "inceton": 26797, + "Amaz": 26798, + "Construct": 26799, + "▁mx": 26800, + "▁Vern": 26801, + "▁Generation": 26802, + "Jack": 26803, + "romag": 26804, + "▁viagra": 26805, + "▁Peg": 26806, + "▁Updated": 26807, + "▁overlap": 26808, + "EventArgs": 26809, + "кро": 26810, + "▁*«": 26811, + "▁questioned": 26812, + "South": 26813, + "notice": 26814, + "▁permanently": 26815, + "lst": 26816, + "ficie": 26817, + "▁quella": 26818, + "▁colleges": 26819, + "▁disappointment": 26820, + "▁Luft": 26821, + "imgur": 26822, + "▁transitions": 26823, + "▁seller": 26824, + "▁июня": 26825, + "▁Og": 26826, + "▁ADD": 26827, + "▁Pays": 26828, + "COMMAND": 26829, + "grades": 26830, + "▁febbra": 26831, + "▁Cyr": 26832, + "▁febbraio": 26833, + "eti": 26834, + "▁arom": 26835, + "▁Claude": 26836, + "▁UEFA": 26837, + "▁живе": 26838, + "▁Victorian": 26839, + "keeping": 26840, + "ên": 26841, + "▁FIXME": 26842, + "itime": 26843, + "chestr": 26844, + "▁Samsung": 26845, + "▁doctrine": 26846, + "▁pear": 26847, + "▁Mediterranean": 26848, + "▁Ya": 26849, + "▁vault": 26850, + "▁Historic": 26851, + "▁sedan": 26852, + "▁heated": 26853, + "▁política": 26854, + "Proof": 26855, + ":{": 26856, + "fem": 26857, + "▁Frankfurt": 26858, + "pectives": 26859, + "MG": 26860, + "▁Eye": 26861, + "dai": 26862, + "▁reserves": 26863, + "NER": 26864, + "▁tobacco": 26865, + "▁fragments": 26866, + "icc": 26867, + "▁booth": 26868, + "▁cruise": 26869, + "▁Testament": 26870, + "cola": 26871, + "▁Leop": 26872, + "▁noon": 26873, + "▁terrified": 26874, + "vb": 26875, + "intel": 26876, + "alie": 26877, + "▁verification": 26878, + "yster": 26879, + "ADER": 26880, + "chied": 26881, + "▁datasets": 26882, + "▁зі": 26883, + "▁miem": 26884, + "ulates": 26885, + "▁uuid": 26886, + "▁Pictures": 26887, + "▁Brend": 26888, + "Billboard": 26889, + "▁stern": 26890, + "▁denom": 26891, + "▁accidents": 26892, + "сня": 26893, + "▁packing": 26894, + "ција": 26895, + "iblical": 26896, + "▁Так": 26897, + "▁whisk": 26898, + "▁luego": 26899, + "▁rectangle": 26900, + "▁hooks": 26901, + "▁neglect": 26902, + "▁sober": 26903, + "proposition": 26904, + "Multiple": 26905, + ":\",": 26906, + "▁bapt": 26907, + "Parts": 26908, + "▁Selection": 26909, + "▁Alpha": 26910, + "weights": 26911, + "hall": 26912, + "соб": 26913, + "▁lur": 26914, + "▁época": 26915, + "▁rested": 26916, + "ambigu": 26917, + "▁tastes": 26918, + "amazonaws": 26919, + "▁confess": 26920, + "▁diciembre": 26921, + "implement": 26922, + "▁absorption": 26923, + "Hal": 26924, + "LEAN": 26925, + "▁Zach": 26926, + "▁freeze": 26927, + "LBL": 26928, + "STM": 26929, + "▁calc": 26930, + "={()": 26931, + "=*/": 26932, + "▁bt": 26933, + "Reb": 26934, + "▁Wien": 26935, + "anska": 26936, + "▁surn": 26937, + "iative": 26938, + "▁invån": 26939, + "CY": 26940, + "▁là": 26941, + "amba": 26942, + "leen": 26943, + "wahl": 26944, + "▁functioning": 26945, + "ția": 26946, + "getContext": 26947, + "gart": 26948, + "▁обе": 26949, + "Pen": 26950, + "vik": 26951, + "Slider": 26952, + "▁Accept": 26953, + "Gap": 26954, + "▁Jorge": 26955, + "SIG": 26956, + "▁вос": 26957, + "▁голо": 26958, + "▁periodo": 26959, + "шта": 26960, + "▁patches": 26961, + "кої": 26962, + "äre": 26963, + "engono": 26964, + "lista": 26965, + "horn": 26966, + "▁Complex": 26967, + "Sent": 26968, + "trfs": 26969, + "▁convex": 26970, + "Generation": 26971, + "▁місце": 26972, + "compress": 26973, + "▁Sax": 26974, + "▁uid": 26975, + "▁Lebens": 26976, + "Completion": 26977, + "\\|_{": 26978, + "insky": 26979, + "▁schon": 26980, + "▁masters": 26981, + "independ": 26982, + "neys": 26983, + "▁lied": 26984, + "▁aspir": 26985, + "чні": 26986, + "▁breakdown": 26987, + "▁Harm": 26988, + "▁designing": 26989, + "hf": 26990, + "▁Angela": 26991, + "▁confer": 26992, + "▁partido": 26993, + "▁interference": 26994, + "mao": 26995, + "▁absorbed": 26996, + "▁Vall": 26997, + "ErrorCode": 26998, + "▁Publishing": 26999, + "vano": 27000, + "BITS": 27001, + "▁deer": 27002, + "▁Campaign": 27003, + "▁graz": 27004, + "CHANGE": 27005, + "▁feder": 27006, + "iffe": 27007, + "handed": 27008, + "cq": 27009, + "umbing": 27010, + "▁unre": 27011, + "▁siendo": 27012, + "▁simpler": 27013, + "why": 27014, + "arettes": 27015, + "anst": 27016, + "▁hass": 27017, + "▁Enterprise": 27018, + "▁mois": 27019, + "▁Fo": 27020, + "▁участ": 27021, + "ffen": 27022, + "▁MODULE": 27023, + "▁activated": 27024, + "▁internacional": 27025, + "▁Mittel": 27026, + "degree": 27027, + "▁откры": 27028, + "▁&(": 27029, + "getProperty": 27030, + "isz": 27031, + "cedure": 27032, + "▁enters": 27033, + "▁Sally": 27034, + "▁Train": 27035, + "▁logged": 27036, + "▁Rav": 27037, + "▁Avoid": 27038, + "▁Kaiser": 27039, + "▁expend": 27040, + "aphor": 27041, + "▁brass": 27042, + "▁melod": 27043, + "▁attitudes": 27044, + "*\"": 27045, + "Wall": 27046, + "▁owe": 27047, + "▁bamb": 27048, + "shader": 27049, + "cester": 27050, + "▁PP": 27051, + "▁migrations": 27052, + "entric": 27053, + "▁Setup": 27054, + "▁Artist": 27055, + "hre": 27056, + "▁polite": 27057, + "ahan": 27058, + "▁luglio": 27059, + "▁predecess": 27060, + "▁SIG": 27061, + "тів": 27062, + "▁RF": 27063, + "▁Dry": 27064, + "▁maker": 27065, + "шим": 27066, + "▁Sounds": 27067, + "▁implementing": 27068, + "▁ah": 27069, + "▁gev": 27070, + "▁duplicate": 27071, + "▁Logan": 27072, + "▁Grade": 27073, + "DUCT": 27074, + "íses": 27075, + "ért": 27076, + "▁nonsense": 27077, + "backup": 27078, + "Attachment": 27079, + "▁ecc": 27080, + "▁Squadron": 27081, + "learn": 27082, + "deprecated": 27083, + "▁Aub": 27084, + "▁Gol": 27085, + "▁overl": 27086, + "SERVICE": 27087, + "▁beautifully": 27088, + "REL": 27089, + "▁Gian": 27090, + "▁Papa": 27091, + "respond": 27092, + "▁Caribbean": 27093, + "rn": 27094, + "▁худож": 27095, + "Cfg": 27096, + "rai": 27097, + "▁sniff": 27098, + "tto": 27099, + "ологи": 27100, + "▁rb": 27101, + "▁incidents": 27102, + "▁duck": 27103, + "▁PROVIDED": 27104, + "Sources": 27105, + "▁Chelsea": 27106, + "▁tek": 27107, + "▁налази": 27108, + "▁pilots": 27109, + "тки": 27110, + "▁traded": 27111, + "▁Beijing": 27112, + "▁Gregory": 27113, + "scalar": 27114, + "▁inclined": 27115, + "▁Kamp": 27116, + "▁Marian": 27117, + "▁fierce": 27118, + "▁theft": 27119, + "ющих": 27120, + "▁Into": 27121, + "constraint": 27122, + "parentNode": 27123, + "idental": 27124, + "▁gouvernement": 27125, + "▁SND": 27126, + "▁Ruby": 27127, + "▁monaster": 27128, + "Records": 27129, + "▁Kab": 27130, + "▁Universe": 27131, + "▁approximate": 27132, + "Water": 27133, + "▁Physical": 27134, + "appers": 27135, + "oubtedly": 27136, + "ложен": 27137, + "▁towel": 27138, + "▁siblings": 27139, + "eph": 27140, + "icios": 27141, + "рами": 27142, + "▁outrage": 27143, + "▁també": 27144, + "SRC": 27145, + "телем": 27146, + "Vi": 27147, + ".');": 27148, + "LM": 27149, + "▁mitt": 27150, + "▁weed": 27151, + "▁crops": 27152, + "iman": 27153, + "Claim": 27154, + "insula": 27155, + "▁(“": 27156, + "▁Changes": 27157, + "▁invånare": 27158, + "again": 27159, + "▁cnt": 27160, + "▁Gaz": 27161, + "▁austral": 27162, + "overlay": 27163, + "▁Mechan": 27164, + "▁slammed": 27165, + "▁trailing": 27166, + "▁Biography": 27167, + "▁appealing": 27168, + "IVER": 27169, + "▁Ave": 27170, + "▁Plot": 27171, + "voj": 27172, + "▁sung": 27173, + "▁unos": 27174, + "Effects": 27175, + "vv": 27176, + "cook": 27177, + "Buttons": 27178, + "▁transm": 27179, + "ierto": 27180, + "CONTEXT": 27181, + "▁dignity": 27182, + "aired": 27183, + "javax": 27184, + "▁Alberto": 27185, + "▁Recently": 27186, + "▁facial": 27187, + "mathop": 27188, + "ało": 27189, + "вид": 27190, + "cott": 27191, + "Variables": 27192, + "▁Ran": 27193, + "▁bunk": 27194, + "amiliar": 27195, + "CAST": 27196, + "▁frü": 27197, + "VED": 27198, + "▁NOTICE": 27199, + "▁turno": 27200, + "validator": 27201, + "▁Portuguese": 27202, + "▁questioning": 27203, + "}})": 27204, + "▁lear": 27205, + "Xamarin": 27206, + "▁disadv": 27207, + "encoded": 27208, + "▁Kot": 27209, + "rated": 27210, + "▁Theory": 27211, + "cius": 27212, + "▁Darwin": 27213, + "ђе": 27214, + "▁décl": 27215, + "▁область": 27216, + "рович": 27217, + "▁mobility": 27218, + "VF": 27219, + "▁хи": 27220, + "until": 27221, + "▁barriers": 27222, + "gif": 27223, + "▁Roh": 27224, + "▁aging": 27225, + "▁Widget": 27226, + "olk": 27227, + "▁farms": 27228, + "Checker": 27229, + "Introduction": 27230, + "смо": 27231, + "▁Russians": 27232, + "naments": 27233, + "▁Insert": 27234, + "▁Whenever": 27235, + "erset": 27236, + "itori": 27237, + "▁Dort": 27238, + "▁costume": 27239, + "▁mathematical": 27240, + "▁Bast": 27241, + "▁nominated": 27242, + "▁restoration": 27243, + "posal": 27244, + "▁unfortunate": 27245, + "Ps": 27246, + "LIN": 27247, + "▁intact": 27248, + "▁provoc": 27249, + "▁située": 27250, + "▁ноября": 27251, + "ermo": 27252, + "▁fisher": 27253, + "гля": 27254, + "▁conting": 27255, + "▁Doug": 27256, + "\"?": 27257, + "▁Eva": 27258, + "▁tops": 27259, + "▁Remote": 27260, + "▁artwork": 27261, + "▁artillery": 27262, + "quick": 27263, + "▁Arabia": 27264, + "▁SDValue": 27265, + "▁Dakota": 27266, + "iated": 27267, + "▁Optim": 27268, + "buttons": 27269, + "▁cottage": 27270, + "▁wherein": 27271, + "▁tutorial": 27272, + "▁Scre": 27273, + "▁sweep": 27274, + "▁Coffee": 27275, + "})}": 27276, + "▁музы": 27277, + "hostname": 27278, + "▁Temp": 27279, + "▁Fut": 27280, + "respect": 27281, + "ocz": 27282, + "▁predomin": 27283, + "Indicator": 27284, + "encial": 27285, + "UMENT": 27286, + "▁SHALL": 27287, + "▁commanded": 27288, + "▁withdrawal": 27289, + "iour": 27290, + "REGION": 27291, + "sprintf": 27292, + "▁вме": 27293, + "▁Payment": 27294, + "▁Anim": 27295, + "publish": 27296, + "▁seeks": 27297, + "ouw": 27298, + "▁GM": 27299, + "rugu": 27300, + "ustain": 27301, + "▁))": 27302, + "▁consulting": 27303, + "▁Dialog": 27304, + "▁Lars": 27305, + "▁critique": 27306, + "▁circulation": 27307, + "▁landsc": 27308, + "managed": 27309, + "▁Craft": 27310, + "▁herman": 27311, + "afi": 27312, + "amy": 27313, + "▁discour": 27314, + "<>(": 27315, + "▁Steph": 27316, + "▁tolerance": 27317, + "typename": 27318, + "ventions": 27319, + "ział": 27320, + "стов": 27321, + "▁sticking": 27322, + "ASC": 27323, + "ISO": 27324, + "▁Spencer": 27325, + "▁Didn": 27326, + "gomery": 27327, + "imiter": 27328, + "dru": 27329, + "Clause": 27330, + "▁slides": 27331, + "###": 27332, + "▁Sugar": 27333, + "HY": 27334, + "▁эти": 27335, + "▁Edwards": 27336, + "▁cents": 27337, + "oya": 27338, + "serts": 27339, + "▁Hass": 27340, + "▁ingen": 27341, + "стри": 27342, + "▁saddle": 27343, + "solid": 27344, + "▁champions": 27345, + "-)": 27346, + "▁Slov": 27347, + "▁shiny": 27348, + "▁*)&": 27349, + "▁Define": 27350, + "če": 27351, + "▁scrut": 27352, + "onden": 27353, + "'\",": 27354, + "uffs": 27355, + "▁olymp": 27356, + "idential": 27357, + "wand": 27358, + "▁annually": 27359, + "▁Arkansas": 27360, + "▁saint": 27361, + "▁gleich": 27362, + "▁perfection": 27363, + ")>": 27364, + "▁shorts": 27365, + "▁justified": 27366, + "peated": 27367, + "packages": 27368, + "driven": 27369, + "▁Liberty": 27370, + "▁stripped": 27371, + "шение": 27372, + "▁fünf": 27373, + "▁ecosystem": 27374, + "ixa": 27375, + "▁Fresh": 27376, + "vart": 27377, + "▁treats": 27378, + "▁stance": 27379, + "чёт": 27380, + "▁pity": 27381, + "adém": 27382, + "▁окон": 27383, + "▁Chand": 27384, + "rab": 27385, + "вший": 27386, + "inski": 27387, + "▁continually": 27388, + "▁Daddy": 27389, + "▁nightmare": 27390, + "icional": 27391, + "▁efect": 27392, + "ueblo": 27393, + "▁lanç": 27394, + "▁Collections": 27395, + "due": 27396, + "ampton": 27397, + "▁memcpy": 27398, + "▁**(": 27399, + "issent": 27400, + "▁Insp": 27401, + "▁Glasgow": 27402, + "▁furono": 27403, + "▁kindness": 27404, + "Bi": 27405, + "▁competed": 27406, + "▁oak": 27407, + "Large": 27408, + "▁disgu": 27409, + "▁kings": 27410, + "тами": 27411, + "▁stuffed": 27412, + "▁hilar": 27413, + "published": 27414, + "▁stressed": 27415, + "▁Peak": 27416, + "▁loader": 27417, + "Keyboard": 27418, + "▁reconstruction": 27419, + "▁vod": 27420, + "▁dun": 27421, + "▁understands": 27422, + "tenant": 27423, + "▁chaque": 27424, + "▁prejud": 27425, + "utat": 27426, + "▁uso": 27427, + "▁Heavy": 27428, + "▁cuatro": 27429, + "▁sidewalk": 27430, + "▁Bug": 27431, + "▁månaden": 27432, + "geo": 27433, + "▁united": 27434, + "▁Files": 27435, + "▁Аль": 27436, + "▁rugby": 27437, + "▁financing": 27438, + "▁comply": 27439, + "&#": 27440, + "▁rushing": 27441, + "▁fen": 27442, + "mong": 27443, + "▁spé": 27444, + "▁presenting": 27445, + "INCLUDING": 27446, + "ěl": 27447, + "zeichnung": 27448, + "Backup": 27449, + "▁petit": 27450, + "▁allerg": 27451, + "нут": 27452, + "▁worrying": 27453, + "▁mamm": 27454, + "▁operand": 27455, + ":%.*]]": 27456, + "▁realise": 27457, + "Commands": 27458, + "▁Bew": 27459, + "▁assumes": 27460, + "▁Covid": 27461, + "▁quand": 27462, + "tyard": 27463, + "▁Mono": 27464, + "linked": 27465, + "MARK": 27466, + "Esp": 27467, + "▁blessing": 27468, + "▁eyebrows": 27469, + "▁NV": 27470, + "▁стру": 27471, + "▁modeling": 27472, + "▁greeted": 27473, + "Workspace": 27474, + "▁pedest": 27475, + "▁неза": 27476, + "lemagne": 27477, + "Statistics": 27478, + "▁aument": 27479, + "▁speeds": 27480, + "▁syndrome": 27481, + "CONNECT": 27482, + "zahl": 27483, + "verso": 27484, + "ército": 27485, + "▁astronom": 27486, + "▁aprile": 27487, + "žen": 27488, + "веро": 27489, + "draft": 27490, + "▁gioc": 27491, + "▁comport": 27492, + "▁variance": 27493, + "▁realizing": 27494, + "EDIT": 27495, + "олові": 27496, + "▁estar": 27497, + "▁sost": 27498, + "NORMAL": 27499, + "▁ó": 27500, + "▁Andr": 27501, + "ATTRIB": 27502, + "▁rede": 27503, + "▁toes": 27504, + "▁advances": 27505, + "▁Against": 27506, + "TOM": 27507, + "rss": 27508, + "MMMM": 27509, + "▁newest": 27510, + "▁VER": 27511, + "▁phrases": 27512, + "anter": 27513, + "Launch": 27514, + "▁chr": 27515, + "▁manufactured": 27516, + "$),": 27517, + "rollment": 27518, + "eston": 27519, + "▁peint": 27520, + "”)": 27521, + "endet": 27522, + "▁Hair": 27523, + "ivalent": 27524, + "▁upright": 27525, + "gren": 27526, + "anked": 27527, + "wright": 27528, + "▁mast": 27529, + "▁onChange": 27530, + "▁debris": 27531, + "▁grap": 27532, + "etry": 27533, + "▁(__": 27534, + "▁Commerce": 27535, + "BOX": 27536, + "Tax": 27537, + "▁отри": 27538, + "▁prevention": 27539, + "▁Feel": 27540, + "▁exotic": 27541, + "▁Bark": 27542, + "▁Steam": 27543, + "fon": 27544, + "olin": 27545, + "▁eliminated": 27546, + "▁bc": 27547, + "▁Cycl": 27548, + "▁$(\"#": 27549, + "▁Parl": 27550, + "manuel": 27551, + "ospher": 27552, + "WF": 27553, + "Analy": 27554, + "▁navig": 27555, + "▁renown": 27556, + "Rx": 27557, + "▁Walt": 27558, + "uffed": 27559, + "▁foster": 27560, + "$:": 27561, + "shore": 27562, + "Connector": 27563, + "фика": 27564, + "▁realization": 27565, + "Li": 27566, + "ctxt": 27567, + "ahoo": 27568, + "▁miracle": 27569, + "▁ET": 27570, + "▁GPS": 27571, + "▁Observable": 27572, + "▁hf": 27573, + "▁magnificent": 27574, + "него": 27575, + "BIN": 27576, + "▁Dorf": 27577, + "ieck": 27578, + "vee": 27579, + "▁Craw": 27580, + "/#": 27581, + "▁pci": 27582, + "ippet": 27583, + "▁Hillary": 27584, + "▁gir": 27585, + "▁rand": 27586, + "▁laying": 27587, + "▁Different": 27588, + "boys": 27589, + "virt": 27590, + "▁encryption": 27591, + "ász": 27592, + "пор": 27593, + "▁smelled": 27594, + "▁suscept": 27595, + "cluded": 27596, + "▁Carn": 27597, + "igten": 27598, + "▁Chuck": 27599, + "▁Provinc": 27600, + "▁perí": 27601, + "▁Marshal": 27602, + "мож": 27603, + "gfx": 27604, + "oshi": 27605, + "▁WHE": 27606, + "▁relaxation": 27607, + ",.": 27608, + "were": 27609, + "▁varieties": 27610, + "▁Won": 27611, + "▁gaps": 27612, + "▁stole": 27613, + "igua": 27614, + "ющие": 27615, + "▁Hampshire": 27616, + "phrase": 27617, + "▁película": 27618, + "Processing": 27619, + "▁initialization": 27620, + "oustic": 27621, + "▁Josef": 27622, + "icating": 27623, + "▁goodness": 27624, + "TES": 27625, + "▁cope": 27626, + "▁ignorance": 27627, + "▁Brist": 27628, + "▁paras": 27629, + "▁accidentally": 27630, + "▁tand": 27631, + "ittest": 27632, + "▁ули": 27633, + "▁shipped": 27634, + "▁ост": 27635, + "elseif": 27636, + "▁usize": 27637, + "horizontal": 27638, + "▁Carr": 27639, + "▁precip": 27640, + "roz": 27641, + "pathetic": 27642, + "rived": 27643, + "rok": 27644, + "▁digging": 27645, + "мом": 27646, + "▁Mull": 27647, + "▁XIII": 27648, + "▁peas": 27649, + "▁foul": 27650, + "▁travels": 27651, + "▁Ng": 27652, + "▁составе": 27653, + "Mont": 27654, + "arde": 27655, + "▁Stefan": 27656, + "^^^^": 27657, + "▁Kiss": 27658, + "▁Ek": 27659, + "▁oktober": 27660, + "▁memorable": 27661, + "')).": 27662, + "▁Vision": 27663, + "▁Nina": 27664, + "▁Solar": 27665, + "▁highlighted": 27666, + "▁memo": 27667, + "meisterschaft": 27668, + "sidebar": 27669, + "SEE": 27670, + "▁Nevada": 27671, + "Da": 27672, + "▁drawer": 27673, + "astically": 27674, + "elde": 27675, + "scribed": 27676, + "▁priests": 27677, + "▁hommes": 27678, + "▁instructor": 27679, + "клад": 27680, + "▁spett": 27681, + "\\-": 27682, + "▁мира": 27683, + "▁Looks": 27684, + "▁sleeve": 27685, + "▁strongest": 27686, + "▁tête": 27687, + "▁Nicole": 27688, + "imper": 27689, + "нача": 27690, + "ipper": 27691, + "▁inwon": 27692, + "ilers": 27693, + "▁Deputy": 27694, + "oge": 27695, + "▁depressed": 27696, + "▁arte": 27697, + "▁combining": 27698, + "LAST": 27699, + "inted": 27700, + "▁Average": 27701, + "▁pollution": 27702, + "▁Phillips": 27703, + "▁WM": 27704, + "}}}\\": 27705, + "Added": 27706, + "▁peripher": 27707, + "Creation": 27708, + "▁italien": 27709, + "▁Choice": 27710, + "▁EXPRESS": 27711, + "▁Struct": 27712, + "ysz": 27713, + "Resize": 27714, + "ARGS": 27715, + "▁repo": 27716, + "▁чтобы": 27717, + "▁pref": 27718, + "▁earthqu": 27719, + "▁Мекси": 27720, + "▁Finale": 27721, + "▁hecho": 27722, + "requests": 27723, + "Cut": 27724, + "▁deserved": 27725, + "гово": 27726, + "▁Recent": 27727, + "▁дивизи": 27728, + "▁supportive": 27729, + "прави": 27730, + "▁irrelevant": 27731, + "'\r": 27732, + "▁ctrl": 27733, + "▁Deal": 27734, + "izada": 27735, + "uo": 27736, + "▁nort": 27737, + "geometry": 27738, + "▁Individual": 27739, + "ereg": 27740, + "▁приня": 27741, + "cref": 27742, + "══": 27743, + "▁comerc": 27744, + "=_": 27745, + "bund": 27746, + "тах": 27747, + "ilen": 27748, + "чита": 27749, + "▁corporation": 27750, + "esz": 27751, + "▁==>": 27752, + "ablish": 27753, + "Apr": 27754, + "▁ripped": 27755, + "Vars": 27756, + "stret": 27757, + "▁Francesco": 27758, + "NaN": 27759, + "▁anytime": 27760, + "▁automated": 27761, + "ostream": 27762, + "▁drawings": 27763, + "▁enhancement": 27764, + "okrat": 27765, + "▁Issue": 27766, + "вра": 27767, + "Currency": 27768, + "▁wyn": 27769, + "izarre": 27770, + "ético": 27771, + "multiple": 27772, + "▁Rate": 27773, + "▁Ich": 27774, + "▁Auss": 27775, + "▁Former": 27776, + "Curve": 27777, + "▁marvel": 27778, + "attro": 27779, + "▁сп": 27780, + "BOOL": 27781, + "сия": 27782, + "gold": 27783, + "▁Nintendo": 27784, + "▁Salvador": 27785, + "▁Solution": 27786, + "ADC": 27787, + "бора": 27788, + "▁Bennett": 27789, + "▁FR": 27790, + "▁pueden": 27791, + "patient": 27792, + "▁PG": 27793, + "▁Jin": 27794, + "▁crashed": 27795, + "▁denen": 27796, + "▁Sample": 27797, + "▁Quebec": 27798, + "itories": 27799, + "▁blinked": 27800, + "▁lion": 27801, + "▁voce": 27802, + "▁Impact": 27803, + "▁Mau": 27804, + "▁Nie": 27805, + "▁lob": 27806, + "▁две": 27807, + "orneys": 27808, + "▁coastal": 27809, + "▁sensors": 27810, + "▁XII": 27811, + "▁illusion": 27812, + "oji": 27813, + "▁INC": 27814, + "▁Duncan": 27815, + "yk": 27816, + "▁affecting": 27817, + "pul": 27818, + "▁Napoleon": 27819, + "▁акаде": 27820, + "▁compt": 27821, + "▁profitable": 27822, + "loe": 27823, + "▁deuxième": 27824, + "▁WC": 27825, + "▁viable": 27826, + "▁Drug": 27827, + "TextBox": 27828, + "▁luminos": 27829, + "auté": 27830, + "yc": 27831, + "ště": 27832, + "▁affiliates": 27833, + "ilda": 27834, + "conduct": 27835, + "▁ebenfalls": 27836, + "▁AMD": 27837, + "▁Monitor": 27838, + "▁Companies": 27839, + "▁corrected": 27840, + "äck": 27841, + "SYSTEM": 27842, + "otherapy": 27843, + "▁перед": 27844, + "▁blues": 27845, + "atisf": 27846, + "although": 27847, + "rost": 27848, + "SCAN": 27849, + "▁RAM": 27850, + "ціональ": 27851, + "▁vendors": 27852, + "▁customs": 27853, + "▁activate": 27854, + "▁blogs": 27855, + "▁brace": 27856, + "▁strat": 27857, + "anje": 27858, + "щё": 27859, + "▁tide": 27860, + "▁Brigade": 27861, + "getOperand": 27862, + "▁aliment": 27863, + "▁achievements": 27864, + "▁suspicion": 27865, + "▁touchdown": 27866, + "broad": 27867, + "iore": 27868, + "Comparison": 27869, + "▁mum": 27870, + "English": 27871, + "▁Picture": 27872, + "▁Mouse": 27873, + "amd": 27874, + "▁[`": 27875, + "▁denomin": 27876, + "▁Aleks": 27877, + "▁prevents": 27878, + "ób": 27879, + "fed": 27880, + "▁Pray": 27881, + "▁shine": 27882, + "▁clutch": 27883, + "mux": 27884, + "Appro": 27885, + "▁notably": 27886, + "chio": 27887, + "nage": 27888, + "HAS": 27889, + "▁')": 27890, + "▁Miche": 27891, + "tg": 27892, + "::~": 27893, + "▁amely": 27894, + "▁rodz": 27895, + "zs": 27896, + "trait": 27897, + "▁klass": 27898, + "fö": 27899, + "▁destac": 27900, + "▁Clara": 27901, + "frequency": 27902, + "▁Git": 27903, + "▁поль": 27904, + "▁frequencies": 27905, + "▁febrero": 27906, + "▁stumbled": 27907, + "кою": 27908, + "▁Names": 27909, + "▁Flight": 27910, + "▁prey": 27911, + "▁medio": 27912, + "▁VAR": 27913, + "▁Float": 27914, + "▁Ernest": 27915, + "▁Marcatori": 27916, + "oport": 27917, + "▁cancellation": 27918, + "▁Bryan": 27919, + "————": 27920, + "Luc": 27921, + "▁libre": 27922, + "▁título": 27923, + "*>": 27924, + "▁Sandy": 27925, + "▁Marina": 27926, + "Been": 27927, + "▁wal": 27928, + "▁Kultur": 27929, + "▁explode": 27930, + "▁limiting": 27931, + "▁presumably": 27932, + "▁pb": 27933, + "▁Merc": 27934, + "▁реки": 27935, + "learning": 27936, + "Catalog": 27937, + "▁Census": 27938, + "lte": 27939, + "▁NET": 27940, + "raising": 27941, + "ське": 27942, + "staff": 27943, + "▁Quinn": 27944, + "▁memorial": 27945, + "пня": 27946, + "▁cuenta": 27947, + "▁XI": 27948, + "lbl": 27949, + "▁varies": 27950, + "▁fluctuations": 27951, + "▁долж": 27952, + "▁особи": 27953, + "▁warehouse": 27954, + "However": 27955, + "▁corrections": 27956, + "dhd": 27957, + "▁fals": 27958, + "▁controversy": 27959, + "▁curse": 27960, + "▁télé": 27961, + "řed": 27962, + "▁AU": 27963, + "▁тор": 27964, + "▁crít": 27965, + "idan": 27966, + "iliary": 27967, + "▁Panel": 27968, + "cule": 27969, + "▁Poor": 27970, + "▁BA": 27971, + "▁ignorant": 27972, + "èmes": 27973, + "▁aesthetic": 27974, + "Linked": 27975, + "getInt": 27976, + "Unicode": 27977, + "[@": 27978, + "▁Zent": 27979, + "Manifest": 27980, + "▁vars": 27981, + "PB": 27982, + "▁ву": 27983, + "▁Describe": 27984, + "▁Anything": 27985, + "oirs": 27986, + "▁socks": 27987, + "▁imped": 27988, + "▁neue": 27989, + "▁dispers": 27990, + "Collect": 27991, + "filer": 27992, + "▁Frau": 27993, + "▁Hockey": 27994, + "▁teens": 27995, + "▁Roberto": 27996, + "lauf": 27997, + "вать": 27998, + "▁ско": 27999, + "isArray": 28000, + "▁teenager": 28001, + "Built": 28002, + "▁loudly": 28003, + "Capacity": 28004, + "▁adventures": 28005, + "▁Molly": 28006, + "recogn": 28007, + "bars": 28008, + "▁Lor": 28009, + "▁può": 28010, + "▁mong": 28011, + "inement": 28012, + "Assignment": 28013, + "▁diz": 28014, + "lessness": 28015, + "▁Halloween": 28016, + "▁bitmap": 28017, + "Rom": 28018, + "нар": 28019, + "▁rebel": 28020, + "▁radial": 28021, + "measure": 28022, + "nit": 28023, + "▁Assume": 28024, + "▁assignments": 28025, + "▁Isn": 28026, + "▁altre": 28027, + "ßer": 28028, + "наль": 28029, + "▁flies": 28030, + "▁droit": 28031, + "▁thickness": 28032, + "▁enjo": 28033, + "▁dwell": 28034, + "▁homosexual": 28035, + "▁eval": 28036, + "$_{": 28037, + "asia": 28038, + "▁philos": 28039, + "getCurrent": 28040, + "▁veterans": 28041, + "▁Berkeley": 28042, + "▁wildlife": 28043, + "Cop": 28044, + "vern": 28045, + "▁Ú": 28046, + "tos": 28047, + "▁Led": 28048, + "▁keywords": 28049, + "▁medications": 28050, + "neum": 28051, + "▁jamais": 28052, + "▁Buc": 28053, + "▁PD": 28054, + "▁Statement": 28055, + "▁PI": 28056, + "▁Jackie": 28057, + "▁ordin": 28058, + "▁kör": 28059, + "enze": 28060, + "▁utilized": 28061, + "áct": 28062, + "azed": 28063, + "▁severely": 28064, + "▁även": 28065, + "▁libro": 28066, + "▁Eu": 28067, + "äst": 28068, + "PART": 28069, + "▁Butler": 28070, + "▁puzzle": 28071, + "Fall": 28072, + "Country": 28073, + "pfn": 28074, + "▁україн": 28075, + "▁Orchestra": 28076, + "▁alto": 28077, + "▁ancora": 28078, + "▁decomposition": 28079, + "▁م": 28080, + "▁appetite": 28081, + "adu": 28082, + "▁THAT": 28083, + "▁comenz": 28084, + "mina": 28085, + "▁initiated": 28086, + "▁Tat": 28087, + "▁sometime": 28088, + "rek": 28089, + "bread": 28090, + "▁Statistics": 28091, + "▁Cob": 28092, + "Follow": 28093, + "▁geometric": 28094, + "шла": 28095, + "▁proceedings": 28096, + "Dlg": 28097, + "seven": 28098, + "▁[-": 28099, + "▁Buffalo": 28100, + "▁blacks": 28101, + "▁sov": 28102, + "▁custody": 28103, + "▁ras": 28104, + "▁tattoo": 28105, + "öffentlicht": 28106, + "Blo": 28107, + "Austral": 28108, + "▁recuper": 28109, + "лев": 28110, + "▁bem": 28111, + "▁thou": 28112, + "oriented": 28113, + "vir": 28114, + "▁colony": 28115, + "▁Stanford": 28116, + "Absolute": 28117, + "adrat": 28118, + "▁Situ": 28119, + "▁souvent": 28120, + "EXEC": 28121, + "▁mű": 28122, + "▁apartments": 28123, + "▁случа": 28124, + "▁ano": 28125, + "WINDO": 28126, + "acci": 28127, + "▁Lau": 28128, + "court": 28129, + "▁manifold": 28130, + "▁coalition": 28131, + "▁XIV": 28132, + "Attrib": 28133, + "ascade": 28134, + "▁wheat": 28135, + "▁strengths": 28136, + "FREE": 28137, + "EMPTY": 28138, + "▁hey": 28139, + "ascular": 28140, + "▁plasma": 28141, + "▁bob": 28142, + "Separator": 28143, + "=\"${": 28144, + "▁Zag": 28145, + "▁projet": 28146, + "▁smoothly": 28147, + "SEQU": 28148, + "analy": 28149, + "attachment": 28150, + "▁ES": 28151, + "▁popped": 28152, + "ős": 28153, + "tom": 28154, + "▁són": 28155, + "▁rott": 28156, + "Utilities": 28157, + "hadoop": 28158, + "▁sotto": 28159, + "autor": 28160, + "▁Georges": 28161, + "▁který": 28162, + "▁gruppo": 28163, + "▁когда": 28164, + "▁меда": 28165, + "▁instrumental": 28166, + "▁Writer": 28167, + "▁setTimeout": 28168, + "ikk": 28169, + "▁Dopo": 28170, + "]);\r": 28171, + "▁practicing": 28172, + "▁Ronald": 28173, + "▁уби": 28174, + "▁agrees": 28175, + "▁denoted": 28176, + "ismiss": 28177, + "▁interviewed": 28178, + "templates": 28179, + "ři": 28180, + "administr": 28181, + "▁Butter": 28182, + "▁XVII": 28183, + "▁positioned": 28184, + "▁Fourth": 28185, + "▁overwhelmed": 28186, + "▁Regular": 28187, + "▁reprezent": 28188, + "кономи": 28189, + "▁expects": 28190, + "Indices": 28191, + "▁marijuana": 28192, + "▁zaj": 28193, + "▁Bren": 28194, + "▁begg": 28195, + "▁nahm": 28196, + "▁interrog": 28197, + "тие": 28198, + "▁Bun": 28199, + "▁серед": 28200, + "▁shelves": 28201, + "▁которых": 28202, + "▁Frauen": 28203, + "▁Sergeant": 28204, + "▁успе": 28205, + "matched": 28206, + "▁donne": 28207, + "▁touches": 28208, + "abort": 28209, + "▁vale": 28210, + "▁institutional": 28211, + "▁Mons": 28212, + "▁ambitious": 28213, + "▁nonetheless": 28214, + "jd": 28215, + "пей": 28216, + "▁backpack": 28217, + "dao": 28218, + "вия": 28219, + "▁surroundings": 28220, + "|_{": 28221, + "▁gegründ": 28222, + "disp": 28223, + "▁moisture": 28224, + "▁wyd": 28225, + "▁traders": 28226, + "▁Erst": 28227, + "▁Galaxy": 28228, + "▁воло": 28229, + "▁Peru": 28230, + "▁priorities": 28231, + "▁pronounced": 28232, + "▁CBS": 28233, + "▁Palm": 28234, + "▁expans": 28235, + "▁energet": 28236, + "▁Condition": 28237, + "▁Sver": 28238, + "nested": 28239, + "▁февраля": 28240, + "hero": 28241, + "▁коло": 28242, + "▁Films": 28243, + "Bon": 28244, + "éal": 28245, + "ployed": 28246, + "trained": 28247, + "▁első": 28248, + "▁lust": 28249, + "atinum": 28250, + "oyle": 28251, + "▁Jet": 28252, + "ждения": 28253, + "▁surveys": 28254, + "bee": 28255, + "workers": 28256, + "records": 28257, + "calendar": 28258, + "bbing": 28259, + "regation": 28260, + "dashboard": 28261, + "King": 28262, + "▁vista": 28263, + "▁depicted": 28264, + "▁occurring": 28265, + "▁офи": 28266, + "▁sandwich": 28267, + "rcu": 28268, + "kern": 28269, + "▁minut": 28270, + "▁смер": 28271, + "▁td": 28272, + "solete": 28273, + "Complex": 28274, + "▁tunn": 28275, + "▁scarc": 28276, + "stead": 28277, + "▁Fail": 28278, + "▁Rs": 28279, + "▁trails": 28280, + "kem": 28281, + "▁Romans": 28282, + "ativity": 28283, + "Previous": 28284, + "▁depress": 28285, + "▁resigned": 28286, + "getDefault": 28287, + "▁Tibet": 28288, + "▁Franco": 28289, + "\")));": 28290, + "▁injection": 28291, + "removed": 28292, + "▁praised": 28293, + "▁Asc": 28294, + "erase": 28295, + "▁commissioned": 28296, + "MAIL": 28297, + "▁Boh": 28298, + "Poly": 28299, + "▁cinq": 28300, + "▁Above": 28301, + "▁Joshua": 28302, + "ZERO": 28303, + "▁summit": 28304, + "▁Urs": 28305, + "▁curl": 28306, + "▁visa": 28307, + "▁resur": 28308, + "={'": 28309, + "feat": 28310, + "▁absorb": 28311, + "▁planets": 28312, + "▁princess": 28313, + "▁Jahrhunderts": 28314, + "xp": 28315, + "▁NBC": 28316, + "▁коми": 28317, + "▁FUN": 28318, + "▁neuen": 28319, + "▁déjà": 28320, + "▁Oz": 28321, + "bben": 28322, + "VIDEO": 28323, + "▁ejempl": 28324, + "▁considers": 28325, + "atri": 28326, + "▁arrog": 28327, + "ioso": 28328, + "▁hace": 28329, + "▁contacted": 28330, + "▁unple": 28331, + "▁sponsored": 28332, + "▁trainer": 28333, + "sbi": 28334, + "▁занима": 28335, + "Criterion": 28336, + "ното": 28337, + "scheme": 28338, + "ennial": 28339, + "perform": 28340, + "▁fixing": 28341, + "▁постро": 28342, + "arb": 28343, + "EXIT": 28344, + "▁café": 28345, + "ituted": 28346, + "riages": 28347, + "Tur": 28348, + "▁haber": 28349, + "elasticsearch": 28350, + "▁ал": 28351, + "rh": 28352, + "▁voll": 28353, + "CLU": 28354, + "Mil": 28355, + "▁membres": 28356, + "▁remarked": 28357, + "вана": 28358, + "=\"_": 28359, + "Less": 28360, + "(\"\");": 28361, + "▁Yale": 28362, + "berries": 28363, + "▁releasing": 28364, + "▁imports": 28365, + "idea": 28366, + "▁(+": 28367, + "▁arqu": 28368, + "ificación": 28369, + "▁пара": 28370, + "▁Rangers": 28371, + "Mic": 28372, + "▁nederbörd": 28373, + "▁imaginary": 28374, + "▁specialists": 28375, + "▁hoof": 28376, + "Modules": 28377, + "▁sadly": 28378, + "ceil": 28379, + "TabIndex": 28380, + "ationale": 28381, + "▁Partner": 28382, + "tbody": 28383, + "▁leverage": 28384, + "DN": 28385, + "▁Prec": 28386, + "▁Sé": 28387, + "▁Mam": 28388, + "▁afin": 28389, + "isValid": 28390, + "Pse": 28391, + "▁сторо": 28392, + "▁chopped": 28393, + "▁Minor": 28394, + "▁dabei": 28395, + "David": 28396, + "ussia": 28397, + "▁деревня": 28398, + "▁Identity": 28399, + "▁LGBT": 28400, + "ције": 28401, + "▁Orts": 28402, + "▁parti": 28403, + "▁Bachelor": 28404, + "uga": 28405, + "▁OPT": 28406, + "▁Seth": 28407, + "▁LIABLE": 28408, + "▁inaugur": 28409, + "▁Shanghai": 28410, + "▁relaxing": 28411, + "циона": 28412, + "\"%": 28413, + "▁obey": 28414, + "▁Airlines": 28415, + "Links": 28416, + "▁Celt": 28417, + "▁Admin": 28418, + "agation": 28419, + "▁worries": 28420, + "INTE": 28421, + "arith": 28422, + "Fatalf": 28423, + "]])": 28424, + "colm": 28425, + "▁archae": 28426, + "▁brushed": 28427, + "▁tät": 28428, + "▁structured": 28429, + "тии": 28430, + "▁homem": 28431, + "[:,": 28432, + "▁navy": 28433, + "getKey": 28434, + "powered": 28435, + "▁sucked": 28436, + "▁zomb": 28437, + "issant": 28438, + "▁Might": 28439, + "▁Pull": 28440, + "rir": 28441, + "▁пі": 28442, + "▁seas": 28443, + "▁Wrest": 28444, + "▁tense": 28445, + "▁atm": 28446, + "▁havet": 28447, + "▁pierws": 28448, + "▁tragic": 28449, + "▁Diff": 28450, + "▁confidential": 28451, + "successful": 28452, + "ęż": 28453, + "▁Chain": 28454, + "▁Kenya": 28455, + "Choice": 28456, + "ocur": 28457, + "aniu": 28458, + "▁consultant": 28459, + "▁Advis": 28460, + "Lif": 28461, + "▁Lors": 28462, + "avorite": 28463, + "▁utilizing": 28464, + "▁vintage": 28465, + "Matcher": 28466, + "▁membre": 28467, + "▁Expect": 28468, + "▁tracing": 28469, + "nog": 28470, + "▁dej": 28471, + "▁уче": 28472, + "▁loops": 28473, + "▁onclick": 28474, + "▁GPU": 28475, + "▁Albums": 28476, + "▁Archives": 28477, + "вата": 28478, + "▁stove": 28479, + "шли": 28480, + "ancies": 28481, + "▁gemeente": 28482, + "mob": 28483, + "PDF": 28484, + "eso": 28485, + "▁vég": 28486, + "Resolve": 28487, + "▁teaches": 28488, + "ложе": 28489, + "▁ство": 28490, + "▁Одна": 28491, + "▁fid": 28492, + "Something": 28493, + "▁nebo": 28494, + "▁Valentine": 28495, + "rowning": 28496, + "▁але": 28497, + "awi": 28498, + "ishi": 28499, + "▁SPI": 28500, + "▁spel": 28501, + "▁біль": 28502, + "▁participant": 28503, + "▁Ned": 28504, + "▁Gast": 28505, + "▁blond": 28506, + "▁saves": 28507, + "colored": 28508, + "▁ACTION": 28509, + "▁Politiker": 28510, + "}$)": 28511, + "▁Dum": 28512, + "dentry": 28513, + "Student": 28514, + "▁~=": 28515, + "loads": 28516, + "▁Foster": 28517, + "一个": 28518, + "▁PK": 28519, + "▁SB": 28520, + "▁Hern": 28521, + "▁Exhib": 28522, + "Listeners": 28523, + "Sun": 28524, + "plac": 28525, + "▁Bever": 28526, + "▁incluy": 28527, + "▁dc": 28528, + "argc": 28529, + "▁ged": 28530, + "спа": 28531, + "▁Formula": 28532, + "▁сем": 28533, + "▁empt": 28534, + "unregister": 28535, + "▁Queensland": 28536, + "ández": 28537, + "otive": 28538, + "▁alley": 28539, + "▁Democrat": 28540, + "▁travail": 28541, + "▁$,": 28542, + "RP": 28543, + "рое": 28544, + "personal": 28545, + "▁période": 28546, + "HOME": 28547, + "omes": 28548, + "▁recognised": 28549, + "heng": 28550, + "▁Jung": 28551, + "▁Roland": 28552, + "▁convicted": 28553, + "Locked": 28554, + "▁mari": 28555, + "▁Luxem": 28556, + "referto": 28557, + "Deleted": 28558, + "intent": 28559, + "▁Staats": 28560, + "▁області": 28561, + "ит": 28562, + "▁саве": 28563, + "▁Protocol": 28564, + "ając": 28565, + "chk": 28566, + "TypeInfo": 28567, + "▁pkt": 28568, + "▁scandal": 28569, + "▁individually": 28570, + "FMT": 28571, + "▁nj": 28572, + "abile": 28573, + "▁Rivers": 28574, + "PROPERTY": 28575, + "VB": 28576, + "wort": 28577, + "▁splitting": 28578, + "achten": 28579, + "▁ARISING": 28580, + "▁sip": 28581, + "▁fres": 28582, + "▁groom": 28583, + "Hol": 28584, + "▁canon": 28585, + "▁abruptly": 28586, + "▁afterward": 28587, + "▁Running": 28588, + "▁ji": 28589, + "▁%,": 28590, + "▁Palestinian": 28591, + "RW": 28592, + "pgfscope": 28593, + "▁countryside": 28594, + "▁fortunate": 28595, + "▁cél": 28596, + "▁Pointer": 28597, + "ensors": 28598, + "rating": 28599, + "▁buffers": 28600, + "▁remot": 28601, + "▁PropTypes": 28602, + "▁Nah": 28603, + "altern": 28604, + "▁easiest": 28605, + "▁invas": 28606, + "▁clk": 28607, + "copyright": 28608, + "▁blanc": 28609, + "SAMP": 28610, + "▁Cohen": 28611, + "▁Shell": 28612, + "▁destroying": 28613, + "▁Zel": 28614, + "dater": 28615, + "čen": 28616, + "▁filing": 28617, + "▁integrate": 28618, + "xit": 28619, + "▁RET": 28620, + "lene": 28621, + "calls": 28622, + "▁slaughter": 28623, + "initialized": 28624, + "unches": 28625, + "▁Trace": 28626, + "efficient": 28627, + "▁Woods": 28628, + "▁longitud": 28629, + "GN": 28630, + "▁Kont": 28631, + "▁chunks": 28632, + "ách": 28633, + "▁unemployment": 28634, + "acom": 28635, + "▁slowed": 28636, + "▁outlined": 28637, + "xffff": 28638, + "▁ikke": 28639, + "▁workspace": 28640, + "Mc": 28641, + "▁kicking": 28642, + "▁embedding": 28643, + "chnitt": 28644, + "erten": 28645, + "▁Interior": 28646, + "▁Songs": 28647, + "mmc": 28648, + "▁analyzed": 28649, + "▁Coupe": 28650, + "▁favorites": 28651, + "▁tt": 28652, + "▁той": 28653, + "Routing": 28654, + "▁Silva": 28655, + "▁anderem": 28656, + "▁honom": 28657, + "▁использова": 28658, + ".\"]": 28659, + "▁Wu": 28660, + "legt": 28661, + "▁spoon": 28662, + "▁jap": 28663, + "▁Extension": 28664, + "erne": 28665, + "▁vagy": 28666, + "▁села": 28667, + "▁функ": 28668, + "▁analytics": 28669, + "▁sug": 28670, + "▁Async": 28671, + "▁peaks": 28672, + "▁Gym": 28673, + "▁lawsuit": 28674, + "<>": 28675, + "ialis": 28676, + "etric": 28677, + "faced": 28678, + "▁disrupt": 28679, + "▁få": 28680, + "Inputs": 28681, + "`);": 28682, + "▁Mend": 28683, + "gon": 28684, + "▁\",\"": 28685, + "▁nerves": 28686, + "▁doubts": 28687, + "sap": 28688, + "▁sow": 28689, + ",\\,\\": 28690, + "▁BS": 28691, + "▁Glad": 28692, + "▁aster": 28693, + "œuvre": 28694, + "▁Bangl": 28695, + "▁iPad": 28696, + "useppe": 28697, + "▁conducting": 28698, + "▁({\\": 28699, + "▁Harbor": 28700, + "psz": 28701, + "▁FIFA": 28702, + "_**": 28703, + "emor": 28704, + "▁": 28705, + "e": 28706, + "t": 28707, + "a": 28708, + "o": 28709, + "i": 28710, + "n": 28711, + "r": 28712, + "s": 28713, + "l": 28714, + "d": 28715, + "h": 28716, + "c": 28717, + "u": 28718, + "m": 28719, + "p": 28720, + "g": 28721, + "f": 28722, + ".": 28723, + "y": 28724, + ",": 28725, + "b": 28726, + "w": 28727, + "v": 28728, + "k": 28729, + "_": 28730, + ")": 28731, + "(": 28732, + "-": 28733, + "0": 28734, + "S": 28735, + "*": 28736, + "I": 28737, + "T": 28738, + "\"": 28739, + "1": 28740, + "A": 28741, + "'": 28742, + "C": 28743, + "x": 28744, + ";": 28745, + "=": 28746, + ":": 28747, + "/": 28748, + "E": 28749, + "2": 28750, + "{": 28751, + "}": 28752, + "P": 28753, + "R": 28754, + "M": 28755, + "\\": 28756, + "D": 28757, + "L": 28758, + "N": 28759, + "B": 28760, + "о": 28761, + "O": 28762, + "а": 28763, + "z": 28764, + "F": 28765, + "|": 28766, + ">": 28767, + "j": 28768, + "H": 28769, + "3": 28770, + "#": 28771, + "и": 28772, + "е": 28773, + "9": 28774, + "q": 28775, + "$": 28776, + "G": 28777, + "н": 28778, + "U": 28779, + "W": 28780, + "4": 28781, + "5": 28782, + "8": 28783, + "6": 28784, + "р": 28785, + "т": 28786, + "7": 28787, + "с": 28788, + "<": 28789, + "V": 28790, + "в": 28791, + "[": 28792, + "]": 28793, + "л": 28794, + "к": 28795, + "K": 28796, + "é": 28797, + "J": 28798, + "д": 28799, + "&": 28800, + "\r": 28801, + "Y": 28802, + "м": 28803, + "?": 28804, + "у": 28805, + "+": 28806, + "п": 28807, + "!": 28808, + "’": 28809, + "г": 28810, + "я": 28811, + "з": 28812, + "і": 28813, + "X": 28814, + "^": 28815, + "–": 28816, + "б": 28817, + "@": 28818, + "й": 28819, + "á": 28820, + "—": 28821, + "ь": 28822, + "%": 28823, + "Q": 28824, + "ó": 28825, + "ч": 28826, + "í": 28827, + "Z": 28828, + "ы": 28829, + "ä": 28830, + "х": 28831, + "`": 28832, + "ц": 28833, + "ö": 28834, + "“": 28835, + "ж": 28836, + "ü": 28837, + "”": 28838, + "à": 28839, + "è": 28840, + "ш": 28841, + "ю": 28842, + "ł": 28843, + "С": 28844, + "~": 28845, + "ф": 28846, + "П": 28847, + "»": 28848, + "В": 28849, + "«": 28850, + "å": 28851, + "К": 28852, + "щ": 28853, + "·": 28854, + "ј": 28855, + "М": 28856, + "ç": 28857, + "А": 28858, + "Н": 28859, + "Р": 28860, + "Б": 28861, + "č": 28862, + "ú": 28863, + "ę": 28864, + "ã": 28865, + "ą": 28866, + "ă": 28867, + "Д": 28868, + "ї": 28869, + "ъ": 28870, + "ě": 28871, + "Г": 28872, + "š": 28873, + "О": 28874, + "Т": 28875, + "ê": 28876, + "ñ": 28877, + "…": 28878, + "ž": 28879, + "ß": 28880, + "ё": 28881, + "ż": 28882, + "ř": 28883, + "ś": 28884, + "Л": 28885, + "ő": 28886, + "„": 28887, + "э": 28888, + "ý": 28889, + "У": 28890, + "â": 28891, + "И": 28892, + "є": 28893, + "‘": 28894, + "î": 28895, + "З": 28896, + "Ф": 28897, + "ò": 28898, + "•": 28899, + "ć": 28900, + "É": 28901, + "°": 28902, + "ș": 28903, + "Х": 28904, + "ț": 28905, + "ô": 28906, + "Е": 28907, + "ń": 28908, + "Ч": 28909, + "Ш": 28910, + "ø": 28911, + "ù": 28912, + "ů": 28913, + "的": 28914, + "ا": 28915, + "æ": 28916, + "њ": 28917, + "љ": 28918, + "ë": 28919, + "ï": 28920, + "Э": 28921, + "£": 28922, + "−": 28923, + ",": 28924, + "õ": 28925, + "ћ": 28926, + "­": 28927, + "Ц": 28928, + "І": 28929, + "ā": 28930, + "ű": 28931, + "†": 28932, + "ل": 28933, + "ō": 28934, + "​": 28935, + "º": 28936, + "Я": 28937, + "′": 28938, + "Á": 28939, + "Ö": 28940, + "²": 28941, + "Ж": 28942, + "ì": 28943, + "。": 28944, + "数": 28945, + "×": 28946, + "ر": 28947, + "α": 28948, + "́": 28949, + "Ю": 28950, + "û": 28951, + "œ": 28952, + "ı": 28953, + "م": 28954, + "ن": 28955, + "ª": 28956, + "ź": 28957, + "ο": 28958, + "″": 28959, + "€": 28960, + "Ü": 28961, + "و": 28962, + "用": 28963, + "À": 28964, + "Č": 28965, + "Š": 28966, + "ت": 28967, + "د": 28968, + "一": 28969, + "¿": 28970, + "是": 28971, + "ي": 28972, + "ђ": 28973, + "®": 28974, + "ی": 28975, + "ν": 28976, + "đ": 28977, + "τ": 28978, + "─": 28979, + "ι": 28980, + "ε": 28981, + "→": 28982, + "ب": 28983, + "Å": 28984, + "ū": 28985, + "№": 28986, + "ş": 28987, + "不": 28988, + "џ": 28989, + "ー": 28990, + "中": 28991, + "Î": 28992, + "の": 28993, + ":": 28994, + "个": 28995, + "Й": 28996, + "ρ": 28997, + "有": 28998, + "Ä": 28999, + " ": 29000, + "ī": 29001, + "©": 29002, + "为": 29003, + "ه": 29004, + "י": 29005, + "ו": 29006, + "时": 29007, + "س": 29008, + "Ś": 29009, + "在": 29010, + "件": 29011, + "取": 29012, + "ς": 29013, + "™": 29014, + "이": 29015, + "σ": 29016, + "μ": 29017, + "定": 29018, + "文": 29019, + "据": 29020, + "置": 29021, + "Ž": 29022, + "±": 29023, + "表": 29024, + "成": 29025, + "ň": 29026, + "λ": 29027, + "¡": 29028, + "È": 29029, + "π": 29030, + "字": 29031, + "│": 29032, + "Ј": 29033, + "回": 29034, + "Є": 29035, + "到": 29036, + "行": 29037, + "§": 29038, + "½": 29039, + "ع": 29040, + "、": 29041, + "Ł": 29042, + "다": 29043, + "ン": 29044, + "κ": 29045, + "名": 29046, + "ה": 29047, + "入": 29048, + "η": 29049, + "大": 29050, + "对": 29051, + "可": 29052, + "Â": 29053, + "上": 29054, + "█": 29055, + "新": 29056, + "ف": 29057, + "加": 29058, + "要": 29059, + "Ż": 29060, + "下": 29061, + "分": 29062, + "值": 29063, + "ת": 29064, + "出": 29065, + "类": 29066, + "请": 29067, + "’": 29068, + "息": 29069, + "Ú": 29070, + "υ": 29071, + "获": 29072, + "示": 29073, + "以": 29074, + "ר": 29075, + "接": 29076, + "ל": 29077, + "を": 29078, + "存": 29079, + "信": 29080, + "设": 29081, + "方": 29082, + "ش": 29083, + "能": 29084, + "点": 29085, + "人": 29086, + "前": 29087, + "ğ": 29088, + "作": 29089, + "═": 29090, + "↘": 29091, + "ð": 29092, + "理": 29093, + "■": 29094, + "法": 29095, + "️": 29096, + "ˈ": 29097, + "果": 29098, + "发": 29099, + "ح": 29100, + "γ": 29101, + "ɵ": 29102, + "า": 29103, + "َ": 29104, + "了": 29105, + "户": 29106, + "Í": 29107, + "ə": 29108, + "ス": 29109, + "查": 29110, + "し": 29111, + "מ": 29112, + "单": 29113, + "ť": 29114, + "ق": 29115, + "る": 29116, + "间": 29117, + "如": 29118, + "本": 29119, + "后": 29120, + "ί": 29121, + "式": 29122, + "ト": 29123, + "Щ": 29124, + "Ó": 29125, + "す": 29126, + "א": 29127, + "生": 29128, + "动": 29129, + "ک": 29130, + "和": 29131, + "い": 29132, + "€": 29133, + "ა": 29134, + "가": 29135, + "하": 29136, + "�": 29137, + "小": 29138, + "返": 29139, + "否": 29140, + "ة": 29141, + "日": 29142, + "로": 29143, + "标": 29144, + "码": 29145, + "地": 29146, + "位": 29147, + "에": 29148, + " ": 29149, + "列": 29150, + "수": 29151, + "β": 29152, + "除": 29153, + "使": 29154, + "ש": 29155, + "ج": 29156, + "イ": 29157, + "δ": 29158, + "自": 29159, + "于": 29160, + "지": 29161, + "当": 29162, + "所": 29163, + "기": 29164, + "ი": 29165, + "ב": 29166, + "ร": 29167, + "★": 29168, + "子": 29169, + "号": 29170, + "ك": 29171, + "参": 29172, + "型": 29173, + "に": 29174, + "는": 29175, + "这": 29176, + "开": 29177, + "น": 29178, + "会": 29179, + "器": 29180, + "面": 29181, + "ル": 29182, + "图": 29183, + "度": 29184, + ")": 29185, + "(": 29186, + "의": 29187, + "内": 29188, + "을": 29189, + "最": 29190, + "”": 29191, + "化": 29192, + "建": 29193, + "니": 29194, + "量": 29195, + "😂": 29196, + "始": 29197, + "ē": 29198, + "خ": 29199, + "를": 29200, + "ά": 29201, + "过": 29202, + "³": 29203, + "´": 29204, + "组": 29205, + "功": 29206, + "‎": 29207, + "Ÿ": 29208, + "区": 29209, + "ز": 29210, + "ґ": 29211, + "ό": 29212, + "ッ": 29213, + "ω": 29214, + "Ç": 29215, + "选": 29216, + "通": 29217, + "结": 29218, + "录": 29219, + "改": 29220, + "ク": 29221, + "目": 29222, + "指": 29223, + "务": 29224, + "๐": 29225, + "输": 29226, + "た": 29227, + "อ": 29228, + "关": 29229, + "で": 29230, + "调": 29231, + "ा": 29232, + "정": 29233, + "合": 29234, + "已": 29235, + "시": 29236, + "部": 29237, + "页": 29238, + "━": 29239, + "ː": 29240, + "ま": 29241, + "我": 29242, + "求": 29243, + "市": 29244, + "次": 29245, + "נ": 29246, + "实": 29247, + "将": 29248, + "重": 29249, + "更": 29250, + "制": 29251, + "符": 29252, + "配": 29253, + "象": 29254, + "θ": 29255, + "ก": 29256, + "て": 29257, + "进": 29258, + "需": 29259, + "Đ": 29260, + "性": 29261, + "认": 29262, + "来": 29263, + "题": 29264, + "程": 29265, + "模": 29266, + "!": 29267, + "失": 29268, + "口": 29269, + "な": 29270, + "έ": 29271, + "": 29272, + "空": 29273, + "‍": 29274, + "期": 29275, + "者": 29276, + "は": 29277, + "Ђ": 29278, + "提": 29279, + "ή": 29280, + "ラ": 29281, + "한": 29282, + "态": 29283, + "复": 29284, + "ง": 29285, + "ე": 29286, + "Ø": 29287, + "리": 29288, + "修": 29289, + "‚": 29290, + "得": 29291, + "多": 29292, + "格": 29293, + "자": 29294, + "ע": 29295, + "่": 29296, + "函": 29297, + "应": 29298, + "↗": 29299, + "्": 29300, + "เ": 29301, + "正": 29302, + "注": 29303, + "스": 29304, + "서": 29305, + "リ": 29306, + "φ": 29307, + "ص": 29308, + "が": 29309, + "则": 29310, + "消": 29311, + "节": 29312, + "序": 29313, + "代": 29314, + "사": 29315, + "と": 29316, + "ד": 29317, + "้": 29318, + "र": 29319, + "此": 29320, + "保": 29321, + "ア": 29322, + "ư": 29323, + "인": 29324, + "ė": 29325, + "处": 29326, + "删": 29327, + "ɛ": 29328, + "容": 29329, + "ط": 29330, + "“": 29331, + "之": 29332, + "包": 29333, + "状": 29334, + "ド": 29335, + "İ": 29336, + "体": 29337, + "同": 29338, + "事": 29339, + "🙂": 29340, + "タ": 29341, + "χ": 29342, + "ʿ": 29343, + "Ș": 29344, + "主": 29345, + "品": 29346, + "ק": 29347, + "询": 29348, + "创": 29349, + "该": 29350, + " ": 29351, + "元": 29352, + "第": 29353, + "天": 29354, + "或": 29355, + "年": 29356, + "转": 29357, + "ח": 29358, + "传": 29359, + "ţ": 29360, + "路": 29361, + "例": 29362, + "机": 29363, + "Ã": 29364, + "ď": 29365, + "高": 29366, + "相": 29367, + "โ": 29368, + "片": 29369, + "―": 29370, + "操": 29371, + "ա": 29372, + "ม": 29373, + "全": 29374, + "无": 29375, + "月": 29376, + "称": 29377, + "ั": 29378, + "就": 29379, + "™": 29380, + "明": 29381, + "计": 29382, + "你": 29383, + "败": 29384, + "密": 29385, + "解": 29386, + "れ": 29387, + "أ": 29388, + "变": 29389, + "段": 29390, + "条": 29391, + "默": 29392, + "●": 29393, + "ล": 29394, + "色": 29395, + "断": 29396, + "商": 29397, + "ם": 29398, + "か": 29399, + "里": 29400, + "系": 29401, + "编": 29402, + "错": 29403, + "트": 29404, + "只": 29405, + "县": 29406, + "ს": 29407, + "常": 29408, + "初": 29409, + "ɔ": 29410, + "Α": 29411, + "フ": 29412, + "►": 29413, + "等": 29414, + "일": 29415, + "・": 29416, + "Ō": 29417, + "情": 29418, + "现": 29419, + "Ř": 29420, + "ِ": 29421, + "さ": 29422, + "ạ": 29423, + "용": 29424, + "证": 29425, + "해": 29426, + "手": 29427, + "支": 29428, + "입": 29429, + "服": 29430, + "்": 29431, + "道": 29432, + "어": 29433, + "送": 29434, + "载": 29435, + "限": 29436, + "线": 29437, + "属": 29438, + "—": 29439, + "他": 29440, + "放": 29441, + "记": 29442, + "公": 29443, + "没": 29444, + "添": 29445, + "显": 29446, + "บ": 29447, + "ย": 29448, + "რ": 29449, + "其": 29450, + "集": 29451, + "金": 29452, + "国": 29453, + "任": 29454, + "ە": 29455, + "话": 29456, + "并": 29457, + "被": 29458, + "ύ": 29459, + "都": 29460, + "گ": 29461, + "意": 29462, + "כ": 29463, + "经": 29464, + "성": 29465, + "看": 29466, + "פ": 29467, + "址": 29468, + "ס": 29469, + "드": 29470, + "交": 29471, + "¼": 29472, + "Џ": 29473, + "完": 29474, + "Δ": 29475, + "义": 29476, + "보": 29477, + "向": 29478, + "换": 29479, + "山": 29480, + "算": 29481, + "二": 29482, + "پ": 29483, + "⁄": 29484, + "判": 29485, + "级": 29486, + "工": 29487, + "ด": 29488, + "⠀": 29489, + "家": 29490, + "レ": 29491, + "三": 29492, + "原": 29493, + "】": 29494, + "长": 29495, + "া": 29496, + "管": 29497, + "ѝ": 29498, + "क": 29499, + "学": 29500, + "ロ": 29501, + "验": 29502, + "写": 29503, + "Œ": 29504, + "从": 29505, + "【": 29506, + "收": 29507, + "ả": 29508, + "未": 29509, + "登": 29510, + "고": 29511, + "源": 29512, + "每": 29513, + "µ": 29514, + "误": 29515, + "り": 29516, + "요": 29517, + "按": 29518, + "ว": 29519, + "权": 29520, + "根": 29521, + "プ": 29522, + "串": 29523, + "ส": 29524, + "›": 29525, + "제": 29526, + "シ": 29527, + "Ş": 29528, + "确": 29529, + "好": 29530, + "统": 29531, + "效": 29532, + "网": 29533, + "\u0001": 29534, + "物": 29535, + "아": 29536, + "也": 29537, + "은": 29538, + "ệ": 29539, + "न": 29540, + "项": 29541, + "资": 29542, + "こ": 29543, + "引": 29544, + "ジ": 29545, + "ค": 29546, + "版": 29547, + "ท": 29548, + "平": 29549, + "们": 29550, + "与": 29551, + "き": 29552, + "移": 29553, + "ि": 29554, + "素": 29555, + "执": 29556, + "주": 29557, + "‐": 29558, + "Ґ": 29559, + "ี": 29560, + "板": 29561, + "问": 29562, + "Ε": 29563, + "安": 29564, + "면": 29565, + "소": 29566, + "ต": 29567, + "ิ": 29568, + "持": 29569, + "습": 29570, + "Σ": 29571, + "ら": 29572, + "コ": 29573, + "心": 29574, + "Π": 29575, + "打": 29576, + "」": 29577, + "상": 29578, + "「": 29579, + "检": 29580, + "库": 29581, + "÷": 29582, + "으": 29583, + "测": 29584, + "ん": 29585, + "े": 29586, + "ُ": 29587, + "力": 29588, + "直": 29589, + "由": 29590, + "ى": 29591, + "试": 29592, + "必": 29593, + "端": 29594, + "ʻ": 29595, + "先": 29596, + "↑": 29597, + "命": 29598, + "도": 29599, + "전": 29600, + "ห": 29601, + "员": 29602, + "ɪ": 29603, + "있": 29604, + "比": 29605, + "ṣ": 29606, + "時": 29607, + "择": 29608, + "ذ": 29609, + "テ": 29610, + "‌": 29611, + "构": 29612, + "备": 29613, + "그": 29614, + "链": 29615, + "说": 29616, + "ლ": 29617, + "ן": 29618, + "签": 29619, + "う": 29620, + "غ": 29621, + "ế": 29622, + "ض": 29623, + "ḥ": 29624, + "启": 29625, + "력": 29626, + "ო": 29627, + "付": 29628, + "მ": 29629, + "索": 29630, + "特": 29631, + "ג": 29632, + "西": 29633, + "대": 29634, + "├": 29635, + "–": 29636, + "Ž": 29637, + "外": 29638, + "צ": 29639, + "头": 29640, + "连": 29641, + "流": 29642, + "◄": 29643, + "デ": 29644, + "カ": 29645, + "র": 29646, + "오": 29647, + "找": 29648, + "清": 29649, + "🤣": 29650, + "去": 29651, + "₹": 29652, + "경": 29653, + "グ": 29654, + "ْ": 29655, + "¢": 29656, + "因": 29657, + "": 29658, + "Κ": 29659, + "增": 29660, + "知": 29661, + "¶": 29662, + "像": 29663, + "♥": 29664, + "터": 29665, + "く": 29666, + "ậ": 29667, + "メ": 29668, + "Æ": 29669, + "省": 29670, + "स": 29671, + "म": 29672, + "❤": 29673, + "あ": 29674, + "样": 29675, + "起": 29676, + "台": 29677, + "读": 29678, + "角": 29679, + "南": 29680, + "整": 29681, + "订": 29682, + "\f": 29683, + "ט": 29684, + "マ": 29685, + "্": 29686, + "우": 29687, + "ն": 29688, + "您": 29689, + "ئ": 29690, + "基": 29691, + "水": 29692, + "생": 29693, + "‑": 29694, + "나": 29695, + "画": 29696, + "描": 29697, + "击": 29698, + "っ": 29699, + "라": 29700, + "ნ": 29701, + "ր": 29702, + "业": 29703, + "ბ": 29704, + "别": 29705, + "♦": 29706, + "ィ": 29707, + "त": 29708, + "给": 29709, + "문": 29710, + "形": 29711, + "控": 29712, + "然": 29713, + "동": 29714, + "Њ": 29715, + "⁠": 29716, + "东": 29717, + "ป": 29718, + "州": 29719, + "排": 29720, + "세": 29721, + "装": 29722, + "할": 29723, + "Ć": 29724, + "∞": 29725, + "海": 29726, + "城": 29727, + "键": 29728, + "径": 29729, + "호": 29730, + "화": 29731, + "្": 29732, + "料": 29733, + "ơ": 29734, + "ी": 29735, + "ウ": 29736, + "具": 29737, + "ブ": 29738, + "块": 29739, + "再": 29740, + "ố": 29741, + "电": 29742, + ";": 29743, + "위": 29744, + "两": 29745, + "而": 29746, + "장": 29747, + "آ": 29748, + "Ț": 29749, + "バ": 29750, + "还": 29751, + "令": 29752, + "キ": 29753, + "ّ": 29754, + "값": 29755, + "번": 29756, + "만": 29757, + "总": 29758, + "ल": 29759, + "▲": 29760, + "异": 29761, + "光": 29762, + "客": 29763, + "非": 29764, + "ị": 29765, + "": 29766, + "þ": 29767, + "設": 29768, + "述": 29769, + "합": 29770, + "?": 29771, + "✔": 29772, + "导": 29773, + "ṇ": 29774, + "부": 29775, + "˙": 29776, + "Τ": 29777, + "も": 29778, + "구": 29779, + "镇": 29780, + "작": 29781, + "░": 29782, + "步": 29783, + "ộ": 29784, + "活": 29785, + "พ": 29786, + "←": 29787, + "ǎ": 29788, + "จ": 29789, + "束": 29790, + "ـ": 29791, + "‘": 29792, + "那": 29793, + "प": 29794, + "エ": 29795, + "志": 29796, + "么": 29797, + "运": 29798, + "北": 29799, + "超": 29800, + "་": 29801, + "布": 29802, + "ώ": 29803, + "͡": 29804, + "少": 29805, + "파": 29806, + "ʃ": 29807, + "ム": 29808, + "•": 29809, + "卡": 29810, + "ন": 29811, + "Μ": 29812, + "ɑ": 29813, + "😉": 29814, + "辑": 29815, + "원": 29816, + "美": 29817, + "产": 29818, + "利": 29819, + "모": 29820, + "联": 29821, + "界": 29822, + "체": 29823, + "种": 29824, + "王": 29825, + "ľ": 29826, + "여": 29827, + "메": 29828, + "域": 29829, + "ვ": 29830, + "立": 29831, + "록": 29832, + "게": 29833, + "إ": 29834, + "ṭ": 29835, + "神": 29836, + "ո": 29837, + "音": 29838, + "☆": 29839, + "Ñ": 29840, + "조": 29841, + "動": 29842, + "缓": 29843, + "과": 29844, + "报": 29845, + "ʼ": 29846, + "ា": 29847, + "되": 29848, + "ե": 29849, + "视": 29850, + "ช": 29851, + "详": 29852, + "แ": 29853, + "¦": 29854, + "把": 29855, + "க": 29856, + "ি": 29857, + "출": 29858, + "비": 29859, + "边": 29860, + "框": 29861, + "व": 29862, + "サ": 29863, + "Ι": 29864, + "Ο": 29865, + "オ": 29866, + "¾": 29867, + "历": 29868, + "ŏ": 29869, + "门": 29870, + "ข": 29871, + "含": 29872, + "¬": 29873, + "周": 29874, + "填": 29875, + "待": 29876, + "ะ": 29877, + "დ": 29878, + "Ї": 29879, + "额": 29880, + "음": 29881, + "四": 29882, + "だ": 29883, + "회": 29884, + "止": 29885, + "率": 29886, + "环": 29887, + "パ": 29888, + "래": 29889, + "闭": 29890, + "̀": 29891, + "语": 29892, + "개": 29893, + "身": 29894, + "藏": 29895, + "य": 29896, + "된": 29897, + "即": 29898, + "拉": 29899, + "선": 29900, + "변": 29901, + "≥": 29902, + "ุ": 29903, + "些": 29904, + "🤷": 29905, + "せ": 29906, + "左": 29907, + "ợ": 29908, + "右": 29909, + "ể": 29910, + "내": 29911, + "ּ": 29912, + "ז": 29913, + "ে": 29914, + "告": 29915, + "ấ": 29916, + "白": 29917, + "账": 29918, + "费": 29919, + "江": 29920, + "み": 29921, + "‹": 29922, + "์": 29923, + "‡": 29924, + "造": 29925, + "但": 29926, + "十": 29927, + "它": 29928, + "ं": 29929, + "ŋ": 29930, + "ў": 29931, + "セ": 29932, + "女": 29933, + "⣿": 29934, + "ի": 29935, + "京": 29936, + "触": 29937, + "함": 29938, + "들": 29939, + "Ā": 29940, + "˜": 29941, + "石": 29942, + "よ": 29943, + "田": 29944, + "易": 29945, + "规": 29946, + "展": 29947, + "¯": 29948, + "做": 29949, + "星": 29950, + "უ": 29951, + "✓": 29952, + "თ": 29953, + "供": 29954, + "명": 29955, + "ξ": 29956, + "己": 29957, + "且": 29958, + "插": 29959, + "景": 29960, + "切": 29961, + "ไ": 29962, + "없": 29963, + "ョ": 29964, + "及": 29965, + "Ν": 29966, + "미": 29967, + "ث": 29968, + "데": 29969, + "价": 29970, + "乡": 29971, + "ह": 29972, + "チ": 29973, + "真": 29974, + "太": 29975, + "ู": 29976, + "ダ": 29977, + "局": 29978, + "♂": 29979, + "退": 29980, + "ு": 29981, + "ক": 29982, + "ி": 29983, + "何": 29984, + "😭": 29985, + "¥": 29986, + "": 29987, + "≈": 29988, + "司": 29989, + "层": 29990, + "실": 29991, + "站": 29992, + "首": 29993, + "款": 29994, + "រ": 29995, + "間": 29996, + "ָ": 29997, + "저": 29998, + "监": 29999, + "ァ": 30000, + "册": 30001, + "案": 30002, + "ो": 30003, + "反": 30004, + "听": 30005, + "族": 30006, + "析": 30007, + "ื": 30008, + "秒": 30009, + "공": 30010, + "œ": 30011, + "🚀": 30012, + "거": 30013, + "재": 30014, + "‚": 30015, + "場": 30016, + "广": 30017, + "播": 30018, + "║": 30019, + "⋅": 30020, + "技": 30021, + "贴": 30022, + "想": 30023, + "ʁ": 30024, + "ớ": 30025, + "ャ": 30026, + "중": 30027, + "》": 30028, + "速": 30029, + "频": 30030, + "队": 30031, + "ำ": 30032, + "け": 30033, + "ु": 30034, + "≤": 30035, + "↓": 30036, + "须": 30037, + "菜": 30038, + "̃": 30039, + "剪": 30040, + "버": 30041, + "ェ": 30042, + "Λ": 30043, + "细": 30044, + "選": 30045, + "द": 30046, + "¹": 30047, + "许": 30048, + "ầ": 30049, + "世": 30050, + "ュ": 30051, + "ء": 30052, + "‡": 30053, + "候": 30054, + "共": 30055, + "크": 30056, + "ธ": 30057, + "설": 30058, + "快": 30059, + "友": 30060, + "ְ": 30061, + "车": 30062, + "推": 30063, + "花": 30064, + "言": 30065, + "چ": 30066, + "至": 30067, + "開": 30068, + "校": 30069, + "個": 30070, + "村": 30071, + "つ": 30072, + "▌": 30073, + "ப": 30074, + "결": 30075, + "ņ": 30076, + "优": 30077, + "ន": 30078, + "达": 30079, + "核": 30080, + "ナ": 30081, + "场": 30082, + "影": 30083, + "🏻": 30084, + "钮": 30085, + "ظ": 30086, + "Þ": 30087, + "▼": 30088, + "お": 30089, + "份": 30090, + "微": 30091, + "ờ": 30092, + "识": 30093, + "행": 30094, + "《": 30095, + "ใ": 30096, + "ọ": 30097, + "预": 30098, + "ব": 30099, + "த": 30100, + "": 30101, + "ų": 30102, + "마": 30103, + "않": 30104, + "ɡ": 30105, + "계": 30106, + "연": 30107, + "五": 30108, + "Ź": 30109, + "め": 30110, + "很": 30111, + "간": 30112, + "無": 30113, + "ប": 30114, + "社": 30115, + "Ê": 30116, + "书": 30117, + "顶": 30118, + "ტ": 30119, + "才": 30120, + "云": 30121, + "└": 30122, + "ζ": 30123, + "،": 30124, + "搜": 30125, + "신": 30126, + "유": 30127, + "‏": 30128, + "✅": 30129, + "⭐": 30130, + "照": 30131, + "短": 30132, + "川": 30133, + "後": 30134, + "范": 30135, + "民": 30136, + "治": 30137, + "章": 30138, + "ề": 30139, + "바": 30140, + "ә": 30141, + "⚭": 30142, + "河": 30143, + "论": 30144, + "え": 30145, + "Ω": 30146, + "√": 30147, + "Ă": 30148, + "Γ": 30149, + "坐": 30150, + "적": 30151, + "停": 30152, + "추": 30153, + "受": 30154, + "♀": 30155, + "ʾ": 30156, + "树": 30157, + "林": 30158, + "치": 30159, + "fi": 30160, + "▒": 30161, + "张": 30162, + "着": 30163, + "访": 30164, + "考": 30165, + "教": 30166, + "ग": 30167, + "准": 30168, + "印": 30169, + "精": 30170, + "窗": 30171, + "宝": 30172, + "ち": 30173, + "围": 30174, + "ַ": 30175, + "致": 30176, + "モ": 30177, + "때": 30178, + "随": 30179, + "储": 30180, + "况": 30181, + "邮": 30182, + "武": 30183, + "⛔": 30184, + "维": 30185, + "ү": 30186, + "跳": 30187, + "ब": 30188, + "投": 30189, + "ủ": 30190, + "표": 30191, + "반": 30192, + "英": 30193, + "ʰ": 30194, + "👍": 30195, + "ज": 30196, + "带": 30197, + "為": 30198, + "续": 30199, + "ɨ": 30200, + "처": 30201, + "₂": 30202, + "클": 30203, + "群": 30204, + "현": 30205, + "风": 30206, + "购": 30207, + "ក": 30208, + "老": 30209, + "留": 30210, + "球": 30211, + "프": 30212, + "▄": 30213, + "史": 30214, + "Љ": 30215, + "⟩": 30216, + "분": 30217, + "გ": 30218, + "店": 30219, + "审": 30220, + "료": 30221, + "목": 30222, + "略": 30223, + "관": 30224, + "ִ": 30225, + "科": 30226, + "货": 30227, + "ம": 30228, + "络": 30229, + "阳": 30230, + "Ḥ": 30231, + "資": 30232, + "若": 30233, + "স": 30234, + "ہ": 30235, + "宽": 30236, + "见": 30237, + "ズ": 30238, + "游": 30239, + "방": 30240, + "ồ": 30241, + "ɾ": 30242, + "열": 30243, + "러": 30244, + "ך": 30245, + "\u001b": 30246, + "်": 30247, + "余": 30248, + "响": 30249, + "缩": 30250, + "ட": 30251, + "评": 30252, + "允": 30253, + "离": 30254, + "🤔": 30255, + "Ё": 30256, + "ʊ": 30257, + "黑": 30258, + "马": 30259, + "⟨": 30260, + "値": 30261, + "箱": 30262, + "야": 30263, + "ម": 30264, + "Ő": 30265, + "感": 30266, + "ツ": 30267, + "ụ": 30268, + "ポ": 30269, + "확": 30270, + "声": 30271, + "战": 30272, + "ѕ": 30273, + "変": 30274, + "와": 30275, + "父": 30276, + "ベ": 30277, + "助": 30278, + "업": 30279, + "ʲ": 30280, + "ÿ": 30281, + "充": 30282, + "强": 30283, + "博": 30284, + "ミ": 30285, + "销": 30286, + "당": 30287, + "記": 30288, + "什": 30289, + "匹": 30290, + "ւ": 30291, + "そ": 30292, + "코": 30293, + "ল": 30294, + "ŭ": 30295, + "午": 30296, + "ニ": 30297, + "\u0012": 30298, + "ʒ": 30299, + "შ": 30300, + "某": 30301, + "ォ": 30302, + "足": 30303, + "타": 30304, + "Ð": 30305, + "ხ": 30306, + "름": 30307, + "木": 30308, + "楼": 30309, + "최": 30310, + "红": 30311, + "¨": 30312, + "古": 30313, + "\u0006": 30314, + "단": 30315, + "今": 30316, + "ʔ": 30317, + "ट": 30318, + "ম": 30319, + "斯": 30320, + "語": 30321, + "Ÿ": 30322, + "🙄": 30323, + "牌": 30324, + "안": 30325, + "ស": 30326, + "颜": 30327, + "~": 30328, + "克": 30329, + "深": 30330, + "금": 30331, + "會": 30332, + "尔": 30333, + "释": 30334, + "批": 30335, + "산": 30336, + "野": 30337, + "防": 30338, + "Η": 30339, + "ө": 30340, + "ψ": 30341, + "ボ": 30342, + "š": 30343, + "各": 30344, + "진": 30345, + "追": 30346, + "句": 30347, + "警": 30348, + "Φ": 30349, + "ѣ": 30350, + "ḍ": 30351, + "词": 30352, + "男": 30353, + "글": 30354, + "식": 30355, + "隐": 30356, + "복": 30357, + "盘": 30358, + "Ì": 30359, + "申": 30360, + "议": 30361, + "ザ": 30362, + "近": 30363, + "능": 30364, + "য": 30365, + "東": 30366, + "這": 30367, + "ர": 30368, + "距": 30369, + "院": 30370, + "德": 30371, + "ǐ": 30372, + "针": 30373, + "▀": 30374, + "↔": 30375, + "房": 30376, + "青": 30377, + "政": 30378, + "😅": 30379, + "递": 30380, + "প": 30381, + "波": 30382, + "ソ": 30383, + "绑": 30384, + "ビ": 30385, + "ễ": 30386, + "포": 30387, + "\u0010": 30388, + "ử": 30389, + "등": 30390, + "환": 30391, + "士": 30392, + "ত": 30393, + "Θ": 30394, + "초": 30395, + "境": 30396, + "差": 30397, + "采": 30398, + "디": 30399, + "ĩ": 30400, + "升": 30401, + "背": 30402, + "배": 30403, + "龙": 30404, + "街": 30405, + "್": 30406, + "ṛ": 30407, + "ু": 30408, + "弹": 30409, + "魔": 30410, + "객": 30411, + "‰": 30412, + "⌁": 30413, + "ἐ": 30414, + "禁": 30415, + "ผ": 30416, + "қ": 30417, + "島": 30418, + "ா": 30419, + "♭": 30420, + "百": 30421, + "ứ": 30422, + "ネ": 30423, + "专": 30424, + "來": 30425, + "刷": 30426, + "필": 30427, + "յ": 30428, + "ắ": 30429, + "华": 30430, + "Β": 30431, + "श": 30432, + "¸": 30433, + "屏": 30434, + "死": 30435, + "遍": 30436, + "검": 30437, + "Χ": 30438, + "것": 30439, + "八": 30440, + "览": 30441, + "택": 30442, + "唯": 30443, + "∙": 30444, + "¤": 30445, + "페": 30446, + "让": 30447, + "锁": 30448, + "무": 30449, + "思": 30450, + "隔": 30451, + "Ô": 30452, + "\u0013": 30453, + "ṃ": 30454, + "ワ": 30455, + "低": 30456, + "션": 30457, + "半": 30458, + "较": 30459, + "ត": 30460, + "享": 30461, + "积": 30462, + "ˆ": 30463, + "😊": 30464, + "典": 30465, + "ǔ": 30466, + "六": 30467, + "便": 30468, + "ɐ": 30469, + "简": 30470, + "继": 30471, + "仅": 30472, + "尾": 30473, + "‹": 30474, + "வ": 30475, + "կ": 30476, + "ƒ": 30477, + "영": 30478, + "火": 30479, + "湖": 30480, + "書": 30481, + "발": 30482, + "ハ": 30483, + "循": 30484, + "术": 30485, + "結": 30486, + "ļ": 30487, + "乐": 30488, + "滤": 30489, + "종": 30490, + "ถ": 30491, + "ὶ": 30492, + "满": 30493, + "╝": 30494, + "わ": 30495, + "ど": 30496, + "็": 30497, + "형": 30498, + "國": 30499, + "ự": 30500, + "線": 30501, + "블": 30502, + "封": 30503, + "確": 30504, + "依": 30505, + "ս": 30506, + "永": 30507, + "색": 30508, + "歌": 30509, + "數": 30510, + "福": 30511, + "삭": 30512, + "実": 30513, + "레": 30514, + "ſ": 30515, + "千": 30516, + "\u000e": 30517, + "母": 30518, + "더": 30519, + "임": 30520, + "տ": 30521, + "ے": 30522, + "几": 30523, + "双": 30524, + "노": 30525, + "ณ": 30526, + "掉": 30527, + "Ρ": 30528, + "ἀ": 30529, + "標": 30530, + "長": 30531, + "档": 30532, + "태": 30533, + "ペ": 30534, + "본": 30535, + "Œ": 30536, + "底": 30537, + "终": 30538, + "請": 30539, + "კ": 30540, + "̯": 30541, + "예": 30542, + "▬": 30543, + "報": 30544, + "ピ": 30545, + "๏": 30546, + "暂": 30547, + "李": 30548, + "Υ": 30549, + "\u0005": 30550, + "\u0002": 30551, + "替": 30552, + "운": 30553, + "射": 30554, + "\u0018": 30555, + "매": 30556, + "\u0011": 30557, + "🏼": 30558, + "票": 30559, + "附": 30560, + "ノ": 30561, + "ũ": 30562, + "压": 30563, + "阿": 30564, + "Ò": 30565, + "테": 30566, + "∼": 30567, + "万": 30568, + "մ": 30569, + "후": 30570, + "普": 30571, + "截": 30572, + "속": 30573, + "括": 30574, + "😀": 30575, + "ை": 30576, + "▶": 30577, + "까": 30578, + "ট": 30579, + "曲": 30580, + "师": 30581, + "钱": 30582, + "栏": 30583, + "Ы": 30584, + "走": 30585, + "ữ": 30586, + "‬": 30587, + "归": 30588, + "점": 30589, + "🔥": 30590, + "었": 30591, + "連": 30592, + "私": 30593, + "청": 30594, + "刘": 30595, + "免": 30596, + "": 30597, + "奖": 30598, + "見": 30599, + "ֹ": 30600, + "☺": 30601, + "ケ": 30602, + "역": 30603, + "际": 30604, + "받": 30605, + "望": 30606, + "帝": 30607, + "减": 30608, + "두": 30609, + "领": 30610, + "„": 30611, + "钟": 30612, + "ガ": 30613, + "架": 30614, + "든": 30615, + "ல": 30616, + "松": 30617, + "□": 30618, + "越": 30619, + "答": 30620, + "ɕ": 30621, + "ῦ": 30622, + "染": 30623, + "": 30624, + "质": 30625, + "顺": 30626, + "气": 30627, + "╗": 30628, + "計": 30629, + "ქ": 30630, + "亮": 30631, + "🤦": 30632, + "̂": 30633, + "ٹ": 30634, + "座": 30635, + "ˌ": 30636, + "均": 30637, + "\u000b": 30638, + "官": 30639, + "适": 30640, + "护": 30641, + "久": 30642, + "春": 30643, + "曹": 30644, + "皇": 30645, + "脚": 30646, + "池": 30647, + "延": 30648, + "키": 30649, + "품": 30650, + "現": 30651, + "檔": 30652, + "ば": 30653, + "ⴰ": 30654, + "希": 30655, + "玩": 30656, + "固": 30657, + "黄": 30658, + "": 30659, + "☽": 30660, + "银": 30661, + "\u0003": 30662, + "┃": 30663, + "👏": 30664, + "불": 30665, + "攻": 30666, + "へ": 30667, + "决": 30668, + "⊙": 30669, + "宁": 30670, + "च": 30671, + "機": 30672, + "義": 30673, + "ɲ": 30674, + "\u0015": 30675, + "했": 30676, + "ẩ": 30677, + "愛": 30678, + "矩": 30679, + "패": 30680, + "ặ": 30681, + "郎": 30682, + "Ь": 30683, + "绘": 30684, + "负": 30685, + "ổ": 30686, + "ய": 30687, + "汉": 30688, + "編": 30689, + "ێ": 30690, + "്": 30691, + "じ": 30692, + "카": 30693, + "似": 30694, + "ں": 30695, + "や": 30696, + "認": 30697, + "\u000f": 30698, + "過": 30699, + "통": 30700, + "▪": 30701, + "约": 30702, + "香": 30703, + "买": 30704, + "住": 30705, + "╚": 30706, + "😁": 30707, + "扩": 30708, + "静": 30709, + "려": 30710, + "학": 30711, + "钥": 30712, + "증": 30713, + "ỉ": 30714, + "她": 30715, + "食": 30716, + "往": 30717, + "點": 30718, + "偏": 30719, + "康": 30720, + "\u0014": 30721, + "į": 30722, + "준": 30723, + "\u0004": 30724, + "ฟ": 30725, + "♣": 30726, + "戏": 30727, + "ʂ": 30728, + "井": 30729, + "军": 30730, + "爱": 30731, + "ٱ": 30732, + "七": 30733, + "차": 30734, + "币": 30735, + "♠": 30736, + "哈": 30737, + "阅": 30738, + "介": 30739, + "观": 30740, + "區": 30741, + "˜": 30742, + "ً": 30743, + "又": 30744, + "冲": 30745, + "朝": 30746, + "姓": 30747, + "课": 30748, + "龍": 30749, + "각": 30750, + "∈": 30751, + "米": 30752, + "ƒ": 30753, + "喜": 30754, + "夜": 30755, + "团": 30756, + "⇒": 30757, + "远": 30758, + "\u001a": 30759, + "ὐ": 30760, + "承": 30761, + "ಿ": 30762, + "室": 30763, + "ʀ": 30764, + "ង": 30765, + "अ": 30766, + "罗": 30767, + "🙏": 30768, + "软": 30769, + "🟡": 30770, + "건": 30771, + "؟": 30772, + "း": 30773, + "ᴇ": 30774, + "ユ": 30775, + "토": 30776, + "策": 30777, + "̄": 30778, + "국": 30779, + "ֶ": 30780, + "协": 30781, + "营": 30782, + "関": 30783, + "吉": 30784, + "💀": 30785, + "奇": 30786, + "滚": 30787, + "轴": 30788, + "処": 30789, + "土": 30790, + "划": 30791, + "ड": 30792, + "临": 30793, + "ֵ": 30794, + "航": 30795, + "浏": 30796, + "ゴ": 30797, + "別": 30798, + "寺": 30799, + "於": 30800, + "進": 30801, + "ὸ": 30802, + "風": 30803, + "ன": 30804, + "班": 30805, + "◼": 30806, + "九": 30807, + "̥": 30808, + "號": 30809, + "류": 30810, + "础": 30811, + "般": 30812, + "︙": 30813, + "̈": 30814, + "番": 30815, + "✨": 30816, + "😎": 30817, + "ো": 30818, + "😍": 30819, + "單": 30820, + "帧": 30821, + "授": 30822, + "赋": 30823, + "巴": 30824, + "占": 30825, + "假": 30826, + "ṅ": 30827, + "透": 30828, + "項": 30829, + "ħ": 30830, + "馬": 30831, + "🟢": 30832, + "Ľ": 30833, + "լ": 30834, + "券": 30835, + "같": 30836, + "類": 30837, + "對": 30838, + "월": 30839, + "激": 30840, + "\u0017": 30841, + "戦": 30842, + "独": 30843, + "訊": 30844, + "ិ": 30845, + "套": 30846, + "ʷ": 30847, + "跟": 30848, + "ở": 30849, + "渲": 30850, + "顯": 30851, + "降": 30852, + "ာ": 30853, + "尼": 30854, + "血": 30855, + "언": 30856, + "牛": 30857, + "將": 30858, + "ศ": 30859, + "拍": 30860, + "刻": 30861, + "ზ": 30862, + "╔": 30863, + "藤": 30864, + "్": 30865, + "ῶ": 30866, + "🟠": 30867, + "良": 30868, + "김": 30869, + "দ": 30870, + "Ṣ": 30871, + "録": 30872, + "伊": 30873, + "落": 30874, + "雄": 30875, + "雪": 30876, + "映": 30877, + "著": 30878, + "른": 30879, + "ფ": 30880, + "対": 30881, + "智": 30882, + "译": 30883, + "┬": 30884, + "抽": 30885, + "ῖ": 30886, + "酒": 30887, + "Ћ": 30888, + "股": 30889, + "់": 30890, + "순": 30891, + "직": 30892, + "भ": 30893, + "谷": 30894, + "물": 30895, + "ǒ": 30896, + "⠄": 30897, + "热": 30898, + "終": 30899, + "夹": 30900, + "干": 30901, + "彩": 30902, + "敗": 30903, + "ќ": 30904, + "♯": 30905, + "̣": 30906, + "վ": 30907, + "轮": 30908, + "阵": 30909, + "夏": 30910, + "幕": 30911, + "吧": 30912, + "港": 30913, + "益": 30914, + "儿": 30915, + "액": 30916, + "售": 30917, + "兵": 30918, + "惠": 30919, + "欢": 30920, + "›": 30921, + "零": 30922, + "學": 30923, + "ž": 30924, + "員": 30925, + "ỗ": 30926, + "玉": 30927, + "逻": 30928, + "᥀": 30929, + "吗": 30930, + "沒": 30931, + "≠": 30932, + "너": 30933, + "ச": 30934, + "\u0016": 30935, + "夫": 30936, + "წ": 30937, + "堂": 30938, + "電": 30939, + "≡": 30940, + "陆": 30941, + "져": 30942, + "研": 30943, + "荐": 30944, + "健": 30945, + "碼": 30946, + "练": 30947, + "検": 30948, + "송": 30949, + "ै": 30950, + "哪": 30951, + "圆": 30952, + "Ա": 30953, + "↩": 30954, + "托": 30955, + "̪": 30956, + "ू": 30957, + "缀": 30958, + "네": 30959, + "沙": 30960, + "兴": 30961, + "病": 30962, + "\u0007": 30963, + "ល": 30964, + "ừ": 30965, + "Ἀ": 30966, + "강": 30967, + "항": 30968, + "\u0019": 30969, + "換": 30970, + "温": 30971, + "帖": 30972, + "ទ": 30973, + "込": 30974, + "削": 30975, + "알": 30976, + "征": 30977, + "习": 30978, + "법": 30979, + "栈": 30980, + "绝": 30981, + "": 30982, + "ڕ": 30983, + "圖": 30984, + "苏": 30985, + "発": 30986, + "ု": 30987, + "町": 30988, + "互": 30989, + "়": 30990, + "ც": 30991, + "守": 30992, + "새": 30993, + "侧": 30994, + "草": 30995, + "ས": 30996, + "扫": 30997, + "‒": 30998, + "恢": 30999, + "ң": 31000, + "ण": 31001, + "ற": 31002, + "째": 31003, + "්": 31004, + "拟": 31005, + "派": 31006, + "🏽": 31007, + "呼": 31008, + "Š": 31009, + "演": 31010, + "究": 31011, + "교": 31012, + "ɣ": 31013, + "ए": 31014, + "ី": 31015, + "ף": 31016, + "富": 31017, + "駅": 31018, + "ず": 31019, + "♪": 31020, + "😆": 31021, + "접": 31022, + "ғ": 31023, + "▓": 31024, + "존": 31025, + "ಾ": 31026, + "旋": 31027, + "ゃ": 31028, + "补": 31029, + "ץ": 31030, + "門": 31031, + "ច": 31032, + "날": 31033, + "ภ": 31034, + "ག": 31035, + "傳": 31036, + "∆": 31037, + "†": 31038, + "ׁ": 31039, + "缺": 31040, + "頭": 31041, + "怪": 31042, + "組": 31043, + "별": 31044, + "Ъ": 31045, + "發": 31046, + "雷": 31047, + "ರ": 31048, + "ซ": 31049, + "び": 31050, + "翻": 31051, + "ھ": 31052, + "პ": 31053, + "題": 31054, + "居": 31055, + "집": 31056, + "🌍": 31057, + "˚": 31058, + "避": 31059, + "줄": 31060, + "ុ": 31061, + "滑": 31062, + "故": 31063, + "ญ": 31064, + "〜": 31065, + "ನ": 31066, + "양": 31067, + "완": 31068, + "ள": 31069, + "倍": 31070, + "宗": 31071, + "択": 31072, + "브": 31073, + "ɴ": 31074, + "効": 31075, + "尺": 31076, + "視": 31077, + "ẽ": 31078, + "覆": 31079, + "ध": 31080, + "骨": 31081, + "달": 31082, + "ᴛ": 31083, + "蓝": 31084, + "關": 31085, + "額": 31086, + "Õ": 31087, + "∗": 31088, + "卷": 31089, + "갑": 31090, + "르": 31091, + "众": 31092, + "ᴀ": 31093, + "態": 31094, + "ٰ": 31095, + "暗": 31096, + "君": 31097, + "錯": 31098, + "ɒ": 31099, + "យ": 31100, + "ḫ": 31101, + "ῆ": 31102, + "亚": 31103, + "♡": 31104, + "割": 31105, + "鼠": 31106, + "̶": 31107, + "Ë": 31108, + "読": 31109, + "격": 31110, + "ゲ": 31111, + "眼": 31112, + "Ý": 31113, + "ژ": 31114, + "雨": 31115, + "宮": 31116, + "쪽": 31117, + "ष": 31118, + "複": 31119, + "剩": 31120, + "早": 31121, + "杂": 31122, + "焦": 31123, + "贝": 31124, + "突": 31125, + "워": 31126, + "另": 31127, + "摄": 31128, + "\b": 31129, + "‭": 31130, + "府": 31131, + "외": 31132, + "盖": 31133, + "\u001c": 31134, + "ษ": 31135, + "佛": 31136, + "概": 31137, + "與": 31138, + "經": 31139, + "-": 31140, + "һ": 31141, + "問": 31142, + "ು": 31143, + "ἰ": 31144, + "話": 31145, + "倒": 31146, + "葛": 31147, + "べ": 31148, + "ろ": 31149, + "\u001e": 31150, + "।": 31151, + "ေ": 31152, + "ᴏ": 31153, + "训": 31154, + "體": 31155, + "👌": 31156, + "內": 31157, + "က": 31158, + "企": 31159, + "약": 31160, + "찾": 31161, + "ོ": 31162, + "破": 31163, + "輸": 31164, + "림": 31165, + "塔": 31166, + "턴": 31167, + "杀": 31168, + "』": 31169, + "味": 31170, + "浮": 31171, + "┆": 31172, + "ġ": 31173, + "郡": 31174, + "┐": 31175, + "『": 31176, + "阶": 31177, + "雅": 31178, + "┈": 31179, + "园": 31180, + ".": 31181, + "吃": 31182, + "남": 31183, + " ": 31184, + "ར": 31185, + "帮": 31186, + "毛": 31187, + "耗": 31188, + "举": 31189, + "ర": 31190, + "拿": 31191, + "밀": 31192, + "ご": 31193, + "够": 31194, + "礼": 31195, + "ព": 31196, + "ね": 31197, + "‰": 31198, + "兰": 31199, + "❌": 31200, + "折": 31201, + "십": 31202, + "💎": 31203, + "業": 31204, + "诸": 31205, + "孙": 31206, + "བ": 31207, + "😳": 31208, + "種": 31209, + "Ï": 31210, + "ึ": 31211, + "⁣": 31212, + "医": 31213, + "拼": 31214, + "↵": 31215, + "⅓": 31216, + "\u001f": 31217, + "မ": 31218, + "叫": 31219, + "জ": 31220, + "予": 31221, + "寸": 31222, + "梅": 31223, + "醒": 31224, + "津": 31225, + "န": 31226, + "ి": 31227, + "厂": 31228, + "屋": 31229, + "ख": 31230, + "師": 31231, + "👀": 31232, + "ỏ": 31233, + "ヤ": 31234, + "ὰ": 31235, + "\u001d": 31236, + "◆": 31237, + "ដ": 31238, + "材": 31239, + "ホ": 31240, + "張": 31241, + "洞": 31242, + "餐": 31243, + "천": 31244, + "হ": 31245, + "達": 31246, + "們": 31247, + "斗": 31248, + "横": 31249, + "백": 31250, + "ំ": 31251, + "ۆ": 31252, + "말": 31253, + "গ": 31254, + "佳": 31255, + "랜": 31256, + "仁": 31257, + "陈": 31258, + "飞": 31259, + "极": 31260, + "": 31261, + "및": 31262, + "仓": 31263, + "⬛": 31264, + "昌": 31265, + "錢": 31266, + "殊": 31267, + "┴": 31268, + "○": 31269, + "길": 31270, + "泉": 31271, + "甲": 31272, + "활": 31273, + "ひ": 31274, + "শ": 31275, + "ን": 31276, + "Ť": 31277, + "ღ": 31278, + "皮": 31279, + "強": 31280, + "赛": 31281, + "ా": 31282, + "預": 31283, + "င": 31284, + "튼": 31285, + "플": 31286, + "ყ": 31287, + "⋆": 31288, + "ք": 31289, + "ા": 31290, + "尚": 31291, + "또": 31292, + "բ": 31293, + "┌": 31294, + "節": 31295, + "森": 31296, + "आ": 31297, + "办": 31298, + "園": 31299, + "牙": 31300, + "庆": 31301, + "隆": 31302, + "😔": 31303, + "叉": 31304, + "գ": 31305, + "피": 31306, + "ギ": 31307, + "啊": 31308, + "続": 31309, + "灵": 31310, + "ヒ": 31311, + "忽": 31312, + "ʌ": 31313, + "량": 31314, + "油": 31315, + "讯": 31316, + "ⵉ": 31317, + "릭": 31318, + "刚": 31319, + "氏": 31320, + "ိ": 31321, + "Ī": 31322, + "誤": 31323, + "齐": 31324, + "末": 31325, + "🙌": 31326, + "̞": 31327, + "圈": 31328, + "念": 31329, + "숫": 31330, + "毫": 31331, + "當": 31332, + "規": 31333, + "판": 31334, + "ు": 31335, + "旧": 31336, + "卖": 31337, + "ฉ": 31338, + "幸": 31339, + "署": 31340, + "근": 31341, + "ই": 31342, + "岛": 31343, + "դ": 31344, + "觉": 31345, + "害": 31346, + "毕": 31347, + "ฐ": 31348, + "威": 31349, + "育": 31350, + "呢": 31351, + "峰": 31352, + "职": 31353, + "陽": 31354, + "ි": 31355, + "亞": 31356, + "ұ": 31357, + "₃": 31358, + "따": 31359, + "施": 31360, + "泰": 31361, + "載": 31362, + "…": 31363, + "笑": 31364, + "華": 31365, + "迎": 31366, + "됩": 31367, + "豆": 31368, + "嘉": 31369, + "🤡": 31370, + "ĕ": 31371, + "庄": 31372, + "級": 31373, + "Ψ": 31374, + "ི": 31375, + "気": 31376, + "责": 31377, + "հ": 31378, + "អ": 31379, + "乱": 31380, + "休": 31381, + "約": 31382, + "ฆ": 31383, + "∑": 31384, + "察": 31385, + "온": 31386, + "😬": 31387, + "ড": 31388, + "乘": 31389, + "람": 31390, + "इ": 31391, + "Ά": 31392, + "ந": 31393, + "ើ": 31394, + "亲": 31395, + "េ": 31396, + "委": 31397, + "赤": 31398, + "됨": 31399, + "勝": 31400, + "怎": 31401, + "감": 31402, + "宋": 31403, + "調": 31404, + "짜": 31405, + "ী": 31406, + "难": 31407, + "못": 31408, + "티": 31409, + "備": 31410, + "塞": 31411, + "វ": 31412, + "险": 31413, + "旅": 31414, + "虚": 31415, + "↳": 31416, + "笔": 31417, + "馆": 31418, + "Қ": 31419, + "⚡": 31420, + "ೆ": 31421, + "※": 31422, + "唐": 31423, + "律": 31424, + "稍": 31425, + "散": 31426, + "ર": 31427, + "ヴ": 31428, + "副": 31429, + "尽": 31430, + "挂": 31431, + "県": 31432, + "⚠": 31433, + "洋": 31434, + "鬼": 31435, + "암": 31436, + "孩": 31437, + "℃": 31438, + "並": 31439, + "ց": 31440, + "ូ": 31441, + "ℓ": 31442, + "ⵏ": 31443, + "扣": 31444, + "铁": 31445, + "闻": 31446, + "ˆ": 31447, + "戳": 31448, + "む": 31449, + "秀": 31450, + "細": 31451, + "ပ": 31452, + "御": 31453, + "拖": 31454, + "좌": 31455, + "ؤ": 31456, + "绍": 31457, + "ỹ": 31458, + "참": 31459, + "향": 31460, + "Ď": 31461, + "끝": 31462, + "민": 31463, + "ძ": 31464, + "贵": 31465, + "纪": 31466, + "秋": 31467, + "ಕ": 31468, + "ӏ": 31469, + "網": 31470, + "铺": 31471, + "恋": 31472, + "fl": 31473, + "兼": 31474, + "羽": 31475, + "창": 31476, + "啟": 31477, + "弟": 31478, + "년": 31479, + "慢": 31480, + "효": 31481, + "許": 31482, + "硬": 31483, + "잘": 31484, + "템": 31485, + "્": 31486, + "න": 31487, + "術": 31488, + "ڈ": 31489, + "溪": 31490, + "": 31491, + "暴": 31492, + "混": 31493, + "夢": 31494, + "랑": 31495, + "আ": 31496, + "還": 31497, + "探": 31498, + "祖": 31499, + "织": 31500, + "軍": 31501, + "թ": 31502, + "務": 31503, + "艺": 31504, + "ད": 31505, + "ት": 31506, + "ṁ": 31507, + "應": 31508, + "擇": 31509, + "🥰": 31510, + "ķ": 31511, + "渡": 31512, + "葉": 31513, + "령": 31514, + "決": 31515, + "刀": 31516, + "從": 31517, + "變": 31518, + "올": 31519, + "💪": 31520, + "灣": 31521, + "ር": 31522, + "평": 31523, + "衣": 31524, + "😄": 31525, + "ി": 31526, + "ჩ": 31527, + "ὁ": 31528, + "ほ": 31529, + "Û": 31530, + "চ": 31531, + "ර": 31532, + "製": 31533, + "隊": 31534, + "₱": 31535, + "纳": 31536, + "赖": 31537, + "农": 31538, + "桥": 31539, + "ỳ": 31540, + "🏾": 31541, + "阻": 31542, + "ជ": 31543, + "秘": 31544, + "박": 31545, + "伤": 31546, + "稿": 31547, + "ం": 31548, + "拦": 31549, + "넣": 31550, + "💕": 31551, + "₁": 31552, + "宿": 31553, + "錄": 31554, + "镜": 31555, + "채": 31556, + "Ə": 31557, + "ང": 31558, + "⇔": 31559, + "☼": 31560, + "ུ": 31561, + "党": 31562, + "급": 31563, + "洲": 31564, + "ղ": 31565, + "說": 31566, + "ĭ": 31567, + "尝": 31568, + "담": 31569, + "फ": 31570, + "哥": 31571, + "圣": 31572, + "萨": 31573, + "😏": 31574, + "ʏ": 31575, + "ெ": 31576, + "丁": 31577, + "虎": 31578, + "권": 31579, + "善": 31580, + "岩": 31581, + "커": 31582, + "◦": 31583, + "抛": 31584, + "석": 31585, + "Έ": 31586, + "宣": 31587, + "拳": 31588, + "팅": 31589, + "枚": 31590, + "洛": 31591, + "証": 31592, + "陵": 31593, + "佐": 31594, + "館": 31595, + "누": 31596, + "돌": 31597, + "₄": 31598, + "稱": 31599, + "聊": 31600, + "車": 31601, + "루": 31602, + "״": 31603, + "ಠ": 31604, + "庫": 31605, + "མ": 31606, + "統": 31607, + "련": 31608, + "़": 31609, + "ṯ": 31610, + "ക": 31611, + "旗": 31612, + "励": 31613, + "紀": 31614, + "忠": 31615, + "າ": 31616, + "杨": 31617, + "丹": 31618, + "Ù": 31619, + "ฝ": 31620, + "却": 31621, + "舞": 31622, + "轉": 31623, + "တ": 31624, + "丽": 31625, + "借": 31626, + "ා": 31627, + "ょ": 31628, + "옵": 31629, + "편": 31630, + "蒙": 31631, + "衡": 31632, + "ʋ": 31633, + "叶": 31634, + "̇": 31635, + "⬜": 31636, + "🇺": 31637, + "Հ": 31638, + "谢": 31639, + "Ą": 31640, + "ே": 31641, + "ằ": 31642, + "既": 31643, + "济": 31644, + "≯": 31645, + "準": 31646, + "답": 31647, + "ಲ": 31648, + "残": 31649, + "虑": 31650, + "̆": 31651, + "┘": 31652, + "急": 31653, + "招": 31654, + "막": 31655, + "≮": 31656, + "產": 31657, + "Ṭ": 31658, + "😢": 31659, + "垂": 31660, + "親": 31661, + "ģ": 31662, + "־": 31663, + "猫": 31664, + "ʟ": 31665, + "☃": 31666, + "✪": 31667, + "刪": 31668, + "胡": 31669, + "☉": 31670, + "晚": 31671, + "군": 31672, + "승": 31673, + "న": 31674, + "ὴ": 31675, + "曾": 31676, + "論": 31677, + "ɯ": 31678, + "త": 31679, + "戰": 31680, + "鱼": 31681, + "ǧ": 31682, + "寶": 31683, + "특": 31684, + "💯": 31685, + "崎": 31686, + "甘": 31687, + "該": 31688, + "링": 31689, + "😡": 31690, + "उ": 31691, + "ែ": 31692, + "頁": 31693, + "큰": 31694, + "➤": 31695, + "총": 31696, + "💰": 31697, + "∂": 31698, + "毁": 31699, + "聖": 31700, + "麻": 31701, + "ʐ": 31702, + "敏": 31703, + "運": 31704, + "될": 31705, + "쓰": 31706, + "ಸ": 31707, + "စ": 31708, + "✦": 31709, + "젝": 31710, + "復": 31711, + "寻": 31712, + "茶": 31713, + "ਾ": 31714, + "竹": 31715, + "遇": 31716, + "順": 31717, + "며": 31718, + "累": 31719, + "ĝ": 31720, + "ˇ": 31721, + "覧": 31722, + "এ": 31723, + "株": 31724, + "취": 31725, + "ስ": 31726, + "争": 31727, + "势": 31728, + "宇": 31729, + "橋": 31730, + "Ӏ": 31731, + "堆": 31732, + "ⵙ": 31733, + "丶": 31734, + "棋": 31735, + "肉": 31736, + "የ": 31737, + "": 31738, + "❶": 31739, + "季": 31740, + "ል": 31741, + "殿": 31742, + "優": 31743, + "試": 31744, + "첫": 31745, + "Ό": 31746, + "戶": 31747, + "ண": 31748, + "羅": 31749, + "桃": 31750, + "립": 31751, + "浪": 31752, + "脑": 31753, + "😛": 31754, + "弃": 31755, + "炮": 31756, + "轻": 31757, + "울": 31758, + "": 31759, + "ヘ": 31760, + "奥": 31761, + "💜": 31762, + "忘": 31763, + "遠": 31764, + "飛": 31765, + "魏": 31766, + "Ē": 31767, + "汇": 31768, + "央": 31769, + "逆": 31770, + "露": 31771, + "須": 31772, + "ѐ": 31773, + "ḷ": 31774, + "ದ": 31775, + "✭": 31776, + "寄": 31777, + "盟": 31778, + "财": 31779, + "際": 31780, + "ἔ": 31781, + "ǫ": 31782, + "थ": 31783, + "ാ": 31784, + "宫": 31785, + "巨": 31786, + "途": 31787, + "ʹ": 31788, + "ಗ": 31789, + "帐": 31790, + "‪": 31791, + "拒": 31792, + "药": 31793, + "🙃": 31794, + "ŕ": 31795, + "亡": 31796, + "壁": 31797, + "ም": 31798, + "參": 31799, + "😩": 31800, + "շ": 31801, + "ವ": 31802, + "ណ": 31803, + "丰": 31804, + "獲": 31805, + "莉": 31806, + "좋": 31807, + "ရ": 31808, + "₦": 31809, + "겠": 31810, + "👉": 31811, + "吴": 31812, + "岡": 31813, + "诉": 31814, + "읽": 31815, + "🥺": 31816, + "爆": 31817, + "🇸": 31818, + "ভ": 31819, + "迭": 31820, + "엔": 31821, + "ἄ": 31822, + "捷": 31823, + "納": 31824, + "邀": 31825, + "ಯ": 31826, + "爾": 31827, + "船": 31828, + "赞": 31829, + "胜": 31830, + "므": 31831, + "သ": 31832, + "構": 31833, + "磁": 31834, + "冰": 31835, + "딩": 31836, + "ે": 31837, + "媒": 31838, + "繁": 31839, + "☠": 31840, + "❒": 31841, + "仪": 31842, + "렬": 31843, + "昭": 31844, + "珠": 31845, + "離": 31846, + "ན": 31847, + "ల": 31848, + "ತ": 31849, + "拷": 31850, + "粉": 31851, + "벤": 31852, + "⇽": 31853, + "乌": 31854, + "拥": 31855, + "ҳ": 31856, + "ය": 31857, + "ེ": 31858, + "仙": 31859, + "塊": 31860, + "幅": 31861, + "🎉": 31862, + "Մ": 31863, + "跨": 31864, + "ٔ": 31865, + "恩": 31866, + "损": 31867, + "养": 31868, + "奈": 31869, + "ǀ": 31870, + "严": 31871, + "卫": 31872, + "迟": 31873, + "様": 31874, + "裡": 31875, + "난": 31876, + "았": 31877, + "͜": 31878, + "Ζ": 31879, + "ਰ": 31880, + "պ": 31881, + "ং": 31882, + "丢": 31883, + "伝": 31884, + "컨": 31885, + "ව": 31886, + "ြ": 31887, + "冷": 31888, + "遗": 31889, + "銀": 31890, + "̌": 31891, + "ᴜ": 31892, + "瑞": 31893, + "ฌ": 31894, + "❍": 31895, + "ふ": 31896, + "聚": 31897, + "碎": 31898, + "衛": 31899, + "অ": 31900, + "ញ": 31901, + "퍼": 31902, + "Ս": 31903, + "ນ": 31904, + "ẓ": 31905, + "✌": 31906, + "孝": 31907, + "陳": 31908, + "히": 31909, + "ක": 31910, + "黒": 31911, + "💖": 31912, + "ḩ": 31913, + "応": 31914, + "饰": 31915, + "∪": 31916, + "宜": 31917, + "樂": 31918, + "則": 31919, + "勇": 31920, + "徐": 31921, + "ⵓ": 31922, + "權": 31923, + "鲁": 31924, + "‟": 31925, + "庭": 31926, + "苗": 31927, + "🔴": 31928, + "闲": 31929, + "독": 31930, + "ɹ": 31931, + "ҽ": 31932, + "ថ": 31933, + "宏": 31934, + "尊": 31935, + "總": 31936, + "裝": 31937, + "ම": 31938, + "▸": 31939, + "測": 31940, + "ಮ": 31941, + "አ": 31942, + "轩": 31943, + "兄": 31944, + "剑": 31945, + "ન": 31946, + "朱": 31947, + "ǝ": 31948, + "Ḩ": 31949, + "担": 31950, + "灰": 31951, + "讲": 31952, + "롤": 31953, + "︎": 31954, + "😤": 31955, + "ោ": 31956, + "애": 31957, + "였": 31958, + "질": 31959, + "振": 31960, + "灯": 31961, + "ĉ": 31962, + "ස": 31963, + "閉": 31964, + "램": 31965, + "ಂ": 31966, + "げ": 31967, + "̧": 31968, + "狂": 31969, + "融": 31970, + "仍": 31971, + "實": 31972, + "楽": 31973, + "範": 31974, + "ٌ": 31975, + "వ": 31976, + "嵌": 31977, + "摩": 31978, + "袁": 31979, + "ষ": 31980, + "乎": 31981, + "규": 31982, + "岗": 31983, + "糊": 31984, + "క": 31985, + "雲": 31986, + "심": 31987, + "ई": 31988, + "འ": 31989, + "ἡ": 31990, + "丝": 31991, + "Ħ": 31992, + "ٍ": 31993, + "ٓ": 31994, + "အ": 31995, + "執": 31996, + "벨": 31997, + "ゼ": 31998, + "梦": 31999, + "вле": 32000, + "ак": 32001, + "▁мы": 32002, + "ек": 32003, + "дет": 32004, + "жет": 32005, + "вто": 32006, + "шь": 32007, + "▁уже": 32008, + "▁жиз": 32009, + "▁ее": 32010, + "нных": 32011, + "бя": 32012, + "▁может": 32013, + "▁еще": 32014, + "▁если": 32015, + "▁предста": 32016, + "▁Это": 32017, + "вори": 32018, + "кую": 32019, + "▁мне": 32020, + "▁быть": 32021, + "енно": 32022, + "еня": 32023, + "▁ты": 32024, + "нные": 32025, + "▁можно": 32026, + "▁есть": 32027, + "тически": 32028, + "тому": 32029, + "чень": 32030, + "кие": 32031, + "вления": 32032, + "▁ак": 32033, + "▁меня": 32034, + "▁будет": 32035, + "вает": 32036, + "нако": 32037, + "▁свое": 32038, + "▁чу": 32039, + "можно": 32040, + "вно": 32041, + "▁дела": 32042, + "▁даже": 32043, + "▁которо": 32044, + "▁очень": 32045, + "▁ну": 32046, + "ез": 32047, + "▁поз": 32048, + "▁себя": 32049, + "чь": 32050, + "▁ему": 32051, + "▁сказа": 32052, + "▁прои": 32053, + "▁действи": 32054, + "нк": 32055, + "нный": 32056, + "▁каж": 32057, + "▁эк": 32058, + "менно": 32059, + "рта": 32060, + "бой": 32061, + "торы": 32062, + "▁говори": 32063, + "▁суще": 32064, + "▁цен": 32065, + "льной": 32066, + "▁опреде": 32067, + "▁следу": 32068, + "▁всех": 32069, + "бле": 32070, + "▁уста": 32071, + "▁инте": 32072, + "▁нас": 32073, + "СС": 32074, + "кое": 32075, + "▁друго": 32076, + "йте": 32077, + "▁всего": 32078, + "ностью": 32079, + "▁буду": 32080, + "▁Од": 32081, + "▁сдела": 32082, + "▁жизни": 32083, + "чных": 32084, + "доб": 32085, + "▁стро": 32086, + "▁Если": 32087, + "▁вопро": 32088, + "▁этой": 32089, + "нера": 32090, + "вание": 32091, + "▁больше": 32092, + "▁вз": 32093, + "▁возможно": 32094, + "▁могу": 32095, + "вление": 32096, + "▁день": 32097, + "▁этот": 32098, + "▁соб": 32099, + "▁уда": 32100, + "▁фу": 32101, + "▁сооб": 32102, + "стей": 32103, + "▁просто": 32104, + "▁Как": 32105, + "ваться": 32106, + "ственно": 32107, + "▁своей": 32108, + "держа": 32109, + "▁несколько": 32110, + "лез": 32111, + "обходи": 32112, + "▁наз": 32113, + "▁неко": 32114, + "▁поч": 32115, + "кая": 32116, + "▁вс": 32117, + "▁нет": 32118, + "▁счита": 32119, + "вается": 32120, + "▁самы": 32121, + "казыва": 32122, + "▁себе": 32123, + "▁совер": 32124, + "нти": 32125, + "▁кто": 32126, + "▁необходи": 32127, + "рук": 32128, + "десь": 32129, + "льных": 32130, + "зации": 32131, + "▁мог": 32132, + "яс": 32133, + "▁упра": 32134, + "ети": 32135, + "дели": 32136, + "льный": 32137, + "шел": 32138, + "▁поэ": 32139, + "▁смо": 32140, + "▁чет": 32141, + "▁напра": 32142, + "грам": 32143, + "вить": 32144, + "▁Алек": 32145, + "▁слова": 32146, + "▁лишь": 32147, + "▁хоро": 32148, + "щая": 32149, + "▁вне": 32150, + "чет": 32151, + "▁встре": 32152, + "▁которая": 32153, + "влен": 32154, + "▁времени": 32155, + "▁вну": 32156, + "стя": 32157, + "▁человека": 32158, + "бира": 32159, + "йти": 32160, + "▁благо": 32161, + "чего": 32162, + "▁соот": 32163, + "вают": 32164, + "воз": 32165, + "чные": 32166, + "▁зада": 32167, + "личе": 32168, + "▁нем": 32169, + "ровать": 32170, + "нить": 32171, + "▁обы": 32172, + "▁способ": 32173, + "▁свою": 32174, + "▁каче": 32175, + "▁луч": 32176, + "пример": 32177, + "▁которой": 32178, + "▁людей": 32179, + "▁других": 32180, + "дой": 32181, + "▁продол": 32182, + "▁ры": 32183, + "▁стре": 32184, + "▁своих": 32185, + "▁позво": 32186, + "нт": 32187, + "▁значи": 32188, + "туры": 32189, + "▁эта": 32190, + "меча": 32191, + "руг": 32192, + "перь": 32193, + "слови": 32194, + "льные": 32195, + "пас": 32196, + "▁проис": 32197, + "▁поста": 32198, + "▁поня": 32199, + "▁матери": 32200, + "▁многи": 32201, + "▁свой": 32202, + "▁образом": 32203, + "вших": 32204, + "щения": 32205, + "▁Однако": 32206, + "▁вра": 32207, + "▁называ": 32208, + "ствует": 32209, + "▁там": 32210, + "▁виде": 32211, + "тру": 32212, + "▁Что": 32213, + "▁могут": 32214, + "ять": 32215, + "ключа": 32216, + "▁соответ": 32217, + "▁ху": 32218, + "вести": 32219, + "тельства": 32220, + "▁ответ": 32221, + "▁интере": 32222, + "чем": 32223, + "▁Для": 32224, + "▁нам": 32225, + "▁расска": 32226, + "ружи": 32227, + "нной": 32228, + "▁доста": 32229, + "▁этих": 32230, + "▁доро": 32231, + "▁оказа": 32232, + "▁нео": 32233, + "хва": 32234, + "▁пробле": 32235, + "нец": 32236, + "год": 32237, + "▁уве": 32238, + "▁ней": 32239, + "▁своего": 32240, + "кус": 32241, + "▁оче": 32242, + "щих": 32243, + "▁согла": 32244, + "▁случае": 32245, + "чный": 32246, + "вляет": 32247, + "▁двух": 32248, + "нет": 32249, + "▁чув": 32250, + "рения": 32251, + "▁иде": 32252, + "▁особ": 32253, + "ствие": 32254, + "тиво": 32255, + "нди": 32256, + "строй": 32257, + "ложи": 32258, + "зма": 32259, + "роме": 32260, + "▁выпол": 32261, + "▁разли": 32262, + "▁помощ": 32263, + "▁показа": 32264, + "▁Мы": 32265, + "▁глу": 32266, + "верх": 32267, + "▁некоторы": 32268, + "▁хотя": 32269, + "вую": 32270, + "▁всегда": 32271, + "нуть": 32272, + "▁тот": 32273, + "▁информа": 32274, + "▁вот": 32275, + "шие": 32276, + "час": 32277, + "▁потому": 32278, + "держи": 32279, + "тября": 32280, + "▁проек": 32281, + "ведения": 32282, + "▁тогда": 32283, + "сут": 32284, + "▁фак": 32285, + "▁выра": 32286, + "вшие": 32287, + "▁тя": 32288, + "▁жизнь": 32289, + "▁работы": 32290, + "виси": 32291, + "фф": 32292, + "ческая": 32293, + "стью": 32294, + "▁ог": 32295, + "▁которого": 32296, + "▁сам": 32297, + "ющей": 32298, + "▁здесь": 32299, + "виде": 32300, + "▁переда": 32301, + "скому": 32302, + "пита": 32303, + "мости": 32304, + "прия": 32305, + "ющего": 32306, + "зии": 32307, + "▁услови": 32308, + "что": 32309, + "шло": 32310, + "▁стать": 32311, + "▁програм": 32312, + "▁сла": 32313, + "▁пока": 32314, + "▁уров": 32315, + "стран": 32316, + "▁конце": 32317, + "боль": 32318, + "▁сра": 32319, + "волю": 32320, + "▁сме": 32321, + "щение": 32322, + "воря": 32323, + "вари": 32324, + "▁исследова": 32325, + "санд": 32326, + "clud": 32327, + "▁пор": 32328, + "▁женщи": 32329, + "▁вся": 32330, + "▁собой": 32331, + "ете": 32332, + "▁большо": 32333, + "▁защи": 32334, + "жении": 32335, + "▁дости": 32336, + "▁пря": 32337, + "цией": 32338, + "▁жа": 32339, + "▁ше": 32340, + "▁Когда": 32341, + "▁сист": 32342, + "ственного": 32343, + "▁реши": 32344, + "блю": 32345, + "вил": 32346, + "щий": 32347, + "дра": 32348, + "зиден": 32349, + "▁понима": 32350, + "▁недо": 32351, + "▁одной": 32352, + "▁именно": 32353, + "▁упо": 32354, + "▁Они": 32355, + "▁спи": 32356, + "циали": 32357, + "ствия": 32358, + "тных": 32359, + "▁ря": 32360, + "тельной": 32361, + "▁количе": 32362, + "рую": 32363, + "туа": 32364, + "▁ним": 32365, + "тельство": 32366, + "▁наи": 32367, + "нно": 32368, + "▁нужно": 32369, + "▁элек": 32370, + "тр": 32371, + "ющим": 32372, + "▁часто": 32373, + "▁внима": 32374, + "▁стороны": 32375, + "▁ино": 32376, + "▁такой": 32377, + "▁должно": 32378, + "ору": 32379, + "▁почти": 32380, + "▁тыся": 32381, + "▁противо": 32382, + "▁вместе": 32383, + "кам": 32384, + "▁обя": 32385, + "ческое": 32386, + "нци": 32387, + "▁даль": 32388, + "▁любо": 32389, + "тельных": 32390, + "▁изме": 32391, + "▁пы": 32392, + "▁дерев": 32393, + "жды": 32394, + "▁использу": 32395, + "стой": 32396, + "▁люди": 32397, + "▁непо": 32398, + "▁объек": 32399, + "▁ска": 32400, + "▁затем": 32401, + "лии": 32402, + "▁надо": 32403, + "дви": 32404, + "▁сказал": 32405, + "▁осу": 32406, + "▁начина": 32407, + "▁заня": 32408, + "▁свобо": 32409, + "щей": 32410, + "▁предпо": 32411, + "▁круп": 32412, + "▁дело": 32413, + "сем": 32414, + "ственных": 32415, + "▁должен": 32416, + "грани": 32417, + "зм": 32418, + "рах": 32419, + "пуска": 32420, + "▁лег": 32421, + "▁потом": 32422, + "▁другие": 32423, + "▁имеет": 32424, + "▁взя": 32425, + "▁искус": 32426, + "▁настоя": 32427, + "▁ничего": 32428, + "▁должны": 32429, + "нечно": 32430, + "▁весь": 32431, + "▁сохра": 32432, + "▁написа": 32433, + "▁чего": 32434, + "труд": 32435, + "щие": 32436, + "трен": 32437, + "▁генера": 32438, + "▁пси": 32439, + "тельные": 32440, + "▁экономи": 32441, + "▁современ": 32442, + "лн": 32443, + "▁гор": 32444, + "тить": 32445, + "ствии": 32446, + "ерт": 32447, + "чер": 32448, + "▁наро": 32449, + "▁сей": 32450, + "▁другой": 32451, + "чей": 32452, + "▁вам": 32453, + "нул": 32454, + "нес": 32455, + "сколь": 32456, + "явля": 32457, + "▁тоже": 32458, + "▁жу": 32459, + "рования": 32460, + "▁неме": 32461, + "ственный": 32462, + "еха": 32463, + "▁числе": 32464, + "▁отпра": 32465, + "▁производ": 32466, + "▁сен": 32467, + "▁теперь": 32468, + "мыш": 32469, + "▁ника": 32470, + "▁испол": 32471, + "пусти": 32472, + "имо": 32473, + "▁получа": 32474, + "▁обеспе": 32475, + "шем": 32476, + "▁литера": 32477, + "вшего": 32478, + "▁мето": 32479, + "▁муж": 32480, + "ницы": 32481, + "▁жела": 32482, + "▁которое": 32483, + "▁уг": 32484, + "льное": 32485, + "ждение": 32486, + "шее": 32487, + "▁мину": 32488, + "чему": 32489, + "пере": 32490, + "▁одного": 32491, + "▁отноше": 32492, + "▁вас": 32493, + "емо": 32494, + "▁подоб": 32495, + "тельный": 32496, + "▁Она": 32497, + "виа": 32498, + "гото": 32499, + "▁физи": 32500, + "▁мини": 32501, + "▁меся": 32502, + "тый": 32503, + "▁продолжа": 32504, + "▁зако": 32505, + "жида": 32506, + "щего": 32507, + "шую": 32508, + "▁важ": 32509, + "▁представи": 32510, + "нской": 32511, + "▁дума": 32512, + "тельного": 32513, + "▁связи": 32514, + "няя": 32515, + "▁бое": 32516, + "▁разрабо": 32517, + "щее": 32518, + "или": 32519, + "▁четы": 32520, + "льная": 32521, + "▁обна": 32522, + "▁деся": 32523, + "▁подо": 32524, + "▁однако": 32525, + "▁относи": 32526, + "▁будут": 32527, + "▁постоя": 32528, + "▁Его": 32529, + "▁менее": 32530, + "▁истории": 32531, + "меня": 32532, + "годня": 32533, + "ществ": 32534, + "▁россий": 32535, + "вили": 32536, + "там": 32537, + "пыт": 32538, + "▁качестве": 32539, + "зов": 32540, + "струк": 32541, + "▁сим": 32542, + "▁среди": 32543, + "▁расс": 32544, + "чить": 32545, + "▁всем": 32546, + "▁гражда": 32547, + "▁пример": 32548, + "тря": 32549, + "йской": 32550, + "▁памя": 32551, + "▁проду": 32552, + "дить": 32553, + "доро": 32554, + "▁необходимо": 32555, + "скольку": 32556, + "хода": 32557, + "▁потре": 32558, + "жден": 32559, + "▁национа": 32560, + "▁утвер": 32561, + "▁назна": 32562, + "▁тому": 32563, + "▁годы": 32564, + "▁дли": 32565, + "▁мир": 32566, + "▁спа": 32567, + "седа": 32568, + "▁нико": 32569, + "цов": 32570, + "▁неу": 32571, + "▁например": 32572, + "точно": 32573, + "воль": 32574, + "▁связа": 32575, + "▁хозя": 32576, + "нского": 32577, + "вался": 32578, + "▁содержа": 32579, + "ффек": 32580, + "▁принима": 32581, + "обще": 32582, + "▁кру": 32583, + "пыта": 32584, + "▁поме": 32585, + "▁существо": 32586, + "тая": 32587, + "▁места": 32588, + "▁прекра": 32589, + "▁интер": 32590, + "▁ян": 32591, + "▁тео": 32592, + "тых": 32593, + "жной": 32594, + "▁приме": 32595, + "▁смы": 32596, + "▁бан": 32597, + "▁стали": 32598, + "▁кли": 32599, + "лой": 32600, + "▁какой": 32601, + "▁маши": 32602, + "▁наде": 32603, + "▁ситуа": 32604, + "▁скоро": 32605, + "▁чле": 32606, + "▁Под": 32607, + "ить": 32608, + "чил": 32609, + "нам": 32610, + "▁нор": 32611, + "вались": 32612, + "▁сли": 32613, + "▁еди": 32614, + "ющее": 32615, + "▁эту": 32616, + "▁возду": 32617, + "▁особенно": 32618, + "нев": 32619, + "лого": 32620, + "▁котором": 32621, + "чным": 32622, + "▁люби": 32623, + "▁кажды": 32624, + "▁тут": 32625, + "пря": 32626, + "▁отде": 32627, + "▁наблю": 32628, + "▁обу": 32629, + "▁изу": 32630, + "деть": 32631, + "▁универ": 32632, + "▁этим": 32633, + "▁разме": 32634, + "ляет": 32635, + "кими": 32636, + "▁причи": 32637, + "▁своим": 32638, + "▁пле": 32639, + "▁влия": 32640, + "так": 32641, + "▁отра": 32642, + "смотре": 32643, + "▁социаль": 32644, + "▁возра": 32645, + "▁специаль": 32646, + "▁хорошо": 32647, + "более": 32648, + "▁энер": 32649, + "▁доку": 32650, + "▁Вот": 32651, + "док": 32652, + "гии": 32653, + "▁спра": 32654, + "▁дет": 32655, + "▁поле": 32656, + "гру": 32657, + "льным": 32658, + "строе": 32659, + "▁системы": 32660, + "▁сейчас": 32661, + "▁Бы": 32662, + "▁эле": 32663, + "▁гре": 32664, + "вшись": 32665, + "их": 32666, + "сил": 32667, + "ваются": 32668, + "▁страны": 32669, + "▁собы": 32670, + "▁внутрен": 32671, + "щую": 32672, + "▁реаль": 32673, + "▁стран": 32674, + "▁отли": 32675, + "▁распро": 32676, + "chool": 32677, + "▁ещё": 32678, + "▁дер": 32679, + "жать": 32680, + "▁ей": 32681, + "▁прав": 32682, + "▁пись": 32683, + "▁сотруд": 32684, + "▁кора": 32685, + "▁тан": 32686, + "сили": 32687, + "выми": 32688, + "▁диа": 32689, + "▁кол": 32690, + "▁всё": 32691, + "▁оно": 32692, + "диви": 32693, + "вобо": 32694, + "▁первый": 32695, + "▁требо": 32696, + "▁таких": 32697, + "▁появи": 32698, + "▁бес": 32699, + "▁нару": 32700, + "матри": 32701, + "▁широ": 32702, + "министра": 32703, + "▁уго": 32704, + "▁электро": 32705, + "жных": 32706, + "▁тол": 32707, + "▁возвра": 32708, + "▁глаза": 32709, + "еры": 32710, + "зовать": 32711, + "▁предо": 32712, + "▁сделать": 32713, + "▁убе": 32714, + "▁объяс": 32715, + "▁уч": 32716, + "▁результате": 32717, + "▁Ну": 32718, + "шенно": 32719, + "пли": 32720, + "▁прода": 32721, + "жем": 32722, + "▁Раз": 32723, + "▁Гла": 32724, + "▁вопрос": 32725, + "ющая": 32726, + "▁власти": 32727, + "▁борь": 32728, + "нил": 32729, + "сной": 32730, + "▁течение": 32731, + "чная": 32732, + "лый": 32733, + "тые": 32734, + "▁авиа": 32735, + "мена": 32736, + "▁изобра": 32737, + "▁Пере": 32738, + "дит": 32739, + "▁момент": 32740, + "▁армии": 32741, + "рот": 32742, + "лосо": 32743, + "пара": 32744, + "дца": 32745, + "▁закон": 32746, + "будь": 32747, + "лки": 32748, + "▁друг": 32749, + "▁собствен": 32750, + "обре": 32751, + "мая": 32752, + "▁деле": 32753, + "чное": 32754, + "ями": 32755, + "дро": 32756, + "▁принци": 32757, + "▁удо": 32758, + "▁тек": 32759, + "нять": 32760, + "▁сразу": 32761, + "▁поэтому": 32762, + "▁немец": 32763, + "▁которую": 32764, + "▁собра": 32765, + "▁безо": 32766, + "▁строи": 32767, + "▁чита": 32768, + "ссии": 32769, + "▁ноя": 32770, + "▁неболь": 32771, + "▁свет": 32772, + "▁пози": 32773, + "▁вза": 32774, + "скими": 32775, + "▁указа": 32776, + "▁устано": 32777, + "▁доба": 32778, + "▁сами": 32779, + "тельное": 32780, + "▁Украи": 32781, + "рить": 32782, + "▁миро": 32783, + "мышлен": 32784, + "▁publ": 32785, + "▁восста": 32786, + "чай": 32787, + "▁помощью": 32788, + "ешь": 32789, + "ческую": 32790, + "менты": 32791, + "▁похо": 32792, + "▁такие": 32793, + "рд": 32794, + "▁мя": 32795, + "▁президен": 32796, + "▁представля": 32797, + "▁внеш": 32798, + "▁мень": 32799, + "вало": 32800, + "▁следует": 32801, + "▁никогда": 32802, + "▁отдель": 32803, + "▁револю": 32804, + "▁материа": 32805, + "▁эффек": 32806, + "▁Поэ": 32807, + "евра": 32808, + "▁род": 32809, + "▁теа": 32810, + "▁францу": 32811, + "жит": 32812, + "▁сказать": 32813, + "вли": 32814, + "▁выше": 32815, + "знача": 32816, + "▁исклю": 32817, + "▁вол": 32818, + "ум": 32819, + "▁очеред": 32820, + "▁диви": 32821, + "числе": 32822, + "циа": 32823, + "рует": 32824, + "▁фрон": 32825, + "▁кня": 32826, + "нице": 32827, + "▁древ": 32828, + "▁лучше": 32829, + "тной": 32830, + "жей": 32831, + "▁территории": 32832, + "▁контро": 32833, + "▁включа": 32834, + "▁забо": 32835, + "▁получил": 32836, + "▁кро": 32837, + "▁начала": 32838, + "▁пора": 32839, + "▁Ива": 32840, + "все": 32841, + "лых": 32842, + "нибудь": 32843, + "▁продук": 32844, + "▁заклю": 32845, + "▁Совет": 32846, + "▁заме": 32847, + "лда": 32848, + "▁ограни": 32849, + "▁мало": 32850, + "емых": 32851, + "ческим": 32852, + "▁начале": 32853, + "вре": 32854, + "держ": 32855, + "rans": 32856, + "▁распростра": 32857, + "сона": 32858, + "▁дня": 32859, + "риан": 32860, + "▁период": 32861, + "▁центра": 32862, + "▁един": 32863, + "▁произо": 32864, + "▁возможность": 32865, + "▁быстро": 32866, + "▁встреча": 32867, + "бля": 32868, + "сить": 32869, + "▁четыре": 32870, + "лью": 32871, + "цами": 32872, + "▁сере": 32873, + "ям": 32874, + "влении": 32875, + "вшей": 32876, + "▁либо": 32877, + "▁определен": 32878, + "▁зе": 32879, + "вода": 32880, + "▁площа": 32881, + "▁милли": 32882, + "▁экс": 32883, + "лень": 32884, + "тай": 32885, + "ровал": 32886, + "▁началь": 32887, + "ствовать": 32888, + "▁самом": 32889, + "▁приро": 32890, + "▁говоря": 32891, + "ческом": 32892, + "нулся": 32893, + "▁пя": 32894, + "▁второй": 32895, + "▁восто": 32896, + "полне": 32897, + "▁работу": 32898, + "писы": 32899, + "▁каза": 32900, + "▁осуществ": 32901, + "▁бога": 32902, + "▁каждый": 32903, + "ствуют": 32904, + "▁Боль": 32905, + "ясь": 32906, + "▁срав": 32907, + "шком": 32908, + "▁меди": 32909, + "▁вообще": 32910, + "▁таким": 32911, + "вольно": 32912, + "▁пове": 32913, + "▁замет": 32914, + "▁кры": 32915, + "чности": 32916, + "ментов": 32917, + "▁говорит": 32918, + "лые": 32919, + "юз": 32920, + "▁работ": 32921, + "▁поскольку": 32922, + "▁уме": 32923, + "▁дра": 32924, + "еру": 32925, + "▁группы": 32926, + "дума": 32927, + "▁взгля": 32928, + "нский": 32929, + "гна": 32930, + "▁роль": 32931, + "▁тяже": 32932, + "▁развития": 32933, + "блей": 32934, + "▁кур": 32935, + "жо": 32936, + "рави": 32937, + "▁край": 32938, + "▁зависи": 32939, + "▁пыта": 32940, + "▁реали": 32941, + "шать": 32942, + "▁Поэтому": 32943, + "▁узна": 32944, + "▁анти": 32945, + "▁стала": 32946, + "пени": 32947, + "тербур": 32948, + "▁источ": 32949, + "рию": 32950, + "▁стало": 32951, + "тических": 32952, + "▁Герма": 32953, + "▁ск": 32954, + "лета": 32955, + "▁сегодня": 32956, + "част": 32957, + "дать": 32958, + "роя": 32959, + "▁РФ": 32960, + "▁психо": 32961, + "▁пользова": 32962, + "▁обяза": 32963, + "▁гото": 32964, + "рование": 32965, + "▁созна": 32966, + "▁такое": 32967, + "▁совершенно": 32968, + "муще": 32969, + "тельным": 32970, + "образ": 32971, + "водя": 32972, + "meric": 32973, + "ходят": 32974, + "▁находится": 32975, + "▁выступа": 32976, + "даря": 32977, + "▁зву": 32978, + "надле": 32979, + "▁описа": 32980, + "▁отношения": 32981, + "▁тро": 32982, + "▁достаточно": 32983, + "▁большин": 32984, + "▁тради": 32985, + "дения": 32986, + "▁неиз": 32987, + "льзя": 32988, + "▁огром": 32989, + "▁детей": 32990, + "они": 32991, + "▁этому": 32992, + "▁проводи": 32993, + "▁укра": 32994, + "▁многие": 32995, + "▁нее": 32996, + "▁рели": 32997, + "тек": 32998, + "▁месте": 32999, + "▁деятельности": 33000, + "▁публи": 33001, + "▁Кроме": 33002, + "онов": 33003, + "▁отве": 33004, + "▁поро": 33005, + "▁меха": 33006, + "ствовал": 33007, + "▁выс": 33008, + "▁компании": 33009, + "▁оборо": 33010, + "стом": 33011, + "ilm": 33012, + "▁тысяч": 33013, + "▁права": 33014, + "▁приве": 33015, + "▁всей": 33016, + "▁характер": 33017, + "▁конечно": 33018, + "▁смерти": 33019, + "▁каждо": 33020, + "тельности": 33021, + "▁снова": 33022, + "оз": 33023, + "▁ведь": 33024, + "чик": 33025, + "▁сце": 33026, + "▁оконча": 33027, + "▁многих": 33028, + "зем": 33029, + "мах": 33030, + "лит": 33031, + "▁самого": 33032, + "▁долго": 33033, + "▁пунк": 33034, + "лка": 33035, + "гер": 33036, + "рение": 33037, + "▁сопро": 33038, + "▁струк": 33039, + "▁принадле": 33040, + "говор": 33041, + "чку": 33042, + "▁хоте": 33043, + "▁Воз": 33044, + "пом": 33045, + "никами": 33046, + "▁требу": 33047, + "▁внимание": 33048, + "▁наиболее": 33049, + "щает": 33050, + "▁аб": 33051, + "лить": 33052, + "▁одним": 33053, + "▁конф": 33054, + "либо": 33055, + "гие": 33056, + "чества": 33057, + "щим": 33058, + "сок": 33059, + "лами": 33060, + "▁могли": 33061, + "ственные": 33062, + "▁сообщи": 33063, + "риа": 33064, + "▁заяви": 33065, + "тные": 33066, + "▁оши": 33067, + "моби": 33068, + "▁производи": 33069, + "▁мона": 33070, + "▁организации": 33071, + "▁техни": 33072, + "юсь": 33073, + "жные": 33074, + "▁хозяй": 33075, + "дут": 33076, + "дки": 33077, + "▁приходи": 33078, + "▁количество": 33079, + "▁близ": 33080, + "нного": 33081, + "▁руковод": 33082, + "▁всю": 33083, + "смотря": 33084, + "зад": 33085, + "▁прове": 33086, + "▁руководи": 33087, + "▁возник": 33088, + "▁превра": 33089, + "▁войска": 33090, + "▁администра": 33091, + "▁нашей": 33092, + "▁являются": 33093, + "▁стоя": 33094, + "ведение": 33095, + "▁делать": 33096, + "▁дней": 33097, + "зей": 33098, + "▁совсем": 33099, + "▁фото": 33100, + "тил": 33101, + "▁анали": 33102, + "▁степени": 33103, + "тный": 33104, + "▁несколь": 33105, + "▁пои": 33106, + "телями": 33107, + "жал": 33108, + "чном": 33109, + "▁Пред": 33110, + "▁почему": 33111, + "▁Americ": 33112, + "ложения": 33113, + "▁прямо": 33114, + "тка": 33115, + "▁Федера": 33116, + "▁соеди": 33117, + "▁имени": 33118, + "нений": 33119, + "▁которым": 33120, + "▁случай": 33121, + "▁разре": 33122, + "жить": 33123, + "▁выз": 33124, + "конец": 33125, + "▁отсут": 33126, + "рус": 33127, + "▁француз": 33128, + "▁филосо": 33129, + "▁преду": 33130, + "▁действия": 33131, + "▁практи": 33132, + "▁институ": 33133, + "нта": 33134, + "еты": 33135, + "▁завер": 33136, + "▁силы": 33137, + "▁сни": 33138, + "валось": 33139, + "▁обычно": 33140, + "личие": 33141, + "▁преступ": 33142, + "▁прежде": 33143, + "▁вид": 33144, + "▁повы": 33145, + "тере": 33146, + "шно": 33147, + "▁цар": 33148, + "бен": 33149, + "стно": 33150, + "▁назад": 33151, + "рам": 33152, + "ТА": 33153, + "▁друга": 33154, + "▁должна": 33155, + "▁види": 33156, + "мень": 33157, + "вь": 33158, + "▁некоторые": 33159, + "▁гер": 33160, + "▁твор": 33161, + "▁семь": 33162, + "▁зда": 33163, + "▁образ": 33164, + "пле": 33165, + "▁команди": 33166, + "▁мире": 33167, + "▁суб": 33168, + "▁поряд": 33169, + "деля": 33170, + "▁участие": 33171, + "тного": 33172, + "▁экспе": 33173, + "▁Ис": 33174, + "туре": 33175, + "▁равно": 33176, + "скоре": 33177, + "▁комму": 33178, + "▁международ": 33179, + "▁свиде": 33180, + "▁допол": 33181, + "нина": 33182, + "▁финан": 33183, + "▁двига": 33184, + "▁решение": 33185, + "▁ап": 33186, + "▁большой": 33187, + "▁золо": 33188, + "вок": 33189, + "лик": 33190, + "ссы": 33191, + "ложение": 33192, + "▁арти": 33193, + "▁прибы": 33194, + "емые": 33195, + "вей": 33196, + "лим": 33197, + "▁управления": 33198, + "▁капита": 33199, + "▁полностью": 33200, + "▁отмет": 33201, + "надца": 33202, + "owever": 33203, + "первые": 33204, + "торов": 33205, + "клады": 33206, + "ливо": 33207, + "хом": 33208, + "▁судь": 33209, + "дел": 33210, + "▁коле": 33211, + "▁форма": 33212, + "▁пово": 33213, + "ева": 33214, + "▁зве": 33215, + "▁данных": 33216, + "▁вспо": 33217, + "▁комплек": 33218, + "▁слишком": 33219, + "▁мере": 33220, + "▁попа": 33221, + "▁нес": 33222, + "▁серь": 33223, + "▁оби": 33224, + "▁вок": 33225, + "▁гг": 33226, + "▁сре": 33227, + "▁происходит": 33228, + "▁собира": 33229, + "▁спу": 33230, + "▁облада": 33231, + "▁тон": 33232, + "дами": 33233, + "stem": 33234, + "▁типа": 33235, + "▁поко": 33236, + "пасности": 33237, + "вшая": 33238, + "мых": 33239, + "▁освобо": 33240, + "▁такого": 33241, + "▁ними": 33242, + "ременно": 33243, + "чную": 33244, + "▁стоит": 33245, + "▁использовать": 33246, + "▁вариан": 33247, + "▁кино": 33248, + "льном": 33249, + "▁простран": 33250, + "▁государства": 33251, + "▁воору": 33252, + "▁повто": 33253, + "▁спро": 33254, + "▁поверх": 33255, + "ниях": 33256, + "▁специали": 33257, + "готов": 33258, + "▁уви": 33259, + "▁первой": 33260, + "▁Эти": 33261, + "▁захва": 33262, + "▁оте": 33263, + "▁находя": 33264, + "▁отда": 33265, + "▁попу": 33266, + "▁сна": 33267, + "▁пути": 33268, + "▁официаль": 33269, + "▁воды": 33270, + "▁глубо": 33271, + "▁стол": 33272, + "▁взаимо": 33273, + "▁мощ": 33274, + "▁треть": 33275, + "▁карти": 33276, + "мые": 33277, + "▁нельзя": 33278, + "▁желез": 33279, + "его": 33280, + "▁кам": 33281, + "▁общества": 33282, + "тельность": 33283, + "▁заста": 33284, + "▁англий": 33285, + "чать": 33286, + "ктора": 33287, + "▁имя": 33288, + "▁легко": 33289, + "▁буд": 33290, + "▁движения": 33291, + "▁болез": 33292, + "▁тебя": 33293, + "длен": 33294, + "▁множе": 33295, + "▁ды": 33296, + "▁выда": 33297, + "▁оружи": 33298, + "▁закры": 33299, + "теря": 33300, + "▁механи": 33301, + "езд": 33302, + "▁годов": 33303, + "мана": 33304, + "вов": 33305, + "новь": 33306, + "▁промышлен": 33307, + "▁дире": 33308, + "▁объеди": 33309, + "носи": 33310, + "▁наме": 33311, + "жением": 33312, + "▁средства": 33313, + "▁начал": 33314, + "▁есте": 33315, + "▁импера": 33316, + "тические": 33317, + "▁удалось": 33318, + "▁технологи": 33319, + "▁духов": 33320, + "▁тыс": 33321, + "лях": 33322, + "▁оказыва": 33323, + "ственным": 33324, + "▁руки": 33325, + "льную": 33326, + "▁ана": 33327, + "▁полови": 33328, + "▁тай": 33329, + "▁значение": 33330, + "тельная": 33331, + "жил": 33332, + "▁интерес": 33333, + "▁корпу": 33334, + "▁наши": 33335, + "ственное": 33336, + "пута": 33337, + "▁пожа": 33338, + "▁поги": 33339, + "жный": 33340, + "▁запа": 33341, + "▁Зем": 33342, + "нили": 33343, + "▁сил": 33344, + "ницу": 33345, + "▁ожида": 33346, + "▁иногда": 33347, + "▁обнаружи": 33348, + "рё": 33349, + "▁Мак": 33350, + "нка": 33351, + "▁ито": 33352, + "дко": 33353, + "рыв": 33354, + "хот": 33355, + "▁ощу": 33356, + "▁сум": 33357, + "▁предприя": 33358, + "▁верси": 33359, + "▁дене": 33360, + "▁различных": 33361, + "▁партии": 33362, + "влены": 33363, + "▁оди": 33364, + "▁поддерж": 33365, + "▁малень": 33366, + "▁секре": 33367, + "▁мой": 33368, + "▁пес": 33369, + "▁уничто": 33370, + "▁л": 33371, + "ступил": 33372, + "леко": 33373, + "рее": 33374, + "▁городе": 33375, + "▁название": 33376, + "▁устрой": 33377, + "дий": 33378, + "▁отлича": 33379, + "▁гро": 33380, + "▁автомоби": 33381, + "▁недоста": 33382, + "стоит": 33383, + "▁самых": 33384, + "▁новые": 33385, + "▁какие": 33386, + "шёл": 33387, + "▁невоз": 33388, + "▁система": 33389, + "▁своем": 33390, + "гами": 33391, + "▁число": 33392, + "▁поку": 33393, + "тым": 33394, + "сред": 33395, + "▁весьма": 33396, + "▁евро": 33397, + "▁вполне": 33398, + "▁становится": 33399, + "ныне": 33400, + "меть": 33401, + "рем": 33402, + "рко": 33403, + "▁симво": 33404, + "▁запад": 33405, + "▁работе": 33406, + "▁Москве": 33407, + "ющими": 33408, + "влека": 33409, + "тбо": 33410, + "▁исти": 33411, + "▁солда": 33412, + "форми": 33413, + "джа": 33414, + "▁трех": 33415, + "▁некоторых": 33416, + "нки": 33417, + "▁сю": 33418, + "лья": 33419, + "баты": 33420, + "чении": 33421, + "▁новых": 33422, + "шает": 33423, + "▁журна": 33424, + "вшим": 33425, + "▁пять": 33426, + "юза": 33427, + "▁приобре": 33428, + "навли": 33429, + "▁рез": 33430, + "▁норма": 33431, + "ссиона": 33432, + "▁отказа": 33433, + "щается": 33434, + "▁соба": 33435, + "▁имеют": 33436, + "▁предоста": 33437, + "дил": 33438, + "▁прак": 33439, + "дем": 33440, + "▁куда": 33441, + "валась": 33442, + "таки": 33443, + "чением": 33444, + "▁низ": 33445, + "▁ото": 33446, + "▁добро": 33447, + "▁Восто": 33448, + "▁аре": 33449, + "нении": 33450, + "▁рассказа": 33451, + "сей": 33452, + "новременно": 33453, + "▁разных": 33454, + "рит": 33455, + "▁действительно": 33456, + "▁кого": 33457, + "▁возможности": 33458, + "▁реше": 33459, + "▁довольно": 33460, + "принима": 33461, + "▁Этот": 33462, + "▁вновь": 33463, + "▁рабочи": 33464, + "▁информации": 33465, + "▁дальней": 33466, + "▁крити": 33467, + "влением": 33468, + "▁реак": 33469, + "чек": 33470, + "▁кроме": 33471, + "arri": 33472, + "▁форми": 33473, + "▁регу": 33474, + "▁ран": 33475, + "фици": 33476, + "▁мысли": 33477, + "строен": 33478, + "дах": 33479, + "▁фло": 33480, + "▁рав": 33481, + "щем": 33482, + "▁цели": 33483, + "▁радио": 33484, + "▁возмо": 33485, + "▁вызыва": 33486, + "▁возника": 33487, + "бран": 33488, + "▁наблюда": 33489, + "▁самым": 33490, + "▁спосо": 33491, + "▁Российской": 33492, + "нное": 33493, + "мар": 33494, + "▁зо": 33495, + "▁ори": 33496, + "жного": 33497, + "▁зая": 33498, + "гли": 33499, + "сят": 33500, + "▁обви": 33501, + "▁ца": 33502, + "рис": 33503, + "жений": 33504, + "iversity": 33505, + "гну": 33506, + "поли": 33507, + "нению": 33508, + "▁присут": 33509, + "стями": 33510, + "под": 33511, + "шему": 33512, + "деле": 33513, + "пись": 33514, + "▁зрения": 33515, + "чность": 33516, + "▁подтвер": 33517, + "сами": 33518, + "▁одном": 33519, + "▁транспо": 33520, + "начала": 33521, + "▁основе": 33522, + "▁холо": 33523, + "нная": 33524, + "▁соответству": 33525, + "нос": 33526, + "▁культуры": 33527, + "емый": 33528, + "▁конца": 33529, + "тать": 33530, + "▁нового": 33531, + "▁часов": 33532, + "бов": 33533, + "тию": 33534, + "тили": 33535, + "эн": 33536, + "▁рода": 33537, + "чными": 33538, + "▁тебе": 33539, + "▁расши": 33540, + "▁самой": 33541, + "шить": 33542, + "▁рассматри": 33543, + "мую": 33544, + "били": 33545, + "▁решения": 33546, + "ходить": 33547, + "▁означа": 33548, + "рос": 33549, + "логии": 33550, + "▁форму": 33551, + "▁деньги": 33552, + "overnment": 33553, + "▁новый": 33554, + "доров": 33555, + "читы": 33556, + "▁геро": 33557, + "▁вет": 33558, + "▁книги": 33559, + "нович": 33560, + "▁дом": 33561, + "▁Москов": 33562, + "▁запре": 33563, + "▁приз": 33564, + "▁коллек": 33565, + "шед": 33566, + "жете": 33567, + "▁помощи": 33568, + "▁Тем": 33569, + "▁посвя": 33570, + "▁слово": 33571, + "стья": 33572, + "▁Александр": 33573, + "▁реко": 33574, + "▁бю": 33575, + "▁нескольких": 33576, + "▁лица": 33577, + "мин": 33578, + "▁точки": 33579, + "▁персона": 33580, + "▁уси": 33581, + "рил": 33582, + "▁лицо": 33583, + "сед": 33584, + "▁уз": 33585, + "▁Теперь": 33586, + "СК": 33587, + "▁церков": 33588, + "няет": 33589, + "▁Свя": 33590, + "сам": 33591, + "▁никто": 33592, + "▁вокруг": 33593, + "▁утвержда": 33594, + "▁губер": 33595, + "▁последова": 33596, + "▁боя": 33597, + "▁определя": 33598, + "▁независи": 33599, + "мым": 33600, + "▁перво": 33601, + "▁найти": 33602, + "▁Здесь": 33603, + "▁Таким": 33604, + "бере": 33605, + "▁беспо": 33606, + "▁эпо": 33607, + "▁условиях": 33608, + "▁север": 33609, + "▁Украины": 33610, + "▁работать": 33611, + "лыша": 33612, + "езда": 33613, + "служи": 33614, + "▁совме": 33615, + "▁сторону": 33616, + "tend": 33617, + "▁напо": 33618, + "чета": 33619, + "няется": 33620, + "варти": 33621, + "▁напря": 33622, + "ссу": 33623, + "креп": 33624, + "▁одну": 33625, + "нику": 33626, + "▁\\-": 33627, + "жд": 33628, + "зация": 33629, + "▁религи": 33630, + "▁Цен": 33631, + "▁бло": 33632, + "лам": 33633, + "▁попро": 33634, + "▁идет": 33635, + "лению": 33636, + "шет": 33637, + "▁разру": 33638, + "▁наших": 33639, + "ерен": 33640, + "▁выбо": 33641, + "нюю": 33642, + "▁граждан": 33643, + "▁Анг": 33644, + "цем": 33645, + "▁очередь": 33646, + "лах": 33647, + "▁Зна": 33648, + "гой": 33649, + "▁меньше": 33650, + "шлось": 33651, + "ента": 33652, + "▁эпи": 33653, + "гает": 33654, + "жай": 33655, + "▁каса": 33656, + "▁медици": 33657, + "степ": 33658, + "▁ум": 33659, + "тья": 33660, + "стр": 33661, + "ристиан": 33662, + "▁ус": 33663, + "▁первого": 33664, + "▁потеря": 33665, + "▁Оте": 33666, + "▁минут": 33667, + "▁скры": 33668, + "▁цвет": 33669, + "руется": 33670, + "▁бом": 33671, + "▁характери": 33672, + "▁Затем": 33673, + "▁см": 33674, + "печат": 33675, + "▁практически": 33676, + "▁класси": 33677, + "▁рам": 33678, + "тром": 33679, + "▁иска": 33680, + "фу": 33681, + "▁вд": 33682, + "▁конку": 33683, + "▁впервые": 33684, + "▁значит": 33685, + "▁измени": 33686, + "зор": 33687, + "▁мол": 33688, + "▁самое": 33689, + "▁оде": 33690, + "▁путь": 33691, + "▁умер": 33692, + "▁внутри": 33693, + "▁иностран": 33694, + "ъек": 33695, + "вшихся": 33696, + "мокра": 33697, + "ющую": 33698, + "▁ходе": 33699, + "▁сом": 33700, + "▁рядом": 33701, + "▁подготов": 33702, + "ндии": 33703, + "▁столь": 33704, + "▁Север": 33705, + "▁улица": 33706, + "▁семей": 33707, + "▁труд": 33708, + "ционной": 33709, + "зывать": 33710, + "▁поддержи": 33711, + "зия": 33712, + "▁Вто": 33713, + "▁Например": 33714, + "▁немного": 33715, + "сю": 33716, + "▁ново": 33717, + "оте": 33718, + "▁частности": 33719, + "▁аэ": 33720, + "мый": 33721, + "жным": 33722, + "лье": 33723, + "▁кана": 33724, + "▁данным": 33725, + "▁поя": 33726, + "кну": 33727, + "нным": 33728, + "спублики": 33729, + "▁войск": 33730, + "▁серьез": 33731, + "▁своими": 33732, + "▁забы": 33733, + "▁обсу": 33734, + "сколько": 33735, + "▁мужчи": 33736, + "▁конкре": 33737, + "чит": 33738, + "кет": 33739, + "▁темпера": 33740, + "гах": 33741, + "▁вдо": 33742, + "▁плане": 33743, + "ходил": 33744, + "▁предлага": 33745, + "▁тела": 33746, + "▁пом": 33747, + "▁постоянно": 33748, + "▁эффектив": 33749, + "▁земли": 33750, + "▁прошло": 33751, + "▁млн": 33752, + "▁Также": 33753, + "▁замеча": 33754, + "▁деву": 33755, + "inu": 33756, + "луч": 33757, + "▁Германии": 33758, + "сах": 33759, + "▁процесс": 33760, + "▁отношении": 33761, + "▁словам": 33762, + "▁сильно": 33763, + "туаль": 33764, + "▁Между": 33765, + "жает": 33766, + "циях": 33767, + "▁проблемы": 33768, + "▁появля": 33769, + "иль": 33770, + "▁группа": 33771, + "▁свобод": 33772, + "тический": 33773, + "▁рублей": 33774, + "▁Ком": 33775, + "бло": 33776, + "▁Франции": 33777, + "▁позволя": 33778, + "▁Гор": 33779, + "восто": 33780, + "вки": 33781, + "▁средств": 33782, + "▁силу": 33783, + "▁проте": 33784, + "▁готов": 33785, + "▁благодаря": 33786, + "▁комна": 33787, + "▁столи": 33788, + "пет": 33789, + "стях": 33790, + "чал": 33791, + "▁счет": 33792, + "▁Эта": 33793, + "▁Сле": 33794, + "гам": 33795, + "▁уж": 33796, + "▁дополни": 33797, + "▁расположен": 33798, + "▁разно": 33799, + "чены": 33800, + "ОВ": 33801, + "▁кос": 33802, + "рец": 33803, + "тчи": 33804, + "НИ": 33805, + "▁Ленин": 33806, + "лимпи": 33807, + "▁писал": 33808, + "▁нему": 33809, + "емого": 33810, + "▁генерал": 33811, + "▁профессиона": 33812, + "▁говорить": 33813, + "▁работал": 33814, + "▁стране": 33815, + "ходили": 33816, + "роде": 33817, + "рица": 33818, + "▁осуществля": 33819, + "▁оцен": 33820, + "▁шу": 33821, + "▁сек": 33822, + "▁остро": 33823, + "▁Дру": 33824, + "щении": 33825, + "▁тю": 33826, + "▁опыт": 33827, + "▁отмеча": 33828, + "ственная": 33829, + "▁сторон": 33830, + "▁Ты": 33831, + "▁аген": 33832, + "▁клю": 33833, + "город": 33834, + "лении": 33835, + "▁Федерации": 33836, + "▁доступ": 33837, + "тика": 33838, + "▁ряд": 33839, + "▁непре": 33840, + "▁доказа": 33841, + "телям": 33842, + "туру": 33843, + "▁иметь": 33844, + "▁индиви": 33845, + "▁Глав": 33846, + "▁игро": 33847, + "▁примерно": 33848, + "кин": 33849, + "влено": 33850, + "▁Примеча": 33851, + "▁обстоя": 33852, + "▁выну": 33853, + "▁позна": 33854, + "лад": 33855, + "▁художе": 33856, + "▁Ио": 33857, + "▁следова": 33858, + "▁оце": 33859, + "ческими": 33860, + "▁составляет": 33861, + "ковой": 33862, + "▁верну": 33863, + "шой": 33864, + "▁непри": 33865, + "▁пользу": 33866, + "ровали": 33867, + "йт": 33868, + "▁полно": 33869, + "▁кате": 33870, + "▁воспо": 33871, + "▁биз": 33872, + "▁инстру": 33873, + "▁сколько": 33874, + "тельную": 33875, + "▁Гри": 33876, + "лог": 33877, + "▁применя": 33878, + "▁известно": 33879, + "▁печа": 33880, + "▁увеличи": 33881, + "нял": 33882, + "▁получить": 33883, + "▁аппара": 33884, + "▁жерт": 33885, + "▁непосред": 33886, + "▁Амери": 33887, + "▁моря": 33888, + "▁comple": 33889, + "гани": 33890, + "▁водо": 33891, + "ционных": 33892, + "▁еже": 33893, + "цей": 33894, + "▁будто": 33895, + "▁ребен": 33896, + "▁контра": 33897, + "▁положение": 33898, + "дам": 33899, + "▁посла": 33900, + "▁реда": 33901, + "▁другим": 33902, + "влена": 33903, + "говори": 33904, + "емой": 33905, + "▁Чере": 33906, + "вел": 33907, + "дали": 33908, + "рес": 33909, + "▁зло": 33910, + "▁приводи": 33911, + "▁ат": 33912, + "▁хва": 33913, + "лер": 33914, + "вшиеся": 33915, + "тета": 33916, + "▁кажется": 33917, + "▁точно": 33918, + "рых": 33919, + "▁конструк": 33920, + "▁командова": 33921, + "▁ныне": 33922, + "▁позд": 33923, + "▁противника": 33924, + "▁импе": 33925, + "▁пяти": 33926, + "жали": 33927, + "▁долла": 33928, + "▁Тогда": 33929, + "нит": 33930, + "▁каждого": 33931, + "▁председа": 33932, + "▁неда": 33933, + "бар": 33934, + "тором": 33935, + "▁бума": 33936, + "▁моз": 33937, + "▁Кор": 33938, + "▁новой": 33939, + "▁госпо": 33940, + "▁заболе": 33941, + "▁награ": 33942, + "▁протя": 33943, + "▁другими": 33944, + "▁Там": 33945, + "▁нашего": 33946, + "▁говорил": 33947, + "бка": 33948, + "▁согласи": 33949, + "▁показыва": 33950, + "митри": 33951, + "▁подчи": 33952, + "фри": 33953, + "▁угро": 33954, + "ссия": 33955, + "▁первых": 33956, + "▁мыс": 33957, + "▁убий": 33958, + "▁изменения": 33959, + "▁расте": 33960, + "▁Сто": 33961, + "▁рассказыва": 33962, + "солю": 33963, + "мость": 33964, + "▁церкви": 33965, + "▁автор": 33966, + "▁вместо": 33967, + "▁вече": 33968, + "▁торго": 33969, + "ниями": 33970, + "нда": 33971, + "▁заявил": 33972, + "фон": 33973, + "▁Нет": 33974, + "▁целью": 33975, + "▁пото": 33976, + "роятно": 33977, + "спек": 33978, + "кому": 33979, + "▁Ско": 33980, + "▁прибли": 33981, + "анта": 33982, + "вшийся": 33983, + "▁позволяет": 33984, + "▁мыш": 33985, + "▁Чтобы": 33986, + "чено": 33987, + "▁знако": 33988, + "нике": 33989, + "кли": 33990, + "▁плани": 33991, + "▁газ": 33992, + "▁колле": 33993, + "▁привы": 33994, + "▁провер": 33995, + "мое": 33996, + "▁ката": 33997, + "▁суд": 33998, + "▁ранее": 33999, + "сур": 34000, + "▁опубли": 34001, + "ющихся": 34002, + "▁производства": 34003, + "▁команды": 34004, + "▁компью": 34005, + "▁кило": 34006, + "одо": 34007, + "▁игры": 34008, + "▁Рас": 34009, + "▁предполага": 34010, + "жности": 34011, + "▁обеспечи": 34012, + "никам": 34013, + "▁безопасности": 34014, + "▁наконец": 34015, + "▁действий": 34016, + "▁испыта": 34017, + "наче": 34018, + "▁данные": 34019, + "▁установи": 34020, + "▁существует": 34021, + "рина": 34022, + "▁фигу": 34023, + "▁орде": 34024, + "▁выска": 34025, + "тивных": 34026, + "▁одновременно": 34027, + "ехал": 34028, + "вос": 34029, + "гло": 34030, + "чув": 34031, + "сного": 34032, + "АТ": 34033, + "▁дальше": 34034, + "▁особен": 34035, + "сный": 34036, + "Со": 34037, + "▁Каза": 34038, + "лым": 34039, + "▁преи": 34040, + "▁Государ": 34041, + "▁массо": 34042, + "сад": 34043, + "▁Только": 34044, + "▁земле": 34045, + "ньше": 34046, + "▁мате": 34047, + "▁состоянии": 34048, + "▁четвер": 34049, + "тех": 34050, + "▁союз": 34051, + "▁трудно": 34052, + "шку": 34053, + "рый": 34054, + "▁празд": 34055, + "▁обязан": 34056, + "▁самоле": 34057, + "▁наш": 34058, + "гей": 34059, + "▁основном": 34060, + "▁Владимир": 34061, + "▁предложи": 34062, + "▁формы": 34063, + "▁Европы": 34064, + "Пе": 34065, + "▁разу": 34066, + "▁мета": 34067, + "Во": 34068, + "▁Поль": 34069, + "▁невозможно": 34070, + "▁правило": 34071, + "вели": 34072, + "руют": 34073, + "▁театра": 34074, + "▁Мне": 34075, + "▁катего": 34076, + "лая": 34077, + "▁речь": 34078, + "рёх": 34079, + "▁тво": 34080, + "дение": 34081, + "▁музыка": 34082, + "нему": 34083, + "▁законо": 34084, + "зре": 34085, + "▁события": 34086, + "▁заключа": 34087, + "СТ": 34088, + "▁микро": 34089, + "▁другу": 34090, + "▁сро": 34091, + "▁Пари": 34092, + "гать": 34093, + "поло": 34094, + "▁культур": 34095, + "▁выгля": 34096, + "способ": 34097, + "зин": 34098, + "вла": 34099, + "▁мнению": 34100, + "▁подвер": 34101, + "▁команду": 34102, + "Не": 34103, + "▁знаю": 34104, + "▁самый": 34105, + "щества": 34106, + "▁догово": 34107, + "▁раньше": 34108, + "▁доби": 34109, + "▁середи": 34110, + "▁логи": 34111, + "▁ибо": 34112, + "▁пой": 34113, + "▁студен": 34114, + "▁роли": 34115, + "вился": 34116, + "▁Чу": 34117, + "▁утра": 34118, + "▁пита": 34119, + "▁спор": 34120, + "▁поки": 34121, + "обо": 34122, + "▁стату": 34123, + "▁народа": 34124, + "▁вопросы": 34125, + "ьер": 34126, + "▁Примечания": 34127, + "лений": 34128, + "▁шо": 34129, + "▁управля": 34130, + "▁Согла": 34131, + "▁состоит": 34132, + "▁времен": 34133, + "▁Же": 34134, + "куда": 34135, + "чению": 34136, + "▁мировой": 34137, + "зирова": 34138, + "послед": 34139, + "▁учеб": 34140, + "стьян": 34141, + "▁море": 34142, + "▁опас": 34143, + "▁ау": 34144, + "▁Ново": 34145, + "▁любой": 34146, + "ющем": 34147, + "▁глуби": 34148, + "гия": 34149, + "▁профессо": 34150, + "▁представляет": 34151, + "▁кварти": 34152, + "▁арми": 34153, + "▁решил": 34154, + "▁линии": 34155, + "телю": 34156, + "льными": 34157, + "▁другом": 34158, + "▁Фа": 34159, + "эй": 34160, + "▁понять": 34161, + "▁корот": 34162, + "▁пригла": 34163, + "тива": 34164, + "▁популяр": 34165, + "▁впере": 34166, + "лег": 34167, + "▁региона": 34168, + "▁язык": 34169, + "▁Тур": 34170, + "▁пришлось": 34171, + "▁Кры": 34172, + "▁покры": 34173, + "▁поля": 34174, + "▁бой": 34175, + "▁имел": 34176, + "▁своему": 34177, + "▁некото": 34178, + "тации": 34179, + "▁скло": 34180, + "▁военно": 34181, + "▁которому": 34182, + "ила": 34183, + "дленно": 34184, + "▁случаях": 34185, + "тое": 34186, + "▁окружа": 34187, + "▁ссы": 34188, + "рудова": 34189, + "▁разо": 34190, + "▁школы": 34191, + "лл": 34192, + "▁насто": 34193, + "▁верх": 34194, + "▁потреб": 34195, + "▁экспери": 34196, + "▁Ев": 34197, + "▁вста": 34198, + "▁развитие": 34199, + "влет": 34200, + "поль": 34201, + "▁учре": 34202, + "▁инже": 34203, + "дят": 34204, + "▁христиан": 34205, + "ОН": 34206, + "▁подписа": 34207, + "▁образования": 34208, + "теше": 34209, + "раздо": 34210, + "влению": 34211, + "▁искусства": 34212, + "▁стара": 34213, + "чке": 34214, + "гры": 34215, + "▁Тре": 34216, + "▁воздей": 34217, + "▁товари": 34218, + "▁настоящее": 34219, + "▁самостоя": 34220, + "слов": 34221, + "гина": 34222, + "▁макси": 34223, + "▁перево": 34224, + "▁полез": 34225, + "▁меч": 34226, + "тивно": 34227, + "тирова": 34228, + "▁расстоя": 34229, + "дили": 34230, + "ствовали": 34231, + "▁первые": 34232, + "▁стреми": 34233, + "▁сыгра": 34234, + "▁изо": 34235, + "▁деятельность": 34236, + "ЕР": 34237, + "▁подроб": 34238, + "дже": 34239, + "▁устра": 34240, + "▁пору": 34241, + "▁выи": 34242, + "▁фай": 34243, + "▁фра": 34244, + "вании": 34245, + "▁языка": 34246, + "шими": 34247, + "вит": 34248, + "▁власть": 34249, + "▁ситуации": 34250, + "нке": 34251, + "▁Ху": 34252, + "тни": 34253, + "▁хотел": 34254, + "тивной": 34255, + "▁нуж": 34256, + "▁пост": 34257, + "▁прожи": 34258, + "▁пти": 34259, + "▁финансо": 34260, + "▁правительства": 34261, + "▁паль": 34262, + "▁посо": 34263, + "▁Через": 34264, + "нден": 34265, + "▁Ген": 34266, + "ровки": 34267, + "▁Среди": 34268, + "▁ими": 34269, + "тное": 34270, + "▁ква": 34271, + "▁Дмитри": 34272, + "▁прос": 34273, + "▁япо": 34274, + "вай": 34275, + "▁уверен": 34276, + "зья": 34277, + "▁библи": 34278, + "▁сын": 34279, + "▁скорее": 34280, + "деб": 34281, + "▁Еще": 34282, + "▁первую": 34283, + "ступления": 34284, + "соеди": 34285, + "▁препо": 34286, + "тона": 34287, + "▁заве": 34288, + "ностей": 34289, + "▁высоко": 34290, + "▁давно": 34291, + "▁располага": 34292, + "Ро": 34293, + "тябре": 34294, + "▁ого": 34295, + "ционного": 34296, + "ющиеся": 34297, + "влений": 34298, + "▁соответствии": 34299, + "▁моей": 34300, + "которы": 34301, + "▁охра": 34302, + "▁сокра": 34303, + "тической": 34304, + "▁переме": 34305, + "▁Именно": 34306, + "шек": 34307, + "▁исче": 34308, + "▁знамени": 34309, + "образова": 34310, + "тился": 34311, + "▁опять": 34312, + "▁ата": 34313, + "пят": 34314, + "▁выбра": 34315, + "ссив": 34316, + "рик": 34317, + "▁впечат": 34318, + "▁безу": 34319, + "▁Хотя": 34320, + "тиви": 34321, + "чиво": 34322, + "▁метров": 34323, + "▁ужа": 34324, + "тник": 34325, + "▁Основ": 34326, + "▁исследования": 34327, + "▁целом": 34328, + "▁Роди": 34329, + "▁радо": 34330, + "▁труда": 34331, + "▁преда": 34332, + "▁чуть": 34333, + "последствии": 34334, + "▁особо": 34335, + "▁вдруг": 34336, + "▁дел": 34337, + "прочем": 34338, + "пании": 34339, + "▁работает": 34340, + "тием": 34341, + "▁сайте": 34342, + "▁состояние": 34343, + "кса": 34344, + "жная": 34345, + "щать": 34346, + "дор": 34347, + "▁первым": 34348, + "зить": 34349, + "▁абсолю": 34350, + "бки": 34351, + "▁веду": 34352, + "▁удоб": 34353, + "тики": 34354, + "несе": 34355, + "гель": 34356, + "▁индивиду": 34357, + "цам": 34358, + "▁досто": 34359, + "▁сф": 34360, + "▁двумя": 34361, + "▁мага": 34362, + "▁рамках": 34363, + "▁главным": 34364, + "▁ору": 34365, + "▁сви": 34366, + "жению": 34367, + "▁упомина": 34368, + "▁положи": 34369, + "▁бед": 34370, + "дите": 34371, + "▁сопрово": 34372, + "Ра": 34373, + "▁преимуще": 34374, + "▁держа": 34375, + "▁образу": 34376, + "▁сама": 34377, + "▁Ги": 34378, + "▁карь": 34379, + "▁Совета": 34380, + "duced": 34381, + "▁уровня": 34382, + "▁сверх": 34383, + "▁жить": 34384, + "▁такая": 34385, + "нести": 34386, + "▁услу": 34387, + "▁артилле": 34388, + "▁монасты": 34389, + "▁депута": 34390, + "▁форме": 34391, + "пить": 34392, + "стати": 34393, + "▁жителей": 34394, + "▁людя": 34395, + "▁несмотря": 34396, + "пру": 34397, + "▁серд": 34398, + "▁Гра": 34399, + "▁Коро": 34400, + "▁указыва": 34401, + "▁спокой": 34402, + "Мо": 34403, + "▁ль": 34404, + "▁Их": 34405, + "▁наук": 34406, + "нены": 34407, + "▁гораздо": 34408, + "▁Авто": 34409, + "▁украин": 34410, + "▁инф": 34411, + "▁предме": 34412, + "▁совершен": 34413, + "▁Сте": 34414, + "▁Бар": 34415, + "сных": 34416, + "▁полага": 34417, + "сит": 34418, + "▁другого": 34419, + "▁замести": 34420, + "▁нена": 34421, + "▁сделал": 34422, + "▁голову": 34423, + "▁Им": 34424, + "▁позже": 34425, + "▁зара": 34426, + "▁тело": 34427, + "▁раза": 34428, + "жки": 34429, + "▁говорят": 34430, + "▁установ": 34431, + "▁правитель": 34432, + "▁Ведь": 34433, + "▁религиоз": 34434, + "▁создания": 34435, + "▁останови": 34436, + "▁Рабо": 34437, + "шил": 34438, + "▁знает": 34439, + "▁плохо": 34440, + "▁неф": 34441, + "циями": 34442, + "сные": 34443, + "емся": 34444, + "два": 34445, + "▁умень": 34446, + "▁чрез": 34447, + "сф": 34448, + "▁помощь": 34449, + "▁возгла": 34450, + "станти": 34451, + "ую": 34452, + "▁брига": 34453, + "▁яр": 34454, + "лением": 34455, + "▁слов": 34456, + "▁роман": 34457, + "вайте": 34458, + "тным": 34459, + "▁журнали": 34460, + "▁здоров": 34461, + "▁уровне": 34462, + "▁центр": 34463, + "▁ниже": 34464, + "▁молоды": 34465, + "тке": 34466, + "сова": 34467, + "ждении": 34468, + "▁последние": 34469, + "стить": 34470, + "ус": 34471, + "▁каким": 34472, + "груз": 34473, + "тербург": 34474, + "метров": 34475, + "▁подня": 34476, + "чена": 34477, + "▁Союза": 34478, + "тина": 34479, + "▁исключи": 34480, + "▁множество": 34481, + "▁систем": 34482, + "▁знал": 34483, + "ждать": 34484, + "▁ресур": 34485, + "бви": 34486, + "вка": 34487, + "▁далеко": 34488, + "писко": 34489, + "ствием": 34490, + "▁Тру": 34491, + "▁начали": 34492, + "▁дать": 34493, + "▁пропа": 34494, + "▁пережи": 34495, + "▁значения": 34496, + "▁движение": 34497, + "▁теории": 34498, + "▁назначен": 34499, + "мого": 34500, + "▁сначала": 34501, + "ственности": 34502, + "▁программы": 34503, + "▁развед": 34504, + "▁русской": 34505, + "▁лиц": 34506, + "▁канди": 34507, + "бай": 34508, + "▁Япо": 34509, + "спи": 34510, + "▁федера": 34511, + "реза": 34512, + "▁десяти": 34513, + "▁дни": 34514, + "тивного": 34515, + "▁женщин": 34516, + "▁употре": 34517, + "степенно": 34518, + "дной": 34519, + "▁долларов": 34520, + "▁относительно": 34521, + "нией": 34522, + "▁[/": 34523, + "▁Чем": 34524, + "чика": 34525, + "тивный": 34526, + "▁относя": 34527, + "жность": 34528, + "▁смотре": 34529, + "▁европей": 34530, + "сл": 34531, + "▁Москвы": 34532, + "▁рекомен": 34533, + "гро": 34534, + "ллю": 34535, + "▁главе": 34536, + "▁прото": 34537, + "▁прид": 34538, + "▁кандида": 34539, + "▁мастер": 34540, + "▁Це": 34541, + "▁горя": 34542, + "▁маль": 34543, + "▁Запад": 34544, + "▁операции": 34545, + "чая": 34546, + "▁бур": 34547, + "▁эмо": 34548, + "▁психи": 34549, + "▁документа": 34550, + "▁осно": 34551, + "▁Один": 34552, + "арь": 34553, + "▁ид": 34554, + "▁мел": 34555, + "▁отец": 34556, + "АН": 34557, + "▁животных": 34558, + "▁нами": 34559, + "▁самые": 34560, + "жены": 34561, + "▁страте": 34562, + "▁пишет": 34563, + "▁ще": 34564, + "▁фильм": 34565, + "▁страда": 34566, + "▁женщины": 34567, + "▁краси": 34568, + "▁Ши": 34569, + "▁погиб": 34570, + "▁вскоре": 34571, + "▁Гре": 34572, + "ствова": 34573, + "чью": 34574, + "▁литератур": 34575, + "тальян": 34576, + "тивные": 34577, + "▁процесса": 34578, + "▁Центра": 34579, + "▁Ана": 34580, + "▁месяцев": 34581, + "▁Согласно": 34582, + "▁денег": 34583, + "това": 34584, + "тает": 34585, + "▁доме": 34586, + "▁история": 34587, + "▁нер": 34588, + "▁пересе": 34589, + "▁сих": 34590, + "▁стандар": 34591, + "▁ночь": 34592, + "нте": 34593, + "бил": 34594, + "▁Россия": 34595, + "голь": 34596, + "▁истре": 34597, + "вшее": 34598, + "▁исполни": 34599, + "▁уто": 34600, + "▁турни": 34601, + "▁процен": 34602, + "▁юри": 34603, + "▁двор": 34604, + "▁Рус": 34605, + "▁фир": 34606, + "шев": 34607, + "▁отрица": 34608, + "ченных": 34609, + "тыми": 34610, + "▁испы": 34611, + "▁могла": 34612, + "▁построе": 34613, + "▁начало": 34614, + "▁разве": 34615, + "▁хоть": 34616, + "ссов": 34617, + "▁бле": 34618, + "▁иначе": 34619, + "ваясь": 34620, + "гни": 34621, + "чественной": 34622, + "▁социали": 34623, + "▁отца": 34624, + "▁чаще": 34625, + "▁языке": 34626, + "▁семьи": 34627, + "▁автома": 34628, + "▁революции": 34629, + "▁смерть": 34630, + "зен": 34631, + "▁большинство": 34632, + "▁русских": 34633, + "▁означает": 34634, + "▁парт": 34635, + "пя": 34636, + "▁выяс": 34637, + "тная": 34638, + "джи": 34639, + "▁улуч": 34640, + "ковых": 34641, + "▁оборудова": 34642, + "▁происхо": 34643, + "▁ини": 34644, + "embers": 34645, + "коми": 34646, + "▁Мини": 34647, + "▁смысле": 34648, + "▁сове": 34649, + "▁Сей": 34650, + "ногие": 34651, + "▁удовлет": 34652, + "▁путеше": 34653, + "▁многочисле": 34654, + "рыва": 34655, + "▁семье": 34656, + "▁крестьян": 34657, + "▁паро": 34658, + "▁организова": 34659, + "▁сигна": 34660, + "▁дивизии": 34661, + "▁любви": 34662, + "▁зависимости": 34663, + "▁чисто": 34664, + "▁тепло": 34665, + "▁мои": 34666, + "▁берегу": 34667, + "▁числа": 34668, + "▁отвер": 34669, + "ternational": 34670, + "▁напомина": 34671, + "▁последу": 34672, + "▁двадца": 34673, + "даль": 34674, + "▁согласно": 34675, + "▁видео": 34676, + "▁систему": 34677, + "▁сне": 34678, + "произ": 34679, + "▁делает": 34680, + "ина": 34681, + "▁компози": 34682, + "▁провин": 34683, + "▁Вме": 34684, + "▁избе": 34685, + "▁можете": 34686, + "▁отличие": 34687, + "▁подчер": 34688, + "▁субъек": 34689, + "▁зу": 34690, + "ждений": 34691, + "тку": 34692, + "▁Нью": 34693, + "▁значительно": 34694, + "тую": 34695, + "▁попада": 34696, + "▁уро": 34697, + "мимо": 34698, + "▁туда": 34699, + "▁Константи": 34700, + "▁содержи": 34701, + "стами": 34702, + "▁Конечно": 34703, + "▁упа": 34704, + "▁проекта": 34705, + "▁крепо": 34706, + "стров": 34707, + "нских": 34708, + "▁частью": 34709, + "▁мм": 34710, + "ченные": 34711, + "▁честь": 34712, + "хар": 34713, + "▁памяти": 34714, + "ложить": 34715, + "▁Фо": 34716, + "▁charact": 34717, + "▁взаимодей": 34718, + "▁проблема": 34719, + "бю": 34720, + "▁хле": 34721, + "бить": 34722, + "▁сет": 34723, + "зоваться": 34724, + "▁кисло": 34725, + "▁Верхов": 34726, + "▁проект": 34727, + "▁университета": 34728, + "фы": 34729, + "▁Ке": 34730, + "▁хими": 34731, + "▁законода": 34732, + "▁цвета": 34733, + "тите": 34734, + "▁модели": 34735, + "▁науки": 34736, + "ллек": 34737, + "питан": 34738, + "сшта": 34739, + "которые": 34740, + "▁проблем": 34741, + "ступление": 34742, + "ляции": 34743, + "стной": 34744, + "▁дис": 34745, + "брь": 34746, + "▁класса": 34747, + "менова": 34748, + "▁неизвест": 34749, + "льд": 34750, + "▁Жи": 34751, + "▁зам": 34752, + "ционные": 34753, + "▁какое": 34754, + "▁отря": 34755, + "▁расположе": 34756, + "титься": 34757, + "дови": 34758, + "▁каждой": 34759, + "▁Даже": 34760, + "щик": 34761, + "▁всеми": 34762, + "▁уровень": 34763, + "▁Вол": 34764, + "▁произошло": 34765, + "▁ев": 34766, + "▁лично": 34767, + "▁евре": 34768, + "▁рим": 34769, + "▁видов": 34770, + "вила": 34771, + "гал": 34772, + "▁предмет": 34773, + "▁можем": 34774, + "▁рекла": 34775, + "▁оказался": 34776, + "▁Пла": 34777, + "▁прош": 34778, + "рите": 34779, + "▁пят": 34780, + "▁напа": 34781, + "летия": 34782, + "pril": 34783, + "ленных": 34784, + "▁ниж": 34785, + "пой": 34786, + "▁Есть": 34787, + "▁заво": 34788, + "стые": 34789, + "лимпий": 34790, + "▁Кто": 34791, + "дьми": 34792, + "▁случи": 34793, + "▁завое": 34794, + "▁первом": 34795, + "▁объяви": 34796, + "▁дети": 34797, + "дный": 34798, + "цкий": 34799, + "▁никаких": 34800, + "луа": 34801, + "циони": 34802, + "▁британ": 34803, + "▁свидетель": 34804, + "▁коне": 34805, + "чает": 34806, + "▁существу": 34807, + "ОР": 34808, + "▁Бело": 34809, + "▁влияние": 34810, + "▁Пар": 34811, + "▁Сред": 34812, + "▁итоге": 34813, + "▁службы": 34814, + "Но": 34815, + "▁полка": 34816, + "довать": 34817, + "▁бор": 34818, + "женный": 34819, + "▁член": 34820, + "▁жена": 34821, + "▁президент": 34822, + "▁произведения": 34823, + "жё": 34824, + "▁вышел": 34825, + "▁острова": 34826, + "▁зри": 34827, + "▁Ше": 34828, + "▁видел": 34829, + "▁сня": 34830, + "▁предна": 34831, + "▁дороги": 34832, + "ланд": 34833, + "▁препода": 34834, + "понен": 34835, + "▁получили": 34836, + "▁настолько": 34837, + "эр": 34838, + "ётся": 34839, + "▁принял": 34840, + "▁различные": 34841, + "мера": 34842, + "▁Можно": 34843, + "▁обнару": 34844, + "▁сохрани": 34845, + "▁твер": 34846, + "щал": 34847, + "▁библиоте": 34848, + "тельными": 34849, + "нением": 34850, + "ционный": 34851, + "цом": 34852, + "▁зер": 34853, + "шается": 34854, + "чений": 34855, + "▁дает": 34856, + "▁Май": 34857, + "▁функции": 34858, + "▁демон": 34859, + "▁мл": 34860, + "чий": 34861, + "▁северо": 34862, + "▁солдат": 34863, + "КА": 34864, + "▁сцена": 34865, + "▁живу": 34866, + "ственность": 34867, + "вере": 34868, + "▁метал": 34869, + "▁объя": 34870, + "▁Николай": 34871, + "▁следующий": 34872, + "ленной": 34873, + "▁оке": 34874, + "▁создать": 34875, + "▁каких": 34876, + "ходы": 34877, + "нтов": 34878, + "лив": 34879, + "рачи": 34880, + "▁машины": 34881, + "▁Лон": 34882, + "▁establ": 34883, + "см": 34884, + "▁Мин": 34885, + "▁Пол": 34886, + "▁ребенка": 34887, + "▁войне": 34888, + "▁правительство": 34889, + "▁священ": 34890, + "▁электри": 34891, + "▁мной": 34892, + "▁хочет": 34893, + "▁прочи": 34894, + "▁проя": 34895, + "▁свер": 34896, + "▁подгото": 34897, + "▁воздуш": 34898, + "низ": 34899, + "▁опы": 34900, + "▁сча": 34901, + "▁сообщил": 34902, + "▁каби": 34903, + "▁Шу": 34904, + "▁мое": 34905, + "▁событий": 34906, + "▁суда": 34907, + "дыду": 34908, + "ниципа": 34909, + "▁сотрудни": 34910, + "▁Андре": 34911, + "▁противоре": 34912, + "▁присоеди": 34913, + "▁фронта": 34914, + "▁гар": 34915, + "▁большое": 34916, + "▁военных": 34917, + "вью": 34918, + "▁корре": 34919, + "▁вещи": 34920, + "▁удар": 34921, + "▁психологи": 34922, + "▁бит": 34923, + "виться": 34924, + "кру": 34925, + "щиков": 34926, + "▁план": 34927, + "▁небе": 34928, + "▁Мон": 34929, + "▁неожида": 34930, + "▁добы": 34931, + "▁разные": 34932, + "▁усили": 34933, + "▁путем": 34934, + "стных": 34935, + "▁преж": 34936, + "тории": 34937, + "кипа": 34938, + "▁гвар": 34939, + "▁предела": 34940, + "▁человеком": 34941, + "жат": 34942, + "▁демокра": 34943, + "▁взгляд": 34944, + "▁циф": 34945, + "тельном": 34946, + "тков": 34947, + "▁книге": 34948, + "щаться": 34949, + "тит": 34950, + "▁членов": 34951, + "▁Джон": 34952, + "▁важно": 34953, + "▁которыми": 34954, + "▁компания": 34955, + "луй": 34956, + "оны": 34957, + "▁максима": 34958, + "▁Сергей": 34959, + "строи": 34960, + "шке": 34961, + "▁сочи": 34962, + "▁учё": 34963, + "верь": 34964, + "щими": 34965, + "▁распоря": 34966, + "▁историю": 34967, + "▁людьми": 34968, + "▁использования": 34969, + "ходов": 34970, + "веден": 34971, + "▁подраз": 34972, + "▁описы": 34973, + "▁опа": 34974, + "▁ближай": 34975, + "▁статьи": 34976, + "▁поводу": 34977, + "▁русского": 34978, + "▁имели": 34979, + "бок": 34980, + "▁написал": 34981, + "▁вести": 34982, + "▁изгото": 34983, + "▁переста": 34984, + "▁ува": 34985, + "▁сопроти": 34986, + "▁виду": 34987, + "▁рассмотре": 34988, + "▁процессе": 34989, + "▁вовсе": 34990, + "▁покупа": 34991, + "▁Европе": 34992, + "▁борьбы": 34993, + "жное": 34994, + "ходе": 34995, + "▁всему": 34996, + "▁юго": 34997, + "▁фотографи": 34998, + "▁спустя": 34999, + "▁отношений": 35000, + "▁москов": 35001, + "▁кому": 35002, + "▁позиции": 35003, + "лями": 35004, + "▁условия": 35005, + "▁индивидуаль": 35006, + "▁другое": 35007, + "▁системе": 35008, + "▁солн": 35009, + "▁секу": 35010, + "▁выход": 35011, + "▁газе": 35012, + "▁запро": 35013, + "▁начинает": 35014, + "ческому": 35015, + "стики": 35016, + "▁Иван": 35017, + "разу": 35018, + "лять": 35019, + "▁мать": 35020, + "▁людям": 35021, + "▁необы": 35022, + "дал": 35023, + "ВА": 35024, + "ственном": 35025, + "▁президента": 35026, + "лон": 35027, + "кали": 35028, + "ведений": 35029, + "▁экспер": 35030, + "▁вен": 35031, + "▁обороны": 35032, + "парта": 35033, + "▁концеп": 35034, + "бель": 35035, + "▁моя": 35036, + "▁знать": 35037, + "ТАСС": 35038, + "▁увиде": 35039, + "▁веро": 35040, + "влять": 35041, + "сив": 35042, + "ждая": 35043, + "▁столько": 35044, + "▁Почему": 35045, + "▁принять": 35046, + "▁станции": 35047, + "▁постепенно": 35048, + "▁Ад": 35049, + "▁временем": 35050, + "чиков": 35051, + "бир": 35052, + "▁последний": 35053, + "▁требования": 35054, + "▁предыду": 35055, + "▁Республики": 35056, + "▁причем": 35057, + "▁философи": 35058, + "▁задачи": 35059, + "▁проявля": 35060, + "▁обрабо": 35061, + "▁осозна": 35062, + "▁Сталин": 35063, + "▁хро": 35064, + "▁брат": 35065, + "▁остается": 35066, + "фикации": 35067, + "филь": 35068, + "нули": 35069, + "▁удиви": 35070, + "▁общем": 35071, + "▁коммуни": 35072, + "▁заслу": 35073, + "▁цве": 35074, + "форм": 35075, + "ницей": 35076, + "▁чувство": 35077, + "▁кле": 35078, + "▁Ита": 35079, + "▁кров": 35080, + "▁величи": 35081, + "ссажи": 35082, + "▁неве": 35083, + "▁сосед": 35084, + "▁перегово": 35085, + "▁Великой": 35086, + "▁связь": 35087, + "▁фильма": 35088, + "дка": 35089, + "▁голов": 35090, + "вале": 35091, + "▁пого": 35092, + "ваний": 35093, + "▁Госпо": 35094, + "▁вроде": 35095, + "▁особы": 35096, + "▁большую": 35097, + "даго": 35098, + "бина": 35099, + "▁итальян": 35100, + "▁таком": 35101, + "▁наслед": 35102, + "▁воспита": 35103, + "нную": 35104, + "▁фанта": 35105, + "▁клуб": 35106, + "▁энергии": 35107, + "женных": 35108, + "▁возбу": 35109, + "тю": 35110, + "пень": 35111, + "▁архитек": 35112, + "гий": 35113, + "▁девя": 35114, + "суль": 35115, + "▁ясно": 35116, + "▁зи": 35117, + "жела": 35118, + "▁информацию": 35119, + "сток": 35120, + "▁тка": 35121, + "Ве": 35122, + "▁Оста": 35123, + "стых": 35124, + "▁запи": 35125, + "▁поднима": 35126, + "ственную": 35127, + "▁Пушки": 35128, + "▁будем": 35129, + "ново": 35130, + "▁наше": 35131, + "лку": 35132, + "▁Велико": 35133, + "▁одино": 35134, + "▁Потом": 35135, + "▁фина": 35136, + "▁попыт": 35137, + "плуа": 35138, + "▁выво": 35139, + "▁вернулся": 35140, + "меется": 35141, + "▁сына": 35142, + "▁полков": 35143, + "вленные": 35144, + "лое": 35145, + "ненных": 35146, + "рхи": 35147, + "ждён": 35148, + "▁китай": 35149, + "▁восстано": 35150, + "рые": 35151, + "▁КП": 35152, + "гно": 35153, + "▁Благо": 35154, + "катери": 35155, + "▁потен": 35156, + "▁империи": 35157, + "бин": 35158, + "▁общей": 35159, + "риаль": 35160, + "▁станет": 35161, + "▁навер": 35162, + "▁необходимости": 35163, + "Бо": 35164, + "▁факт": 35165, + "▁парла": 35166, + "▁наказа": 35167, + "види": 35168, + "▁сердце": 35169, + "▁Второй": 35170, + "▁режисс": 35171, + "▁стен": 35172, + "▁поверхности": 35173, + "поста": 35174, + "▁дове": 35175, + "▁имуще": 35176, + "шении": 35177, + "▁Первый": 35178, + "▁муниципа": 35179, + "▁Национа": 35180, + "стного": 35181, + "▁офице": 35182, + "▁души": 35183, + "▁еврей": 35184, + "▁Послед": 35185, + "▁мысль": 35186, + "стической": 35187, + "▁рома": 35188, + "▁пье": 35189, + "▁Кри": 35190, + "▁материаль": 35191, + "▁дал": 35192, + "ваем": 35193, + "лне": 35194, + "▁Некоторые": 35195, + "видно": 35196, + "▁обре": 35197, + "зды": 35198, + "шал": 35199, + "▁органов": 35200, + "▁выигра": 35201, + "▁сети": 35202, + "▁опо": 35203, + "▁писатель": 35204, + "ration": 35205, + "▁уди": 35206, + "начально": 35207, + "▁отношение": 35208, + "▁прис": 35209, + "▁руку": 35210, + "рода": 35211, + "▁спек": 35212, + "▁устанавли": 35213, + "▁уголов": 35214, + "▁опро": 35215, + "▁сос": 35216, + "▁используется": 35217, + "▁круг": 35218, + "нется": 35219, + "нье": 35220, + "емая": 35221, + "▁косми": 35222, + "▁подума": 35223, + "жь": 35224, + "▁Отечественной": 35225, + "▁Александра": 35226, + "▁озе": 35227, + "▁времена": 35228, + "▁природы": 35229, + "бль": 35230, + "▁направлении": 35231, + "▁выпуска": 35232, + "▁баталь": 35233, + "нился": 35234, + "▁воск": 35235, + "вляется": 35236, + "▁сборной": 35237, + "чев": 35238, + "▁месяца": 35239, + "Са": 35240, + "▁руках": 35241, + "▁крови": 35242, + "▁домой": 35243, + "▁шесть": 35244, + "ront": 35245, + "ниям": 35246, + "▁суме": 35247, + "▁судеб": 35248, + "▁кафе": 35249, + "▁партий": 35250, + "▁включая": 35251, + "▁качества": 35252, + "▁оба": 35253, + "▁проз": 35254, + "▁чувства": 35255, + "▁словами": 35256, + "▁сравни": 35257, + "ждает": 35258, + "долго": 35259, + "▁личности": 35260, + "▁внимания": 35261, + "▁относится": 35262, + "дных": 35263, + "▁раскры": 35264, + "▁Стра": 35265, + "▁идеи": 35266, + "вшую": 35267, + "reet": 35268, + "ЕН": 35269, + "▁космо": 35270, + "▁распреде": 35271, + "▁акт": 35272, + "стям": 35273, + "▁совета": 35274, + "меры": 35275, + "кции": 35276, + "▁привле": 35277, + "▁хочу": 35278, + "▁странах": 35279, + "▁отме": 35280, + "надцать": 35281, + "▁любовь": 35282, + "редо": 35283, + "ктором": 35284, + "▁находятся": 35285, + "тим": 35286, + "▁приказа": 35287, + "▁жили": 35288, + "вычай": 35289, + "▁касается": 35290, + "МИ": 35291, + "▁причина": 35292, + "кров": 35293, + "▁вое": 35294, + "▁возраста": 35295, + "▁заседа": 35296, + "▁приходится": 35297, + "▁слы": 35298, + "▁действу": 35299, + "▁землю": 35300, + "\\.": 35301, + "▁письмо": 35302, + "▁вероятно": 35303, + "чили": 35304, + "▁Сейчас": 35305, + "▁вперед": 35306, + "сная": 35307, + "▁рису": 35308, + "дре": 35309, + "нными": 35310, + "▁большим": 35311, + "▁срок": 35312, + "▁Несмотря": 35313, + "йдет": 35314, + "▁Тро": 35315, + "▁смысл": 35316, + "вшейся": 35317, + "бами": 35318, + "▁сообщает": 35319, + "▁русский": 35320, + "▁подви": 35321, + "▁женщина": 35322, + "▁предприятия": 35323, + "▁истреби": 35324, + "▁ам": 35325, + "▁зави": 35326, + "▁запо": 35327, + "▁превы": 35328, + "▁пала": 35329, + "тического": 35330, + "▁ТА": 35331, + "нность": 35332, + "сторон": 35333, + "▁карто": 35334, + "▁Лит": 35335, + "▁Санкт": 35336, + "Да": 35337, + "▁момента": 35338, + "▁домаш": 35339, + "пки": 35340, + "▁академи": 35341, + "сыпа": 35342, + "▁посред": 35343, + "ос": 35344, + "щихся": 35345, + "▁названием": 35346, + "▁Алексе": 35347, + "▁порядке": 35348, + "▁действие": 35349, + "▁Сам": 35350, + "▁вслед": 35351, + "▁широко": 35352, + "рядок": 35353, + "водят": 35354, + "▁беско": 35355, + "▁середине": 35356, + "▁трак": 35357, + "втра": 35358, + "▁секрета": 35359, + "arried": 35360, + "▁Англии": 35361, + "▁трудо": 35362, + "▁Ман": 35363, + "нейших": 35364, + "▁лоша": 35365, + "До": 35366, + "суаль": 35367, + "▁позволи": 35368, + "щены": 35369, + "▁видеть": 35370, + "▁каз": 35371, + "▁протяжении": 35372, + "▁Михай": 35373, + "▁зво": 35374, + "▁стороне": 35375, + "▁инициа": 35376, + "стана": 35377, + "интере": 35378, + "▁связан": 35379, + "ВД": 35380, + "▁пресс": 35381, + "▁моно": 35382, + "▁неуда": 35383, + "днев": 35384, + "▁Может": 35385, + "роприя": 35386, + "▁результат": 35387, + "▁далее": 35388, + "▁захо": 35389, + "▁сда": 35390, + "дру": 35391, + "▁дипло": 35392, + "ходила": 35393, + "нена": 35394, + "▁находился": 35395, + "▁речи": 35396, + "▁получила": 35397, + "ченный": 35398, + "лете": 35399, + "▁масшта": 35400, + "ющийся": 35401, + "▁сущ": 35402, + "▁очи": 35403, + "▁новое": 35404, + "▁общего": 35405, + "▁бывает": 35406, + "новения": 35407, + "▁задача": 35408, + "▁друзья": 35409, + "▁Геор": 35410, + "стического": 35411, + "пустить": 35412, + "▁гри": 35413, + "▁республи": 35414, + "▁любы": 35415, + "▁зависит": 35416, + "▁мора": 35417, + "▁транс": 35418, + "▁стихи": 35419, + "вшегося": 35420, + "▁меж": 35421, + "▁жесто": 35422, + "▁центре": 35423, + "нодоро": 35424, + "▁поступа": 35425, + "товой": 35426, + "кает": 35427, + "пно": 35428, + "кана": 35429, + "стье": 35430, + "▁концов": 35431, + "▁рабочих": 35432, + "▁транспорт": 35433, + "▁площадь": 35434, + "▁конфлик": 35435, + "ruary": 35436, + "ологии": 35437, + "▁посмотре": 35438, + "ждается": 35439, + "гая": 35440, + "▁воду": 35441, + "uthor": 35442, + "▁Екатери": 35443, + "мену": 35444, + "▁Серге": 35445, + "▁нема": 35446, + "▁миллионов": 35447, + "тиру": 35448, + "▁кг": 35449, + "▁округа": 35450, + "▁Многие": 35451, + "▁охо": 35452, + "▁терро": 35453, + "▁испыты": 35454, + "енси": 35455, + "▁Дан": 35456, + "▁осве": 35457, + "▁версии": 35458, + "▁Джо": 35459, + "▁Наи": 35460, + "жется": 35461, + "▁весе": 35462, + "фей": 35463, + "▁гря": 35464, + "▁клет": 35465, + "▁родился": 35466, + "▁правда": 35467, + "▁оказалось": 35468, + "▁света": 35469, + "▁подъ": 35470, + "поле": 35471, + "гали": 35472, + "дные": 35473, + "бий": 35474, + "▁положения": 35475, + "▁избира": 35476, + "ИН": 35477, + "барди": 35478, + "▁отдельных": 35479, + "▁возрасте": 35480, + "▁Кла": 35481, + "▁глаз": 35482, + "▁реша": 35483, + "жается": 35484, + "▁справед": 35485, + "▁Кур": 35486, + "▁литературы": 35487, + "▁доче": 35488, + "▁manag": 35489, + "▁Или": 35490, + "▁Полу": 35491, + "зой": 35492, + "▁повторя": 35493, + "тения": 35494, + "▁предупре": 35495, + "▁пехо": 35496, + "▁Обра": 35497, + "▁марш": 35498, + "сторо": 35499, + "▁моего": 35500, + "▁приводит": 35501, + "▁эксплуа": 35502, + "дного": 35503, + "хан": 35504, + "▁улы": 35505, + "▁считать": 35506, + "▁машин": 35507, + "стую": 35508, + "новен": 35509, + "▁улице": 35510, + "▁большие": 35511, + "▁впоследствии": 35512, + "▁считает": 35513, + "▁учили": 35514, + "▁веке": 35515, + "▁музе": 35516, + "ваю": 35517, + "▁экипа": 35518, + "лист": 35519, + "▁основных": 35520, + "брита": 35521, + "▁взять": 35522, + "▁брать": 35523, + "чали": 35524, + "АР": 35525, + "ступить": 35526, + "ково": 35527, + "рово": 35528, + "▁яко": 35529, + "▁цель": 35530, + "▁магази": 35531, + "▁защиты": 35532, + "▁должность": 35533, + "▁доб": 35534, + "▁страш": 35535, + "▁игру": 35536, + "горь": 35537, + "люби": 35538, + "оборот": 35539, + "зяй": 35540, + "▁тысячи": 35541, + "▁глава": 35542, + "▁красо": 35543, + "▁программ": 35544, + "▁корпуса": 35545, + "няют": 35546, + "▁часа": 35547, + "▁ока": 35548, + "лены": 35549, + "▁Ино": 35550, + "▁редко": 35551, + "▁поддержа": 35552, + "▁Возможно": 35553, + "▁пригото": 35554, + "▁трёх": 35555, + "▁прида": 35556, + "вленных": 35557, + "▁Бога": 35558, + "вшими": 35559, + "▁Фу": 35560, + "ревнова": 35561, + "▁окра": 35562, + "▁война": 35563, + "▁математи": 35564, + "▁исчез": 35565, + "▁буква": 35566, + "▁мероприя": 35567, + "▁политики": 35568, + "▁могло": 35569, + "▁прем": 35570, + "▁снима": 35571, + "▁клуба": 35572, + "▁частей": 35573, + "▁сочета": 35574, + "▁Сы": 35575, + "▁результаты": 35576, + "▁сожа": 35577, + "пора": 35578, + "▁список": 35579, + "▁привлека": 35580, + "▁раство": 35581, + "лую": 35582, + "▁пассажи": 35583, + "рги": 35584, + "▁теоре": 35585, + "▁клиен": 35586, + "▁сведения": 35587, + "кура": 35588, + "▁бар": 35589, + "▁Дей": 35590, + "▁опублико": 35591, + "▁казалось": 35592, + "▁воспринима": 35593, + "▁Аб": 35594, + "ОЛ": 35595, + "печа": 35596, + "▁называется": 35597, + "▁советский": 35598, + "▁атмо": 35599, + "тельств": 35600, + "лга": 35601, + "▁предпринима": 35602, + "▁зад": 35603, + "▁противополо": 35604, + "щество": 35605, + "▁агре": 35606, + "▁патри": 35607, + "▁главное": 35608, + "дыха": 35609, + "▁вспомина": 35610, + "▁соору": 35611, + "▁народов": 35612, + "▁тюрь": 35613, + "▁гости": 35614, + "▁Пав": 35615, + "емое": 35616, + "дио": 35617, + "▁словно": 35618, + "▁Более": 35619, + "рией": 35620, + "▁длин": 35621, + "▁память": 35622, + "▁местах": 35623, + "▁изобре": 35624, + "▁направления": 35625, + "▁интеллек": 35626, + "▁Три": 35627, + "▁завод": 35628, + "▁Михаил": 35629, + "дли": 35630, + "▁ску": 35631, + "▁ассо": 35632, + "▁цивили": 35633, + "▁Уже": 35634, + "мок": 35635, + "ризо": 35636, + "▁вида": 35637, + "▁попыта": 35638, + "▁военной": 35639, + "▁штур": 35640, + "▁кризи": 35641, + "Про": 35642, + "▁Нор": 35643, + "нё": 35644, + "▁незна": 35645, + "мель": 35646, + "ема": 35647, + "равда": 35648, + "▁Гит": 35649, + "▁философ": 35650, + "▁копи": 35651, + "▁гло": 35652, + "▁плат": 35653, + "▁аэро": 35654, + "▁оружия": 35655, + "▁точ": 35656, + "▁юриди": 35657, + "мани": 35658, + "▁непосредственно": 35659, + "▁мер": 35660, + "▁бизнес": 35661, + "▁вспом": 35662, + "▁разде": 35663, + "неве": 35664, + "▁рей": 35665, + "▁месяц": 35666, + "стные": 35667, + "▁Великобрита": 35668, + "▁второго": 35669, + "цеп": 35670, + "▁общи": 35671, + "вии": 35672, + "ера": 35673, + "▁такую": 35674, + "▁Итак": 35675, + "жала": 35676, + "▁церковь": 35677, + "▁Гру": 35678, + "обла": 35679, + "ненно": 35680, + "▁слабо": 35681, + "▁Советского": 35682, + "▁опла": 35683, + "▁ответил": 35684, + "▁новую": 35685, + "▁Даль": 35686, + "▁выбор": 35687, + "▁состояния": 35688, + "▁скорость": 35689, + "▁табли": 35690, + "▁борьбе": 35691, + "▁торгов": 35692, + "▁одинако": 35693, + "▁Кали": 35694, + "▁прием": 35695, + "стая": 35696, + "▁большей": 35697, + "tended": 35698, + "▁посети": 35699, + "ятся": 35700, + "▁установлен": 35701, + "▁большая": 35702, + "чики": 35703, + "▁победи": 35704, + "тесь": 35705, + "ковые": 35706, + "▁чере": 35707, + "▁разгово": 35708, + "▁агент": 35709, + "щена": 35710, + "▁паци": 35711, + "▁больших": 35712, + "вера": 35713, + "блен": 35714, + "▁чинов": 35715, + "▁самоу": 35716, + "тение": 35717, + "служ": 35718, + "как": 35719, + "вку": 35720, + "леку": 35721, + "Па": 35722, + "▁чрезвычай": 35723, + "▁жан": 35724, + "смотри": 35725, + "рота": 35726, + "▁Доб": 35727, + "▁обязательно": 35728, + "▁мг": 35729, + "urther": 35730, + "▁десять": 35731, + "▁техники": 35732, + "цкого": 35733, + "▁продви": 35734, + "сила": 35735, + "▁Дон": 35736, + "▁человеку": 35737, + "▁нач": 35738, + "▁школе": 35739, + "▁превос": 35740, + "▁ред": 35741, + "▁Москву": 35742, + "▁графи": 35743, + "▁теря": 35744, + "▁руководством": 35745, + "лича": 35746, + "Го": 35747, + "▁королев": 35748, + "▁опти": 35749, + "лович": 35750, + "▁серви": 35751, + "▁Прави": 35752, + "ходило": 35753, + "пто": 35754, + "▁регуляр": 35755, + "inning": 35756, + "йна": 35757, + "▁обстанов": 35758, + "▁избран": 35759, + "▁аналоги": 35760, + "▁лагер": 35761, + "▁силь": 35762, + "▁войну": 35763, + "▁аресто": 35764, + "▁прогре": 35765, + "▁Красно": 35766, + "▁предназна": 35767, + "▁мяг": 35768, + "▁ноги": 35769, + "мол": 35770, + "▁оказались": 35771, + "▁называют": 35772, + "щений": 35773, + "▁смог": 35774, + "▁прово": 35775, + "▁Мор": 35776, + "▁удоволь": 35777, + "▁астро": 35778, + "▁энерги": 35779, + "▁эпизо": 35780, + "▁модель": 35781, + "риста": 35782, + "▁вес": 35783, + "▁педаго": 35784, + "свя": 35785, + "▁основной": 35786, + "бера": 35787, + "▁желе": 35788, + "▁выдви": 35789, + "ума": 35790, + "▁пару": 35791, + "▁расти": 35792, + "▁супру": 35793, + "▁государственной": 35794, + "▁Geor": 35795, + "▁Фор": 35796, + "▁фами": 35797, + "▁образование": 35798, + "гут": 35799, + "ждый": 35800, + "жную": 35801, + "▁боевых": 35802, + "гают": 35803, + "▁ЦК": 35804, + "роз": 35805, + "▁дево": 35806, + "stit": 35807, + "един": 35808, + "▁резко": 35809, + "▁преодо": 35810, + "▁стрелко": 35811, + "▁иллю": 35812, + "▁мнение": 35813, + "▁книгу": 35814, + "▁отношению": 35815, + "▁свойства": 35816, + "▁дочь": 35817, + "▁прось": 35818, + "▁Тол": 35819, + "▁требует": 35820, + "нула": 35821, + "▁серии": 35822, + "▁Вар": 35823, + "▁первое": 35824, + "пля": 35825, + "▁огонь": 35826, + "▁счаст": 35827, + "▁площади": 35828, + "аз": 35829, + "кер": 35830, + "редото": 35831, + "▁крайней": 35832, + "ковского": 35833, + "щают": 35834, + "▁Впрочем": 35835, + "рованных": 35836, + "терпе": 35837, + "▁построен": 35838, + "▁короля": 35839, + "шений": 35840, + "▁герман": 35841, + "тную": 35842, + "▁экра": 35843, + "гети": 35844, + "▁видно": 35845, + "▁общество": 35846, + "▁сезона": 35847, + "▁зеле": 35848, + "снова": 35849, + "▁оправ": 35850, + "Ми": 35851, + "▁жало": 35852, + "жая": 35853, + "жели": 35854, + "▁какая": 35855, + "▁брон": 35856, + "▁Коми": 35857, + "▁шести": 35858, + "▁говорится": 35859, + "▁Смо": 35860, + "▁гео": 35861, + "▁письма": 35862, + "тическим": 35863, + "▁РС": 35864, + "▁компонен": 35865, + "против": 35866, + "▁экспеди": 35867, + "▁Международ": 35868, + "▁идти": 35869, + "▁нынеш": 35870, + "▁маршру": 35871, + "▁какого": 35872, + "▁попы": 35873, + "▁экспо": 35874, + "▁военного": 35875, + "▁воспомина": 35876, + "▁Испо": 35877, + "▁оказывается": 35878, + "▁состава": 35879, + "▁Италии": 35880, + "лыми": 35881, + "▁думаю": 35882, + "▁Ленина": 35883, + "▁предвари": 35884, + "▁оригина": 35885, + "▁пояс": 35886, + "▁главный": 35887, + "ченко": 35888, + "▁помочь": 35889, + "▁эми": 35890, + "▁говорили": 35891, + "▁плен": 35892, + "▁коль": 35893, + "▁Бог": 35894, + "▁схе": 35895, + "рика": 35896, + "▁собственно": 35897, + "▁промышленности": 35898, + "▁зато": 35899, + "▁стек": 35900, + "▁крайне": 35901, + "▁четырех": 35902, + "▁спраши": 35903, + "uted": 35904, + "▁едва": 35905, + "▁настрое": 35906, + "никах": 35907, + "▁увидеть": 35908, + "▁создание": 35909, + "▁стрем": 35910, + "▁чемпионата": 35911, + "▁теку": 35912, + "▁леген": 35913, + "▁убеди": 35914, + "▁ВВ": 35915, + "▁представления": 35916, + "▁Фили": 35917, + "▁продолжи": 35918, + "▁объектов": 35919, + "▁Был": 35920, + "▁края": 35921, + "▁наступа": 35922, + "вив": 35923, + "няли": 35924, + "▁следующие": 35925, + "пти": 35926, + "▁своё": 35927, + "хозяй": 35928, + "▁парти": 35929, + "▁Сов": 35930, + "▁вариант": 35931, + "▁корабля": 35932, + "▁исключительно": 35933, + "▁Челове": 35934, + "▁Афри": 35935, + "рили": 35936, + "▁Кре": 35937, + "▁никакого": 35938, + "зил": 35939, + "▁эска": 35940, + "▁элемента": 35941, + "▁креп": 35942, + "ровка": 35943, + "▁Цер": 35944, + "ствий": 35945, + "▁Зе": 35946, + "ждены": 35947, + "жено": 35948, + "▁кара": 35949, + "льности": 35950, + "▁Ры": 35951, + "тельством": 35952, + "▁какую": 35953, + "▁соревнова": 35954, + "▁Тут": 35955, + "▁железнодоро": 35956, + "мысле": 35957, + "▁Слу": 35958, + "▁проходит": 35959, + "▁втор": 35960, + "▁вероят": 35961, + "техни": 35962, + "ъя": 35963, + "▁нарко": 35964, + "шению": 35965, + "▁успеш": 35966, + "▁Бри": 35967, + "▁Гар": 35968, + "▁участников": 35969, + "▁Ря": 35970, + "вляют": 35971, + "▁жил": 35972, + "▁неде": 35973, + "▁резер": 35974, + "▁проведе": 35975, + "менить": 35976, + "▁данном": 35977, + "сел": 35978, + "▁ке": 35979, + "▁крупных": 35980, + "▁особенности": 35981, + "▁Сегодня": 35982, + "▁писать": 35983, + "▁пласти": 35984, + "▁затра": 35985, + "вёл": 35986, + "терна": 35987, + "▁первая": 35988, + "▁выделя": 35989, + "▁элементов": 35990, + "▁трав": 35991, + "▁увидел": 35992, + "дует": 35993, + "рованы": 35994, + "ковский": 35995, + "▁некоторое": 35996, + "▁понял": 35997, + "▁эволю": 35998, + "жена": 35999, + "▁порядка": 36000, + "кле": 36001, + "▁сказала": 36002, + "щему": 36003, + "▁Генера": 36004, + "▁природ": 36005, + "▁отметил": 36006, + "▁жел": 36007, + "▁возникает": 36008, + "▁Тер": 36009, + "поте": 36010, + "▁Моло": 36011, + "▁устройства": 36012, + "шением": 36013, + "▁сложи": 36014, + "лке": 36015, + "чиная": 36016, + "▁чемпионате": 36017, + "▁позднее": 36018, + "серва": 36019, + "▁млрд": 36020, + "▁команда": 36021, + "▁селе": 36022, + "▁спорт": 36023, + "▁разум": 36024, + "▁свободы": 36025, + "▁еписко": 36026, + "▁Перед": 36027, + "▁сельского": 36028, + "▁зака": 36029, + "полу": 36030, + "▁чему": 36031, + "тились": 36032, + "▁наста": 36033, + "▁пребы": 36034, + "коль": 36035, + "части": 36036, + "▁пришел": 36037, + "вол": 36038, + "РА": 36039, + "▁болезни": 36040, + "▁млад": 36041, + "лло": 36042, + "▁конец": 36043, + "▁поиска": 36044, + "тана": 36045, + "вленный": 36046, + "евского": 36047, + "йтесь": 36048, + "▁рассу": 36049, + "вёр": 36050, + "нном": 36051, + "▁поведения": 36052, + "▁откуда": 36053, + "НО": 36054, + "▁количества": 36055, + "▁учиты": 36056, + "▁нечто": 36057, + "▁рождения": 36058, + "▁исследований": 36059, + "тье": 36060, + "▁сформи": 36061, + "▁службу": 36062, + "тябрь": 36063, + "▁полной": 36064, + "сное": 36065, + "▁производство": 36066, + "сыла": 36067, + "коле": 36068, + "▁Роб": 36069, + "▁водой": 36070, + "стера": 36071, + "▁ряда": 36072, + "▁Изра": 36073, + "▁молодо": 36074, + "роваться": 36075, + "▁пусть": 36076, + "▁должности": 36077, + "▁конкурен": 36078, + "цио": 36079, + "лож": 36080, + "сюда": 36081, + "▁недели": 36082, + "▁книг": 36083, + "мит": 36084, + "▁развер": 36085, + "▁книга": 36086, + "▁окончания": 36087, + "▁памят": 36088, + "▁отдела": 36089, + "▁ТАСС": 36090, + "▁тща": 36091, + "▁пет": 36092, + "▁ох": 36093, + "▁Поз": 36094, + "ань": 36095, + "▁деревя": 36096, + "▁Правда": 36097, + "нета": 36098, + "пил": 36099, + "▁Василь": 36100, + "▁начальник": 36101, + "▁характера": 36102, + "▁несо": 36103, + "▁Макси": 36104, + "▁метод": 36105, + "▁пусты": 36106, + "▁слыша": 36107, + "▁титу": 36108, + "▁задержа": 36109, + "чился": 36110, + "▁Кара": 36111, + "▁гаран": 36112, + "ьев": 36113, + "\"[": 36114, + "рень": 36115, + "думы": 36116, + "▁стати": 36117, + "ниться": 36118, + "▁бомбарди": 36119, + "новение": 36120, + "▁пило": 36121, + "мому": 36122, + "▁нака": 36123, + "▁вось": 36124, + "▁запу": 36125, + "ванию": 36126, + "женные": 36127, + "▁случаев": 36128, + "▁спросил": 36129, + "▁полк": 36130, + "▁обозна": 36131, + "дете": 36132, + "▁наша": 36133, + "▁публика": 36134, + "▁решили": 36135, + "▁государство": 36136, + "честве": 36137, + "▁преобразова": 36138, + "▁представителей": 36139, + "стен": 36140, + "говари": 36141, + "▁восем": 36142, + "▁регули": 36143, + "нями": 36144, + "▁никак": 36145, + "▁порядок": 36146, + "▁укреп": 36147, + "личия": 36148, + "▁обстоятельства": 36149, + "Та": 36150, + "мато": 36151, + "дим": 36152, + "дея": 36153, + "▁текст": 36154, + "ЕЛ": 36155, + "Йор": 36156, + "сения": 36157, + "▁начинается": 36158, + "▁периода": 36159, + "жают": 36160, + "стры": 36161, + "▁слуша": 36162, + "емым": 36163, + "▁явно": 36164, + "лера": 36165, + "душ": 36166, + "▁факуль": 36167, + "▁Хи": 36168, + "▁выбира": 36169, + "рабаты": 36170, + "словно": 36171, + "▁принято": 36172, + "▁одному": 36173, + "▁реа": 36174, + "▁Эр": 36175, + "Си": 36176, + "▁Андрей": 36177, + "▁Ир": 36178, + "▁Особ": 36179, + "ющему": 36180, + "вец": 36181, + "▁знаком": 36182, + "▁сосредото": 36183, + "зме": 36184, + "▁прин": 36185, + "чется": 36186, + "конча": 36187, + "▁Земли": 36188, + "шина": 36189, + "▁законом": 36190, + "▁нрави": 36191, + "▁штаба": 36192, + "▁непро": 36193, + "▁данной": 36194, + "▁клад": 36195, + "▁каждом": 36196, + "чие": 36197, + "▁соблю": 36198, + "▁иностранных": 36199, + "▁подвод": 36200, + "▁политической": 36201, + "▁Поскольку": 36202, + "▁дре": 36203, + "▁появились": 36204, + "▁иной": 36205, + "мули": 36206, + "▁насколько": 36207, + "▁баш": 36208, + "▁конкур": 36209, + "гри": 36210, + "кратно": 36211, + "▁армия": 36212, + "рно": 36213, + "стройки": 36214, + "жном": 36215, + "▁конферен": 36216, + "▁матче": 36217, + "▁опу": 36218, + "▁Кан": 36219, + "▁Каждый": 36220, + "▁торже": 36221, + "плы": 36222, + "▁Рей": 36223, + "▁разби": 36224, + "льному": 36225, + "▁жест": 36226, + "сным": 36227, + "чник": 36228, + "зать": 36229, + "читься": 36230, + "▁флота": 36231, + "▁родствен": 36232, + "▁дворя": 36233, + "няются": 36234, + "тила": 36235, + "▁рубе": 36236, + "▁Иногда": 36237, + "▁горе": 36238, + "▁ракет": 36239, + "▁данный": 36240, + "▁Рим": 36241, + "▁современной": 36242, + "▁коммента": 36243, + "▁небольшой": 36244, + "▁земля": 36245, + "▁гос": 36246, + "eneral": 36247, + "змом": 36248, + "▁камен": 36249, + "▁маги": 36250, + "▁направлен": 36251, + "май": 36252, + "▁гим": 36253, + "лови": 36254, + "▁института": 36255, + "ствовала": 36256, + "▁Вен": 36257, + "▁повре": 36258, + "▁шах": 36259, + "▁иск": 36260, + "Ме": 36261, + "▁взял": 36262, + "толи": 36263, + "Мы": 36264, + "ourn": 36265, + "▁дальнейшем": 36266, + "▁класс": 36267, + "▁неодно": 36268, + "▁ядер": 36269, + "ванием": 36270, + "▁завода": 36271, + "нете": 36272, + "фициаль": 36273, + "▁вку": 36274, + "▁обслужи": 36275, + "▁игр": 36276, + "▁Нача": 36277, + "▁получения": 36278, + "зиру": 36279, + "юр": 36280, + "▁води": 36281, + "▁исход": 36282, + "▁меры": 36283, + "▁зарабо": 36284, + "▁голос": 36285, + "зами": 36286, + "▁Иванович": 36287, + "▁членом": 36288, + "эль": 36289, + "штей": 36290, + "▁доли": 36291, + "чера": 36292, + "жка": 36293, + "воен": 36294, + "сии": 36295, + "бенок": 36296, + "ссер": 36297, + "▁основании": 36298, + "циям": 36299, + "▁хозяйства": 36300, + "▁вами": 36301, + "▁активно": 36302, + "▁представить": 36303, + "▁проведения": 36304, + "▁перевод": 36305, + "▁хло": 36306, + "▁Министер": 36307, + "жим": 36308, + "▁записа": 36309, + "▁собственной": 36310, + "▁предложил": 36311, + "indows": 36312, + "▁Джей": 36313, + "бку": 36314, + "▁стихот": 36315, + "нская": 36316, + "▁школу": 36317, + "▁нерв": 36318, + "▁входит": 36319, + "▁оз": 36320, + "благо": 36321, + "щением": 36322, + "▁использование": 36323, + "▁считают": 36324, + "▁претен": 36325, + "▁мед": 36326, + "▁Москва": 36327, + "▁границы": 36328, + "▁задач": 36329, + "▁Пока": 36330, + "▁трени": 36331, + "▁Еги": 36332, + "▁советских": 36333, + "При": 36334, + "▁адре": 36335, + "жье": 36336, + "▁заключается": 36337, + "дю": 36338, + "▁Иль": 36339, + "берг": 36340, + "льность": 36341, + "▁достоин": 36342, + "▁Акаде": 36343, + "▁Поли": 36344, + "▁наоборот": 36345, + "▁Азии": 36346, + "рас": 36347, + "▁вынужден": 36348, + "▁вдоль": 36349, + "▁боро": 36350, + "кнул": 36351, + "▁охва": 36352, + "▁вру": 36353, + "▁сознания": 36354, + "▁вверх": 36355, + "▁неё": 36356, + "▁масса": 36357, + "▁Ак": 36358, + "кал": 36359, + "▁Ок": 36360, + "▁моих": 36361, + "Ба": 36362, + "▁Шта": 36363, + "▁собо": 36364, + "▁придется": 36365, + "▁автора": 36366, + "▁изба": 36367, + "▁МО": 36368, + "▁главного": 36369, + "чами": 36370, + "▁научно": 36371, + "ментом": 36372, + "▁предше": 36373, + "▁большеви": 36374, + "вё": 36375, + "дры": 36376, + "твор": 36377, + "чив": 36378, + "ouncil": 36379, + "Бе": 36380, + "▁специ": 36381, + "▁относятся": 36382, + "▁выстав": 36383, + "▁губернии": 36384, + "канчи": 36385, + "▁бассе": 36386, + "сё": 36387, + "▁Оно": 36388, + "▁сексуаль": 36389, + "▁Очень": 36390, + "бели": 36391, + "▁ликви": 36392, + "▁достижения": 36393, + "▁советской": 36394, + "крови": 36395, + "▁православ": 36396, + "нности": 36397, + "▁герои": 36398, + "▁профессор": 36399, + "irc": 36400, + "▁Президен": 36401, + "▁отсутствие": 36402, + "вились": 36403, + "ченной": 36404, + "▁дороге": 36405, + "▁Afric": 36406, + "▁комитета": 36407, + "▁царя": 36408, + "▁горизо": 36409, + "▁налого": 36410, + "нила": 36411, + "▁Вскоре": 36412, + "▁деревни": 36413, + "▁командир": 36414, + "▁русские": 36415, + "▁инду": 36416, + "▁сравнению": 36417, + "кл": 36418, + "▁Спи": 36419, + "▁воин": 36420, + "▁дыха": 36421, + "▁побере": 36422, + "▁другую": 36423, + "▁высокой": 36424, + "чков": 36425, + "▁увели": 36426, + "▁поселения": 36427, + "дает": 36428, + "▁считается": 36429, + "▁напи": 36430, + "▁неделю": 36431, + "▁Высо": 36432, + "тировал": 36433, + "▁сухо": 36434, + "▁Генри": 36435, + "▁соответственно": 36436, + "надцати": 36437, + "▁стратеги": 36438, + "▁городов": 36439, + "вига": 36440, + "ждению": 36441, + "▁атмосф": 36442, + "стым": 36443, + "▁базе": 36444, + "▁правильно": 36445, + "▁обратно": 36446, + "▁лабора": 36447, + "ственными": 36448, + "▁Наконец": 36449, + "езде": 36450, + "▁здания": 36451, + "▁оружие": 36452, + "▁статье": 36453, + "стам": 36454, + "▁ПО": 36455, + "▁портре": 36456, + "▁сельсо": 36457, + "▁Эн": 36458, + "▁управление": 36459, + "▁лице": 36460, + "имость": 36461, + "▁номер": 36462, + "▁идея": 36463, + "▁выста": 36464, + "▁успешно": 36465, + "▁компьютер": 36466, + "▁считал": 36467, + "▁недавно": 36468, + "▁участвовал": 36469, + "▁Глава": 36470, + "щики": 36471, + "▁преде": 36472, + "стный": 36473, + "▁Жу": 36474, + "▁ночью": 36475, + "▁перемен": 36476, + "▁окончил": 36477, + "▁Алексей": 36478, + "центра": 36479, + "▁ненави": 36480, + "▁Красной": 36481, + "▁бесс": 36482, + "forman": 36483, + "▁СП": 36484, + "ненные": 36485, + "▁население": 36486, + "сля": 36487, + "▁удосто": 36488, + "шкой": 36489, + "▁повер": 36490, + "мыми": 36491, + "▁знания": 36492, + "▁обучения": 36493, + "▁добра": 36494, + "чкой": 36495, + "▁начать": 36496, + "▁Сла": 36497, + "▁стои": 36498, + "ВО": 36499, + "▁Коман": 36500, + "▁Пло": 36501, + "▁трево": 36502, + "▁поведение": 36503, + "▁сче": 36504, + "▁строительства": 36505, + "фов": 36506, + "▁процеду": 36507, + "▁закона": 36508, + "▁постра": 36509, + "▁песни": 36510, + "денти": 36511, + "▁вышла": 36512, + "▁высказыва": 36513, + "▁Россию": 36514, + "бая": 36515, + "▁воздуха": 36516, + "щика": 36517, + "▁Олимпий": 36518, + "ряду": 36519, + "▁символи": 36520, + "▁впло": 36521, + "стических": 36522, + "▁вещества": 36523, + "▁остальные": 36524, + "ровой": 36525, + "▁Кли": 36526, + "прос": 36527, + "купа": 36528, + "▁принимать": 36529, + "кового": 36530, + "▁сай": 36531, + "▁поо": 36532, + "ступили": 36533, + "▁Верховного": 36534, + "кость": 36535, + "нга": 36536, + "▁Дело": 36537, + "Се": 36538, + "стый": 36539, + "▁существования": 36540, + "▁потребо": 36541, + "▁сообщения": 36542, + "▁отчет": 36543, + "▁последних": 36544, + "etwork": 36545, + "мм": 36546, + "▁катастро": 36547, + "▁прика": 36548, + "▁фла": 36549, + "▁оса": 36550, + "▁рост": 36551, + "▁завтра": 36552, + "▁носи": 36553, + "▁большого": 36554, + "▁сила": 36555, + "РО": 36556, + "▁господ": 36557, + "джет": 36558, + "щено": 36559, + "▁оказалась": 36560, + "▁снаря": 36561, + "рной": 36562, + "зербай": 36563, + "▁гром": 36564, + "▁Анто": 36565, + "▁ориен": 36566, + "Ре": 36567, + "зербайджа": 36568, + "▁определить": 36569, + "▁названия": 36570, + "▁заму": 36571, + "▁кем": 36572, + "▁основные": 36573, + "несен": 36574, + "▁сопровожда": 36575, + "▁сожалению": 36576, + "▁фер": 36577, + "право": 36578, + "▁внеза": 36579, + "▁Солн": 36580, + "▁силой": 36581, + "▁вниз": 36582, + "стика": 36583, + "▁заниматься": 36584, + "▁Японии": 36585, + "▁газеты": 36586, + "▁Сло": 36587, + "щаются": 36588, + "▁семи": 36589, + "▁мужчина": 36590, + "▁условий": 36591, + "▁Петербур": 36592, + "▁препят": 36593, + "▁владель": 36594, + "бах": 36595, + "▁мае": 36596, + "▁инженер": 36597, + "тном": 36598, + "▁паралле": 36599, + "▁имеется": 36600, + "деления": 36601, + "▁rese": 36602, + "▁оско": 36603, + "нью": 36604, + "▁подозре": 36605, + "▁боже": 36606, + "▁директор": 36607, + "▁поза": 36608, + "▁вопросов": 36609, + "▁Спа": 36610, + "нья": 36611, + "турой": 36612, + "▁реализации": 36613, + "▁внутренних": 36614, + "спонден": 36615, + "▁вообра": 36616, + "зок": 36617, + "шили": 36618, + "▁нако": 36619, + "стю": 36620, + "▁Ее": 36621, + "▁Ему": 36622, + "▁смотри": 36623, + "▁моду": 36624, + "ividual": 36625, + "▁Филип": 36626, + "ехали": 36627, + "▁Интер": 36628, + "▁яй": 36629, + "▁отре": 36630, + "▁Обы": 36631, + "▁мужчин": 36632, + "▁коммер": 36633, + "йского": 36634, + "зировать": 36635, + "▁контроли": 36636, + "лива": 36637, + "мами": 36638, + "▁прошлом": 36639, + "▁двой": 36640, + "▁связано": 36641, + "▁динами": 36642, + "ковым": 36643, + "▁парамет": 36644, + "▁обеспечения": 36645, + "▁Ст": 36646, + "▁император": 36647, + "▁пожалуй": 36648, + "▁желание": 36649, + "доне": 36650, + "▁ограничи": 36651, + "делить": 36652, + "▁запла": 36653, + "▁Петро": 36654, + "щер": 36655, + "▁доктор": 36656, + "▁Надо": 36657, + "▁понятия": 36658, + "зацию": 36659, + "▁российский": 36660, + "▁сфере": 36661, + "▁применения": 36662, + "▁Вам": 36663, + "▁каком": 36664, + "▁идей": 36665, + "▁чтоб": 36666, + "▁бата": 36667, + "▁неприя": 36668, + "▁искать": 36669, + "▁приходилось": 36670, + "носит": 36671, + "▁эксперимента": 36672, + "▁делу": 36673, + "▁экономики": 36674, + "▁строго": 36675, + "▁эпохи": 36676, + "вому": 36677, + "▁вечер": 36678, + "▁появился": 36679, + "▁играть": 36680, + "▁Суще": 36681, + "▁столк": 36682, + "▁Вене": 36683, + "▁инвести": 36684, + "▁правила": 36685, + "▁содержание": 36686, + "▁улицы": 36687, + "▁спектак": 36688, + "▁сердца": 36689, + "▁оцени": 36690, + "▁нашем": 36691, + "▁остался": 36692, + "▁телефон": 36693, + "▁основы": 36694, + "▁сва": 36695, + "▁главы": 36696, + "▁воде": 36697, + "▁рук": 36698, + "тивное": 36699, + "▁начальника": 36700, + "▁упраж": 36701, + "влял": 36702, + "лости": 36703, + "▁Фри": 36704, + "первых": 36705, + "▁заинтере": 36706, + "нено": 36707, + "▁скорости": 36708, + "▁ситуация": 36709, + "▁креди": 36710, + "▁университет": 36711, + "▁бук": 36712, + "вказ": 36713, + "▁Спе": 36714, + "▁потреби": 36715, + "▁естественно": 36716, + "мум": 36717, + "▁восприя": 36718, + "кол": 36719, + "рных": 36720, + "▁провести": 36721, + "▁Вместе": 36722, + "эт": 36723, + "▁роста": 36724, + "▁хол": 36725, + "▁эн": 36726, + "▁Ах": 36727, + "▁фаши": 36728, + "▁руководство": 36729, + "▁делают": 36730, + "▁герцо": 36731, + "▁абсолютно": 36732, + "▁Хоро": 36733, + "▁дета": 36734, + "▁нрав": 36735, + "летний": 36736, + "▁встречи": 36737, + "▁верто": 36738, + "▁устой": 36739, + "▁сезоне": 36740, + "▁Оль": 36741, + "▁марте": 36742, + "▁Дол": 36743, + "щён": 36744, + "▁степень": 36745, + "товых": 36746, + "▁ордена": 36747, + "▁Ци": 36748, + "▁славя": 36749, + "epend": 36750, + "тность": 36751, + "▁искусство": 36752, + "▁целей": 36753, + "▁рассказал": 36754, + "▁контак": 36755, + "▁мозга": 36756, + "тяну": 36757, + "▁бело": 36758, + "▁губерна": 36759, + "▁друзей": 36760, + "▁интен": 36761, + "▁подготовки": 36762, + "▁отста": 36763, + "▁капитали": 36764, + "▁Народ": 36765, + "▁успеха": 36766, + "▁прошлого": 36767, + "▁текста": 36768, + "шены": 36769, + "▁топли": 36770, + "льского": 36771, + "▁заболевания": 36772, + "▁юно": 36773, + "довой": 36774, + "▁бого": 36775, + "▁Казах": 36776, + "▁нём": 36777, + "▁бесе": 36778, + "▁институт": 36779, + "▁масло": 36780, + "gether": 36781, + "▁впечатление": 36782, + "▁фактически": 36783, + "▁Дэ": 36784, + "▁автомати": 36785, + "▁молодой": 36786, + "▁полиции": 36787, + "▁национальной": 36788, + "▁немедленно": 36789, + "дание": 36790, + "▁представители": 36791, + "▁деревне": 36792, + "дне": 36793, + "▁появляется": 36794, + "▁Без": 36795, + "▁последнее": 36796, + "▁групп": 36797, + "▁элементы": 36798, + "▁лето": 36799, + "▁преступления": 36800, + "▁тип": 36801, + "порт": 36802, + "▁неред": 36803, + "▁langu": 36804, + "ордина": 36805, + "зал": 36806, + "▁объекта": 36807, + "▁будучи": 36808, + "ровании": 36809, + "▁код": 36810, + "енье": 36811, + "▁проник": 36812, + "▁тему": 36813, + "ложений": 36814, + "▁матча": 36815, + "паде": 36816, + "▁головы": 36817, + "▁очевид": 36818, + "▁Родился": 36819, + "▁хотелось": 36820, + "кульп": 36821, + "▁данного": 36822, + "▁узнать": 36823, + "веря": 36824, + "▁гне": 36825, + "лега": 36826, + "▁дро": 36827, + "▁Джа": 36828, + "▁раздра": 36829, + "новой": 36830, + "менять": 36831, + "боро": 36832, + "эм": 36833, + "▁соли": 36834, + "ьи": 36835, + "▁прио": 36836, + "▁Побе": 36837, + "▁вызывает": 36838, + "▁привести": 36839, + "▁дверь": 36840, + "▁здание": 36841, + "прият": 36842, + "жнему": 36843, + "▁мело": 36844, + "реги": 36845, + "▁шел": 36846, + "▁био": 36847, + "например": 36848, + "▁строительство": 36849, + "тировать": 36850, + "▁крат": 36851, + "ИТ": 36852, + "▁ваш": 36853, + "▁концу": 36854, + "рные": 36855, + "▁километров": 36856, + "▁Евге": 36857, + "▁Ль": 36858, + "россий": 36859, + "▁организаций": 36860, + "▁Кана": 36861, + "оном": 36862, + "▁Бори": 36863, + "▁Ленинград": 36864, + "станции": 36865, + "рана": 36866, + "ложил": 36867, + "▁последнего": 36868, + "▁познакоми": 36869, + "▁Воро": 36870, + "▁Дмитрий": 36871, + "▁этими": 36872, + "возь": 36873, + "▁вопло": 36874, + "ционная": 36875, + "чок": 36876, + "ехать": 36877, + "▁январе": 36878, + "▁осталось": 36879, + "▁специально": 36880, + "▁сентябре": 36881, + "▁Хар": 36882, + "▁пришли": 36883, + "няться": 36884, + "▁самолета": 36885, + "тивным": 36886, + "▁тридца": 36887, + "▁ума": 36888, + "▁мерт": 36889, + "▁академии": 36890, + "▁сюда": 36891, + "▁августе": 36892, + "ФСР": 36893, + "ЕТ": 36894, + "▁декабре": 36895, + "▁будущем": 36896, + "вшем": 36897, + "нском": 36898, + "▁кладби": 36899, + "▁положении": 36900, + "▁серебря": 36901, + "▁российских": 36902, + "рована": 36903, + "▁новым": 36904, + "сме": 36905, + "нант": 36906, + "▁схва": 36907, + "▁вода": 36908, + "▁вои": 36909, + "▁видели": 36910, + "▁Иоан": 36911, + "▁сты": 36912, + "▁служи": 36913, + "нях": 36914, + "енью": 36915, + "стской": 36916, + "▁уника": 36917, + "▁школа": 36918, + "▁самолет": 36919, + "шко": 36920, + "▁драма": 36921, + "▁комиссии": 36922, + "▁броса": 36923, + "▁Воло": 36924, + "▁именем": 36925, + "▁буржу": 36926, + "ципли": 36927, + "▁огне": 36928, + "▁здоро": 36929, + "исто": 36930, + "тивная": 36931, + "▁случайно": 36932, + "▁семья": 36933, + "оти": 36934, + "▁выпла": 36935, + "▁лекар": 36936, + "▁богат": 36937, + "рай": 36938, + "▁материалов": 36939, + "ционно": 36940, + "вшаяся": 36941, + "брать": 36942, + "▁среды": 36943, + "жными": 36944, + "бую": 36945, + "тивы": 36946, + "▁анализа": 36947, + "гнуть": 36948, + "▁информация": 36949, + "▁поэт": 36950, + "▁голу": 36951, + "▁форм": 36952, + "▁солне": 36953, + "▁моги": 36954, + "▁самому": 36955, + "▁шли": 36956, + "▁шла": 36957, + "▁изображения": 36958, + "▁сор": 36959, + "▁РСФСР": 36960, + "▁половине": 36961, + "▁втором": 36962, + "▁Сем": 36963, + "▁находились": 36964, + "▁мили": 36965, + "▁такими": 36966, + "pecial": 36967, + "▁допуска": 36968, + "пания": 36969, + "▁знали": 36970, + "зию": 36971, + "▁победу": 36972, + "▁сможет": 36973, + "льник": 36974, + "▁справедливо": 36975, + "▁Упра": 36976, + "▁глазами": 36977, + "▁Петра": 36978, + "▁группе": 36979, + "граф": 36980, + "▁явления": 36981, + "▁эмоциона": 36982, + "▁социальной": 36983, + "жён": 36984, + "▁кан": 36985, + "жие": 36986, + "▁осла": 36987, + "▁корпора": 36988, + "▁думать": 36989, + "ведён": 36990, + "▁глазах": 36991, + "▁показывает": 36992, + "▁поса": 36993, + "▁растений": 36994, + "▁постано": 36995, + "▁Само": 36996, + "▁сотрудников": 36997, + "▁выхода": 36998, + "▁эко": 36999, + "▁гидро": 37000, + "▁сделали": 37001, + "▁установить": 37002, + "▁усилия": 37003, + "▁утром": 37004, + "рованные": 37005, + "▁обществе": 37006, + "▁неизбе": 37007, + "следования": 37008, + "цар": 37009, + "▁лиш": 37010, + "▁старо": 37011, + "▁иденти": 37012, + "▁почув": 37013, + "▁способность": 37014, + "▁кно": 37015, + "▁Иванов": 37016, + "менте": 37017, + "▁бол": 37018, + "хам": 37019, + "пси": 37020, + "▁сути": 37021, + "▁картин": 37022, + "▁вино": 37023, + "ллер": 37024, + "кторов": 37025, + "▁блю": 37026, + "▁Фин": 37027, + "▁рассе": 37028, + "▁министер": 37029, + "ходом": 37030, + "▁организма": 37031, + "▁прикры": 37032, + "▁наси": 37033, + "рованного": 37034, + "▁философии": 37035, + "▁обита": 37036, + "▁небо": 37037, + "▁нередко": 37038, + "▁кори": 37039, + "▁восполь": 37040, + "▁целе": 37041, + "▁появилась": 37042, + "стрее": 37043, + "▁категории": 37044, + "▁performan": 37045, + "▁вещей": 37046, + "Ле": 37047, + "▁новая": 37048, + "тности": 37049, + "▁картины": 37050, + "ьет": 37051, + "дох": 37052, + "▁Ат": 37053, + "Вы": 37054, + "▁двадцать": 37055, + "физи": 37056, + "лога": 37057, + "▁поддержку": 37058, + "▁партия": 37059, + "▁группи": 37060, + "▁лежит": 37061, + "бят": 37062, + "вяз": 37063, + "То": 37064, + "▁очевидно": 37065, + "▁сайт": 37066, + "rain": 37067, + "▁записи": 37068, + "▁Виль": 37069, + "▁стихотво": 37070, + "▁группу": 37071, + "▁известный": 37072, + "деся": 37073, + "▁заметил": 37074, + "выше": 37075, + "▁выполнения": 37076, + "▁лучших": 37077, + "▁республики": 37078, + "▁послу": 37079, + "▁князя": 37080, + "▁прояви": 37081, + "стого": 37082, + "шают": 37083, + "▁подобных": 37084, + "▁силами": 37085, + "▁связыва": 37086, + "жащих": 37087, + "страи": 37088, + "▁миру": 37089, + "мети": 37090, + "▁Наиболее": 37091, + "▁Всего": 37092, + "▁отка": 37093, + "▁разнообраз": 37094, + "▁Институ": 37095, + "▁Великобритании": 37096, + "▁используют": 37097, + "▁уточ": 37098, + "▁виды": 37099, + "▁намере": 37100, + "ЛА": 37101, + "▁Созда": 37102, + "ющейся": 37103, + "тик": 37104, + "▁Рис": 37105, + "▁Северной": 37106, + "▁приблизи": 37107, + "ленные": 37108, + "▁однажды": 37109, + "нилось": 37110, + "щали": 37111, + "тацию": 37112, + "стка": 37113, + "▁взрос": 37114, + "льт": 37115, + "▁Нов": 37116, + "▁остров": 37117, + "▁традиции": 37118, + "страции": 37119, + "▁представитель": 37120, + "▁современных": 37121, + "▁опи": 37122, + "тяги": 37123, + "▁тенден": 37124, + "▁погру": 37125, + "нские": 37126, + "▁технологии": 37127, + "▁проме": 37128, + "пах": 37129, + "iol": 37130, + "рованный": 37131, + "▁Бор": 37132, + "▁получает": 37133, + "льский": 37134, + "▁авиации": 37135, + "евский": 37136, + "▁Далее": 37137, + "▁Америки": 37138, + "▁причине": 37139, + "▁нашу": 37140, + "▁едино": 37141, + "▁конфи": 37142, + "▁ребенок": 37143, + "▁Зи": 37144, + "формы": 37145, + "▁переход": 37146, + "▁представление": 37147, + "▁мра": 37148, + "▁документов": 37149, + "▁стрель": 37150, + "ступила": 37151, + "▁самая": 37152, + "▁размер": 37153, + "чками": 37154, + "охра": 37155, + "мона": 37156, + "▁пространства": 37157, + "дится": 37158, + "▁октябре": 37159, + "▁глубоко": 37160, + "▁содержит": 37161, + "▁покло": 37162, + "вающих": 37163, + "▁оппози": 37164, + "лант": 37165, + "ссию": 37166, + "▁фоне": 37167, + "▁никакой": 37168, + "▁переу": 37169, + "!..": 37170, + "▁документы": 37171, + "▁выстре": 37172, + "▁ведом": 37173, + "▁привет": 37174, + "▁пище": 37175, + "вило": 37176, + "▁вследствие": 37177, + "▁отстав": 37178, + "▁горы": 37179, + "▁Извест": 37180, + "▁вечером": 37181, + "▁невы": 37182, + "▁вернуться": 37183, + "▁участия": 37184, + "▁небольшо": 37185, + "▁генерала": 37186, + "нуться": 37187, + "▁безопас": 37188, + "▁научных": 37189, + "▁самолетов": 37190, + "гант": 37191, + "▁гвардей": 37192, + "кос": 37193, + "тными": 37194, + "▁реф": 37195, + "▁ВВС": 37196, + "▁члены": 37197, + "▁испра": 37198, + "пку": 37199, + "▁продукции": 37200, + "▁строе": 37201, + "мию": 37202, + "▁опыта": 37203, + "прежнему": 37204, + "▁Кита": 37205, + "▁обши": 37206, + "▁контроль": 37207, + "▁сма": 37208, + "рный": 37209, + "▁литературе": 37210, + "▁предложения": 37211, + "дё": 37212, + "▁одер": 37213, + "▁началась": 37214, + "дации": 37215, + "▁упомя": 37216, + "лию": 37217, + "вами": 37218, + "▁сосу": 37219, + "▁природе": 37220, + "чила": 37221, + "жом": 37222, + "▁Автор": 37223, + "▁имела": 37224, + "▁спец": 37225, + "▁разговор": 37226, + "▁разработчи": 37227, + "стром": 37228, + "вшему": 37229, + "▁квали": 37230, + "▁методы": 37231, + "рье": 37232, + "▁газо": 37233, + "цвет": 37234, + "▁министр": 37235, + "▁Ска": 37236, + "▁рукой": 37237, + "▁преимущественно": 37238, + "▁якобы": 37239, + "фом": 37240, + "▁будущего": 37241, + "▁фабри": 37242, + "▁сопер": 37243, + "▁руб": 37244, + "▁лейте": 37245, + "▁требуется": 37246, + "жья": 37247, + "зму": 37248, + "▁мужчины": 37249, + "▁плю": 37250, + "▁скульп": 37251, + "нились": 37252, + "▁Было": 37253, + "▁медленно": 37254, + "▁структуры": 37255, + "▁строй": 37256, + "▁разъ": 37257, + "▁обли": 37258, + "▁основания": 37259, + "▁стари": 37260, + "бан": 37261, + "Об": 37262, + "пуль": 37263, + "▁хво": 37264, + "▁существование": 37265, + "▁зару": 37266, + "▁биологи": 37267, + "кости": 37268, + "▁принадлежит": 37269, + "евна": 37270, + "▁передачи": 37271, + "пок": 37272, + "▁душе": 37273, + "▁знаем": 37274, + "▁артиллерий": 37275, + "тес": 37276, + "▁спорта": 37277, + "▁аэрод": 37278, + "▁верши": 37279, + "▁Много": 37280, + "▁обык": 37281, + "▁третий": 37282, + "несли": 37283, + "▁театр": 37284, + "▁гимна": 37285, + "▁руками": 37286, + "▁предложение": 37287, + "▁окончательно": 37288, + "гон": 37289, + "ИК": 37290, + "▁пенси": 37291, + "▁грамо": 37292, + "пии": 37293, + "▁ключе": 37294, + "▁броне": 37295, + "▁ассоциа": 37296, + "▁ситуацию": 37297, + "▁прими": 37298, + "▁местных": 37299, + "органи": 37300, + "▁провинции": 37301, + "▁Фер": 37302, + "▁правил": 37303, + "▁Нау": 37304, + "▁ночи": 37305, + "▁оформ": 37306, + "▁лицом": 37307, + "▁специфи": 37308, + "дие": 37309, + "ждением": 37310, + "▁фильме": 37311, + "▁устраи": 37312, + "кора": 37313, + "▁зага": 37314, + "▁замы": 37315, + "▁углу": 37316, + "▁сюжет": 37317, + "▁князь": 37318, + "▁назвать": 37319, + "дая": 37320, + "▁снаб": 37321, + "▁Эй": 37322, + "▁дели": 37323, + "▁заказ": 37324, + "▁прия": 37325, + "▁любого": 37326, + "▁договор": 37327, + "▁опер": 37328, + "рет": 37329, + "▁ауди": 37330, + "▁характеризу": 37331, + "▁апреле": 37332, + "▁министра": 37333, + "▁романа": 37334, + "▁интервью": 37335, + "▁обез": 37336, + "пр": 37337, + "▁выступал": 37338, + "▁лета": 37339, + "жима": 37340, + "▁энергети": 37341, + "▁вплоть": 37342, + "▁уско": 37343, + "▁отметить": 37344, + "▁Али": 37345, + "зне": 37346, + "▁пункт": 37347, + "запад": 37348, + "▁летом": 37349, + "лакти": 37350, + "▁зре": 37351, + "тори": 37352, + "▁занимает": 37353, + "▁знак": 37354, + "мян": 37355, + "▁пры": 37356, + "▁примеру": 37357, + "▁объект": 37358, + "▁контроля": 37359, + "▁попытки": 37360, + "▁главных": 37361, + "▁чай": 37362, + "▁Соб": 37363, + "▁стоял": 37364, + "сек": 37365, + "▁видит": 37366, + "▁Владими": 37367, + "сна": 37368, + "▁заканчи": 37369, + "логия": 37370, + "бет": 37371, + "▁нега": 37372, + "▁препара": 37373, + "▁Два": 37374, + "▁добавить": 37375, + "▁колхо": 37376, + "падает": 37377, + "▁вез": 37378, + "▁июне": 37379, + "Как": 37380, + "▁полицей": 37381, + "▁звание": 37382, + "▁восемь": 37383, + "▁телеви": 37384, + "▁государств": 37385, + "шинство": 37386, + "▁обусло": 37387, + "▁государственный": 37388, + "кке": 37389, + "▁политических": 37390, + "▁рассчиты": 37391, + "▁чувству": 37392, + "льской": 37393, + "зве": 37394, + "▁функциона": 37395, + "▁возвы": 37396, + "графии": 37397, + "▁шан": 37398, + "ствования": 37399, + "сматри": 37400, + "▁играл": 37401, + "▁родителей": 37402, + "▁победы": 37403, + "гене": 37404, + "▁шаг": 37405, + "▁консу": 37406, + "коман": 37407, + "▁молоде": 37408, + "▁вклад": 37409, + "ису": 37410, + "пта": 37411, + "▁июле": 37412, + "рк": 37413, + "тическая": 37414, + "гин": 37415, + "▁отказыва": 37416, + "▁днев": 37417, + "▁стены": 37418, + "▁Тор": 37419, + "▁Украине": 37420, + "▁Бал": 37421, + "▁курс": 37422, + "▁включает": 37423, + "▁музей": 37424, + "▁король": 37425, + "вающие": 37426, + "стано": 37427, + "▁способности": 37428, + "▁происхождения": 37429, + "▁пытался": 37430, + "▁программа": 37431, + "Это": 37432, + "▁Потому": 37433, + "▁пан": 37434, + "▁становятся": 37435, + "▁организация": 37436, + "▁изменя": 37437, + "ношения": 37438, + "чия": 37439, + "▁ван": 37440, + "мно": 37441, + "▁мимо": 37442, + "лай": 37443, + "▁моби": 37444, + "▁употребля": 37445, + "▁отличи": 37446, + "тинен": 37447, + "▁квадра": 37448, + "Ли": 37449, + "тропо": 37450, + "стное": 37451, + "▁заместитель": 37452, + "жий": 37453, + "▁необходимость": 37454, + "▁наличие": 37455, + "▁используются": 37456, + "горе": 37457, + "▁приложения": 37458, + "раста": 37459, + "▁бывший": 37460, + "▁свете": 37461, + "▁работают": 37462, + "мас": 37463, + "НК": 37464, + "ально": 37465, + "тельстве": 37466, + "▁миллиар": 37467, + "▁преподава": 37468, + "▁игре": 37469, + "щались": 37470, + "▁сознание": 37471, + "nect": 37472, + "▁Бли": 37473, + "▁Юго": 37474, + "▁прису": 37475, + "▁Где": 37476, + "▁граф": 37477, + "▁прекрасно": 37478, + "▁мин": 37479, + "▁Луч": 37480, + "▁Бан": 37481, + "▁команд": 37482, + "▁выйти": 37483, + "ченного": 37484, + "▁пространство": 37485, + "пуск": 37486, + "▁облег": 37487, + "жало": 37488, + "▁вопросам": 37489, + "▁показать": 37490, + "▁бесконе": 37491, + "▁герой": 37492, + "▁отдельные": 37493, + "▁кораблей": 37494, + "▁рынке": 37495, + "▁достато": 37496, + "▁программи": 37497, + "▁колон": 37498, + "▁посвящен": 37499, + "▁Джор": 37500, + "▁веру": 37501, + "▁Орден": 37502, + "▁гля": 37503, + "▁отличается": 37504, + "зит": 37505, + "▁евреев": 37506, + "чают": 37507, + "▁процессов": 37508, + "▁корабль": 37509, + "женной": 37510, + "▁Пара": 37511, + "▁бизне": 37512, + "щиеся": 37513, + "тров": 37514, + "чеб": 37515, + "рского": 37516, + "▁посту": 37517, + "▁географи": 37518, + "▁Ники": 37519, + "▁вдох": 37520, + "▁дают": 37521, + "▁другая": 37522, + "лил": 37523, + "▁штаб": 37524, + "▁самостоятельно": 37525, + "▁военные": 37526, + "▁подле": 37527, + "▁успех": 37528, + "▁Индии": 37529, + "▁ССР": 37530, + "▁премьер": 37531, + "▁этапе": 37532, + "▁\"...": 37533, + "▁ноябре": 37534, + "мся": 37535, + "▁спокойно": 37536, + "▁куп": 37537, + "щению": 37538, + "▁заранее": 37539, + "▁цело": 37540, + "▁нагруз": 37541, + "▁брата": 37542, + "пустил": 37543, + "▁Сталина": 37544, + "▁сму": 37545, + "▁корпус": 37546, + "▁всеоб": 37547, + "▁разработки": 37548, + "▁умира": 37549, + "▁крестья": 37550, + "щался": 37551, + "▁жены": 37552, + "▁городского": 37553, + "▁говор": 37554, + "▁понятие": 37555, + "▁боевой": 37556, + "неров": 37557, + "нулась": 37558, + "защи": 37559, + "▁назвал": 37560, + "зий": 37561, + "совой": 37562, + "▁коме": 37563, + "▁счастли": 37564, + "спекти": 37565, + "▁государственных": 37566, + "▁товаров": 37567, + "▁пон": 37568, + "▁капитан": 37569, + "вершен": 37570, + "сев": 37571, + "▁сход": 37572, + "▁молодых": 37573, + "▁органы": 37574, + "нулись": 37575, + "▁председатель": 37576, + "▁создании": 37577, + "▁императора": 37578, + "▁Париже": 37579, + "▁Подоб": 37580, + "логов": 37581, + "▁здра": 37582, + "▁сериа": 37583, + "▁Бре": 37584, + "▁Бен": 37585, + "кала": 37586, + "▁диза": 37587, + "▁сложно": 37588, + "▁рассказ": 37589, + "ровала": 37590, + "▁выпуск": 37591, + "▁излу": 37592, + "▁щи": 37593, + "▁героя": 37594, + "▁владе": 37595, + "▁опубликова": 37596, + "▁объяснить": 37597, + "▁Московской": 37598, + "▁массы": 37599, + "▁синте": 37600, + "▁сообщили": 37601, + "▁головой": 37602, + "▁хочется": 37603, + "риф": 37604, + "ционе": 37605, + "зоб": 37606, + "▁буквально": 37607, + "▁будущее": 37608, + "▁аргу": 37609, + "эк": 37610, + "▁феврале": 37611, + "▁стади": 37612, + "▁компаний": 37613, + "▁домов": 37614, + "▁отдыха": 37615, + "▁Помимо": 37616, + "▁чрезвычайно": 37617, + "▁главной": 37618, + "▁достой": 37619, + "▁обеспечить": 37620, + "яз": 37621, + "▁грузо": 37622, + "▁Фло": 37623, + "доби": 37624, + "▁Тот": 37625, + "▁услыша": 37626, + "▁поезд": 37627, + "Ин": 37628, + "▁дали": 37629, + "▁Испании": 37630, + "туда": 37631, + "▁обоих": 37632, + "▁началось": 37633, + "▁потери": 37634, + "▁голове": 37635, + "▁приказ": 37636, + "▁связаны": 37637, + "▁исключением": 37638, + "▁войсками": 37639, + "▁разда": 37640, + "▁блоки": 37641, + "▁вашей": 37642, + "▁Хе": 37643, + "экономи": 37644, + "пред": 37645, + "▁продолжал": 37646, + "ющегося": 37647, + "▁нашли": 37648, + "созна": 37649, + "▁возро": 37650, + "▁простой": 37651, + "хоро": 37652, + "жин": 37653, + "▁нарушения": 37654, + "ровано": 37655, + "шена": 37656, + "▁приняли": 37657, + "▁жидко": 37658, + "ждали": 37659, + "▁армию": 37660, + "пь": 37661, + "▁Люди": 37662, + "▁беспла": 37663, + "▁существуют": 37664, + "сор": 37665, + "▁чуде": 37666, + "чти": 37667, + "стива": 37668, + "▁англича": 37669, + "▁отобра": 37670, + "▁обладает": 37671, + "hern": 37672, + "фак": 37673, + "▁порта": 37674, + "етесь": 37675, + "десят": 37676, + "лено": 37677, + "ведены": 37678, + "▁любом": 37679, + "▁правления": 37680, + "▁практике": 37681, + "▁возле": 37682, + "▁ваши": 37683, + "▁прочита": 37684, + "стным": 37685, + "▁Владимира": 37686, + "▁СМИ": 37687, + "▁Чемпи": 37688, + "сную": 37689, + "▁пожи": 37690, + "▁зачем": 37691, + "▁расстре": 37692, + "▁начинают": 37693, + "вят": 37694, + "▁гипоте": 37695, + "▁концер": 37696, + "▁Предста": 37697, + "▁окре": 37698, + "▁причин": 37699, + "▁воспроиз": 37700, + "▁знают": 37701, + "▁откло": 37702, + "▁последней": 37703, + "▁Особенно": 37704, + "▁хуже": 37705, + "▁дале": 37706, + "▁avail": 37707, + "ьми": 37708, + "▁предска": 37709, + "▁добиться": 37710, + "▁престо": 37711, + "▁питания": 37712, + "▁Кам": 37713, + "▁НА": 37714, + "▁Первая": 37715, + "ваку": 37716, + "▁дисципли": 37717, + "сибо": 37718, + "лкой": 37719, + "ждал": 37720, + "▁переи": 37721, + "▁поступ": 37722, + "леты": 37723, + "▁Пор": 37724, + "▁сотни": 37725, + "▁поставить": 37726, + "▁самолё": 37727, + "гих": 37728, + "▁воздух": 37729, + "▁Василий": 37730, + "▁отделения": 37731, + "▁восстанови": 37732, + "▁темно": 37733, + "дешь": 37734, + "▁страну": 37735, + "▁причиной": 37736, + "▁фунда": 37737, + "▁рынка": 37738, + "▁удовлетво": 37739, + "▁осторо": 37740, + "нивер": 37741, + "▁последствия": 37742, + "вторых": 37743, + "▁пошел": 37744, + "▁показал": 37745, + "лел": 37746, + "▁спаса": 37747, + "▁отправился": 37748, + "▁поддержки": 37749, + "▁представляют": 37750, + "Петербур": 37751, + "гора": 37752, + "тилась": 37753, + "▁журнала": 37754, + "▁жители": 37755, + "видимому": 37756, + "▁премии": 37757, + "чается": 37758, + "▁дочери": 37759, + "рие": 37760, + "▁служил": 37761, + "▁начиная": 37762, + "▁Армии": 37763, + "▁метро": 37764, + "дерни": 37765, + "▁Киев": 37766, + "▁ров": 37767, + "▁столе": 37768, + "levision": 37769, + "▁смогли": 37770, + "▁диск": 37771, + "▁предпри": 37772, + "▁видим": 37773, + "▁предстоя": 37774, + "центри": 37775, + "▁нужны": 37776, + "нером": 37777, + "рка": 37778, + "Ку": 37779, + "▁Пом": 37780, + "где": 37781, + "▁установки": 37782, + "▁хотели": 37783, + "▁подробно": 37784, + "рона": 37785, + "▁навы": 37786, + "▁приходит": 37787, + "дку": 37788, + "▁сот": 37789, + "жество": 37790, + "▁быстрее": 37791, + "▁попал": 37792, + "сан": 37793, + "▁подклю": 37794, + "вока": 37795, + "▁Нам": 37796, + "▁запол": 37797, + "▁занимался": 37798, + "▁скри": 37799, + "▁полномо": 37800, + "▁продуктов": 37801, + "шено": 37802, + "▁машину": 37803, + "руются": 37804, + "▁контр": 37805, + "фера": 37806, + "▁овла": 37807, + "▁договора": 37808, + "жку": 37809, + "▁Мария": 37810, + "Де": 37811, + "▁большинстве": 37812, + "▁склады": 37813, + "▁ведет": 37814, + "носить": 37815, + "рованной": 37816, + "водить": 37817, + "▁Том": 37818, + "диться": 37819, + "реи": 37820, + "▁вырази": 37821, + "▁колеба": 37822, + "▁ава": 37823, + "щина": 37824, + "▁Южной": 37825, + "▁подобные": 37826, + "▁Яро": 37827, + "возгла": 37828, + "ленный": 37829, + "горит": 37830, + "▁уезда": 37831, + "▁выглядит": 37832, + "▁жизнью": 37833, + "▁АН": 37834, + "ад": 37835, + "теров": 37836, + "▁сообра": 37837, + "▁подда": 37838, + "▁Человек": 37839, + "▁подход": 37840, + "бит": 37841, + "▁материалы": 37842, + "▁мен": 37843, + "годно": 37844, + "▁учреждения": 37845, + "▁режим": 37846, + "▁читать": 37847, + "▁комплекс": 37848, + "▁нашел": 37849, + "рони": 37850, + "▁американский": 37851, + "▁чёр": 37852, + "▁Исполь": 37853, + "▁большинства": 37854, + "ченным": 37855, + "▁лидер": 37856, + "без": 37857, + "▁смотреть": 37858, + "стети": 37859, + "▁архе": 37860, + "▁следующем": 37861, + "▁автобу": 37862, + "▁иных": 37863, + "▁хотят": 37864, + "летов": 37865, + "▁расстоянии": 37866, + "▁ски": 37867, + "▁занял": 37868, + "▁секун": 37869, + "▁напротив": 37870, + "▁поступил": 37871, + "▁раско": 37872, + "▁мужа": 37873, + "вающий": 37874, + "лица": 37875, + "вокуп": 37876, + "▁ближе": 37877, + "▁вице": 37878, + "▁видимо": 37879, + "▁арен": 37880, + "▁художник": 37881, + "▁думал": 37882, + "ведении": 37883, + "▁пределах": 37884, + "▁Оде": 37885, + "▁Бого": 37886, + "ковы": 37887, + "▁контек": 37888, + "▁целях": 37889, + "▁ответственность": 37890, + "вляя": 37891, + "▁Крым": 37892, + "▁офицеров": 37893, + "зиди": 37894, + "глу": 37895, + "▁ног": 37896, + "▁тури": 37897, + "▁лес": 37898, + "▁остались": 37899, + "▁мусуль": 37900, + "▁поез": 37901, + "▁дорогу": 37902, + "▁пошли": 37903, + "монт": 37904, + "▁лё": 37905, + "▁изменений": 37906, + "▁приста": 37907, + "▁выходит": 37908, + "кут": 37909, + "стрий": 37910, + "▁сегодняш": 37911, + "▁Ай": 37912, + "▁машина": 37913, + "▁Иису": 37914, + "▁человеческого": 37915, + "▁веществ": 37916, + "▁известных": 37917, + "кина": 37918, + "диа": 37919, + "▁развитии": 37920, + "рпи": 37921, + "▁Ян": 37922, + "▁профи": 37923, + "щет": 37924, + "▁поэта": 37925, + "▁глоба": 37926, + "ждена": 37927, + "▁кавале": 37928, + "▁самим": 37929, + "▁Сначала": 37930, + "▁Такие": 37931, + "▁конститу": 37932, + "▁посмотреть": 37933, + "кен": 37934, + "▁еха": 37935, + "▁ада": 37936, + "▁социальных": 37937, + "груп": 37938, + "▁река": 37939, + "ландии": 37940, + "▁Сиби": 37941, + "кать": 37942, + "ёз": 37943, + "▁источник": 37944, + "▁подру": 37945, + "▁Благодаря": 37946, + "▁неправи": 37947, + "▁Ваши": 37948, + "▁Париж": 37949, + "▁случилось": 37950, + "От": 37951, + "outher": 37952, + "▁университете": 37953, + "▁запуска": 37954, + "▁причины": 37955, + "▁сбо": 37956, + "▁собе": 37957, + "▁процентов": 37958, + "▁контракт": 37959, + "▁крово": 37960, + "▁средней": 37961, + "▁мене": 37962, + "▁служит": 37963, + "голов": 37964, + "▁подлин": 37965, + "▁номе": 37966, + "следование": 37967, + "▁наличи": 37968, + "▁Григо": 37969, + "▁современного": 37970, + "▁искрен": 37971, + "▁минима": 37972, + "▁произведений": 37973, + "▁способом": 37974, + "кома": 37975, + "▁Официаль": 37976, + "нув": 37977, + "кур": 37978, + "еремо": 37979, + "порта": 37980, + "▁решений": 37981, + "▁крупные": 37982, + "▁яв": 37983, + "▁ход": 37984, + "▁определения": 37985, + "чны": 37986, + "▁бюро": 37987, + "дная": 37988, + "▁порт": 37989, + "руя": 37990, + "Лу": 37991, + "▁диплома": 37992, + "▁результатов": 37993, + "▁вывод": 37994, + "▁пишу": 37995, + "▁ярко": 37996, + "▁успо": 37997, + "льф": 37998, + "▁рука": 37999, + "Ви": 38000, + "▁молит": 38001, + "orthern": 38002, + "▁Объ": 38003, + "лева": 38004, + "▁совместно": 38005, + "▁Ура": 38006, + "▁пытается": 38007, + "куро": 38008, + "▁статус": 38009, + "▁анализ": 38010, + "▁действовать": 38011, + "▁боли": 38012, + "лейте": 38013, + "▁алкого": 38014, + "▁Ниж": 38015, + "челове": 38016, + "цах": 38017, + "РИ": 38018, + "▁тщательно": 38019, + "жны": 38020, + "▁живет": 38021, + "▁готовы": 38022, + "▁любов": 38023, + "▁мою": 38024, + "бление": 38025, + "▁кровь": 38026, + "▁страхо": 38027, + "▁немало": 38028, + "▁вашего": 38029, + "▁пале": 38030, + "▁реке": 38031, + "▁связанные": 38032, + "эта": 38033, + "▁писателя": 38034, + "▁архите": 38035, + "▁одни": 38036, + "eum": 38037, + "нят": 38038, + "Ни": 38039, + "▁километ": 38040, + "▁царь": 38041, + "▁высоте": 38042, + "новенно": 38043, + "▁испа": 38044, + "▁соответствует": 38045, + "▁прият": 38046, + "▁промежу": 38047, + "▁свыше": 38048, + "рма": 38049, + "жите": 38050, + "hod": 38051, + "хой": 38052, + "▁обоснова": 38053, + "нав": 38054, + "▁хотите": 38055, + "анали": 38056, + "бления": 38057, + "▁изменить": 38058, + "▁зале": 38059, + "▁похоро": 38060, + "outhern": 38061, + "уре": 38062, + "чом": 38063, + "▁охот": 38064, + "▁командира": 38065, + "▁пуле": 38066, + "▁материал": 38067, + "▁дав": 38068, + "▁взаим": 38069, + "▁Павел": 38070, + "▁атом": 38071, + "мс": 38072, + "▁повсе": 38073, + "▁затруд": 38074, + "жешь": 38075, + "▁веков": 38076, + "▁человечества": 38077, + "новых": 38078, + "▁педагоги": 38079, + "▁Николая": 38080, + "▁Кубка": 38081, + "▁Гали": 38082, + "вшимся": 38083, + "▁дух": 38084, + "▁Сим": 38085, + "▁остальных": 38086, + "юре": 38087, + "гляды": 38088, + "▁стоимость": 38089, + "▁направление": 38090, + "▁целый": 38091, + "ай": 38092, + "ницах": 38093, + "града": 38094, + "▁операций": 38095, + "▁душа": 38096, + "▁коммуника": 38097, + "▁вопроса": 38098, + "▁консерва": 38099, + "стки": 38100, + "хождения": 38101, + "▁Яко": 38102, + "тео": 38103, + "▁нашим": 38104, + "▁постанов": 38105, + "▁разобра": 38106, + "▁принцип": 38107, + "доволь": 38108, + "▁понятно": 38109, + "▁реальности": 38110, + "ьера": 38111, + "зион": 38112, + "▁поколения": 38113, + "▁наблюдения": 38114, + "▁письмен": 38115, + "▁телефо": 38116, + "Те": 38117, + "кови": 38118, + "▁огня": 38119, + "▁Шо": 38120, + "▁Ван": 38121, + "▁посредством": 38122, + "рым": 38123, + "▁услуг": 38124, + "▁играет": 38125, + "▁обма": 38126, + "minist": 38127, + "▁обязанности": 38128, + "▁талант": 38129, + "▁ано": 38130, + "рядо": 38131, + "▁местного": 38132, + "▁создан": 38133, + "слей": 38134, + "ковая": 38135, + "▁насчиты": 38136, + "жаться": 38137, + "▁задачу": 38138, + "водит": 38139, + "▁лечения": 38140, + "▁привя": 38141, + "▁ошибки": 38142, + "брасы": 38143, + "зах": 38144, + "hers": 38145, + "▁бак": 38146, + "▁похоже": 38147, + "НА": 38148, + "▁живут": 38149, + "▁красно": 38150, + "▁неожиданно": 38151, + "▁laun": 38152, + "▁разбира": 38153, + "▁дина": 38154, + "▁ничто": 38155, + "няка": 38156, + "чне": 38157, + "▁координа": 38158, + "▁объем": 38159, + "▁ответственности": 38160, + "▁терми": 38161, + "язы": 38162, + "▁создал": 38163, + "▁сыграл": 38164, + "ится": 38165, + "▁останавли": 38166, + "▁скан": 38167, + "▁Австра": 38168, + "руссии": 38169, + "▁специалистов": 38170, + "▁говорю": 38171, + "ект": 38172, + "▁Инди": 38173, + "▁Петр": 38174, + "▁бюджет": 38175, + "▁финанси": 38176, + "▁следующее": 38177, + "▁кое": 38178, + "▁ез": 38179, + "▁Име": 38180, + "▁мани": 38181, + "▁вспы": 38182, + "рэ": 38183, + "блу": 38184, + "▁приез": 38185, + "▁сообщение": 38186, + "▁центром": 38187, + "▁предприятий": 38188, + "▁Эд": 38189, + "▁Израи": 38190, + "сро": 38191, + "▁своём": 38192, + "▁неоднократно": 38193, + "▁избежать": 38194, + "▁молеку": 38195, + "▁команде": 38196, + "▁написать": 38197, + "▁наверное": 38198, + "▁Олимпийских": 38199, + "▁служить": 38200, + "▁программу": 38201, + "дующий": 38202, + "▁гармо": 38203, + "▁озера": 38204, + "▁определяется": 38205, + "▁оценки": 38206, + "ваемых": 38207, + "▁играх": 38208, + "близи": 38209, + "▁укре": 38210, + "дика": 38211, + "дила": 38212, + "▁ею": 38213, + "▁внутренней": 38214, + "лился": 38215, + "числи": 38216, + "▁Большо": 38217, + "▁словом": 38218, + "▁карьеру": 38219, + "▁помимо": 38220, + "кона": 38221, + "▁типи": 38222, + "▁Джу": 38223, + "▁дебю": 38224, + "▁противостоя": 38225, + "▁связанных": 38226, + "▁медаль": 38227, + "▁структур": 38228, + "▁Мер": 38229, + "▁смысла": 38230, + "жнее": 38231, + "▁вертика": 38232, + "▁суть": 38233, + "▁нужен": 38234, + "▁закончи": 38235, + "▁магни": 38236, + "жан": 38237, + "ремя": 38238, + "▁Позже": 38239, + "▁функциони": 38240, + "▁осуществляется": 38241, + "▁вышли": 38242, + "ыска": 38243, + "▁помогает": 38244, + "всегда": 38245, + "грации": 38246, + "▁отношениях": 38247, + "▁заря": 38248, + "▁идут": 38249, + "▁адрес": 38250, + "тари": 38251, + "▁Юрий": 38252, + "▁прину": 38253, + "дным": 38254, + "тельностью": 38255, + "▁провёл": 38256, + "▁пройти": 38257, + "▁Мэ": 38258, + "▁Рай": 38259, + "▁предусмотре": 38260, + "▁Бере": 38261, + "▁городской": 38262, + "▁тема": 38263, + "▁посёл": 38264, + "▁средневе": 38265, + "щь": 38266, + "ллиген": 38267, + "шали": 38268, + "▁зача": 38269, + "фер": 38270, + "▁желу": 38271, + "дум": 38272, + "▁сумму": 38273, + "▁траге": 38274, + "▁опере": 38275, + "▁сеть": 38276, + "▁рациона": 38277, + "▁устройство": 38278, + "▁исте": 38279, + "▁чел": 38280, + "▁двери": 38281, + "▁прогно": 38282, + "▁голосо": 38283, + "▁актри": 38284, + "▁обеща": 38285, + "▁российской": 38286, + "ненный": 38287, + "▁угле": 38288, + "▁заба": 38289, + "▁комбина": 38290, + "▁городах": 38291, + "▁сказ": 38292, + "▁линей": 38293, + "▁газет": 38294, + "слова": 38295, + "ответ": 38296, + "емом": 38297, + "лектро": 38298, + "дания": 38299, + "▁бара": 38300, + "▁рынок": 38301, + "▁ато": 38302, + "▁Большинство": 38303, + "▁понимать": 38304, + "муни": 38305, + "▁инструк": 38306, + "ЛИ": 38307, + "▁фар": 38308, + "ществи": 38309, + "▁получается": 38310, + "▁периоди": 38311, + "торами": 38312, + "▁устро": 38313, + "▁демонстри": 38314, + "▁несом": 38315, + "рного": 38316, + "▁пона": 38317, + "▁Зо": 38318, + "▁принимает": 38319, + "▁бывшего": 38320, + "▁активи": 38321, + "▁внешней": 38322, + "▁тера": 38323, + "▁следовательно": 38324, + "▁предпочита": 38325, + "▁здоровья": 38326, + "метри": 38327, + "▁эфи": 38328, + "▁полном": 38329, + "▁орби": 38330, + "▁скром": 38331, + "▁зим": 38332, + "нх": 38333, + "▁нужда": 38334, + "▁апо": 38335, + "▁Вся": 38336, + "viron": 38337, + "▁сохранить": 38338, + "▁Однажды": 38339, + "▁Тай": 38340, + "▁военный": 38341, + "мец": 38342, + "▁мон": 38343, + "▁подобно": 38344, + "спорт": 38345, + "▁занятия": 38346, + "▁качество": 38347, + "▁зай": 38348, + "▁работников": 38349, + "▁Разу": 38350, + "▁насле": 38351, + "▁бабу": 38352, + "▁номина": 38353, + "▁Республи": 38354, + "▁понрави": 38355, + "▁музыки": 38356, + "▁вошли": 38357, + "ждено": 38358, + "▁статей": 38359, + "▁администрации": 38360, + "▁Шве": 38361, + "▁материала": 38362, + "▁собственности": 38363, + "▁earl": 38364, + "▁следующим": 38365, + "▁диску": 38366, + "▁старший": 38367, + "▁леса": 38368, + "▁Московского": 38369, + "▁обознача": 38370, + "▁человеческой": 38371, + "▁солнце": 38372, + "▁единственный": 38373, + "▁костю": 38374, + "▁интенсив": 38375, + "▁пользователей": 38376, + "▁валю": 38377, + "шель": 38378, + "ненной": 38379, + "▁идеологи": 38380, + "▁foc": 38381, + "скохозяй": 38382, + "змы": 38383, + "ЕНИ": 38384, + "нится": 38385, + "▁рак": 38386, + "▁вырабо": 38387, + "леть": 38388, + "▁соединения": 38389, + "▁век": 38390, + "▁заверши": 38391, + "▁характеристи": 38392, + "декс": 38393, + "▁теория": 38394, + "▁интересно": 38395, + "▁законы": 38396, + "ляется": 38397, + "▁разделе": 38398, + "▁Виктор": 38399, + "▁реакции": 38400, + "водятся": 38401, + "▁отказался": 38402, + "жих": 38403, + "тило": 38404, + "▁эм": 38405, + "▁зарубе": 38406, + "▁упро": 38407, + "▁contrib": 38408, + "▁ученые": 38409, + "▁Америке": 38410, + "▁минуту": 38411, + "▁трудом": 38412, + "▁советского": 38413, + "▁официально": 38414, + "тят": 38415, + "гром": 38416, + "▁узнал": 38417, + "▁потенциаль": 38418, + "ковь": 38419, + "▁диамет": 38420, + "▁влияния": 38421, + "▁санк": 38422, + "▁кожи": 38423, + "▁началом": 38424, + "▁американских": 38425, + "▁двое": 38426, + "▁becom": 38427, + "лость": 38428, + "▁Меня": 38429, + "▁призыва": 38430, + "рея": 38431, + "▁бла": 38432, + "▁многое": 38433, + "рены": 38434, + "▁прибыли": 38435, + "▁турец": 38436, + "занти": 38437, + "▁собственного": 38438, + "▁Воен": 38439, + "▁недель": 38440, + "▁территорию": 38441, + "▁Кстати": 38442, + "▁сквозь": 38443, + "▁востор": 38444, + "▁ценно": 38445, + "▁открытия": 38446, + "вах": 38447, + "щины": 38448, + "гка": 38449, + "▁черты": 38450, + "▁восьми": 38451, + "▁воздухе": 38452, + "ющимся": 38453, + "▁Брю": 38454, + "▁Анато": 38455, + "▁дважды": 38456, + "ловой": 38457, + "ваны": 38458, + "▁чемпион": 38459, + "▁возоб": 38460, + "▁врага": 38461, + "▁молча": 38462, + "▁ущер": 38463, + "▁Руси": 38464, + "▁танков": 38465, + "▁Обычно": 38466, + "▁кот": 38467, + "▁эпоху": 38468, + "▁всякого": 38469, + "регистри": 38470, + "дке": 38471, + "рский": 38472, + "▁музыкан": 38473, + "▁экзем": 38474, + "▁бух": 38475, + "▁местности": 38476, + "▁Соеди": 38477, + "▁НК": 38478, + "▁совокуп": 38479, + "▁вступа": 38480, + "▁око": 38481, + "сант": 38482, + "▁зал": 38483, + "▁участок": 38484, + "сован": 38485, + "▁выступает": 38486, + "▁международных": 38487, + "▁сосе": 38488, + "▁российского": 38489, + "▁знаете": 38490, + "▁бою": 38491, + "▁металли": 38492, + "▁собственных": 38493, + "▁слабы": 38494, + "▁Бур": 38495, + "▁своеобраз": 38496, + "▁продолжает": 38497, + "▁великого": 38498, + "▁каждая": 38499, + "▁проводить": 38500, + "др": 38501, + "▁назначения": 38502, + "▁Герой": 38503, + "▁дя": 38504, + "▁источников": 38505, + "▁спут": 38506, + "▁либера": 38507, + "клопе": 38508, + "▁общественного": 38509, + "▁окна": 38510, + "АО": 38511, + "▁знаний": 38512, + "▁увле": 38513, + "▁католи": 38514, + "▁минуты": 38515, + "▁происходя": 38516, + "ам": 38517, + "▁перспекти": 38518, + "ровая": 38519, + "тиве": 38520, + "лков": 38521, + "▁приба": 38522, + "▁подверга": 38523, + "лизова": 38524, + "▁храм": 38525, + "▁Кни": 38526, + "кнуть": 38527, + "▁стадии": 38528, + "▁придума": 38529, + "▁КПСС": 38530, + "▁оставить": 38531, + "▁достиг": 38532, + "▁девушка": 38533, + "▁страх": 38534, + "▁вир": 38535, + "▁погре": 38536, + "мога": 38537, + "▁лест": 38538, + "▁крова": 38539, + "▁содержания": 38540, + "▁несчаст": 38541, + "▁описание": 38542, + "▁ООН": 38543, + "▁выборах": 38544, + "▁рассказывает": 38545, + "дию": 38546, + "▁использованием": 38547, + "▁ресурсов": 38548, + "▁Californ": 38549, + "▁тяжело": 38550, + "▁достигну": 38551, + "жна": 38552, + "▁половины": 38553, + "▁Лей": 38554, + "тологи": 38555, + "▁отряд": 38556, + "циал": 38557, + "▁судов": 38558, + "▁карты": 38559, + "▁кладбище": 38560, + "▁угодно": 38561, + "пами": 38562, + "▁свободу": 38563, + "▁ука": 38564, + "дора": 38565, + "▁общее": 38566, + "юзе": 38567, + "▁Перво": 38568, + "▁сцене": 38569, + "рена": 38570, + "▁Мари": 38571, + "лат": 38572, + "▁неприят": 38573, + "▁развитию": 38574, + "▁сомнения": 38575, + "хова": 38576, + "ниаль": 38577, + "теле": 38578, + "вшееся": 38579, + "▁применение": 38580, + "ликт": 38581, + "▁темы": 38582, + "▁офицер": 38583, + "▁немецких": 38584, + "▁Стро": 38585, + "нциклопе": 38586, + "▁Несколько": 38587, + "кля": 38588, + "▁пришла": 38589, + "ствующих": 38590, + "▁инфра": 38591, + "зли": 38592, + "▁национального": 38593, + "▁Вас": 38594, + "▁запас": 38595, + "▁страна": 38596, + "▁одоб": 38597, + "▁марки": 38598, + "▁бригады": 38599, + "▁эффект": 38600, + "▁дож": 38601, + "▁провозгла": 38602, + "▁Китай": 38603, + "▁стой": 38604, + "▁наступление": 38605, + "▁нужна": 38606, + "▁тормо": 38607, + "сет": 38608, + "▁частично": 38609, + "▁Наз": 38610, + "▁процессы": 38611, + "▁осмо": 38612, + "женного": 38613, + "нат": 38614, + "▁Сво": 38615, + "▁озна": 38616, + "еве": 38617, + "▁вв": 38618, + "▁Первой": 38619, + "шит": 38620, + "▁интерфей": 38621, + "▁Пусть": 38622, + "▁проблему": 38623, + "▁почита": 38624, + "▁легче": 38625, + "▁называли": 38626, + "▁вижу": 38627, + "▁расста": 38628, + "▁Первые": 38629, + "▁Азербайджа": 38630, + "▁творчества": 38631, + "▁духа": 38632, + "пка": 38633, + "нау": 38634, + "▁решить": 38635, + "▁будете": 38636, + "▁араб": 38637, + "▁вле": 38638, + "▁среднем": 38639, + "▁родители": 38640, + "▁интернет": 38641, + "▁пак": 38642, + "ТО": 38643, + "чиком": 38644, + "Кор": 38645, + "зили": 38646, + "▁стаби": 38647, + "▁фронт": 38648, + "недель": 38649, + "▁полю": 38650, + "цуз": 38651, + "дился": 38652, + "▁Вале": 38653, + "конструк": 38654, + "▁прошли": 38655, + "▁напол": 38656, + "РУ": 38657, + "▁Наполе": 38658, + "хими": 38659, + "▁выполнять": 38660, + "сим": 38661, + "пин": 38662, + "▁основу": 38663, + "▁предусматри": 38664, + "▁Борис": 38665, + "▁выде": 38666, + "▁сильнее": 38667, + "▁прямой": 38668, + "▁полуо": 38669, + "разуме": 38670, + "▁Мат": 38671, + "неры": 38672, + "▁душу": 38673, + "змов": 38674, + "йдя": 38675, + "▁фраг": 38676, + "▁проигра": 38677, + "▁потря": 38678, + "▁ресто": 38679, + "▁гли": 38680, + "▁оча": 38681, + "йский": 38682, + "ковый": 38683, + "зри": 38684, + "▁Такое": 38685, + "▁спло": 38686, + "▁серде": 38687, + "твра": 38688, + "▁полный": 38689, + "гим": 38690, + "▁удержа": 38691, + "▁насла": 38692, + "▁Николаевич": 38693, + "селение": 38694, + "▁проро": 38695, + "▁режима": 38696, + "▁выступления": 38697, + "бке": 38698, + "▁Распо": 38699, + "ittee": 38700, + "▁аспек": 38701, + "▁буты": 38702, + "▁социально": 38703, + "рованию": 38704, + "▁позицию": 38705, + "▁рит": 38706, + "▁Эк": 38707, + "▁базы": 38708, + "▁помню": 38709, + "тору": 38710, + "вилась": 38711, + "▁сверху": 38712, + "▁функций": 38713, + "▁процессо": 38714, + "▁встречается": 38715, + "▁Такой": 38716, + "чён": 38717, + "▁привело": 38718, + "▁среде": 38719, + "номо": 38720, + "водство": 38721, + "▁сказано": 38722, + "▁влиянием": 38723, + "пили": 38724, + "▁древне": 38725, + "РЕ": 38726, + "▁изучения": 38727, + "▁являлся": 38728, + "▁поверхность": 38729, + "▁шту": 38730, + "▁встречаются": 38731, + "▁директора": 38732, + "▁крупней": 38733, + "▁рейти": 38734, + "НР": 38735, + "▁кух": 38736, + "▁Тра": 38737, + "▁друж": 38738, + "▁Святого": 38739, + "▁Древ": 38740, + "Петербург": 38741, + "▁Петербург": 38742, + "▁пут": 38743, + "стические": 38744, + "▁повышен": 38745, + "▁среднего": 38746, + "▁товар": 38747, + "▁фено": 38748, + "▁Бай": 38749, + "▁тихо": 38750, + "▁делам": 38751, + "вится": 38752, + "▁руководитель": 38753, + "atural": 38754, + "▁отвечает": 38755, + "▁Стре": 38756, + "▁благодар": 38757, + "вина": 38758, + "стрии": 38759, + "▁Пример": 38760, + "▁присвое": 38761, + "дук": 38762, + "▁художника": 38763, + "▁железной": 38764, + "▁МОСК": 38765, + "▁япон": 38766, + "жества": 38767, + "▁Сара": 38768, + "▁училище": 38769, + "▁газа": 38770, + "▁выя": 38771, + "▁осна": 38772, + "товые": 38773, + "▁испан": 38774, + "▁делом": 38775, + "▁пациен": 38776, + "▁существенно": 38777, + "▁первонача": 38778, + "▁плате": 38779, + "▁принимал": 38780, + "▁народного": 38781, + "голо": 38782, + "▁Откры": 38783, + "▁поражения": 38784, + "опера": 38785, + "▁цены": 38786, + "▁сельскохозяй": 38787, + "ционное": 38788, + "зовы": 38789, + "▁Карл": 38790, + "рья": 38791, + "▁населё": 38792, + "▁делега": 38793, + "▁\"«": 38794, + "▁дога": 38795, + "образи": 38796, + "▁конструкции": 38797, + "▁сказали": 38798, + "▁разрабаты": 38799, + "▁фирмы": 38800, + "▁любит": 38801, + "▁переговоры": 38802, + "▁вкус": 38803, + "▁действует": 38804, + "ходу": 38805, + "зирован": 38806, + "▁древних": 38807, + "▁острове": 38808, + "▁лам": 38809, + "▁церемо": 38810, + "▁нев": 38811, + "▁правом": 38812, + "▁телевиде": 38813, + "▁торговли": 38814, + "вленной": 38815, + "▁детали": 38816, + "▁тонн": 38817, + "▁взрыв": 38818, + "▁борьбу": 38819, + "▁пространстве": 38820, + "»;": 38821, + "▁высокого": 38822, + "▁рабочего": 38823, + "▁Любо": 38824, + "Что": 38825, + "нив": 38826, + "▁банков": 38827, + "▁Зве": 38828, + "▁объявил": 38829, + "▁хокке": 38830, + "▁высшей": 38831, + "▁борьба": 38832, + "▁вторая": 38833, + "▁выражение": 38834, + "▁лиде": 38835, + "▁ученых": 38836, + "▁благополу": 38837, + "▁писателей": 38838, + "авто": 38839, + "▁покой": 38840, + "▁многом": 38841, + "▁предотвра": 38842, + "фона": 38843, + "стная": 38844, + "▁орке": 38845, + "дное": 38846, + "▁нравится": 38847, + "▁способен": 38848, + "▁четырёх": 38849, + "▁Гон": 38850, + "▁фронте": 38851, + "▁мель": 38852, + "▁оптими": 38853, + "▁масла": 38854, + "стар": 38855, + "▁режиме": 38856, + "▁картина": 38857, + "тало": 38858, + "▁часы": 38859, + "пел": 38860, + "▁намного": 38861, + "▁рыба": 38862, + "для": 38863, + "▁печати": 38864, + "▁пья": 38865, + "КП": 38866, + "тическое": 38867, + "ровку": 38868, + "▁набор": 38869, + "▁делал": 38870, + "▁полное": 38871, + "▁Харь": 38872, + "▁самих": 38873, + "вляли": 38874, + "▁слегка": 38875, + "▁обно": 38876, + "▁шири": 38877, + "▁Спо": 38878, + "▁Сен": 38879, + "чее": 38880, + "такт": 38881, + "▁проектов": 38882, + "▁пери": 38883, + "▁Ам": 38884, + "▁совеща": 38885, + "▁русском": 38886, + "▁алгорит": 38887, + "▁Тихо": 38888, + "▁штра": 38889, + "▁вере": 38890, + "▁методов": 38891, + "▁подро": 38892, + "▁Осо": 38893, + "▁принадлежа": 38894, + "▁шпи": 38895, + "▁оборудования": 38896, + "▁эваку": 38897, + "▁принципи": 38898, + "▁ощущение": 38899, + "▁Китая": 38900, + "▁каждому": 38901, + "▁Эль": 38902, + "▁опасности": 38903, + "▁собственные": 38904, + "▁районах": 38905, + "▁интеллиген": 38906, + "▁Наде": 38907, + "бь": 38908, + "▁планеты": 38909, + "▁интересы": 38910, + "▁астроно": 38911, + "▁работой": 38912, + "▁теми": 38913, + "▁Город": 38914, + "▁морской": 38915, + "▁посте": 38916, + "▁бал": 38917, + "мысли": 38918, + "▁дивизия": 38919, + "▁госпита": 38920, + "▁МОСКВА": 38921, + "▁немцев": 38922, + "▁дорога": 38923, + "ГУ": 38924, + "муля": 38925, + "▁переписи": 38926, + "▁входят": 38927, + "▁Петров": 38928, + "▁Универ": 38929, + "▁подчерки": 38930, + "▁дворе": 38931, + "▁председателя": 38932, + "▁осуществи": 38933, + "▁интересов": 38934, + "▁изображение": 38935, + "▁рано": 38936, + "▁миллиона": 38937, + "▁интерпре": 38938, + "▁идеаль": 38939, + "▁стиле": 38940, + "▁приказал": 38941, + "союз": 38942, + "ёра": 38943, + "ционным": 38944, + "револю": 38945, + "ненного": 38946, + "гули": 38947, + "▁выступил": 38948, + "это": 38949, + "▁возможностей": 38950, + "ехала": 38951, + "Если": 38952, + "▁Христа": 38953, + "▁независимо": 38954, + "▁интересу": 38955, + "▁берега": 38956, + "мут": 38957, + "▁Прежде": 38958, + "ане": 38959, + "▁настаи": 38960, + "▁провел": 38961, + "▁имена": 38962, + "▁картину": 38963, + "мова": 38964, + "тером": 38965, + "жеб": 38966, + "▁пропо": 38967, + "нуне": 38968, + "▁блестя": 38969, + "▁руководства": 38970, + "▁женой": 38971, + "▁Дар": 38972, + "▁оскор": 38973, + "▁формирования": 38974, + "▁супер": 38975, + "ённых": 38976, + "▁Академии": 38977, + "▁ответа": 38978, + "▁автори": 38979, + "▁резо": 38980, + "раясь": 38981, + "▁программе": 38982, + "▁размыш": 38983, + "▁воздействия": 38984, + "▁мужи": 38985, + "▁строя": 38986, + "▁тренер": 38987, + "ждают": 38988, + "▁Просто": 38989, + "▁открыто": 38990, + "▁Оба": 38991, + "▁вторы": 38992, + "erous": 38993, + "▁Дне": 38994, + "▁саха": 38995, + "▁еги": 38996, + "сомо": 38997, + "▁оболо": 38998, + "▁имеются": 38999, + "▁бег": 39000, + "▁ген": 39001, + "▁интеллектуаль": 39002, + "▁известен": 39003, + "▁Горь": 39004, + "▁французский": 39005, + "нты": 39006, + "▁температура": 39007, + "▁звезды": 39008, + "▁Анти": 39009, + "▁универса": 39010, + "▁транспор": 39011, + "▁бронзо": 39012, + "ствовало": 39013, + "▁другому": 39014, + "▁Западной": 39015, + "▁брю": 39016, + "ИД": 39017, + "кончался": 39018, + "граде": 39019, + "▁добавил": 39020, + "▁депутатов": 39021, + "ткой": 39022, + "стане": 39023, + "▁Един": 39024, + "брал": 39025, + "▁ожи": 39026, + "▁всякий": 39027, + "▁храма": 39028, + "леров": 39029, + "▁создавать": 39030, + "▁грани": 39031, + "тиков": 39032, + "▁Wash": 39033, + "▁итогам": 39034, + "▁никого": 39035, + "ЭС": 39036, + "▁сущности": 39037, + "▁Импера": 39038, + "▁тяжё": 39039, + "дёт": 39040, + "дыва": 39041, + "энер": 39042, + "▁считали": 39043, + "▁Свет": 39044, + "Ар": 39045, + "▁хлеб": 39046, + "▁Фё": 39047, + "▁идею": 39048, + "▁помещения": 39049, + "▁проде": 39050, + "нялись": 39051, + "виков": 39052, + "лят": 39053, + "▁конференции": 39054, + "▁партизан": 39055, + "▁прибо": 39056, + "▁оставил": 39057, + "▁оттуда": 39058, + "▁Анна": 39059, + "пель": 39060, + "▁разумеется": 39061, + "▁наиболь": 39062, + "▁produc": 39063, + "vironment": 39064, + "нис": 39065, + "▁передать": 39066, + "шала": 39067, + "теры": 39068, + "▁лока": 39069, + "▁тести": 39070, + "тран": 39071, + "летнего": 39072, + "anish": 39073, + "▁вряд": 39074, + "▁уте": 39075, + "▁континен": 39076, + "▁зарегистри": 39077, + "шеб": 39078, + "▁слове": 39079, + "▁ждать": 39080, + "▁воли": 39081, + "менту": 39082, + "▁Мен": 39083, + "▁недостаточно": 39084, + "▁Уо": 39085, + "▁английский": 39086, + "▁участник": 39087, + "нося": 39088, + "▁составляют": 39089, + "зю": 39090, + "▁языков": 39091, + "▁семейства": 39092, + "▁иду": 39093, + "▁вмеша": 39094, + "▁полного": 39095, + "▁явление": 39096, + "▁смеша": 39097, + "▁поражение": 39098, + "▁научной": 39099, + "▁судьба": 39100, + "манов": 39101, + "правед": 39102, + "▁Новый": 39103, + "▁выро": 39104, + "cis": 39105, + "▁никому": 39106, + "довал": 39107, + "▁рекоменду": 39108, + "Ва": 39109, + "▁любил": 39110, + "▁подс": 39111, + "▁открыл": 39112, + "▁очередной": 39113, + "▁накло": 39114, + "▁боях": 39115, + "▁Ган": 39116, + "чко": 39117, + "▁состоянию": 39118, + "гона": 39119, + "▁удержи": 39120, + "▁Дю": 39121, + "▁минера": 39122, + "▁гибели": 39123, + "полков": 39124, + "гере": 39125, + "▁лёг": 39126, + "лине": 39127, + "▁переименова": 39128, + "▁патро": 39129, + "▁эстети": 39130, + "▁медали": 39131, + "▁длиной": 39132, + "▁используя": 39133, + "▁прие": 39134, + "таны": 39135, + "дона": 39136, + "▁технологий": 39137, + "▁разделя": 39138, + "▁орденом": 39139, + "▁находилась": 39140, + "▁изде": 39141, + "▁топо": 39142, + "▁комнате": 39143, + "▁днем": 39144, + "▁сахар": 39145, + "Бу": 39146, + "▁Чар": 39147, + "▁многочисленные": 39148, + "▁Неу": 39149, + "емую": 39150, + "▁великоле": 39151, + "▁героев": 39152, + "льти": 39153, + "▁зоны": 39154, + "▁вчера": 39155, + "американ": 39156, + "зора": 39157, + "▁Ответ": 39158, + "▁подходя": 39159, + "▁кварта": 39160, + "▁перешёл": 39161, + "▁династи": 39162, + "стет": 39163, + "▁Причем": 39164, + "▁собаки": 39165, + "рении": 39166, + "чала": 39167, + "▁пау": 39168, + "года": 39169, + "▁Жен": 39170, + "▁потерпе": 39171, + "▁альтерна": 39172, + "▁Марии": 39173, + "▁округ": 39174, + "вете": 39175, + "▁религии": 39176, + "воды": 39177, + "▁криста": 39178, + "▁зар": 39179, + "▁плана": 39180, + "бии": 39181, + "▁Жан": 39182, + "щенный": 39183, + "▁Интере": 39184, + "▁благород": 39185, + "национа": 39186, + "▁визи": 39187, + "▁восхи": 39188, + "рений": 39189, + "тала": 39190, + "▁минимум": 39191, + "stitute": 39192, + "leb": 39193, + "▁Ивана": 39194, + "ДР": 39195, + "сий": 39196, + "▁успел": 39197, + "следу": 39198, + "▁конечном": 39199, + "демокра": 39200, + "▁Мек": 39201, + "инг": 39202, + "▁средство": 39203, + "▁Золо": 39204, + "▁ваше": 39205, + "▁работали": 39206, + "Су": 39207, + "фт": 39208, + "▁Вместо": 39209, + "▁Дума": 39210, + "▁Вя": 39211, + "▁объекты": 39212, + "▁Дер": 39213, + "▁порой": 39214, + "▁побу": 39215, + "▁подразделения": 39216, + "▁незначи": 39217, + "▁террори": 39218, + "тельству": 39219, + "нку": 39220, + "▁демо": 39221, + "▁Крем": 39222, + "sych": 39223, + "▁Вну": 39224, + "▁Королев": 39225, + "▁мотива": 39226, + "▁изменение": 39227, + "▁твердо": 39228, + "▁Пан": 39229, + "▁Конститу": 39230, + "▁концентра": 39231, + "▁общий": 39232, + "▁отверсти": 39233, + "▁будь": 39234, + "тическими": 39235, + "▁моди": 39236, + "▁Хан": 39237, + "▁пользоваться": 39238, + "▁пунктов": 39239, + "туга": 39240, + "хии": 39241, + "▁патриар": 39242, + "▁законов": 39243, + "▁гран": 39244, + "▁союза": 39245, + "▁Отец": 39246, + "▁гумани": 39247, + "▁театре": 39248, + "зидиума": 39249, + "щенных": 39250, + "▁волны": 39251, + "▁Ву": 39252, + "▁Йо": 39253, + "▁Вален": 39254, + "▁кода": 39255, + "▁навсегда": 39256, + "довых": 39257, + "▁способны": 39258, + "▁Аф": 39259, + "▁СС": 39260, + "▁прибе": 39261, + "▁вопросу": 39262, + "▁поздно": 39263, + "▁напада": 39264, + "▁департа": 39265, + "▁поход": 39266, + "▁Досто": 39267, + "▁методи": 39268, + "▁nec": 39269, + "▁став": 39270, + "мирал": 39271, + "тками": 39272, + "▁мама": 39273, + "▁немцы": 39274, + "▁пости": 39275, + "начале": 39276, + "▁рис": 39277, + "▁боло": 39278, + "▁чувстви": 39279, + "▁Союз": 39280, + "▁комплекса": 39281, + "мили": 39282, + "▁винов": 39283, + "▁корабли": 39284, + "шься": 39285, + "▁Леони": 39286, + "▁гиб": 39287, + "▁Вне": 39288, + "▁Право": 39289, + "▁Позд": 39290, + "▁Финля": 39291, + "▁побы": 39292, + "ГБ": 39293, + "ьте": 39294, + "▁воскрес": 39295, + "ждую": 39296, + "▁рыб": 39297, + "тент": 39298, + "▁Лан": 39299, + "▁взаимодействия": 39300, + "▁высоты": 39301, + "▁продукты": 39302, + "ГО": 39303, + "▁Выс": 39304, + "▁реаги": 39305, + "▁выбора": 39306, + "сками": 39307, + "▁адвока": 39308, + "▁иные": 39309, + "▁купить": 39310, + "▁выжи": 39311, + "▁Американ": 39312, + "▁промы": 39313, + "▁назван": 39314, + "▁использует": 39315, + "▁имея": 39316, + "▁уровнем": 39317, + "▁указывает": 39318, + "▁бомбардиров": 39319, + "pecially": 39320, + "тельны": 39321, + "▁авторов": 39322, + "▁иско": 39323, + "провод": 39324, + "пев": 39325, + "кета": 39326, + "ани": 39327, + "▁всяком": 39328, + "▁Христо": 39329, + "▁обру": 39330, + "тт": 39331, + "▁деше": 39332, + "сне": 39333, + "▁враже": 39334, + "▁появления": 39335, + "Хо": 39336, + "▁поэзии": 39337, + "▁Мед": 39338, + "▁американской": 39339, + "▁Окон": 39340, + "▁второе": 39341, + "▁плоско": 39342, + "▁воро": 39343, + "▁общественных": 39344, + "щийся": 39345, + "▁тамо": 39346, + "▁Мои": 39347, + "▁общения": 39348, + "▁признать": 39349, + "▁экономической": 39350, + "▁Гос": 39351, + "▁клетки": 39352, + "▁получать": 39353, + "▁модерни": 39354, + "тится": 39355, + "▁серьёз": 39356, + "степен": 39357, + "уго": 39358, + "▁песен": 39359, + "▁блок": 39360, + "▁Часть": 39361, + "▁лицен": 39362, + "▁нераз": 39363, + "▁Член": 39364, + "▁суток": 39365, + "зву": 39366, + "▁необходимые": 39367, + "▁планы": 39368, + "▁состоялась": 39369, + "▁политика": 39370, + "▁шка": 39371, + "бек": 39372, + "▁пола": 39373, + "▁комисса": 39374, + "▁Нем": 39375, + "ченное": 39376, + "мета": 39377, + "ёлок": 39378, + "▁расчет": 39379, + "▁Нико": 39380, + "чины": 39381, + "▁моим": 39382, + "ведена": 39383, + "▁съе": 39384, + "▁молодё": 39385, + "▁зали": 39386, + "лум": 39387, + "▁мясо": 39388, + "льше": 39389, + "▁докла": 39390, + "▁бизнеса": 39391, + "▁Северо": 39392, + "▁нали": 39393, + "▁появляются": 39394, + "▁мероприятия": 39395, + "▁импуль": 39396, + "▁титул": 39397, + "▁Вашинг": 39398, + "▁нежели": 39399, + "мить": 39400, + "▁возму": 39401, + "▁сезон": 39402, + "пали": 39403, + "▁студентов": 39404, + "дении": 39405, + "▁атаки": 39406, + "Пу": 39407, + "слава": 39408, + "жского": 39409, + "▁крае": 39410, + "▁средствами": 39411, + "▁Предпо": 39412, + "▁связана": 39413, + "▁версия": 39414, + "риях": 39415, + "▁позволяют": 39416, + "▁внезапно": 39417, + "▁симпто": 39418, + "▁гале": 39419, + "ТАР": 39420, + "▁масте": 39421, + "грамма": 39422, + "▁Пушкина": 39423, + "▁выборов": 39424, + "▁точку": 39425, + "▁экза": 39426, + "верен": 39427, + "▁сон": 39428, + "Ки": 39429, + "▁Всё": 39430, + "мма": 39431, + "▁живых": 39432, + "▁посёлок": 39433, + "ъем": 39434, + "▁искусств": 39435, + "виду": 39436, + "ющаяся": 39437, + "▁отказаться": 39438, + "▁Швей": 39439, + "▁граду": 39440, + "▁разведки": 39441, + "▁сложности": 39442, + "▁пробу": 39443, + "▁убийства": 39444, + "▁исследователь": 39445, + "▁юге": 39446, + "▁Библи": 39447, + "плек": 39448, + "▁счёт": 39449, + "▁предметы": 39450, + "▁биографи": 39451, + "▁командованием": 39452, + "Все": 39453, + "▁траги": 39454, + "▁бессо": 39455, + "▁понимаю": 39456, + "▁Органи": 39457, + "▁бумаги": 39458, + "▁разво": 39459, + "бл": 39460, + "utive": 39461, + "▁Верх": 39462, + "▁камер": 39463, + "▁птиц": 39464, + "бей": 39465, + "▁крей": 39466, + "тивов": 39467, + "▁МВД": 39468, + "▁войско": 39469, + "▁ребя": 39470, + "▁орудий": 39471, + "▁Ранее": 39472, + "▁гигант": 39473, + "▁расположены": 39474, + "▁гражданской": 39475, + "▁блока": 39476, + "▁погло": 39477, + "худ": 39478, + "▁замуж": 39479, + "жек": 39480, + "▁Одно": 39481, + "▁Вин": 39482, + "КС": 39483, + "▁бен": 39484, + "▁типов": 39485, + "зыв": 39486, + "шите": 39487, + "▁вступил": 39488, + "МА": 39489, + "лян": 39490, + "▁совершил": 39491, + "щенные": 39492, + "▁издания": 39493, + "▁Впервые": 39494, + "▁конфликт": 39495, + "▁проверки": 39496, + "торе": 39497, + "цкой": 39498, + "▁основным": 39499, + "▁показали": 39500, + "▁ово": 39501, + "▁неот": 39502, + "пал": 39503, + "▁термин": 39504, + "▁воле": 39505, + "▁врач": 39506, + "▁Ника": 39507, + "▁везде": 39508, + "▁бер": 39509, + "▁системой": 39510, + "▁реб": 39511, + "▁мифо": 39512, + "▁немецкий": 39513, + "шками": 39514, + "▁полковник": 39515, + "▁давать": 39516, + "▁известны": 39517, + "▁огра": 39518, + "▁сх": 39519, + "▁прибыл": 39520, + "▁зао": 39521, + "▁вход": 39522, + "▁Фон": 39523, + "▁элемент": 39524, + "▁зерка": 39525, + "▁монастыря": 39526, + "▁ветер": 39527, + "▁журнал": 39528, + "▁охла": 39529, + "▁Результа": 39530, + "▁банка": 39531, + "гура": 39532, + "уса": 39533, + "▁прошел": 39534, + "льда": 39535, + "▁запись": 39536, + "▁балан": 39537, + "▁сцен": 39538, + "ЛО": 39539, + "тивную": 39540, + "рки": 39541, + "фина": 39542, + "▁группой": 39543, + "▁таин": 39544, + "▁диссер": 39545, + "ваи": 39546, + "▁Ear": 39547, + "▁существа": 39548, + "сот": 39549, + "тация": 39550, + "▁Мой": 39551, + "▁Украин": 39552, + "шенных": 39553, + "▁приви": 39554, + "▁сопротивление": 39555, + "чешь": 39556, + "▁услуги": 39557, + "дают": 39558, + "▁структура": 39559, + "▁новом": 39560, + "▁голова": 39561, + "▁недостато": 39562, + "▁погибли": 39563, + "▁прости": 39564, + "▁сутки": 39565, + "▁огромное": 39566, + "▁внед": 39567, + "▁международного": 39568, + "тирован": 39569, + "▁веща": 39570, + "▁боги": 39571, + "▁парламент": 39572, + "▁предлагает": 39573, + "▁пытались": 39574, + "фикси": 39575, + "▁общественной": 39576, + "▁Маль": 39577, + "▁заключения": 39578, + "▁сборную": 39579, + "литься": 39580, + "▁проф": 39581, + "шенко": 39582, + "▁корреспонден": 39583, + "▁термина": 39584, + "▁лежа": 39585, + "▁пусто": 39586, + "▁великий": 39587, + "тория": 39588, + "▁настоящий": 39589, + "▁предметов": 39590, + "▁сталки": 39591, + "▁Жиз": 39592, + "▁станция": 39593, + "▁Ира": 39594, + "скры": 39595, + "▁секретарь": 39596, + "честву": 39597, + "▁свободно": 39598, + "▁посоль": 39599, + "▁атаку": 39600, + "▁Земле": 39601, + "▁транспорта": 39602, + "▁«\"": 39603, + "▁жив": 39604, + "▁ВС": 39605, + "ционную": 39606, + "севдо": 39607, + "туи": 39608, + "▁подве": 39609, + "▁натура": 39610, + "utions": 39611, + "▁состоялся": 39612, + "▁бог": 39613, + "пления": 39614, + "▁непоня": 39615, + "▁преобла": 39616, + "сение": 39617, + "▁имущества": 39618, + "ёв": 39619, + "поля": 39620, + "▁сумел": 39621, + "тры": 39622, + "▁радика": 39623, + "▁инструмента": 39624, + "▁давление": 39625, + "ficult": 39626, + "▁Архи": 39627, + "▁зоне": 39628, + "▁растения": 39629, + "вим": 39630, + "▁ске": 39631, + "▁бюдже": 39632, + "▁швед": 39633, + "▁принципе": 39634, + "стический": 39635, + "▁орден": 39636, + "шер": 39637, + "▁сообща": 39638, + "▁нейтра": 39639, + "▁впрочем": 39640, + "▁чувств": 39641, + "▁делали": 39642, + "цвета": 39643, + "▁разговари": 39644, + "▁масси": 39645, + "▁рассказать": 39646, + "▁разрешения": 39647, + "▁базо": 39648, + "Из": 39649, + "▁забил": 39650, + "▁Основные": 39651, + "▁скоростью": 39652, + "▁Вой": 39653, + "▁Большой": 39654, + "▁обучение": 39655, + "▁утро": 39656, + "гности": 39657, + "▁голоса": 39658, + "▁Мю": 39659, + "чнее": 39660, + "▁хватает": 39661, + "▁единственным": 39662, + "▁аван": 39663, + "▁национали": 39664, + "▁наци": 39665, + "▁сомне": 39666, + "рим": 39667, + "▁писто": 39668, + "▁содей": 39669, + "▁Зак": 39670, + "▁обмен": 39671, + "жаются": 39672, + "▁статья": 39673, + "▁прошед": 39674, + "▁придержи": 39675, + "▁День": 39676, + "▁секунд": 39677, + "▁защиту": 39678, + "▁отва": 39679, + "нюдь": 39680, + "▁останов": 39681, + "фикация": 39682, + "▁собесед": 39683, + "▁хода": 39684, + "▁фикси": 39685, + "▁пищи": 39686, + "▁робо": 39687, + "▁бре": 39688, + "▁обработки": 39689, + "▁напом": 39690, + "▁Одним": 39691, + "▁зажи": 39692, + "▁допусти": 39693, + "КО": 39694, + "▁утверждает": 39695, + "фек": 39696, + "▁груди": 39697, + "▁личность": 39698, + "▁заку": 39699, + "▁механизм": 39700, + "дового": 39701, + "▁вод": 39702, + "▁оза": 39703, + "▁температуры": 39704, + "▁Игорь": 39705, + "▁выбрать": 39706, + "▁прошла": 39707, + "▁подряд": 39708, + "▁буль": 39709, + "▁уса": 39710, + "▁скажем": 39711, + "▁plann": 39712, + "▁наве": 39713, + "▁стояли": 39714, + "▁альбо": 39715, + "▁старых": 39716, + "ИЙ": 39717, + "▁шум": 39718, + "▁оставался": 39719, + "чивость": 39720, + "▁правой": 39721, + "ИА": 39722, + "▁ракеты": 39723, + "▁конц": 39724, + "▁цивилизации": 39725, + "▁Иоси": 39726, + "▁смени": 39727, + "▁спасти": 39728, + "говой": 39729, + "▁определение": 39730, + "▁письме": 39731, + "дена": 39732, + "ненным": 39733, + "▁культура": 39734, + "▁экспедиции": 39735, + "▁Мир": 39736, + "▁Администра": 39737, + "▁рассматривать": 39738, + "▁крепости": 39739, + "сель": 39740, + "мора": 39741, + "▁Сере": 39742, + "▁ценности": 39743, + "▁границу": 39744, + "▁кине": 39745, + "▁автоном": 39746, + "▁зарпла": 39747, + "▁курса": 39748, + "▁рассчита": 39749, + "▁Жа": 39750, + "▁получают": 39751, + "▁столетия": 39752, + "никова": 39753, + "▁мышления": 39754, + "▁ране": 39755, + "ющееся": 39756, + "▁хиру": 39757, + "вьте": 39758, + "▁выражения": 39759, + "▁серий": 39760, + "▁севере": 39761, + "▁непло": 39762, + "▁пострада": 39763, + "▁газета": 39764, + "чника": 39765, + "▁охраны": 39766, + "нек": 39767, + "▁соль": 39768, + "▁декора": 39769, + "▁пригово": 39770, + "▁пожела": 39771, + "▁детьми": 39772, + "▁опасность": 39773, + "▁собрания": 39774, + "▁кали": 39775, + "бия": 39776, + "цева": 39777, + "▁желания": 39778, + "▁американского": 39779, + "▁настой": 39780, + "▁музея": 39781, + "▁учитель": 39782, + "▁этно": 39783, + "▁окно": 39784, + "▁кано": 39785, + "▁среду": 39786, + "▁Кру": 39787, + "oviet": 39788, + "▁Шар": 39789, + "▁поток": 39790, + "▁центральной": 39791, + "испо": 39792, + "▁возникают": 39793, + "▁звезд": 39794, + "▁подобного": 39795, + "▁надея": 39796, + "▁миром": 39797, + "▁расстояние": 39798, + "▁редак": 39799, + "▁упразд": 39800, + "▁службе": 39801, + "▁хре": 39802, + "▁австрий": 39803, + "чим": 39804, + "▁обер": 39805, + "▁урав": 39806, + "▁первен": 39807, + "бое": 39808, + "▁яро": 39809, + "лд": 39810, + "▁сена": 39811, + "▁ходу": 39812, + "▁Оче": 39813, + "совет": 39814, + "▁матч": 39815, + "▁заявление": 39816, + "ляли": 39817, + "▁Греции": 39818, + "▁обратился": 39819, + "▁расту": 39820, + "▁третьего": 39821, + "▁откров": 39822, + "▁визу": 39823, + "▁иное": 39824, + "▁комнату": 39825, + "вшуюся": 39826, + "▁отделение": 39827, + "▁языком": 39828, + "▁незакон": 39829, + "ковать": 39830, + "лям": 39831, + "вут": 39832, + "▁диалек": 39833, + "▁Первое": 39834, + "▁превосход": 39835, + "лона": 39836, + "▁Советской": 39837, + "лланд": 39838, + "▁стоят": 39839, + "щаясь": 39840, + "тарь": 39841, + "▁симпа": 39842, + "пия": 39843, + "▁стоимости": 39844, + "▁судьбы": 39845, + "▁индей": 39846, + "▁испытания": 39847, + "дется": 39848, + "▁сторона": 39849, + "▁уйти": 39850, + "ченная": 39851, + "жской": 39852, + "▁флот": 39853, + "▁Гражда": 39854, + "Кра": 39855, + "▁хороший": 39856, + "▁идеа": 39857, + "▁мото": 39858, + "смотрим": 39859, + "▁наличии": 39860, + "▁поможет": 39861, + "▁Александрович": 39862, + "хождение": 39863, + "ведением": 39864, + "▁инфраструк": 39865, + "▁поговори": 39866, + "▁уво": 39867, + "▁Писа": 39868, + "▁фотографии": 39869, + "▁перехода": 39870, + "▁исследование": 39871, + "▁стремление": 39872, + "носят": 39873, + "▁определяет": 39874, + "▁столицы": 39875, + "▁приехал": 39876, + "стор": 39877, + "▁Красного": 39878, + "▁ура": 39879, + "▁выдержа": 39880, + "▁Рича": 39881, + "▁боле": 39882, + "▁Лондоне": 39883, + "▁приспособ": 39884, + "▁вещь": 39885, + "▁Коло": 39886, + "▁вызвать": 39887, + "▁размере": 39888, + "▁здоровье": 39889, + "▁друже": 39890, + "▁проще": 39891, + "▁опе": 39892, + "▁непрерыв": 39893, + "▁понимает": 39894, + "▁статью": 39895, + "▁защит": 39896, + "▁мнения": 39897, + "тового": 39898, + "▁несу": 39899, + "▁социального": 39900, + "▁посыла": 39901, + "▁наряду": 39902, + "▁определён": 39903, + "▁теп": 39904, + "▁встрече": 39905, + "▁ВМ": 39906, + "▁пони": 39907, + "▁невер": 39908, + "▁база": 39909, + "▁Такая": 39910, + "▁благоприят": 39911, + "▁образа": 39912, + "▁каждое": 39913, + "▁настоящего": 39914, + "▁Сю": 39915, + "сид": 39916, + "потре": 39917, + "▁сде": 39918, + "▁инфек": 39919, + "▁иного": 39920, + "▁этап": 39921, + "▁выполнить": 39922, + "▁создает": 39923, + "пети": 39924, + "▁равен": 39925, + "▁Дом": 39926, + "раиль": 39927, + "▁значительной": 39928, + "▁консульта": 39929, + "▁случаи": 39930, + "▁штата": 39931, + "▁сельсовета": 39932, + "▁черно": 39933, + "рила": 39934, + "▁Игра": 39935, + "▁Богу": 39936, + "▁следующих": 39937, + "▁сцены": 39938, + "уголь": 39939, + "▁каждым": 39940, + "▁Китае": 39941, + "ешься": 39942, + "▁стиль": 39943, + "шне": 39944, + "▁увеличе": 39945, + "▁пропаган": 39946, + "▁Кол": 39947, + "▁Произ": 39948, + "▁обеих": 39949, + "▁акций": 39950, + "жник": 39951, + "хло": 39952, + "▁стремя": 39953, + "▁земель": 39954, + "▁доход": 39955, + "▁гарни": 39956, + "▁кстати": 39957, + "▁мусульман": 39958, + "▁попросил": 39959, + "▁кампании": 39960, + "▁Участ": 39961, + "▁верно": 39962, + "duction": 39963, + "▁близко": 39964, + "▁записы": 39965, + "чному": 39966, + "▁госу": 39967, + "clus": 39968, + "Пи": 39969, + "▁количестве": 39970, + "▁напоминает": 39971, + "номер": 39972, + "мать": 39973, + "ленная": 39974, + "▁оказаться": 39975, + "▁памятник": 39976, + "▁берег": 39977, + "arliam": 39978, + "▁мудро": 39979, + "Рус": 39980, + "▁специальных": 39981, + "кои": 39982, + "?..": 39983, + "хин": 39984, + "▁Буду": 39985, + "нической": 39986, + "дзе": 39987, + "вляются": 39988, + "ода": 39989, + "еруса": 39990, + "▁понимание": 39991, + "▁Руко": 39992, + "▁соци": 39993, + "▁использовали": 39994, + "син": 39995, + "▁впереди": 39996, + "▁дерева": 39997, + "гне": 39998, + "ложении": 39999, + "▁высоких": 40000, + "▁исключа": 40001, + "▁прочих": 40002, + "▁Польши": 40003, + "твори": 40004, + "шенные": 40005, + "▁Кэ": 40006, + "емости": 40007, + "▁Михайлович": 40008, + "▁заметить": 40009, + "▁похи": 40010, + "▁Разве": 40011, + "▁поми": 40012, + "▁скажу": 40013, + "▁ограничения": 40014, + "▁Бель": 40015, + "новский": 40016, + "▁тобой": 40017, + "▁Нужно": 40018, + "▁горизонта": 40019, + "кабу": 40020, + "▁учения": 40021, + "лёт": 40022, + "▁создана": 40023, + "▁поставил": 40024, + "▁фундамента": 40025, + "▁батальона": 40026, + "▁Другие": 40027, + "▁Современ": 40028, + "▁соч": 40029, + "несла": 40030, + "▁Часто": 40031, + "▁отчая": 40032, + "▁Октябрь": 40033, + "▁насы": 40034, + "▁выступ": 40035, + "тике": 40036, + "▁найден": 40037, + "▁Лин": 40038, + "▁рот": 40039, + "▁высокий": 40040, + "лили": 40041, + "▁достовер": 40042, + "▁исторических": 40043, + "▁Обла": 40044, + "▁понимания": 40045, + "▁абстра": 40046, + "▁каждую": 40047, + "▁любое": 40048, + "▁акции": 40049, + "▁отмечает": 40050, + "нувшись": 40051, + "▁отнюдь": 40052, + "▁невозмо": 40053, + "▁фестива": 40054, + "▁выве": 40055, + "▁выса": 40056, + "▁учился": 40057, + "▁предложе": 40058, + "▁обнаружил": 40059, + "▁зла": 40060, + "▁душев": 40061, + "мур": 40062, + "ляция": 40063, + "▁давления": 40064, + "▁счастье": 40065, + "▁проверя": 40066, + "таясь": 40067, + "гря": 40068, + "▁отече": 40069, + "▁важных": 40070, + "▁реме": 40071, + "▁объединения": 40072, + "юри": 40073, + "▁образе": 40074, + "▁издание": 40075, + "стическая": 40076, + "▁Михаила": 40077, + "▁Вз": 40078, + "фан": 40079, + "▁бывают": 40080, + "ilies": 40081, + "▁обоб": 40082, + "▁мною": 40083, + "▁регулярно": 40084, + "▁районов": 40085, + "▁оре": 40086, + "▁оставаться": 40087, + "▁командование": 40088, + "arliament": 40089, + "ИЯ": 40090, + "женным": 40091, + "▁подходит": 40092, + "▁различными": 40093, + "▁дорог": 40094, + "▁гипер": 40095, + "▁дерево": 40096, + "▁организм": 40097, + "▁Социали": 40098, + "▁Кро": 40099, + "▁банки": 40100, + "▁вина": 40101, + "праши": 40102, + "▁оставалось": 40103, + "▁сестра": 40104, + "▁remov": 40105, + "▁конфликта": 40106, + "▁Стани": 40107, + "▁читал": 40108, + "▁Ещё": 40109, + "▁начались": 40110, + "́н": 40111, + "нейшие": 40112, + "▁Тех": 40113, + "▁улыб": 40114, + "▁банк": 40115, + "▁Над": 40116, + "Ан": 40117, + "▁Белоруссии": 40118, + "вик": 40119, + "▁шоссе": 40120, + "▁служеб": 40121, + "▁Хорошо": 40122, + "петь": 40123, + "▁вернуть": 40124, + "▁причинам": 40125, + "ДА": 40126, + "▁Время": 40127, + "▁Петербурге": 40128, + "▁камень": 40129, + "▁веб": 40130, + "▁контакт": 40131, + "▁Спу": 40132, + "▁видом": 40133, + "▁фильмов": 40134, + "рева": 40135, + "▁ладо": 40136, + "▁факты": 40137, + "▁веры": 40138, + "▁соглашения": 40139, + "▁лучший": 40140, + "▁выполнение": 40141, + "▁Больше": 40142, + "▁девушки": 40143, + "▁св": 40144, + "▁кван": 40145, + "▁важным": 40146, + "▁замени": 40147, + "жке": 40148, + "▁занимал": 40149, + "▁позволит": 40150, + "▁несомненно": 40151, + "▁Роберт": 40152, + "▁обстре": 40153, + "▁См": 40154, + "люблен": 40155, + "пуга": 40156, + "▁остаются": 40157, + "▁закре": 40158, + "▁левой": 40159, + "▁administ": 40160, + "▁Лишь": 40161, + "▁клиентов": 40162, + "▁объе": 40163, + "Ла": 40164, + "▁Иса": 40165, + "▁учетом": 40166, + "▁пределы": 40167, + "бал": 40168, + "▁распространение": 40169, + "▁работо": 40170, + "слом": 40171, + "▁диапа": 40172, + "▁матчей": 40173, + "▁Необходи": 40174, + "зло": 40175, + "▁работала": 40176, + "▁Министерства": 40177, + "▁Одновременно": 40178, + "▁страха": 40179, + "▁прока": 40180, + "▁звё": 40181, + "▁старый": 40182, + "▁представлен": 40183, + "▁океана": 40184, + "▁музыку": 40185, + "▁больных": 40186, + "▁окончании": 40187, + "▁нарушение": 40188, + "▁Васильевич": 40189, + "пры": 40190, + "АС": 40191, + "▁сотрудники": 40192, + "▁двигателя": 40193, + "▁свидетельствует": 40194, + "▁Евгений": 40195, + "▁регионе": 40196, + "▁моде": 40197, + "▁культуре": 40198, + "▁взяли": 40199, + "слуши": 40200, + "▁продолжать": 40201, + "▁парламента": 40202, + "▁выбро": 40203, + "стили": 40204, + "▁избра": 40205, + "▁нере": 40206, + "чностью": 40207, + "▁вар": 40208, + "▁результатом": 40209, + "▁Вопрос": 40210, + "▁примени": 40211, + "шенный": 40212, + "▁наука": 40213, + "▁наименова": 40214, + "▁дорого": 40215, + "▁политике": 40216, + "▁штат": 40217, + "▁зачастую": 40218, + "▁Президиума": 40219, + "стема": 40220, + "▁пови": 40221, + "Кон": 40222, + "▁входя": 40223, + "▁детям": 40224, + "▁связей": 40225, + "питы": 40226, + "сках": 40227, + "Му": 40228, + "▁кофе": 40229, + "тному": 40230, + "▁ябло": 40231, + "▁разы": 40232, + "▁задума": 40233, + "overnor": 40234, + "▁физики": 40235, + "уме": 40236, + "▁типо": 40237, + "новича": 40238, + "▁появление": 40239, + "▁изначально": 40240, + "▁болезнь": 40241, + "▁функция": 40242, + "▁дифф": 40243, + "▁европейских": 40244, + "▁вечера": 40245, + "▁держать": 40246, + "▁обращения": 40247, + "▁окружающей": 40248, + "▁Поня": 40249, + "▁любые": 40250, + "▁попол": 40251, + "\"...": 40252, + "▁кирпи": 40253, + "▁услов": 40254, + "▁заявля": 40255, + "▁Обо": 40256, + "▁личного": 40257, + "тивными": 40258, + "моно": 40259, + "▁ряде": 40260, + "▁рев": 40261, + "▁убы": 40262, + "▁целиком": 40263, + "▁рецеп": 40264, + "▁взры": 40265, + "▁собрать": 40266, + "вающей": 40267, + "ляют": 40268, + "▁детства": 40269, + "▁зафикси": 40270, + "▁иу": 40271, + "▁заводе": 40272, + "▁ушел": 40273, + "▁особого": 40274, + "▁живой": 40275, + "▁вело": 40276, + "тащи": 40277, + "▁Гей": 40278, + "▁асси": 40279, + "▁президентом": 40280, + "веси": 40281, + "▁насеко": 40282, + "▁полета": 40283, + "▁заблу": 40284, + "▁сделано": 40285, + "▁месту": 40286, + "▁изли": 40287, + "▁крыла": 40288, + "▁занимается": 40289, + "▁Варша": 40290, + "▁эксплуатации": 40291, + "▁лед": 40292, + "▁Тан": 40293, + "▁собак": 40294, + "▁самую": 40295, + "▁попасть": 40296, + "▁отряда": 40297, + "▁принятия": 40298, + "▁Сама": 40299, + "▁графа": 40300, + "▁проведен": 40301, + "▁выру": 40302, + "▁десятки": 40303, + "рва": 40304, + "▁фили": 40305, + "▁политику": 40306, + "▁народу": 40307, + "ЕВ": 40308, + "▁борту": 40309, + "▁сидя": 40310, + "дневно": 40311, + "▁устойчи": 40312, + "▁Длина": 40313, + "▁Лев": 40314, + "стыми": 40315, + "▁Значит": 40316, + "▁физической": 40317, + "тины": 40318, + "▁нормы": 40319, + "▁верхов": 40320, + "▁факторов": 40321, + "фана": 40322, + "▁экстре": 40323, + "мея": 40324, + "если": 40325, + "▁внутреннего": 40326, + "▁беремен": 40327, + "▁подписал": 40328, + "▁Луи": 40329, + "▁люблю": 40330, + "▁проверить": 40331, + "стон": 40332, + "▁драго": 40333, + "▁Основа": 40334, + "▁пойти": 40335, + "▁мони": 40336, + "зываться": 40337, + "емыми": 40338, + "▁созданию": 40339, + "пова": 40340, + "Че": 40341, + "▁пру": 40342, + "▁исчеза": 40343, + "▁Стар": 40344, + "▁лов": 40345, + "▁обуча": 40346, + "водится": 40347, + "вляться": 40348, + "▁прокуро": 40349, + "▁написано": 40350, + "▁твое": 40351, + "рожден": 40352, + "ренный": 40353, + "АЗ": 40354, + "▁линия": 40355, + "▁ответить": 40356, + "▁потер": 40357, + "▁немно": 40358, + "женная": 40359, + "▁дворян": 40360, + "▁первич": 40361, + "▁островов": 40362, + "▁отличаются": 40363, + "▁использовании": 40364, + "▁сидел": 40365, + "ерархи": 40366, + "▁открыть": 40367, + "▁смогут": 40368, + "▁устре": 40369, + "▁экземпля": 40370, + "▁ткани": 40371, + "стских": 40372, + "▁внимательно": 40373, + "▁турнира": 40374, + "▁опубликован": 40375, + "▁вражде": 40376, + "▁раб": 40377, + "стинк": 40378, + "▁стер": 40379, + "▁строки": 40380, + "▁аппарата": 40381, + "шной": 40382, + "▁проявления": 40383, + "ствующие": 40384, + "▁французского": 40385, + "жутся": 40386, + "▁прозра": 40387, + "▁перейти": 40388, + "▁собою": 40389, + "▁двадцати": 40390, + "▁меньшей": 40391, + "▁волости": 40392, + "▁instit": 40393, + "зина": 40394, + "▁Вообще": 40395, + "льци": 40396, + "▁Россией": 40397, + "▁ворота": 40398, + "▁экипажа": 40399, + "▁актуаль": 40400, + "▁доступа": 40401, + "▁Син": 40402, + "леб": 40403, + "▁укры": 40404, + "ranch": 40405, + "▁понимал": 40406, + "▁исполнения": 40407, + "▁выполня": 40408, + "▁ошибок": 40409, + "▁шер": 40410, + "▁дебютировал": 40411, + "▁фору": 40412, + "▁мозг": 40413, + "яр": 40414, + "▁Восточной": 40415, + "▁надпись": 40416, + "▁ваших": 40417, + "▁Были": 40418, + "гается": 40419, + "фрикан": 40420, + "▁расширя": 40421, + "▁Никто": 40422, + "▁Смолен": 40423, + "▁сравнительно": 40424, + "▁пределами": 40425, + "▁Степа": 40426, + "терии": 40427, + "▁армией": 40428, + "▁оси": 40429, + "линд": 40430, + "▁подзем": 40431, + "▁выбран": 40432, + "▁пограни": 40433, + "▁преу": 40434, + "ваемые": 40435, + "▁наступления": 40436, + "▁местные": 40437, + "зости": 40438, + "▁ухуд": 40439, + "ровке": 40440, + "дкой": 40441, + "▁боевые": 40442, + "▁переговоров": 40443, + "▁верхней": 40444, + "шок": 40445, + "▁bene": 40446, + "деква": 40447, + "▁Ильи": 40448, + "зиат": 40449, + "лайн": 40450, + "▁согласился": 40451, + "штейн": 40452, + "▁бытия": 40453, + "▁автоматически": 40454, + "▁сыном": 40455, + "▁Свер": 40456, + "ведь": 40457, + "▁Список": 40458, + "эф": 40459, + "▁Весь": 40460, + "▁принципы": 40461, + "▁начальником": 40462, + "▁происходило": 40463, + "▁порази": 40464, + "▁линию": 40465, + "чём": 40466, + "▁земе": 40467, + "▁экономического": 40468, + "хожу": 40469, + "▁Тимо": 40470, + "▁осталась": 40471, + "тирует": 40472, + "▁западной": 40473, + "▁военнослу": 40474, + "▁английского": 40475, + "▁каме": 40476, + "▁получилось": 40477, + "▁профессора": 40478, + "джер": 40479, + "▁подразуме": 40480, + "ИИ": 40481, + "Га": 40482, + "▁Сибири": 40483, + "льм": 40484, + "▁Расска": 40485, + "▁телекана": 40486, + "думан": 40487, + "▁метода": 40488, + "▁психологии": 40489, + "следователь": 40490, + "▁общих": 40491, + "кии": 40492, + "▁предполагает": 40493, + "нели": 40494, + "ильям": 40495, + "▁воспри": 40496, + "▁автомобиля": 40497, + "▁леги": 40498, + "новым": 40499, + "▁отъ": 40500, + "▁буржуаз": 40501, + "▁Гитлер": 40502, + "▁следовало": 40503, + "▁журнале": 40504, + "▁участники": 40505, + "▁подготовке": 40506, + "▁немецкой": 40507, + "▁прице": 40508, + "тинг": 40509, + "ergy": 40510, + "ланти": 40511, + "▁заро": 40512, + "▁труп": 40513, + "▁постав": 40514, + "ленного": 40515, + "▁девять": 40516, + "ровского": 40517, + "▁Турции": 40518, + "АТО": 40519, + "▁известного": 40520, + "▁кости": 40521, + "▁стр": 40522, + "▁приго": 40523, + "▁машине": 40524, + "▁разработке": 40525, + "▁тяго": 40526, + "▁Следова": 40527, + "▁суббо": 40528, + "▁подобное": 40529, + "▁маленький": 40530, + "▁ходить": 40531, + "Ло": 40532, + "▁просла": 40533, + "▁врагов": 40534, + "▁середины": 40535, + "▁Роман": 40536, + "цени": 40537, + "▁отдельно": 40538, + "▁Обе": 40539, + "▁тира": 40540, + "▁эволюции": 40541, + "▁напеча": 40542, + "▁звезда": 40543, + "▁точка": 40544, + "▁солдаты": 40545, + "гала": 40546, + "▁черта": 40547, + "▁терпе": 40548, + "бие": 40549, + "ровался": 40550, + "▁расположена": 40551, + "▁кусо": 40552, + "▁предпоч": 40553, + "▁некоторым": 40554, + "▁максимально": 40555, + "▁доказыва": 40556, + "▁автомобиль": 40557, + "▁исходя": 40558, + "▁пушки": 40559, + "▁движении": 40560, + "▁Вселенной": 40561, + "▁взрыва": 40562, + "▁собака": 40563, + "▁достичь": 40564, + "ствование": 40565, + "ристокра": 40566, + "▁Елиза": 40567, + "▁Президент": 40568, + "ллы": 40569, + "▁властей": 40570, + "▁комитет": 40571, + "▁спря": 40572, + "▁обнаружили": 40573, + "лес": 40574, + "▁лучшим": 40575, + "▁одежды": 40576, + "▁Кер": 40577, + "▁советские": 40578, + "▁результатам": 40579, + "мед": 40580, + "▁кло": 40581, + "▁высшего": 40582, + "▁Матери": 40583, + "▁оли": 40584, + "▁обеспечивает": 40585, + "вица": 40586, + "▁уступа": 40587, + "▁пункта": 40588, + "▁продоволь": 40589, + "▁Дере": 40590, + "...>": 40591, + "рока": 40592, + "▁Оп": 40593, + "▁Нар": 40594, + "▁событие": 40595, + "▁выиграл": 40596, + "▁критери": 40597, + "▁Алла": 40598, + "▁многочисленных": 40599, + "▁характеристики": 40600, + "▁Университе": 40601, + "▁продукт": 40602, + "▁художников": 40603, + "▁Тар": 40604, + "▁символ": 40605, + "▁лы": 40606, + "▁важное": 40607, + "▁ваго": 40608, + "▁карте": 40609, + "▁разоча": 40610, + "ОО": 40611, + "▁лесу": 40612, + "▁обыкновен": 40613, + "▁риск": 40614, + "▁волосы": 40615, + "▁ЕС": 40616, + "▁ремон": 40617, + "▁броси": 40618, + "ливый": 40619, + "▁представляется": 40620, + "меся": 40621, + "ренных": 40622, + "▁реклам": 40623, + "▁необ": 40624, + "▁источники": 40625, + "▁здраво": 40626, + "чах": 40627, + "▁Сирии": 40628, + "стере": 40629, + "▁газете": 40630, + "▁Впоследствии": 40631, + "еписко": 40632, + "купи": 40633, + "▁Позднее": 40634, + "▁ведут": 40635, + "▁футболист": 40636, + "▁двер": 40637, + "▁драматур": 40638, + "ксу": 40639, + "▁заби": 40640, + "▁массу": 40641, + "▁четко": 40642, + "десяти": 40643, + "▁глубине": 40644, + "▁актёр": 40645, + "сец": 40646, + "▁орудия": 40647, + "▁границе": 40648, + "▁грома": 40649, + "▁специальные": 40650, + "▁Путин": 40651, + "▁говорилось": 40652, + "▁использовал": 40653, + "▁виртуаль": 40654, + "▁магистра": 40655, + "▁нефти": 40656, + "▁моем": 40657, + "▁сад": 40658, + "нгви": 40659, + "▁расче": 40660, + "▁ир": 40661, + "чках": 40662, + "▁проби": 40663, + "лизации": 40664, + "▁тремя": 40665, + "▁взаимоот": 40666, + "▁признаки": 40667, + "уэ": 40668, + "личество": 40669, + "▁звания": 40670, + "резать": 40671, + "▁участием": 40672, + "тивном": 40673, + "сена": 40674, + "▁розы": 40675, + "▁Сын": 40676, + "▁Россий": 40677, + "▁молодого": 40678, + "чева": 40679, + "внокоман": 40680, + "▁политические": 40681, + "▁общим": 40682, + "▁листь": 40683, + "▁Тю": 40684, + "▁документ": 40685, + "МО": 40686, + "Ти": 40687, + "вный": 40688, + "лец": 40689, + "▁старые": 40690, + "▁перспек": 40691, + "мите": 40692, + "▁клеток": 40693, + "нилась": 40694, + "▁Константин": 40695, + "▁Джона": 40696, + "▁освобождения": 40697, + "▁реку": 40698, + "▁посад": 40699, + "▁рее": 40700, + "лично": 40701, + "▁начался": 40702, + "▁Существует": 40703, + "▁Сева": 40704, + "стояние": 40705, + "▁заслужи": 40706, + "pire": 40707, + "▁весной": 40708, + "▁деятельностью": 40709, + "▁ора": 40710, + "▁изви": 40711, + "▁извле": 40712, + "▁Воору": 40713, + "▁закономер": 40714, + "▁делается": 40715, + "монстри": 40716, + "▁высокие": 40717, + "▁требований": 40718, + "зрения": 40719, + "▁беру": 40720, + "▁классов": 40721, + "▁расстрой": 40722, + "▁золото": 40723, + "день": 40724, + "▁нав": 40725, + "▁Зу": 40726, + "▁Летом": 40727, + "▁репре": 40728, + "драв": 40729, + "▁составил": 40730, + "▁технических": 40731, + "▁ощущения": 40732, + "ключения": 40733, + "щенной": 40734, + "▁отсюда": 40735, + "▁пользователя": 40736, + "▁хлеба": 40737, + "▁размеров": 40738, + "▁поддерживать": 40739, + "▁спортсме": 40740, + "▁ворот": 40741, + "зуется": 40742, + "▁трибу": 40743, + "▁сби": 40744, + "▁активности": 40745, + "▁Сти": 40746, + "▁прогу": 40747, + "▁поддержке": 40748, + "▁Действи": 40749, + "▁разными": 40750, + "▁успехом": 40751, + "чих": 40752, + "▁папа": 40753, + "▁Иеруса": 40754, + "вершенно": 40755, + "▁осенью": 40756, + "нны": 40757, + "▁мяте": 40758, + "▁Мака": 40759, + "▁уходит": 40760, + "▁Разумеется": 40761, + "подоб": 40762, + "совершен": 40763, + "▁зуб": 40764, + "▁русским": 40765, + "▁произведение": 40766, + "▁расходы": 40767, + "уз": 40768, + "▁гордо": 40769, + "▁ошиб": 40770, + "тека": 40771, + "▁имело": 40772, + "Йорк": 40773, + "▁перевоз": 40774, + "фель": 40775, + "▁клима": 40776, + "▁семина": 40777, + "▁аппарат": 40778, + "▁политический": 40779, + "Исто": 40780, + "▁заказа": 40781, + "▁служа": 40782, + "▁размера": 40783, + "▁потерял": 40784, + "▁происше": 40785, + "▁псевдо": 40786, + "▁артиллерии": 40787, + "▁французской": 40788, + "▁резиден": 40789, + "▁повлия": 40790, + "▁Уз": 40791, + "▁построить": 40792, + "▁вел": 40793, + "▁ваша": 40794, + "▁сбро": 40795, + "▁заслуги": 40796, + "▁любопыт": 40797, + "▁Кен": 40798, + "▁мост": 40799, + "▁медлен": 40800, + "▁канала": 40801, + "дений": 40802, + "▁рекорд": 40803, + "▁ничем": 40804, + "▁сколь": 40805, + "риться": 40806, + "▁файл": 40807, + "вной": 40808, + "Он": 40809, + "▁квартире": 40810, + "▁какими": 40811, + "▁остаться": 40812, + "▁targ": 40813, + "▁ов": 40814, + "▁Нео": 40815, + "▁звук": 40816, + "▁повседнев": 40817, + "пать": 40818, + "▁Тео": 40819, + "▁старого": 40820, + "▁Памя": 40821, + "▁Боб": 40822, + "▁носит": 40823, + "▁враждеб": 40824, + "рку": 40825, + "стах": 40826, + "▁чужо": 40827, + "▁сдви": 40828, + "▁опаса": 40829, + "▁третьей": 40830, + "▁свето": 40831, + "▁соглашение": 40832, + "ровались": 40833, + "▁Лат": 40834, + "▁Церкви": 40835, + "▁конгре": 40836, + "▁пля": 40837, + "здо": 40838, + "вето": 40839, + "▁угол": 40840, + "▁тридцать": 40841, + "Мар": 40842, + "▁уезд": 40843, + "вне": 40844, + "ъю": 40845, + "▁слышал": 40846, + "▁взро": 40847, + "▁яи": 40848, + "циан": 40849, + "лял": 40850, + "▁волшеб": 40851, + "▁роско": 40852, + "талки": 40853, + "▁приблизительно": 40854, + "▁принес": 40855, + "▁страницы": 40856, + "▁орган": 40857, + "▁источником": 40858, + "▁потребу": 40859, + "Ди": 40860, + "воро": 40861, + "ённый": 40862, + "нному": 40863, + "▁Кей": 40864, + "▁следующего": 40865, + "▁оружием": 40866, + "▁покрови": 40867, + "▁шар": 40868, + "▁концепции": 40869, + "▁Отсюда": 40870, + "▁вынуждены": 40871, + "▁напряжения": 40872, + "▁солнца": 40873, + "▁хранения": 40874, + "▁тысяче": 40875, + "▁Мало": 40876, + "▁участке": 40877, + "▁реализова": 40878, + "▁подска": 40879, + "▁мелко": 40880, + "▁снять": 40881, + "▁скор": 40882, + "▁Сар": 40883, + "▁пользователь": 40884, + "▁заметно": 40885, + "▁обвинения": 40886, + "▁загру": 40887, + "▁издели": 40888, + "воло": 40889, + "▁приготовления": 40890, + "▁Солнца": 40891, + "▁старой": 40892, + "▁путём": 40893, + "▁моему": 40894, + "сибир": 40895, + "▁находит": 40896, + "▁талан": 40897, + "▁науке": 40898, + "трибу": 40899, + "стся": 40900, + "нков": 40901, + "АК": 40902, + "▁отвра": 40903, + "▁нападения": 40904, + "▁выводу": 40905, + "▁Новгород": 40906, + "берт": 40907, + "казом": 40908, + "▁спать": 40909, + "▁вспомнить": 40910, + "▁зная": 40911, + "▁adop": 40912, + "▁привели": 40913, + "▁штурмо": 40914, + "▁израиль": 40915, + "лите": 40916, + "▁пары": 40917, + "▁несколькими": 40918, + "▁рыбы": 40919, + "▁представлены": 40920, + "▁Уильям": 40921, + "▁монастырь": 40922, + "лот": 40923, + "▁просве": 40924, + "▁семью": 40925, + "▁взор": 40926, + "▁функцию": 40927, + "»:": 40928, + "▁территориаль": 40929, + "▁Уэ": 40930, + "▁Глу": 40931, + "▁distrib": 40932, + "▁немецкого": 40933, + "рывно": 40934, + "▁сюже": 40935, + "▁позиций": 40936, + "▁Григорь": 40937, + "▁архитектуры": 40938, + "▁засе": 40939, + "▁тен": 40940, + "▁началу": 40941, + "▁цветов": 40942, + "▁знание": 40943, + "▁врача": 40944, + "▁коде": 40945, + "▁останется": 40946, + "▁передает": 40947, + "стил": 40948, + "▁экологи": 40949, + "▁обладают": 40950, + "▁специалисты": 40951, + "▁упомяну": 40952, + "▁рабочие": 40953, + "▁вож": 40954, + "▁Худо": 40955, + "▁восстания": 40956, + "▁величай": 40957, + "▁аку": 40958, + "▁народных": 40959, + "▁небольшие": 40960, + "▁Авгу": 40961, + "ренно": 40962, + "▁жар": 40963, + "▁устройств": 40964, + "▁дополнительные": 40965, + "▁попытка": 40966, + "▁Бела": 40967, + "▁фаль": 40968, + "▁Диа": 40969, + "▁вызва": 40970, + "▁удара": 40971, + "▁спуска": 40972, + "▁мла": 40973, + "▁Востока": 40974, + "▁подумал": 40975, + "ченными": 40976, + "▁лейтенант": 40977, + "ношение": 40978, + "▁явлений": 40979, + "▁Цар": 40980, + "▁определенные": 40981, + "▁командой": 40982, + "▁измерения": 40983, + "▁наказания": 40984, + "рисо": 40985, + "▁лагере": 40986, + "▁структуру": 40987, + "▁тесно": 40988, + "▁понадоби": 40989, + "▁избы": 40990, + "▁компанией": 40991, + "▁лучшие": 40992, + "▁celeb": 40993, + "▁управлять": 40994, + "▁Есте": 40995, + "▁Австралии": 40996, + "▁решением": 40997, + "▁ремонт": 40998, + "▁Берлин": 40999, + "▁проходил": 41000, + "▁моне": 41001, + "▁воздействие": 41002, + "▁приема": 41003, + "▁технику": 41004, + "рист": 41005, + "▁пребывания": 41006, + "▁политического": 41007, + "▁извести": 41008, + "мали": 41009, + "▁энергию": 41010, + "рованием": 41011, + "▁нра": 41012, + "ванге": 41013, + "▁пари": 41014, + "хим": 41015, + "▁вблизи": 41016, + "▁Груп": 41017, + "▁арестован": 41018, + "▁вя": 41019, + "▁Патри": 41020, + "▁постара": 41021, + "пке": 41022, + "▁мелких": 41023, + "▁инстинк": 41024, + "▁Счита": 41025, + "формули": 41026, + "▁авторы": 41027, + "▁деревья": 41028, + "▁гряз": 41029, + "▁известные": 41030, + "спор": 41031, + "▁огромный": 41032, + "▁игроков": 41033, + "▁Доро": 41034, + "▁Петрович": 41035, + "▁гон": 41036, + "кове": 41037, + "▁дья": 41038, + "▁заключение": 41039, + "▁Вос": 41040, + "▁Государственной": 41041, + "▁Гро": 41042, + "жок": 41043, + "▁наре": 41044, + "▁появилось": 41045, + "бовать": 41046, + "дир": 41047, + "Ком": 41048, + "▁недалеко": 41049, + "▁охваты": 41050, + "▁свадь": 41051, + "емость": 41052, + "▁городом": 41053, + "преки": 41054, + "▁брак": 41055, + "▁яйца": 41056, + "▁обыча": 41057, + "▁собрание": 41058, + "▁владения": 41059, + "▁кредит": 41060, + "▁поспе": 41061, + "▁зимой": 41062, + "▁Хру": 41063, + "сообраз": 41064, + "▁выго": 41065, + "▁пришло": 41066, + "▁Арме": 41067, + "▁приложение": 41068, + "▁Первым": 41069, + "▁Пробле": 41070, + "▁братьев": 41071, + "гиба": 41072, + "▁способы": 41073, + "▁определенной": 41074, + "▁рассказывал": 41075, + "▁долю": 41076, + "▁магазин": 41077, + "▁странно": 41078, + "▁Европей": 41079, + "вероят": 41080, + "▁открыт": 41081, + "▁Великого": 41082, + "▁разработан": 41083, + "▁внешне": 41084, + "▁властью": 41085, + "onse": 41086, + "▁возможных": 41087, + "▁награждён": 41088, + "▁раска": 41089, + "▁карта": 41090, + "▁голосов": 41091, + "Лю": 41092, + "▁озеро": 41093, + "▁маркси": 41094, + "▁Пушкин": 41095, + "▁поры": 41096, + "нических": 41097, + "тику": 41098, + "▁Ца": 41099, + "сном": 41100, + "▁путей": 41101, + "▁Знамени": 41102, + "arriage": 41103, + "▁уез": 41104, + "▁Зато": 41105, + "▁попере": 41106, + "▁Бел": 41107, + "▁следующей": 41108, + "▁неблаго": 41109, + "▁серьезно": 41110, + "ственному": 41111, + "▁Швейца": 41112, + "▁счё": 41113, + "▁открытие": 41114, + "▁свидетельство": 41115, + "▁территория": 41116, + "▁Олег": 41117, + "▁<...>": 41118, + "▁проч": 41119, + "▁задачей": 41120, + "▁повести": 41121, + "▁лиги": 41122, + "ворить": 41123, + "тара": 41124, + "▁Уи": 41125, + "▁Церковь": 41126, + "▁constit": 41127, + "▁Болга": 41128, + "▁морских": 41129, + "▁реальность": 41130, + "▁прокура": 41131, + "▁Муж": 41132, + "▁фоль": 41133, + "▁увлека": 41134, + "изм": 41135, + "▁потра": 41136, + "пала": 41137, + "▁автором": 41138, + "пейской": 41139, + "▁подверг": 41140, + "▁Почти": 41141, + "▁деревьев": 41142, + "дт": 41143, + "▁констру": 41144, + "▁термо": 41145, + "▁выяснилось": 41146, + "▁количеством": 41147, + "▁персонажей": 41148, + "ровский": 41149, + "▁провод": 41150, + "▁Chic": 41151, + "▁продемонстри": 41152, + "▁состоял": 41153, + "▁пей": 41154, + "▁Продол": 41155, + "▁определенных": 41156, + "porary": 41157, + "▁учителя": 41158, + "▁Кня": 41159, + "▁очереди": 41160, + "▁Венг": 41161, + "▁верить": 41162, + "эффици": 41163, + "▁поселение": 41164, + "вален": 41165, + "▁собственный": 41166, + "рят": 41167, + "▁отказ": 41168, + "▁закреп": 41169, + "нялся": 41170, + "▁Слова": 41171, + "▁беспокой": 41172, + "▁кален": 41173, + "цена": 41174, + "лизма": 41175, + "ферен": 41176, + "Золо": 41177, + "лизм": 41178, + "▁пое": 41179, + "класс": 41180, + "▁полную": 41181, + "стин": 41182, + "сными": 41183, + "▁усилий": 41184, + "▁срока": 41185, + "▁читатель": 41186, + "▁множества": 41187, + "▁крест": 41188, + "▁иерархи": 41189, + "▁Фрей": 41190, + "▁нейро": 41191, + "▁республикан": 41192, + "▁Фридри": 41193, + "▁сильный": 41194, + "▁сложных": 41195, + "▁судо": 41196, + "▁отцом": 41197, + "ими": 41198, + "▁Закон": 41199, + "▁пирами": 41200, + "жались": 41201, + "▁Хор": 41202, + "▁заставить": 41203, + "▁оборудование": 41204, + "сюду": 41205, + "blockquote": 41206, + "▁Соло": 41207, + "▁сигнал": 41208, + "▁повышения": 41209, + "▁Яковле": 41210, + "▁институте": 41211, + "▁столице": 41212, + "▁четвёр": 41213, + "▁практики": 41214, + "▁сервер": 41215, + "▁возвращается": 41216, + "▁разнови": 41217, + "▁описания": 41218, + "люб": 41219, + "▁месторо": 41220, + "▁детстве": 41221, + "▁истины": 41222, + "▁Squ": 41223, + "▁поу": 41224, + "owers": 41225, + "▁испытаний": 41226, + "▁идёт": 41227, + "▁многим": 41228, + "▁называть": 41229, + "сист": 41230, + "▁Сколько": 41231, + "теро": 41232, + "▁пробе": 41233, + "▁квартиру": 41234, + "▁годами": 41235, + "ации": 41236, + "чивать": 41237, + "▁кад": 41238, + "▁народной": 41239, + "▁цикла": 41240, + "▁сообщила": 41241, + "▁достигает": 41242, + "▁самолеты": 41243, + "▁считаю": 41244, + "▁нашему": 41245, + "▁покинул": 41246, + "▁упор": 41247, + "▁молодые": 41248, + "▁областях": 41249, + "▁богов": 41250, + "▁проходят": 41251, + "мину": 41252, + "▁грудь": 41253, + "▁присла": 41254, + "▁выборы": 41255, + "▁набо": 41256, + "▁Афи": 41257, + "▁армий": 41258, + "▁Пле": 41259, + "▁договори": 41260, + "▁известной": 41261, + "▁собран": 41262, + "▁Умер": 41263, + "▁личной": 41264, + "чел": 41265, + "▁пропор": 41266, + "▁лири": 41267, + "▁мечта": 41268, + "▁руке": 41269, + "▁Её": 41270, + "▁северной": 41271, + "хах": 41272, + "▁одних": 41273, + "▁формули": 41274, + "дность": 41275, + "▁Теле": 41276, + "слежи": 41277, + "▁коп": 41278, + "вард": 41279, + "▁улицу": 41280, + "▁посу": 41281, + "▁подра": 41282, + "▁Ничего": 41283, + "▁воспользоваться": 41284, + "▁Работа": 41285, + "▁кризиса": 41286, + "рда": 41287, + "▁втори": 41288, + "▁реконструк": 41289, + "▁библиотеки": 41290, + "▁живописи": 41291, + "▁цена": 41292, + "▁находиться": 41293, + "▁Брази": 41294, + "▁провели": 41295, + "▁кула": 41296, + "▁комнаты": 41297, + "▁крыль": 41298, + "▁национальных": 41299, + "▁откро": 41300, + "ционном": 41301, + "тивность": 41302, + "форд": 41303, + "сой": 41304, + "▁нефте": 41305, + "лаз": 41306, + "рением": 41307, + "гана": 41308, + "▁потребности": 41309, + "▁участвовать": 41310, + "▁Bec": 41311, + "дис": 41312, + "▁Хай": 41313, + "новского": 41314, + "лимпиа": 41315, + "▁возможным": 41316, + "▁подпо": 41317, + "▁точек": 41318, + "▁Пожа": 41319, + "▁шабло": 41320, + "▁чудови": 41321, + "▁слой": 41322, + "ционер": 41323, + "▁Расс": 41324, + "▁сопоста": 41325, + "зам": 41326, + "▁армей": 41327, + "ходится": 41328, + "▁перечисле": 41329, + "▁сумма": 41330, + "Ру": 41331, + "▁особой": 41332, + "чивости": 41333, + "▁радость": 41334, + "хами": 41335, + "▁Британ": 41336, + "▁рабочий": 41337, + "▁собор": 41338, + "▁убить": 41339, + "СП": 41340, + "▁зданий": 41341, + "▁короле": 41342, + "▁руководителей": 41343, + "▁строить": 41344, + "▁трудности": 41345, + "▁поиск": 41346, + "▁накануне": 41347, + "нического": 41348, + "▁собственную": 41349, + "▁побережье": 41350, + "▁доказательства": 41351, + "▁канал": 41352, + "▁птицы": 41353, + "▁доктора": 41354, + "▁латин": 41355, + "▁лидера": 41356, + "▁местом": 41357, + "▁крупнейших": 41358, + "▁аристокра": 41359, + "yth": 41360, + "▁смя": 41361, + "ведено": 41362, + "дача": 41363, + "▁возникновения": 41364, + "▁Официальный": 41365, + "▁языках": 41366, + "▁перео": 41367, + "тью": 41368, + "заи": 41369, + "▁отчасти": 41370, + "▁изгна": 41371, + "▁проника": 41372, + "▁territ": 41373, + "тельному": 41374, + "▁Чемпиона": 41375, + "▁высших": 41376, + "▁турнире": 41377, + "доль": 41378, + "водства": 41379, + "▁возникла": 41380, + "▁возраст": 41381, + "▁следы": 41382, + "▁следствие": 41383, + "▁называет": 41384, + "▁батальон": 41385, + "▁исторической": 41386, + "нину": 41387, + "▁чудо": 41388, + "настоя": 41389, + "▁Зачем": 41390, + "▁опира": 41391, + "▁Фото": 41392, + "▁решила": 41393, + "изе": 41394, + "ваете": 41395, + "▁подели": 41396, + "дых": 41397, + "▁отставку": 41398, + "▁соответствующие": 41399, + "▁эскадри": 41400, + "▁всяких": 41401, + "ёром": 41402, + "▁заседании": 41403, + "чести": 41404, + "▁топлива": 41405, + "вики": 41406, + "зацией": 41407, + "▁Черно": 41408, + "фия": 41409, + "ксе": 41410, + "▁выгод": 41411, + "▁надежды": 41412, + "▁суммы": 41413, + "▁долгое": 41414, + "▁запом": 41415, + "чились": 41416, + "мане": 41417, + "▁пуль": 41418, + "▁Около": 41419, + "▁председателем": 41420, + "пит": 41421, + "▁вооружение": 41422, + "▁мане": 41423, + "▁Окончил": 41424, + "праве": 41425, + "▁опровер": 41426, + "▁самоубий": 41427, + "▁автомобилей": 41428, + "▁смертью": 41429, + "▁продажи": 41430, + "▁Татья": 41431, + "низу": 41432, + "usband": 41433, + "▁лодки": 41434, + "▁первоначально": 41435, + "жев": 41436, + "цова": 41437, + "▁Круп": 41438, + "▁побо": 41439, + "▁пролета": 41440, + "ОД": 41441, + "РГ": 41442, + "▁возглавил": 41443, + "▁хотим": 41444, + "чеством": 41445, + "▁положить": 41446, + "пустили": 41447, + "▁неопреде": 41448, + "▁мило": 41449, + "▁Валь": 41450, + "▁отсутствия": 41451, + "▁осе": 41452, + "▁неизвестно": 41453, + "▁последним": 41454, + "▁грам": 41455, + "▁позволило": 41456, + "▁гит": 41457, + "▁ул": 41458, + "▁городу": 41459, + "истори": 41460, + "▁обеспечение": 41461, + "Пер": 41462, + "▁армя": 41463, + "▁Какие": 41464, + "▁высказа": 41465, + "▁Викто": 41466, + "▁изучение": 41467, + "▁татар": 41468, + "▁реально": 41469, + "▁недоволь": 41470, + "дец": 41471, + "▁сражения": 41472, + "▁литература": 41473, + "тиву": 41474, + "▁схо": 41475, + "▁Встре": 41476, + "▁драгоцен": 41477, + "▁интересо": 41478, + "▁операция": 41479, + "▁ущерб": 41480, + "тури": 41481, + "▁действиях": 41482, + "▁подхода": 41483, + "▁факультет": 41484, + "▁особое": 41485, + "▁Следует": 41486, + "▁ориенти": 41487, + "▁Германия": 41488, + "ничество": 41489, + "▁различия": 41490, + "▁зон": 41491, + "▁рассла": 41492, + "▁внут": 41493, + "лита": 41494, + "▁составляла": 41495, + "ренной": 41496, + "енса": 41497, + "нио": 41498, + "▁предъ": 41499, + "▁принят": 41500, + "▁юг": 41501, + "▁Вторая": 41502, + "▁шоу": 41503, + "▁отры": 41504, + "▁рек": 41505, + "▁приведен": 41506, + "▁соверша": 41507, + "▁духовной": 41508, + "▁вариантов": 41509, + "▁применяется": 41510, + "▁укло": 41511, + "▁квартиры": 41512, + "фра": 41513, + "▁пуска": 41514, + "▁белых": 41515, + "▁любят": 41516, + "хослова": 41517, + "▁танки": 41518, + "▁преследова": 41519, + "▁получив": 41520, + "▁наверняка": 41521, + "нический": 41522, + "▁нечего": 41523, + "▁передви": 41524, + "▁экономических": 41525, + "▁страшно": 41526, + "▁Ниже": 41527, + "▁Норве": 41528, + "ствию": 41529, + "▁романе": 41530, + "▁эс": 41531, + "казывается": 41532, + "круг": 41533, + "нель": 41534, + "▁важные": 41535, + "скри": 41536, + "▁лист": 41537, + "рованная": 41538, + "дев": 41539, + "▁большими": 41540, + "▁Гитлера": 41541, + "▁заявления": 41542, + "▁огромные": 41543, + "▁пассажиров": 41544, + "▁олимпий": 41545, + "▁руководителя": 41546, + "▁гвардии": 41547, + "▁недав": 41548, + "▁независимости": 41549, + "▁нож": 41550, + "▁бороться": 41551, + "▁Эду": 41552, + "▁тяж": 41553, + "нические": 41554, + "▁императри": 41555, + "вятся": 41556, + "▁пункты": 41557, + "▁Председа": 41558, + "▁уделя": 41559, + "▁сжа": 41560, + "▁Нидер": 41561, + "▁кури": 41562, + "▁нижней": 41563, + "Ну": 41564, + "▁капитала": 41565, + "хие": 41566, + "▁Африки": 41567, + "▁выигры": 41568, + "▁сообщества": 41569, + "летней": 41570, + "фии": 41571, + "теру": 41572, + "▁Долго": 41573, + "▁дворец": 41574, + "▁упоминается": 41575, + "вяза": 41576, + "▁противопоста": 41577, + "нто": 41578, + "▁номера": 41579, + "▁преем": 41580, + "▁обмена": 41581, + "▁Вспо": 41582, + "▁десятков": 41583, + "▁обстоятельств": 41584, + "щиком": 41585, + "▁духе": 41586, + "▁Земля": 41587, + "▁решать": 41588, + "▁епар": 41589, + "▁спла": 41590, + "▁плодо": 41591, + "сны": 41592, + "́ть": 41593, + "▁злоу": 41594, + "▁числу": 41595, + "▁вторую": 41596, + "▁южной": 41597, + "▁международной": 41598, + "олог": 41599, + "▁сферы": 41600, + "▁бир": 41601, + "▁проявляется": 41602, + "▁мастера": 41603, + "▁дю": 41604, + "хая": 41605, + "▁достоинства": 41606, + "▁человеке": 41607, + "ИС": 41608, + "мович": 41609, + "▁золотой": 41610, + "▁Дра": 41611, + "▁большее": 41612, + "вида": 41613, + "▁дорогой": 41614, + "▁Император": 41615, + "▁двора": 41616, + "▁подчеркнул": 41617, + "▁Востоке": 41618, + "▁сопротивления": 41619, + "▁округе": 41620, + "▁дикта": 41621, + "▁Героя": 41622, + "ненное": 41623, + "▁трое": 41624, + "▁хорошие": 41625, + "чья": 41626, + "▁сроки": 41627, + "▁историк": 41628, + "▁доказать": 41629, + "▁спас": 41630, + "▁древней": 41631, + "циден": 41632, + "▁лопа": 41633, + "▁Севасто": 41634, + "ренные": 41635, + "▁скончался": 41636, + "▁бюджета": 41637, + "▁ассоциации": 41638, + "припа": 41639, + "▁дат": 41640, + "▁поисках": 41641, + "нён": 41642, + "▁Главное": 41643, + "▁различи": 41644, + "▁Название": 41645, + "▁Отно": 41646, + "▁приписы": 41647, + "▁Риме": 41648, + "Фран": 41649, + "▁Киеве": 41650, + "▁природа": 41651, + "▁Трои": 41652, + "возмо": 41653, + "▁Сергея": 41654, + "▁Афгани": 41655, + "▁забро": 41656, + "▁Сове": 41657, + "▁ежедневно": 41658, + "▁вошел": 41659, + "ровых": 41660, + "▁матер": 41661, + "▁рези": 41662, + "▁хозяйство": 41663, + "▁примере": 41664, + "▁Румы": 41665, + "▁Неда": 41666, + "▁инструмент": 41667, + "▁убит": 41668, + "▁лагеря": 41669, + "▁производстве": 41670, + "▁малей": 41671, + "▁УК": 41672, + "▁подар": 41673, + "▁удовольствие": 41674, + "▁пьесы": 41675, + "зона": 41676, + "ненная": 41677, + "▁годом": 41678, + "▁проекты": 41679, + "▁бассей": 41680, + "▁возвращения": 41681, + "▁нала": 41682, + "▁небольших": 41683, + "▁вор": 41684, + "▁предположить": 41685, + "спект": 41686, + "▁жену": 41687, + "▁сул": 41688, + "▁вопросом": 41689, + "▁моро": 41690, + "▁критики": 41691, + "▁рефлек": 41692, + "▁реформы": 41693, + "тельна": 41694, + "▁умо": 41695, + "▁Грузии": 41696, + "▁стремится": 41697, + "▁остатки": 41698, + "▁физических": 41699, + "матери": 41700, + "▁Божи": 41701, + "▁принципа": 41702, + "нёс": 41703, + "ничества": 41704, + "▁произошла": 41705, + "Ха": 41706, + "▁беспре": 41707, + "▁грави": 41708, + "▁сел": 41709, + "▁Всем": 41710, + "менной": 41711, + "зование": 41712, + "Пре": 41713, + "АП": 41714, + "▁Большая": 41715, + "▁упла": 41716, + "берга": 41717, + "▁свойств": 41718, + "ющимися": 41719, + "вающая": 41720, + "▁имеем": 41721, + "▁сформули": 41722, + "▁основан": 41723, + "▁публикации": 41724, + "▁чувствовал": 41725, + "▁Крыма": 41726, + "жерт": 41727, + "▁решению": 41728, + "▁прошлое": 41729, + "вке": 41730, + "▁ежегодно": 41731, + "▁заболеваний": 41732, + "▁торо": 41733, + "▁радости": 41734, + "▁Карла": 41735, + "гера": 41736, + "▁неизбежно": 41737, + "▁тропи": 41738, + "▁оценить": 41739, + "▁выяви": 41740, + "▁призёр": 41741, + "▁Тран": 41742, + "▁стере": 41743, + "тельница": 41744, + "рием": 41745, + "▁фона": 41746, + "мощ": 41747, + "дала": 41748, + "▁падения": 41749, + "▁частиц": 41750, + "▁мальчик": 41751, + "▁оккупа": 41752, + "▁твой": 41753, + "▁союзников": 41754, + "▁учиться": 41755, + "▁инструментов": 41756, + "▁дабы": 41757, + "виль": 41758, + "▁проводится": 41759, + "▁школ": 41760, + "▁зас": 41761, + "▁обращение": 41762, + "▁длина": 41763, + "▁Марк": 41764, + "▁РК": 41765, + "▁песня": 41766, + "▁установлены": 41767, + "▁суде": 41768, + "слуша": 41769, + "▁лагерь": 41770, + "▁основного": 41771, + "▁варианты": 41772, + "▁Пау": 41773, + "▁созданы": 41774, + "стройка": 41775, + "▁подразделе": 41776, + "пут": 41777, + "▁жизне": 41778, + "▁прой": 41779, + "▁библиотека": 41780, + "графия": 41781, + "▁услы": 41782, + "▁смотря": 41783, + "чников": 41784, + "▁упражнения": 41785, + "▁сайта": 41786, + "дились": 41787, + "▁обратиться": 41788, + "вленного": 41789, + "правления": 41790, + "▁белорус": 41791, + "▁гостей": 41792, + "▁точнее": 41793, + "▁Всемир": 41794, + "▁раздели": 41795, + "▁существовать": 41796, + "▁заменить": 41797, + "ровской": 41798, + "▁большом": 41799, + "▁энергия": 41800, + "▁теорию": 41801, + "▁пищу": 41802, + "▁Михайлов": 41803, + "▁регистрации": 41804, + "▁ослож": 41805, + "▁Гран": 41806, + "▁любых": 41807, + "▁Спустя": 41808, + "▁ликвиди": 41809, + "▁Действительно": 41810, + "▁энциклопе": 41811, + "▁уга": 41812, + "вес": 41813, + "мара": 41814, + "ровок": 41815, + "телен": 41816, + "▁партию": 41817, + "▁увидели": 41818, + "президен": 41819, + "▁применять": 41820, + "▁наблюдать": 41821, + "▁швей": 41822, + "▁разведыва": 41823, + "▁западных": 41824, + "▁восприятия": 41825, + "▁знаешь": 41826, + "▁хочешь": 41827, + "▁ядра": 41828, + "▁счастью": 41829, + "▁Главный": 41830, + "▁границ": 41831, + "▁освое": 41832, + "▁опуска": 41833, + "▁внутрь": 41834, + "▁бои": 41835, + "▁теме": 41836, + "зирует": 41837, + "▁временно": 41838, + "▁Бру": 41839, + "▁Говоря": 41840, + "▁индий": 41841, + "▁Казан": 41842, + "гнали": 41843, + "▁военную": 41844, + "▁товарища": 41845, + "церы": 41846, + "▁показывают": 41847, + "▁развивается": 41848, + "▁сотрудник": 41849, + "▁распространения": 41850, + "▁рабочей": 41851, + "▁соответствующих": 41852, + "▁ля": 41853, + "дности": 41854, + "▁Другой": 41855, + "нома": 41856, + "▁Голо": 41857, + "▁сотрудничества": 41858, + "▁династии": 41859, + "▁Саха": 41860, + "▁всякой": 41861, + "▁Пя": 41862, + "́й": 41863, + "▁реальной": 41864, + "▁Донец": 41865, + "▁отлично": 41866, + "▁искусстве": 41867, + "▁винова": 41868, + "▁учреждений": 41869, + "▁Навер": 41870, + "▁чём": 41871, + "▁половину": 41872, + "▁источника": 41873, + "▁Вороне": 41874, + "▁парень": 41875, + "▁возь": 41876, + "▁требуют": 41877, + "▁проходили": 41878, + "▁замок": 41879, + "зависи": 41880, + "▁Пен": 41881, + "▁здравоохра": 41882, + "льников": 41883, + "▁раду": 41884, + "▁стояла": 41885, + "▁связ": 41886, + "веди": 41887, + "▁окажется": 41888, + "▁защите": 41889, + "▁убийство": 41890, + "▁энерго": 41891, + "▁понедель": 41892, + "граммы": 41893, + "▁фонда": 41894, + "▁проведение": 41895, + "▁списке": 41896, + "▁ср": 41897, + "▁назем": 41898, + "▁Дани": 41899, + "писание": 41900, + "▁размеры": 41901, + "щадь": 41902, + "▁внешних": 41903, + "шень": 41904, + "▁вторым": 41905, + "▁масштаб": 41906, + "▁флаг": 41907, + "▁анге": 41908, + "▁взгляды": 41909, + "лк": 41910, + "▁епископ": 41911, + "▁наблюдается": 41912, + "▁пить": 41913, + "▁Эдуар": 41914, + "▁способов": 41915, + "tained": 41916, + "▁Сек": 41917, + "▁организацию": 41918, + "▁великолеп": 41919, + "orning": 41920, + "▁прися": 41921, + "ИЧ": 41922, + "▁архитектур": 41923, + "▁хищ": 41924, + "▁персонажа": 41925, + "АЛ": 41926, + "▁мероприятий": 41927, + "▁пытаются": 41928, + "евича": 41929, + "▁полным": 41930, + "▁отвечал": 41931, + "▁Але": 41932, + "▁рос": 41933, + "▁кише": 41934, + "чники": 41935, + "▁улыба": 41936, + "▁масс": 41937, + "▁поверхно": 41938, + "▁мэ": 41939, + "▁капитана": 41940, + "▁массив": 41941, + "▁направля": 41942, + "стречу": 41943, + "▁смотрит": 41944, + "▁случая": 41945, + "▁Гай": 41946, + "▁сия": 41947, + "▁второ": 41948, + "▁увеличение": 41949, + "▁teac": 41950, + "▁раздел": 41951, + "нару": 41952, + "▁разря": 41953, + "▁невероят": 41954, + "ченную": 41955, + "▁сож": 41956, + "▁тря": 41957, + "няла": 41958, + "rast": 41959, + "▁перерабо": 41960, + "▁Француз": 41961, + "тира": 41962, + "рующих": 41963, + "▁тракта": 41964, + "▁премия": 41965, + "шков": 41966, + "тости": 41967, + "▁попытался": 41968, + "онер": 41969, + "▁безусловно": 41970, + "извест": 41971, + "стского": 41972, + "▁сидит": 41973, + "началу": 41974, + "▁жду": 41975, + "▁Рома": 41976, + "▁судить": 41977, + "▁боеприпа": 41978, + "▁востоке": 41979, + "▁Бон": 41980, + "▁мелкие": 41981, + "▁мисси": 41982, + "▁найде": 41983, + "женность": 41984, + "▁Шек": 41985, + "▁трам": 41986, + "▁повышение": 41987, + "▁Израиля": 41988, + "лились": 41989, + "бла": 41990, + "▁рисо": 41991, + "▁перепи": 41992, + "▁вошла": 41993, + "нское": 41994, + "времен": 41995, + "▁обрабаты": 41996, + "▁единого": 41997, + "▁уничтожить": 41998, + "▁ценностей": 41999, + "язви": 42000, + "▁волю": 42001, + "▁общие": 42002, + "▁чемпионат": 42003, + "▁Следу": 42004, + "стности": 42005, + "вные": 42006, + "новые": 42007, + "▁агентства": 42008, + "▁удастся": 42009, + "▁разрешение": 42010, + "довые": 42011, + "▁Опера": 42012, + "ённые": 42013, + "▁тени": 42014, + "▁инциден": 42015, + "▁глупо": 42016, + "▁Бро": 42017, + "▁пузы": 42018, + "▁силах": 42019, + "▁разгро": 42020, + "▁конфигура": 42021, + "▁силе": 42022, + "▁некогда": 42023, + "▁отдать": 42024, + "▁продолжали": 42025, + "▁восстановить": 42026, + "▁утверждал": 42027, + "▁прийти": 42028, + "▁архиеписко": 42029, + "мского": 42030, + "▁гол": 42031, + "▁человеческих": 42032, + "▁дворов": 42033, + "время": 42034, + "reland": 42035, + "ваемый": 42036, + "▁вооружения": 42037, + "Запад": 42038, + "▁хотела": 42039, + "Корр": 42040, + "уна": 42041, + "▁заим": 42042, + "▁удается": 42043, + "▁стимули": 42044, + "▁Медаль": 42045, + "▁высоту": 42046, + "▁золота": 42047, + "▁доброволь": 42048, + "▁Харак": 42049, + "▁признаков": 42050, + "▁Сту": 42051, + "▁познания": 42052, + "▁режиссёр": 42053, + "▁некий": 42054, + "▁вероятность": 42055, + "сылки": 42056, + "▁зрителей": 42057, + "▁присвоено": 42058, + "▁белый": 42059, + "▁концерт": 42060, + "▁Дании": 42061, + "▁ие": 42062, + "вающего": 42063, + "мести": 42064, + "▁растя": 42065, + "▁мн": 42066, + "▁Ара": 42067, + "▁ногу": 42068, + "зрение": 42069, + "▁новыми": 42070, + "▁серти": 42071, + "Ри": 42072, + "▁играют": 42073, + "▁полтора": 42074, + "рованным": 42075, + "вети": 42076, + "логом": 42077, + "▁создали": 42078, + "▁имущество": 42079, + "▁Кле": 42080, + "▁научного": 42081, + "▁группо": 42082, + "▁ценность": 42083, + "▁передал": 42084, + "▁метра": 42085, + "▁современные": 42086, + "шний": 42087, + "▁племян": 42088, + "▁представлял": 42089, + "▁сорок": 42090, + "▁Робер": 42091, + "▁нагре": 42092, + "▁Пале": 42093, + "▁игрок": 42094, + "▁фрак": 42095, + "▁некое": 42096, + "▁Боже": 42097, + "▁приу": 42098, + "▁стиля": 42099, + "▁угла": 42100, + "▁ученый": 42101, + "▁кап": 42102, + "мал": 42103, + "▁областей": 42104, + "дятся": 42105, + "▁товары": 42106, + "▁Меди": 42107, + "▁праздник": 42108, + "▁лаборатории": 42109, + "▁святого": 42110, + "▁горь": 42111, + "▁ногами": 42112, + "▁учеников": 42113, + "▁производится": 42114, + "лежа": 42115, + "верху": 42116, + "нейший": 42117, + "▁родилась": 42118, + "ьез": 42119, + "стике": 42120, + "▁тел": 42121, + "жур": 42122, + "▁командиром": 42123, + "▁Эсто": 42124, + "▁гитлеров": 42125, + "▁лошадей": 42126, + "▁Андрея": 42127, + "▁побережья": 42128, + "▁заместителем": 42129, + "менов": 42130, + "станови": 42131, + "▁сведений": 42132, + "▁моменты": 42133, + "риев": 42134, + "▁археологи": 42135, + "▁египет": 42136, + "ального": 42137, + "▁продукта": 42138, + "▁зона": 42139, + "▁справа": 42140, + "▁родной": 42141, + "▁Швеции": 42142, + "кварти": 42143, + "лана": 42144, + "▁взрослых": 42145, + "▁сохранения": 42146, + "движи": 42147, + "▁диагности": 42148, + "▁счастья": 42149, + "▁кандидат": 42150, + "гота": 42151, + "▁участка": 42152, + "▁численность": 42153, + "нори": 42154, + "▁Жизнь": 42155, + "▁заставляет": 42156, + "див": 42157, + "▁отрасли": 42158, + "▁директором": 42159, + "СКА": 42160, + "жников": 42161, + "▁депутат": 42162, + "следовать": 42163, + "▁произошел": 42164, + "▁составляло": 42165, + "▁Франция": 42166, + "доста": 42167, + "▁мирового": 42168, + "ложили": 42169, + "▁послал": 42170, + "▁Жо": 42171, + "▁сми": 42172, + "валь": 42173, + "▁старше": 42174, + "▁Последний": 42175, + "▁Прем": 42176, + "▁отвле": 42177, + "шенной": 42178, + "▁любую": 42179, + "▁платить": 42180, + "▁смотрел": 42181, + "бурга": 42182, + "▁смесь": 42183, + "▁велико": 42184, + "▁Тя": 42185, + "▁промышленность": 42186, + "тав": 42187, + "ваемого": 42188, + "тизма": 42189, + "▁инве": 42190, + "▁Давайте": 42191, + "бам": 42192, + "▁близких": 42193, + "▁осад": 42194, + "▁учение": 42195, + "▁НАТО": 42196, + "▁монархи": 42197, + "культур": 42198, + "бурге": 42199, + "делать": 42200, + "▁кризис": 42201, + "▁приняла": 42202, + "▁делах": 42203, + "▁лей": 42204, + "▁чрезмер": 42205, + "▁завершения": 42206, + "▁экстра": 42207, + "▁похода": 42208, + "▁нос": 42209, + "ОС": 42210, + "▁предстоит": 42211, + "▁очков": 42212, + "▁лиши": 42213, + "▁сило": 42214, + "▁изобрета": 42215, + "торию": 42216, + "▁Код": 42217, + "▁маг": 42218, + "▁независимость": 42219, + "▁Стали": 42220, + "▁мощности": 42221, + "▁Ростов": 42222, + "▁одо": 42223, + "графа": 42224, + "▁Ус": 42225, + "стине": 42226, + "▁Каре": 42227, + "▁отдел": 42228, + "Ге": 42229, + "▁огнем": 42230, + "ровую": 42231, + "▁исполнение": 42232, + "длов": 42233, + "▁Миро": 42234, + "берна": 42235, + "хангель": 42236, + "▁отвеча": 42237, + "▁входили": 42238, + "▁метео": 42239, + "ону": 42240, + "датель": 42241, + "▁Военно": 42242, + "▁Центральной": 42243, + "▁высоким": 42244, + "небре": 42245, + "▁командования": 42246, + "▁Калифор": 42247, + "комо": 42248, + "▁цита": 42249, + "бова": 42250, + "зади": 42251, + "▁иску": 42252, + "▁неба": 42253, + "ано": 42254, + "▁установлено": 42255, + "▁просил": 42256, + "▁предложен": 42257, + "▁Проце": 42258, + "▁сно": 42259, + "▁Следовательно": 42260, + "▁безна": 42261, + "тическую": 42262, + "▁воинов": 42263, + "▁третье": 42264, + "ЕМ": 42265, + "▁деталей": 42266, + "▁простых": 42267, + "▁разным": 42268, + "▁дому": 42269, + "вис": 42270, + "▁вечно": 42271, + "▁Мол": 42272, + "ул": 42273, + "▁Константино": 42274, + "▁сочинения": 42275, + "▁антропо": 42276, + "ложена": 42277, + "▁животные": 42278, + "▁составляли": 42279, + "▁необходимых": 42280, + "▁агрессив": 42281, + "▁фигуры": 42282, + "▁брака": 42283, + "▁Буд": 42284, + "▁здании": 42285, + "▁друзьями": 42286, + "▁Тома": 42287, + "летел": 42288, + "▁ресурсы": 42289, + "ватель": 42290, + "▁Фак": 42291, + "▁занять": 42292, + "▁битвы": 42293, + "▁разобраться": 42294, + "стря": 42295, + "▁битве": 42296, + "Анд": 42297, + "▁феода": 42298, + "▁виру": 42299, + "▁адап": 42300, + "▁военным": 42301, + "▁половина": 42302, + "▁собирается": 42303, + "▁Новой": 42304, + "▁водоро": 42305, + "▁карьеры": 42306, + "▁Русской": 42307, + "▁активность": 42308, + "▁манипу": 42309, + "товый": 42310, + "▁столо": 42311, + "гряз": 42312, + "▁языки": 42313, + "▁Ада": 42314, + "▁частных": 42315, + "сипе": 42316, + "▁старшего": 42317, + "зиа": 42318, + "▁решает": 42319, + "▁столкну": 42320, + "ждо": 42321, + "▁происхождение": 42322, + "Петербурге": 42323, + "▁карту": 42324, + "▁кинемато": 42325, + "▁станут": 42326, + "▁просит": 42327, + "▁заняла": 42328, + "▁образы": 42329, + "▁собора": 42330, + "моро": 42331, + "▁готовности": 42332, + "пте": 42333, + "▁обсужда": 42334, + "луб": 42335, + "зывает": 42336, + "▁благода": 42337, + "▁цикл": 42338, + "▁распозна": 42339, + "▁подпи": 42340, + "▁Павла": 42341, + "▁декла": 42342, + "▁построена": 42343, + "▁органа": 42344, + "тину": 42345, + "▁многими": 42346, + "▁сете": 42347, + "▁знала": 42348, + "▁манев": 42349, + "▁смогла": 42350, + "▁отсутствии": 42351, + "▁ОБ": 42352, + "▁отсутствует": 42353, + "▁пошла": 42354, + "▁выступать": 42355, + "ффи": 42356, + "ок": 42357, + "▁сбли": 42358, + "▁предшествен": 42359, + "гай": 42360, + "▁происходят": 42361, + "▁ошибо": 42362, + "▁крепость": 42363, + "▁ведения": 42364, + "нём": 42365, + "исследователь": 42366, + "▁коры": 42367, + "▁Господь": 42368, + "▁крупный": 42369, + "▁организовать": 42370, + "▁мобили": 42371, + "▁подготовку": 42372, + "▁Мей": 42373, + "▁напряжение": 42374, + "▁Вильгель": 42375, + "▁выделе": 42376, + "▁Статья": 42377, + "щенного": 42378, + "▁обезья": 42379, + "▁ждет": 42380, + "▁Клю": 42381, + "▁танка": 42382, + "▁умол": 42383, + "▁увеличить": 42384, + "▁белые": 42385, + "▁голланд": 42386, + "▁лошади": 42387, + "▁иным": 42388, + "▁коэффици": 42389, + "▁Скоро": 42390, + "ОМ": 42391, + "▁общая": 42392, + "▁долг": 42393, + "▁домини": 42394, + "тино": 42395, + "▁мышцы": 42396, + "▁природу": 42397, + "дную": 42398, + "▁грана": 42399, + "▁пройдет": 42400, + "суди": 42401, + "▁регистра": 42402, + "Би": 42403, + "жался": 42404, + "▁слева": 42405, + "▁революция": 42406, + "▁меняется": 42407, + "Ста": 42408, + "▁прочие": 42409, + "▁базу": 42410, + "▁привиле": 42411, + "▁восстановления": 42412, + "▁доля": 42413, + "▁расходов": 42414, + "▁репута": 42415, + "▁мемо": 42416, + "▁нормально": 42417, + "▁оборони": 42418, + "чилась": 42419, + "▁вышло": 42420, + "▁компанию": 42421, + "▁Елена": 42422, + "▁Уче": 42423, + "▁правду": 42424, + "тивности": 42425, + "▁неподви": 42426, + "▁судьбу": 42427, + "▁перевода": 42428, + "▁мыслей": 42429, + "▁Наталь": 42430, + "inux": 42431, + "▁бывших": 42432, + "▁выдели": 42433, + "проек": 42434, + "Ты": 42435, + "▁выпи": 42436, + "▁Новая": 42437, + "шкин": 42438, + "▁дири": 42439, + "▁формирование": 42440, + "▁правительством": 42441, + "▁преобра": 42442, + "▁комфор": 42443, + "▁реакция": 42444, + "кают": 42445, + "спира": 42446, + "▁ложки": 42447, + "▁Этим": 42448, + "▁акцен": 42449, + "▁ориента": 42450, + "щенно": 42451, + "▁ввести": 42452, + "▁покинуть": 42453, + "▁животного": 42454, + "чье": 42455, + "▁торпе": 42456, + "▁клиента": 42457, + "▁стола": 42458, + "▁принимают": 42459, + "образие": 42460, + "▁тесто": 42461, + "▁решительно": 42462, + "▁новому": 42463, + "▁вычисли": 42464, + "▁компенса": 42465, + "▁комите": 42466, + "▁волну": 42467, + "▁командовал": 42468, + "мита": 42469, + "▁сознании": 42470, + "▁судно": 42471, + "▁больного": 42472, + "рели": 42473, + "▁общины": 42474, + "▁маркет": 42475, + "ЕК": 42476, + "▁душ": 42477, + "▁государством": 42478, + "▁ико": 42479, + "▁Ага": 42480, + "▁частях": 42481, + "▁поняли": 42482, + "▁нагля": 42483, + "▁потребность": 42484, + "чам": 42485, + "▁редактор": 42486, + "▁обойти": 42487, + "▁практику": 42488, + "▁предприятие": 42489, + "▁Лав": 42490, + "чаются": 42491, + "▁Запада": 42492, + "нуло": 42493, + "▁описывает": 42494, + "▁кожу": 42495, + "▁читателя": 42496, + "▁доклад": 42497, + "▁Речь": 42498, + "▁протеста": 42499, + "▁получится": 42500, + "▁коллеги": 42501, + "▁чтения": 42502, + "бат": 42503, + "▁кожа": 42504, + "▁Нидерлан": 42505, + "рная": 42506, + "▁флан": 42507, + "▁ведущих": 42508, + "мам": 42509, + "▁лидеров": 42510, + "▁главная": 42511, + "▁способствует": 42512, + "▁переводе": 42513, + "\".[": 42514, + "▁возме": 42515, + "▁Профе": 42516, + "▁ГУ": 42517, + "▁ехать": 42518, + "логических": 42519, + "▁тотчас": 42520, + "гр": 42521, + "▁голосом": 42522, + "▁воспоминания": 42523, + "▁эго": 42524, + "новей": 42525, + "▁механизма": 42526, + "▁исторического": 42527, + "полномо": 42528, + "▁сильным": 42529, + "▁высота": 42530, + "▁демонстра": 42531, + "▁приговор": 42532, + "фран": 42533, + "▁Ольга": 42534, + "▁поклон": 42535, + "▁войн": 42536, + "шни": 42537, + "▁меню": 42538, + "▁списка": 42539, + "▁компе": 42540, + "▁Джек": 42541, + "▁сделала": 42542, + "▁способно": 42543, + "▁дала": 42544, + "▁массовой": 42545, + "скре": 42546, + "▁Была": 42547, + "вленная": 42548, + "▁полноцен": 42549, + "▁двигаться": 42550, + "нора": 42551, + "▁жертв": 42552, + "▁дне": 42553, + "▁обстоятельствах": 42554, + "▁Австрии": 42555, + "был": 42556, + "▁берет": 42557, + "созда": 42558, + "▁прочим": 42559, + "▁дополнительных": 42560, + "▁работах": 42561, + "гнать": 42562, + "▁общую": 42563, + "кову": 42564, + "▁атрибу": 42565, + "▁восточной": 42566, + "изо": 42567, + "▁звуки": 42568, + "сило": 42569, + "кори": 42570, + "нор": 42571, + "▁движений": 42572, + "▁почет": 42573, + "▁изя": 42574, + "▁лечение": 42575, + "зента": 42576, + "муа": 42577, + "▁продю": 42578, + "▁вырос": 42579, + "▁сильное": 42580, + "ренного": 42581, + "вному": 42582, + "▁англо": 42583, + "тип": 42584, + "▁распа": 42585, + "меха": 42586, + "▁лихо": 42587, + "вных": 42588, + "▁Новосибир": 42589, + "▁рыно": 42590, + "пление": 42591, + "▁захваты": 42592, + "▁просьбой": 42593, + "шины": 42594, + "▁поезда": 42595, + "▁бессозна": 42596, + "жер": 42597, + "▁изъя": 42598, + "▁прод": 42599, + "▁признание": 42600, + "▁тока": 42601, + "▁действием": 42602, + "▁особый": 42603, + "▁сани": 42604, + "▁Стан": 42605, + "▁дистан": 42606, + "реть": 42607, + "▁судна": 42608, + "▁попали": 42609, + "▁цилинд": 42610, + "▁Види": 42611, + "▁внешнего": 42612, + "▁непол": 42613, + "▁клиент": 42614, + "▁женщину": 42615, + "сериа": 42616, + "▁парк": 42617, + "▁русская": 42618, + "▁Соответ": 42619, + "▁исследователи": 42620, + "▁сущность": 42621, + "▁членами": 42622, + "▁лек": 42623, + "ЕЙ": 42624, + "▁составила": 42625, + "▁принимали": 42626, + "▁вышед": 42627, + "мены": 42628, + "▁министерства": 42629, + "дзи": 42630, + "▁хорошего": 42631, + "▁поощ": 42632, + "веду": 42633, + "▁известным": 42634, + "зыка": 42635, + "▁Анатолий": 42636, + "▁распада": 42637, + "▁дизай": 42638, + "вее": 42639, + "битра": 42640, + "▁закону": 42641, + "▁считая": 42642, + "▁Уча": 42643, + "▁пиро": 42644, + "▁эксперти": 42645, + "▁реже": 42646, + "▁Бара": 42647, + "▁пога": 42648, + "▁дата": 42649, + "▁просмо": 42650, + "▁даст": 42651, + "▁Нельзя": 42652, + "▁телевизион": 42653, + "▁confl": 42654, + "▁изделия": 42655, + "жина": 42656, + "▁корабле": 42657, + "рек": 42658, + "ueen": 42659, + "▁отдал": 42660, + "▁понимают": 42661, + "▁эффективности": 42662, + "▁каль": 42663, + "▁быст": 42664, + "▁американские": 42665, + "▁важную": 42666, + "▁единиц": 42667, + "▁допу": 42668, + "▁мальчи": 42669, + "оба": 42670, + "несения": 42671, + "▁Белару": 42672, + "▁компьютера": 42673, + "▁получение": 42674, + "жённых": 42675, + "КИ": 42676, + "▁развитием": 42677, + "▁алле": 42678, + "маном": 42679, + "▁куби": 42680, + "▁гомо": 42681, + "▁Института": 42682, + "▁схемы": 42683, + "ап": 42684, + "▁седь": 42685, + "женное": 42686, + "▁Дона": 42687, + "▁депре": 42688, + "▁Входит": 42689, + "▁выделить": 42690, + "▁подрост": 42691, + "▁социальные": 42692, + "▁христи": 42693, + "▁воспитания": 42694, + "охрани": 42695, + "▁великих": 42696, + "▁обря": 42697, + "▁вызван": 42698, + "▁одежду": 42699, + "▁ветра": 42700, + "строить": 42701, + "▁аккура": 42702, + "зис": 42703, + "▁районы": 42704, + "▁градусов": 42705, + "▁возна": 42706, + "мерть": 42707, + "рное": 42708, + "▁полё": 42709, + "▁загадо": 42710, + "▁склад": 42711, + "▁немецкие": 42712, + "▁недвижи": 42713, + "левой": 42714, + "▁пойдет": 42715, + "▁обнаружить": 42716, + "▁предметом": 42717, + "▁разума": 42718, + "▁кардина": 42719, + "▁arran": 42720, + "▁промежуто": 42721, + "▁поднять": 42722, + "▁оптима": 42723, + "▁сахара": 42724, + "▁Колум": 42725, + "ТИ": 42726, + "▁оже": 42727, + "▁проекту": 42728, + "▁женился": 42729, + "▁основой": 42730, + "▁Великий": 42731, + "▁использовались": 42732, + "деление": 42733, + "▁Естественно": 42734, + "▁давали": 42735, + "▁даёт": 42736, + "▁бессмысле": 42737, + "▁ключ": 42738, + "▁родо": 42739, + "▁учебных": 42740, + "▁Ярослав": 42741, + "▁линий": 42742, + "▁туман": 42743, + "льтра": 42744, + "▁осторожно": 42745, + "▁ожидать": 42746, + "▁Лондон": 42747, + "ПК": 42748, + "▁Прак": 42749, + "дик": 42750, + "▁навстречу": 42751, + "▁моделей": 42752, + "▁земной": 42753, + "▁конвер": 42754, + "рующие": 42755, + "альной": 42756, + "▁сочув": 42757, + "▁Берлине": 42758, + "▁изд": 42759, + "▁дворца": 42760, + "▁упал": 42761, + "▁поддерживает": 42762, + "сал": 42763, + "▁Георгий": 42764, + "▁бежать": 42765, + "▁выр": 42766, + "▁говорила": 42767, + "▁альбом": 42768, + "▁двигатель": 42769, + "▁непременно": 42770, + "▁писем": 42771, + "▁бактери": 42772, + "▁творчество": 42773, + "▁зени": 42774, + "▁пренебре": 42775, + "▁самыми": 42776, + "▁спер": 42777, + "▁соверши": 42778, + "▁пейза": 42779, + "▁Истори": 42780, + "▁училища": 42781, + "▁звучит": 42782, + "▁авторите": 42783, + "▁Опреде": 42784, + "▁горах": 42785, + "▁башни": 42786, + "▁версию": 42787, + "▁роты": 42788, + "▁этни": 42789, + "▁Мур": 42790, + "склю": 42791, + "▁выводы": 42792, + "▁опытом": 42793, + "▁оставались": 42794, + "лис": 42795, + "▁интуи": 42796, + "▁нефтя": 42797, + "▁краю": 42798, + "▁Заслу": 42799, + "чком": 42800, + "тератур": 42801, + "▁заменя": 42802, + "▁приложений": 42803, + "▁футболи": 42804, + "▁необходимым": 42805, + "▁послан": 42806, + "▁десятилетия": 42807, + "▁Ельци": 42808, + "▁круга": 42809, + "▁ссыла": 42810, + "▁пожалуйста": 42811, + "▁размно": 42812, + "▁доволь": 42813, + "▁Африке": 42814, + "▁пытаясь": 42815, + "▁Вероятно": 42816, + "▁погибших": 42817, + "▁Иоанна": 42818, + "▁дохода": 42819, + "▁сложные": 42820, + "▁съем": 42821, + "▁перехва": 42822, + "▁ведомства": 42823, + "▁Труда": 42824, + "▁тюрем": 42825, + "мий": 42826, + "вичем": 42827, + "▁доми": 42828, + "▁оправда": 42829, + "▁продолжил": 42830, + "▁Очевидно": 42831, + "ровалось": 42832, + "▁Финляндии": 42833, + "▁занятий": 42834, + "▁ребён": 42835, + "▁Известно": 42836, + "▁мяса": 42837, + "▁док": 42838, + "мбу": 42839, + "▁точке": 42840, + "▁двум": 42841, + "▁вытес": 42842, + "▁НКВД": 42843, + "▁проспек": 42844, + "▁Мая": 42845, + "▁драмати": 42846, + "▁обстановке": 42847, + "меи": 42848, + "▁престол": 42849, + "держки": 42850, + "▁неле": 42851, + "строва": 42852, + "дня": 42853, + "▁сыновей": 42854, + "жертво": 42855, + "▁Атланти": 42856, + "▁Ум": 42857, + "▁контей": 42858, + "▁белого": 42859, + "манской": 42860, + "▁малых": 42861, + "▁сег": 42862, + "атра": 42863, + "вшемся": 42864, + "кера": 42865, + "▁Принима": 42866, + "▁дово": 42867, + "ricult": 42868, + "▁служба": 42869, + "вилось": 42870, + "▁последнем": 42871, + "▁Анны": 42872, + "▁Твер": 42873, + "▁русско": 42874, + "полковник": 42875, + "▁последовательно": 42876, + "▁Польше": 42877, + "▁продав": 42878, + "Дина": 42879, + "ЕД": 42880, + "▁литов": 42881, + "▁настроение": 42882, + "▁фамилии": 42883, + "▁Григорий": 42884, + "▁коали": 42885, + "▁преимущества": 42886, + "▁оценку": 42887, + "▁серы": 42888, + "дило": 42889, + "тилось": 42890, + "▁Мето": 42891, + "контро": 42892, + "▁лауре": 42893, + "▁остановить": 42894, + "словия": 42895, + "востоке": 42896, + "▁лоб": 42897, + "▁думает": 42898, + "ционеров": 42899, + "вои": 42900, + "зией": 42901, + "▁апосто": 42902, + "▁Святой": 42903, + "тком": 42904, + "▁любовью": 42905, + "▁черт": 42906, + "▁товара": 42907, + "▁обычных": 42908, + "́р": 42909, + "▁фактов": 42910, + "▁основная": 42911, + "▁набира": 42912, + "▁состоялось": 42913, + "льи": 42914, + "▁столом": 42915, + "▁стабили": 42916, + "▁сфе": 42917, + "▁опубликовал": 42918, + "▁наказание": 42919, + "▁Чет": 42920, + "ссор": 42921, + "▁члена": 42922, + "▁замкну": 42923, + "равни": 42924, + "тизм": 42925, + "▁пехоты": 42926, + "▁обога": 42927, + "▁учитывать": 42928, + "▁действуют": 42929, + "зира": 42930, + "треть": 42931, + "ствуя": 42932, + "▁этапа": 42933, + "▁противник": 42934, + "▁сдержа": 42935, + "▁участки": 42936, + "ллера": 42937, + "▁Оказа": 42938, + "▁министров": 42939, + "колов": 42940, + "▁партнера": 42941, + "▁годам": 42942, + "▁проле": 42943, + "дному": 42944, + "▁шля": 42945, + "▁Гам": 42946, + "▁ритуа": 42947, + "▁внутренние": 42948, + "▁собственным": 42949, + "▁важный": 42950, + "▁встретил": 42951, + "▁одинаково": 42952, + "▁звуча": 42953, + "▁уехал": 42954, + "▁объё": 42955, + "тс": 42956, + "▁ранних": 42957, + "▁вред": 42958, + "▁фре": 42959, + "▁дар": 42960, + "▁Марга": 42961, + "▁примеры": 42962, + "атр": 42963, + "зел": 42964, + "▁разъяс": 42965, + "▁Западе": 42966, + "▁особенностей": 42967, + "▁вычисле": 42968, + "▁актер": 42969, + "▁премию": 42970, + "▁параш": 42971, + "▁вызо": 42972, + "▁окрестно": 42973, + "дением": 42974, + "нейшим": 42975, + "▁фило": 42976, + "▁Напом": 42977, + "▁стене": 42978, + "▁братья": 42979, + "женности": 42980, + "▁отсе": 42981, + "▁километрах": 42982, + "▁переходит": 42983, + "▁Ибо": 42984, + "▁студии": 42985, + "▁худ": 42986, + "▁норм": 42987, + "▁усовершен": 42988, + "илл": 42989, + "▁несправед": 42990, + "ленным": 42991, + "▁противоречи": 42992, + "▁фолькло": 42993, + "▁последующие": 42994, + "▁сига": 42995, + "▁особых": 42996, + "Кар": 42997, + "нинград": 42998, + "▁Аристо": 42999, + "▁Стив": 43000, + "▁инициативе": 43001, + "дино": 43002, + "▁подошел": 43003, + "▁Какой": 43004, + "▁причём": 43005, + "▁проблемой": 43006, + "панию": 43007, + "▁содержится": 43008, + "▁сапо": 43009, + "▁Средизем": 43010, + "ционными": 43011, + "▁Югосла": 43012, + "▁Хол": 43013, + "▁вскры": 43014, + "▁обсуждения": 43015, + "▁песню": 43016, + "дьба": 43017, + "▁Изо": 43018, + "фре": 43019, + "▁установлена": 43020, + "сье": 43021, + "▁еды": 43022, + "▁ребята": 43023, + "▁давал": 43024, + "▁растет": 43025, + "эффек": 43026, + "▁сможете": 43027, + "тоне": 43028, + "▁операцию": 43029, + "▁артист": 43030, + "▁матчах": 43031, + "▁служат": 43032, + "▁Рожде": 43033, + "▁местной": 43034, + "скать": 43035, + "ренко": 43036, + "▁высотой": 43037, + "▁камеры": 43038, + "▁вывода": 43039, + "ковое": 43040, + "▁Две": 43041, + "вем": 43042, + "поро": 43043, + "▁вначале": 43044, + "▁Свято": 43045, + "▁запах": 43046, + "▁доходов": 43047, + "▁Дви": 43048, + "Аль": 43049, + "▁сельское": 43050, + "▁оку": 43051, + "▁участвовали": 43052, + "▁классо": 43053, + "▁читателей": 43054, + "▁Мать": 43055, + "▁обвиня": 43056, + "лио": 43057, + "▁наход": 43058, + "▁видите": 43059, + "▁Екатерина": 43060, + "▁Спасибо": 43061, + "▁объяснения": 43062, + "▁менять": 43063, + "тают": 43064, + "▁использоваться": 43065, + "▁уха": 43066, + "▁перекры": 43067, + "щейся": 43068, + "▁Арка": 43069, + "ковской": 43070, + "▁можешь": 43071, + "▁Павлов": 43072, + "▁младен": 43073, + "▁данными": 43074, + "▁Дома": 43075, + "▁осуществления": 43076, + "▁Указом": 43077, + "плю": 43078, + "▁актриса": 43079, + "нутся": 43080, + "▁решено": 43081, + "▁окраи": 43082, + "▁отдельный": 43083, + "▁утверждение": 43084, + "▁четверть": 43085, + "▁игнори": 43086, + "▁прошу": 43087, + "тол": 43088, + "▁известна": 43089, + "▁нежела": 43090, + "▁главные": 43091, + "▁государственные": 43092, + "▁кадров": 43093, + "▁винтов": 43094, + "скет": 43095, + "▁руководил": 43096, + "бр": 43097, + "лоне": 43098, + "▁прибыль": 43099, + "ллин": 43100, + "телях": 43101, + "хотя": 43102, + "▁крем": 43103, + "гими": 43104, + "▁удовлетворя": 43105, + "евро": 43106, + "▁плюс": 43107, + "щегося": 43108, + "▁Способ": 43109, + "▁помнить": 43110, + "▁задания": 43111, + "▁требованиям": 43112, + "▁хватало": 43113, + "▁состояла": 43114, + "▁соединений": 43115, + "▁ООО": 43116, + "▁сооружения": 43117, + "▁эмигра": 43118, + "▁Сме": 43119, + "▁стихов": 43120, + "ссен": 43121, + "▁конкретных": 43122, + "▁улиц": 43123, + "стными": 43124, + "регули": 43125, + "▁фана": 43126, + "▁пропуска": 43127, + "▁длины": 43128, + "▁Св": 43129, + "▁разница": 43130, + "▁проходя": 43131, + "▁бессмер": 43132, + "сскую": 43133, + "▁такому": 43134, + "▁вулка": 43135, + "▁целое": 43136, + "▁перено": 43137, + "грузки": 43138, + "▁лёт": 43139, + "▁поездки": 43140, + "▁бухгал": 43141, + "▁Сразу": 43142, + "▁Приме": 43143, + "дитель": 43144, + "embly": 43145, + "▁десятиле": 43146, + "жах": 43147, + "зар": 43148, + "вицы": 43149, + "▁велосипе": 43150, + "▁Людови": 43151, + "▁возглавлял": 43152, + "▁вернулись": 43153, + "▁личных": 43154, + "▁лесо": 43155, + "▁рестора": 43156, + "▁пород": 43157, + "берта": 43158, + "▁имеющих": 43159, + "▁поте": 43160, + "щалась": 43161, + "▁высокую": 43162, + "▁присутствии": 43163, + "▁Фильм": 43164, + "▁сан": 43165, + "▁правилам": 43166, + "▁подумать": 43167, + "▁строительстве": 43168, + "▁последняя": 43169, + "▁взо": 43170, + "▁обязаны": 43171, + "▁эли": 43172, + "женными": 43173, + "▁присутствует": 43174, + "▁лечеб": 43175, + "▁Оси": 43176, + "▁всевозмо": 43177, + "▁Европу": 43178, + "▁притя": 43179, + "▁отпу": 43180, + "тчик": 43181, + "▁opport": 43182, + "ету": 43183, + "▁Площадь": 43184, + "▁ОС": 43185, + "▁океан": 43186, + "▁неудоб": 43187, + "▁игрока": 43188, + "▁Поля": 43189, + "готавли": 43190, + "майор": 43191, + "▁сцену": 43192, + "▁собственное": 43193, + "▁лицу": 43194, + "▁Собра": 43195, + "▁мошен": 43196, + "▁чьи": 43197, + "шные": 43198, + "▁СО": 43199, + "▁следствия": 43200, + "▁стратегии": 43201, + "▁крю": 43202, + "▁великой": 43203, + "▁сержа": 43204, + "▁переулок": 43205, + "кедо": 43206, + "▁восток": 43207, + "▁камни": 43208, + "▁входа": 43209, + "▁муниципального": 43210, + "▁высокая": 43211, + "▁проводит": 43212, + "▁послужи": 43213, + "▁руба": 43214, + "ходим": 43215, + "erem": 43216, + "▁прокля": 43217, + "▁консо": 43218, + "▁адеква": 43219, + "▁писали": 43220, + "▁юноше": 43221, + "▁Северного": 43222, + "▁условии": 43223, + "▁ставит": 43224, + "▁городских": 43225, + "▁Бей": 43226, + "хай": 43227, + "▁сынов": 43228, + "▁занимались": 43229, + "▁будешь": 43230, + "▁страниц": 43231, + "▁объясняется": 43232, + "▁упре": 43233, + "▁находилось": 43234, + "▁лингви": 43235, + "нологии": 43236, + "▁бригада": 43237, + "кас": 43238, + "▁жертвы": 43239, + "▁врачей": 43240, + "▁прорабо": 43241, + "▁продолжение": 43242, + "▁комиссия": 43243, + "▁секунду": 43244, + "▁объектом": 43245, + "▁журналист": 43246, + "▁доброде": 43247, + "▁восстание": 43248, + "▁ряду": 43249, + "▁краса": 43250, + "▁принципов": 43251, + "▁охран": 43252, + "▁полет": 43253, + "▁Разви": 43254, + "▁коопера": 43255, + "▁снег": 43256, + "▁впечатления": 43257, + "▁ИТАР": 43258, + "министр": 43259, + "▁портрет": 43260, + "▁посты": 43261, + "▁Изда": 43262, + "▁Георги": 43263, + "туро": 43264, + "рью": 43265, + "пча": 43266, + "▁тюрьмы": 43267, + "▁Вра": 43268, + "ляются": 43269, + "▁последнюю": 43270, + "▁параметров": 43271, + "▁лейтенан": 43272, + "▁отор": 43273, + "▁российские": 43274, + "сера": 43275, + "▁плав": 43276, + "▁кримина": 43277, + "▁туа": 43278, + "▁осужден": 43279, + "▁КГБ": 43280, + "▁придвор": 43281, + "▁Разрабо": 43282, + "▁сестры": 43283, + "Йорке": 43284, + "▁металлу": 43285, + "▁помог": 43286, + "▁отступа": 43287, + "▁совпада": 43288, + "▁Дела": 43289, + "▁сообщении": 43290, + "▁космонав": 43291, + "морского": 43292, + "риали": 43293, + "▁водя": 43294, + "▁убежден": 43295, + "▁вызвал": 43296, + "▁внезап": 43297, + "▁Баку": 43298, + "▁превращается": 43299, + "▁родину": 43300, + "▁чувствует": 43301, + "▁утверждения": 43302, + "▁полку": 43303, + "вшимися": 43304, + "тельской": 43305, + "▁дура": 43306, + "▁Рима": 43307, + "▁герцог": 43308, + "▁понедельник": 43309, + "▁всемир": 43310, + "▁вспомога": 43311, + "▁животное": 43312, + "▁избавиться": 43313, + "йся": 43314, + "▁имеющие": 43315, + "делец": 43316, + "▁органами": 43317, + "▁чте": 43318, + "▁воскресенье": 43319, + "▁однозна": 43320, + "блоки": 43321, + "▁рыбо": 43322, + "▁вправе": 43323, + "▁практика": 43324, + "▁ровно": 43325, + "▁сбе": 43326, + "▁тюрьме": 43327, + "▁художественной": 43328, + "▁величины": 43329, + "▁эффективность": 43330, + "▁снижение": 43331, + "▁Казахстана": 43332, + "▁оперы": 43333, + "ровалась": 43334, + "числя": 43335, + "▁Шот": 43336, + "▁холодной": 43337, + "▁матерью": 43338, + "ступило": 43339, + "▁заплани": 43340, + "ПУ": 43341, + "Зе": 43342, + "▁моста": 43343, + "рази": 43344, + "▁ансам": 43345, + "▁распла": 43346, + "▁играли": 43347, + "▁жила": 43348, + "▁ть": 43349, + "▁западе": 43350, + "▁напрямую": 43351, + "трополи": 43352, + "▁кабинет": 43353, + "▁изоли": 43354, + "▁победа": 43355, + "▁родов": 43356, + "▁опор": 43357, + "▁специалист": 43358, + "▁звёзд": 43359, + "▁клубе": 43360, + "▁колхоз": 43361, + "▁параметры": 43362, + "▁совершить": 43363, + "▁признал": 43364, + "▁Казалось": 43365, + "▁падает": 43366, + "▁попадает": 43367, + "▁незамет": 43368, + "▁буржуа": 43369, + "▁решении": 43370, + "▁изделий": 43371, + "▁согласия": 43372, + "▁ряды": 43373, + "▁Булга": 43374, + "▁растер": 43375, + "▁Первоначально": 43376, + "▁уши": 43377, + "▁финале": 43378, + "▁превышает": 43379, + "▁постоянной": 43380, + "рун": 43381, + "▁свободного": 43382, + "ТР": 43383, + "ом": 43384, + "нностью": 43385, + "▁представителями": 43386, + "▁спортс": 43387, + "▁давайте": 43388, + "▁комсомо": 43389, + "▁похожи": 43390, + "▁специальной": 43391, + "миль": 43392, + "▁воспиты": 43393, + "▁ВО": 43394, + "▁цепо": 43395, + "тли": 43396, + "▁старался": 43397, + "▁исключения": 43398, + "▁агентство": 43399, + "генера": 43400, + "▁коммуна": 43401, + "▁Ау": 43402, + "▁обязанностей": 43403, + "▁структуре": 43404, + "▁огромной": 43405, + "▁набра": 43406, + "стое": 43407, + "▁допро": 43408, + "▁экране": 43409, + "▁рассказы": 43410, + "▁Моро": 43411, + "▁постройки": 43412, + "▁преступлений": 43413, + "▁учет": 43414, + "▁сильные": 43415, + "▁камня": 43416, + "▁Хер": 43417, + "▁схема": 43418, + "▁греб": 43419, + "▁СК": 43420, + "▁Горба": 43421, + "▁племен": 43422, + "▁основана": 43423, + "стном": 43424, + "▁словах": 43425, + "▁ежегод": 43426, + "ладель": 43427, + "▁буквы": 43428, + "▁инвесто": 43429, + "▁фонд": 43430, + "▁сельсовет": 43431, + "▁хорошее": 43432, + "▁Иисуса": 43433, + "▁Желез": 43434, + "▁физиологи": 43435, + "чуть": 43436, + "▁неис": 43437, + "мино": 43438, + "▁Представи": 43439, + "дана": 43440, + "▁впа": 43441, + "▁выращи": 43442, + "▁оценке": 43443, + "ливость": 43444, + "▁капу": 43445, + "▁бесполез": 43446, + "▁научные": 43447, + "носится": 43448, + "▁длину": 43449, + "▁отрабо": 43450, + "▁путешествие": 43451, + "▁гроб": 43452, + "службе": 43453, + "▁ближ": 43454, + "▁увеличения": 43455, + "▁видят": 43456, + "коро": 43457, + "▁Кирил": 43458, + "▁муже": 43459, + "▁исчер": 43460, + "▁ставить": 43461, + "▁Гроз": 43462, + "▁Солнце": 43463, + "▁примеров": 43464, + "ИЛ": 43465, + "руем": 43466, + "▁обычной": 43467, + "oura": 43468, + "▁гроз": 43469, + "мён": 43470, + "▁курсы": 43471, + "▁выяснить": 43472, + "хта": 43473, + "▁древние": 43474, + "▁Коль": 43475, + "▁отправил": 43476, + "▁Джордж": 43477, + "▁целого": 43478, + "▁красный": 43479, + "▁древности": 43480, + "▁встал": 43481, + "▁редакции": 43482, + "▁Обще": 43483, + "бюро": 43484, + "кации": 43485, + "ньи": 43486, + "▁имму": 43487, + "жский": 43488, + "adium": 43489, + "▁матри": 43490, + "▁РАН": 43491, + "▁цепи": 43492, + "▁Доба": 43493, + "▁Необходимо": 43494, + "кович": 43495, + "▁Поло": 43496, + "▁приятно": 43497, + "▁инде": 43498, + "лагается": 43499, + "▁стрелковой": 43500, + "тизации": 43501, + "▁дель": 43502, + "москов": 43503, + "▁Алексея": 43504, + "▁Думаю": 43505, + "▁самоо": 43506, + "▁ны": 43507, + "▁колонии": 43508, + "▁оценка": 43509, + "ФА": 43510, + "тони": 43511, + "электро": 43512, + "▁последствий": 43513, + "▁византи": 43514, + "слы": 43515, + "▁категори": 43516, + "▁народы": 43517, + "▁техника": 43518, + "рита": 43519, + "▁синх": 43520, + "▁путешествия": 43521, + "▁прим": 43522, + "▁встречу": 43523, + "▁Стоит": 43524, + "▁невиди": 43525, + "бн": 43526, + "▁евреи": 43527, + "▁умеет": 43528, + "▁явился": 43529, + "▁Занима": 43530, + "▁свидетельства": 43531, + "▁тём": 43532, + "▁партнер": 43533, + "▁инструменты": 43534, + "▁честно": 43535, + "▁маленькие": 43536, + "▁пятницу": 43537, + "▁кита": 43538, + "▁Кузне": 43539, + "женно": 43540, + "▁Балтий": 43541, + "гур": 43542, + "ТС": 43543, + "▁предварительно": 43544, + "ternet": 43545, + "▁СПб": 43546, + "▁лозу": 43547, + "ровые": 43548, + "▁нации": 43549, + "▁Наши": 43550, + "▁содержат": 43551, + "▁отмечается": 43552, + "тена": 43553, + "▁парадок": 43554, + "▁казни": 43555, + "▁вознагра": 43556, + "▁третьем": 43557, + "▁Кавказ": 43558, + "▁целесообраз": 43559, + "▁перешли": 43560, + "стическое": 43561, + "▁цари": 43562, + "▁Эту": 43563, + "▁продолжается": 43564, + "▁движением": 43565, + "▁лин": 43566, + "▁переехал": 43567, + "нятся": 43568, + "▁совету": 43569, + "▁Пси": 43570, + "▁пли": 43571, + "▁замер": 43572, + "▁первыми": 43573, + "▁разруши": 43574, + "▁рок": 43575, + "▁Гого": 43576, + "▁платфор": 43577, + "▁имен": 43578, + "▁опол": 43579, + "зания": 43580, + "▁лука": 43581, + "эл": 43582, + "▁кандидатов": 43583, + "▁соединение": 43584, + "▁назвали": 43585, + "▁платы": 43586, + "▁окружающих": 43587, + "способности": 43588, + "ндия": 43589, + "▁Самое": 43590, + "фта": 43591, + "вам": 43592, + "▁прили": 43593, + "эро": 43594, + "▁правоохрани": 43595, + "▁лук": 43596, + "▁пече": 43597, + "▁куро": 43598, + "▁губернатора": 43599, + "▁призван": 43600, + "швили": 43601, + "▁судьбе": 43602, + "▁здравоохранения": 43603, + "▁развле": 43604, + "▁телом": 43605, + "▁глаго": 43606, + "▁племени": 43607, + "▁сотен": 43608, + "▁специального": 43609, + "▁называемые": 43610, + "стную": 43611, + "▁течения": 43612, + "▁ДНК": 43613, + "Чер": 43614, + "▁Рез": 43615, + "▁соло": 43616, + "▁парка": 43617, + "▁значительное": 43618, + "▁дыхание": 43619, + "▁хозяин": 43620, + "▁французских": 43621, + "рмо": 43622, + "ака": 43623, + "магни": 43624, + "▁принце": 43625, + "▁Чай": 43626, + "▁Нас": 43627, + "▁намерения": 43628, + "▁славы": 43629, + "▁слушать": 43630, + "вского": 43631, + "▁границей": 43632, + "ленд": 43633, + "▁вызывают": 43634, + "stitution": 43635, + "▁Кай": 43636, + "▁жертву": 43637, + "▁Израиль": 43638, + "poration": 43639, + "▁сборник": 43640, + "ковыми": 43641, + "▁вооруженных": 43642, + "▁утверждают": 43643, + "▁протекает": 43644, + "гена": 43645, + "▁тексте": 43646, + "▁НЕ": 43647, + "▁Мя": 43648, + "ала": 43649, + "▁серия": 43650, + "▁мучи": 43651, + "▁болезней": 43652, + "ведению": 43653, + "▁успели": 43654, + "▁странами": 43655, + "нде": 43656, + "▁Советский": 43657, + "тках": 43658, + "▁отпуска": 43659, + "▁ликвидации": 43660, + "▁оборону": 43661, + "▁населённых": 43662, + "▁Президента": 43663, + "▁милиции": 43664, + "▁Архангель": 43665, + "▁получали": 43666, + "▁Подо": 43667, + "▁разговора": 43668, + "▁чемпионом": 43669, + "▁заведения": 43670, + "▁вокза": 43671, + "▁ПВО": 43672, + "▁настоящей": 43673, + "▁листья": 43674, + "▁черный": 43675, + "▁оппозиции": 43676, + "▁тогдаш": 43677, + "▁гуманитар": 43678, + "▁специальный": 43679, + "▁странице": 43680, + "▁удобно": 43681, + "▁услышал": 43682, + "▁дев": 43683, + "▁методом": 43684, + "▁Система": 43685, + "▁устрем": 43686, + "▁Интересно": 43687, + "▁предмета": 43688, + "▁соу": 43689, + "шись": 43690, + "вский": 43691, + "▁компро": 43692, + "▁ем": 43693, + "▁породы": 43694, + "ваемой": 43695, + "▁насилия": 43696, + "▁оборот": 43697, + "▁матро": 43698, + "альных": 43699, + "▁вошёл": 43700, + "▁суста": 43701, + "▁ужас": 43702, + "▁формой": 43703, + "cend": 43704, + "▁сценарий": 43705, + "▁пакет": 43706, + "▁обязательства": 43707, + "▁стано": 43708, + "▁образуют": 43709, + "▁Свердлов": 43710, + "шат": 43711, + "▁Наш": 43712, + "▁продолжают": 43713, + "▁привел": 43714, + "▁Доста": 43715, + "ётр": 43716, + "▁английском": 43717, + "ставьте": 43718, + "▁простым": 43719, + "▁сообщений": 43720, + "психо": 43721, + "▁гет": 43722, + "▁европейской": 43723, + "▁построения": 43724, + "▁рамки": 43725, + "▁входил": 43726, + "▁полосы": 43727, + "▁заявила": 43728, + "▁Новго": 43729, + "▁существовало": 43730, + "▁возглавля": 43731, + "▁вызов": 43732, + "дорович": 43733, + "ганди": 43734, + "слан": 43735, + "▁ранга": 43736, + "▁Александров": 43737, + "▁принадлежат": 43738, + "▁мощность": 43739, + "▁изуча": 43740, + "▁шлю": 43741, + "▁Бю": 43742, + "▁несча": 43743, + "▁обратить": 43744, + "товая": 43745, + "▁Пру": 43746, + "чук": 43747, + "▁машино": 43748, + "▁голода": 43749, + "▁хитро": 43750, + "▁позволить": 43751, + "▁товарищ": 43752, + "▁уголовного": 43753, + "▁рожда": 43754, + "▁аварий": 43755, + "риата": 43756, + "▁домо": 43757, + "▁публику": 43758, + "▁поворачи": 43759, + "▁обстоятельство": 43760, + "▁навод": 43761, + "▁финансовых": 43762, + "▁кислоты": 43763, + "хт": 43764, + "▁назначение": 43765, + "▁переживания": 43766, + "▁мино": 43767, + "▁привлечь": 43768, + "▁ОК": 43769, + "▁развали": 43770, + "▁энту": 43771, + "▁указать": 43772, + "▁экран": 43773, + "ссией": 43774, + "▁объясняет": 43775, + "▁выле": 43776, + "▁проведении": 43777, + "▁Толстого": 43778, + "▁сбора": 43779, + "▁Центр": 43780, + "▁незнако": 43781, + "▁загово": 43782, + "▁таба": 43783, + "▁Сочи": 43784, + "▁моменту": 43785, + "▁личный": 43786, + "▁проекте": 43787, + "▁Максима": 43788, + "▁средством": 43789, + "▁капи": 43790, + "▁интересах": 43791, + "тна": 43792, + "▁существова": 43793, + "слож": 43794, + "▁исполня": 43795, + "▁угрозы": 43796, + "▁partn": 43797, + "дья": 43798, + "▁вашу": 43799, + "▁готова": 43800, + "▁трой": 43801, + "▁дано": 43802, + "▁экипаж": 43803, + "▁дам": 43804, + "▁онлайн": 43805, + "▁сино": 43806, + "щенко": 43807, + "▁классе": 43808, + "ляя": 43809, + "▁одноим": 43810, + "▁православной": 43811, + "▁петербург": 43812, + "пец": 43813, + "лика": 43814, + "▁удивительно": 43815, + "▁проводил": 43816, + "стность": 43817, + "пина": 43818, + "▁Петербурга": 43819, + "▁бассейна": 43820, + "▁нерав": 43821, + "рованное": 43822, + "▁задание": 43823, + "▁Олимпиа": 43824, + "▁средних": 43825, + "пью": 43826, + "▁яс": 43827, + "▁Генерал": 43828, + "▁миссии": 43829, + "▁молока": 43830, + "duce": 43831, + "вель": 43832, + "▁борт": 43833, + "▁волос": 43834, + "альные": 43835, + "маты": 43836, + "рению": 43837, + "▁называемый": 43838, + "▁Египта": 43839, + "▁группировки": 43840, + "▁прор": 43841, + "▁отправля": 43842, + "▁уязви": 43843, + "▁кровью": 43844, + "▁путешествен": 43845, + "▁релье": 43846, + "▁легких": 43847, + "▁современном": 43848, + "▁Джеймс": 43849, + "▁информацией": 43850, + "▁Ричард": 43851, + "штейна": 43852, + "▁измен": 43853, + "▁Книга": 43854, + "▁опасно": 43855, + "сай": 43856, + "▁справедливости": 43857, + "▁безопасность": 43858, + "▁заняли": 43859, + "!\".": 43860, + "костью": 43861, + "шало": 43862, + "способность": 43863, + "ренным": 43864, + "▁ОАО": 43865, + "▁инвали": 43866, + "▁мировоз": 43867, + "киды": 43868, + "▁выполняет": 43869, + "▁Ала": 43870, + "▁переве": 43871, + "▁военное": 43872, + "▁жидкости": 43873, + "▁преодолеть": 43874, + "зет": 43875, + "▁отцу": 43876, + "нским": 43877, + "▁левом": 43878, + "▁Выбор": 43879, + "▁живопи": 43880, + "▁придет": 43881, + "▁спон": 43882, + "▁Свобо": 43883, + "▁оставив": 43884, + "Динамо": 43885, + "▁изну": 43886, + "▁ВКП": 43887, + "▁жене": 43888, + "▁заново": 43889, + "вного": 43890, + "▁МИД": 43891, + "▁расширения": 43892, + "▁несет": 43893, + "▁Сол": 43894, + "▁офицеры": 43895, + "▁чувствовать": 43896, + "▁сокрови": 43897, + "▁поздра": 43898, + "▁красоты": 43899, + "▁Пала": 43900, + "▁зарабаты": 43901, + "▁численности": 43902, + "▁мальчика": 43903, + "▁постоянного": 43904, + "вающим": 43905, + "▁Цеза": 43906, + "▁рыца": 43907, + "▁принципу": 43908, + "▁непода": 43909, + "▁яз": 43910, + "▁поедин": 43911, + "▁войти": 43912, + "▁молодежи": 43913, + "▁повод": 43914, + "▁духо": 43915, + "комен": 43916, + "▁демократии": 43917, + "▁Сви": 43918, + "▁ток": 43919, + "най": 43920, + "женцев": 43921, + "▁финансов": 43922, + "Ша": 43923, + "Восто": 43924, + "▁конкурса": 43925, + "▁восстанавли": 43926, + "▁преодоле": 43927, + "▁Лер": 43928, + "▁регионов": 43929, + "▁дальнейшего": 43930, + "▁участии": 43931, + "▁Мэри": 43932, + "душе": 43933, + "▁медицинской": 43934, + "▁шиф": 43935, + "▁расстояния": 43936, + "рг": 43937, + "▁интегра": 43938, + "▁трагедии": 43939, + "▁установка": 43940, + "▁пишут": 43941, + "целе": 43942, + "▁иннова": 43943, + "▁имею": 43944, + "▁Украина": 43945, + "▁Джи": 43946, + "▁РИА": 43947, + "▁Медведе": 43948, + "▁собственность": 43949, + "изма": 43950, + "▁африкан": 43951, + "▁Белорус": 43952, + "▁ссылкой": 43953, + "томи": 43954, + "▁дистанции": 43955, + "▁вызвало": 43956, + "▁позиция": 43957, + "▁Большого": 43958, + "▁позвоно": 43959, + "▁задумы": 43960, + "▁факультета": 43961, + "▁Богом": 43962, + "▁лекции": 43963, + "вязыва": 43964, + "▁трансформа": 43965, + "▁медицины": 43966, + "▁отнести": 43967, + "▁отвечать": 43968, + "▁Swed": 43969, + "▁параллельно": 43970, + "▁нар": 43971, + "настоящему": 43972, + "ранже": 43973, + "▁Луны": 43974, + "▁приходят": 43975, + "▁телефону": 43976, + "▁пообе": 43977, + "▁последующих": 43978, + "евской": 43979, + "пари": 43980, + "▁определенного": 43981, + "▁удостоен": 43982, + "▁Мухам": 43983, + "▁имену": 43984, + "▁крупного": 43985, + "▁исследователей": 43986, + "▁противодей": 43987, + "▁Профиль": 43988, + "▁девочка": 43989, + "▁ссылки": 43990, + "▁пулемет": 43991, + "▁Ля": 43992, + "▁простые": 43993, + "▁канад": 43994, + "▁контексте": 43995, + "беки": 43996, + "▁таре": 43997, + "▁Пы": 43998, + "цина": 43999, + "пира": 44000, + "▁санти": 44001, + "▁отцов": 44002, + "▁потока": 44003, + "▁Самый": 44004, + "▁производить": 44005, + "▁лен": 44006, + "▁популя": 44007, + "▁взаимосвя": 44008, + "▁физического": 44009, + "Сер": 44010, + "▁Остров": 44011, + "▁эпизод": 44012, + "▁знаки": 44013, + "▁Дет": 44014, + "▁религиозных": 44015, + "▁кипя": 44016, + "▁каран": 44017, + "ковал": 44018, + "▁скон": 44019, + "скур": 44020, + "▁ищу": 44021, + "▁нервной": 44022, + "корре": 44023, + "▁расположение": 44024, + "▁организме": 44025, + "▁печать": 44026, + "▁братом": 44027, + "▁свобода": 44028, + "дак": 44029, + "дрой": 44030, + "▁моче": 44031, + "▁мышц": 44032, + "▁умерла": 44033, + "▁субъекта": 44034, + "▁югу": 44035, + "▁Моя": 44036, + "▁святых": 44037, + "▁стрелкового": 44038, + "▁шло": 44039, + "▁схеме": 44040, + "▁движу": 44041, + "▁хреб": 44042, + "▁ПРО": 44043, + "вленным": 44044, + "вленное": 44045, + "вие": 44046, + "четы": 44047, + "▁прито": 44048, + "▁церк": 44049, + "▁получал": 44050, + "▁Слово": 44051, + "▁сыну": 44052, + "▁представлена": 44053, + "▁маски": 44054, + "▁свойство": 44055, + "▁результата": 44056, + "▁знаменитый": 44057, + "▁вспоминал": 44058, + "▁нигде": 44059, + "▁следовать": 44060, + "▁Похоро": 44061, + "▁tourn": 44062, + "▁фрук": 44063, + "▁прести": 44064, + "▁возникли": 44065, + "совых": 44066, + "▁тренера": 44067, + "домо": 44068, + "▁административно": 44069, + "▁оккупи": 44070, + "▁компонентов": 44071, + "▁соревнованиях": 44072, + "▁оки": 44073, + "▁оказываются": 44074, + "▁ошибка": 44075, + "восток": 44076, + "Так": 44077, + "▁авиаком": 44078, + "▁новей": 44079, + "▁ограничен": 44080, + "довая": 44081, + "▁помещение": 44082, + "▁прозви": 44083, + "правля": 44084, + "ненными": 44085, + "▁разры": 44086, + "▁покон": 44087, + "тирования": 44088, + "▁продаж": 44089, + "▁расположено": 44090, + "▁значений": 44091, + "офи": 44092, + "▁размером": 44093, + "▁серию": 44094, + "▁ислам": 44095, + "▁закончил": 44096, + "▁рубежом": 44097, + "ложены": 44098, + "▁поиски": 44099, + "▁низко": 44100, + "▁кр": 44101, + "ринга": 44102, + "▁точности": 44103, + "▁сбы": 44104, + "Когда": 44105, + "▁представителя": 44106, + "▁спасения": 44107, + "▁кругу": 44108, + "тость": 44109, + "▁людях": 44110, + "▁поднялся": 44111, + "фора": 44112, + "хла": 44113, + "товым": 44114, + "▁ответы": 44115, + "▁пато": 44116, + "комплек": 44117, + "▁посёлка": 44118, + "▁называл": 44119, + "▁судом": 44120, + "▁небольшое": 44121, + "▁заявили": 44122, + "▁испуга": 44123, + "само": 44124, + "чую": 44125, + "секре": 44126, + "▁дете": 44127, + "▁являлись": 44128, + "СКО": 44129, + "▁скре": 44130, + "откры": 44131, + "▁творчестве": 44132, + "▁невро": 44133, + "зует": 44134, + "▁твори": 44135, + "▁реформа": 44136, + "▁классической": 44137, + "▁судя": 44138, + "▁благотвори": 44139, + "▁прер": 44140, + "▁руководя": 44141, + "▁Всероссий": 44142, + "▁открытым": 44143, + "▁зала": 44144, + "▁укрепления": 44145, + "▁гастро": 44146, + "▁цы": 44147, + "▁внутренний": 44148, + "▁СН": 44149, + "▁Нового": 44150, + "лово": 44151, + "▁разор": 44152, + "▁нашими": 44153, + "▁интри": 44154, + "Петербурга": 44155, + "▁сним": 44156, + "▁выходе": 44157, + "▁Армении": 44158, + "нге": 44159, + "▁композиции": 44160, + "▁Будучи": 44161, + "пт": 44162, + "▁процвета": 44163, + "▁распоряжение": 44164, + "▁Лучше": 44165, + "▁уважа": 44166, + "▁растение": 44167, + "чивает": 44168, + "▁частицы": 44169, + "▁Общая": 44170, + "▁эффективно": 44171, + "▁почувствовал": 44172, + "▁попытку": 44173, + "▁остальное": 44174, + "▁вопреки": 44175, + "етра": 44176, + "▁вовремя": 44177, + "▁присутствие": 44178, + "▁секретаря": 44179, + "▁ударов": 44180, + "▁Цель": 44181, + "▁съезда": 44182, + "▁дивизий": 44183, + "▁примет": 44184, + "▁руководителем": 44185, + "▁узнали": 44186, + "▁захватить": 44187, + "▁спиной": 44188, + "▁текстов": 44189, + "▁главную": 44190, + "тельнее": 44191, + "▁материи": 44192, + "vania": 44193, + "▁батареи": 44194, + "радо": 44195, + "▁залива": 44196, + "вения": 44197, + "▁нево": 44198, + "▁индустри": 44199, + "▁заместителя": 44200, + "▁шт": 44201, + "▁известность": 44202, + "▁могуще": 44203, + "▁трудя": 44204, + "▁наступ": 44205, + "▁Василия": 44206, + "▁Успе": 44207, + "▁толщи": 44208, + "паду": 44209, + "▁воспользова": 44210, + "▁кавалерий": 44211, + "▁гражданского": 44212, + "▁желая": 44213, + "▁химии": 44214, + "▁Шан": 44215, + "▁департамента": 44216, + "▁грубо": 44217, + "▁Толстой": 44218, + "▁организацией": 44219, + "▁представлений": 44220, + "▁доказательств": 44221, + "▁свидетельствуют": 44222, + "▁Новости": 44223, + "▁ввиду": 44224, + "грамм": 44225, + "▁укрепле": 44226, + "фио": 44227, + "▁знакомых": 44228, + "▁защищать": 44229, + "▁равни": 44230, + "▁хозяина": 44231, + "пром": 44232, + "БУ": 44233, + "▁воспитан": 44234, + "кладывать": 44235, + "риториаль": 44236, + "gypt": 44237, + "друг": 44238, + "▁уволь": 44239, + "▁галакти": 44240, + "▁допустить": 44241, + "лицы": 44242, + "▁труды": 44243, + "▁управлении": 44244, + "▁дефици": 44245, + "▁пев": 44246, + "▁понятий": 44247, + "▁карт": 44248, + "зированных": 44249, + "▁осуществить": 44250, + "▁смарт": 44251, + "▁хорошим": 44252, + "▁объема": 44253, + "▁правах": 44254, + "▁сок": 44255, + "ттер": 44256, + "летря": 44257, + "▁митрополи": 44258, + "▁определенный": 44259, + "▁привер": 44260, + "▁степ": 44261, + "▁счете": 44262, + "лея": 44263, + "▁майор": 44264, + "edd": 44265, + "▁розо": 44266, + "▁платформы": 44267, + "▁террористи": 44268, + "▁инспе": 44269, + "▁сего": 44270, + "еренци": 44271, + "кипе": 44272, + "▁Помо": 44273, + "▁Участник": 44274, + "▁устрои": 44275, + "▁полиция": 44276, + "▁учреди": 44277, + "▁системати": 44278, + "▁Лет": 44279, + "▁серьезные": 44280, + "альный": 44281, + "▁удовольствием": 44282, + "▁слад": 44283, + "urban": 44284, + "▁граница": 44285, + "▁прива": 44286, + "▁привела": 44287, + "▁ушли": 44288, + "рился": 44289, + "чится": 44290, + "▁стрельбы": 44291, + "бери": 44292, + "▁фильмы": 44293, + "бые": 44294, + "▁сати": 44295, + "▁отряды": 44296, + "▁единственной": 44297, + "▁Бразилии": 44298, + "▁музее": 44299, + "хий": 44300, + "льна": 44301, + "▁Село": 44302, + "▁недолго": 44303, + "▁а́": 44304, + "▁хорошей": 44305, + "▁участков": 44306, + "лятор": 44307, + "▁убедить": 44308, + "горя": 44309, + "▁цифры": 44310, + "▁зак": 44311, + "▁сохранились": 44312, + "▁Иркут": 44313, + "▁Бол": 44314, + "▁сл": 44315, + "▁Лен": 44316, + "▁разработку": 44317, + "зера": 44318, + "▁геологи": 44319, + "▁ультра": 44320, + "Ман": 44321, + "▁собрал": 44322, + "▁объяснение": 44323, + "▁федерального": 44324, + "зывы": 44325, + "тями": 44326, + "▁штраф": 44327, + "▁Револю": 44328, + "▁Абра": 44329, + "дном": 44330, + "▁Германию": 44331, + "▁Лебе": 44332, + "диоз": 44333, + "▁оттен": 44334, + "▁духовного": 44335, + "▁средняя": 44336, + "▁установления": 44337, + "▁похва": 44338, + "▁мужем": 44339, + "▁Швейцарии": 44340, + "ида": 44341, + "▁необычай": 44342, + "▁рецен": 44343, + "▁сторонников": 44344, + "▁кн": 44345, + "▁Вяче": 44346, + "▁северу": 44347, + "▁показалось": 44348, + "▁сдержи": 44349, + "▁железа": 44350, + "▁широкой": 44351, + "▁зелё": 44352, + "▁выходить": 44353, + "вот": 44354, + "▁прилага": 44355, + "люми": 44356, + "▁возобнови": 44357, + "зав": 44358, + "▁ранен": 44359, + "▁раздела": 44360, + "rugg": 44361, + "▁повстан": 44362, + "▁установили": 44363, + "мской": 44364, + "▁беседы": 44365, + "▁эмоции": 44366, + "▁удары": 44367, + "Зна": 44368, + "▁применяют": 44369, + "▁контрак": 44370, + "▁Тере": 44371, + "▁четверг": 44372, + "▁Леонид": 44373, + "▁числи": 44374, + "енья": 44375, + "▁сложной": 44376, + "▁бюрокра": 44377, + "зерца": 44378, + "▁цену": 44379, + "▁данное": 44380, + "▁подготовка": 44381, + "ступит": 44382, + "▁влияет": 44383, + "▁болгар": 44384, + "▁значительные": 44385, + "▁десант": 44386, + "▁взаимодействие": 44387, + "ппи": 44388, + "шён": 44389, + "▁небольшая": 44390, + "▁позади": 44391, + "▁австра": 44392, + "▁периодически": 44393, + "лока": 44394, + "▁носить": 44395, + "▁черте": 44396, + "▁железо": 44397, + "говорил": 44398, + "▁бази": 44399, + "тическом": 44400, + "рным": 44401, + "▁малы": 44402, + "тчиков": 44403, + "▁дождь": 44404, + "▁удавалось": 44405, + "лками": 44406, + "▁некоторыми": 44407, + "▁берегов": 44408, + "▁появится": 44409, + "▁вера": 44410, + "завод": 44411, + "▁Ей": 44412, + "▁полковника": 44413, + "▁маленьких": 44414, + "▁глубины": 44415, + "▁охотно": 44416, + "▁Вьет": 44417, + "▁средний": 44418, + "▁чиновников": 44419, + "ЕНИЕ": 44420, + "▁Чехослова": 44421, + "жили": 44422, + "▁составили": 44423, + "▁регла": 44424, + "Пере": 44425, + "▁тяжелые": 44426, + "▁повреждения": 44427, + "▁поляр": 44428, + "▁обслуживания": 44429, + "▁располагается": 44430, + "▁Пря": 44431, + "▁единой": 44432, + "▁разработчиков": 44433, + "гент": 44434, + "▁единство": 44435, + "▁палу": 44436, + "▁пше": 44437, + "▁оснований": 44438, + "▁предыдущих": 44439, + "▁Рядом": 44440, + "▁Пётр": 44441, + "ведя": 44442, + "чле": 44443, + "▁отстра": 44444, + "▁человечество": 44445, + "ъе": 44446, + "▁поворот": 44447, + "▁уполномо": 44448, + "▁Информа": 44449, + "▁делами": 44450, + "▁главнокоман": 44451, + "мила": 44452, + "▁поддержка": 44453, + "▁подразделений": 44454, + "хина": 44455, + "▁тексты": 44456, + "▁юби": 44457, + "веты": 44458, + "скар": 44459, + "▁Сау": 44460, + "▁примеча": 44461, + "▁континента": 44462, + "▁государственном": 44463, + "▁файла": 44464, + "ipl": 44465, + "▁шанс": 44466, + "▁медицинских": 44467, + "▁забыл": 44468, + "▁перешел": 44469, + "лейтенант": 44470, + "▁тяжелых": 44471, + "щев": 44472, + "rison": 44473, + "▁Тара": 44474, + "▁Солов": 44475, + "▁интереса": 44476, + "ceeded": 44477, + "▁звука": 44478, + "▁проез": 44479, + "▁бросил": 44480, + "▁святой": 44481, + "косно": 44482, + "▁изготовления": 44483, + "▁файлов": 44484, + "▁занимают": 44485, + "▁купил": 44486, + "▁Сбор": 44487, + "писать": 44488, + "▁Поро": 44489, + "▁громко": 44490, + "▁половиной": 44491, + "▁двигателей": 44492, + "▁цене": 44493, + "▁стоять": 44494, + "▁АССР": 44495, + "▁Антон": 44496, + "▁пользуются": 44497, + "▁проводят": 44498, + "▁подарок": 44499, + "▁танк": 44500, + "edom": 44501, + "цет": 44502, + "ложено": 44503, + "▁бомбы": 44504, + "▁иди": 44505, + "▁родственников": 44506, + "▁шагом": 44507, + "маны": 44508, + "▁предков": 44509, + "▁Ната": 44510, + "▁Венгрии": 44511, + "▁ланд": 44512, + "▁излучения": 44513, + "БР": 44514, + "▁полная": 44515, + "▁горных": 44516, + "▁прошёл": 44517, + "▁стакан": 44518, + "▁согласо": 44519, + "фаши": 44520, + "▁ере": 44521, + "▁основание": 44522, + "▁шай": 44523, + "▁успехи": 44524, + "▁упря": 44525, + "монов": 44526, + "▁миллиардов": 44527, + "▁любить": 44528, + "▁величе": 44529, + "▁открыли": 44530, + "золо": 44531, + "чером": 44532, + "▁жё": 44533, + "▁различным": 44534, + "▁кусок": 44535, + "▁воздушных": 44536, + "кисло": 44537, + "▁Жена": 44538, + "ждой": 44539, + "▁женщиной": 44540, + "коном": 44541, + "▁недостатки": 44542, + "▁предположи": 44543, + "хранили": 44544, + "▁зубы": 44545, + "водитель": 44546, + "шева": 44547, + "кау": 44548, + "▁условиям": 44549, + "▁запрос": 44550, + "▁ухода": 44551, + "▁платье": 44552, + "фро": 44553, + "▁синд": 44554, + "▁Каждая": 44555, + "▁произво": 44556, + "▁похож": 44557, + "Россия": 44558, + "▁Болгарии": 44559, + "▁аги": 44560, + "▁субботу": 44561, + "▁Илья": 44562, + "▁рад": 44563, + "сль": 44564, + "▁личные": 44565, + "▁ошибку": 44566, + "ваюсь": 44567, + "▁народом": 44568, + "▁требование": 44569, + "▁зависимость": 44570, + "▁выставки": 44571, + "▁центров": 44572, + "▁изыска": 44573, + "▁вывести": 44574, + "▁отказались": 44575, + "зти": 44576, + "▁Изу": 44577, + "зеле": 44578, + "▁адреса": 44579, + "▁местами": 44580, + "▁авторитет": 44581, + "▁Хра": 44582, + "щенная": 44583, + "▁слия": 44584, + "▁умолча": 44585, + "шах": 44586, + "▁сидеть": 44587, + "▁старта": 44588, + "▁маслом": 44589, + "▁подавля": 44590, + "▁загряз": 44591, + "кеан": 44592, + "▁опусти": 44593, + "емому": 44594, + "▁Ны": 44595, + "▁богатства": 44596, + "▁развива": 44597, + "▁следить": 44598, + "делы": 44599, + "▁какому": 44600, + "▁летних": 44601, + "▁оле": 44602, + "▁навига": 44603, + "▁Компания": 44604, + "▁contem": 44605, + "▁английской": 44606, + "▁Сай": 44607, + "▁поставили": 44608, + "▁счета": 44609, + "▁бай": 44610, + "▁законам": 44611, + "▁сирий": 44612, + "▁созыва": 44613, + "риса": 44614, + "▁настоящим": 44615, + "▁тридцати": 44616, + "▁поиско": 44617, + "▁талантли": 44618, + "летняя": 44619, + "▁врачи": 44620, + "▁испор": 44621, + "▁корне": 44622, + "ковую": 44623, + "▁обнаружены": 44624, + "нового": 44625, + "▁стару": 44626, + "▁причаст": 44627, + "▁венгер": 44628, + "▁режиссёра": 44629, + "▁секунды": 44630, + "▁Фре": 44631, + "▁оставили": 44632, + "▁территорий": 44633, + "▁собирался": 44634, + "▁типы": 44635, + "▁остаётся": 44636, + "▁распростран": 44637, + "▁внешний": 44638, + "▁бойцов": 44639, + "syl": 44640, + "▁лицами": 44641, + "▁южно": 44642, + "▁выража": 44643, + "▁Орлов": 44644, + "▁широкое": 44645, + "▁публици": 44646, + "▁уверены": 44647, + "▁поворо": 44648, + "▁забыть": 44649, + "▁Основной": 44650, + "▁Вслед": 44651, + "водил": 44652, + "▁показано": 44653, + "хих": 44654, + "мил": 44655, + "▁Московский": 44656, + "▁помогают": 44657, + "▁сегодняшний": 44658, + "▁элли": 44659, + "сию": 44660, + "▁столицу": 44661, + "▁деревню": 44662, + "няк": 44663, + "▁прекратить": 44664, + "храни": 44665, + "▁Награ": 44666, + "▁соображения": 44667, + "моло": 44668, + "бют": 44669, + "▁предположение": 44670, + "▁матема": 44671, + "ёд": 44672, + "▁Коммуни": 44673, + "▁камней": 44674, + "▁недостаток": 44675, + "▁патру": 44676, + "▁товарищей": 44677, + "▁Точно": 44678, + "▁широкий": 44679, + "▁полей": 44680, + "▁правя": 44681, + "▁необык": 44682, + "ющуюся": 44683, + "▁процедуры": 44684, + "изме": 44685, + "▁предоставить": 44686, + "▁Иначе": 44687, + "▁возвращении": 44688, + "▁Куль": 44689, + "▁чести": 44690, + "▁учета": 44691, + "▁научный": 44692, + "▁молоко": 44693, + "▁жид": 44694, + "фай": 44695, + "▁Герман": 44696, + "евой": 44697, + "честь": 44698, + "▁помощник": 44699, + "▁способа": 44700, + "▁композитор": 44701, + "▁ара": 44702, + "▁отправить": 44703, + "тского": 44704, + "▁уверенность": 44705, + "▁коллег": 44706, + "▁оставалась": 44707, + "лни": 44708, + "▁девяти": 44709, + "▁установил": 44710, + "йора": 44711, + "▁длинные": 44712, + "▁Жур": 44713, + "▁заряд": 44714, + "▁Род": 44715, + "▁ков": 44716, + "▁почёт": 44717, + "rative": 44718, + "▁Выступа": 44719, + "дению": 44720, + "▁примера": 44721, + "▁Вей": 44722, + "▁лиге": 44723, + "▁посы": 44724, + "▁водитель": 44725, + "ворот": 44726, + "▁неплохо": 44727, + "▁ожесто": 44728, + "льника": 44729, + "▁отбро": 44730, + "▁главой": 44731, + "льская": 44732, + "▁примером": 44733, + "▁Челя": 44734, + "▁цветы": 44735, + "▁муки": 44736, + "▁вторник": 44737, + "▁слухи": 44738, + "▁внизу": 44739, + "▁мгновенно": 44740, + "▁торговле": 44741, + "▁составить": 44742, + "▁сою": 44743, + "▁Арген": 44744, + "ленную": 44745, + "▁скажет": 44746, + "новая": 44747, + "▁стекло": 44748, + "▁приказу": 44749, + "▁рекомендуется": 44750, + "▁образов": 44751, + "жится": 44752, + "▁задей": 44753, + "▁пожертво": 44754, + "▁изящ": 44755, + "носили": 44756, + "нс": 44757, + "▁телефона": 44758, + "опа": 44759, + "▁плоскости": 44760, + "▁посчита": 44761, + "▁довер": 44762, + "риен": 44763, + "▁перец": 44764, + "▁сервис": 44765, + "лак": 44766, + "ставра": 44767, + "▁научиться": 44768, + "▁температуре": 44769, + "▁риско": 44770, + "▁изучать": 44771, + "хоз": 44772, + "▁спасибо": 44773, + "▁контролировать": 44774, + "▁случаю": 44775, + "▁мешает": 44776, + "▁обруши": 44777, + "▁молодым": 44778, + "шаются": 44779, + "▁брау": 44780, + "????": 44781, + "▁остановился": 44782, + "▁поднял": 44783, + "▁сзади": 44784, + "▁ищет": 44785, + "▁Исла": 44786, + "▁выдержи": 44787, + "больше": 44788, + "▁лучшее": 44789, + "▁победил": 44790, + "▁реального": 44791, + "целя": 44792, + "▁дожде": 44793, + "▁ходил": 44794, + "gend": 44795, + "▁измер": 44796, + "▁улучшения": 44797, + "нялась": 44798, + "йс": 44799, + "▁планируется": 44800, + "▁стакана": 44801, + "▁потеряли": 44802, + "▁Эйн": 44803, + "▁убил": 44804, + "▁темати": 44805, + "▁предъя": 44806, + "pri": 44807, + "▁расследования": 44808, + "▁вовле": 44809, + "новремен": 44810, + "▁веса": 44811, + "нимание": 44812, + "▁планов": 44813, + "▁Куда": 44814, + "▁математики": 44815, + "▁пассажир": 44816, + "▁преимущество": 44817, + "менный": 44818, + "▁режиссе": 44819, + "▁деятелей": 44820, + "▁кресто": 44821, + "▁влады": 44822, + "▁указал": 44823, + "▁экви": 44824, + "▁белой": 44825, + "▁экономике": 44826, + "новый": 44827, + "▁тюрьму": 44828, + "▁официальный": 44829, + "▁торговых": 44830, + "чилось": 44831, + "▁Добро": 44832, + "▁нужды": 44833, + "▁сопри": 44834, + "▁посторон": 44835, + "ас": 44836, + "▁Доктор": 44837, + "▁распоряжении": 44838, + "▁Попро": 44839, + "▁бана": 44840, + "неди": 44841, + "▁доктри": 44842, + "становка": 44843, + "дело": 44844, + "▁проли": 44845, + "немся": 44846, + "▁Широ": 44847, + "▁нагрузки": 44848, + "▁губернатор": 44849, + "▁побли": 44850, + "▁чисел": 44851, + "▁природных": 44852, + "▁женщине": 44853, + "▁нену": 44854, + "▁Египет": 44855, + "▁попробовать": 44856, + "хана": 44857, + "▁слову": 44858, + "▁исполнении": 44859, + "▁катастрофы": 44860, + "ёров": 44861, + "▁проходи": 44862, + "▁частями": 44863, + "▁кандидата": 44864, + "▁тё": 44865, + "▁Нек": 44866, + "▁абстракт": 44867, + "▁Иу": 44868, + "▁Феодо": 44869, + "▁Франк": 44870, + "▁указания": 44871, + "▁отклю": 44872, + "▁художественного": 44873, + "▁настав": 44874, + "▁швейцар": 44875, + "▁полгода": 44876, + "▁враг": 44877, + "▁Бах": 44878, + "стские": 44879, + "▁предложить": 44880, + "▁выходя": 44881, + "▁жре": 44882, + "▁ГК": 44883, + "▁предложили": 44884, + "▁безраз": 44885, + "▁симфо": 44886, + "муд": 44887, + "▁отражение": 44888, + "говых": 44889, + "▁послевоен": 44890, + "▁прихода": 44891, + "▁посмотрел": 44892, + "▁Францию": 44893, + "▁кафедры": 44894, + "▁насили": 44895, + "▁Начина": 44896, + "▁мысле": 44897, + "низм": 44898, + "▁треуголь": 44899, + "urrent": 44900, + "▁американцы": 44901, + "▁Сак": 44902, + "▁саму": 44903, + "▁находясь": 44904, + "▁Питер": 44905, + "лектри": 44906, + "▁ребенком": 44907, + "▁глубокой": 44908, + "▁событиях": 44909, + "▁акку": 44910, + "▁наступает": 44911, + "вным": 44912, + "разному": 44913, + "▁изучению": 44914, + "▁перепра": 44915, + "СА": 44916, + "▁кольцо": 44917, + "▁убор": 44918, + "▁СУ": 44919, + "▁клави": 44920, + "▁сидели": 44921, + "▁процессу": 44922, + "▁Сергеевич": 44923, + "▁тепла": 44924, + "▁фигура": 44925, + "▁характеризуется": 44926, + "энь": 44927, + "▁утверждать": 44928, + "вленную": 44929, + "крат": 44930, + "вушка": 44931, + "ounded": 44932, + "▁духовен": 44933, + "▁планет": 44934, + "▁эмиграции": 44935, + "▁управлением": 44936, + "▁верху": 44937, + "▁сериала": 44938, + "полни": 44939, + "динами": 44940, + "▁самоуправления": 44941, + "▁Леон": 44942, + "▁попала": 44943, + "▁тренером": 44944, + "Сан": 44945, + "▁порабо": 44946, + "зак": 44947, + "строения": 44948, + "▁повсюду": 44949, + "▁Непо": 44950, + "▁фамилия": 44951, + "ленное": 44952, + "▁Землю": 44953, + "▁американцев": 44954, + "▁военача": 44955, + "▁отби": 44956, + "▁металла": 44957, + "▁простого": 44958, + "▁Чемпионат": 44959, + "▁Ск": 44960, + "▁Использу": 44961, + "▁числом": 44962, + "▁маркетин": 44963, + "▁палаты": 44964, + "▁велел": 44965, + "лятся": 44966, + "▁объявля": 44967, + "▁применяются": 44968, + "▁познакомился": 44969, + "▁выбирать": 44970, + "▁освя": 44971, + "▁встретить": 44972, + "▁продолжить": 44973, + "▁корруп": 44974, + "▁снего": 44975, + "▁конструктор": 44976, + "▁зате": 44977, + "▁Последние": 44978, + "▁Дмитрия": 44979, + "вела": 44980, + "▁электроэнер": 44981, + "СКИЙ": 44982, + "ктору": 44983, + "▁входила": 44984, + "▁Федо": 44985, + "▁плы": 44986, + "▁журналистов": 44987, + "▁Молда": 44988, + "▁поколение": 44989, + "▁оказывает": 44990, + "▁рекомендации": 44991, + "▁новости": 44992, + "енты": 44993, + "▁космических": 44994, + "▁листьев": 44995, + "ствующий": 44996, + "▁Станислав": 44997, + "Ис": 44998, + "▁разного": 44999, + "▁symb": 45000, + "щала": 45001, + "вная": 45002, + "▁потенциа": 45003, + "▁средне": 45004, + "▁стиму": 45005, + "шный": 45006, + "фикацию": 45007, + "▁звез": 45008, + "▁лежат": 45009, + "isters": 45010, + "ровым": 45011, + "▁легендар": 45012, + "государ": 45013, + "▁Наверное": 45014, + "живать": 45015, + "▁заинтересован": 45016, + "▁гражданин": 45017, + "таря": 45018, + "▁вернулась": 45019, + "▁заканчивается": 45020, + "ИЗ": 45021, + "▁выразил": 45022, + "▁слава": 45023, + "▁режиссер": 45024, + "ология": 45025, + "▁миль": 45026, + "чаян": 45027, + "Фи": 45028, + "▁объединение": 45029, + "▁областного": 45030, + "▁смену": 45031, + "▁чувством": 45032, + "▁Основная": 45033, + "▁произошед": 45034, + "▁представляли": 45035, + "▁фунтов": 45036, + "▁Екатерин": 45037, + "▁рассмотреть": 45038, + "▁лучшего": 45039, + "▁Заслуженный": 45040, + "▁Скорее": 45041, + "пп": 45042, + "▁Центрального": 45043, + "▁вкусу": 45044, + "нева": 45045, + "▁Ур": 45046, + "▁любая": 45047, + "ссоциа": 45048, + "▁песча": 45049, + "тский": 45050, + "▁черепа": 45051, + "▁адмира": 45052, + "▁чистой": 45053, + "▁землей": 45054, + "▁создают": 45055, + "▁больнице": 45056, + "▁еду": 45057, + "▁оказать": 45058, + "▁субъектов": 45059, + "▁приносит": 45060, + "ьем": 45061, + "▁получит": 45062, + "▁эквивален": 45063, + "▁настроен": 45064, + "▁представлять": 45065, + "▁приобрете": 45066, + "▁запомина": 45067, + "▁Режи": 45068, + "▁зрели": 45069, + "▁принципиально": 45070, + "▁короткий": 45071, + "▁картине": 45072, + "плом": 45073, + "▁единицы": 45074, + "▁домашних": 45075, + "логические": 45076, + "▁захоро": 45077, + "▁шей": 45078, + "▁обед": 45079, + "▁разворачи": 45080, + "▁реальных": 45081, + "▁условно": 45082, + "▁мяч": 45083, + "▁Национальной": 45084, + "лаг": 45085, + "проце": 45086, + "▁возникло": 45087, + "▁своя": 45088, + "▁профессии": 45089, + "▁угрозу": 45090, + "▁обращаться": 45091, + "ёй": 45092, + "▁Мама": 45093, + "▁Примерно": 45094, + "XV": 45095, + "▁сочинений": 45096, + "▁Парижа": 45097, + "▁господин": 45098, + "▁факторы": 45099, + "▁занимаются": 45100, + "▁грандиоз": 45101, + "тта": 45102, + "▁труб": 45103, + "▁Абу": 45104, + "▁Национального": 45105, + "▁велика": 45106, + "струи": 45107, + "▁квалифици": 45108, + "▁общение": 45109, + "▁рекламы": 45110, + "▁пропаганди": 45111, + "дые": 45112, + "БА": 45113, + "нило": 45114, + "▁глядя": 45115, + "▁магазина": 45116, + "▁перебро": 45117, + "▁Мона": 45118, + "▁passeng": 45119, + "▁исторический": 45120, + "линского": 45121, + "▁вырабаты": 45122, + "▁поправ": 45123, + "бже": 45124, + "▁Вит": 45125, + "▁способна": 45126, + "▁добле": 45127, + "▁Источник": 45128, + "▁непрерывно": 45129, + "Раз": 45130, + "▁освобождение": 45131, + "▁завоевал": 45132, + "▁отстаи": 45133, + "▁МиГ": 45134, + "водов": 45135, + "▁полученные": 45136, + "▁книгах": 45137, + "▁транзи": 45138, + "▁примы": 45139, + "▁эры": 45140, + "▁Бой": 45141, + "▁способами": 45142, + "цело": 45143, + "▁приступа": 45144, + "▁небольшим": 45145, + "▁горно": 45146, + "ковом": 45147, + "▁варианта": 45148, + "▁хан": 45149, + "▁Видимо": 45150, + "дование": 45151, + "атри": 45152, + "▁несов": 45153, + "▁ссо": 45154, + "▁показатели": 45155, + "▁Вита": 45156, + "▁спецслуж": 45157, + "▁Оле": 45158, + "▁крестьяне": 45159, + "рад": 45160, + "▁морского": 45161, + "▁Соединенных": 45162, + "▁заведу": 45163, + "▁генерального": 45164, + "▁находят": 45165, + "▁пациента": 45166, + "▁тетра": 45167, + "серви": 45168, + "▁взглядом": 45169, + "▁Специаль": 45170, + "▁означало": 45171, + "▁гек": 45172, + "▁кустар": 45173, + "▁относиться": 45174, + "▁эпиде": 45175, + "▁видя": 45176, + "▁московского": 45177, + "▁Эл": 45178, + "▁великим": 45179, + "ринг": 45180, + "▁conclud": 45181, + "▁сотрудничество": 45182, + "▁набе": 45183, + "▁раке": 45184, + "▁знаков": 45185, + "продук": 45186, + "▁оплаты": 45187, + "▁нараста": 45188, + "▁Ней": 45189, + "▁счету": 45190, + "▁больницы": 45191, + "▁Канады": 45192, + "▁Начиная": 45193, + "▁брен": 45194, + "▁девушек": 45195, + "▁ветера": 45196, + "рики": 45197, + "▁строк": 45198, + "▁ожидания": 45199, + "▁видела": 45200, + "▁показания": 45201, + "гнул": 45202, + "▁будди": 45203, + "▁культурного": 45204, + "▁взглядов": 45205, + "промышлен": 45206, + "сновы": 45207, + "▁волн": 45208, + "▁разработка": 45209, + "▁действиями": 45210, + "▁церемонии": 45211, + "▁приобрести": 45212, + "ТУ": 45213, + "▁Павлович": 45214, + "▁рекоменда": 45215, + "▁всякое": 45216, + "▁налогов": 45217, + "▁Музей": 45218, + "▁районного": 45219, + "▁заинтересова": 45220, + "свое": 45221, + "▁задержи": 45222, + "гард": 45223, + "▁ступень": 45224, + "▁являлась": 45225, + "▁плоды": 45226, + "зеф": 45227, + "льны": 45228, + "▁счётом": 45229, + "▁глубину": 45230, + "▁проигры": 45231, + "▁кону": 45232, + "▁сделки": 45233, + "▁Напомним": 45234, + "▁сухопу": 45235, + "▁культуру": 45236, + "▁снови": 45237, + "ersey": 45238, + "▁игроком": 45239, + "▁Дерев": 45240, + "▁реализовать": 45241, + "▁сообщалось": 45242, + "▁объяснил": 45243, + "▁справо": 45244, + "▁ситуациях": 45245, + "▁пассив": 45246, + "каи": 45247, + "ссель": 45248, + "▁Путина": 45249, + "▁существовании": 45250, + "стическим": 45251, + "белев": 45252, + "perial": 45253, + "рировать": 45254, + "▁окружения": 45255, + "▁выразить": 45256, + "хал": 45257, + "▁корни": 45258, + "▁увеличивается": 45259, + "▁Победы": 45260, + "рующий": 45261, + "▁Zh": 45262, + "ливости": 45263, + "▁теряет": 45264, + "▁подкреп": 45265, + "смотрен": 45266, + "▁специальности": 45267, + "▁дольше": 45268, + "▁хватит": 45269, + "▁Смир": 45270, + "▁приклю": 45271, + "▁поэтов": 45272, + "взо": 45273, + "▁Донба": 45274, + "▁альбома": 45275, + "▁аудитории": 45276, + "ево": 45277, + "▁сумас": 45278, + "▁жилищ": 45279, + "▁преступление": 45280, + "▁Утром": 45281, + "▁гнев": 45282, + "▁младший": 45283, + "▁выступление": 45284, + "▁РККА": 45285, + "»\"": 45286, + "▁марок": 45287, + "▁отожде": 45288, + "▁Любовь": 45289, + "▁Возвра": 45290, + "▁руководству": 45291, + "ненко": 45292, + "▁Куба": 45293, + "▁лежал": 45294, + "▁СА": 45295, + "▁называются": 45296, + "▁технического": 45297, + "летних": 45298, + "▁финансовой": 45299, + "милли": 45300, + "rance": 45301, + "▁Валерий": 45302, + "▁выглядеть": 45303, + "▁сложнее": 45304, + "зра": 45305, + "▁официальном": 45306, + "▁граждане": 45307, + "▁монта": 45308, + "▁обращается": 45309, + "▁Дальше": 45310, + "▁больной": 45311, + "▁царство": 45312, + "▁хранили": 45313, + "▁бежал": 45314, + "▁справедли": 45315, + "▁Германией": 45316, + "▁дивер": 45317, + "▁тяжести": 45318, + "▁страной": 45319, + "▁Дем": 45320, + "▁Энгель": 45321, + "▁отоз": 45322, + "▁эро": 45323, + "▁открывает": 45324, + "▁лай": 45325, + "▁вела": 45326, + "чивый": 45327, + "▁умение": 45328, + "▁Кло": 45329, + "▁высшее": 45330, + "▁помогать": 45331, + "кия": 45332, + "▁целые": 45333, + "▁раннего": 45334, + "▁страницах": 45335, + "▁завеща": 45336, + "пири": 45337, + "▁Даге": 45338, + "▁обычного": 45339, + "▁съез": 45340, + "▁воспа": 45341, + "▁умы": 45342, + "▁заняться": 45343, + "▁зама": 45344, + "▁стили": 45345, + "▁эвакуи": 45346, + "▁угля": 45347, + "▁заинтересо": 45348, + "рыз": 45349, + "▁таблицы": 45350, + "▁Татьяна": 45351, + "нист": 45352, + "▁мотор": 45353, + "▁экзо": 45354, + "▁Суво": 45355, + "▁благополучно": 45356, + "▁бесконечно": 45357, + "▁смяг": 45358, + "гаться": 45359, + "ковали": 45360, + "суа": 45361, + "▁футболу": 45362, + "▁военнослужащих": 45363, + "▁единица": 45364, + "▁Кристи": 45365, + "▁пошло": 45366, + "▁Старо": 45367, + "▁исторические": 45368, + "▁Взя": 45369, + "▁менедже": 45370, + "▁орденами": 45371, + "▁попра": 45372, + "▁обычный": 45373, + "Моск": 45374, + "све": 45375, + "линский": 45376, + "▁расширение": 45377, + "▁своев": 45378, + "торий": 45379, + "▁Чарль": 45380, + "▁мульти": 45381, + "▁горю": 45382, + "▁княже": 45383, + "▁неи": 45384, + "▁осуществлять": 45385, + "▁отдельной": 45386, + "▁выпа": 45387, + "хран": 45388, + "▁отправились": 45389, + "▁дог": 45390, + "▁выби": 45391, + "▁кнопку": 45392, + "▁достигли": 45393, + "▁непод": 45394, + "▁нера": 45395, + "▁землетря": 45396, + "▁Абду": 45397, + "▁судей": 45398, + "▁Язы": 45399, + "метрии": 45400, + "▁Богда": 45401, + "▁командующего": 45402, + "▁памятника": 45403, + "▁Еванге": 45404, + "▁разрушения": 45405, + "▁Яку": 45406, + "▁бывшей": 45407, + "▁большевиков": 45408, + "▁приё": 45409, + "▁румы": 45410, + "▁признания": 45411, + "▁мульт": 45412, + "▁миллионы": 45413, + "▁Лос": 45414, + "▁взы": 45415, + "▁убеждения": 45416, + "▁Лео": 45417, + "▁правительству": 45418, + "нову": 45419, + "▁Решение": 45420, + "▁Дэвид": 45421, + "ношений": 45422, + "▁рыча": 45423, + "▁пальцев": 45424, + "▁ЗА": 45425, + "▁Лиги": 45426, + "▁активное": 45427, + "стику": 45428, + "▁выполнении": 45429, + "▁крепко": 45430, + "▁изъ": 45431, + "▁смея": 45432, + "гите": 45433, + "▁вещество": 45434, + "▁Против": 45435, + "▁детских": 45436, + "▁услож": 45437, + "▁развиваться": 45438, + "▁Пись": 45439, + "▁отража": 45440, + "▁маленькой": 45441, + "хоже": 45442, + "▁убедиться": 45443, + "Нет": 45444, + "▁Хей": 45445, + "▁видимости": 45446, + "▁пятьдесят": 45447, + "▁вон": 45448, + "▁технике": 45449, + "▁историей": 45450, + "▁популярность": 45451, + "▁приобретает": 45452, + "▁выходят": 45453, + "▁единства": 45454, + "▁безум": 45455, + "▁вспоминает": 45456, + "▁помещении": 45457, + "ляцию": 45458, + "▁Воль": 45459, + "▁печата": 45460, + "▁Максим": 45461, + "▁Вспом": 45462, + "▁патрио": 45463, + "гун": 45464, + "▁герцога": 45465, + "▁спрашивает": 45466, + "нейшее": 45467, + "▁ежеднев": 45468, + "▁боевого": 45469, + "▁Лука": 45470, + "▁награды": 45471, + "▁разобла": 45472, + "▁крупным": 45473, + "▁воо": 45474, + "беди": 45475, + "вара": 45476, + "▁волей": 45477, + "▁следствием": 45478, + "▁Тек": 45479, + "▁красного": 45480, + "▁дым": 45481, + "▁волна": 45482, + "▁Зака": 45483, + "▁гениаль": 45484, + "▁истребителей": 45485, + "▁сомнений": 45486, + "▁колони": 45487, + "▁пользовался": 45488, + "село": 45489, + "▁некоторой": 45490, + "рской": 45491, + "▁вымы": 45492, + "▁говорим": 45493, + "▁диссертацию": 45494, + "▁получило": 45495, + "▁советская": 45496, + "▁необходимое": 45497, + "▁ценных": 45498, + "▁уничтожения": 45499, + "▁умолчанию": 45500, + "▁Комитета": 45501, + "▁больницу": 45502, + "▁потребления": 45503, + "▁настройки": 45504, + "чьи": 45505, + "▁подводных": 45506, + "▁лошадь": 45507, + "▁губ": 45508, + "▁Главного": 45509, + "▁потерь": 45510, + "▁толпы": 45511, + "▁пальцы": 45512, + "клу": 45513, + "▁Анали": 45514, + "▁наследия": 45515, + "ману": 45516, + "ппо": 45517, + "▁общ": 45518, + "▁референ": 45519, + "▁совести": 45520, + "смотрите": 45521, + "▁частной": 45522, + "хоза": 45523, + "▁пациентов": 45524, + "▁товарищи": 45525, + "веща": 45526, + "▁надеюсь": 45527, + "гова": 45528, + "▁собаку": 45529, + "жига": 45530, + "▁Интернет": 45531, + "▁балет": 45532, + "▁потребуется": 45533, + "▁проща": 45534, + "▁Третья": 45535, + "Воз": 45536, + "▁процента": 45537, + "▁челю": 45538, + "▁изум": 45539, + "includ": 45540, + "▁зовут": 45541, + "▁Каль": 45542, + "▁мощностью": 45543, + "▁бесплатно": 45544, + "▁Уил": 45545, + "дными": 45546, + "▁Гю": 45547, + "▁взяла": 45548, + "куру": 45549, + "▁свеже": 45550, + "▁Крыму": 45551, + "▁подробности": 45552, + "▁ждал": 45553, + "▁фельд": 45554, + "▁производству": 45555, + "лэ": 45556, + "▁рога": 45557, + "▁Византи": 45558, + "нче": 45559, + "▁сыновья": 45560, + "▁отражает": 45561, + "▁убежи": 45562, + "ловский": 45563, + "▁попыток": 45564, + "линей": 45565, + "▁пожало": 45566, + "▁нашла": 45567, + "стник": 45568, + "▁португа": 45569, + "тской": 45570, + "▁шаги": 45571, + "▁фактор": 45572, + "▁Бориса": 45573, + "▁понимали": 45574, + "▁стороной": 45575, + "▁государстве": 45576, + "▁обозначения": 45577, + "единён": 45578, + "▁МА": 45579, + "▁веж": 45580, + "▁защитить": 45581, + "рыми": 45582, + "▁витами": 45583, + "нтер": 45584, + "▁Шев": 45585, + "▁передо": 45586, + "донос": 45587, + "Americ": 45588, + "▁материали": 45589, + "▁Супер": 45590, + "▁Иоанн": 45591, + "словие": 45592, + "▁показатель": 45593, + "▁черной": 45594, + "▁равна": 45595, + "▁бота": 45596, + "▁лекси": 45597, + "▁карьере": 45598, + "▁постели": 45599, + "виз": 45600, + "шников": 45601, + "▁нею": 45602, + "▁социал": 45603, + "ец": 45604, + "▁работник": 45605, + "▁царства": 45606, + "Ду": 45607, + "▁опухо": 45608, + "▁твои": 45609, + "▁поколений": 45610, + "▁количеству": 45611, + "▁Баль": 45612, + "▁отрази": 45613, + "▁раун": 45614, + "▁потенциал": 45615, + "ГА": 45616, + "▁реакцию": 45617, + "▁аспи": 45618, + "▁епископа": 45619, + "▁свободной": 45620, + "▁нуждается": 45621, + "▁открыта": 45622, + "▁собирать": 45623, + "▁аэропор": 45624, + "▁ближайшие": 45625, + "▁министром": 45626, + "▁памятников": 45627, + "▁Ил": 45628, + "▁единственная": 45629, + "▁адресу": 45630, + "▁недоступ": 45631, + "▁создано": 45632, + "▁агрега": 45633, + "▁Проект": 45634, + "▁определё": 45635, + "▁стремился": 45636, + "▁считалось": 45637, + "▁углом": 45638, + "▁клубом": 45639, + "▁площадью": 45640, + "▁проводились": 45641, + "▁Дети": 45642, + "▁предстояло": 45643, + "▁направлений": 45644, + "▁умно": 45645, + "▁совмести": 45646, + "▁Азербайджана": 45647, + "▁справиться": 45648, + "▁Принци": 45649, + "▁Томас": 45650, + "местно": 45651, + "▁монар": 45652, + "▁направлены": 45653, + "▁Белого": 45654, + "▁ростом": 45655, + "▁Лермон": 45656, + "▁произведен": 45657, + "▁электронной": 45658, + "▁национальный": 45659, + "дилась": 45660, + "▁позволили": 45661, + "▁войной": 45662, + "▁мемуа": 45663, + "▁Португа": 45664, + "шенная": 45665, + "▁добился": 45666, + "▁фигур": 45667, + "▁желает": 45668, + "▁разделить": 45669, + "▁месяцы": 45670, + "▁лжи": 45671, + "▁капиту": 45672, + "▁капитал": 45673, + "воя": 45674, + "шай": 45675, + "▁продать": 45676, + "▁вашем": 45677, + "ieuten": 45678, + "▁прекрасный": 45679, + "▁одноимён": 45680, + "inem": 45681, + "▁почвы": 45682, + "▁Является": 45683, + "▁офицера": 45684, + "▁шагов": 45685, + "▁персонаж": 45686, + "▁идеали": 45687, + "ЧС": 45688, + "ссам": 45689, + "▁репли": 45690, + "▁ребенку": 45691, + "ХЛ": 45692, + "▁ближайшее": 45693, + "▁носил": 45694, + "▁регионах": 45695, + "essor": 45696, + "▁узлов": 45697, + "▁Шер": 45698, + "▁Хэ": 45699, + "▁критику": 45700, + "Луч": 45701, + "▁грузи": 45702, + "вающее": 45703, + "▁танковой": 45704, + "▁будущих": 45705, + "▁Характер": 45706, + "▁голосования": 45707, + "Андже": 45708, + "▁озву": 45709, + "▁металлов": 45710, + "▁Оказалось": 45711, + "́ль": 45712, + "▁Наша": 45713, + "▁забра": 45714, + "▁страсти": 45715, + "▁Управление": 45716, + "когда": 45717, + "▁взаимоотношения": 45718, + "▁заговор": 45719, + "▁Чемпион": 45720, + "▁сигнала": 45721, + "▁русскими": 45722, + "▁резолю": 45723, + "▁заметили": 45724, + "▁провали": 45725, + "▁важнейших": 45726, + "▁привязан": 45727, + "▁стекла": 45728, + "▁пружи": 45729, + "▁князей": 45730, + "▁пользовались": 45731, + "альное": 45732, + "нги": 45733, + "▁поту": 45734, + "ступив": 45735, + "▁поговорить": 45736, + "▁сборная": 45737, + "▁номером": 45738, + "▁Октябрьской": 45739, + "▁откровен": 45740, + "▁социализма": 45741, + "▁Най": 45742, + "▁лом": 45743, + "▁каждые": 45744, + "рать": 45745, + "проект": 45746, + "вуд": 45747, + "▁журналистам": 45748, + "▁столкновения": 45749, + "▁проживало": 45750, + "▁долга": 45751, + "▁преры": 45752, + "▁обман": 45753, + "▁транспортных": 45754, + "тельских": 45755, + "новка": 45756, + "▁смеси": 45757, + "▁Геро": 45758, + "▁вдвое": 45759, + "▁ознакоми": 45760, + "▁зону": 45761, + "▁догада": 45762, + "▁Арави": 45763, + "▁приводят": 45764, + "альная": 45765, + "лией": 45766, + "▁представил": 45767, + "▁чеш": 45768, + "▁особенность": 45769, + "▁становились": 45770, + "▁Ран": 45771, + "▁воскре": 45772, + "▁противником": 45773, + "вардей": 45774, + "▁балла": 45775, + "ционера": 45776, + "▁Улица": 45777, + "▁Группа": 45778, + "▁груз": 45779, + "▁мигра": 45780, + "▁символов": 45781, + "▁надежда": 45782, + "стическую": 45783, + "▁чудовищ": 45784, + "▁проволо": 45785, + "▁английских": 45786, + "▁крупной": 45787, + "▁произвести": 45788, + "алы": 45789, + "▁зря": 45790, + "Под": 45791, + "▁печат": 45792, + "▁подобной": 45793, + "▁Югославии": 45794, + "▁Пожалуй": 45795, + "▁настроения": 45796, + "▁генеральный": 45797, + "▁денежных": 45798, + "▁набере": 45799, + "▁Экс": 45800, + "▁показаться": 45801, + "▁корм": 45802, + "▁согласие": 45803, + "▁равнове": 45804, + "rong": 45805, + "▁сетей": 45806, + "▁полки": 45807, + "некдо": 45808, + "▁отдельного": 45809, + "▁малой": 45810, + "▁лодок": 45811, + "▁Татар": 45812, + "▁чине": 45813, + "точных": 45814, + "▁Силь": 45815, + "ив": 45816, + "▁полученных": 45817, + "▁снизу": 45818, + "▁требовалось": 45819, + "▁назначил": 45820, + "▁вопросе": 45821, + "территориаль": 45822, + "▁соревнований": 45823, + "лава": 45824, + "▁спусти": 45825, + "▁Узбеки": 45826, + "▁официальной": 45827, + "▁Министерство": 45828, + "Интер": 45829, + "▁Вет": 45830, + "ковод": 45831, + "▁академик": 45832, + "▁Оре": 45833, + "▁Киева": 45834, + "▁Христос": 45835, + "▁существ": 45836, + "▁значении": 45837, + "▁мужество": 45838, + "▁конкретного": 45839, + "▁ориентирова": 45840, + "▁обратил": 45841, + "▁сооружений": 45842, + "просы": 45843, + "▁встроен": 45844, + "▁замка": 45845, + "▁сообщить": 45846, + "дачи": 45847, + "▁Работал": 45848, + "▁Латвии": 45849, + "▁праздни": 45850, + "▁производит": 45851, + "▁agricult": 45852, + "жами": 45853, + "ОП": 45854, + "▁Масса": 45855, + "▁слоя": 45856, + "▁одея": 45857, + "ёте": 45858, + "▁защита": 45859, + "ническая": 45860, + "▁писала": 45861, + "стал": 45862, + "▁Афана": 45863, + "▁комедии": 45864, + "▁Генрих": 45865, + "▁Генна": 45866, + "▁норве": 45867, + "▁военном": 45868, + "развед": 45869, + "▁отправиться": 45870, + "▁думали": 45871, + "фото": 45872, + "игра": 45873, + "женную": 45874, + "трю": 45875, + "▁учитывая": 45876, + "▁рассказывать": 45877, + "гию": 45878, + "ндо": 45879, + "▁описал": 45880, + "▁Чёр": 45881, + "▁Апол": 45882, + "ренности": 45883, + "▁небы": 45884, + "▁облик": 45885, + "▁усы": 45886, + "▁потребителей": 45887, + "▁размещения": 45888, + "довали": 45889, + "метр": 45890, + "Вели": 45891, + "▁Алексеевич": 45892, + "▁финал": 45893, + "▁дно": 45894, + "▁возвраща": 45895, + "▁достижение": 45896, + "unior": 45897, + "лекопита": 45898, + "▁обещал": 45899, + "▁тайны": 45900, + "▁нанести": 45901, + "▁экскур": 45902, + "▁восприятие": 45903, + "▁девушку": 45904, + "▁сильных": 45905, + "▁стихотворения": 45906, + "▁сравнения": 45907, + "▁статуса": 45908, + "▁инженера": 45909, + "▁Говори": 45910, + "▁называемых": 45911, + "▁спину": 45912, + "▁вреда": 45913, + "▁Саратов": 45914, + "жоу": 45915, + "▁перешла": 45916, + "▁Аналоги": 45917, + "▁оправды": 45918, + "▁передаче": 45919, + "▁Брат": 45920, + "▁полезно": 45921, + "▁смеши": 45922, + "▁слизи": 45923, + "▁неправильно": 45924, + "́,": 45925, + "▁всер": 45926, + "▁тканей": 45927, + "цкая": 45928, + "▁баскет": 45929, + "▁аэропорта": 45930, + "▁контролем": 45931, + "▁образец": 45932, + "▁персид": 45933, + "▁каба": 45934, + "▁покоя": 45935, + "чиками": 45936, + "▁командующий": 45937, + "▁рубля": 45938, + "▁прочего": 45939, + "▁Майкл": 45940, + "▁Люби": 45941, + "▁фрей": 45942, + "▁вожде": 45943, + "▁планете": 45944, + "▁урегули": 45945, + "▁единственное": 45946, + "▁Конгре": 45947, + "▁Николаев": 45948, + "▁травмы": 45949, + "нскую": 45950, + "▁штате": 45951, + "▁произнес": 45952, + "ректор": 45953, + "▁заседания": 45954, + "▁Георгия": 45955, + "ловича": 45956, + "▁доходы": 45957, + "▁праве": 45958, + "▁настрой": 45959, + "щиками": 45960, + "иска": 45961, + "▁указанных": 45962, + "▁составлял": 45963, + "▁основное": 45964, + "▁выступают": 45965, + "▁усер": 45966, + "▁диапазо": 45967, + "шедший": 45968, + "скопи": 45969, + "▁гвоз": 45970, + "▁воля": 45971, + "▁латы": 45972, + "▁совокупность": 45973, + "▁коллекции": 45974, + "▁привык": 45975, + "дивительно": 45976, + "▁ископа": 45977, + "▁гибель": 45978, + "▁ходили": 45979, + "щимся": 45980, + "▁населением": 45981, + "НЕ": 45982, + "▁Ахма": 45983, + "торам": 45984, + "▁бумаг": 45985, + "▁комен": 45986, + "▁дыхания": 45987, + "▁твёр": 45988, + "нинг": 45989, + "▁Результаты": 45990, + "▁подно": 45991, + "▁травы": 45992, + "▁носят": 45993, + "▁лицам": 45994, + "▁советы": 45995, + "▁славу": 45996, + "▁стекля": 45997, + "метов": 45998, + "▁Господа": 45999, + "▁гражданских": 46000, + "рокко": 46001, + "▁эксплуатацию": 46002, + "▁старей": 46003, + "▁всякие": 46004, + "▁рассказов": 46005, + "▁срочно": 46006, + "▁группами": 46007, + "▁ячей": 46008, + "▁образуется": 46009, + "▁Проблема": 46010, + "▁бель": 46011, + "▁Государственный": 46012, + "▁давлением": 46013, + "совые": 46014, + "▁ветви": 46015, + "харак": 46016, + "▁наилуч": 46017, + "▁типу": 46018, + "▁произойдет": 46019, + "жут": 46020, + "▁трубы": 46021, + ".#": 46022, + "▁девочки": 46023, + "▁пало": 46024, + "▁разма": 46025, + "▁Дай": 46026, + "▁Вера": 46027, + "▁массой": 46028, + "▁коллектива": 46029, + "▁шест": 46030, + "▁основал": 46031, + "▁никуда": 46032, + "▁элементами": 46033, + "▁полномочий": 46034, + "▁гипо": 46035, + "▁находящихся": 46036, + "дес": 46037, + "кио": 46038, + "тема": 46039, + "ляться": 46040, + "▁уголовное": 46041, + "ьева": 46042, + "▁Горького": 46043, + "чьих": 46044, + "▁действовали": 46045, + "▁Сент": 46046, + "▁прого": 46047, + "▁вызвали": 46048, + "▁описать": 46049, + "▁злоупотре": 46050, + "▁Начало": 46051, + "▁потребностей": 46052, + "▁взросло": 46053, + "вкой": 46054, + "▁беспоряд": 46055, + "▁Ломоно": 46056, + "▁распределения": 46057, + "▁нале": 46058, + "▁Порт": 46059, + "▁Буха": 46060, + "▁Неужели": 46061, + "▁дай": 46062, + "▁патриарха": 46063, + "▁сливо": 46064, + "▁сделает": 46065, + "▁считаться": 46066, + "▁официальных": 46067, + "▁критика": 46068, + "▁признан": 46069, + "Ор": 46070, + "тчики": 46071, + "▁столкнове": 46072, + "▁Бэ": 46073, + "▁гл": 46074, + "▁cerem": 46075, + "▁посетил": 46076, + "▁корректи": 46077, + "▁отмечал": 46078, + "▁сильной": 46079, + "лама": 46080, + "▁хвост": 46081, + "▁необходимы": 46082, + "▁вашим": 46083, + "▁низкой": 46084, + "▁ограничений": 46085, + "▁умереть": 46086, + "▁лишения": 46087, + "бини": 46088, + "▁подтвердил": 46089, + "Фа": 46090, + "▁забира": 46091, + "рассу": 46092, + "▁подать": 46093, + "▁удовольствия": 46094, + "товал": 46095, + "▁духом": 46096, + "▁подал": 46097, + "cious": 46098, + "▁подозри": 46099, + "ёрт": 46100, + "▁пригласил": 46101, + "дями": 46102, + "▁Постоя": 46103, + "щаяся": 46104, + "▁хорошая": 46105, + "▁смело": 46106, + "▁снизи": 46107, + "▁картофе": 46108, + "▁становился": 46109, + "▁Норвегии": 46110, + "люсь": 46111, + "▁Богороди": 46112, + "▁современный": 46113, + "▁побед": 46114, + "▁плотно": 46115, + "▁Строи": 46116, + "▁саду": 46117, + "вение": 46118, + "▁Леона": 46119, + "▁бь": 46120, + "ждаться": 46121, + "▁восстановление": 46122, + "▁даты": 46123, + "разви": 46124, + "▁твоей": 46125, + "шенного": 46126, + "▁потребовал": 46127, + "▁Гарри": 46128, + "динг": 46129, + "жав": 46130, + "▁различие": 46131, + "▁заключи": 46132, + "▁Астра": 46133, + "▁построены": 46134, + "▁небольшую": 46135, + "▁Иде": 46136, + "▁беспоко": 46137, + "мотри": 46138, + "▁Кубок": 46139, + "▁вину": 46140, + "▁переза": 46141, + "▁ждали": 46142, + "!\",": 46143, + "!»": 46144, + "▁сомни": 46145, + "▁эше": 46146, + "▁Запа": 46147, + "▁призем": 46148, + "▁Ник": 46149, + "▁аварии": 46150, + "СЯ": 46151, + "▁содержанием": 46152, + "▁общественный": 46153, + "▁сильного": 46154, + "▁выбрал": 46155, + "▁печени": 46156, + "▁банди": 46157, + "▁такси": 46158, + "рога": 46159, + "▁Конституции": 46160, + "западе": 46161, + "▁сюр": 46162, + "станция": 46163, + "▁перекре": 46164, + "▁принести": 46165, + "низма": 46166, + "ieutenant": 46167, + "▁попробу": 46168, + "▁фини": 46169, + "▁ждут": 46170, + "▁бесси": 46171, + "▁промышленных": 46172, + "Вот": 46173, + "мем": 46174, + "▁турнир": 46175, + "▁перспективы": 46176, + "▁удовлетвори": 46177, + "▁политическую": 46178, + "▁супруга": 46179, + "▁выпусти": 46180, + "▁осново": 46181, + "▁деньгами": 46182, + "▁огромную": 46183, + "ждала": 46184, + "▁искренне": 46185, + "▁целую": 46186, + "▁расположенных": 46187, + "Спарта": 46188, + "▁жёл": 46189, + "▁ушла": 46190, + "▁выйдет": 46191, + "▁вспомнил": 46192, + "▁двенадцать": 46193, + "▁тяжелой": 46194, + "▁полуша": 46195, + "▁ОТ": 46196, + "▁пробо": 46197, + "▁проблемами": 46198, + "▁dang": 46199, + "конферен": 46200, + "▁Кора": 46201, + "служба": 46202, + "▁файлы": 46203, + "▁сертифика": 46204, + "▁неизмен": 46205, + "▁Бала": 46206, + "▁захватили": 46207, + "▁дифференци": 46208, + "воздуш": 46209, + "▁диска": 46210, + "▁попытке": 46211, + "▁образца": 46212, + "▁Иисус": 46213, + "▁существовали": 46214, + "▁разбой": 46215, + "тыся": 46216, + "▁окрестностях": 46217, + "́т": 46218, + "▁снял": 46219, + "▁приво": 46220, + "▁Адам": 46221, + "▁успехов": 46222, + "рованную": 46223, + "▁Македо": 46224, + "▁факульте": 46225, + "▁покупать": 46226, + "▁Количество": 46227, + "▁круго": 46228, + "▁Русь": 46229, + "▁засу": 46230, + "▁связя": 46231, + "кель": 46232, + "▁начинать": 46233, + "▁Наполеона": 46234, + "▁этаже": 46235, + "▁подсозна": 46236, + "▁расположенный": 46237, + "чёта": 46238, + "совест": 46239, + "▁советское": 46240, + "▁ступени": 46241, + "▁Значи": 46242, + "▁скота": 46243, + "хле": 46244, + "▁профсо": 46245, + "▁надоб": 46246, + "▁Никогда": 46247, + "▁финала": 46248, + "унд": 46249, + "▁применением": 46250, + "▁условие": 46251, + "▁страдания": 46252, + "шных": 46253, + "шлись": 46254, + "▁Англию": 46255, + "▁приоб": 46256, + "тонов": 46257, + "▁плац": 46258, + "▁сорока": 46259, + "▁Ленинграде": 46260, + "вна": 46261, + "ням": 46262, + "льском": 46263, + "▁макро": 46264, + "чивается": 46265, + "▁главу": 46266, + "▁наружу": 46267, + "▁утили": 46268, + "▁приемы": 46269, + "▁Владимирович": 46270, + "▁всад": 46271, + "▁кольца": 46272, + "обе": 46273, + "▁зарубежных": 46274, + "▁Ката": 46275, + "▁Национальный": 46276, + "▁ведо": 46277, + "▁первому": 46278, + "▁яго": 46279, + "▁доверя": 46280, + "▁курсе": 46281, + "▁христианства": 46282, + "▁механизмы": 46283, + "▁развивать": 46284, + "логе": 46285, + "▁американская": 46286, + "▁значительную": 46287, + "▁Калу": 46288, + "▁отче": 46289, + "тятся": 46290, + "▁Итали": 46291, + "▁собирались": 46292, + "▁формально": 46293, + "▁музыке": 46294, + "▁колосса": 46295, + "▁Опять": 46296, + "▁весен": 46297, + "▁древнего": 46298, + "▁полуострова": 46299, + "▁сознательно": 46300, + "▁противников": 46301, + "▁Международного": 46302, + "▁построй": 46303, + "▁проблеме": 46304, + "▁пожар": 46305, + "льских": 46306, + "▁молодости": 46307, + "zil": 46308, + "▁Трам": 46309, + "▁объём": 46310, + "▁библей": 46311, + "▁госуда": 46312, + "чиной": 46313, + "▁Сдела": 46314, + "▁алюми": 46315, + "▁Брита": 46316, + "▁написана": 46317, + "чан": 46318, + "▁австралий": 46319, + "▁определяют": 46320, + "▁тупи": 46321, + "СБ": 46322, + "скоп": 46323, + "▁маленькая": 46324, + "▁Важно": 46325, + "▁чь": 46326, + "▁мгновение": 46327, + "▁формах": 46328, + "ленно": 46329, + "▁слышать": 46330, + "клы": 46331, + "несены": 46332, + "▁насекомых": 46333, + "▁почве": 46334, + "▁компоненты": 46335, + "▁Четы": 46336, + "▁конь": 46337, + "▁мастеров": 46338, + "▁рассмотрения": 46339, + "▁миллион": 46340, + "▁небольшого": 46341, + "▁эксперимент": 46342, + "▁Чаще": 46343, + "▁dra": 46344, + "дни": 46345, + "▁островах": 46346, + "▁захвата": 46347, + "хма": 46348, + "▁римля": 46349, + "▁черного": 46350, + "▁перевер": 46351, + "▁женского": 46352, + "▁будущей": 46353, + "▁мону": 46354, + "▁сказки": 46355, + "▁введения": 46356, + "▁Лег": 46357, + "▁технические": 46358, + "телось": 46359, + "▁символом": 46360, + "ОК": 46361, + "▁споры": 46362, + "▁костей": 46363, + "▁проводятся": 46364, + "зали": 46365, + "odies": 46366, + "▁нагру": 46367, + "▁календар": 46368, + "▁сержант": 46369, + "▁образован": 46370, + "▁засыпа": 46371, + "▁вины": 46372, + "▁сочетании": 46373, + "функ": 46374, + "▁Кав": 46375, + "▁политическая": 46376, + "вери": 46377, + "▁диагно": 46378, + "▁шот": 46379, + "▁спине": 46380, + "▁ценой": 46381, + "▁Институт": 46382, + "▁посовето": 46383, + "▁РА": 46384, + "шна": 46385, + "▁образцы": 46386, + "▁Сказа": 46387, + "▁называемой": 46388, + "▁анима": 46389, + "читывая": 46390, + "▁рю": 46391, + "▁третья": 46392, + "uting": 46393, + "▁навыки": 46394, + "▁старшим": 46395, + "▁механизмов": 46396, + "▁запрет": 46397, + "▁млекопита": 46398, + "▁токси": 46399, + "▁пользуется": 46400, + "▁форси": 46401, + "▁Флорен": 46402, + "▁наименование": 46403, + "сар": 46404, + "▁образует": 46405, + "▁преле": 46406, + "▁чужой": 46407, + "▁свободе": 46408, + "▁литературу": 46409, + "▁реоргани": 46410, + "фильм": 46411, + "▁ню": 46412, + "▁тенденции": 46413, + "▁шле": 46414, + "▁рыбу": 46415, + "▁ремесле": 46416, + "дием": 46417, + "▁Улья": 46418, + "▁происшествия": 46419, + "▁поступать": 46420, + "▁Кот": 46421, + "ocated": 46422, + "▁зат": 46423, + "бота": 46424, + "▁санитар": 46425, + "▁расследова": 46426, + "▁Ирландии": 46427, + "▁коричне": 46428, + "▁показала": 46429, + "▁казаков": 46430, + "▁женской": 46431, + "▁рент": 46432, + "▁азо": 46433, + "▁автодоро": 46434, + "▁Вечером": 46435, + "▁большего": 46436, + "▁выступлений": 46437, + "▁улицах": 46438, + "ровкой": 46439, + "▁брони": 46440, + "▁презента": 46441, + "▁Постано": 46442, + "▁выставке": 46443, + "rowd": 46444, + "▁думают": 46445, + "Бы": 46446, + "▁империали": 46447, + "тово": 46448, + "▁концепция": 46449, + "ниса": 46450, + "▁общаться": 46451, + "▁Ближ": 46452, + "▁фразы": 46453, + "▁сделан": 46454, + "снаб": 46455, + "▁подъем": 46456, + "▁Наталья": 46457, + "▁повест": 46458, + "▁продаже": 46459, + "▁директоров": 46460, + "заны": 46461, + "▁Зай": 46462, + "▁встретиться": 46463, + "▁Осенью": 46464, + "▁позволил": 46465, + "▁судьи": 46466, + "▁юности": 46467, + "▁атмосферу": 46468, + "▁Кир": 46469, + "ленными": 46470, + "▁дивизиона": 46471, + "ГИ": 46472, + "квизи": 46473, + "▁стоило": 46474, + "вите": 46475, + "ванных": 46476, + "юзеля": 46477, + "▁спектра": 46478, + "▁политическим": 46479, + "▁наблюдений": 46480, + "▁возможные": 46481, + "▁приклад": 46482, + "▁Уол": 46483, + "▁разногла": 46484, + "вани": 46485, + "▁возникнове": 46486, + "знание": 46487, + "▁атмосферы": 46488, + "▁философия": 46489, + "▁затрат": 46490, + "▁плечи": 46491, + "▁использовался": 46492, + "мса": 46493, + "▁национально": 46494, + "▁откровенно": 46495, + "▁падение": 46496, + "▁направлению": 46497, + "ваешь": 46498, + "»\".": 46499, + "▁митин": 46500, + "зовая": 46501, + "чатки": 46502, + "▁Собственно": 46503, + "▁диаметром": 46504, + "▁запасы": 46505, + "▁очер": 46506, + "▁экспертов": 46507, + "▁нелег": 46508, + "▁пыль": 46509, + "▁обычные": 46510, + "▁содержать": 46511, + "▁одежда": 46512, + "Боль": 46513, + "▁ТВ": 46514, + "▁дворце": 46515, + "▁гипно": 46516, + "▁океа": 46517, + "▁Эли": 46518, + "▁нелега": 46519, + "▁спросить": 46520, + "▁локали": 46521, + "▁пожара": 46522, + "▁открытой": 46523, + "кнула": 46524, + "сели": 46525, + "▁повезло": 46526, + "▁парази": 46527, + "▁веще": 46528, + "▁причину": 46529, + "▁сеан": 46530, + "▁начнет": 46531, + "▁чтение": 46532, + "носил": 46533, + "свет": 46534, + "▁Хри": 46535, + "▁расто": 46536, + "▁существующих": 46537, + "▁выборе": 46538, + "▁светло": 46539, + "▁разговоры": 46540, + "наго": 46541, + "ОВА": 46542, + "▁включают": 46543, + "ython": 46544, + "кладывают": 46545, + "▁сообщается": 46546, + "хау": 46547, + "▁химических": 46548, + "рованными": 46549, + "▁Имя": 46550, + "▁детской": 46551, + "▁контакты": 46552, + "▁расследование": 46553, + "▁Бак": 46554, + "▁оты": 46555, + "▁разверты": 46556, + "▁неви": 46557, + "▁консуль": 46558, + "▁мотивы": 46559, + "▁перебра": 46560, + "▁твоя": 46561, + "▁замечает": 46562, + "▁Сибир": 46563, + "стина": 46564, + "▁Учи": 46565, + "▁добраться": 46566, + "▁принуди": 46567, + "▁погу": 46568, + "▁свободное": 46569, + "▁начинал": 46570, + "▁важной": 46571, + "▁реформ": 46572, + "тиками": 46573, + "▁целых": 46574, + "▁храме": 46575, + "▁малого": 46576, + "▁Идея": 46577, + "▁нефть": 46578, + "▁доверие": 46579, + "▁Цвет": 46580, + "▁знаменитого": 46581, + "чались": 46582, + "▁реабили": 46583, + "коп": 46584, + "▁архитектор": 46585, + "▁репети": 46586, + "▁забывать": 46587, + "ТП": 46588, + "▁бывало": 46589, + "▁создается": 46590, + "▁мыше": 46591, + "ир": 46592, + "турах": 46593, + "▁фильмах": 46594, + "▁ареста": 46595, + "▁вызывать": 46596, + "пав": 46597, + "▁живого": 46598, + "▁Ради": 46599, + "пила": 46600, + "чался": 46601, + "▁рту": 46602, + "▁сражении": 46603, + "▁ходатай": 46604, + "▁применить": 46605, + "▁идеологии": 46606, + "▁Солне": 46607, + "▁перечень": 46608, + "▁считался": 46609, + "▁перифе": 46610, + "▁открытый": 46611, + "▁угрозой": 46612, + "▁плот": 46613, + "▁Импе": 46614, + "▁четверо": 46615, + "▁Кала": 46616, + "▁квалификации": 46617, + "ая": 46618, + "▁поступает": 46619, + "ЖД": 46620, + "устрой": 46621, + "▁лету": 46622, + "▁созре": 46623, + "▁парке": 46624, + "дент": 46625, + "жание": 46626, + "губерна": 46627, + "▁сюжета": 46628, + "смотреть": 46629, + "▁Полит": 46630, + "▁мужской": 46631, + "▁черные": 46632, + "▁Румынии": 46633, + "дишь": 46634, + "▁венти": 46635, + "▁весом": 46636, + "затор": 46637, + "▁Вдруг": 46638, + "▁приорите": 46639, + "ид": 46640, + "реали": 46641, + "▁сервера": 46642, + "▁кругом": 46643, + "▁афи": 46644, + "▁изображений": 46645, + "▁Правительство": 46646, + "▁Проис": 46647, + "▁предписа": 46648, + "▁приспо": 46649, + "▁свин": 46650, + "▁празднова": 46651, + "▁севера": 46652, + "жники": 46653, + "▁цензу": 46654, + "тине": 46655, + "мигра": 46656, + "лософ": 46657, + "▁жёст": 46658, + "▁храбро": 46659, + "▁добычи": 46660, + "▁отправили": 46661, + "▁пришёл": 46662, + "▁безрабо": 46663, + "▁Новые": 46664, + "▁Кин": 46665, + "сион": 46666, + "▁Ирана": 46667, + "▁монет": 46668, + "▁чечен": 46669, + "▁разработа": 46670, + "▁мифологии": 46671, + "▁глубже": 46672, + "▁персонала": 46673, + "▁экономические": 46674, + "▁соответствующей": 46675, + "irds": 46676, + "численные": 46677, + "▁топ": 46678, + "▁вопросами": 46679, + "▁шасси": 46680, + "▁достигла": 46681, + "▁прогрессив": 46682, + "▁украинский": 46683, + "▁мусо": 46684, + "▁отождеств": 46685, + "▁компроми": 46686, + "▁актов": 46687, + "▁Правительства": 46688, + "▁Волго": 46689, + "▁периоды": 46690, + "▁просить": 46691, + "▁переиз": 46692, + "▁эффекта": 46693, + "колы": 46694, + "▁варианте": 46695, + "▁слезы": 46696, + "▁Весной": 46697, + "▁видны": 46698, + "слове": 46699, + "▁поды": 46700, + "▁рассуждения": 46701, + "▁Экономи": 46702, + "вика": 46703, + "▁Остальные": 46704, + "▁коммуникации": 46705, + "▁хру": 46706, + "▁особые": 46707, + "▁требовал": 46708, + "▁Ким": 46709, + "▁Всесоюз": 46710, + "шенным": 46711, + "▁долине": 46712, + "чьего": 46713, + "▁передней": 46714, + "меров": 46715, + "ровало": 46716, + "▁продолжала": 46717, + "▁Саль": 46718, + "▁Фар": 46719, + "▁чувствую": 46720, + "▁Соответственно": 46721, + "шами": 46722, + "шаться": 46723, + "▁качеств": 46724, + "▁станций": 46725, + "▁Восток": 46726, + "ненную": 46727, + "▁подой": 46728, + "▁боев": 46729, + "ственностью": 46730, + "▁сделаны": 46731, + "грамму": 46732, + "▁ученого": 46733, + "▁художественный": 46734, + "▁КА": 46735, + "▁берут": 46736, + "▁уверенно": 46737, + "нгу": 46738, + "▁традиционно": 46739, + "▁огор": 46740, + "▁кв": 46741, + "▁массового": 46742, + "▁школах": 46743, + "▁Достаточно": 46744, + "▁рассматривается": 46745, + "▁освободить": 46746, + "▁смотрели": 46747, + "▁идее": 46748, + "▁кабине": 46749, + "▁ледя": 46750, + "▁инфраструктуры": 46751, + "пс": 46752, + "▁Юрия": 46753, + "▁полномочия": 46754, + "▁фальши": 46755, + "▁ядро": 46756, + "▁системах": 46757, + "пот": 46758, + "▁бросить": 46759, + "▁услышать": 46760, + "▁коммен": 46761, + "▁характерно": 46762, + "▁свойствами": 46763, + "▁мотоци": 46764, + "▁обраща": 46765, + "▁Почёт": 46766, + "▁измери": 46767, + "тируется": 46768, + "▁преобразования": 46769, + "▁движется": 46770, + "▁съём": 46771, + "шня": 46772, + "дара": 46773, + "▁российская": 46774, + "▁Бир": 46775, + "▁рассея": 46776, + "броса": 46777, + "▁Моги": 46778, + "▁Львов": 46779, + "ликов": 46780, + "▁Иерусали": 46781, + "вской": 46782, + "▁утрен": 46783, + "▁левый": 46784, + "▁поверить": 46785, + "шё": 46786, + "био": 46787, + "звез": 46788, + "▁судья": 46789, + "▁руководители": 46790, + "▁воссозда": 46791, + "▁Похоронен": 46792, + "▁знач": 46793, + "▁воздушного": 46794, + "лиги": 46795, + "▁Каждо": 46796, + "▁думаете": 46797, + "▁долгосро": 46798, + "▁отзыва": 46799, + "▁соответствуют": 46800, + "▁Чего": 46801, + "▁стремительно": 46802, + "▁Екатерины": 46803, + "▁Хью": 46804, + "▁включить": 46805, + "▁стихотворение": 46806, + "▁организовал": 46807, + "▁стоян": 46808, + "▁вершины": 46809, + "▁собрались": 46810, + "▁космического": 46811, + "гс": 46812, + "▁кабинете": 46813, + "▁Электро": 46814, + "▁bey": 46815, + "▁гармони": 46816, + "▁иран": 46817, + "▁объявили": 46818, + "▁отмечают": 46819, + "▁поехал": 46820, + "▁листа": 46821, + "▁Будь": 46822, + "▁Эстонии": 46823, + "мовой": 46824, + "вою": 46825, + "▁прямого": 46826, + "▁Апо": 46827, + "▁лез": 46828, + "таться": 46829, + "▁обстановки": 46830, + "▁упорно": 46831, + "▁поначалу": 46832, + "▁тексту": 46833, + "веров": 46834, + "▁чесно": 46835, + "▁природой": 46836, + "логический": 46837, + "▁МГУ": 46838, + "▁перевести": 46839, + "▁Карло": 46840, + "▁командиров": 46841, + "▁вероятности": 46842, + "▁трети": 46843, + "обы": 46844, + "▁методами": 46845, + "▁украинских": 46846, + "ура": 46847, + "▁технической": 46848, + "▁прибре": 46849, + "▁XXI": 46850, + "▁времён": 46851, + "▁Советов": 46852, + "▁Фра": 46853, + "▁carri": 46854, + "▁органах": 46855, + "ганской": 46856, + "тары": 46857, + "▁проста": 46858, + "▁пятнадцать": 46859, + "▁Египте": 46860, + "▁Соч": 46861, + "▁акта": 46862, + "▁Льво": 46863, + "▁носили": 46864, + "▁Доку": 46865, + "ппе": 46866, + "▁поддержать": 46867, + "▁трубку": 46868, + "▁приведет": 46869, + "знания": 46870, + "▁учёный": 46871, + "▁След": 46872, + "▁Двор": 46873, + "▁Лы": 46874, + "высо": 46875, + "▁страница": 46876, + "▁неизменно": 46877, + "▁китайской": 46878, + "стерои": 46879, + "эле": 46880, + "чёр": 46881, + "▁положил": 46882, + "нько": 46883, + "▁Псков": 46884, + "▁медицинского": 46885, + "▁мышление": 46886, + "▁Показа": 46887, + "▁Ирина": 46888, + "▁нарушений": 46889, + "нуты": 46890, + "▁Росто": 46891, + "ванный": 46892, + "▁стену": 46893, + "▁Америку": 46894, + "▁эмоций": 46895, + "▁трю": 46896, + "▁пресе": 46897, + "▁редакти": 46898, + "▁готовность": 46899, + "▁подтвержда": 46900, + "▁вене": 46901, + "▁рисунок": 46902, + "▁народный": 46903, + "▁снижения": 46904, + "▁определенное": 46905, + "сина": 46906, + "▁расположи": 46907, + "▁служили": 46908, + "▁методо": 46909, + "знь": 46910, + "пкой": 46911, + "тинской": 46912, + "точные": 46913, + "▁Гражданской": 46914, + "▁войскам": 46915, + "▁комментарии": 46916, + "▁Кем": 46917, + "Бар": 46918, + "▁пикабу": 46919, + "ИМ": 46920, + "деш": 46921, + "▁известная": 46922, + "▁аэродром": 46923, + "▁простое": 46924, + "▁КО": 46925, + "▁азербайджа": 46926, + "▁Внутрен": 46927, + "▁тома": 46928, + "▁корпорации": 46929, + "▁королю": 46930, + "▁хозяева": 46931, + "▁тысячу": 46932, + "▁фаса": 46933, + "▁диалог": 46934, + "зированные": 46935, + "Вт": 46936, + "▁шириной": 46937, + "▁аккумуля": 46938, + "▁вселенной": 46939, + "▁поняла": 46940, + "▁неделе": 46941, + "▁уведом": 46942, + "▁экспорт": 46943, + "▁направлениях": 46944, + "▁изобрази": 46945, + "▁Эпи": 46946, + "Север": 46947, + "▁уна": 46948, + "▁Уда": 46949, + "▁совпа": 46950, + "▁колоколь": 46951, + "▁категория": 46952, + "▁Публи": 46953, + "▁естественным": 46954, + "▁самолёт": 46955, + "▁пояснил": 46956, + "▁Colon": 46957, + "▁итого": 46958, + "▁Объеди": 46959, + "фте": 46960, + "▁отк": 46961, + "шники": 46962, + "▁лат": 46963, + "▁открытом": 46964, + "▁предоставля": 46965, + "▁чая": 46966, + "▁трудов": 46967, + "хнул": 46968, + "▁увидела": 46969, + "▁сканда": 46970, + "▁Нере": 46971, + "▁посреди": 46972, + "бого": 46973, + "▁изучал": 46974, + "мба": 46975, + "▁предлагают": 46976, + "▁отдох": 46977, + "▁словарь": 46978, + "▁пулем": 46979, + "▁Мель": 46980, + "▁уменьши": 46981, + "▁хоккей": 46982, + "▁физические": 46983, + "▁хватило": 46984, + "▁Третий": 46985, + "▁мировых": 46986, + "▁ствола": 46987, + "ПО": 46988, + "▁стихий": 46989, + "uilding": 46990, + "невосто": 46991, + "▁Треть": 46992, + "мели": 46993, + "▁поду": 46994, + "монти": 46995, + "▁попе": 46996, + "▁заключил": 46997, + "▁Узна": 46998, + "▁Монте": 46999, + "▁бараба": 47000, + "▁гражданина": 47001, + "▁автомобили": 47002, + "▁реставра": 47003, + "▁открытых": 47004, + "мие": 47005, + "▁терапев": 47006, + "▁оставляет": 47007, + "▁свали": 47008, + "ходятся": 47009, + "▁прогресса": 47010, + "переди": 47011, + "▁Твор": 47012, + "▁Наполеон": 47013, + "▁Гера": 47014, + "▁колебаний": 47015, + "вости": 47016, + "▁нести": 47017, + "▁менедж": 47018, + "дую": 47019, + "▁МЧС": 47020, + "▁залож": 47021, + "▁стенах": 47022, + "▁приход": 47023, + "▁перестал": 47024, + "▁граммати": 47025, + "▁коридо": 47026, + "▁тона": 47027, + "▁Генерального": 47028, + "▁публики": 47029, + "▁внешние": 47030, + "▁Говорят": 47031, + "Фе": 47032, + "▁насиль": 47033, + "▁Какая": 47034, + "▁узел": 47035, + "▁Федор": 47036, + "▁почер": 47037, + "▁огла": 47038, + "▁Бет": 47039, + "Ай": 47040, + "▁близости": 47041, + "куля": 47042, + "▁возникнуть": 47043, + "▁важнее": 47044, + "тко": 47045, + "▁требовать": 47046, + "▁считаются": 47047, + "▁необходима": 47048, + "водили": 47049, + "сми": 47050, + "жины": 47051, + "ровый": 47052, + "щенное": 47053, + "▁обороне": 47054, + "▁туристов": 47055, + "▁энергией": 47056, + "▁Уор": 47057, + "▁ответила": 47058, + "▁Психо": 47059, + "▁французов": 47060, + "▁экспози": 47061, + "▁стереоти": 47062, + "▁конфе": 47063, + "▁двенадцати": 47064, + "цин": 47065, + "▁конкретной": 47066, + "▁состоят": 47067, + "нус": 47068, + "▁Заха": 47069, + "▁аспиран": 47070, + "▁ландша": 47071, + "▁колеса": 47072, + "ппа": 47073, + "серов": 47074, + "▁Подроб": 47075, + "▁сценария": 47076, + "▁вторжения": 47077, + "▁пригод": 47078, + "вказе": 47079, + "▁остановиться": 47080, + "▁крым": 47081, + "▁постановление": 47082, + "▁Мартин": 47083, + "▁деду": 47084, + "▁предназнача": 47085, + "▁джа": 47086, + "▁баскетбо": 47087, + "▁отсутствуют": 47088, + "▁фос": 47089, + "▁заводов": 47090, + "мией": 47091, + "▁триум": 47092, + "▁накры": 47093, + "▁АК": 47094, + "▁частоты": 47095, + "▁взгляда": 47096, + "ренбург": 47097, + "кино": 47098, + "логической": 47099, + "▁князья": 47100, + "▁общественно": 47101, + "▁затраты": 47102, + "▁шотланд": 47103, + "▁рассказала": 47104, + "▁помещений": 47105, + "аньше": 47106, + "▁попытаться": 47107, + "▁чемпионов": 47108, + "▁сотрудника": 47109, + "▁загля": 47110, + "▁открывается": 47111, + "▁фраза": 47112, + "▁заложен": 47113, + "▁штор": 47114, + "▁весело": 47115, + "▁маршрут": 47116, + "▁отпеча": 47117, + "▁Пикабу": 47118, + "▁поче": 47119, + "▁культурных": 47120, + "▁арбитра": 47121, + "▁работода": 47122, + "▁коров": 47123, + "▁критике": 47124, + "▁актера": 47125, + "▁железы": 47126, + "двига": 47127, + "▁затраги": 47128, + "▁рассмотрим": 47129, + "гласно": 47130, + "▁призыв": 47131, + "▁воспитание": 47132, + "стивале": 47133, + "шедших": 47134, + "▁понимании": 47135, + "▁кислорода": 47136, + "▁вступить": 47137, + "стская": 47138, + "▁миниат": 47139, + "стерна": 47140, + "▁Штатов": 47141, + "▁плей": 47142, + "▁площадке": 47143, + "чкам": 47144, + "▁родине": 47145, + "▁патологи": 47146, + "▁головного": 47147, + "▁экземпляров": 47148, + "▁снарядов": 47149, + "▁концентри": 47150, + "▁собираются": 47151, + "▁уд": 47152, + "▁государству": 47153, + "▁морали": 47154, + "▁юсти": 47155, + "▁способностей": 47156, + "▁симпати": 47157, + "довлет": 47158, + "▁Еди": 47159, + "▁классификации": 47160, + "▁хранить": 47161, + "▁колес": 47162, + "▁гимназии": 47163, + "▁Русский": 47164, + "отече": 47165, + "морской": 47166, + "▁произошли": 47167, + "▁вытяну": 47168, + "▁оператор": 47169, + "▁короткие": 47170, + "ука": 47171, + "▁посольства": 47172, + "▁Таш": 47173, + "▁домом": 47174, + "льщиков": 47175, + "▁Серебря": 47176, + "▁повесть": 47177, + "▁ошиба": 47178, + "норма": 47179, + "▁Ныне": 47180, + "▁слоев": 47181, + "▁подпись": 47182, + "▁четверти": 47183, + "▁осле": 47184, + "▁вопросах": 47185, + "зовый": 47186, + "ченность": 47187, + "▁платформа": 47188, + "▁соблаз": 47189, + "▁аренду": 47190, + "ровича": 47191, + "▁деклара": 47192, + "метим": 47193, + "▁форте": 47194, + "▁образованием": 47195, + "▁Моисе": 47196, + "▁именова": 47197, + "▁сменя": 47198, + "▁общепри": 47199, + "▁запечат": 47200, + "▁искал": 47201, + "▁женат": 47202, + "▁Fam": 47203, + "ссиян": 47204, + "▁Кузь": 47205, + "щенным": 47206, + "▁найдены": 47207, + "▁Филипп": 47208, + "▁созерца": 47209, + "▁приехали": 47210, + "▁добровольно": 47211, + "ффе": 47212, + "▁упорядо": 47213, + "несение": 47214, + "деев": 47215, + "▁путе": 47216, + "▁царю": 47217, + "▁ранения": 47218, + "▁выез": 47219, + "жному": 47220, + "▁правый": 47221, + "▁внешним": 47222, + "▁тень": 47223, + "▁детский": 47224, + "чевой": 47225, + "▁построил": 47226, + "▁спросила": 47227, + "▁убира": 47228, + "▁проходила": 47229, + "▁губы": 47230, + "жкой": 47231, + "▁почте": 47232, + "герман": 47233, + "▁ужаса": 47234, + "▁метафизи": 47235, + "▁введен": 47236, + "▁отметили": 47237, + "нейшей": 47238, + "▁факту": 47239, + "▁военная": 47240, + "▁заседание": 47241, + "...\".": 47242, + "▁обнаружения": 47243, + "▁Сил": 47244, + "▁сала": 47245, + "▁коди": 47246, + "▁действующих": 47247, + "тян": 47248, + "▁драмы": 47249, + "▁указывают": 47250, + "▁отслежи": 47251, + "\"».": 47252, + "▁милости": 47253, + "▁насме": 47254, + "▁Времен": 47255, + "▁Бек": 47256, + "мете": 47257, + "кусство": 47258, + "▁спектакль": 47259, + "▁эста": 47260, + "▁принесли": 47261, + "▁сохранять": 47262, + "▁сохранение": 47263, + "▁противотан": 47264, + "▁старались": 47265, + "▁психотера": 47266, + "рено": 47267, + "▁участвует": 47268, + "▁льго": 47269, + "▁англичан": 47270, + "генов": 47271, + "▁блага": 47272, + "▁ремонта": 47273, + "▁удержать": 47274, + "дович": 47275, + "▁юридических": 47276, + "▁анекдо": 47277, + "▁Международной": 47278, + "▁дало": 47279, + "▁следующую": 47280, + "▁родителями": 47281, + "▁инер": 47282, + "▁Особен": 47283, + "▁птица": 47284, + "▁ассоции": 47285, + "▁застре": 47286, + "▁постепен": 47287, + "▁просьбе": 47288, + "▁столб": 47289, + "тившись": 47290, + "▁популярных": 47291, + "▁усадь": 47292, + "ствующего": 47293, + "▁сражение": 47294, + "▁провела": 47295, + "▁Папа": 47296, + "виц": 47297, + "▁листо": 47298, + "▁левого": 47299, + "▁монастыре": 47300, + "▁мыши": 47301, + "▁колонны": 47302, + "▁держит": 47303, + "▁риска": 47304, + "▁измель": 47305, + "мура": 47306, + "▁соревнования": 47307, + "▁блу": 47308, + "▁Понятно": 47309, + "▁плацдар": 47310, + "▁епархии": 47311, + "▁домах": 47312, + "▁сходство": 47313, + "строение": 47314, + "востоку": 47315, + "▁артери": 47316, + "▁ситуаций": 47317, + "▁основную": 47318, + "▁суп": 47319, + "▁славян": 47320, + "утбу": 47321, + "ИР": 47322, + "нешь": 47323, + "▁Черни": 47324, + "▁импер": 47325, + "▁противном": 47326, + "еву": 47327, + "▁студенты": 47328, + "▁коммунистов": 47329, + "▁пропорциона": 47330, + "гори": 47331, + "▁выступали": 47332, + "чику": 47333, + "▁творческой": 47334, + "▁богатство": 47335, + "▁удовлетворения": 47336, + "▁мощный": 47337, + "▁всячески": 47338, + "каче": 47339, + "возможно": 47340, + "▁собственном": 47341, + "▁бок": 47342, + "▁распу": 47343, + "▁фирма": 47344, + "▁реконструкции": 47345, + "▁гей": 47346, + "▁учителей": 47347, + "▁Опыт": 47348, + "▁спортсменов": 47349, + "▁течении": 47350, + "▁устанавливается": 47351, + "ЕСТ": 47352, + "▁Самар": 47353, + "\"!": 47354, + "▁осмысле": 47355, + "зла": 47356, + "▁лучи": 47357, + "▁плохой": 47358, + "▁отбы": 47359, + "▁Постепенно": 47360, + "▁вкла": 47361, + "сфера": 47362, + "▁вытащи": 47363, + "▁праву": 47364, + "▁Напротив": 47365, + "▁закрыть": 47366, + "▁коем": 47367, + "▁зоо": 47368, + "▁Семё": 47369, + "▁греческого": 47370, + "▁Мах": 47371, + "▁совершать": 47372, + "часа": 47373, + "▁международный": 47374, + "▁дока": 47375, + "▁депутатом": 47376, + "▁внесе": 47377, + "▁писатели": 47378, + "▁наличия": 47379, + "▁улучшить": 47380, + "▁обычным": 47381, + "▁Премьер": 47382, + "менами": 47383, + "енко": 47384, + "▁оккупации": 47385, + "▁Лаза": 47386, + "▁плену": 47387, + "▁предложений": 47388, + "▁самолёта": 47389, + "черед": 47390, + "▁существовала": 47391, + "▁холоди": 47392, + "▁высказал": 47393, + "▁говорите": 47394, + "▁сигналы": 47395, + "▁соц": 47396, + "▁собрании": 47397, + "▁строения": 47398, + "▁мяс": 47399, + "▁доверия": 47400, + "▁Виктора": 47401, + "перёд": 47402, + "▁Судя": 47403, + "▁особым": 47404, + "▁направил": 47405, + "▁насчет": 47406, + "гнал": 47407, + "рующей": 47408, + "▁Евгения": 47409, + "менные": 47410, + "ренное": 47411, + "▁ребёнка": 47412, + "стский": 47413, + "▁Изнача": 47414, + "▁насо": 47415, + "▁царе": 47416, + "▁глаг": 47417, + "▁приём": 47418, + "▁приток": 47419, + "▁Бря": 47420, + "▁Библии": 47421, + "▁деталь": 47422, + "тьев": 47423, + "▁любез": 47424, + "▁профилакти": 47425, + "▁исследовании": 47426, + "Вер": 47427, + "▁длинный": 47428, + "отечествен": 47429, + "▁устья": 47430, + "жков": 47431, + "▁политик": 47432, + "Три": 47433, + "венно": 47434, + "▁мечты": 47435, + "▁Ама": 47436, + "дования": 47437, + "жью": 47438, + "▁льда": 47439, + "▁прихо": 47440, + "▁съезд": 47441, + "▁признак": 47442, + "орк": 47443, + "дай": 47444, + "▁правонару": 47445, + "▁активных": 47446, + "▁властями": 47447, + "▁дивизион": 47448, + "▁проход": 47449, + "▁равномер": 47450, + "▁паре": 47451, + "▁Украину": 47452, + "▁согласиться": 47453, + "▁интеллигенции": 47454, + "▁магазине": 47455, + "▁Оказывается": 47456, + "▁правды": 47457, + "▁пеще": 47458, + "▁хирур": 47459, + "▁физически": 47460, + "куси": 47461, + "▁киноте": 47462, + "несса": 47463, + "▁ФРГ": 47464, + "роны": 47465, + "▁уй": 47466, + "▁инвестиций": 47467, + "▁квар": 47468, + "▁митропо": 47469, + "гау": 47470, + "▁каст": 47471, + "▁предоставляет": 47472, + "▁естественных": 47473, + "▁поддержкой": 47474, + "▁Достоевского": 47475, + "▁щу": 47476, + "ванной": 47477, + "▁обществом": 47478, + "биться": 47479, + "зной": 47480, + "▁медиа": 47481, + "▁собственными": 47482, + "ленко": 47483, + "▁отыска": 47484, + "▁богатых": 47485, + "▁выу": 47486, + "▁оппонен": 47487, + "▁Брон": 47488, + "▁соотношение": 47489, + "распо": 47490, + "▁уверя": 47491, + "▁геометри": 47492, + "рьмя": 47493, + "▁обладал": 47494, + "▁измеря": 47495, + "▁попросту": 47496, + "▁действовал": 47497, + "▁регионального": 47498, + "▁участках": 47499, + "▁Федерального": 47500, + "▁Царь": 47501, + "▁Есе": 47502, + "▁убили": 47503, + "▁фестиваля": 47504, + "▁Существуют": 47505, + "▁алфа": 47506, + "▁Гоголя": 47507, + "▁изображением": 47508, + "▁питание": 47509, + "▁возможностью": 47510, + "▁факта": 47511, + "▁фразу": 47512, + "блении": 47513, + ".);": 47514, + "▁показателей": 47515, + "▁заповед": 47516, + "▁Славы": 47517, + "номет": 47518, + "▁рассчитывать": 47519, + "▁гомосек": 47520, + "▁характеристик": 47521, + "▁Суд": 47522, + "▁плотность": 47523, + "▁Сино": 47524, + "▁Фридрих": 47525, + "▁Зим": 47526, + "▁Ом": 47527, + "▁потряса": 47528, + "▁противоречия": 47529, + "▁долгие": 47530, + "▁железных": 47531, + "▁литературного": 47532, + "▁Кажется": 47533, + "▁старик": 47534, + "▁шпа": 47535, + "юрер": 47536, + "▁Яр": 47537, + "▁беременности": 47538, + "▁прототи": 47539, + "▁появлением": 47540, + "▁встреч": 47541, + "▁дальнейшее": 47542, + "▁образованию": 47543, + "▁распределение": 47544, + "рять": 47545, + "▁инструкции": 47546, + "▁обнов": 47547, + "▁технология": 47548, + "▁отличия": 47549, + "▁нович": 47550, + "▁Музыка": 47551, + "▁посол": 47552, + "▁ЦРУ": 47553, + "▁соответствующий": 47554, + "▁накопи": 47555, + "▁легкой": 47556, + "▁психоанали": 47557, + "▁Сал": 47558, + "▁построено": 47559, + "▁дочерью": 47560, + "ада": 47561, + "анти": 47562, + "краин": 47563, + "▁кош": 47564, + "дене": 47565, + "▁награду": 47566, + "▁озабо": 47567, + "▁Гви": 47568, + "нян": 47569, + "▁погиба": 47570, + "▁Большое": 47571, + "▁Ниц": 47572, + "▁трижды": 47573, + "топ": 47574, + "▁вернее": 47575, + "▁паке": 47576, + "▁Офи": 47577, + "▁интегри": 47578, + "▁Поле": 47579, + "▁наград": 47580, + "▁тексто": 47581, + "▁уровней": 47582, + "▁пче": 47583, + "▁аэропорт": 47584, + "тельского": 47585, + "▁проводили": 47586, + "▁обзор": 47587, + "технического": 47588, + "▁шриф": 47589, + "▁полоса": 47590, + "моему": 47591, + "▁одновремен": 47592, + "ностями": 47593, + "▁созданный": 47594, + "явление": 47595, + "▁покупки": 47596, + "▁согласен": 47597, + "▁воспоминаний": 47598, + "бус": 47599, + "▁присоединился": 47600, + "▁восточных": 47601, + "▁увидим": 47602, + "▁проблемам": 47603, + "нита": 47604, + "▁расстройства": 47605, + "▁сохраняется": 47606, + "лером": 47607, + "▁пиво": 47608, + "▁единый": 47609, + "▁надое": 47610, + "текает": 47611, + "▁расположения": 47612, + "сского": 47613, + "▁осадков": 47614, + "берку": 47615, + "▁полях": 47616, + "▁сочетание": 47617, + "▁пасту": 47618, + "▁гиль": 47619, + "▁схему": 47620, + "▁Сохра": 47621, + "▁Казахстан": 47622, + "друго": 47623, + "зость": 47624, + "▁колени": 47625, + "▁сравнении": 47626, + "▁точностью": 47627, + "▁ведущий": 47628, + "зору": 47629, + "▁помощником": 47630, + "▁посетителей": 47631, + "▁огромным": 47632, + "тники": 47633, + "▁КНР": 47634, + "▁рукопи": 47635, + "▁ненависть": 47636, + "вр": 47637, + "▁Функ": 47638, + "▁прибор": 47639, + "▁оформи": 47640, + "▁Каро": 47641, + "▁Прин": 47642, + "▁Король": 47643, + "▁зерна": 47644, + "▁незаметно": 47645, + "▁амби": 47646, + "▁притом": 47647, + "▁логики": 47648, + "▁совместной": 47649, + "▁нехва": 47650, + "▁Чита": 47651, + "▁Физи": 47652, + "▁конкретные": 47653, + "▁соседей": 47654, + "ндию": 47655, + "▁компенси": 47656, + "родный": 47657, + "▁ногах": 47658, + "арьи": 47659, + "▁источниках": 47660, + "▁отправлен": 47661, + "▁Процесс": 47662, + "▁Англия": 47663, + "▁красной": 47664, + "▁припод": 47665, + "▁Казани": 47666, + "▁полузащи": 47667, + "▁заре": 47668, + "▁указ": 47669, + "▁терапии": 47670, + "▁отс": 47671, + "держка": 47672, + "▁проб": 47673, + "Пар": 47674, + "▁Холо": 47675, + "▁Рязан": 47676, + "▁способностью": 47677, + "▁Калинин": 47678, + "▁высе": 47679, + "корреспонден": 47680, + "▁Смит": 47681, + "▁хороших": 47682, + "▁душой": 47683, + "▁приборов": 47684, + "океан": 47685, + "▁проходить": 47686, + "▁изве": 47687, + "▁Изме": 47688, + "▁площадки": 47689, + "▁формате": 47690, + "▁подли": 47691, + "▁проститу": 47692, + "чьей": 47693, + "▁жилья": 47694, + "▁решет": 47695, + "уа": 47696, + "▁звон": 47697, + "страсти": 47698, + "▁экрана": 47699, + "▁востоку": 47700, + "▁боится": 47701, + "▁Уч": 47702, + "▁предотвратить": 47703, + "▁религиозной": 47704, + "▁серб": 47705, + "▁христианской": 47706, + "зопасности": 47707, + "▁неподалеку": 47708, + "▁регулирования": 47709, + "▁простей": 47710, + "▁лекарства": 47711, + "▁терак": 47712, + "▁сложный": 47713, + "▁чёт": 47714, + "▁итальянский": 47715, + "▁гвардейской": 47716, + "▁личным": 47717, + "▁всюду": 47718, + "▁корень": 47719, + "бари": 47720, + "▁отказывается": 47721, + "▁Кавказа": 47722, + "▁дефек": 47723, + "▁дополнительно": 47724, + "▁процент": 47725, + "▁отчетливо": 47726, + "▁лидером": 47727, + "▁Иосиф": 47728, + "▁пап": 47729, + "▁литературных": 47730, + "▁произведениях": 47731, + "скор": 47732, + "▁пик": 47733, + "▁конфликтов": 47734, + "▁миф": 47735, + "▁Настоя": 47736, + "▁Бельгии": 47737, + "рэн": 47738, + "▁смены": 47739, + "▁ы": 47740, + "▁образцов": 47741, + "▁невольно": 47742, + "▁больно": 47743, + "▁сыграла": 47744, + "говые": 47745, + "▁компакт": 47746, + "▁высоком": 47747, + "▁федерации": 47748, + "чите": 47749, + "▁Люд": 47750, + "▁сокру": 47751, + "▁украшения": 47752, + "▁лесов": 47753, + "ссом": 47754, + "▁цепь": 47755, + "▁петру": 47756, + "▁семьей": 47757, + "▁таблице": 47758, + "▁повысить": 47759, + "ствующей": 47760, + "▁принадлежности": 47761, + "rane": 47762, + "▁активной": 47763, + "▁облака": 47764, + "▁произойти": 47765, + "▁относились": 47766, + "спорта": 47767, + "▁устроить": 47768, + "▁документах": 47769, + "▁папы": 47770, + "▁историко": 47771, + "▁рабочим": 47772, + "▁Место": 47773, + "▁состо": 47774, + "▁неприятно": 47775, + "▁обязательств": 47776, + "▁высокое": 47777, + "▁общественные": 47778, + "кторе": 47779, + "тирование": 47780, + "▁уважение": 47781, + "▁лучшей": 47782, + "денса": 47783, + "▁Америка": 47784, + "▁превратился": 47785, + "▁Средней": 47786, + "силь": 47787, + "точной": 47788, + "▁требовали": 47789, + "жденный": 47790, + "▁англичане": 47791, + "▁энтузиа": 47792, + "▁соотечествен": 47793, + "▁дипломати": 47794, + "лие": 47795, + "▁Стивен": 47796, + "▁жилых": 47797, + "▁принадлежал": 47798, + "ъютан": 47799, + "▁Гиль": 47800, + "▁украинского": 47801, + "▁устроен": 47802, + "мик": 47803, + "▁стес": 47804, + "аппара": 47805, + "▁проверка": 47806, + "▁Тей": 47807, + "бс": 47808, + "▁полковод": 47809, + "▁разрыв": 47810, + "▁обстановка": 47811, + "▁железнодорожной": 47812, + "аги": 47813, + "оп": 47814, + "▁антен": 47815, + "▁разнообразных": 47816, + "▁собственному": 47817, + "▁Ие": 47818, + "дией": 47819, + "славя": 47820, + "▁Повто": 47821, + "▁ходит": 47822, + "▁испытывает": 47823, + "ренность": 47824, + "нейшая": 47825, + "▁помога": 47826, + "▁исчезает": 47827, + "▁прочитать": 47828, + "шная": 47829, + "манд": 47830, + "фин": 47831, + "▁Аре": 47832, + "▁короткое": 47833, + "▁раненых": 47834, + "▁лестнице": 47835, + "▁интерфейс": 47836, + "▁похоронен": 47837, + "▁задней": 47838, + "▁надолго": 47839, + "наме": 47840, + "▁равных": 47841, + "▁Оби": 47842, + "▁сухой": 47843, + "▁трубо": 47844, + "▁Андреевич": 47845, + "▁человеческий": 47846, + "▁внести": 47847, + "▁верил": 47848, + "▁фигури": 47849, + "▁Ори": 47850, + "▁зау": 47851, + "уд": 47852, + "▁наблюдение": 47853, + "▁Одной": 47854, + "▁экспре": 47855, + "линг": 47856, + "▁продавать": 47857, + "▁Председатель": 47858, + "писал": 47859, + "▁оказывать": 47860, + "▁участниками": 47861, + "▁водохранили": 47862, + "шного": 47863, + "▁вашему": 47864, + "зако": 47865, + "▁Жела": 47866, + "▁отпуск": 47867, + "▁всём": 47868, + "▁встретился": 47869, + "▁мотиви": 47870, + "▁возвращение": 47871, + "Чи": 47872, + "▁суждения": 47873, + "▁применении": 47874, + "▁рта": 47875, + "▁предполагалось": 47876, + "▁иными": 47877, + "▁заданий": 47878, + "фик": 47879, + "▁каранда": 47880, + "▁указано": 47881, + "▁относился": 47882, + "стик": 47883, + "НАЯ": 47884, + "▁коллектив": 47885, + "▁работники": 47886, + "фами": 47887, + "▁концентрации": 47888, + "▁жанра": 47889, + "▁Хаба": 47890, + "▁информи": 47891, + "▁заслуженный": 47892, + "▁лесах": 47893, + "▁Dani": 47894, + "▁агентов": 47895, + "ол": 47896, + "▁отсутствием": 47897, + "▁подачи": 47898, + "▁разга": 47899, + "тень": 47900, + "▁любым": 47901, + "▁историки": 47902, + "западу": 47903, + "▁муд": 47904, + "▁лучшую": 47905, + "▁купо": 47906, + "▁прохо": 47907, + "▁трудящихся": 47908, + "▁держал": 47909, + ".»": 47910, + "▁подобный": 47911, + "вичи": 47912, + "▁Раньше": 47913, + "чатые": 47914, + "▁Мино": 47915, + "▁слух": 47916, + "▁авиационной": 47917, + "▁толпа": 47918, + "боре": 47919, + "▁поистине": 47920, + "▁человеческие": 47921, + "▁изменилось": 47922, + "▁умел": 47923, + "добро": 47924, + "городской": 47925, + "▁мурав": 47926, + "тис": 47927, + "▁Звезды": 47928, + "туали": 47929, + "стила": 47930, + "▁названа": 47931, + "▁учесть": 47932, + "▁постоянное": 47933, + "▁стри": 47934, + "▁отрядов": 47935, + "▁совершения": 47936, + "▁уксу": 47937, + "дву": 47938, + "▁Чув": 47939, + "▁литературной": 47940, + "▁сперва": 47941, + "▁правого": 47942, + "▁надежду": 47943, + "▁Бес": 47944, + "пуляр": 47945, + "▁загла": 47946, + "▁написаны": 47947, + "▁ребят": 47948, + "▁народе": 47949, + "▁художественных": 47950, + "▁личное": 47951, + "▁Ваш": 47952, + "▁реальные": 47953, + "▁керами": 47954, + "▁съезде": 47955, + "▁участника": 47956, + "▁россиян": 47957, + "▁убийстве": 47958, + "▁грузов": 47959, + "▁всерьез": 47960, + "выс": 47961, + "▁ранней": 47962, + "icine": 47963, + "▁роду": 47964, + "▁ширина": 47965, + "теб": 47966, + "чни": 47967, + "▁эски": 47968, + "▁эскадрильи": 47969, + "▁увидев": 47970, + "▁репер": 47971, + "▁Одни": 47972, + "▁сторонам": 47973, + "цких": 47974, + "моз": 47975, + "▁Брай": 47976, + "▁Брод": 47977, + "▁облом": 47978, + "Газ": 47979, + "▁выходил": 47980, + "▁положено": 47981, + "▁объявлено": 47982, + "▁заголов": 47983, + "коне": 47984, + "▁поставки": 47985, + "▁деревен": 47986, + "▁поставлен": 47987, + "нялось": 47988, + "▁выбрасы": 47989, + "▁светом": 47990, + "▁ядови": 47991, + "▁заключить": 47992, + "▁священник": 47993, + "▁подписы": 47994, + "▁Внутри": 47995, + "▁уроки": 47996, + "▁запрещено": 47997, + "тента": 47998, + "европей": 47999, + "▁золотые": 48000, + "▁вершине": 48001, + "▁колониаль": 48002, + "польского": 48003, + "логического": 48004, + "▁балета": 48005, + "▁куски": 48006, + "▁руд": 48007, + "шках": 48008, + "▁станцию": 48009, + "▁иконо": 48010, + "▁приняты": 48011, + "▁вариа": 48012, + "▁ода": 48013, + "▁заводы": 48014, + "тивом": 48015, + "кратный": 48016, + "▁центрального": 48017, + "▁пира": 48018, + "▁продажу": 48019, + "▁хозяи": 48020, + "▁каналов": 48021, + "▁представителем": 48022, + "▁общественности": 48023, + "▁первобы": 48024, + "▁астрономи": 48025, + "▁средние": 48026, + "сис": 48027, + "▁традиций": 48028, + "▁Выпол": 48029, + "▁санкции": 48030, + "▁выпущен": 48031, + "▁радостью": 48032, + "Фон": 48033, + "▁Деревня": 48034, + "▁хозяйстве": 48035, + "около": 48036, + "нтом": 48037, + "▁сыграть": 48038, + "страда": 48039, + "нулось": 48040, + "рового": 48041, + "▁сервиса": 48042, + "▁занятие": 48043, + "▁быстрого": 48044, + "▁крупными": 48045, + "▁выступили": 48046, + "▁осуществляет": 48047, + "товского": 48048, + "▁кабе": 48049, + "▁Возь": 48050, + "▁анархи": 48051, + "▁стремятся": 48052, + "нута": 48053, + "▁стациона": 48054, + "▁Ды": 48055, + "менем": 48056, + "▁корона": 48057, + "▁арт": 48058, + "▁неблагоприят": 48059, + "точного": 48060, + "▁мужского": 48061, + "▁бага": 48062, + "▁сумели": 48063, + "▁Трудно": 48064, + "▁камеру": 48065, + "▁опыте": 48066, + "мостью": 48067, + "▁сибир": 48068, + "▁Стран": 48069, + "▁невысо": 48070, + "▁траек": 48071, + "▁жертво": 48072, + "▁Прекра": 48073, + "▁получаем": 48074, + "▁аэродро": 48075, + "▁заты": 48076, + "▁шам": 48077, + "▁Средняя": 48078, + "онеров": 48079, + "▁записей": 48080, + "▁засты": 48081, + "▁аф": 48082, + "▁сырья": 48083, + "▁пыли": 48084, + "▁Монго": 48085, + "▁профессором": 48086, + "▁привыкли": 48087, + "▁современным": 48088, + "▁изнутри": 48089, + "▁поднимается": 48090, + "▁продела": 48091, + "▁Государственная": 48092, + "▁Думы": 48093, + "▁План": 48094, + "▁приемле": 48095, + "▁сигналов": 48096, + "ист": 48097, + "▁ного": 48098, + "▁Эри": 48099, + "фори": 48100, + "▁владелец": 48101, + "▁нечи": 48102, + "▁миллиарда": 48103, + "ворец": 48104, + "▁прикреп": 48105, + "▁знакомый": 48106, + "▁набора": 48107, + "▁монеты": 48108, + "▁предприня": 48109, + "▁принятие": 48110, + "чину": 48111, + "▁играла": 48112, + "▁представляла": 48113, + "шан": 48114, + "▁пальцами": 48115, + "▁экспериментов": 48116, + "▁введение": 48117, + "▁состояний": 48118, + "▁радиоак": 48119, + "▁премьера": 48120, + "▁браке": 48121, + "▁разгром": 48122, + "щалось": 48123, + "▁неком": 48124, + "ходите": 48125, + "▁московских": 48126, + "▁участвовала": 48127, + "▁Использование": 48128, + "▁самолётов": 48129, + "рали": 48130, + "▁осени": 48131, + "Жи": 48132, + "▁использованы": 48133, + "▁антисе": 48134, + "▁листов": 48135, + "▁академию": 48136, + "▁финансовые": 48137, + "ражение": 48138, + "▁Управления": 48139, + "▁прови": 48140, + "▁Мастер": 48141, + "▁предыдущего": 48142, + "▁республик": 48143, + "▁капитализма": 48144, + "пило": 48145, + "▁увен": 48146, + "геля": 48147, + "EG": 48148, + "Москва": 48149, + "▁определенным": 48150, + "▁океане": 48151, + "▁коня": 48152, + "ловского": 48153, + "▁слышали": 48154, + "▁биографии": 48155, + "▁конкретно": 48156, + "▁симптомы": 48157, + "▁одержал": 48158, + "ТВ": 48159, + "▁Сотруд": 48160, + "▁предположения": 48161, + "▁Дву": 48162, + "▁ВМФ": 48163, + "▁советник": 48164, + "▁четырьмя": 48165, + "▁позвонил": 48166, + "▁шахма": 48167, + "▁лодка": 48168, + "▁усиления": 48169, + "▁ударом": 48170, + "▁пас": 48171, + "▁внутреннее": 48172, + "Ги": 48173, + "▁отбор": 48174, + "▁наруши": 48175, + "▁Обу": 48176, + "▁финансирования": 48177, + "нду": 48178, + "▁синта": 48179, + "▁рабов": 48180, + "▁Международный": 48181, + "▁соседних": 48182, + "▁отрыв": 48183, + "▁японской": 48184, + "▁направить": 48185, + "▁особую": 48186, + "▁заключении": 48187, + "▁рукописи": 48188, + "дравству": 48189, + "▁отечественной": 48190, + "сутствие": 48191, + "▁нейтро": 48192, + "ины": 48193, + "▁лени": 48194, + "рдо": 48195, + "▁происходили": 48196, + "▁разнообразные": 48197, + "▁вступления": 48198, + "▁мари": 48199, + "▁гряду": 48200, + "▁массовых": 48201, + "шедшие": 48202, + "▁просматри": 48203, + "▁ходом": 48204, + "▁проанали": 48205, + "рель": 48206, + "▁выступить": 48207, + "▁рады": 48208, + "▁Бран": 48209, + "▁прост": 48210, + "эля": 48211, + "щами": 48212, + "▁японских": 48213, + "▁объеме": 48214, + "▁заведующий": 48215, + "▁довести": 48216, + "▁чей": 48217, + "▁гено": 48218, + "▁Эм": 48219, + "▁сферу": 48220, + "▁храни": 48221, + "▁аудио": 48222, + "История": 48223, + "бак": 48224, + "▁недоуме": 48225, + "нутые": 48226, + "▁люд": 48227, + "▁отнес": 48228, + "меди": 48229, + "дольф": 48230, + "▁брази": 48231, + "▁Шотландии": 48232, + "▁хирурги": 48233, + "тоном": 48234, + "▁ирланд": 48235, + "▁бабушка": 48236, + "технологи": 48237, + "▁обойтись": 48238, + "▁физико": 48239, + "▁Наряду": 48240, + "строена": 48241, + "▁теста": 48242, + "▁готовить": 48243, + "▁британской": 48244, + "▁впада": 48245, + "▁бокс": 48246, + "▁Наиболь": 48247, + "▁основанием": 48248, + "▁врагом": 48249, + "▁военноп": 48250, + "две": 48251, + "▁работника": 48252, + "▁Ассоциа": 48253, + "▁фут": 48254, + "▁чья": 48255, + "▁Голла": 48256, + "▁Европа": 48257, + "▁Уж": 48258, + "вавших": 48259, + "▁дебют": 48260, + "▁аспекты": 48261, + "▁шара": 48262, + "▁преподавал": 48263, + "▁калибра": 48264, + "▁слабость": 48265, + "нон": 48266, + "▁русскую": 48267, + "▁Голу": 48268, + "▁Бит": 48269, + "▁эмпири": 48270, + "▁закончилась": 48271, + "▁ИТ": 48272, + "рудно": 48273, + "▁Грин": 48274, + "▁умирает": 48275, + "ологов": 48276, + "▁космос": 48277, + "▁отправляется": 48278, + "ритет": 48279, + "▁великое": 48280, + "тался": 48281, + "▁безы": 48282, + "▁тайно": 48283, + "▁юга": 48284, + "▁Заклю": 48285, + "▁прямым": 48286, + "▁отвлека": 48287, + "▁проси": 48288, + "▁ноутбу": 48289, + "▁защитил": 48290, + "▁атмосфере": 48291, + "▁международном": 48292, + "внове": 48293, + "▁Возро": 48294, + "▁Ленинграда": 48295, + "▁являлось": 48296, + "▁поэмы": 48297, + "▁данная": 48298, + "▁пен": 48299, + "▁однород": 48300, + "▁огромного": 48301, + "▁сказо": 48302, + "▁необходимой": 48303, + "воить": 48304, + "▁Як": 48305, + "Цен": 48306, + "▁дна": 48307, + "▁необходим": 48308, + "▁Всеволо": 48309, + "▁владельца": 48310, + "каго": 48311, + "▁семан": 48312, + "▁публично": 48313, + "▁Жуков": 48314, + "▁купе": 48315, + "▁пох": 48316, + "▁написания": 48317, + "▁тестирования": 48318, + "▁цирку": 48319, + "▁истину": 48320, + "▁проверку": 48321, + "део": 48322, + "вавший": 48323, + "▁зависят": 48324, + "▁подобным": 48325, + "▁сокращения": 48326, + "лком": 48327, + "деры": 48328, + "▁сельский": 48329, + "▁любому": 48330, + "ксо": 48331, + "ПС": 48332, + "гг": 48333, + "▁муниципальных": 48334, + "▁выбе": 48335, + "▁превратить": 48336, + "▁ставят": 48337, + "▁обнаружено": 48338, + "▁Анаста": 48339, + "ращи": 48340, + "▁включены": 48341, + "▁желательно": 48342, + "вляем": 48343, + "▁охране": 48344, + "▁критик": 48345, + "дым": 48346, + "▁Политбюро": 48347, + "▁старин": 48348, + "▁иро": 48349, + "▁высказывания": 48350, + "▁Токио": 48351, + "хен": 48352, + "▁поделиться": 48353, + "▁игрой": 48354, + "▁реализу": 48355, + "▁НИИ": 48356, + "▁одеты": 48357, + "▁появляться": 48358, + "▁лега": 48359, + "точный": 48360, + "сштаб": 48361, + "▁блюдо": 48362, + "рований": 48363, + "▁обратной": 48364, + "▁незаме": 48365, + "▁звали": 48366, + "▁тест": 48367, + "▁индекс": 48368, + "чон": 48369, + "зает": 48370, + "▁версий": 48371, + "▁Форма": 48372, + "▁всплы": 48373, + "джу": 48374, + "▁Откуда": 48375, + "▁подняться": 48376, + "▁кабинета": 48377, + "▁восклик": 48378, + "▁глю": 48379, + "▁Считается": 48380, + "нках": 48381, + "▁пова": 48382, + "▁воздушной": 48383, + "▁атле": 48384, + "хнет": 48385, + "▁отро": 48386, + "▁Вашингтон": 48387, + "▁преподаватель": 48388, + "▁адмирал": 48389, + "кладывает": 48390, + "▁юстиции": 48391, + "▁фюзеля": 48392, + "▁виноград": 48393, + "сеть": 48394, + "▁Паки": 48395, + "▁слои": 48396, + "▁Защи": 48397, + "▁Таджи": 48398, + "▁Михаи": 48399, + "▁Южного": 48400, + "▁Черного": 48401, + "▁иллюстра": 48402, + "▁идеей": 48403, + "▁полезных": 48404, + "▁дед": 48405, + "▁поведении": 48406, + "▁Наблю": 48407, + "▁отверстие": 48408, + "▁Ставро": 48409, + "▁вращения": 48410, + "▁желанию": 48411, + "▁Инг": 48412, + "▁верит": 48413, + "▁сопут": 48414, + "▁телевидения": 48415, + "ПА": 48416, + "▁планирует": 48417, + "ой": 48418, + "▁современников": 48419, + "▁педагог": 48420, + "▁желании": 48421, + "▁растут": 48422, + "▁риску": 48423, + "▁уничтожение": 48424, + "ifically": 48425, + "хема": 48426, + "▁возвращаться": 48427, + "▁максимум": 48428, + "▁доступны": 48429, + "▁eld": 48430, + "▁имеющий": 48431, + "▁стака": 48432, + "лялись": 48433, + "▁ввода": 48434, + "▁Википе": 48435, + "▁принца": 48436, + "▁супруги": 48437, + "▁Московском": 48438, + "ВАТ": 48439, + "▁скот": 48440, + "▁красные": 48441, + "туация": 48442, + "▁нареза": 48443, + "▁Ленинградской": 48444, + "▁прус": 48445, + "▁очки": 48446, + "▁препятствия": 48447, + "летию": 48448, + "▁проезд": 48449, + "▁серьезных": 48450, + "▁победить": 48451, + "менко": 48452, + "▁полчаса": 48453, + "▁препаратов": 48454, + "▁Римской": 48455, + "▁желудо": 48456, + "ervative": 48457, + "▁Черчил": 48458, + "иде": 48459, + "▁потерять": 48460, + "евском": 48461, + "▁внес": 48462, + "▁повторить": 48463, + "▁выиграла": 48464, + "▁соединя": 48465, + "▁нетерпе": 48466, + "▁русское": 48467, + "▁доказательство": 48468, + "▁носа": 48469, + "▁ведется": 48470, + "▁россия": 48471, + "хать": 48472, + "▁богослу": 48473, + "▁участником": 48474, + "ял": 48475, + "▁посёлке": 48476, + "▁еврейского": 48477, + "спери": 48478, + "▁Сооб": 48479, + "▁вступи": 48480, + "▁Задача": 48481, + "▁полагают": 48482, + "▁соблюдать": 48483, + "▁традиционных": 48484, + "▁сё": 48485, + "▁перенос": 48486, + "▁учителем": 48487, + "▁раунде": 48488, + "Ту": 48489, + "▁огромная": 48490, + "▁сравнить": 48491, + "чивая": 48492, + "Мне": 48493, + "▁текущего": 48494, + "▁четыр": 48495, + "ренная": 48496, + "▁Чан": 48497, + "▁живым": 48498, + "▁Джен": 48499, + "▁увы": 48500, + "▁толку": 48501, + "▁колебания": 48502, + "▁пистолет": 48503, + "▁Участвовал": 48504, + "▁ролей": 48505, + "▁предъявля": 48506, + "▁делаем": 48507, + "▁фара": 48508, + "▁Мет": 48509, + "▁украинской": 48510, + "▁государственным": 48511, + "▁минуте": 48512, + "▁переходе": 48513, + "▁изобража": 48514, + "▁категорий": 48515, + "банк": 48516, + "▁несут": 48517, + "▁обращении": 48518, + "▁открыты": 48519, + "▁победитель": 48520, + "Мак": 48521, + "▁раздражи": 48522, + "▁Боро": 48523, + "▁Главная": 48524, + "▁советским": 48525, + "▁Уилья": 48526, + "▁бегу": 48527, + "▁Какое": 48528, + "▁изготавли": 48529, + "леп": 48530, + "стите": 48531, + "▁Изначально": 48532, + "несло": 48533, + "▁тенни": 48534, + "▁прессе": 48535, + "благода": 48536, + "▁захватил": 48537, + "▁интересные": 48538, + "▁племена": 48539, + "ино": 48540, + "▁составит": 48541, + "▁посадки": 48542, + "▁дороже": 48543, + "▁набро": 48544, + "▁Иоган": 48545, + "▁передачу": 48546, + "▁Противо": 48547, + "▁желудка": 48548, + "▁Юпи": 48549, + "▁Маркс": 48550, + "▁свободных": 48551, + "▁дизе": 48552, + "▁ПРИ": 48553, + "▁унаследова": 48554, + "▁голод": 48555, + "▁читателю": 48556, + "правда": 48557, + "▁манифе": 48558, + "▁Кубке": 48559, + "прода": 48560, + "▁проры": 48561, + "▁древеси": 48562, + "▁воздействием": 48563, + "▁близкие": 48564, + "▁Маха": 48565, + "▁великие": 48566, + "▁официального": 48567, + "▁общественное": 48568, + "▁пользователи": 48569, + "▁договору": 48570, + "▁снаружи": 48571, + "▁множеством": 48572, + "▁традиционной": 48573, + "▁отличался": 48574, + "▁затро": 48575, + "▁жертвой": 48576, + "▁северных": 48577, + "▁полит": 48578, + "▁integ": 48579, + "▁Плю": 48580, + "▁опусто": 48581, + "▁излага": 48582, + "▁прогресс": 48583, + "▁аппаратов": 48584, + "▁величина": 48585, + "▁Число": 48586, + "▁выпустил": 48587, + "▁шве": 48588, + "▁дорабо": 48589, + "▁наби": 48590, + "▁постановления": 48591, + "▁крыло": 48592, + "▁Сайт": 48593, + "▁спортсмен": 48594, + "▁правительстве": 48595, + "тум": 48596, + "▁пленных": 48597, + "шался": 48598, + "▁Крон": 48599, + "▁кровати": 48600, + "▁просле": 48601, + "▁attrib": 48602, + "▁Расположен": 48603, + "▁небольшими": 48604, + "▁вручную": 48605, + "▁западу": 48606, + "▁подло": 48607, + "▁купа": 48608, + "▁тура": 48609, + "▁устаре": 48610, + "тус": 48611, + "▁условиями": 48612, + "▁обыкновенно": 48613, + "▁Иерусалим": 48614, + "▁хорошую": 48615, + "▁беда": 48616, + "▁поступить": 48617, + "▁компетен": 48618, + "▁снимать": 48619, + "▁Кирги": 48620, + "▁палец": 48621, + "▁наг": 48622, + "▁княжества": 48623, + "nce": 48624, + "пур": 48625, + "▁такова": 48626, + "▁трудовой": 48627, + "ленность": 48628, + "стическом": 48629, + "▁Командир": 48630, + "▁духовных": 48631, + "▁нападение": 48632, + "▁сектора": 48633, + "▁плану": 48634, + "▁Кавказе": 48635, + "▁вак": 48636, + "▁посвящён": 48637, + "▁канцеля": 48638, + "▁Фактически": 48639, + "▁Безу": 48640, + "udget": 48641, + "ненном": 48642, + "▁заса": 48643, + "▁Англий": 48644, + "▁загра": 48645, + "▁Еже": 48646, + "режи": 48647, + "▁судебного": 48648, + "▁Ефи": 48649, + "▁отчаян": 48650, + "Для": 48651, + "▁выполнил": 48652, + "▁экономика": 48653, + "▁Белый": 48654, + "▁музыкальных": 48655, + "▁дядя": 48656, + "▁становилось": 48657, + "asketball": 48658, + "▁арх": 48659, + "▁золотом": 48660, + "▁религия": 48661, + "ttps": 48662, + "▁прежних": 48663, + "▁финансового": 48664, + "▁изучить": 48665, + "▁провинциаль": 48666, + "▁делая": 48667, + "▁очистить": 48668, + "▁передача": 48669, + "▁Давид": 48670, + "особ": 48671, + "▁бывшие": 48672, + "▁олицет": 48673, + "▁выполняется": 48674, + "▁Главным": 48675, + "теть": 48676, + "▁данному": 48677, + "▁шею": 48678, + "▁избегать": 48679, + "▁изданий": 48680, + "▁отчего": 48681, + "▁залив": 48682, + "▁искусству": 48683, + "нином": 48684, + "▁стараясь": 48685, + "▁успокаи": 48686, + "вывать": 48687, + "▁бассейн": 48688, + "▁пропаганды": 48689, + "▁определенную": 48690, + "▁Пуга": 48691, + "▁помогли": 48692, + "▁прочно": 48693, + "▁прохождения": 48694, + "▁действиям": 48695, + "▁счетом": 48696, + "▁Гага": 48697, + "▁волок": 48698, + "Кто": 48699, + "дта": 48700, + "▁муче": 48701, + "▁Православ": 48702, + "▁весны": 48703, + "▁провока": 48704, + "йки": 48705, + "▁темноте": 48706, + "▁СНГ": 48707, + "▁изоби": 48708, + "пая": 48709, + "ченности": 48710, + "▁пеше": 48711, + "▁уще": 48712, + "▁сана": 48713, + "▁компи": 48714, + "питься": 48715, + "▁рассмотрение": 48716, + "▁атмосфер": 48717, + "▁перерыва": 48718, + "▁ученик": 48719, + "▁наря": 48720, + "▁помогут": 48721, + "▁Коз": 48722, + "▁основными": 48723, + "▁грех": 48724, + "▁соборе": 48725, + "▁призра": 48726, + "дельные": 48727, + "ставка": 48728, + "▁официальным": 48729, + "шным": 48730, + "▁дополнение": 48731, + "▁атомов": 48732, + "товом": 48733, + "▁рассматривает": 48734, + "зированной": 48735, + "▁проявление": 48736, + "▁наса": 48737, + "▁установок": 48738, + "нкер": 48739, + "▁приближа": 48740, + "▁конкурс": 48741, + "гнут": 48742, + "▁прозву": 48743, + "▁персо": 48744, + "▁отбора": 48745, + "▁длительного": 48746, + "▁обсуждение": 48747, + "▁исследу": 48748, + "▁исправить": 48749, + "▁спирт": 48750, + "▁объявила": 48751, + "▁едини": 48752, + "▁Находится": 48753, + "▁избирателей": 48754, + "▁ложь": 48755, + "тологии": 48756, + "▁узнав": 48757, + "▁труднее": 48758, + "юль": 48759, + "▁надеяться": 48760, + "▁проектом": 48761, + "тико": 48762, + "▁подключа": 48763, + "▁созданием": 48764, + "▁батарей": 48765, + "▁Сли": 48766, + "▁дизайн": 48767, + "▁культурной": 48768, + "▁Сами": 48769, + "▁церквей": 48770, + "▁полеми": 48771, + "▁областной": 48772, + "▁Данный": 48773, + "▁приемов": 48774, + "▁Вино": 48775, + "▁угроза": 48776, + "▁образовании": 48777, + "новому": 48778, + "▁перело": 48779, + "▁разработал": 48780, + "сово": 48781, + "▁букв": 48782, + "душно": 48783, + "▁состоится": 48784, + "▁Све": 48785, + "udden": 48786, + "▁казах": 48787, + "▁определять": 48788, + "▁достоинство": 48789, + "▁снега": 48790, + "▁широкого": 48791, + "дини": 48792, + "▁анома": 48793, + "▁происходить": 48794, + "▁монахи": 48795, + "▁ключевых": 48796, + "▁основано": 48797, + "▁человеческое": 48798, + "▁Кал": 48799, + "▁американским": 48800, + "▁недовольство": 48801, + "▁безнаде": 48802, + "▁окружении": 48803, + "▁кай": 48804, + "▁Патриар": 48805, + "▁поступки": 48806, + "▁космической": 48807, + "▁Андер": 48808, + "▁документации": 48809, + "▁приобрел": 48810, + "▁Прошло": 48811, + "▁победителем": 48812, + "ховой": 48813, + "▁плату": 48814, + "▁интернете": 48815, + "▁религиозные": 48816, + "▁ДСС": 48817, + "помина": 48818, + "дце": 48819, + "гоне": 48820, + "▁разработчики": 48821, + "носцев": 48822, + "▁Offic": 48823, + "▁кибер": 48824, + "▁развлека": 48825, + "ое": 48826, + "мари": 48827, + "ваемся": 48828, + "▁королевы": 48829, + "▁аккуратно": 48830, + "▁магазинов": 48831, + "ганов": 48832, + "пий": 48833, + "▁Константина": 48834, + "▁думы": 48835, + "▁широкие": 48836, + "лины": 48837, + "▁нажа": 48838, + "▁накапли": 48839, + "▁Николь": 48840, + "▁Демокра": 48841, + "▁плато": 48842, + "жностью": 48843, + "▁медицине": 48844, + "▁Покров": 48845, + "Нью": 48846, + "▁Общества": 48847, + "▁каре": 48848, + "▁водного": 48849, + "▁ПЕР": 48850, + "ствиях": 48851, + "▁посыпа": 48852, + "▁обстановку": 48853, + "▁Короче": 48854, + "▁колю": 48855, + "▁Сэ": 48856, + "▁ХХ": 48857, + "▁алма": 48858, + "▁медалью": 48859, + "▁Специали": 48860, + "▁копии": 48861, + "▁неуме": 48862, + "▁уко": 48863, + "▁Чехова": 48864, + "▁огромных": 48865, + "▁христианство": 48866, + "▁фактором": 48867, + "▁страсть": 48868, + "тут": 48869, + "▁Марина": 48870, + "▁сигаре": 48871, + "лём": 48872, + "▁Гоголь": 48873, + "▁случается": 48874, + "▁жестоко": 48875, + "биографи": 48876, + "▁удачно": 48877, + "▁фантазии": 48878, + "▁Бос": 48879, + "▁Пои": 48880, + "▁Петроград": 48881, + "▁Поста": 48882, + "▁Иванова": 48883, + "▁изна": 48884, + "▁музыкальной": 48885, + "таски": 48886, + "▁спект": 48887, + "▁манда": 48888, + "▁сорта": 48889, + "▁охоты": 48890, + "▁наце": 48891, + "▁критиков": 48892, + "▁Федоров": 48893, + "менных": 48894, + "▁науку": 48895, + "теран": 48896, + "▁ласко": 48897, + "▁распространены": 48898, + "ложением": 48899, + "▁соответствие": 48900, + "▁родителям": 48901, + "risis": 48902, + "своему": 48903, + "▁вызвала": 48904, + "▁существовал": 48905, + "жую": 48906, + "▁учебного": 48907, + "▁прозаи": 48908, + "редка": 48909, + "uters": 48910, + "▁вылета": 48911, + "▁инженеров": 48912, + "ряет": 48913, + "▁молодая": 48914, + "▁печень": 48915, + "▁Стру": 48916, + "gment": 48917, + "▁ведёт": 48918, + "▁подчеркнуть": 48919, + "Гу": 48920, + "▁уважения": 48921, + "▁кинофе": 48922, + "▁кастрю": 48923, + "▁огля": 48924, + "▁оттого": 48925, + "▁Астраха": 48926, + "▁Привет": 48927, + "ллей": 48928, + "▁вмешательства": 48929, + "▁лучшем": 48930, + "▁верю": 48931, + "ссион": 48932, + "▁маленького": 48933, + "▁старая": 48934, + "▁намерен": 48935, + "боры": 48936, + "яза": 48937, + "▁Макс": 48938, + "▁оболочки": 48939, + "▁замо": 48940, + "▁рядах": 48941, + "▁ось": 48942, + "зета": 48943, + "▁Соф": 48944, + "▁защитник": 48945, + "▁удалить": 48946, + "группы": 48947, + "▁сообщество": 48948, + "Же": 48949, + "▁уны": 48950, + "ederation": 48951, + "▁земного": 48952, + "▁сотрудничестве": 48953, + "▁ваку": 48954, + "ссон": 48955, + "▁миниму": 48956, + "▁клят": 48957, + "▁панели": 48958, + "▁взят": 48959, + "▁занят": 48960, + "▁выглядят": 48961, + "▁муску": 48962, + "трица": 48963, + "пода": 48964, + "▁монголь": 48965, + "▁Женщина": 48966, + "▁погода": 48967, + "▁призы": 48968, + "▁эвакуации": 48969, + "▁Война": 48970, + "▁победе": 48971, + "▁Лондона": 48972, + "▁постоянным": 48973, + "▁посвящена": 48974, + "▁будущий": 48975, + "▁Беларусь": 48976, + "▁сможем": 48977, + "▁заключенных": 48978, + "▁романов": 48979, + "▁Тон": 48980, + "▁Проко": 48981, + "▁языку": 48982, + "▁небольшом": 48983, + "▁видами": 48984, + "▁сердцем": 48985, + "▁газов": 48986, + "▁прилега": 48987, + "▁объявления": 48988, + "▁отчу": 48989, + "шнего": 48990, + "▁понимаете": 48991, + "▁журналов": 48992, + "▁спортивной": 48993, + "▁Генриха": 48994, + "▁положением": 48995, + "сио": 48996, + "▁летчиков": 48997, + "▁мемориаль": 48998, + "▁Перу": 48999, + "▁столу": 49000, + "▁переданы": 49001, + "▁заставил": 49002, + "▁пушек": 49003, + "▁encoura": 49004, + "▁категорически": 49005, + "▁подошли": 49006, + "скочил": 49007, + "▁обществ": 49008, + "▁зиму": 49009, + "рею": 49010, + "▁физике": 49011, + "▁Год": 49012, + "▁сдел": 49013, + "ственны": 49014, + "▁Тради": 49015, + "▁предсказа": 49016, + "▁состя": 49017, + "▁точкой": 49018, + "▁Марка": 49019, + "▁experien": 49020, + "▁Союзе": 49021, + "▁Быть": 49022, + "▁карман": 49023, + "▁деревень": 49024, + "▁нынешнего": 49025, + "▁подтверждение": 49026, + "▁немногих": 49027, + "▁вмеши": 49028, + "▁воображение": 49029, + "▁нарезать": 49030, + "▁Маркса": 49031, + "ьях": 49032, + "ИЕ": 49033, + "▁Высота": 49034, + "▁рассказали": 49035, + "▁передавать": 49036, + "читать": 49037, + "рную": 49038, + "▁наем": 49039, + "▁насчитывалось": 49040, + "▁толко": 49041, + "▁центры": 49042, + "▁Немец": 49043, + "вию": 49044, + "рив": 49045, + "▁кипят": 49046, + "▁правди": 49047, + "▁живот": 49048, + "▁обновления": 49049, + "▁местным": 49050, + "▁обеда": 49051, + "▁Создание": 49052, + "▁УССР": 49053, + "▁значительный": 49054, + "▁женщинам": 49055, + "▁Свое": 49056, + "▁одежде": 49057, + "▁понадобится": 49058, + "Ранее": 49059, + "▁главнокоманду": 49060, + "▁стремились": 49061, + "▁гору": 49062, + "ОГ": 49063, + "бол": 49064, + "▁Ивановича": 49065, + "Челове": 49066, + "▁планах": 49067, + "▁выявля": 49068, + "▁лома": 49069, + "▁блоков": 49070, + "▁ухо": 49071, + "▁погребе": 49072, + "▁конкуренции": 49073, + "?\".": 49074, + "▁основатель": 49075, + "▁друзьям": 49076, + "▁отдельным": 49077, + "▁британского": 49078, + "дцать": 49079, + "▁лучей": 49080, + "щева": 49081, + "▁участвуют": 49082, + "▁органом": 49083, + "▁бумаге": 49084, + "▁навыков": 49085, + "▁предлагал": 49086, + "▁уменьшить": 49087, + "▁нажи": 49088, + "▁сумме": 49089, + "▁замену": 49090, + "евым": 49091, + "▁боялся": 49092, + "▁уло": 49093, + "▁долгов": 49094, + "▁совокупности": 49095, + "▁настоящая": 49096, + "▁быта": 49097, + "▁экономический": 49098, + "▁выполняют": 49099, + "▁мега": 49100, + "лиса": 49101, + "▁перевозки": 49102, + "циоз": 49103, + "▁Суда": 49104, + "▁залить": 49105, + "▁заболевание": 49106, + "▁Шекспира": 49107, + "▁Григорьевич": 49108, + "▁ткань": 49109, + "▁радиа": 49110, + "кат": 49111, + "▁предыдущей": 49112, + "▁заявляет": 49113, + "кай": 49114, + "▁выиграть": 49115, + "▁красиво": 49116, + "▁немецким": 49117, + "горо": 49118, + "менее": 49119, + "▁организмов": 49120, + "▁роде": 49121, + "uccess": 49122, + "▁информационных": 49123, + "▁смотрят": 49124, + "▁освободи": 49125, + "▁осмотре": 49126, + "▁частные": 49127, + "▁Вчера": 49128, + "простра": 49129, + "▁законами": 49130, + "▁личи": 49131, + "▁условием": 49132, + "▁солдата": 49133, + "▁второстепен": 49134, + "▁проведена": 49135, + "▁демонстрации": 49136, + "точки": 49137, + "▁суше": 49138, + "▁стя": 49139, + "▁плавания": 49140, + "▁реализация": 49141, + "жками": 49142, + "▁налога": 49143, + "▁яиц": 49144, + "▁Друго": 49145, + "▁ходят": 49146, + "▁убивает": 49147, + "▁температур": 49148, + "▁зв": 49149, + "гиб": 49150, + "▁материальных": 49151, + "▁владение": 49152, + "▁хлоп": 49153, + "▁срабо": 49154, + "▁оранже": 49155, + "▁производителей": 49156, + "▁надписью": 49157, + "▁глад": 49158, + "▁преди": 49159, + "▁Анге": 49160, + "тела": 49161, + "▁определяются": 49162, + "▁ложи": 49163, + "▁расписа": 49164, + "▁понимая": 49165, + "▁СВ": 49166, + "▁польского": 49167, + "шались": 49168, + "▁просвещения": 49169, + "зором": 49170, + "маль": 49171, + "▁твоего": 49172, + "▁оставшиеся": 49173, + "▁расскажу": 49174, + "▁лок": 49175, + "▁русскому": 49176, + "нутый": 49177, + "номи": 49178, + "▁КН": 49179, + "▁лепе": 49180, + "▁ВМС": 49181, + "▁опло": 49182, + "жденных": 49183, + "дье": 49184, + "▁Япония": 49185, + "▁читает": 49186, + "▁ненависти": 49187, + "▁лову": 49188, + "▁забу": 49189, + "▁бухгалтер": 49190, + "▁новостей": 49191, + "▁туристи": 49192, + "▁кухне": 49193, + "▁снизить": 49194, + "▁царской": 49195, + "▁несовершенно": 49196, + "▁священника": 49197, + "▁делится": 49198, + "▁трапе": 49199, + "▁вперёд": 49200, + "▁атомной": 49201, + "▁наблюдал": 49202, + "спомина": 49203, + "мейстер": 49204, + "▁проиграл": 49205, + "▁уми": 49206, + "▁пиани": 49207, + "цизма": 49208, + "▁лихора": 49209, + "▁парашю": 49210, + "▁жидкость": 49211, + "▁portray": 49212, + "▁Четыре": 49213, + "▁обжа": 49214, + "▁нея": 49215, + "▁враща": 49216, + "▁подбира": 49217, + "▁задол": 49218, + "▁успокои": 49219, + "▁фабрики": 49220, + "▁встретились": 49221, + "ара": 49222, + "ваемая": 49223, + "▁правление": 49224, + "худо": 49225, + "▁государя": 49226, + "ствующим": 49227, + "▁золотых": 49228, + "ристы": 49229, + "▁пилота": 49230, + "▁коротко": 49231, + "▁уступ": 49232, + "ленности": 49233, + "▁королевства": 49234, + "▁включать": 49235, + "▁тенденция": 49236, + "живает": 49237, + "▁сбрасы": 49238, + "▁обществу": 49239, + "банка": 49240, + "▁обсерва": 49241, + "▁художники": 49242, + "▁встречались": 49243, + "▁гусе": 49244, + "▁дисциплины": 49245, + "руемых": 49246, + "▁контактов": 49247, + "кей": 49248, + "▁Италию": 49249, + "▁сохранилось": 49250, + "▁дискуссии": 49251, + "влялся": 49252, + "▁принята": 49253, + "▁выражается": 49254, + "▁Насколько": 49255, + "▁Солда": 49256, + "▁секрет": 49257, + "▁страницу": 49258, + "метра": 49259, + "вну": 49260, + "▁указание": 49261, + "▁Деся": 49262, + "▁библиотеке": 49263, + "▁гора": 49264, + "соном": 49265, + "▁размышления": 49266, + "торо": 49267, + "▁Этого": 49268, + "▁ПК": 49269, + "рном": 49270, + "▁направлена": 49271, + "▁максимальной": 49272, + "▁Памятник": 49273, + "▁заключалась": 49274, + "▁разговоре": 49275, + "▁Ред": 49276, + "▁морем": 49277, + "фет": 49278, + "▁полагает": 49279, + "▁переми": 49280, + "▁дежу": 49281, + "валер": 49282, + "▁Борисо": 49283, + "▁Данные": 49284, + "▁присутствуют": 49285, + "жел": 49286, + "▁прямоуго": 49287, + "▁гау": 49288, + "▁Йе": 49289, + "▁табле": 49290, + "рог": 49291, + "ште": 49292, + "▁Cult": 49293, + "azon": 49294, + "▁родственники": 49295, + "▁еврейской": 49296, + "другому": 49297, + "▁десятилетий": 49298, + "▁арома": 49299, + "кара": 49300, + "мерика": 49301, + "▁миг": 49302, + "▁Русские": 49303, + "▁широком": 49304, + "сях": 49305, + "довым": 49306, + "ДС": 49307, + "▁рубеже": 49308, + "▁консоли": 49309, + "▁Берлина": 49310, + "▁сопровождении": 49311, + "ведем": 49312, + "▁Помните": 49313, + "▁Камен": 49314, + "▁Причина": 49315, + "▁дальнейшей": 49316, + "▁Турк": 49317, + "▁веках": 49318, + "стрия": 49319, + "бороны": 49320, + "ксикан": 49321, + "▁интересное": 49322, + "▁сессии": 49323, + "▁пнев": 49324, + "▁футбола": 49325, + "▁запустить": 49326, + "▁Браун": 49327, + "▁намест": 49328, + "▁тратить": 49329, + "▁правую": 49330, + "▁Второе": 49331, + "▁долины": 49332, + "▁совпадает": 49333, + "сений": 49334, + "▁перенести": 49335, + "▁Рассмотри": 49336, + "▁Uk": 49337, + "▁местность": 49338, + "тяне": 49339, + "ловину": 49340, + "▁повышенной": 49341, + "▁шансы": 49342, + "▁тари": 49343, + "▁игровой": 49344, + "▁капель": 49345, + "▁передан": 49346, + "▁тулови": 49347, + "▁глубокий": 49348, + "▁нормальной": 49349, + "▁выступала": 49350, + "▁сры": 49351, + "▁рейх": 49352, + "▁Другими": 49353, + "▁серебра": 49354, + "▁Уста": 49355, + "сфаль": 49356, + "сями": 49357, + "▁аноним": 49358, + "▁отте": 49359, + "▁списки": 49360, + "▁выделения": 49361, + "▁молитвы": 49362, + "бон": 49363, + "зируется": 49364, + "▁магнит": 49365, + "▁незадолго": 49366, + "▁фамилию": 49367, + "▁боеприпасов": 49368, + "▁сока": 49369, + "▁Лорен": 49370, + "▁передвига": 49371, + "▁лазер": 49372, + "oln": 49373, + "▁меняет": 49374, + "▁жал": 49375, + "▁состоянием": 49376, + "▁разрешить": 49377, + "▁illust": 49378, + "чивания": 49379, + "▁ставки": 49380, + "▁реви": 49381, + "pir": 49382, + "▁иллюстри": 49383, + "▁уку": 49384, + "▁обле": 49385, + "▁мем": 49386, + "▁канале": 49387, + "▁враги": 49388, + "▁упаков": 49389, + "▁прямых": 49390, + "▁препараты": 49391, + "пон": 49392, + "▁занимали": 49393, + "▁иеро": 49394, + "▁изобрете": 49395, + "▁Прибал": 49396, + "▁забыли": 49397, + "▁спасе": 49398, + "пился": 49399, + "▁занималась": 49400, + "▁морские": 49401, + "▁княги": 49402, + "iary": 49403, + "▁взвода": 49404, + "▁банкро": 49405, + "▁Кы": 49406, + "▁борта": 49407, + "▁обл": 49408, + "▁научным": 49409, + "▁Кари": 49410, + "▁корей": 49411, + "▁меру": 49412, + "дины": 49413, + "▁пенсию": 49414, + "▁Набо": 49415, + "▁Подобные": 49416, + "▁лейтенанта": 49417, + "uled": 49418, + "▁тылу": 49419, + "▁охраня": 49420, + "хаи": 49421, + "▁Немного": 49422, + "▁принц": 49423, + "▁заняты": 49424, + "▁обвинение": 49425, + "▁ужасно": 49426, + "ванные": 49427, + "▁ковар": 49428, + "▁хромо": 49429, + "▁милосер": 49430, + "▁слоем": 49431, + "меда": 49432, + "сового": 49433, + "▁живые": 49434, + "▁учреждение": 49435, + "▁Сток": 49436, + "▁перестали": 49437, + "▁Гол": 49438, + "▁классы": 49439, + "▁госте": 49440, + "▁недово": 49441, + "▁деления": 49442, + "▁сада": 49443, + "нология": 49444, + "▁коробки": 49445, + "▁учащихся": 49446, + "▁Республике": 49447, + "▁полуфина": 49448, + "▁сведениям": 49449, + "▁Капитан": 49450, + "▁Всегда": 49451, + "▁Надеюсь": 49452, + "▁Краснодар": 49453, + "фицировать": 49454, + "тировали": 49455, + "ueens": 49456, + "▁сотрудниками": 49457, + "▁пальцем": 49458, + "армей": 49459, + "▁клубов": 49460, + "ИБ": 49461, + "▁поп": 49462, + "памя": 49463, + "часто": 49464, + "▁историков": 49465, + "дках": 49466, + "▁добрый": 49467, + "Гер": 49468, + "▁вождя": 49469, + "▁выходили": 49470, + "▁телу": 49471, + "тано": 49472, + "▁протокол": 49473, + "▁подготовить": 49474, + "оса": 49475, + "▁границах": 49476, + "▁традиция": 49477, + "испыта": 49478, + "▁конкурсе": 49479, + "▁конди": 49480, + "▁Петер": 49481, + "▁монопо": 49482, + "▁охотни": 49483, + "▁французские": 49484, + "▁Лар": 49485, + "▁повреди": 49486, + "▁советско": 49487, + "▁короче": 49488, + "▁попадают": 49489, + "▁Вокруг": 49490, + "▁подтверждает": 49491, + "▁кнопки": 49492, + "вола": 49493, + "▁Нака": 49494, + "▁Смотри": 49495, + "▁эксперты": 49496, + "ллиан": 49497, + "▁неяс": 49498, + "▁актива": 49499, + "▁течению": 49500, + "▁беженцев": 49501, + "бот": 49502, + "француз": 49503, + "▁медалями": 49504, + "▁интеллекта": 49505, + "▁Самые": 49506, + "▁укро": 49507, + "▁цвету": 49508, + "▁флага": 49509, + "▁Сербии": 49510, + "▁любим": 49511, + "▁искусством": 49512, + "кономии": 49513, + "деров": 49514, + "▁Край": 49515, + "льники": 49516, + "▁Кири": 49517, + "▁штам": 49518, + "каса": 49519, + "▁необходимостью": 49520, + "▁морю": 49521, + "▁Литвы": 49522, + "▁округу": 49523, + "▁предельно": 49524, + "кине": 49525, + "▁невероятно": 49526, + "▁оркестра": 49527, + "▁звер": 49528, + "пеней": 49529, + "▁Абсолю": 49530, + "▁номинации": 49531, + "бес": 49532, + "▁написала": 49533, + "▁костюм": 49534, + "▁Иными": 49535, + "▁юрис": 49536, + "▁клавиа": 49537, + "▁Сав": 49538, + "▁росту": 49539, + "▁вправо": 49540, + "▁полосе": 49541, + "губ": 49542, + "▁синтакси": 49543, + "▁римского": 49544, + "▁Недавно": 49545, + "▁отделом": 49546, + "еть": 49547, + "▁урожай": 49548, + "вело": 49549, + "▁лим": 49550, + "▁хранится": 49551, + "троп": 49552, + "▁Ману": 49553, + "социали": 49554, + "▁благослове": 49555, + "▁плу": 49556, + "▁переименован": 49557, + "▁агрессии": 49558, + "▁революцию": 49559, + "женицы": 49560, + "▁Москвой": 49561, + "лилась": 49562, + "держание": 49563, + "▁продли": 49564, + "▁сомнение": 49565, + "▁успоко": 49566, + "▁созвез": 49567, + "▁отличались": 49568, + "▁разделение": 49569, + "▁доволен": 49570, + "▁шты": 49571, + "▁окружи": 49572, + "▁контракта": 49573, + "▁знакомства": 49574, + "писки": 49575, + "▁тонко": 49576, + "▁преследу": 49577, + "▁Гло": 49578, + "▁попо": 49579, + "▁живёт": 49580, + "▁поменя": 49581, + "ework": 49582, + "▁детского": 49583, + "▁государь": 49584, + "▁остановки": 49585, + "▁старается": 49586, + "▁работающих": 49587, + "▁спектакля": 49588, + "▁сельских": 49589, + "▁воров": 49590, + "тянуть": 49591, + "▁Верховный": 49592, + "▁Нач": 49593, + "партий": 49594, + "▁немцами": 49595, + "▁ящик": 49596, + "▁Яков": 49597, + "плин": 49598, + "▁замед": 49599, + "▁Куй": 49600, + "▁сообще": 49601, + "▁механики": 49602, + "▁гласит": 49603, + "▁монито": 49604, + "▁правосла": 49605, + "▁баллов": 49606, + "▁красных": 49607, + "Союз": 49608, + "▁обостре": 49609, + "кладки": 49610, + "▁вирус": 49611, + "▁приле": 49612, + "фессиона": 49613, + "орт": 49614, + "▁великому": 49615, + "▁пыталась": 49616, + "▁произведён": 49617, + "чивают": 49618, + "▁итоги": 49619, + "▁Храм": 49620, + "▁Юрь": 49621, + "▁сиро": 49622, + "▁астерои": 49623, + "▁ибн": 49624, + "плены": 49625, + "▁Эле": 49626, + "вропей": 49627, + "▁сувере": 49628, + "▁французы": 49629, + "мода": 49630, + "▁военнослужа": 49631, + "▁Черны": 49632, + "▁Свой": 49633, + "▁богаты": 49634, + "кается": 49635, + "иды": 49636, + "тельский": 49637, + "▁многократно": 49638, + "шкина": 49639, + "▁непонятно": 49640, + "вань": 49641, + "рующего": 49642, + "▁дерз": 49643, + "▁возьми": 49644, + "▁ущерба": 49645, + "вшемуся": 49646, + "▁британский": 49647, + "▁Штаты": 49648, + "▁исце": 49649, + "▁осен": 49650, + "▁коменда": 49651, + "▁блюда": 49652, + "тихо": 49653, + "▁мягко": 49654, + "Вла": 49655, + "стона": 49656, + "▁односторон": 49657, + "▁южных": 49658, + "ЛЯ": 49659, + "▁недопусти": 49660, + "Гра": 49661, + "▁меньшин": 49662, + "▁возрастает": 49663, + "▁туберку": 49664, + "▁употребления": 49665, + "▁Хен": 49666, + "▁мио": 49667, + "левский": 49668, + "▁Тебе": 49669, + "▁интересует": 49670, + "▁глубокое": 49671, + "жденные": 49672, + "заций": 49673, + "▁Министров": 49674, + "▁беспри": 49675, + "▁императором": 49676, + "▁определению": 49677, + "▁мощь": 49678, + "▁шире": 49679, + "▁пьесе": 49680, + "ейс": 49681, + "президент": 49682, + "▁грубы": 49683, + "▁сопровождается": 49684, + "▁ставший": 49685, + "▁Сици": 49686, + "▁перес": 49687, + "▁легенды": 49688, + "ряется": 49689, + "▁пятидесяти": 49690, + "▁российским": 49691, + "льца": 49692, + "▁ступ": 49693, + "▁помощника": 49694, + "?»": 49695, + "▁переворота": 49696, + "комму": 49697, + "▁поведением": 49698, + "свобо": 49699, + "▁Хорва": 49700, + "▁праздника": 49701, + "▁свидетелей": 49702, + "▁распространён": 49703, + "▁признает": 49704, + "▁азиат": 49705, + "▁третьим": 49706, + "доры": 49707, + "▁регистри": 49708, + "▁Пода": 49709, + "▁Пой": 49710, + "▁бабо": 49711, + "▁Мура": 49712, + "▁планирования": 49713, + "▁предъяви": 49714, + "ваемое": 49715, + "▁тожде": 49716, + "▁живопись": 49717, + "▁брату": 49718, + "▁Роберта": 49719, + "▁перемены": 49720, + "▁аро": 49721, + "величи": 49722, + "▁оставшихся": 49723, + "новской": 49724, + "▁индика": 49725, + "▁Огром": 49726, + "▁призвал": 49727, + "▁исполнительной": 49728, + "▁обратились": 49729, + "няясь": 49730, + "▁институтов": 49731, + "▁безот": 49732, + "▁Пути": 49733, + "▁легкие": 49734, + "▁присутствия": 49735, + "▁соответствовать": 49736, + "▁мудрости": 49737, + "▁входило": 49738, + "▁прекращения": 49739, + "▁эстра": 49740, + "▁грузин": 49741, + "▁горячей": 49742, + "▁следов": 49743, + "▁Нобелев": 49744, + "▁знака": 49745, + "▁боевиков": 49746, + "▁немедлен": 49747, + "▁содержанию": 49748, + "шней": 49749, + "▁обладать": 49750, + "▁интим": 49751, + "▁выражает": 49752, + "▁игроки": 49753, + "льфа": 49754, + "зывают": 49755, + "▁использованию": 49756, + "▁уходят": 49757, + "Москов": 49758, + "▁Веро": 49759, + "▁правед": 49760, + "ссёр": 49761, + "▁полетов": 49762, + "▁формируется": 49763, + "▁полутора": 49764, + "▁торговля": 49765, + "▁настоящие": 49766, + "▁звонок": 49767, + "бита": 49768, + "▁краски": 49769, + "▁обратном": 49770, + "ницами": 49771, + "▁истина": 49772, + "́ться": 49773, + "гую": 49774, + "▁Помню": 49775, + "▁просу": 49776, + "▁глубина": 49777, + "▁пустой": 49778, + "▁штабе": 49779, + "▁гал": 49780, + "▁отверстия": 49781, + "▁обманы": 49782, + "▁Учитывая": 49783, + "uties": 49784, + "▁отталки": 49785, + "▁разделения": 49786, + "▁предусматривает": 49787, + "влялись": 49788, + "▁греческой": 49789, + "▁клей": 49790, + "▁агра": 49791, + "▁любя": 49792, + "▁конструкция": 49793, + "▁ед": 49794, + "исти": 49795, + "дину": 49796, + "▁осуществление": 49797, + "▁дружбы": 49798, + "ЕС": 49799, + "▁эксперименты": 49800, + "▁постоянных": 49801, + "▁землях": 49802, + "▁Роза": 49803, + "▁греков": 49804, + "▁шокола": 49805, + "▁резонан": 49806, + "▁Относи": 49807, + "▁Снова": 49808, + "▁поддержания": 49809, + "ился": 49810, + "▁выставка": 49811, + "▁Чехословакии": 49812, + "▁внутреннюю": 49813, + "▁месторождения": 49814, + "▁неустой": 49815, + "ванного": 49816, + "▁конвен": 49817, + "▁беспомощ": 49818, + "struction": 49819, + "▁Мно": 49820, + "Совет": 49821, + "▁мск": 49822, + "▁интересам": 49823, + "▁телесериа": 49824, + "▁информационной": 49825, + "▁равной": 49826, + "▁необыкновен": 49827, + "льси": 49828, + "▁изменении": 49829, + "▁черных": 49830, + "▁обязанность": 49831, + "Моло": 49832, + "▁контрреволю": 49833, + "вость": 49834, + "▁подхва": 49835, + "▁крейсер": 49836, + "▁мудре": 49837, + "щимися": 49838, + "▁разной": 49839, + "УР": 49840, + "▁Эрик": 49841, + "▁уметь": 49842, + "▁воспринимать": 49843, + "▁сидят": 49844, + "нцев": 49845, + "▁упражнений": 49846, + "▁риф": 49847, + "▁Команда": 49848, + "▁перемещения": 49849, + "▁жалобы": 49850, + "▁дату": 49851, + "тир": 49852, + "▁южнее": 49853, + "▁Петру": 49854, + "▁безуспе": 49855, + "▁Образ": 49856, + "▁приходили": 49857, + "▁коре": 49858, + "▁интересных": 49859, + "тны": 49860, + "▁поддерживал": 49861, + "▁совершили": 49862, + "▁атак": 49863, + "▁формат": 49864, + "▁процессом": 49865, + "▁сокращение": 49866, + "▁нуля": 49867, + "▁пещ": 49868, + "▁международным": 49869, + "▁Четвер": 49870, + "▁фри": 49871, + "кки": 49872, + "▁щедро": 49873, + "▁плечо": 49874, + "Ал": 49875, + "веда": 49876, + "фельд": 49877, + "▁китайских": 49878, + "▁единственно": 49879, + "iang": 49880, + "▁Санта": 49881, + "▁сократить": 49882, + "▁полицейских": 49883, + "▁Профессор": 49884, + "▁иконы": 49885, + "▁национальные": 49886, + "▁переключа": 49887, + "дря": 49888, + "▁узнает": 49889, + "▁газетах": 49890, + "▁пада": 49891, + "▁взыска": 49892, + "сма": 49893, + "▁Последнее": 49894, + "▁Класси": 49895, + "▁биологии": 49896, + "▁оперативно": 49897, + "▁кажутся": 49898, + "грамо": 49899, + "▁конституции": 49900, + "▁consec": 49901, + "тивному": 49902, + "▁Советская": 49903, + "▁Стэн": 49904, + "▁НЛО": 49905, + "ллинг": 49906, + "▁ожидал": 49907, + "дитесь": 49908, + "▁половой": 49909, + "▁соле": 49910, + "Пра": 49911, + "шов": 49912, + "дельный": 49913, + "▁среднее": 49914, + "▁Возник": 49915, + "▁рекор": 49916, + "ристов": 49917, + "▁видишь": 49918, + "▁Мали": 49919, + "▁уверенности": 49920, + "▁двусторон": 49921, + "▁бру": 49922, + "▁полости": 49923, + "▁переведен": 49924, + "▁белым": 49925, + "▁Семи": 49926, + "▁Marsh": 49927, + "▁лидеры": 49928, + "жор": 49929, + "хро": 49930, + "▁Бое": 49931, + "▁логика": 49932, + "▁среда": 49933, + "▁общему": 49934, + "▁расформи": 49935, + "ИНА": 49936, + "дира": 49937, + "добы": 49938, + "▁Ап": 49939, + "▁покинули": 49940, + "▁массе": 49941, + "▁толщиной": 49942, + "▁поре": 49943, + "▁автору": 49944, + "▁Эми": 49945, + "▁рота": 49946, + "▁включения": 49947, + "▁электромагни": 49948, + "▁прочь": 49949, + "▁Addition": 49950, + "бара": 49951, + "▁влюблен": 49952, + "▁взве": 49953, + "▁значительных": 49954, + "име": 49955, + "▁простая": 49956, + "▁сжи": 49957, + "▁рейтинг": 49958, + "▁октябрь": 49959, + "▁организациями": 49960, + "▁отрез": 49961, + "▁Лай": 49962, + "▁забе": 49963, + "▁военными": 49964, + "миная": 49965, + "жском": 49966, + "▁ограничение": 49967, + "▁князем": 49968, + "страя": 49969, + "▁регион": 49970, + "▁Рассмотрим": 49971, + "▁извлека": 49972, + "▁Развитие": 49973, + "▁сообщают": 49974, + "▁замены": 49975, + "▁сбере": 49976, + "▁потеряла": 49977, + "▁спортивных": 49978, + "▁торговые": 49979, + "▁называлась": 49980, + "▁естественного": 49981, + "сской": 49982, + "▁характере": 49983, + "▁Вячеслав": 49984, + "▁коже": 49985, + "▁Клин": 49986, + "ксов": 49987, + "▁Orig": 49988, + "▁живое": 49989, + "▁аренды": 49990, + "▁чиновники": 49991, + "▁престола": 49992, + "▁Ата": 49993, + "▁оценкам": 49994, + "▁перена": 49995, + "рующая": 49996, + "▁зеркало": 49997, + "▁обыгра": 49998, + "ффа": 49999, + "патри": 50000, + "▁повседневной": 50001, + "▁Вначале": 50002, + "▁выделяется": 50003, + "▁Художе": 50004, + "▁Малень": 50005, + "▁бить": 50006, + "▁называемого": 50007, + "▁коррек": 50008, + "rete": 50009, + "▁уважением": 50010, + "▁равновесия": 50011, + "▁имелись": 50012, + "▁посадку": 50013, + "▁продо": 50014, + "▁князю": 50015, + "видной": 50016, + "▁мужик": 50017, + "▁стихах": 50018, + "▁МИ": 50019, + "▁жени": 50020, + "▁постановки": 50021, + "▁простира": 50022, + "ъяс": 50023, + "▁Предположи": 50024, + "▁образуются": 50025, + "▁тренировки": 50026, + "ёры": 50027, + "▁делаю": 50028, + "▁неведо": 50029, + "▁сборки": 50030, + "▁принесла": 50031, + "▁справедливость": 50032, + "закон": 50033, + "▁смогу": 50034, + "▁СМ": 50035, + "utation": 50036, + "▁агента": 50037, + "▁алгоритм": 50038, + "▁перспективе": 50039, + "▁разнообра": 50040, + "▁крик": 50041, + "▁настойчиво": 50042, + "ragon": 50043, + "▁вооружении": 50044, + "▁постоянный": 50045, + "▁назо": 50046, + "сковой": 50047, + "▁цеп": 50048, + "▁авантю": 50049, + "▁Стю": 50050, + "ловых": 50051, + "▁вздох": 50052, + "▁Северная": 50053, + "▁бомб": 50054, + "▁suppor": 50055, + "▁хит": 50056, + "▁ядерного": 50057, + "▁компонент": 50058, + "▁констати": 50059, + "▁убрать": 50060, + "▁надписи": 50061, + "▁пользы": 50062, + "▁сгоре": 50063, + "▁полагал": 50064, + "▁расположенные": 50065, + "особенно": 50066, + "▁любили": 50067, + "▁течением": 50068, + "балан": 50069, + "зино": 50070, + "▁Италия": 50071, + "▁оператора": 50072, + "гета": 50073, + "▁внутренним": 50074, + "▁варьи": 50075, + "▁преступников": 50076, + "лини": 50077, + "слух": 50078, + "▁целая": 50079, + "▁выявить": 50080, + "▁аргумента": 50081, + "ДД": 50082, + "▁новгород": 50083, + "▁смех": 50084, + "▁благодарность": 50085, + "столюби": 50086, + "▁отдых": 50087, + "▁концепцию": 50088, + "сочета": 50089, + "▁положений": 50090, + "▁передач": 50091, + "▁косвен": 50092, + "▁собеседник": 50093, + "▁индейцев": 50094, + "була": 50095, + "▁приборы": 50096, + "▁сосудов": 50097, + "прови": 50098, + "▁рель": 50099, + "▁газету": 50100, + "▁отврати": 50101, + "характери": 50102, + "▁агро": 50103, + "▁Объек": 50104, + "станций": 50105, + "▁изучении": 50106, + "ченном": 50107, + "▁формировании": 50108, + "лила": 50109, + "▁трон": 50110, + "йтед": 50111, + "▁разряд": 50112, + "▁аква": 50113, + "▁Товари": 50114, + "▁Распу": 50115, + "▁завершить": 50116, + "тинский": 50117, + "рованном": 50118, + "▁однозначно": 50119, + "▁давая": 50120, + "▁реакций": 50121, + "▁ула": 50122, + "▁добычу": 50123, + "ницкий": 50124, + "▁кругах": 50125, + "▁Дополни": 50126, + "каты": 50127, + "феро": 50128, + "▁надежде": 50129, + "▁Пастерна": 50130, + "фар": 50131, + "▁дверей": 50132, + "▁брал": 50133, + "шиф": 50134, + "▁противостоять": 50135, + "▁появиться": 50136, + "▁извер": 50137, + "▁надё": 50138, + "▁Мюн": 50139, + "▁ушёл": 50140, + "▁ориентации": 50141, + "▁воины": 50142, + "▁Харьков": 50143, + "▁политическое": 50144, + "▁Живо": 50145, + "▁почву": 50146, + "pedition": 50147, + "уда": 50148, + "▁посмер": 50149, + "рились": 50150, + "▁диплом": 50151, + "▁расхо": 50152, + "▁посмотрим": 50153, + "▁Посо": 50154, + "▁Франсуа": 50155, + "▁сохраняет": 50156, + "▁мю": 50157, + "▁щен": 50158, + "▁государственную": 50159, + "▁архитектора": 50160, + "▁сжима": 50161, + "▁Российского": 50162, + "▁Лауре": 50163, + "▁старших": 50164, + "▁обеспечивают": 50165, + "▁интеграции": 50166, + "зовывать": 50167, + "▁событиями": 50168, + "rove": 50169, + "▁стерж": 50170, + "▁знакомство": 50171, + "▁практической": 50172, + "▁смысло": 50173, + "▁мексикан": 50174, + "▁Оли": 50175, + "▁Грей": 50176, + "▁Успен": 50177, + "▁Самая": 50178, + "▁древнегре": 50179, + "▁программного": 50180, + "▁кучу": 50181, + "▁мобильных": 50182, + "▁повле": 50183, + "▁героем": 50184, + "▁исторически": 50185, + "▁Вест": 50186, + "зель": 50187, + "▁вертолет": 50188, + "ЕЗ": 50189, + "дость": 50190, + "шила": 50191, + "▁скрыть": 50192, + "лики": 50193, + "▁зеленый": 50194, + "▁прежние": 50195, + "▁стараются": 50196, + "▁вёл": 50197, + "Гц": 50198, + "▁Тверской": 50199, + "▁строение": 50200, + "▁Сон": 50201, + "▁стремления": 50202, + "▁ответов": 50203, + "▁ille": 50204, + "▁крестьянской": 50205, + "▁художником": 50206, + "▁тайну": 50207, + "▁подчеркну": 50208, + "▁сводится": 50209, + "▁значительная": 50210, + "▁беспло": 50211, + "▁прежней": 50212, + "ФЗ": 50213, + "▁воевать": 50214, + "▁богу": 50215, + "▁Артур": 50216, + "чур": 50217, + "▁производят": 50218, + "▁Александру": 50219, + "▁снят": 50220, + "▁заставили": 50221, + "электри": 50222, + "▁предопреде": 50223, + "▁учёных": 50224, + "▁распра": 50225, + "▁ладно": 50226, + "▁конденса": 50227, + "▁уклады": 50228, + "▁характером": 50229, + "▁пояса": 50230, + "▁задать": 50231, + "дс": 50232, + "▁конструкций": 50233, + "женном": 50234, + "▁Тбили": 50235, + "▁желанием": 50236, + "▁спаль": 50237, + "▁прямые": 50238, + "ьян": 50239, + "▁электронных": 50240, + "▁любителей": 50241, + "▁разбор": 50242, + "рба": 50243, + "▁двоих": 50244, + "Пред": 50245, + "▁судебной": 50246, + "▁досро": 50247, + "▁рубеж": 50248, + "▁перенес": 50249, + "▁влево": 50250, + "▁германской": 50251, + "▁показывать": 50252, + "▁местный": 50253, + "▁секции": 50254, + "▁бирже": 50255, + "▁важность": 50256, + "▁развиваются": 50257, + "flib": 50258, + "▁Появи": 50259, + "▁покро": 50260, + "▁отзывы": 50261, + "▁памятники": 50262, + "▁сделана": 50263, + "ционеры": 50264, + "▁Неболь": 50265, + "▁интона": 50266, + "▁исправи": 50267, + "▁водорода": 50268, + "▁Сухо": 50269, + "▁яд": 50270, + "стически": 50271, + "ланда": 50272, + "НОСТ": 50273, + "▁ядерной": 50274, + "▁синтеза": 50275, + "▁судебных": 50276, + "▁реализацию": 50277, + "▁ожидании": 50278, + "товое": 50279, + "мь": 50280, + "▁Чин": 50281, + "цки": 50282, + "▁нанес": 50283, + "▁центральных": 50284, + "▁спасение": 50285, + "▁единое": 50286, + "▁материальной": 50287, + "черки": 50288, + "▁Дмитриевич": 50289, + "▁германских": 50290, + "▁танце": 50291, + "▁зубов": 50292, + "▁пятна": 50293, + "▁приводя": 50294, + "▁Джим": 50295, + "▁мастерской": 50296, + "▁Бла": 50297, + "▁кристалли": 50298, + "▁колла": 50299, + "▁сообщал": 50300, + "ДП": 50301, + "техники": 50302, + "▁советов": 50303, + "▁страхов": 50304, + "▁авиационного": 50305, + "▁зерно": 50306, + "▁умом": 50307, + "▁уменьшается": 50308, + "рях": 50309, + "▁претенден": 50310, + "▁окне": 50311, + "▁называемая": 50312, + "лени": 50313, + "▁штука": 50314, + "▁вибра": 50315, + "▁парадокса": 50316, + "▁встать": 50317, + "▁заключению": 50318, + "▁ресторан": 50319, + "▁припа": 50320, + "зят": 50321, + "▁сгу": 50322, + "Пла": 50323, + "Стра": 50324, + "▁Съ": 50325, + "▁удли": 50326, + "▁Васильев": 50327, + "▁открытого": 50328, + "▁пош": 50329, + "▁Сою": 50330, + "▁бояться": 50331, + "▁звуко": 50332, + "▁увидите": 50333, + "▁Великобритания": 50334, + "▁предупреждения": 50335, + "нео": 50336, + "▁модуль": 50337, + "▁Льва": 50338, + "▁заодно": 50339, + "риат": 50340, + "▁характерны": 50341, + "▁византий": 50342, + "▁прочее": 50343, + "▁тяжелый": 50344, + "▁достигается": 50345, + "▁климата": 50346, + "▁знакоми": 50347, + "тях": 50348, + "живания": 50349, + "▁запросов": 50350, + "жон": 50351, + "▁Ол": 50352, + "правление": 50353, + "▁суждено": 50354, + "▁выросла": 50355, + "▁обыден": 50356, + "▁Медведев": 50357, + "▁усе": 50358, + "▁старости": 50359, + "льцы": 50360, + "стит": 50361, + "▁этажа": 50362, + "▁днях": 50363, + "скрип": 50364, + "▁помогал": 50365, + "▁выры": 50366, + "После": 50367, + "▁somew": 50368, + "торных": 50369, + "▁достижений": 50370, + "▁возможной": 50371, + "▁Реги": 50372, + "▁объединя": 50373, + "▁познакомиться": 50374, + "▁общин": 50375, + "▁ОП": 50376, + "▁партнеров": 50377, + "▁разом": 50378, + "▁установленных": 50379, + "▁уровню": 50380, + "▁революционной": 50381, + "▁Сне": 50382, + "▁провода": 50383, + "▁Смерть": 50384, + "▁занимать": 50385, + "▁жаль": 50386, + "▁фарма": 50387, + "▁западного": 50388, + "▁дешевле": 50389, + "щах": 50390, + "▁упразднён": 50391, + "▁лого": 50392, + "▁Программа": 50393, + "байка": 50394, + "▁мужу": 50395, + "носятся": 50396, + "▁завоевания": 50397, + "летом": 50398, + "▁Игна": 50399, + "▁Иран": 50400, + "▁прегра": 50401, + "▁ключи": 50402, + "▁Лук": 50403, + "▁раны": 50404, + "▁Баш": 50405, + "▁моск": 50406, + "▁неа": 50407, + "женер": 50408, + "▁привед": 50409, + "▁определении": 50410, + "▁отдельными": 50411, + "▁канц": 50412, + "▁звуков": 50413, + "▁управлению": 50414, + "▁давай": 50415, + "▁ближайших": 50416, + "▁музыкального": 50417, + "▁Уа": 50418, + "знец": 50419, + "арт": 50420, + "▁обнаруживает": 50421, + "▁Мира": 50422, + "▁неограни": 50423, + "▁прони": 50424, + "▁счастлив": 50425, + "▁прошлой": 50426, + "вавшие": 50427, + "смер": 50428, + "▁подойти": 50429, + "ВС": 50430, + "▁заблоки": 50431, + "▁Португалии": 50432, + "▁Зву": 50433, + "▁убитых": 50434, + "▁обмо": 50435, + "▁электроэнергии": 50436, + "▁недове": 50437, + "▁равновеси": 50438, + "листов": 50439, + "▁комбини": 50440, + "▁ножом": 50441, + "▁интерпретации": 50442, + "▁десятка": 50443, + "▁летчик": 50444, + "▁улицам": 50445, + "▁дошли": 50446, + "▁знакомые": 50447, + "▁музыкальный": 50448, + "▁Матве": 50449, + "▁продукцию": 50450, + "▁уходить": 50451, + "itants": 50452, + "▁Вполне": 50453, + "rack": 50454, + "▁Шах": 50455, + "▁усу": 50456, + "▁продолжения": 50457, + "▁пома": 50458, + "▁народные": 50459, + "▁вступает": 50460, + "▁рем": 50461, + "▁Куту": 50462, + "▁Кому": 50463, + "▁врачом": 50464, + "▁Мило": 50465, + "▁исследовать": 50466, + "▁чистого": 50467, + "▁высочай": 50468, + "▁доброво": 50469, + "▁Плу": 50470, + "▁баро": 50471, + "▁Департа": 50472, + "▁квадратных": 50473, + "▁набрал": 50474, + "▁виден": 50475, + "▁возможны": 50476, + "▁Эдуард": 50477, + "▁модернизации": 50478, + "▁таки": 50479, + "▁позор": 50480, + "пович": 50481, + "▁сравнение": 50482, + "▁коалиции": 50483, + "▁Виш": 50484, + "▁сыграли": 50485, + "чься": 50486, + "▁вызова": 50487, + "▁родом": 50488, + "▁итальянского": 50489, + "▁подполковник": 50490, + "ёнок": 50491, + "▁Хоть": 50492, + "вз": 50493, + "Авто": 50494, + "▁Леви": 50495, + "▁способствовать": 50496, + "социаль": 50497, + "▁расход": 50498, + "▁запросы": 50499, + "довской": 50500, + "ructure": 50501, + "▁Александром": 50502, + "▁возобно": 50503, + "▁ритуаль": 50504, + "etts": 50505, + "западной": 50506, + "▁Республика": 50507, + "▁пропу": 50508, + "▁Южно": 50509, + "▁визита": 50510, + "▁пир": 50511, + "▁акционер": 50512, + "▁Ивановна": 50513, + "▁акты": 50514, + "листы": 50515, + "▁Рузве": 50516, + "▁британских": 50517, + "▁подсо": 50518, + "▁беспоща": 50519, + "▁редактором": 50520, + "▁выреза": 50521, + "▁книгой": 50522, + "▁расширить": 50523, + "▁Понима": 50524, + "flibusta": 50525, + "▁Русского": 50526, + "рится": 50527, + "▁эпоха": 50528, + "▁мощи": 50529, + "▁Мадри": 50530, + "▁пласт": 50531, + "▁Кё": 50532, + "скопа": 50533, + "тируя": 50534, + "▁депутаты": 50535, + "▁соответствующим": 50536, + "▁ирони": 50537, + "▁решился": 50538, + "▁лечении": 50539, + "▁старым": 50540, + "▁употребление": 50541, + "▁задолго": 50542, + "▁ветери": 50543, + "▁заведений": 50544, + "▁нужд": 50545, + "▁победой": 50546, + "деятельности": 50547, + "ВМ": 50548, + "ourney": 50549, + "тк": 50550, + "▁патриоти": 50551, + "▁аук": 50552, + "▁сложным": 50553, + "▁широкую": 50554, + "▁империя": 50555, + "▁Звезда": 50556, + "▁войсках": 50557, + "▁компьютеров": 50558, + "▁лоя": 50559, + "▁издал": 50560, + "▁Обладатель": 50561, + "▁Чехов": 50562, + "▁длительное": 50563, + "▁младшего": 50564, + "▁возвышен": 50565, + "дере": 50566, + "▁автоно": 50567, + "▁новость": 50568, + "▁отказалась": 50569, + "▁издательства": 50570, + "▁секс": 50571, + "▁верность": 50572, + "▁палом": 50573, + "▁сторонники": 50574, + "▁выбрали": 50575, + "▁хозяйств": 50576, + "▁ученики": 50577, + "▁региональных": 50578, + "▁Расстояние": 50579, + "▁разное": 50580, + "ническое": 50581, + "говая": 50582, + "чаться": 50583, + "▁построили": 50584, + "▁Совершенно": 50585, + "▁кадра": 50586, + "▁Остро": 50587, + "▁кафедрой": 50588, + "▁спрос": 50589, + "▁новорожден": 50590, + "▁Юлия": 50591, + "▁вытека": 50592, + "▁Отто": 50593, + "▁встретили": 50594, + "▁установление": 50595, + "▁пролетариата": 50596, + "▁обитания": 50597, + "▁силам": 50598, + "▁этапах": 50599, + "▁точность": 50600, + "▁буй": 50601, + "надцатого": 50602, + "▁предполагается": 50603, + "доступ": 50604, + "▁отделении": 50605, + "▁предводи": 50606, + "▁наркома": 50607, + "▁Мала": 50608, + "лёв": 50609, + "▁погибло": 50610, + "▁Вороши": 50611, + "▁разбу": 50612, + "▁Пье": 50613, + "▁доклады": 50614, + "нси": 50615, + "▁Гаври": 50616, + "▁отклик": 50617, + "▁Законо": 50618, + "шние": 50619, + "▁Депута": 50620, + "▁скле": 50621, + "▁Западного": 50622, + "▁Давы": 50623, + "▁тонкой": 50624, + "▁глубокие": 50625, + "▁пунктом": 50626, + "▁пункте": 50627, + "▁действ": 50628, + "ствовавших": 50629, + "ОТ": 50630, + "▁оказывают": 50631, + "▁дожида": 50632, + "▁запер": 50633, + "плен": 50634, + "▁исчезли": 50635, + "▁секретар": 50636, + "▁похожа": 50637, + "▁опозда": 50638, + "▁республике": 50639, + "▁угрожа": 50640, + "▁исключение": 50641, + "▁лежали": 50642, + "▁Призна": 50643, + "▁мирного": 50644, + "▁прямое": 50645, + "▁немецкими": 50646, + "▁происхождении": 50647, + "▁эфире": 50648, + "щееся": 50649, + "▁принимала": 50650, + "▁опытный": 50651, + "▁ином": 50652, + "▁итог": 50653, + "пустим": 50654, + "▁принадлежность": 50655, + "▁Никита": 50656, + "видные": 50657, + "▁Краснояр": 50658, + "▁удаления": 50659, + "▁улыбкой": 50660, + "▁испытывать": 50661, + "▁натри": 50662, + "▁очередного": 50663, + "▁Таи": 50664, + "плет": 50665, + "▁Буда": 50666, + "▁превратилась": 50667, + "ровав": 50668, + "▁Лоу": 50669, + "▁лауреа": 50670, + "avig": 50671, + "▁капли": 50672, + "▁архив": 50673, + "зированный": 50674, + "▁находим": 50675, + "▁возможностями": 50676, + "лас": 50677, + "▁печи": 50678, + "▁устранить": 50679, + "▁проголосо": 50680, + "▁непред": 50681, + "▁естественной": 50682, + "▁ай": 50683, + "▁Дека": 50684, + "▁общении": 50685, + "▁продолжалось": 50686, + "▁банке": 50687, + "▁кадры": 50688, + "▁предусмотрен": 50689, + "▁монаше": 50690, + "▁ночной": 50691, + "офф": 50692, + "следует": 50693, + "▁штук": 50694, + "▁служб": 50695, + "хия": 50696, + "▁жалова": 50697, + "▁стоимо": 50698, + "▁полуостро": 50699, + "▁различной": 50700, + "▁нынешней": 50701, + "неру": 50702, + "▁Фила": 50703, + "зки": 50704, + "tical": 50705, + "▁сквер": 50706, + "нцы": 50707, + "▁заблуждение": 50708, + "▁индивидуальных": 50709, + "▁сорат": 50710, + "▁Кремля": 50711, + "▁нова": 50712, + "▁фракции": 50713, + "▁общежи": 50714, + "▁красным": 50715, + "▁Индоне": 50716, + "▁Рэ": 50717, + "зида": 50718, + "▁различного": 50719, + "▁Сибирь": 50720, + "▁Красную": 50721, + "▁реальном": 50722, + "▁Рио": 50723, + "▁служащих": 50724, + "РК": 50725, + "▁зрителя": 50726, + "ставки": 50727, + "гле": 50728, + "▁диско": 50729, + "▁Гим": 50730, + "▁поддерживают": 50731, + "▁Ваше": 50732, + "▁спроса": 50733, + "▁запасов": 50734, + "▁даром": 50735, + "▁Меха": 50736, + "▁классу": 50737, + "▁администрация": 50738, + "▁Богородицы": 50739, + "после": 50740, + "нна": 50741, + "ПП": 50742, + "▁летчики": 50743, + "▁устоя": 50744, + "▁мотивам": 50745, + "▁кипе": 50746, + "▁землев": 50747, + "▁адвокат": 50748, + "▁уничтожил": 50749, + "▁направился": 50750, + "▁descript": 50751, + "▁орна": 50752, + "жко": 50753, + "▁гравита": 50754, + "▁владельцев": 50755, + "▁пользования": 50756, + "▁исследованиях": 50757, + "▁Действие": 50758, + "▁дресси": 50759, + "▁Уай": 50760, + "▁синхрони": 50761, + "▁жалу": 50762, + "▁выдающихся": 50763, + "▁преследования": 50764, + "▁сопря": 50765, + "▁некоторого": 50766, + "▁Шей": 50767, + "▁извне": 50768, + "▁господа": 50769, + "Бер": 50770, + "▁экстреми": 50771, + "мерно": 50772, + "▁Северном": 50773, + "мел": 50774, + "▁центру": 50775, + "▁Сталину": 50776, + "мага": 50777, + "▁персонажи": 50778, + "▁Ква": 50779, + "▁мужчину": 50780, + "дово": 50781, + "▁погоды": 50782, + "▁летопи": 50783, + "▁доставить": 50784, + "▁именами": 50785, + "▁Виталий": 50786, + "▁Положение": 50787, + "▁боюсь": 50788, + "жусь": 50789, + "▁придумал": 50790, + "▁контакта": 50791, + "▁международные": 50792, + "▁полицию": 50793, + "▁зана": 50794, + "▁едет": 50795, + "▁выши": 50796, + "▁проявил": 50797, + "▁девочек": 50798, + "▁сантиметров": 50799, + "▁повествования": 50800, + "▁спя": 50801, + "чатый": 50802, + "▁обой": 50803, + "▁грозит": 50804, + "▁химической": 50805, + "приз": 50806, + "▁пива": 50807, + "▁поси": 50808, + "▁Хуан": 50809, + "лейтенан": 50810, + "▁фортепи": 50811, + "▁отдавать": 50812, + "чине": 50813, + "▁населенных": 50814, + "▁умеют": 50815, + "бою": 50816, + "▁убиты": 50817, + "▁посещения": 50818, + "▁редактора": 50819, + "▁плата": 50820, + "▁заработной": 50821, + "няков": 50822, + "▁чужих": 50823, + "▁Горо": 50824, + "▁помните": 50825, + "▁Гин": 50826, + "стическими": 50827, + "лизация": 50828, + "▁детские": 50829, + "▁нахождения": 50830, + "▁Ленинградского": 50831, + "коммуни": 50832, + "▁благочести": 50833, + "мчу": 50834, + "толе": 50835, + "▁польских": 50836, + "тируют": 50837, + "▁судоро": 50838, + "▁расчета": 50839, + "▁составляющих": 50840, + "▁спутников": 50841, + "▁чье": 50842, + "▁положительные": 50843, + "▁выпить": 50844, + "▁бумагу": 50845, + "▁головной": 50846, + "коммен": 50847, + "▁Нидерландов": 50848, + "▁располагаются": 50849, + "▁Прото": 50850, + "▁соавто": 50851, + "▁сугу": 50852, + "▁эсмин": 50853, + "▁креста": 50854, + "▁причу": 50855, + "▁орудие": 50856, + "пам": 50857, + "▁ФСБ": 50858, + "▁Секре": 50859, + "▁Суть": 50860, + "▁футбол": 50861, + "▁Нару": 50862, + "летнюю": 50863, + "третьих": 50864, + "▁позволила": 50865, + "▁находящиеся": 50866, + "эна": 50867, + "▁метрах": 50868, + "▁свидетельству": 50869, + "убий": 50870, + "▁создавая": 50871, + "▁Центральный": 50872, + "▁вслух": 50873, + "стят": 50874, + "▁дается": 50875, + "▁содержимое": 50876, + "жими": 50877, + "▁сосла": 50878, + "▁держав": 50879, + "▁ученым": 50880, + "▁doct": 50881, + "брю": 50882, + "▁дозво": 50883, + "▁Другая": 50884, + "ЗА": 50885, + "▁Новое": 50886, + "▁сделав": 50887, + "льмо": 50888, + "зовой": 50889, + "сяга": 50890, + "▁Суб": 50891, + "зиться": 50892, + "▁ссылку": 50893, + "intend": 50894, + "коричне": 50895, + "ханов": 50896, + "полага": 50897, + "▁Кирилл": 50898, + "хота": 50899, + "▁нужным": 50900, + "▁упала": 50901, + "вободи": 50902, + "▁ложка": 50903, + "▁упражнение": 50904, + "▁чин": 50905, + "▁постов": 50906, + "▁Путь": 50907, + "▁мотив": 50908, + "раж": 50909, + "▁закуп": 50910, + "▁возможного": 50911, + "▁урок": 50912, + "▁пытаться": 50913, + "▁кукуру": 50914, + "▁достига": 50915, + "▁Увы": 50916, + "зировал": 50917, + "шкам": 50918, + "▁торжественно": 50919, + "лор": 50920, + "▁крылья": 50921, + "▁внутренняя": 50922, + "▁Полков": 50923, + "restling": 50924, + "ложите": 50925, + "▁грязи": 50926, + "▁характеру": 50927, + "▁характерные": 50928, + "транспорт": 50929, + "▁Князь": 50930, + "ровень": 50931, + "▁противоречит": 50932, + "льские": 50933, + "▁важности": 50934, + "▁посвятил": 50935, + "▁надлежа": 50936, + "▁Вид": 50937, + "▁переклю": 50938, + "▁ЦСКА": 50939, + "ггер": 50940, + "▁добросовест": 50941, + "▁изложен": 50942, + "▁фотографий": 50943, + "мето": 50944, + "▁ленты": 50945, + "которое": 50946, + "▁ГЭС": 50947, + "▁гипотезы": 50948, + "Кни": 50949, + "▁розни": 50950, + "▁возможное": 50951, + "▁атаковать": 50952, + "▁походе": 50953, + "▁напомнил": 50954, + "▁окружение": 50955, + "▁обсудить": 50956, + "▁переска": 50957, + "▁Вильгельм": 50958, + "▁ГДР": 50959, + "▁Бона": 50960, + "▁странным": 50961, + "тировала": 50962, + "только": 50963, + "▁Ден": 50964, + "▁деса": 50965, + "▁составу": 50966, + "теи": 50967, + "▁пута": 50968, + "▁известное": 50969, + "▁асфаль": 50970, + "▁жителями": 50971, + "▁Авра": 50972, + "▁Имеет": 50973, + "▁двою": 50974, + "действие": 50975, + "▁западное": 50976, + "▁мера": 50977, + "▁тыл": 50978, + "▁мировую": 50979, + "ЕНИЯ": 50980, + "▁ритм": 50981, + "▁картинки": 50982, + "▁график": 50983, + "▁выражением": 50984, + "▁испытывал": 50985, + "▁Рос": 50986, + "▁генери": 50987, + "Ат": 50988, + "▁Энд": 50989, + "лз": 50990, + "▁Литера": 50991, + "▁послать": 50992, + "▁важны": 50993, + "▁протокола": 50994, + "▁слобо": 50995, + "▁конфликты": 50996, + "▁Вай": 50997, + "▁Ближай": 50998, + "ничать": 50999, + "▁санкций": 51000, + "▁назывался": 51001, + "▁побывал": 51002, + "▁переехала": 51003, + "▁культурно": 51004, + "achus": 51005, + "▁паспорт": 51006, + "▁корпусе": 51007, + "▁относят": 51008, + "▁элементом": 51009, + "▁почи": 51010, + "▁исключено": 51011, + "пытно": 51012, + "▁королем": 51013, + "▁совершает": 51014, + "▁водителя": 51015, + "▁расшиф": 51016, + "▁польский": 51017, + "▁пациент": 51018, + "▁стремиться": 51019, + "▁английским": 51020, + "▁предложением": 51021, + "шайте": 51022, + "▁Подобно": 51023, + "Ча": 51024, + "▁Васили": 51025, + "▁метрополи": 51026, + "▁Украинской": 51027, + "▁растор": 51028, + "▁авиакомпании": 51029, + "▁самолете": 51030, + "▁усмотре": 51031, + "восточной": 51032, + "▁авиационный": 51033, + "зила": 51034, + "▁трактов": 51035, + "бру": 51036, + "▁Эффек": 51037, + "▁округов": 51038, + "штадт": 51039, + "▁западные": 51040, + "▁близким": 51041, + "▁хе": 51042, + "▁холе": 51043, + "▁молодежь": 51044, + "▁высокими": 51045, + "▁активного": 51046, + "▁доски": 51047, + "сети": 51048, + "▁Фрэ": 51049, + "atab": 51050, + "▁Елизавета": 51051, + "▁надле": 51052, + "▁Тимофе": 51053, + "▁Ани": 51054, + "▁коз": 51055, + "▁Оне": 51056, + "▁родного": 51057, + "olec": 51058, + "▁любимой": 51059, + "▁пота": 51060, + "▁президенту": 51061, + "▁офис": 51062, + "▁взглянуть": 51063, + "▁фронтах": 51064, + "▁Вернувшись": 51065, + "▁шума": 51066, + "▁реклама": 51067, + "▁начи": 51068, + "▁свободный": 51069, + "▁аэропорту": 51070, + "▁ща": 51071, + "вателя": 51072, + "▁завершил": 51073, + "▁дань": 51074, + "дского": 51075, + "совая": 51076, + "▁овощи": 51077, + "Дон": 51078, + "ройте": 51079, + "эти": 51080, + "▁Рю": 51081, + "▁запя": 51082, + "▁кампанию": 51083, + "жечь": 51084, + "▁корзи": 51085, + "▁сесть": 51086, + "▁женщинами": 51087, + "▁ладони": 51088, + "▁лицензии": 51089, + "русски": 51090, + "таркти": 51091, + "▁слушал": 51092, + "▁просвет": 51093, + "▁знаменитой": 51094, + "▁кадро": 51095, + "▁сконча": 51096, + "Рас": 51097, + "▁оспари": 51098, + "стаби": 51099, + "▁хозяев": 51100, + "▁Русская": 51101, + "incoln": 51102, + "▁предпочитают": 51103, + "формации": 51104, + "▁жемчу": 51105, + "▁начнут": 51106, + "▁экспор": 51107, + "▁слю": 51108, + "▁возбуждения": 51109, + "▁стенки": 51110, + "▁опубликована": 51111, + "▁выно": 51112, + "▁житель": 51113, + "▁селек": 51114, + "▁живем": 51115, + "▁Последняя": 51116, + "▁гармонии": 51117, + "хую": 51118, + "▁доска": 51119, + "hips": 51120, + "▁Комитет": 51121, + "▁приключения": 51122, + "▁Тело": 51123, + "▁юноша": 51124, + "▁Зев": 51125, + "▁иерархии": 51126, + "▁горло": 51127, + "▁реестра": 51128, + "▁Едва": 51129, + "▁обособ": 51130, + "▁западном": 51131, + "ленапра": 51132, + "Еди": 51133, + "▁Каспи": 51134, + "ческо": 51135, + "▁давала": 51136, + "▁оставля": 51137, + "▁начальной": 51138, + "▁Скончался": 51139, + "▁национальную": 51140, + "▁монумента": 51141, + "▁окраине": 51142, + "▁женских": 51143, + "чало": 51144, + "osl": 51145, + "▁пустыне": 51146, + "▁мудрость": 51147, + "платель": 51148, + "сать": 51149, + "▁мифа": 51150, + "▁стрелять": 51151, + "▁открытии": 51152, + "▁шага": 51153, + "▁сложность": 51154, + "▁мни": 51155, + "▁скопи": 51156, + "честер": 51157, + "▁молекулы": 51158, + "экс": 51159, + "▁молекуляр": 51160, + "▁положительно": 51161, + "▁Василье": 51162, + "строены": 51163, + "▁темой": 51164, + "▁Пин": 51165, + "диг": 51166, + "▁впадает": 51167, + "сталь": 51168, + "▁приведены": 51169, + "▁вдохнов": 51170, + "добие": 51171, + "фанта": 51172, + "▁склонны": 51173, + "▁поддержал": 51174, + "-\"": 51175, + "▁экономии": 51176, + "▁неудовлет": 51177, + "▁ВА": 51178, + "▁польской": 51179, + "▁упоминание": 51180, + "▁немецко": 51181, + "▁строится": 51182, + "▁конфигурации": 51183, + "Чу": 51184, + "▁родном": 51185, + "▁думала": 51186, + "эра": 51187, + "▁партнё": 51188, + "▁закончить": 51189, + "нениями": 51190, + "▁символы": 51191, + "▁катор": 51192, + "▁пешком": 51193, + "▁проникнуть": 51194, + "▁оду": 51195, + "▁степи": 51196, + "образных": 51197, + "▁охватывает": 51198, + "▁подключения": 51199, + "▁Алексеев": 51200, + "▁королевской": 51201, + "ченно": 51202, + "▁психиатри": 51203, + "▁записал": 51204, + "▁взяв": 51205, + "▁социологи": 51206, + "▁императрицы": 51207, + "▁управлен": 51208, + "▁сепара": 51209, + "▁искали": 51210, + "▁металлурги": 51211, + "волнова": 51212, + "жания": 51213, + "▁тысячелетия": 51214, + "▁имелось": 51215, + "грамми": 51216, + "▁близок": 51217, + "ганы": 51218, + "шедшего": 51219, + "▁взамен": 51220, + "Вол": 51221, + "▁прокуратуры": 51222, + "серы": 51223, + "▁левую": 51224, + "rine": 51225, + "конференции": 51226, + "воци": 51227, + "▁потоков": 51228, + "гат": 51229, + "▁Армия": 51230, + "мак": 51231, + "▁желал": 51232, + "▁проблемати": 51233, + "▁Порошенко": 51234, + "▁суду": 51235, + "▁документе": 51236, + "▁столетий": 51237, + "▁зимы": 51238, + "▁Саша": 51239, + "enna": 51240, + "валы": 51241, + "▁Малой": 51242, + "▁психики": 51243, + "▁раствор": 51244, + "▁морфо": 51245, + "▁настраи": 51246, + "▁утом": 51247, + "▁Представьте": 51248, + "▁баланс": 51249, + "найтед": 51250, + "любо": 51251, + "▁виноват": 51252, + "▁страдает": 51253, + "▁экрани": 51254, + "▁Рафа": 51255, + "Мир": 51256, + "▁палео": 51257, + "▁приказом": 51258, + "нутых": 51259, + "▁билет": 51260, + "▁железная": 51261, + "сенко": 51262, + "▁кислород": 51263, + "▁признали": 51264, + "▁берегах": 51265, + "▁Канаде": 51266, + "▁дополнительный": 51267, + "▁Дзер": 51268, + "▁этапов": 51269, + "▁вражеских": 51270, + "▁прояс": 51271, + "▁напоминают": 51272, + "▁Учился": 51273, + "зеро": 51274, + "ъемле": 51275, + "▁возлага": 51276, + "логию": 51277, + "▁авиация": 51278, + "▁правовой": 51279, + "яна": 51280, + "лённый": 51281, + "▁развра": 51282, + "▁Самым": 51283, + "▁физическое": 51284, + "▁Получив": 51285, + "▁млекопитающих": 51286, + "▁дубли": 51287, + "▁держаться": 51288, + "▁неудачи": 51289, + "англий": 51290, + "▁разду": 51291, + "▁остано": 51292, + "класси": 51293, + "▁отмени": 51294, + "▁почувствовать": 51295, + "▁отреза": 51296, + "▁ищут": 51297, + "градской": 51298, + "▁руга": 51299, + "лели": 51300, + "▁варе": 51301, + "▁разыгры": 51302, + "▁пьян": 51303, + "▁ногой": 51304, + "▁составлять": 51305, + "▁вин": 51306, + "ленном": 51307, + "▁опозна": 51308, + "меном": 51309, + "▁выплаты": 51310, + "▁закрыт": 51311, + "▁выстраи": 51312, + "▁слепо": 51313, + "▁трамвай": 51314, + "▁владеет": 51315, + "▁извра": 51316, + "▁песок": 51317, + "▁джу": 51318, + "▁космоса": 51319, + "коен": 51320, + "кент": 51321, + "▁сложная": 51322, + "▁огур": 51323, + "▁дисло": 51324, + "▁нужные": 51325, + "▁индустрии": 51326, + "линской": 51327, + "▁недостатков": 51328, + "системы": 51329, + "▁соз": 51330, + "▁согласились": 51331, + "▁шну": 51332, + "▁Совсем": 51333, + "▁лишен": 51334, + "▁социальный": 51335, + "казывает": 51336, + "▁ежемеся": 51337, + "▁нелов": 51338, + "▁французским": 51339, + "▁ощути": 51340, + "▁делегации": 51341, + "бби": 51342, + "▁Витеб": 51343, + "▁периоде": 51344, + "▁английские": 51345, + "шоу": 51346, + "кало": 51347, + "▁Социаль": 51348, + "▁продолжалась": 51349, + "▁проведены": 51350, + "▁степенью": 51351, + "▁юмо": 51352, + "▁выклю": 51353, + "▁бытие": 51354, + "▁Солженицы": 51355, + "▁Тен": 51356, + "▁сменил": 51357, + "▁фестиваль": 51358, + "▁холод": 51359, + "товую": 51360, + "▁экономику": 51361, + "много": 51362, + "▁Исклю": 51363, + "чивым": 51364, + "▁рыболов": 51365, + "▁выдающиеся": 51366, + "▁Игоря": 51367, + "▁интересный": 51368, + "▁молекул": 51369, + "керов": 51370, + "▁располагались": 51371, + "▁быстры": 51372, + "▁называться": 51373, + "ласти": 51374, + "▁просмотра": 51375, + "▁курсов": 51376, + "▁расы": 51377, + "шину": 51378, + "▁изнача": 51379, + "▁дальнейших": 51380, + "юры": 51381, + "▁Похоже": 51382, + "▁разговаривать": 51383, + "▁оставляя": 51384, + "▁Служ": 51385, + "▁противнику": 51386, + "▁глупы": 51387, + "▁подростков": 51388, + "летним": 51389, + "▁беседу": 51390, + "Пет": 51391, + "▁фильтра": 51392, + "▁студент": 51393, + "▁влияют": 51394, + "гнув": 51395, + "▁партией": 51396, + "▁Попробу": 51397, + "▁бродя": 51398, + "шник": 51399, + "▁рыцар": 51400, + "▁напр": 51401, + "▁популярности": 51402, + "▁заграни": 51403, + "▁некоего": 51404, + "▁среднюю": 51405, + "шится": 51406, + "гового": 51407, + "▁Валентина": 51408, + "▁литературо": 51409, + "▁Аркти": 51410, + "▁измерений": 51411, + "▁терпеть": 51412, + "▁преоблада": 51413, + "▁разгля": 51414, + "хлад": 51415, + "▁удивление": 51416, + "▁обсуждать": 51417, + "▁опасных": 51418, + "▁консерватории": 51419, + "▁редких": 51420, + "▁бояр": 51421, + "Жиз": 51422, + "▁видение": 51423, + "▁политикой": 51424, + "́в": 51425, + "могу": 51426, + "▁вакан": 51427, + "щикам": 51428, + "▁гибри": 51429, + "▁передали": 51430, + "▁петь": 51431, + "▁розыгры": 51432, + "Гор": 51433, + "▁Пове": 51434, + "▁башня": 51435, + "▁социальная": 51436, + "▁четвертый": 51437, + "▁несло": 51438, + "▁Фро": 51439, + "▁начинали": 51440, + "ссамбле": 51441, + "▁этаж": 51442, + "▁пароход": 51443, + "▁признается": 51444, + "▁сроком": 51445, + "▁Оренбург": 51446, + "▁яйцо": 51447, + "▁подальше": 51448, + "▁оф": 51449, + "▁клубы": 51450, + "▁WW": 51451, + "▁глубокого": 51452, + "▁присваи": 51453, + "▁стена": 51454, + "▁вклады": 51455, + "▁полете": 51456, + "▁наследство": 51457, + "▁Сэм": 51458, + "!),": 51459, + "▁коммуны": 51460, + "▁общеприня": 51461, + "▁ГО": 51462, + "▁dipl": 51463, + "▁устанавливать": 51464, + "▁европейского": 51465, + "летие": 51466, + "▁зажига": 51467, + "▁летать": 51468, + "▁Красная": 51469, + "▁данную": 51470, + "▁Пас": 51471, + "▁способных": 51472, + "▁выступая": 51473, + "▁буржуазии": 51474, + "▁Некра": 51475, + "ъюнк": 51476, + "олока": 51477, + "▁выслу": 51478, + "▁колхоза": 51479, + "▁фактом": 51480, + "▁ману": 51481, + "▁Неа": 51482, + "▁написан": 51483, + "фонов": 51484, + "жника": 51485, + "▁властям": 51486, + "▁прит": 51487, + "плане": 51488, + "▁прожил": 51489, + "▁остальным": 51490, + "▁футов": 51491, + "▁аэродрома": 51492, + "ниа": 51493, + "ownt": 51494, + "▁приступил": 51495, + "▁стадионе": 51496, + "чак": 51497, + "рями": 51498, + "▁лесной": 51499, + "▁подробнее": 51500, + "▁королева": 51501, + "цким": 51502, + "▁арест": 51503, + "▁ролях": 51504, + "▁интенси": 51505, + "дый": 51506, + "▁Мандель": 51507, + "▁выделяют": 51508, + "▁рака": 51509, + "▁хранятся": 51510, + "▁дождя": 51511, + "земе": 51512, + "довое": 51513, + "▁табу": 51514, + "▁французском": 51515, + "▁семена": 51516, + "▁цивилизация": 51517, + "▁Пруссии": 51518, + "▁таков": 51519, + "▁погоду": 51520, + "▁климат": 51521, + "▁загруз": 51522, + "▁Уэль": 51523, + "▁подписан": 51524, + "▁интернациона": 51525, + ",[": 51526, + "▁комплексов": 51527, + "мли": 51528, + "▁деление": 51529, + "▁гры": 51530, + "▁мальчиков": 51531, + "▁Аба": 51532, + "▁важная": 51533, + "▁беседа": 51534, + "перед": 51535, + "▁фрагменты": 51536, + "▁поручил": 51537, + "▁подходят": 51538, + "▁удовлетворение": 51539, + "▁длине": 51540, + "ivered": 51541, + "▁парня": 51542, + "▁немецком": 51543, + "▁Корни": 51544, + "▁иниции": 51545, + "▁забот": 51546, + "▁павиль": 51547, + "▁ситуацией": 51548, + "▁уют": 51549, + "примеча": 51550, + "▁Табли": 51551, + "▁нашёл": 51552, + "▁Лечение": 51553, + "▁необходимого": 51554, + "УН": 51555, + "▁уходя": 51556, + "▁тайной": 51557, + "▁сайтов": 51558, + "otten": 51559, + "▁религиозного": 51560, + "▁долгих": 51561, + "вена": 51562, + "▁христиа": 51563, + "▁нью": 51564, + "▁Всех": 51565, + "токси": 51566, + "▁Рек": 51567, + "▁Киевской": 51568, + "▁считались": 51569, + "объек": 51570, + "́ние": 51571, + "новна": 51572, + "▁исчерпы": 51573, + "▁нарушением": 51574, + "▁выступила": 51575, + "дорф": 51576, + "гуа": 51577, + "▁принялся": 51578, + "▁промышленного": 51579, + "▁Музе": 51580, + "▁АО": 51581, + "▁явилось": 51582, + "вленными": 51583, + "▁повели": 51584, + "▁ИЗ": 51585, + "стке": 51586, + "▁холодно": 51587, + "▁Обя": 51588, + "▁трансли": 51589, + "▁Работы": 51590, + "▁отражения": 51591, + "▁добрые": 51592, + "▁каналы": 51593, + "▁получении": 51594, + "воем": 51595, + "▁Дя": 51596, + "▁егип": 51597, + "▁врожден": 51598, + "▁получивший": 51599, + "нутой": 51600, + "▁пострадавших": 51601, + "▁Алтай": 51602, + "▁храмов": 51603, + "▁споров": 51604, + "▁Первого": 51605, + "▁освещения": 51606, + "▁проше": 51607, + "▁расще": 51608, + "▁Здание": 51609, + "▁настро": 51610, + "▁державы": 51611, + "▁хар": 51612, + "▁потоки": 51613, + "▁шёл": 51614, + "▁вступили": 51615, + "▁слабости": 51616, + "▁рассказывали": 51617, + "обу": 51618, + "▁отом": 51619, + "▁Элиза": 51620, + "▁процедура": 51621, + "ткам": 51622, + "▁богатый": 51623, + "▁неспособ": 51624, + "▁Хро": 51625, + "▁движению": 51626, + "оно": 51627, + "▁ценные": 51628, + "▁приглашение": 51629, + "▁тун": 51630, + "▁оро": 51631, + "▁улучшение": 51632, + "▁Ученые": 51633, + "план": 51634, + "▁ведущие": 51635, + "ждаются": 51636, + "▁модуля": 51637, + "▁включён": 51638, + "▁красоту": 51639, + "▁выдать": 51640, + "МП": 51641, + "▁важна": 51642, + "▁белыми": 51643, + "▁необходимую": 51644, + "компа": 51645, + "▁вынуждена": 51646, + "▁Сцена": 51647, + "alty": 51648, + "чива": 51649, + "▁гово": 51650, + "▁доставки": 51651, + "▁танковых": 51652, + "▁митрополит": 51653, + "▁боятся": 51654, + "ническим": 51655, + "льностью": 51656, + "▁ГА": 51657, + "▁японского": 51658, + "▁Северный": 51659, + "▁зелень": 51660, + "▁овладеть": 51661, + "▁работами": 51662, + "?\",": 51663, + "▁предки": 51664, + "▁водки": 51665, + "▁Чехии": 51666, + "▁приняло": 51667, + "▁жира": 51668, + "слой": 51669, + "▁выполнял": 51670, + "▁вышеу": 51671, + "ладший": 51672, + "▁местными": 51673, + "▁запуск": 51674, + "делия": 51675, + "жам": 51676, + "▁заполне": 51677, + "▁встречает": 51678, + "▁Алжи": 51679, + "▁красота": 51680, + ":#": 51681, + "▁опубликованы": 51682, + "ковская": 51683, + "▁приеха": 51684, + "▁грабе": 51685, + "▁психологической": 51686, + "ЛЕ": 51687, + "▁показан": 51688, + "тировки": 51689, + "▁лауреат": 51690, + "▁продвижения": 51691, + "▁трей": 51692, + "▁опыты": 51693, + "ливым": 51694, + "▁Чили": 51695, + "▁лежала": 51696, + "Мор": 51697, + "▁сэр": 51698, + "двиг": 51699, + "▁разбе": 51700, + "▁Пришлось": 51701, + "▁Аллах": 51702, + "▁скалы": 51703, + "▁взаимоотношений": 51704, + "▁прямом": 51705, + "▁прокурора": 51706, + "приим": 51707, + "▁терять": 51708, + "▁статистики": 51709, + "▁отметила": 51710, + "▁попытались": 51711, + "▁компенсации": 51712, + "▁Волы": 51713, + "▁плечами": 51714, + "▁уехать": 51715, + "▁востре": 51716, + "Тор": 51717, + "▁Практически": 51718, + "▁ФИ": 51719, + "вайтесь": 51720, + "сви": 51721, + "▁обработке": 51722, + "сский": 51723, + "▁Советском": 51724, + "▁литературный": 51725, + "▁немногие": 51726, + "▁высшие": 51727, + "▁искусственного": 51728, + "ллу": 51729, + "▁постоянные": 51730, + "▁содержатся": 51731, + "▁придумать": 51732, + "▁священно": 51733, + "гл": 51734, + "лык": 51735, + "▁рече": 51736, + "ducing": 51737, + "▁Арно": 51738, + "...\",": 51739, + "▁революционного": 51740, + "▁апте": 51741, + "▁герба": 51742, + "▁Нередко": 51743, + "▁надеялся": 51744, + "▁чешу": 51745, + "ностях": 51746, + "▁физ": 51747, + "▁подразумевает": 51748, + "▁уровнях": 51749, + "▁подлежа": 51750, + "▁названий": 51751, + "▁ведение": 51752, + "▁утвержден": 51753, + "▁катастрофи": 51754, + "▁невыноси": 51755, + "▁подста": 51756, + "▁соответствующее": 51757, + "▁Хам": 51758, + "▁находить": 51759, + "▁высла": 51760, + "▁сильная": 51761, + "чикам": 51762, + "▁квантовой": 51763, + "▁заслуживает": 51764, + "души": 51765, + "▁заплатить": 51766, + "▁султана": 51767, + "смысле": 51768, + "racy": 51769, + "▁изменилась": 51770, + "▁изменяется": 51771, + "▁Фрун": 51772, + "фен": 51773, + "▁цветом": 51774, + "▁широким": 51775, + "▁сентябрь": 51776, + "пенди": 51777, + "▁просыпа": 51778, + "чжу": 51779, + "▁комиссар": 51780, + "▁прессы": 51781, + "▁Средний": 51782, + "▁нисколько": 51783, + "▁Троцкий": 51784, + "▁организаторов": 51785, + "▁удостове": 51786, + "мский": 51787, + "▁бывал": 51788, + "▁противоречие": 51789, + "▁нужный": 51790, + "▁длится": 51791, + "образные": 51792, + "▁англ": 51793, + "▁прозвище": 51794, + "▁реальный": 51795, + "▁разброса": 51796, + "▁предостере": 51797, + "▁Результат": 51798, + "говорить": 51799, + "▁величину": 51800, + "ядер": 51801, + "▁Попов": 51802, + "ёк": 51803, + "деи": 51804, + "▁парус": 51805, + "▁подразделение": 51806, + "▁брали": 51807, + "▁возвращает": 51808, + "ьями": 51809, + "▁германского": 51810, + "▁длинной": 51811, + "▁связанный": 51812, + "▁Куйбы": 51813, + "▁отделе": 51814, + "▁белка": 51815, + "пости": 51816, + "▁уволен": 51817, + "▁правителя": 51818, + "варить": 51819, + "▁порядку": 51820, + "▁сенса": 51821, + "▁серебро": 51822, + "▁Крю": 51823, + "шняя": 51824, + "▁творения": 51825, + "▁переходить": 51826, + "▁твоих": 51827, + "▁большому": 51828, + "▁удобства": 51829, + "▁диапазоне": 51830, + "▁казар": 51831, + "товский": 51832, + "▁тревоги": 51833, + "▁Израиле": 51834, + "▁генералов": 51835, + "▁обмени": 51836, + "зян": 51837, + "▁Закона": 51838, + "▁возникновение": 51839, + "▁Водо": 51840, + "▁творческого": 51841, + "▁слез": 51842, + "▁естество": 51843, + "▁восходя": 51844, + "хали": 51845, + "▁рва": 51846, + "▁техникой": 51847, + "▁признался": 51848, + "▁изредка": 51849, + "▁Радио": 51850, + "рицы": 51851, + "▁партийной": 51852, + "▁многочисленными": 51853, + "▁нанима": 51854, + "▁зачисле": 51855, + "▁Хочу": 51856, + "▁белая": 51857, + "▁историй": 51858, + "трет": 51859, + "▁недвижимости": 51860, + "▁правосу": 51861, + "▁колба": 51862, + "▁парни": 51863, + "КОВ": 51864, + "▁Гёте": 51865, + "▁снабжения": 51866, + "▁Веду": 51867, + "▁Достоевский": 51868, + "▁считаем": 51869, + "▁пристрасти": 51870, + "тти": 51871, + "лялся": 51872, + "ванным": 51873, + "▁полы": 51874, + "▁операциях": 51875, + "▁мышь": 51876, + "▁моментов": 51877, + "▁закри": 51878, + "▁населён": 51879, + "▁конструкцию": 51880, + "▁министерство": 51881, + "▁Кю": 51882, + "▁Фей": 51883, + "▁текстом": 51884, + "▁ДТП": 51885, + "▁привилеги": 51886, + "▁оперативной": 51887, + "нея": 51888, + "▁смыслу": 51889, + "шир": 51890, + "▁юридического": 51891, + "▁детек": 51892, + "▁Голова": 51893, + "▁Дама": 51894, + "▁тишина": 51895, + "шевского": 51896, + "чатых": 51897, + "▁жизненных": 51898, + "▁дорогие": 51899, + "▁библиотеку": 51900, + "▁пенсион": 51901, + "▁Дени": 51902, + "▁Перио": 51903, + "▁Administ": 51904, + "холо": 51905, + "▁склонность": 51906, + "хер": 51907, + "▁закончился": 51908, + "етии": 51909, + "литет": 51910, + "тилле": 51911, + "▁федеральных": 51912, + "рову": 51913, + "▁Мсти": 51914, + "▁претерпе": 51915, + "эли": 51916, + "ИТАР": 51917, + "▁красноре": 51918, + "▁делала": 51919, + "▁устанавливает": 51920, + "▁водах": 51921, + "▁автобус": 51922, + "▁чеки": 51923, + "▁импор": 51924, + "▁генов": 51925, + "▁Пана": 51926, + "▁выжить": 51927, + "▁рассказывают": 51928, + "сбор": 51929, + "▁просту": 51930, + "▁феномен": 51931, + "пати": 51932, + "Зве": 51933, + "пив": 51934, + "▁учить": 51935, + "▁специалиста": 51936, + "▁коэффициент": 51937, + "▁привлечения": 51938, + "▁передвижения": 51939, + "ничной": 51940, + "▁неду": 51941, + "воде": 51942, + "▁размы": 51943, + "▁традиционные": 51944, + "▁грибы": 51945, + "▁системами": 51946, + "▁демонстрирует": 51947, + "▁Прошу": 51948, + "▁настоящем": 51949, + "▁придумы": 51950, + "игры": 51951, + "▁подор": 51952, + "зовые": 51953, + "темати": 51954, + "▁подсуди": 51955, + "▁приступить": 51956, + "корей": 51957, + "▁насилие": 51958, + "альным": 51959, + "▁полагать": 51960, + "несено": 51961, + "▁замечания": 51962, + "ловка": 51963, + "совым": 51964, + "Коро": 51965, + "▁освобождении": 51966, + "▁гонке": 51967, + "▁гарнизо": 51968, + "тишь": 51969, + "▁поступок": 51970, + "▁укрепление": 51971, + "▁музыкой": 51972, + "▁конкурентов": 51973, + "щица": 51974, + "шевский": 51975, + "▁забастов": 51976, + "▁сказав": 51977, + "▁кисти": 51978, + "▁восклица": 51979, + "▁неофициаль": 51980, + "рийский": 51981, + "▁Палести": 51982, + "▁просьбу": 51983, + "▁объектами": 51984, + "прем": 51985, + "▁идеями": 51986, + "леба": 51987, + "▁просили": 51988, + "▁убивать": 51989, + "монта": 51990, + "▁высшим": 51991, + "▁аналогии": 51992, + "переда": 51993, + "▁флоти": 51994, + "▁Воскре": 51995, + "фло": 51996, + "▁Стати": 51997, + "▁сложилась": 51998, + "▁озер": 51999, + "дилось": 52000, + "▁звании": 52001, + "▁шпиона": 52002, + "▁использовалась": 52003, + "▁любила": 52004, + "▁изле": 52005, + "▁кодекса": 52006, + "Фо": 52007, + "▁территориях": 52008, + "▁изби": 52009, + "▁вооружений": 52010, + "▁битва": 52011, + "гара": 52012, + "▁сатири": 52013, + "▁ставил": 52014, + "▁здорово": 52015, + "курс": 52016, + "пляр": 52017, + "чжоу": 52018, + "▁еле": 52019, + "▁запада": 52020, + "▁поэзия": 52021, + "▁инквизи": 52022, + "▁эр": 52023, + "▁Дуб": 52024, + "▁отдели": 52025, + "▁плотности": 52026, + "▁величине": 52027, + "▁Ой": 52028, + "Йорка": 52029, + "▁петрушки": 52030, + "▁Рам": 52031, + "▁планировалось": 52032, + "▁озере": 52033, + "▁Указа": 52034, + "▁временной": 52035, + "▁ритми": 52036, + "▁Швар": 52037, + "▁Забо": 52038, + "▁личном": 52039, + "▁отвечают": 52040, + "▁пустыни": 52041, + "▁подарки": 52042, + "▁несостоя": 52043, + "▁целенапра": 52044, + "▁профсою": 52045, + "▁родных": 52046, + "▁вечеру": 52047, + "▁плодотвор": 52048, + "стора": 52049, + "▁Нина": 52050, + "▁пь": 52051, + "▁римлян": 52052, + "▁цветами": 52053, + "▁троллей": 52054, + "НИЕ": 52055, + "рийского": 52056, + "▁дополнительного": 52057, + "▁лягу": 52058, + "▁разведку": 52059, + "▁поступила": 52060, + "▁охарактери": 52061, + "▁мировом": 52062, + "▁равновесие": 52063, + "▁таковой": 52064, + "▁продвижение": 52065, + "▁прив": 52066, + "▁коллегами": 52067, + "▁явились": 52068, + "▁занялся": 52069, + "▁активов": 52070, + "▁изменил": 52071, + "▁поставлена": 52072, + "▁тонкие": 52073, + "ори": 52074, + "▁обры": 52075, + "скоро": 52076, + "▁Герои": 52077, + "▁налоги": 52078, + "блением": 52079, + "▁архипе": 52080, + "▁Одессе": 52081, + "▁безупре": 52082, + "▁сугубо": 52083, + "валов": 52084, + "▁порядо": 52085, + "▁архиепископ": 52086, + "▁повторять": 52087, + "▁кольце": 52088, + "▁придать": 52089, + "▁РУ": 52090, + "▁богатые": 52091, + "▁КБ": 52092, + "▁Кузнецов": 52093, + "▁гвардейского": 52094, + "жело": 52095, + "фос": 52096, + "▁Приня": 52097, + "▁доклада": 52098, + "▁претензии": 52099, + "▁дошло": 52100, + "▁Ильич": 52101, + "▁тестов": 52102, + "▁жюри": 52103, + "▁Закавказ": 52104, + "▁Чуть": 52105, + "гада": 52106, + "▁трудового": 52107, + "▁Брэ": 52108, + "теста": 52109, + "avalry": 52110, + "▁государственная": 52111, + "▁переез": 52112, + "▁принадлежала": 52113, + "▁успешного": 52114, + "▁хор": 52115, + "▁страхом": 52116, + "▁иностранные": 52117, + "▁Еле": 52118, + "▁библио": 52119, + "▁определенном": 52120, + "▁исключить": 52121, + "▁защища": 52122, + "▁Вологод": 52123, + "циско": 52124, + "▁переведён": 52125, + "▁Сера": 52126, + "▁договорились": 52127, + "▁делятся": 52128, + "▁договоров": 52129, + "Фонтан": 52130, + "▁алкоголя": 52131, + "систе": 52132, + "▁полосу": 52133, + "▁Старший": 52134, + "▁полов": 52135, + "▁подлежит": 52136, + "▁декабрь": 52137, + "риди": 52138, + "▁указом": 52139, + "лённые": 52140, + "▁видах": 52141, + "▁брош": 52142, + "▁высокопоста": 52143, + "наз": 52144, + "▁сферах": 52145, + "▁охлаждения": 52146, + "▁предусмотрено": 52147, + "▁Вере": 52148, + "▁Кореи": 52149, + "зай": 52150, + "▁устройстве": 52151, + "▁догады": 52152, + "▁Теха": 52153, + "хнуть": 52154, + "▁мрамор": 52155, + "▁Объяс": 52156, + "▁гнева": 52157, + "▁верующих": 52158, + "▁пирамиды": 52159, + "▁определил": 52160, + "дэ": 52161, + "мала": 52162, + "показа": 52163, + "▁современная": 52164, + "▁Гонча": 52165, + "емен": 52166, + "▁царем": 52167, + "▁Информация": 52168, + "▁Представители": 52169, + "▁мирных": 52170, + "▁дюй": 52171, + "шное": 52172, + "▁городские": 52173, + "▁пуга": 52174, + "▁гонки": 52175, + "▁плодов": 52176, + "▁месяце": 52177, + "▁сельском": 52178, + "▁древний": 52179, + "▁Министр": 52180, + "▁гр": 52181, + "рифмети": 52182, + "Тай": 52183, + "▁поединке": 52184, + "тимся": 52185, + "▁добавляет": 52186, + "▁Адмирал": 52187, + "▁хранение": 52188, + "▁КНДР": 52189, + "▁энергетики": 52190, + "▁Меж": 52191, + "▁формулы": 52192, + "▁режиссера": 52193, + "пту": 52194, + "▁культурой": 52195, + "нимом": 52196, + "▁чистый": 52197, + "▁Робин": 52198, + "▁подводной": 52199, + "▁берегам": 52200, + "интер": 52201, + "▁продовольствия": 52202, + "рида": 52203, + "▁наполовину": 52204, + "▁налогооб": 52205, + "▁открыла": 52206, + "▁однои": 52207, + "▁идио": 52208, + "▁Рен": 52209, + "▁ювели": 52210, + "▁наукой": 52211, + "▁Теория": 52212, + "▁инфекции": 52213, + "▁захотел": 52214, + "▁проживания": 52215, + "▁Вадим": 52216, + "▁сознанием": 52217, + "тельские": 52218, + "щность": 52219, + "▁приобрела": 52220, + "▁колесо": 52221, + "гров": 52222, + "▁пропове": 52223, + "▁рекламу": 52224, + "▁Ски": 52225, + "▁семейство": 52226, + "▁кив": 52227, + "▁покупателей": 52228, + "зоре": 52229, + "▁установку": 52230, + "▁понравилось": 52231, + "▁двигатели": 52232, + "▁почты": 52233, + "▁Люк": 52234, + "▁экспертизы": 52235, + "▁инди": 52236, + "▁оформления": 52237, + "▁греч": 52238, + "▁отмечалось": 52239, + "▁Иор": 52240, + "▁достать": 52241, + "▁товарище": 52242, + "▁объявлен": 52243, + "▁переселен": 52244, + "▁Российская": 52245, + "ЦИЯ": 52246, + "▁полового": 52247, + "▁Блю": 52248, + "▁музыкантов": 52249, + "▁белков": 52250, + "▁разрыва": 52251, + "▁смертной": 52252, + "▁Жор": 52253, + "выбор": 52254, + "▁Филиппа": 52255, + "▁срабаты": 52256, + "▁Завер": 52257, + "▁ночам": 52258, + "▁носом": 52259, + "▁загрузки": 52260, + "▁рукопись": 52261, + "▁оказали": 52262, + "шны": 52263, + "▁мощные": 52264, + "▁усиление": 52265, + "таций": 52266, + "▁Мэй": 52267, + "руйте": 52268, + "▁трога": 52269, + "▁Мерку": 52270, + "единённых": 52271, + "▁Пьер": 52272, + "▁мечтал": 52273, + "▁Каким": 52274, + "▁двигателем": 52275, + "▁предоставления": 52276, + "▁располагался": 52277, + "хэ": 52278, + "▁ритори": 52279, + "несена": 52280, + "ствующее": 52281, + "▁политиков": 52282, + "▁выйдя": 52283, + "водом": 52284, + "тчика": 52285, + "▁разнообразие": 52286, + "▁хруп": 52287, + "▁папи": 52288, + "▁пожиз": 52289, + "▁выздоро": 52290, + "▁рабочем": 52291, + "▁опираясь": 52292, + "▁целям": 52293, + "▁бежали": 52294, + "▁выглядел": 52295, + "▁переговорах": 52296, + "▁иную": 52297, + "▁сооружение": 52298, + "▁неотъемле": 52299, + "менного": 52300, + "пус": 52301, + "▁Возрождения": 52302, + "▁кроше": 52303, + "▁сало": 52304, + "ливые": 52305, + "▁достаточной": 52306, + "▁criticized": 52307, + "▁масле": 52308, + "Анджеле": 52309, + "▁Наука": 52310, + "▁бельгий": 52311, + "▁материалом": 52312, + "▁требованиями": 52313, + "▁Следующий": 52314, + "▁Алма": 52315, + "▁странное": 52316, + "планет": 52317, + "▁немысли": 52318, + "оборудова": 52319, + "▁крупная": 52320, + "морских": 52321, + "▁отмечено": 52322, + "▁пятый": 52323, + "▁основанный": 52324, + "▁существи": 52325, + "▁животным": 52326, + "▁Университета": 52327, + "тается": 52328, + "▁Неза": 52329, + "▁хули": 52330, + "▁Яросла": 52331, + "▁вообража": 52332, + "▁баз": 52333, + "торией": 52334, + "▁Самой": 52335, + "▁выполнены": 52336, + "▁вермах": 52337, + "▁адмирала": 52338, + "▁зверь": 52339, + "▁покра": 52340, + "▁приходил": 52341, + "▁предлагается": 52342, + "ксом": 52343, + "вязки": 52344, + "▁урод": 52345, + "▁дневнике": 52346, + "▁нано": 52347, + "▁резерва": 52348, + "▁наций": 52349, + "▁самоот": 52350, + "▁поселений": 52351, + "▁материального": 52352, + "▁пальца": 52353, + "▁масон": 52354, + "▁согре": 52355, + "▁позабо": 52356, + "▁специальным": 52357, + "плей": 52358, + "▁ожидает": 52359, + "▁журналисты": 52360, + "▁Сор": 52361, + "вязать": 52362, + "мало": 52363, + "▁домашнего": 52364, + "▁эскадры": 52365, + "▁прочитал": 52366, + "▁навести": 52367, + "▁ОГ": 52368, + "▁заботы": 52369, + "говорили": 52370, + "▁бомбо": 52371, + "▁Ог": 52372, + "▁севернее": 52373, + "▁переворот": 52374, + "вное": 52375, + "▁подчеркивает": 52376, + "вающую": 52377, + "▁генералом": 52378, + "рующим": 52379, + "▁эффекты": 52380, + "▁молодёжи": 52381, + "▁первенстве": 52382, + "▁выку": 52383, + "▁обвини": 52384, + "▁используем": 52385, + "▁производством": 52386, + "▁пользуясь": 52387, + "▁терпи": 52388, + "▁Пир": 52389, + "▁смена": 52390, + "▁вниманием": 52391, + "▁водных": 52392, + "▁селения": 52393, + "▁объединить": 52394, + "▁нанесен": 52395, + "▁магазины": 52396, + "▁задум": 52397, + "▁ознаменова": 52398, + "▁Трудового": 52399, + "гмати": 52400, + "▁аргументы": 52401, + "▁РО": 52402, + "нусь": 52403, + "бины": 52404, + "ницкого": 52405, + "▁камере": 52406, + "▁Infantry": 52407, + "хво": 52408, + "▁осваи": 52409, + "▁европейские": 52410, + "▁планета": 52411, + "живание": 52412, + "▁девушкой": 52413, + "нго": 52414, + "▁важен": 52415, + "▁Кристо": 52416, + "▁Преобра": 52417, + "▁сражаться": 52418, + "▁исполнял": 52419, + "цкие": 52420, + "▁деревянные": 52421, + "▁жанре": 52422, + "втори": 52423, + "xual": 52424, + "▁Блок": 52425, + "бона": 52426, + "▁торгового": 52427, + "▁сгора": 52428, + "▁распоряжения": 52429, + "▁кэ": 52430, + "▁принадлежали": 52431, + "▁хвосто": 52432, + "▁Язык": 52433, + "▁помнит": 52434, + "vant": 52435, + "гнан": 52436, + "▁demonst": 52437, + "▁Калифорнии": 52438, + "▁Лауреат": 52439, + "▁созданные": 52440, + "Фор": 52441, + "▁заработать": 52442, + "▁Семе": 52443, + "▁сохранил": 52444, + "▁Венесу": 52445, + "▁отраслей": 52446, + "дагоги": 52447, + "зированного": 52448, + "▁Exec": 52449, + "▁помогали": 52450, + "нишь": 52451, + "▁способствовало": 52452, + "▁дочерей": 52453, + "▁Логи": 52454, + "▁мертвых": 52455, + "▁шее": 52456, + "▁досу": 52457, + "стрелко": 52458, + "▁Джер": 52459, + "▁surre": 52460, + "▁туалет": 52461, + "▁килограм": 52462, + "▁пролив": 52463, + "▁снай": 52464, + "hered": 52465, + "▁Обратите": 52466, + "▁программой": 52467, + "▁начнется": 52468, + "стрит": 52469, + "▁Паль": 52470, + "▁крыши": 52471, + "▁Колле": 52472, + "▁Полковник": 52473, + "▁Кеннеди": 52474, + "▁кошки": 52475, + "▁живопис": 52476, + "▁страхования": 52477, + "▁сень": 52478, + "танные": 52479, + "▁Духов": 52480, + "▁собраны": 52481, + "▁историка": 52482, + "▁Ворон": 52483, + "ностям": 52484, + "▁всякую": 52485, + "▁стыдно": 52486, + "вающими": 52487, + "▁разуме": 52488, + "▁пострадали": 52489, + "▁Днепро": 52490, + "▁господина": 52491, + "▁Космо": 52492, + "▁правильный": 52493, + "▁казаки": 52494, + "▁Основным": 52495, + "▁композитора": 52496, + "▁разбо": 52497, + "▁управляет": 52498, + "▁Госдумы": 52499, + "▁юбилей": 52500, + "▁должностных": 52501, + "▁парков": 52502, + "▁фикса": 52503, + "▁regiment": 52504, + "▁привычки": 52505, + "▁внедре": 52506, + "▁придает": 52507, + "▁Независи": 52508, + "▁бросился": 52509, + "сак": 52510, + "▁затя": 52511, + "водных": 52512, + "▁членам": 52513, + "важно": 52514, + "стандар": 52515, + "▁злоб": 52516, + "▁фирм": 52517, + "▁Ницше": 52518, + "▁проница": 52519, + "зируют": 52520, + "▁матчи": 52521, + "▁быстрый": 52522, + "украин": 52523, + "OW": 52524, + "▁наполне": 52525, + "пунк": 52526, + "▁колы": 52527, + "▁мысленно": 52528, + "▁Gord": 52529, + "▁Начальник": 52530, + "▁ден": 52531, + "▁хоре": 52532, + "▁кишечника": 52533, + "▁родила": 52534, + "щённый": 52535, + "▁живущих": 52536, + "▁достигнуть": 52537, + "четыре": 52538, + "тернациона": 52539, + "гражда": 52540, + "▁гнез": 52541, + "▁свар": 52542, + "ционному": 52543, + "▁Премия": 52544, + "▁легенда": 52545, + "▁совещания": 52546, + "▁беспокои": 52547, + "производи": 52548, + "▁экспедиция": 52549, + "▁подходе": 52550, + "▁Бабу": 52551, + "▁отой": 52552, + "читал": 52553, + "▁рассказе": 52554, + "▁дамы": 52555, + "▁поступления": 52556, + "▁Всю": 52557, + "▁ставили": 52558, + "нево": 52559, + "нистов": 52560, + "▁Авиа": 52561, + "▁аспект": 52562, + "▁шеи": 52563, + "од": 52564, + "▁явилась": 52565, + "▁Мое": 52566, + "▁Геннадий": 52567, + "▁комментариях": 52568, + "▁Девушка": 52569, + "▁протека": 52570, + "▁значимости": 52571, + "▁обозначение": 52572, + "кся": 52573, + "▁подтвердили": 52574, + "▁ане": 52575, + "▁романы": 52576, + "▁Таджики": 52577, + "▁культ": 52578, + "▁спровоци": 52579, + "▁установке": 52580, + "▁крупно": 52581, + "▁анализе": 52582, + "▁используемых": 52583, + "▁китайского": 52584, + "▁индивидуального": 52585, + "▁ворон": 52586, + "▁превращения": 52587, + "▁Алба": 52588, + "▁ракови": 52589, + "▁греческих": 52590, + "▁половых": 52591, + "▁фазы": 52592, + "▁поставок": 52593, + "тимента": 52594, + "▁встречался": 52595, + "▁Иа": 52596, + "▁молод": 52597, + "ступы": 52598, + "▁Мани": 52599, + "▁засо": 52600, + "▁минус": 52601, + "▁полёта": 52602, + "▁пилот": 52603, + "▁лаби": 52604, + "eck": 52605, + "▁солидар": 52606, + "▁чужие": 52607, + "коны": 52608, + "▁недостатка": 52609, + "▁слышу": 52610, + "косми": 52611, + "▁московской": 52612, + "▁шизо": 52613, + "▁лодку": 52614, + "▁раннем": 52615, + "▁вагонов": 52616, + "куляр": 52617, + "▁подтверждения": 52618, + "▁Запоро": 52619, + "▁ган": 52620, + "тальной": 52621, + "▁церковью": 52622, + "▁кату": 52623, + "▁поблизости": 52624, + "▁пал": 52625, + "▁начинаются": 52626, + "кис": 52627, + "Золотой": 52628, + "▁приобретения": 52629, + "роды": 52630, + "▁коллегии": 52631, + "▁определенно": 52632, + "▁семян": 52633, + "▁Чернигов": 52634, + "▁вою": 52635, + "хара": 52636, + "▁сконцентри": 52637, + "рилась": 52638, + "▁опасения": 52639, + "▁Джефф": 52640, + "▁держится": 52641, + "▁спины": 52642, + "▁Исследова": 52643, + "▁уравнения": 52644, + "▁жанр": 52645, + "▁завоевала": 52646, + "▁Любой": 52647, + "▁взаимопо": 52648, + "▁Афганистане": 52649, + "▁присутствовал": 52650, + "▁мыслью": 52651, + "▁строительству": 52652, + "▁принимая": 52653, + "▁востока": 52654, + "▁образований": 52655, + "▁номере": 52656, + "▁Пей": 52657, + "Дру": 52658, + "▁итальянской": 52659, + "чительно": 52660, + "дочной": 52661, + "▁мелкими": 52662, + "▁записать": 52663, + "plate": 52664, + "леру": 52665, + "▁террористов": 52666, + "▁транспортного": 52667, + "▁ВВП": 52668, + "▁автобиографи": 52669, + "чевский": 52670, + "▁Дель": 52671, + "▁портреты": 52672, + "▁Золотой": 52673, + "нса": 52674, + "▁духовное": 52675, + "▁Неме": 52676, + "▁долл": 52677, + "▁предпочтение": 52678, + "▁подобная": 52679, + "тует": 52680, + "▁Людовика": 52681, + "▁упоминает": 52682, + "тинского": 52683, + "круп": 52684, + "▁Большую": 52685, + "▁плоти": 52686, + "▁выходом": 52687, + "▁моряков": 52688, + "▁топливо": 52689, + "▁зарплаты": 52690, + "▁ПОЛ": 52691, + "▁значением": 52692, + "▁Boe": 52693, + "▁сква": 52694, + "▁балло": 52695, + "▁взрослые": 52696, + "▁орбиту": 52697, + "ых": 52698, + "родных": 52699, + "▁Войска": 52700, + "ствах": 52701, + "▁велик": 52702, + "боли": 52703, + "▁порту": 52704, + "▁верили": 52705, + "▁вступ": 52706, + "кевич": 52707, + "▁обычай": 52708, + "▁драй": 52709, + "▁Марсе": 52710, + "▁Строительство": 52711, + "▁магнито": 52712, + "сиа": 52713, + "▁широких": 52714, + "риал": 52715, + "▁исполнять": 52716, + "▁становилась": 52717, + "▁орто": 52718, + "▁складывается": 52719, + "▁животными": 52720, + "▁помешать": 52721, + "▁раски": 52722, + "цовой": 52723, + "дельно": 52724, + "ricts": 52725, + "▁труде": 52726, + "▁журналах": 52727, + "▁капитаном": 52728, + "вита": 52729, + "жках": 52730, + "▁кровоте": 52731, + "▁нападающий": 52732, + "▁тяжелым": 52733, + "▁невозможным": 52734, + "видел": 52735, + "▁Фреде": 52736, + "ложению": 52737, + "▁золотую": 52738, + "▁градо": 52739, + "▁упло": 52740, + "▁атмосфера": 52741, + "▁бедных": 52742, + "▁церковных": 52743, + "тиза": 52744, + "▁разрушение": 52745, + "чило": 52746, + "▁следуют": 52747, + "▁Юли": 52748, + "ковья": 52749, + "РФ": 52750, + "дник": 52751, + "▁российском": 52752, + "▁отдельная": 52753, + "▁опытных": 52754, + "▁вольно": 52755, + "▁преподоб": 52756, + "гуляр": 52757, + "щину": 52758, + "▁знакомы": 52759, + "▁свадьбы": 52760, + "▁трудностей": 52761, + "▁заставля": 52762, + "▁ездил": 52763, + "▁деятели": 52764, + "▁поце": 52765, + "▁Числе": 52766, + "▁беседе": 52767, + "▁рво": 52768, + "▁кровать": 52769, + "▁сериал": 52770, + "▁довелось": 52771, + "▁вдали": 52772, + "▁Применение": 52773, + "▁разработать": 52774, + "▁останки": 52775, + "▁Шевченко": 52776, + "▁Общество": 52777, + "носа": 52778, + "жив": 52779, + "▁направо": 52780, + "▁масштабе": 52781, + "стку": 52782, + "▁действию": 52783, + "крова": 52784, + "▁Dougl": 52785, + "▁радостно": 52786, + "▁учреждениях": 52787, + "▁короткой": 52788, + "▁деви": 52789, + "▁поступили": 52790, + "▁Соро": 52791, + "▁вокзала": 52792, + "▁поехали": 52793, + "▁жителя": 52794, + "▁патронов": 52795, + "▁прибытия": 52796, + "▁думая": 52797, + "▁значительным": 52798, + "доподоб": 52799, + "▁ударил": 52800, + "▁странам": 52801, + "▁Струк": 52802, + "сности": 52803, + "▁долей": 52804, + "царь": 52805, + "▁комиссию": 52806, + "▁лёгкой": 52807, + "▁любимый": 52808, + "распреде": 52809, + "▁превосходство": 52810, + "▁полуострове": 52811, + "▁Францией": 52812, + "▁сельской": 52813, + "▁Средневе": 52814, + "▁интерфейса": 52815, + "▁необходимый": 52816, + "▁Единственное": 52817, + "▁яйце": 52818, + "▁затяну": 52819, + "▁Беля": 52820, + "▁состоящий": 52821, + "▁обслуживание": 52822, + "▁индивида": 52823, + "▁случится": 52824, + "▁Кинг": 52825, + "▁читали": 52826, + "зоры": 52827, + "десятых": 52828, + "▁рассмотрении": 52829, + "▁промо": 52830, + "▁Посе": 52831, + "▁импрови": 52832, + "ливая": 52833, + "▁национальности": 52834, + "▁Андро": 52835, + "▁сед": 52836, + "▁царей": 52837, + "▁животно": 52838, + "ЕФА": 52839, + "▁уцеле": 52840, + "христиан": 52841, + "▁громо": 52842, + "▁туре": 52843, + "▁получим": 52844, + "▁выгодно": 52845, + "▁издании": 52846, + "лететь": 52847, + "▁Гора": 52848, + "▁квартир": 52849, + "шив": 52850, + "▁Народный": 52851, + "▁соперника": 52852, + "шт": 52853, + "▁municipality": 52854, + "▁твою": 52855, + "arant": 52856, + "▁крестьянских": 52857, + "▁централизова": 52858, + "▁ся": 52859, + "▁легкий": 52860, + "▁частного": 52861, + "▁церковной": 52862, + "▁комната": 52863, + "▁подчас": 52864, + "▁нари": 52865, + "▁абсолютной": 52866, + "клов": 52867, + "▁культа": 52868, + "▁разговоров": 52869, + "ренными": 52870, + "▁узнала": 52871, + "лятора": 52872, + "▁возможна": 52873, + "▁двойной": 52874, + "▁отдохнуть": 52875, + "▁получены": 52876, + "▁Ува": 52877, + "тропи": 52878, + "▁Божией": 52879, + "▁круги": 52880, + "▁мастерство": 52881, + "▁биологических": 52882, + "▁Фео": 52883, + "▁Великая": 52884, + "гроб": 52885, + "▁входи": 52886, + "▁ссылке": 52887, + "▁Лучший": 52888, + "▁модификации": 52889, + "ворения": 52890, + "▁бесчисле": 52891, + "▁духу": 52892, + "проти": 52893, + "▁Григория": 52894, + "▁Дик": 52895, + "▁мистер": 52896, + "▁благосо": 52897, + "▁верблю": 52898, + "▁посвящены": 52899, + "▁Неве": 52900, + "▁Степан": 52901, + "▁мировая": 52902, + "валом": 52903, + "▁существующие": 52904, + "▁фру": 52905, + "▁публикаций": 52906, + "▁понимаем": 52907, + "▁знаменитых": 52908, + "марка": 52909, + "▁сигнали": 52910, + "▁социальную": 52911, + "▁Боло": 52912, + "▁ответили": 52913, + "▁олигар": 52914, + "▁автомобиле": 52915, + "▁суммар": 52916, + "▁Применя": 52917, + "Человек": 52918, + "coh": 52919, + "▁вертолета": 52920, + "▁гарантии": 52921, + "▁порождает": 52922, + "▁предприятиях": 52923, + "▁дальность": 52924, + "▁прон": 52925, + "▁вда": 52926, + "Золотая": 52927, + "▁боевую": 52928, + "▁нарисо": 52929, + "▁турок": 52930, + "очень": 52931, + "▁Севера": 52932, + "▁Никаких": 52933, + "▁доцен": 52934, + "▁столкнулся": 52935, + "Там": 52936, + "конструи": 52937, + "▁волнения": 52938, + "ед": 52939, + "▁коммунизма": 52940, + "политической": 52941, + "▁Данная": 52942, + "зовых": 52943, + "баль": 52944, + "▁прорыва": 52945, + "▁пошёл": 52946, + "▁захват": 52947, + "▁вреза": 52948, + "▁теорий": 52949, + "▁нормального": 52950, + "▁красивый": 52951, + "маш": 52952, + "▁издательство": 52953, + "▁вытекает": 52954, + "▁верхнего": 52955, + "ерей": 52956, + "▁Христиан": 52957, + "▁Бреж": 52958, + "УТ": 52959, + "▁солнцем": 52960, + "левых": 52961, + "▁устроил": 52962, + "▁овра": 52963, + "▁наркотиков": 52964, + "▁объявить": 52965, + "▁поблагода": 52966, + "▁Спаси": 52967, + "▁Луна": 52968, + "пились": 52969, + "▁Божь": 52970, + "▁объективно": 52971, + "▁испыту": 52972, + "▁репутацию": 52973, + "▁слушателей": 52974, + "видетельство": 52975, + "▁смотрю": 52976, + "▁яркие": 52977, + "новаться": 52978, + "вину": 52979, + "▁антисовет": 52980, + "▁больным": 52981, + "▁камнями": 52982, + "▁продвига": 52983, + "▁букси": 52984, + "▁повлиять": 52985, + "сказу": 52986, + "▁одиночку": 52987, + "antasy": 52988, + "▁уменьшения": 52989, + "шине": 52990, + "▁написали": 52991, + "▁спир": 52992, + "▁варвар": 52993, + "стояния": 52994, + "▁Константинополь": 52995, + "▁Усть": 52996, + "рань": 52997, + "дям": 52998, + "▁потребля": 52999, + "ав": 53000, + "▁подбо": 53001, + "▁Исти": 53002, + "▁камера": 53003, + "тиком": 53004, + "ценка": 53005, + "▁объяснять": 53006, + "▁московский": 53007, + "▁картофель": 53008, + "ничто": 53009, + "▁партийных": 53010, + "▁хозяйственной": 53011, + "▁Фёдор": 53012, + "▁бежит": 53013, + "▁помогло": 53014, + "▁спутника": 53015, + "▁рисунке": 53016, + "▁докладе": 53017, + "▁запе": 53018, + "▁масштаба": 53019, + "▁дама": 53020, + "▁тащи": 53021, + "▁общеобразова": 53022, + "▁Ясно": 53023, + "▁пламя": 53024, + "▁Перевод": 53025, + "▁Зво": 53026, + "▁сняли": 53027, + "▁снижается": 53028, + "▁убо": 53029, + "▁фронтом": 53030, + "▁малейшего": 53031, + "▁пули": 53032, + "▁жандар": 53033, + "▁КОН": 53034, + "▁верят": 53035, + "▁понимаешь": 53036, + "▁доллара": 53037, + "▁уход": 53038, + "▁Главной": 53039, + "▁свободным": 53040, + "вателей": 53041, + "▁наглядно": 53042, + "▁Мексики": 53043, + "▁предписы": 53044, + "▁осведом": 53045, + "▁частям": 53046, + "тников": 53047, + "пенга": 53048, + "▁знамена": 53049, + "вером": 53050, + "▁тесты": 53051, + "▁Лени": 53052, + "▁июнь": 53053, + "▁Вашингтоне": 53054, + "хли": 53055, + "▁Цвета": 53056, + "▁привез": 53057, + "▁низким": 53058, + "▁Ов": 53059, + "ена": 53060, + "▁иудей": 53061, + "▁очерта": 53062, + "▁встречаться": 53063, + "цком": 53064, + "▁колду": 53065, + "▁ВЦ": 53066, + "▁сестре": 53067, + "▁женский": 53068, + "▁жительства": 53069, + "▁физик": 53070, + "десант": 53071, + "▁экземпляр": 53072, + "▁волнова": 53073, + "▁добавляют": 53074, + "▁греки": 53075, + "▁исполнилось": 53076, + "▁несли": 53077, + "▁вектор": 53078, + "▁происходящее": 53079, + "смотр": 53080, + "▁стоимостью": 53081, + "▁городке": 53082, + "жане": 53083, + "▁шку": 53084, + "uris": 53085, + "▁потерпел": 53086, + "▁жут": 53087, + "▁временного": 53088, + "▁рада": 53089, + "▁Балтийского": 53090, + "▁Университет": 53091, + "▁поворота": 53092, + "▁сохранилась": 53093, + "▁Conc": 53094, + "▁закрытия": 53095, + "▁Краснозна": 53096, + "▁Словом": 53097, + "▁выключа": 53098, + "▁эпизодов": 53099, + "▁изменять": 53100, + "▁стира": 53101, + "▁снис": 53102, + "летки": 53103, + "онера": 53104, + "▁Стокголь": 53105, + "шн": 53106, + "▁фила": 53107, + "▁секретарем": 53108, + "▁нюан": 53109, + "вени": 53110, + "▁Верховной": 53111, + "▁желающих": 53112, + "▁создаются": 53113, + "▁направлено": 53114, + "▁Таври": 53115, + "▁совещание": 53116, + "▁посетить": 53117, + "дура": 53118, + "▁владел": 53119, + "▁обеспечивать": 53120, + "▁расцвета": 53121, + "▁видам": 53122, + "▁Старый": 53123, + "▁прислуши": 53124, + "▁марша": 53125, + "родинами": 53126, + "▁тщет": 53127, + "▁временам": 53128, + "кула": 53129, + "▁Альбер": 53130, + "▁крейсера": 53131, + "родные": 53132, + "▁ранние": 53133, + "Вен": 53134, + "видение": 53135, + "▁пузырь": 53136, + "инте": 53137, + "▁волость": 53138, + "▁согласова": 53139, + "arner": 53140, + "▁ликвида": 53141, + "▁стратегия": 53142, + "▁обеспо": 53143, + "▁жителям": 53144, + "руса": 53145, + "▁Соколов": 53146, + "хор": 53147, + "ственна": 53148, + "▁обая": 53149, + "▁Башки": 53150, + "▁остановились": 53151, + "▁ввел": 53152, + "▁кратков": 53153, + "▁видо": 53154, + "▁чемпионатов": 53155, + "▁казна": 53156, + "дух": 53157, + "▁съё": 53158, + "▁неделя": 53159, + "▁внедрения": 53160, + "▁Пора": 53161, + "▁серьезный": 53162, + "▁чувствуют": 53163, + "щенными": 53164, + "▁леди": 53165, + "▁борода": 53166, + "живают": 53167, + "▁слабые": 53168, + "▁стрельбе": 53169, + "▁футбольный": 53170, + "▁терра": 53171, + "▁свире": 53172, + "▁правилами": 53173, + "▁всякая": 53174, + "▁трибуна": 53175, + "▁совесть": 53176, + "менная": 53177, + "▁следующая": 53178, + "▁Абха": 53179, + "▁учёные": 53180, + "▁РП": 53181, + "▁ремеслен": 53182, + "▁приоритет": 53183, + "▁оказал": 53184, + "▁Итальян": 53185, + "▁Господи": 53186, + "▁Ер": 53187, + "центр": 53188, + "▁мороз": 53189, + "▁дезин": 53190, + "рядка": 53191, + "рациона": 53192, + "▁публике": 53193, + "▁удовлетворить": 53194, + "лею": 53195, + "▁специальное": 53196, + "бовал": 53197, + "оста": 53198, + "▁сериале": 53199, + "▁жизненно": 53200, + "▁соотно": 53201, + "▁Выступал": 53202, + "▁Чтоб": 53203, + "▁коммерческих": 53204, + "▁размести": 53205, + "▁поверхностью": 53206, + "▁Ельцина": 53207, + "▁ужи": 53208, + "▁известными": 53209, + "▁арте": 53210, + "▁пенсии": 53211, + "▁сектор": 53212, + "▁вяз": 53213, + "▁подразделя": 53214, + "▁Каждое": 53215, + "▁состяза": 53216, + "▁скульптуры": 53217, + "▁ленинград": 53218, + "▁звери": 53219, + "▁завет": 53220, + "чёте": 53221, + "стижи": 53222, + "▁серо": 53223, + "▁банкрот": 53224, + "▁вечерин": 53225, + "▁выстрела": 53226, + "юрера": 53227, + "пользова": 53228, + "▁Движение": 53229, + "▁Ночью": 53230, + "▁подво": 53231, + "▁обходи": 53232, + "▁попросили": 53233, + "▁Ив": 53234, + "▁обнаружен": 53235, + "бека": 53236, + "▁диаметр": 53237, + "▁истинно": 53238, + "Франциско": 53239, + "провода": 53240, + "▁кругов": 53241, + "жская": 53242, + "▁завла": 53243, + "▁Женщины": 53244, + "▁реальностью": 53245, + "▁готовится": 53246, + "▁бывшим": 53247, + "▁инспек": 53248, + "чивание": 53249, + "▁городок": 53250, + "▁явлением": 53251, + "uilt": 53252, + "▁ИГ": 53253, + "▁возлюблен": 53254, + "olished": 53255, + "▁Кули": 53256, + "▁диалога": 53257, + "СЕ": 53258, + "▁популярной": 53259, + "▁альян": 53260, + "▁скульптур": 53261, + "▁скорей": 53262, + "товать": 53263, + "▁амор": 53264, + "▁проживали": 53265, + "▁часами": 53266, + "▁Художник": 53267, + "▁странные": 53268, + "▁готово": 53269, + "▁найдено": 53270, + "▁событием": 53271, + "▁травя": 53272, + "▁наимень": 53273, + "▁тюрк": 53274, + "русской": 53275, + "▁ут": 53276, + "ЛС": 53277, + "▁Ибра": 53278, + "▁утверждали": 53279, + "просто": 53280, + "\"»": 53281, + "▁ани": 53282, + "▁зимних": 53283, + "▁сестрой": 53284, + "▁сердцу": 53285, + "▁франков": 53286, + "▁свету": 53287, + "▁полицейские": 53288, + "▁основателей": 53289, + "▁модифика": 53290, + "▁вещах": 53291, + "▁Андреев": 53292, + "▁лишним": 53293, + "▁независимых": 53294, + "▁напрасно": 53295, + "гонь": 53296, + "▁пища": 53297, + "▁черту": 53298, + "цеден": 53299, + "▁прокурор": 53300, + "▁прочесть": 53301, + "▁диких": 53302, + "▁хорва": 53303, + "▁сотрудником": 53304, + "▁Тибе": 53305, + "▁государствами": 53306, + "▁процедуру": 53307, + "▁сиони": 53308, + "▁отступ": 53309, + "ьба": 53310, + "▁казен": 53311, + "▁гражданам": 53312, + "▁Элли": 53313, + "▁облига": 53314, + "▁инициативу": 53315, + "▁выраста": 53316, + "▁подписи": 53317, + "▁писателем": 53318, + "▁Современные": 53319, + "▁визит": 53320, + "▁оставлять": 53321, + "▁вр": 53322, + "▁параметр": 53323, + "▁казнь": 53324, + "▁СТ": 53325, + "▁современное": 53326, + "секретарь": 53327, + "▁осты": 53328, + "▁сохраня": 53329, + "ugby": 53330, + "uble": 53331, + "▁спит": 53332, + "▁занимала": 53333, + "вины": 53334, + "ализации": 53335, + "▁совершении": 53336, + "▁металло": 53337, + "жаю": 53338, + "тчиками": 53339, + "▁Восточного": 53340, + "▁поступают": 53341, + "▁пунктах": 53342, + "▁заб": 53343, + "▁гигие": 53344, + "▁главном": 53345, + "хей": 53346, + "▁характеристика": 53347, + "▁безжало": 53348, + "▁перепол": 53349, + "▁Сокра": 53350, + "▁расчеты": 53351, + "▁вошло": 53352, + "▁Скан": 53353, + "▁посольство": 53354, + "afe": 53355, + "зут": 53356, + "▁живота": 53357, + "▁разведка": 53358, + "▁тези": 53359, + "▁овец": 53360, + "▁затво": 53361, + "живал": 53362, + "▁единственного": 53363, + "▁проектирования": 53364, + "кни": 53365, + "▁усугу": 53366, + "взя": 53367, + "▁потомков": 53368, + "▁уеди": 53369, + "▁описании": 53370, + "▁верхних": 53371, + "▁опья": 53372, + "суда": 53373, + "▁налогоплатель": 53374, + "рёл": 53375, + "▁Галь": 53376, + "▁абонен": 53377, + "ппер": 53378, + "▁великая": 53379, + "▁мастерства": 53380, + "▁Штатах": 53381, + "родной": 53382, + "▁выделяются": 53383, + "rations": 53384, + "▁воображения": 53385, + "▁советскими": 53386, + "rapy": 53387, + "▁ОКБ": 53388, + "▁Лью": 53389, + "ловым": 53390, + "корреспондент": 53391, + "▁особенностями": 53392, + "зируя": 53393, + "▁барон": 53394, + "▁римской": 53395, + "▁температуру": 53396, + "▁экспан": 53397, + "влю": 53398, + "мунд": 53399, + "▁Дево": 53400, + "▁участникам": 53401, + "▁менеджер": 53402, + "▁раскрыть": 53403, + "▁некотором": 53404, + "цизм": 53405, + "▁свидетелем": 53406, + "▁крипто": 53407, + "▁Другое": 53408, + "▁Антонио": 53409, + "▁ядерных": 53410, + "▁Диони": 53411, + "▁заклина": 53412, + "▁законопроек": 53413, + "хари": 53414, + "▁заключен": 53415, + "▁Евра": 53416, + "тируются": 53417, + "▁столица": 53418, + "▁инсу": 53419, + "▁тотали": 53420, + "▁зрение": 53421, + "▁Валентин": 53422, + "▁миров": 53423, + "▁низкий": 53424, + "▁несовершен": 53425, + "таи": 53426, + "▁сели": 53427, + "▁похожие": 53428, + "▁туризма": 53429, + "▁раст": 53430, + "▁продюсер": 53431, + "▁пониманию": 53432, + "▁строительных": 53433, + "емле": 53434, + "▁успешной": 53435, + "▁решается": 53436, + "▁корреспондент": 53437, + "▁воспринимается": 53438, + "▁Джорджа": 53439, + "щику": 53440, + "ъесте": 53441, + "▁индо": 53442, + "▁Ирак": 53443, + "▁хана": 53444, + "▁активную": 53445, + "▁ракета": 53446, + "▁способные": 53447, + "▁появлению": 53448, + "▁община": 53449, + "права": 53450, + "▁спаси": 53451, + "▁нижних": 53452, + "▁сидела": 53453, + "▁трагедия": 53454, + "рины": 53455, + "▁эфир": 53456, + "▁врагами": 53457, + "▁субъект": 53458, + "▁вооруженные": 53459, + "фли": 53460, + "▁набережной": 53461, + "стеров": 53462, + "▁объединяет": 53463, + "▁богослов": 53464, + "▁Главнокоман": 53465, + "▁эмигри": 53466, + "▁неприятеля": 53467, + "▁испанский": 53468, + "▁СД": 53469, + "▁растительного": 53470, + "валифици": 53471, + "▁откли": 53472, + "дда": 53473, + "▁индивидуальной": 53474, + "▁доса": 53475, + "▁южном": 53476, + "▁дивизию": 53477, + "▁Федорович": 53478, + "▁неуверен": 53479, + "чником": 53480, + "▁Империи": 53481, + "зированы": 53482, + "▁истребители": 53483, + "станно": 53484, + "▁Pit": 53485, + "▁Ситуация": 53486, + "▁карьера": 53487, + "рум": 53488, + "▁корабе": 53489, + "голу": 53490, + "▁разгра": 53491, + "логу": 53492, + "▁чудеса": 53493, + "скара": 53494, + "▁толка": 53495, + "▁сервисов": 53496, + "▁необычайно": 53497, + "▁совершенства": 53498, + "▁Парла": 53499, + "▁активным": 53500, + "лливуд": 53501, + "▁придётся": 53502, + "▁бойцы": 53503, + "щине": 53504, + "▁чугу": 53505, + "▁городском": 53506, + "▁Чарльз": 53507, + "службы": 53508, + "▁прохлад": 53509, + "▁паст": 53510, + "▁казался": 53511, + "▁Польшу": 53512, + "▁металл": 53513, + "▁пропустить": 53514, + "▁импорт": 53515, + "▁любимого": 53516, + "▁открытое": 53517, + "▁ярких": 53518, + "▁весть": 53519, + "▁инструментом": 53520, + "▁выходные": 53521, + "▁вывел": 53522, + "чут": 53523, + "ОЙ": 53524, + "▁вернемся": 53525, + "▁устроили": 53526, + "▁особая": 53527, + "▁цивилизова": 53528, + "▁пики": 53529, + "зала": 53530, + "▁случиться": 53531, + "▁узла": 53532, + "▁приехать": 53533, + "таре": 53534, + "родного": 53535, + "▁побольше": 53536, + "▁безобра": 53537, + "воил": 53538, + "рджи": 53539, + "тону": 53540, + "▁орбиты": 53541, + "кок": 53542, + "▁разлу": 53543, + "графической": 53544, + "▁Недоста": 53545, + "▁достигают": 53546, + "▁еврейских": 53547, + "чта": 53548, + "▁пострадал": 53549, + "говоры": 53550, + "▁прорыв": 53551, + "нины": 53552, + "▁Коб": 53553, + "▁Энер": 53554, + "▁CN": 53555, + "▁Вольф": 53556, + "▁советника": 53557, + "▁составом": 53558, + "нейшего": 53559, + "▁бутылки": 53560, + "▁полотен": 53561, + "▁девушке": 53562, + "ванная": 53563, + "▁покрытия": 53564, + "▁кухни": 53565, + "▁больший": 53566, + "мири": 53567, + "▁питом": 53568, + "▁проверять": 53569, + "▁возбуди": 53570, + "▁зме": 53571, + "▁мунди": 53572, + "▁влиять": 53573, + "варда": 53574, + "▁жизненного": 53575, + "▁уверенностью": 53576, + "мони": 53577, + ";#": 53578, + "▁освобожден": 53579, + "▁приносят": 53580, + "▁Олега": 53581, + "▁открывать": 53582, + "▁владений": 53583, + "▁Рассе": 53584, + "▁соотношения": 53585, + "▁песка": 53586, + "▁Гот": 53587, + "▁денежные": 53588, + "▁отбира": 53589, + "ризации": 53590, + "▁ездить": 53591, + "▁пригласили": 53592, + "▁Изобра": 53593, + "минг": 53594, + "▁немецкая": 53595, + "▁Денис": 53596, + "▁Розен": 53597, + "▁человеко": 53598, + "точная": 53599, + "▁Потре": 53600, + "▁духовенства": 53601, + "оле": 53602, + "зистен": 53603, + "▁Дея": 53604, + "рике": 53605, + "▁мыслями": 53606, + "▁мощным": 53607, + "бры": 53608, + "▁красивые": 53609, + "▁феномена": 53610, + "▁фактора": 53611, + "▁отныне": 53612, + "▁жениться": 53613, + "▁Надежда": 53614, + "▁стенами": 53615, + "▁видна": 53616, + "▁военнопленных": 53617, + "▁взволнова": 53618, + "▁Эйзен": 53619, + "▁необо": 53620, + "факс": 53621, + "▁Киевского": 53622, + "▁спутник": 53623, + "▁семе": 53624, + "▁безграни": 53625, + "▁научился": 53626, + "щин": 53627, + "пса": 53628, + "▁превзо": 53629, + "▁столовой": 53630, + "пять": 53631, + "▁действии": 53632, + "▁думаешь": 53633, + "▁Исполни": 53634, + "▁отмечали": 53635, + "▁просвети": 53636, + "юк": 53637, + "нце": 53638, + "▁яркий": 53639, + "▁плит": 53640, + "▁лучшая": 53641, + "▁шестой": 53642, + "▁договором": 53643, + "▁спроек": 53644, + "▁союзники": 53645, + "▁лако": 53646, + "▁специальную": 53647, + "▁выросли": 53648, + "▁Бло": 53649, + "▁Пять": 53650, + "▁некро": 53651, + "▁моими": 53652, + "▁Авторы": 53653, + "▁работая": 53654, + "▁привлекает": 53655, + "▁кулина": 53656, + "Россий": 53657, + "ХА": 53658, + "▁холода": 53659, + "▁целостности": 53660, + "▁резю": 53661, + "▁оркестр": 53662, + "энд": 53663, + "▁Чо": 53664, + "▁Принцип": 53665, + "Свя": 53666, + "▁оказания": 53667, + "скольз": 53668, + "▁обусловли": 53669, + "▁Теодо": 53670, + "летела": 53671, + "▁казаться": 53672, + "▁Плани": 53673, + "▁поляков": 53674, + "джо": 53675, + "▁сохран": 53676, + "▁курт": 53677, + "▁Таган": 53678, + "▁послание": 53679, + "лённых": 53680, + "▁присутствовать": 53681, + "▁получат": 53682, + "▁жалоб": 53683, + "▁господства": 53684, + "nee": 53685, + "▁отрядом": 53686, + "▁правильное": 53687, + "▁подполков": 53688, + "▁рисунки": 53689, + "▁Спас": 53690, + "▁дизайна": 53691, + "▁прежнего": 53692, + "▁маленькую": 53693, + "▁медалей": 53694, + "делки": 53695, + "▁обнаро": 53696, + "▁гнезда": 53697, + "кило": 53698, + "▁каш": 53699, + "▁последовал": 53700, + "▁Минске": 53701, + "▁сочинение": 53702, + "▁попла": 53703, + "▁гиган": 53704, + "▁философских": 53705, + "▁цикло": 53706, + "▁школьников": 53707, + "▁безуслов": 53708, + "▁Хмель": 53709, + "▁ощущений": 53710, + "▁получился": 53711, + "▁способствуют": 53712, + "▁приводить": 53713, + "▁Вода": 53714, + "▁обход": 53715, + "▁названы": 53716, + "▁Метод": 53717, + "▁японский": 53718, + "▁митрополита": 53719, + "▁сетях": 53720, + "▁мозаи": 53721, + "▁доступен": 53722, + "▁употреблять": 53723, + "▁Дор": 53724, + "▁периодом": 53725, + "▁нога": 53726, + "▁́": 53727, + "▁достопримеча": 53728, + "лировать": 53729, + "▁вымышлен": 53730, + "▁оперативного": 53731, + "▁награжден": 53732, + "▁статьях": 53733, + "▁рождается": 53734, + "▁географии": 53735, + "▁допускается": 53736, + "▁строку": 53737, + "▁заявку": 53738, + "owered": 53739, + "▁призёром": 53740, + "▁слабе": 53741, + "▁пересека": 53742, + "▁спал": 53743, + "▁бесстра": 53744, + "зана": 53745, + "кивает": 53746, + "▁болезнью": 53747, + "▁пролетар": 53748, + "▁архаи": 53749, + "▁пообещал": 53750, + "▁письмах": 53751, + "▁шансов": 53752, + "▁ожидали": 53753, + "▁праздники": 53754, + "▁базой": 53755, + "▁флотом": 53756, + "ткин": 53757, + "▁Славя": 53758, + "▁созданных": 53759, + "мби": 53760, + "▁постановке": 53761, + "▁потенциала": 53762, + "▁Элизабет": 53763, + "▁проживает": 53764, + "▁колен": 53765, + "▁дорогах": 53766, + "▁прекло": 53767, + "▁подвиг": 53768, + "▁устраивает": 53769, + "▁Британии": 53770, + "▁кин": 53771, + "▁съемо": 53772, + "▁взялся": 53773, + "▁одиночестве": 53774, + "▁приобретение": 53775, + "▁продолжались": 53776, + "▁кричит": 53777, + "igrants": 53778, + "▁сара": 53779, + "▁отстоя": 53780, + "▁появлялись": 53781, + "▁истолко": 53782, + "▁идентифика": 53783, + "▁взаимодействии": 53784, + "▁опоры": 53785, + "▁оценивается": 53786, + "уров": 53787, + "▁клин": 53788, + "▁торговой": 53789, + "▁подготови": 53790, + "тикой": 53791, + "▁космосе": 53792, + "▁Самолет": 53793, + "▁видения": 53794, + "ющемся": 53795, + "▁согласны": 53796, + "▁мэра": 53797, + "▁исполнителей": 53798, + "▁жалко": 53799, + "▁Зла": 53800, + "▁пробы": 53801, + "▁выгоды": 53802, + "▁земледель": 53803, + "▁доказывает": 53804, + "▁хутор": 53805, + "дях": 53806, + "жских": 53807, + "▁подошла": 53808, + "▁надеясь": 53809, + "нхен": 53810, + "▁prosec": 53811, + "▁перей": 53812, + "ровском": 53813, + "▁держали": 53814, + "▁потомки": 53815, + "▁ставку": 53816, + "Тре": 53817, + "ссой": 53818, + "▁линией": 53819, + "▁электронов": 53820, + "▁задействова": 53821, + "▁Аля": 53822, + "▁проектирова": 53823, + "▁дополнительной": 53824, + "▁арабо": 53825, + "▁большинством": 53826, + "tion": 53827, + "▁бабушки": 53828, + "▁случалось": 53829, + "utor": 53830, + "▁Симферо": 53831, + "▁древе": 53832, + "▁Горький": 53833, + "▁мамы": 53834, + "▁приговора": 53835, + "chang": 53836, + "▁опыту": 53837, + "бинской": 53838, + "▁повышает": 53839, + "▁преуспе": 53840, + "Ше": 53841, + "▁беге": 53842, + "▁готовят": 53843, + "▁изменениями": 53844, + "▁разновидность": 53845, + "▁Ладно": 53846, + "▁увеличивает": 53847, + "▁операционной": 53848, + "▁совещании": 53849, + "▁массовые": 53850, + "▁суши": 53851, + "▁самосозна": 53852, + "▁бары": 53853, + "outheast": 53854, + "▁Софи": 53855, + "муществ": 53856, + "▁парадиг": 53857, + "рих": 53858, + "▁Донецкой": 53859, + "▁полезным": 53860, + "ордини": 53861, + "▁Общий": 53862, + "▁Корот": 53863, + "ничный": 53864, + "▁гипотеза": 53865, + "▁методики": 53866, + "▁реальное": 53867, + "эпи": 53868, + "▁уде": 53869, + "жия": 53870, + "▁Распростра": 53871, + "▁некая": 53872, + "▁поездов": 53873, + "▁огнестре": 53874, + "▁психических": 53875, + "▁влю": 53876, + "ДИ": 53877, + "▁Фрейд": 53878, + "▁отставке": 53879, + "▁Новгороде": 53880, + "▁Чикаго": 53881, + "▁главными": 53882, + "▁обеспечению": 53883, + "▁извлечь": 53884, + "зировали": 53885, + "▁протест": 53886, + "▁Тони": 53887, + "тования": 53888, + "▁балли": 53889, + "▁кабины": 53890, + "▁нарушении": 53891, + "щенную": 53892, + "▁противоречий": 53893, + "▁гуля": 53894, + "▁помы": 53895, + "▁вызывали": 53896, + "▁несовмести": 53897, + "▁центральный": 53898, + "▁факультете": 53899, + "▁стратегических": 53900, + "готовка": 53901, + "▁проявлять": 53902, + "▁анализу": 53903, + "▁удобнее": 53904, + "▁покое": 53905, + "▁изменением": 53906, + "▁некоторую": 53907, + "▁историо": 53908, + "▁Сель": 53909, + "бавок": 53910, + "▁императору": 53911, + "▁Общее": 53912, + "▁умерших": 53913, + "блению": 53914, + "▁ФБР": 53915, + "▁трава": 53916, + "▁ветеранов": 53917, + "▁почек": 53918, + "▁субси": 53919, + "▁безвоз": 53920, + "▁змей": 53921, + "▁предложила": 53922, + "▁дежур": 53923, + "▁выпустила": 53924, + "▁апел": 53925, + "▁сладо": 53926, + "тини": 53927, + "ложив": 53928, + "▁армян": 53929, + "▁пятнадцати": 53930, + "▁реформи": 53931, + "▁Пресвя": 53932, + "▁Марса": 53933, + "км": 53934, + "▁платформе": 53935, + "▁ското": 53936, + "лека": 53937, + "▁воплощение": 53938, + "▁Письмо": 53939, + "▁серьезным": 53940, + "▁Беларуси": 53941, + "▁техно": 53942, + "▁корней": 53943, + "бине": 53944, + "▁организу": 53945, + "▁Ога": 53946, + "▁доложил": 53947, + "▁упру": 53948, + "▁найдет": 53949, + "▁superv": 53950, + "стером": 53951, + "▁возвращался": 53952, + "▁советом": 53953, + "▁принимается": 53954, + "▁дистри": 53955, + "▁уничтожены": 53956, + "▁вед": 53957, + "▁пользователям": 53958, + "▁Контро": 53959, + "▁Ере": 53960, + "▁Нер": 53961, + "▁грехов": 53962, + "▁попало": 53963, + "▁Википедии": 53964, + "▁заведомо": 53965, + "▁Дек": 53966, + "чивые": 53967, + "▁поэтом": 53968, + "▁собеседника": 53969, + "▁старую": 53970, + "трин": 53971, + "▁превосходя": 53972, + "▁маленьким": 53973, + "▁архитектуре": 53974, + "▁специальная": 53975, + "▁вкуса": 53976, + "▁кресла": 53977, + "▁Мировой": 53978, + "▁молчали": 53979, + "▁средствах": 53980, + "▁беспокойство": 53981, + "хол": 53982, + "▁умело": 53983, + "▁заставляют": 53984, + "еврей": 53985, + "▁финансирование": 53986, + "▁налог": 53987, + "▁тяжелое": 53988, + "▁вторг": 53989, + "▁Мюнхе": 53990, + "▁Свердловской": 53991, + "евская": 53992, + "▁отзыв": 53993, + "▁ас": 53994, + "лома": 53995, + "▁делаете": 53996, + "▁глазом": 53997, + "США": 53998, + "▁замке": 53999, + "сурд": 54000, + "алов": 54001, + "▁Роль": 54002, + "▁долгого": 54003, + "▁Ефре": 54004, + "тывает": 54005, + "шино": 54006, + "▁Семен": 54007, + "▁рядов": 54008, + "▁мисти": 54009, + "▁кратко": 54010, + "▁нижнем": 54011, + "▁номеров": 54012, + "товской": 54013, + "▁юношей": 54014, + "▁упоминания": 54015, + "▁захочет": 54016, + "▁философа": 54017, + "%),": 54018, + "▁Анализ": 54019, + "▁временных": 54020, + "сылка": 54021, + "▁предприниматель": 54022, + "▁Уильяма": 54023, + "▁союзных": 54024, + "▁указанием": 54025, + "▁Красный": 54026, + "▁Немцы": 54027, + "▁передана": 54028, + "▁проводя": 54029, + "бба": 54030, + "▁популярностью": 54031, + "▁вах": 54032, + "▁обрадова": 54033, + "▁Рису": 54034, + "потом": 54035, + "разрабо": 54036, + "▁майора": 54037, + "▁могилы": 54038, + "▁усилить": 54039, + "▁записки": 54040, + "пери": 54041, + "лс": 54042, + "▁позволяло": 54043, + "▁бедра": 54044, + "▁переводчик": 54045, + "▁открытые": 54046, + "▁иммигра": 54047, + "азиат": 54048, + "▁художеств": 54049, + "▁прекрасной": 54050, + "▁круто": 54051, + "▁текущей": 54052, + "плета": 54053, + "зился": 54054, + "ЯТ": 54055, + "▁Круг": 54056, + "провер": 54057, + "▁взрослого": 54058, + "▁пришель": 54059, + "частие": 54060, + "▁выведен": 54061, + "▁несогла": 54062, + "▁официальные": 54063, + "▁актеров": 54064, + "▁превыша": 54065, + "▁Тбилиси": 54066, + "▁Жак": 54067, + "▁приехала": 54068, + "▁Литератур": 54069, + "▁дополне": 54070, + "▁лампо": 54071, + "▁показало": 54072, + "▁крики": 54073, + "рийской": 54074, + "▁столицей": 54075, + "▁мосту": 54076, + "▁выполнен": 54077, + "▁меняются": 54078, + "шом": 54079, + "▁домашней": 54080, + "▁хорошень": 54081, + "▁связывает": 54082, + "▁убра": 54083, + "▁Описание": 54084, + "▁запаса": 54085, + "ваш": 54086, + "▁Эрн": 54087, + "▁ист": 54088, + "▁васса": 54089, + "стреби": 54090, + "скова": 54091, + "▁меща": 54092, + "▁фондов": 54093, + "▁подняли": 54094, + "▁певица": 54095, + "▁ГЛА": 54096, + "▁эмбле": 54097, + "шивают": 54098, + "▁Battalion": 54099, + "тенти": 54100, + "▁верхнем": 54101, + "iege": 54102, + "▁плаву": 54103, + "▁Крымской": 54104, + "▁Саму": 54105, + "▁поддерживали": 54106, + "▁находящийся": 54107, + "▁детство": 54108, + "▁Лор": 54109, + "▁наки": 54110, + "▁серьезное": 54111, + "▁Мере": 54112, + "▁поговорим": 54113, + "▁подписали": 54114, + "▁моё": 54115, + "▁Цин": 54116, + "▁подруга": 54117, + "▁раствора": 54118, + "▁устранения": 54119, + "▁поездку": 54120, + "▁направленные": 54121, + "▁относительности": 54122, + "▁пригород": 54123, + "▁приспосо": 54124, + "▁хвали": 54125, + "▁Вопросы": 54126, + "▁манере": 54127, + "▁требованием": 54128, + "▁теорией": 54129, + "▁отдельности": 54130, + "▁Южная": 54131, + "ИХ": 54132, + "▁документами": 54133, + "чнике": 54134, + "▁Герак": 54135, + "шнее": 54136, + "▁невозможности": 54137, + "▁squadron": 54138, + "▁глюко": 54139, + "▁точное": 54140, + "▁всесторон": 54141, + "▁Ряза": 54142, + "помя": 54143, + "гран": 54144, + "▁созданной": 54145, + "▁разработана": 54146, + "▁принятии": 54147, + "▁деспо": 54148, + "▁местам": 54149, + "▁драматург": 54150, + "▁зашел": 54151, + "▁ова": 54152, + "owntown": 54153, + "▁Челябин": 54154, + "▁устойчивости": 54155, + "▁вертолетов": 54156, + "▁желаний": 54157, + "▁Состав": 54158, + "клеи": 54159, + "▁японцы": 54160, + "▁гостиницы": 54161, + "▁фрагмента": 54162, + "кот": 54163, + "▁грибов": 54164, + "▁Вооружённых": 54165, + "▁Альберт": 54166, + "▁УЕФА": 54167, + "▁эква": 54168, + "▁поступи": 54169, + "▁Корне": 54170, + "▁подчинения": 54171, + "нившись": 54172, + "▁революционных": 54173, + "▁Фай": 54174, + "▁освоения": 54175, + "декса": 54176, + "муж": 54177, + "▁входящих": 54178, + "▁процессах": 54179, + "▁Будет": 54180, + "чис": 54181, + "▁зароды": 54182, + "▁Тим": 54183, + "▁Численность": 54184, + "зена": 54185, + "▁продуктами": 54186, + "Жа": 54187, + "эмп": 54188, + "▁кафедра": 54189, + "▁змеи": 54190, + "▁страданий": 54191, + "сасы": 54192, + "▁коче": 54193, + "▁впечатля": 54194, + "▁вегета": 54195, + "▁уравнове": 54196, + "▁Молодой": 54197, + "▁показаний": 54198, + "▁Арт": 54199, + "▁галлю": 54200, + "▁японцев": 54201, + "▁револь": 54202, + "учи": 54203, + "▁супруже": 54204, + "▁никакие": 54205, + "▁скандал": 54206, + "дравствуйте": 54207, + "▁Волги": 54208, + "▁завоевать": 54209, + "▁Шекспи": 54210, + "▁родины": 54211, + "▁последующей": 54212, + "▁комментариев": 54213, + "▁тексти": 54214, + "▁девяно": 54215, + "тицы": 54216, + "▁забрать": 54217, + "▁Молдавии": 54218, + "▁правовых": 54219, + "▁воскликнул": 54220, + "ваемым": 54221, + "тамина": 54222, + "▁подтвердить": 54223, + "▁идеально": 54224, + "маров": 54225, + "▁получите": 54226, + "▁действующей": 54227, + "рико": 54228, + "▁Фёдорович": 54229, + "▁пьеса": 54230, + "спокой": 54231, + "▁положению": 54232, + "▁гриб": 54233, + "▁бактерий": 54234, + "птом": 54235, + "▁фли": 54236, + "▁контрразвед": 54237, + "▁флаго": 54238, + "▁апель": 54239, + "▁форума": 54240, + "Ад": 54241, + "▁билеты": 54242, + "▁компре": 54243, + "▁Платона": 54244, + "▁Цу": 54245, + "▁большевики": 54246, + "▁Прибы": 54247, + "▁просты": 54248, + "▁длинных": 54249, + "▁рождение": 54250, + "шалось": 54251, + "▁дыма": 54252, + "▁нагрузку": 54253, + "▁aired": 54254, + "▁Мужчина": 54255, + "▁козы": 54256, + "▁всеобщего": 54257, + "▁компетент": 54258, + "▁вынес": 54259, + "▁постановлением": 54260, + "▁дадут": 54261, + "▁депрессии": 54262, + "▁историческом": 54263, + "▁чертой": 54264, + "▁атака": 54265, + "atabase": 54266, + "▁обработка": 54267, + "▁парашют": 54268, + "▁дик": 54269, + "▁дереву": 54270, + "▁Родители": 54271, + "▁указывается": 54272, + "▁исходит": 54273, + "зывов": 54274, + "▁логике": 54275, + "▁арген": 54276, + "совета": 54277, + "▁конгресс": 54278, + "ждался": 54279, + "▁отклонения": 54280, + "▁юридической": 54281, + "едино": 54282, + "рян": 54283, + "такте": 54284, + "Почему": 54285, + "▁строю": 54286, + "▁телеканала": 54287, + "▁нужное": 54288, + "▁ИН": 54289, + "▁низких": 54290, + "▁Светлана": 54291, + "▁Зеландии": 54292, + "▁торговлю": 54293, + "▁оценил": 54294, + "илла": 54295, + "▁вводить": 54296, + "▁китайский": 54297, + "erto": 54298, + "▁Эдвард": 54299, + "▁утверждён": 54300, + "▁способствовали": 54301, + "▁испытывают": 54302, + "▁Адриа": 54303, + "▁пали": 54304, + "▁Граф": 54305, + "race": 54306, + "▁обусловлено": 54307, + "▁депо": 54308, + "▁известие": 54309, + "▁исполнил": 54310, + "▁Лам": 54311, + "▁передается": 54312, + "образования": 54313, + "▁лекций": 54314, + "ничестве": 54315, + "▁заявлял": 54316, + "▁двести": 54317, + "▁похожий": 54318, + "Послед": 54319, + "▁Синга": 54320, + "▁знаниями": 54321, + "▁грязь": 54322, + "▁хребта": 54323, + "▁журналы": 54324, + "▁Марты": 54325, + "▁вузов": 54326, + "▁осматри": 54327, + "▁численностью": 54328, + "▁Энциклопе": 54329, + "мовых": 54330, + "▁плохого": 54331, + "▁Неизвест": 54332, + "ocracy": 54333, + "▁гермети": 54334, + "▁стремясь": 54335, + "▁пресса": 54336, + "▁Восточно": 54337, + "▁изоляции": 54338, + "▁идеал": 54339, + "▁покая": 54340, + "▁Власти": 54341, + "▁запроса": 54342, + "▁выбирает": 54343, + "▁сторонами": 54344, + "▁старое": 54345, + "▁машиной": 54346, + "лках": 54347, + "arsh": 54348, + "▁плод": 54349, + "▁фавори": 54350, + "ture": 54351, + "технической": 54352, + "▁официальное": 54353, + "▁заявлении": 54354, + "▁заболеваниях": 54355, + "▁формула": 54356, + "льником": 54357, + "▁Аки": 54358, + "▁римский": 54359, + "▁выпря": 54360, + "▁нелегко": 54361, + "▁находили": 54362, + "▁формами": 54363, + "▁могиле": 54364, + "▁увеличением": 54365, + "▁стану": 54366, + "▁пьес": 54367, + "▁инженером": 54368, + "ilit": 54369, + "▁пакета": 54370, + "▁присоединиться": 54371, + "▁Интернете": 54372, + "▁интеллект": 54373, + "лову": 54374, + "диями": 54375, + "▁попри": 54376, + "▁слышит": 54377, + "даже": 54378, + "▁моделя": 54379, + "▁состояло": 54380, + "▁подарил": 54381, + "▁арифмети": 54382, + "▁целой": 54383, + "▁проявить": 54384, + "▁erect": 54385, + "▁тонкий": 54386, + "▁соседней": 54387, + "▁сделанные": 54388, + "▁Будапе": 54389, + "снов": 54390, + "▁пройдут": 54391, + "▁Литература": 54392, + "▁средневековой": 54393, + "▁провоци": 54394, + "▁Кази": 54395, + "Ху": 54396, + "▁шутку": 54397, + "▁доходит": 54398, + "▁соответствия": 54399, + "▁племя": 54400, + "▁поручено": 54401, + "▁изре": 54402, + "▁оценивать": 54403, + "▁успела": 54404, + "▁Суворова": 54405, + "▁зоопар": 54406, + "▁ели": 54407, + "▁Венеции": 54408, + "нас": 54409, + "▁разоб": 54410, + "▁католической": 54411, + "▁намерение": 54412, + "Евро": 54413, + "метрия": 54414, + "▁спрашивал": 54415, + "▁подавления": 54416, + "▁Духа": 54417, + "Кре": 54418, + "логами": 54419, + "▁аэродроме": 54420, + "▁вих": 54421, + "▁гнездо": 54422, + "▁граби": 54423, + "▁Зеле": 54424, + "▁упад": 54425, + "▁кресло": 54426, + "!).": 54427, + "▁химического": 54428, + "мвор": 54429, + "▁бутылку": 54430, + "▁супругов": 54431, + "▁проблемах": 54432, + "одно": 54433, + "стному": 54434, + "шивать": 54435, + "▁создала": 54436, + "СО": 54437, + "вленно": 54438, + "▁появлении": 54439, + "▁наподобие": 54440, + "▁лампы": 54441, + "▁Рыба": 54442, + "▁Окс": 54443, + "▁небре": 54444, + "▁Сена": 54445, + "▁переменной": 54446, + "▁Законода": 54447, + "▁locomot": 54448, + "▁ведении": 54449, + "▁защитой": 54450, + "▁приобрели": 54451, + "▁рассматриваются": 54452, + "▁инициативы": 54453, + "▁настоящих": 54454, + "▁КВ": 54455, + "▁частота": 54456, + "лится": 54457, + "рующее": 54458, + "▁вагон": 54459, + "▁интересом": 54460, + "коди": 54461, + "тией": 54462, + "▁братьями": 54463, + "▁спора": 54464, + "▁познава": 54465, + "▁запута": 54466, + "▁признаком": 54467, + "ТОР": 54468, + "вак": 54469, + "▁семейной": 54470, + "▁ресурс": 54471, + "▁сексуальной": 54472, + "▁усилиями": 54473, + "СКАЯ": 54474, + "рут": 54475, + "▁Небе": 54476, + "лль": 54477, + "▁верхом": 54478, + "▁переписы": 54479, + "чике": 54480, + "▁социальное": 54481, + "стать": 54482, + "▁Единственный": 54483, + "▁летописи": 54484, + "▁рекомендова": 54485, + "▁кошка": 54486, + "▁фальси": 54487, + "▁Дья": 54488, + "▁подчёр": 54489, + "▁railroad": 54490, + "▁дипломат": 54491, + "шкова": 54492, + "ресчур": 54493, + "▁промышленной": 54494, + "▁поехать": 54495, + "▁Божий": 54496, + "▁ветром": 54497, + "▁защитника": 54498, + "▁АЭС": 54499, + "▁правителей": 54500, + "неся": 54501, + "▁расстреля": 54502, + "▁врачу": 54503, + "▁правильного": 54504, + "сфер": 54505, + "▁исполнитель": 54506, + "▁Франци": 54507, + "▁реестре": 54508, + "▁килограммов": 54509, + "▁Севастополь": 54510, + "ссиони": 54511, + "▁Оконча": 54512, + "▁воевода": 54513, + "▁отправилась": 54514, + "▁Шми": 54515, + "▁уезде": 54516, + "дский": 54517, + "основа": 54518, + "▁километра": 54519, + "▁заимствова": 54520, + "▁выехал": 54521, + "▁нежи": 54522, + "▁образуя": 54523, + "мят": 54524, + "▁оставляют": 54525, + "▁описаны": 54526, + "▁читатели": 54527, + "▁выпустить": 54528, + "▁повсеместно": 54529, + "псо": 54530, + "▁Кино": 54531, + "производ": 54532, + "▁правде": 54533, + "жева": 54534, + "жёр": 54535, + "▁следуя": 54536, + "жьте": 54537, + "▁переходя": 54538, + "▁Отсутствие": 54539, + "▁солнечных": 54540, + "▁хлопо": 54541, + "▁Boeing": 54542, + "▁фокус": 54543, + "▁зверей": 54544, + "▁цифровой": 54545, + "▁ожидается": 54546, + "▁отрицательно": 54547, + "▁длинными": 54548, + "рене": 54549, + "▁обнима": 54550, + "▁природного": 54551, + "▁Севастополя": 54552, + "▁переживаний": 54553, + "▁десяток": 54554, + "ситесь": 54555, + "▁Польша": 54556, + "▁каменные": 54557, + "▁нестаби": 54558, + "Восточной": 54559, + "▁Забайка": 54560, + "▁тв": 54561, + "▁Вза": 54562, + "▁Узнав": 54563, + "образно": 54564, + "▁pric": 54565, + "▁разницы": 54566, + "▁Иосифа": 54567, + "▁радиолока": 54568, + "▁обозначает": 54569, + "▁результатами": 54570, + "▁скру": 54571, + "▁ня": 54572, + "▁электрических": 54573, + "▁Вселенная": 54574, + "▁замысел": 54575, + "▁предлогом": 54576, + "▁третью": 54577, + "пию": 54578, + "▁предчув": 54579, + "▁ехал": 54580, + "▁отнима": 54581, + "▁физика": 54582, + "▁Получается": 54583, + "▁отечественных": 54584, + "▁отклады": 54585, + "▁местном": 54586, + "▁качеством": 54587, + "▁собесе": 54588, + "▁открылась": 54589, + "оси": 54590, + "▁верный": 54591, + "Они": 54592, + "erted": 54593, + "динга": 54594, + "▁Антаркти": 54595, + "▁Подума": 54596, + "▁Среднего": 54597, + "▁Скотт": 54598, + "▁академика": 54599, + "▁загоре": 54600, + "▁мотори": 54601, + "▁просят": 54602, + "▁Особое": 54603, + "▁Вре": 54604, + "гивает": 54605, + "▁нескольким": 54606, + "▁валюты": 54607, + "▁правы": 54608, + "▁разницу": 54609, + "▁Ваша": 54610, + "▁ледо": 54611, + "менкла": 54612, + "▁мусор": 54613, + "▁наряд": 54614, + "▁Пост": 54615, + "▁законопроект": 54616, + "льщики": 54617, + "▁Ильин": 54618, + "▁Инте": 54619, + "▁густой": 54620, + "▁Свою": 54621, + "▁траве": 54622, + "ствующая": 54623, + "▁статуи": 54624, + "▁наращи": 54625, + "▁включена": 54626, + "▁соприкосно": 54627, + "▁ампли": 54628, + "личные": 54629, + "▁реагировать": 54630, + "▁близки": 54631, + "▁историческое": 54632, + "▁рукоят": 54633, + "▁Мета": 54634, + "▁тр": 54635, + "ньте": 54636, + "▁Цы": 54637, + "Сей": 54638, + "менным": 54639, + "▁переменных": 54640, + "▁фотоаппара": 54641, + "▁трансформи": 54642, + "▁Стамбу": 54643, + "грать": 54644, + "▁Вор": 54645, + "ценден": 54646, + "▁привезли": 54647, + "▁разработкой": 54648, + "▁интервен": 54649, + "▁учебные": 54650, + "▁созданная": 54651, + "▁столкнулись": 54652, + "ИЧЕ": 54653, + "ronze": 54654, + "▁крыше": 54655, + "▁сине": 54656, + "▁амино": 54657, + "▁исчезла": 54658, + "▁профиль": 54659, + "тока": 54660, + "лкома": 54661, + "▁Схема": 54662, + "▁открылся": 54663, + "ellect": 54664, + "▁съемки": 54665, + "▁Троцкого": 54666, + "▁пережить": 54667, + "▁Аса": 54668, + "▁неправ": 54669, + "▁мужчиной": 54670, + "▁проповед": 54671, + "леев": 54672, + "▁Требу": 54673, + "▁площадку": 54674, + "▁составило": 54675, + "▁Людмила": 54676, + "▁королём": 54677, + "▁разграни": 54678, + "▁декре": 54679, + "логическая": 54680, + "вленном": 54681, + "▁Поначалу": 54682, + "▁Наза": 54683, + "▁поместить": 54684, + "ПЛ": 54685, + "пость": 54686, + "▁когни": 54687, + "▁готовых": 54688, + "iency": 54689, + "▁пропуск": 54690, + "▁приостанови": 54691, + "дав": 54692, + "▁нажима": 54693, + "▁Николаевна": 54694, + "▁отру": 54695, + "▁Сюда": 54696, + "▁развитых": 54697, + "▁напомнить": 54698, + "▁Шам": 54699, + "щуюся": 54700, + "▁строке": 54701, + "▁воздухом": 54702, + "▁стадион": 54703, + "▁различий": 54704, + "ерба": 54705, + "▁выполнена": 54706, + "шную": 54707, + "▁жилой": 54708, + "▁кля": 54709, + "▁раствори": 54710, + "▁квалифика": 54711, + "▁Тихого": 54712, + "▁математике": 54713, + "▁дочер": 54714, + "▁зверя": 54715, + "▁Узбекистана": 54716, + "▁Дочь": 54717, + "▁стихотворений": 54718, + "Дону": 54719, + "▁наступил": 54720, + "ксы": 54721, + "▁Выше": 54722, + "▁инстанции": 54723, + "▁применяться": 54724, + "стем": 54725, + "▁жажду": 54726, + "▁Яковлевич": 54727, + "▁вине": 54728, + "▁ом": 54729, + "▁культурные": 54730, + "▁магазинах": 54731, + "▁описывается": 54732, + "вывает": 54733, + "▁Несом": 54734, + "▁эпизоде": 54735, + "дд": 54736, + "▁ЦИК": 54737, + "▁depict": 54738, + "▁техническим": 54739, + "▁ноябрь": 54740, + "▁Собор": 54741, + "▁попросить": 54742, + "▁Шли": 54743, + "сному": 54744, + "▁устье": 54745, + "▁Таблица": 54746, + "▁предви": 54747, + "▁итальянских": 54748, + "▁теоретически": 54749, + "▁фрагмент": 54750, + "▁ископаемых": 54751, + "гнит": 54752, + "▁обвинению": 54753, + "▁уму": 54754, + "▁населённые": 54755, + "▁ипоте": 54756, + "▁mys": 54757, + "▁деревянных": 54758, + "▁прогресси": 54759, + "▁заду": 54760, + "▁координаты": 54761, + "inema": 54762, + "▁вещами": 54763, + "▁казалась": 54764, + "▁злове": 54765, + "▁республика": 54766, + "▁правам": 54767, + "Мон": 54768, + "▁немину": 54769, + "▁копей": 54770, + "▁оставила": 54771, + "доу": 54772, + "▁Петропав": 54773, + "▁Тамбов": 54774, + "▁возвратился": 54775, + "ссими": 54776, + "▁Дальнем": 54777, + "▁национальным": 54778, + "▁решают": 54779, + "▁предназначен": 54780, + "чиваться": 54781, + "числения": 54782, + "рными": 54783, + "▁перо": 54784, + "▁фигуру": 54785, + "▁пету": 54786, + "▁коротких": 54787, + "▁жертвами": 54788, + "▁личную": 54789, + "▁америка": 54790, + "▁предпринять": 54791, + "ВИ": 54792, + "тль": 54793, + "▁щел": 54794, + "▁воздушные": 54795, + "▁Европейского": 54796, + "▁ник": 54797, + "▁Стоимость": 54798, + "▁Хрущев": 54799, + "юра": 54800, + "▁наследие": 54801, + "▁законе": 54802, + "▁представлено": 54803, + "▁наду": 54804, + "▁свести": 54805, + "▁равны": 54806, + "▁поселка": 54807, + "▁произвел": 54808, + "варь": 54809, + "▁Лек": 54810, + "▁Завтра": 54811, + "▁Паралле": 54812, + "▁миссис": 54813, + "▁активные": 54814, + "▁деревянный": 54815, + "ricket": 54816, + "▁зарплату": 54817, + "▁популярным": 54818, + "Май": 54819, + "▁коммуникаций": 54820, + "▁Марша": 54821, + "унда": 54822, + "▁нати": 54823, + "▁особей": 54824, + "▁превратились": 54825, + "кр": 54826, + "нту": 54827, + "▁злоумышлен": 54828, + "▁совпадают": 54829, + "предь": 54830, + "▁Хлеб": 54831, + "▁национальном": 54832, + "редиенты": 54833, + "жмите": 54834, + "▁фабрика": 54835, + "▁Генеральный": 54836, + "▁Тель": 54837, + "▁значимость": 54838, + "▁монополи": 54839, + "▁Ср": 54840, + "▁Аравии": 54841, + "▁кало": 54842, + "▁жертвопри": 54843, + "рино": 54844, + "▁адъютан": 54845, + "▁образцо": 54846, + "▁эссе": 54847, + "▁ученика": 54848, + "дутся": 54849, + "▁насти": 54850, + "ОБ": 54851, + "евка": 54852, + "▁заказу": 54853, + "▁resemb": 54854, + "▁ничуть": 54855, + "▁Невского": 54856, + "▁казались": 54857, + "▁Исходя": 54858, + "пожа": 54859, + "▁Театра": 54860, + "ЕЧ": 54861, + "▁Конец": 54862, + "▁головок": 54863, + "▁корпусом": 54864, + "▁льду": 54865, + "риков": 54866, + "▁конференция": 54867, + "бытия": 54868, + "ховского": 54869, + "римина": 54870, + "▁Отра": 54871, + "▁солнечной": 54872, + "▁певец": 54873, + "▁входить": 54874, + "▁квартале": 54875, + "▁вери": 54876, + "ench": 54877, + "▁playoff": 54878, + "▁запра": 54879, + "▁храмы": 54880, + "▁убедительно": 54881, + "▁рассматриваться": 54882, + "▁дальности": 54883, + "Нор": 54884, + "▁отреаги": 54885, + "▁чересчур": 54886, + "▁рефор": 54887, + "▁артиллерийского": 54888, + "вающихся": 54889, + "▁Причиной": 54890, + "▁массива": 54891, + "▁вспых": 54892, + "▁населению": 54893, + "▁предусмотренных": 54894, + "▁Осу": 54895, + "▁поинтере": 54896, + "▁Организация": 54897, + "▁организован": 54898, + "▁связывают": 54899, + "▁Пят": 54900, + "▁черная": 54901, + "▁становления": 54902, + "vements": 54903, + "▁сохранился": 54904, + "▁пират": 54905, + "▁научная": 54906, + "▁комедий": 54907, + "▁скандина": 54908, + "▁стадиона": 54909, + "▁больные": 54910, + "▁сформировать": 54911, + "▁сложилось": 54912, + "имуще": 54913, + "▁завершении": 54914, + "▁компо": 54915, + "▁результатах": 54916, + "▁выражению": 54917, + "▁кафедре": 54918, + "▁ширину": 54919, + "▁сфера": 54920, + "▁малый": 54921, + "▁находил": 54922, + "▁затяги": 54923, + "▁стабильности": 54924, + "▁Жил": 54925, + "▁испытание": 54926, + "▁связать": 54927, + "▁футболь": 54928, + "мад": 54929, + "▁Шере": 54930, + "▁Полтав": 54931, + "▁вечной": 54932, + "▁Конструк": 54933, + "▁вооружён": 54934, + "разум": 54935, + "моли": 54936, + "▁кром": 54937, + "▁лимон": 54938, + "▁покупку": 54939, + "▁Фрэн": 54940, + "▁подко": 54941, + "▁будьте": 54942, + "▁погреба": 54943, + "▁несоответ": 54944, + "бию": 54945, + "▁охота": 54946, + "▁особенностью": 54947, + "▁естественный": 54948, + "▁разработаны": 54949, + "▁презира": 54950, + "▁мебель": 54951, + "▁Учеб": 54952, + "нком": 54953, + "льцев": 54954, + "▁Ряд": 54955, + "▁спле": 54956, + "▁белом": 54957, + "▁глубоких": 54958, + "МС": 54959, + "▁molec": 54960, + "▁кратковремен": 54961, + "▁вдохнови": 54962, + "▁квартира": 54963, + "▁Станислава": 54964, + "денный": 54965, + "▁боялись": 54966, + "▁обрести": 54967, + "ализация": 54968, + "▁велась": 54969, + "▁возможен": 54970, + "▁Вон": 54971, + "▁лежать": 54972, + "▁обсуждали": 54973, + "▁отрас": 54974, + "▁горной": 54975, + "▁заливе": 54976, + "▁будущим": 54977, + "гено": 54978, + "▁джи": 54979, + "точное": 54980, + "▁поправки": 54981, + "▁социальным": 54982, + "▁песне": 54983, + "▁учётом": 54984, + "графы": 54985, + "▁правами": 54986, + "▁Джеймса": 54987, + "▁изучением": 54988, + "▁прекрасные": 54989, + "▁библиотек": 54990, + "▁лодке": 54991, + "▁сном": 54992, + "▁прокоммен": 54993, + "графов": 54994, + "▁излучение": 54995, + "вичей": 54996, + "родом": 54997, + "▁копий": 54998, + "▁Жители": 54999, + "▁страшный": 55000, + "▁удерживать": 55001, + "▁уточнил": 55002, + "▁исследованию": 55003, + "▁колледж": 55004, + "▁творческих": 55005, + "▁воздви": 55006, + "▁фин": 55007, + "▁назначении": 55008, + "▁Лё": 55009, + "▁анато": 55010, + "▁снимает": 55011, + "▁народами": 55012, + "▁каменных": 55013, + "▁проявляет": 55014, + "▁готовые": 55015, + "лук": 55016, + "▁собрали": 55017, + "▁упомянуть": 55018, + "▁Возника": 55019, + "▁платежей": 55020, + "▁высу": 55021, + "▁единую": 55022, + "▁направленных": 55023, + "▁чудом": 55024, + "снабжения": 55025, + "▁Стало": 55026, + "▁стул": 55027, + "зовского": 55028, + "косновен": 55029, + "▁Видео": 55030, + "▁максимальная": 55031, + "ливой": 55032, + "▁моды": 55033, + "▁Франко": 55034, + "▁доброго": 55035, + "вардии": 55036, + "▁поздней": 55037, + "▁жилого": 55038, + "▁уступил": 55039, + "летние": 55040, + "▁первенства": 55041, + "▁охрану": 55042, + "кинг": 55043, + "▁уговари": 55044, + "шар": 55045, + "▁речной": 55046, + "▁снаряд": 55047, + "сущ": 55048, + "▁называем": 55049, + "▁скучно": 55050, + "▁блин": 55051, + "баланси": 55052, + "▁Террито": 55053, + "▁человеческая": 55054, + "▁Конвен": 55055, + "▁шерсти": 55056, + "роман": 55057, + "сре": 55058, + "▁Смы": 55059, + "▁божества": 55060, + "▁катастрофа": 55061, + "▁составляющие": 55062, + "▁заверша": 55063, + "▁университетов": 55064, + "▁«»": 55065, + "́к": 55066, + "▁Фридриха": 55067, + "▁предел": 55068, + "▁проследить": 55069, + "▁оборачи": 55070, + "▁организациях": 55071, + "ivate": 55072, + "▁стеной": 55073, + "▁морально": 55074, + "временно": 55075, + "днее": 55076, + "▁Внеза": 55077, + "▁красивая": 55078, + "▁поэты": 55079, + "шенными": 55080, + "▁городами": 55081, + "▁реальным": 55082, + "nest": 55083, + "▁Основными": 55084, + "▁вступила": 55085, + "сень": 55086, + "▁Отве": 55087, + "▁богатой": 55088, + "▁Текст": 55089, + "▁Капи": 55090, + "процен": 55091, + "▁прижи": 55092, + "▁Вооруженных": 55093, + "▁пророка": 55094, + "гони": 55095, + "ниор": 55096, + "▁резь": 55097, + "▁повторил": 55098, + "▁Термин": 55099, + "▁предыдущие": 55100, + "▁Древней": 55101, + "▁сердечно": 55102, + "▁практических": 55103, + "▁лап": 55104, + "новую": 55105, + "▁сборника": 55106, + "▁научились": 55107, + "▁сверхъесте": 55108, + "ворение": 55109, + "▁subsid": 55110, + "▁Деньги": 55111, + "▁комбинации": 55112, + "▁остальными": 55113, + "▁воспоминаниях": 55114, + "▁Евросо": 55115, + "майора": 55116, + "туар": 55117, + "Свобо": 55118, + "▁взлета": 55119, + "▁потенциальных": 55120, + "▁солнечного": 55121, + "▁жестко": 55122, + "ordan": 55123, + "лют": 55124, + "▁генералу": 55125, + "фир": 55126, + "▁юмора": 55127, + "▁командующим": 55128, + "▁святы": 55129, + "▁заходит": 55130, + "▁телевизор": 55131, + "ревич": 55132, + "▁пальто": 55133, + "▁институты": 55134, + "МК": 55135, + "йка": 55136, + "▁корпусов": 55137, + "▁медицинский": 55138, + "▁ставится": 55139, + "▁вмешательство": 55140, + "▁Дли": 55141, + "▁Предполага": 55142, + "▁чуже": 55143, + "▁местона": 55144, + "▁Яну": 55145, + "▁кадет": 55146, + "▁означать": 55147, + "але": 55148, + "▁Ваг": 55149, + "▁испове": 55150, + "▁сырье": 55151, + "▁встречал": 55152, + "▁отыскать": 55153, + "▁фестивале": 55154, + "▁налево": 55155, + "щенности": 55156, + "▁искусственно": 55157, + "▁очевидным": 55158, + "▁Российский": 55159, + "▁введены": 55160, + "▁Дзержи": 55161, + "▁Премьера": 55162, + "▁требованию": 55163, + "▁Этому": 55164, + "▁проспект": 55165, + "▁бывшая": 55166, + "▁использован": 55167, + "▁деда": 55168, + "▁выезд": 55169, + "▁Галли": 55170, + "́м": 55171, + "▁подъема": 55172, + "▁Монголии": 55173, + "▁murd": 55174, + "▁Вследствие": 55175, + "вающиеся": 55176, + "mosp": 55177, + "▁Византии": 55178, + "▁согласован": 55179, + "▁засло": 55180, + "▁игрушки": 55181, + "▁верхний": 55182, + "▁кусочек": 55183, + "▁Хозя": 55184, + "thodox": 55185, + "▁координат": 55186, + "▁метеоро": 55187, + "рака": 55188, + "▁оборон": 55189, + "гуш": 55190, + "▁Главные": 55191, + "▁улыбнулся": 55192, + "▁смотрите": 55193, + "▁троих": 55194, + "▁холодный": 55195, + "▁Победитель": 55196, + "▁журналиста": 55197, + "▁Яна": 55198, + "▁учебно": 55199, + "▁ствол": 55200, + "▁давало": 55201, + "▁таблицу": 55202, + "▁настаивал": 55203, + "▁прогноз": 55204, + "▁спорить": 55205, + "▁французская": 55206, + "▁Печа": 55207, + "▁Исследования": 55208, + "чевского": 55209, + "▁построенный": 55210, + "▁договориться": 55211, + "▁технический": 55212, + "яли": 55213, + "филд": 55214, + "▁Фрунзе": 55215, + "▁теоретической": 55216, + "▁духовно": 55217, + "▁изменился": 55218, + "▁мешок": 55219, + "▁свидетельств": 55220, + "▁трудовых": 55221, + "▁накоп": 55222, + "▁всевозможные": 55223, + "▁Ох": 55224, + "▁зима": 55225, + "▁Хосе": 55226, + "▁плавно": 55227, + "▁непредсказу": 55228, + "▁попадания": 55229, + "▁Основное": 55230, + "▁уголь": 55231, + "▁прекрасное": 55232, + "▁компьютерной": 55233, + "▁Бом": 55234, + "▁штри": 55235, + "▁дворянства": 55236, + "▁телевидении": 55237, + "сце": 55238, + "▁теплой": 55239, + "▁научить": 55240, + "▁гну": 55241, + "мение": 55242, + "▁Сити": 55243, + "ражи": 55244, + "▁богом": 55245, + "дди": 55246, + "▁коля": 55247, + "▁Уголов": 55248, + "▁духовную": 55249, + "▁Верхне": 55250, + "▁рельеф": 55251, + "▁депутата": 55252, + "▁Высшей": 55253, + "▁острый": 55254, + "▁прослежи": 55255, + "▁узлы": 55256, + "▁электрического": 55257, + "нрав": 55258, + "▁слияния": 55259, + "▁Руководство": 55260, + "▁нуждаются": 55261, + "▁совершается": 55262, + "▁выдержать": 55263, + "▁сборнике": 55264, + "▁компьютерных": 55265, + "Укра": 55266, + "▁рейс": 55267, + "▁арене": 55268, + "▁очу": 55269, + "▁рекой": 55270, + "▁деловой": 55271, + "▁применительно": 55272, + "стол": 55273, + "▁полузащитник": 55274, + "olis": 55275, + "▁золоти": 55276, + "▁перепле": 55277, + "▁лондо": 55278, + "▁надпи": 55279, + "▁задержан": 55280, + "▁наблюдали": 55281, + "edding": 55282, + "▁предприятии": 55283, + "▁выстрелов": 55284, + "дакти": 55285, + "философ": 55286, + "Кур": 55287, + "фея": 55288, + "▁свети": 55289, + "▁лестницы": 55290, + "▁Экспер": 55291, + "▁насторо": 55292, + "▁серьезной": 55293, + "▁элиты": 55294, + "▁овощей": 55295, + "▁repro": 55296, + "▁пропита": 55297, + "▁православных": 55298, + "▁являясь": 55299, + "▁народная": 55300, + "▁осы": 55301, + "▁высший": 55302, + "▁звена": 55303, + "▁слышно": 55304, + "▁здоровью": 55305, + "▁организатор": 55306, + "▁последующим": 55307, + "▁вооружённых": 55308, + "▁истребителя": 55309, + "Извести": 55310, + "▁родились": 55311, + "▁Институте": 55312, + "▁защитников": 55313, + "▁объявление": 55314, + "▁сложное": 55315, + "▁вернется": 55316, + "▁наличием": 55317, + "▁второму": 55318, + "▁сделало": 55319, + "тиль": 55320, + "▁Елизаветы": 55321, + "▁лесных": 55322, + "тироваться": 55323, + "▁наверх": 55324, + "▁духовные": 55325, + "▁Слава": 55326, + "Жизнь": 55327, + "▁взи": 55328 + }, + "merges": [ + "▁ п", + "с т", + "▁ в", + "▁ с", + "н о", + "н и", + "н а", + "р а", + "▁ и", + "к о", + "т о", + "▁ о", + "р о", + "р е", + "г о", + "л и", + "н е", + "▁п о", + "▁ по", + "▁ д", + "в а", + "л е", + "к а", + "л ь", + "н ы", + "р и", + "т е", + "▁н а", + "▁ на", + "▁ м", + "▁ t", + "л о", + "л а", + "в о", + "▁ б", + "h e", + "т а", + "е н", + "з а", + "е т", + "▁ a", + "к и", + "д а", + "i n", + "т ь", + "▁н е", + "▁ не", + "ч е", + "с я", + "е р", + "▁ у", + "т и", + "м и", + "▁к о", + "▁ ко", + "e r", + "▁t he", + "▁th e", + "▁ the", + "д е", + "в и", + "р у", + "o n", + "▁ ч", + "д и", + "ж е", + "▁з а", + "▁ за", + "▁р а", + "▁ ра", + "▁с о", + "▁ со", + "▁ к", + "ст а", + "с та", + "л я", + "▁ В", + "r e", + "ск о", + "с ко", + "▁п ро", + "▁пр о", + "▁ про", + "▁ а", + "ц и", + "в е", + "ни я", + "м а", + "▁ э", + "м о", + "ни е", + "д о", + "м е", + "п о", + "▁ е", + "▁ o", + "▁ s", + "▁ П", + "▁о т", + "▁ от", + "▁в о", + "▁ во", + "▁г о", + "▁ го", + "▁ С", + "▁ w", + "б о", + "▁п ри", + "▁пр и", + "▁ при", + "ст и", + "с ти", + "e d", + "n d", + "ст о", + "с то", + "a t", + "▁к а", + "▁ ка", + "х о", + "▁б ы", + "▁ бы", + "▁ -", + "▁ г", + "▁о б", + "▁ об", + "ч а", + "▁ \"", + "с е", + "ч и", + "▁д о", + "▁ до", + "▁т о", + "▁ то", + "e n", + "o r", + "ск и", + "с ки", + "▁ч то", + "▁ что", + "с ь", + "р ы", + "i t", + "i s", + "ш е", + "но й", + "н ой", + "д у", + "▁ c", + "▁ К", + "a n", + "щ е", + "e s", + "с и", + "a r", + "н у", + "▁ f", + "a l", + "▁в ы", + "▁ вы", + "▁и з", + "▁ из", + "▁o f", + "▁ of", + "м у", + "ны х", + "н ых", + "ш и", + "▁ Н", + "▁м о", + "▁ мо", + "▁i n", + "▁ in", + "▁ т", + "▁ b", + "с о", + "ж и", + "л у", + "но го", + "те ль", + "тел ь", + "▁ (", + "▁ p", + "▁ М", + "к у", + "in g", + "i ng", + "ст ь", + "с ть", + "г а", + "г и", + "a s", + "▁п ре", + "▁пр е", + "▁ пре", + "▁a nd", + "▁an d", + "▁ and", + "в ы", + "ер е", + "е ре", + "▁ О", + "▁р е", + "▁ ре", + "▁т а", + "▁ та", + "п а", + "ны е", + "▁ ф", + "▁э то", + "▁ это", + "▁т е", + "▁ те", + "с а", + "ст в", + "▁ А", + "щ и", + "i c", + "▁t o", + "▁ to", + "ны й", + "r o", + "▁ з", + "л ю", + "▁д е", + "▁ де", + "▁ m", + "▁ра з", + "▁р аз", + "▁ раз", + "п и", + "io n", + "i on", + "▁б о", + "▁ бо", + "ю т", + "р я", + "▁ И", + "▁ я", + "▁ d", + "▁н о", + "▁ но", + "н я", + "▁ h", + "▁ко то", + "▁кот о", + "▁ кото", + "▁ Д", + "е м", + "l e", + "▁ Р", + "т у", + "▁ Т", + "т ы", + "▁м е", + "▁ ме", + "з о", + "o u", + "ет ся", + "е тся", + "п е", + "▁ Б", + "▁ч е", + "▁ че", + "ц е", + "ж а", + "▁в се", + "▁вс е", + "▁ все", + "▁м а", + "▁ ма", + "ме н", + "м ен", + "▁ T", + "▁п од", + "▁по д", + "▁ под", + "сл е", + "с ле", + "▁к ак", + "▁ка к", + "▁ как", + "з и", + "ст во", + "ств о", + "с тво", + "▁ S", + "▁ Г", + "▁с во", + "▁св о", + "▁с е", + "▁ се", + "▁с т", + "▁ ст", + "▁П о", + "▁ По", + "▁ A", + "en t", + "e nt", + "i l", + "б и", + "ве р", + "в ер", + "▁с та", + "▁ст а", + "▁ ста", + ". .", + "ско й", + "ск ой", + "с кой", + "▁л и", + "▁ ли", + "ны м", + "ци и", + "в ле", + "ни и", + "▁н и", + "▁ ни", + "▁д а", + "▁ да", + "▁с а", + "▁ са", + "▁ —", + "▁ C", + "▁r e", + "▁ re", + "▁ «", + "s t", + "▁п ере", + "▁пер е", + "▁пе ре", + "▁ пере", + "б ы", + "д ы", + "ск а", + "с ка", + "▁в е", + "▁ ве", + "ско го", + "с кого", + "▁е го", + "▁ его", + "но е", + "н ое", + "к е", + "ст вен", + "ств ен", + "стве н", + "▁ n", + "e l", + "o m", + "▁д ля", + "▁ для", + "м ы", + "на я", + "н ая", + "с у", + "▁ I", + "▁ж е", + "▁ же", + "ро в", + "р ов", + "с по", + "з ы", + "лс я", + "л ся", + "б е", + "ко в", + "к ов", + "▁с и", + "▁ си", + "е й", + "▁t h", + "▁ th", + "ж но", + "а р", + "▁ l", + "ва ть", + "о р", + "че ски", + "a m", + "о б", + "ш а", + "▁ Л", + "но м", + "н ом", + "▁о н", + "▁ он", + "c t", + "▁ M", + "г да", + "ст ва", + "ств а", + "но в", + "н ов", + "▁т ак", + "▁та к", + "▁ так", + "▁ e", + "a d", + "▁п ред", + "▁пре д", + "▁пр ед", + "▁ пред", + "o l", + "▁м и", + "▁ ми", + "х а", + "в ля", + "ц а", + "▁ко торы", + "▁кото ры", + "▁ которы", + "e t", + "б а", + "ль ко", + "гр а", + "г ра", + "но сти", + "нос ти", + "п у", + "▁б е", + "▁ бе", + "▁л е", + "▁ ле", + "▁с у", + "▁ су", + "▁го да", + "▁г ода", + "▁год а", + "▁ года", + "ни й", + "▁ко н", + "▁к он", + "▁ кон", + "о н", + "▁Н а", + "▁ На", + "u r", + "▁w as", + "▁wa s", + "▁и н", + "▁ ин", + "▁ B", + "пр о", + "п ро", + "▁в оз", + "▁во з", + "▁ воз", + "хо ди", + "ход и", + "сс и", + "с си", + "г у", + "i d", + "но сть", + "нос ть", + "▁ж и", + "▁ жи", + "ю щи", + "▁б у", + "▁ бу", + "c h", + "м я", + "ро ва", + "ров а", + "▁р о", + "▁ ро", + "ве т", + "в ет", + "i m", + "л ы", + "то в", + "т ов", + "▁х о", + "▁ хо", + "▁д ру", + "▁др у", + "▁ дру", + "▁ Е", + "i v", + "▁ P", + "▁и ли", + "▁ или", + "щ а", + "ли сь", + "лис ь", + "▁ра с", + "▁р ас", + "▁ рас", + "▁T he", + "▁Th e", + "▁ The", + "l y", + "▁ З", + "▁o n", + "▁ on", + "ка за", + "каз а", + "▁ Э", + "o t", + "c e", + "u t", + "пр а", + "п ра", + "▁п ра", + "▁пр а", + "▁ пра", + "▁о д", + "▁ од", + "з у", + "▁в ре", + "▁вр е", + "▁ вре", + "ф и", + "▁ H", + "ть ся", + "▁ g", + "ко й", + "к ой", + "ра н", + "р ан", + "ал ь", + "а ль", + "▁ч а", + "▁ ча", + "i g", + "▁f or", + "▁ for", + "▁ У", + "ти в", + "т ив", + "i r", + "u s", + "а к", + "ски й", + "с кий", + "▁бы л", + "▁ был", + "▁р у", + "▁ ру", + "ен ь", + "е нь", + "▁в и", + "▁ ви", + "at ion", + "ati on", + "a tion", + "а н", + "в у", + "ну ю", + "н ую", + "▁с то", + "▁ст о", + "▁ сто", + "▁b e", + "▁ be", + "тс я", + "т ся", + "ст е", + "с те", + "сл и", + "с ли", + "з на", + "\" .", + "ст у", + "с ту", + "▁п а", + "▁ па", + "ст ви", + "ств и", + "▁ Ф", + "o w", + "▁з на", + "▁ зна", + "ле н", + "л ен", + "ро м", + "р ом", + "во й", + "в ой", + "te r", + "t er", + "в я", + "r a", + "▁л ю", + "▁ лю", + "▁ра бо", + "▁раб о", + "▁ рабо", + "ло сь", + "it h", + "i th", + "▁a s", + "▁ as", + ") .", + "▁h e", + "▁ he", + "ме р", + "м ер", + "\" ,", + "▁бы ло", + "▁был о", + "▁ D", + "▁ R", + "пр е", + "п ре", + "б у", + "ко м", + "к ом", + "▁s t", + "▁ st", + "▁в а", + "▁ ва", + "ни ма", + "ним а", + "▁бо ль", + "▁бол ь", + "▁ боль", + "же н", + "ж ен", + "▁ N", + "ve r", + "v er", + "ни ю", + "▁м ы", + "▁ мы", + "▁ Ч", + "ло ве", + "лов е", + "сто я", + "▁и х", + "▁ их", + "a y", + "u n", + "▁о бра", + "▁об ра", + "▁ обра", + "▁и с", + "▁ ис", + "в ши", + "▁ F", + "▁п ер", + "▁пе р", + "▁ пер", + "▁по сле", + "▁пос ле", + "▁ после", + "он а", + "о на", + "ны ми", + "ным и", + "▁w ith", + "▁ with", + "ни ем", + "ние м", + "▁о с", + "▁ ос", + "▁ х", + "▁ ш", + "то м", + "т ом", + "▁го ду", + "▁год у", + "e m", + "▁ L", + "ют ся", + "ю тся", + "▁i s", + "▁ is", + ") ,", + "ро й", + "р ой", + "▁ W", + "и з", + "ла сь", + "лас ь", + "▁с лу", + "▁сл у", + "▁ слу", + "▁Н о", + "▁ Но", + "▁ G", + "u l", + "ле й", + "л ей", + "т я", + ".. .", + ". ..", + "▁К о", + "▁ Ко", + "ци я", + "ма н", + "м ан", + "жд е", + "ж де", + "е к", + "▁п и", + "▁ пи", + "▁д ол", + "▁до л", + "▁ дол", + "ч но", + "▁t hat", + "▁th at", + "er s", + "▁п у", + "▁ пу", + "пр и", + "п ри", + "▁Р о", + "▁ Ро", + "▁ ц", + "де т", + "д ет", + "▁ко м", + "▁к ом", + "▁ ком", + "ст ву", + "ств у", + "с ы", + "▁В о", + "▁ Во", + "▁че лове", + "▁ челове", + "▁то лько", + "▁ только", + "д я", + "▁ Х", + "▁к у", + "▁ ку", + "де р", + "д ер", + "п ы", + "ни ка", + "ник а", + "▁w h", + "▁ wh", + "▁С о", + "▁ Со", + "ле е", + "▁д и", + "▁ ди", + "зы ва", + "зыв а", + "ро д", + "р од", + "ре д", + "р ед", + "▁ Я", + "▁ф и", + "▁ фи", + "кр а", + "к ра", + "не й", + "н ей", + "де н", + "д ен", + "o s", + "▁са мо", + "▁сам о", + "▁ само", + "ски х", + "ск их", + "с ких", + "ни к", + "ле к", + "л ек", + "▁по лу", + "▁пол у", + "▁ полу", + "▁a l", + "▁ al", + "г е", + "▁c on", + "▁co n", + "▁ con", + "тр е", + "т ре", + "▁и ме", + "▁им е", + "▁ име", + "▁b y", + "▁ by", + "зо ва", + "зов а", + "те р", + "т ер", + "▁с ло", + "▁сл о", + "▁ сло", + "▁ E", + "t h", + "▁в ремя", + "▁вре мя", + "▁ время", + "o d", + "е в", + "he r", + "h er", + "an d", + "a nd", + "▁a t", + "▁ at", + "же т", + "ж ет", + "н ь", + "ри и", + "a g", + "▁a n", + "▁ an", + "▁К а", + "▁ Ка", + "a c", + "is t", + "i st", + "▁на ча", + "▁нач а", + "▁ нача", + "тр а", + "т ра", + "с к", + "ска я", + "ск ая", + "с кая", + "▁о ни", + "▁он и", + "▁ они", + "▁ J", + "▁п е", + "▁ пе", + "▁м у", + "▁ му", + "д ь", + "▁бы ли", + "▁был и", + "до ва", + "дов а", + "ro m", + "r om", + "u m", + "х и", + "сл о", + "с ло", + "ст ра", + "стр а", + "с тра", + "▁З а", + "▁ За", + "те льно", + "тель но", + "ло ги", + "лог и", + "▁о р", + "▁ ор", + "тр и", + "т ри", + "жд а", + "ж да", + "кр ы", + "к ры", + "да р", + "д ар", + "▁с тра", + "▁ст ра", + "▁стр а", + "▁ стра", + "es t", + "e st", + "с пе", + "r i", + "не е", + "▁М о", + "▁ Мо", + "вы х", + "в ых", + "в то", + "ст ро", + "стр о", + "с тро", + "▁о ста", + "▁ос та", + "▁ост а", + "▁ оста", + "▁и спо", + "▁ис по", + "▁ испо", + "▁э ти", + "▁ эти", + "зд а", + "з да", + "ме т", + "м ет", + "a v", + "▁d e", + "▁ de", + "▁что бы", + "▁чтоб ы", + "▁г ла", + "▁гл а", + "▁ гла", + "▁Н е", + "▁ Не", + "▁ O", + "ц ы", + "▁ч и", + "▁ чи", + "▁с вои", + "▁сво и", + "▁т ре", + "▁тр е", + "▁ тре", + "▁I n", + "▁ In", + "▁i t", + "▁ it", + "ai n", + "a in", + "▁П ри", + "▁ При", + "но ва", + "нов а", + "бл и", + "б ли", + "гл а", + "г ла", + "ди н", + "д ин", + "пе р", + "п ер", + "ш ь", + "▁с ле", + "▁сл е", + "▁ сле", + "вы е", + "ю ще", + "▁у же", + "▁уж е", + "o p", + "▁так же", + "кл ю", + "к лю", + "▁бы ла", + "▁был а", + "ско м", + "ск ом", + "с ком", + "▁ко гда", + "▁ когда", + "▁ v", + "▁п ла", + "▁ пла", + "▁а р", + "▁ ар", + "▁ц е", + "▁ це", + "▁p ro", + "▁pr o", + "▁ pro", + "▁ч ем", + "▁че м", + "▁ чем", + "▁б а", + "▁ ба", + "u p", + "i f", + "▁п ол", + "▁по л", + "▁ пол", + "до в", + "д ов", + "o c", + "по л", + "п ол", + "▁s e", + "▁ se", + "со б", + "с об", + "▁h is", + "▁д у", + "▁ ду", + "▁М а", + "▁ Ма", + "во д", + "в од", + "p e", + "▁кото рые", + "▁которы е", + "▁ которые", + "жд у", + "ж ду", + "▁жи з", + "▁ж из", + "ру п", + "▁c om", + "▁co m", + "▁ com", + "re s", + "r es", + "▁ Ш", + "▁в ер", + "▁ве р", + "▁ вер", + "▁то го", + "▁ того", + "де й", + "д ей", + "▁f rom", + "▁fr om", + "▁ from", + "▁об ъ", + "at e", + "a te", + "▁е е", + "нны х", + "н ных", + "ст ре", + "стр е", + "с тре", + "▁в ой", + "▁во й", + "▁ вой", + "▁с вя", + "▁св я", + "▁ свя", + "ло в", + "л ов", + "же ния", + "e w", + "б я", + "a b", + "ва л", + "в ал", + "▁с по", + "▁ спо", + "н д", + "ль но", + "р ь", + "il l", + "i ll", + "▁Б о", + "▁ Бо", + "▁мо жет", + "l d", + "ме ни", + "мен и", + "и н", + "з я", + "s e", + "сл а", + "с ла", + "▁о на", + "▁он а", + "▁ она", + "▁э том", + "▁это м", + "it y", + "i ty", + "▁и сто", + "▁ис то", + "▁ист о", + "▁ исто", + "ти я", + "▁дру ги", + "▁друг и", + "ко н", + "к он", + "то р", + "т ор", + "▁бо лее", + "▁боле е", + "▁ более", + "ar t", + "» .", + "▁Ро сси", + "▁Рос си", + "фо р", + "ф ор", + "▁с оста", + "▁со ста", + "▁сос та", + "ле ния", + "лени я", + "▁и м", + "▁ им", + "ва я", + "в ая", + "▁Р а", + "▁ Ра", + "▁то м", + "▁т ом", + "▁ том", + "q u", + "ш о", + "▁е ще", + "ки х", + "к их", + "че н", + "ч ен", + "or t", + "▁е сли", + "▁ если", + "▁об ще", + "▁общ е", + "▁ обще", + "▁пред ста", + "▁д ей", + "▁де й", + "▁ дей", + "▁т у", + "▁ ту", + "тр о", + "т ро", + "u d", + "▁Э то", + "▁ Это", + "▁ор га", + "вы й", + "те ля", + "тел я", + "ж у", + "во го", + "во ри", + "вор и", + "в ори", + "or e", + "o re", + "де ла", + "дел а", + "во ди", + "вод и", + "ку ю", + "к ую", + "ем ы", + "е мы", + "▁о тно", + "▁от но", + "ски е", + "с кие", + "▁м не", + "▁мн е", + "бр а", + "б ра", + "▁г ра", + "▁гр а", + "▁ гра", + "же ние", + "▁бы ть", + "ig h", + "i gh", + "ен но", + "е нно", + "▁o r", + "▁ or", + "ве де", + "вед е", + "ie s", + "i es", + "о т", + "▁э того", + "▁это го", + "ен я", + "е ня", + "▁т ы", + "▁ ты", + "▁т ем", + "▁те м", + "▁ тем", + "a k", + "ст ы", + "с ты", + "нны е", + "н ные", + "ва ли", + "вал и", + "в али", + "▁г е", + "▁ ге", + "er e", + "e re", + "че ской", + "ческо й", + "▁кото рый", + "▁которы й", + "до м", + "д ом", + "▁мо жно", + "▁ можно", + "ь ю", + "з е", + "▁к ра", + "▁кр а", + "▁ кра", + "▁о к", + "▁ ок", + "es s", + "e ss", + "те ри", + "тер и", + "▁ис поль", + "▁испо ль", + "▁испол ь", + "an t", + "a nt", + "▁я вля", + "▁яв ля", + "▁ явля", + "со в", + "с ов", + "▁е сть", + "ст ве", + "ств е", + "▁ U", + "▁ K", + "al l", + "a ll", + "ти чески", + "ic h", + "i ch", + "ar d", + "a rd", + "▁про из", + "▁прои з", + "▁ произ", + "то му", + "том у", + "▁о бла", + "▁об ла", + "▁обл а", + "▁ обла", + "▁б ез", + "▁бе з", + "▁ без", + "▁ r", + "ни ков", + "ник ов", + "be r", + "b er", + "▁г де", + "▁ где", + "▁e x", + "▁ ex", + "a p", + "ско е", + "ск ое", + "с кое", + "▁со зда", + "▁соз да", + "▁ созда", + "ше й", + "ш ей", + "че нь", + "чен ь", + "ч ень", + "ки е", + "▁слу ча", + "ко го", + "ци аль", + "циа ль", + "циал ь", + "▁п оло", + "▁по ло", + "▁пол о", + "▁ поло", + "че ние", + "▁о бо", + "▁об о", + "▁ обо", + "▁у ча", + "▁уч а", + "об ра", + "о бра", + "вле ния", + "в ления", + "ф е", + "u b", + "ци ю", + "▁О н", + "▁ Он", + "▁ле т", + "▁л ет", + "▁ лет", + "▁а к", + "▁ ак", + "▁по мо", + "▁пом о", + "▁а вто", + "▁ав то", + "▁ авто", + "▁м еня", + "▁ме ня", + "▁мен я", + "▁ меня", + "▁Т а", + "▁ Та", + "те лей", + "тел ей", + "теле й", + "▁ф ор", + "▁фо р", + "▁ фор", + "пи са", + "пис а", + "пре де", + "пред е", + "▁бу дет", + "▁буд ет", + "▁w ere", + "▁we re", + "▁к и", + "▁ ки", + "су дар", + "суда р", + "▁ме жду", + "▁меж ду", + "не ния", + "ал и", + "а ли", + "ва ет", + "» ,", + "ци он", + "цио н", + "чи та", + "чит а", + "с с", + "ви ч", + "д но", + "me nt", + "men t", + "m ent", + "на ко", + "▁с вое", + "▁сво е", + "▁св ое", + "▁ свое", + "ре н", + "р ен", + "iv e", + "i ve", + "▁ч у", + "▁ чу", + "бр я", + "б ря", + "▁ y", + "▁c h", + "▁ ch", + "g e", + "▁М и", + "▁ Ми", + "ло м", + "л ом", + "че ния", + "мо жно", + "в но", + "▁a re", + "▁ar e", + "▁ are", + "ре з", + "р ез", + "▁ V", + "пе ра", + "пер а", + "п ера", + "▁те х", + "▁ тех", + "во е", + "в ое", + ". ,", + "at ed", + "ate d", + "a ted", + "▁по ли", + "▁пол и", + "▁ поли", + "▁де ла", + "▁дел а", + "▁ дела", + "н г", + "▁да же", + "▁ даже", + "т но", + "и т", + "▁ко торо", + "▁кото ро", + "g h", + "i p", + "▁с торо", + "▁сто ро", + "▁ сторо", + "i a", + "▁Т о", + "▁ То", + "ou r", + "o ur", + "▁о чень", + "▁оче нь", + "▁ очень", + "ра к", + "р ак", + "▁ко ман", + "▁ком ан", + "▁ коман", + "че ского", + "ческо го", + "ц у", + "▁п рави", + "▁пра ви", + "▁прав и", + "▁ прави", + "▁S t", + "▁ St", + "un d", + "u nd", + "▁Г о", + "▁ Го", + "▁н у", + "▁ ну", + "ше го", + "ш его", + "ки м", + "к им", + "е з", + "с но", + "▁Н и", + "▁ Ни", + "ка н", + "к ан", + "▁не ско", + "▁нес ко", + "▁п оз", + "▁по з", + "▁В е", + "▁ Ве", + "ц о", + "▁се бя", + "ia l", + "i al", + "я х", + "▁т ру", + "▁тр у", + "▁ тру", + "ни ки", + "ник и", + "ве ст", + "вес т", + "ле ние", + "лени е", + "▁п ар", + "▁па р", + "▁ пар", + "am e", + "a me", + "ч ь", + "ше ния", + "▁е му", + "▁ем у", + "▁с каза", + "▁ска за", + "▁сказ а", + "▁с ов", + "▁со в", + "▁ сов", + "el l", + "e ll", + "▁С а", + "▁ Са", + "▁П а", + "▁ Па", + "▁м ного", + "▁мно го", + "▁ много", + "ia n", + "i an", + "▁ра бота", + "▁рабо та", + "▁работ а", + "▁ор гани", + "▁орга ни", + "▁орган и", + "▁ органи", + "кл а", + "к ла", + "▁ Ц", + "▁п рои", + "▁про и", + "▁l e", + "▁ le", + "▁дей стви", + "▁действ и", + "н к", + "ка ми", + "кам и", + "нны й", + "н ный", + "▁ни х", + "▁н их", + "▁ них", + "▁ка ж", + "▁э к", + "▁ эк", + "o v", + "ющи х", + "ю щих", + "▁p l", + "▁ pl", + "▁с ко", + "▁ск о", + "▁ ско", + "ме нно", + "мен но", + "м енно", + "▁П ро", + "▁ Про", + "▁В а", + "▁ Ва", + "ва ния", + "вани я", + "рт а", + "р та", + "e ar", + "сту п", + "бо й", + "б ой", + "▁Д а", + "▁ Да", + "ч у", + "on g", + "o ng", + "▁ k", + "▁в ла", + "▁ вла", + "то ры", + "тор ы", + "▁в ос", + "▁во с", + "▁ вос", + "▁полу чи", + "▁пол учи", + "во р", + "в ор", + "▁h ad", + "▁ha d", + "▁с пе", + "▁ спе", + "▁го ро", + "▁гор о", + "▁ горо", + "сл у", + "с лу", + "ur e", + "u re", + "че ских", + "чески х", + "▁го вори", + "▁говор и", + "▁гово ри", + "▁ говори", + "▁s h", + "▁ sh", + "см о", + "с мо", + "▁го судар", + "▁госу дар", + "▁госуда р", + "▁ государ", + "вы м", + "ш у", + "▁су ще", + "▁сущ е", + "▁ц ен", + "▁це н", + "▁ цен", + "ка х", + "ar y", + "a ry", + "ра я", + "р ая", + "n t", + "▁л о", + "▁ ло", + "▁wh ich", + "▁ which", + "но ви", + "нов и", + "os t", + "o st", + "ct ion", + "c tion", + "as t", + "a st", + "ющи е", + "ю щие", + "хо дя", + "ход я", + "вр а", + "в ра", + "▁г а", + "▁ га", + "o g", + "▁л у", + "▁ лу", + "те ли", + "тел и", + "▁т ер", + "▁те р", + "▁ тер", + "ль ной", + "льно й", + "us t", + "u st", + "кр е", + "к ре", + "не н", + "н ен", + "in e", + "i ne", + "▁о преде", + "ль та", + "льт а", + "▁про тив", + "▁ против", + "ки й", + "ig ht", + "igh t", + "сс а", + "с са", + "хо д", + "х од", + "▁сле ду", + "▁след у", + "▁ следу", + "ри я", + "▁л а", + "▁ ла", + "▁Д о", + "▁ До", + "▁все х", + "лл и", + "л ли", + "▁ра й", + "▁р ай", + "▁ рай", + "▁ ю", + "▁на д", + "▁н ад", + "▁ над", + "бл е", + "б ле", + "▁с ред", + "▁сре д", + "▁ср ед", + "▁ сред", + "▁у ста", + "▁ус та", + "▁n ot", + "▁no t", + "▁ not", + "▁м но", + "▁мн о", + "▁ мно", + "▁и нте", + "▁ин те", + "▁ инте", + "ё н", + "ла го", + "лаг о", + "▁т и", + "▁ ти", + "▁на у", + "▁ нау", + "▁на с", + "▁н ас", + "▁ нас", + "С С", + "ко е", + "к ое", + "▁дру го", + "▁друг о", + "▁др уго", + "▁ друго", + "йт е", + "й те", + "▁челове к", + "ши х", + "ш их", + "це н", + "ц ен", + "▁все го", + "▁вс его", + "но стью", + "ность ю", + "нос тью", + "▁со стоя", + "▁состо я", + "▁ Ж", + "я ви", + "кт о", + "к то", + "ir e", + "i re", + "▁бу ду", + "▁буд у", + "ци она", + "цион а", + "цио на", + "▁раз ви", + "▁ разви", + "▁с ер", + "▁се р", + "▁ сер", + "▁О д", + "t e", + "▁ [", + "▁с дела", + "▁сде ла", + "▁сдел а", + "ла га", + "лаг а", + "▁п ло", + "▁ пло", + "▁В ы", + "▁ Вы", + "▁Ро ссии", + "▁Росси и", + "▁Рос сии", + "▁к ре", + "▁кр е", + "▁ кре", + "ск ую", + "ску ю", + "с кую", + "ющи й", + "ю щий", + "▁C h", + "▁ Ch", + "ли я", + "до л", + "д ол", + "не р", + "н ер", + "це в", + "ц ев", + "ва н", + "в ан", + "ме нта", + "мен та", + "мент а", + "м ента", + "бо р", + "б ор", + "th er", + "the r", + "t her", + "мо й", + "м ой", + "▁жи зни", + "▁жиз ни", + "ра в", + "р ав", + "чны х", + "ч ных", + "хо дит", + "ходи т", + "ход ит", + "ь я", + "p t", + "до б", + "д об", + "▁о дин", + "▁од ин", + "▁оди н", + "▁с тро", + "▁ст ро", + "▁стр о", + "▁ стро", + "av e", + "a ve", + "▁х а", + "▁ ха", + "▁Е сли", + "▁ Если", + "ци й", + "ра бо", + "раб о", + "ми на", + "мин а", + "м ина", + "▁во про", + "▁д ви", + "▁ дви", + "▁вы со", + "▁выс о", + "▁ высо", + "де ль", + "дел ь", + "ле т", + "л ет", + "▁э той", + "▁это й", + "▁Л е", + "▁ Ле", + "▁че рез", + "▁чер ез", + "▁чере з", + "ли чи", + "зо м", + "з ом", + "or d", + "o rd", + "ст вом", + "ств ом", + "ство м", + "▁не го", + "▁н его", + "▁ него", + "не ра", + "нер а", + "н ера", + "▁г руп", + "▁гру п", + "▁ груп", + "ро н", + "р он", + "u c", + "i e", + "ва ние", + "вани е", + "▁бо льше", + "▁боль ше", + "▁ больше", + "сс о", + "с со", + "ед и", + "е ди", + "s o", + "p l", + "я т", + "те м", + "т ем", + "▁в з", + "▁ вз", + "▁воз можно", + "▁возмо жно", + "▁ возможно", + "c l", + "те ра", + "тер а", + "т ера", + "▁мо гу", + "▁мог у", + "▁ могу", + "вле ние", + "в ление", + "▁д ень", + "▁де нь", + "▁ден ь", + "▁ день", + "▁это т", + "▁с об", + "▁со б", + "▁ соб", + "▁В се", + "▁ Все", + "ac k", + "a ck", + "▁ X", + "не м", + "н ем", + "и м", + "or k", + "▁д ву", + "▁ дву", + "▁С е", + "▁ Се", + "сле дова", + "ic al", + "ica l", + "зу льта", + "▁д ва", + "▁ два", + "o k", + "ски м", + "ск им", + "с ким", + "▁ру с", + "▁р ус", + "▁ рус", + "▁у да", + "▁уд а", + "▁ уда", + "▁H e", + "▁ He", + "▁Р е", + "▁ Ре", + "ту р", + "т ур", + "▁ф у", + "▁ фу", + "u e", + "ше н", + "ш ен", + "ar e", + "a re", + "▁со об", + "ше ние", + "f f", + "то й", + "т ой", + "ст ей", + "сте й", + "с тей", + "▁про сто", + "▁прос то", + "▁прост о", + "▁ просто", + "▁я вляется", + "▁явля ется", + "▁яв ляется", + "▁по след", + "▁после д", + "▁ послед", + "▁К ак", + "▁Ка к", + "▁ Как", + "ль ного", + "льно го", + "▁к ла", + "▁ кла", + "чно й", + "ч ной", + "п ла", + "ва ться", + "вать ся", + "ст венно", + "ств енно", + "ствен но", + "стве нно", + "ме ри", + "мер и", + "▁u n", + "▁ un", + "▁сво ей", + "▁свое й", + "▁К у", + "▁ Ку", + "ря д", + "▁ Ю", + "дер жа", + "держ а", + "▁не сколько", + "▁неско лько", + "▁несколь ко", + "ле з", + "л ез", + "▁Т ак", + "▁Та к", + "▁ Так", + "р т", + "▁о бе", + "▁об е", + "▁ обе", + "об ходи", + "▁на з", + "▁н аз", + "▁ наз", + "во м", + "в ом", + "▁от кры", + "▁отк ры", + "▁ откры", + "ra n", + "r an", + "ou ld", + "oul d", + "▁го ло", + "▁г оло", + "▁гол о", + "▁ голо", + "ou s", + "o us", + "▁По сле", + "▁ После", + "▁не ко", + "х ра", + "▁по ч", + "is h", + "i sh", + "ка я", + "к ая", + "om e", + "o me", + "▁в с", + "▁не т", + "▁н ет", + "▁ нет", + "▁с чита", + "щ у", + "вр о", + "в ро", + "▁з ем", + "▁зе м", + "▁ зем", + "▁w he", + "▁wh e", + "▁ко р", + "▁к ор", + "▁ кор", + "▁к ар", + "▁ка р", + "▁ кар", + "▁ре зульта", + "▁кото рых", + "▁которы х", + "ва ется", + "вает ся", + "ко но", + "кон о", + "к оно", + "▁са мы", + "▁сам ы", + "ка зыва", + "i z", + "▁се бе", + "▁со вер", + "▁сов ер", + "▁сове р", + "▁М е", + "▁ Ме", + "▁ф а", + "▁ фа", + "▁к ни", + "▁кн и", + "▁ кни", + "ре ди", + "ред и", + "р еди", + "нт и", + "н ти", + "▁u s", + "▁ us", + "лл е", + "л ле", + "▁Б а", + "▁ Ба", + "▁про це", + "▁ проце", + "▁к то", + "▁ кто", + "сту па", + "ступ а", + "por t", + "p ort", + "ни м", + "н им", + "pe r", + "p er", + "▁не обходи", + "▁необ ходи", + "ри й", + "▁в ме", + "▁дол ж", + "ру к", + "де сь", + "дес ь", + "r y", + "ще н", + "щ ен", + "чи на", + "чин а", + "ч ина", + "ли н", + "л ин", + "ль ных", + "льны х", + "ag e", + "a ge", + "ве та", + "вет а", + "ми и", + "as s", + "a ss", + "за ции", + "з ации", + "▁мо г", + "▁с ы", + "▁ сы", + "▁a r", + "▁ ar", + "я с", + "▁у пра", + "ет и", + "е ти", + "де ли", + "дел и", + "та н", + "т ан", + "фор ма", + "фо рма", + "форм а", + "▁я зы", + "▁яз ы", + "▁ язы", + "ль ный", + "льны й", + "ше л", + "▁по э", + "ф а", + "it ion", + "i tion", + "▁из вест", + "▁изве ст", + "▁ извест", + "▁т ри", + "▁тр и", + "▁ три", + "▁с мо", + "▁см о", + "▁ смо", + "ле м", + "л ем", + "не ние", + "ре й", + "р ей", + "▁Б е", + "▁ Бе", + "▁ч ет", + "▁че т", + "▁ чет", + "хо в", + "х ов", + "▁т ра", + "▁тр а", + "▁ тра", + "ф о", + "▁the ir", + "▁на пра", + "▁напр а", + "гра м", + "гр ам", + "г рам", + "ви ть", + "вит ь", + "в ить", + "▁А лек", + "▁Ал ек", + "▁Але к", + "▁г лав", + "▁гла в", + "▁гл ав", + "▁при ня", + "▁прин я", + "▁В и", + "▁ Ви", + "▁c l", + "▁ cl", + "▁с лова", + "▁сло ва", + "▁слов а", + "▁ слова", + "▁ко ро", + "▁кор о", + "▁ коро", + "▁ли шь", + "▁лиш ь", + "▁на ходи", + "▁наход и", + "▁и г", + "▁с те", + "▁ст е", + "▁ сте", + "вши й", + "в ший", + "▁com p", + "▁co mp", + "ir st", + "▁ра спо", + "▁рас по", + "▁ распо", + "▁хо ро", + "▁хор о", + "▁ хоро", + "жде ния", + "ж дения", + "тк и", + "т ки", + "ща я", + "щ ая", + "▁и ю", + "ь е", + "▁к ри", + "▁кр и", + "▁ кри", + "id e", + "i de", + "бе р", + "б ер", + "че ские", + "чески е", + "▁в не", + "▁ вне", + "ig n", + "i gn", + "▁К и", + "▁ Ки", + "ме нт", + "мен т", + "м ент", + "ft er", + "f ter", + "че т", + "ч ет", + "▁в стре", + "▁вс тре", + "гл я", + "г ля", + "на ми", + "нам и", + "те й", + "т ей", + "▁о снов", + "▁ос нов", + "▁осно в", + "▁al so", + "▁h er", + "▁he r", + "▁ her", + "▁же н", + "▁ж ен", + "▁ жен", + "▁С и", + "▁ Си", + "ва р", + "в ар", + "▁ча сти", + "▁част и", + "▁час ти", + "▁ части", + "▁О т", + "▁ От", + "ти й", + "ни х", + "н их", + "▁кото рая", + "вле н", + "в лен", + "▁пере д", + "▁пер ед", + "▁пе ред", + "▁ перед", + "п ло", + "▁в то", + "▁ вто", + "▁р и", + "▁ ри", + "▁вре мени", + "▁времен и", + "▁време ни", + "ec t", + "e ct", + "▁в ну", + "▁ вну", + "▁ш а", + "▁ ша", + "▁с тал", + "▁ст ал", + "▁ста л", + "▁ стал", + "ic e", + "i ce", + "ст я", + "с тя", + "I I", + "▁c ont", + "▁con t", + "▁co nt", + "▁ cont", + "▁челове ка", + "▁человек а", + "▁со вет", + "▁сов ет", + "▁сове т", + "▁ совет", + "ст ов", + "сто в", + "с тов", + "ша я", + "ш ая", + "▁b ut", + "▁bu t", + "▁ but", + "би ра", + "бир а", + "йт и", + "й ти", + "▁б лаго", + "▁бла го", + "▁ благо", + "▁ /", + "че го", + "ч его", + "▁со от", + "ва ют", + "ваю т", + "во з", + "в оз", + "▁д ере", + "▁де ре", + "▁дер е", + "▁ дере", + "чны е", + "ч ные", + "но му", + "ном у", + "▁за да", + "▁з ада", + "▁зад а", + "ли че", + "▁не м", + "▁н ем", + "▁ нем", + "▁in t", + "▁i nt", + "▁ int", + "он е", + "о не", + "▁б и", + "▁ би", + "▁С та", + "▁Ст а", + "▁ Ста", + "▁ру ко", + "▁рук о", + "ou t", + "o ut", + "ствен ной", + "стве нной", + "ственно й", + "▁Л и", + "▁ Ли", + "▁a d", + "▁ ad", + "ро вать", + "рова ть", + "ни ть", + "нит ь", + "н ить", + "▁у ни", + "▁о бы", + "▁об ы", + "▁ обы", + "im e", + "i me", + "▁спо соб", + "▁спосо б", + "▁ способ", + "▁с вою", + "▁сво ю", + "ти е", + "ul t", + "▁по ль", + "▁пол ь", + "▁ поль", + "▁ка че", + "▁ каче", + "▁ча сть", + "▁част ь", + "▁час ть", + "▁лу ч", + "▁ луч", + "▁T h", + "▁ Th", + "при мер", + "▁кото рой", + "▁которо й", + "me r", + "m er", + "▁лю дей", + "▁люд ей", + "▁дру гих", + "▁други х", + "▁друг их", + "▁де я", + "▁ дея", + "▁п ос", + "▁по с", + "▁об ласти", + "▁обла сти", + "не го", + "н его", + "i b", + "ч ки", + "▁h as", + "▁ha s", + "▁пи са", + "▁ писа", + "▁a b", + "▁ ab", + "до й", + "д ой", + "ё т", + "▁ j", + "▁h ave", + "▁ha ve", + "▁у че", + "▁уч е", + "ри о", + "▁про дол", + "▁прод ол", + "▁продо л", + "▁Т е", + "▁ Те", + "▁р ы", + "▁ ры", + "ра з", + "р аз", + "▁с тре", + "▁ст ре", + "▁стр е", + "▁ стре", + "▁П ер", + "▁Пе р", + "▁ Пер", + "at er", + "ate r", + "a ter", + "▁r o", + "▁ ro", + "▁сво их", + "▁свои х", + "▁f irst", + "▁по зво", + "▁поз во", + "н т", + "▁re s", + "▁r es", + "▁ res", + "че ский", + "чески й", + "▁зна чи", + "▁знач и", + "ту ры", + "тур ы", + "▁э та", + "▁ эта", + "r u", + "▁И з", + "▁ Из", + "ri t", + "r it", + "on d", + "o nd", + "ме ча", + "▁м оло", + "▁мо ло", + "▁мол о", + "▁ моло", + "ру г", + "пе рь", + "пер ь", + "сло ви", + "слов и", + "с лови", + "и л", + "т вер", + "ль ные", + "льны е", + "па с", + "п ас", + "▁про ис", + "▁прои с", + "н ю", + "▁п оста", + "▁по ста", + "▁пос та", + "▁пост а", + "▁ поста", + "▁ха рак", + "▁хар ак", + "▁ харак", + "▁по ня", + "▁пон я", + "en ce", + "enc e", + "e nce", + "▁th is", + "▁ this", + "ре мен", + "рем ен", + "р емен", + "▁ма тери", + "▁мате ри", + "▁матер и", + "▁ матери", + "▁ме сто", + "▁мест о", + "▁мно ги", + "▁с вой", + "▁сво й", + "▁св ой", + "▁обра зом", + "▁образ ом", + "вши х", + "в ших", + "ще ния", + "▁С у", + "▁ Су", + "▁б ра", + "▁ бра", + "▁Од нако", + "▁Одна ко", + "▁в ра", + "▁вр а", + "▁ вра", + "со м", + "с ом", + "ст ер", + "сте р", + "с тер", + "сту пи", + "ступ и", + "ве д", + "в ед", + "▁w ho", + "▁wh o", + "▁ who", + "he d", + "h ed", + "▁a p", + "▁ ap", + "▁на зыва", + "ству ет", + "- -", + "▁т ам", + "▁та м", + "▁ там", + "ш ки", + "er v", + "▁в иде", + "▁ви де", + "▁вид е", + "▁ виде", + "на д", + "н ад", + "тр у", + "т ру", + "▁во ен", + "▁вое н", + "▁ воен", + "▁Ч то", + "▁ Что", + "▁мо гут", + "▁могу т", + "▁мог ут", + "▁г и", + "▁ ги", + "ши н", + "ш ин", + "▁it s", + "▁i ts", + "▁ its", + "▁Д е", + "▁ Де", + "▁ком па", + "▁комп а", + "▁ компа", + "▁a ll", + "▁al l", + "▁ all", + "ma n", + "m an", + "ко ло", + "кол о", + "к оло", + "ят ь", + "я ть", + "клю ча", + "го в", + "г ов", + "w o", + "ре в", + "р ев", + "▁со ответ", + "▁соот вет", + "▁ш и", + "▁ ши", + "▁х у", + "▁ ху", + "ве сти", + "вест и", + "вес ти", + "il e", + "i le", + "тель ства", + "тельств а", + "▁от вет", + "▁отве т", + "▁ ответ", + "ё м", + "▁ин тере", + "▁инте ре", + "▁интер е", + "▁ интере", + "на ли", + "нал и", + "н али", + "че м", + "ч ем", + "▁Д ля", + "▁ Для", + "▁на м", + "▁н ам", + "▁ нам", + "кл о", + "к ло", + "▁рас ска", + "▁расс ка", + "▁с ти", + "▁ст и", + "▁ сти", + "ру жи", + "сс е", + "с се", + "in d", + "i nd", + "нно й", + "н ной", + "▁д оста", + "▁до ста", + "▁ доста", + "▁a c", + "▁ ac", + "▁те ле", + "▁тел е", + "▁ теле", + "▁эти х", + "▁до ро", + "▁ доро", + "ти и", + "▁о каза", + "▁ока за", + "ow n", + "o wn", + "▁p art", + "▁par t", + "▁ part", + "▁не о", + "▁ нео", + "кт и", + "к ти", + "х ва", + "▁a g", + "▁ ag", + "▁про бле", + "▁проб ле", + "не ц", + "н ец", + "го д", + "г од", + "▁t e", + "▁ te", + "▁у ве", + "▁не й", + "▁н ей", + "▁ ней", + "▁сво его", + "▁свое го", + "ку с", + "к ус", + "at ions", + "ation s", + "ati ons", + "▁e n", + "▁ en", + "▁при зна", + "▁приз на", + "al ly", + "all y", + "те н", + "т ен", + "▁о че", + "▁А р", + "▁ Ар", + "▁o ne", + "▁on e", + "▁ one", + "мо в", + "м ов", + "▁ Y", + "щи х", + "щ их", + "▁со гла", + "▁г у", + "▁ гу", + "▁ц и", + "▁ ци", + "▁случа е", + "чны й", + "ч ный", + "ге н", + "г ен", + "вля ет", + "в ляет", + "▁m an", + "▁ man", + "▁Х о", + "▁ Хо", + "▁ку ль", + "▁ куль", + "та ми", + "там и", + "▁дву х", + "▁а д", + "▁ ад", + "не т", + "н ет", + "▁Р у", + "▁ Ру", + "▁чу в", + "▁ чув", + "ug h", + "u gh", + "ш ли", + "▁си сте", + "▁сист е", + "▁ систе", + "гр е", + "г ре", + "re e", + "r ee", + "ре ния", + "▁у спе", + "▁ус пе", + "▁и де", + "▁ид е", + "▁ иде", + "▁Мо ск", + "▁ Моск", + "я н", + "▁ис пользова", + "▁исполь зова", + "ли й", + "▁о соб", + "▁ос об", + "▁осо б", + "▁ особ", + "i k", + "▁б ли", + "▁ бли", + "ov er", + "ove r", + "o ver", + "ст вие", + "стви е", + "ри то", + "рит о", + "гра фи", + "граф и", + "▁го д", + "▁г од", + "▁ год", + "ти во", + "тив о", + "an g", + "a ng", + "▁дея тель", + "СС Р", + "С СР", + "ac h", + "a ch", + "нд и", + "н ди", + "▁ш ко", + "▁ шко", + "▁с ем", + "▁се м", + "▁ сем", + "▁p er", + "▁pe r", + "▁ per", + "ст рой", + "стро й", + "стр ой", + "▁за нима", + "чно го", + "ч ного", + "▁Б у", + "▁ Бу", + "ло жи", + "лож и", + "▁вой ны", + "▁войн ы", + "ac e", + "a ce", + "зм а", + "з ма", + "ро ме", + "ром е", + "▁вы пол", + "# #", + "▁Г е", + "▁ Ге", + "▁ра зли", + "▁раз ли", + "▁по мощ", + "▁помо щ", + "▁по каза", + "▁пока за", + "▁ показа", + "▁о снова", + "▁ос нова", + "▁основ а", + "▁осно ва", + "▁ основа", + "▁О б", + "▁ Об", + "▁i m", + "▁ im", + "за н", + "з ан", + "бр о", + "б ро", + "▁ ж", + "▁М ы", + "▁ Мы", + "на ча", + "▁г лу", + "▁гл у", + "▁ глу", + "вер х", + "▁не которы", + "▁неко торы", + "▁некото ры", + "ва ла", + "вал а", + "в ала", + "▁b ec", + "▁be c", + "▁ bec", + "пу бли", + "▁хо тя", + "▁ хотя", + "▁y ear", + "▁ year", + "го во", + "гов о", + "ву ю", + "в ую", + "то к", + "т ок", + "▁е ё", + "▁все гда", + "▁ всегда", + "ну ть", + "нут ь", + "▁то т", + "▁т от", + "on e", + "o ne", + "ou nt", + "oun t", + "o unt", + "▁ин форма", + "▁в от", + "▁во т", + "▁ вот", + "ши е", + "ча с", + "ч ас", + "▁по тому", + "▁потом у", + "▁пото му", + "▁the y", + "▁th ey", + "дер жи", + "держ и", + "тя бря", + "ол о", + "о ло", + "▁про ек", + "▁ проек", + "ве дения", + "веде ния", + "▁то гда", + "ши м", + "ш им", + "но ве", + "нов е", + "en s", + "e ns", + "▁b een", + "▁be en", + "су т", + "с ут", + "▁ф ак", + "▁фа к", + "▁ фак", + "па д", + "п ад", + "▁вы ра", + "▁выр а", + "▁o ut", + "▁ out", + "▁A l", + "▁ Al", + "вши е", + "в шие", + "▁т я", + "▁ тя", + "▁то р", + "▁т ор", + "▁ тор", + "сси й", + "с сий", + "▁жи знь", + "▁жиз нь", + "▁U n", + "▁ Un", + "▁рабо ты", + "▁работ ы", + "e c", + "▁го рода", + "▁горо да", + "▁город а", + "▁гор ода", + "на х", + "ac t", + "a ct", + "ни н", + "н ин", + "▁го род", + "▁горо д", + "▁гор од", + "▁ город", + "ви си", + "вис и", + "▁пе рио", + "▁пери о", + "ф ф", + "▁с мер", + "▁сме р", + "▁см ер", + "▁ смер", + "or y", + "o ry", + "ко номи", + "коно ми", + "коном и", + "че ская", + "ст ью", + "сть ю", + "с тью", + "▁о г", + "▁кото рого", + "▁которо го", + "то ра", + "тор а", + "▁с ам", + "▁са м", + "▁ сам", + "юще й", + "ю щей", + "▁на се", + "▁нас е", + "бу р", + "б ур", + "▁з десь", + "ви де", + "вид е", + "в иде", + "▁пере да", + "▁перед а", + "▁ переда", + "ско му", + "ском у", + "с кому", + "пи та", + "пит а", + "▁ис тори", + "▁исто ри", + "▁ист ори", + "▁ истори", + "▁u p", + "▁ up", + "n e", + "ou nd", + "oun d", + "o und", + "мери кан", + "мерика н", + "мо сти", + "при я", + "п рия", + "▁ве ли", + "▁вел и", + "▁ вели", + "де ра", + "дер а", + "д ера", + "юще го", + "ю щего", + "зи и", + "▁o ther", + "▁ other", + "▁у слови", + "▁ус лови", + "▁услов и", + "ско в", + "ск ов", + "с ков", + "ч то", + "ad e", + "a de", + "▁пра во", + "▁прав о", + "▁ право", + "uc h", + "u ch", + "ш ло", + "▁с тать", + "▁ста ть", + "▁ стать", + "▁про грам", + "▁ –", + "▁с ла", + "▁сл а", + "▁ сла", + "▁по ка", + "ко ва", + "ков а", + "▁о дно", + "▁од но", + "▁ одно", + "▁п обе", + "▁по бе", + "▁у ров", + "▁уро в", + "▁ уров", + "к т", + "ст ран", + "стра н", + "стр ан", + "с тран", + "▁ко нце", + "▁кон це", + "▁конц е", + "il d", + "i ld", + "▁d is", + "▁di s", + "ши й", + "бо ль", + "бол ь", + "▁с ра", + "▁ср а", + "во лю", + "вол ю", + "▁с ме", + "▁см е", + "▁ сме", + "▁обра зова", + "▁образов а", + "▁ образова", + "▁поли ти", + "▁полит и", + "ще ние", + "▁I t", + "▁ It", + "во ря", + "вор я", + "ва ри", + "вар и", + "▁ис следова", + "▁о фи", + "▁оф и", + "▁ офи", + "са нд", + "сан д", + "in t", + "i nt", + "cl ud", + "▁п ор", + "▁по р", + "▁ пор", + "ё р", + "▁у чи", + "▁уч и", + "▁ учи", + "▁жен щи", + "▁N o", + "▁ No", + "ri c", + "r ic", + "ar k", + "Ш А", + "▁в ся", + "▁вс я", + "▁o ff", + "▁of f", + "▁ off", + "▁Ф е", + "▁ Фе", + "▁о кру", + "▁ок ру", + ") ;", + "f or", + "▁о пера", + "▁оп ера", + "▁опер а", + "▁опе ра", + "▁ опера", + "▁со бой", + "▁соб ой", + "▁собо й", + "ет е", + "е те", + "кс и", + "к си", + "▁боль шо", + "л ё", + "▁ н", + "▁за щи", + "▁ защи", + "re ss", + "res s", + "r ess", + "же нии", + "▁о п", + "▁ оп", + "▁до сти", + "ё л", + "▁С ССР", + "▁СС СР", + "▁ми ра", + "▁мир а", + "▁ мира", + "e p", + "a w", + "▁тер рито", + "▁п ря", + "▁пр я", + "▁ пря", + "ци ей", + "▁ж а", + "▁ жа", + "▁у ли", + "▁ул и", + "ни ца", + "ниц а", + "▁ш е", + "▁ ше", + "ol l", + "o ll", + "▁Ко гда", + "▁ Когда", + "ion s", + "io ns", + "i ons", + "х е", + "▁с ист", + "▁си ст", + "▁ сист", + "мо м", + "м ом", + "ствен ного", + "стве нного", + "ственно го", + "▁ре ши", + "▁о со", + "▁ос о", + "ро ван", + "ров ан", + "рова н", + "ur n", + "▁ро ди", + "▁род и", + "▁ роди", + "ми ни", + "мин и", + "бл ю", + "б лю", + "ur ing", + "u ring", + "▁Т у", + "▁ Ту", + "ви л", + "в ил", + "▁re c", + "▁r ec", + "▁ rec", + "щи й", + "др а", + "д ра", + "зи ден", + "▁по нима", + "▁пони ма", + "▁t wo", + "▁tw o", + "▁не до", + "▁о дной", + "▁од ной", + "▁одно й", + "▁К он", + "▁Ко н", + "▁ Кон", + "▁и менно", + "▁име нно", + "▁им енно", + "▁имен но", + "ab le", + "abl e", + "a ble", + "▁у по", + "▁О ни", + "▁Он и", + "▁ Они", + "el y", + "e ly", + "▁д ан", + "▁да н", + "▁ дан", + "▁с пи", + "▁ спи", + "ци али", + "циа ли", + "циал и", + "ol d", + "o ld", + "ст вия", + "стви я", + "тны х", + "т ных", + "▁р я", + "▁ ря", + "▁А лександ", + "▁Алек санд", + "ни ком", + "ник ом", + "те льной", + "тель ной", + "тельно й", + "▁ко личе", + "▁o ver", + "▁ over", + ". \"", + "ру ю", + "р ую", + "ту а", + "т уа", + "▁ме ст", + "▁г ру", + "▁гр у", + "▁ гру", + "▁ни м", + "▁н им", + "▁ ним", + "тель ство", + "тельств о", + "▁С ША", + "▁ США", + "▁на и", + "▁s c", + "▁ sc", + "▁ф иль", + "▁фи ль", + "▁ филь", + "н но", + "▁П у", + "▁ Пу", + "▁Л а", + "▁ Ла", + "▁Г а", + "▁ Га", + "▁ну жно", + "▁нуж но", + "▁э лек", + "▁эле к", + "т р", + "▁h im", + "▁ком п", + "сти ту", + "стит у", + "ющи м", + "ю щим", + "▁ча сто", + "▁част о", + "▁час то", + "▁ часто", + "n g", + "▁в нима", + "▁сто роны", + "▁сторо ны", + "▁сторон ы", + "▁и но", + "▁ин о", + "▁ ино", + "▁w ork", + "▁wor k", + "▁ work", + "те лем", + "тел ем", + "теле м", + "ма ти", + "мат и", + "▁та кой", + "▁так ой", + "▁дол жно", + "▁долж но", + "ор у", + "о ру", + "▁по чти", + "▁поч ти", + "▁и гра", + "▁иг ра", + "▁игр а", + "▁ игра", + "▁ты ся", + "▁тыс я", + "▁ тыся", + "it e", + "i te", + "▁про тиво", + "▁против о", + "▁вме сте", + "ка м", + "к ам", + "am p", + "a mp", + "▁о бя", + "▁об я", + "кр о", + "к ро", + "w n", + "че ское", + "ческо е", + "ub l", + "u bl", + "ve l", + "v el", + "н ци", + "▁n ew", + "▁ne w", + "▁ new", + "▁д аль", + "▁да ль", + "▁дал ь", + "▁ даль", + "▁лю бо", + "▁ любо", + "od e", + "o de", + "те льных", + "тель ных", + "тельны х", + "▁n e", + "▁ ne", + "▁s he", + "▁sh e", + "▁и зме", + "▁из ме", + "▁ изме", + "▁п ы", + "▁ пы", + "or s", + "▁де рев", + "▁дере в", + "▁дер ев", + "▁М ар", + "▁Ма р", + "▁ Мар", + "жд ы", + "ж ды", + "ai l", + "a il", + "▁исполь зу", + "▁ч ер", + "▁че р", + "▁ чер", + "ст ой", + "сто й", + "с той", + "▁лю ди", + "▁люд и", + "en ts", + "ent s", + "▁не по", + "▁жи во", + "▁жив о", + "▁a fter", + "▁ after", + "▁о коло", + "▁ок оло", + "▁око ло", + "▁ около", + "▁а в", + "▁ ав", + "то го", + "▁об ъек", + "▁объ ек", + "▁объе к", + "▁ объек", + "▁с ка", + "▁ск а", + "▁ ска", + "▁ =", + "▁за тем", + "▁зате м", + "▁зат ем", + "ли и", + "▁на до", + "▁над о", + "▁б ере", + "▁бе ре", + "▁бер е", + "▁ бере", + "д ви", + "▁сказа л", + "▁ска зал", + "▁сказ ал", + "▁м ар", + "▁ма р", + "▁ мар", + "▁о су", + "▁ос у", + "▁П ре", + "▁ Пре", + "▁на чина", + "▁нач ина", + "▁начи на", + "ou gh", + "o ugh", + "oo l", + "o ol", + "▁за ня", + "▁с вобо", + "▁сво бо", + "▁св обо", + "▁ свобо", + "та х", + "ще й", + "щ ей", + "ко ла", + "кол а", + "▁пред по", + "▁к руп", + "▁кру п", + "▁ круп", + "оло ги", + "олог и", + "о логи", + "▁де ло", + "▁дел о", + "▁ дело", + "ter n", + "t ern", + "▁w ould", + "па да", + "пад а", + "п ада", + "сле д", + "сл ед", + "▁у част", + "▁уча ст", + "▁ра ди", + "▁рад и", + "щ ё", + "но к", + "н ок", + "се м", + "с ем", + "ствен ных", + "стве нных", + "ственны х", + "▁c omm", + "▁com m", + "▁co mm", + "▁ comm", + "▁p re", + "▁pr e", + "▁ pre", + "▁дол жен", + "▁долж ен", + "гра ни", + "гр ани", + "гран и", + "at es", + "ate s", + "a tes", + "бр е", + "б ре", + "f t", + "з м", + "▁у би", + "ра х", + "пу ска", + "пуск а", + "пус ка", + "▁ле г", + "▁ лег", + "▁по том", + "▁пото м", + "▁ потом", + "▁дру гие", + "▁други е", + "▁име ет", + "▁в зя", + "▁вз я", + "▁ взя", + "as e", + "a se", + "ти н", + "т ин", + "▁e v", + "▁ ev", + "▁in clud", + "▁ includ", + "▁ис кус", + "▁иск ус", + "▁иску с", + "la nd", + "lan d", + "l and", + "▁на стоя", + "▁насто я", + "▁ настоя", + "ля р", + "л яр", + "▁ни чего", + "▁дол жны", + "▁долж ны", + "▁до ма", + "▁дом а", + "▁in to", + "▁int o", + "не чно", + "▁ве сь", + "▁вес ь", + "os e", + "o se", + "▁с охра", + "▁со хра", + "▁на писа", + "▁напи са", + "w e", + "▁ч его", + "▁че го", + "▁ чего", + "тру д", + "тр уд", + "at ional", + "ation al", + "щи е", + "ро к", + "р ок", + "u g", + "тре н", + "тр ен", + "т рен", + "▁ге нера", + "▁гене ра", + "▁ген ера", + "▁ генера", + "▁п си", + "▁ пси", + "▁п ара", + "▁па ра", + "▁пар а", + "▁ пара", + "те льные", + "тель ные", + "тельны е", + "▁э кономи", + "▁эко номи", + "▁ экономи", + "ла н", + "л ан", + "▁д ве", + "▁ две", + "▁о кон", + "▁ок он", + "▁око н", + "▁со времен", + "▁сов ремен", + "▁Г ер", + "▁Ге р", + "▁ Гер", + "ш ла", + "л н", + "▁Ф ран", + "▁Фра н", + "▁ Фран", + "▁х ра", + "▁ хра", + "▁го р", + "▁г ор", + "▁ гор", + "ти ть", + "тит ь", + "т ить", + "o y", + "ст вии", + "стви и", + "▁d es", + "▁de s", + "▁ des", + "ер т", + "е рт", + "an ce", + "anc e", + "a nce", + "ie d", + "i ed", + "че р", + "ч ер", + "▁на ро", + "▁нар о", + "▁с ей", + "▁се й", + "▁ сей", + "on s", + "o ns", + "▁c an", + "▁ can", + "▁дру гой", + "▁друго й", + "▁друг ой", + "че й", + "ч ей", + "▁в ам", + "▁ва м", + "▁ вам", + "ну л", + "н ул", + "не с", + "o b", + "х у", + "та л", + "т ал", + "oo d", + "o od", + "▁t ime", + "▁tim e", + "▁ time", + "ce s", + "c es", + "ско ль", + "с коль", + "я вля", + "з д", + "▁то же", + "▁ж у", + "▁ жу", + "▁w e", + "▁ we", + "ро вания", + "рова ния", + "▁не ме", + "▁нем е", + "▁s p", + "▁ sp", + "▁Л у", + "▁ Лу", + "ствен ный", + "стве нный", + "ственны й", + "е ха", + "▁В ла", + "▁ Вла", + "▁чи сле", + "▁ числе", + "▁М у", + "▁ Му", + "▁А н", + "▁ Ан", + "▁от пра", + "▁К ра", + "▁ Кра", + "▁произ вод", + "▁произво д", + "▁ производ", + "▁фу нк", + "▁ функ", + "▁б ро", + "▁ бро", + "p h", + "oc k", + "o ck", + "▁с ен", + "▁се н", + "▁ сен", + "на н", + "н ан", + "▁те перь", + "мы ш", + "ту ра", + "тур а", + "т ура", + "fe r", + "f er", + "▁ни ка", + "▁ник а", + "▁ ника", + "▁m e", + "▁ me", + "▁Е вро", + "▁Ев ро", + "▁ Евро", + "▁ис пол", + "▁испо л", + "пу сти", + "пус ти", + "им о", + "и мо", + "▁полу ча", + "кто р", + "кт ор", + "к тор", + "▁обе спе", + "▁т ран", + "▁тра н", + "▁тр ан", + "▁ тран", + "ше м", + "ш ем", + "▁ли тера", + "в шего", + "▁ме то", + "▁мет о", + "▁ мето", + "▁П е", + "▁ Пе", + "▁му ж", + "▁ муж", + "ни цы", + "ниц ы", + "▁un d", + "▁u nd", + "▁ und", + "▁же ла", + "▁жел а", + "▁ жела", + "▁кото рое", + "▁которо е", + "▁ которое", + "▁у г", + "ль ное", + "льно е", + "жде ние", + "ж дение", + "ше е", + "oo k", + "o ok", + "▁ми ну", + "▁мин у", + "▁ мину", + "▁A r", + "▁ Ar", + "▁ф о", + "▁ фо", + "че му", + "чем у", + "пе ре", + "пер е", + "п ере", + "is s", + "i ss", + "▁о дного", + "▁од ного", + "▁одно го", + "▁отно ше", + "▁в ас", + "▁ва с", + "си те", + "сит е", + "▁п ода", + "▁по да", + "▁под а", + "▁ пода", + "ем о", + "е мо", + "▁ху до", + "▁худ о", + "▁ худо", + "▁по доб", + "▁под об", + "▁подо б", + "▁ подоб", + "те льный", + "тель ный", + "тельны й", + "▁О на", + "▁Он а", + "ви а", + "▁Р и", + "▁ Ри", + "▁у части", + "▁уча сти", + "▁участ и", + "го то", + "▁фи зи", + "▁физ и", + "▁ физи", + "▁ми ни", + "▁мин и", + "▁ мини", + "▁ме ся", + "▁ меся", + "▁а мерикан", + "▁америка н", + "▁ американ", + "at h", + "a th", + "ты й", + "▁продол жа", + "▁за ко", + "▁зак о", + "▁ зако", + "жи да", + "ж ида", + "ще го", + "щ его", + "шу ю", + "ш ую", + "▁ц ер", + "▁це р", + "▁ цер", + "▁ва ж", + "▁A s", + "▁пред стави", + "▁предста ви", + "ч ка", + "нс кой", + "н ской", + "▁Д ж", + "▁И н", + "▁ Ин", + "▁д ума", + "▁ду ма", + "▁ дума", + "те льного", + "тель ного", + "тельно го", + "П о", + "▁свя зи", + "▁связ и", + "▁с ту", + "▁ст у", + "▁ сту", + "ня я", + "▁б ое", + "▁бо е", + "▁ бое", + "▁раз рабо", + "▁ разрабо", + "in gs", + "ing s", + "ще е", + "ил и", + "и ли", + "▁m ore", + "▁mor e", + "▁ more", + "▁p lay", + "▁pl ay", + "▁ play", + "▁ч еты", + "▁че ты", + "▁чет ы", + "▁ четы", + "ль ная", + "льна я", + "▁об на", + "ak e", + "a ke", + "▁де ся", + "▁ деся", + "▁r a", + "▁ ra", + "▁с тан", + "▁ст ан", + "▁ста н", + "▁ стан", + "▁п одо", + "▁по до", + "▁под о", + "▁од нако", + "▁одна ко", + "▁от носи", + "▁отно си", + "▁не за", + "▁про фе", + "▁проф е", + "▁бу дут", + "▁буду т", + "▁буд ут", + "it ed", + "ite d", + "i ted", + "▁по стоя", + "▁Е го", + "▁ме нее", + "▁мене е", + "▁ менее", + "▁ис тории", + "▁исто рии", + "▁истори и", + "ме ня", + "мен я", + "м еня", + "ве н", + "в ен", + "ro ugh", + "r ough", + "го дня", + "год ня", + "ще ств", + "▁ро ссий", + "▁рос сий", + "▁ россий", + "ви ли", + "вил и", + "в или", + "ра ми", + "рам и", + "▁по се", + "▁пос е", + "та м", + "т ам", + "пы т", + "▁ка честве", + "▁каче стве", + "▁качеств е", + "as ed", + "ase d", + "зо в", + "з ов", + "ст рук", + "стру к", + "▁с им", + "▁си м", + "▁ сим", + "▁ко ми", + "▁ком и", + "▁ коми", + "▁с реди", + "▁сред и", + "▁сре ди", + "▁ср еди", + "▁ра сс", + "▁рас с", + "чи ть", + "чит ь", + "ч ить", + "▁в сем", + "▁все м", + "▁вс ем", + "ga n", + "g an", + "▁и зда", + "▁из да", + "▁изд а", + "▁гра жда", + "▁ гражда", + "р ю", + "▁при мер", + "▁приме р", + "▁прим ер", + "▁ пример", + "▁П ет", + "▁Пе т", + "▁ Пет", + "тр я", + "т ря", + "▁к м", + "▁ км", + "йс кой", + "й ской", + "▁па мя", + "▁ памя", + "▁ча ст", + "▁час т", + "▁ част", + "▁O n", + "▁ On", + "▁про ду", + "▁прод у", + "ди ть", + "дит ь", + "д ить", + "до ро", + "дор о", + "▁w hen", + "▁wh en", + "▁whe n", + "▁необходи мо", + "▁необходим о", + "та ль", + "тал ь", + "т аль", + "сколь ку", + "хо да", + "ход а", + "х ода", + "▁по тре", + "▁ потре", + "ш ка", + "жде н", + "жд ен", + "ж ден", + "▁на циона", + "▁наци она", + "▁ национа", + "▁чем пи", + "▁у твер", + "▁ут вер", + "▁Х а", + "▁ Ха", + "▁на зна", + "▁наз на", + "▁то му", + "▁том у", + "▁ тому", + "на род", + "нар од", + "▁го ды", + "▁год ы", + "▁д ли", + "▁ дли", + "▁м ир", + "▁ми р", + "▁ мир", + "▁с па", + "▁ спа", + "се да", + "сед а", + "▁Л ю", + "▁ Лю", + "▁П и", + "▁ Пи", + "▁У кра", + "▁ Укра", + "▁ни ко", + "▁ник о", + "цо в", + "ц ов", + "▁не у", + "▁на пример", + "▁ например", + "лл а", + "л ла", + "▁С ер", + "▁Се р", + "▁ Сер", + "то чно", + "во ль", + "вол ь", + "▁с вяза", + "▁свя за", + "▁св яза", + "▁связ а", + "▁хо зя", + "нс кого", + "н ского", + "▁се ль", + "▁сел ь", + "▁ сель", + "ва лся", + "вал ся", + "ce ss", + "ces s", + "c ess", + "em ber", + "emb er", + "e mber", + "▁со держа", + "фф ек", + "ффе к", + "ф фек", + "an s", + "a ns", + "▁при нима", + "▁ принима", + "об ще", + "▁к ру", + "▁кр у", + "▁ кру", + "пы та", + "пыт а", + "▁по ме", + "▁пом е", + "ме й", + "м ей", + "▁су щество", + "▁суще ство", + "▁существ о", + "та я", + "т ая", + "▁ме ста", + "▁мест а", + "on t", + "o nt", + "▁пре кра", + "▁M ar", + "▁Ma r", + "▁и нтер", + "▁ин тер", + "▁инте р", + "▁ интер", + "▁Ве ли", + "▁ Вели", + "▁я н", + "▁ ян", + "▁ш та", + "▁шт а", + "▁ шта", + "▁t ra", + "▁tr a", + "▁ tra", + "▁те о", + "▁ тео", + "ты х", + "т ых", + "▁де ка", + "▁ф ран", + "▁фра н", + "▁ фран", + "ло же", + "лож е", + "▁на род", + "▁наро д", + "▁нар од", + "▁ народ", + "жно й", + "ж ной", + "▁при ме", + "▁пр име", + "▁прим е", + "▁с мы", + "▁см ы", + "▁б ан", + "▁ба н", + "▁ бан", + "▁с тали", + "▁ст али", + "▁ста ли", + "▁стал и", + "▁к ли", + "▁ кли", + "le s", + "l es", + "ло й", + "л ой", + "▁g ro", + "▁gr o", + "▁ка кой", + "▁как ой", + "▁ма ши", + "▁Ч е", + "▁ Че", + "▁на де", + "▁над е", + "▁си туа", + "▁с коро", + "▁ско ро", + "▁скор о", + "▁ скоро", + "▁ч ле", + "▁ чле", + "▁П од", + "▁По д", + "▁ Под", + "ит ь", + "и ть", + "чи л", + "ч ил", + "на м", + "н ам", + "▁но р", + "▁н ор", + "▁ нор", + "ic k", + "i ck", + "▁ве ка", + "▁век а", + "ва лись", + "вали сь", + "ст ан", + "ста н", + "с тан", + "▁N ew", + "▁Ne w", + "▁ New", + "▁с ли", + "▁сл и", + "▁ сли", + "▁е ди", + "▁ед и", + "▁ еди", + "ви н", + "в ин", + "юще е", + "ю щее", + "ст ри", + "стр и", + "с три", + "▁ф е", + "▁ фе", + "▁э ту", + "▁воз ду", + "▁особ енно", + "▁особен но", + "▁ особенно", + "не в", + "н ев", + "▁t hem", + "▁the m", + "▁th em", + "ло го", + "лог о", + "▁ко тором", + "▁кото ром", + "▁которо м", + "мо н", + "м он", + "чны м", + "ч ным", + "▁лю би", + "▁ люби", + "▁ка жды", + "▁каж ды", + "▁т ут", + "▁ту т", + "▁ тут", + "пр я", + "п ря", + "▁re t", + "▁r et", + "▁ ret", + "▁В ер", + "▁Ве р", + "▁ Вер", + "▁о дна", + "▁од на", + "▁C om", + "▁Co m", + "▁ Com", + "▁s pe", + "▁sp e", + "▁ spe", + "▁от де", + "▁un der", + "▁und er", + "▁u nder", + "▁ under", + "ua l", + "u al", + "▁на блю", + "▁ре ги", + "▁ реги", + "▁му зы", + "▁о бу", + "▁об у", + "▁ обу", + "▁и зу", + "▁из у", + "io us", + "i ous", + "де ть", + "дет ь", + "д еть", + "▁у нивер", + "▁уни вер", + "бр и", + "б ри", + "_ _", + "▁э тим", + "▁эти м", + "▁ра зме", + "▁раз ме", + "ля ет", + "▁ж ур", + "▁жу р", + "▁ жур", + "ки ми", + "ким и", + "к ими", + "ло к", + "л ок", + "▁при чи", + "▁сво им", + "▁свои м", + "▁y ou", + "▁п ле", + "▁ пле", + "▁в лия", + "▁D e", + "▁ De", + "та к", + "т ак", + "▁о тра", + "▁от ра", + "▁p r", + "▁ pr", + "смо тре", + "смотр е", + "▁ав гу", + "с публи", + "▁со циаль", + "▁соци аль", + "▁социал ь", + "▁ социаль", + "▁во зра", + "▁воз ра", + "▁спе циаль", + "▁специ аль", + "▁хоро шо", + "бо лее", + "▁э нер", + "▁эн ер", + "▁ энер", + "▁до ку", + "▁док у", + "▁R e", + "▁ Re", + "▁В от", + "▁Во т", + "▁ Вот", + "до к", + "д ок", + "re d", + "r ed", + "i o", + "▁ag ain", + "зе р", + "з ер", + "ги и", + "▁с пра", + "▁д ет", + "▁де т", + "▁ дет", + "▁п оле", + "▁по ле", + "▁пол е", + "▁ поле", + "гр у", + "г ру", + "▁s o", + "▁ so", + "ль ным", + "льны м", + "ст рое", + "стро е", + "стр ое", + "к ви", + "v e", + "▁систе мы", + "▁сист емы", + "▁систем ы", + "▁ системы", + "au s", + "a us", + "war d", + "wa rd", + "w ard", + "▁сей час", + "▁Б ы", + "▁ Бы", + "▁э ле", + "▁ эле", + "▁г ре", + "▁гр е", + "▁ гре", + "▁ре жи", + "▁ режи", + "вши сь", + "в шись", + "ic t", + "i ct", + "и х", + "си л", + "с ил", + "ва ются", + "вают ся", + "ваю тся", + "▁стра ны", + "▁стран ы", + "ло жен", + "ложе н", + "лож ен", + "▁с обы", + "▁со бы", + "▁соб ы", + "ск у", + "с ку", + "▁а нг", + "▁ан г", + "▁ анг", + "▁вну трен", + "▁внут рен", + "▁Ни кола", + "▁Нико ла", + "щу ю", + "щ ую", + "en d", + "e nd", + "▁ре аль", + "▁реа ль", + "▁с тран", + "▁ст ран", + "▁стра н", + "▁стр ан", + "▁ стран", + "▁о тли", + "▁от ли", + "▁a tt", + "▁at t", + "▁ att", + "▁Вла ди", + "▁рас про", + "ch ool", + "cho ol", + "▁е щё", + "▁д ер", + "▁де р", + "▁ дер", + "жа ть", + "жат ь", + "▁е й", + "▁ ей", + "▁п рав", + "▁пра в", + "▁пр ав", + "▁ прав", + "▁пи сь", + "▁ пись", + "ст ав", + "ста в", + "с тав", + "▁со труд", + "▁q u", + "▁ qu", + "▁ко ра", + "▁кор а", + "▁ кора", + "d u", + "▁т ан", + "▁та н", + "▁ тан", + "си ли", + "сил и", + "с или", + "вы ми", + "вым и", + "▁ян ва", + "▁ди а", + "▁ диа", + "ри сти", + "рис ти", + "рист и", + "р исти", + "▁К ар", + "▁Ка р", + "▁ Кар", + "re at", + "▁ко л", + "▁к ол", + "▁ кол", + "▁в сё", + "▁вс ё", + "▁о но", + "▁он о", + "▁ оно", + "ди ви", + "див и", + "во бо", + "в обо", + ". )", + "▁b et", + "▁be t", + "з ь", + "▁пер вый", + "▁х и", + "▁ хи", + "но логи", + "н ологи", + "▁тре бо", + "▁s ec", + "▁se c", + "▁ sec", + "hi p", + "h ip", + "▁та ких", + "▁так их", + "▁таки х", + "▁по яви", + "▁поя ви", + "er ed", + "ere d", + "e red", + "▁бе с", + "▁ бес", + "▁на ру", + "▁нар у", + "▁ нару", + "ма три", + "мат ри", + "м атри", + "▁ши ро", + "▁d o", + "▁ do", + "мини стра", + "министр а", + "ra m", + "r am", + "▁у го", + "▁уг о", + "▁ уго", + "▁s up", + "▁su p", + "▁k n", + "▁ kn", + "▁t here", + "▁the re", + "▁th ere", + "▁э лектро", + "▁элек тро", + "▁ электро", + "жны х", + "ж ных", + "▁o p", + "▁ op", + "in al", + "ina l", + "▁то л", + "▁т ол", + "▁ тол", + "▁воз вра", + "wa y", + "w ay", + "▁гла за", + "▁глаз а", + "ер ы", + "е ры", + "зо вать", + "зова ть", + "▁п редо", + "▁пре до", + "▁пред о", + "▁с делать", + "▁сдела ть", + "ск е", + "с ке", + "▁у бе", + "▁с бор", + "▁сбо р", + "▁ сбор", + "▁об ъяс", + "▁объ яс", + "▁объя с", + "▁у ч", + "▁результа те", + "▁результат е", + "▁S e", + "▁ Se", + "ка з", + "к аз", + "▁Н у", + "▁ Ну", + "ше нно", + "шен но", + "ш енно", + "ot h", + "o th", + "п ли", + "▁п рода", + "▁про да", + "▁пр ода", + "▁прод а", + "▁ прода", + "▁Д у", + "▁ Ду", + "же м", + "ж ем", + "▁Р аз", + "▁Ра з", + "▁ Раз", + "▁L e", + "▁ Le", + "▁Г ла", + "▁во прос", + "▁вопро с", + "▁Д и", + "▁ Ди", + "ю щая", + "▁со став", + "▁соста в", + "▁сос тав", + "▁в ласти", + "▁вла сти", + "▁бо рь", + "▁бор ь", + "ни л", + "н ил", + "сно й", + "с ной", + "▁ак тив", + "▁акт ив", + "ми р", + "м ир", + "le ct", + "l ect", + "▁те чение", + "чна я", + "ч ная", + "лы й", + "ты е", + "▁а виа", + "ме на", + "мен а", + "м ена", + "▁из обра", + "▁изо бра", + "▁П ере", + "▁Пер е", + "▁Пе ре", + "▁ Пере", + "ri b", + "r ib", + "ди т", + "д ит", + "▁мо мент", + "▁ар мии", + "▁арми и", + "or n", + "ро т", + "р от", + "ло со", + "па ра", + "пар а", + "п ара", + "д ца", + "ле в", + "л ев", + "▁за кон", + "▁зако н", + "▁зак он", + "▁ закон", + "ча т", + "ч ат", + "бу дь", + "ce d", + "c ed", + "лк и", + "л ки", + "re n", + "r en", + "▁д руг", + "▁дру г", + "▁ друг", + "▁соб ствен", + "об ре", + "о бре", + "iv ers", + "iver s", + "i vers", + "ма я", + "м ая", + "▁де ле", + "▁дел е", + "▁ деле", + "▁органи за", + "чно е", + "ч ное", + "▁а пре", + "▁ап ре", + "ям и", + "я ми", + "for m", + "f orm", + "▁on ly", + "др о", + "д ро", + "▁м ет", + "▁ме т", + "▁ мет", + "▁при нци", + "▁прин ци", + "▁принц и", + "▁у до", + "▁уд о", + "▁т ек", + "▁те к", + "▁ тек", + "▁а рхи", + "▁ар хи", + "▁арх и", + "ня ть", + "нят ь", + "н ять", + "▁с разу", + "▁сра зу", + "▁поэ тому", + "▁поэтом у", + "▁не мец", + "▁нем ец", + "▁неме ц", + "▁ко ло", + "▁к оло", + "▁кол о", + "▁ коло", + "та р", + "т ар", + "▁кото рую", + "▁с обра", + "▁со бра", + "▁соб ра", + "▁бе зо", + "▁без о", + "▁слу ж", + "▁ служ", + "▁ст рои", + "▁стро и", + "▁ строи", + "▁чи та", + "▁ чита", + "▁b u", + "▁in ter", + "▁int er", + "▁inte r", + "▁ inter", + "сси и", + "с сии", + "▁к лу", + "▁ клу", + "▁но я", + "▁re g", + "▁ reg", + "▁не боль", + "▁небо ль", + "▁с вет", + "▁све т", + "▁св ет", + "▁ свет", + "▁по зи", + "▁поз и", + "▁ пози", + "▁в за", + "▁вз а", + "▁с ве", + "▁св е", + "▁ све", + "ски ми", + "ск ими", + "ским и", + "с кими", + "▁у каза", + "▁ука за", + "▁указ а", + "▁у стано", + "▁уста но", + "▁ус тано", + "▁д оба", + "▁до ба", + "▁доб а", + "▁са ми", + "▁сам и", + "▁ сами", + "▁I I", + "▁ II", + "] .", + "те льное", + "тель ное", + "тельно е", + "▁Укра и", + "▁ '", + "ри ть", + "рит ь", + "р ить", + "▁ми ро", + "▁мир о", + "мыш лен", + "▁p ubl", + "▁in d", + "▁i nd", + "▁ ind", + "▁вос ста", + "ри н", + "р ин", + "ча й", + "ч ай", + "▁помощ ью", + "▁помощь ю", + "е шь", + "че скую", + "▁c ons", + "▁con s", + "▁co ns", + "ме нты", + "мен ты", + "мент ы", + "м енты", + "▁по хо", + "▁пох о", + "▁та кие", + "▁таки е", + "р д", + "▁м я", + "▁ мя", + "▁пре зиден", + "▁ президен", + "▁ab out", + "▁предста вля", + "▁вне ш", + "▁ста нови", + "▁станов и", + "▁стано ви", + "▁ станови", + "▁w here", + "▁wh ere", + "▁whe re", + "▁ where", + "or ld", + "фи ка", + "фик а", + "▁м ень", + "▁ме нь", + "▁мен ь", + "▁ мень", + "ва ло", + "вал о", + "▁сле дует", + "▁следу ет", + "▁ следует", + "▁ни когда", + "▁нико гда", + "▁y ears", + "▁year s", + "▁от дель", + "▁отде ль", + "▁отдел ь", + "▁ре волю", + "▁ револю", + "▁матери а", + "▁мате риа", + "pr o", + "p ro", + "▁э ффек", + "▁ эффек", + "▁с тар", + "▁ст ар", + "▁ста р", + "▁ стар", + "▁По э", + "ев ра", + "е вра", + "▁ро д", + "▁р од", + "▁ род", + "▁Th is", + "ст ру", + "стр у", + "с тру", + "▁те а", + "▁фран цу", + "en er", + "ene r", + "e ner", + "▁s erv", + "▁ser v", + "▁ serv", + "жи т", + "ж ит", + "o int", + "▁сказа ть", + "▁ска зать", + "в ли", + "▁вы ше", + "▁ выше", + "▁Л о", + "▁ Ло", + "зна ча", + "з нача", + "▁и склю", + "▁ис клю", + "▁иск лю", + "▁в ол", + "▁во л", + "▁ вол", + "ch e", + "c he", + "у м", + "▁о черед", + "▁оче ред", + "▁очер ед", + "▁ди ви", + "▁ диви", + "чи сле", + "чис ле", + "▁( \"", + "▁ (\"", + "ци а", + "ру ет", + "▁ф рон", + "▁к ня", + "▁кн я", + "▁p e", + "▁ pe", + "ни це", + "ниц е", + "▁д рев", + "▁др ев", + "▁дре в", + "▁f l", + "▁ fl", + "▁луч ше", + "тно й", + "т ной", + "же й", + "ж ей", + "ди и", + "▁ $", + "к с", + "▁террито рии", + "▁кон тро", + "▁контр о", + "▁ контро", + "▁в ключа", + "▁вклю ча", + "▁re m", + "▁r em", + "▁ rem", + "▁за бо", + "▁заб о", + "▁полу чил", + "▁получи л", + "▁к ро", + "▁кр о", + "▁ кро", + "▁t han", + "▁th an", + "▁на чала", + "▁нача ла", + "▁начал а", + "▁нач ала", + "▁ начала", + "▁по ра", + "▁пор а", + "▁ пора", + "▁б ри", + "▁ бри", + "▁И ва", + "▁Ив а", + "в се", + "лы х", + "л ых", + "ни будь", + "▁про дук", + "▁проду к", + "▁ продук", + "▁за клю", + "▁зак лю", + "▁s ome", + "▁so me", + "▁som e", + "▁Со вет", + "▁Сов ет", + "▁Сове т", + "▁ Совет", + "▁за ме", + "▁зам е", + "лд а", + "л да", + "▁о грани", + "▁огра ни", + "▁ма ло", + "▁ мало", + "▁re l", + "▁r el", + "▁ rel", + "ем ых", + "емы х", + "е мых", + "te d", + "t ed", + "че ским", + "чески м", + "▁нача ле", + "▁начал е", + "▁нач але", + "▁ начале", + "▁a ss", + "▁as s", + "▁ ass", + "вр е", + "в ре", + "дер ж", + "ra ns", + "ran s", + "r ans", + "▁рай она", + "▁район а", + "▁рас простра", + "▁распро стра", + "со на", + "сон а", + "с она", + "▁e ar", + "▁ ear", + "we en", + "w een", + "▁д ня", + "▁ дня", + "▁f e", + "▁ fe", + "ри ан", + "риа н", + "je ct", + "j ect", + "▁универ сите", + "▁перио д", + "▁пери од", + "▁цен тра", + "▁центр а", + "▁ центра", + "i x", + "▁е дин", + "▁еди н", + "▁ед ин", + "▁ един", + "▁про изо", + "▁произ о", + "▁прои зо", + "го м", + "г ом", + "ai d", + "a id", + "▁возможно сть", + "▁возмо жность", + "▁бы стро", + "▁быст ро", + "▁встре ча", + "▁встреч а", + "бл я", + "б ля", + "▁m ost", + "▁ most", + "си ть", + "сит ь", + "с ить", + "▁четы ре", + "▁четыр е", + "▁ четыре", + "ль ю", + "л ью", + "t s", + "▁a ct", + "▁ac t", + "▁ act", + "▁t hen", + "▁the n", + "▁th en", + "▁ then", + "ца ми", + "цам и", + "▁с ере", + "▁се ре", + "▁сер е", + "я м", + "k s", + "вле нии", + "в лении", + "l l", + "▁О с", + "▁ф евра", + "▁фе вра", + "в шей", + "▁ли бо", + "▁ либо", + "is hed", + "ish ed", + "▁опреде лен", + "▁з е", + "▁ зе", + "се р", + "с ер", + "for e", + "f ore", + "во да", + "вод а", + "в ода", + "▁пло ща", + "▁ми лли", + "▁ милли", + "▁э кс", + "▁эк с", + "▁ экс", + "ле нь", + "лен ь", + "л ень", + "та й", + "т ай", + "ро вал", + "ров ал", + "рова л", + "▁нача ль", + "▁начал ь", + "▁нач аль", + "▁ р", + "id ent", + "ide nt", + "ство вать", + "ствова ть", + "▁са мом", + "▁само м", + "▁сам ом", + "▁при ро", + "▁го воря", + "▁говор я", + "▁гово ря", + "че ском", + "ческо м", + "ну лся", + "нул ся", + "▁п я", + "▁ пя", + "▁вто рой", + "▁втор ой", + "▁второ й", + "ou n", + "o un", + "▁во сто", + "▁вос то", + "▁ восто", + "по лне", + "пол не", + "▁рабо ту", + "▁работ у", + "ul ar", + "ula r", + "▁Т и", + "▁ Ти", + "▁th rough", + "▁thr ough", + "пи сы", + "пис ы", + "е вич", + "▁ка за", + "▁каз а", + "▁ каза", + "▁осу ществ", + "▁S h", + "▁ Sh", + "▁бо га", + "▁бог а", + "ra d", + "r ad", + "▁ка ждый", + "▁каж дый", + "▁кажды й", + "ству ют", + "▁Бо ль", + "▁Бол ь", + "▁ Боль", + "яс ь", + "я сь", + "▁с рав", + "▁сра в", + "▁ср ав", + "шко м", + "ш ком", + "▁Ми ха", + "▁м еди", + "▁ме ди", + "▁мед и", + "▁ меди", + "▁во обще", + "▁та ким", + "▁так им", + "▁таки м", + "во льно", + "воль но", + "▁по ве", + "▁пов е", + "▁за мет", + "▁заме т", + "▁зам ет", + "▁к ры", + "▁кр ы", + "▁ кры", + "ка де", + "чно сти", + "ч ности", + "▁v er", + "▁ve r", + "▁ ver", + "ме нтов", + "мен тов", + "мент ов", + "▁говори т", + "▁говор ит", + "▁гово рит", + "лы е", + "бо ра", + "бор а", + "ю з", + "▁ра бот", + "▁рабо т", + "▁раб от", + "▁по скольку", + "a h", + "▁рай оне", + "▁район е", + "▁у ме", + "▁ум е", + "▁ уме", + "▁д ра", + "▁др а", + "▁ дра", + "ер у", + "е ру", + "▁s y", + "▁ sy", + "▁груп пы", + "▁групп ы", + "▁ группы", + "ду ма", + "дум а", + "д ума", + "ol og", + "o log", + "▁вз гля", + "нс кий", + "н ский", + "г на", + "▁ро ль", + "▁тя же", + "▁тяж е", + "▁разви тия", + "бле й", + "бл ей", + "б лей", + "▁к ур", + "▁ку р", + "▁ кур", + "ж о", + "ра ви", + "рав и", + "▁к рай", + "▁кра й", + "▁кр ай", + "▁за виси", + "▁зави си", + "▁ зависи", + "▁пы та", + "▁ пыта", + "▁m ade", + "▁st ud", + "▁ре али", + "▁реа ли", + "▁ реали", + "▁s uch", + "▁suc h", + "▁su ch", + "ша ть", + "шат ь", + "at ing", + "ati ng", + "a ting", + "▁Поэ тому", + "▁d uring", + "▁du ring", + "▁у зна", + "▁уз на", + "▁а нти", + "▁ан ти", + "▁ анти", + "▁с тала", + "▁ст ала", + "▁ста ла", + "▁стал а", + "▁s ub", + "▁su b", + "▁ sub", + "пе ни", + "пен и", + "тер бур", + "▁м ая", + "▁ма я", + "▁ мая", + "▁исто ч", + "ри ю", + "▁ Z", + "▁с тало", + "▁ста ло", + "▁стал о", + "ти ческих", + "тически х", + "▁Ге рма", + "▁Гер ма", + "▁с к", + "▁ ск", + "ле та", + "лет а", + "▁се годня", + "▁сего дня", + "co de", + "c ode", + "ча ст", + "час т", + "да ть", + "дат ь", + "ро я", + "▁Р Ф", + "▁ РФ", + "▁пси хо", + "▁ психо", + "▁поль зова", + "▁ пользова", + "▁l oc", + "▁lo c", + "▁об яза", + "▁обя за", + "▁го то", + "▁ гото", + "ро вание", + "рова ние", + "▁со зна", + "▁соз на", + "▁ созна", + "▁та кое", + "▁так ое", + "▁со вершенно", + "▁совер шенно", + "▁совершен но", + "му ще", + "▁м ат", + "▁ма т", + "▁ мат", + "те льным", + "тель ным", + "тельны м", + "il y", + "i ly", + "об раз", + "обра з", + "▁a m", + "▁ am", + "во дя", + "вод я", + "mer ic", + "me ric", + "хо дят", + "ходя т", + "ход ят", + "▁на ходится", + "▁находи тся", + "▁находит ся", + "▁наход ится", + "as on", + "a son", + "▁f orm", + "▁for m", + "▁ form", + "▁вы ступа", + "▁выступ а", + "да ря", + "дар я", + "▁з ву", + "▁зв у", + "▁ зву", + "над ле", + "▁c ent", + "▁ce nt", + "▁ cent", + "▁о писа", + "▁опи са", + "▁м ор", + "▁мо р", + "▁ мор", + "▁от ношения", + "▁отно шения", + "▁отноше ния", + "▁т ро", + "▁тр о", + "▁ тро", + "o h", + "▁доста точно", + "▁достато чно", + "▁боль шин", + "▁e nd", + "▁en d", + "▁ end", + "▁тра ди", + "сла в", + "сл ав", + "с лав", + "де ния", + "oll ow", + "се н", + "с ен", + "▁не из", + "▁неи з", + "▁bet ween", + "p r", + "ль зя", + "▁о гром", + "▁ог ром", + "▁де тей", + "▁дет ей", + "▁дете й", + "он и", + "о ни", + "▁э тому", + "▁это му", + "▁этом у", + "▁про води", + "▁прово ди", + "▁провод и", + "▁у кра", + "ми ра", + "мир а", + "▁м ногие", + "▁мно гие", + "▁многи е", + "▁не е", + "▁ нее", + "▁ре ли", + "▁ рели", + "те к", + "т ек", + "▁ме сте", + "▁мест е", + "▁дея тельности", + "▁деятель ности", + "▁ деятельности", + "▁О р", + "▁ Ор", + "▁пу бли", + "▁ публи", + "▁К роме", + "▁Кро ме", + "он ов", + "оно в", + "о нов", + "▁от ве", + "▁по ро", + "▁пор о", + "▁ поро", + "▁м еха", + "▁ме ха", + "▁ меха", + "ство вал", + "ствова л", + "▁Г у", + "▁ Гу", + "▁вы с", + "▁ выс", + "▁ком пании", + "▁компа нии", + "to n", + "t on", + "ev er", + "e ver", + "▁о боро", + "▁обо ро", + "ст ом", + "сто м", + "с том", + "il m", + "▁тыся ч", + "in s", + "i ns", + "▁c ol", + "▁co l", + "▁ col", + "лк о", + "л ко", + "▁пра ва", + "▁прав а", + "▁ права", + "▁при ве", + "▁прив е", + "по в", + "п ов", + "▁в сей", + "▁все й", + "▁вс ей", + "ли на", + "лин а", + "л ина", + "▁харак тер", + "ar s", + "▁m ov", + "то н", + "т он", + "▁ко нечно", + "▁коне чно", + "▁смер ти", + "▁ка ждо", + "▁каж до", + "те льности", + "тель ности", + "тельно сти", + "▁с нова", + "▁сно ва", + "▁ снова", + "о з", + "▁ве дь", + "▁вед ь", + "▁ ведь", + "чи к", + "▁с це", + "▁ сце", + "it ies", + "i ties", + "▁о конча", + "▁окон ча", + "▁мно гих", + "▁многи х", + "зе м", + "з ем", + "ai r", + "a ir", + "▁соста вля", + "▁состав ля", + "ма х", + "▁Ч а", + "▁ Ча", + "▁ию ля", + "el f", + "ли т", + "л ит", + "po s", + "p os", + "▁чемпи она", + "▁чемпион а", + "▁А нд", + "▁Ан д", + "▁ Анд", + "ci al", + "c ial", + "▁са мого", + "▁само го", + "▁дол го", + "▁долг о", + "▁ долго", + "▁пу нк", + "▁ пунк", + "▁n o", + "▁ no", + "лк а", + "л ка", + "ге р", + "г ер", + "ре ние", + "▁со про", + "▁in v", + "▁ст рук", + "▁стру к", + "▁ струк", + "▁при надле", + "го вор", + "гов ор", + "гово р", + "ч ку", + "▁хо те", + "▁х оте", + "▁В оз", + "▁Во з", + "▁ Воз", + "▁in c", + "▁ inc", + "по м", + "п ом", + "▁us ed", + "▁use d", + "▁ used", + "ни ками", + "ника ми", + "никам и", + "a z", + "at t", + "a tt", + "ov ern", + "over n", + "▁тре бу", + "▁в нимание", + "▁внима ние", + "ou se", + "ous e", + "o use", + "▁наи более", + "ща ет", + "▁о ст", + "▁ос т", + "га н", + "г ан", + "ar g", + "▁а б", + "ди я", + "ли ть", + "лит ь", + "л ить", + "al s", + "a ls", + "ik e", + "i ke", + "▁од ним", + "▁одни м", + "▁кон ф", + "▁A n", + "▁ An", + "▁l ater", + "▁la ter", + "▁late r", + "▁lat er", + "ли бо", + "ги е", + "че ства", + "щи м", + "щ им", + "со к", + "с ок", + "ла ми", + "лам и", + "▁p ol", + "▁po l", + "▁сен тября", + "▁мо гли", + "▁мог ли", + "ствен ные", + "стве нные", + "ственны е", + "▁сооб щи", + "an y", + "a ny", + "ри а", + "▁за яви", + "▁зая ви", + "тны е", + "т ные", + "▁о ши", + "мо би", + "e x", + "ро б", + "р об", + "▁произ води", + "▁производ и", + "▁произво ди", + "▁ производи", + "▁м она", + "▁мо на", + "▁мон а", + "▁ мона", + "▁органи зации", + "▁организа ции", + "▁тех ни", + "▁ техни", + "ю сь", + "he n", + "h en", + "жны е", + "ж ные", + "▁d ef", + "▁de f", + "▁ def", + "▁авгу ста", + "▁ию ня", + "▁хо зяй", + "▁хозя й", + "▁ хозяй", + "ду т", + "д ут", + "д ки", + "▁b l", + "▁ bl", + "▁при ходи", + "▁приход и", + "▁прихо ди", + "el d", + "e ld", + "▁ко личество", + "▁количе ство", + "▁Б ер", + "▁Бе р", + "▁ Бер", + "▁бли з", + "по зи", + "▁p res", + "▁pre s", + "▁pr es", + "нно го", + "н ного", + "▁ру ковод", + "▁руко вод", + "▁в сю", + "▁вс ю", + "смо тря", + "смотр я", + "за д", + "з ад", + "▁про ве", + "▁руко води", + "▁руковод и", + "▁воз ник", + "e y", + "ot her", + "oth er", + "o ther", + "▁пре вра", + "▁пр евра", + "▁вой ска", + "▁войск а", + "▁c o", + "▁ co", + "▁ад министра", + "▁на шей", + "▁наш ей", + "▁наше й", + "if e", + "i fe", + "▁я вляются", + "▁явля ются", + "▁яв ляются", + "▁сто я", + "▁ стоя", + "an n", + "c c", + "ве дение", + "веде ние", + "▁ма рта", + "▁мар та", + "▁дела ть", + "▁ делать", + "З а", + "▁д ней", + "▁дне й", + "▁С ан", + "▁Са н", + "▁ Сан", + "зе й", + "з ей", + "▁сов сем", + "ie w", + "i ew", + "▁фо то", + "▁ фото", + "ти л", + "т ил", + "▁ок тября", + "▁а нали", + "▁ана ли", + "▁ан али", + "▁ анали", + "▁сте пени", + "пе й", + "п ей", + "▁янва ря", + "тны й", + "т ный", + "▁не сколь", + "▁неско ль", + "▁нес коль", + "▁c all", + "▁cal l", + "пи си", + "пис и", + "▁по и", + "те лями", + "теля ми", + "телям и", + "тел ями", + "▁го дах", + "▁года х", + "жа л", + "ж ал", + "чно м", + "ч ном", + "if ic", + "i fic", + "▁П ред", + "▁Пре д", + "▁ Пред", + "▁по чему", + "▁поче му", + "▁соста ве", + "▁состав е", + "▁A meric", + "▁ Americ", + "ie t", + "i et", + "ло жения", + "ложе ния", + "▁пря мо", + "тк а", + "т ка", + "▁Фе дера", + "▁со еди", + "▁ соеди", + "▁и мени", + "▁име ни", + "▁имен и", + "не ний", + "▁кото рым", + "▁которы м", + "▁слу чай", + "▁случа й", + "▁ра зре", + "▁раз ре", + "du c", + "d uc", + "жи ть", + "жит ь", + "ж ить", + "▁вы з", + "ic s", + "▁th ree", + "▁thr ee", + "ко нец", + "кон ец", + "коне ц", + "▁от сут", + "▁отс ут", + "ou th", + "out h", + "o uth", + "! \"", + "ру с", + "р ус", + "ве ро", + "вер о", + "▁фран цуз", + "▁францу з", + "▁ француз", + "▁Ф и", + "▁ Фи", + "Н а", + "▁фи лосо", + "▁фило со", + "ло ва", + "лов а", + "▁пре ду", + "▁пред у", + "ку ль", + "▁дей ствия", + "▁действи я", + "in ce", + "inc e", + "i nce", + "op le", + "o ple", + "▁пра кти", + "▁прак ти", + "▁ин ститу", + "нт а", + "н та", + "ет ы", + "е ты", + "or th", + "ort h", + "is ion", + "▁то й", + "▁т ой", + "▁ той", + "▁s et", + "▁se t", + "▁ set", + "▁за вер", + "▁заве р", + "▁се зо", + "▁си лы", + "▁сил ы", + "▁p os", + "▁po s", + "▁ pos", + "▁д р", + "▁ др", + "▁f ound", + "▁с ни", + "▁ сни", + "ва лось", + "вало сь", + "▁обы чно", + "ли чие", + "личи е", + "▁пре ступ", + "▁пре жде", + "▁преж де", + "▁в ид", + "▁ви д", + "▁ вид", + "▁по вы", + "▁пов ы", + "те ре", + "тер е", + "т ере", + "шн о", + "ш но", + "▁ц ар", + "▁ца р", + "▁ цар", + "бе н", + "б ен", + "▁e nt", + "▁en t", + "▁ ent", + "ст но", + "с тно", + "ie r", + "i er", + "▁на зад", + "▁наз ад", + "ра м", + "р ам", + "Т А", + "▁дру га", + "▁друг а", + "ro und", + "r ound", + "▁n um", + "▁дол жна", + "▁долж на", + "▁ви ди", + "▁вид и", + "▁ види", + "ме нь", + "мен ь", + "м ень", + "в ь", + "▁не которые", + "▁некоторы е", + "▁некото рые", + "at her", + "ath er", + "a ther", + "▁г ер", + "▁ге р", + "▁ гер", + "▁т вор", + "▁тво р", + "▁тв ор", + "▁ твор", + "▁се мь", + "▁сем ь", + "em ent", + "e ment", + "ми я", + "▁з да", + "▁ зда", + "▁а л", + "▁ ал", + "по р", + "п ор", + "▁об раз", + "▁обра з", + "▁ образ", + "п ле", + "▁коман ди", + "▁команд и", + "▁ми ре", + "▁мир е", + "▁дека бря", + "▁су б", + "▁по ряд", + "де ля", + "дел я", + "▁be ing", + "iv ed", + "ive d", + "i ved", + "▁у частие", + "▁участи е", + "тно го", + "т ного", + "▁эк спе", + "▁экс пе", + "▁И с", + "▁ Ис", + "ту ре", + "тур е", + "т уре", + "al e", + "a le", + "▁ра вно", + "▁рав но", + "a j", + "▁pro v", + "▁pr ov", + "ско ре", + "скор е", + "▁ком му", + "▁ комму", + "▁д во", + ". :", + "▁между народ", + "▁с виде", + "▁сви де", + "▁св иде", + "▁до пол", + "▁с ъ", + "ни на", + "нин а", + "н ина", + "ow er", + "o wer", + "▁фи нан", + "▁фина н", + "▁фин ан", + "co m", + "c om", + "▁д вига", + "▁дви га", + "▁ двига", + "▁ре шение", + "▁реше ние", + "▁а п", + "▁ ап", + "▁боль шой", + "▁большо й", + "▁з оло", + "▁зо ло", + "▁ золо", + "t y", + "in es", + "ine s", + "i nes", + "во к", + "в ок", + "ли к", + "сс ы", + "с сы", + "▁w ell", + "▁we ll", + "▁ well", + "ло жение", + "ложе ние", + "▁ар ти", + "▁арт и", + "▁при бы", + "емы е", + "е мые", + "▁g o", + "▁ go", + "ве й", + "в ей", + "vel op", + "ли м", + "л им", + "▁у правления", + "▁упра вления", + "▁# #", + "▁ ##", + "▁ка пита", + "▁капи та", + "▁пол ностью", + "▁полно стью", + "ди на", + "дин а", + "д ина", + "▁от мет", + "▁отме т", + "на дца", + "над ца", + "ow ever", + "пер вые", + "▁апре ля", + "пра в", + "пр ав", + "п рав", + "то ров", + "тор ов", + "торо в", + "кла ды", + "клад ы", + "▁S he", + "▁Sh e", + "ли во", + "лив о", + "er t", + "хо м", + "х ом", + "▁су дь", + "▁суд ь", + "де л", + "at ive", + "ati ve", + "▁ко ле", + "▁к оле", + "▁кол е", + "▁ коле", + "▁фор ма", + "▁фо рма", + "▁форм а", + "▁ форма", + "▁по во", + "▁пов о", + "ев а", + "е ва", + "▁A t", + "▁з ве", + "▁зв е", + "▁ зве", + "▁да нных", + "▁дан ных", + "▁в спо", + "▁вс по", + "▁ком плек", + "▁комп лек", + "▁ комплек", + "ra l", + "r al", + "▁сли шком", + "▁м ере", + "▁ме ре", + "▁мер е", + "▁п опа", + "▁по па", + "▁поп а", + "▁не с", + "▁ нес", + "▁се рь", + "▁сер ь", + "▁о би", + "▁об и", + "▁в ок", + "▁во к", + "▁ вок", + "▁г г", + "▁ гг", + "▁d ec", + "▁de c", + "▁с ре", + "▁ср е", + "▁ сре", + "▁проис ходит", + "▁происхо дит", + "▁со бира", + "мо р", + "м ор", + "▁с пу", + "▁обла да", + "▁обл ада", + "▁то н", + "▁т он", + "▁ тон", + "да ми", + "дам и", + "st em", + "ste m", + "▁ти па", + "▁тип а", + "▁по ко", + "па сности", + "пас ности", + "в шая", + "мы х", + "м ых", + "▁о свобо", + "▁ос вобо", + "is e", + "i se", + "▁та кого", + "▁ни ми", + "▁н ими", + "▁ним и", + "▁ ними", + "ре менно", + "ремен но", + "рем енно", + "s s", + "ч ную", + "▁сто ит", + "▁стои т", + "▁ стоит", + "▁исполь зовать", + "▁использова ть", + "▁ва риан", + "▁вариа н", + "▁к ино", + "▁ки но", + "▁кин о", + "▁ кино", + "ль ном", + "льно м", + "▁про стран", + "▁прос тран", + "▁прост ран", + "▁государ ства", + "▁государств а", + "▁во ору", + "▁воо ру", + "▁по вто", + "▁пов то", + "▁ <", + "▁с про", + "▁по верх", + "▁повер х", + "гра д", + "гр ад", + "г рад", + "as h", + "a sh", + "ни ях", + "ния х", + "▁спе циали", + "▁специ али", + "го тов", + "гото в", + "ur y", + "u ry", + "▁again st", + "▁bec ame", + "▁у ви", + "▁пер вой", + "▁перво й", + "▁а ль", + "▁ал ь", + "▁ аль", + "▁Э ти", + "▁за хва", + "▁о те", + "▁от е", + "▁ оте", + "▁на ходя", + "▁наход я", + "▁от да", + "▁ноя бря", + "▁P ro", + "▁Pr o", + "▁ Pro", + "ка р", + "к ар", + "▁по пу", + "▁поп у", + "▁с на", + "▁ сна", + "▁пу ти", + "▁пут и", + "▁m any", + "▁man y", + "▁о фициаль", + "▁офи циаль", + "▁во ды", + "▁вод ы", + "▁ воды", + "▁глу бо", + "▁с тол", + "▁ст ол", + "▁сто л", + "▁ стол", + "▁Б и", + "▁ Би", + "▁вза имо", + "▁взаим о", + "▁мо щ", + "▁ мощ", + "со н", + "с он", + "бо м", + "б ом", + "▁т реть", + "▁тре ть", + "▁тр еть", + "▁ треть", + "▁кар ти", + "▁карт и", + "▁ *", + "мы е", + "▁wh ile", + "▁ while", + "▁не льзя", + "ви д", + "в ид", + "▁же лез", + "▁желе з", + "▁жел ез", + "е го", + "▁к ам", + "▁ка м", + "▁ кам", + "▁t rans", + "▁tra ns", + "▁tr ans", + "▁об щества", + "▁обще ства", + "▁обществ а", + "te n", + "t en", + "те льность", + "тель ность", + "тельно сть", + "ни ц", + "ро го", + "рог о", + "▁за ста", + "▁зас та", + "▁a dd", + "▁ad d", + "▁ add", + "▁e m", + "▁ em", + "is m", + "i sm", + "▁анг лий", + "▁ англий", + "ча ть", + "чат ь", + "▁Ш а", + "▁ Ша", + "le d", + "l ed", + "кто ра", + "ктор а", + "к тора", + "▁w ill", + "▁s ur", + "▁su r", + "▁и мя", + "▁им я", + "▁лег ко", + "▁б уд", + "▁бу д", + "▁ret urn", + "▁дви жения", + "▁f ollow", + "▁бо лез", + "▁бол ез", + "▁боле з", + "▁те бя", + "д лен", + "▁sec ond", + "aus e", + "au se", + "a use", + "▁мно же", + "▁д ы", + "▁ ды", + "▁вы да", + "▁о ружи", + "▁ору жи", + "▁p h", + "▁ ph", + "▁за кры", + "▁зак ры", + "те ря", + "тер я", + "▁меха ни", + "▁ .", + "ез д", + "е зд", + "c k", + "▁го дов", + "▁год ов", + "ма на", + "ман а", + "м ана", + "во в", + "в ов", + "но вь", + "нов ь", + "▁про мышлен", + "▁ промышлен", + "▁f am", + "▁fa m", + "in ed", + "ine d", + "i ned", + "▁ди ре", + "it s", + "i ts", + "▁b ack", + "▁ back", + "▁объ еди", + "▁объе ди", + "но си", + "нос и", + "н оси", + "▁на ме", + "▁нам е", + "▁ наме", + "же нием", + "жение м", + "▁сред ства", + "▁средств а", + "▁ >", + "▁на чал", + "▁нача л", + "▁нач ал", + "▁е сте", + "▁им пера", + "▁импе ра", + "▁импер а", + "so n", + "s on", + "ти ческие", + "тически е", + "▁уда лось", + "▁тех нологи", + "▁техно логи", + "▁ технологи", + "▁f ilm", + "▁fil m", + "▁ду хов", + "▁дух ов", + "▁духо в", + "▁ты с", + "er n", + "ля х", + "л ях", + "▁о казыва", + "▁ока зыва", + "er m", + "e rm", + "ствен ным", + "стве нным", + "ственны м", + "▁ру ки", + "▁рук и", + "ль ную", + "▁а на", + "▁ан а", + "▁ ана", + "▁по лови", + "▁поло ви", + "▁полов и", + "▁т ай", + "▁та й", + "▁ тай", + "▁зна чение", + "те льная", + "тель ная", + "тельна я", + "▁be fore", + "жи л", + "ж ил", + "▁инте рес", + "▁интере с", + "▁кор пу", + "▁d ay", + "▁ day", + "▁C l", + "▁ Cl", + "▁на ши", + "▁наш и", + "▁насе ления", + "ствен ное", + "стве нное", + "ственно е", + "▁in st", + "▁ins t", + "пу та", + "пут а", + "▁по жа", + "▁ пожа", + "▁по ги", + "жны й", + "ж ный", + "▁за па", + "▁З ем", + "▁Зе м", + "ни ли", + "нил и", + "н или", + "? \"", + "▁с ил", + "▁си л", + "▁ сил", + "ни цу", + "ниц у", + "▁о жида", + "▁ожи да", + "ро е", + "р ое", + "▁ино гда", + "▁обна ружи", + "▁обнару жи", + "р ё", + "▁М ак", + "▁Ма к", + "▁ Мак", + "нк а", + "н ка", + "▁и то", + "em b", + "e mb", + "д ко", + "ры в", + "хо т", + "х от", + "▁а н", + "▁ ан", + "x t", + "▁о щу", + "▁с ум", + "▁су м", + "▁пред прия", + "▁предпри я", + "▁вер си", + "▁re le", + "▁rel e", + "▁де не", + "▁ден е", + "▁ дене", + "▁разли чных", + "▁ \\", + "кла д", + "кл ад", + "к лад", + "▁пар тии", + "▁парти и", + "вле ны", + "влен ы", + "в лены", + "▁о ди", + "▁од и", + "▁под держ", + "y s", + "та ли", + "тал и", + "т али", + "▁ма лень", + "am es", + "ame s", + "a mes", + "▁o wn", + "▁ own", + "▁се кре", + "▁сек ре", + "▁ секре", + "▁м ой", + "▁мо й", + "▁ мой", + "▁пе с", + "pl e", + "p le", + "▁i f", + "▁ if", + "▁у ничто", + "▁уни что", + "▁a ny", + "▁an y", + "▁ any", + "▁ л", + "сту пил", + "ступ ил", + "ступи л", + "ле ко", + "лек о", + "ре е", + "▁го роде", + "▁горо де", + "▁город е", + "▁наз вание", + "▁назва ние", + "▁у строй", + "▁устро й", + "▁ устрой", + "▁т ур", + "▁ту р", + "▁ тур", + "ди й", + "▁от лича", + "▁отли ча", + "▁г ро", + "▁гр о", + "▁ гро", + "-- --", + "▁авто моби", + "▁не доста", + "▁недо ста", + "▁te am", + "сто ит", + "ter s", + "t ers", + "▁са мых", + "▁самы х", + "▁сам ых", + "▁но вые", + "▁ новые", + "▁Ч ер", + "▁Че р", + "▁ Чер", + "▁X V", + "▁ XV", + "▁ка кие", + ".. ..", + "... .", + ". ...", + "шё л", + "ш ёл", + "▁не воз", + "▁нев оз", + "▁нево з", + "▁си стема", + "▁систе ма", + "▁сист ема", + "▁систем а", + "▁с воем", + "▁сво ем", + "▁свое м", + "ut ion", + "u tion", + "га ми", + "гам и", + "▁чи сло", + "▁по ку", + "ты м", + "сре д", + "с ред", + "▁весь ма", + "▁февра ля", + "▁pe ople", + "▁е вро", + "▁ев ро", + "▁ евро", + "шт а", + "ш та", + "▁в полне", + "▁Ва си", + "▁Вас и", + "e b", + "▁станови тся", + "▁станов ится", + "▁стано вится", + "▁s aid", + "ны не", + "ме ть", + "мет ь", + "м еть", + "ч о", + "ре м", + "р ем", + "рк о", + "р ко", + "▁сим во", + "▁за пад", + "▁запа д", + "▁ запад", + "▁худо ж", + "▁s chool", + "▁sch ool", + "▁рабо те", + "▁работ е", + "▁раб оте", + "▁F or", + "▁ For", + "▁Моск ве", + "ющи ми", + "ющим и", + "ю щими", + "вле ка", + "в лека", + "т бо", + "ви ча", + "вич а", + "▁и сти", + "▁ис ти", + "▁ист и", + "▁ исти", + "▁со лда", + "фор ми", + "форм и", + "дж а", + "д жа", + "ce pt", + "▁тре х", + "▁некоторы х", + "▁некото рых", + "нк и", + "н ки", + "▁в оло", + "▁во ло", + "▁вол о", + "▁ воло", + "▁с ю", + "▁ сю", + "ль я", + "л ья", + "ба ты", + "бат ы", + "че нии", + "ra ct", + "rac t", + "r act", + "▁но вых", + "▁нов ых", + "▁ новых", + "ша ет", + "▁жур на", + "ow s", + "вши м", + "в шим", + "▁I nd", + "▁In d", + "▁ Ind", + "▁наз ва", + "▁A fter", + "▁Af ter", + "▁п ять", + "▁пя ть", + "▁пят ь", + "▁ пять", + "in n", + "юз а", + "ю за", + "▁при обре", + "▁прио бре", + "▁приоб ре", + "на вли", + "нав ли", + "▁ре з", + "▁р ез", + "▁ рез", + "ul l", + "u ll", + "▁l ead", + "▁le ad", + "▁но рма", + "▁нор ма", + "▁норм а", + "▁ норма", + "сси она", + "ссион а", + "▁от каза", + "▁отка за", + "▁отказ а", + "ща ется", + "щает ся", + "▁с оба", + "▁со ба", + "▁соб а", + "▁име ют", + "▁имею т", + "▁пре доста", + "▁пред оста", + "▁предо ста", + "ди л", + "д ил", + "▁S c", + "▁ Sc", + "ur es", + "ure s", + "u res", + "▁п рак", + "▁пра к", + "▁пр ак", + "▁c ould", + "▁cou ld", + "де м", + "д ем", + "an k", + "▁к уда", + "▁ку да", + "▁ куда", + "ва лась", + "вала сь", + "та ки", + "так и", + "че нием", + "чение м", + "▁ни з", + "▁н из", + "▁ низ", + "▁о то", + "▁от о", + "▁до бро", + "▁доб ро", + "▁ добро", + "▁Во сто", + "▁Вос то", + "▁ Восто", + "▁а ре", + "▁ар е", + "не нии", + "▁расска за", + "▁расс каза", + "▁рассказ а", + "се й", + "с ей", + "▁ре ки", + "▁рек и", + "но временно", + "нов ременно", + "новремен но", + "▁раз ных", + "ir ect", + "ire ct", + "i rect", + "ри т", + "р ит", + "▁действи тельно", + "▁ко го", + "▁ кого", + "▁возможно сти", + "▁возмо жности", + "▁ре ше", + "▁до вольно", + "▁доволь но", + "▁дово льно", + "при нима", + "▁Это т", + "ie ld", + "iel d", + "i eld", + "▁в новь", + "▁рабо чи", + "▁ин формации", + "▁информа ции", + "▁d id", + "▁di d", + "▁даль ней", + "те т", + "т ет", + "▁кри ти", + "вле нием", + "вление м", + "в лением", + "▁ре ак", + "▁реа к", + "че к", + "ч ек", + "▁к роме", + "▁кро ме", + "▁кром е", + "ar ri", + "▁фор ми", + "▁форм и", + "▁ форми", + "f l", + "▁ре гу", + "▁ра н", + "▁р ан", + "▁ ран", + "фи ци", + "▁мы сли", + "▁мыс ли", + "▁ мысли", + "стро ен", + "строе н", + "да х", + "▁ф ло", + "▁ фло", + "f ul", + "▁ра в", + "▁р ав", + "▁ рав", + "ще м", + "щ ем", + "is ts", + "ist s", + "▁це ли", + "▁ра дио", + "▁ради о", + "▁воз мо", + "▁ возмо", + "▁вы зыва", + "▁воз ника", + "▁возник а", + "бра н", + "бр ан", + "б ран", + "▁ap pe", + "▁app e", + "▁ appe", + "▁наблю да", + "▁са мым", + "▁самы м", + "▁W h", + "▁спо со", + "▁Росси йской", + "▁Россий ской", + "нно е", + "н ное", + "ма р", + "м ар", + "▁ar t", + "▁ art", + "▁з о", + "▁ зо", + "▁о ри", + "▁ор и", + "▁ ори", + "жно го", + "ж ного", + "▁за я", + "▁з ая", + "гл и", + "г ли", + "ся т", + "с ят", + "▁о бви", + "▁об ви", + "▁ц а", + "▁ ца", + "ри с", + "р ис", + "же ний", + "ivers ity", + "г ну", + "по ли", + "пол и", + "не нию", + "▁d if", + "▁di f", + "▁при сут", + "▁прис ут", + "▁прису т", + "ст ями", + "стя ми", + "стям и", + "с тями", + "▁b oth", + "▁bo th", + "по д", + "п од", + "ше му", + "шем у", + "й н", + "де ле", + "дел е", + "▁s ign", + "пи сь", + "пис ь", + "▁з рения", + "▁зре ния", + "▁ зрения", + "▁ф он", + "▁фо н", + "▁ фон", + "д ж", + "a x", + "чно сть", + "ч ность", + "▁под твер", + "▁p op", + "▁po p", + "са ми", + "сам и", + "▁о дном", + "▁од ном", + "▁одно м", + "ro n", + "r on", + "▁тран спо", + "▁транс по", + "c y", + "на чала", + "нача ла", + "ir ed", + "ire d", + "i red", + "▁ос нове", + "▁основ е", + "▁осно ве", + "▁хо ло", + "▁х оло", + "▁хол о", + "▁ холо", + "at ure", + "atur e", + "a ture", + "▁includ ing", + "▁ including", + "нна я", + "н ная", + "▁соответ ству", + "но с", + "н ос", + "▁de velop", + "▁куль туры", + "▁культур ы", + "емы й", + "е мый", + "▁кон ца", + "▁конц а", + "▁o b", + "▁ ob", + "та ть", + "▁но вого", + "▁ново го", + "▁ нового", + "▁ча сов", + "▁час ов", + "pe d", + "p ed", + "бо в", + "б ов", + "▁m et", + "▁me t", + "▁ met", + "ти ю", + "ти ли", + "тил и", + "т или", + "э н", + "▁ро да", + "▁род а", + "▁р ода", + "▁ рода", + "чным и", + "чны ми", + "ч ными", + "▁те бе", + "▁/ /", + "▁ //", + "▁рас ши", + "de r", + "d er", + "▁са мой", + "▁само й", + "▁сам ой", + "ши ть", + "шит ь", + "ш ить", + "▁рас сматри", + "▁расс матри", + "ut e", + "u te", + "му ю", + "м ую", + "би ли", + "бил и", + "б или", + "▁ре шения", + "▁реше ния", + "▁s er", + "▁se r", + "▁ ser", + "хо дить", + "ходи ть", + "ход ить", + "ходит ь", + "▁о знача", + "▁оз нача", + "▁озна ча", + "ро с", + "р ос", + "ло гии", + "логи и", + "▁фор му", + "▁форм у", + "▁d ist", + "▁dis t", + "▁di st", + "▁день ги", + "overn ment", + "▁C ol", + "▁Co l", + "▁ Col", + "▁e st", + "▁es t", + "▁ est", + "iv er", + "ive r", + "i ver", + "▁но вый", + "▁ новый", + "до ров", + "доро в", + "дор ов", + "чи ты", + "чит ы", + "к ва", + "▁ге ро", + "▁гер о", + "▁в ет", + "▁ве т", + "▁ вет", + "▁кни ги", + "▁книг и", + "но вич", + "нови ч", + "ve d", + "v ed", + "▁д ом", + "▁до м", + "▁ дом", + "▁Мо сков", + "▁Моск ов", + "▁ Москов", + "▁за пре", + "▁при з", + "▁пр из", + "▁ приз", + "▁ко ллек", + "▁кол лек", + "▁колле к", + "ше д", + "ш ед", + "▁h igh", + "▁hig h", + "же те", + "жет е", + "ж ете", + "▁m us", + "▁помо щи", + "▁помощ и", + "▁Т ем", + "▁Те м", + "▁по свя", + "▁пос вя", + "▁с лово", + "▁сло во", + "▁слов о", + "ст ья", + "сть я", + "с тья", + "▁Александ р", + "▁ре ко", + "▁рек о", + "о графи", + "▁б ю", + "▁ бю", + "▁B l", + "▁ Bl", + "▁несколь ких", + "▁ли ца", + "▁лиц а", + "▁ лица", + "ми н", + "м ин", + "▁c ap", + "▁то чки", + "▁точ ки", + "▁ точки", + "t ing", + "▁пер сона", + "▁персо на", + "▁у си", + "▁ус и", + "▁s m", + "▁ sm", + "ри л", + "р ил", + "▁m od", + "▁ mod", + "▁m on", + "▁ mon", + "ve n", + "v en", + "ual ly", + "u ally", + "▁ли цо", + "▁лиц о", + "се д", + "с ед", + "▁p ublic", + "▁publ ic", + "▁у з", + "▁ уз", + "▁Те перь", + "▁f our", + "▁m ain", + "С К", + "▁цер ков", + "▁церк ов", + "ня ет", + "ain ed", + "ai ned", + "aine d", + "a ined", + "че ство", + "▁c ount", + "▁co unt", + "▁cou nt", + "▁coun t", + "▁С вя", + "▁Св я", + "▁ Свя", + "са м", + "с ам", + "▁ch ar", + "▁ни кто", + "▁ник то", + "▁во круг", + "▁вок руг", + "▁утвер жда", + "▁гу бер", + "▁губ ер", + "▁по следова", + "▁после дова", + "▁бо я", + "▁опреде ля", + "▁не зависи", + "▁неза виси", + "мы м", + "▁пер во", + "▁b ro", + "▁br o", + "▁ bro", + "▁на йти", + "▁най ти", + "▁З десь", + "▁Та ким", + "▁Так им", + "▁e d", + "▁ ed", + "бе ре", + "бер е", + "б ере", + "▁бе спо", + "▁бес по", + "▁э по", + "iz ed", + "ize d", + "▁услови ях", + "▁условия х", + "▁се вер", + "▁Укра ины", + "▁Украи ны", + "▁Украин ы", + "▁рабо тать", + "▁работа ть", + "лы ша", + "ез да", + "езд а", + "е зда", + "ob er", + "obe r", + "o ber", + "К а", + "слу жи", + "служ и", + "▁сов ме", + "▁сторо ну", + "▁сторон у", + "te nd", + "ten d", + "t end", + "▁на по", + "че та", + "чет а", + "ня ется", + "няет ся", + "вар ти", + "▁на пря", + "▁напр я", + "сс у", + "с су", + "кре п", + "▁од ну", + "ни ку", + "ник у", + "ri ng", + "r ing", + "▁the se", + "▁th ese", + "le y", + "l ey", + "▁\\ -", + "ar ed", + "are d", + "a red", + "▁C on", + "▁Co n", + "▁ Con", + "▁J oh", + "▁Jo h", + "▁фу тбо", + "▁фут бо", + "ж д", + "за ция", + "▁ре лиги", + "▁рели ги", + "▁Ц ен", + "▁Це н", + "▁ Цен", + "▁б ло", + "▁ бло", + "ла м", + "л ам", + "us s", + "u ss", + "▁rec ord", + "▁по про", + "▁поп ро", + "▁a cc", + "▁ac c", + "▁ acc", + "▁и дет", + "▁иде т", + "▁ид ет", + "К о", + "ле нию", + "лени ю", + "ше т", + "ш ет", + "▁g roup", + "▁gro up", + "▁раз ру", + "▁на ших", + "▁наши х", + "▁наш их", + "ер ен", + "ере н", + "е рен", + "▁вы бо", + "ню ю", + "▁гражда н", + "▁А нг", + "▁Ан г", + "це м", + "ц ем", + "▁очеред ь", + "ла х", + "▁З на", + "▁ Зна", + "го й", + "г ой", + "▁ме ньше", + "▁мень ше", + "▁c re", + "▁cr e", + "▁se ason", + "▁sea son", + "t il", + "шло сь", + "ш лось", + "ен та", + "ент а", + "е нта", + "▁э пи", + "▁ эпи", + "га ет", + "▁А в", + "жа й", + "ж ай", + "▁ка са", + "▁ каса", + "▁меди ци", + "сте п", + "▁у м", + "▁ ум", + "ть я", + "т ья", + "ст р", + "с тр", + "ристи ан", + "pe ct", + "p ect", + "▁а каде", + "▁X I", + "и с", + "▁у с", + "▁ ус", + "▁пер вого", + "▁перво го", + "▁по теря", + "▁потер я", + "▁поте ря", + "▁Un ited", + "▁О те", + "▁От е", + "▁ми нут", + "▁мину т", + "▁мин ут", + "▁с кры", + "▁ск ры", + "▁ скры", + "t t", + "▁ц вет", + "▁цве т", + "▁ цвет", + "ру ется", + "рует ся", + "▁б ом", + "▁бо м", + "▁ бом", + "▁харак тери", + "▁характер и", + "▁ характери", + "▁За тем", + "im es", + "ime s", + "i mes", + "▁с м", + "▁ см", + "пе чат", + "печа т", + "▁практи чески", + "▁прак тически", + "▁кла сси", + "▁класс и", + "▁ класси", + "▁ра м", + "▁р ам", + "▁ рам", + "тро м", + "тр ом", + "т ром", + "▁st art", + "▁star t", + "▁и ска", + "▁ис ка", + "▁иск а", + "▁ иска", + "ф у", + "▁в д", + "▁ко нку", + "▁кон ку", + "▁в первые", + "▁зна чит", + "▁значи т", + "▁знач ит", + "▁из мени", + "▁изме ни", + "▁измен и", + "зо р", + "з ор", + "▁l ong", + "▁lo ng", + "▁ long", + "▁м ол", + "▁мо л", + "▁ мол", + "▁са мое", + "▁само е", + "▁сам ое", + "▁f in", + "▁о де", + "▁од е", + "▁пу ть", + "▁пут ь", + "▁у мер", + "▁уме р", + "▁ум ер", + "▁вну три", + "▁внут ри", + "▁ино стран", + "ъе к", + "ъ ек", + "вших ся", + "мо кра", + "мок ра", + "ю щую", + "▁хо де", + "▁ход е", + "▁ ходе", + "in k", + "▁с ом", + "▁со м", + "▁ сом", + "▁ря дом", + "▁ряд ом", + "▁под готов", + "▁подгото в", + "oo t", + "o ot", + "нди и", + "н дии", + "▁сто ль", + "▁стол ь", + "▁Се вер", + "▁ Север", + "▁у лица", + "▁ули ца", + "▁улиц а", + "др и", + "д ри", + "▁се мей", + "▁сем ей", + "▁семе й", + "▁тру д", + "▁тр уд", + "▁ труд", + "цион ной", + "цио нной", + "ционно й", + "зы вать", + "зыва ть", + "▁us e", + "▁u se", + "▁ use", + "▁под держи", + "▁поддерж и", + "зи я", + "▁В то", + "▁На пример", + "▁не много", + "▁нем ного", + "▁немно го", + "с ю", + "▁но во", + "▁нов о", + "▁ ново", + "от е", + "о те", + "▁ча стности", + "▁част ности", + "▁час тности", + "el s", + "e ls", + "er son", + "ers on", + "▁а э", + "мы й", + "жны м", + "ж ным", + "ль е", + "л ье", + "▁к ана", + "▁ка на", + "▁кан а", + "▁ кана", + "▁да нным", + "▁дан ным", + "▁по я", + "к ну", + "нны м", + "н ным", + "спубли ки", + "▁вой ск", + "▁w rit", + "▁ writ", + "▁сер ьез", + "▁серь ез", + "▁сво ими", + "▁свои ми", + "▁своим и", + "▁за бы", + "▁заб ы", + "а т", + "ur ch", + "▁об су", + "▁v ar", + "▁ var", + "ско лько", + "сколь ко", + "▁муж чи", + "▁кон кре", + "чи т", + "ч ит", + "▁в клю", + "ке т", + "к ет", + "▁тем пера", + "га х", + "▁в до", + "▁вд о", + "▁m ay", + "▁E ng", + "▁En g", + "▁пла не", + "▁план е", + "▁ плане", + "хо дил", + "ходи л", + "ход ил", + "▁пред лага", + "▁те ла", + "▁тел а", + "▁ тела", + "▁п ом", + "▁по м", + "▁ пом", + "ни те", + "нит е", + "er man", + "erm an", + "co n", + "c on", + "▁постоя нно", + "▁s ever", + "▁se ver", + "▁эффек тив", + "▁эффект ив", + "▁зем ли", + "▁зе мли", + "▁S p", + "▁ Sp", + "▁про шло", + "▁прош ло", + "▁м лн", + "▁мл н", + "ie nt", + "ien t", + "i ent", + "▁Так же", + "▁за меча", + "▁заме ча", + "▁д еву", + "▁де ву", + "▁дев у", + "in u", + "лу ч", + "▁Герма нии", + "са х", + "▁проце сс", + "▁отно шении", + "▁отноше нии", + "▁сло вам", + "▁слова м", + "▁слов ам", + "▁си льно", + "▁силь но", + "o x", + "ту аль", + "туа ль", + "▁Ме жду", + "▁Меж ду", + "▁con st", + "▁cons t", + "жа ет", + "ци ях", + "ция х", + "▁o per", + "▁op er", + "▁ oper", + "▁пробле мы", + "▁проблем ы", + "▁un til", + "▁по явля", + "▁поя вля", + "ил ь", + "и ль", + "▁груп па", + "▁гру ппа", + "▁групп а", + "▁F ran", + "▁C omm", + "▁Com m", + "▁Co mm", + "▁свобо д", + "ти ческий", + "тически й", + "▁ру блей", + "▁руб лей", + "▁К ом", + "▁Ко м", + "▁ Ком", + "ib le", + "i ble", + "бл о", + "б ло", + "▁Фран ции", + "▁Франци и", + "▁позво ля", + "▁Г ор", + "▁Го р", + "▁ Гор", + "во сто", + "вос то", + "в ки", + "▁сред ств", + "▁си лу", + "▁сил у", + "▁про те", + "▁пр оте", + "▁го тов", + "▁гото в", + "▁ готов", + "▁благо даря", + "▁благодар я", + "▁благода ря", + "▁m in", + "▁mi n", + "▁ min", + "▁ком на", + "▁на й", + "▁н ай", + "▁ най", + "▁с толи", + "▁сто ли", + "▁стол и", + "пе т", + "п ет", + "ст ях", + "стя х", + "с тях", + "ча л", + "ч ал", + "▁с чет", + "▁сче т", + "▁Э та", + "ia m", + "i am", + "gr am", + "g ram", + "▁С ле", + "▁s ame", + "▁sam e", + "га м", + "г ам", + "▁A d", + "▁ Ad", + "▁у ж", + "▁до полни", + "▁допол ни", + "▁распо ложен", + "▁расположе н", + "▁раз но", + "че ны", + "чен ы", + "О В", + "▁вы пу", + "il ity", + "ili ty", + "ilit y", + "▁ко с", + "▁к ос", + "▁ кос", + "ре ц", + "р ец", + "▁sy stem", + "т чи", + "▁Joh n", + "Н И", + "▁Ле нин", + "▁Лен ин", + "▁Лени н", + "en n", + "лим пи", + "▁пи сал", + "▁писа л", + "▁ писал", + "▁не му", + "▁нем у", + "▁ нему", + "k e", + "емо го", + "е мого", + "▁I s", + "▁ Is", + "▁генера л", + "▁гене рал", + "▁про фессиона", + "▁профе ссиона", + "▁го ворить", + "▁говори ть", + "▁говорит ь", + "▁говор ить", + "▁гово рить", + "▁ говорить", + "▁e ff", + "▁рабо тал", + "▁работа л", + "▁работ ал", + "▁стра не", + "▁стран е", + "▁стр ане", + "хо дили", + "ходи ли", + "ход или", + "ходил и", + "ve nt", + "ven t", + "v ent", + "▁Ч и", + "▁ Чи", + "ро де", + "род е", + ".. .\"", + "... \"", + "ak ing", + "aki ng", + "a king", + "ри ца", + "▁осуществ ля", + "▁о цен", + "▁оце н", + "▁ш у", + "▁ шу", + "▁n umber", + "▁num ber", + "▁с ек", + "▁се к", + "▁ сек", + "▁о стро", + "▁ос тро", + "▁ост ро", + "▁Д ру", + "▁ Дру", + "ще нии", + "▁т ю", + "▁ тю", + "▁о пыт", + "▁опы т", + "▁b uild", + "▁bu ild", + "▁от меча", + "▁отме ча", + "ствен ная", + "стве нная", + "ственна я", + "un e", + "u ne", + "▁сто рон", + "▁сторо н", + "▁ сторон", + "▁ `", + "▁Т ы", + "▁ Ты", + "an ts", + "ant s", + "▁а ген", + "▁к лю", + "▁ клю", + "го род", + "гор од", + "горо д", + "ле нии", + "лени и", + "▁Федера ции", + "▁до ступ", + "▁ доступ", + "ти ка", + "тик а", + "▁ря д", + "▁ ряд", + "▁не пре", + "▁до каза", + "▁дока за", + "те лям", + "теля м", + "тел ям", + "ту ру", + "тур у", + "▁и меть", + "▁име ть", + "▁им еть", + "▁ин диви", + "▁инди ви", + "▁А ль", + "▁Ал ь", + "▁ Аль", + "▁Г лав", + "▁Гла в", + "▁и гро", + "▁иг ро", + "▁игр о", + "▁при мерно", + "▁пример но", + "▁приме рно", + "ки н", + "к ин", + "вле но", + "влен о", + "в лено", + "▁При меча", + "▁Приме ча", + "▁об стоя", + "▁вы ну", + "▁по зна", + "▁поз на", + "ла д", + "л ад", + "▁худо же", + "▁худож е", + "▁И о", + "ч ё", + "▁сле дова", + "▁следов а", + "▁ следова", + "e k", + "ur o", + "u ro", + "▁о це", + "et s", + "e ts", + "че скими", + "чески ми", + "ческим и", + "▁соста вляет", + "▁состав ляет", + "▁составля ет", + "ко вой", + "ков ой", + "ково й", + "▁вер ну", + "iv es", + "ive s", + "i ves", + "ct ions", + "ction s", + "▁c alled", + "▁call ed", + "▁cal led", + "шо й", + "ш ой", + "▁не при", + "▁поль зу", + "ро вали", + "ров али", + "рова ли", + "ровал и", + "й т", + "▁пол но", + "▁ка те", + "▁во спо", + "▁вос по", + "▁б из", + "▁би з", + "▁kn own", + "▁know n", + "▁ known", + "▁ин стру", + "▁o pen", + "▁op en", + "▁ско лько", + "▁сколь ко", + "▁ сколько", + "те льную", + "тель ную", + "▁Г ри", + "ло г", + "▁при меня", + "▁приме ня", + "▁прим еня", + "▁извест но", + "▁изве стно", + "▁пе ча", + "▁ печа", + "II I", + "I II", + "m y", + "▁у величи", + "▁уве личи", + "▁увели чи", + "ня л", + "н ял", + "▁полу чить", + "▁получи ть", + "▁получит ь", + "▁ап пара", + "▁ аппара", + "▁же рт", + "▁ж ерт", + "▁ жерт", + "▁непо сред", + "in a", + "i na", + "▁А мери", + "▁мо ря", + "▁мор я", + "▁com ple", + "▁comp le", + "▁compl e", + "га ни", + "ган и", + "г ани", + "▁в одо", + "▁во до", + "▁вод о", + "цион ных", + "цио нных", + "▁g ener", + "▁gen er", + "▁ge ner", + "▁е же", + "це й", + "ц ей", + "▁буд то", + "▁ре бен", + "▁реб ен", + "▁кон тра", + "▁контр а", + "▁o ffic", + "▁of fic", + "▁off ic", + "▁по ложение", + "▁поло жение", + "да м", + "д ам", + "▁рай он", + "▁re p", + "▁r ep", + "▁по сла", + "▁пос ла", + "▁ре да", + "▁ред а", + "па р", + "п ар", + "▁дру гим", + "▁други м", + "▁друг им", + "вле на", + "влен а", + "в лена", + "го вори", + "гов ори", + "гово ри", + "говор и", + "ем ой", + "емо й", + "е мой", + "▁Ч ере", + "▁Че ре", + "▁Чер е", + "ве л", + "да ли", + "дал и", + "д али", + "ре с", + "▁з ло", + "▁ зло", + "▁P h", + "▁ Ph", + "▁при води", + "▁приво ди", + "▁а т", + "▁ ат", + "▁х ва", + "▁ хва", + "ле р", + "л ер", + "вшие ся", + "▁The y", + "▁Th ey", + "▁b el", + "▁be l", + "▁ bel", + "те та", + "тет а", + "ur al", + "ura l", + "u ral", + "▁ка жется", + "▁каж ется", + "▁то чно", + "▁точ но", + "▁ точно", + "ры х", + "р ых", + "▁кон струк", + "▁констру к", + "▁ конструк", + "▁коман дова", + "▁ны не", + "▁ ныне", + "▁по зд", + "▁поз д", + "▁s uc", + "▁su c", + "ut h", + "u th", + "▁против ника", + "▁противник а", + "▁им пе", + "▁пя ти", + "▁пят и", + "жа ли", + "жал и", + "ж али", + "▁до лла", + "▁дол ла", + "▁долл а", + "▁То гда", + "ни т", + "н ит", + "▁каждо го", + "▁пред седа", + "▁не да", + "ба р", + "б ар", + "то ром", + "тор ом", + "торо м", + "▁б ума", + "▁бу ма", + "▁м оз", + "▁мо з", + "▁ моз", + "▁К ор", + "▁Ко р", + "▁ Кор", + "М а", + "▁но вой", + "▁ново й", + "▁нов ой", + "▁ новой", + "▁го спо", + "▁гос по", + "▁M ay", + "▁Ma y", + "▁забо ле", + "▁заб оле", + "▁на гра", + "▁наг ра", + "▁про тя", + "▁дру гими", + "▁други ми", + "▁друг ими", + "▁другим и", + "▁Т ам", + "▁Та м", + "▁ Там", + "at ch", + "▁на шего", + "▁наш его", + "▁наше го", + "▁o rig", + "▁or ig", + "▁говори л", + "▁говор ил", + "▁гово рил", + "▁ говорил", + "s h", + "б ка", + "▁согла си", + "▁по казыва", + "▁пока зыва", + "ми три", + "мит ри", + "▁e ver", + "▁ev er", + "▁ ever", + "▁под чи", + "ф ри", + "▁у гро", + "▁уг ро", + "сси я", + "с сия", + "пра ви", + "прав и", + "п рави", + "▁пер вых", + "▁ первых", + "en e", + "e ne", + "це р", + "ц ер", + "▁мы с", + "▁у бий", + "▁уби й", + "▁ убий", + "▁изме нения", + "ar n", + "Th e", + "T he", + "▁ра сте", + "▁рас те", + "▁раст е", + "ar m", + "a rm", + "▁С то", + "▁Ст о", + "▁расска зыва", + "▁расс казыва", + "▁рассказы ва", + "со лю", + "мо сть", + "th e", + "t he", + "▁цер кви", + "▁церк ви", + "▁авто р", + "▁ав тор", + "▁вме сто", + ".) .", + ". ).", + "▁m ed", + "▁me d", + "▁ med", + "▁re ce", + "▁rec e", + "▁ве че", + "▁тор го", + "ни ями", + "ния ми", + "ниям и", + "нд а", + "н да", + "▁B rit", + "▁Br it", + "▁заяви л", + "▁зая вил", + "фо н", + "ф он", + "▁Н ет", + "▁Не т", + "▁ Нет", + "▁це лью", + "▁цель ю", + "▁по то", + "роя тно", + "спе к", + "ко му", + "ком у", + "▁С ко", + "▁Ск о", + "▁при бли", + "ан та", + "а нта", + "вши йся", + "вший ся", + "▁ch ild", + "▁позво ляет", + "▁позволя ет", + "ен т", + "е нт", + "▁мы ш", + "▁ мыш", + "▁Что бы", + "▁Чтоб ы", + "че но", + "чен о", + "▁з нако", + "▁зна ко", + "▁знак о", + "ни ке", + "ник е", + "кл и", + "к ли", + "an ge", + "ang e", + "▁Americ an", + "▁America n", + "▁ American", + "▁пла ни", + "▁план и", + "▁г аз", + "▁га з", + "▁ко лле", + "▁кол ле", + "▁при вы", + "▁прив ы", + "ment s", + "men ts", + "m ents", + "▁про вер", + "▁прове р", + "▁ провер", + "▁Б ра", + "мо е", + "м ое", + "▁ка та", + "▁ ката", + "▁с уд", + "▁су д", + "▁ра нее", + "▁ране е", + "су р", + "с ур", + "is ed", + "ise d", + "en g", + "e ng", + "▁о публи", + "▁опу бли", + "▁ear ly", + "▁earl y", + "ющих ся", + "ю щихся", + "id ed", + "ide d", + "▁произ водства", + "▁производ ства", + "▁Un iversity", + "▁Univers ity", + "▁коман ды", + "▁команд ы", + "▁be gan", + "▁beg an", + "▁ком пью", + "▁комп ью", + "▁ки ло", + "▁ кило", + "од о", + "о до", + "ge t", + "g et", + "▁и гры", + "▁иг ры", + "▁игр ы", + "▁ игры", + "▁. ..", + "▁ ...", + "▁Р ас", + "▁Ра с", + "▁ Рас", + "▁пред полага", + "▁предпо лага", + "жно сти", + "ж ности", + "▁обеспе чи", + "ни кам", + "ника м", + "ник ам", + "▁бе зопасности", + "▁безо пасности", + "▁безопас ности", + "▁an n", + "▁ ann", + "▁на конец", + "▁нако нец", + "▁дей ствий", + "▁действи й", + "▁ис пыта", + "▁испы та", + "▁ испыта", + "на че", + "▁да нные", + "▁дан ные", + "▁у станови", + "▁уста нови", + "▁устано ви", + "▁установ и", + "▁суще ствует", + "▁существу ет", + "ri d", + "r id", + "ри на", + "рин а", + "р ина", + "▁фи гу", + "▁ор де", + "at a", + "a ta", + "▁в ыска", + "▁вы ска", + "▁выс ка", + "ти вных", + "тив ных", + "▁од новременно", + "▁одно временно", + "▁одновремен но", + "еха л", + "е хал", + "▁t r", + "▁ tr", + "во с", + "в ос", + "▁sup port", + "▁suppor t", + "гл о", + "г ло", + "▁sh ow", + "чу в", + "сно го", + "с ного", + "А Т", + "▁да льше", + "▁даль ше", + "▁особ ен", + "▁осо бен", + "сны й", + "с ный", + "С о", + "▁Ка за", + "iv ing", + "i ving", + "лы м", + "▁п реи", + "▁пре и", + "▁Го судар", + "▁ма ссо", + "▁масс о", + "са д", + "с ад", + "▁r un", + "▁ru n", + "▁ run", + "▁То лько", + "▁з емле", + "▁зем ле", + "нь ше", + "▁ма те", + "▁мат е", + "▁d isc", + "▁dis c", + "▁di sc", + "▁состоя нии", + "▁че твер", + "▁чет вер", + "те х", + "▁pro du", + "▁со юз", + "▁сою з", + "▁ союз", + "па н", + "п ан", + "▁т рудно", + "▁тру дно", + "▁труд но", + "ш ку", + "ры й", + "ри сто", + "рис то", + "рист о", + "р исто", + "▁пра зд", + "▁обя зан", + "▁обяза н", + "▁само ле", + "▁сам оле", + "▁на ш", + "ге й", + "г ей", + "▁основ ном", + "▁Влади мир", + "▁Владими р", + "▁пред ложи", + "ru ct", + "r uct", + "▁ #", + "▁фор мы", + "▁форм ы", + "▁ формы", + "▁Евро пы", + "П е", + "▁ра зу", + "▁раз у", + "▁ разу", + "▁ме та", + "▁мет а", + "▁ мета", + "В о", + "▁И сто", + "▁Ис то", + "▁ Исто", + "▁По ль", + "▁Пол ь", + "▁не возможно", + "▁невоз можно", + "▁невозмо жно", + "▁пра вило", + "▁прави ло", + "▁правил о", + "ве ли", + "вел и", + "ру ют", + "рую т", + "▁те атра", + "▁теа тра", + "▁театр а", + "▁М не", + "▁ Мне", + "▁кате го", + "ла я", + "л ая", + "ir d", + "i rd", + "▁ ,", + "▁ре чь", + "рё х", + "▁т во", + "▁тв о", + "▁ тво", + "де ние", + "ro ss", + "ros s", + "r oss", + "▁му зыка", + "▁музы ка", + "не му", + "нем у", + "▁g overnment", + "▁govern ment", + "▁за коно", + "▁зако но", + "▁закон о", + "▁зак оно", + "з ре", + "▁со бытия", + "▁собы тия", + "▁за ключа", + "▁заклю ча", + "С Т", + "▁des ign", + "▁ми кро", + "▁дру гу", + "▁друг у", + "▁с ро", + "▁ср о", + "▁ сро", + "▁Па ри", + "▁Пар и", + "га ть", + "гат ь", + "по ло", + "пол о", + "п оло", + "▁куль тур", + "▁культ ур", + "▁ культур", + "▁вы гля", + "спо соб", + "▁s ing", + "зи н", + "з ин", + "▁h ist", + "▁his t", + "▁ hist", + "▁n ame", + "▁ name", + "в ла", + "▁s l", + "▁ sl", + "▁м нению", + "▁мне нию", + "▁под вер", + "▁подве р", + "▁коман ду", + "▁команд у", + "Н е", + "▁зна ю", + "▁са мый", + "▁самы й", + "▁B e", + "▁ Be", + "ще ства", + "ществ а", + "▁до гово", + "▁J an", + "▁l and", + "▁la nd", + "▁ land", + "▁sever al", + "▁ра ньше", + "▁р аньше", + "▁до би", + "▁доб и", + "▁ доби", + "▁се реди", + "▁сер еди", + "▁сере ди", + "▁ло ги", + "▁ логи", + "▁и бо", + "▁п ой", + "▁по й", + "▁ пой", + "▁ %", + "▁сту ден", + "▁p ass", + "▁ pass", + "▁ро ли", + "i um", + "ви лся", + "вил ся", + "в ился", + "▁Ч у", + "▁ Чу", + "▁то ва", + "▁ това", + "▁у тра", + "▁ут ра", + "▁пи та", + "▁ пита", + "iss ion", + "▁с пор", + "▁спо р", + "▁ спор", + "▁по ки", + "об о", + "о бо", + "▁ста ту", + "ar l", + "▁на рода", + "▁наро да", + "▁народ а", + "▁нар ода", + "▁во просы", + "▁вопро сы", + "▁вопрос ы", + "ье р", + "ь ер", + "▁Примеча ния", + "p s", + "it al", + "ita l", + "ле ний", + "лени й", + "▁ш о", + "▁ шо", + "▁у правля", + "▁упра вля", + "▁Со гла", + "▁со стоит", + "▁состо ит", + "▁res ult", + "С Р", + "▁в ремен", + "▁вре мен", + "▁време н", + "▁вр емен", + "▁ времен", + "am ed", + "ame d", + "a med", + "▁Ж е", + "▁ Же", + "▁l ike", + "▁lik e", + "▁ like", + "ку да", + "к уда", + "▁g u", + "▁ gu", + "▁w hat", + "▁wh at", + "че нию", + "▁ми ровой", + "▁миро вой", + "▁миров ой", + "зи рова", + "▁Y ork", + "по след", + "после д", + "▁у чеб", + "▁уче б", + "ст ьян", + "сть ян", + "стья н", + "▁мо ре", + "▁мор е", + "▁о пас", + "▁оп ас", + "▁опа с", + "▁а у", + "▁Но во", + "▁Нов о", + "▁лю бой", + "▁любо й", + "/ .", + "юще м", + "ю щем", + "▁глу би", + "ги я", + "po r", + "p or", + "▁профе ссо", + "га р", + "г ар", + "▁предста вляет", + "▁представля ет", + "a i", + "▁к варти", + "▁квар ти", + "▁ кварти", + "▁ар ми", + "▁ре шил", + "▁реши л", + "▁ли нии", + "▁A nd", + "▁An d", + "▁ And", + "aj or", + "те лю", + "тел ю", + "▁d irect", + "▁di rect", + "▁dire ct", + "ль ными", + "льным и", + "льны ми", + "▁дру гом", + "▁друго м", + "▁друг ом", + "▁Ф а", + "▁ Фа", + "▁e le", + "▁el e", + "э й", + "▁по нять", + "▁поня ть", + "▁пон ять", + "▁ко рот", + "▁кор от", + "▁коро т", + "▁при гла", + "ти ва", + "тив а", + "▁по пуляр", + "▁попу ляр", + "▁популя р", + "▁в пере", + "ле г", + "ста нов", + "стан ов", + "стано в", + "▁реги она", + "▁регион а", + "▁c ity", + "▁cit y", + "▁язы к", + "▁ex p", + "▁Т ур", + "▁Ту р", + "▁при шлось", + "▁пришло сь", + "▁- -", + "▁ --", + "▁P l", + "▁К ры", + "▁по кры", + "▁a ir", + "▁ air", + "ко р", + "к ор", + "▁по ля", + "▁пол я", + "▁ поля", + "▁б ой", + "▁бо й", + "▁ бой", + "▁и мел", + "▁име л", + "▁свое му", + "▁своем у", + "▁ своему", + "▁не кото", + "▁неко то", + "bl e", + "b le", + "та ции", + "т ации", + "▁с кло", + "▁ск ло", + "▁во енно", + "▁воен но", + "▁вое нно", + "▁G erman", + "▁Ger man", + "▁которо му", + "▁котором у", + "ил а", + "и ла", + "длен но", + "д ленно", + "▁случа ях", + "▁случая х", + "ic ally", + "ical ly", + "\" )", + "▁are a", + "то е", + "т ое", + "▁in s", + "▁i ns", + "▁ ins", + "▁окру жа", + "▁с сы", + "▁ ссы", + "ру дова", + "▁ра зо", + "▁раз о", + "▁ш колы", + "▁шко лы", + "▁школ ы", + "__ __", + "ov e", + "o ve", + "▁m y", + "▁ my", + "▁bec ause", + "л л", + "▁на сто", + "▁нас то", + "▁вер х", + "▁ верх", + "▁потре б", + "▁T here", + "▁The re", + "▁Th ere", + "▁эк спери", + "▁экс пери", + "▁экспе ри", + "▁экспер и", + "▁Е в", + "▁в ста", + "▁вс та", + "▁разви тие", + "вле т", + "в лет", + "▁s im", + "▁m il", + "▁mi l", + "по ль", + "пол ь", + "▁сле д", + "▁сл ед", + "▁ след", + "▁уч ре", + "▁ин же", + "дя т", + "д ят", + "▁х ристиан", + "▁христи ан", + "▁христиа н", + "▁ христиан", + "О Н", + "▁под писа", + "▁подпи са", + "▁образова ния", + "▁ образования", + "те ше", + "* *", + "ра здо", + "раз до", + "вле нию", + "в лению", + "▁W orld", + "ri st", + "ris t", + "r ist", + "▁h ead", + "▁he ad", + "▁ head", + "▁искус ства", + "▁искусств а", + "▁с тара", + "▁ст ара", + "▁ста ра", + "▁стар а", + "ч ке", + "гр ы", + "г ры", + "▁Т ре", + "▁ Тре", + "▁воз дей", + "▁то вари", + "▁това ри", + "▁товар и", + "▁d own", + "▁do wn", + "▁ down", + "▁настоя щее", + "▁само стоя", + "сло в", + "сл ов", + "с лов", + "▁J u", + "ги на", + "гин а", + "г ина", + "▁ма кси", + "▁or gan", + "▁ organ", + "▁X X", + "▁ XX", + "▁пере во", + "▁пер ево", + "▁по лез", + "▁пол ез", + "▁поле з", + "▁ме ч", + "ти вно", + "тив но", + "ти рова", + "▁рас стоя", + "ди ли", + "дил и", + "д или", + "is ter", + "ist er", + "i ster", + "▁U S", + "▁ US", + "ство вали", + "ствовал и", + "ствова ли", + "▁пер вые", + "▁ первые", + "▁стре ми", + "▁стрем и", + "▁сы гра", + "t le", + "▁и зо", + "▁из о", + "▁ изо", + "▁дея тельность", + "▁деятель ность", + "Е Р", + "ue s", + "u es", + "▁под роб", + "▁подро б", + "дж е", + "д же", + "av ing", + "a ving", + "▁у стра", + "▁ус тра", + "▁п ору", + "▁по ру", + "▁пор у", + "▁вы и", + "▁ф ай", + "▁фа й", + "▁ фай", + "ra nd", + "ran d", + "r and", + "▁dif fer", + "▁ф ра", + "▁ фра", + "ва нии", + "вани и", + "▁я зыка", + "▁язы ка", + "▁язык а", + "ши ми", + "шим и", + "ш ими", + "ви т", + "в ит", + "▁cl ass", + "▁ class", + "▁st ate", + "▁stat e", + "▁ state", + "▁вла сть", + "▁ситуа ции", + "нк е", + "н ке", + "▁Х у", + "▁ Ху", + "т ни", + "▁хо тел", + "▁хоте л", + "ти вной", + "тив ной", + "тивно й", + "▁ну ж", + "▁по ст", + "▁пос т", + "▁про жи", + "ar ch", + "arc h", + "▁п ти", + "▁ пти", + "▁h el", + "▁he l", + "▁ hel", + "▁финан со", + "▁прави тельства", + "▁правитель ства", + "▁п аль", + "▁па ль", + "▁пал ь", + "▁по со", + "▁пос о", + "▁Че рез", + "▁Чер ез", + "▁Чере з", + "нд ен", + "нде н", + "н ден", + "▁Г ен", + "▁Ге н", + "ро вки", + "ров ки", + "▁С реди", + "▁Сред и", + "▁Ср еди", + "лё н", + "л ён", + "▁и ми", + "▁им и", + "▁ ими", + "тно е", + "т ное", + "▁H owever", + "▁How ever", + "▁к ва", + "▁кв а", + "▁ ква", + "▁W ar", + "▁Д митри", + "▁п рос", + "▁про с", + "▁пр ос", + "▁ прос", + "▁я по", + "ag es", + "age s", + "a ges", + "ва й", + "в ай", + "▁part ic", + "▁у верен", + "▁уве рен", + "зь я", + "з ья", + "▁би бли", + "▁сы н", + "▁ско рее", + "де б", + "▁Е ще", + "▁пер вую", + "сту пления", + "ступ ления", + "со еди", + "ан а", + "а на", + "▁пре по", + "то на", + "тон а", + "т она", + "▁за ве", + "но стей", + "нос тей", + "▁высо ко", + "ab l", + "a bl", + "▁да вно", + "▁дав но", + "▁рас полага", + "▁распо лага", + "Р о", + "тя бре", + "▁о го", + "▁ог о", + "цион ного", + "цио нного", + "ционно го", + "ющие ся", + "ю щиеся", + "re t", + "r et", + "вле ний", + "в лений", + "iz e", + "i ze", + "▁соответ ствии", + "▁мо ей", + "▁мое й", + "ко торы", + "кото ры", + "▁о хра", + "▁ох ра", + "▁ охра", + "▁со кра", + "▁сок ра", + "▁H is", + "ти ческой", + "▁p oint", + "▁po int", + "▁ point", + "▁пере ме", + "▁И менно", + "▁Им енно", + "▁Име нно", + "ше к", + "ш ек", + "▁ис че", + "▁n ear", + "▁ne ar", + "▁t ook", + "▁to ok", + "▁too k", + "▁n ow", + "▁no w", + "▁ now", + "▁зна мени", + "обра зова", + "ill ion", + "ти лся", + "тил ся", + "т ился", + "▁о пять", + "▁оп ять", + "▁а та", + "▁ат а", + "пя т", + "п ят", + "▁вы бра", + "сси в", + "сс ив", + "с сив", + "ри к", + "▁в печат", + "▁А л", + "▁ Ал", + "▁бе зу", + "▁без у", + "▁p rom", + "▁pro m", + "▁pr om", + "▁Хо тя", + "ти ви", + "тив и", + "ро вич", + "чи во", + "чив о", + "▁ме тров", + "▁мет ров", + "▁метро в", + "▁ метров", + "▁o cc", + "or m", + "o rm", + "▁у жа", + "▁уж а", + "тни к", + "т ник", + "▁О снов", + "▁Ос нов", + "▁I II", + "▁II I", + "▁ III", + "▁ис следования", + "▁исследова ния", + "▁це лом", + "▁цело м", + "▁Ро ди", + "▁Род и", + "▁ра до", + "▁рад о", + "▁ радо", + "▁тру да", + "▁труд а", + "▁тр уда", + "▁дерев ня", + "▁пре да", + "▁пред а", + "pe nd", + "pen d", + "p end", + "▁чу ть", + "▁ чуть", + "послед ствии", + "er y", + "e ry", + "] ,", + "▁ос обо", + "▁особ о", + "▁осо бо", + "▁в друг", + "▁вд руг", + "▁де л", + "▁ дел", + "про чем", + "па нии", + "▁рабо тает", + "▁работа ет", + "ти ем", + "тие м", + "▁са йте", + "▁сай те", + "▁сайт е", + "▁со стояние", + "▁состоя ние", + "кс а", + "к са", + "жна я", + "ж ная", + "ща ть", + "до р", + "д ор", + "▁fam ily", + "ion al", + "▁пер вым", + "зи ть", + "зит ь", + "з ить", + "▁аб солю", + "б ки", + "▁ве ду", + "▁вед у", + "▁ веду", + "▁у доб", + "▁удо б", + "▁уд об", + "ти ки", + "тик и", + "b y", + "не се", + "нес е", + "ге ль", + "▁индиви ду", + "▁инди виду", + "ца м", + "ц ам", + "▁до сто", + "▁с ф", + "▁ сф", + "io r", + "i or", + "▁дву мя", + "▁двум я", + "▁ма га", + "▁маг а", + "▁ мага", + "▁рам ках", + "▁гла вным", + "▁глав ным", + "▁о ру", + "▁ор у", + "▁ ору", + "▁с ви", + "▁св и", + "▁ сви", + "же нию", + "▁у помина", + "▁упо мина", + "▁по ложи", + "▁поло жи", + "▁б ед", + "▁бе д", + "ди те", + "дит е", + "▁сопро во", + "Р а", + "▁пре имуще", + "▁преи муще", + "▁дер жа", + "▁ держа", + "▁об разу", + "▁обра зу", + "▁образ у", + "▁са ма", + "▁сам а", + "▁Г и", + "▁ Ги", + "▁к арь", + "▁ка рь", + "▁кар ь", + "▁Со вета", + "▁Совет а", + "▁Сове та", + "du ced", + "duc ed", + "duce d", + "▁уров ня", + "▁с верх", + "▁свер х", + "ri s", + "r is", + "a u", + "▁жи ть", + "▁ж ить", + "▁ жить", + "▁та кая", + "▁так ая", + "▁g ame", + "▁j ust", + "не сти", + "нес ти", + "▁у слу", + "▁ус лу", + "▁ар тилле", + "▁арти лле", + ", \"", + "▁мона сты", + "▁де пута", + "▁фор ме", + "▁форм е", + "пи ть", + "пит ь", + "п ить", + "ста ти", + "▁re qu", + "▁r equ", + "oc i", + "o ci", + "ну т", + "н ут", + "▁жи телей", + "▁лю дя", + "▁люд я", + "▁не смотря", + "пр у", + "п ру", + "▁се рд", + "▁сер д", + "▁pro gram", + "▁Г ра", + "▁ Гра", + "▁Ко ро", + "▁Кор о", + "▁ Коро", + "▁St ates", + "▁State s", + "▁у казыва", + "▁ука зыва", + "▁спо кой", + "▁ спокой", + "М о", + "▁л ь", + "▁ ль", + "▁И х", + "▁нау к", + "не ны", + "нен ы", + "▁го раздо", + "▁гора здо", + "om en", + "ome n", + "o men", + "▁А вто", + "▁Ав то", + "▁ Авто", + "▁у краин", + "▁укра ин", + "▁ украин", + "▁ин ф", + "▁пред ме", + "▁со вершен", + "▁совер шен", + "▁ совершен", + "▁С те", + "▁Ст е", + "▁Б ар", + "▁Ба р", + "▁ Бар", + "сны х", + "с ных", + "▁вре ме", + "▁a long", + "▁al ong", + "▁по лага", + "▁пола га", + "▁ полага", + "си т", + "с ит", + "▁re port", + "▁rep ort", + "▁друго го", + "▁e ach", + "▁за мести", + "▁заме сти", + "▁не на", + "▁н ена", + "▁ нена", + "▁сдела л", + "▁сдел ал", + "▁го лову", + "▁голо ву", + "▁голов у", + "▁w ay", + "▁wa y", + "▁ way", + "▁T e", + "▁w orld", + "▁wor ld", + "▁ world", + "▁И м", + "d e", + "▁поз же", + "▁r ight", + "▁ right", + "▁за ра", + "▁з ара", + "▁зар а", + "▁те ло", + "▁тел о", + "▁ра за", + "▁раз а", + "ж ки", + "▁говоря т", + "▁говор ят", + "▁гово рят", + "▁у станов", + "▁уста нов", + "▁устано в", + "▁прави тель", + "ra ph", + "rap h", + "r aph", + "re ad", + "r ead", + "▁Ве дь", + "▁религи оз", + "▁a round", + "▁ar ound", + "▁созда ния", + "▁соз дания", + "▁о станови", + "▁оста нови", + "▁останов и", + "▁остано ви", + "he s", + "h es", + "▁pl ace", + "▁ place", + "▁comm un", + "▁Ра бо", + "ши л", + "ш ил", + "at or", + "ato r", + "ie nce", + "ien ce", + "i ence", + "▁зна ет", + "ro w", + "r ow", + "▁пло хо", + "▁не ф", + "ци ями", + "ция ми", + "циям и", + "сны е", + "с ные", + "ем ся", + "е мся", + "▁re f", + "▁r ef", + "д ва", + "a f", + "▁у мень", + "▁уме нь", + "▁ум ень", + "▁ч рез", + "с ф", + "om an", + "oma n", + "o man", + "▁помо щь", + "▁помощ ь", + "▁воз гла", + "▁ возгла", + "▁sm all", + "ст анти", + "ста нти", + "стан ти", + "у ю", + "▁a pp", + "▁ap p", + "▁ app", + "▁бри га", + "▁s uccess", + "▁suc cess", + "▁я р", + "▁ яр", + "ле нием", + "ление м", + "лени ем", + "▁с лов", + "▁сло в", + "▁сл ов", + "▁ слов", + "▁ро ман", + "▁рома н", + "▁ роман", + "ва йте", + "вай те", + "тны м", + "т ным", + "om et", + "ome t", + "o met", + "▁жур нали", + "▁журна ли", + "▁журнал и", + "▁з доров", + "▁здоро в", + "ic es", + "ice s", + "i ces", + "▁уров не", + "▁уро вне", + "▁цен тр", + "▁ центр", + "▁ни же", + "▁ниж е", + "▁моло ды", + "▁молод ы", + "тк е", + "т ке", + "ar ge", + "arg e", + "со ва", + "сов а", + "жде нии", + "ж дении", + "olog y", + "▁послед ние", + "ст ить", + "сти ть", + "стит ь", + "с тить", + "un g", + "u ng", + "у с", + "▁ка ким", + "▁как им", + "гру з", + "гр уз", + "тер бург", + "тербур г", + "ме тров", + "мет ров", + "метр ов", + "ch n", + "▁по дня", + "▁под ня", + "че на", + "чен а", + "ч ена", + "▁Со юза", + "▁Союз а", + "▁Сою за", + "▁se ries", + "▁ser ies", + "ти на", + "тин а", + "т ина", + "▁b ook", + "▁bo ok", + "▁ book", + "▁исклю чи", + "▁мно жество", + "▁множе ство", + "b um", + "▁си стем", + "▁систе м", + "▁сист ем", + "▁з нал", + "▁зна л", + "жда ть", + "ж дать", + "il t", + "▁ре сур", + "б ви", + "o ard", + "в ка", + "▁да леко", + "▁дале ко", + "пи ско", + "пис ко", + "стви ем", + "ствие м", + "▁Т ру", + "▁на чали", + "▁нача ли", + "▁начал и", + "▁нач али", + "▁e ven", + "▁ev en", + "▁да ть", + "▁дат ь", + "▁ дать", + "▁A ug", + "▁le ft", + "пе н", + "п ен", + "▁про па", + "▁пр опа", + "▁пере жи", + "▁пе режи", + "▁П ра", + "▁ Пра", + "▁зна чения", + "▁дви жение", + "▁тео рии", + "▁назна чен", + "мо го", + "▁с начала", + "▁сна чала", + "ствен ности", + "стве нности", + "ственно сти", + "▁th ough", + "▁ though", + "▁про граммы", + "▁програм мы", + "▁программ ы", + "▁раз вед", + "▁разве д", + "▁ развед", + "vi ew", + "v iew", + "▁ру сской", + "▁рус ской", + "▁русско й", + "▁ русской", + "▁N ov", + "▁No v", + "ge d", + "g ed", + "▁ли ц", + "▁ка нди", + "▁кан ди", + "▁h ouse", + "▁hous e", + "▁ house", + "ба й", + "б ай", + "▁o ld", + "▁ old", + "▁Я по", + "с пи", + "ia ns", + "ian s", + "i ans", + "▁фе дера", + "ре за", + "рез а", + "▁деся ти", + "▁ десяти", + "▁д ни", + "▁ дни", + "▁A ll", + "▁Al l", + "▁ All", + "ти вного", + "тив ного", + "тивно го", + "▁cont inu", + "▁contin u", + "▁h and", + "▁ha nd", + "▁ hand", + "▁s ince", + "▁жен щин", + "▁женщи н", + "▁у потре", + "▁упо тре", + "степ енно", + "степен но", + "дно й", + "д ной", + "▁долла ров", + "▁относи тельно", + "ни ей", + "ние й", + "ro l", + "r ol", + "▁[ /", + "▁Ч ем", + "▁Че м", + "чи ка", + "чик а", + "ти вный", + "тив ный", + "▁от нося", + "▁отно ся", + "жно сть", + "ж ность", + "▁смо тре", + "▁ смотре", + "▁е вропей", + "▁евро пей", + "▁ европей", + "с л", + "▁Моск вы", + "▁ре комен", + "▁реко мен", + "гр о", + "г ро", + "лл ю", + "л лю", + "▁гла ве", + "▁глав е", + "▁про то", + "▁при д", + "▁пр ид", + "▁канди да", + "▁ма стер", + "▁масте р", + "▁Ц е", + "▁d et", + "▁de t", + "▁го ря", + "▁гор я", + "▁ горя", + "ul ation", + "ula tion", + "ua ry", + "u ary", + "▁м аль", + "▁ма ль", + "▁ маль", + "▁За пад", + "▁Запа д", + "▁ Запад", + "▁опера ции", + "▁опер ации", + "ча я", + "ч ая", + "▁б ур", + "▁бу р", + "▁ бур", + "▁э мо", + "▁эм о", + "▁пси хи", + "th ough", + "▁доку мента", + "▁документ а", + "▁о сно", + "▁ос но", + "▁О дин", + "▁Од ин", + "▁M an", + "▁Ma n", + "▁ Man", + "ар ь", + "а рь", + "▁и д", + "▁ ид", + "▁ме л", + "▁ мел", + "▁от ец", + "▁оте ц", + "А Н", + "▁живо тных", + "▁живот ных", + "▁на ми", + "▁нам и", + "▁ нами", + "▁са мые", + "▁самы е", + "me d", + "m ed", + "▁sp ec", + "▁spe c", + "▁c ur", + "▁e xt", + "▁ex t", + "▁ ext", + "▁re st", + "▁r est", + "▁res t", + "▁ rest", + "re nt", + "ren t", + "r ent", + "же ны", + "жен ы", + "▁стра те", + "▁d r", + "▁ dr", + "▁c our", + "▁co ur", + "▁cou r", + "▁h ome", + "▁hom e", + "▁пи шет", + "▁ ще", + "▁фи льм", + "▁филь м", + "▁ фильм", + "▁стра да", + "▁стр ада", + "▁ страда", + "▁жен щины", + "▁женщи ны", + "▁женщин ы", + "▁кра си", + "▁Ш и", + "▁O r", + "▁по гиб", + "▁поги б", + "▁в скоре", + "▁Г ре", + "ство ва", + "чь ю", + "ч ью", + "▁ли тератур", + "▁литера тур", + "тал ьян", + "таль ян", + "ти вные", + "тив ные", + "▁v ery", + "▁ver y", + "▁ve ry", + "▁ very", + "▁проце сса", + "▁процесс а", + "▁Цен тра", + "▁Центр а", + "▁E uro", + "▁А на", + "▁Ан а", + "▁меся цев", + "▁месяц ев", + "▁месяце в", + "▁Со гласно", + "▁Согла сно", + "▁дене г", + "то ва", + "тов а", + "▁Aug ust", + "▁P r", + "та ет", + "▁до ме", + "▁дом е", + "▁ис тория", + "▁исто рия", + "▁истори я", + "▁не р", + "▁н ер", + "▁ нер", + "ai m", + "a im", + "pt ember", + "▁пере се", + "▁перес е", + "▁с их", + "▁си х", + "▁O ct", + "▁стан дар", + "▁ стандар", + "▁но чь", + "нт е", + "н те", + "би л", + "б ил", + "▁Ро ссия", + "▁Росси я", + "▁Рос сия", + "▁ Россия", + "го ль", + "▁и стре", + "▁ис тре", + "▁ист ре", + "в шее", + "ain s", + "ai ns", + "a ins", + "▁C an", + "▁Ca n", + "▁ис полни", + "▁испо лни", + "▁испол ни", + "▁у то", + "▁ут о", + "▁тур ни", + "▁про цен", + "▁проце н", + "▁ процен", + "▁ю ри", + "▁ юри", + "▁д вор", + "▁дво р", + "▁Р ус", + "▁Ру с", + "▁ Рус", + "▁ф ир", + "▁фи р", + "▁ фир", + "▁rele ased", + "▁release d", + "ше в", + "ш ев", + "▁о трица", + "▁от рица", + "▁G e", + "че нных", + "чен ных", + "ты ми", + "тым и", + "▁ис пы", + "▁мо гла", + "▁мог ла", + "▁по строе", + "▁пост рое", + "▁постро е", + "▁A ust", + "▁на чало", + "▁нача ло", + "▁начал о", + "▁ра зве", + "▁раз ве", + "▁хо ть", + "ac ed", + "ace d", + "a ced", + "сс ов", + "ссо в", + "с сов", + "▁б ле", + "▁ бле", + "▁и наче", + "ва ясь", + "вая сь", + "г ни", + "че ственной", + "честве нной", + "ce nt", + "c ent", + "▁со циали", + "▁соци али", + "▁социал и", + "▁ социали", + "▁от ца", + "▁ча ще", + "▁язы ке", + "▁язык е", + "▁st ill", + "▁сем ьи", + "▁семь и", + "▁m ake", + "▁авто ма", + "▁l ast", + "▁la st", + "▁револю ции", + "▁с мерть", + "▁смер ть", + "▁E x", + "▁ Ex", + "зе н", + "з ен", + "▁m ajor", + "▁боль шинство", + "▁большин ство", + "▁рус ских", + "▁означа ет", + "▁озна чает", + "▁п арт", + "▁па рт", + "▁пар т", + "п я", + "▁вы яс", + "▁выя с", + "тна я", + "т ная", + "дж и", + "д жи", + "▁у луч", + "ко вых", + "ков ых", + "ковы х", + "▁обо рудова", + "▁ оборудова", + "▁Se ptember", + "▁проис хо", + "▁l ife", + "▁lif e", + "▁ life", + "▁t y", + "▁ ty", + "▁и ни", + "▁ин и", + "em bers", + "ember s", + "emb ers", + "ко ми", + "ком и", + "ot e", + "o te", + "▁Ми ни", + "▁Мин и", + "▁с мысле", + "▁смы сле", + "▁смысл е", + "▁ смысле", + "▁со ве", + "▁сов е", + "▁С ей", + "▁Се й", + "▁ Сей", + "но гие", + "ag ue", + "agu e", + "▁s ong", + "▁so ng", + "▁son g", + "▁у довлет", + "▁удо влет", + "▁пу теше", + "▁путе ше", + "▁c ar", + "▁ car", + "▁много числе", + "ры ва", + "рыв а", + "▁N ational", + "▁сем ье", + "▁семь е", + "▁J une", + "▁Ju ne", + "au gh", + "aug h", + "a ugh", + "▁кре стьян", + "▁крестья н", + "▁крест ьян", + "▁па ро", + "▁пар о", + "▁ap pro", + "▁app ro", + "▁органи зова", + "▁си гна", + "▁диви зии", + "▁дивизи и", + "▁A m", + "▁лю бви", + "▁зависи мости", + "▁ч исто", + "▁чи сто", + "▁те пло", + "▁теп ло", + "▁мо и", + "▁бере гу", + "▁берег у", + "▁C ent", + "▁чи сла", + "▁s oc", + "▁so c", + "▁о твер", + "▁от вер", + "▁отве р", + "tern ational", + "▁на помина", + "▁напо мина", + "▁напом ина", + "▁по следу", + "▁после ду", + "▁послед у", + "c o", + "▁два дца", + "да ль", + "дал ь", + "д аль", + "▁со гласно", + "▁согла сно", + "чё т", + "ч ёт", + "▁ви део", + "▁виде о", + "▁s tr", + "▁st r", + "▁ str", + "▁систе му", + "▁систем у", + "▁с не", + "▁ сне", + "про из", + "▁дела ет", + "ин а", + "и на", + "▁ком пози", + "▁компо зи", + "▁про вин", + "▁прови н", + "▁В ме", + "▁из бе", + "▁l it", + "on y", + "o ny", + "▁мо жете", + "▁может е", + "▁от личие", + "▁отли чие", + "▁отличи е", + "uf f", + "u ff", + "▁под чер", + "ле на", + "лен а", + "л ена", + "▁суб ъек", + "▁з у", + "▁ зу", + "▁M arch", + "▁Mar ch", + "▁Marc h", + "жде ний", + "ж дений", + "тк у", + "т ку", + "▁Н ью", + "▁ Нью", + "▁зна чительно", + "▁значи тельно", + "ту ю", + "т ую", + "▁по пада", + "▁попа да", + "▁поп ада", + "▁у ро", + "ми мо", + "м имо", + "\" :", + "▁т уда", + "▁ту да", + "▁ туда", + "▁Кон станти", + "od y", + "at ely", + "ate ly", + "▁со держи", + "ста ми", + "стам и", + "с тами", + "▁al bum", + "▁Ко нечно", + "▁у па", + "▁проек та", + "▁проект а", + "▁кре по", + "▁креп о", + "ст ров", + "стро в", + "стр ов", + "с тров", + "ent ly", + "нс ких", + "н ских", + "▁ча стью", + "▁часть ю", + "▁част ью", + "▁час тью", + "▁м м", + "▁ мм", + "▁t ri", + "▁tr i", + "ни ци", + "ниц и", + "че нные", + "чен ные", + "▁Oct ober", + "▁th ose", + "▁че сть", + "▁ честь", + "ха р", + "х ар", + "▁памя ти", + "▁памят и", + "ло жить", + "ложи ть", + "лож ить", + "▁Ф о", + "▁ Фо", + "▁char act", + "▁l ocal", + "▁loc al", + "▁взаимо дей", + "▁пробле ма", + "▁проблем а", + "б ю", + "▁х ле", + "▁ хле", + "би ть", + "бит ь", + "б ить", + "▁mus ic", + "▁с ет", + "▁се т", + "▁ сет", + "qu e", + "q ue", + "зо ваться", + "зова ться", + "зовать ся", + "▁ки сло", + "▁ кисло", + "▁Вер хов", + "▁Верх ов", + "▁про ект", + "▁проек т", + "▁ проект", + "/ /", + "▁университе та", + "▁университет а", + "ф ы", + "▁К е", + "▁х ими", + "▁хи ми", + "▁ хими", + "▁inc re", + "▁закон ода", + "▁законо да", + "▁ц вета", + "▁цвет а", + "▁цве та", + "▁ цвета", + "ти те", + "тит е", + "m e", + "▁мо дели", + "▁моде ли", + "▁нау ки", + "▁наук и", + "лле к", + "лл ек", + "л лек", + "▁п ов", + "▁по в", + "▁ пов", + "пи тан", + "пита н", + "пит ан", + "с шта", + "которы е", + "кото рые", + "▁пробле м", + "▁проб лем", + "t o", + "сту пление", + "ступ ление", + "ля ции", + "ст ной", + "стно й", + "с тной", + "al es", + "ale s", + "a les", + "at ic", + "ati c", + "▁д ис", + "▁ди с", + "▁ дис", + "бр ь", + "б рь", + "▁кла сса", + "▁класс а", + "ме нова", + "менов а", + "▁d em", + "▁de m", + "▁не извест", + "▁неиз вест", + "ль д", + "▁Ж и", + "▁ Жи", + "▁за м", + "▁з ам", + "▁ зам", + "цион ные", + "цио нные", + "▁ка кое", + "▁как ое", + "▁о тря", + "▁от ря", + "▁распо ложе", + "ти ться", + "тить ся", + "ни ми", + "ним и", + "н ими", + "до ви", + "дов и", + "▁ка ждой", + "▁каж дой", + "▁каждо й", + "▁Да же", + "щи к", + "▁все ми", + "▁всем и", + "▁у ровень", + "▁уров ень", + "▁im port", + "▁imp ort", + "▁В ол", + "▁Во л", + "▁ Вол", + "▁произо шло", + "▁е в", + "▁ ев", + "▁M us", + "▁Mu s", + "▁ли чно", + "▁ лично", + "▁е вре", + "▁ев ре", + "▁ри м", + "▁р им", + "▁ рим", + "▁ви дов", + "▁вид ов", + "▁видо в", + "ne r", + "n er", + "ви ла", + "вил а", + "в ила", + "га л", + "г ал", + "▁an other", + "▁пред мет", + "▁предме т", + "▁мо жем", + "▁e ng", + "▁en g", + "▁ eng", + "▁X IX", + "▁XI X", + "▁ре кла", + "▁рек ла", + "▁оказа лся", + "▁оказал ся", + "▁l aw", + "▁la w", + "▁ law", + "▁П ла", + "▁ Пла", + "▁про ш", + "ри те", + "рит е", + "▁п ят", + "▁пя т", + "▁ пят", + "▁на па", + "ле тия", + "pr il", + "pri l", + "ле нных", + "лен ных", + "▁ни ж", + "sel f", + "s elf", + "по й", + "п ой", + "▁Е сть", + "os s", + "o ss", + "▁за во", + "сты е", + "с тые", + "or ed", + "ore d", + "o red", + "лим пий", + "лимпи й", + "▁К то", + "▁ Кто", + "дь ми", + "д ьми", + "▁S y", + "▁слу чи", + "▁сл учи", + "▁за вое", + "▁заво е", + "▁пер вом", + "▁перво м", + "▁объ яви", + "▁объя ви", + "▁Ju ly", + "▁Jul y", + "▁c are", + "▁car e", + "▁p erson", + "▁per son", + "▁pers on", + "▁д ети", + "▁де ти", + "▁дет и", + "д ный", + "цки й", + "ц кий", + "▁ника ких", + "▁никак их", + "лу а", + "л уа", + "ци они", + "цион и", + "цио ни", + "▁бри тан", + "▁свиде тель", + "▁b us", + "▁bu s", + "▁ bus", + "▁ко не", + "▁к оне", + "▁кон е", + "▁ коне", + "ча ет", + "▁Brit ish", + "▁e lect", + "▁ele ct", + "▁el ect", + "▁суще ству", + "▁существ у", + "О Р", + "▁Бе ло", + "▁Бел о", + "▁влия ние", + "▁Jan uary", + "▁П ар", + "▁Па р", + "▁ Пар", + "in ess", + "ine ss", + "ines s", + "i ness", + "▁D uring", + "▁Du ring", + "▁С ред", + "▁Ср ед", + "▁ито ге", + "▁итог е", + "▁m uch", + "▁служ бы", + "▁служб ы", + "▁ службы", + "Н о", + "▁по лка", + "▁пол ка", + "▁полк а", + "iv al", + "iva l", + "i val", + "▁S outh", + "▁So uth", + "до вать", + "дова ть", + "at s", + "a ts", + "▁б ор", + "▁бо р", + "▁ бор", + "же нный", + "жен ный", + "▁ч лен", + "▁чле н", + "▁же на", + "▁жен а", + "▁ж ена", + "▁ жена", + "▁президен т", + "▁ президент", + "▁произ ведения", + "ж ё", + "▁вы шел", + "▁выше л", + "▁о строва", + "▁ост рова", + "▁остро ва", + "▁остров а", + "▁з ри", + "▁ зри", + "▁Ш е", + "▁ Ше", + "▁ви дел", + "▁виде л", + "▁ видел", + "▁с ня", + "▁ сня", + "▁пре дна", + "▁пред на", + "▁доро ги", + "▁дорог и", + "ла нд", + "лан д", + "▁пре пода", + "▁препо да", + "по нен", + "пон ен", + "▁полу чили", + "▁получи ли", + "▁получил и", + "▁нас только", + "▁насто лько", + "э р", + "ёт ся", + "ё тся", + "▁при нял", + "▁приня л", + "▁прин ял", + "▁c amp", + "▁cam p", + "▁раз личные", + "▁разли чные", + "ме ра", + "мер а", + "м ера", + "▁Мо жно", + "▁об нару", + "▁обна ру", + "▁с охрани", + "▁со храни", + "▁сохра ни", + "▁сохран и", + "an e", + "a ne", + "▁т вер", + "▁тв ер", + "▁ твер", + "ща л", + "щ ал", + "▁follow ing", + "▁ i", + "▁библи оте", + "▁библио те", + "те льными", + "тель ными", + "тельным и", + "тельны ми", + "не нием", + "нение м", + "in ing", + "ini ng", + "i ning", + "цион ный", + "цио нный", + ") :", + "цо м", + "ц ом", + "ne ss", + "nes s", + "n ess", + "▁з ер", + "▁зе р", + "▁ зер", + "ша ется", + "шает ся", + "▁A pril", + "че ний", + "▁да ет", + "▁ дает", + "▁М ай", + "▁Ма й", + "▁ Май", + "▁функ ции", + "▁де мон", + "▁демо н", + "▁S chool", + "▁Sch ool", + "▁м л", + "чи й", + "▁се веро", + "▁север о", + "▁солда т", + "К А", + "▁с цена", + "▁сце на", + "▁сцен а", + "▁жи ву", + "▁жив у", + "ствен ность", + "стве нность", + "ственно сть", + "ве ре", + "вер е", + "в ере", + "▁ме тал", + "▁мет ал", + "▁мета л", + "▁об ъя", + "▁объ я", + "▁Никола й", + "▁Нико лай", + "▁сле дующий", + "▁следу ющий", + "ле нной", + "лен ной", + "ленно й", + "▁о ке", + "▁ок е", + "▁созда ть", + "▁соз дать", + "▁ка ких", + "▁как их", + "mb er", + "m ber", + "хо ды", + "ход ы", + "нт ов", + "нто в", + "н тов", + "ли в", + "л ив", + "ра чи", + "▁ма шины", + "▁маши ны", + "▁машин ы", + "▁g et", + "▁ge t", + "▁ get", + "ro p", + "r op", + "▁Л он", + "▁Ло н", + "▁est abl", + "с м", + "▁М ин", + "▁Ми н", + "▁П ол", + "▁По л", + "▁ребен ка", + "▁вой не", + "▁войн е", + "▁w on", + "▁E d", + "▁прави тельство", + "▁правитель ство", + "▁свя щен", + "▁l arge", + "▁larg e", + "▁э лектри", + "▁элек три", + "▁ электри", + "▁cons id", + "ie n", + "i en", + "▁ad v", + "▁W hen", + "▁Wh en", + "▁Whe n", + "▁м ной", + "▁мно й", + "▁мн ой", + "▁хо чет", + "▁m embers", + "▁member s", + "▁mem bers", + "▁про чи", + "▁проч и", + "▁п роя", + "▁про я", + "▁с вер", + "▁све р", + "▁св ер", + "▁под гото", + "in c", + "▁воз душ", + "▁возду ш", + "▁ воздуш", + "ни з", + "н из", + "▁о пы", + "▁оп ы", + "▁с ча", + "▁сообщи л", + "s c", + "▁ка би", + "▁Ш у", + "▁м ое", + "▁мо е", + "▁ мое", + "▁собы тий", + "▁с уда", + "▁су да", + "▁суд а", + "▁ суда", + "ды ду", + "ници па", + "▁сотруд ни", + "▁Ан дре", + "▁Анд ре", + "▁m ark", + "▁mar k", + "▁ mark", + "▁противо ре", + "▁при соеди", + "S t", + "▁фрон та", + "▁фронт а", + "▁г ар", + "▁га р", + "▁ гар", + "▁l a", + "▁ la", + "▁большо е", + "▁воен ных", + "▁вое нных", + "▁v is", + "▁ vis", + "си я", + "вь ю", + "в ью", + "▁d ep", + "▁de p", + "▁кор ре", + "▁ корре", + "▁ве щи", + "re en", + "ree n", + "r een", + "▁у дар", + "▁уда р", + "▁уд ар", + "▁психо логи", + "▁B ro", + "▁Br o", + "▁б ит", + "▁би т", + "▁ бит", + "s y", + "ро ди", + "род и", + "▁G u", + "ap p", + "a pp", + "ви ться", + "вить ся", + "m in", + "кр у", + "к ру", + "щи ков", + "щик ов", + "▁п лан", + "▁пла н", + "▁ план", + "ord ing", + "▁не бе", + "▁М он", + "▁Мо н", + "▁ Мон", + "▁e vent", + "▁ev ent", + "▁even t", + "▁нео жида", + "▁д обы", + "▁до бы", + "▁доб ы", + "▁ добы", + "▁раз ные", + "al k", + "▁у сили", + "▁уси ли", + "▁ус или", + "▁пу тем", + "▁пут ем", + "▁путе м", + "ст ных", + "с тных", + "▁пре ж", + "то рии", + "тори и", + "ки па", + "▁l ine", + "▁ line", + "▁г вар", + "uc k", + "u ck", + "▁пре дела", + "▁преде ла", + "▁предел а", + "▁челове ком", + "▁человек ом", + "▁человеко м", + "жа т", + "ж ат", + "▁де мокра", + "▁демо кра", + "▁ демокра", + "▁взгля д", + "▁ци ф", + "те льном", + "тель ном", + "тельно м", + "тко в", + "тк ов", + "т ков", + "▁кни ге", + "▁книг е", + "▁A p", + "ща ться", + "щать ся", + "ти т", + "т ит", + "▁w ar", + "▁wa r", + "▁ war", + "▁чле нов", + "▁член ов", + "▁Д жон", + "▁Дж он", + "▁Джо н", + "▁ва жно", + "▁важ но", + "▁ важно", + "▁кото рыми", + "▁которы ми", + "▁которым и", + "▁се ло", + "▁сел о", + "▁ село", + "▁ком пания", + "▁компа ния", + "лу й", + "▁Euro pe", + "он ы", + "о ны", + "▁макси ма", + "▁comp any", + "▁compan y", + "▁Сер гей", + "▁Серге й", + "▁pol it", + "ст рои", + "стро и", + "ш ке", + "ba ll", + "bal l", + "b all", + "▁со чи", + "▁соч и", + "o ad", + "as ter", + "ast er", + "aste r", + "a ster", + "▁у чё", + "▁уч ё", + "ве рь", + "вер ь", + "щи ми", + "щим и", + "щ ими", + "▁распо ря", + "▁ис торию", + "▁исто рию", + "▁истори ю", + "iv en", + "ive n", + "i ven", + "ward s", + "w ards", + "ra y", + "r ay", + "▁лю дьми", + "▁люд ьми", + "▁использова ния", + "хо дов", + "ход ов", + "ве ден", + "веде н", + "вед ен", + "▁под раз", + "▁подра з", + "▁о писы", + "▁опи сы", + "▁о па", + "▁оп а", + "▁ опа", + "ri end", + "rie nd", + "▁бли жай", + "▁ближ ай", + "▁стать и", + "▁пово ду", + "▁повод у", + "▁ру сского", + "▁рус ского", + "▁русско го", + "▁и мели", + "▁име ли", + "▁имел и", + "бо к", + "б ок", + "▁на писал", + "▁написа л", + "▁напи сал", + "▁ве сти", + "▁вес ти", + "▁ вести", + "ce mber", + "c ember", + "▁e very", + "▁ev ery", + "▁ever y", + "▁из гото", + "▁пере ста", + "▁перес та", + "▁re sp", + "▁res p", + "▁у ва", + "▁ Й", + "▁со проти", + "▁сопро ти", + "до н", + "д он", + "▁ви ду", + "▁вид у", + "▁ виду", + "▁рас смотре", + "ri pt", + "rip t", + "▁проце ссе", + "▁процесс е", + "▁p ower", + "▁po wer", + "▁ power", + "▁во все", + "▁по купа", + "▁поку па", + "▁Евро пе", + "▁a ge", + "▁ag e", + "▁ age", + "▁борь бы", + "жно е", + "ж ное", + "▁d esc", + "▁de sc", + "▁des c", + "хо де", + "ход е", + "▁все му", + "▁всем у", + "▁ю го", + "▁юг о", + "▁фото графи", + "▁спу стя", + "▁Nov ember", + "▁от ношений", + "▁отно шений", + "▁отноше ний", + "▁мо сков", + "▁моск ов", + "▁ москов", + "▁ко му", + "▁ком у", + "▁ кому", + "▁пози ции", + "ля ми", + "лям и", + "л ями", + "▁у словия", + "▁услови я", + "▁индивиду аль", + "▁друго е", + "▁друг ое", + "▁систе ме", + "▁систем е", + "▁со лн", + "▁се ку", + "▁сек у", + "▁вы ход", + "▁га зе", + "▁газ е", + "▁за про", + "▁d ue", + "▁du e", + "ie ty", + "iet y", + "i ety", + "da y", + "d ay", + "▁начина ет", + "че скому", + "ческом у", + "ческо му", + "сти ки", + "стик и", + "с тики", + "g y", + "▁И ван", + "▁Ива н", + "▁Ив ан", + "ра зу", + "раз у", + "▁cent ury", + "▁ century", + "ля ть", + "лят ь", + "л ять", + "▁ма ть", + "▁мат ь", + "▁ мать", + "▁лю дям", + "▁людя м", + "▁люд ям", + "▁не обы", + "▁нео бы", + "▁необ ы", + "да л", + "д ал", + "В А", + "ствен ном", + "стве нном", + "ственно м", + "▁президен та", + "▁президент а", + "ra ft", + "r aft", + "ло н", + "л он", + "ка ли", + "кал и", + "к али", + "ве дений", + "веде ний", + "▁att ack", + "▁экс пер", + "▁экспе р", + "▁в ен", + "▁ве н", + "▁ вен", + "▁F l", + "▁о бороны", + "▁обо роны", + "▁оборо ны", + "▁оборон ы", + "▁ex per", + "▁exp er", + "па рта", + "пар та", + "▁кон цеп", + "▁конце п", + "▁a v", + "▁ av", + "▁De cember", + "▁Dec ember", + "бе ль", + "▁мо я", + "▁зна ть", + "▁le g", + "▁ leg", + "it ions", + "ition s", + "▁B y", + "id es", + "ide s", + "i des", + "▁b and", + "▁ban d", + "▁ band", + "ТА СС", + "▁у виде", + "▁уви де", + "▁ве ро", + "▁вер о", + "▁ веро", + "вля ть", + "в лять", + "й о", + "си в", + "с ив", + "жда я", + "жд ая", + "ж дая", + "▁с только", + "▁сто лько", + "▁столь ко", + "▁По чему", + "▁ Почему", + "▁Д же", + "▁Дж е", + "▁t erm", + "▁te rm", + "▁ter m", + "▁ term", + "▁при нять", + "▁приня ть", + "▁прин ять", + "▁принят ь", + "▁стан ции", + "▁ станции", + "▁диви зи", + "ку п", + "io d", + "i od", + "▁по степенно", + "▁постепен но", + "▁А д", + "▁ Ад", + "▁вре менем", + "▁времен ем", + "▁време нем", + "ur ed", + "ure d", + "u red", + "▁p resent", + "▁pres ent", + "чи ков", + "чик ов", + "би р", + "б ир", + "re w", + "r ew", + "▁послед ний", + "▁требо вания", + "▁пре дыду", + "▁Ре спублики", + "▁Республи ки", + "▁t own", + "▁to wn", + "al th", + "alt h", + "▁при чем", + "▁филосо фи", + "▁философ и", + "if ied", + "▁m en", + "▁me n", + "▁ men", + "▁за дачи", + "▁зада чи", + "▁задач и", + "▁про явля", + "▁проя вля", + "▁об рабо", + "▁обра бо", + "▁о созна", + "▁осо зна", + "▁de ath", + "▁Ста лин", + "▁Стали н", + "▁х ро", + "▁ хро", + "▁б рат", + "▁бра т", + "▁t urn", + "▁tur n", + "▁ос тается", + "▁оста ется", + "▁v al", + "▁ val", + "фи кации", + "фика ции", + "фик ации", + "фи ль", + "ф иль", + "ну ли", + "нул и", + "▁W ill", + "▁Wil l", + "▁Wi ll", + "▁m illion", + "▁mill ion", + "▁у диви", + "▁уди ви", + "у р", + "▁об щем", + "▁обще м", + "▁общ ем", + "▁ком муни", + "▁комму ни", + "▁ коммуни", + "▁за слу", + "▁зас лу", + "ot t", + "o tt", + "▁ц ве", + "фор м", + "ни цей", + "нице й", + "ниц ей", + "▁чув ство", + "▁чувств о", + "▁к ле", + "▁ кле", + "▁И та", + "▁к ров", + "▁кро в", + "▁кр ов", + "▁ кров", + "▁ве личи", + "▁вели чи", + "▁ величи", + "сса жи", + "▁не ве", + "▁н еве", + "▁нев е", + "▁ неве", + "▁со сед", + "▁сос ед", + "▁сосе д", + "▁пере гово", + "▁Вели кой", + "▁Велико й", + "▁свя зь", + "▁связ ь", + "▁h eld", + "▁he ld", + "▁hel d", + "▁филь ма", + "▁фильм а", + "д ка", + "▁го лов", + "▁голо в", + "▁гол ов", + "▁ голов", + "ва ле", + "вал е", + "в але", + "у н", + "▁по го", + "w ork", + "ва ний", + "вани й", + "▁Го спо", + "▁Гос по", + "ve s", + "v es", + "▁в роде", + "▁ос обы", + "▁особ ы", + "▁осо бы", + "▁боль шую", + "да го", + "▁f inal", + "▁fin al", + "▁О дна", + "▁Од на", + "▁t it", + "би на", + "бин а", + "б ина", + "▁и тальян", + "▁та ком", + "▁так ом", + "iv ely", + "ive ly", + "▁на след", + "▁насле д", + "pa r", + "p ar", + "▁E m", + "▁вос пита", + "er ing", + "e ring", + "н ную", + "▁ф анта", + "▁фа нта", + "▁ фанта", + "▁к луб", + "▁клу б", + "▁энер гии", + "▁энерги и", + "же нных", + "жен ных", + "▁воз бу", + "т ю", + "пе нь", + "пен ь", + "п ень", + "▁архи тек", + "▁архите к", + "ги й", + "▁W e", + "▁ We", + "▁де вя", + "▁дев я", + "су ль", + "▁я сно", + "▁яс но", + "кр и", + "к ри", + "▁j o", + "▁ jo", + "lin g", + "li ng", + "l ing", + "▁K ing", + "▁з и", + "▁ зи", + "же ла", + "жел а", + "▁c ame", + "▁cam e", + "▁информа цию", + "ст ок", + "сто к", + "с ток", + "▁т ка", + "▁ тка", + "В е", + "▁О ста", + "▁Ос та", + "ст ых", + "сты х", + "с тых", + "▁за пи", + "▁под нима", + "\") .", + "\" ).", + "ствен ную", + "стве нную", + "▁Пу шки", + "▁бу дем", + "▁буд ем", + "но во", + "нов о", + "▁c or", + "▁co r", + "▁for mer", + "▁form er", + "▁ former", + "▁на ше", + "▁наш е", + "лк у", + "л ку", + "▁Вели ко", + "▁о дино", + "▁од ино", + "▁один о", + "▁оди но", + "▁re ceived", + "▁rece ived", + "▁receive d", + "▁По том", + "▁N orth", + "▁Nor th", + "▁e s", + "▁ es", + "▁ф ина", + "▁фи на", + "▁фин а", + "▁ фина", + "▁по пыт", + "▁попы т", + "п луа", + "▁вы во", + "▁вер нулся", + "▁верну лся", + "ме ется", + "▁сы на", + "▁сын а", + "▁по лков", + "▁пол ков", + "▁полк ов", + "▁ полков", + "▁p oss", + "▁pos s", + "▁po ss", + "▁ poss", + "вле нные", + "влен ные", + "в ленные", + "ло е", + "л ое", + "не нных", + "нен ных", + "р хи", + "жд ён", + "▁ки тай", + "▁кита й", + "▁ex pl", + "▁exp l", + "▁вос стано", + "▁восста но", + "ch es", + "che s", + "c hes", + "ры е", + "▁К П", + "▁ КП", + "г но", + "▁con f", + "▁ conf", + "▁Б лаго", + "▁Бла го", + "▁M c", + "ка тери", + "▁по тен", + "▁поте н", + "▁импе рии", + "▁play ed", + "би н", + "б ин", + "▁об щей", + "▁обще й", + "▁общ ей", + "ри аль", + "риа ль", + "риал ь", + "▁ста нет", + "▁стан ет", + "▁на вер", + "▁наве р", + "▁нав ер", + "▁p o", + "▁ po", + "▁необходи мости", + "▁необходимо сти", + "Б о", + "▁фа кт", + "▁фак т", + "! !", + "▁пар ла", + "▁на каза", + "▁нака за", + "ви ди", + "вид и", + "iz ation", + "▁сер дце", + "▁серд це", + "▁Вто рой", + "▁режи сс", + "▁с тен", + "▁ст ен", + "▁сте н", + "▁ стен", + "▁поверх ности", + "▁поверхно сти", + "по ста", + "п оста", + "▁до ве", + "▁и муще", + "▁ имуще", + "ше нии", + "▁Пер вый", + "▁му ниципа", + "ri ct", + "ric t", + "r ict", + "▁На циона", + "ст ного", + "стно го", + "с тного", + "▁офи це", + "▁ду ши", + "▁душ и", + "▁ души", + "▁ев рей", + "▁евре й", + "▁ еврей", + "▁По след", + "▁После д", + "▁ Послед", + "▁мы сль", + "▁мыс ль", + "сти ческой", + "с тической", + "▁Ch rist", + "▁Chris t", + "ak es", + "ake s", + "a kes", + "▁ро ма", + "▁ рома", + "▁п ье", + "▁пь е", + "▁К ри", + "▁h um", + "▁C o", + "▁матери аль", + "▁материа ль", + "▁мате риаль", + "▁материал ь", + "▁д ал", + "▁да л", + "▁ дал", + "ва ем", + "лн е", + "л не", + "▁ :", + "▁C ity", + "▁Не которые", + "ви дно", + "вид но", + "▁о бре", + "▁об ре", + "▁ обре", + "зд ы", + "з ды", + "ша л", + "ш ал", + "▁ор ганов", + "▁орга нов", + "▁орган ов", + "▁вы игра", + "▁выи гра", + "▁с ети", + "▁се ти", + "▁сет и", + "▁ сети", + "▁о по", + "▁оп о", + "▁писа тель", + "▁st and", + "▁ stand", + "ra tion", + "rat ion", + "r ation", + "▁у ди", + "▁уд и", + "нача льно", + "▁от ношение", + "▁отно шение", + "▁отноше ние", + "▁п рис", + "▁при с", + "▁пр ис", + "▁differ ent", + "▁k ill", + "▁kil l", + "▁ру ку", + "▁рук у", + "ро да", + "род а", + "р ода", + "▁спе к", + "▁ спек", + "▁уста навли", + "▁у голов", + "▁уго лов", + "▁угол ов", + "▁о про", + "▁оп ро", + "▁w ater", + "▁wa ter", + "▁ water", + "▁с ос", + "▁со с", + "▁be g", + "▁исполь зуется", + "▁использу ется", + "▁использует ся", + "▁к руг", + "▁кру г", + "▁ круг", + "не тся", + "нет ся", + "н ется", + "нь е", + "н ье", + "ем ая", + "ема я", + "е мая", + "▁ко сми", + "▁кос ми", + "▁ косми", + "▁по дума", + "▁под ума", + "▁поду ма", + "ж ь", + "▁Оте чественной", + "▁Александ ра", + "▁Александр а", + "▁о зе", + "▁оз е", + "▁вре мена", + "▁времен а", + "▁време на", + "▁C ar", + "▁Ca r", + "▁при роды", + "▁приро ды", + "▁природ ы", + "бл ь", + "б ль", + "▁напра влении", + "▁вы пуска", + "▁выпу ска", + "▁выпуск а", + "▁P ol", + "▁Po l", + "ne y", + "n ey", + "бу рг", + "бур г", + "▁ба таль", + "▁бата ль", + "ни лся", + "нил ся", + "н ился", + "▁во ск", + "▁вос к", + "▁s ay", + "вля ется", + "вляет ся", + "в ляется", + "▁сбор ной", + "▁сбо рной", + "че в", + "ч ев", + "▁меся ца", + "▁месяц а", + "С а", + "▁ру ках", + "▁рука х", + "▁кро ви", + "▁кров и", + "▁ крови", + "▁до мой", + "▁дом ой", + "▁домо й", + "▁ше сть", + "▁шест ь", + "ro nt", + "ron t", + "r ont", + "ни ям", + "ния м", + "▁с уме", + "▁су ме", + "▁сум е", + "▁су деб", + "▁суде б", + "▁ка фе", + "▁пар тий", + "▁парти й", + "▁ партий", + "▁включа я", + "▁вклю чая", + "▁ка чества", + "▁каче ства", + "▁качеств а", + "▁A ss", + "▁As s", + "▁о ба", + "▁об а", + "▁ оба", + "▁п роз", + "▁про з", + "▁пр оз", + "▁чув ства", + "▁чувств а", + "▁n eed", + "▁ne ed", + "▁сло вами", + "▁слова ми", + "▁словам и", + "▁с равни", + "▁срав ни", + "▁with in", + "жда ет", + "ж дает", + "▁s ix", + "дол го", + "▁ли чности", + "▁лично сти", + "▁внима ния", + "▁от носится", + "▁относи тся", + "д ных", + "▁ра скры", + "▁рас кры", + "▁С тра", + "▁Ст ра", + "▁ Стра", + "▁f un", + "▁и деи", + "▁иде и", + "в шую", + "re et", + "ree t", + "Е Н", + "▁ко смо", + "▁кос мо", + "▁is s", + "▁i ss", + "▁ iss", + "▁рас преде", + "▁ распреде", + "▁а кт", + "▁ак т", + "ст ям", + "стя м", + "▁со вета", + "▁совет а", + "▁сове та", + "▁ совета", + "ме ры", + "мер ы", + "м еры", + "en se", + "ens e", + "к ции", + "▁при вле", + "▁прив ле", + "▁хо чу", + "▁стра нах", + "▁страна х", + "▁от ме", + "на дцать", + "надца ть", + "▁любо вь", + "▁любов ь", + "ре до", + "ред о", + "кто ром", + "ктор ом", + "к тором", + "▁на ходятся", + "▁находя тся", + "▁наход ятся", + "▁находят ся", + "ти м", + "т им", + "▁при каза", + "▁прика за", + "▁приказ а", + "▁жи ли", + "▁ж или", + "▁жил и", + "▁ жили", + "вы чай", + "▁каса ется", + "М И", + "▁при чина", + "▁причи на", + "▁причин а", + "кро в", + "кр ов", + "к ров", + "▁в ое", + "▁во е", + "▁ вое", + "▁воз раста", + "▁возра ста", + "▁возраст а", + "le t", + "l et", + "▁за седа", + "▁засе да", + "▁при ходится", + "▁приходи тся", + "▁приходит ся", + "▁приход ится", + "▁прихо дится", + "▁с лы", + "▁сл ы", + "▁ слы", + "▁дей ству", + "▁действ у", + "▁зем лю", + "\\ .", + "▁H ar", + "▁Ha r", + "▁пись мо", + "al f", + "▁ве роятно", + "▁вероят но", + "▁child ren", + "чи ли", + "чил и", + "ч или", + "ie f", + "i ef", + "▁n amed", + "▁name d", + "▁Сей час", + "▁в перед", + "▁впере д", + "сна я", + "с ная", + "▁ри су", + "▁р ису", + "▁рис у", + "др е", + "д ре", + "▁all ow", + "▁p ar", + "▁ par", + "нным и", + "нны ми", + "н ными", + "▁боль шим", + "▁с рок", + "▁сро к", + "▁ср ок", + "▁Не смотря", + "й дет", + "▁Т ро", + "▁смы сл", + "вшей ся", + "ба ми", + "бам и", + "st er", + "ste r", + "s ter", + "▁сооб щает", + "▁сообща ет", + "▁ру сский", + "▁рус ский", + "▁по дви", + "▁под ви", + "▁жен щина", + "▁женщи на", + "▁женщин а", + "y n", + "▁предприя тия", + "▁и стреби", + "▁истре би", + "▁а м", + "▁ ам", + "▁за ви", + "▁за по", + "▁l ed", + "▁le d", + "▁ led", + "▁пре вы", + "▁п ала", + "▁па ла", + "▁пал а", + "▁ пала", + "ти ческого", + "▁Т А", + "▁ ТА", + "нно сть", + "н ность", + "сто рон", + "сторо н", + "стор он", + "▁кар то", + "▁карт о", + "▁Л ит", + "▁Ли т", + "▁Сан кт", + "Д а", + "▁мо мента", + "▁момент а", + "▁до маш", + "▁дома ш", + "п ки", + "▁акаде ми", + "сы па", + "le ge", + "leg e", + "▁t rad", + "▁tra d", + "▁tr ad", + "\" ;", + "▁по сред", + "▁пос ред", + "о с", + "щих ся", + "▁наз ванием", + "▁название м", + "▁назва нием", + "▁Алек се", + "▁Але ксе", + "▁поряд ке", + "▁дей ствие", + "▁действи е", + "▁ действие", + "▁С ам", + "▁Са м", + "▁в след", + "▁широ ко", + "ря док", + "ряд ок", + "рядо к", + "во дят", + "вод ят", + "водя т", + "▁бе ско", + "▁бес ко", + "▁середи не", + "▁т рак", + "▁тра к", + "▁тр ак", + "em pt", + "в тра", + "▁секре та", + "▁секрет а", + ". -", + "ar ried", + "arri ed", + "▁Анг лии", + "▁f act", + "▁fac t", + "▁fa ct", + "▁тру до", + "▁труд о", + "▁М ан", + "▁Ма н", + "▁ Ман", + "▁p at", + "▁ pat", + "ней ших", + "▁of ten", + "ial ly", + "i ally", + "▁ло ша", + "Д о", + "су аль", + "суа ль", + "▁позво ли", + "ще ны", + "щен ы", + "▁ви деть", + "▁виде ть", + "▁вид еть", + "▁к аз", + "▁ка з", + "▁ каз", + "▁протя жении", + "▁Ми хай", + "▁Миха й", + "res ent", + "▁з во", + "▁зв о", + "▁ зво", + ") )", + "▁сторо не", + "▁сторон е", + "▁ини циа", + "▁t ake", + "ст ана", + "ста на", + "стан а", + "с тана", + "ин тере", + "интер е", + "инте ре", + "▁свя зан", + "▁связа н", + "▁связ ан", + "is on", + "i son", + "В Д", + "▁пре сс", + "▁м оно", + "▁мо но", + "▁мон о", + "▁ моно", + "▁не уда", + "▁неу да", + "дне в", + "д нев", + "▁Мо жет", + "ро прия", + "▁результа т", + "▁да лее", + "▁дале е", + "▁за хо", + "▁с да", + "др у", + "д ру", + "▁E l", + "▁re pl", + "▁rep l", + "▁ди пло", + "хо дила", + "ходи ла", + "ход ила", + "ходил а", + "m s", + "не на", + "нен а", + "н ена", + "▁находи лся", + "▁наход ился", + "▁находил ся", + "▁ре чи", + "▁полу чила", + "▁получи ла", + "▁получил а", + "че нный", + "чен ный", + "ле те", + "лет е", + "л ете", + "▁ма сшта", + "ющи йся", + "ющий ся", + "ю щийся", + "▁су щ", + "▁ сущ", + "▁о чи", + "▁но вое", + "▁ново е", + "▁нов ое", + "▁об щего", + "▁обще го", + "▁общ его", + "▁бы вает", + "но вения", + "нове ния", + "▁за дача", + "▁зада ча", + "▁задач а", + "▁b uilt", + "▁bu ilt", + "▁p ost", + "▁pos t", + "▁po st", + "▁ post", + "▁дру зья", + "▁Ге ор", + "сти ческого", + "с тического", + "пу стить", + "пусти ть", + "пус тить", + "▁г ри", + "▁гр и", + "▁ гри", + "▁ре спубли", + "▁лю бы", + "▁зависи т", + "▁зави сит", + "▁мо ра", + "▁мор а", + "▁ мора", + "▁mon th", + "▁тра нс", + "▁тран с", + "▁сти хи", + "вшего ся", + "▁per iod", + "▁ме ж", + "▁же сто", + "▁жест о", + "▁pro f", + "▁pr of", + "▁цен тре", + "▁центр е", + "но доро", + "▁по ступа", + "▁посту па", + "▁поступ а", + "▁l arg", + "то вой", + "тов ой", + "тово й", + "at ter", + "att er", + "s ide", + "ка ет", + "п но", + "▁F eb", + "▁Fe b", + "▁c rit", + "▁cr it", + "ка на", + "кан а", + "к ана", + "\") ,", + "\" ),", + "▁A b", + "ur s", + "ст ье", + "сть е", + "с тье", + "▁кон цов", + "▁конц ов", + "▁w ent", + "▁we nt", + "▁eff ect", + "▁рабо чих", + "▁рабочи х", + "▁includ ed", + "▁include d", + "▁тран спорт", + "▁транспо рт", + "▁транс порт", + "▁транспор т", + "▁ транспорт", + "ard s", + "▁пло щадь", + "▁площа дь", + "▁конф лик", + "▁f ive", + "ru ary", + "r uary", + "оло гии", + "ологи и", + "о логии", + "▁по смотре", + "жда ется", + "ждает ся", + "га я", + "г ая", + "▁во ду", + "▁вод у", + "le r", + "l er", + "uth or", + "▁Е катери", + "ме ну", + "мен у", + "▁Сер ге", + "it ary", + "itar y", + "ita ry", + "▁не ма", + "▁нем а", + "▁н ема", + "▁милли онов", + "▁миллион ов", + "ти ру", + "тир у", + "▁к г", + "ta in", + "t ain", + "▁окру га", + "▁округ а", + "▁М ногие", + "▁Мно гие", + "▁о хо", + "▁ох о", + "▁тер ро", + "▁испы ты", + "ен си", + "е нси", + "▁Д ан", + "▁Да н", + "▁о све", + "▁ос ве", + "▁вер сии", + "▁верси и", + "▁Д жо", + "▁Дж о", + "pl oy", + "▁На и", + "же тся", + "жет ся", + "ж ется", + "▁ве се", + "▁вес е", + "ма т", + "м ат", + "фе й", + "ф ей", + "▁г ря", + "▁гр я", + "▁ гря", + "▁к лет", + "▁кле т", + "▁ро дился", + "▁роди лся", + "▁род ился", + "▁A f", + "▁п равда", + "▁прав да", + "▁ правда", + "al ity", + "ali ty", + "▁оказа лось", + "▁с вета", + "▁свет а", + "▁све та", + "▁под ъ", + "по ле", + "пол е", + "п оле", + "га ли", + "гал и", + "г али", + "д ные", + "би й", + "▁по ложения", + "▁поло жения", + "▁из бира", + "▁изби ра", + "И Н", + "бар ди", + "▁отде льных", + "▁отдель ных", + "▁возра сте", + "▁возраст е", + "▁К ла", + "▁г лаз", + "▁гла з", + "▁гл аз", + "▁ре ша", + "жа ется", + "жает ся", + ".) ,", + ". ),", + "▁с правед", + "▁спра вед", + "▁К ур", + "▁Ку р", + "▁ Кур", + "▁литера туры", + "▁литератур ы", + "▁до че", + "▁sh ort", + "▁man ag", + "▁A ir", + "▁И ли", + "▁Ил и", + "ren ch", + "r ench", + "▁По лу", + "▁Пол у", + "зо й", + "з ой", + "▁повто ря", + "те ния", + "▁преду пре", + "e ad", + "▁пе хо", + "▁О бра", + "▁Об ра", + "▁мар ш", + "сто ро", + "стор о", + "с торо", + "▁мо его", + "▁мое го", + "▁при водит", + "▁приводи т", + "▁приво дит", + "▁экс плуа", + "▁ann oun", + "дно го", + "д ного", + "ха н", + "х ан", + "▁у лы", + "▁ул ы", + "▁с читать", + "▁счита ть", + "▁Feb ruary", + "▁ма шин", + "▁маши н", + "ст ую", + "сту ю", + "с тую", + "но вен", + "нов ен", + "нове н", + "▁ули це", + "▁улиц е", + "▁боль шие", + "▁в последствии", + "▁n ext", + "▁ne xt", + "▁счита ет", + "▁у чили", + "▁учи ли", + "▁уч или", + "▁ве ке", + "▁век е", + "▁му зе", + "ва ю", + "▁э кипа", + "ha m", + "h am", + "ли ст", + "лис т", + "л ист", + "▁основ ных", + "▁осно вных", + "бри та", + "б рита", + "▁вз ять", + "▁взя ть", + "▁взят ь", + "il le", + "ill e", + "▁e l", + "▁ el", + "▁P ar", + "▁ Par", + "▁б рать", + "▁бра ть", + "▁брат ь", + "▁ брать", + "ча ли", + "чал и", + "ч али", + "А Р", + "сту пить", + "ступ ить", + "ступи ть", + "ступит ь", + "ко во", + "ков о", + "ро во", + "ров о", + "▁я ко", + "▁це ль", + "▁мага зи", + "▁защи ты", + "▁защит ы", + "▁H er", + "▁He r", + "▁дол жность", + "▁долж ность", + "▁должно сть", + "▁д об", + "▁до б", + "▁ доб", + "▁стра ш", + "▁и гру", + "▁иг ру", + "▁игр у", + "го рь", + "гор ь", + "лю би", + "люб и", + "обо рот", + "▁b uilding", + "▁build ing", + "зя й", + "▁тыся чи", + "▁тысяч и", + "▁г лава", + "▁гла ва", + "▁глав а", + "▁am ong", + "▁кра со", + "at tle", + "att le", + "▁про грамм", + "▁програм м", + "▁корпу са", + "▁корпус а", + "ня ют", + "▁ча са", + "▁час а", + "▁ часа", + "▁о ка", + "▁ок а", + "ле ны", + "лен ы", + "▁v ers", + "▁ver s", + "▁ vers", + "▁И но", + "▁Ин о", + "▁ре дко", + "▁ред ко", + "▁под держа", + "▁поддерж а", + "▁add ition", + "▁Воз можно", + "▁or der", + "▁ord er", + "▁ order", + "▁при гото", + "▁приго то", + "▁т рёх", + "▁п рида", + "▁при да", + "▁прид а", + "▁пр ида", + "вле нных", + "влен ных", + "в ленных", + "▁Бо га", + "▁Бог а", + "вши ми", + "вшим и", + "в шими", + "▁Ф у", + "▁f ew", + "▁fe w", + "рев нова", + "▁о кра", + "▁ок ра", + "▁во йна", + "▁вой на", + "▁войн а", + "▁ма темати", + "▁мате мати", + "▁матема ти", + "▁t op", + "▁to p", + "▁ top", + "id d", + "i dd", + "▁исче з", + "▁бу ква", + "▁бук ва", + "▁букв а", + "▁ме роприя", + "▁поли тики", + "▁полити ки", + "▁политик и", + "▁мо гло", + "▁мог ло", + "▁п рем", + "▁пре м", + "▁пр ем", + "▁ прем", + "▁с нима", + "▁сни ма", + "▁сним а", + "▁клу ба", + "▁клуб а", + "as k", + "a sk", + "▁ча стей", + "▁част ей", + "▁час тей", + "▁со чета", + "▁ сочета", + "▁С ы", + "▁con c", + "▁результа ты", + "▁результат ы", + "▁со жа", + "▁сож а", + "по ра", + "пор а", + "▁спи сок", + "▁при влека", + "▁привле ка", + "▁прив лека", + "▁ра ство", + "▁рас тво", + "▁раст во", + "▁g reat", + "▁gre at", + "лу ю", + "л ую", + "▁па ссажи", + "▁be h", + "рг и", + "р ги", + "on don", + "ond on", + "▁тео ре", + "▁кли ен", + "▁с ведения", + "▁све дения", + "ку ра", + "кур а", + "к ура", + "▁б ар", + "▁ба р", + "▁ бар", + "um ent", + "ume nt", + "u ment", + "▁Д ей", + "▁Де й", + "▁опубли ко", + "▁каза лось", + "▁вос принима", + "▁воспри нима", + "ch ed", + "che d", + "c hed", + "▁А б", + "О Л", + "▁b re", + "▁br e", + "▁ bre", + "▁desc rib", + "пе ча", + "▁называ ется", + "▁называет ся", + "▁совет ский", + "▁сове тский", + "▁обла сть", + "▁ат мо", + "тель ств", + "▁O ne", + "▁On e", + "▁Com p", + "▁Co mp", + "▁sing le", + "л га", + "▁cl ub", + "▁пред принима", + "▁предпри нима", + "▁за д", + "▁з ад", + "▁ зад", + "▁противо поло", + "ще ство", + "ществ о", + "▁sh ould", + "▁а гре", + "▁п атри", + "▁па три", + "▁ патри", + "▁гла вное", + "▁глав ное", + "ды ха", + "дых а", + "▁C al", + "▁Ca l", + "ubl ic", + "▁в спомина", + "▁вс помина", + "▁вспо мина", + "▁вспом ина", + "▁d el", + "▁de l", + "▁со ору", + "▁наро дов", + "▁народ ов", + "▁тю рь", + "▁го сти", + "▁гос ти", + "▁П ав", + "▁Па в", + "ем ое", + "емо е", + "е мое", + "ди о", + "▁сло вно", + "▁слов но", + "▁ словно", + "▁Бо лее", + "ри ей", + "рие й", + "▁д лин", + "▁дли н", + "▁памя ть", + "▁памят ь", + "▁ме стах", + "▁места х", + "▁из обре", + "▁изо бре", + "▁на правления", + "▁напра вления", + "▁инте ллек", + "▁Т ри", + "▁ Три", + "▁за вод", + "▁заво д", + "▁ завод", + "▁Миха ил", + "▁Михаи л", + "д ли", + "▁с ку", + "▁ск у", + "▁ ску", + "▁а ссо", + "▁ас со", + "▁s hip", + "▁sh ip", + "▁ ship", + "▁ци вили", + "▁У же", + "▁Уж е", + "мо к", + "м ок", + "▁e p", + "▁ ep", + "ри зо", + "р изо", + "▁в ида", + "▁ви да", + "▁вид а", + "▁ вида", + "▁по пыта", + "▁попыт а", + "▁попы та", + "▁воен ной", + "▁военно й", + "▁вое нной", + "▁ш тур", + "▁шту р", + "▁шт ур", + "▁c r", + "▁кри зи", + "П ро", + "▁Н ор", + "▁Но р", + "▁ Нор", + "▁d eb", + "▁de b", + "▁p ort", + "▁ port", + "н ё", + "▁не зна", + "ме ль", + "мел ь", + "ем а", + "е ма", + "рав да", + "▁Г ит", + "▁Ги т", + "▁фи лософ", + "▁филосо ф", + "▁ философ", + "▁ко пи", + "▁коп и", + "▁г ло", + "▁гл о", + "▁ гло", + "▁п лат", + "▁пла т", + "▁а эро", + "▁аэ ро", + "vi ous", + "v ious", + "▁оружи я", + "▁ору жия", + "▁s old", + "▁so ld", + "▁sol d", + "▁то ч", + "▁ю риди", + "▁юри ди", + "ма ни", + "ман и", + "м ани", + "ed er", + "e der", + "ur g", + "▁непосред ственно", + "▁м ер", + "▁ме р", + "▁ мер", + "▁cl aim", + "▁ claim", + "▁d iv", + "▁di v", + "▁ div", + "▁биз нес", + "▁бизне с", + "кт а", + "к та", + "▁вс пом", + "▁вспо м", + "▁раз де", + "ap an", + "a pan", + "▁pro cess", + "не ве", + "нев е", + "н еве", + "▁ре й", + "▁р ей", + "▁ рей", + "▁меся ц", + "ст ные", + "с тные", + "▁Велико брита", + "▁вто рого", + "▁второ го", + "це п", + "▁об щи", + "▁общ и", + "ви и", + "ер а", + "е ра", + "▁та кую", + "▁так ую", + "▁И так", + "▁Ита к", + "жа ла", + "жал а", + "ж ала", + "▁цер ковь", + "▁церков ь", + "▁Г ру", + "▁G o", + "об ла", + "о бла", + "не нно", + "нен но", + "н енно", + "▁сла бо", + "▁Совет ского", + "▁Сове тского", + "am b", + "a mb", + "▁g l", + "▁ gl", + "o f", + "▁о пла", + "▁оп ла", + "▁ответ ил", + "▁отве тил", + "▁но вую", + "▁нов ую", + "▁ новую", + "▁Д аль", + "▁Да ль", + "▁вы бор", + "▁выбо р", + "▁ выбор", + "▁со стояния", + "▁состоя ния", + "▁b ased", + "▁bas ed", + "▁base d", + "▁ based", + "▁скоро сть", + "▁та бли", + "▁борь бе", + "▁тор гов", + "▁торго в", + "▁оди нако", + "▁К али", + "▁Ка ли", + "▁Кал и", + "▁п рием", + "▁при ем", + "▁прие м", + "ст ая", + "ста я", + "с тая", + "▁боль шей", + "▁больше й", + "tend ed", + "▁по сети", + "▁пос ети", + "▁посе ти", + "ят ся", + "я тся", + "an gu", + "ang u", + "▁устано влен", + "▁установ лен", + "▁боль шая", + "чи ки", + "чик и", + "▁по беди", + "▁побе ди", + "▁побед и", + "as es", + "ase s", + "a ses", + "те сь", + "тес ь", + "ко вые", + "ковы е", + "▁f ather", + "▁fa ther", + "▁ father", + "▁ч ере", + "▁че ре", + "▁чер е", + "▁раз гово", + "▁а гент", + "▁аген т", + "ще на", + "щен а", + "щ ена", + "og raph", + "ograp h", + "▁ч ас", + "▁ча с", + "▁ час", + "▁па ци", + "▁боль ших", + "ве ра", + "вер а", + "в ера", + "бле н", + "бл ен", + "б лен", + "▁чи нов", + "▁чин ов", + "▁само у", + "a e", + "те ние", + "▁Aust ral", + "слу ж", + "▁per form", + "▁f ind", + "▁fin d", + "ка к", + "к ак", + "в ку", + "ле ку", + "лек у", + "▁M in", + "П а", + "▁чрез вычай", + "▁ж ан", + "▁жа н", + "▁ жан", + "смо три", + "смотр и", + "с мотри", + "ро та", + "рот а", + "▁Д об", + "▁До б", + "▁e qu", + "▁ equ", + "▁обяза тельно", + "▁м г", + "ur ther", + "urt her", + "▁s k", + "▁ sk", + "▁деся ть", + "▁тех ники", + "▁техни ки", + "▁ техники", + "ц кого", + "▁W est", + "▁We st", + "om in", + "o min", + "▁про дви", + "▁прод ви", + "▁s ent", + "▁se nt", + "▁sen t", + "си ла", + "сил а", + "с ила", + "▁Д он", + "▁До н", + "▁ Дон", + "▁челове ку", + "▁человек у", + "▁на ч", + "▁ш коле", + "▁шко ле", + "▁школ е", + "▁пре вос", + "▁ре д", + "▁р ед", + "▁ ред", + "▁Моск ву", + "▁гра фи", + "▁граф и", + "▁ графи", + "▁те ря", + "▁тер я", + "▁ теря", + "▁руковод ством", + "▁руководство м", + "ли ча", + "Г о", + "▁l ate", + "▁la te", + "▁lat e", + "▁коро лев", + "▁короле в", + "▁о пти", + "▁оп ти", + "ло вич", + "лови ч", + "▁сер ви", + "▁ серви", + "▁П рави", + "▁Пра ви", + "хо дило", + "ходи ло", + "ходил о", + "пт о", + "п то", + "▁ре гуляр", + "▁регу ляр", + "in ning", + "inn ing", + "йн а", + "й на", + "▁об станов", + "▁из бран", + "▁избра н", + "▁ана логи", + "▁ла гер", + "▁с иль", + "▁си ль", + "▁сил ь", + "▁ силь", + "▁L ondon", + "▁вой ну", + "▁войн у", + "▁B ar", + "▁Ba r", + "▁аре сто", + "▁арест о", + "▁про гре", + "▁pro ject", + "▁Кра сно", + "▁w omen", + "▁предна зна", + "▁мя г", + "▁но ги", + "▁ног и", + "мо л", + "м ол", + "▁оказа лись", + "▁оказали сь", + "▁на зывают", + "▁называ ют", + "ще ний", + "▁be come", + "▁bec ome", + "▁becom e", + "▁смо г", + "▁a ff", + "▁ aff", + "▁п рово", + "▁про во", + "▁М ор", + "▁Мо р", + "▁ Мор", + "▁у доволь", + "▁удо воль", + "▁а стро", + "▁ас тро", + "▁энер ги", + "▁эпи зо", + "▁мо дель", + "▁моде ль", + "ри ста", + "рис та", + "рист а", + "▁ве с", + "▁ вес", + "▁пе даго", + "▁Y ou", + "▁ You", + "с вя", + "▁основ ной", + "▁осно вной", + "бе ра", + "бер а", + "б ера", + "▁же ле", + "▁жел е", + "▁вы дви", + "ум а", + "у ма", + "▁па ру", + "▁пар у", + "▁ра сти", + "▁рас ти", + "▁раст и", + "▁су пру", + "▁суп ру", + "▁государ ственной", + "▁государстве нной", + "▁Ge or", + "▁Ф ор", + "▁Фо р", + "▁ Фор", + "▁фа ми", + "▁ фами", + "▁обра зование", + "▁образова ние", + "гу т", + "г ут", + "жды й", + "ж дый", + "ж ную", + "▁in it", + "▁ init", + "▁бое вых", + "▁боев ых", + "га ют", + "▁Ц К", + "▁re ad", + "▁r ead", + "▁ read", + "ро з", + "р оз", + "▁д ево", + "▁де во", + "▁дев о", + "▁g ood", + "▁go od", + "st it", + "еди н", + "ед ин", + "е дин", + "et er", + "e ter", + "▁рез ко", + "▁пре одо", + "▁стре лко", + "▁ стрелко", + "▁и ллю", + "▁м нение", + "▁мне ние", + "pos ed", + "pose d", + "▁кни гу", + "▁книг у", + "▁n on", + "▁no n", + "▁F rench", + "▁отно шению", + "▁отноше нию", + "▁свой ства", + "▁свойств а", + "▁до чь", + "▁про сь", + "▁прос ь", + "▁по стро", + "▁пос тро", + "▁пост ро", + "▁Т ол", + "▁То л", + "▁требу ет", + "ну ла", + "нул а", + "▁се рии", + "▁В ар", + "▁Ва р", + "▁пер вое", + "▁перво е", + "▁th ird", + "▁R uss", + "▁Ru ss", + "▁you ng", + "п ля", + "▁о гонь", + "▁ого нь", + "▁с част", + "▁сча ст", + "▁with out", + "▁площа ди", + "а з", + "ке р", + "к ер", + "редо то", + "▁M e", + "▁край ней", + "▁крайне й", + "ко вского", + "ков ского", + "ща ют", + "▁В прочем", + "ро ванных", + "рова нных", + "рован ных", + "▁inv ol", + "тер пе", + "▁по строен", + "▁построе н", + "▁постро ен", + "▁коро ля", + "ше ний", + "▁гер ман", + "▁ герман", + "т ную", + "▁serv ice", + "▁э кра", + "▁эк ра", + "---- ----", + "ге ти", + "г ети", + "▁ви дно", + "▁вид но", + "▁ видно", + "▁об щество", + "▁обще ство", + "▁обществ о", + "▁се зона", + "▁сезо на", + "▁сезон а", + "▁C ount", + "▁Co unt", + "▁зе ле", + "▁ зеле", + "сно ва", + "снов а", + "с нова", + "lin e", + "li ne", + "l ine", + "▁о прав", + "▁оп рав", + "▁се ла", + "▁сел а", + "▁mov ed", + "▁move d", + "М и", + "▁жа ло", + "▁жал о", + "▁ жало", + "▁le vel", + "▁ level", + "жа я", + "ж ая", + "же ли", + "жел и", + "▁C or", + "▁Co r", + "▁ка кая", + "▁как ая", + "▁б рон", + "▁бро н", + "▁S w", + "▁Ко ми", + "▁Ком и", + "▁ше сти", + "▁шест и", + "▁говори тся", + "▁говорит ся", + "▁говор ится", + "▁гово рится", + "▁С мо", + "▁См о", + "▁ге о", + "▁пись ма", + "ти ческим", + "тически м", + "▁Р С", + "con om", + "▁ком понен", + "▁компо нен", + "про тив", + "проти в", + "▁экспе ди", + "▁Между народ", + "▁ид ти", + "▁ныне ш", + "▁марш ру", + "▁ка кого", + "▁по пы", + "▁поп ы", + "▁эк спо", + "▁экс по", + "▁s on", + "▁so n", + "▁ son", + "m it", + "▁воен ного", + "▁военно го", + "▁вое нного", + "▁во спомина", + "▁вос помина", + "▁воспо мина", + "▁И спо", + "▁Ис по", + "▁о казывается", + "▁оказыва ется", + "▁оказывает ся", + "▁соста ва", + "▁состав а", + "▁Ита лии", + "▁Итали и", + "▁count ry", + "лы ми", + "лым и", + "▁дума ю", + "▁Ле нина", + "▁Ленин а", + "▁Лен ина", + "▁Лени на", + "▁пред вари", + "▁st at", + "▁ори гина", + "▁по яс", + "▁поя с", + "▁гла вный", + "▁глав ный", + "чен ко", + "ч енко", + "▁us ing", + "▁ using", + "▁помо чь", + "▁c over", + "▁co ver", + "▁s ide", + "▁ side", + "ci l", + "c il", + "▁э ми", + "▁эм и", + "▁говори ли", + "▁говорил и", + "▁говор или", + "▁гово рили", + "▁ говорили", + "▁п лен", + "▁пле н", + "▁ плен", + "▁ко ль", + "▁кол ь", + "▁ коль", + "▁Бо г", + "▁с хе", + "▁сх е", + "▁n ational", + "▁nation al", + "ри ка", + "рик а", + "▁соб ственно", + "▁собствен но", + "▁промышлен ности", + "▁за то", + "▁зат о", + "▁с тек", + "▁ст ек", + "▁сте к", + "▁f ac", + "▁fa c", + "▁край не", + "▁четыре х", + "s p", + "ru ction", + "ruct ion", + ": //", + "▁с праши", + "▁спра ши", + "ut ed", + "ute d", + "u ted", + "▁е два", + "▁ед ва", + "▁на строе", + "▁настро е", + "il ar", + "ila r", + "ни ках", + "ника х", + "го р", + "г ор", + "▁h ow", + "▁уви деть", + "▁увиде ть", + "▁созда ние", + "▁соз дание", + "es e", + "e se", + "▁ст рем", + "▁стре м", + "▁стр ем", + "▁h owever", + "▁how ever", + "▁чемпиона та", + "▁чемпионат а", + "▁orig inal", + "▁origin al", + "ge r", + "g er", + "▁те ку", + "▁тек у", + "an c", + "▁ле ген", + "▁лег ен", + "▁у беди", + "▁убе ди", + "▁В В", + "▁предста вления", + "▁J apan", + "▁Ф или", + "▁Фи ли", + "▁te chn", + "▁продол жи", + "а л", + "▁объек тов", + "▁объект ов", + "▁Бы л", + "▁к рая", + "▁кра я", + "▁кр ая", + "▁на ступа", + "▁наступ а", + "▁char acter", + "▁charact er", + "ви в", + "в ив", + "ня ли", + "нял и", + "н яли", + "le ss", + "les s", + "l ess", + "▁ch ang", + "▁ chang", + "▁следу ющие", + "am ple", + "amp le", + "пт и", + "п ти", + "▁сво ё", + "хо зяй", + "▁пар ти", + "▁парт и", + "▁w in", + "▁ win", + "▁С ов", + "▁Со в", + "▁вариан т", + "▁вариа нт", + "▁k e", + "▁ ke", + "▁кора бля", + "▁исклю чительно", + "▁исключи тельно", + "▁Че лове", + "▁ Челове", + "▁А фри", + "▁Аф ри", + "ри ли", + "рил и", + "р или", + "▁К ре", + "▁ Кре", + "▁ника кого", + "зи л", + "з ил", + "▁э ска", + "▁эс ка", + "▁эле мента", + "▁элемент а", + "▁кре п", + "▁ креп", + "▁S ec", + "▁Se c", + "hi ng", + "h ing", + "ро вка", + "ров ка", + "ol ution", + "▁Ц ер", + "▁Це р", + "ст вий", + "стви й", + "▁З е", + "▁ Зе", + "жде ны", + "жден ы", + "же но", + "жен о", + "▁к ара", + "▁ка ра", + "▁кар а", + "▁ кара", + "ль ности", + "льно сти", + "▁Р ы", + "тель ством", + "тельство м", + "тельств ом", + "ak en", + "ake n", + "a ken", + "▁E n", + "▁ En", + "▁ка кую", + "▁как ую", + "▁со ревнова", + "▁Т ут", + "▁Ту т", + "▁includ e", + "▁желез нодоро", + "мы сле", + "▁С лу", + "▁про ходит", + "▁проходи т", + "▁проход ит", + "▁прохо дит", + "▁в тор", + "▁вто р", + "▁appe ar", + "▁app ear", + "▁веро ят", + "▁ вероят", + "тех ни", + "ъ я", + "▁B ut", + "▁Bu t", + "▁ But", + "▁на рко", + "▁нар ко", + "ше нию", + "▁успе ш", + "▁Б ри", + "▁Г ар", + "▁Га р", + "▁участ ников", + "▁участник ов", + "▁Р я", + "вля ют", + "в ляют", + "▁жи л", + "▁ж ил", + "▁ жил", + "▁не де", + "▁ре зер", + "▁рез ер", + "b e", + "▁про веде", + "▁прове де", + "ме нить", + "мен ить", + "мени ть", + "▁да нном", + "▁дан ном", + "се л", + "▁к е", + "▁ ке", + "▁круп ных", + "▁особенно сти", + "▁особен ности", + "▁c he", + "▁ch e", + "▁ che", + "re st", + "res t", + "r est", + "▁Се годня", + "▁пи сать", + "▁писа ть", + "▁ писать", + "▁п ласти", + "▁пла сти", + "▁пласт и", + "▁за тра", + "▁з атра", + "▁зат ра", + "вё л", + "в ёл", + "тер на", + "▁St ate", + "▁пер вая", + "▁publ ished", + "▁вы деля", + "▁выде ля", + "▁эле ментов", + "▁элемент ов", + "▁f ore", + "▁for e", + "▁ fore", + "▁т рав", + "▁тра в", + "▁тр ав", + "▁у видел", + "▁уви дел", + "▁увиде л", + "ro te", + "r ote", + "ду ет", + "ро ваны", + "рова ны", + "рован ы", + "ко вский", + "ков ский", + "▁не которое", + "▁некото рое", + "▁по нял", + "▁поня л", + "▁пон ял", + "ord s", + "en tion", + "ent ion", + "▁э волю", + "же на", + "жен а", + "ж ена", + "▁по рядка", + "▁поряд ка", + "кл е", + "к ле", + "▁сказа ла", + "▁ска зала", + "▁сказал а", + "▁сказ ала", + "ще му", + "щем у", + "▁Ге нера", + "▁Ген ера", + "▁при род", + "▁приро д", + "es ts", + "est s", + "▁отмет ил", + "▁отме тил", + "amp ions", + "ampion s", + "▁же л", + "▁ жел", + "ap e", + "a pe", + "▁pop ulation", + "▁возника ет", + "▁Т ер", + "▁Те р", + "по те", + "пот е", + "п оте", + "▁М оло", + "▁Мо ло", + "▁Мол о", + "▁ Моло", + "▁устрой ства", + "▁устройств а", + "▁f riend", + "▁ friend", + "ше нием", + "шение м", + "▁с ложи", + "▁сло жи", + "лк е", + "л ке", + "▁g r", + "▁ gr", + "чи ная", + "чина я", + "чин ая", + "▁чемпиона те", + "▁чемпионат е", + "▁поз днее", + "▁позд нее", + "се рва", + "сер ва", + "▁мл рд", + "▁коман да", + "▁команд а", + "▁се ле", + "▁сел е", + "▁с порт", + "▁спо рт", + "▁спор т", + "▁ спорт", + "▁раз ум", + "▁разу м", + "▁ разум", + "▁свобо ды", + "▁свобод ы", + "▁е писко", + "▁ еписко", + "▁Пер ед", + "▁Пе ред", + "▁Пере д", + "▁се льского", + "▁сель ского", + "( )", + "▁за ка", + "▁з ака", + "▁зак а", + "▁k now", + "▁kn ow", + "▁ know", + "по лу", + "пол у", + "▁h aving", + "▁ha ving", + "▁че му", + "▁чем у", + "▁ чему", + "▁com pet", + "▁comp et", + "ти лись", + "тили сь", + "▁на ста", + "▁нас та", + "▁пре бы", + "ко ль", + "кол ь", + "ча сти", + "час ти", + "част и", + "z e", + "re am", + "▁P res", + "▁Pr es", + "▁Pre s", + "▁при шел", + "во л", + "в ол", + "Р А", + "▁болез ни", + "▁боле зни", + "▁м лад", + "▁мл ад", + "▁мла д", + "▁c ult", + "лл о", + "л ло", + "▁ко нец", + "▁кон ец", + "▁коне ц", + "▁ конец", + "▁по иска", + "▁пои ска", + "▁поиск а", + "та на", + "тан а", + "т ана", + "вле нный", + "влен ный", + "в ленный", + "ев ского", + "е вского", + "йте сь", + "й тесь", + "▁ра ссу", + "▁рас су", + "▁расс у", + "▁ рассу", + "вё р", + "в ёр", + "нно м", + "н ном", + "▁по ведения", + "▁пове дения", + "▁in fl", + "▁inf l", + "▁от куда", + "▁отк уда", + "b l", + "Н О", + "▁количе ства", + "▁The se", + "▁Th ese", + "▁у читы", + "▁учи ты", + "▁l ook", + "▁lo ok", + "▁ look", + "▁не что", + "▁ро ждения", + "▁s it", + "▁исследова ний", + "ть е", + "т ье", + "▁с форми", + "▁служ бу", + "▁служб у", + "▁act iv", + "ra w", + "r aw", + "▁Will iam", + "тя брь", + "▁пол ной", + "▁полно й", + "en cy", + "enc y", + "сно е", + "с ное", + "▁n ever", + "▁ne ver", + "▁произ водство", + "▁производ ство", + "сы ла", + "ко ле", + "кол е", + "к оле", + "▁Р об", + "▁Ро б", + "▁во дой", + "▁водо й", + "▁вод ой", + "ст ера", + "сте ра", + "стер а", + "с тера", + "▁ря да", + "▁ряд а", + "▁И зра", + "▁Из ра", + "▁моло до", + "▁мол одо", + "▁молод о", + "ро ваться", + "рова ться", + "ровать ся", + "▁пу сть", + "▁дол жности", + "▁долж ности", + "▁должно сти", + "▁r ole", + "▁ro le", + "▁f re", + "▁fr e", + "▁конку рен", + "▁конкур ен", + "al d", + "a ld", + "ци о", + "ri es", + "rie s", + "r ies", + "ло ж", + "li sh", + "l ish", + "сю да", + "▁не дели", + "▁неде ли", + "▁кни г", + "ми т", + "м ит", + "▁раз вер", + "▁разве р", + "▁кни га", + "▁книг а", + "▁оконча ния", + "▁re al", + "▁ real", + "▁па мят", + "▁памя т", + "▁от дела", + "▁отде ла", + "▁отдел а", + "▁I V", + "▁ IV", + "▁ТА СС", + "▁ ТАСС", + "op s", + "o ps", + "▁т ща", + "▁п ет", + "▁пе т", + "▁ пет", + "▁st ation", + "▁stat ion", + "▁о х", + "au l", + "a ul", + "▁П оз", + "▁По з", + "ан ь", + "а нь", + "▁дере вя", + "▁дерев я", + "▁П равда", + "не та", + "нет а", + "пи л", + "п ил", + "▁Ва силь", + "▁Васи ль", + "▁Вас иль", + "▁нача льник", + "▁началь ник", + "▁харак тера", + "▁характер а", + "▁не со", + "▁нес о", + "▁Ма кси", + "▁Мак си", + "▁Макс и", + "▁мето д", + "▁мет од", + "▁пу сты", + "▁bus iness", + "▁с лыша", + "▁слы ша", + "▁ти ту", + "▁за держа", + "чи лся", + "чил ся", + "ч ился", + "▁К ара", + "▁Ка ра", + "▁Кар а", + "et h", + "e th", + "▁d ied", + "▁di ed", + "▁die d", + "▁га ран", + "▁гар ан", + "ье в", + "ь ев", + "\" [", + "ре нь", + "рен ь", + "р ень", + "ду мы", + "дум ы", + "▁start ed", + "▁star ted", + "▁ста ти", + "▁ стати", + "▁A cc", + "▁Ac c", + "▁t em", + "▁te m", + "ни ться", + "нить ся", + "▁бом барди", + "но вение", + "нове ние", + "▁пи ло", + "▁ пило", + "мо му", + "мом у", + "▁на ка", + "▁н ака", + "▁во сь", + "▁вос ь", + "▁за пу", + "ва нию", + "вани ю", + "же нные", + "жен ные", + "▁случа ев", + "▁случае в", + "▁спро сил", + "▁спрос ил", + "▁по лк", + "▁пол к", + "on es", + "one s", + "o nes", + "▁обо зна", + "▁A ng", + "▁An g", + "ar ent", + "are nt", + "aren t", + "a rent", + "де те", + "дет е", + "д ете", + "▁на ша", + "▁наш а", + "▁публи ка", + "▁ре шили", + "▁реши ли", + "▁решил и", + "▁государ ство", + "▁государств о", + "че стве", + "▁пре образова", + "▁преобра зова", + "▁представи телей", + "ib er", + "i ber", + "▁att empt", + "ст ен", + "сте н", + "с тен", + "го вари", + "гова ри", + "▁M ed", + "▁Me d", + "▁во сем", + "▁вос ем", + "▁ре гули", + "▁регу ли", + "▁ регули", + "ня ми", + "ням и", + "н ями", + "▁ни как", + "▁ника к", + "▁ник ак", + "▁по рядок", + "▁поряд ок", + "▁порядо к", + "▁у креп", + "▁укре п", + "ли чия", + "личи я", + "▁обстоя тельства", + "▁обстоятельств а", + "Т а", + "ol e", + "o le", + "ма то", + "мат о", + "ди м", + "д им", + "де я", + "на р", + "н ар", + "▁тек ст", + "os p", + "o sp", + "Е Л", + "▁comm and", + "Й ор", + "се ния", + "▁начина ется", + "▁начинает ся", + "u k", + "▁перио да", + "▁период а", + "▁пери ода", + "жа ют", + "жаю т", + "ст ры", + "стр ы", + "с тры", + "▁слу ша", + "▁ слуша", + "емы м", + "е мым", + "▁я вно", + "▁яв но", + "ле ра", + "лер а", + "л ера", + "ver s", + "v ers", + "ac hed", + "ach ed", + "ache d", + "a ched", + "ду ш", + "▁фа куль", + "▁Х и", + "▁вы бира", + "▁выби ра", + "ра баты", + "сло вно", + "слов но", + "▁приня то", + "▁принят о", + "▁о дному", + "▁од ному", + "▁одно му", + "▁одном у", + "▁ре а", + "▁Э р", + "▁p rote", + "▁pro te", + "▁pr ote", + "▁prot e", + "С и", + "▁Анд рей", + "▁Андре й", + "▁И р", + "▁R es", + "▁Re s", + "▁ Res", + "▁О соб", + "▁Ос об", + "▁Осо б", + "юще му", + "ющем у", + "ю щему", + "ве ц", + "в ец", + "▁зна ком", + "▁знако м", + "▁знак ом", + "▁сос редото", + "зм е", + "з ме", + "▁п рин", + "▁при н", + "▁пр ин", + "че тся", + "чет ся", + "ч ется", + "va l", + "v al", + "кон ча", + "▁Зем ли", + "▁Зе мли", + "ли за", + "ши на", + "шин а", + "ш ина", + "▁за коном", + "▁зако ном", + "▁закон ом", + "▁законо м", + "▁зак оном", + "▁W ith", + "▁Wi th", + "▁н рави", + "▁нрав и", + "▁нра ви", + "▁шта ба", + "▁штаб а", + "tt p", + "▁не про", + "▁да нной", + "▁дан ной", + "▁к лад", + "▁кла д", + "▁ клад", + "▁каж дом", + "▁каждо м", + "чи е", + "▁со блю", + "▁соб лю", + "▁иностран ных", + "b s", + "▁под вод", + "▁подво д", + "▁поли тической", + "▁полити ческой", + "▁ политической", + "▁По скольку", + "an a", + "a na", + "▁## ##", + "▁### #", + "▁ ####", + "▁w ant", + "▁wa nt", + "▁д ре", + "▁др е", + "▁ дре", + "▁hist ory", + "▁histor y", + "le v", + "l ev", + "▁появи лись", + "▁поя вились", + "? ?", + "▁и ной", + "▁ин ой", + "▁ино й", + "му ли", + "▁d ays", + "▁day s", + "▁на сколько", + "▁e duc", + "▁ed uc", + "▁ба ш", + "▁s ee", + "▁se e", + "▁ see", + "▁кон кур", + "▁конку р", + "гр и", + "г ри", + "кра тно", + "крат но", + "▁ар мия", + "▁арми я", + "р но", + "стро йки", + "строй ки", + "▁в у", + "▁ ву", + "жно м", + "ж ном", + "▁кон ферен", + "▁конф ерен", + "▁конфе рен", + "▁ конферен", + "▁мат че", + "▁матч е", + "▁n orth", + "▁nor th", + "▁nort h", + "▁о пу", + "▁оп у", + "▁К ан", + "▁Ка н", + "ра б", + "▁Ка ждый", + "▁тор же", + "п лы", + "▁Р ей", + "▁Ре й", + "▁раз би", + "ль ному", + "льно му", + "льном у", + "▁же ст", + "сны м", + "с ным", + "▁v iew", + "▁ view", + "чни к", + "ч ник", + "за ть", + "чи ться", + "чить ся", + "▁фло та", + "▁флот а", + "▁род ствен", + "▁P art", + "▁Par t", + "▁announ ced", + "▁д воря", + "▁дво ря", + "▁двор я", + "ня ются", + "няют ся", + "ти ла", + "тил а", + "т ила", + "▁r ad", + "▁ra d", + "▁ rad", + "▁ру бе", + "▁руб е", + "▁Ино гда", + "▁го ре", + "▁гор е", + "▁ горе", + "▁ра кет", + "▁рак ет", + "▁раке т", + "▁t w", + "▁да нный", + "▁дан ный", + "▁m ember", + "▁me mber", + "▁mem ber", + "▁continu ed", + "▁contin ued", + "▁continue d", + "▁Р им", + "▁Ри м", + "▁современ ной", + "▁S up", + "▁Su p", + "▁ком мента", + "▁коммен та", + "▁cl os", + "▁ clos", + "▁неболь шой", + "▁небольшо й", + "▁зем ля", + "▁го с", + "▁г ос", + "le ar", + "l ear", + "en eral", + "ener al", + "ene ral", + "зм ом", + "з мом", + "▁ка мен", + "▁кам ен", + "▁каме н", + "▁м аги", + "▁ма ги", + "▁маг и", + "▁напра влен", + "ма й", + "м ай", + "es tern", + "est ern", + "ester n", + "▁г им", + "▁ги м", + "▁ гим", + "ло ви", + "лов и", + "▁институ та", + "▁институт а", + "ство вала", + "ствовал а", + "ствова ла", + "▁В ен", + "▁Ве н", + "▁ Вен", + "iv id", + "▁по вре", + "▁пов ре", + "▁g iven", + "▁give n", + "▁ша х", + "▁ шах", + "▁и ск", + "▁ис к", + "М е", + "▁вз ял", + "▁взя л", + "то ли", + "тол и", + "▁L a", + "▁ La", + "or ies", + "ori es", + "o ries", + "М ы", + "▁l et", + "▁le t", + "▁ let", + "our n", + "o urn", + "▁дальней шем", + "▁кла сс", + "▁ класс", + "▁не одно", + "▁нео дно", + "▁я дер", + "▁яд ер", + "▁ ядер", + "ва нием", + "вание м", + "вани ем", + "▁за вода", + "▁заво да", + "▁завод а", + "oo n", + "o on", + "ra g", + "r ag", + "не те", + "нет е", + "н ете", + "фи циаль", + "фици аль", + "▁в ку", + "▁ вку", + "▁об служи", + "▁и гр", + "▁иг р", + "▁На ча", + "▁Нач а", + "▁him self", + "% .", + "▁полу чения", + "зи ру", + "ю р", + "▁во ди", + "▁вод и", + "▁ води", + "▁ис ход", + "▁м еры", + "▁ме ры", + "▁мер ы", + "▁ меры", + "▁hel p", + "▁за рабо", + "▁зара бо", + "▁голо с", + "▁гол ос", + "▁s qu", + "за ми", + "зам и", + "▁Ива нович", + "es ted", + "est ed", + "▁чле ном", + "▁член ом", + "эл ь", + "э ль", + "ште й", + "шт ей", + "ш тей", + "▁до ли", + "▁дол и", + "че ра", + "чер а", + "ч ера", + "▁cont rol", + "▁contro l", + "ж ка", + "во ен", + "вое н", + "in o", + "i no", + "си и", + "бе нок", + "бен ок", + "сс ер", + "ссе р", + "с сер", + "▁основа нии", + "▁осно вании", + "ци ям", + "ция м", + "▁хозяй ства", + "▁хозяйств а", + "▁ва ми", + "▁вам и", + "▁ вами", + "▁ак тивно", + "▁актив но", + "▁предста вить", + "▁представи ть", + "▁про ведения", + "▁прове дения", + "▁проведе ния", + "▁пере вод", + "▁перево д", + "▁х ло", + "▁ хло", + "▁Мини стер", + "жи м", + "ж им", + "▁за писа", + "▁запи са", + "▁соб ственной", + "▁собствен ной", + "▁собственно й", + "▁пред ложил", + "▁предложи л", + "ind ows", + "▁Д жей", + "▁Дж ей", + "▁Дже й", + "б ку", + "▁сти хот", + "нс кая", + "н ская", + "▁шко лу", + "▁школ у", + "▁нер в", + "▁в ходит", + "▁вход ит", + "▁входи т", + "e f", + "▁о з", + "▁ оз", + "af f", + "a ff", + "бла го", + "б лаго", + "▁w rote", + "ще нием", + "щение м", + "▁исполь зование", + "▁использова ние", + "▁Can ad", + "▁счита ют", + "▁считаю т", + "▁return ed", + "▁пре тен", + "op h", + "o ph", + "▁м ед", + "▁ме д", + "▁ мед", + "▁Моск ва", + "▁ Москва", + "▁гра ницы", + "▁грани цы", + "▁границ ы", + "▁зада ч", + "ot s", + "o ts", + "▁По ка", + "▁l ist", + "▁ list", + "▁тре ни", + "▁Е ги", + "▁совет ских", + "П ри", + "▁а дре", + "▁ад ре", + "▁s w", + "▁ sw", + "жь е", + "ж ье", + "▁заклю чается", + "▁заключа ется", + "д ю", + "▁И ль", + "▁Ил ь", + "бе рг", + "бер г", + "ль ность", + "льно сть", + "▁досто ин", + "▁А каде", + "▁По ли", + "▁Пол и", + "ug g", + "▁на оборот", + "▁А зии", + "ра с", + "р ас", + "▁выну жден", + "▁в доль", + "▁вдо ль", + "▁бо ро", + "▁бор о", + "▁ боро", + "кну л", + "к нул", + "▁s erved", + "▁serv ed", + "▁ser ved", + "▁serve d", + "▁о хва", + "▁ох ва", + "▁в ру", + "▁вр у", + "▁b est", + "▁be st", + "▁bes t", + "▁со знания", + "▁созна ния", + "▁в верх", + "▁не ё", + "▁ма сса", + "▁масс а", + "▁А к", + "ка л", + "к ал", + "▁О к", + "▁мо их", + "▁мои х", + "▁a uthor", + "▁auth or", + "Б а", + "▁Ш та", + "▁с обо", + "▁со бо", + "▁соб о", + "▁при дется", + "▁прид ется", + "▁придет ся", + "' ,", + "▁авто ра", + "▁ав тора", + "▁автор а", + "▁из ба", + "▁М О", + "▁ МО", + "▁гла вного", + "▁глав ного", + "ча ми", + "чам и", + "▁in form", + "▁inf orm", + "▁нау чно", + "ме нтом", + "мен том", + "мент ом", + "▁пред ше", + "▁rep resent", + "▁больше ви", + "в ё", + "др ы", + "д ры", + "▁ге не", + "▁ген е", + "▁ гене", + "тво р", + "т вор", + "чи в", + "ч ив", + "oun cil", + "Б е", + "▁спе ци", + "▁спец и", + "= =", + "fer ence", + "fe rence", + "▁от носятся", + "▁относя тся", + "▁относят ся", + "us ed", + "use d", + "▁вы став", + "▁выс тав", + "▁выста в", + "▁губер нии", + "кан чи", + "▁Eng lish", + "▁ба ссе", + "for d", + "f ord", + "с ё", + "▁О но", + "▁Он о", + "▁сек суаль", + "▁О чень", + "▁Оче нь", + "бе ли", + "▁t ot", + "▁to t", + "▁ли кви", + "▁develop ment", + "▁дости жения", + "▁совет ской", + "▁сове тской", + "▁советско й", + "▁stud ents", + "▁student s", + "re g", + "кро ви", + "кров и", + "▁право слав", + "▁правосла в", + "▁P ark", + "▁Par k", + "o id", + "er r", + "нно сти", + "н ности", + "▁ге рои", + "▁геро и", + "▁профе ссор", + "▁профессо р", + "ab or", + "a bor", + "ir c", + "i rc", + "▁Пре зиден", + "▁от сутствие", + "▁отсут ствие", + "ви лись", + "вили сь", + "че нной", + "чен ной", + "ченно й", + "▁доро ге", + "▁дорог е", + "ing ton", + "▁Af ric", + "▁коми тета", + "▁комитет а", + "▁комите та", + "▁цар я", + "▁ца ря", + "▁го ризо", + "▁гор изо", + "▁на лого", + "▁налог о", + "ни ла", + "нил а", + "н ила", + "▁com mon", + "▁comm on", + "▁В скоре", + "▁дерев ни", + "▁коман дир", + "▁команди р", + "▁команд ир", + "▁рус ские", + "▁и нду", + "▁ин ду", + "▁срав нению", + "к л", + "▁С пи", + "▁во ин", + "▁вои н", + "▁ды ха", + "▁ дыха", + "▁по бере", + "▁побе ре", + "▁дру гую", + "▁друг ую", + "▁другу ю", + "▁высо кой", + "▁высоко й", + "чко в", + "ч ков", + "▁у вели", + "▁уве ли", + "▁посе ления", + "▁pre vious", + "да ет", + "▁счита ется", + "▁считает ся", + "▁на пи", + "n a", + "▁p ain", + "▁неде лю", + "▁Вы со", + "▁Выс о", + "▁pos ition", + "▁ position", + "ти ровал", + "тирова л", + "▁су хо", + "▁Ген ри", + "▁f ield", + "▁ field", + "▁соответ ственно", + "надца ти", + "rid ge", + "▁bel ie", + "▁страте ги", + "▁горо дов", + "▁город ов", + "ви га", + "жде нию", + "ж дению", + "▁атмо сф", + "сты м", + "с тым", + "▁d oes", + "▁do es", + "▁s omet", + "▁so met", + "▁some t", + "▁som et", + "▁ба зе", + "▁баз е", + "▁pr iv", + "▁pri v", + "▁прави льно", + "▁D av", + "▁обра тно", + "▁ла бора", + "ствен ными", + "стве нными", + "ственным и", + "ственны ми", + "▁На конец", + "ез де", + "езд е", + "i us", + "▁з дания", + "▁зда ния", + "pl ic", + "▁оружи е", + "▁ору жие", + "▁ста тье", + "▁стать е", + "ст ам", + "ста м", + "с там", + "▁П О", + "▁ ПО", + "▁пор тре", + "▁порт ре", + "▁сель со", + "▁Э н", + "▁у правление", + "▁упра вление", + "▁ли це", + "▁лиц е", + "имо сть", + "и мость", + "ir on", + "iro n", + "i ron", + "▁но мер", + "▁номе р", + "▁ номер", + "▁и дея", + "▁иде я", + "▁вы ста", + "▁выс та", + "▁in f", + "▁ inf", + "▁успе шно", + "▁успеш но", + "▁компью тер", + "▁l ess", + "▁le ss", + "▁les s", + "▁ less", + "да н", + "д ан", + "▁с читал", + "▁счита л", + "▁m ag", + "▁d est", + "▁de st", + "▁des t", + "▁S er", + "▁Se r", + "▁неда вно", + "▁недав но", + "se qu", + "s equ", + "▁уча ствовал", + "▁Г лава", + "▁Гла ва", + "▁Глав а", + "щи ки", + "щик и", + "▁пре де", + "▁пред е", + "▁ преде", + "▁S oc", + "▁So c", + "ст ный", + "с тный", + "▁Ж у", + "▁но чью", + "▁ночь ю", + "E R", + "▁ar r", + "▁N e", + "▁ Ne", + "▁пере мен", + "▁пер емен", + "▁пе ремен", + "▁переме н", + "▁окон чил", + "▁Алек сей", + "▁Алексе й", + "цен тра", + "центр а", + "ab ly", + "abl y", + "▁нена ви", + "▁Кра сной", + "▁Красно й", + "▁G l", + "▁бе сс", + "▁бес с", + "for man", + "form an", + "▁С П", + "▁ СП", + "не нные", + "нен ные", + "▁на селение", + "▁насе ление", + "▁im p", + "▁i mp", + "сл я", + "с ля", + "▁удо сто", + "шко й", + "ш кой", + "▁по вер", + "▁пове р", + "▁пов ер", + "мы ми", + "мым и", + "▁зна ния", + "▁ знания", + "▁обу чения", + "du ct", + "duc t", + "d uct", + "▁д обра", + "▁до бра", + "▁доб ра", + "чко й", + "ч кой", + "▁на чать", + "▁нача ть", + "▁c ase", + "▁cas e", + "▁D es", + "▁De s", + "▁С ла", + "▁сто и", + "В О", + "▁T r", + "▁Ко ман", + "▁Ком ан", + "▁П ло", + "▁тре во", + "▁тр ево", + "▁по ведение", + "▁пове дение", + "▁с че", + "▁polit ical", + "▁строи тельства", + "фо в", + "ф ов", + "▁проце ду", + "▁за кона", + "▁зако на", + "▁закон а", + "▁зак она", + "▁по стра", + "▁пос тра", + "▁пост ра", + "▁пе сни", + "▁пес ни", + "▁м ай", + "▁ма й", + "▁ май", + "B C", + "де нти", + "ден ти", + "дент и", + "▁вы шла", + "▁выс казыва", + "▁выска зыва", + "ue d", + "u ed", + "▁Ро ссию", + "▁Росси ю", + "▁Рос сию", + "ба я", + "б ая", + "▁возду ха", + "▁воздух а", + "щи ка", + "щик а", + "▁О лимпий", + "ря ду", + "ряд у", + "▁симво ли", + "▁символ и", + "▁H igh", + "▁R ep", + "▁Re p", + "▁в пло", + "сти ческих", + "стически х", + "с тических", + "▁ве щества", + "▁веществ а", + "▁веще ства", + "▁p ut", + "▁ put", + "▁оста льные", + "▁ост альные", + "ро вой", + "ров ой", + "рово й", + "▁К ли", + "▁v ill", + "про с", + "пр ос", + "п рос", + "ку па", + "куп а", + "▁Ph il", + "▁принима ть", + "ко вого", + "ково го", + "av y", + "▁с ай", + "▁са й", + "▁ сай", + "▁по о", + "сту пили", + "ступ или", + "ступи ли", + "ступил и", + "▁Верхов ного", + "ко сть", + "кос ть", + "нг а", + "н га", + "▁Де ло", + "С е", + "сты й", + "с тый", + "▁суще ствования", + "▁существо вания", + "▁существова ния", + "▁потре бо", + "▁потреб о", + "▁i de", + "▁id e", + "▁ ide", + "▁сооб щения", + "▁сообще ния", + "▁s pecial", + "▁spe cial", + "▁spec ial", + "art ment", + "▁от чет", + "▁отче т", + "▁послед них", + "ni ng", + "n ing", + "et work", + "ра т", + "р ат", + "▁p ract", + "▁pr act", + "▁pra ct", + "м м", + "▁ката стро", + "▁п рика", + "▁при ка", + "▁ф ла", + "▁о са", + "▁ос а", + "▁ оса", + "▁ро ст", + "▁рос т", + "yl e", + "y le", + "▁за втра", + "▁var ious", + "▁vari ous", + "▁но си", + "▁н оси", + "▁нос и", + "▁ носи", + "A S", + "▁a nt", + "▁an t", + "▁ ant", + "▁большо го", + "▁с ила", + "▁си ла", + "▁сил а", + "▁ сила", + "Р О", + "▁госпо д", + "▁гос под", + "дж ет", + "дже т", + "д жет", + "ще но", + "щен о", + "▁оказа лась", + "▁сна ря", + "рно й", + "р ной", + "▁t ro", + "▁tr o", + "▁me et", + "зер бай", + "▁г ром", + "▁гро м", + "▁гр ом", + "▁ гром", + "▁А нто", + "▁Ан то", + "▁c urrent", + "▁cur rent", + "▁de fe", + "▁def e", + "▁## #", + "▁# ##", + "▁о риен", + "▁ори ен", + "Р е", + "зербай джа", + "▁ x", + "▁опреде лить", + "in ation", + "ina tion", + "▁наз вания", + "▁назва ния", + "▁за му", + "▁зам у", + "▁к ем", + "▁ке м", + "▁основ ные", + "▁осно вные", + "не сен", + "нес ен", + "несе н", + "▁сопрово жда", + "▁сожа лению", + "▁ф ер", + "▁фе р", + "▁ фер", + "пра во", + "прав о", + "▁import ant", + "▁вне за", + "im ent", + "ime nt", + "i ment", + "▁mil itary", + "▁Со лн", + "▁Сол н", + "▁си лой", + "▁сил ой", + "▁сило й", + "▁в низ", + "of f", + "o ff", + "сти ка", + "стик а", + "с тика", + "▁занима ться", + "▁занимать ся", + "▁Япо нии", + "▁газ еты", + "▁газе ты", + "▁газет ы", + "▁С ло", + "ща ются", + "щают ся", + "▁ z", + "▁се ми", + "▁сем и", + "▁муж чина", + "▁мужчи на", + "▁мужчин а", + "▁услови й", + "▁Пе тербур", + "▁Петер бур", + "▁ Петербур", + "▁пре пят", + "▁в ладель", + "▁вла дель", + "▁владе ль", + "▁владел ь", + "ба х", + "▁ма е", + "▁ин женер", + "▁инже нер", + "тно м", + "т ном", + "▁пара лле", + "▁и меется", + "▁име ется", + "▁имеет ся", + "де ления", + "деле ния", + "▁re se", + "▁r ese", + "▁res e", + "▁о ско", + "▁ос ко", + "нь ю", + "н ью", + "▁подо зре", + "▁бо же", + "▁ди ректор", + "▁дире ктор", + "▁по за", + "▁поз а", + "▁A g", + "▁вопро сов", + "▁вопрос ов", + "om b", + "o mb", + "▁С па", + "us h", + "u sh", + "▁T o", + "▁ To", + "нь я", + "н ья", + "ту рой", + "тур ой", + "туро й", + "▁S an", + "▁Sa n", + "▁ре ализации", + "▁реали зации", + "▁реа лизации", + "▁внутрен них", + "спо нден", + "it her", + "ith er", + "i ther", + "▁во обра", + "▁воо бра", + "зо к", + "з ок", + "ши ли", + "шил и", + "ш или", + "▁на ко", + "▁ нако", + ". ;", + "ст ю", + "с тю", + "▁Е е", + "▁Е му", + "▁с мотри", + "▁смо три", + "▁ смотри", + "▁мо ду", + "ivid ual", + "▁Фили п", + "еха ли", + "ехал и", + "е хали", + "▁И нтер", + "▁Ин тер", + "▁Инте р", + "▁ Интер", + "▁ста нов", + "▁стан ов", + "▁стано в", + "▁ станов", + "▁я й", + "▁о тре", + "▁от ре", + "▁О бы", + "▁Об ы", + "▁s outh", + "▁so uth", + "▁a way", + "▁aw ay", + "▁муж чин", + "▁мужчи н", + "▁ком мер", + "йс кого", + "й ского", + "зи ровать", + "зирова ть", + "▁контро ли", + "ли ва", + "лив а", + "ма ми", + "мам и", + "ul e", + "u le", + "▁прошло м", + "▁прош лом", + "▁д вой", + "▁дво й", + "▁связа но", + "▁связан о", + "▁связ ано", + "▁ди нами", + "▁дина ми", + "▁ динами", + "ко вым", + "ковы м", + "▁пара мет", + "▁обеспе чения", + "▁С т", + "▁импера тор", + "▁пожа луй", + "▁жела ние", + "до не", + "дон е", + "д оне", + "▁ограни чи", + "де лить", + "дели ть", + "дел ить", + "▁за пла", + "▁Пе тро", + "▁Пет ро", + "▁Петр о", + "ще р", + "щ ер", + "▁до ктор", + "▁док тор", + "way s", + "wa ys", + "w ays", + "▁На до", + "▁Над о", + "▁поня тия", + "за цию", + "▁россий ский", + "▁сф ере", + "▁сфе ре", + "al y", + "a ly", + "▁приме нения", + "▁В ам", + "▁Ва м", + "▁ка ком", + "▁как ом", + "▁и дей", + "▁иде й", + "▁ид ей", + "▁что б", + "is c", + "i sc", + "▁m ust", + "▁mus t", + "▁ба та", + "▁fe ature", + "▁feat ure", + "▁не прия", + "▁непри я", + "▁и скать", + "▁ис кать", + "▁иска ть", + "▁establ ished", + "▁establish ed", + "▁приходи лось", + "▁прихо дилось", + "но сит", + "носи т", + "нос ит", + "▁f urther", + "▁fur ther", + "▁экспери мента", + "▁эксперимент а", + "▁де лу", + "▁дел у", + "▁экономи ки", + "▁ст рого", + "▁стро го", + "▁эпо хи", + "во му", + "вом у", + "▁ве чер", + "▁вече р", + "▁появи лся", + "▁поя вился", + "er tain", + "ert ain", + "▁и грать", + "▁иг рать", + "▁игра ть", + "▁Су ще", + "og n", + "o gn", + "▁сто лк", + "▁стол к", + "▁Ве не", + "▁Вен е", + "▁ин вести", + "▁инве сти", + "ic ro", + "iv il", + "▁пра вила", + "▁прави ла", + "▁прав ила", + "▁правил а", + "▁S m", + "▁со держание", + "▁содержа ние", + "ut es", + "ute s", + "u tes", + "▁у лицы", + "▁ули цы", + "▁улиц ы", + "▁спек так", + "▁спект ак", + "▁B r", + "▁сер дца", + "▁серд ца", + "▁о цени", + "▁оцен и", + "▁оце ни", + "▁на шем", + "▁наш ем", + "▁наше м", + "▁ос тался", + "▁оста лся", + "▁теле фон", + "▁телефо н", + "▁о сновы", + "▁основ ы", + "▁осно вы", + "id ence", + "ide nce", + "▁с ва", + "▁св а", + "▁гла вы", + "▁глав ы", + "ho ld", + "h old", + "▁c aus", + "▁во де", + "▁вод е", + "▁ воде", + "▁ру к", + "▁ рук", + "ти вное", + "тив ное", + "тивно е", + "▁Re g", + "op e", + "o pe", + "▁нача льника", + "▁началь ника", + "▁начальник а", + "▁f em", + "▁fe m", + "▁упра ж", + "вля л", + "в лял", + "ло сти", + "▁sim ilar", + "▁Ф ри", + "пер вых", + "▁за интере", + "не но", + "нен о", + "▁скоро сти", + "▁си туация", + "▁ситуа ция", + "▁int ro", + "▁к реди", + "▁кре ди", + "▁кр еди", + "▁университе т", + "▁бу к", + "▁S ch", + "▁Sc h", + "вка з", + "в каз", + "▁С пе", + "▁потре би", + "▁потреб и", + "▁есте ственно", + "му м", + "м ум", + "▁вос прия", + "▁воспри я", + "ко л", + "к ол", + "р ных", + "▁про вести", + "▁прове сти", + "▁Вме сте", + "э т", + "▁ро ста", + "▁р оста", + "▁рост а", + "▁рос та", + "▁хо л", + "▁х ол", + "▁ хол", + "▁f ull", + "▁э н", + "▁ эн", + "▁А х", + "li n", + "l in", + "▁фа ши", + "▁ фаши", + "▁руко водство", + "▁руковод ство", + "▁дела ют", + "▁делаю т", + "▁гер цо", + "▁абсолю тно", + "▁Хо ро", + "▁Хор о", + "▁де та", + "▁дет а", + "▁g ames", + "▁game s", + "▁н рав", + "▁нра в", + "▁ нрав", + "▁st ory", + "▁A ct", + "▁Ac t", + "лет ний", + "▁встре чи", + "▁встреч и", + "▁вер то", + "▁у стой", + "▁ус той", + "▁сезо не", + "▁сезон е", + "ro ll", + "rol l", + "r oll", + "▁О ль", + "▁Ол ь", + "▁мар те", + "ra p", + "r ap", + "▁l im", + "▁ lim", + "▁t imes", + "▁time s", + "▁tim es", + "▁Д ол", + "▁До л", + "щё н", + "щ ён", + "igh ts", + "ight s", + "▁сте пень", + "▁степ ень", + "то вых", + "тов ых", + "▁ор дена", + "▁орде на", + "▁орден а", + "▁Ц и", + "▁сла вя", + "▁ славя", + "ep end", + "e pend", + "тно сть", + "т ность", + "al t", + "▁ис кусство", + "▁искус ство", + "▁искусств о", + "▁infl u", + "▁це лей", + "▁целе й", + "▁расска зал", + "▁рассказа л", + "▁рассказ ал", + "▁кон так", + "▁v ol", + "▁vo l", + "▁моз га", + "▁мозг а", + "тя ну", + "тян у", + "▁бе ло", + "▁гу берна", + "▁губер на", + "▁ губерна", + "▁дру зей", + "▁ин тен", + "▁инте н", + "▁подготов ки", + "▁подгото вки", + "▁k m", + "▁ km", + "▁от ста", + "▁отс та", + "▁капита ли", + "▁капи тали", + "▁капитал и", + "▁На род", + "▁Нар од", + "▁успе ха", + "▁успех а", + "▁прошло го", + "▁прош лого", + "▁тек ста", + "▁текст а", + "ше ны", + "шен ы", + "le ction", + "lect ion", + "l ection", + "▁то пли", + "▁топ ли", + "um b", + "u mb", + "ль ского", + "▁заболе вания", + "ro up", + "▁ю но", + "до вой", + "дов ой", + "дово й", + "▁бо го", + "▁бог о", + "▁ бого", + "▁Ка зах", + "▁Каза х", + "▁н ём", + "▁ нём", + "▁бе се", + "▁бес е", + "▁институ т", + "▁ма сло", + "ge ther", + "get her", + "g ether", + "▁впечат ление", + "▁so cial", + "▁soc ial", + "w h", + "▁t ogether", + "▁to gether", + "▁фак тически", + "▁Д э", + "▁in vest", + "▁inv est", + "▁авто мати", + "▁автома ти", + "▁моло дой", + "▁молодо й", + "▁молод ой", + "▁поли ции", + "▁национа льной", + "▁национально й", + "ampions hip", + "ampion ship", + "▁неме дленно", + "▁немедлен но", + "да ние", + "▁представи тели", + "▁дере вне", + "▁дерев не", + "д не", + "▁partic ular", + "▁поя вляется", + "▁появля ется", + "▁Б ез", + "▁Бе з", + "▁l ost", + "▁lo st", + "▁los t", + "▁после днее", + "▁послед нее", + "▁груп п", + "▁гру пп", + "▁эле менты", + "▁элемент ы", + "▁ле то", + "▁лет о", + "▁пре ступления", + "▁преступ ления", + "▁ти п", + "▁ тип", + "по рт", + "пор т", + "п орт", + "▁pop ular", + "▁не ред", + "▁нер ед", + "▁нере д", + "▁l angu", + "▁pro duction", + "▁produ ction", + "▁product ion", + "▁produc tion", + "ор дина", + "за л", + "з ал", + "▁объек та", + "▁объект а", + "▁объе кта", + "▁буду чи", + "▁буд учи", + "ро вании", + "рова нии", + "▁e t", + "▁ et", + "▁ко д", + "▁к од", + "ен ье", + "ень е", + "е нье", + "▁про ник", + "▁прони к", + "▁те му", + "▁тем у", + "ло жений", + "ложе ний", + "▁мат ча", + "▁матч а", + "па де", + "пад е", + "▁голо вы", + "▁голов ы", + "▁оче вид", + "o e", + "▁Ро дился", + "▁Роди лся", + "▁Род ился", + "ad em", + "ade m", + "▁ide nt", + "▁id ent", + "▁ ident", + "▁хо телось", + "▁хоте лось", + "куль п", + "▁да нного", + "▁дан ного", + "▁узна ть", + "ве ря", + "вер я", + "▁c omb", + "▁com b", + "▁co mb", + "▁f ail", + "▁fa il", + "▁г не", + "▁ гне", + "▁XV III", + "▁XVII I", + "▁XVI II", + "on ey", + "one y", + "o ney", + "ле га", + "лег а", + "▁д ро", + "▁др о", + "▁ дро", + "▁ar ch", + "▁ arch", + "▁в ъ", + "▁Д жа", + "▁Дж а", + "▁раз дра", + "▁h alf", + "но вой", + "нов ой", + "ново й", + "▁s ol", + "▁so l", + "ме нять", + "мен ять", + "меня ть", + "бо ро", + "бор о", + "э м", + "▁s um", + "▁su m", + "▁со ли", + "ь и", + "▁п рио", + "▁при о", + "▁П обе", + "▁По бе", + "▁вы зывает", + "▁вызыва ет", + "▁при вести", + "▁приве сти", + "▁д верь", + "▁две рь", + "▁двер ь", + "▁з дание", + "▁зда ние", + "y ing", + "при ят", + "прия т", + "ж нему", + "our s", + "o urs", + "▁ме ло", + "▁мел о", + "ре ги", + "▁с тво", + "▁ст во", + "▁ ство", + "▁ше л", + "▁ шел", + "▁би о", + "▁ био", + "на пример", + "▁e conom", + "▁строи тельство", + "m ost", + "ти ровать", + "тирова ть", + "▁к рат", + "▁кра т", + "▁кр ат", + "▁ крат", + "И Т", + "ar a", + "a ra", + "▁ва ш", + "▁ ваш", + "▁кон цу", + "▁конц у", + "р ные", + "▁кило метров", + "▁километ ров", + "▁Ев ге", + "▁Л ь", + "ро ссий", + "рос сий", + "▁органи заций", + "▁организа ций", + "▁К ана", + "▁Ка на", + "▁Кан а", + "он ом", + "оно м", + "о ном", + "▁Б ори", + "▁Бо ри", + "▁Бор и", + "▁Ле нинград", + "▁Ленин град", + "стан ции", + "ра на", + "ран а", + "р ана", + "is ing", + "ло жил", + "ложи л", + "лож ил", + "▁послед него", + "▁позна коми", + "▁Во ро", + "▁Вор о", + "▁Дмитри й", + "▁эти ми", + "▁этим и", + "у т", + "во зь", + "воз ь", + "▁во пло", + "цион ная", + "цио нная", + "чо к", + "ч ок", + "еха ть", + "е хать", + "▁янва ре", + "▁оста лось", + "▁специаль но", + "▁специ ально", + "▁сен тябре", + "▁Х ар", + "▁Ха р", + "▁при шли", + "ня ться", + "нять ся", + "▁само лета", + "▁самоле та", + "▁самолет а", + "ти вным", + "тив ным", + "▁три дца", + "▁у ма", + "▁ум а", + "▁ ума", + "▁м ерт", + "▁ме рт", + "▁мер т", + "▁акаде мии", + "▁академи и", + "▁сю да", + "▁ сюда", + "▁авгу сте", + "Ф СР", + "k y", + "Е Т", + "▁m atch", + "▁mat ch", + "▁дека бре", + "▁буду щем", + "в шем", + "нс ком", + "н ском", + "▁ind ividual", + "▁клад би", + "▁по ложении", + "▁поло жении", + "▁сере бря", + "▁c ond", + "▁con d", + "▁co nd", + "ui t", + "u it", + "▁care er", + "▁россий ских", + "ро вана", + "ров ана", + "рова на", + "рован а", + "▁g eneral", + "▁gener al", + "▁gen eral", + "▁но вым", + "▁ новым", + "см е", + "с ме", + "на нт", + "нан т", + "▁с хва", + "▁сх ва", + "▁в ода", + "▁во да", + "▁вод а", + "▁ вода", + "▁Le ague", + "▁во и", + "▁ вои", + "▁ви дели", + "▁виде ли", + "▁видел и", + "▁ex ample", + "▁exam ple", + "▁Ио ан", + "▁с ты", + "▁ст ы", + "▁ сты", + "▁слу жи", + "▁служ и", + "▁ служи", + "ня х", + "н ях", + "ен ью", + "ень ю", + "е нью", + "ст ской", + "с тской", + "▁у ника", + "▁уни ка", + "ca st", + "c ast", + "▁ш кола", + "▁шко ла", + "▁школ а", + "▁само лет", + "▁самоле т", + "ш ко", + "▁дра ма", + "el ls", + "ell s", + "▁коми ссии", + "▁бро са", + "▁ броса", + "▁tot al", + "▁В оло", + "▁Во ло", + "▁Вол о", + "▁и менем", + "▁име нем", + "▁имен ем", + "▁h uman", + "▁hum an", + "▁бур жу", + "▁h ig", + "ци пли", + "▁о гне", + "▁ог не", + "▁з доро", + "ис то", + "ист о", + "и сто", + "ти вная", + "тив ная", + "▁случай но", + "▁сем ья", + "▁семь я", + "от и", + "о ти", + "▁вы пла", + "▁ле кар", + "▁лек ар", + "▁бо гат", + "▁бога т", + "▁бог ат", + "ра й", + "р ай", + "= \"", + "▁матери алов", + "▁материа лов", + "▁материал ов", + "цион но", + "цио нно", + ".... ....", + "вшая ся", + "бра ть", + "б рать", + "▁b orn", + "▁bor n", + "▁ born", + "▁сред ы", + "▁сре ды", + "bo r", + "b or", + "жным и", + "жны ми", + "ж ными", + "бу ю", + "б ую", + "ти вы", + "тив ы", + "▁анали за", + "▁ана лиза", + "▁анализ а", + "▁cre ated", + "▁creat ed", + "▁create d", + "гну ть", + "гнут ь", + "г нуть", + "▁информа ция", + "▁по эт", + "▁поэ т", + "▁го лу", + "▁гол у", + "▁ голу", + "▁фор м", + "▁ форм", + "▁со лне", + "▁солн е", + "▁мо ги", + "▁мог и", + "▁са мому", + "▁само му", + "▁самом у", + "an ces", + "ance s", + "anc es", + "▁ш ли", + "▁ шли", + "re m", + "r em", + "▁ш ла", + "▁ шла", + "▁изобра жения", + "▁с ор", + "▁со р", + "▁ сор", + "▁РС ФСР", + "▁полови не", + "▁в тором", + "▁вто ром", + "▁втор ом", + "▁второ м", + "A T", + "▁С ем", + "▁Се м", + "▁находи лись", + "▁находили сь", + "▁м или", + "▁ми ли", + "▁ мили", + "▁та кими", + "▁так ими", + "▁таким и", + "▁таки ми", + "pe cial", + "▁до пуска", + "▁допу ска", + "▁Wh ile", + "па ния", + "▁f ire", + "▁з нали", + "▁зна ли", + "▁знал и", + "▁h ost", + "▁ host", + "зи ю", + "▁побе ду", + "▁побед у", + "▁смо жет", + "ль ник", + "▁справед ливо", + "▁справедли во", + "▁У пра", + "▁гла зами", + "▁глаза ми", + "le x", + "l ex", + "ru g", + "r ug", + "▁П етра", + "▁Пе тра", + "▁Пет ра", + "▁Петр а", + "▁груп пе", + "▁гру ппе", + "▁групп е", + "гра ф", + "▁Acc ording", + "▁я вления", + "▁яв ления", + "▁эмо циона", + "▁социаль ной", + "▁социально й", + "▁соци альной", + "жё н", + "ж ён", + "▁к ан", + "▁ка н", + "▁ кан", + "▁a sk", + "▁as k", + "▁ ask", + "жи е", + "▁о сла", + "▁ос ла", + "▁кор пора", + "▁ду мать", + "▁дума ть", + "вед ён", + "▁гла зах", + "▁глаза х", + "le g", + "▁p rim", + "▁pr im", + "▁pri m", + "▁по казывает", + "▁пока зывает", + "▁показыва ет", + "▁п оса", + "▁по са", + "▁пос а", + "▁расте ний", + "▁по стано", + "▁пос тано", + "▁поста но", + "▁пост ано", + "▁Са мо", + "▁Сам о", + "▁сотруд ников", + "▁сотрудни ков", + "▁сотрудник ов", + "▁вы хода", + "▁выход а", + "▁э ко", + "▁эк о", + "▁ги дро", + "▁сдела ли", + "▁сделал и", + "▁сдел али", + "▁устано вить", + "▁установи ть", + "▁установ ить", + "▁уси лия", + "▁усили я", + "▁у тром", + "▁утро м", + "▁ут ром", + "ро ванные", + "рова нные", + "рован ные", + "▁обще стве", + "▁обществ е", + "▁неиз бе", + "сле дования", + "следова ния", + "ца р", + "ц ар", + "▁ли ш", + "▁ста ро", + "▁стар о", + "▁и денти", + "▁иде нти", + "▁по чув", + "▁способ ность", + "▁способно сть", + "▁ способность", + "▁report ed", + "▁к но", + "▁кн о", + "▁Ива нов", + "▁Иван ов", + "ме нте", + "мен те", + "мент е", + "▁l ocated", + "▁loc ated", + "▁б ол", + "▁бо л", + "▁ бол", + "ха м", + "х ам", + "пс и", + "п си", + "▁су ти", + "▁R iver", + "▁кар тин", + "▁карти н", + "▁карт ин", + "▁в ино", + "▁ви но", + "▁вин о", + "лле р", + "лл ер", + "л лер", + "кто ров", + "ктор ов", + "к торов", + "▁б лю", + "▁ блю", + "▁Ф ин", + "▁Фи н", + "▁ра ссе", + "▁рас се", + "▁расс е", + "ai gn", + "a ign", + "▁мини стер", + "хо дом", + "ход ом", + "▁p ri", + "▁pr i", + "▁ pri", + "▁орга низма", + "▁органи зма", + "▁организм а", + "▁орган изма", + "▁offic ial", + "▁f und", + "▁fun d", + "▁pro per", + "▁pr oper", + "▁prop er", + "▁при кры", + "▁на си", + "▁нас и", + "ро ванного", + "рова нного", + "рован ного", + "▁филосо фии", + "▁философи и", + "▁de cl", + "▁dec l", + "▁о бита", + "▁оби та", + "▁не бо", + "▁G eneral", + "▁Gen eral", + "▁неред ко", + "▁нере дко", + "▁ко ри", + "▁к ори", + "▁кор и", + "▁ кори", + "▁вос поль", + "▁воспо ль", + "▁це ле", + "▁ целе", + "▁появи лась", + "▁поя вилась", + "ст рее", + "стре е", + "▁катего рии", + "▁категори и", + "▁per forman", + "▁perform an", + "▁d ev", + "▁de v", + "▁ dev", + "▁ве щей", + "▁веще й", + "it or", + "ito r", + "Л е", + "▁но вая", + "▁нов ая", + "▁нова я", + "▁ новая", + "тно сти", + "т ности", + "▁кар тины", + "▁карти ны", + "▁картин ы", + "▁карт ины", + "ье т", + "ь ет", + "el t", + "до х", + "▁А т", + "▁ Ат", + "В ы", + "▁два дцать", + "▁двадца ть", + "фи зи", + "▁t itle", + "▁tit le", + "ло га", + "лог а", + "▁поддерж ку", + "▁пар тия", + "▁парти я", + "▁груп пи", + "▁гру ппи", + "▁групп и", + "▁ле жит", + "бя т", + "б ят", + "вя з", + "в яз", + "Т о", + "▁оче видно", + "▁очевид но", + "▁са йт", + "▁сай т", + "ra in", + "r ain", + "▁за писи", + "▁запи си", + "▁В иль", + "▁Ви ль", + "▁P er", + "▁Pe r", + "▁стихот во", + "▁груп пу", + "▁групп у", + "▁извест ный", + "▁известны й", + "▁изве стный", + "де ся", + "дес я", + "▁заме тил", + "▁замет ил", + "вы ше", + "▁выпол нения", + "▁g rad", + "▁gr ad", + "▁gra d", + "▁ grad", + "▁луч ших", + "A R", + "▁ind ust", + "▁H ouse", + "▁Ho use", + "▁Hou se", + "▁ре спублики", + "▁республи ки", + "▁республик и", + "▁по слу", + "▁пос лу", + "▁кня зя", + "▁про яви", + "▁проя ви", + "▁In ternational", + "сто го", + "с того", + "ша ют", + "▁comm unity", + "▁commun ity", + "▁подоб ных", + "▁a ut", + "▁ aut", + "▁си лами", + "▁сила ми", + "▁силам и", + "▁с вязыва", + "▁свя зыва", + "жа щих", + "стра и", + "ay s", + "a ys", + "▁ми ру", + "▁мир у", + "ic a", + "i ca", + "ме ти", + "мет и", + "м ети", + "▁Наи более", + "▁y our", + "▁you r", + "▁Все го", + "▁о тка", + "▁от ка", + "▁отк а", + "▁разно образ", + "▁разнообра з", + "▁Ин ститу", + "▁Великобрита нии", + "▁использу ют", + "▁уто ч", + "▁в иды", + "▁ви ды", + "▁вид ы", + "▁нам ере", + "▁наме ре", + "et t", + "e tt", + "Л А", + "▁Со зда", + "▁f oot", + "▁ foot", + "юще йся", + "ющей ся", + "ю щейся", + "ти к", + "ra ted", + "rate d", + "rat ed", + "r ated", + "▁Р ис", + "▁Ри с", + "▁Север ной", + "en ces", + "ence s", + "enc es", + "▁при близи", + "▁прибли зи", + "▁de g", + "▁ deg", + "ле нные", + "лен ные", + "▁одна жды", + "ни лось", + "нило сь", + "ща ли", + "щал и", + "щ али", + "та цию", + "ст ка", + "с тка", + "▁вз рос", + "▁взро с", + "ль т", + "▁Н ов", + "▁Но в", + "▁о стров", + "▁ос тров", + "▁ост ров", + "▁остро в", + "▁v ict", + "▁тради ции", + "стра ции", + "стр ации", + "▁представи тель", + "▁современ ных", + "▁о пи", + "▁оп и", + "тя ги", + "▁те нден", + "▁тен ден", + "▁по гру", + "нс кие", + "н ские", + "▁тех нологии", + "▁технологи и", + "▁техно логии", + "▁п роме", + "▁про ме", + "па х", + "io l", + "i ol", + "ir l", + "ро ванный", + "рова нный", + "рован ный", + "hi b", + "h ib", + "▁St reet", + "e e", + "▁Б ор", + "▁Бо р", + "▁полу чает", + "▁получа ет", + "▁ep is", + "ль ский", + "▁авиа ции", + "ев ский", + "е вский", + "▁Да лее", + "▁Амери ки", + "▁g row", + "▁gro w", + "▁gr ow", + "▁при чине", + "▁причи не", + "▁причин е", + "en ed", + "ene d", + "e ned", + "▁на шу", + "▁наш у", + "▁е дино", + "▁еди но", + "▁един о", + "▁ед ино", + "▁ едино", + "▁кон фи", + "▁конф и", + "▁consid ered", + "▁consider ed", + "▁ре бенок", + "▁ребен ок", + "▁З и", + "фор мы", + "форм ы", + "▁пере ход", + "▁предста вление", + "I n", + "▁м ра", + "▁доку ментов", + "▁документ ов", + "▁ст рель", + "▁стре ль", + "сту пила", + "ступ ила", + "ступи ла", + "ступил а", + "▁са мая", + "▁сам ая", + "▁сама я", + "y l", + "▁раз мер", + "▁разме р", + "чка ми", + "чкам и", + "ч ками", + "▁b ody", + "▁ body", + "о хра", + "▁Col lege", + "мо на", + "мон а", + "м она", + "▁h old", + "▁ hold", + "▁m aking", + "▁простран ства", + "ди тся", + "дит ся", + "д ится", + "▁ок тябре", + "▁глубо ко", + "▁содержи т", + "▁по кло", + "ва ющих", + "ваю щих", + "▁st ruct", + "▁str uct", + "▁ struct", + "he re", + "her e", + "h ere", + "▁b as", + "▁оп пози", + "▁Eng land", + "ла нт", + "лан т", + "сси ю", + "с сию", + "▁ф оне", + "▁фо не", + "▁фон е", + "▁ника кой", + "▁никак ой", + "▁пере у", + "▁other s", + "! ..", + "▁доку менты", + "▁документ ы", + "▁вы стре", + "▁выс тре", + "▁ве дом", + "▁ведо м", + "▁вед ом", + "▁o rd", + "▁or d", + "▁ ord", + "▁при вет", + "▁приве т", + "▁прив ет", + "▁пи ще", + "▁t oo", + "▁to o", + "ви ло", + "вил о", + "▁вслед ствие", + "our ce", + "▁от став", + "▁отста в", + "▁отс тав", + "▁го ры", + "▁гор ы", + "▁Из вест", + "▁ве чером", + "▁вече ром", + "▁вечер ом", + "▁не вы", + "▁нев ы", + "▁вер нуться", + "▁верну ться", + "▁вернуть ся", + "▁участи я", + "▁неболь шо", + "▁генера ла", + "▁генерал а", + "ну ться", + "нуть ся", + "▁prof ess", + "▁безо пас", + "▁нау чных", + "▁hist or", + "▁само летов", + "▁самоле тов", + "▁самолет ов", + "га нт", + "ган т", + "▁г вардей", + "▁гвар дей", + "ко с", + "к ос", + "тным и", + "тны ми", + "т ными", + "▁ре ф", + "▁В ВС", + "▁ВВ С", + "▁ч лены", + "▁чле ны", + "▁член ы", + "▁ис пра", + "п ку", + "▁проду кции", + "▁продук ции", + "▁ст рое", + "▁стро е", + "▁стр ое", + "▁ строе", + "ми ю", + "▁C he", + "▁Ch e", + "▁о пыта", + "▁опыт а", + "▁опы та", + "пре жнему", + "fer red", + "▁Ки та", + "▁об ши", + "▁контро ль", + "▁с ма", + "▁см а", + "▁ сма", + "р ный", + "▁F rom", + "▁work ed", + "▁Ar t", + "▁литера туре", + "▁литератур е", + "▁пред ложения", + "▁предложе ния", + "д ё", + "▁о дер", + "▁од ер", + "▁оде р", + "▁m other", + "▁mot her", + "▁нача лась", + "▁начала сь", + "да ции", + "д ации", + "ain ing", + "ai ning", + "a ining", + "▁у помя", + "▁упо мя", + "p ite", + "ли ю", + "ва ми", + "вам и", + "▁со су", + "▁сос у", + "▁при роде", + "▁приро де", + "▁природ е", + "чи ла", + "чил а", + "ч ила", + "жо м", + "ж ом", + "▁Ав тор", + "▁Авто р", + "▁orig in", + "it ing", + "i ting", + "▁Pres ident", + "▁име ла", + "▁имел а", + "▁с пец", + "▁спе ц", + "m a", + "▁bro ther", + "▁br other", + "▁раз говор", + "▁разгово р", + "▁разрабо тчи", + "ст ром", + "стро м", + "стр ом", + "с тром", + "вшем у", + "в шему", + "▁к вали", + "▁ква ли", + "▁кв али", + "oy al", + "o yal", + "▁P e", + "▁мето ды", + "▁метод ы", + "▁M on", + "▁Mo n", + "рь е", + "р ье", + "▁га зо", + "▁газ о", + "ц вет", + "▁мини стр", + "▁ министр", + "▁С ка", + "▁Ск а", + "▁ру кой", + "▁руко й", + "▁рук ой", + "▁преимуще ственно", + "▁яко бы", + "▁Ar my", + "▁Arm y", + "фо м", + "ф ом", + "nd er", + "n der", + "▁буду щего", + "▁фа бри", + "▁со пер", + "▁ру б", + "▁we ek", + "▁ле йте", + "▁лей те", + "▁ лейте", + "▁требу ется", + "▁требует ся", + "жь я", + "ж ья", + "зм у", + "з му", + "▁муж чины", + "▁мужчи ны", + "▁мужчин ы", + "▁jo ined", + "▁join ed", + "▁E ast", + "▁п лю", + "▁ плю", + "▁с кульп", + "ne t", + "n et", + "ни лись", + "нили сь", + "▁Бы ло", + "▁Был о", + "▁ме дленно", + "▁мед ленно", + "▁медлен но", + "▁струк туры", + "▁структур ы", + "▁ст рой", + "▁стро й", + "▁стр ой", + "▁ строй", + "▁раз ъ", + "▁о бли", + "▁об ли", + "▁обл и", + "▁основа ния", + "▁осно вания", + "▁с тари", + "▁ста ри", + "▁стар и", + "ба н", + "б ан", + "▁l ow", + "▁lo w", + "О б", + "▁s ite", + "▁sit e", + "пу ль", + "▁х во", + "▁ хво", + "▁суще ствование", + "▁существо вание", + "▁существова ние", + "▁work ing", + "▁wor king", + "▁за ру", + "▁зар у", + "▁g ave", + "▁би ологи", + "▁био логи", + "ко сти", + "кос ти", + "▁ )", + "▁принадле жит", + "ев на", + "е вна", + "▁ap point", + "▁app oint", + "▁пере дачи", + "▁переда чи", + "▁передач и", + "по к", + "п ок", + "▁ду ше", + "▁душ е", + "▁ душе", + "▁зна ем", + "▁артилле рий", + "те с", + "m p", + "▁g round", + "▁gro und", + "▁gr ound", + "▁ ground", + "▁с порта", + "▁спо рта", + "▁спор та", + "▁спорт а", + "▁ спорта", + "▁аэ род", + "▁аэро д", + "▁вер ши", + "▁М ного", + "▁Мно го", + "▁обы к", + "▁тре тий", + "▁трети й", + "не сли", + "нес ли", + "н если", + "▁те атр", + "▁теа тр", + "▁гим на", + "▁ру ками", + "▁рука ми", + "▁пред ложение", + "▁предложе ние", + "▁оконча тельно", + "го н", + "г он", + "И К", + "▁ar g", + "▁ arg", + "▁п енси", + "▁пе нси", + "▁пен си", + "▁гра мо", + "▁грам о", + "▁ грамо", + "пи и", + "▁клю че", + "▁ключ е", + "▁бро не", + "▁брон е", + "▁o nce", + "▁on ce", + "▁а ссоциа", + "▁ассо циа", + "▁ситуа цию", + "▁t est", + "▁te st", + "▁ test", + "▁при ми", + "▁пр ими", + "▁прим и", + "▁ме стных", + "▁мест ных", + "ор гани", + "▁провин ции", + "▁Ф ер", + "▁Фе р", + "▁пра вил", + "▁прави л", + "▁прав ил", + "▁На у", + "▁но чи", + "▁о форм", + "▁ли цом", + "▁лицо м", + "▁лиц ом", + "▁специ фи", + "ди е", + "жде нием", + "ждение м", + "ж дением", + "▁P ort", + "▁филь ме", + "▁фильм е", + "olog ical", + "▁у страи", + "▁устра и", + "ко ра", + "кор а", + "▁за га", + "▁за мы", + "▁зам ы", + "▁у глу", + "▁уг лу", + "▁сю жет", + "▁сюже т", + "▁кня зь", + "er a", + "e ra", + "▁наз вать", + "▁назва ть", + "да я", + "д ая", + "▁сна б", + "▁ снаб", + "▁A c", + "▁Э й", + "▁де ли", + "▁дел и", + "▁ дели", + "▁за каз", + "▁зака з", + "▁зак аз", + "▁п рия", + "▁при я", + "▁ прия", + "▁лю бого", + "▁любо го", + "▁до говор", + "▁догово р", + "▁о пер", + "▁оп ер", + "▁опе р", + "ре т", + "р ет", + "▁ау ди", + "▁характери зу", + "▁апре ле", + "▁мини стра", + "▁министр а", + "▁ министра", + "▁ро мана", + "▁роман а", + "▁рома на", + "▁ass oci", + "▁интер вью", + "▁о без", + "▁об ез", + "▁обе з", + "oo r", + "o or", + "п р", + "▁выступа л", + "▁выступ ал", + "▁ле та", + "▁лет а", + "▁ лета", + "w w", + "жи ма", + "жим а", + "▁энер гети", + "▁впло ть", + "▁ag re", + "▁у ско", + "▁ус ко", + "▁отмет ить", + "▁отме тить", + "▁А ли", + "▁Ал и", + "з не", + "▁пунк т", + "og le", + "ur b", + "за пад", + "▁vers ion", + "▁o ur", + "▁ our", + "▁ле том", + "▁лет ом", + "▁лето м", + "▁ летом", + "ла кти", + "лак ти", + "▁r ound", + "▁ro und", + "▁ round", + "▁l ight", + "▁ light", + "f ield", + "▁m ater", + "▁mat er", + "▁з ре", + "▁ зре", + "то ри", + "тор и", + "т ори", + "▁f ront", + "▁fr ont", + "▁занима ет", + "▁st rong", + "▁str ong", + "▁зна к", + "мя н", + "м ян", + "▁S ome", + "▁So me", + "▁Som e", + "▁п ры", + "▁пр ы", + "▁ пры", + "▁пример у", + "▁приме ру", + "▁прим еру", + "▁объ ект", + "▁объек т", + "▁объе кт", + "▁контро ля", + "▁попыт ки", + "▁попы тки", + "▁гла вных", + "▁глав ных", + "▁ч ай", + "▁ча й", + "▁ чай", + "▁С об", + "▁Со б", + "▁сто ял", + "▁стоя л", + "се к", + "с ек", + "▁R ed", + "▁Re d", + "▁ви дит", + "▁вид ит", + "▁види т", + "▁Влади ми", + "▁em ploy", + "с на", + "▁за канчи", + "ло гия", + "логи я", + "бе т", + "б ет", + "▁не га", + "▁пре пара", + "▁Д ва", + "▁доба вить", + "▁Ch ar", + "▁кол хо", + "ide o", + "па дает", + "пада ет", + "▁в ез", + "▁ве з", + "▁ию не", + "Ка к", + "К ак", + "▁поли цей", + "▁з вание", + "▁восем ь", + "▁теле ви", + "▁pro ble", + "▁prob le", + "▁государ ств", + "шин ство", + "▁обу сло", + "▁rel ations", + "▁государ ственный", + "▁государстве нный", + "к ке", + "▁trad ition", + "▁R ec", + "▁Re c", + "▁поли тических", + "▁полити ческих", + "war e", + "wa re", + "w are", + "▁расс читы", + "▁чув ству", + "▁чувств у", + "ль ской", + "з ве", + "▁функ циона", + "▁воз вы", + "гра фии", + "графи и", + "ap er", + "ape r", + "a per", + "▁ш ан", + "▁ша н", + "▁ шан", + "ство вания", + "ствова ния", + "см атри", + "сма три", + "с матри", + "▁Count y", + "▁иг рал", + "▁игра л", + "▁игр ал", + "▁роди телей", + "▁побе ды", + "▁побед ы", + "ге не", + "ген е", + "▁ша г", + "ue l", + "u el", + "▁кон су", + "% ,", + "ко ман", + "ком ан", + "кома н", + "▁моло де", + "▁молод е", + "▁Ис тория", + "▁Исто рия", + "▁Истори я", + "▁ История", + "▁в клад", + "▁вкла д", + "ис у", + "и су", + "пт а", + "п та", + "▁ию ле", + "р к", + "ct or", + "ти ческая", + "ги н", + "г ин", + "▁от казыва", + "▁отка зыва", + "▁д нев", + "▁дне в", + "▁ днев", + "▁сте ны", + "▁стен ы", + "▁Т ор", + "▁То р", + "▁ Тор", + "▁Украи не", + "▁Украин е", + "▁Б ал", + "▁Ба л", + "▁кур с", + "▁ курс", + "▁п р", + "▁ пр", + "▁включа ет", + "▁вклю чает", + "▁му зей", + "▁музе й", + "▁коро ль", + "ва ющие", + "ваю щие", + "ст ано", + "ста но", + "стан о", + "с тано", + "▁способ ности", + "▁способно сти", + "▁ способности", + "▁проис хождения", + "▁происхо ждения", + "▁пы тался", + "▁пыта лся", + "▁про грамма", + "▁програм ма", + "▁программ а", + "▁c ost", + "▁co st", + "▁h ttp", + "▁ http", + "Э то", + "▁По тому", + "▁Потом у", + "▁п ан", + "▁па н", + "▁ пан", + "▁станов ятся", + "▁стано вятся", + "▁органи зация", + "▁организа ция", + "▁из меня", + "▁изме ня", + "▁измен я", + "но шения", + "чи я", + "▁в ан", + "▁ва н", + "▁ ван", + "▁t aken", + "▁take n", + "ier s", + "i ers", + "м но", + "▁м имо", + "▁ми мо", + "▁ мимо", + "▁describ ed", + "ла й", + "л ай", + "▁мо би", + "▁ моби", + "▁Ch urch", + "▁употре бля", + "▁от личи", + "▁отли чи", + "ти нен", + "тин ен", + "тине н", + "▁ква дра", + "Л и", + "тро по", + "троп о", + "▁pro duced", + "▁produ ced", + "▁produc ed", + "▁produce d", + "ст ное", + "стно е", + "с тное", + "▁замести тель", + "жи й", + "▁необходи мость", + "▁необходимо сть", + "▁на личие", + "▁наличи е", + "▁нали чие", + "▁использу ются", + "▁используют ся", + "го ре", + "гор е", + "▁при ложения", + "ра ста", + "рас та", + "▁eng ine", + "▁бы вший", + "▁с вете", + "▁свет е", + "▁све те", + "▁св ете", + "▁рабо тают", + "▁работа ют", + "ма с", + "м ас", + "▁a ble", + "▁ab le", + "▁ able", + "Н К", + "аль но", + "а льно", + "тель стве", + "тельств е", + "▁милли ар", + "▁w ife", + "▁препода ва", + "▁и гре", + "▁иг ре", + "▁игр е", + "ща лись", + "щали сь", + "no w", + "n ow", + "▁со знание", + "▁созна ние", + "▁al though", + "ne ct", + "n ect", + "▁a ver", + "▁av er", + "▁ aver", + "▁Б ли", + "▁s ugg", + "▁Ю го", + "▁при су", + "▁прис у", + "▁пр ису", + "▁Г де", + "▁гра ф", + "▁ граф", + "▁прекра сно", + "▁м ин", + "▁ми н", + "▁ мин", + "▁Лу ч", + "▁ Луч", + "▁Б ан", + "▁Ба н", + "▁ко манд", + "▁коман д", + "▁вы йти", + "че нного", + "чен ного", + "ченно го", + "▁ex ist", + "▁простран ство", + "пу ск", + "пус к", + "▁об лег", + "▁обле г", + "жа ло", + "жал о", + "▁вопро сам", + "▁вопрос ам", + "▁вопроса м", + "▁показа ть", + "▁пока зать", + "▁бес коне", + "▁беско не", + "▁ге рой", + "▁гер ой", + "▁геро й", + "▁от дельные", + "▁отде льные", + "▁отдель ные", + "▁кора блей", + "▁корабле й", + "▁ры нке", + "▁доста то", + "ar i", + "a ri", + "▁про грамми", + "▁програм ми", + "▁программ и", + "▁ко лон", + "▁кол он", + "▁коло н", + "▁посвя щен", + "▁Д жор", + "▁Дж ор", + "▁Джо р", + "▁в еру", + "▁ве ру", + "▁вер у", + "▁Ор ден", + "▁г ля", + "▁гл я", + "▁ гля", + "▁отли чается", + "▁отлича ется", + "зи т", + "з ит", + "▁евре ев", + "ча ют", + "▁F rance", + "▁Fran ce", + "▁проце ссов", + "▁процесс ов", + "▁процессо в", + "▁D ep", + "▁De p", + "▁s aw", + "▁кора бль", + "же нной", + "жен ной", + "женно й", + "▁П ара", + "▁Па ра", + "▁Пар а", + "▁би зне", + "▁биз не", + "щие ся", + "тро в", + "тр ов", + "т ров", + "че б", + "▁St ud", + "р ского", + "▁по сту", + "▁пос ту", + "▁пост у", + "▁ге ографи", + "▁гео графи", + "▁Ни ки", + "▁Ник и", + "▁s uff", + "▁su ff", + "iqu e", + "i que", + "▁в дох", + "▁вдо х", + "▁да ют", + "▁ дают", + "▁дру гая", + "▁друг ая", + "▁друга я", + "____ ____", + "ли л", + "л ил", + "▁S te", + "▁St e", + "▁шта б", + "▁самостоя тельно", + "▁m at", + "▁ mat", + "▁p ress", + "▁pre ss", + "▁pr ess", + "▁pres s", + "▁ press", + "▁воен ные", + "▁вое нные", + "I N", + "▁под ле", + "▁успе х", + "▁И ндии", + "▁Ин дии", + "▁Инди и", + "▁С СР", + "▁СС Р", + "▁ ССР", + "▁прем ьер", + "▁f ree", + "▁fre e", + "▁fr ee", + "▁эта пе", + "▁этап е", + "▁\" ...", + "▁ \"...", + "▁ноя бре", + "мс я", + "м ся", + "▁fe at", + "▁спокой но", + "▁B er", + "▁Be r", + "▁month s", + "▁ку п", + "▁ куп", + "ще нию", + "▁зара нее", + "▁це ло", + "▁ цело", + "▁на груз", + "▁нагру з", + "▁бра та", + "▁брат а", + "пу стил", + "пусти л", + "пус тил", + "▁Ста лина", + "▁Сталин а", + "▁Стали на", + "is hing", + "ish ing", + "▁с му", + "▁см у", + "▁кор пус", + "▁корпу с", + "c raft", + "▁все об", + "▁разрабо тки", + "▁у мира", + "▁уми ра", + "▁кре стья", + "▁крест ья", + "ща лся", + "щал ся", + "▁же ны", + "▁жен ы", + "▁ жены", + "▁горо дского", + "▁город ского", + "▁го вор", + "▁гово р", + "▁ говор", + "▁поня тие", + "▁бо евой", + "▁бое вой", + "▁боев ой", + "не ров", + "нер ов", + "ну лась", + "нула сь", + "за щи", + "▁наз вал", + "▁назва л", + "зи й", + "▁re v", + "▁r ev", + "со вой", + "сов ой", + "сово й", + "▁ко ме", + "▁ком е", + "▁счаст ли", + "спе кти", + "спек ти", + "спект и", + "▁l ittle", + "▁lit tle", + "▁m er", + "▁me r", + "▁ mer", + "▁государ ственных", + "▁государстве нных", + "▁s een", + "▁se en", + "▁see n", + "▁m arried", + "▁mar ried", + "▁това ров", + "▁товар ов", + "▁п он", + "▁по н", + "▁ пон", + "▁ка питан", + "▁капита н", + "▁капи тан", + "вер шен", + "▁m ult", + "се в", + "с ев", + "▁с ход", + "▁сх од", + "▁схо д", + "▁моло дых", + "▁молоды х", + "▁молод ых", + "▁ch urch", + "▁M ich", + "▁Mic h", + "▁ор ганы", + "▁орга ны", + "▁орган ы", + "ну лись", + "нули сь", + "▁председа тель", + "▁созда нии", + "▁импера тора", + "▁император а", + "▁Пари же", + "▁Париж е", + "▁По доб", + "▁Под об", + "▁Подо б", + "▁sign ific", + "ло гов", + "лого в", + "лог ов", + "▁з дра", + "▁се риа", + "▁ сериа", + "▁Б ре", + "g o", + "▁Б ен", + "▁Бе н", + "ка ла", + "кал а", + "к ала", + "▁ди за", + "ва на", + "ван а", + "в ана", + "▁сло жно", + "▁расска з", + "▁расс каз", + "▁op ened", + "▁open ed", + "ро вала", + "ров ала", + "рова ла", + "ровал а", + "▁вы пуск", + "▁выпу ск", + "▁ac ross", + "▁из лу", + "▁ щи", + "▁ге роя", + "▁геро я", + "▁n ight", + "▁ night", + "▁вла де", + "▁опубли кова", + "▁опублико ва", + "▁объяс нить", + "▁Москов ской", + "▁ма ссы", + "▁масс ы", + "▁с инте", + "▁си нте", + "▁сообщи ли", + "▁сообщил и", + "▁го ловой", + "▁голо вой", + "▁голов ой", + "▁хо чется", + "▁хочет ся", + "ри ф", + "ци оне", + "цион е", + "цио не", + "зо б", + "з об", + "▁буква льно", + "▁букв ально", + "▁буду щее", + "▁ар гу", + "ap s", + "a ps", + "▁ty p", + "э к", + "▁февра ле", + "▁ста ди", + "▁компа ний", + "▁до мов", + "▁дом ов", + "▁домо в", + "▁p lan", + "▁pl an", + "▁от дыха", + "▁отдых а", + "▁По мимо", + "▁Пом имо", + "O S", + "▁чрезвычай но", + "▁гла вной", + "▁глав ной", + "▁d on", + "▁do n", + "▁ don", + "▁are as", + "▁area s", + "au t", + "a ut", + "▁до стой", + "▁досто й", + "▁обеспе чить", + "▁обеспечи ть", + "я з", + "▁гру зо", + "▁груз о", + "▁Ф ло", + "до би", + "доб и", + "▁Т от", + "▁То т", + "▁ус лыша", + "▁услы ша", + "▁по езд", + "▁поез д", + "▁пое зд", + "И н", + "▁д али", + "▁да ли", + "▁дал и", + "▁ дали", + "▁Ис пании", + "ту да", + "т уда", + "▁обо их", + "▁нача лось", + "▁начало сь", + "▁по тери", + "▁потер и", + "▁поте ри", + "▁го лове", + "▁голо ве", + "▁голов е", + ". [", + "▁при каз", + "▁прика з", + "▁свя заны", + "▁связа ны", + "▁связан ы", + "▁исклю чением", + "▁исключение м", + "▁вой сками", + "▁войска ми", + "▁войскам и", + "▁ра зда", + "▁раз да", + "▁work s", + "▁wor ks", + "▁бло ки", + "▁блок и", + "▁ блоки", + "▁ва шей", + "▁ваш ей", + "▁ваше й", + "▁Х е", + "э кономи", + "пре д", + "пр ед", + "п ред", + "▁Americ a", + "▁продол жал", + "▁продолжа л", + "ющего ся", + "ю щегося", + "▁на шли", + "▁наш ли", + "со зна", + "▁воз ро", + "▁про стой", + "▁просто й", + "▁прос той", + "▁прост ой", + "f ic", + "хо ро", + "хор о", + "жи н", + "ж ин", + "▁нару шения", + "ро вано", + "ров ано", + "рова но", + "рован о", + "▁m ot", + "ше на", + "шен а", + "ш ена", + "▁при няли", + "▁приня ли", + "▁принял и", + "▁прин яли", + "▁жи дко", + "▁жид ко", + "жда ли", + "жд али", + "ждал и", + "ж дали", + "▁ар мию", + "▁арми ю", + "п ь", + "▁Лю ди", + "▁Люд и", + "▁бес пла", + "▁суще ствуют", + "▁существу ют", + "со р", + "с ор", + "pl ay", + "p lay", + "an i", + "a ni", + "▁чу де", + "ч ти", + "▁part y", + "▁par ty", + "сти ва", + "с тива", + "▁анг лича", + "▁partic ip", + "▁e as", + "▁от обра", + "▁ото бра", + "▁обла дает", + "▁облада ет", + "▁bl ack", + "ye ar", + "y ear", + "her n", + "h ern", + "фа к", + "ф ак", + "▁по рта", + "▁пор та", + "▁порт а", + "▁ порта", + "ете сь", + "е тесь", + "де сят", + "деся т", + "дес ят", + "ough t", + "ле но", + "лен о", + "веде ны", + "веден ы", + "▁лю бом", + "▁любо м", + "▁r oad", + "▁ro ad", + "▁ road", + "▁пра вления", + "▁прав ления", + "▁ правления", + "▁практи ке", + "▁прак тике", + "▁воз ле", + "▁ва ши", + "▁ваш и", + "▁про чита", + "▁прочи та", + "ст ным", + "с тным", + "▁Влади мира", + "▁Владимир а", + "▁Владими ра", + "▁С МИ", + "▁СМ И", + "▁Чем пи", + "с ную", + "▁по жи", + "il ls", + "ill s", + "▁за чем", + "▁рас стре", + "▁расс тре", + "▁начина ют", + "вя т", + "в ят", + "▁ги поте", + "▁гипо те", + "▁кон цер", + "▁конце р", + "▁конц ер", + "▁Пред ста", + "▁о кре", + "▁ок ре", + "▁D r", + "▁при чин", + "▁причи н", + "▁вос произ", + "u f", + "▁W indows", + "▁Wind ows", + "▁M y", + "▁ My", + "▁зна ют", + "▁знаю т", + "▁от кло", + "▁отк ло", + "▁H ol", + "▁Ho l", + "▁послед ней", + "▁Особ енно", + "▁Особен но", + "▁ху же", + "port s", + "por ts", + "▁д але", + "▁да ле", + "▁дал е", + "lect ed", + "▁av ail", + "ь ми", + "▁пред ска", + "▁до биться", + "▁доби ться", + "▁пре сто", + "▁пита ния", + "▁К ам", + "▁Ка м", + "▁Н А", + "▁ НА", + "▁mod ern", + "▁c oll", + "▁col l", + "▁co ll", + "▁Пер вая", + "ва ку", + "вак у", + "st and", + "▁дис ципли", + "си бо", + "лко й", + "лк ой", + "л кой", + "жда л", + "жд ал", + "ж дал", + "▁пере и", + "▁пе реи", + "▁for ces", + "▁force s", + "▁по ступ", + "▁посту п", + "▁camp aign", + "ле ты", + "лет ы", + "л еты", + "▁П ор", + "▁По р", + "▁со тни", + "▁сот ни", + "▁поста вить", + "▁постав ить", + "▁само лё", + "ги х", + "г их", + "▁воз дух", + "▁возду х", + "▁Васи лий", + "▁Васили й", + "▁от деления", + "▁отде ления", + "▁отделе ния", + "▁вос станови", + "▁восста нови", + "▁восстано ви", + "at ors", + "ator s", + "▁те мно", + "▁тем но", + "де шь", + "деш ь", + "д ешь", + "▁стра ну", + "▁стран у", + "▁при чиной", + "▁причи ной", + "▁причин ой", + "▁ф унда", + "▁фу нда", + "▁ры нка", + "▁удовлет во", + "▁о сторо", + "▁ос торо", + "ни вер", + "нив ер", + "▁послед ствия", + "aul t", + "a ult", + "вто рых", + "▁по шел", + "▁показа л", + "▁пока зал", + "ле л", + "▁спа са", + "▁спас а", + "▁отпра вился", + "▁отправил ся", + "▁под держки", + "▁поддерж ки", + "▁предста вляют", + "▁представля ют", + "Пе тербур", + "го ра", + "гор а", + "ти лась", + "тила сь", + "▁t en", + "▁te n", + "▁ ten", + "▁журна ла", + "▁журнал а", + "▁жи тели", + "види мому", + "▁пре мии", + "ча ется", + "чает ся", + "▁доче ри", + "▁дочер и", + "ри е", + "▁слу жил", + "▁служ ил", + "▁служи л", + "▁на чиная", + "▁начина я", + "▁начи ная", + "▁t er", + "▁te r", + "▁ ter", + "ourn al", + "▁M or", + "▁Mo r", + "▁D iv", + "▁Di v", + "▁Ар мии", + "▁ме тро", + "▁мет ро", + "дер ни", + "land s", + "l ands", + "▁C our", + "▁Co ur", + "▁Ки ев", + "▁ро в", + "▁р ов", + "▁ ров", + "▁r oom", + "▁ro om", + "▁ room", + "▁с толе", + "▁ст оле", + "▁сто ле", + "▁стол е", + "lev ision", + "▁смо гли", + "▁смог ли", + "▁ди ск", + "▁дис к", + "▁пред при", + "▁ви дим", + "▁вид им", + "▁види м", + "▁пред стоя", + "цен три", + "центр и", + "▁ну жны", + "▁нуж ны", + "не ром", + "нер ом", + "рк а", + "р ка", + "К у", + "▁П ом", + "▁По м", + "г де", + "▁устано вки", + "▁установ ки", + "▁хо тели", + "▁хоте ли", + "▁хотел и", + "▁подроб но", + "ро на", + "рон а", + "р она", + "▁на вы", + "▁нав ы", + "▁при ходит", + "▁приходи т", + "▁приход ит", + "▁прихо дит", + "д ку", + "▁с от", + "▁со т", + "▁ сот", + "же ство", + "▁бы стрее", + "▁быст рее", + "▁r ail", + "▁ra il", + "▁по пал", + "▁попа л", + "▁поп ал", + "▁success ful", + "са н", + "с ан", + "▁под клю", + "во ка", + "вок а", + "it ive", + "ri ck", + "ric k", + "r ick", + "▁Н ам", + "▁На м", + "▁за пол", + "▁запо л", + "▁занима лся", + "▁занимал ся", + "▁с кри", + "▁ск ри", + "▁ скри", + "▁пол номо", + "▁полно мо", + "▁полном о", + "▁ полномо", + "▁продук тов", + "▁продукт ов", + "ше но", + "шен о", + "▁ма шину", + "▁маши ну", + "▁машин у", + "ру ются", + "рую тся", + "руют ся", + "▁кон тр", + "фе ра", + "фер а", + "ф ера", + "▁о вла", + "▁ов ла", + "▁догово ра", + "▁договор а", + "ж ку", + "▁Ма рия", + "▁Мари я", + "Д е", + "▁c e", + "▁ ce", + "▁большин стве", + "▁с клады", + "▁скла ды", + "▁склад ы", + "▁ве дет", + "▁вед ет", + "но сить", + "носи ть", + "нос ить", + "носит ь", + "ро ванной", + "рова нной", + "рован ной", + "во дить", + "вод ить", + "води ть", + "водит ь", + "▁Т ом", + "▁То м", + "ди ться", + "дить ся", + "ре и", + "▁вы рази", + "▁выра зи", + "▁ко леба", + "▁коле ба", + "▁а ва", + "▁ав а", + "щи на", + "щин а", + "щ ина", + "▁f ight", + "▁fig ht", + "▁Ю жной", + "▁Южно й", + "▁подоб ные", + "▁Я ро", + "▁Яр о", + "воз гла", + "ле нный", + "лен ный", + "го рит", + "гор ит", + "гори т", + "▁у езда", + "▁уезд а", + "▁уез да", + "ot ed", + "ote d", + "o ted", + "▁выгля дит", + "ist ic", + "▁Th om", + "▁жиз нью", + "▁жизнь ю", + "▁А Н", + "▁ АН", + "а д", + "те ров", + "тер ов", + "теро в", + "▁со обра", + "▁сооб ра", + "▁по дда", + "▁под да", + "▁Челове к", + "▁ Человек", + "▁под ход", + "би т", + "б ит", + "▁c apt", + "▁cap t", + "ent ial", + "▁матери алы", + "▁материа лы", + "▁материал ы", + "▁м ен", + "▁ме н", + "▁ мен", + "го дно", + "год но", + "г одно", + "▁учре ждения", + "▁ре жим", + "▁режи м", + "▁R oman", + "▁Ro man", + "▁Rom an", + "▁чи тать", + "▁чита ть", + "▁ читать", + "ic le", + "i cle", + "▁комплек с", + "▁на шел", + "▁наше л", + "ро ни", + "рон и", + "р они", + "▁американ ский", + "▁америка нский", + "▁ч ёр", + "▁ чёр", + "am ent", + "ame nt", + "a ment", + "▁Ис поль", + "▁Испо ль", + "h a", + "▁большин ства", + "че нным", + "чен ным", + "▁ли дер", + "▁лиде р", + "▁res earch", + "▁rese arch", + "it te", + "itt e", + "бе з", + "б ез", + "▁смо треть", + "▁смотре ть", + "▁ смотреть", + "ст ети", + "сте ти", + "стет и", + "▁ар хе", + "▁арх е", + "▁следу ющем", + "▁авто бу", + "▁h y", + "▁ hy", + "▁и ных", + "▁ин ых", + "▁V al", + "▁ Val", + "▁хо тят", + "▁хотя т", + "ле тов", + "лет ов", + "▁develop ed", + "▁расстоя нии", + "▁b road", + "▁bro ad", + "▁br oad", + "▁с ки", + "▁ск и", + "▁ ски", + "ens ive", + "▁за нял", + "▁заня л", + "▁сек ун", + "▁секу н", + "зо н", + "з он", + "▁на против", + "▁по ступил", + "▁посту пил", + "▁поступ ил", + "▁поступи л", + "? !", + "▁ра ско", + "▁рас ко", + "c ript", + "ro y", + "r oy", + "▁му жа", + "▁муж а", + "ва ющий", + "ваю щий", + "ли ца", + "во куп", + "▁бли же", + "▁ближ е", + "ро и", + "▁ви це", + "▁вид имо", + "▁види мо", + "▁видим о", + "▁а рен", + "▁ар ен", + "▁аре н", + "t ime", + "▁худо жник", + "▁худож ник", + "▁ду мал", + "▁дума л", + "ве дении", + "веде нии", + "▁предела х", + "▁преде лах", + "▁О де", + "▁Од е", + "▁Бо го", + "▁Бог о", + "▁h ous", + "ко вы", + "ков ы", + "▁кон тек", + "▁це лях", + "▁ответ ственность", + "id ing", + "▁J ames", + "po n", + "p on", + "вля я", + "в ляя", + "▁К рым", + "▁Кры м", + "▁en c", + "▁ enc", + "▁f all", + "▁fa ll", + "▁офице ров", + "▁офицер ов", + "▁m id", + "▁mi d", + "зи ди", + "▁appe ared", + "▁appear ed", + "гл у", + "г лу", + "me n", + "m en", + "▁но г", + "▁ту ри", + "▁тур и", + "▁ тури", + "▁ле с", + "▁ лес", + "▁оста лись", + "▁му суль", + "▁Ass oci", + "▁по ез", + "▁пое з", + "▁доро гу", + "▁дорог у", + "▁по шли", + "▁пош ли", + "мо нт", + "мон т", + "▁л ё", + "▁ лё", + "▁изме нений", + "▁п риста", + "▁при ста", + "▁прис та", + "▁follow ed", + "▁вы ходит", + "▁выход ит", + "▁cont ract", + "ку т", + "к ут", + "er ship", + "ers hip", + "ст рий", + "стри й", + "▁сегодня ш", + "▁А й", + "▁ Ай", + "▁ма шина", + "▁маши на", + "▁машин а", + "▁И ису", + "▁челове ческого", + "▁ве ществ", + "▁веще ств", + "▁извест ных", + "▁известны х", + "▁изве стных", + "ки на", + "кин а", + "к ина", + "ди а", + "▁разви тии", + "O N", + "р пи", + "▁Я н", + "▁про фи", + "▁пр офи", + "▁проф и", + "ще т", + "щ ет", + "▁по эта", + "▁поэ та", + "▁поэт а", + "he l", + "h el", + "▁гло ба", + "▁гл оба", + "жде на", + "жден а", + "жд ена", + "ж дена", + "▁ка вале", + "▁сам им", + "▁сами м", + "▁С начала", + "▁Та кие", + "▁кон ститу", + "▁по смотреть", + "▁посмотре ть", + "ке н", + "к ен", + "▁е ха", + "▁ еха", + "▁а да", + "▁ад а", + "▁ ада", + "▁социаль ных", + "▁соци альных", + "гру п", + "г руп", + "▁ре ка", + "▁рек а", + "ла ндии", + "лан дии", + "▁pr ivate", + "▁priv ate", + "▁Си би", + "ка ть", + "кат ь", + "ё з", + "o o", + "▁исто чник", + "▁источ ник", + "▁по дру", + "▁под ру", + "▁im pro", + "▁imp ro", + "ab ility", + "▁Благо даря", + "▁не прави", + "▁неправ и", + "▁Ва ши", + "▁Ваш и", + "idd le", + "▁Пари ж", + "▁слу чилось", + "▁случи лось", + "О т", + "ou ther", + "out her", + "outh er", + "o uther", + "ce ed", + "c eed", + "▁университе те", + "▁университет е", + "▁за пуска", + "▁запу ска", + "▁запуск а", + "▁при чины", + "▁причи ны", + "▁причин ы", + "▁с бо", + "▁c ome", + "▁com e", + "▁co me", + "▁ come", + "▁с обе", + "▁со бе", + "▁соб е", + "▁проце нтов", + "▁процен тов", + "▁процент ов", + "▁контра кт", + "▁контрак т", + "▁к рово", + "▁кро во", + "▁кров о", + "▁сред ней", + "▁средне й", + "▁ме не", + "▁мен е", + "▁ мене", + "▁слу жит", + "▁служ ит", + "▁служи т", + "го лов", + "голо в", + "▁под лин", + "▁подли н", + "▁Geor ge", + "▁Georg e", + "▁но ме", + "am a", + "a ma", + "сле дование", + "следова ние", + "▁на личи", + "▁нали чи", + "▁Гри го", + "▁современ ного", + "he ad", + "h ead", + "▁иск рен", + "▁ми нима", + "▁мини ма", + "▁произ ведений", + "▁способ ом", + "▁спосо бом", + "ко ма", + "ком а", + "▁a ward", + "▁aw ard", + "▁О фициаль", + "▁Офи циаль", + "do m", + "d om", + "ну в", + "на л", + "н ал", + "ку р", + "к ур", + "ер емо", + "ере мо", + "по рта", + "пор та", + "порт а", + "▁ре шений", + "▁реше ний", + "▁круп ные", + "▁я в", + "▁reg ion", + "▁хо д", + "▁х од", + "▁ ход", + "▁опреде ления", + "ч ны", + "▁бю ро", + "▁ бюро", + "дна я", + "д ная", + "▁п орт", + "▁по рт", + "▁пор т", + "▁ порт", + "ac y", + "a cy", + "▁l iving", + "ру я", + "Л у", + "▁дипло ма", + "▁диплом а", + "▁результа тов", + "▁результат ов", + "▁вы вод", + "▁выво д", + "▁пи шу", + "▁я рко", + "▁яр ко", + "▁у спо", + "▁ус по", + "ль ф", + "▁ру ка", + "▁р ука", + "▁рук а", + "В и", + "▁мо лит", + "▁мол ит", + "ort hern", + "orth ern", + "▁Об ъ", + "ле ва", + "лев а", + "л ева", + "▁сов местно", + "▁совме стно", + "▁У ра", + "▁Ур а", + "▁пы тается", + "▁пыта ется", + "ку ро", + "кур о", + "▁Europe an", + "▁ста тус", + "▁стату с", + "▁анали з", + "▁дей ствовать", + "▁бо ли", + "▁бол и", + "▁ боли", + "▁re lig", + "▁rel ig", + "ле йте", + "лей те", + "▁ал кого", + "▁Ни ж", + "че лове", + "ic o", + "i co", + "ца х", + "Р И", + "▁l ive", + "▁тща тельно", + "ж ны", + "▁P al", + "▁жи вет", + "▁жив ет", + "▁гото вы", + "▁готов ы", + "▁R ober", + "▁Rob er", + "▁Ro ber", + "▁лю бов", + "▁любо в", + "▁мо ю", + "бле ние", + "б ление", + "▁кро вь", + "▁кров ь", + "▁стра хо", + "▁страх о", + "▁d am", + "▁не мало", + "▁нема ло", + "▁ва шего", + "▁ваш его", + "▁ваше го", + "▁п але", + "▁па ле", + "▁пал е", + "rough t", + "r ought", + "▁ре ке", + "▁рек е", + "▁связа нные", + "▁связан ные", + "эт а", + "э та", + "p ut", + "▁писа теля", + "▁архи те", + "▁c ou", + "▁co u", + "▁о дни", + "▁од ни", + "e um", + "ня т", + "н ят", + "Н и", + "▁кило мет", + "▁ц арь", + "▁цар ь", + "▁ца рь", + "▁ царь", + "▁высо те", + "▁выс оте", + "но венно", + "нов енно", + "нове нно", + "новен но", + "▁и спа", + "▁ис па", + "▁соответ ствует", + "▁соответству ет", + "it ch", + "augh ter", + "aught er", + "▁при ят", + "▁прия т", + "▁ прият", + "▁R ich", + "▁проме жу", + "▁с выше", + "▁Bl ack", + "р ма", + "жи те", + "жит е", + "ho d", + "h od", + "хо й", + "х ой", + "▁об основа", + "▁обо снова", + "на в", + "н ав", + "▁хо тите", + "▁le arn", + "ан али", + "ана ли", + "а нали", + "бле ния", + "б ления", + "▁из менить", + "▁изме нить", + "▁измени ть", + "▁измен ить", + "▁за ле", + "▁з але", + "▁зал е", + "▁по хоро", + "▁похо ро", + "gr ess", + "g ress", + "out hern", + "outh ern", + "outher n", + "ур е", + "у ре", + "чо м", + "ч ом", + "▁о хот", + "▁охо т", + "▁ох от", + "▁ме да", + "▁мед а", + "▁ меда", + "▁коман дира", + "▁команди ра", + "▁командир а", + "▁Go ogle", + "▁пу ле", + "▁матери ал", + "▁материа л", + "▁мате риал", + "▁д ав", + "▁да в", + "▁ дав", + "▁вза им", + "▁Па вел", + "▁m em", + "▁me m", + "▁а том", + "▁ат ом", + "▁ато м", + "м с", + "▁по все", + "▁пов се", + "▁за труд", + "же шь", + "ж ешь", + "▁ве ков", + "▁век ов", + "▁челове чества", + "▁Ind ian", + "▁India n", + "но вых", + "нов ых", + "▁пе дагоги", + "▁педаго ги", + "▁педагог и", + "▁Никола я", + "▁Нико лая", + "▁Ку бка", + "ae l", + "a el", + "▁Г али", + "▁Га ли", + "вши мся", + "вшим ся", + "▁ду х", + "▁ дух", + "▁С им", + "▁Си м", + "ро ма", + "ром а", + "▁оста льных", + "▁ост альных", + "▁Al though", + "юр е", + "ю ре", + "гля ды", + "▁сто имость", + "▁стои мость", + "▁стоимо сть", + "▁на правление", + "▁напра вление", + "▁це лый", + "а й", + "ни цах", + "ница х", + "▁rem ained", + "▁remain ed", + "гра да", + "град а", + "гр ада", + "▁опера ций", + "▁ду ша", + "▁душ а", + "▁комму ника", + "▁коммуни ка", + "▁вопро са", + "▁вопрос а", + "▁кон серва", + "ст ки", + "с тки", + "хо ждения", + "▁Я ко", + "▁Як о", + "те о", + "▁rec ogn", + "▁s te", + "▁st e", + "▁ ste", + "▁на шим", + "▁наши м", + "▁наш им", + "▁b r", + "▁ br", + "▁по станов", + "▁поста нов", + "▁постано в", + "E S", + "▁раз обра", + "▁разо бра", + "▁разоб ра", + "▁принци п", + "до воль", + "дово ль", + "▁поня тно", + "▁реаль ности", + "▁реа льности", + "▁реально сти", + "ье ра", + "ьер а", + "ь ера", + "зи он", + "▁поко ления", + "▁наблю дения", + "▁b o", + "▁ bo", + "▁пись мен", + "▁письме н", + "p ing", + "▁теле фо", + "Т е", + "ко ви", + "ков и", + "▁c ast", + "▁cas t", + "▁ cast", + "▁ог ня", + "▁g en", + "▁ge n", + "▁ gen", + "▁Ш о", + "▁В ан", + "▁Ва н", + "▁f unction", + "▁fun ction", + "ag ed", + "age d", + "a ged", + "▁посред ством", + "ры м", + "▁услу г", + "▁игра ет", + "ib r", + "i br", + "▁об ма", + "min ist", + "▁обяза нности", + "▁обязан ности", + "▁та лант", + "▁талан т", + "** **", + "▁а но", + "▁ан о", + "▁ ано", + "ря до", + "ряд о", + "▁ме стного", + "▁мест ного", + "▁созда н", + "▁соз дан", + "сле й", + "сл ей", + "с лей", + "ко вая", + "ков ая", + "кова я", + "▁нас читы", + "▁up on", + "▁u pon", + "жа ться", + "жать ся", + "ud d", + "u dd", + "▁зада чу", + "▁задач у", + "во дит", + "вод ит", + "води т", + "▁ле чения", + "▁при вя", + "▁прив я", + "▁оши бки", + "▁ошиб ки", + "бра сы", + "за х", + "her s", + "h ers", + "▁б ак", + "▁ба к", + "▁ бак", + "▁по хоже", + "▁похо же", + "▁похож е", + "Н А", + "▁жи вут", + "▁живу т", + "▁жив ут", + "▁кра сно", + "▁неожида нно", + "▁la un", + "▁раз бира", + "▁разби ра", + "▁д ина", + "▁ди на", + "▁ дина", + "▁ни что", + "▁ ничто", + "ня ка", + "няк а", + "ч не", + "▁Comp any", + "o ice", + "▁ко ордина", + "▁об ъем", + "▁объ ем", + "▁объе м", + "▁ответ ственности", + "▁тер ми", + "яз ы", + "я зы", + "▁созда л", + "▁соз дал", + "▁сыгра л", + "ит ся", + "и тся", + "те л", + "▁оста навли", + "▁mater ial", + "▁с кан", + "▁ска н", + "▁ск ан", + "▁Ав стра", + "ру ссии", + "рус сии", + "▁специали стов", + "▁специалист ов", + "▁говор ю", + "▁гово рю", + "ек т", + "е кт", + "▁И нди", + "▁Ин ди", + "▁Пе тр", + "▁Пет р", + "▁бю джет", + "▁бюдже т", + "▁th ought", + "▁though t", + "▁финан си", + "▁фина нси", + "▁r ul", + "▁ru l", + "▁A nt", + "▁An t", + "▁следу ющее", + "▁ко е", + "▁к ое", + "▁ кое", + "▁е з", + "▁ ез", + "▁O p", + "▁И ме", + "▁Им е", + "▁м ани", + "▁ма ни", + "▁ мани", + "ig ned", + "ign ed", + "▁вс пы", + "р э", + "бл у", + "б лу", + "▁при ез", + "▁прие з", + "▁d ata", + "▁ data", + "▁сооб щение", + "▁сообще ние", + "▁цен тром", + "▁центр ом", + "▁предприя тий", + "▁com pos", + "▁comp os", + "▁rele ase", + "▁Э д", + "▁Изра и", + "с ро", + "▁сво ём", + "▁своё м", + "▁неодно кратно", + "▁избе жать", + "▁мо леку", + "▁коман де", + "▁команд е", + "▁на писать", + "▁написа ть", + "▁напи сать", + "▁навер ное", + "▁наве рное", + "▁Олимпий ских", + "▁слу жить", + "▁служ ить", + "▁служи ть", + "▁служит ь", + "▁про грамму", + "▁програм му", + "▁программ у", + "▁re n", + "▁r en", + "▁ ren", + "ду ющий", + "дую щий", + "▁га рмо", + "▁гар мо", + "▁о зера", + "▁озе ра", + "▁оз ера", + "▁озер а", + "▁d oc", + "▁do c", + "▁se par", + "▁опреде ляется", + "▁определя ется", + "▁определяет ся", + "▁оцен ки", + "▁оце нки", + "ва емых", + "ваем ых", + "A C", + "▁for med", + "▁form ed", + "▁иг рах", + "▁игра х", + "бли зи", + "▁у кре", + "ди ка", + "дик а", + "el ling", + "ell ing", + "▁c ross", + "▁cr oss", + "▁cro ss", + "ди ла", + "дил а", + "д ила", + "I D", + "▁е ю", + "▁внутрен ней", + "ли лся", + "лил ся", + "л ился", + "чи сли", + "чис ли", + "▁Боль шо", + "▁сло вом", + "▁слово м", + "▁слов ом", + "▁карь еру", + "▁stud y", + "▁по мимо", + "▁пом имо", + "▁поми мо", + "ко на", + "кон а", + "к она", + "▁ти пи", + "▁тип и", + "▁Д жу", + "▁Дж у", + "▁де бю", + "▁p ay", + "▁противо стоя", + "▁связа нных", + "▁связан ных", + "as ing", + "▁ме даль", + "▁мед аль", + "▁меда ль", + "▁струк тур", + "▁М ер", + "▁Ме р", + "▁смы сла", + "▁смысл а", + "ж нее", + "▁вер тика", + "▁су ть", + "▁ну жен", + "▁нуж ен", + "▁закон чи", + "▁ма гни", + "▁маг ни", + "▁ магни", + "жа н", + "ж ан", + "ре мя", + "рем я", + "▁Поз же", + "▁функ циони", + "▁осуществ ляется", + "▁осуществля ется", + "▁осуществляет ся", + "▁v e", + "▁ ve", + "▁вы шли", + "ы ска", + "чи н", + "ч ин", + "▁помо гает", + "▁помога ет", + "все гда", + "гра ции", + "гр ации", + "▁отноше ниях", + "▁отношения х", + "▁s ex", + "▁se x", + "▁ sex", + "▁за ря", + "▁зар я", + "▁и дут", + "▁ид ут", + "▁иду т", + "▁ад рес", + "▁адре с", + "▁C ap", + "▁Ca p", + "та ри", + "тар и", + "▁f ar", + "▁fa r", + "▁Ю рий", + "▁при ну", + "▁прин у", + "д ным", + "те льностью", + "тель ностью", + "тельно стью", + "тельность ю", + "▁про вёл", + "se l", + "s el", + "▁про йти", + "▁прой ти", + "v ille", + "▁М э", + "▁Р ай", + "▁Ра й", + "av a", + "a va", + "▁преду смотре", + "▁S am", + "▁Sa m", + "▁off ice", + "▁offic e", + "▁Б ере", + "▁Бе ре", + "▁Бер е", + "▁disc over", + "▁h on", + "▁город ской", + "▁ городской", + "▁т ема", + "▁те ма", + "▁тем а", + "▁ тема", + "▁пос ёл", + "▁сред неве", + "▁средне ве", + "щ ь", + "лли ген", + "ша ли", + "шал и", + "ш али", + "▁за ча", + "фе р", + "ф ер", + "▁же лу", + "▁жел у", + "ви я", + "ду м", + "д ум", + "▁сум му", + "▁тра ге", + "▁о пере", + "▁оп ере", + "▁опер е", + "▁опе ре", + "▁с еть", + "▁се ть", + "▁сет ь", + "▁ сеть", + "▁J ew", + "▁Je w", + "▁ра циона", + "▁ рациона", + "▁устрой ство", + "▁устройств о", + "▁и сте", + "▁ис те", + "▁ист е", + "▁че л", + "▁ чел", + "▁д вери", + "▁две ри", + "▁двер и", + "▁про гно", + "▁g un", + "▁gu n", + "▁an im", + "▁го лосо", + "▁голо со", + "▁голос о", + "▁ак три", + "▁акт ри", + "▁обе ща", + "cl e", + "c le", + "▁россий ской", + "не нный", + "нен ный", + "ce r", + "c er", + "▁у гле", + "▁уг ле", + "▁за ба", + "▁заб а", + "f ace", + "▁ком бина", + "▁горо дах", + "▁города х", + "▁с каз", + "▁ска з", + "▁ск аз", + "▁ли ней", + "▁лин ей", + "▁ линей", + "▁га зет", + "▁газ ет", + "▁газе т", + "сло ва", + "слов а", + "с лова", + "от вет", + "ем ом", + "емо м", + "е мом", + "лек тро", + "да ния", + "▁б ара", + "▁ба ра", + "▁бар а", + "▁ бара", + "▁ры нок", + "▁рыно к", + "▁а то", + "▁ат о", + "▁ac cept", + "▁Боль шинство", + "▁play er", + "▁понима ть", + "▁пони мать", + "му ни", + "▁ин струк", + "▁инстру к", + "Л И", + "▁ф ар", + "▁фа р", + "▁ фар", + "ще стви", + "ществ и", + "▁полу чается", + "▁получа ется", + "▁получает ся", + "▁перио ди", + "▁период и", + "то рами", + "тора ми", + "торам и", + "▁у стро", + "▁ус тро", + "▁де монстри", + "▁демон стри", + "▁не сом", + "▁нес ом", + "▁несо м", + "pl y", + "p ly", + "▁n ov", + "▁no v", + "▁avail able", + "рно го", + "р ного", + "▁п она", + "▁по на", + "▁пон а", + "▁writ ten", + "▁t re", + "▁tr e", + "▁З о", + "▁принима ет", + "▁бы вшего", + "▁ак тиви", + "▁актив и", + "▁вне шней", + "▁внеш ней", + "▁внешне й", + "▁ph ys", + "▁т ера", + "▁те ра", + "▁тер а", + "▁ тера", + "▁следова тельно", + "em s", + "e ms", + "▁предпо чита", + "▁здоров ья", + "ме три", + "мет ри", + "метр и", + "▁э фи", + "▁пол ном", + "▁полно м", + "▁ор би", + "▁ск ром", + "▁з им", + "▁зи м", + "н х", + "▁ну жда", + "▁нуж да", + "▁нужд а", + "▁O ff", + "▁Of f", + "▁pres ident", + "▁st ated", + "▁state d", + "▁stat ed", + "▁а по", + "▁ап о", + "▁В ся", + "vi ron", + "v iron", + "▁сохра нить", + "▁сохрани ть", + "▁сохран ить", + "▁Одна жды", + "▁Т ай", + "▁Та й", + "▁ Тай", + "ud e", + "u de", + "▁S im", + "▁Si m", + "▁воен ный", + "▁вое нный", + "ме ц", + "м ец", + "▁м он", + "▁мо н", + "▁ мон", + "▁подоб но", + "спо рт", + "спор т", + "с порт", + "▁заня тия", + "ol ic", + "oli c", + "▁ка чество", + "▁каче ство", + "▁качеств о", + "▁за й", + "▁з ай", + "▁ зай", + "▁рабо тников", + "▁работ ников", + "▁работник ов", + "▁Ра зу", + "▁Раз у", + "▁на сле", + "▁нас ле", + "▁ба бу", + "▁но мина", + "▁mark et", + "▁Ре спубли", + "▁пон рави", + "▁музы ки", + "▁во шли", + "жде но", + "жден о", + "▁ста тей", + "▁администра ции", + "▁Ш ве", + "▁матери ала", + "▁материа ла", + "▁материал а", + "▁соб ственности", + "▁собствен ности", + "▁собственно сти", + "▁C ouncil", + "▁e arl", + "▁ear l", + "▁следу ющим", + "▁c irc", + "▁ди ску", + "▁дис ку", + "▁диск у", + "▁стар ший", + "▁ле са", + "▁лес а", + "▁Москов ского", + "▁обо знача", + "▁обозна ча", + "▁челове ческой", + "ba ck", + "b ack", + "▁солн це", + "▁един ственный", + "▁in formation", + "▁inform ation", + "▁ко стю", + "▁кос тю", + "▁интен сив", + "▁интенси в", + "▁пользова телей", + "▁ва лю", + "ше ль", + "шел ь", + "не нной", + "нен ной", + "ненно й", + "▁иде ологи", + "▁f oc", + "ско хозяй", + "зм ы", + "з мы", + "ЕН И", + "Е НИ", + "▁s elf", + "▁ self", + "ни тся", + "нит ся", + "н ится", + "▁ра к", + "▁р ак", + "▁ рак", + "▁вы рабо", + "▁выра бо", + "ле ть", + "лет ь", + "л еть", + "ge s", + "g es", + "▁соеди нения", + "▁в ек", + "▁ве к", + "▁d er", + "▁de r", + "▁ der", + "▁завер ши", + "▁характер исти", + "▁характери сти", + "де кс", + "▁тео рия", + "min g", + "m ing", + "▁интере сно", + "▁интерес но", + "▁ch ange", + "▁chang e", + "▁ change", + "▁за коны", + "▁зако ны", + "▁закон ы", + "▁зак оны", + "ля ется", + "ляет ся", + "▁раз деле", + "▁разде ле", + "▁раздел е", + "▁Ви ктор", + "▁Викто р", + "▁реак ции", + "▁реа кции", + "▁I f", + "во дятся", + "вод ятся", + "водя тся", + "водят ся", + "▁отказа лся", + "жи х", + "ж их", + "ти ло", + "тил о", + "▁k illed", + "▁kill ed", + "▁kil led", + "▁э м", + "▁ эм", + "▁зару бе", + "▁у про", + "▁cont rib", + "▁уче ные", + "▁Амери ке", + "▁мину ту", + "▁минут у", + "▁тру дом", + "▁труд ом", + "▁трудо м", + "▁совет ского", + "▁сове тского", + "▁советско го", + "▁официаль но", + "тя т", + "т ят", + "гро м", + "гр ом", + "г ром", + "ur ity", + "▁узна л", + "▁уз нал", + "▁потен циаль", + "▁потенциа ль", + "▁потенциал ь", + "▁point s", + "ко вь", + "ков ь", + "if orn", + "▁диа мет", + "C h", + "▁влия ния", + "▁са нк", + "▁сан к", + "▁ко жи", + "▁нача лом", + "▁начал ом", + "▁начало м", + "▁американ ских", + "▁америка нских", + "▁д вое", + "▁дво е", + "▁be com", + "▁bec om", + "ло сть", + "ru p", + "r up", + "▁М еня", + "▁Ме ня", + "▁Мен я", + "▁signific ant", + "▁при зыва", + "▁призыв а", + "▁призы ва", + "ре я", + "▁re d", + "▁r ed", + "▁ red", + "▁б ла", + "▁ бла", + "▁много е", + "ре ны", + "рен ы", + "▁прибы ли", + "▁прибыл и", + "▁ту рец", + "▁тур ец", + "▁туре ц", + "за нти", + "зан ти", + "з анти", + "▁соб ственного", + "▁собствен ного", + "▁собственно го", + "▁Во ен", + "▁не дель", + "▁неде ль", + "▁ недель", + "▁террито рию", + "▁К стати", + "▁ск возь", + "▁C up", + "▁во стор", + "▁вос тор", + "▁восто р", + "va n", + "v an", + "▁ц енно", + "▁це нно", + "▁цен но", + "▁откры тия", + "ва х", + "щи ны", + "щин ы", + "щ ины", + "▁XV II", + "▁XVI I", + "\" ?", + "▁h ard", + "▁har d", + "▁ha rd", + "▁ hard", + "▁ent ire", + "г ка", + "▁re view", + "▁rev iew", + "▁чер ты", + "▁черт ы", + "▁вос ьми", + "▁вось ми", + "▁возду хе", + "▁воздух е", + "ющи мся", + "ющим ся", + "ю щимся", + "▁Б рю", + "▁Ана то", + "▁два жды", + "ло вой", + "лов ой", + "лово й", + "▁s igned", + "▁sign ed", + "ва ны", + "ван ы", + "▁чемпи он", + "▁во зоб", + "▁воз об", + "ress ed", + "r essed", + "▁вра га", + "▁враг а", + "▁мол ча", + "▁у щер", + "▁уще р", + "▁Ру си", + "▁Рус и", + "▁cl ose", + "▁clos e", + "▁та нков", + "▁тан ков", + "▁танк ов", + "▁Обы чно", + "▁ко т", + "▁к от", + "▁ кот", + "вр и", + "в ри", + "▁event ually", + "▁P aul", + "▁эпо ху", + "▁ac cess", + "▁acc ess", + "▁вся кого", + "реги стри", + "д ке", + "un t", + "u nt", + "р ский", + "▁музы кан", + "▁музыка н", + "▁эк зем", + "▁бу х", + "▁ме стности", + "▁мест ности", + "▁Со еди", + "▁Н К", + "▁ НК", + "▁со вокуп", + "▁in ternational", + "▁intern ational", + "▁в ступа", + "▁вступ а", + "▁о ко", + "▁ок о", + "са нт", + "сан т", + "▁за л", + "▁з ал", + "▁ зал", + "▁уча сток", + "▁участ ок", + "со ван", + "сов ан", + "сова н", + "▁выступа ет", + "▁международ ных", + "▁со се", + "▁сос е", + "▁россий ского", + "▁t reat", + "▁tre at", + "▁зна ете", + "▁знает е", + "▁бо ю", + "▁ бою", + "▁мета лли", + "▁метал ли", + "▁металл и", + "▁соб ственных", + "▁собствен ных", + "▁сла бы", + "▁Б ур", + "▁Бу р", + "▁свое образ", + "▁продол жает", + "▁продолжа ет", + "▁вели кого", + "▁велико го", + "▁ка ждая", + "▁каж дая", + "▁про водить", + "▁проводи ть", + "▁прово дить", + "▁провод ить", + "▁проводит ь", + "д р", + "▁назна чения", + "▁Ге рой", + "▁Гер ой", + "▁Геро й", + "▁д я", + "▁ дя", + "▁исто чников", + "▁источ ников", + "▁источник ов", + "▁с пут", + "▁спу т", + "▁ли бера", + "кло пе", + "▁aver age", + "▁G roup", + "▁обще ственного", + "▁обществе нного", + "▁общественно го", + "▁ass ist", + "▁ок на", + "▁co urt", + "▁cour t", + "А О", + "▁зна ний", + "▁у вле", + "▁ка толи", + "▁като ли", + "▁ми нуты", + "▁мину ты", + "▁минут ы", + "▁проис ходя", + "▁происхо дя", + ". /", + "а м", + "▁e ither", + "▁пер спекти", + "▁перспек ти", + "▁T ra", + "▁Tr a", + "▁H en", + "▁He n", + "▁M ag", + "▁Ma g", + "ро вая", + "ров ая", + "рова я", + "▁p olic", + "▁pol ic", + "ти ве", + "тив е", + "лко в", + "лк ов", + "л ков", + "▁при ба", + "▁подвер га", + "▁подверг а", + "▁l anguage", + "▁langu age", + "ли зова", + "▁х рам", + "▁хра м", + "▁go ing", + "▁ going", + "▁К ни", + "▁ Кни", + "кну ть", + "к нуть", + "▁f ell", + "▁fe ll", + "▁ста дии", + "▁стади и", + "▁при дума", + "▁прид ума", + "▁КП СС", + "▁оста вить", + "▁дости г", + "▁educ ation", + "▁Un ion", + "▁де вушка", + "▁деву шка", + "▁ст рах", + "▁стра х", + "▁в ир", + "▁ви р", + "▁по гре", + "▁b rought", + "▁br ought", + "med i", + "мо га", + "▁ле ст", + "▁лес т", + "▁к рова", + "▁кро ва", + "▁кров а", + "▁ крова", + "▁содержа ния", + "▁нес част", + "▁несча ст", + "im ately", + "imate ly", + "▁о писание", + "▁описа ние", + "▁О ОН", + "g in", + "▁выбо рах", + "▁выбора х", + "▁расска зывает", + "▁расс казывает", + "▁рассказыва ет", + "▁рассказы вает", + "▁ind epend", + "ди ю", + "▁использова нием", + "▁использование м", + "▁ресур сов", + "▁ресурс ов", + "▁Cal iforn", + "▁тя жело", + "▁тяже ло", + "▁дости гну", + "▁достиг ну", + "ж на", + "▁Rep ublic", + "▁p ast", + "▁поло вины", + "▁полови ны", + "▁полов ины", + "▁Л ей", + "▁Ле й", + "ac es", + "ace s", + "a ces", + "то логи", + "т ологи", + "▁L ou", + "▁Lo u", + "▁от ряд", + "▁отря д", + "▁re b", + "▁r eb", + "ци ал", + "циа л", + "▁су дов", + "▁суд ов", + "▁судо в", + "▁кар ты", + "▁карт ы", + "▁qu est", + "▁ quest", + "▁in j", + "▁кладби ще", + "▁у годно", + "▁уг одно", + "▁уго дно", + "па ми", + "пам и", + "▁свобо ду", + "▁свобод у", + "▁у ка", + "▁ ука", + "до ра", + "дор а", + "▁об щее", + "▁обще е", + "юз е", + "ю зе", + "▁Пер во", + "▁сце не", + "▁сцен е", + "ре на", + "рен а", + "р ена", + "▁Ма ри", + "▁Мар и", + "ла т", + "л ат", + "▁e ight", + "▁не прият", + "▁непри ят", + "▁неприя т", + "▁t our", + "▁to ur", + "▁разви тию", + "▁сом нения", + "▁сомне ния", + "▁f av", + "▁fa v", + "хо ва", + "хов а", + "ни аль", + "ниа ль", + "те ле", + "тел е", + "вшее ся", + "▁приме нение", + "ли кт", + "лик т", + "▁т емы", + "▁те мы", + "▁тем ы", + "▁офи цер", + "▁офице р", + "▁неме цких", + "▁немец ких", + "▁С тро", + "▁Ст ро", + "if ication", + "ific ation", + "il ities", + "ili ties", + "ilit ies", + "нци клопе", + "em ents", + "ement s", + "e ments", + "▁dec ided", + "▁Не сколько", + "кл я", + "к ля", + "▁при шла", + "ству ющих", + "▁ин фра", + "▁инф ра", + "▁I m", + "з ли", + "▁ac qu", + "▁национа льного", + "▁национально го", + "▁В ас", + "▁Ва с", + "▁за пас", + "▁запа с", + "▁ст рана", + "▁стра на", + "▁стран а", + "▁стр ана", + "▁о доб", + "▁од об", + "▁одо б", + "▁ма рки", + "▁мар ки", + "▁брига ды", + "▁эффек т", + "▁до ж", + "▁про возгла", + "▁Ки тай", + "▁Кита й", + "▁с той", + "▁ст ой", + "▁сто й", + "▁ стой", + "▁на ступление", + "▁наступ ление", + "▁ну жна", + "▁нуж на", + "▁то рмо", + "▁тор мо", + "се т", + "с ет", + "▁части чно", + "▁through out", + "▁Н аз", + "▁На з", + "▁beh ind", + "▁проце ссы", + "▁процесс ы", + "▁Ind ia", + "▁о смо", + "▁ос мо", + "же нного", + "жен ного", + "женно го", + "на т", + "н ат", + "▁С во", + "▁Св о", + "▁о зна", + "▁оз на", + "ев е", + "е ве", + "▁r ather", + "▁ra ther", + "▁rat her", + "▁в в", + "▁Пер вой", + "▁Перво й", + "▁th ink", + "ши т", + "ш ит", + "▁интер фей", + "▁Пу сть", + "▁пробле му", + "▁проблем у", + "▁по чита", + "▁почи та", + "▁лег че", + "▁называ ли", + "▁называл и", + "▁ви жу", + "▁рас ста", + "▁расс та", + "▁Пер вые", + "▁А зербайджа", + "▁твор чества", + "▁ду ха", + "▁дух а", + "▁con struction", + "▁const ruction", + "▁construct ion", + "п ка", + "на у", + "▁ре шить", + "▁реши ть", + "▁бу дете", + "▁будет е", + "▁буд ете", + "▁а раб", + "▁ара б", + "▁в ле", + "▁ вле", + "▁tra ining", + "▁tr aining", + "▁train ing", + "▁сред нем", + "▁средне м", + "▁роди тели", + "▁интер нет", + "▁п ак", + "▁па к", + "Т О", + "чи ком", + "чик ом", + "Ко р", + "К ор", + "▁g ot", + "▁go t", + "зи ли", + "зил и", + "з или", + "▁ста би", + "▁ стаби", + "▁фрон т", + "P I", + "не дель", + "▁pro t", + "▁pr ot", + "▁по лю", + "▁пол ю", + "цу з", + "ц уз", + "ди лся", + "дил ся", + "д ился", + "▁В але", + "▁Ва ле", + "кон струк", + "▁про шли", + "▁прош ли", + "▁на пол", + "▁напо л", + "Р У", + "un ic", + "u nic", + "▁На поле", + "хи ми", + "хим и", + "х ими", + "▁выпол нять", + "▁выполня ть", + "си м", + "с им", + "пи н", + "п ин", + "▁ос нову", + "▁основ у", + "▁осно ву", + "▁преду сматри", + "▁Бо рис", + "▁Бори с", + "▁Бор ис", + "▁вы де", + "▁H all", + "▁Ha ll", + "▁Hal l", + "▁spec ies", + "▁силь нее", + "▁пря мой", + "▁прямо й", + "▁eff ort", + "▁Dav id", + "▁полу о", + "раз уме", + "разу ме", + "разум е", + "▁М ат", + "▁Ма т", + "не ры", + "нер ы", + "н еры", + "▁pol ice", + "▁polic e", + "▁ду шу", + "▁душ у", + "зм ов", + "з мов", + "wo od", + "w ood", + "й дя", + "▁фра г", + "▁про игра", + "▁прои гра", + "▁по тря", + "▁ре сто", + "▁г ли", + "▁гл и", + "▁ гли", + "▁о ча", + "▁с тру", + "▁ст ру", + "▁стр у", + "▁ стру", + "av es", + "ave s", + "a ves", + "▁serv ices", + "▁service s", + "йс кий", + "й ский", + "ко вый", + "ковы й", + "з ри", + "▁Californ ia", + "▁Та кое", + "▁Так ое", + "ut ure", + "u ture", + "▁с пло", + "▁сер де", + "▁серд е", + "т вра", + "ain t", + "ai nt", + "a int", + "▁M ac", + "▁Ma c", + "▁пол ный", + "ги м", + "г им", + "ad d", + "a dd", + "▁M il", + "▁у держа", + "▁poss ible", + "▁на сла", + "▁нас ла", + "▁Никола евич", + "се ление", + "▁al most", + "▁про ро", + "▁прор о", + "▁ре жима", + "▁режи ма", + "▁режим а", + "▁вы ступления", + "▁выступ ления", + "б ке", + "▁Ра спо", + "▁Рас по", + "itte e", + "itt ee", + "< /", + "▁V I", + "▁ VI", + "ia tion", + "iat ion", + "i ation", + "▁а спек", + "▁бу ты", + "▁социаль но", + "▁соци ально", + "ро ванию", + "рова нию", + "▁пози цию", + "▁ри т", + "▁р ит", + "▁ рит", + "▁Э к", + "▁ба зы", + "▁баз ы", + "▁пом ню", + "то ру", + "тор у", + "т ору", + "▁ex ec", + "ви лась", + "вила сь", + "▁с верху", + "▁сверх у", + "▁свер ху", + "▁функ ций", + "▁проце ссо", + "▁процесс о", + "▁встре чается", + "▁встреча ется", + "▁встречает ся", + "▁Та кой", + "▁Так ой", + "чё н", + "ч ён", + "▁при вело", + "▁приве ло", + "▁привел о", + "▁сред е", + "▁сре де", + "но мо", + "ном о", + "вод ство", + "▁сказа но", + "▁сказ ано", + "▁влия нием", + "▁влияние м", + "пи ли", + "пил и", + "п или", + "▁древ не", + "▁дре вне", + "ed eral", + "eder al", + "Р Е", + "▁изу чения", + "▁le ast", + "▁я влялся", + "▁явля лся", + "▁яв лялся", + "▁поверх ность", + "▁поверхно сть", + "▁d ou", + "▁do u", + "▁ш ту", + "▁шт у", + "A N", + "▁встре чаются", + "▁встреча ются", + "▁дире ктора", + "▁директор а", + "▁inter est", + "▁inte rest", + "▁ob ject", + "▁l ik", + "▁he alth", + "▁круп ней", + "▁inv olved", + "▁invol ved", + "▁ре йти", + "▁рей ти", + "Н Р", + "▁w id", + "▁ку х", + "▁Т ра", + "▁s oon", + "▁so on", + "▁дру ж", + "eng th", + "▁Свя того", + "▁Свято го", + "▁Д рев", + "Пе тербург", + "Петербур г", + "▁Пе тербург", + "▁Петербур г", + "▁Петер бург", + "▁ Петербург", + "▁ev ents", + "▁even ts", + "▁event s", + "▁п ут", + "▁пу т", + "▁ пут", + "сти ческие", + "стически е", + "с тические", + "▁повы шен", + "▁сред него", + "▁средне го", + "▁то вар", + "▁това р", + "▁фе но", + "▁Б ай", + "▁Ба й", + "▁prov ided", + "▁provide d", + "▁ти хо", + "▁ тихо", + "▁де лам", + "▁дела м", + "▁дел ам", + "ви тся", + "вит ся", + "в ится", + "i qu", + "an der", + "and er", + "a nder", + "▁руко водитель", + "▁руководи тель", + "▁s ound", + "▁so und", + "▁Par ty", + "▁Part y", + "at ural", + "atur al", + "▁отве чает", + "▁отвеча ет", + "з во", + "ra b", + "r ab", + "▁С тре", + "▁Ст ре", + "▁благо дар", + "▁благода р", + "ви на", + "вин а", + "в ина", + "ст рии", + "стри и", + "▁При мер", + "▁Приме р", + "▁for ce", + "▁ force", + "▁при свое", + "▁прис вое", + "ду к", + "▁худо жника", + "▁худож ника", + "▁художник а", + "▁sub ject", + "▁желез ной", + "▁желе зной", + "▁МО СК", + "▁b ar", + "▁ bar", + "▁я пон", + "▁япо н", + "же ства", + "▁С ара", + "▁Са ра", + "▁Сар а", + "▁b ase", + "▁bas e", + "▁учили ще", + "▁га за", + "▁газ а", + "▁вы я", + "▁st ri", + "▁str i", + "▁о сна", + "▁ос на", + "ac hing", + "ach ing", + "▁record ed", + "то вые", + "▁ис пан", + "▁испа н", + "se c", + "s ec", + "▁де лом", + "▁дело м", + "▁дел ом", + "▁t ype", + "▁ty pe", + "▁typ e", + "▁ type", + "▁паци ен", + "▁d i", + "▁суще ственно", + "▁существ енно", + "▁перво нача", + "▁пла те", + "▁плат е", + "▁принима л", + "▁на родного", + "▁наро дного", + "▁народ ного", + "го ло", + "г оло", + "▁От кры", + "▁пора жения", + "▁Co urt", + "▁Cour t", + "оп ера", + "о пера", + "re ady", + "read y", + "ount er", + "oun ter", + "▁це ны", + "▁цен ы", + "▁pro duct", + "▁produ ct", + "▁produc t", + "▁сель скохозяй", + "цион ное", + "цио нное", + "ционно е", + "зо вы", + "зов ы", + "▁Кар л", + "рь я", + "р ья", + "▁насе лё", + "▁де лега", + "▁деле га", + "▁\" «", + "▁до га", + "▁дог а", + "ser v", + "s erv", + "об рази", + "обра зи", + "образ и", + "▁конструк ции", + "▁констру кции", + "▁сказа ли", + "▁ска зали", + "▁сказал и", + "▁сказ али", + "▁раз рабаты", + "▁фир мы", + "▁фирм ы", + "▁лю бит", + "▁люби т", + "▁пере говоры", + "▁перегово ры", + "▁в кус", + "▁вку с", + "k i", + "▁дей ствует", + "▁действу ет", + "▁sur v", + "▁M a", + "хо ду", + "ход у", + "зи рован", + "зирова н", + "▁resp ons", + "▁древ них", + "▁остро ве", + "▁остров е", + "▁s ize", + "▁ size", + "▁ла м", + "▁л ам", + "▁ лам", + "▁ц еремо", + "▁цер емо", + "▁не в", + "▁н ев", + "▁ нев", + "▁пра вом", + "▁право м", + "▁прав ом", + "▁теле виде", + "▁телеви де", + "▁P at", + "▁торго вли", + "▁торгов ли", + "in ese", + "ine se", + "ines e", + "вле нной", + "влен ной", + "вленно й", + "в ленной", + "▁де тали", + "▁дет али", + "▁дета ли", + "▁M al", + "▁Ma l", + "▁тон н", + "▁вз рыв", + "▁взры в", + "▁борь бу", + "▁простран стве", + "st r", + "s tr", + "» ;", + "▁высо кого", + "▁высоко го", + "▁C ont", + "▁Con t", + "▁Co nt", + "▁ Cont", + "▁h om", + "▁рабо чего", + "▁Лю бо", + "Ч то", + "▁m ight", + "ни в", + "н ив", + "▁ба нков", + "▁бан ков", + "▁банк ов", + "▁З ве", + "▁ Зве", + "▁объяви л", + "▁объя вил", + "▁хо кке", + "▁выс шей", + "▁a ud", + "▁ aud", + "▁борь ба", + "▁бор ьба", + "▁вто рая", + "▁втор ая", + "▁вы ражение", + "▁выра жение", + "▁ли де", + "▁л иде", + "▁уче ных", + "▁благо полу", + "▁r ace", + "▁ra ce", + "▁ race", + "▁писа телей", + "▁v iol", + "ав то", + "а вто", + "▁по кой", + "▁поко й", + "▁много м", + "▁мно гом", + "▁s top", + "▁st op", + "▁предо твра", + "фо на", + "фон а", + "ф она", + "ст ная", + "с тная", + "▁R oyal", + "▁Ro yal", + "▁Roy al", + "▁M ary", + "▁Mar y", + "▁Ma ry", + "▁ор ке", + "дно е", + "д ное", + "re ek", + "ree k", + "▁нрави тся", + "▁нрав ится", + "▁нра вится", + "▁способ ен", + "▁спосо бен", + "▁четы рёх", + "▁Г он", + "▁Го н", + "▁фрон те", + "▁фронт е", + "▁ме ль", + "▁мел ь", + "▁ мель", + "▁c op", + "▁co p", + "▁опти ми", + "ch ie", + "▁ма сла", + "ст ар", + "ста р", + "с тар", + "▁perform ance", + "▁performan ce", + "▁Div ision", + "▁режи ме", + "▁режим е", + "▁кар тина", + "▁карти на", + "▁картин а", + "▁карт ина", + "та ло", + "тал о", + "▁ча сы", + "▁час ы", + "пе л", + "▁на много", + "▁нам ного", + "▁e sc", + "▁es c", + "▁ esc", + "▁ры ба", + "▁рыб а", + "д ля", + "▁печа ти", + "▁печат и", + "▁п ья", + "▁пь я", + "▁group s", + "▁t rack", + "▁tra ck", + "▁tr ack", + "▁ track", + "К П", + "ти ческое", + "▁h app", + "▁ha pp", + "ро вку", + "ров ку", + "▁на бор", + "▁набо р", + "▁дела л", + "▁дел ал", + "▁p ot", + "▁po t", + "▁пол ное", + "▁полно е", + "▁ke ep", + "▁Х арь", + "▁Ха рь", + "▁Хар ь", + "▁сам их", + "▁сами х", + "вля ли", + "влял и", + "в ляли", + "▁сле гка", + "▁об но", + "▁ши ри", + "▁С по", + "▁vill age", + "▁С ен", + "▁Се н", + "че е", + "▁N or", + "▁No r", + "та кт", + "так т", + "▁проек тов", + "▁проект ов", + "▁пер и", + "▁пе ри", + "▁ пери", + "▁А м", + "▁со веща", + "▁сове ща", + "▁рус ском", + "▁русско м", + "▁ал горит", + "▁Ти хо", + "▁ш тра", + "▁шт ра", + "▁в ере", + "▁ве ре", + "▁вер е", + "▁ вере", + "▁J e", + "▁мето дов", + "▁метод ов", + "▁методо в", + "▁по дро", + "▁под ро", + "ме не", + "мен е", + "▁О со", + "▁Ос о", + "▁принадле жа", + "▁ш пи", + "▁оборудова ния", + "▁э ваку", + "▁принци пи", + "▁принцип и", + "▁ощу щение", + "▁Ки тая", + "▁Кита я", + "▁каждо му", + "▁каждом у", + "▁Э ль", + "▁Эл ь", + "▁о пасности", + "▁опас ности", + "▁опа сности", + "▁опасно сти", + "▁соб ственные", + "▁собствен ные", + "▁района х", + "▁инте ллиген", + "▁На де", + "▁Над е", + "б ь", + "▁плане ты", + "▁план еты", + "▁планет ы", + "▁интере сы", + "▁интерес ы", + "▁астро но", + "▁рабо той", + "▁работ ой", + "▁работо й", + "it ect", + "ite ct", + "▁те ми", + "▁тем и", + "▁Го род", + "▁Гор од", + "▁Горо д", + "▁мо рской", + "▁мор ской", + "▁ морской", + "▁по сте", + "▁пос те", + "▁пост е", + "▁б ал", + "▁ба л", + "▁ бал", + "мы сли", + "ban d", + "ba nd", + "b and", + "▁диви зия", + "▁дивизи я", + "▁гос пита", + "▁МОСК ВА", + "▁нем цев", + "ag o", + "a go", + "▁v ideo", + "▁до рога", + "▁доро га", + "▁дорог а", + "Г У", + "му ля", + "▁Austral ia", + "▁пере писи", + "▁перепи си", + "▁в ходят", + "▁вход ят", + "▁входя т", + "▁Пе тров", + "▁Пет ров", + "▁Петро в", + "▁Петр ов", + "▁У нивер", + "▁под черки", + "▁подчер ки", + "▁дво ре", + "▁двор е", + "▁председа теля", + "▁осу ществи", + "▁осуществ и", + "▁интере сов", + "▁интерес ов", + "▁интересо в", + "▁изобра жение", + "▁ра но", + "▁р ано", + "▁ран о", + "▁милли она", + "▁миллион а", + "▁интер пре", + "▁иде аль", + "▁идеа ль", + "▁идеал ь", + "▁сти ле", + "▁S l", + "▁приказа л", + "▁прика зал", + "▁приказ ал", + "со юз", + "ёр а", + "ё ра", + "цион ным", + "цио нным", + "ре волю", + "не нного", + "нен ного", + "ненно го", + "▁wh ite", + "ber g", + "гу ли", + "▁вы ступил", + "▁выступ ил", + "▁m iss", + "▁mi ss", + "▁mis s", + "▁ miss", + "эт о", + "э то", + "▁возможно стей", + "еха ла", + "ехал а", + "Е сли", + "▁Х риста", + "▁Хри ста", + "▁независи мо", + "▁M r", + "our ces", + "ource s", + "▁интере су", + "▁интерес у", + "▁бере га", + "▁берег а", + "му т", + "м ут", + "ber t", + "b ert", + "▁con duct", + "▁cond uct", + "▁Пре жде", + "ан е", + "а не", + "ic tion", + "ict ion", + "i ction", + "▁нас таи", + "▁наста и", + "▁про вел", + "▁прове л", + "▁и мена", + "▁име на", + "▁им ена", + "▁имен а", + "▁кар тину", + "▁карти ну", + "▁картин у", + "мо ва", + "мов а", + "те ром", + "тер ом", + "теро м", + "же б", + "▁про по", + "ну не", + "or es", + "ore s", + "o res", + "▁J ack", + "▁Jac k", + "▁бле стя", + "▁руко водства", + "▁руковод ства", + "▁же ной", + "▁жен ой", + "▁Д ар", + "▁Да р", + "▁о скор", + "▁ос кор", + "▁оско р", + "▁st ar", + "▁ star", + "▁форми рования", + "▁су пер", + "▁суп ер", + "ён ных", + "ё нных", + "▁res pect", + "▁resp ect", + "▁epis ode", + "▁Акаде мии", + "▁re ve", + "▁rev e", + "▁от вета", + "▁ответ а", + "▁отве та", + "▁а втори", + "▁авто ри", + "▁ав тори", + "▁автор и", + "▁ре зо", + "▁рез о", + "ра ясь", + "рая сь", + "▁програм ме", + "▁программ е", + "▁раз мыш", + "▁размы ш", + "▁German y", + "▁воздей ствия", + "▁му жи", + "▁муж и", + "▁ст роя", + "▁стро я", + "▁тре нер", + "жда ют", + "ж дают", + "▁Про сто", + "▁откры то", + "▁открыт о", + "▁О ба", + "▁Об а", + "▁в торы", + "▁вто ры", + "▁втор ы", + "er ous", + "ero us", + "▁Д не", + "▁са ха", + "▁е ги", + "со мо", + "сом о", + "▁об оло", + "▁обо ло", + "▁S erv", + "▁Ser v", + "▁n etwork", + "▁net work", + "▁t ry", + "▁tr y", + "▁име ются", + "▁имеют ся", + "▁имею тся", + "▁бе г", + "▁G od", + "▁Go d", + "▁г ен", + "▁ге н", + "▁ ген", + "se t", + "s et", + "▁интеллек туаль", + "▁извест ен", + "▁изве стен", + "▁Го рь", + "▁Гор ь", + "▁француз ский", + "нт ы", + "н ты", + "▁темпера тура", + "▁температур а", + "▁зве зды", + "▁звезд ы", + "▁звез ды", + "▁А нти", + "▁Ан ти", + "▁универ са", + "▁тран спор", + "▁транспо р", + "▁транс пор", + "▁Ch ina", + "▁брон зо", + "▁M art", + "▁Mar t", + "ство вало", + "ствовал о", + "ствова ло", + "▁друго му", + "▁другом у", + "▁ другому", + "▁Запад ной", + "▁Запа дной", + "▁appoint ed", + "▁б рю", + "▁ брю", + "e v", + "И Д", + "кон чался", + "конча лся", + "гра де", + "град е", + "▁доба вил", + "▁депута тов", + "▁депутат ов", + "тко й", + "тк ой", + "т кой", + "ст ане", + "ста не", + "стан е", + "▁Е дин", + "▁Еди н", + "бра л", + "бр ал", + "б рал", + "▁о жи", + "▁вся кий", + "▁хра ма", + "▁храм а", + "ле ров", + "лер ов", + "▁созда вать", + "▁гра ни", + "▁гран и", + "▁гр ани", + "▁ грани", + "▁k ey", + "▁ke y", + "▁ key", + "▁perform ed", + "ти ков", + "тик ов", + "тико в", + "▁W ash", + "▁ито гам", + "▁итог ам", + "▁ни кого", + "▁нико го", + "▁le ading", + "▁lead ing", + "E T", + "▁B el", + "▁Be l", + "Э С", + "▁ne g", + "▁сущ ности", + "▁Им пера", + "▁Импе ра", + "▁тя жё", + "▁тяж ё", + "дё т", + "д ёт", + "i j", + "ды ва", + "эн ер", + "э нер", + "▁счита ли", + "▁считал и", + "▁С вет", + "▁Св ет", + "▁Све т", + "ap t", + "a pt", + "А р", + "▁х леб", + "▁хле б", + "▁Ф ё", + "▁иде ю", + "▁поме щения", + "bo ok", + "b ook", + "▁п роде", + "▁про де", + "▁прод е", + "▁p ur", + "ня лись", + "няли сь", + "ви ков", + "вик ов", + "ля т", + "л ят", + "▁P S", + "▁ PS", + "▁конферен ции", + "▁ конференции", + "▁ph ot", + "▁парти зан", + "▁при бо", + "▁оста вил", + "▁V ir", + "▁Vi r", + "▁от туда", + "▁А нна", + "▁Ан на", + "пе ль", + "пел ь", + "▁разу меется", + "▁разуме ется", + "▁наи боль", + "▁pro duc", + "▁produ c", + "viron ment", + "ни с", + "н ис", + "▁пере дать", + "▁переда ть", + "ша ла", + "шал а", + "ш ала", + "те ры", + "тер ы", + "т еры", + "▁ло ка", + "▁лок а", + "▁ лока", + "▁те сти", + "▁тест и", + "тра н", + "тр ан", + "т ран", + "лет него", + "it z", + "▁bre ak", + "an ish", + "ani sh", + "▁в ряд", + "ress ion", + "r ession", + "▁у те", + "▁ут е", + "▁кон тинен", + "▁за регистри", + "ше б", + "▁с лове", + "▁сло ве", + "▁слов е", + "▁ слове", + "▁ж дать", + "▁ ждать", + "inc ip", + "▁во ли", + "▁вол и", + "ме нту", + "мен ту", + "мент у", + "▁mod el", + "▁mode l", + "▁М ен", + "▁Ме н", + "▁недоста точно", + "▁недостато чно", + "▁comple ted", + "▁complet ed", + "▁complete d", + "no t", + "n ot", + "▁У о", + "▁англий ский", + "re l", + "r el", + "▁уча стник", + "▁участ ник", + "at ory", + "ator y", + "ato ry", + "но ся", + "нос я", + "▁соста вляют", + "▁состав ляют", + "▁составля ют", + "з ю", + "▁язы ков", + "▁язык ов", + "▁семей ства", + "▁и ду", + "▁ид у", + "▁вме ша", + "▁пол ного", + "▁полно го", + "▁я вление", + "▁яв ление", + "▁ явление", + "▁сме ша", + "▁по ражение", + "▁пора жение", + "▁нау чной", + "▁научно й", + "▁су дьба", + "▁судь ба", + "▁суд ьба", + "ма нов", + "ман ов", + "пра вед", + "прав ед", + "праве д", + "▁Но вый", + "▁вы ро", + "▁выр о", + "E C", + "ci s", + "c is", + "▁ни кому", + "▁нико му", + "до вал", + "дова л", + "дов ал", + "▁рекомен ду", + "▁i ll", + "▁ ill", + "В а", + "▁лю бил", + "▁люби л", + "▁по дс", + "▁под с", + "▁D ist", + "▁Dis t", + "▁Di st", + "▁откры л", + "▁очеред ной", + "▁на кло", + "▁o pt", + "▁op t", + "▁бо ях", + "▁боя х", + "▁Г ан", + "▁Га н", + "▁l oss", + "▁lo ss", + "▁los s", + "ч ко", + "▁состоя нию", + "го на", + "гон а", + "г она", + "▁у держи", + "▁Д ю", + "▁ми нера", + "▁мин ера", + "▁ги бели", + "по лков", + "пол ков", + "ге ре", + "гер е", + "г ере", + "▁X VI", + "▁XV I", + "▁лё г", + "ли не", + "лин е", + "▁переи менова", + "▁acc ount", + "▁па тро", + "▁m oney", + "▁mon ey", + "▁э стети", + "▁ме дали", + "▁мед али", + "▁меда ли", + "▁house hold", + "▁дли ной", + "▁длин ой", + "▁использу я", + "▁п рие", + "▁при е", + "▁m ethod", + "▁met hod", + "ar ies", + "ari es", + "a ries", + "та ны", + "тан ы", + "до на", + "дон а", + "д она", + "▁технологи й", + "▁раз деля", + "▁разде ля", + "▁раздел я", + "▁орде ном", + "▁орден ом", + "▁находи лась", + "▁из де", + "▁изд е", + "▁e lection", + "▁ele ction", + "▁elect ion", + "▁el ection", + "▁то по", + "▁топ о", + "▁de al", + "▁комна те", + "▁д нем", + "▁дне м", + "▁са хар", + "▁саха р", + "Б у", + "▁Ч ар", + "▁Ча р", + "▁много численные", + "▁многочисле нные", + "▁Не у", + "ем ую", + "е мую", + "▁вели коле", + "▁велико ле", + "▁велик оле", + "▁геро ев", + "ль ти", + "льт и", + "▁з оны", + "▁зо ны", + "▁зон ы", + "▁в чера", + "а мерикан", + "зо ра", + "зор а", + "▁От вет", + "▁Отве т", + "▁под ходя", + "▁подход я", + "▁ква рта", + "▁квар та", + "air s", + "▁пере шёл", + "▁дина сти", + "ст ет", + "сте т", + "с тет", + "▁При чем", + "▁соба ки", + "▁собак и", + "ре нии", + "ча ла", + "чал а", + "ч ала", + "▁c ivil", + "▁st ates", + "▁state s", + "▁stat es", + "▁inst ead", + "▁па у", + "го да", + "год а", + "г ода", + "▁a ction", + "▁ac tion", + "▁act ion", + "▁ action", + "if t", + "i ft", + "▁Ж ен", + "▁Же н", + "▁по терпе", + "▁потер пе", + "▁b oard", + "▁bo ard", + "▁ board", + "▁аль терна", + "▁Ма рии", + "▁Мари и", + "▁о круг", + "▁ок руг", + "▁окру г", + "ве те", + "вет е", + "в ете", + "▁рели гии", + "▁религи и", + "во ды", + "вод ы", + "▁к риста", + "▁кри ста", + "▁за р", + "▁з ар", + "▁ зар", + "▁п лана", + "▁пла на", + "▁план а", + "би и", + "▁Ж ан", + "▁Жа н", + "ще нный", + "щен ный", + "▁Ин тере", + "▁Интер е", + "▁Инте ре", + "▁благо род", + "▁бла город", + "на циона", + "▁ви зи", + "▁вос хи", + "ре ний", + "та ла", + "тал а", + "т ала", + "▁мини мум", + "▁миниму м", + "stit ute", + "le b", + "l eb", + "al ed", + "ale d", + "a led", + "▁И вана", + "▁Ива на", + "▁Иван а", + "▁Ив ана", + "Д Р", + "▁crit ic", + "ak er", + "ake r", + "a ker", + "си й", + "▁успе л", + "▁ус пел", + "сле ду", + "след у", + "▁конечно м", + "▁коне чном", + "де мокра", + "▁М ек", + "▁Ме к", + "ин г", + "и нг", + "▁сред ство", + "▁средств о", + "▁reg ular", + "vin g", + "vi ng", + "v ing", + "▁З оло", + "▁Зо ло", + "▁ Золо", + "▁ва ше", + "▁ваш е", + "▁рабо тали", + "▁работа ли", + "▁работ али", + "▁работал и", + "С у", + "ф т", + "▁l o", + "▁ lo", + "▁Вме сто", + "▁Д ума", + "▁Ду ма", + "▁В я", + "▁объек ты", + "▁объект ы", + "▁Д ер", + "▁Де р", + "▁по рой", + "▁пор ой", + "▁поро й", + "▁п обу", + "▁по бу", + "▁подраз деления", + "▁подразделе ния", + "▁незна чи", + "▁терро ри", + "тель ству", + "тельств у", + "нк у", + "н ку", + "▁prov ide", + "▁д емо", + "▁де мо", + "▁К рем", + "▁Кре м", + "sy ch", + "▁В ну", + "▁Коро лев", + "▁мо тива", + "▁мотив а", + "▁occ ur", + "▁изме нение", + "▁твер до", + "m b", + "▁П ан", + "▁Па н", + "▁Кон ститу", + "▁кон центра", + "▁об щий", + "▁общи й", + "▁w est", + "▁we st", + "▁ west", + "▁отвер сти", + "▁бу дь", + "▁буд ь", + "▁ будь", + "ти ческими", + "тически ми", + "тическим и", + "▁мо ди", + "▁l ab", + "▁la b", + "▁h it", + "▁Х ан", + "▁Ха н", + "ok e", + "o ke", + "▁поль зоваться", + "▁пользова ться", + "▁пунк тов", + "▁пункт ов", + "ту га", + "▁fin ished", + "▁finish ed", + "▁p ers", + "▁per s", + "хи и", + "▁c ut", + "▁патри ар", + "▁O ther", + "▁зако нов", + "▁закон ов", + "▁законо в", + "▁зак онов", + "▁г ран", + "▁гра н", + "▁гр ан", + "▁ гран", + "▁со юза", + "▁союз а", + "▁сою за", + "▁e ast", + "▁eas t", + "▁От ец", + "▁Оте ц", + "▁гу мани", + "if f", + "i ff", + "▁T hat", + "▁Th at", + "▁теа тре", + "▁театр е", + "зиди ума", + "ще нных", + "щен ных", + "▁вол ны", + "▁волн ы", + "▁В у", + "▁ac com", + "▁acc om", + "▁Й о", + "▁Ва лен", + "▁Вале н", + "▁ко да", + "▁к ода", + "▁код а", + "▁add ed", + "▁на всегда", + "▁me an", + "до вых", + "дов ых", + "▁способ ны", + "▁sub sequ", + "▁subs equ", + "▁te levision", + "▁А ф", + "k a", + "▁С С", + "▁ СС", + "▁при бе", + "▁вопро су", + "▁вопрос у", + "▁поз дно", + "▁позд но", + "▁на пада", + "▁напа да", + "ou l", + "o ul", + "▁де парта", + "▁по ход", + "▁похо д", + "▁пох од", + "▁До сто", + "il es", + "ile s", + "i les", + "▁мето ди", + "▁метод и", + "▁n ec", + "▁ne c", + "▁с тав", + "▁ст ав", + "▁ста в", + "▁ став", + "ми рал", + "мир ал", + "мира л", + "тка ми", + "ткам и", + "т ками", + "▁al ready", + "▁ма ма", + "▁нем цы", + "▁по сти", + "▁пос ти", + "▁пост и", + "▁ пости", + "нача ле", + "▁ри с", + "▁р ис", + "▁ рис", + "▁б оло", + "▁бо ло", + "▁бол о", + "▁чув стви", + "▁чувств и", + "▁Со юз", + "▁Сою з", + "▁ Союз", + "▁комплек са", + "▁комплекс а", + "▁S en", + "▁Se n", + "ми ли", + "мил и", + "м или", + "▁ви нов", + "▁вино в", + "▁вин ов", + "▁кора бли", + "шь ся", + "▁sp ace", + "▁Ле они", + "▁Леон и", + "▁Лео ни", + "▁st re", + "▁str e", + "▁ги б", + "▁ гиб", + "▁В не", + "▁Пра во", + "▁D em", + "▁De m", + "▁По зд", + "▁Поз д", + "▁Фин ля", + "▁п обы", + "▁по бы", + "Г Б", + "▁m ar", + "▁ mar", + "ь те", + "▁воск рес", + "▁воскре с", + "жду ю", + "жд ую", + "ж дую", + "▁ры б", + "те нт", + "тен т", + "т ент", + "▁p arent", + "▁par ent", + "▁c ertain", + "▁cert ain", + "▁Л ан", + "▁Ла н", + "▁взаимодей ствия", + "▁высо ты", + "▁продук ты", + "▁продукт ы", + "Г О", + "▁Вы с", + "▁ре аги", + "▁реа ги", + "▁вы бора", + "▁выбо ра", + "▁выбор а", + "ска ми", + "с ками", + "▁ад вока", + "▁ask ed", + "▁и ные", + "▁ку пить", + "▁куп ить", + "▁вы жи", + "▁r ights", + "▁right s", + "▁А мерикан", + "▁Амери кан", + "▁Америка н", + "▁про мы", + "▁наз ван", + "▁назва н", + "▁исполь зует", + "▁использу ет", + "▁и мея", + "▁име я", + "▁уров нем", + "▁уровне м", + "▁у казывает", + "▁указыва ет", + "▁ука зывает", + "▁бомбарди ров", + "pecial ly", + "те льны", + "тель ны", + "▁авто ров", + "▁ав торов", + "▁автор ов", + "▁и ско", + "▁ис ко", + "▁иск о", + "▁f ig", + "про вод", + "пе в", + "п ев", + "ке та", + "кет а", + "ан и", + "а ни", + "▁c lear", + "▁cl ear", + "▁cle ar", + "▁вся ком", + "▁Х ристо", + "▁Хри сто", + "▁о бру", + "▁об ру", + "т т", + "▁де ше", + "с не", + "▁вра же", + "▁t old", + "▁to ld", + "is l", + "i sl", + "▁поя вления", + "▁H ist", + "▁His t", + "▁Wash ington", + "Х о", + "▁поэ зии", + "▁М ед", + "▁Ме д", + "▁американ ской", + "▁америка нской", + "▁О кон", + "▁Ок он", + "▁вто рое", + "▁втор ое", + "▁второ е", + "▁пло ско", + "▁во ро", + "▁вор о", + "▁ воро", + "▁обще ственных", + "▁обществе нных", + "щи йся", + "щий ся", + "▁та мо", + "▁там о", + "▁Мо и", + "▁Japan ese", + "▁об щения", + "▁обще ния", + "▁призна ть", + "▁экономи ческой", + "▁Г ос", + "▁Го с", + "▁к летки", + "▁кле тки", + "▁клет ки", + "▁полу чать", + "▁получа ть", + "▁получат ь", + "▁мо дерни", + "▁allow ed", + "ти тся", + "тит ся", + "т ится", + "▁серь ёз", + "сте пен", + "степ ен", + "▁M ark", + "▁Mar k", + "у го", + "▁it self", + "▁its elf", + "u x", + "▁пе сен", + "▁пес ен", + "▁б лок", + "▁бло к", + "st on", + "s ton", + "▁Ча сть", + "▁ли цен", + "▁лиц ен", + "▁лице н", + "▁не раз", + "▁нер аз", + "▁нера з", + "▁Ч лен", + "▁су ток", + "з ву", + "▁необходи мые", + "▁необходимы е", + "um e", + "u me", + "▁пла ны", + "▁план ы", + "▁play ing", + "▁состоя лась", + "▁состояла сь", + "▁поли тика", + "▁полити ка", + "▁политик а", + "▁ш ка", + "▁ шка", + "бе к", + "б ек", + "▁по ла", + "▁пол а", + "un k", + "▁коми сса", + "▁Н ем", + "▁Не м", + "▁Cent er", + "че нное", + "чен ное", + "ченно е", + "ме та", + "мет а", + "ёл ок", + "ё лок", + "▁cons ist", + "▁рас чет", + "▁расче т", + "▁Ни ко", + "▁Ник о", + "ad es", + "ade s", + "a des", + "чи ны", + "чин ы", + "ч ины", + "▁мо им", + "▁мои м", + "ве дена", + "веде на", + "вед ена", + "веден а", + "▁с ъе", + "▁съ е", + "▁моло дё", + "▁молод ё", + "▁за ли", + "▁з али", + "▁зал и", + "▁ зали", + "лу м", + "л ум", + "▁мя со", + "▁мяс о", + "ль ше", + "▁до кла", + "▁док ла", + "▁бизнес а", + "▁бизне са", + "▁Се веро", + "▁Север о", + "▁на ли", + "▁н али", + "▁ нали", + "▁поя вляются", + "▁появля ются", + "▁out side", + "▁relations hip", + "A M", + "▁мероприя тия", + "▁Can ada", + "▁Canad a", + "▁им пуль", + "▁титу л", + "▁des igned", + "▁design ed", + "▁Ваши нг", + "▁Ваш инг", + "▁r ange", + "▁ran ge", + "▁rang e", + "▁ range", + "s w", + "▁не жели", + "osp ital", + "▁D on", + "▁Do n", + "▁ Don", + "▁Ch inese", + "ми ть", + "мит ь", + "м ить", + "▁во зму", + "▁воз му", + "if y", + "▁се зон", + "▁сезо н", + "па ли", + "пал и", + "п али", + "▁студен тов", + "▁студент ов", + "ч на", + "де нии", + "▁а таки", + "▁ата ки", + "▁атак и", + "П у", + "сла ва", + "слав а", + "с лава", + "ж ского", + "▁A lex", + "▁Al ex", + "▁кра е", + "▁средства ми", + "▁d aughter", + "ate g", + "▁F irst", + "▁M et", + "▁Me t", + "▁Пред по", + "▁r an", + "▁ra n", + "▁ ran", + "▁свя зана", + "▁связа на", + "▁связан а", + "▁связ ана", + "▁вер сия", + "▁верси я", + "ри ях", + "рия х", + "▁позво ляют", + "▁позволя ют", + "▁внеза пно", + "▁внезап но", + "▁tra vel", + "▁trav el", + "▁сим пто", + "▁г але", + "▁га ле", + "▁гал е", + "oc r", + "ТА Р", + "Т АР", + "▁ма сте", + "гра мма", + "грам ма", + "грамм а", + "▁Пу шкина", + "▁Пушки на", + "▁Пушкин а", + "▁Associ ation", + "▁выбо ров", + "▁выбор ов", + "▁то чку", + "▁точ ку", + "▁эк за", + "ве рен", + "вер ен", + "вере н", + "в ерен", + "▁с он", + "▁со н", + "▁ сон", + "al ls", + "all s", + "К и", + "▁В сё", + "мм а", + "м ма", + "▁жи вых", + "▁жив ых", + "▁пос ёлок", + "▁посёл ок", + "ъе м", + "ъ ем", + "▁искус ств", + "ви ду", + "вид у", + "ющая ся", + "ю щаяся", + "▁отказа ться", + "▁Ш вей", + "▁Шве й", + "▁st yle", + "▁гра ду", + "▁развед ки", + "▁разве дки", + "▁сло жности", + "▁сложно сти", + "▁про бу", + "▁пр обу", + "▁проб у", + "▁con v", + "▁Ang el", + "▁убий ства", + "▁ис следователь", + "▁исследова тель", + "▁ исследователь", + "▁ю ге", + "▁юг е", + "▁Би бли", + "пле к", + "п лек", + "▁с чёт", + "▁счё т", + "▁предме ты", + "▁предмет ы", + "▁би ографи", + "▁био графи", + "▁ биографи", + "▁командова нием", + "▁командование м", + "▁m iles", + "▁mil es", + "▁mi les", + "▁mile s", + "В се", + "▁тра ги", + "▁тр аги", + "▁бе ссо", + "▁бес со", + "▁бесс о", + "▁понима ю", + "▁Ор гани", + "▁бума ги", + "▁бумаг и", + "▁us ually", + "▁ра зво", + "▁раз во", + "б л", + "ut ive", + "▁Вер х", + "pl es", + "ple s", + "p les", + "▁ка мер", + "▁кам ер", + "▁каме р", + "▁re ached", + "▁reach ed", + "▁пти ц", + "O R", + "бе й", + "б ей", + "I S", + "▁Ch ampionship", + "▁к рей", + "▁кре й", + "▁кр ей", + "ти вов", + "тив ов", + "тиво в", + "▁М ВД", + "▁вой ско", + "▁войск о", + "▁ре бя", + "▁реб я", + "▁ору дий", + "▁Ра нее", + "▁ Ранее", + "▁ги гант", + "▁гиган т", + "▁распо ложены", + "▁расположен ы", + "▁расположе ны", + "▁гражда нской", + "▁граждан ской", + "▁б лока", + "▁бло ка", + "▁блок а", + "um p", + "u mp", + "▁по гло", + "ху д", + "х уд", + "▁за муж", + "▁заму ж", + "же к", + "ж ек", + "▁О дно", + "▁Од но", + "▁В ин", + "▁Ви н", + "К С", + "▁б ен", + "▁бе н", + "▁ бен", + "▁ти пов", + "▁тип ов", + "▁типо в", + "зы в", + "ши те", + "шит е", + "▁count ries", + "пи с", + "п ис", + "▁l iter", + "▁lit er", + "▁в ступил", + "▁вступи л", + "▁вступ ил", + "М А", + "ля н", + "л ян", + "▁совер шил", + "▁соверши л", + "ще нные", + "щен ные", + "▁из дания", + "▁изда ния", + "▁В первые", + "▁конф ликт", + "▁конфлик т", + "▁прове рки", + "▁провер ки", + "то ре", + "тор е", + "ц кой", + "▁основ ным", + "▁осно вным", + "▁go al", + "est ival", + "▁показа ли", + "▁пока зали", + "▁показал и", + "▁о во", + "▁ов о", + "▁не от", + "▁нео т", + "па л", + "п ал", + "▁тер мин", + "▁терми н", + "▁в оле", + "▁во ле", + "▁вол е", + "▁вра ч", + "▁Ни ка", + "▁Ник а", + "▁B ra", + "▁Br a", + "▁c reat", + "▁cre at", + "▁bet ter", + "▁в езде", + "▁вез де", + "▁б ер", + "▁бе р", + "▁ бер", + "▁систе мой", + "▁сист емой", + "▁систем ой", + "▁school s", + "▁ре б", + "▁ми фо", + "▁миф о", + "▁неме цкий", + "▁немец кий", + "шка ми", + "шкам и", + "ш ками", + "▁b i", + "▁полков ник", + "▁ полковник", + "▁m ount", + "▁да вать", + "▁извест ны", + "▁Par is", + "ust om", + "▁о гра", + "▁ог ра", + "▁с х", + "▁при был", + "▁прибы л", + "▁за о", + "▁в ход", + "▁Ф он", + "▁Фо н", + "▁ Фон", + "▁эле мент", + "▁зе рка", + "▁зер ка", + "▁монасты ря", + "▁ве тер", + "▁вет ер", + "▁жур нал", + "▁журна л", + "▁о хла", + "▁ох ла", + "▁Ре зульта", + "▁ба нка", + "▁бан ка", + "▁банк а", + "▁ банка", + "▁T om", + "▁To m", + "гу ра", + "гур а", + "г ура", + "ус а", + "у са", + "▁про шел", + "▁проше л", + "id s", + "ль да", + "льд а", + "▁за пись", + "▁запи сь", + "▁ба лан", + "▁бал ан", + "▁ балан", + "▁с цен", + "▁сце н", + "▁Christ ian", + "Л О", + "im ate", + "ima te", + "тив ную", + "рк и", + "р ки", + "фи на", + "фин а", + "ф ина", + "▁груп пой", + "▁групп ой", + "▁группо й", + "▁та ин", + "ce ption", + "cept ion", + "▁M ex", + "▁Me x", + "▁ди ссер", + "▁дис сер", + "▁se ven", + "ва и", + "▁E ar", + "▁су щества", + "▁суще ства", + "▁существ а", + "со т", + "с от", + "та ция", + "▁М ой", + "▁Мо й", + "▁m ass", + "▁У краин", + "▁Укра ин", + "▁Украи н", + "al led", + "all ed", + "alle d", + "ше нных", + "шен ных", + "▁при ви", + "▁прив и", + "▁сопроти вление", + "че шь", + "ч ешь", + "з ни", + "▁g ive", + "▁услу ги", + "▁услуг и", + "ib ility", + "да ют", + "▁струк тура", + "▁структур а", + "▁R oad", + "▁Ro ad", + "▁но вом", + "▁ново м", + "▁нов ом", + "▁го лова", + "▁голо ва", + "▁голов а", + "▁недоста то", + "▁поги бли", + "▁погиб ли", + "▁про сти", + "▁прос ти", + "▁прост и", + "▁су тки", + "▁air craft", + "▁огром ное", + "▁вне д", + "▁международ ного", + "ти рован", + "тирова н", + "▁ве ща", + "▁ веща", + "▁бо ги", + "▁бог и", + "th ing", + "t hing", + "▁парла мент", + "▁предлага ет", + "▁пыта лись", + "фи кси", + "фик си", + "▁обще ственной", + "▁обществе нной", + "▁общественно й", + "▁М аль", + "▁Ма ль", + "▁за ключения", + "▁заклю чения", + "▁сбор ную", + "▁сбо рную", + "ли ться", + "лить ся", + "▁про ф", + "шен ко", + "ш енко", + "▁корре спонден", + "▁ корреспонден", + "▁Char les", + "▁Charl es", + "▁тер мина", + "▁терми на", + "▁термин а", + "▁ле жа", + "▁ лежа", + "▁пу сто", + "▁вели кий", + "то рия", + "тори я", + "▁настоя щий", + "▁пред метов", + "▁предме тов", + "▁предмет ов", + "▁с талки", + "▁ста лки", + "▁стал ки", + "▁Ж из", + "▁Жи з", + "▁ Жиз", + "▁стан ция", + "▁ станция", + "ai t", + "a it", + "▁И ра", + "▁Ир а", + "ск ры", + "с кры", + "▁секре тарь", + "▁секрета рь", + "▁секрет арь", + "▁секретар ь", + "▁ секретарь", + "▁L aw", + "▁La w", + "че ству", + "▁ar my", + "▁arm y", + "▁reg ard", + "▁свобо дно", + "▁свобод но", + "▁посо ль", + "▁посол ь", + "▁ата ку", + "▁атак у", + "▁C ong", + "▁Con g", + "▁Co ng", + "▁З емле", + "▁Зем ле", + "▁тран спорта", + "▁транспо рта", + "▁транс порта", + "▁транспорт а", + "▁транспор та", + "ge n", + "g en", + "▁« \"", + "▁conc ern", + "▁жи в", + "▁ж ив", + "▁ жив", + "▁В С", + "▁ ВС", + "ci ng", + "c ing", + "цион ную", + "цио нную", + "сев до", + "ту и", + "▁по две", + "▁под ве", + "▁T V", + "▁ TV", + "▁на тура", + "ut ions", + "ution s", + "▁состоя лся", + "▁состоял ся", + "▁бо г", + "пле ния", + "п ления", + "▁непо ня", + "▁пре обла", + "се ние", + "▁имуще ства", + "ё в", + "по ля", + "пол я", + "av al", + "ava l", + "a val", + "▁су мел", + "▁суме л", + "тр ы", + "т ры", + "▁ра дика", + "▁ради ка", + "▁инстру мента", + "▁инструмент а", + "▁s us", + "▁su s", + "▁да вление", + "▁дав ление", + "fic ult", + "▁st age", + "▁А рхи", + "▁Ар хи", + "▁grad u", + "▁gra du", + "▁з оне", + "▁зо не", + "▁зон е", + "▁рас тения", + "▁расте ния", + "ви м", + "в им", + "▁al ways", + "▁с ке", + "▁ск е", + "▁ ске", + "ha n", + "h an", + "▁бю дже", + "▁ш вед", + "▁шве д", + "▁Rober t", + "▁Rob ert", + "▁Ro bert", + "ip p", + "i pp", + "▁принци пе", + "▁принцип е", + "сти ческий", + "стически й", + "с тический", + "▁ор ден", + "▁орде н", + "ше р", + "ш ер", + "so ft", + "▁сооб ща", + "▁ней тра", + "▁в прочем", + "▁чув ств", + "C A", + "▁дела ли", + "▁дел али", + "▁делал и", + "цвет а", + "ц вета", + "▁I nt", + "▁In t", + "▁ Int", + "▁раз говари", + "▁ма сси", + "▁масс и", + "▁расска зать", + "▁рассказа ть", + "▁разре шения", + "ri an", + "ria n", + "r ian", + "▁ба зо", + "▁баз о", + "И з", + "▁за бил", + "▁заби л", + "▁заб ил", + "▁Основ ные", + "▁G reat", + "▁Gre at", + "▁скоро стью", + "▁скорость ю", + "▁M er", + "▁Me r", + "▁В ой", + "▁Во й", + "▁Боль шой", + "▁Большо й", + "▁обу чение", + "ir es", + "ire s", + "i res", + "▁T imes", + "▁Time s", + "▁Tim es", + "▁у тро", + "▁ут ро", + "гно сти", + "г ности", + "▁голо са", + "▁голос а", + "▁гол оса", + "▁М ю", + "▁j ob", + "▁jo b", + "чне е", + "ч нее", + "▁хва тает", + "▁един ственным", + "▁а ван", + "▁ав ан", + "▁ава н", + "▁национа ли", + "▁на ци", + "▁сом не", + "ри м", + "р им", + "▁requ ired", + "▁require d", + "▁п исто", + "▁пи сто", + "▁со дей", + "▁З ак", + "▁За к", + "▁e y", + "▁ ey", + "▁об мен", + "жа ются", + "жают ся", + "жаю тся", + "▁ста тья", + "▁стать я", + "▁S o", + "▁repl aced", + "▁replace d", + "▁P lay", + "▁Pl ay", + "▁про шед", + "▁прош ед", + "▁проше д", + "! )", + "▁при держи", + "▁Д ень", + "▁Де нь", + "▁Ден ь", + "▁сек унд", + "▁секу нд", + "▁секун д", + "▁защи ту", + "▁защит у", + "▁от ва", + "ню дь", + "▁о станов", + "▁оста нов", + "▁остано в", + "фика ция", + "▁собе сед", + "▁собесе д", + "▁хо да", + "▁х ода", + "▁ход а", + "▁ хода", + "▁фи кси", + "▁ фикси", + "▁пи щи", + "▁M icro", + "▁Mic ro", + "▁ро бо", + "▁р обо", + "▁б ре", + "▁ бре", + "▁обрабо тки", + "▁на пом", + "▁напо м", + "▁Од ним", + "▁Одни м", + "▁за жи", + "▁до пусти", + "▁допу сти", + "К О", + "▁Thom as", + "▁утвер ждает", + "▁утвержда ет", + "фе к", + "ф ек", + "▁гру ди", + "▁ли чность", + "▁лично сть", + "▁за ку", + "▁зак у", + "▁меха низм", + "▁механи зм", + "до вого", + "дово го", + "▁S al", + "▁Sa l", + "▁в од", + "▁во д", + "▁ вод", + "▁о за", + "▁оз а", + "▁темпера туры", + "▁температур ы", + "▁И горь", + "▁вы брать", + "▁выбра ть", + "▁f ounded", + "▁found ed", + "▁про шла", + "▁прош ла", + "▁под ряд", + "▁бу ль", + "▁у са", + "▁ус а", + "▁ уса", + "▁ска жем", + "▁pl ann", + "▁plan n", + "▁invest ig", + "▁на ве", + "▁нав е", + "▁a chie", + "▁сто яли", + "▁стоя ли", + "▁стоял и", + "▁аль бо", + "it es", + "ite s", + "i tes", + "▁ста рых", + "▁стар ых", + "И Й", + "▁ш ум", + "▁шу м", + "▁оста вался", + "чи вость", + "чиво сть", + "▁m ove", + "▁mov e", + "▁пра вой", + "▁право й", + "▁прав ой", + "И А", + "▁t ax", + "az ine", + "▁ракет ы", + "▁рак еты", + "▁раке ты", + "▁кон ц", + "▁цивили зации", + "▁w ind", + "▁win d", + "▁И оси", + "▁Ио си", + "▁occ up", + "▁с мени", + "▁сме ни", + "il i", + "i li", + "▁спа сти", + "▁спас ти", + "го вой", + "гов ой", + "гово й", + "▁опреде ление", + "▁пись ме", + "де на", + "ден а", + "д ена", + ": :", + "te xt", + "t ext", + "не нным", + "нен ным", + "▁куль тура", + "▁культур а", + "▁культ ура", + "▁экспеди ции", + "▁М ир", + "▁Ми р", + "▁ Мир", + "▁Ад министра", + "▁рассматри вать", + "▁dif ficult", + "▁кре пости", + "▁крепо сти", + "се ль", + "сел ь", + "мо ра", + "мор а", + "▁me as", + "▁С ере", + "▁Се ре", + "▁Сер е", + "▁sit u", + "▁це нности", + "▁цен ности", + "▁ценно сти", + "▁гра ницу", + "▁грани цу", + "▁границ у", + "▁ки не", + "▁кин е", + "▁ кине", + "▁ab ove", + "▁авто ном", + "▁ав тоном", + "▁автоно м", + "▁зар пла", + "▁feature d", + "▁feat ured", + "▁кур са", + "▁курс а", + "▁расс чита", + "▁Wh ite", + "▁Whit e", + "▁Ж а", + "▁ Жа", + "▁полу чают", + "▁получа ют", + "▁сто летия", + "▁столе тия", + "ни кова", + "ников а", + "▁T ex", + "▁Te x", + "▁мыш ления", + "▁ра не", + "▁р ане", + "▁ран е", + "ющее ся", + "ю щееся", + "▁хи ру", + "вь те", + "в ьте", + "▁выра жения", + "▁се рий", + "▁f ood", + "▁U K", + "▁се вере", + "▁север е", + "▁не пло", + "▁по страда", + "▁постра да", + "▁га зета", + "▁газе та", + "▁газет а", + "▁p red", + "▁pre d", + "▁pr ed", + "чник а", + "чни ка", + "ч ника", + "▁охра ны", + "▁охран ы", + "не к", + "н ек", + "▁со ль", + "▁B ay", + "▁Ba y", + "▁де кора", + "▁при гово", + "▁приго во", + "▁по жела", + "▁дет ьми", + "▁опас ность", + "▁опасно сть", + "▁собра ния", + "▁к али", + "▁ка ли", + "▁ кали", + "би я", + "це ва", + "цев а", + "ц ева", + "ho od", + "h ood", + "▁жела ния", + "▁американ ского", + "▁америка нского", + "▁на стой", + "▁нас той", + "▁насто й", + "▁музе я", + "▁учи тель", + "▁э тно", + "▁ок но", + "▁к ано", + "▁ка но", + "▁кан о", + "▁сред у", + "▁сре ду", + "▁К ру", + "ov iet", + "▁Ш ар", + "▁Ша р", + "▁по ток", + "▁пото к", + "( \"", + "ut er", + "ute r", + "u ter", + "▁центра льной", + "▁центр альной", + "ис по", + "и спо", + "▁возника ют", + "▁зве зд", + "▁звез д", + "▁зв езд", + "▁подоб ного", + "▁подобно го", + "▁на дея", + "▁наде я", + "▁wh ose", + "▁who se", + "▁ми ром", + "▁мир ом", + "▁миро м", + "▁рас стояние", + "▁расстоя ние", + "▁t aking", + "▁ре дак", + "▁реда к", + "▁ред ак", + "▁упра зд", + "▁служ бе", + "▁служб е", + "▁ службе", + "▁х ре", + "▁ав стрий", + "чи м", + "ч им", + "▁h ere", + "▁he re", + "▁her e", + "▁ here", + "▁о бер", + "▁об ер", + "▁обе р", + "▁T rans", + "▁Tr ans", + "▁Tra ns", + "▁у рав", + "▁ура в", + "▁пер вен", + "g r", + "бо е", + "б ое", + "▁я ро", + "▁яр о", + "л д", + "▁с ена", + "▁се на", + "▁сен а", + "▁ сена", + "▁хо ду", + "▁ход у", + "▁ ходу", + "▁О че", + "▁im m", + "▁i mm", + "со вет", + "сов ет", + "▁мат ч", + "▁b ig", + "▁bi g", + "▁intro duced", + "▁за явление", + "▁зая вление", + "ля ли", + "лял и", + "л яли", + "▁Гре ции", + "▁обра тился", + "▁обратил ся", + "▁ра сту", + "▁рас ту", + "▁раст у", + "▁cont in", + "▁треть его", + "▁третье го", + "▁от кров", + "▁откро в", + "▁отк ров", + "▁G r", + "bl ock", + "b lock", + "▁direct or", + "▁dire ctor", + "▁ви зу", + "▁com pan", + "▁comp an", + "▁и ное", + "▁ин ое", + "▁ино е", + "▁комна ту", + "▁mov ement", + "▁move ment", + "вшую ся", + "▁от деление", + "▁отде ление", + "▁отделе ние", + "▁f uture", + "▁язы ком", + "▁язык ом", + "▁не закон", + "▁неза кон", + "ко вать", + "кова ть", + "ля м", + "л ям", + "ву т", + "в ут", + "▁диа лек", + "▁Пер вое", + "▁Перво е", + "▁превос ход", + "ло на", + "лон а", + "л она", + "▁Совет ской", + "▁Сове тской", + "лла нд", + "л ланд", + "▁сто ят", + "▁стоя т", + "ща ясь", + "щая сь", + "u z", + "та рь", + "тар ь", + "т арь", + "▁сим па", + "пи я", + "ac tion", + "act ion", + "a ction", + "▁стои мости", + "▁стоимо сти", + "ck s", + "c ks", + "▁судь бы", + "▁ин дей", + "▁инде й", + "▁испыта ния", + "де тся", + "дет ся", + "д ется", + "ke y", + "k ey", + "▁сто рона", + "▁сторо на", + "▁сторон а", + "▁у йти", + "▁уй ти", + "че нная", + "чен ная", + "ж ской", + "▁ф лот", + "▁фло т", + "▁Гра жда", + "▁dest roy", + "bur g", + "b urg", + "К ра", + "▁хоро ший", + "▁иде а", + "▁мо то", + "смотри м", + "смотр им", + "▁наличи и", + "▁помо жет", + "▁Александ рович", + "хо ждение", + "ве дением", + "веде нием", + "ведение м", + "▁b ur", + "▁bu r", + "▁ bur", + "▁инфра струк", + "▁по говори", + "▁пого вори", + "▁у во", + "▁Пи са", + "▁фото графии", + "▁фотографи и", + "▁to wards", + "▁toward s", + "▁пере хода", + "▁переход а", + "▁g irl", + "▁ис следование", + "▁исследова ние", + "▁стрем ление", + "но сят", + "нос ят", + "нося т", + "▁опреде ляет", + "▁определя ет", + "▁сто лицы", + "▁столи цы", + "▁при ехал", + "▁прие хал", + "▁приеха л", + "ст ор", + "сто р", + "с тор", + "ar ily", + "ari ly", + "▁Кра сного", + "▁Красно го", + "▁S ince", + "▁Si nce", + "▁у ра", + "▁ ура", + "▁вы держа", + "▁Ри ча", + "▁б оле", + "▁бо ле", + "▁бол е", + "▁Лон доне", + "▁Лондон е", + "▁при способ", + "▁приспо соб", + "▁приспосо б", + "▁ве щь", + "▁p urch", + "▁pur ch", + "▁К оло", + "▁Ко ло", + "▁Кол о", + "▁sh ows", + "▁show s", + "▁выз вать", + "▁вызва ть", + "▁разме ре", + "▁размер е", + "▁здоров ье", + "▁дру же", + "▁друж е", + "▁про ще", + "io s", + "i os", + "▁о пе", + "▁оп е", + "gr ound", + "g round", + "▁непре рыв", + "▁понима ет", + "▁cour se", + "▁es pecially", + "▁large st", + "▁larg est", + "▁ста тью", + "▁стать ю", + "▁защи т", + "▁м нения", + "▁мне ния", + "то вого", + "тово го", + "▁не су", + "▁нес у", + "▁d en", + "▁de n", + "▁ den", + "▁социаль ного", + "▁социально го", + "▁соци ального", + "▁по сыла", + "▁посы ла", + "▁на ряду", + "▁наря ду", + "▁наряд у", + "or der", + "ord er", + "▁опреде лён", + "▁определё н", + "▁те п", + "▁встре че", + "▁встреч е", + "▁В М", + "▁ ВМ", + "▁п они", + "▁по ни", + "▁пон и", + "▁не вер", + "▁неве р", + "▁нев ер", + "▁ба за", + "▁баз а", + "▁Та кая", + "▁Так ая", + "▁благо прият", + "▁обра за", + "▁образ а", + "▁каждо е", + "▁настоя щего", + "▁С ю", + "си д", + "с ид", + "по тре", + "пот ре", + "▁с де", + "a o", + "▁ин фек", + "▁инф ек", + "▁и ного", + "▁ино го", + "▁эта п", + "▁b lock", + "▁bl ock", + "▁ block", + "▁выпол нить", + "▁созда ет", + "▁соз дает", + "▁qu ick", + "пе ти", + "пет и", + "п ети", + "▁ра вен", + "▁рав ен", + "▁en ough", + "▁Д ом", + "▁До м", + "ра иль", + "▁значи тельной", + "▁значительно й", + "▁play ers", + "▁player s", + "an cial", + "anc ial", + "▁консу льта", + "▁консуль та", + "▁случа и", + "▁шта та", + "▁штат а", + "▁сель совета", + "▁сельсо вета", + "▁сельсовет а", + "▁че рно", + "▁чер но", + "ри ла", + "рил а", + "р ила", + "▁И гра", + "▁Бо гу", + "▁Бог у", + "▁следу ющих", + "▁M ad", + "▁Ma d", + "▁сце ны", + "▁сцен ы", + "уго ль", + "у голь", + "▁каж дым", + "▁кажды м", + "▁Кита е", + "ешь ся", + "е шься", + "▁с тиль", + "▁ст иль", + "▁сти ль", + "▁b attle", + "▁batt le", + "шн е", + "ш не", + "▁pl aced", + "▁place d", + "▁уве личе", + "▁увели че", + "▁пропа ган", + "▁К ол", + "▁Ко л", + "▁Про из", + "▁обе их", + "ne d", + "n ed", + "▁ак ций", + "ж ник", + "▁writ ing", + "х ло", + "▁ст ремя", + "▁стре мя", + "▁стрем я", + "▁зе мель", + "▁земе ль", + "▁до ход", + "▁гар ни", + "▁к стати", + "▁мусуль ман", + "▁попро сил", + "▁кам пании", + "▁У част", + "▁Уча ст", + "▁ве рно", + "▁вер но", + "du ction", + "duc tion", + "duct ion", + "▁близ ко", + "▁за писы", + "▁запи сы", + "чно му", + "чном у", + "ч ному", + "▁C ath", + "▁Cat h", + "▁Ca th", + "▁p rison", + "▁pr ison", + "▁pri son", + "▁ prison", + "▁го су", + "▁гос у", + "cl us", + "▁op pos", + "П и", + "▁количе стве", + "▁напомина ет", + "но мер", + "ном ер", + "▁k ing", + "▁ king", + "ма ть", + "мат ь", + "ле нная", + "лен ная", + "▁оказа ться", + "▁оказать ся", + "▁памя тник", + "▁памят ник", + "▁бере г", + "arl iam", + "▁му дро", + "▁муд ро", + "ro id", + "r oid", + "▁R ail", + "Ру с", + "Р ус", + "▁специаль ных", + "▁специ альных", + "ко и", + "? ..", + "▁Dep artment", + "▁rad io", + "хи н", + "х ин", + "▁Бу ду", + "▁Буд у", + "ни ческой", + "y a", + "bo ard", + "b oard", + "д зе", + "вля ются", + "вляют ся", + "в ляются", + "од а", + "о да", + "ер уса", + "еру са", + "е руса", + "▁по нимание", + "▁понима ние", + "▁Ру ко", + "▁со ци", + "▁соц и", + "ro wn", + "row n", + "r own", + "▁использова ли", + "▁использовал и", + "си н", + "с ин", + "▁в переди", + "▁впере ди", + "▁вперед и", + "▁де рева", + "▁дере ва", + "▁дерев а", + "▁дер ева", + "▁f ace", + "▁fac e", + "▁fa ce", + "▁ face", + "▁s at", + "г не", + "ло жении", + "ложе нии", + "mer cial", + "▁высо ких", + "▁ис ключа", + "▁исклю ча", + "▁d one", + "▁do ne", + "▁don e", + "▁про чих", + "▁прочи х", + "▁проч их", + "▁Поль ши", + "твор и", + "тво ри", + "т вори", + "ше нные", + "шен ные", + "▁К э", + "▁r ock", + "▁ro ck", + "емо сти", + "е мости", + "▁Михай лович", + "▁заме тить", + "▁замет ить", + "▁по хи", + "▁пох и", + "▁Ра зве", + "▁Раз ве", + "▁по ми", + "▁пом и", + "▁ска жу", + "▁ограни чения", + "se r", + "s er", + "▁Бе ль", + "▁Бел ь", + "но вский", + "нов ский", + "▁то бой", + "ub e", + "u be", + "▁Ну жно", + "ic ated", + "ica ted", + "icate d", + "▁горизо нта", + "ка бу", + "▁T w", + "▁у чения", + "▁уче ния", + "лё т", + "л ёт", + "▁созда на", + "▁создан а", + "▁соз дана", + "ens ion", + "▁поста вил", + "▁постав ил", + "▁d raw", + "▁dr aw", + "▁dra w", + "▁фунда мента", + "▁баталь она", + "▁батальон а", + "▁Дру гие", + "▁Со времен", + "▁Сов ремен", + "▁со ч", + "▁s il", + "at re", + "не сла", + "нес ла", + "▁с кла", + "▁ск ла", + "▁Ча сто", + "▁от чая", + "▁Ок тябрь", + "▁на сы", + "▁нас ы", + "▁вы ступ", + "ти ке", + "тик е", + "▁най ден", + "▁найде н", + "y pe", + "▁Л ин", + "▁Ли н", + "▁ро т", + "▁р от", + "▁ рот", + "▁D o", + "▁высо кий", + "ли ли", + "лил и", + "л или", + "▁h or", + "▁fre qu", + "▁fr equ", + "ar ing", + "ari ng", + "a ring", + "▁досто вер", + "▁истори ческих", + "▁исторически х", + "▁О бла", + "▁Об ла", + "▁понима ния", + "▁аб стра", + "ir th", + "irt h", + "▁ка ждую", + "▁каж дую", + "▁лю бое", + "▁любо е", + "▁j ud", + "▁а кции", + "▁ак ции", + "▁отмеча ет", + "▁отме чает", + "ir t", + "ну вшись", + "нув шись", + "▁от нюдь", + "▁не возмо", + "▁невоз мо", + "▁фе стива", + "▁вы ве", + "▁вы са", + "▁выс а", + "an nel", + "ann el", + "▁у чился", + "▁учи лся", + "▁уч ился", + "с па", + "▁пред ложе", + "▁обнаружи л", + "▁обнару жил", + "▁з ла", + "▁ зла", + "▁ду шев", + "▁душе в", + "▁душ ев", + "му р", + "м ур", + "ля ция", + "C l", + "▁да вления", + "▁дав ления", + "▁I r", + "▁сча стье", + "▁счаст ье", + "▁про веря", + "▁прове ря", + "▁провер я", + "та ясь", + "тая сь", + "гр я", + "г ря", + "▁оте че", + "▁ отече", + "▁ва жных", + "▁важ ных", + "▁важны х", + "at ives", + "ative s", + "ati ves", + "▁ре ме", + "▁рем е", + "▁объеди нения", + "юр и", + "ю ри", + "▁обра зе", + "▁образ е", + "▁из дание", + "▁изда ние", + "сти ческая", + "с тическая", + "▁Миха ила", + "▁Михаил а", + "▁Михаи ла", + "▁В з", + "▁H am", + "▁Ha m", + "▁w oman", + "фа н", + "ф ан", + "▁бы вают", + "il ies", + "ili es", + "▁об об", + "▁обо б", + "▁м ною", + "▁мно ю", + "▁регуляр но", + "▁рай онов", + "▁район ов", + "▁о ре", + "▁ор е", + "▁оста ваться", + "▁коман дование", + "▁командова ние", + "▁T ur", + "it ar", + "ita r", + "arliam ent", + "И Я", + "же нным", + "жен ным", + "▁под ходит", + "▁подход ит", + "▁разли чными", + "▁различным и", + "▁до рог", + "▁доро г", + "▁G old", + "▁Go ld", + "▁ги пер", + "▁дере во", + "▁дерев о", + "▁дер ево", + "▁Russ ian", + "▁Russia n", + "▁орга низм", + "▁органи зм", + "▁орган изм", + "▁Со циали", + "▁К ро", + "▁ба нки", + "▁бан ки", + "▁банк и", + "▁в ина", + "▁ви на", + "▁вин а", + "▁ вина", + "▁A ward", + "us e", + "u se", + "пра ши", + "▁R ad", + "▁оста валось", + "▁се стра", + "▁rem ov", + "▁конфлик та", + "▁конфликт а", + "▁Ста ни", + "▁Ст ани", + "▁Стан и", + "▁чи тал", + "▁чита л", + "▁ читал", + "▁V ol", + "▁Е щё", + "▁на чались", + "▁нача лись", + "▁начали сь", + "́ н", + "ней шие", + "▁Те х", + "▁улы б", + "▁ба нк", + "▁бан к", + "▁ банк", + "▁Н ад", + "▁На д", + "А н", + "▁Бело руссии", + "▁Белорус сии", + "ви к", + "▁шо ссе", + "▁слу жеб", + "as ion", + "op er", + "ope r", + "o per", + "▁Хоро шо", + "▁f arm", + "▁far m", + "▁fa rm", + "пе ть", + "пет ь", + "п еть", + "▁вер нуть", + "▁верну ть", + "▁причи нам", + "▁причина м", + "▁причин ам", + "Д А", + "▁В ремя", + "▁Вре мя", + "▁Петербур ге", + "▁Петербург е", + "▁Петер бурге", + "▁ Петербурге", + "▁ка мень", + "▁кам ень", + "▁камен ь", + "▁каме нь", + "▁ве б", + "▁На селение", + "um n", + "ui ld", + "u ild", + "▁кон такт", + "▁контак т", + "▁С пу", + "▁ви дом", + "▁вид ом", + "▁видо м", + "▁филь мов", + "▁фильм ов", + "ре ва", + "рев а", + "р ева", + "▁ла до", + "▁фак ты", + "▁факт ы", + "▁в еры", + "▁ве ры", + "▁вер ы", + "▁согла шения", + "▁луч ший", + "▁выпол нение", + "▁Бо льше", + "▁Боль ше", + "▁деву шки", + "▁с в", + "▁к ван", + "▁ква н", + "▁кв ан", + "▁Fran k", + "▁ва жным", + "▁важ ным", + "▁важны м", + "ibr ary", + "▁за мени", + "▁заме ни", + "ж ке", + "▁занима л", + "▁позво лит", + "▁позволи т", + "▁несом ненно", + "▁Ро берт", + "▁Роб ерт", + "▁Робер т", + "▁W estern", + "▁West ern", + "▁об стре", + "▁С м", + "лю блен", + "люб лен", + "sel ves", + "пу га", + "▁want ed", + "▁оста ются", + "▁за кре", + "▁зак ре", + "▁ле вой", + "▁л евой", + "▁ левой", + "▁them selves", + "▁ad minist", + "▁Ли шь", + "▁клиен тов", + "▁клиент ов", + "▁об ъе", + "▁объ е", + "Л а", + "▁И са", + "▁Ис а", + "▁уче том", + "▁учет ом", + "he m", + "h em", + "▁пре делы", + "▁преде лы", + "▁предел ы", + "ба л", + "б ал", + "▁распростра нение", + "▁рабо то", + "▁работ о", + "сло м", + "сл ом", + "с лом", + "▁beg inning", + "▁begin ning", + "▁диа па", + "▁мат чей", + "▁матче й", + "▁матч ей", + "▁Не обходи", + "з ло", + "▁рабо тала", + "▁работа ла", + "▁работ ала", + "▁работал а", + "ra el", + "r ael", + "▁Министер ства", + "▁Од новременно", + "▁Одно временно", + "▁In ter", + "▁Int er", + "▁стра ха", + "▁страх а", + "▁п рока", + "▁про ка", + "▁з вё", + "▁зв ё", + "▁G reen", + "▁Gr een", + "▁Gre en", + "▁Gree n", + "▁ста рый", + "▁предста влен", + "▁оке ана", + "▁океан а", + "▁океа на", + "id ents", + "ident s", + "▁музы ку", + "▁бо льных", + "▁боль ных", + "▁оконча нии", + "▁нару шение", + "re y", + "r ey", + "▁Василь евич", + "▁Василье вич", + "▁dist rict", + "пр ы", + "п ры", + "А С", + "▁c reate", + "▁cre ate", + "▁creat e", + "▁сотруд ники", + "▁сотрудни ки", + "▁сотрудник и", + "▁двига теля", + "▁свидетель ствует", + "▁свидетельству ет", + "▁Евге ний", + "▁prote ct", + "▁prot ect", + "▁реги оне", + "▁регион е", + "rig ht", + "r ight", + "▁мо де", + "▁ev idence", + "▁fem ale", + "▁m edia", + "▁med ia", + "▁ex pect", + "▁exp ect", + "▁de but", + "▁deb ut", + "▁con nect", + "▁conne ct", + "ir m", + "i rm", + "▁куль туре", + "▁культур е", + "▁культ уре", + "▁вз яли", + "▁взя ли", + "▁взял и", + "слу ши", + "▁продол жать", + "▁продолжа ть", + "▁парла мента", + "▁парламент а", + "▁вы бро", + "ст или", + "сти ли", + "стил и", + "с тили", + "▁Hen ry", + "▁из бра", + "▁не ре", + "▁н ере", + "▁нер е", + "чно стью", + "чность ю", + "ч ностью", + "▁в ар", + "▁ва р", + "▁ вар", + "▁результа том", + "▁результат ом", + "▁Во прос", + "▁v ia", + "▁при мени", + "▁приме ни", + "ше нный", + "шен ный", + "▁на ука", + "▁нау ка", + "▁наук а", + "▁наи менова", + "▁до рого", + "▁доро го", + "▁дорог о", + "▁поли тике", + "▁полити ке", + "▁политик е", + "▁шта т", + "▁шт ат", + "▁зача стую", + "▁Пре зидиума", + "li m", + "l im", + "ст ема", + "сте ма", + "стем а", + "с тема", + "▁по ви", + "▁пов и", + "Ко н", + "К он", + "▁в ходя", + "▁вход я", + "▁дет ям", + "▁свя зей", + "▁связ ей", + "▁pr int", + "▁pri nt", + "▁ print", + "пи ты", + "пит ы", + "ска х", + "с ках", + "М у", + "▁friend s", + "▁ко фе", + "тно му", + "тном у", + "т ному", + "▁Cl ub", + "▁я бло", + "▁ра зы", + "▁раз ы", + "▁за дума", + "▁зад ума", + "▁задум а", + "▁заду ма", + "overn or", + "▁физи ки", + "▁физик и", + "ум е", + "у ме", + "▁ти по", + "▁тип о", + "но вича", + "нови ча", + "нович а", + "▁pl ant", + "▁plan t", + "▁Is land", + "▁по явление", + "▁поя вление", + "▁из начально", + "▁изнача льно", + "▁болез нь", + "▁боле знь", + "▁функ ция", + "▁ди фф", + "▁part s", + "▁par ts", + "▁европей ских", + "▁ве чера", + "▁вече ра", + "▁вечер а", + "▁wh om", + "▁who m", + "▁дер жать", + "▁держа ть", + "▁incre ased", + "▁increase d", + "▁обра щения", + "▁de term", + "▁det erm", + "▁окружа ющей", + "▁По ня", + "P S", + "▁лю бые", + "▁любы е", + "▁s ch", + "▁sc h", + "▁ sch", + "▁по пол", + "▁поп ол", + "▁попо л", + "\". ..", + "\" ...", + "▁ки рпи", + "▁у слов", + "▁ус лов", + "▁chang ed", + "▁change d", + "▁за явля", + "▁зая вля", + "▁О бо", + "▁Об о", + "▁Mich ael", + "▁ли чного", + "▁лично го", + "тив ными", + "тивным и", + "мо но", + "мон о", + "м оно", + "▁ря де", + "▁ряд е", + "▁ре в", + "▁р ев", + "▁ рев", + "▁у бы", + "▁цели ком", + "▁ре цеп", + "▁вз ры", + "▁со брать", + "▁соб рать", + "▁собра ть", + "▁S oviet", + "▁P ri", + "▁Pr i", + "ва ющей", + "ваю щей", + "ля ют", + "▁дет ства", + "▁за фикси", + "y m", + "▁и у", + "▁за воде", + "▁заво де", + "▁завод е", + "▁у шел", + "▁осо бого", + "▁особо го", + "▁жи вой", + "▁живо й", + "▁жив ой", + "▁ве ло", + "▁вел о", + "▁ вело", + "та щи", + "▁Г ей", + "▁Ге й", + "▁а сси", + "▁ас си", + "▁президен том", + "▁президент ом", + "ве си", + "вес и", + "▁насе ко", + "▁по лета", + "▁поле та", + "▁полет а", + "▁за блу", + "▁заб лу", + "▁сдела но", + "▁сделан о", + "▁сдел ано", + "▁fe atures", + "▁feature s", + "▁feat ures", + "▁ме сту", + "▁мест у", + "▁и зли", + "▁из ли", + "▁кры ла", + "▁занима ется", + "▁занимает ся", + "▁s em", + "▁se m", + "▁Вар ша", + "▁Soc iety", + "▁эксплуа тации", + "▁ле д", + "▁л ед", + "▁M any", + "▁Man y", + "▁Ma ny", + "▁Т ан", + "▁Та н", + "▁со бак", + "▁соб ак", + "▁соба к", + "ic les", + "icle s", + "i cles", + "▁са мую", + "▁сам ую", + "▁саму ю", + "▁попа сть", + "▁отря да", + "▁отряд а", + "▁приня тия", + "as ons", + "ason s", + "▁Са ма", + "▁Сам а", + "▁гра фа", + "▁граф а", + "▁ графа", + "▁про веден", + "▁прове ден", + "▁проведе н", + "▁вы ру", + "▁выр у", + "▁деся тки", + "р ва", + "▁ф или", + "▁фи ли", + "▁im medi", + "▁поли тику", + "▁полити ку", + "▁политик у", + "▁наро ду", + "▁народ у", + "Е В", + "▁бор ту", + "▁борт у", + "▁per cent", + "▁си дя", + "днев но", + "дне вно", + "▁устой чи", + "▁Д лина", + "▁Дли на", + "▁Л ев", + "▁Ле в", + "li ke", + "l ike", + "сты ми", + "стым и", + "с тыми", + "▁Зна чит", + "▁Значи т", + "▁l ove", + "▁lo ve", + "▁lov e", + "▁физи ческой", + "it er", + "ite r", + "i ter", + "ти ны", + "тин ы", + "т ины", + "▁нор мы", + "▁норм ы", + "▁вер хов", + "▁верх ов", + "▁фа кторов", + "▁фак торов", + "▁фактор ов", + "фа на", + "фан а", + "ф ана", + "▁эк стре", + "▁экс тре", + "▁F ollow", + "ме я", + "е сли", + "▁внутрен него", + "▁бе ремен", + "▁бере мен", + "▁бер емен", + "▁под писал", + "▁подписа л", + "▁подпи сал", + "▁Лу и", + "▁лю блю", + "▁прове рить", + "▁провер ить", + "ст он", + "сто н", + "с тон", + "▁дра го", + "▁О снова", + "▁Ос нова", + "▁Основ а", + "▁по йти", + "▁пой ти", + "▁м они", + "▁мо ни", + "▁мон и", + "▁ мони", + "зы ваться", + "зыва ться", + "зывать ся", + "емы ми", + "емым и", + "е мыми", + "▁созда нию", + "по ва", + "пов а", + "▁P et", + "▁Pe t", + "▁fe et", + "Ч е", + "▁п ру", + "▁пр у", + "▁ пру", + "▁исче за", + "▁исчез а", + "▁С тар", + "▁Ста р", + "▁Ст ар", + "▁ло в", + "▁л ов", + "▁ лов", + "▁обу ча", + "во дится", + "вод ится", + "води тся", + "водит ся", + "▁m ur", + "вля ться", + "влять ся", + "в ляться", + "▁про куро", + "▁написа но", + "▁написан о", + "▁т вое", + "▁тво е", + "▁тв ое", + "▁W il", + "▁Wi l", + "ро жден", + "ре нный", + "рен ный", + "А З", + "as c", + "a sc", + "▁ли ния", + "▁a rm", + "▁ar m", + "▁ arm", + "▁l ower", + "▁low er", + "▁lo wer", + "▁ответ ить", + "▁отве тить", + "▁по тер", + "▁поте р", + "▁не мно", + "▁нем но", + "же нная", + "жен ная", + "un n", + "▁дво рян", + "▁двор ян", + "▁дворя н", + "▁пер вич", + "is k", + "i sk", + "▁остро вов", + "▁остров ов", + "▁отли чаются", + "▁отлича ются", + "▁использова нии", + "▁си дел", + "ера рхи", + "▁откры ть", + "▁открыт ь", + "▁G rand", + "▁Gr and", + "▁Gra nd", + "▁смо гут", + "▁смог ут", + "▁смогу т", + "▁у стре", + "▁ус тре", + "▁turn ed", + "▁tur ned", + "▁экзем пля", + "▁тка ни", + "ст ских", + "▁внима тельно", + "▁турни ра", + "▁турнир а", + "▁опублико ван", + "▁опубликова н", + "ar ter", + "art er", + "▁вра жде", + "▁ра б", + "▁ раб", + "сти нк", + "стин к", + "▁th us", + "▁с тер", + "▁ст ер", + "▁сте р", + "▁ стер", + "▁song s", + "▁son gs", + "▁стро ки", + "▁строк и", + "▁аппара та", + "▁аппарат а", + "M S", + "▁b oy", + "▁bo y", + "▁ boy", + "шно й", + "шн ой", + "ш ной", + "▁проя вления", + "ству ющие", + "or ing", + "ori ng", + "o ring", + "▁француз ского", + "жу тся", + "жут ся", + "ograph y", + "ograp hy", + "▁про зра", + "▁проз ра", + "▁пере йти", + "▁перей ти", + "▁со бою", + "▁собо ю", + "▁двадца ти", + "▁мень шей", + "▁меньше й", + "▁во лости", + "▁воло сти", + "▁волос ти", + "▁in stit", + "▁inst it", + "m on", + "зи на", + "зин а", + "з ина", + "▁Во обще", + "ль ци", + "▁Ро ссией", + "▁Росси ей", + "▁во рота", + "▁воро та", + "▁ворот а", + "▁экипа жа", + "▁экипаж а", + "▁ак туаль", + "▁до ступа", + "▁доступ а", + "▁С ин", + "▁Си н", + "▁ex am", + "▁Afric an", + "▁Africa n", + "ле б", + "and s", + "▁у кры", + "ran ch", + "▁понима л", + "▁пони мал", + "▁испол нения", + "▁a bs", + "▁ab s", + "▁выпол ня", + "▁оши бок", + "▁ошиб ок", + "▁ошибо к", + "▁ш ер", + "▁ше р", + "▁ шер", + "▁дебю тировал", + "▁ф ору", + "▁фор у", + "▁фо ру", + "▁моз г", + "o z", + "я р", + "▁Восто чной", + "▁Вос точной", + "▁Восточно й", + "▁ Восточной", + "▁над пись", + "▁надпи сь", + "▁ва ших", + "▁ваш их", + "▁ваши х", + "▁Бы ли", + "▁Был и", + "▁T wo", + "▁Tw o", + "га ется", + "гает ся", + "фри кан", + "▁расши ря", + "▁Ни кто", + "▁Ник то", + "▁Смо лен", + "▁сравни тельно", + "▁предела ми", + "▁преде лами", + "▁Сте па", + "T h", + "▁V ict", + "▁Vi ct", + "те рии", + "тери и", + "▁ар мией", + "▁арми ей", + "▁о си", + "▁ос и", + "▁ оси", + "ли нд", + "лин д", + "▁под зем", + "▁вы бран", + "▁выбра н", + "▁по грани", + "▁пре у", + "ва емые", + "▁M od", + "▁Mo d", + "▁ Mod", + "▁sup er", + "▁su per", + "▁на ступления", + "▁наступ ления", + "▁ме стные", + "▁мест ные", + "зо сти", + "▁у худ", + "ро вке", + "ров ке", + "дко й", + "д кой", + "▁бое вые", + "el led", + "ell ed", + "elle d", + "▁перегово ров", + "▁верх ней", + "шо к", + "ш ок", + "▁b ene", + "▁be ne", + "де ква", + "▁И льи", + "▁Иль и", + "▁Ил ьи", + "зи ат", + "зиа т", + "ла йн", + "лай н", + "▁l ack", + "▁la ck", + "▁согласи лся", + "штей н", + "ште йн", + "▁бы тия", + "▁ бытия", + "▁автома тически", + "▁автомати чески", + "▁сы ном", + "▁сын ом", + "▁С вер", + "▁Св ер", + "▁Све р", + "ве дь", + "вед ь", + "ol f", + "▁J ust", + "▁Ju st", + "▁e mb", + "▁em b", + "▁ emb", + "▁high er", + "▁hig her", + "▁Спи сок", + "э ф", + "▁Ве сь", + "▁squ are", + "▁val ue", + "▁ value", + "▁принци пы", + "▁принцип ы", + "▁нача льником", + "▁началь ником", + "▁начальник ом", + "▁me ans", + "▁mean s", + "▁проис ходило", + "▁происхо дило", + "▁по рази", + "▁пора зи", + "▁ли нию", + "чё м", + "ч ём", + "▁зем е", + "▁зе ме", + "▁ земе", + "▁экономи ческого", + "хо жу", + "▁Т имо", + "▁Ти мо", + "▁Тим о", + "▁p ark", + "▁par k", + "▁pro b", + "▁pr ob", + "▁оста лась", + "ти рует", + "тиру ет", + "▁запа дной", + "▁запад ной", + "▁ западной", + "▁военно слу", + "▁англий ского", + "I T", + "▁ка ме", + "▁кам е", + "▁полу чилось", + "▁получи лось", + "▁получило сь", + "▁профессо ра", + "▁профессор а", + "▁cent ral", + "дж ер", + "дже р", + "д жер", + "▁под разуме", + "▁подраз уме", + "И И", + "Г а", + "▁Сиби ри", + "▁Сибир и", + "ль м", + "▁Рас ска", + "▁Расс ка", + "▁теле кана", + "ду ман", + "дума н", + "дум ан", + "▁мето да", + "▁мет ода", + "▁метод а", + "▁R ock", + "▁Ro ck", + "▁психо логии", + "▁психологи и", + "▁end ed", + "следова тель", + "▁об щих", + "▁общи х", + "▁общ их", + "▁disc uss", + "ки и", + "▁Sm ith", + "▁предполага ет", + "не ли", + "иль ям", + "▁вос при", + "▁автомоби ля", + "▁ле ги", + "▁лег и", + "▁e lected", + "▁elect ed", + "но ю", + "▁fe el", + "▁l ay", + "▁la y", + "▁ lay", + "но вым", + "▁от ъ", + "▁буржу аз", + "▁буржуа з", + "▁Гит лер", + "▁ob serv", + "▁следова ло", + "▁журна ле", + "▁журнал е", + "au r", + "a ur", + "▁arch itect", + "▁участ ники", + "▁участник и", + "▁C ons", + "▁Con s", + "▁Co ns", + "▁подготов ке", + "▁подгото вке", + "▁неме цкой", + "▁немец кой", + "▁немецко й", + "▁при це", + "ти нг", + "тин г", + "т инг", + "er gy", + "ла нти", + "лан ти", + "лант и", + "л анти", + "▁за ро", + "▁зар о", + "▁g rand", + "▁gr and", + "▁gra nd", + "▁no vel", + "▁nov el", + "▁т руп", + "▁тру п", + "▁по став", + "▁пос тав", + "▁поста в", + "▁пост ав", + "ле нного", + "лен ного", + "ленно го", + "▁девя ть", + "▁дев ять", + "ро вского", + "ров ского", + "▁Тур ции", + "() ;", + "( );", + "АТ О", + "А ТО", + "▁tr ue", + "▁извест ного", + "▁известно го", + "▁изве стного", + "▁ко сти", + "▁кос ти", + "▁ кости", + "id a", + "i da", + "▁с тр", + "▁ст р", + "▁ стр", + "▁при го", + "▁ма шине", + "▁маши не", + "▁машин е", + "ul a", + "u la", + "▁system s", + "▁разрабо тке", + "▁тя го", + "▁pr incip", + "▁doc ument", + "▁Сле дова", + "▁суб бо", + "▁un its", + "▁unit s", + "▁подоб ное", + "▁подобно е", + "▁Follow ing", + "▁малень кий", + "▁хо дить", + "▁ход ить", + "▁ходит ь", + "▁ ходить", + "Л о", + "▁про сла", + "▁прос ла", + "▁вра гов", + "▁враг ов", + "▁сере дины", + "▁середи ны", + "▁Ро ман", + "▁Рома н", + "це ни", + "цен и", + "▁от дельно", + "▁отде льно", + "▁отдель но", + "▁О бе", + "▁Об е", + "▁ти ра", + "▁ тира", + "tern al", + "▁эволю ции", + "▁на печа", + "▁ ?", + "▁зве зда", + "▁звезд а", + "▁звез да", + "▁зв езда", + "▁p ie", + "▁J os", + "▁Jo s", + "▁то чка", + "▁точ ка", + "▁солда ты", + "▁солдат ы", + "га ла", + "гал а", + "г ала", + "▁earl ier", + "h i", + "▁че рта", + "▁чер та", + "▁черт а", + "▁тер пе", + "▁ терпе", + "би е", + "ро вался", + "рова лся", + "ровал ся", + "▁распо ложена", + "▁расположен а", + "▁расположе на", + "is es", + "ise s", + "i ses", + "▁ку со", + "▁предпо ч", + "▁некоторы м", + "▁некото рым", + "▁максима льно", + "▁до казыва", + "▁дока зыва", + "▁It al", + "▁автомоби ль", + "▁ис ходя", + "▁исход я", + "▁пу шки", + "▁дви жении", + "▁Все ленной", + "▁вз рыва", + "▁взрыв а", + "▁взры ва", + "▁соб ака", + "▁соба ка", + "▁собак а", + "▁дости чь", + "ство вание", + "ствова ние", + "ристо кра", + "▁Е лиза", + "▁acc ording", + "▁Президен т", + "▁pass ed", + "лл ы", + "л лы", + "▁вла стей", + "▁коми тет", + "▁комите т", + "▁Lou is", + "▁с пря", + "▁обнаружи ли", + "▁обнару жили", + "▁обнаружил и", + "ле с", + "▁луч шим", + "ch an", + "c han", + "▁dec ision", + "▁оде жды", + "▁К ер", + "▁Ке р", + "id er", + "ide r", + "i der", + "▁совет ские", + "▁результа там", + "▁результат ам", + "▁результата м", + "ме д", + "м ед", + "▁person al", + "en ced", + "ence d", + "enc ed", + "▁к ло", + "▁ кло", + "▁выс шего", + "▁Ма тери", + "▁foot ball", + "▁о ли", + "▁обеспе чивает", + "▁обеспечи вает", + "ви ца", + "виц а", + "▁у ступа", + "▁уступ а", + "▁indust ry", + "▁пунк та", + "▁пункт а", + "▁про доволь", + "▁продо воль", + "▁Д ере", + "▁Де ре", + "▁Дер е", + "... >", + "ро ка", + "рок а", + "▁О п", + "▁Н ар", + "▁На р", + "▁собы тие", + "▁выигра л", + "▁кри тери", + "▁l og", + "▁lo g", + "▁ log", + "▁А лла", + "▁Ал ла", + "▁многочисле нных", + "▁характери стики", + "▁характеристи ки", + "▁характеристик и", + "▁st ep", + "▁ste p", + "▁Универ сите", + "▁проду кт", + "▁продук т", + "▁худо жников", + "▁худож ников", + "▁художник ов", + "▁ex c", + "▁Т ар", + "▁Та р", + "▁сим вол", + "▁симво л", + "▁л ы", + "▁ лы", + "▁ва жное", + "▁важ ное", + "▁важно е", + "▁ва го", + "▁for ced", + "▁force d", + "▁кар те", + "▁карт е", + "▁разо ча", + "О О", + "▁ле су", + "▁лес у", + "▁обык новен", + "▁ри ск", + "▁рис к", + "▁воло сы", + "▁волос ы", + "▁Е С", + "▁ ЕС", + "▁ре мон", + "▁рем он", + "▁бро си", + "ли вый", + "▁предста вляется", + "▁представля ется", + "▁представляет ся", + "▁st ay", + "ме ся", + "▁s ett", + "▁se tt", + "▁set t", + "ре нных", + "рен ных", + "ro ad", + "r oad", + "▁рекла м", + "▁рек лам", + "▁не об", + "▁нео б", + "▁исто чники", + "▁источ ники", + "▁источник и", + "▁здра во", + "ча х", + "▁Си рии", + "pa n", + "p an", + "ст ере", + "сте ре", + "стер е", + "с тере", + "▁R ev", + "▁Re v", + "▁газ ете", + "▁газе те", + "▁газет е", + "▁В последствии", + "е писко", + "▁L at", + "▁La t", + "ку пи", + "куп и", + "▁Поз днее", + "▁Позд нее", + "▁ве дут", + "▁веду т", + "▁вед ут", + "▁футбо лист", + "▁футболи ст", + "▁футбол ист", + "▁д вер", + "▁две р", + "▁драма тур", + "кс у", + "к су", + "▁за би", + "▁заб и", + "▁ма ссу", + "▁масс у", + "▁че тко", + "▁чет ко", + "деся ти", + "десят и", + "▁tro ops", + "▁глу бине", + "▁глуби не", + "oc h", + "o ch", + "▁акт ёр", + "се ц", + "с ец", + "▁ору дия", + "▁гра нице", + "▁грани це", + "▁границ е", + "▁г рома", + "▁гро ма", + "▁гром а", + "▁g ra", + "▁gr a", + "▁специаль ные", + "▁специ альные", + "▁Пу тин", + "▁Пути н", + "▁говори лось", + "▁использова л", + "▁вир туаль", + "▁маги стра", + "oc al", + "oca l", + "▁неф ти", + "▁мо ем", + "▁мое м", + "▁с ад", + "▁са д", + "▁ сад", + "нг ви", + "▁рас че", + "▁и р", + "▁ ир", + "чка х", + "ч ках", + "▁f if", + "ek s", + "e ks", + "▁про би", + "▁проб и", + "ли зации", + "лиза ции", + "▁In stitute", + "▁т ремя", + "▁тре мя", + "▁взаимо от", + "▁призна ки", + "▁признак и", + "у э", + "ou d", + "o ud", + "ли чество", + "личе ство", + "▁з вания", + "▁B ill", + "▁Bi ll", + "ре зать", + "реза ть", + "om m", + "o mm", + "▁участи ем", + "▁участие м", + "▁c it", + "тив ном", + "тивно м", + "се на", + "сен а", + "с ена", + "▁ро зы", + "▁роз ы", + "▁Сы н", + "▁Ро ссий", + "▁Росси й", + "▁Рос сий", + "▁ Россий", + "ess ion", + "▁молодо го", + "че ва", + "чев а", + "ч ева", + "вно коман", + "▁поли тические", + "▁полити ческие", + "▁P eter", + "▁Pe ter", + "▁Pet er", + "▁k ind", + "▁об щим", + "▁общи м", + "▁общ им", + "▁ли сть", + "▁лист ь", + "▁Т ю", + "▁доку мент", + "М О", + "Т и", + "O M", + "в ный", + "▁s af", + "ле ц", + "л ец", + "▁f le", + "▁fl e", + "▁Ac adem", + "▁ста рые", + "▁пер спек", + "ми те", + "мит е", + "▁cap ital", + "k n", + "▁кле ток", + "▁клет ок", + "▁th reat", + "ни лась", + "нила сь", + "▁Константи н", + "▁Дж она", + "▁Джон а", + "▁Джо на", + "▁освобо ждения", + "un ity", + "▁ре ку", + "▁рек у", + "▁по сад", + "▁пос ад", + "▁поса д", + "▁ре е", + "▁ рее", + "ли чно", + "ri al", + "ria l", + "r ial", + "▁на чался", + "▁нача лся", + "▁начал ся", + "▁Суще ствует", + "▁С ева", + "▁Се ва", + "стоя ние", + "▁за служи", + "▁заслу жи", + "al a", + "a la", + "pir e", + "p ire", + "it a", + "i ta", + "▁ве сной", + "▁вес ной", + "▁дея тельностью", + "▁деятель ностью", + "▁деятельность ю", + "um ents", + "ument s", + "u ments", + "▁о ра", + "▁ор а", + "▁из ви", + "▁из вле", + "▁Во ору", + "▁зако номер", + "▁законо мер", + "▁законом ер", + "▁дела ется", + "▁делает ся", + "мон стри", + "▁высо кие", + "▁требо ваний", + "зре ния", + "з рения", + "▁original ly", + "▁origin ally", + "▁б еру", + "▁бе ру", + "▁бер у", + "▁кла ссов", + "▁класс ов", + "▁классо в", + "▁рас строй", + "▁золо то", + "де нь", + "ден ь", + "д ень", + "▁E r", + "▁на в", + "▁н ав", + "▁ нав", + "▁З у", + "▁Ле том", + "▁Лет ом", + "▁ре пре", + "дра в", + "др ав", + "д рав", + "▁t ext", + "▁te xt", + "▁ text", + "▁соста вил", + "▁состав ил", + "▁тех нических", + "▁техни ческих", + "▁ощу щения", + "ver t", + "v ert", + "▁some thing", + "▁somet hing", + "клю чения", + "ще нной", + "щен ной", + "щенно й", + "▁от сюда", + "▁пользова теля", + "▁х леба", + "▁хле ба", + "▁хлеб а", + "▁h ours", + "▁hour s", + "▁раз меров", + "▁разме ров", + "▁размер ов", + "▁поддержи вать", + "▁sum mer", + "▁c red", + "▁cre d", + "▁cr ed", + "▁спорт сме", + "▁спортс ме", + "▁во рот", + "▁воро т", + "▁вор от", + "▁ ворот", + "зу ется", + "зует ся", + "▁три бу", + "▁ трибу", + "▁с би", + "▁ак тивности", + "▁актив ности", + "▁активно сти", + "pos e", + "po se", + "p ose", + "▁M ount", + "▁Mo unt", + "▁С ти", + "▁Ст и", + "er o", + "e ro", + "▁про гу", + "▁поддерж ке", + "▁Austral ian", + "▁Australia n", + "▁F in", + "▁Дей стви", + "▁раз ными", + "▁разным и", + "▁успе хом", + "▁успех ом", + "чи х", + "ч их", + "▁c and", + "▁can d", + "▁па па", + "▁пап а", + "ma r", + "m ar", + "▁ex hib", + "▁m ach", + "▁И еруса", + "▁Ие руса", + "▁an c", + "▁ anc", + "вер шенно", + "вершен но", + "▁ос енью", + "▁осе нью", + "▁осен ью", + "н ны", + "▁b ank", + "▁ban k", + "▁inter view", + "▁мя те", + "▁ne igh", + "▁r ank", + "▁ran k", + "▁М ака", + "▁Ма ка", + "▁Мак а", + "▁pre vent", + "▁у ходит", + "▁ухо дит", + "▁уход ит", + "▁Разу меется", + "по доб", + "под об", + "▁Sc ott", + "▁Scot t", + "со вершен", + "▁зу б", + "▁рус ским", + "▁произ ведение", + "▁рас ходы", + "▁расхо ды", + "▁расход ы", + "у з", + "▁го рдо", + "▁гор до", + "▁оши б", + "те ка", + "тек а", + "▁име ло", + "▁имел о", + "Йор к", + "Й орк", + "▁пере воз", + "▁перево з", + "ha b", + "h ab", + "фе ль", + "▁кли ма", + "▁се мина", + "▁сем ина", + "▁семи на", + "▁аппара т", + "▁caus ed", + "▁cause d", + "▁Z e", + "▁поли тический", + "▁полити ческий", + "Ис то", + "И сто", + "▁за каза", + "▁зака за", + "▁заказ а", + "▁слу жа", + "▁служ а", + "▁Ar ch", + "▁раз мера", + "▁разме ра", + "▁размер а", + "▁потеря л", + "▁потер ял", + "▁проис ше", + "▁e mer", + "▁em er", + "▁п севдо", + "augh t", + "aug ht", + "▁артилле рии", + "▁француз ской", + "▁T or", + "▁To r", + "▁ре зиден", + "▁рези ден", + "E N", + "▁пов лия", + "▁У з", + "▁ap plic", + "▁по строить", + "▁постро ить", + "▁ве л", + "▁ вел", + "▁ва ша", + "▁ваш а", + "▁с бро", + "▁заслу ги", + "▁любо пыт", + "▁К ен", + "▁Ке н", + "▁мо ст", + "▁Is rael", + "▁ме длен", + "▁мед лен", + "▁Rich ard", + "▁кана ла", + "▁кан ала", + "▁канал а", + "▁cent er", + "де ний", + "▁реко рд", + "▁рекор д", + "▁ни чем", + "▁с коль", + "▁ско ль", + "▁ сколь", + "ри ться", + "рить ся", + "▁фай л", + "вно й", + "в ной", + "О н", + "in i", + "i ni", + "▁кварти ре", + "▁квартир е", + "▁ка кими", + "▁как ими", + "▁каким и", + "▁ос таться", + "▁оста ться", + "▁t arg", + "▁о в", + "▁ ов", + "▁Mus ic", + "▁M ost", + "▁Mos t", + "▁Mo st", + "▁Не о", + "▁Min ister", + "▁зву к", + "▁повсе днев", + "па ть", + "▁Те о", + "▁ста рого", + "▁старо го", + "▁Па мя", + "▁Б об", + "▁Бо б", + "▁но сит", + "▁носи т", + "▁нос ит", + "▁ носит", + "▁вражде б", + "рк у", + "р ку", + "ста х", + "с тах", + "▁чу жо", + "▁n atural", + "▁с дви", + "▁опас а", + "▁опа са", + "U S", + "▁треть ей", + "▁третье й", + "▁с вето", + "▁свет о", + "▁све то", + "ly ing", + "l ying", + "▁согла шение", + "ро вались", + "рова лись", + "ровали сь", + "▁Л ат", + "▁Ла т", + "▁t rib", + "▁tr ib", + "▁tri b", + "▁Цер кви", + "T V", + "▁кон гре", + "▁п ля", + "▁ пля", + "зд о", + "з до", + "ве то", + "вет о", + "▁уг ол", + "▁уго л", + "▁три дцать", + "▁тридца ть", + "Ма р", + "М ар", + "▁у езд", + "▁уез д", + "в не", + "ъ ю", + "▁слы шал", + "▁слыша л", + "▁вз ро", + "▁я и", + "ци ан", + "циа н", + "▁n ar", + "ля л", + "л ял", + "▁c al", + "▁вол шеб", + "▁ро ско", + "▁рос ко", + "та лки", + "тал ки", + "▁приблизи тельно", + "▁при нес", + "▁стра ницы", + "▁страниц ы", + "il ed", + "ile d", + "i led", + "▁ор ган", + "▁орга н", + "▁исто чником", + "▁источ ником", + "▁источник ом", + "I t", + "▁потре бу", + "▁потреб у", + "▁M ont", + "▁Mon t", + "▁Mo nt", + "Д и", + "na me", + "nam e", + "n ame", + "▁cons ider", + "▁consid er", + "во ро", + "вор о", + "ён ный", + "ё нный", + "нно му", + "нном у", + "н ному", + "▁К ей", + "▁Ке й", + "▁следу ющего", + "▁оружи ем", + "▁оружие м", + "▁по крови", + "▁покро ви", + "▁ш ар", + "▁ша р", + "▁ шар", + "▁концеп ции", + "▁От сюда", + "▁выну ждены", + "▁вынужден ы", + "▁Cent ral", + "▁напря жения", + "m od", + "▁солн ца", + "▁хра нения", + "▁тыся че", + "▁тысяч е", + "▁Ма ло", + "▁p en", + "▁pe n", + "▁ pen", + "g l", + "▁уча стке", + "▁участ ке", + "▁реали зова", + "▁реа лизова", + "▁oper ations", + "▁operation s", + "▁qu al", + "▁q ual", + "▁под ска", + "▁подс ка", + "▁ме лко", + "▁мел ко", + "▁с нять", + "▁сня ть", + "▁снят ь", + "▁с кор", + "▁ско р", + "▁ск ор", + "▁ скор", + "▁С ар", + "▁Са р", + "▁пользова тель", + "▁заме тно", + "▁замет но", + "▁обви нения", + "▁за гру", + "▁tradition al", + "bo ur", + "b our", + "▁из дели", + "▁изде ли", + "во ло", + "вол о", + "в оло", + "▁пригото вления", + "▁sc ored", + "▁score d", + "▁Солн ца", + "▁ста рой", + "▁стар ой", + "▁старо й", + "▁пут ём", + "▁N ot", + "▁No t", + "▁мое му", + "▁моем у", + "▁ моему", + "си бир", + "▁на ходит", + "▁находи т", + "▁наход ит", + "▁та лан", + "▁s ection", + "▁se ction", + "▁sec tion", + "▁нау ке", + "▁наук е", + "три бу", + "ст ся", + "с тся", + "нк ов", + "н ков", + "А К", + "▁о твра", + "▁от вра", + "▁m ix", + "▁mi x", + "▁напа дения", + "▁выво ду", + "▁вывод у", + "▁Нов город", + "▁Новго род", + "▁am ount", + "en a", + "e na", + "бе рт", + "бер т", + "б ерт", + "ка зом", + "каз ом", + "▁с пать", + "▁спа ть", + "▁вспом нить", + "▁з ная", + "▁зна я", + "▁ad op", + "▁при вели", + "▁приве ли", + "▁привел и", + "an o", + "a no", + "▁штур мо", + "▁шту рмо", + "▁Sup er", + "▁Su per", + "▁из раиль", + "ли те", + "лит е", + "▁па ры", + "▁пар ы", + "▁несколь кими", + "▁нескольким и", + "▁ры бы", + "▁рыб ы", + "▁предста влены", + "▁представлен ы", + "▁У ильям", + "▁Уилья м", + "▁монасты рь", + "ло т", + "л от", + "▁про све", + "▁прос ве", + "▁сем ью", + "▁семь ю", + "▁в зор", + "▁вз ор", + "▁взо р", + "▁функ цию", + "» :", + "▁тер риториаль", + "▁террито риаль", + "▁ территориаль", + "▁У э", + "▁Г лу", + "▁s en", + "▁se n", + "▁ sen", + "▁dist rib", + "▁неме цкого", + "▁немец кого", + "▁немецко го", + "▁D ay", + "ры вно", + "рыв но", + "▁сю же", + "▁пози ций", + "▁Гри горь", + "▁Григо рь", + "▁архитек туры", + "▁архитектур ы", + "▁за се", + "▁зас е", + "▁т ен", + "▁те н", + "▁ тен", + "▁en vironment", + "▁нача лу", + "▁начал у", + "▁ началу", + "▁цвет ов", + "▁цве тов", + "▁Fran cis", + "▁зна ние", + "▁ знание", + "▁вра ча", + "▁врач а", + "▁ко де", + "▁код е", + "▁оста нется", + "▁пере дает", + "▁переда ет", + "ст ил", + "сти л", + "с тил", + "▁эк ологи", + "▁эко логи", + "▁com mercial", + "▁обла дают", + "▁облада ют", + "▁con struct", + "▁const ruct", + "▁специали сты", + "▁специалист ы", + "▁упомя ну", + "▁рабо чие", + "▁рабочи е", + "▁во ж", + "▁Ху до", + "▁восста ния", + "▁но в", + "▁н ов", + "▁ нов", + "▁вели чай", + "▁а ку", + "▁ак у", + "▁на родных", + "▁наро дных", + "▁народ ных", + "▁неболь шие", + "▁Ав гу", + "ре нно", + "рен но", + "р енно", + "▁ж ар", + "▁жа р", + "▁устрой ств", + "▁дополни тельные", + "▁попыт ка", + "▁попы тка", + "▁Бе ла", + "▁Бел а", + "▁ф аль", + "▁фа ль", + "iz ing", + "▁Ди а", + "▁выз ва", + "▁у дара", + "▁уда ра", + "▁удар а", + "▁уд ара", + "▁с пуска", + "▁спу ска", + "▁м ла", + "▁мл а", + "▁Восто ка", + "▁Вос тока", + "▁Восток а", + "▁подума л", + "▁поду мал", + "че нными", + "чен ными", + "ченным и", + "▁S ing", + "▁Si ng", + "▁лейте нант", + "▁лейтенан т", + "▁ лейтенант", + "▁L os", + "▁Lo s", + "но шение", + "▁я влений", + "▁яв лений", + "▁Ц ар", + "▁Ца р", + "▁опреде ленные", + "▁определен ные", + "▁коман дой", + "▁команд ой", + "▁изме рения", + "▁наказа ния", + "▁нака зания", + "ри со", + "рис о", + "▁includ es", + "▁include s", + "▁ла гере", + "▁лагер е", + "▁струк туру", + "▁структур у", + "▁те сно", + "▁пона доби", + "▁le ague", + "▁из бы", + "▁компа нией", + "▁луч шие", + "▁ce leb", + "▁упра влять", + "▁управля ть", + "▁Е сте", + "▁Австра лии", + "▁ре шением", + "▁решение м", + "▁реше нием", + "▁ре монт", + "▁ремон т", + "▁Бер лин", + "▁про ходил", + "▁проходи л", + "▁проход ил", + "▁прохо дил", + "▁м оне", + "▁мо не", + "▁мон е", + "▁воз действие", + "▁воздей ствие", + "▁при ема", + "▁прием а", + "▁прие ма", + "▁тех нику", + "▁техни ку", + "ри ст", + "рис т", + "р ист", + "▁пребы вания", + "▁поли тического", + "▁полити ческого", + "▁из вести", + "▁извест и", + "▁изве сти", + "ep h", + "e ph", + "ма ли", + "мал и", + "м али", + "▁co ast", + "▁энер гию", + "▁энерги ю", + "ро ванием", + "рова нием", + "рование м", + "▁н ра", + "▁sec ret", + "ва нге", + "ван ге", + "▁sp ent", + "▁spe nt", + "uf act", + "▁па ри", + "▁пар и", + "▁ пари", + "хи м", + "х им", + "▁в близи", + "▁Г руп", + "▁Гру п", + "▁аресто ван", + "▁в я", + "▁ вя", + "▁П атри", + "▁Па три", + "▁пос тара", + "▁поста ра", + "▁пост ара", + "п ке", + "▁c y", + "▁ cy", + "▁мел ких", + "▁ин стинк", + "▁С чита", + "фор мули", + "▁build ings", + "▁building s", + "▁авто ры", + "▁ав торы", + "▁автор ы", + "▁claim ed", + "▁дерев ья", + "▁Micro soft", + "▁w ood", + "▁ wood", + "▁гря з", + "▁гр яз", + "▁ гряз", + "▁извест ные", + "▁известны е", + "▁изве стные", + "спо р", + "с пор", + "▁огром ный", + "▁игро ков", + "▁игрок ов", + "▁До ро", + "▁Дор о", + "▁Пет рович", + "▁Петро вич", + "▁го н", + "▁г он", + "▁ гон", + "ко ве", + "ков е", + "▁д ья", + "▁ дья", + "▁заклю чение", + "▁incre ase", + "▁В ос", + "▁Во с", + "▁O per", + "▁Op er", + "▁Государ ственной", + "▁Г ро", + "жо к", + "ж ок", + "▁на ре", + "▁нар е", + "▁появи лось", + "▁поя вилось", + "бо вать", + "бова ть", + "ди р", + "д ир", + "Ко м", + "К ом", + "▁long er", + "▁неда леко", + "▁охва ты", + "▁сва дь", + "емо сть", + "е мость", + "▁го родом", + "▁горо дом", + "▁город ом", + "пре ки", + "▁Ме кси", + "▁Мек си", + "▁б рак", + "▁бра к", + "▁яй ца", + "▁обы ча", + "▁собра ние", + "▁вла дения", + "▁владе ния", + "▁кре дит", + "▁креди т", + "▁по спе", + "▁пос пе", + "▁зи мой", + "▁зим ой", + "g a", + "▁Х ру", + "со образ", + "▁вы го", + "▁при шло", + "▁Ар ме", + "▁при ложение", + "▁Пер вым", + "▁Про бле", + "▁Sy stem", + "▁бра тьев", + "▁брат ьев", + "▁брать ев", + "ги ба", + "гиб а", + "▁способ ы", + "▁спосо бы", + "▁опреде ленной", + "▁определен ной", + "▁определенно й", + "▁рассказыва л", + "▁рассказы вал", + "▁до лю", + "▁дол ю", + "▁мага зин", + "▁магази н", + "▁стра нно", + "▁стран но", + "▁Е вропей", + "▁Евро пей", + "▁Европе й", + "веро ят", + "▁откры т", + "▁Вели кого", + "▁Велико го", + "▁разрабо тан", + "▁разработа н", + "ан г", + "а нг", + "▁вне шне", + "▁внеш не", + "▁вла стью", + "▁власть ю", + "on se", + "ons e", + "▁возмо жных", + "▁возможны х", + "er ve", + "erv e", + "▁награ ждён", + "▁ра ска", + "▁рас ка", + "▁ка рта", + "▁кар та", + "▁карт а", + "▁голо сов", + "▁голос ов", + "▁голосо в", + "Л ю", + "▁о зеро", + "▁озе ро", + "▁озер о", + "▁мар кси", + "▁Пу шкин", + "▁Пушки н", + "▁по ры", + "▁пор ы", + "ни ческих", + "am s", + "a ms", + "ти ку", + "тик у", + "▁Ц а", + "сно м", + "с ном", + "▁пу тей", + "▁пут ей", + "▁путе й", + "▁Зна мени", + "▁belie ved", + "▁believe d", + "arri age", + "▁у ез", + "▁meet ing", + "▁За то", + "▁по пере", + "▁попе ре", + "▁поп ере", + "▁Бе л", + "▁C amp", + "▁Cam p", + "▁Ca mp", + "ob al", + "o bal", + "▁следу ющей", + "▁не благо", + "▁серьез но", + "ствен ному", + "стве нному", + "ственно му", + "ственном у", + "▁Швей ца", + "▁с чё", + "▁откры тие", + "▁с видетельство", + "▁свиде тельство", + "▁свидетель ство", + "▁свидетельств о", + "▁d rop", + "▁dr op", + "▁Dist rict", + "▁act ive", + "▁activ e", + "▁ active", + "▁террито рия", + "▁econom ic", + "▁Ap ple", + "▁App le", + "▁О лег", + "▁Оле г", + "▁< ...>", + "▁про ч", + "▁зада чей", + "▁задач ей", + "▁по вести", + "▁пове сти", + "▁повест и", + "▁ли ги", + "▁ лиги", + "во рить", + "вори ть", + "вор ить", + "та ра", + "тар а", + "т ара", + "▁У и", + "▁Цер ковь", + "▁con stit", + "▁const it", + "qu ote", + "▁Бо лга", + "▁Бол га", + "▁мор ских", + "▁ морских", + "▁реаль ность", + "▁реа льность", + "▁реально сть", + "▁про кура", + "▁Му ж", + "▁фо ль", + "▁у влека", + "▁увле ка", + "из м", + "и зм", + "ist ry", + "▁P ost", + "▁Po st", + "▁по тра", + "he st", + "hes t", + "h est", + "па ла", + "пал а", + "п ала", + "▁авто ром", + "▁ав тором", + "▁автор ом", + "пе йской", + "пей ской", + "▁подвер г", + "▁подве рг", + "▁По чти", + "▁дерев ьев", + "д т", + "▁кон стру", + "▁те рмо", + "▁тер мо", + "▁выяс нилось", + "C on", + "ug e", + "u ge", + "- >", + "▁количе ством", + "▁количество м", + "▁персона жей", + "▁персонаж ей", + "ро вский", + "ров ский", + "▁про вод", + "▁прово д", + "▁ провод", + "▁Ch ic", + "▁проде монстри", + "▁состоя л", + "▁состо ял", + "▁B ur", + "▁Bu r", + "▁п ей", + "▁пе й", + "▁ пей", + "▁Про дол", + "▁опреде ленных", + "▁определен ных", + "▁le ave", + "▁proper ty", + "por ary", + "▁учи теля", + "▁К ня", + "-------- --------", + "▁оче реди", + "▁очеред и", + "▁очер еди", + "▁Ве нг", + "▁Вен г", + "▁ве рить", + "▁вер ить", + "▁верит ь", + "▁вери ть", + "▁v ot", + "▁vo t", + "эф фици", + "▁по селение", + "▁посе ление", + "▁b ring", + "▁br ing", + "▁w ord", + "▁wor d", + "▁ word", + "ва лен", + "вал ен", + "вале н", + "▁соб ственный", + "▁собствен ный", + "▁New s", + "▁ide a", + "ря т", + "р ят", + "▁от каз", + "▁отка з", + "▁отк аз", + "▁за креп", + "▁закре п", + "▁pr ior", + "▁pri or", + "ня лся", + "нял ся", + "▁С лова", + "▁Сло ва", + "▁бе спокой", + "▁беспо кой", + "▁беспоко й", + "▁ка лен", + "це на", + "цен а", + "ц ена", + "ли зма", + "лизм а", + "л изма", + "фе рен", + "фер ен", + "ф ерен", + "З оло", + "ли зм", + "л изм", + "▁п ое", + "▁по е", + "▁O pen", + "▁Op en", + "кла сс", + "▁пол ную", + "ст ин", + "сти н", + "с тин", + "▁book s", + "▁g old", + "▁go ld", + "▁defe ated", + "▁defeat ed", + "сным и", + "сны ми", + "с ными", + "▁уси лий", + "▁усили й", + "▁с рока", + "▁сро ка", + "▁срок а", + "▁чита тель", + "▁мно жества", + "▁множе ства", + "▁кре ст", + "▁и ерархи", + "▁Ф рей", + "▁Фре й", + "mit ted", + "▁ней ро", + "▁Sp anish", + "▁республи кан", + "▁республик ан", + "▁республика н", + "er ror", + "err or", + "▁Фри дри", + "▁си льный", + "▁силь ный", + "▁сло жных", + "▁су до", + "▁суд о", + "▁от цом", + "им и", + "и ми", + "in ter", + "int er", + "▁За кон", + "▁Зак он", + "ro s", + "r os", + "▁пи рами", + "▁пира ми", + "жа лись", + "жали сь", + "▁Х ор", + "▁Хо р", + "▁заста вить", + "▁оборудова ние", + "ut y", + "u ty", + "сю ду", + "block quote", + "▁С оло", + "▁Со ло", + "▁Сол о", + "▁B en", + "▁Be n", + "▁си гнал", + "▁сигна л", + "т во", + "▁повы шения", + "▁Яко вле", + "▁Яков ле", + "▁институ те", + "▁институт е", + "▁столи це", + "▁чет вёр", + "▁практи ки", + "▁прак тики", + "▁сер вер", + "▁возвра щается", + "▁возвраща ется", + "▁возвращает ся", + "▁раз нови", + "▁разно ви", + "▁описа ния", + "лю б", + "▁ме сторо", + "▁место ро", + "▁дет стве", + "▁ис тины", + "▁исти ны", + "▁ист ины", + "▁S qu", + "▁по у", + "ow ers", + "ower s", + "▁испыта ний", + "▁и дёт", + "▁ид ёт", + "▁P ress", + "▁Pr ess", + "▁Pres s", + "▁Pre ss", + "▁мно гим", + "▁многи м", + "▁на зывать", + "▁называ ть", + "си ст", + "сис т", + "с ист", + "b ased", + "▁F ort", + "▁For t", + "▁Ско лько", + "те ро", + "тер о", + "S S", + "▁про бе", + "▁пр обе", + "▁проб е", + "▁кварти ру", + "▁квар тиру", + "▁квартир у", + "▁го дами", + "▁года ми", + "▁годам и", + "▁gener ally", + "▁general ly", + "а ции", + "чи вать", + "чива ть", + "A r", + "▁Vir gin", + "▁somet imes", + "▁к ад", + "▁ка д", + "▁на родной", + "▁наро дной", + "▁народ ной", + "▁ци кла", + "▁цикл а", + "▁сообщи ла", + "▁сообщил а", + "▁дости гает", + "▁достига ет", + "▁само леты", + "▁самоле ты", + "▁самолет ы", + "▁счита ю", + "▁на шему", + "▁наше му", + "▁нашем у", + "▁s ource", + "▁поки нул", + "A L", + "▁у пор", + "▁упо р", + "▁моло дые", + "▁молоды е", + "▁обла стях", + "▁бо гов", + "▁бого в", + "▁бог ов", + "▁st aff", + "▁iss ue", + "▁про ходят", + "▁проходя т", + "▁проход ят", + "▁прохо дят", + "ми ну", + "мин у", + "▁гру дь", + "▁при сла", + "▁прис ла", + "▁iss ues", + "▁issue s", + "▁вы боры", + "▁выбо ры", + "▁выбор ы", + "▁compan ies", + "▁на бо", + "▁А фи", + "▁Аф и", + "▁ар мий", + "▁арми й", + "▁П ле", + "▁до говори", + "▁догово ри", + "▁договор и", + "▁извест ной", + "▁известно й", + "▁изве стной", + "▁st ructure", + "▁struct ure", + "▁со бран", + "▁соб ран", + "▁собра н", + "▁У мер", + "▁Ум ер", + "▁ли чной", + "▁лично й", + "че л", + "▁про пор", + "▁пропо р", + "▁pract ice", + "▁ли ри", + "▁ме чта", + "▁меч та", + "▁ру ке", + "▁рук е", + "▁Е ё", + "▁север ной", + "ха х", + "▁од них", + "▁одни х", + "▁say ing", + "▁фор мули", + "▁форму ли", + "▁ формули", + "дно сть", + "д ность", + "▁Те ле", + "сле жи", + "▁ко п", + "▁к оп", + "▁ коп", + "ва рд", + "вар д", + "▁ули цу", + "▁улиц у", + "gin g", + "g ing", + "▁по су", + "▁пос у", + "▁по дра", + "▁под ра", + "▁Ни чего", + "▁V II", + "▁VI I", + "▁восполь зоваться", + "▁воспользова ться", + "▁d u", + "▁ du", + "▁relig ious", + "▁Ра бота", + "▁Рабо та", + "ch ange", + "chan ge", + "chang e", + "▁кризи са", + "▁кризис а", + "рд а", + "р да", + "▁sh ot", + "▁в тори", + "▁вто ри", + "▁втор и", + "▁ втори", + "▁ре конструк", + "▁библиоте ки", + "▁библиотек и", + "A F", + "▁M iss", + "▁живо писи", + "▁живопи си", + "▁живопис и", + "▁ц ена", + "▁це на", + "▁цен а", + "▁ цена", + "▁находи ться", + "▁находить ся", + "▁Б рази", + "▁Бра зи", + "▁про вели", + "▁прове ли", + "▁провел и", + "mar k", + "m ark", + "▁r iver", + "▁ri ver", + "▁ку ла", + "▁ кула", + "▁комна ты", + "▁at tend", + "▁att end", + "▁кры ль", + "▁национа льных", + "▁от кро", + "▁отк ро", + "цион ном", + "цио нном", + "ционно м", + "▁Afric a", + "тив ность", + "тивно сть", + "фор д", + "фо рд", + "со й", + "с ой", + "▁не фте", + "▁неф те", + "ла з", + "л аз", + "ре нием", + "рение м", + "га на", + "ган а", + "г ана", + "▁at tended", + "▁attend ed", + "▁потреб ности", + "▁уча ствовать", + "▁B ec", + "▁Be c", + "ди с", + "д ис", + "▁Х ай", + "▁Ха й", + "▁le gal", + "▁leg al", + "но вского", + "нов ского", + "лимпи а", + "▁возмо жным", + "▁возможны м", + "▁requ ire", + "▁под по", + "▁th ings", + "▁thing s", + "▁то чек", + "▁точ ек", + "▁По жа", + "▁H ill", + "▁ша бло", + "▁чу дови", + "▁чудо ви", + "▁с лой", + "▁сло й", + "▁сл ой", + "▁ слой", + "ци онер", + "цион ер", + "цио нер", + "ционе р", + "▁Ра сс", + "▁Рас с", + "▁со поста", + "за м", + "з ам", + "▁tra de", + "▁tr ade", + "▁trad e", + "▁ар мей", + "▁ армей", + "хо дится", + "ходи тся", + "ход ится", + "ходит ся", + "▁пере числе", + "▁су мма", + "▁сум ма", + "Р у", + "▁особ ой", + "▁осо бой", + "▁особо й", + "чи вости", + "чиво сти", + "▁ра дость", + "▁радо сть", + "he t", + "h et", + "ха ми", + "хам и", + "▁Бри тан", + "▁Брита н", + "▁рабо чий", + "▁рабочи й", + "▁со бор", + "▁соб ор", + "▁собо р", + "▁у бить", + "▁уби ть", + "▁убит ь", + "▁equ ip", + "С П", + "▁op ening", + "▁open ing", + "▁зда ний", + "pl ement", + "ple ment", + "▁кор оле", + "▁коро ле", + "▁руководи телей", + "▁stand ard", + "▁exper ience", + "▁experien ce", + "▁стро ить", + "▁строи ть", + "▁ строить", + "▁тру дности", + "▁труд ности", + "▁трудно сти", + "▁resp onse", + "▁respons e", + "▁пои ск", + "ience s", + "ien ces", + "i ences", + "▁нака нуне", + "ни ческого", + "▁D el", + "▁De l", + "st e", + "s te", + "▁соб ственную", + "▁собствен ную", + "▁побере жье", + "▁comp lex", + "▁comple x", + "▁compl ex", + "▁wh ole", + "▁who le", + "▁доказа тельства", + "▁доказательств а", + "▁ка нал", + "▁кана л", + "▁кан ал", + "▁п тицы", + "▁пти цы", + "▁птиц ы", + "▁до ктора", + "▁доктор а", + "▁док тора", + "ri a", + "r ia", + "▁ла тин", + "▁лат ин", + "▁ли дера", + "▁лидер а", + "▁лиде ра", + "▁ме стом", + "▁место м", + "▁мест ом", + "▁re ason", + "▁круп нейших", + "▁крупней ших", + "ch er", + "che r", + "c her", + "in ent", + "ine nt", + "▁а ристокра", + "y th", + "▁с мя", + "▁см я", + "веде но", + "веден о", + "да ча", + "ri ef", + "rie f", + "r ief", + "▁возник новения", + "▁возникнове ния", + "▁Официаль ный", + "▁язы ках", + "▁языка х", + "▁пере о", + "ть ю", + "т ью", + "за и", + "▁от части", + "▁из гна", + "▁про ника", + "▁проник а", + "▁прони ка", + "▁ter rit", + "те льному", + "тель ному", + "тельно му", + "тельном у", + "▁Чемпи она", + "▁Чемпион а", + "▁new s", + "▁arr ived", + "▁выс ших", + "▁турни ре", + "▁турнир е", + "до ль", + "дол ь", + "вод ства", + "▁возник ла", + "▁D irect", + "▁Di rect", + "▁возра ст", + "▁p rem", + "▁pre m", + "▁pr em", + "▁сле ды", + "▁след ы", + "▁след ствие", + "▁на зывает", + "▁называ ет", + "in ary", + "ina ry", + "▁vict ory", + "▁баталь он", + "▁истори ческой", + "ни ну", + "нин у", + "▁чу до", + "на стоя", + "▁За чем", + "▁b all", + "▁bal l", + "▁ ball", + "▁о пира", + "▁опи ра", + "▁Фо то", + "▁ре шила", + "▁реши ла", + "▁решил а", + "из е", + "и зе", + "ва ете", + "вает е", + "▁по дели", + "ды х", + "д ых", + "▁отста вку", + "▁отстав ку", + "▁соответ ствующие", + "▁соответству ющие", + "▁эска дри", + "▁вся ких", + "ёр ом", + "ё ром", + "▁ant i", + "▁chang es", + "▁change s", + "▁def end", + "▁defe nd", + "▁заседа нии", + "че сти", + "▁топли ва", + "▁топ лива", + "ви ки", + "вик и", + "u a", + "за цией", + "▁Че рно", + "▁Чер но", + "фи я", + "▁sur round", + "кс е", + "к се", + "▁g rant", + "▁gr ant", + "▁gra nt", + "▁вы год", + "▁выго д", + "▁E v", + "▁наде жды", + "▁сум мы", + "▁долго е", + "▁долг ое", + "ol s", + "o ls", + "▁particular ly", + "▁за пом", + "▁запо м", + "чи лись", + "чили сь", + "ма не", + "ман е", + "м ане", + "▁c at", + "▁пу ль", + "▁ пуль", + "▁О коло", + "▁Ок оло", + "▁председа телем", + "пи т", + "п ит", + "▁воору жение", + "▁м ане", + "▁ма не", + "▁ мане", + "▁n oted", + "▁not ed", + "▁no ted", + "▁note d", + "▁Окон чил", + "пра ве", + "прав е", + "▁о провер", + "▁опро вер", + "or ial", + "ori al", + "o rial", + "▁само убий", + "▁самоу бий", + "▁автомоби лей", + "▁автомобиле й", + "▁смер тью", + "▁смерть ю", + "▁прода жи", + "▁продаж и", + "ru s", + "r us", + "▁four th", + "▁we eks", + "▁week s", + "▁Та тья", + "▁Mus eum", + "ни зу", + "низ у", + "us band", + "▁fin ally", + "▁final ly", + "▁ло дки", + "▁перво начально", + "▁первонача льно", + "же в", + "ж ев", + "цо ва", + "цов а", + "▁К руп", + "▁Кру п", + "▁п обо", + "▁по бо", + "▁про лета", + "▁проле та", + "О Д", + "▁stud ent", + "Р Г", + "▁e ns", + "▁en s", + "▁ ens", + "▁run ning", + "▁возгла вил", + "▁хо тим", + "че ством", + "чество м", + "▁по ложить", + "▁поло жить", + "▁положи ть", + "пу стили", + "пусти ли", + "пустил и", + "пус тили", + "▁нео преде", + "▁ми ло", + "▁wh ether", + "▁whe ther", + "▁В аль", + "▁Ва ль", + "▁отсут ствия", + "ear ch", + "e arch", + "▁о се", + "▁ос е", + "▁неизвест но", + "▁послед ним", + "▁г рам", + "▁гра м", + "▁гр ам", + "▁ грам", + "▁позволи ло", + "▁позволил о", + "▁г ит", + "▁ги т", + "▁у л", + "▁ ул", + "▁S ir", + "▁Si r", + "▁горо ду", + "▁город у", + "▁foc us", + "ис тори", + "исто ри", + "ист ори", + "▁Vict or", + "▁Vi ctor", + "we st", + "w est", + "▁обеспе чение", + "Пе р", + "П ер", + "▁ар мя", + "▁term s", + "▁ter ms", + "▁Ка кие", + "▁выс каза", + "▁выска за", + "▁prim ary", + "▁ar rest", + "▁arr est", + "▁Ви кто", + "▁изу чение", + "▁ne cess", + "▁nec ess", + "▁та тар", + "I C", + "▁ре ально", + "▁реаль но", + "▁реа льно", + "▁не доволь", + "▁недо воль", + "▁недово ль", + "▁organ ization", + "▁organiz ation", + "де ц", + "д ец", + "▁сра жения", + "▁le ader", + "▁lead er", + "▁литера тура", + "▁литератур а", + "ти ву", + "тив у", + "▁broad cast", + "▁fin ancial", + "▁с хо", + "▁сх о", + "▁deg ree", + "▁В стре", + "▁драго цен", + "▁интере со", + "▁интерес о", + "▁l ived", + "▁live d", + "▁L ater", + "▁La ter", + "▁Lat er", + "▁опера ция", + "an ks", + "ank s", + "▁ущер б", + "ту ри", + "тур и", + "▁дей ствиях", + "▁действи ях", + "▁действия х", + "▁под хода", + "▁подход а", + "▁Com mission", + "▁Comm ission", + "▁W eb", + "▁We b", + "▁факуль тет", + "▁факульте т", + "▁особ ое", + "▁осо бое", + "▁особо е", + "▁Сле дует", + "▁Следу ет", + "▁ориен ти", + "▁Герма ния", + "ни чество", + "▁раз личия", + "▁разли чия", + "▁различи я", + "▁trans port", + "▁з он", + "▁зо н", + "▁ зон", + "▁рас сла", + "▁расс ла", + "re me", + "rem e", + "▁stud ies", + "▁в нут", + "▁вну т", + "ли та", + "лит а", + "▁составля ла", + "▁составлял а", + "ре нной", + "рен ной", + "ренно й", + "ен са", + "е нса", + "▁old er", + "ни о", + "ail y", + "ai ly", + "a ily", + "▁пред ъ", + "▁при нят", + "▁приня т", + "▁прин ят", + "▁ю г", + "▁Вто рая", + "▁шо у", + "▁ шоу", + "▁о тры", + "▁от ры", + "▁ре к", + "▁р ек", + "▁ рек", + "ul ated", + "ula ted", + "ulate d", + "▁при веден", + "▁приве ден", + "▁привед ен", + "▁mult ip", + "▁multi p", + "▁совер ша", + "▁духов ной", + "▁духо вной", + "▁духовно й", + "▁вариан тов", + "▁вариант ов", + "▁вариа нтов", + "▁приме няется", + "▁применя ется", + "▁B o", + "▁у кло", + "▁кварти ры", + "▁квартир ы", + "▁m ission", + "▁miss ion", + "▁ mission", + "ф ра", + "▁пу ска", + "▁ пуска", + "▁бе лых", + "▁лю бят", + "▁любя т", + "хо слова", + "▁та нки", + "▁тан ки", + "▁танк и", + "▁пре следова", + "▁полу чив", + "▁получи в", + "ant ic", + "▁навер няка", + "ни ческий", + "▁comp let", + "▁comple t", + "▁compl et", + "▁не чего", + "▁пере дви", + "▁перед ви", + "▁экономи ческих", + "▁стра шно", + "▁страш но", + "▁Ни же", + "▁Ниж е", + "▁Нор ве", + "ст вию", + "стви ю", + "▁ро мане", + "▁роман е", + "▁рома не", + "▁э с", + "казыва ется", + "казывает ся", + "кру г", + "к руг", + "не ль", + "▁ва жные", + "▁важ ные", + "▁важны е", + "ск ри", + "с кри", + "' .", + "▁ли ст", + "▁л ист", + "▁ лист", + "ir it", + "i rit", + "ро ванная", + "рова нная", + "рован ная", + "P ro", + "де в", + "д ев", + "▁боль шими", + "▁большим и", + "▁Гит лера", + "▁Гитлер а", + "▁зая вления", + "▁огром ные", + "it t", + "i tt", + "▁пассажи ров", + "▁пассажир ов", + "▁о лимпий", + "▁руководи теля", + "▁г вардии", + "▁гвар дии", + "▁не дав", + "▁неда в", + "pr ess", + "pre ss", + "p ress", + "▁независи мости", + "▁независимо сти", + "▁но ж", + "▁боро ться", + "▁Э ду", + "▁Эд у", + "▁te ams", + "▁team s", + "ia nce", + "ian ce", + "i ance", + "▁off ered", + "▁offer ed", + "▁тя ж", + "ни ческие", + "▁импера три", + "▁импер атри", + "вя тся", + "вят ся", + "в ятся", + "▁пунк ты", + "▁пункт ы", + "▁G ra", + "▁Gr a", + "▁Пред седа", + "▁у деля", + "▁уде ля", + "▁с жа", + "▁Ни дер", + "▁ку ри", + "▁кур и", + "▁ниж ней", + "Н у", + "▁капита ла", + "▁капи тала", + "▁капитал а", + "хи е", + "▁Афри ки", + "▁Аф рики", + "▁exp and", + "▁c arried", + "▁car ried", + "▁carri ed", + "▁вы игры", + "▁выи гры", + "▁сооб щества", + "▁сообще ства", + "лет ней", + "▁sc ient", + "фи и", + "те ру", + "тер у", + "т еру", + "▁Дол го", + "▁д ворец", + "▁дво рец", + "▁двор ец", + "▁дворе ц", + "m l", + "▁упомина ется", + "▁упоминает ся", + "вя за", + "вяз а", + "в яза", + "▁For ce", + "▁противо поста", + "нт о", + "н то", + "▁но мера", + "▁номер а", + "▁номе ра", + "▁пре ем", + "▁об мена", + "▁обмен а", + "▁В спо", + "▁деся тков", + "▁Con gress", + "▁Cong ress", + "▁обстоя тельств", + "щи ком", + "щик ом", + "▁ду хе", + "▁дух е", + "▁Зем ля", + "▁ре шать", + "▁реша ть", + "▁е пар", + "▁с пла", + "▁пло до", + "▁плод о", + "▁d ead", + "▁de ad", + "с ны", + "́т ь", + "́ ть", + "▁зло у", + "▁чи слу", + "▁X IV", + "▁XI V", + "▁d om", + "▁do m", + "▁ dom", + "▁support ed", + "▁suppor ted", + "▁вто рую", + "▁втор ую", + "▁ю жной", + "▁южно й", + "▁международ ной", + "pr e", + "p re", + "led ge", + "оло г", + "о лог", + "▁quest ion", + "▁vis it", + "▁сф еры", + "▁сфе ры", + "▁pr omot", + "▁prom ot", + "▁б ир", + "▁би р", + "▁ бир", + "▁проя вляется", + "▁проявля ется", + "▁проявляет ся", + "▁f ailed", + "▁fail ed", + "▁fa iled", + "▁l ength", + "▁ма стера", + "▁мастер а", + "▁масте ра", + "▁д ю", + "▁ дю", + "ха я", + "х ая", + "▁достоин ства", + "▁челове ке", + "▁человек е", + "И С", + "мо вич", + "▁золо той", + "▁золото й", + "▁Д ра", + "▁боль шее", + "▁больше е", + "ви да", + "вид а", + "в ида", + "▁доро гой", + "▁дорог ой", + "▁дорого й", + "▁Импера тор", + "▁дво ра", + "▁двор а", + "▁подчер кнул", + "▁подчеркну л", + "▁Восто ке", + "▁Восток е", + "ag er", + "age r", + "a ger", + "▁сопроти вления", + "▁окру ге", + "▁округ е", + "it ter", + "itte r", + "itt er", + "▁ди кта", + "▁дик та", + "▁Ге роя", + "▁Геро я", + "не нное", + "нен ное", + "ненно е", + "▁т рое", + "▁тро е", + "▁тр ое", + "▁rem ain", + "▁comple te", + "▁complet e", + "▁хоро шие", + "чь я", + "ч ья", + "▁pol icy", + "▁polic y", + "▁сро ки", + "▁срок и", + "▁R ob", + "▁Ro b", + "▁исто рик", + "▁истори к", + "▁доказа ть", + "▁дока зать", + "▁с пас", + "▁спа с", + "▁древ ней", + "▁древне й", + "ци ден", + "▁ло па", + "▁л опа", + "▁Сева сто", + "ре нные", + "рен ные", + "▁с кончался", + "▁скон чался", + "▁сконча лся", + "▁бюджет а", + "▁бюдже та", + "▁ассоциа ции", + "при па", + "▁д ат", + "▁да т", + "▁ дат", + "▁пои сках", + "▁поиска х", + "нё н", + "н ён", + "▁Cath olic", + "▁l ocation", + "▁loc ation", + "▁d ate", + "▁ date", + "▁de mon", + "▁dem on", + "▁charact ers", + "▁character s", + "▁Гла вное", + "▁Глав ное", + "▁раз личи", + "▁разли чи", + "▁ve h", + "▁Наз вание", + "▁О тно", + "▁От но", + "▁при писы", + "▁Р име", + "▁Ри ме", + "▁Рим е", + "Ф ран", + "▁Ки еве", + "▁Киев е", + "▁при рода", + "▁приро да", + "▁природ а", + "▁At l", + "▁D u", + "▁Т рои", + "▁Тро и", + "воз мо", + "▁Серге я", + "▁Аф гани", + "▁за бро", + "▁заб ро", + "▁Со ве", + "▁Сов е", + "▁еже дневно", + "▁ежеднев но", + ", -", + "▁во шел", + "▁h ot", + "ро вых", + "ров ых", + "▁ма тер", + "▁мат ер", + "▁мате р", + "▁ре зи", + "▁рез и", + "▁хозяй ство", + "▁хозяйств о", + "▁пример е", + "▁приме ре", + "▁прим ере", + "▁Ру мы", + "▁Не да", + "▁инстру мент", + "▁C D", + "▁ CD", + "▁у бит", + "▁уби т", + "▁лагер я", + "▁производ стве", + "▁ма лей", + "▁addition al", + "▁p oor", + "▁po or", + "▁У К", + "▁по дар", + "▁под ар", + "▁пода р", + "um an", + "uma n", + "u man", + "▁удоволь ствие", + "▁пье сы", + "▁пьес ы", + "зо на", + "зон а", + "з она", + "▁n orm", + "▁no rm", + "▁nor m", + "▁fam ilies", + "we ll", + "w ell", + "▁ _", + "не нная", + "нен ная", + "▁го дом", + "▁год ом", + "▁проек ты", + "▁проект ы", + "▁бассе й", + "▁возвра щения", + "▁на ла", + "▁н ала", + "▁неболь ших", + "▁в ор", + "▁во р", + "▁ вор", + "tr a", + "t ra", + "▁предпо ложить", + "▁предположи ть", + "спе кт", + "спек т", + "▁же ну", + "▁жен у", + "▁с ул", + "▁су л", + "▁l ines", + "▁line s", + "▁ lines", + "▁вопро сом", + "▁вопрос ом", + "▁мо ро", + "▁мор о", + "▁ моро", + "▁кри тики", + "▁крити ки", + "▁критик и", + "▁реф лек", + "▁ре формы", + "▁реформ ы", + "▁рефор мы", + "те льна", + "тель на", + "▁у мо", + "▁ум о", + "▁Гру зии", + "▁стреми тся", + "▁стрем ится", + "▁оста тки", + "▁физи ческих", + "▁физически х", + "ма тери", + "▁Бо жи", + "▁принци па", + "▁принцип а", + "▁to day", + "▁award ed", + "нё с", + "ec h", + "e ch", + "do wn", + "d own", + "ни чества", + "▁произо шла", + "▁g e", + "▁ ge", + "Х а", + "pl ied", + "▁бес пре", + "il s", + "i ls", + "ke n", + "k en", + "▁U nder", + "▁Un der", + "▁г рави", + "▁гра ви", + "▁се л", + "▁ сел", + "▁В сем", + "▁Все м", + "ме нной", + "мен ной", + "менно й", + "зо вание", + "зова ние", + "П ре", + "А П", + "▁Боль шая", + "▁у пла", + "▁par ents", + "▁parent s", + "бер га", + "берг а", + "▁свой ств", + "▁T own", + "▁To wn", + "▁le aving", + "ющими ся", + "ю щимися", + "ва ющая", + "ваю щая", + "▁име ем", + "▁с формули", + "▁основ ан", + "▁основа н", + "▁осно ван", + "▁публи кации", + "▁публика ции", + "▁чув ствовал", + "▁чувство вал", + "▁Кры ма", + "▁Крым а", + "же рт", + "жер т", + "ж ерт", + "▁ре шению", + "▁реше нию", + "▁прошло е", + "▁прош лое", + "в ке", + "▁еже годно", + "▁ежегод но", + "▁заболе ваний", + "▁то ро", + "▁тор о", + "▁ торо", + "▁радо сти", + "▁Кар ла", + "▁Карл а", + "ге ра", + "гер а", + "г ера", + "▁неизбе жно", + "▁con cept", + "▁тро пи", + "▁ тропи", + "▁оцен ить", + "▁оце нить", + "▁оцени ть", + "▁вы яви", + "▁выя ви", + "▁приз ёр", + "▁Т ран", + "▁Тра н", + "und red", + "▁с тере", + "▁ст ере", + "▁сте ре", + "▁стер е", + "▁ стере", + "тель ница", + "ри ем", + "рие м", + "▁ф она", + "▁фо на", + "▁фон а", + "▁ фона", + "мо щ", + "да ла", + "дал а", + "д ала", + "ver y", + "ve ry", + "v ery", + "▁па дения", + "▁части ц", + "▁маль чик", + "▁мальчи к", + "ve y", + "v ey", + "▁Des pite", + "▁ок купа", + "r d", + "▁т вой", + "▁тво й", + "▁тв ой", + "▁союз ников", + "▁у читься", + "▁учи ться", + "▁учить ся", + "▁инстру ментов", + "▁инструмент ов", + "▁да бы", + "ви ль", + "вил ь", + "в иль", + "▁про водится", + "▁проводи тся", + "▁прово дится", + "▁провод ится", + "▁проводит ся", + "▁ш кол", + "▁шко л", + "c a", + "▁за с", + "▁з ас", + "▁обра щение", + "at o", + "a to", + "▁det ail", + "▁д лина", + "▁дли на", + "▁длин а", + "▁en tered", + "▁ent ered", + "▁enter ed", + "▁r ate", + "▁ra te", + "▁rat e", + "▁ rate", + "ber s", + "b ers", + "▁Ма рк", + "▁Мар к", + "▁Р К", + "▁ РК", + "▁пе сня", + "▁пес ня", + "▁устано влены", + "▁установ лены", + "▁установлен ы", + "▁су де", + "▁суд е", + "слу ша", + "▁лагер ь", + "▁основ ного", + "▁осно вного", + "▁вариан ты", + "▁вариант ы", + "▁вариа нты", + "▁Па у", + "▁созда ны", + "▁создан ы", + "стро йка", + "строй ка", + "▁подраз деле", + "пу т", + "п ут", + "il la", + "ill a", + "▁жи зне", + "▁жиз не", + "▁п рой", + "▁про й", + "▁пр ой", + "▁библиоте ка", + "▁библио тека", + "▁библиотек а", + "▁f elt", + "гра фия", + "графи я", + "▁у слы", + "▁ус лы", + "▁смо тря", + "▁ смотря", + "чник ов", + "чни ков", + "ч ников", + "▁упраж нения", + "la m", + "l am", + "▁сай та", + "▁сайт а", + "ди лись", + "дили сь", + "▁se em", + "▁see m", + "▁обра титься", + "▁обратить ся", + "▁clos ed", + "▁close d", + "▁Chic ago", + "▁St ar", + "вле нного", + "влен ного", + "вленно го", + "в ленного", + "▁b att", + "пра вления", + "прав ления", + "B S", + "ee s", + "e es", + "▁h usband", + "▁бело рус", + "▁го стей", + "▁гос тей", + "▁госте й", + "▁то чнее", + "▁точ нее", + "▁c ases", + "▁case s", + "▁cas es", + "▁Все мир", + "▁Всем ир", + "▁раз дели", + "▁разде ли", + "▁раздел и", + "▁суще ствовать", + "▁существо вать", + "▁существова ть", + "▁за менить", + "▁заме нить", + "▁замени ть", + "ро вской", + "ров ской", + "▁боль шом", + "▁большо м", + "▁энер гия", + "▁энерги я", + "▁тео рию", + "▁пи щу", + "▁Михай лов", + "▁реги страции", + "▁регистра ции", + "▁о слож", + "▁ос лож", + "▁Г ран", + "▁Гра н", + "ed y", + "▁любы х", + "▁Спу стя", + "▁B et", + "▁Be t", + "▁ликви ди", + "▁Действи тельно", + "▁э нциклопе", + "▁у га", + "▁уг а", + "A D", + "ве с", + "ма ра", + "мар а", + "м ара", + "b it", + "ро вок", + "ров ок", + "рово к", + "▁H ow", + "▁Ho w", + "▁cult ure", + "те лен", + "тел ен", + "теле н", + "▁пар тию", + "▁парти ю", + "▁уви дели", + "▁увиде ли", + "▁увидел и", + "stand ing", + "▁fore ign", + "▁f ort", + "▁for t", + "▁ fort", + "пре зиден", + "▁при менять", + "▁приме нять", + "▁применя ть", + "▁наблю дать", + "▁наблюда ть", + "▁d ig", + "▁di g", + "▁ш вей", + "▁шве й", + "▁разве дыва", + "▁запа дных", + "▁запад ных", + "▁восприя тия", + "▁зна ешь", + "▁ch all", + "▁хо чешь", + "▁я дра", + "▁яд ра", + "ar es", + "are s", + "a res", + "▁сча стью", + "▁счаст ью", + "▁Гла вный", + "▁Глав ный", + "▁гра ниц", + "▁грани ц", + "ur a", + "u ra", + "▁о свое", + "▁ос вое", + "▁о пуска", + "▁опу ска", + "▁внут рь", + "▁бо и", + "▁те ме", + "▁тем е", + "зи рует", + "зиру ет", + "▁в ременно", + "▁вре менно", + "▁времен но", + "▁време нно", + "▁ временно", + "▁Б ру", + "▁Го воря", + "▁hel ped", + "▁help ed", + "▁previous ly", + "▁ин дий", + "▁инди й", + "▁Ка зан", + "▁Каза н", + "гна ли", + "гнал и", + "г нали", + "▁воен ную", + "▁вое нную", + "== ==", + "▁товари ща", + "▁товарищ а", + "це ры", + "цер ы", + "ц еры", + "▁пока зывают", + "▁показыва ют", + "▁разви вается", + "▁развива ется", + "▁сотруд ник", + "▁сотрудни к", + "▁распростра нения", + "▁рабо чей", + "▁соответ ствующих", + "▁соответству ющих", + "▁л я", + "▁ ля", + "дно сти", + "д ности", + "▁Дру гой", + "▁Друго й", + "но ма", + "ном а", + "▁Г оло", + "▁Го ло", + "▁Гол о", + "▁сотруд ничества", + "▁сотрудни чества", + "▁династи и", + "A P", + "▁Са ха", + "▁вся кой", + "▁П я", + "▁profess ional", + "▁profession al", + "́ й", + "▁ре альной", + "▁реаль ной", + "▁реа льной", + "▁реально й", + "▁До нец", + "▁Дон ец", + "▁от лично", + "▁отли чно", + "as tern", + "ast ern", + "aster n", + "▁искус стве", + "▁искусств е", + "▁c ause", + "▁caus e", + "▁ви нова", + "▁вино ва", + "▁винов а", + "▁учре ждений", + "▁На вер", + "▁ч ём", + "▁ чём", + "▁по ловину", + "▁поло вину", + "▁полови ну", + "▁исто чника", + "▁источ ника", + "▁источник а", + "▁Воро не", + "▁Ворон е", + "▁Вор оне", + "▁D is", + "▁Di s", + "▁па рень", + "▁пар ень", + "▁паре нь", + "▁во зь", + "▁воз ь", + "▁ возь", + "▁требу ют", + "▁про ходили", + "▁проходил и", + "▁проходи ли", + "▁проход или", + "▁прохо дили", + "▁r u", + "▁ ru", + "▁за мок", + "▁зам ок", + "▁замо к", + "за виси", + "▁lim ited", + "▁limit ed", + "▁П ен", + "▁Пе н", + "▁здраво охра", + "ль ников", + "льник ов", + "▁ра ду", + "▁рад у", + "▁influ ence", + "▁стоя ла", + "▁стоял а", + "▁с вяз", + "▁свя з", + "▁св яз", + "n y", + "ве ди", + "вед и", + "в еди", + "▁ока жется", + "▁защи те", + "▁защит е", + "▁убий ство", + "▁энер го", + "▁по недель", + "ed s", + "▁is land", + "грам мы", + "грамм ы", + "▁фо нда", + "▁фон да", + "▁фонд а", + "ua n", + "u an", + "▁про ведение", + "▁прове дение", + "▁проведе ние", + "▁спи ске", + "▁с р", + "▁на зем", + "▁наз ем", + "▁Д ани", + "▁Да ни", + "▁Дан и", + "писа ние", + "▁P enn", + "▁Pen n", + "▁раз меры", + "▁разме ры", + "▁размер ы", + "ща дь", + "▁внеш них", + "ше нь", + "шен ь", + "ш ень", + "▁вто рым", + "▁вторы м", + "▁ма сштаб", + "▁масшта б", + "▁ф лаг", + "▁фла г", + "▁а нге", + "▁анг е", + "▁ан ге", + "▁c ustom", + "▁вз гляды", + "▁взгля ды", + "▁взгляд ы", + "▁y et", + "л к", + "▁еписко п", + "▁наблюда ется", + "▁п ить", + "▁пи ть", + "▁ пить", + "od es", + "ode s", + "o des", + "▁Эду ар", + "▁B attle", + "▁Batt le", + "▁Bat tle", + "▁способ ов", + "▁спосо бов", + "miss ion", + "m ission", + "▁cand id", + "tain ed", + "ta ined", + "t ained", + "▁С ек", + "▁Се к", + "▁органи зацию", + "▁организа цию", + "▁великоле п", + "▁велико леп", + "or ning", + "orn ing", + "▁при ся", + "▁прис я", + "И Ч", + "▁архитек тур", + "▁хи щ", + "▁персона жа", + "▁персонаж а", + "А Л", + "▁мероприя тий", + "▁пыта ются", + "евич а", + "е вича", + "▁пол ным", + "▁отве чал", + "▁отвеча л", + "▁А ле", + "▁Ал е", + "▁ро с", + "▁р ос", + "▁ рос", + "▁proble ms", + "▁problem s", + "ot a", + "o ta", + "▁ки ше", + "чник и", + "чни ки", + "ч ники", + "▁улы ба", + "▁улыб а", + "▁ма сс", + "▁поверх но", + "▁м э", + "▁капита на", + "▁капитан а", + "▁капи тана", + "▁ма ссив", + "▁масси в", + "▁масс ив", + "▁X II", + "▁XI I", + "▁did n", + "▁на правля", + "▁напра вля", + "стре чу", + "▁смотри т", + "▁слу чая", + "▁случа я", + "▁Г ай", + "▁Га й", + "▁си я", + "▁ сия", + "▁в торо", + "▁вто ро", + "▁втор о", + "▁Y ear", + "▁увели чение", + "▁увеличе ние", + "▁te ac", + "▁раз дел", + "▁разде л", + "▁min utes", + "▁minute s", + "на ру", + "нар у", + "▁раз ря", + "▁col lege", + "▁colle ge", + "▁не вероят", + "че нную", + "чен ную", + "▁со ж", + "▁т ря", + "▁тр я", + "▁ тря", + "it ation", + "ita tion", + "ня ла", + "нял а", + "▁ro ute", + "ra st", + "ras t", + "r ast", + "▁пере рабо", + "en c", + "▁Фран цуз", + "▁c arry", + "▁car ry", + "ти ра", + "тир а", + "▁Sec ond", + "ру ющих", + "рую щих", + "▁тра кта", + "▁трак та", + "▁пре мия", + "шко в", + "ш ков", + "то сти", + "▁попыта лся", + "▁попы тался", + "он ер", + "оне р", + "о нер", + "▁безу словно", + "▁безуслов но", + "▁w ords", + "▁word s", + "из вест", + "ст ского", + "с тского", + "▁F ore", + "▁For e", + "ol k", + "▁си дит", + "нача лу", + "▁ж ду", + "▁ жду", + "▁Ро ма", + "▁су дить", + "▁суд ить", + "▁бое припа", + "▁en ergy", + "▁восто ке", + "▁восток е", + "▁ востоке", + "kn own", + "know n", + "▁Б он", + "▁Бо н", + "▁мел кие", + "▁ми сси", + "▁най де", + "же нность", + "жен ность", + "женно сть", + "▁Ш ек", + "▁Ше к", + "▁т рам", + "▁тра м", + "▁тр ам", + "▁F ilm", + "▁Ital ian", + "▁повы шение", + "▁Израи ля", + "on a", + "o na", + "ли лись", + "лили сь", + "бл а", + "б ла", + "ol a", + "o la", + "▁laun ched", + "▁launch ed", + "▁activ ities", + "▁ри со", + "▁рис о", + "▁ рисо", + "▁пере пи", + "▁во шла", + "нс кое", + "н ское", + "вре мен", + "вр емен", + "в ремен", + "▁об рабаты", + "▁обра баты", + "▁еди ного", + "▁едино го", + "▁уничто жить", + "▁цен ностей", + "▁ценно стей", + "яз ви", + "▁во лю", + "▁вол ю", + "▁ волю", + "▁об щие", + "▁общи е", + "▁чемпиона т", + "▁чемпион ат", + "con t", + "co nt", + "c ont", + "ho use", + "h ouse", + "▁Сле ду", + "▁След у", + "ст ности", + "стно сти", + "с тности", + "в ные", + "но вые", + "▁агент ства", + "▁уда стся", + "▁разре шение", + "до вые", + "▁major ity", + "▁О пера", + "▁Оп ера", + "ён ные", + "ё нные", + "▁I P", + "▁ IP", + "▁те ни", + "▁тен и", + "▁ин циден", + "▁M el", + "▁Me l", + "▁глу по", + "▁Б ро", + "▁O ver", + "▁пу зы", + "▁си лах", + "▁сила х", + "▁раз гро", + "▁конфи гура", + "▁си ле", + "▁сил е", + "▁не когда", + "▁неко гда", + "▁от дать", + "▁отда ть", + "▁продол жали", + "▁продолжа ли", + "▁продолжал и", + "▁восстано вить", + "▁восстанови ть", + "▁утвер ждал", + "▁утвержда л", + "▁man ufact", + "▁при йти", + "▁архи еписко", + "мс кого", + "м ского", + "▁го л", + "▁г ол", + "▁dis p", + "▁di sp", + "▁T er", + "▁Te r", + "▁челове ческих", + "▁new sp", + "▁news p", + "▁дво ров", + "▁двор ов", + "вре мя", + "в ремя", + "re land", + "rel and", + "ва емый", + "▁воору жения", + "За пад", + "▁хо тела", + "▁хоте ла", + "▁хотел а", + "Кор р", + "ун а", + "у на", + "▁за им", + "▁col on", + "▁уда ется", + "▁сти мули", + "▁стиму ли", + "▁Ме даль", + "▁Мед аль", + "▁высо ту", + "▁f t", + "▁ ft", + "▁incre asing", + "▁W ork", + "ir ing", + "i ring", + "▁золо та", + "▁добро воль", + "▁доброво ль", + "▁Ха рак", + "▁Хар ак", + "!! !", + "! !!", + "▁призна ков", + "▁признак ов", + "▁Comm ittee", + "▁С ту", + "▁Ст у", + "▁по знания", + "▁позна ния", + "▁режи ссёр", + "▁режисс ёр", + "ce l", + "c el", + "▁не кий", + "▁an al", + "▁вероятно сть", + "▁вероят ность", + "▁individual s", + "сы лки", + "▁зри телей", + "▁присвое но", + "▁бе лый", + "▁конце рт", + "▁концер т", + "▁конц ерт", + "▁Да нии", + "▁Дани и", + "▁и е", + "▁G overnment", + "▁b irth", + "▁establ ish", + "ва ющего", + "ваю щего", + "ous ly", + "ме сти", + "▁ра стя", + "▁рас тя", + "▁раст я", + "▁м н", + "ient s", + "ien ts", + "i ents", + "unic ip", + "▁А ра", + "▁Ар а", + "▁но гу", + "▁ног у", + "зре ние", + "з рение", + "▁но выми", + "▁новым и", + "▁сер ти", + "Р и", + "▁игра ют", + "▁пол тора", + "ро ванным", + "рова нным", + "рован ным", + "ве ти", + "вет и", + "в ети", + "▁K n", + "ло гом", + "лого м", + "лог ом", + "ic ation", + "ica tion", + "▁созда ли", + "▁создал и", + "▁соз дали", + "▁имуще ство", + "▁К ле", + "▁нау чного", + "▁научно го", + "▁груп по", + "▁гру ппо", + "▁групп о", + "▁це нность", + "▁цен ность", + "▁ценно сть", + "▁пере дал", + "▁перед ал", + "▁переда л", + "R e", + "▁м етра", + "▁ме тра", + "▁мет ра", + "▁ метра", + "▁large r", + "▁larg er", + "is ions", + "ision s", + "▁современ ные", + "шни й", + "ш ний", + "▁пле мян", + "▁племя н", + "▁предста влял", + "▁представля л", + "▁со рок", + "▁сор ок", + "▁Ро бер", + "▁Роб ер", + "▁на гре", + "▁наг ре", + "▁П але", + "▁Па ле", + "▁иг рок", + "▁игро к", + "▁игр ок", + "▁ф рак", + "▁фра к", + "▁не кое", + "▁неко е", + "▁J ava", + "▁Бо же", + "▁при у", + "▁сти ля", + "▁у гла", + "▁уг ла", + "▁уче ный", + "▁rem ains", + "▁remain s", + "▁к ап", + "▁ка п", + "ма л", + "м ал", + "▁обла стей", + "дя тся", + "дят ся", + "д ятся", + "▁това ры", + "▁товар ы", + "с ня", + "▁М еди", + "▁Ме ди", + "▁Мед и", + "▁празд ник", + "▁праздни к", + "▁An other", + "▁лабора тории", + "▁свя того", + "▁го рь", + "▁гор ь", + "▁ горь", + "ish op", + "ur t", + "▁но гами", + "▁нога ми", + "▁C ast", + "▁Ca st", + "▁Cas t", + "▁уче ников", + "▁ученик ов", + "▁произ водится", + "▁производ ится", + "▁производи тся", + "▁произво дится", + "▁производит ся", + "ле жа", + "ect ion", + "ec tion", + "e ction", + "вер ху", + "верх у", + "ней ший", + "▁ро дилась", + "▁роди лась", + "▁родила сь", + "ье з", + "ь ез", + "▁run s", + "▁ru ns", + "сти ке", + "стик е", + "с тике", + "▁sh own", + "▁show n", + "▁те л", + "▁ тел", + "жу р", + "ж ур", + "▁команди ром", + "▁командир ом", + "▁Э сто", + "▁гит леров", + "▁лоша дей", + "▁Анд рея", + "▁Андре я", + "▁побере жья", + "▁замести телем", + "ме нов", + "мен ов", + "▁com mission", + "▁comm ission", + "▁associ ated", + "▁quick ly", + "ста нови", + "станов и", + "стано ви", + "▁с ведений", + "▁све дений", + "▁мо менты", + "▁момент ы", + "ри ев", + "рие в", + "▁appear ance", + "▁архе ологи", + "▁еги пет", + "▁егип ет", + "▁like ly", + "▁lik ely", + "аль ного", + "ально го", + "а льного", + "▁проду кта", + "▁продук та", + "▁продукт а", + "▁з она", + "▁зо на", + "▁зон а", + "▁ зона", + "▁с права", + "▁спра ва", + "▁ро дной", + "▁род ной", + "▁ родной", + "▁Шве ции", + "к варти", + "ла на", + "лан а", + "л ана", + "▁взрос лых", + "▁сохра нения", + "дви жи", + "▁диа гности", + "▁диагно сти", + "▁сча стья", + "▁счаст ья", + "▁t rain", + "▁tra in", + "▁tr ain", + "▁канди дат", + "▁кандида т", + "го та", + "▁уча стка", + "▁участ ка", + "▁числе нность", + "▁sch ol", + "но ри", + "нор и", + "н ори", + "▁Жи знь", + "▁Жиз нь", + "▁ Жизнь", + "▁заста вляет", + "▁заставля ет", + "ди в", + "д ив", + "▁отра сли", + "▁отрас ли", + "▁дире ктором", + "▁директор ом", + "СК А", + "С КА", + "жник ов", + "ж ников", + "▁депута т", + "▁soc iety", + "сле довать", + "следова ть", + "▁произо шел", + "▁составля ло", + "▁составлял о", + "▁Фран ция", + "▁Франци я", + "▁King dom", + "до ста", + "д оста", + "▁ми рового", + "▁миро вого", + "ло жили", + "ложи ли", + "лож или", + "ложил и", + "▁посла л", + "▁Ж о", + "▁с ми", + "▁см и", + "▁ сми", + "ва ль", + "вал ь", + "в аль", + "▁стар ше", + "▁ra ised", + "▁raise d", + "▁Послед ний", + "▁П рем", + "▁Пре м", + "▁от вле", + "ше нной", + "шен ной", + "шенно й", + "▁лю бую", + "▁пла тить", + "▁плат ить", + "▁смотре л", + "бур га", + "бург а", + "▁сме сь", + "▁trans l", + "▁вели ко", + "▁велик о", + "st ant", + "▁Т я", + "▁промышлен ность", + "та в", + "т ав", + "ва емого", + "▁co ach", + "ти зма", + "тизм а", + "т изма", + "▁m ess", + "▁me ss", + "▁ин ве", + "▁Да вайте", + "ба м", + "б ам", + "▁близ ких", + "▁близки х", + "▁о сад", + "▁ос ад", + "▁оса д", + "▁у чение", + "▁уче ние", + "▁Н АТО", + "▁НА ТО", + "▁мона рхи", + "▁монар хи", + "куль тур", + "▁st atus", + "▁stat us", + "in ner", + "inn er", + "бур ге", + "бург е", + "дела ть", + "▁кри зис", + "▁кризи с", + "M L", + "▁при няла", + "▁приня ла", + "▁принял а", + "▁де лах", + "▁дела х", + "▁ле й", + "▁л ей", + "▁ лей", + "▁чрез мер", + "▁завер шения", + "▁эк стра", + "▁экс тра", + "or g", + "▁t alk", + "▁tal k", + "▁col lection", + "▁coll ection", + "▁collect ion", + "▁colle ction", + "▁по хода", + "▁похо да", + "▁поход а", + "▁пох ода", + "▁но с", + "▁н ос", + "▁ нос", + "О С", + "▁Academ y", + "▁пред стоит", + "▁w inning", + "▁win ning", + "▁о чков", + "▁ли ши", + "▁лиш и", + "▁си ло", + "▁сил о", + "▁ сило", + "▁изобре та", + "то рию", + "тори ю", + "▁К од", + "▁Ко д", + "un ction", + "unc tion", + "ad o", + "a do", + "▁ма г", + "▁независи мость", + "▁независимо сть", + "▁С тали", + "▁Ста ли", + "▁Ст али", + "▁мощ ности", + "▁Ро стов", + "▁Росто в", + "▁Рос тов", + "▁о до", + "▁од о", + "▁ одо", + "гра фа", + "граф а", + "▁У с", + "сти не", + "стин е", + "с тине", + "▁div ision", + "▁Serv ice", + "▁Ка ре", + "▁Кар е", + "▁от дел", + "▁отде л", + "Г е", + "▁ог нем", + "▁огне м", + "ро вую", + "ров ую", + "рову ю", + "▁испол нение", + "д лов", + "▁num erous", + "▁Ми ро", + "▁Мир о", + "бер на", + "хан гель", + "▁K ore", + "ch en", + "che n", + "c hen", + "▁отве ча", + "▁в ходили", + "▁вход или", + "▁входил и", + "▁входи ли", + "▁ме тео", + "он у", + "о ну", + "да тель", + "▁Во енно", + "▁Воен но", + "▁Центра льной", + "▁Центр альной", + "▁высо ким", + "не бре", + "▁be coming", + "▁becom ing", + "▁коман дования", + "▁командова ния", + "▁Кали фор", + "ко мо", + "ком о", + "▁ци та", + "бо ва", + "бов а", + "за ди", + "зад и", + "▁I S", + "▁ IS", + "▁и ску", + "▁ис ку", + "▁иск у", + "▁не ба", + "ан о", + "а но", + "▁sold iers", + "▁устано влено", + "▁установ лено", + "▁установлен о", + "▁про сил", + "▁прос ил", + "▁проси л", + "▁пред ложен", + "▁предложе н", + "▁Про це", + "▁с но", + "▁ сно", + "▁Следова тельно", + "▁бе зна", + "▁без на", + "ти ческую", + "▁воин ов", + "▁вои нов", + "▁тре тье", + "▁треть е", + "Е М", + "▁дета лей", + "▁про стых", + "▁прос тых", + "▁прост ых", + "▁просты х", + "▁раз ным", + "▁до му", + "▁дом у", + "ви с", + "в ис", + "▁ве чно", + "▁М ол", + "▁Мо л", + "▁he avy", + "▁heav y", + "у л", + "▁Константи но", + "▁Константин о", + "▁сочи нения", + "▁ан тропо", + "▁F ound", + "▁init ially", + "▁initial ly", + "▁initi ally", + "ло жена", + "ложе на", + "ложен а", + "лож ена", + "▁живо тные", + "▁живот ные", + "▁соста вляли", + "▁состав ляли", + "▁составля ли", + "▁составлял и", + "▁необходи мых", + "▁необходимы х", + "▁необходим ых", + "▁агре ссив", + "▁фигу ры", + "▁фигур ы", + "▁б рака", + "▁бра ка", + "▁брак а", + "▁Б уд", + "▁Бу д", + "▁зда нии", + "▁друзья ми", + "▁друзьям и", + "▁То ма", + "▁Том а", + "ле тел", + "лете л", + "▁n orthern", + "▁north ern", + "▁nort hern", + "▁ресур сы", + "▁ресурс ы", + "ва тель", + "▁Ф ак", + "▁Фа к", + "▁за нять", + "▁заня ть", + "▁занят ь", + "▁бит вы", + "▁ch arg", + "▁char g", + "▁разобра ться", + "▁t akes", + "▁take s", + "t ies", + "ст ря", + "стр я", + "с тря", + "▁бит ве", + "ven ue", + "Ан д", + "А нд", + "el lig", + "ell ig", + "▁фе ода", + "▁ви ру", + "▁вир у", + "▁ад ап", + "▁ада п", + "▁воен ным", + "▁вое нным", + "▁поло вина", + "▁полови на", + "▁полов ина", + "▁собира ется", + "▁Но вой", + "▁Ново й", + "▁Нов ой", + "▁во доро", + "▁водо ро", + "▁карь еры", + "▁Ру сской", + "▁Рус ской", + "▁ак тивность", + "▁актив ность", + "▁активно сть", + "▁мани пу", + "ru pt", + "rup t", + "то вый", + "▁ст оло", + "▁сто ло", + "▁стол о", + "гря з", + "гр яз", + "▁язы ки", + "▁язык и", + "z a", + "▁А да", + "▁Ад а", + "▁ча стных", + "▁част ных", + "▁час тных", + "си пе", + "en th", + "ent h", + "▁стар шего", + "▁старше го", + "in et", + "ine t", + "i net", + "I V", + "▁Tex as", + "зи а", + "▁ре шает", + "▁реша ет", + "▁стол кну", + "▁столк ну", + "жд о", + "ж до", + "▁проис хождение", + "▁происхо ждение", + "Петербур ге", + "Петербург е", + "▁кар ту", + "▁карт у", + "▁кине мато", + "▁ста нут", + "▁стан ут", + "▁стану т", + "▁he art", + "▁hear t", + "▁про сит", + "▁прос ит", + "▁проси т", + "▁за няла", + "▁заня ла", + "▁занял а", + "▁обра зы", + "▁образ ы", + "▁со бора", + "▁собо ра", + "▁собор а", + "мо ро", + "мор о", + "▁готов ности", + "пт е", + "п те", + "▁обсу жда", + "▁in n", + "▁ inn", + "▁n ature", + "лу б", + "зы вает", + "зыва ет", + "▁благо да", + "▁бла года", + "▁ благода", + "lo ad", + "l oad", + "▁ци кл", + "▁распо зна", + "▁под пи", + "▁en em", + "▁m akes", + "▁make s", + "▁Па вла", + "▁Пав ла", + "▁де кла", + "▁по строена", + "▁построе на", + "▁постро ена", + "▁построен а", + "▁P ac", + "▁c rew", + "▁cre w", + "▁cr ew", + "▁ор гана", + "▁орга на", + "▁орган а", + "ти ну", + "тин у", + "▁мно гими", + "▁многи ми", + "▁многим и", + "▁с ете", + "▁се те", + "▁сет е", + "▁зна ла", + "▁знал а", + "▁s outhern", + "▁south ern", + "ad a", + "a da", + "▁ма нев", + "▁мане в", + "▁смо гла", + "▁смог ла", + "▁отсут ствии", + "▁О Б", + "▁ ОБ", + "▁отсут ствует", + "▁по шла", + "▁пош ла", + "▁выступа ть", + "▁program s", + "фф и", + "ф фи", + "о к", + "▁independ ent", + "▁с бли", + "▁предше ствен", + "га й", + "г ай", + "▁проис ходят", + "▁происхо дят", + "▁происходя т", + "▁f ederal", + "▁p ath", + "▁pat h", + "▁ path", + "▁оши бо", + "▁ошиб о", + "▁O ut", + "▁кре пость", + "▁крепо сть", + "▁ве дения", + "▁ ведения", + "нё м", + "н ём", + "ис следователь", + "▁ко ры", + "▁кор ы", + "▁Госпо дь", + "▁круп ный", + "▁органи зовать", + "▁организова ть", + "▁мо били", + "▁моби ли", + "▁подготов ку", + "▁подгото вку", + "▁М ей", + "▁Ме й", + "▁Angel es", + "▁напря жение", + "▁appro x", + "▁Виль гель", + "▁вы деле", + "▁выде ле", + "▁Ста тья", + "ще нного", + "щен ного", + "щенно го", + "▁F ace", + "▁Fa ce", + "▁обе зья", + "▁обез ья", + "▁m ention", + "▁men tion", + "▁ment ion", + "an ta", + "ant a", + "▁ж дет", + "▁К лю", + "▁та нка", + "▁тан ка", + "▁танк а", + "▁у мол", + "▁ум ол", + "▁умо л", + "▁увеличи ть", + "▁увели чить", + "▁бе лые", + "ha t", + "h at", + "▁го лланд", + "▁гол ланд", + "▁лоша ди", + "▁и ным", + "▁ко эффици", + "ri m", + "r im", + "▁С коро", + "▁Ско ро", + "О М", + "▁об щая", + "▁общ ая", + "▁дол г", + "▁до мини", + "▁доми ни", + "ти но", + "тин о", + "т ино", + "▁b ox", + "▁bo x", + "▁ box", + "▁мыш цы", + "▁мышц ы", + "▁приро ду", + "▁природ у", + "д ную", + "▁г рана", + "▁гра на", + "▁гран а", + "▁гр ана", + "▁про йдет", + "▁прой дет", + "▁aff ect", + "су ди", + "▁реги стра", + "▁near ly", + "Б и", + "жа лся", + "жал ся", + "▁с лева", + "▁сле ва", + "▁сл ева", + "▁револю ция", + "▁need ed", + "▁ме няется", + "▁меня ется", + "▁меняет ся", + "se e", + "s ee", + "С та", + "▁про чие", + "▁прочи е", + "▁ба зу", + "▁баз у", + "▁приви ле", + "▁восстано вления", + "▁до ля", + "▁дол я", + "▁рас ходов", + "▁расхо дов", + "▁расход ов", + "▁ре пута", + "▁м емо", + "▁ме мо", + "▁мем о", + "▁des pite", + "▁норма льно", + "▁норм ально", + "▁g re", + "▁gr e", + "▁обо рони", + "▁оборо ни", + "▁оборон и", + "чи лась", + "чила сь", + "▁вы шло", + "▁ком панию", + "▁компа нию", + "▁O ld", + "▁Ol d", + "▁Е лена", + "▁Еле на", + "lig ht", + "l ight", + "▁У че", + "▁Уч е", + "▁прав ду", + "тив ности", + "тивно сти", + "▁непо дви", + "▁непод ви", + "▁судь бу", + "▁пере вода", + "▁перево да", + "▁перевод а", + "▁мы слей", + "▁мыс лей", + "▁мысле й", + "▁На таль", + "▁Ната ль", + "in ux", + "inu x", + "▁бы вших", + "om s", + "o ms", + "▁un it", + "▁вы дели", + "▁выде ли", + "il led", + "ill ed", + "ille d", + "про ек", + "Т ы", + "▁вы пи", + "▁Но вая", + "▁Нов ая", + "▁rel ated", + "▁ related", + "▁set tle", + "▁sett le", + "шки н", + "ш кин", + "▁the ory", + "▁ди ри", + "▁форми рование", + "▁прави тельством", + "▁правитель ством", + "▁правительство м", + "▁пре обра", + "▁ad j", + "▁B ook", + "▁Bo ok", + "▁ком фор", + "▁ph il", + "▁реак ция", + "ка ют", + "en ing", + "e ning", + "спи ра", + "с пира", + "▁ло жки", + "▁man ager", + "▁manag er", + "▁Э тим", + "▁Эти м", + "▁ак цен", + "▁ори ента", + "▁ориен та", + "ще нно", + "щен но", + "щ енно", + "▁в вести", + "▁поки нуть", + "▁живо тного", + "▁живот ного", + "▁животно го", + "чь е", + "ч ье", + "▁тор пе", + "▁кли ента", + "▁клиен та", + "▁клиент а", + "▁M os", + "▁Mo s", + "▁сто ла", + "▁стол а", + "▁r ap", + "▁ra p", + "▁ rap", + "ab les", + "able s", + "abl es", + "▁S S", + "▁ SS", + "▁d ire", + "▁di re", + "▁принима ют", + "образи е", + "▁те сто", + "▁тест о", + "▁реши тельно", + "▁но вому", + "▁ново му", + "▁новом у", + "▁ новому", + "▁вы числи", + "▁комп енса", + "▁компе нса", + "▁ко мите", + "▁коми те", + "▁c le", + "▁cl e", + "▁ cle", + "▁вол ну", + "▁волн у", + "▁коман довал", + "▁командова л", + "ми та", + "мит а", + "▁созна нии", + "▁су дно", + "▁суд но", + "▁бо льного", + "▁боль ного", + "▁больно го", + "ре ли", + "▁pro posed", + "▁propos ed", + "▁об щины", + "▁общи ны", + "▁общ ины", + "▁общин ы", + "▁мар кет", + "Е К", + "▁ду ш", + "▁ душ", + "▁государ ством", + "▁государство м", + "▁государств ом", + "▁и ко", + "▁А га", + "▁ча стях", + "▁част ях", + "▁час тях", + "▁по няли", + "▁поня ли", + "▁понял и", + "▁пон яли", + "▁на гля", + "▁наг ля", + "▁потреб ность", + "ча м", + "ч ам", + "▁реда ктор", + "▁редак тор", + "▁обо йти", + "▁обой ти", + "▁proble m", + "ist an", + "ista n", + "▁O l", + "▁практи ку", + "▁прак тику", + "▁предприя тие", + "▁Л ав", + "▁Ла в", + "ча ются", + "чают ся", + "▁За пада", + "▁Запад а", + "▁Запа да", + "ну ло", + "нул о", + "▁описы вает", + "▁ко жу", + "▁чита теля", + "▁до клад", + "▁докла д", + "▁док лад", + "▁Ре чь", + "▁про теста", + "▁проте ста", + "▁протест а", + "▁полу чится", + "▁получи тся", + "▁получит ся", + "▁колле ги", + "▁коллег и", + "▁ч тения", + "▁чте ния", + "ба т", + "б ат", + "▁ко жа", + "▁Нидер лан", + "р ная", + "▁S pe", + "▁Sp e", + "▁ф лан", + "▁фла н", + "▁веду щих", + "ма м", + "м ам", + "▁ли деров", + "▁лидер ов", + "▁лиде ров", + "▁гла вная", + "▁глав ная", + "▁способ ствует", + "▁пере воде", + "▁перево де", + "▁перевод е", + "\". [", + "\" .[", + "▁во зме", + "▁воз ме", + "▁F re", + "▁Про фе", + "▁de ep", + "▁P re", + "▁Pr e", + "▁Г У", + "▁ ГУ", + "▁е хать", + "▁еха ть", + "▁ ехать", + "▁bl ood", + "логи ческих", + "▁тот час", + "г р", + "▁голо сом", + "▁голос ом", + "▁голосо м", + "▁se a", + "▁воспомина ния", + "▁film s", + "▁fil ms", + "▁э го", + "но вей", + "нов ей", + "нове й", + "▁меха низма", + "▁механи зма", + "▁механизм а", + "▁истори ческого", + "пол номо", + "▁p ick", + "▁си льным", + "▁силь ным", + "▁высо та", + "▁демон стра", + "▁при говор", + "▁пригово р", + "▁приго вор", + "( '", + "фра н", + "ф ран", + "▁Оль га", + "▁покло н", + "▁во йн", + "▁вой н", + "шн и", + "ш ни", + "▁S un", + "▁Su n", + "▁ме ню", + "▁мен ю", + "▁спи ска", + "▁ком пе", + "▁комп е", + "▁Д жек", + "▁Дж ек", + "▁Дже к", + "▁min or", + "▁p sych", + "▁compet ition", + "▁d epend", + "▁de pend", + "▁dep end", + "▁сдела ла", + "▁сделал а", + "▁сдел ала", + "▁способ но", + "▁д ала", + "▁да ла", + "▁дал а", + "▁ дала", + "▁массо вой", + "ск ре", + "с кре", + "▁pl ans", + "▁plan s", + "▁Бы ла", + "▁Был а", + "en ty", + "ent y", + "вле нная", + "влен ная", + "в ленная", + "▁w alk", + "▁полно цен", + "▁m om", + "▁дви гаться", + "▁двига ться", + "но ра", + "нор а", + "▁beh av", + "▁жерт в", + "▁m ale", + "▁д не", + "▁ дне", + "▁ch ief", + "▁обстоятельства х", + "▁Ав стрии", + "бы л", + "▁w ide", + "▁wid e", + "▁ wide", + "▁бе рет", + "▁бере т", + "▁бер ет", + "со зда", + "▁про чим", + "▁прочи м", + "▁проч им", + "▁дополни тельных", + "▁M ill", + "▁Mil l", + "▁рабо тах", + "▁работа х", + "гна ть", + "▁об щую", + "▁общ ую", + "ко ву", + "ков у", + "▁а трибу", + "▁вос точной", + "▁восто чной", + "▁ восточной", + "из о", + "и зо", + "▁зву ки", + "▁звук и", + "си ло", + "сил о", + "ко ри", + "кор и", + "к ори", + "но р", + "н ор", + "▁дви жений", + "▁B rown", + "▁Bro wn", + "▁Br own", + "be d", + "b ed", + "▁по чет", + "▁поч ет", + "▁поче т", + "▁и зя", + "▁из я", + "▁ле чение", + "ut ch", + "зе нта", + "зен та", + "з ента", + "▁order ed", + "▁ord ered", + "▁spec ific", + "му а", + "м уа", + "▁s hips", + "▁sh ips", + "▁ship s", + "▁про дю", + "▁прод ю", + "▁so ft", + "▁ soft", + "▁вы рос", + "▁выро с", + "▁выр ос", + "▁си льное", + "▁сильно е", + "▁силь ное", + "ре нного", + "рен ного", + "ренно го", + "вно му", + "в ному", + "▁анг ло", + "▁ан гло", + "▁англ о", + "ти п", + "▁ра спа", + "▁рас па", + "ме ха", + "м еха", + "▁ли хо", + "в ных", + "▁Ново сибир", + "▁ры но", + "пле ние", + "п ление", + "▁захва ты", + "▁захват ы", + "▁прось бой", + "ши ны", + "шин ы", + "ш ины", + "ra s", + "r as", + "ac ing", + "a cing", + "▁по езда", + "▁поезд а", + "▁поез да", + "▁пое зда", + "▁бес созна", + "▁бессо зна", + "же р", + "ж ер", + "▁из ъя", + "▁изъ я", + "▁п род", + "▁про д", + "▁пр од", + "▁при знание", + "▁призна ние", + "f it", + "▁то ка", + "▁ток а", + "▁ тока", + "▁дей ствием", + "▁действи ем", + "▁действие м", + "▁L ord", + "▁Lo rd", + "▁особы й", + "▁с ани", + "▁са ни", + "▁сан и", + "▁С тан", + "▁Ста н", + "▁Ст ан", + "▁ди стан", + "▁дис тан", + "▁pl at", + "ре ть", + "рет ь", + "р еть", + "▁су дна", + "▁суд на", + "▁по пали", + "▁попа ли", + "▁попал и", + "▁поп али", + "▁ци линд", + "▁Ви ди", + "▁Вид и", + "B A", + "l a", + "▁вне шнего", + "▁внеш него", + "▁внешне го", + "▁не пол", + "▁непо л", + "▁кли ент", + "▁клиен т", + "▁жен щину", + "▁женщи ну", + "▁женщин у", + "се риа", + "▁па рк", + "▁пар к", + "▁рус ская", + "▁Со ответ", + "▁B oard", + "▁Bo ard", + "▁исследова тели", + "▁X III", + "▁XI II", + "▁XII I", + "▁су щность", + "▁сущ ность", + "▁чле нами", + "▁члена ми", + "▁членам и", + "▁ле к", + "▁л ек", + "▁ лек", + "ко то", + "кот о", + "Е Й", + "▁соста вила", + "▁состав ила", + "▁составил а", + "▁Brit ain", + "▁принима ли", + "▁принимал и", + "▁вы шед", + "▁выше д", + "ме ны", + "мен ы", + "▁министер ства", + "▁Dem ocr", + "д зи", + "▁хоро шего", + "▁поо щ", + "ве ду", + "вед у", + "▁R os", + "▁Ro s", + "▁S ur", + "▁Su r", + "▁извест ным", + "▁известны м", + "▁изве стным", + "▁Jew ish", + "▁L ake", + "▁La ke", + "зы ка", + "N A", + "▁Анато лий", + "▁рас пада", + "▁распа да", + "▁ди зай", + "▁диза й", + "▁M ore", + "▁Mor e", + "▁Mo re", + "▁com mit", + "▁comm it", + "▁cit iz", + "▁Russ ia", + "▁Mart in", + "ве е", + "би тра", + "бит ра", + "▁зако ну", + "▁закон у", + "▁зак ону", + "▁счита я", + "▁У ча", + "▁Уч а", + "▁пи ро", + "▁пир о", + "▁экспер ти", + "▁ре же", + "▁Б ара", + "▁Ба ра", + "▁Бар а", + "▁по га", + "▁да та", + "▁дат а", + "▁про смо", + "▁прос мо", + "▁да ст", + "▁Не льзя", + "▁continu e", + "▁contin ue", + "▁телеви зион", + "▁cond itions", + "▁condition s", + "▁con fl", + "▁conf l", + "▁из делия", + "▁изде лия", + "▁издели я", + "жи на", + "жин а", + "ж ина", + "▁кора бле", + "▁m ind", + "▁min d", + "▁mi nd", + "ре к", + "р ек", + "▁el se", + "ue en", + "u een", + "ri g", + "r ig", + "▁p il", + "▁от дал", + "▁отда л", + "▁понима ют", + "▁понимаю т", + "▁эффек тивности", + "▁эффектив ности", + "▁эффективно сти", + "▁к аль", + "▁ка ль", + "▁бы ст", + "▁американ ские", + "▁америка нские", + "▁ва жную", + "▁важ ную", + "▁еди ниц", + "▁едини ц", + "▁до пу", + "▁маль чи", + "об а", + "о ба", + "не сения", + "несе ния", + "▁Бела ру", + "▁компью тера", + "▁компьютер а", + "▁de part", + "▁dep art", + "▁полу чение", + "жё нных", + "жён ных", + "ж ённых", + "in gu", + "ing u", + "К И", + "▁разви тием", + "▁развитие м", + "▁а лле", + "▁ал ле", + "ма ном", + "ман ом", + "▁ку би", + "▁го мо", + "▁med ical", + "▁s ays", + "▁say s", + "▁Институ та", + "▁Институт а", + "▁схе мы", + "▁сх емы", + "а п", + "sh ip", + "s hip", + "▁се дь", + "▁сед ь", + "же нное", + "жен ное", + "женно е", + "▁Д она", + "▁До на", + "▁Дон а", + "▁де пре", + "▁В ходит", + "▁вы делить", + "▁выде лить", + "▁выдели ть", + "co l", + "c ol", + "▁подро ст", + "▁социаль ные", + "▁соци альные", + "▁х ристи", + "▁воспита ния", + "охра ни", + "о храни", + "▁вели ких", + "▁велик их", + "▁о бря", + "▁об ря", + "▁b omb", + "▁bo mb", + "▁выз ван", + "▁вызва н", + "▁bel ow", + "▁оде жду", + "▁M ur", + "▁Mu r", + "▁в етра", + "▁ве тра", + "▁вет ра", + "стро ить", + "строи ть", + "▁ак кура", + "▁акку ра", + "зи с", + "з ис", + "▁рай оны", + "▁район ы", + "▁граду сов", + "ar ian", + "ari an", + "aria n", + "a rian", + "▁во зна", + "▁воз на", + "мер ть", + "▁V III", + "▁VI II", + "▁VII I", + "рно е", + "р ное", + "▁по лё", + "▁пол ё", + "▁зага до", + "▁B ank", + "▁с клад", + "▁ск лад", + "▁скла д", + "▁неме цкие", + "▁немец кие", + "▁we ap", + "▁не движи", + "ле вой", + "лев ой", + "л евой", + "ul f", + "▁по йдет", + "▁пой дет", + "ex t", + "e xt", + "or al", + "ora l", + "o ral", + "▁обнаружи ть", + "▁обнару жить", + "▁предме том", + "▁предмет ом", + "▁раз ума", + "▁разу ма", + "▁разум а", + "▁m arriage", + "▁кар дина", + "▁offic ers", + "▁officer s", + "▁r i", + "▁ ri", + "▁ar ran", + "▁arr an", + "▁промежу то", + "▁под нять", + "▁подня ть", + "▁опти ма", + "▁са хара", + "▁саха ра", + "▁сахар а", + "▁sc ene", + "▁Ко лум", + "▁Кол ум", + "Т И", + "▁о же", + "▁проек ту", + "▁проект у", + "▁же нился", + "▁жен ился", + "▁жени лся", + "▁ос новой", + "▁основ ой", + "▁осно вой", + "▁осново й", + "▁Вели кий", + "▁использова лись", + "▁использовали сь", + "de n", + "d en", + "де ление", + "деле ние", + "▁Есте ственно", + "▁да вали", + "▁дав али", + "▁давал и", + "▁да ёт", + "▁com ment", + "▁comm ent", + "▁бес смысле", + "▁бесс мысле", + "▁клю ч", + "▁ро до", + "▁род о", + "▁р одо", + "▁учеб ных", + "▁Яро слав", + "▁Яросла в", + "▁ли ний", + "▁ту ман", + "ль тра", + "льт ра", + "au d", + "a ud", + "▁high est", + "▁hig hest", + "▁осторо жно", + "▁C arl", + "▁Car l", + "n o", + "▁ожида ть", + "▁ожи дать", + "▁Лон дон", + "П К", + "▁m iddle", + "at ively", + "ative ly", + "▁П рак", + "▁Пра к", + "ди к", + "▁нав стречу", + "▁моде лей", + "▁зем ной", + "▁кон вер", + "ру ющие", + "рую щие", + "аль ной", + "ально й", + "а льной", + "ic ient", + "▁man agement", + "▁manag ement", + "▁со чув", + "▁Бер лине", + "▁Берлин е", + "▁и зд", + "▁из д", + "▁двор ца", + "▁у пал", + "▁упа л", + "▁поддержи вает", + "▁P an", + "са л", + "с ал", + "▁Геор гий", + "▁Георги й", + "▁бе жать", + "▁вы р", + "▁говори ла", + "▁говорил а", + "▁говор ила", + "▁гово рила", + "▁аль бом", + "▁альбо м", + "▁двига тель", + "▁непре менно", + "▁пи сем", + "▁бак тери", + "▁твор чество", + "C C", + "▁зе ни", + "in ct", + "inc t", + "▁пре небре", + "▁са мыми", + "▁самы ми", + "▁самым и", + "▁с пер", + "▁спе р", + "▁совер ши", + "▁пей за", + "▁Ис тори", + "▁Исто ри", + "▁учили ща", + "▁зву чит", + "▁pres ented", + "▁present ed", + "▁авто рите", + "▁автори те", + "▁О преде", + "▁n ames", + "▁name s", + "▁го рах", + "▁гора х", + "▁ба шни", + "▁баш ни", + "▁вер сию", + "▁верси ю", + "▁ро ты", + "▁рот ы", + "▁э тни", + "▁М ур", + "▁Му р", + "ск лю", + "с клю", + "▁R o", + "▁вы воды", + "▁выво ды", + "▁вывод ы", + "▁опыт ом", + "▁опы том", + "▁оста вались", + "ли с", + "л ис", + "▁ин туи", + "▁c ell", + "▁ce ll", + "▁ cell", + "▁неф тя", + "▁кра ю", + "▁S il", + "▁Si l", + "▁За слу", + "чко м", + "ч ком", + "тера тур", + "▁b rief", + "▁br ief", + "▁за меня", + "▁заме ня", + "▁зам еня", + "T P", + "▁при ложений", + "▁футбо ли", + "▁фут боли", + "▁футбол и", + "▁необходи мым", + "▁необходимы м", + "▁по слан", + "▁пос лан", + "▁посла н", + "▁десяти летия", + "▁десятиле тия", + "▁Е льци", + "▁F lor", + "▁Fl or", + "▁кру га", + "▁круг а", + "ro r", + "r or", + "▁с сыла", + "▁ссы ла", + "▁пожалуй ста", + "▁Cl ass", + "▁leg isl", + "▁раз мно", + "li b", + "l ib", + "▁до воль", + "▁дово ль", + "▁ доволь", + "▁Афри ке", + "▁Аф рике", + "▁пы таясь", + "▁пыта ясь", + "▁Ве роятно", + "▁погиб ших", + "▁Иоан на", + "▁Иоанн а", + "▁до хода", + "▁доход а", + "▁сло жные", + "▁с ъем", + "▁съ ем", + "▁съе м", + "ound s", + "N o", + "▁пере хва", + "▁ведом ства", + "▁result s", + "▁Тру да", + "▁тю рем", + "ми й", + "ви чем", + "вич ем", + "ia nt", + "ian t", + "i ant", + "▁до ми", + "▁дом и", + "▁о правда", + "▁оп равда", + "▁оправ да", + "▁продол жил", + "▁продолжи л", + "▁Оче видно", + "ро валось", + "рова лось", + "ровало сь", + "▁Финля ндии", + "▁заня тий", + "▁реб ён", + "▁Извест но", + "▁мя са", + "▁мяс а", + "▁д ок", + "▁до к", + "▁ док", + "м бу", + "▁то чке", + "▁точ ке", + "▁дву м", + "▁вы тес", + "▁go als", + "▁goal s", + "▁НК ВД", + "▁про спек", + "▁М ая", + "▁Ма я", + "▁дра мати", + "▁драма ти", + "▁обстанов ке", + "ме и", + "▁пре стол", + "▁престо л", + "дер жки", + "держ ки", + "▁не ле", + "ст рова", + "стро ва", + "стров а", + "д ня", + "▁сы новей", + "▁сынов ей", + "жерт во", + "жер тво", + "▁Ат ланти", + "▁У м", + "▁in te", + "▁int e", + "▁кон тей", + "▁бе лого", + "▁бело го", + "ма нской", + "ман ской", + "▁ма лых", + "▁малы х", + "▁се г", + "ат ра", + "атр а", + "а тра", + "вшем ся", + "ке ра", + "кер а", + "к ера", + "▁При нима", + "▁до во", + "▁ дово", + "▁I reland", + "ric ult", + "▁служ ба", + "▁служб а", + "▁ служба", + "ви лось", + "вило сь", + "▁Canad ian", + "▁послед нем", + "▁А нны", + "▁Ан ны", + "▁h undred", + "▁agre ed", + "▁mag azine", + "▁Т вер", + "▁рус ско", + "полков ник", + "▁последова тельно", + "▁По льше", + "▁Поль ше", + "▁про дав", + "▁прода в", + "▁прод ав", + "Ди на", + "Д ина", + "Е Д", + "ra te", + "rat e", + "r ate", + "▁ли тов", + "▁на строение", + "▁настрое ние", + "▁p rop", + "▁pro p", + "▁pr op", + "▁h ands", + "▁hand s", + "ad y", + "▁dis play", + "▁disp lay", + "▁фами лии", + "▁Григо рий", + "▁ко али", + "▁преимуще ства", + "▁оцен ку", + "▁оце нку", + "me t", + "m et", + "▁с еры", + "▁се ры", + "▁сер ы", + "▁ серы", + "ди ло", + "дил о", + "et her", + "eth er", + "e ther", + "ти лось", + "тило сь", + "▁M ot", + "▁Mo t", + "▁Ме то", + "▁Мет о", + "кон тро", + "▁ла уре", + "▁u t", + "▁ ut", + "▁останови ть", + "▁останов ить", + "▁остано вить", + "сло вия", + "слови я", + "восто ке", + "восток е", + "▁ло б", + "▁л об", + "▁дума ет", + "ic an", + "ica n", + "i can", + "ци онеров", + "цио неров", + "ционе ров", + "ционер ов", + "во и", + "▁Car ol", + "▁Ca rol", + "зи ей", + "▁апо сто", + "▁Свя той", + "▁Свято й", + "▁K e", + "тко м", + "тк ом", + "т ком", + "▁любо вью", + "▁любовь ю", + "▁любов ью", + "▁ч ерт", + "▁че рт", + "▁чер т", + "▁то вара", + "▁това ра", + "▁товар а", + "E D", + "▁обы чных", + "▁sc reen", + "▁n ation", + "▁P ublic", + "́ р", + "▁фак тов", + "▁факт ов", + "▁основ ная", + "▁осно вная", + "▁на бира", + "▁наби ра", + "▁состоя лось", + "▁состояло сь", + "ль и", + "л ьи", + "en es", + "ene s", + "e nes", + "▁сто лом", + "▁стол ом", + "▁столо м", + "▁ста били", + "▁стаби ли", + "▁с фе", + "▁сф е", + "▁опубли ковал", + "▁опублико вал", + "▁опубликова л", + "▁наказа ние", + "▁Ч ет", + "▁Че т", + "сс ор", + "ссо р", + "с сор", + "▁ч лена", + "▁чле на", + "▁член а", + "▁зам кну", + "рав ни", + "ти зм", + "т изм", + "▁пехо ты", + "▁e ss", + "▁es s", + "▁ ess", + "▁s al", + "▁обо га", + "▁учиты вать", + "▁дей ствуют", + "▁действу ют", + "ia s", + "i as", + "зи ра", + "тре ть", + "тр еть", + "трет ь", + "т реть", + "ству я", + "▁эта па", + "▁этап а", + "▁против ник", + "▁с держа", + "▁уча стки", + "▁участ ки", + "лле ра", + "лл ера", + "ллер а", + "л лера", + "ра ль", + "рал ь", + "р аль", + "▁О каза", + "▁The ir", + "▁мини стров", + "▁министр ов", + "ac he", + "ach e", + "a che", + "ко лов", + "коло в", + "кол ов", + "▁парт нера", + "▁партнер а", + "▁го дам", + "▁года м", + "▁год ам", + "▁про ле", + "▁пр оле", + "дно му", + "дном у", + "д ному", + "▁ш ля", + "▁Г ам", + "▁Га м", + "▁ри туа", + "▁рит уа", + "▁внутрен ние", + "▁соб ственным", + "▁собствен ным", + "▁ва жный", + "▁важ ный", + "▁важны й", + "▁d ed", + "▁de d", + "▁встре тил", + "▁D ev", + "▁De v", + "▁одинако во", + "▁зву ча", + "▁у ехал", + "▁объ ё", + "▁targ et", + "т с", + "▁ран них", + "▁в ред", + "▁вре д", + "▁вр ед", + "▁squ ad", + "▁ф ре", + "▁ фре", + "▁д ар", + "▁да р", + "▁ дар", + "▁Мар га", + "▁при меры", + "▁пример ы", + "▁приме ры", + "▁прим еры", + "ат р", + "а тр", + "зе л", + "▁) .", + "▁ ).", + "▁O f", + "▁раз ъяс", + "▁разъ яс", + "▁За паде", + "▁Запад е", + "▁Запа де", + "▁особенно стей", + "▁особен ностей", + "▁вы числе", + "▁ак тер", + "▁акт ер", + "▁пре мию", + "▁пара ш", + "▁вы зо", + "▁выз о", + "▁V er", + "▁Ve r", + "▁окре стно", + "де нием", + "дение м", + "▁d omin", + "▁do min", + "▁dom in", + "ней шим", + "▁фи ло", + "▁На пом", + "▁сте не", + "▁стен е", + "▁бра тья", + "▁брат ья", + "▁брать я", + "же нности", + "жен ности", + "женно сти", + "▁от се", + "▁отс е", + "for t", + "f ort", + "ys is", + "▁километ рах", + "▁километра х", + "▁пере ходит", + "▁переход ит", + "▁И бо", + "▁сту дии", + "▁х уд", + "▁ху д", + "▁ худ", + "▁нор м", + "▁у совершен", + "ил л", + "и лл", + "▁нес правед", + "ле нным", + "лен ным", + "▁противоре чи", + "▁un s", + "▁u ns", + "▁фоль кло", + "▁Mex ico", + "▁последу ющие", + "▁M o", + "▁си га", + "▁let ter", + "▁особ ых", + "▁особы х", + "Ка р", + "К ар", + "▁Sec ret", + "нин град", + "нинг рад", + "▁А ристо", + "▁Ар исто", + "▁in come", + "▁inc ome", + "▁Sc ience", + "▁С тив", + "▁Ст ив", + "▁Сти в", + "▁инициа тиве", + "ди но", + "дин о", + "д ино", + "▁подо шел", + "▁Ка кой", + "▁Как ой", + "▁при чём", + "▁l ink", + "▁пробле мой", + "▁проблем ой", + "ven tion", + "vent ion", + "v ention", + "па нию", + "▁содержи тся", + "▁содержит ся", + "▁immedi ately", + "▁са по", + "▁D ef", + "▁De f", + "▁c ounter", + "▁count er", + "▁coun ter", + "▁att ention", + "▁Среди зем", + "цион ными", + "цио нными", + "ционным и", + "▁Юго сла", + "▁Х ол", + "▁Хо л", + "▁в скры", + "▁вс кры", + "▁обсу ждения", + "▁пес ню", + "дь ба", + "д ьба", + "▁d ram", + "▁dr am", + "▁dra m", + "▁И зо", + "▁Из о", + "pe ror", + "per or", + "ф ре", + "▁устано влена", + "▁установ лена", + "▁установлен а", + "сь е", + "с ье", + "▁е ды", + "▁ед ы", + "an ced", + "ance d", + "anc ed", + "▁ребя та", + "▁ребят а", + "▁да вал", + "▁дав ал", + "▁ра стет", + "▁рас тет", + "▁расте т", + "▁раст ет", + "▁in side", + "▁ins ide", + "эф фек", + "э ффек", + "▁смо жете", + "▁сможет е", + "▁In c", + "то не", + "тон е", + "т оне", + "▁опера цию", + "▁арти ст", + "▁арт ист", + "▁мат чах", + "▁матча х", + "▁слу жат", + "▁служ ат", + "▁служа т", + "▁Ро жде", + "▁ме стной", + "▁мест ной", + "ска ть", + "с кать", + "рен ко", + "р енко", + "▁высо той", + "▁Te chn", + "▁ка меры", + "▁кам еры", + "▁камер ы", + "▁каме ры", + "▁вы вода", + "▁выво да", + "▁вывод а", + "ко вое", + "ков ое", + "ково е", + "▁Д ве", + "ве м", + "в ем", + "по ро", + "пор о", + "▁в начале", + "▁Свя то", + "▁за пах", + "▁запа х", + "▁до ходов", + "▁доход ов", + "▁Д ви", + "Ал ь", + "А ль", + "▁j ournal", + "▁сель ское", + "▁о ку", + "▁ок у", + "bo n", + "b on", + "▁us es", + "▁use s", + "▁u ses", + "▁ uses", + "▁уча ствовали", + "▁участвовал и", + "▁кла ссо", + "▁класс о", + "ba n", + "b an", + "▁чита телей", + "▁E duc", + "▁Ed uc", + "▁Ма ть", + "▁Мат ь", + "F A", + "▁обви ня", + "ли о", + "▁на ход", + "▁ви дите", + "▁види те", + "▁видит е", + "▁Екатери на", + "▁Екатерин а", + "▁Спа сибо", + "▁Спаси бо", + "▁объяс нения", + "▁ме нять", + "▁меня ть", + "▁мен ять", + "▁ менять", + "та ют", + "▁direct ly", + "▁исполь зоваться", + "▁использова ться", + "▁использовать ся", + "▁у ха", + "▁пере кры", + "os oph", + "▁sh oot", + "ще йся", + "щей ся", + "▁I T", + "▁ IT", + "▁А рка", + "▁Ар ка", + "▁oper ation", + "ко вской", + "ков ской", + "▁мо жешь", + "▁Пав лов", + "▁in sp", + "▁ins p", + "▁млад ен", + "▁мла ден", + "▁s ens", + "▁se ns", + "▁sen s", + "▁да нными", + "▁дан ными", + "▁данным и", + "▁un ivers", + "lo r", + "l or", + "▁До ма", + "▁Дом а", + "▁осуществ ления", + "▁subsequ ently", + "▁subsequent ly", + "▁У казом", + "п лю", + "▁акт риса", + "▁актри са", + "ну тся", + "нут ся", + "▁rem aining", + "▁remain ing", + "▁ре шено", + "▁реше но", + "ip s", + "i ps", + "▁окра и", + "▁от дельный", + "▁отде льный", + "▁отдель ный", + "▁l atter", + "▁lat ter", + "▁утвер ждение", + "▁четвер ть", + "▁иг нори", + "▁про шу", + "▁прош у", + "то л", + "т ол", + "▁извест на", + "▁не жела", + "▁гла вные", + "▁глав ные", + "▁государ ственные", + "▁государстве нные", + "▁кад ров", + "▁кадро в", + "▁H ot", + "▁Ho t", + "▁ви нтов", + "▁вин тов", + "ск ет", + "ске т", + "с кет", + "V D", + "▁руко водил", + "▁руковод ил", + "▁руководи л", + "б р", + "▁law s", + "ло не", + "лон е", + "л оне", + "▁прибы ль", + "▁прибыл ь", + "лли н", + "лл ин", + "л лин", + "те лях", + "теля х", + "тел ях", + "хо тя", + "хот я", + "▁S ol", + "▁So l", + "▁к рем", + "▁кре м", + "▁кр ем", + "▁me chan", + "ги ми", + "гим и", + "г ими", + "▁удовлет воря", + "▁удовлетво ря", + "ев ро", + "е вро", + "▁cont act", + "▁плю с", + "щего ся", + "▁F estival", + "▁Спо соб", + "▁пом нить", + "▁помнит ь", + "▁L u", + "▁за дания", + "▁зада ния", + "▁требования м", + "▁хва тало", + "▁состоя ла", + "▁состоял а", + "▁It aly", + "▁Ital y", + "▁соеди нений", + "ur ies", + "u ries", + "ac hes", + "ach es", + "ache s", + "a ches", + "▁О ОО", + "▁соору жения", + "▁э мигра", + "▁эми гра", + "▁эм игра", + "▁С ме", + "▁См е", + "▁сти хов", + "сс ен", + "ссе н", + "с сен", + "▁sur face", + "▁конкре тных", + "▁ули ц", + "ст ными", + "стным и", + "с тными", + "ре гули", + "▁ф ана", + "▁фа на", + "▁ фана", + "▁most ly", + "▁про пуска", + "▁пропу ска", + "▁пропуск а", + "w rit", + "▁д лины", + "▁дли ны", + "▁длин ы", + "▁С в", + "▁раз ница", + "▁про ходя", + "▁проход я", + "▁прохо дя", + "▁бес смер", + "▁бесс мер", + "al se", + "als e", + "сс кую", + "с скую", + "▁та кому", + "▁таком у", + "▁ву лка", + "▁це лое", + "▁цело е", + "▁пере но", + "▁пе рено", + "w ide", + "гру зки", + "груз ки", + "▁M ass", + "▁Ma ss", + "▁Mas s", + "▁л ёт", + "▁лё т", + "▁ лёт", + "▁поезд ки", + "▁поез дки", + "▁бух гал", + "▁С разу", + "▁При ме", + "▁e th", + "▁et h", + "▁ eth", + "ди тель", + "дите ль", + "emb ly", + "▁й о", + "▁ йо", + "▁десяти ле", + "жа х", + "за р", + "з ар", + "▁re cent", + "▁rec ent", + "▁rece nt", + "ви цы", + "виц ы", + "▁вело сипе", + "▁art ists", + "▁artist s", + "▁Лю дови", + "▁b ad", + "▁возгла влял", + "▁возглавля л", + "▁вер нулись", + "▁верну лись", + "▁ли чных", + "im um", + "▁A PI", + "▁ле со", + "▁лес о", + "▁ре стора", + "▁ресто ра", + "▁по род", + "▁пор од", + "▁поро д", + "бе рта", + "бер та", + "берт а", + "▁име ющих", + "▁имею щих", + "▁п оте", + "▁по те", + "▁ поте", + "ща лась", + "щала сь", + "▁высо кую", + "▁присут ствии", + "▁Фи льм", + "▁с ан", + "▁са н", + "▁ сан", + "▁прави лам", + "▁правила м", + "▁правил ам", + "▁подума ть", + "▁поду мать", + "▁строи тельстве", + "▁послед няя", + "▁в зо", + "▁вз о", + "▁ взо", + "▁separ ate", + "▁обя заны", + "▁обяза ны", + "▁обязан ы", + "▁э ли", + "▁ эли", + "же нными", + "жен ными", + "женным и", + "▁ ult", + "▁присут ствует", + "▁ле чеб", + "▁О си", + "▁Ос и", + "▁все возмо", + "▁Евро пу", + "▁при тя", + "▁прит я", + "▁от пу", + "тчи к", + "т чик", + "▁K h", + "▁op port", + "ет у", + "е ту", + "▁Пло щадь", + "▁О С", + "▁ ОС", + "▁о кеан", + "▁оке ан", + "▁океа н", + "▁ океан", + "▁неу доб", + "ast ic", + "▁иг рока", + "▁игро ка", + "▁игрок а", + "um ber", + "umb er", + "u mber", + "▁По ля", + "▁Пол я", + "гота вли", + "▁S k", + "май ор", + "▁сце ну", + "▁сцен у", + "▁соб ственное", + "▁собствен ное", + "▁собственно е", + "▁ли цу", + "▁лиц у", + "▁С обра", + "▁Со бра", + "▁Соб ра", + "▁мо шен", + "ic ted", + "ict ed", + "▁t ried", + "▁tr ied", + "▁tri ed", + "▁init ial", + "▁initi al", + "▁A dd", + "▁Ad d", + "▁ч ьи", + "▁чь и", + "▁ чьи", + "шны е", + "ш ные", + "▁С О", + "▁ СО", + "▁след ствия", + "▁страте гии", + "▁стратеги и", + "▁est im", + "▁к рю", + "▁кр ю", + "▁вели кой", + "▁велико й", + "▁велик ой", + "▁сер жа", + "▁переу лок", + "ке до", + "▁во сток", + "▁вос ток", + "▁восто к", + "▁ восток", + "▁кам ни", + "▁в хода", + "▁вход а", + "▁d rug", + "▁dr ug", + "▁work ers", + "▁муниципа льного", + "iv ity", + "▁высо кая", + "▁U p", + "▁про водит", + "▁проводи т", + "▁прово дит", + "▁провод ит", + "▁по служи", + "▁послу жи", + "▁ру ба", + "▁руб а", + "хо дим", + "ходи м", + "ход им", + "er em", + "ere m", + "e rem", + "▁про кля", + "▁кон со", + "U R", + "▁а деква", + "▁писа ли", + "▁писал и", + "▁юно ше", + "▁offic er", + "▁office r", + "▁Север ного", + "▁услови и", + "▁An n", + "▁ста вит", + "▁став ит", + "▁город ских", + "▁Б ей", + "▁Бе й", + "ха й", + "х ай", + "▁сы нов", + "▁сын ов", + "v a", + "▁B oth", + "▁Bo th", + "▁занима лись", + "▁занимали сь", + "▁бу дешь", + "▁буд ешь", + "▁стра ниц", + "▁объяс няется", + "▁объясняет ся", + "▁у пре", + "▁En ter", + "▁находи лось", + "▁ли нгви", + "но логии", + "нологи и", + "н ологии", + "▁al tern", + "▁alt ern", + "▁бри гада", + "▁брига да", + "ка с", + "к ас", + "▁жерт вы", + "▁жертв ы", + "▁вра чей", + "▁врач ей", + "▁про рабо", + "▁продол жение", + "▁коми ссия", + "▁секу нду", + "▁секун ду", + "▁секунд у", + "▁объек том", + "▁объект ом", + "▁журна лист", + "▁журнали ст", + "▁журнал ист", + "▁ind ic", + "▁добро де", + "▁доб роде", + "▁восста ние", + "▁ря ду", + "▁ряд у", + "▁ ряду", + "▁кра са", + "▁ann ual", + "▁принци пов", + "▁принцип ов", + "▁о хран", + "▁охра н", + "▁ох ран", + "▁по лет", + "▁пол ет", + "▁поле т", + "▁Раз ви", + "▁ко опера", + "▁сне г", + "▁впечат ления", + "▁direct ed", + "▁И ТАР", + "▁ИТ АР", + "▁ ИТАР", + "мини стр", + "▁пор трет", + "▁портре т", + "▁порт рет", + "te en", + "t een", + "▁по сты", + "▁пос ты", + "▁пост ы", + "▁И зда", + "▁Из да", + "▁Геор ги", + "ту ро", + "тур о", + "рь ю", + "р ью", + "п ча", + "▁тюрь мы", + "▁В ра", + "ля ются", + "ляют ся", + "▁послед нюю", + "▁пара метров", + "▁парамет ров", + "▁параметр ов", + "is ation", + "▁cent re", + "▁лейте нан", + "▁ лейтенан", + "▁о тор", + "▁от ор", + "▁ото р", + "▁fam ous", + "▁россий ские", + "el la", + "ell a", + "▁L iber", + "▁Li ber", + "се ра", + "сер а", + "с ера", + "▁п лав", + "▁пла в", + "▁к римина", + "▁кри мина", + "▁т уа", + "▁ту а", + "▁ туа", + "▁осу жден", + "▁К ГБ", + "▁прид вор", + "▁Раз рабо", + "▁се стры", + "Йор ке", + "Йорк е", + "▁мета ллу", + "▁метал лу", + "▁металл у", + "▁помо г", + "▁от ступа", + "▁отступ а", + "▁сов пада", + "▁совпа да", + "▁Де ла", + "▁сооб щении", + "▁сообще нии", + "▁космо нав", + "мо рского", + "мор ского", + "it ude", + "ри али", + "риа ли", + "риал и", + "▁во дя", + "▁вод я", + "▁ водя", + "▁убе жден", + "▁выз вал", + "▁вызва л", + "▁внеза п", + "▁mus ical", + "▁music al", + "I M", + "▁stud io", + "i h", + "▁Ба ку", + "▁Бак у", + "ri ed", + "rie d", + "r ied", + "▁превра щается", + "▁ро дину", + "▁роди ну", + "▁чув ствует", + "▁чувству ет", + "▁утвер ждения", + "▁по лку", + "▁пол ку", + "▁полк у", + "вшими ся", + "те льской", + "тель ской", + "▁д ура", + "▁ду ра", + "▁ дура", + "▁p ack", + "▁Ри ма", + "▁Рим а", + "▁герцо г", + "▁col lect", + "▁coll ect", + "▁colle ct", + "▁понедель ник", + "▁re ally", + "▁real ly", + "▁все мир", + "▁всем ир", + "▁всеми р", + "▁вспо мога", + "▁живо тное", + "▁живот ное", + "▁животно е", + "▁изба виться", + "йс я", + "й ся", + "▁име ющие", + "▁имею щие", + "ve ment", + "v ement", + "де лец", + "дел ец", + "деле ц", + "▁орга нами", + "▁органа ми", + "▁ч те", + "▁воскрес енье", + "▁одно зна", + "▁H el", + "▁He l", + "cl ass", + "▁ch ap", + "бло ки", + "▁ры бо", + "▁рыб о", + "▁в праве", + "▁S ub", + "▁Su b", + "▁sc ience", + "▁практи ка", + "▁прак тика", + "▁ро вно", + "▁ров но", + "▁с бе", + "▁тюрь ме", + "▁level s", + "ki ns", + "kin s", + "k ins", + "▁художе ственной", + "▁вели чины", + "▁величи ны", + "▁s ister", + "▁эффек тивность", + "▁эффектив ность", + "▁эффективно сть", + "▁p aper", + "ant ry", + "▁сни жение", + "▁Казах стана", + "▁Казахстан а", + "▁оп еры", + "▁опер ы", + "▁опе ры", + "ро валась", + "рова лась", + "ровала сь", + "чи сля", + "чис ля", + "▁Ш от", + "▁Шо т", + "▁reve aled", + "▁холо дной", + "▁холод ной", + "▁холодно й", + "▁мате рью", + "▁матер ью", + "▁in str", + "▁inst r", + "▁ins tr", + "сту пило", + "ступи ло", + "ступил о", + "▁запла ни", + "al and", + "ala nd", + "a land", + "П У", + "З е", + "▁м оста", + "▁мо ста", + "▁мост а", + "ра зи", + "раз и", + "▁B us", + "▁Bu s", + "▁ан сам", + "▁рас пла", + "▁иг рали", + "▁игра ли", + "▁игр али", + "▁играл и", + "▁жи ла", + "▁ж ила", + "▁жил а", + "▁т ь", + "▁ ть", + "▁за паде", + "▁запа де", + "▁запад е", + "▁ западе", + "▁pro gress", + "▁напря мую", + "тро поли", + "тропо ли", + "▁A rab", + "▁Ar ab", + "▁каби нет", + "▁кабине т", + "▁изо ли", + "▁побе да", + "▁побед а", + "▁inc or", + "▁ро дов", + "▁род ов", + "▁родо в", + "▁о пор", + "▁оп ор", + "▁опо р", + "▁специали ст", + "▁звё зд", + "▁клу бе", + "▁клуб е", + "▁кол хоз", + "▁колхо з", + "▁парамет ры", + "▁параметр ы", + "▁S aint", + "▁Sa int", + "▁совер шить", + "▁соверши ть", + "▁techn ology", + "▁призна л", + "▁приз нал", + "▁Каза лось", + "um ed", + "ume d", + "u med", + "▁па дает", + "▁пада ет", + "▁ падает", + "▁Ear th", + "▁по падает", + "▁попа дает", + "▁попада ет", + "▁неза мет", + "▁незаме т", + "▁буржу а", + "▁ре шении", + "▁реше нии", + "▁изде лий", + "▁издели й", + "▁согла сия", + "▁согласи я", + "] ;", + "▁ря ды", + "▁ряд ы", + "▁Бу лга", + "im s", + "i ms", + "▁ра стер", + "▁рас тер", + "▁расте р", + "▁раст ер", + "▁Перво начально", + "▁у ши", + "▁фина ле", + "▁финал е", + "▁фин але", + "▁превы шает", + "▁превыша ет", + "▁постоя нной", + "▁постоянно й", + "ру н", + "р ун", + "▁свобо дного", + "▁свобод ного", + "▁свободно го", + "▁B est", + "▁Be st", + "Т Р", + "о м", + "fe ct", + "f ect", + "нно стью", + "нность ю", + "н ностью", + "▁представи телями", + "▁представителя ми", + "▁спор тс", + "▁спорт с", + "▁да вайте", + "▁давай те", + "E L", + "▁ком сомо", + "▁H y", + "▁похо жи", + "▁похож и", + "▁специаль ной", + "▁специ альной", + "▁специально й", + "ми ль", + "мил ь", + "м иль", + "▁d ark", + "▁вос питы", + "▁В О", + "▁ ВО", + "▁це по", + "▁цеп о", + "т ли", + "▁стара лся", + "▁ис ключения", + "▁исклю чения", + "▁агент ство", + "ге нера", + "ген ера", + "гене ра", + "▁комму на", + "▁А у", + "▁N avy", + "▁art ist", + "▁обязан ностей", + "▁струк туре", + "▁структур е", + "▁огром ной", + "▁на бра", + "▁own ed", + "ст ое", + "сто е", + "с тое", + "▁до про", + "▁экра не", + "▁экран е", + "▁расска зы", + "▁рассказ ы", + "▁Мо ро", + "▁Мор о", + "▁re ferred", + "▁refer red", + "▁по стройки", + "▁постро йки", + "▁построй ки", + "▁appe ars", + "▁app ears", + "▁appear s", + "▁преступ лений", + "▁у чет", + "▁уче т", + "▁уч ет", + "▁си льные", + "▁силь ные", + "▁кам ня", + "▁Х ер", + "▁Хе р", + "▁с хема", + "▁схе ма", + "▁сх ема", + "▁гре б", + "▁Em pire", + "▁С К", + "▁ СК", + "▁Го рба", + "▁Гор ба", + ". '", + "▁пле мен", + "▁основ ана", + "▁основа на", + "▁осно вана", + "▁основан а", + "ст ном", + "стно м", + "с тном", + "▁сло вах", + "▁слова х", + "▁d ise", + "▁dis e", + "▁di se", + "▁еже год", + "ла дель", + "▁бук вы", + "▁букв ы", + "▁инве сто", + "▁B BC", + "▁фо нд", + "▁фон д", + "▁p ra", + "▁pr a", + "▁сель совет", + "▁сельсо вет", + "▁хоро шее", + "▁s equ", + "▁se qu", + "▁ sequ", + "▁p le", + "▁pl e", + "▁ ple", + "▁Иису са", + "▁Иисус а", + "▁Же лез", + "▁физи ологи", + "чу ть", + "чут ь", + "▁не ис", + "▁неи с", + "ми но", + "мин о", + "м ино", + "▁Пред стави", + "▁Предста ви", + "да на", + "дан а", + "д ана", + "▁в па", + "▁вы ращи", + "▁выра щи", + "▁оцен ке", + "▁оце нке", + "ли вость", + "ливо сть", + "▁s end", + "▁se nd", + "▁sen d", + "▁ка пу", + "▁кап у", + "▁беспо лез", + "▁нау чные", + "носи тся", + "нос ится", + "носит ся", + "▁дли ну", + "▁длин у", + "▁от рабо", + "▁отра бо", + "▁путеше ствие", + "▁г роб", + "▁гро б", + "▁гр об", + "▁ гроб", + "▁n omin", + "▁no min", + "▁ac adem", + "▁h ospital", + "▁W ood", + "▁B re", + "▁Br e", + "служ бе", + "▁бли ж", + "▁увели чения", + "▁увеличе ния", + "▁ви дят", + "▁вид ят", + "▁видя т", + "ко ро", + "кор о", + "▁Rec ords", + "▁e r", + "▁ er", + "▁Ки рил", + "▁Кир ил", + "▁Кири л", + "▁му же", + "▁муж е", + "▁ис чер", + "▁исче р", + "▁ста вить", + "▁став ить", + "▁ставит ь", + "▁Г роз", + "▁Гро з", + "▁Солн це", + "▁Сол нце", + "▁при меров", + "▁пример ов", + "▁приме ров", + "▁n ine", + "И Л", + "ру ем", + "▁обы чной", + "▁обычно й", + "ou ra", + "our a", + "o ura", + "▁г роз", + "▁гро з", + "▁гр оз", + "м ён", + "▁кур сы", + "▁курс ы", + "▁выяс нить", + "хт а", + "х та", + "▁древ ние", + "ar ters", + "art ers", + "arter s", + "▁Ко ль", + "▁Кол ь", + "▁отпра вил", + "▁Джор дж", + "▁coll abor", + "▁це лого", + "▁цело го", + "▁кра сный", + "▁do uble", + "▁dou ble", + "▁doub le", + "▁древ ности", + "▁в стал", + "▁вс тал", + "▁вста л", + "▁dem and", + "▁реда кции", + "▁редак ции", + "▁Об ще", + "бю ро", + "ка ции", + "к ации", + "нь и", + "н ьи", + "▁ab ility", + "▁ ability", + "▁им му", + "ж ский", + "▁iss ued", + "▁issue d", + "ad ium", + "▁м атри", + "▁ма три", + "▁мат ри", + "▁ матри", + "▁Р АН", + "▁РА Н", + "▁B ig", + "▁Bi g", + "▁це пи", + "▁цеп и", + "▁Д оба", + "▁До ба", + "▁Доб а", + "▁Необходи мо", + "▁H aw", + "▁Ha w", + "ко вич", + "кови ч", + "▁П оло", + "▁По ло", + "▁Пол о", + "▁approx imately", + "▁прия тно", + "▁прият но", + "▁и нде", + "▁ин де", + "ла гается", + "лага ется", + "▁стрелко вой", + "ти зации", + "тиза ции", + "▁де ль", + "▁дел ь", + "▁ дель", + "мо сков", + "▁Алексе я", + "▁Дума ю", + "▁само о", + "▁н ы", + "▁ ны", + "lo g", + "l og", + "▁коло нии", + "▁колони и", + "▁о ценка", + "▁оцен ка", + "▁оце нка", + "Ф А", + "ul ly", + "ull y", + "то ни", + "тон и", + "т они", + "э лектро", + "▁послед ствий", + "▁ви занти", + "сл ы", + "с лы", + "br e", + "b re", + "ob ile", + "▁кате гори", + "▁катего ри", + "▁на роды", + "▁наро ды", + "▁народ ы", + "▁тех ника", + "▁техни ка", + "ри та", + "рит а", + "▁си нх", + "с ни", + "▁путеше ствия", + "▁п рим", + "▁при м", + "▁пр им", + "▁в стречу", + "▁встре чу", + "▁встреч у", + "▁Сто ит", + "▁не види", + "▁неви ди", + "б н", + "▁ев реи", + "▁евре и", + "▁уме ет", + "▁я вился", + "▁яв ился", + "▁За нима", + "▁свиде тельства", + "▁свидетель ства", + "▁свидетельств а", + "▁re pe", + "▁rep e", + "▁т ём", + "▁тё м", + "▁парт нер", + "▁l os", + "▁lo s", + "▁инстру менты", + "▁инструмент ы", + "▁че стно", + "▁малень кие", + "▁пят ницу", + "▁ки та", + "▁Ку зне", + "же нно", + "жен но", + "ж енно", + "▁Бал тий", + "гу р", + "г ур", + "▁C y", + "Т С", + "▁предвари тельно", + "ter net", + "tern et", + "▁СП б", + "▁ло зу", + "ро вые", + "▁на ции", + "▁н ации", + "▁наци и", + "▁На ши", + "▁Наш и", + "▁содержа т", + "▁отмеча ется", + "▁отме чается", + "▁отмечает ся", + "те на", + "тен а", + "т ена", + "▁Pro f", + "▁Pr of", + "▁пара док", + "▁ка зни", + "▁каз ни", + "▁возна гра", + "▁треть ем", + "▁третье м", + "▁Ка вказ", + "▁Кав каз", + "▁целе сообраз", + "▁Face book", + "▁пере шли", + "сти ческое", + "с тическое", + "▁ke pt", + "▁цар и", + "▁ца ри", + "▁Э ту", + "▁I X", + "▁ IX", + "▁продол жается", + "▁продолжа ется", + "▁продолжает ся", + "▁дви жением", + "▁движение м", + "▁ли н", + "▁л ин", + "▁ лин", + "▁пере ехал", + "ня тся", + "нят ся", + "н ятся", + "▁сов ету", + "▁совет у", + "▁сове ту", + "▁П си", + "▁п ли", + "▁ пли", + "rol led", + "roll ed", + "▁ ;", + "▁за мер", + "▁заме р", + "▁зам ер", + "▁пер выми", + "▁первым и", + "▁разру ши", + "▁prob ably", + "E x", + "▁ро к", + "▁р ок", + "▁ рок", + "▁Го го", + "▁плат фор", + "▁и мен", + "▁име н", + "▁им ен", + "▁о пол", + "▁оп ол", + "▁опо л", + "за ния", + "▁лу ка", + "▁л ука", + "▁лук а", + "э л", + "▁кандида тов", + "▁кандидат ов", + "d d", + "▁соеди нение", + "▁наз вали", + "▁назва ли", + "▁назвал и", + "g u", + "▁пла ты", + "▁плат ы", + "▁окружа ющих", + "способ ности", + "нди я", + "н дия", + "▁Са мое", + "▁Сам ое", + "▁Само е", + "фт а", + "ф та", + "▁sec urity", + "ва м", + "в ам", + "▁J im", + "an da", + "and a", + "▁п рили", + "▁при ли", + "▁пр или", + "эр о", + "э ро", + "▁право охрани", + "▁лу к", + "▁ лук", + "▁пе че", + "▁ку ро", + "▁кур о", + "▁ куро", + "▁губерна тора", + "▁губернатор а", + "▁D en", + "▁De n", + "▁приз ван", + "▁s tra", + "▁st ra", + "▁str a", + "▁ stra", + "ш вили", + "▁судь бе", + "▁а бо", + "▁аб о", + "▁r ule", + "▁rul e", + "▁ru le", + "▁здравоохра нения", + "▁раз вле", + "▁те лом", + "▁тело м", + "▁тел ом", + "▁г лаго", + "▁гла го", + "▁глаг о", + "▁пле мени", + "▁племен и", + "▁со тен", + "▁сот ен", + "▁специаль ного", + "▁специ ального", + "▁специально го", + "▁th ous", + "▁называ емые", + "▁G ar", + "ст ную", + "с тную", + "▁те чения", + "▁sp read", + "▁Д НК", + "Че р", + "Ч ер", + "om a", + "o ma", + "▁Р ез", + "▁Ре з", + "▁с оло", + "▁со ло", + "▁cult ural", + "▁па рка", + "▁пар ка", + "▁парк а", + "▁значи тельное", + "▁значительно е", + "▁дыха ние", + "▁pro duce", + "▁produ ce", + "▁produc e", + "▁хозя ин", + "▁хозяи н", + "▁француз ских", + "р мо", + "ак а", + "а ка", + "ма гни", + "▁при нце", + "▁прин це", + "▁принц е", + "▁Ч ай", + "▁Ча й", + "▁Н ас", + "▁На с", + "▁наме рения", + "▁намере ния", + "▁сла вы", + "▁слу шать", + "▁слуша ть", + "в ского", + "▁гра ницей", + "▁грани цей", + "▁границе й", + "▁границ ей", + "ле нд", + "лен д", + "▁вы зывают", + "▁вызыва ют", + "stit ution", + "▁effort s", + "▁К ай", + "▁Ка й", + "▁жерт ву", + "▁жертв у", + "▁Из раиль", + "▁Изра иль", + "▁Израи ль", + "▁Jos eph", + "▁Jose ph", + "por ation", + "po ration", + "p oration", + "▁сбор ник", + "ко выми", + "ковым и", + "ковы ми", + "▁воору женных", + "▁утвер ждают", + "▁утвержда ют", + "m ore", + "▁про текает", + "▁проте кает", + "▁протека ет", + "ге на", + "ген а", + "г ена", + "▁тек сте", + "▁текст е", + "▁Н Е", + "▁ НЕ", + "▁М я", + "ал а", + "а ла", + "▁се рия", + "▁м учи", + "▁му чи", + "▁болез ней", + "ве дению", + "веде нию", + "▁успе ли", + "▁успел и", + "▁sh are", + "▁стра нами", + "▁страна ми", + "▁странам и", + "▁un iversity", + "▁univers ity", + "нд е", + "н де", + "▁Совет ский", + "▁Сове тский", + "тка х", + "т ках", + "▁от пуска", + "▁отпу ска", + "▁отпуск а", + "▁ликви дации", + "▁ликвида ции", + "▁оборо ну", + "▁оборон у", + "▁насе лённых", + "▁населё нных", + "▁населён ных", + "▁Президен та", + "▁Президент а", + "▁мили ции", + "▁Ар хангель", + "▁полу чали", + "▁получа ли", + "▁получал и", + "▁B as", + "▁Ba s", + "▁tem per", + "▁П одо", + "▁По до", + "▁Под о", + "▁разгово ра", + "▁разговор а", + "▁чемпи оном", + "▁чемпион ом", + "▁effect s", + "▁за ведения", + "▁заве дения", + "▁вок за", + "▁П ВО", + "▁In f", + "▁se lected", + "▁select ed", + "▁house s", + "▁hous es", + "▁настоя щей", + "▁mov ie", + "▁ли стья", + "▁листь я", + "▁лист ья", + "▁че рный", + "▁чер ный", + "▁оппози ции", + "ac ity", + "▁тогда ш", + "▁гумани тар", + "▁специаль ный", + "▁специ альный", + "▁стра нице", + "▁страниц е", + "we r", + "w er", + "▁удоб но", + "▁услыша л", + "▁услы шал", + "▁д ев", + "▁де в", + "▁ дев", + "▁мето дом", + "▁метод ом", + "▁методо м", + "▁Си стема", + "▁устре м", + "▁D ou", + "▁Do u", + "▁Интере сно", + "av en", + "ave n", + "a ven", + "▁act ually", + "▁actual ly", + "▁пред мета", + "▁предме та", + "▁предмет а", + "▁со у", + "▁w a", + "▁ wa", + "ши сь", + "ent al", + "в ский", + "▁ком про", + "▁комп ро", + "▁е м", + "▁ ем", + "▁по роды", + "▁поро ды", + "▁пород ы", + "ва емой", + "ваем ой", + "▁discover ed", + "at ur", + "▁наси лия", + "▁насили я", + "▁обо рот", + "▁оборо т", + "▁ оборот", + "▁ма тро", + "▁мат ро", + "аль ных", + "а льных", + "▁во шёл", + "▁су ста", + "▁o il", + "▁уж ас", + "▁ужа с", + "▁фор мой", + "▁форм ой", + "ell ow", + "ello w", + "▁confl ict", + "t a", + "ce nd", + "c end", + "▁сцена рий", + "▁start ing", + "▁star ting", + "▁па кет", + "▁пак ет", + "▁паке т", + "▁обяза тельства", + "▁обязательств а", + "▁с тано", + "▁ст ано", + "▁ста но", + "▁стан о", + "▁ стано", + "▁образу ют", + "▁Свер длов", + "ша т", + "ш ат", + "▁Ir ish", + "▁B C", + "▁ BC", + "▁На ш", + "▁Sc ot", + "▁продол жают", + "▁продолжа ют", + "▁при вел", + "▁приве л", + "▁Д оста", + "▁До ста", + "ёт р", + "ё тр", + "▁s u", + "▁англий ском", + "ста вьте", + "став ьте", + "▁про стым", + "▁прос тым", + "▁просты м", + "▁сооб щений", + "▁сообще ний", + "▁ch air", + "пси хо", + "▁г ет", + "▁ге т", + "▁евро пейской", + "▁европей ской", + "▁по строения", + "▁построе ния", + "▁рам ки", + "▁в ходил", + "▁вход ил", + "▁входи л", + "▁поло сы", + "▁w estern", + "▁west ern", + "▁заяви ла", + "▁зая вила", + "▁заявил а", + "▁Нов го", + "▁суще ствовало", + "▁существо вало", + "▁существова ло", + "▁существовал о", + "▁возгла вля", + "▁вы зов", + "▁выз ов", + "▁вызо в", + "до рович", + "доро вич", + "га нди", + "ган ди", + "▁L and", + "▁La nd", + "сла н", + "сл ан", + "с лан", + "▁ра нга", + "▁ран га", + "▁Александ ров", + "▁Александр ов", + "▁for ms", + "▁form s", + "▁принадле жат", + "▁принадлежа т", + "▁мо щность", + "▁мощ ность", + "▁изу ча", + "▁c orn", + "▁cor n", + "▁ш лю", + "▁Б ю", + "▁нес ча", + "▁d iss", + "▁dis s", + "▁di ss", + "▁sc ore", + "▁обра тить", + "то вая", + "тов ая", + "това я", + "▁П ру", + "▁for est", + "▁fore st", + "чу к", + "▁ма шино", + "▁маши но", + "▁машин о", + "▁голо да", + "▁гол ода", + "▁голод а", + "▁ele ments", + "▁el ements", + "▁element s", + "▁хи тро", + "▁хит ро", + "▁позво лить", + "▁позволи ть", + "▁позволит ь", + "▁товари щ", + "▁уголов ного", + "▁G al", + "▁ро жда", + "▁ава рий", + "риа та", + "риат а", + "▁до мо", + "▁дом о", + "▁ домо", + "▁публи ку", + "▁J o", + "▁пово рачи", + "▁обстоя тельство", + "▁обстоятельств о", + "▁на вод", + "▁нав од", + "▁финан совых", + "▁финансо вых", + "▁финансов ых", + "▁кисло ты", + "х т", + "▁назна чение", + "▁пере живания", + "▁пережи вания", + "▁м ино", + "▁ми но", + "▁мин о", + "▁ мино", + "▁привле чь", + "ul ations", + "ulation s", + "▁О К", + "▁ ОК", + "▁раз вали", + "▁э нту", + "▁эн ту", + "▁указа ть", + "▁ука зать", + "▁эк ран", + "▁экра н", + "сси ей", + "▁объяс няет", + "▁вы ле", + "▁про ведении", + "▁прове дении", + "▁проведе нии", + "▁Тол стого", + "▁с бора", + "▁сбор а", + "▁сбо ра", + "▁can not", + "▁Цен тр", + "▁незна ко", + "in ated", + "ina ted", + "inate d", + "▁за гово", + "▁та ба", + "▁l ot", + "▁lo t", + "▁Со чи", + "▁Соч и", + "▁мо менту", + "▁момент у", + "▁res idents", + "▁resident s", + "▁ли чный", + "▁проек те", + "▁проект е", + "▁Макси ма", + "▁Максим а", + "▁fl oor", + "▁flo or", + "▁B oy", + "▁Bo y", + "▁сред ством", + "▁средств ом", + "▁средство м", + "▁ка пи", + "▁кап и", + "L e", + "▁интере сах", + "▁интереса х", + "т на", + "▁суще ствова", + "▁существо ва", + "сло ж", + "с лож", + "▁respons ible", + "▁испол ня", + "▁угро зы", + "▁part n", + "дь я", + "д ья", + "▁current ly", + "▁ва шу", + "▁ваш у", + "▁го това", + "▁гото ва", + "▁готов а", + "▁v oice", + "▁vo ice", + "▁т рой", + "▁тро й", + "▁тр ой", + "▁д ано", + "▁да но", + "▁дан о", + "▁экипа ж", + "▁G reek", + "▁Gre ek", + "▁Gree k", + "▁д ам", + "▁да м", + "▁ дам", + "▁он лайн", + "▁с ино", + "▁си но", + "▁Res earch", + "щен ко", + "щ енко", + "▁кла ссе", + "▁класс е", + "ля я", + "▁одно им", + "▁однои м", + "▁православ ной", + "▁правосла вной", + "▁пе тербург", + "пе ц", + "п ец", + "ли ка", + "лик а", + "▁Ar ts", + "▁Art s", + "▁F red", + "▁Fre d", + "▁ser ious", + "▁у дивительно", + "▁удиви тельно", + "▁про водил", + "▁проводи л", + "▁прово дил", + "▁провод ил", + "ст ность", + "стно сть", + "с тность", + "пи на", + "пин а", + "п ина", + "▁Петербур га", + "▁Петербург а", + "▁Петер бурга", + "▁ Петербурга", + "▁бассе йна", + "▁бассей на", + "▁бассейн а", + "ag ing", + "a ging", + "▁не рав", + "▁нер ав", + "▁нера в", + "рова нное", + "рован ное", + "▁за дание", + "▁зада ние", + "▁ex cept", + "▁remov ed", + "▁О лимпиа", + "▁сред них", + "пь ю", + "п ью", + "▁я с", + "▁ яс", + "д на", + "▁Генера л", + "▁I ts", + "▁It s", + "▁man aged", + "▁manag ed", + "▁ми ссии", + "▁мисси и", + "▁rec over", + "▁м олока", + "▁мо лока", + "▁моло ка", + "▁grow th", + "du ce", + "duc e", + "▁sp eed", + "▁spe ed", + "▁pot ential", + "ве ль", + "вел ь", + "▁б орт", + "▁бо рт", + "▁бор т", + "` ,", + "▁вол ос", + "▁воло с", + "аль ные", + "а льные", + "ма ты", + "мат ы", + "ре нию", + "▁var iety", + "▁vari ety", + "▁называ емый", + "▁Еги пта", + "▁группи ровки", + "▁про р", + "▁пр ор", + "▁от правля", + "▁отпра вля", + "▁str eng", + "▁stre ng", + "▁s erve", + "▁serv e", + "▁ser ve", + "▁у язви", + "▁кро вью", + "▁кров ью", + "▁кровь ю", + "▁M em", + "▁Me m", + "▁F e", + "▁путеше ствен", + "▁ре лье", + "▁рель е", + "▁лег ких", + "▁современ ном", + "▁Джей мс", + "▁информа цией", + "▁Рича рд", + "штей на", + "штейн а", + "ште йна", + "▁из мен", + "▁изме н", + "▁Кни га", + "▁опас но", + "▁опа сно", + "са й", + "с ай", + "▁справед ливости", + "▁справедливо сти", + "▁справедли вости", + "▁безопас ность", + "ar den", + "ard en", + "▁за няли", + "▁заня ли", + "▁занял и", + "b ur", + "for ce", + "!\" .", + "! \".", + "▁com ing", + "▁co ming", + "▁ coming", + "ко стью", + "кость ю", + "кос тью", + "ша ло", + "шал о", + "t r", + "способ ность", + "I A", + "▁S um", + "▁Su m", + "ре нным", + "рен ным", + "▁J ud", + "▁Ju d", + "▁О АО", + "▁ин вали", + "▁миро воз", + "▁миров оз", + "ки ды", + "к иды", + "▁выпол няет", + "▁выполня ет", + "▁А ла", + "▁Ал а", + "▁of fer", + "▁off er", + "▁пере ве", + "▁пер еве", + "▁воен ное", + "▁военно е", + "▁вое нное", + "▁жидко сти", + "▁жид кости", + "▁преодо леть", + "▁преодоле ть", + "зе т", + "з ет", + "▁от цу", + "нс ким", + "н ским", + "▁ле вом", + "▁Вы бор", + "▁живо пи", + "▁при дет", + "▁прид ет", + "▁с пон", + "▁спо н", + "▁re fer", + "▁ref er", + "▁A v", + "▁С вобо", + "▁Сво бо", + "▁Св обо", + "▁ Свобо", + "▁оста вив", + "▁b ound", + "▁bo und", + "Дина мо", + "i i", + "▁из ну", + "▁В КП", + "▁же не", + "▁жен е", + "▁за ново", + "вно го", + "в ного", + "on ic", + "o nic", + "▁М ИД", + "▁МИ Д", + "▁high ly", + "S h", + "▁multip le", + "▁multi ple", + "▁расши рения", + "▁не сет", + "▁нес ет", + "▁С ол", + "▁Со л", + "▁офи церы", + "▁офице ры", + "▁офицер ы", + "▁чув ствовать", + "▁чувство вать", + "▁со крови", + "▁поз дра", + "▁позд ра", + "▁красо ты", + "▁П ала", + "▁Па ла", + "▁за рабаты", + "▁зара баты", + "▁числе нности", + "▁маль чика", + "▁мальчик а", + "▁мальчи ка", + "▁постоя нного", + "▁постоянно го", + "ва ющим", + "ваю щим", + "▁Це за", + "at ers", + "ater s", + "a ters", + "▁t end", + "▁te nd", + "▁ten d", + "▁ tend", + "▁ры ца", + "▁принци пу", + "▁принцип у", + "▁не пода", + "▁непо да", + "▁непод а", + "▁я з", + "▁ яз", + "▁по един", + "▁пое дин", + "▁во йти", + "▁вой ти", + "▁молоде жи", + "▁по вод", + "▁пово д", + "▁пов од", + "▁ду хо", + "▁дух о", + "ко мен", + "ком ен", + "▁act ivity", + "▁activ ity", + "% )", + "▁демокра тии", + "▁С ви", + "▁Св и", + "▁то к", + "▁т ок", + "▁ ток", + "на й", + "н ай", + "же нцев", + "жен цев", + "▁c ities", + "▁cit ies", + "▁финан сов", + "▁финансо в", + "N ame", + "▁sl ow", + "al le", + "all e", + "▁organ iz", + "▁phys ical", + "Ш а", + "Во сто", + "▁конкур са", + "▁конкурс а", + "et te", + "ett e", + "▁восста навли", + "▁a ng", + "▁an g", + "▁ ang", + "▁se xual", + "▁sex ual", + "▁преодо ле", + "▁Л ер", + "▁Ле р", + "▁реги онов", + "▁регион ов", + "▁даль нейшего", + "▁дальней шего", + "▁участи и", + "▁Мэ ри", + "ду ше", + "душ е", + "▁медици нской", + "▁ши ф", + "▁ шиф", + "▁рас стояния", + "▁расстоя ния", + "pa ss", + "p ass", + "р г", + "▁инте гра", + "▁траге дии", + "▁у становка", + "▁уста новка", + "▁устано вка", + "▁установ ка", + "▁пишу т", + "це ле", + "▁ин нова", + "▁име ю", + "▁Укра ина", + "▁Украи на", + "▁Украин а", + "▁Д жи", + "▁Дж и", + "▁Р ИА", + "▁Мед веде", + "et y", + "e ty", + "▁соб ственность", + "▁собствен ность", + "▁собственно сть", + "из ма", + "изм а", + "и зма", + "▁а фрикан", + "▁Бело рус", + "▁L ife", + "▁Li fe", + "▁ссы лкой", + "то ми", + "том и", + "en der", + "end er", + "e nder", + "▁ди станции", + "▁дистан ции", + "▁выз вало", + "▁вызва ло", + "▁вызвал о", + "▁пози ция", + "▁Большо го", + "▁позво но", + "▁за думы", + "▁задум ы", + "▁заду мы", + "▁факуль тета", + "▁факультет а", + "▁факульте та", + "▁Бо гом", + "▁Бог ом", + "▁Бого м", + "▁ле кции", + "▁лек ции", + "вя зыва", + "▁un c", + "▁ unc", + "▁транс форма", + "▁медици ны", + "▁от нести", + "▁отнес ти", + "▁отве чать", + "▁отвеча ть", + "▁con ne", + "▁v ote", + "▁vot e", + "▁vo te", + "▁Sw ed", + "▁паралле льно", + "▁Ge org", + "▁Geor g", + "▁на р", + "▁н ар", + "▁ нар", + "настоя щему", + "ран же", + "▁Лу ны", + "▁при ходят", + "▁приход ят", + "▁прихо дят", + "ens us", + "▁Pac ific", + "▁телефон у", + "▁телефо ну", + "▁по обе", + "▁поо бе", + "▁последу ющих", + "ев ской", + "е вской", + "па ри", + "пар и", + "▁b ridge", + "▁опреде ленного", + "▁определен ного", + "▁определенно го", + "▁удосто ен", + "▁Му хам", + "▁и мену", + "▁име ну", + "▁имен у", + "▁круп ного", + "▁крупно го", + "▁исследова телей", + "▁in tended", + "▁противо дей", + "▁< /", + "▁ ", + "Та к", + "Т ак", + "▁p urs", + "▁pur s", + "▁авиа ком", + "▁но вей", + "▁нов ей", + "▁ новей", + "▁ограни чен", + "до вая", + "дова я", + "дов ая", + "▁поме щение", + "▁проз ви", + "пра вля", + "прав ля", + "не нными", + "нен ными", + "ненным и", + "▁раз ры", + "▁по кон", + "▁поко н", + "ти рования", + "тирова ния", + "▁прода ж", + "▁распо ложено", + "▁расположен о", + "▁расположе но", + "▁зна чений", + "▁Mc C", + "о фи", + "▁разме ром", + "▁размер ом", + "▁се рию", + "▁ис лам", + "▁St ep", + "▁Ste p", + "mon d", + "m ond", + "▁закон чил", + "▁закончи л", + "▁рубе жом", + "▁рубеж ом", + "ло жены", + "ложе ны", + "ложен ы", + "........ ........", + "▁пои ски", + "▁поиск и", + "▁низ ко", + "▁к р", + "▁ кр", + "ри нга", + "рин га", + "ринг а", + "▁prov ides", + "▁provide s", + "▁то чности", + "▁точно сти", + "▁точ ности", + "ir o", + "i ro", + "▁с бы", + "ca n", + "c an", + "Ко гда", + "▁представи теля", + "▁спа сения", + "▁спасе ния", + "▁кру гу", + "▁круг у", + "то сть", + "▁лю дях", + "▁людя х", + "▁люд ях", + "g s", + "▁под нялся", + "▁подня лся", + "▁поднял ся", + "фор а", + "фо ра", + "х ла", + "то вым", + "▁от веты", + "▁ответ ы", + "▁отве ты", + "▁па то", + "ком плек", + "▁посёл ка", + "▁называ л", + "▁су дом", + "▁суд ом", + "▁судо м", + "▁небольшо е", + "▁l if", + "▁заяви ли", + "▁зая вили", + "▁заявил и", + "▁ис пуга", + "▁sen ior", + "са мо", + "сам о", + "чу ю", + "ч ую", + "се кре", + "сек ре", + "▁show ed", + "▁д ете", + "▁де те", + "▁дет е", + "▁ дете", + "▁я влялись", + "▁явля лись", + "▁яв лялись", + "СК О", + "С КО", + "▁с кре", + "▁ск ре", + "▁ скре", + "от кры", + "▁твор честве", + "▁не вро", + "▁н евро", + "▁нев ро", + "зу ет", + "▁т вори", + "▁твор и", + "▁тво ри", + "▁тв ори", + "▁ твори", + "▁ре форма", + "▁реформ а", + "▁рефор ма", + "▁appro ach", + "▁класси ческой", + "▁M at", + "▁Ma t", + "▁су дя", + "▁суд я", + "▁благо твори", + "T A", + "▁пре р", + "▁пр ер", + "▁руко водя", + "▁руковод я", + "▁Все россий", + "▁откры тым", + "▁открыты м", + "▁за ла", + "▁з ала", + "▁зал а", + "▁ зала", + "▁укреп ления", + "▁укре пления", + "▁укрепле ния", + "▁га стро", + "▁ц ы", + "▁ цы", + "▁acqu ired", + "▁внутрен ний", + "▁С Н", + "▁J ul", + "▁Ju l", + "▁Но вого", + "▁Ново го", + "ло во", + "лов о", + "▁ра зор", + "▁раз ор", + "▁разо р", + "▁O b", + "▁ Ob", + "▁w ear", + "▁we ar", + "▁на шими", + "▁наши ми", + "▁наш ими", + "▁нашим и", + "▁ин три", + "Петербур га", + "Петербург а", + "▁I N", + "▁ IN", + "▁с ним", + "▁сни м", + "▁вы ходе", + "▁выход е", + "▁Арме нии", + "нг е", + "н ге", + "▁компози ции", + "▁Буду чи", + "▁Буд учи", + "п т", + "▁ch ampionship", + "▁champion ship", + "▁destroy ed", + "▁про цвета", + "▁T y", + "▁распоря жение", + "▁Луч ше", + "▁ува жа", + "▁рас тение", + "▁расте ние", + "чи вает", + "чива ет", + "▁L uc", + "▁Lu c", + "▁части цы", + "▁час тицы", + "▁частиц ы", + "▁re place", + "▁repl ace", + "▁Об щая", + "▁эффек тивно", + "▁эффектив но", + "▁почув ствовал", + "sp e", + "s pe", + "▁попыт ку", + "▁попы тку", + "▁оста льное", + "▁ост альное", + "▁во преки", + "ет ра", + "е тра", + "▁во время", + "▁при сутствие", + "▁присут ствие", + "▁секре таря", + "▁секрета ря", + "▁секретар я", + "▁уда ров", + "▁удар ов", + "▁Це ль", + "▁съ езда", + "▁съе зда", + "▁съез да", + "▁съезд а", + "bur y", + "b ury", + "▁диви зий", + "▁дивизи й", + "▁при мет", + "▁приме т", + "▁прим ет", + "▁руководи телем", + "▁Con f", + "▁узна ли", + "▁уз нали", + "▁узнал и", + "▁захва тить", + "▁захват ить", + "▁спи ной", + "▁тек стов", + "▁текст ов", + "▁тексто в", + "▁глав ную", + "тель нее", + "▁ма терии", + "▁матери и", + "▁мате рии", + "van ia", + "▁rail way", + "▁бата реи", + "ра до", + "рад о", + "▁за лива", + "▁зали ва", + "▁залив а", + "ве ния", + "вени я", + "▁не во", + "▁н ево", + "▁нев о", + "▁ нево", + "▁инду стри", + "▁замести теля", + "▁ш т", + "▁ шт", + "▁m i", + "▁T hen", + "▁The n", + "▁Th en", + "▁извест ность", + "▁известно сть", + "▁изве стность", + "▁могу ще", + "▁тру дя", + "▁труд я", + "▁на ступ", + "▁Васи лия", + "▁Васили я", + "▁У спе", + "▁Ус пе", + "ut s", + "u ts", + "▁тол щи", + "па ду", + "пад у", + "▁W al", + "▁for ward", + "▁вос пользова", + "▁восполь зова", + "▁кавале рий", + "▁гражда нского", + "▁граждан ского", + "▁же лая", + "▁жела я", + "▁жел ая", + "▁n othing", + "▁not hing", + "▁no thing", + "▁хи мии", + "▁хими и", + "▁Ш ан", + "▁Ша н", + "▁департа мента", + "▁гру бо", + "▁Тол стой", + "▁органи зацией", + "▁организа цией", + "▁предста влений", + "▁доказа тельств", + "▁свидетель ствуют", + "▁свидетельству ют", + "▁Но вости", + "▁Ново сти", + "▁в виду", + "гра мм", + "грам м", + "▁укреп ле", + "▁укре пле", + "фи о", + "▁defe at", + "▁lead ers", + "▁leader s", + "▁знако мых", + "▁знаком ых", + "▁знакомы х", + "▁защи щать", + "▁защища ть", + "▁рав ни", + "▁ равни", + "▁Soc ial", + "▁So cial", + "▁хозя ина", + "▁хозяин а", + "▁хозяи на", + "про м", + "пр ом", + "п ром", + "Б У", + "▁вос питан", + "▁воспита н", + "клады вать", + "▁f a", + "рито риаль", + "gy pt", + "дру г", + "д руг", + "▁у воль", + "▁уво ль", + "▁know ledge", + "▁га лакти", + "▁до пустить", + "▁допусти ть", + "▁допу стить", + "ли цы", + "▁тру ды", + "▁труд ы", + "▁упра влении", + "▁pl anned", + "▁plan ned", + "▁plann ed", + "▁де фици", + "▁п ев", + "▁пе в", + "▁ пев", + "▁поня тий", + "it ness", + "▁к арт", + "▁ка рт", + "▁кар т", + "зи рованных", + "зирова нных", + "зирован ных", + "▁re form", + "▁ref orm", + "▁осуществ ить", + "▁осуществи ть", + "▁см арт", + "▁сма рт", + "▁хоро шим", + "▁ch arge", + "▁char ge", + "▁charg e", + "▁объ ема", + "▁объем а", + "▁объе ма", + "▁im plement", + "▁пра вах", + "▁права х", + "▁с ок", + "▁со к", + "▁ сок", + "тт ер", + "т тер", + "▁m aster", + "ле тря", + "лет ря", + "h t", + "▁ми трополи", + "▁митропо ли", + "` .", + "▁опреде ленный", + "▁определен ный", + "▁при вер", + "▁приве р", + "▁прив ер", + "▁сте п", + "▁ степ", + "▁счет е", + "▁сче те", + "▁qu arter", + "ле я", + "▁май ор", + "▁ майор", + "ed d", + "e dd", + "▁ро зо", + "▁роз о", + "▁плат формы", + "▁платфор мы", + "▁al one", + "▁терро ристи", + "▁террори сти", + "▁m atter", + "▁mat ter", + "▁ин спе", + "▁с его", + "▁се го", + "▁сег о", + "ере нци", + "ерен ци", + "ки пе", + "▁По мо", + "▁Пом о", + "▁Участ ник", + "▁Уча стник", + "▁C le", + "▁Cl e", + "▁we bs", + "▁web s", + "▁у строи", + "▁устро и", + "▁поли ция", + "▁уч реди", + "▁учре ди", + "▁систе мати", + "▁система ти", + "▁m orning", + "▁mor ning", + "▁Л ет", + "▁Ле т", + "▁серьез ные", + "аль ный", + "а льный", + "▁s ail", + "par t", + "p art", + "▁удоволь ствием", + "▁удовольствие м", + "▁с лад", + "▁сла д", + "▁сл ад", + "ur ban", + "urb an", + "▁гра ница", + "▁грани ца", + "▁границ а", + "▁при ва", + "▁прив а", + "▁And roid", + "▁при вела", + "▁приве ла", + "▁привел а", + "▁у шли", + "ри лся", + "рил ся", + "р ился", + "чи тся", + "чит ся", + "ч ится", + "▁стрель бы", + "бе ри", + "бер и", + "▁E lect", + "▁El ect", + "▁Ele ct", + "▁филь мы", + "▁фильм ы", + "бы е", + "▁са ти", + "▁отря ды", + "▁отряд ы", + "▁един ственной", + "▁единственно й", + "▁Брази лии", + "▁музе е", + "хи й", + "ль на", + "▁Се ло", + "▁не долго", + "▁а ́", + "▁хоро шей", + "▁участ ков", + "ля тор", + "лят ор", + "▁убе дить", + "▁убеди ть", + "го ря", + "гор я", + "▁циф ры", + "▁за к", + "▁з ак", + "▁ зак", + "▁сохра нились", + "▁сохрани лись", + "▁p aid", + "▁Ир кут", + "▁Б ол", + "▁Бо л", + "W e", + "▁с л", + "▁ сл", + "▁Л ен", + "▁Ле н", + "▁разрабо тку", + "зе ра", + "зер а", + "з ера", + "▁ге ологи", + "▁гео логи", + "▁у льтра", + "Ма н", + "М ан", + "▁со брал", + "▁соб рал", + "▁собра л", + "▁g iving", + "▁G all", + "▁Gal l", + "▁объяс нение", + "▁федера льного", + "зы вы", + "зыв ы", + "▁st ore", + "тя ми", + "т ями", + "▁штра ф", + "▁Ре волю", + "▁pre p", + "▁pr ep", + "▁А бра", + "▁Аб ра", + "дно м", + "д ном", + "▁F ire", + "▁Герма нию", + "▁Ле бе", + "ди оз", + "дио з", + "▁B ob", + "▁Bo b", + "▁от тен", + "▁отте н", + "▁духов ного", + "▁духо вного", + "▁духовно го", + "▁сред няя", + "▁устано вления", + "▁установ ления", + "▁com es", + "▁co mes", + "▁come s", + "▁по хва", + "▁пох ва", + "▁му жем", + "▁муж ем", + "▁муже м", + "▁Швейца рии", + "▁st ations", + "▁stat ions", + "▁station s", + "ид а", + "и да", + "▁необы чай", + "an don", + "and on", + "▁ре цен", + "▁S und", + "▁Sun d", + "▁Su nd", + "▁сторон ников", + "▁к н", + "▁Вя че", + "▁север у", + "▁показа лось", + "▁показало сь", + "▁с держи", + "▁Educ ation", + "▁желез а", + "▁желе за", + "▁широ кой", + "▁широко й", + "▁there fore", + "▁M ax", + "▁Ma x", + "▁зе лё", + "▁вы ходить", + "▁выход ить", + "▁выходит ь", + "во т", + "в от", + "▁при лага", + "лю ми", + "▁возоб нови", + "▁возобно ви", + "▁res ist", + "▁s n", + "m ir", + "за в", + "з ав", + "▁ра нен", + "▁ран ен", + "▁ране н", + "▁раз дела", + "▁разде ла", + "▁раздел а", + "rug g", + "r ugg", + "▁пов стан", + "▁устано вили", + "▁установи ли", + "▁установ или", + "▁установил и", + "мс кой", + "м ской", + "▁бесе ды", + "▁эмо ции", + "▁уда ры", + "▁удар ы", + "З на", + "▁приме няют", + "▁применя ют", + "▁w all", + "▁wa ll", + "▁D ie", + "▁Di e", + "▁контра к", + "▁контр ак", + "▁Т ере", + "▁Те ре", + "▁Тер е", + "▁четвер г", + "▁Леони д", + "▁Леон ид", + "▁чи сли", + "▁ числи", + "▁s pl", + "▁sp l", + "ran ge", + "r ange", + "ен ья", + "ень я", + "е нья", + "▁сло жной", + "▁сложно й", + "▁бюро кра", + "зер ца", + "▁це ну", + "▁цен у", + "▁да нное", + "▁дан ное", + "▁ex tended", + "▁extend ed", + "▁под готовка", + "▁подготов ка", + "▁подгото вка", + "▁O lymp", + "сту пит", + "ступ ит", + "ступи т", + "▁влия ет", + "▁rec ording", + "▁record ing", + "▁бол гар", + "▁att ract", + "▁значи тельные", + "▁де сант", + "▁деса нт", + "▁ десант", + "▁взаимо действие", + "▁взаимодей ствие", + "▁ex pected", + "▁expect ed", + "пп и", + "п пи", + "шё н", + "ш ён", + "▁неболь шая", + "▁по зади", + "▁поза ди", + "▁ав стра", + "▁Ch ief", + "▁периоди чески", + "b o", + "ло ка", + "лок а", + "▁но сить", + "▁носи ть", + "▁носит ь", + "▁нос ить", + "▁ носить", + "▁чер те", + "▁черт е", + "▁желез о", + "▁желе зо", + "гово рил", + "говор ил", + "говори л", + "▁ба зи", + "▁баз и", + "ти ческом", + "р ным", + "▁м алы", + "▁ма лы", + "тчи ков", + "тчик ов", + "т чиков", + "▁дож дь", + "▁уда валось", + "лка ми", + "л ками", + "▁i r", + "▁ ir", + "▁некоторы ми", + "▁некото рыми", + "▁некоторым и", + "▁бере гов", + "▁берег ов", + "▁s earch", + "▁se arch", + "▁появи тся", + "▁поя вится", + "▁в ера", + "▁ве ра", + "▁вер а", + "▁ вера", + "▁ex tra", + "▁ext ra", + "▁press ure", + "за вод", + "зав од", + "▁Е й", + "▁полков ника", + "▁полковник а", + "▁малень ких", + "▁глу бины", + "▁глуби ны", + "▁охо тно", + "▁охот но", + "▁В ьет", + "▁сред ний", + "▁sugg ested", + "▁suggest ed", + "▁чинов ников", + "ЕН ИЕ", + "ЕНИ Е", + "Е НИЕ", + "▁Че хослова", + "жи ли", + "жил и", + "ж или", + "▁соста вили", + "▁состав или", + "▁составил и", + "▁ре гла", + "▁s le", + "▁sl e", + "Пе ре", + "Пер е", + "П ере", + "▁тяже лые", + "▁повре ждения", + "▁по ляр", + "▁пол яр", + "▁поля р", + "▁обслужи вания", + "▁распо лагается", + "▁располага ется", + "▁П ря", + "▁еди ной", + "▁един ой", + "▁едино й", + "▁разрабо тчиков", + "▁разработчи ков", + "ге нт", + "ген т", + "г ент", + "▁един ство", + "▁па лу", + "▁пал у", + "▁п ше", + "▁do ing", + "▁основа ний", + "▁осно ваний", + "it tle", + "itt le", + "▁g rew", + "▁gr ew", + "▁gre w", + "▁предыду щих", + "▁Ря дом", + "▁Ряд ом", + "▁П ётр", + "ве дя", + "вед я", + "ч ле", + "▁Mus lim", + "▁от стра", + "▁отс тра", + "▁челове чество", + "ъ е", + "▁по ворот", + "▁пово рот", + "▁поворо т", + "▁fav or", + "▁у полномо", + "▁Ин форма", + "▁де лами", + "▁дела ми", + "▁делам и", + "▁Off ice", + "▁Offic e", + "er ry", + "err y", + "▁гла внокоман", + "▁Le g", + "▁accept ed", + "ми ла", + "мил а", + "м ила", + "▁под держка", + "▁поддерж ка", + "▁подразделе ний", + "▁N orthern", + "▁North ern", + "хи на", + "хин а", + "х ина", + "▁тек сты", + "▁текст ы", + "▁ю би", + "ве ты", + "вет ы", + "в еты", + "ска р", + "ск ар", + "с кар", + "▁Са у", + "▁при меча", + "▁приме ча", + "▁ примеча", + "▁континен та", + "▁imp act", + "▁государ ственном", + "▁государстве нном", + "▁фай ла", + "▁файл а", + "▁suff ered", + "ip l", + "i pl", + "▁ша нс", + "▁шан с", + "▁медици нских", + "st ra", + "str a", + "s tra", + "▁за был", + "▁забы л", + "▁пере шел", + "лейте нант", + "лейтенан т", + "▁s ched", + "▁sc hed", + "▁sch ed", + "▁sche d", + "▁тяже лых", + "ще в", + "щ ев", + "sh ire", + "s hire", + "ri son", + "ris on", + "r ison", + "▁Т ара", + "▁Та ра", + "▁Тар а", + "▁Со лов", + "▁Соло в", + "▁Сол ов", + "▁интере са", + "▁интерес а", + "it an", + "ita n", + "ceed ed", + "▁зву ка", + "▁звук а", + "▁зв ука", + "▁про ез", + "▁бро сил", + "▁броси л", + "▁свя той", + "ко сно", + "кос но", + "▁изгото вления", + "▁фай лов", + "▁файл ов", + "▁занима ют", + "▁ку пил", + "▁куп ил", + "▁С бор", + "пи сать", + "писа ть", + "w ith", + "▁По ро", + "▁Пор о", + "▁гром ко", + "▁полови ной", + "▁mov ing", + "▁двига телей", + "▁це не", + "▁цен е", + "▁сто ять", + "▁стоя ть", + "▁стоят ь", + "▁А ССР", + "▁Ан тон", + "▁Анто н", + "▁пользу ются", + "▁l ic", + "▁про водят", + "▁прово дят", + "▁провод ят", + "▁проводя т", + "▁пода рок", + "▁подар ок", + "▁та нк", + "▁тан к", + "ed om", + "e dom", + "це т", + "ц ет", + "▁v oid", + "▁vo id", + "ло жено", + "ложе но", + "ложен о", + "▁me ant", + "▁mean t", + "▁бом бы", + "▁бомб ы", + "▁и ди", + "▁ид и", + "▁родствен ников", + "▁ша гом", + "▁шаг ом", + "ма ны", + "ман ы", + "▁пред ков", + "w in", + "▁На та", + "**** ****", + "▁Венг рии", + "▁ла нд", + "▁ ланд", + "▁Val ley", + "▁излу чения", + "Б Р", + "▁near by", + "▁пол ная", + "▁го рных", + "▁гор ных", + "▁про шёл", + "▁прош ёл", + "▁ста кан", + "▁стака н", + "▁согла со", + "фа ши", + "▁е ре", + "▁ ере", + "▁основа ние", + "▁осно вание", + "▁ш ай", + "▁ша й", + "▁ шай", + "▁успе хи", + "▁успех и", + "▁conduct ed", + "▁у пря", + "мо нов", + "мон ов", + "моно в", + "м онов", + "▁миллиар дов", + "▁лю бить", + "▁люби ть", + "▁любит ь", + "▁T ri", + "▁Tr i", + "▁ве личе", + "▁вели че", + "▁откры ли", + "▁открыл и", + "▁t im", + "зо ло", + "з оло", + "че ром", + "чер ом", + "▁ж ё", + "▁ жё", + "▁разли чным", + "▁d oor", + "▁do or", + "▁ку сок", + "▁кусо к", + "▁возду шных", + "▁воздуш ных", + "ки сло", + "кис ло", + "▁Found ation", + "▁Ж ена", + "▁Же на", + "▁Жен а", + "жд ой", + "ждо й", + "ж дой", + "▁женщи ной", + "▁женщин ой", + "▁re ach", + "ко ном", + "кон ом", + "коно м", + "к оном", + "▁недоста тки", + "▁предпо ложи", + "хра нили", + "храни ли", + "хран или", + "▁зу бы", + "▁зуб ы", + "во дитель", + "води тель", + "ше ва", + "шев а", + "ш ева", + "ка у", + "▁услови ям", + "▁условия м", + "▁за прос", + "▁запро с", + "▁у хода", + "▁ухо да", + "▁уход а", + "▁пла тье", + "▁плат ье", + "▁be gin", + "▁beg in", + "ф ро", + "▁си нд", + "▁Ка ждая", + "▁произ во", + "▁прои зво", + "▁похо ж", + "Ро ссия", + "▁Болга рии", + "▁rec ords", + "▁record s", + "▁а ги", + "▁ аги", + "▁суббо ту", + "▁И лья", + "▁Иль я", + "▁Ил ья", + "▁ра д", + "▁р ад", + "▁ рад", + "▁O tt", + "сл ь", + "с ль", + "▁Ze aland", + "▁ли чные", + "▁ личные", + "▁оши бку", + "▁ошиб ку", + "▁T ime", + "▁Tim e", + "▁ Time", + "ва юсь", + "ваю сь", + "▁на родом", + "▁наро дом", + "▁народ ом", + "▁small er", + "▁требо вание", + "▁зависи мость", + "▁вы ставки", + "▁выстав ки", + "▁выста вки", + "▁цен тров", + "▁центр ов", + "▁из ыска", + "▁вы вести", + "▁выве сти", + "▁отказа лись", + "з ти", + "in ger", + "ing er", + "▁И зу", + "▁Из у", + "зе ле", + "зел е", + "ut en", + "ute n", + "u ten", + "▁адре са", + "▁адрес а", + "▁f irm", + "▁ме стами", + "▁места ми", + "▁местам и", + "▁авто ритет", + "▁автори тет", + "▁авторите т", + "▁Х ра", + "ще нная", + "щен ная", + "▁l ives", + "▁live s", + "▁spe ak", + "▁с лия", + "▁сли я", + "▁умол ча", + "ша х", + "▁си деть", + "▁ста рта", + "▁стар та", + "▁ма слом", + "▁масло м", + "▁пода вля", + "▁за гряз", + "ке ан", + "▁sit uation", + "▁situ ation", + "▁о пусти", + "▁опу сти", + "емо му", + "емом у", + "е мому", + "▁Н ы", + "ff ic", + "f fic", + "▁богат ства", + "▁разви ва", + "▁сле дить", + "▁след ить", + "де лы", + "дел ы", + "▁ка кому", + "▁каком у", + "▁лет них", + "▁ летних", + "▁Flor ida", + "▁о ле", + "▁ оле", + "▁на вига", + "▁Ком пания", + "P h", + "▁h op", + "▁cont em", + "▁англий ской", + "▁С ай", + "▁Са й", + "▁поста вили", + "▁поставил и", + "▁постав или", + "▁с чета", + "▁счет а", + "▁сче та", + "▁б ай", + "▁ба й", + "▁ бай", + "▁зако нам", + "▁закон ам", + "▁закона м", + "▁си рий", + "▁со зыва", + "ри са", + "рис а", + "▁настоя щим", + "▁cover ed", + "▁тридца ти", + "▁пои ско", + "▁поиск о", + "▁талант ли", + "▁талан тли", + "▁Ch arl", + "▁Char l", + "лет няя", + "al ing", + "ali ng", + "a ling", + "▁в рачи", + "▁вра чи", + "▁врач и", + "▁и спор", + "▁ис пор", + "▁испо р", + "▁кор не", + "ко вую", + "ков ую", + "кову ю", + "▁обнару жены", + "▁обнаружен ы", + "но вого", + "ново го", + "▁ста ру", + "▁стар у", + "▁cont ent", + "▁при част", + "▁вен гер", + "▁режисс ёра", + "▁режиссёр а", + "▁секун ды", + "▁секунд ы", + "▁Ф ре", + "▁оста вили", + "▁оставил и", + "▁террито рий", + "▁construct ed", + "▁t al", + "▁собира лся", + "▁ти пы", + "▁тип ы", + "in als", + "inal s", + "ina ls", + "▁оста ётся", + "▁распро стран", + "▁распростра н", + "▁agre ement", + "▁W all", + "▁Wal l", + "▁вне шний", + "▁внеш ний", + "▁бой цов", + "sy l", + "s yl", + "▁pat tern", + "▁ли цами", + "▁лица ми", + "▁лицам и", + "▁ю жно", + "▁выра жа", + "▁Ор лов", + "▁широ кое", + "▁широко е", + "▁публи ци", + "▁уве рены", + "▁уверен ы", + "▁по воро", + "▁пово ро", + "re ct", + "rec t", + "r ect", + "▁забы ть", + "▁Основ ной", + "▁В след", + "во дил", + "вод ил", + "води л", + "▁показа но", + "▁показан о", + "хи х", + "х их", + "ми л", + "м ил", + "▁bas is", + "▁Москов ский", + "▁помо гают", + "▁помога ют", + "▁сегодня шний", + "▁сегодняш ний", + "▁э лли", + "▁S outhern", + "▁South ern", + "си ю", + "▁столи цу", + "▁c ode", + "▁co de", + "▁ code", + "▁дерев ню", + "ня к", + "▁прекра тить", + "хра ни", + "хран и", + "▁На гра", + "▁pro pos", + "▁prop os", + "▁сообра жения", + "мо ло", + "мол о", + "м оло", + "бю т", + "б ют", + "▁init i", + "▁предпо ложение", + "▁ма тема", + "▁мат ема", + "▁мате ма", + "ё д", + "na m", + "n am", + "▁Ком муни", + "▁кам ней", + "▁Rad io", + "▁недоста ток", + "▁недостато к", + "▁па тру", + "▁товари щей", + "▁товарищ ей", + "▁товарище й", + "▁То чно", + "▁широ кий", + "▁по лей", + "▁пол ей", + "▁поле й", + "▁f r", + "▁пра вя", + "▁прав я", + "▁необы к", + "ющую ся", + "ю щуюся", + "▁процеду ры", + "из ме", + "изм е", + "и зме", + "▁предоста вить", + "▁И наче", + "▁возвра щении", + "▁Ку ль", + "▁че сти", + "▁ чести", + "▁у чета", + "▁уче та", + "▁учет а", + "▁нау чный", + "▁моло ко", + "▁жи д", + "▁ж ид", + "фа й", + "ф ай", + "▁Гер ман", + "▁Герма н", + "ев ой", + "ево й", + "е вой", + "че сть", + "▁Te am", + "▁помощ ник", + "▁product s", + "▁produc ts", + "▁L ab", + "▁La b", + "▁способ а", + "▁спосо ба", + "▁компози тор", + "▁а ра", + "▁ар а", + "▁ ара", + "▁In st", + "▁Ins t", + "ste in", + "▁отпра вить", + "▁s ports", + "▁sport s", + "▁direct ion", + "▁dire ction", + "тс кого", + "т ского", + "▁уве ренность", + "▁уверен ность", + "▁уверенно сть", + "M A", + "▁кол лег", + "▁колле г", + "▁оста валась", + "лн и", + "л ни", + "▁девя ти", + "▁устано вил", + "▁установи л", + "▁установ ил", + "▁G ame", + "йо ра", + "▁дли нные", + "▁длин ные", + "ви й", + "▁Ж ур", + "▁Жу р", + "▁за ряд", + "▁заря д", + "▁Р од", + "▁Ро д", + "▁ко в", + "▁к ов", + "▁ ков", + "▁A ut", + "▁по чёт", + "▁поч ёт", + "▁an sw", + "▁W hat", + "▁Wh at", + "▁ What", + "rat ive", + "r ative", + "▁Вы ступа", + "де нию", + "▁при мера", + "▁пример а", + "▁приме ра", + "▁прим ера", + "▁h ar", + "▁ha r", + "▁В ей", + "▁Ве й", + "▁ли ге", + "▁по сы", + "▁пос ы", + "▁P arliament", + "▁во дитель", + "▁води тель", + "▁ водитель", + "▁a mb", + "▁am b", + "▁ amb", + "во рот", + "вор от", + "воро т", + "▁непло хо", + "▁оже сто", + "I P", + "ль ника", + "льник а", + "▁от бро", + "▁гла вой", + "▁глав ой", + "▁l abor", + "▁la bor", + "▁lab or", + "ль ская", + "▁пример ом", + "▁приме ром", + "▁Че ля", + "▁ц веты", + "▁цвет ы", + "▁цве ты", + "os ton", + "ost on", + "o ston", + "▁му ки", + "▁втор ник", + "▁слу хи", + "▁слух и", + "▁в низу", + "▁вниз у", + "l i", + "▁great er", + "▁gre ater", + "▁Ed ward", + "▁мг новенно", + "▁торго вле", + "▁торгов ле", + "▁соста вить", + "▁состав ить", + "▁составит ь", + "▁Col umb", + "▁со ю", + "▁Ар ген", + "ле нную", + "лен ную", + "▁ска жет", + "но вая", + "нов ая", + "нова я", + "▁t ells", + "▁tell s", + "▁сте кло", + "▁стек ло", + "▁прика зу", + "▁приказ у", + "▁рекоменду ется", + "▁обра зов", + "▁образ ов", + "жи тся", + "жит ся", + "ж ится", + "▁за дей", + "▁зад ей", + "▁по жертво", + "▁изя щ", + "но сили", + "носи ли", + "нос или", + "носил и", + "ens ity", + "н с", + "▁теле фона", + "▁телефон а", + "▁телефо на", + "▁st reet", + "▁stre et", + "▁E gypt", + "оп а", + "о па", + "▁mem ory", + "▁плоско сти", + "ro nic", + "ron ic", + "r onic", + "▁пос чита", + "▁ear ned", + "igh ter", + "ight er", + "▁до вер", + "▁дове р", + "ри ен", + "рие н", + "▁пере ц", + "▁пер ец", + "▁пе рец", + "F L", + "▁сер вис", + "▁серви с", + "ла к", + "л ак", + "ста вра", + "став ра", + "▁нау читься", + "▁научить ся", + "▁con ver", + "▁conv er", + "▁темпера туре", + "▁температур е", + "▁ри ско", + "▁рис ко", + "▁риск о", + "▁s ense", + "▁sen se", + "▁sens e", + "▁изу чать", + "▁изуча ть", + "хо з", + "х оз", + "▁A z", + "▁спа сибо", + "▁спаси бо", + "▁контро лировать", + "▁контроли ровать", + "▁случа ю", + "▁ме шает", + "▁обру ши", + "▁моло дым", + "▁молоды м", + "ша ются", + "шают ся", + "▁бра у", + "?? ??", + "▁V an", + "▁останови лся", + "▁останов ился", + "▁остано вился", + "F C", + "▁под нял", + "▁подня л", + "▁с зади", + "▁и щет", + "▁И сла", + "▁Ис ла", + "▁вы держи", + "бо льше", + "боль ше", + "▁луч шее", + "▁лучше е", + "▁побе дил", + "▁победи л", + "▁побед ил", + "▁ре ального", + "▁реаль ного", + "▁реа льного", + "▁реально го", + "I L", + "це ля", + "▁до жде", + "▁дож де", + "▁хо дил", + "▁ход ил", + "▁ ходил", + "ge nd", + "gen d", + "g end", + "▁P C", + "▁ PC", + "▁из мер", + "▁изме р", + "▁улуч шения", + "ня лась", + "няла сь", + "▁over all", + "▁Pro v", + "▁Pr ov", + "й с", + "▁плани руется", + "▁планирует ся", + "▁ста кана", + "▁стакан а", + "▁стака на", + "▁потеря ли", + "▁потер яли", + "▁потерял и", + "▁Э йн", + "▁Эй н", + "▁у бил", + "▁уби л", + "ir med", + "irm ed", + "▁те мати", + "▁тема ти", + "▁ темати", + "▁L i", + "▁L inux", + "▁пред ъя", + "▁предъ я", + "ap ed", + "ape d", + "a ped", + "pr i", + "p ri", + "▁рас следования", + "▁расследова ния", + "▁во вле", + "но времен", + "нов ремен", + "▁ве са", + "▁вес а", + "нима ние", + "▁пла нов", + "▁план ов", + "▁К уда", + "▁Ку да", + "▁математи ки", + "▁матема тики", + "▁пассажи р", + "▁преимуще ство", + "ме нный", + "мен ный", + "▁режи ссе", + "▁режисс е", + "▁av oid", + "▁k new", + "▁kn ew", + "▁c hem", + "▁ch em", + "▁che m", + "▁дея телей", + "▁кре сто", + "▁крест о", + "ag ement", + "age ment", + "▁вла ды", + "▁указа л", + "▁ука зал", + "▁указ ал", + "▁э кви", + "▁эк ви", + "▁бе лой", + "▁бело й", + "▁экономи ке", + "но вый", + "▁pres ence", + "▁тюрь му", + "▁официаль ный", + "az z", + "a zz", + "▁тор говых", + "▁торго вых", + "▁торгов ых", + "чи лось", + "чило сь", + "▁До бро", + "▁Доб ро", + "▁ну жды", + "▁нуж ды", + "▁нужд ы", + "▁со при", + "▁по сторон", + "а с", + "he ast", + "▁Is lam", + "▁До ктор", + "▁распоря жении", + "li st", + "l ist", + "▁По про", + "▁б ана", + "▁ба на", + "▁бан а", + "▁large ly", + "▁larg ely", + "не ди", + "н еди", + "▁док три", + "ста новка", + "станов ка", + "стано вка", + "де ло", + "дел о", + "▁про ли", + "не мся", + "нем ся", + "н емся", + "▁De velop", + "▁Ши ро", + "▁на грузки", + "▁нагруз ки", + "▁нагру зки", + "▁histor ical", + "▁historic al", + "▁губерна тор", + "▁по бли", + "▁чи сел", + "▁при родных", + "▁приро дных", + "▁природ ных", + "▁жен щине", + "▁женщи не", + "▁женщин е", + "▁не ну", + "▁Еги пет", + "▁попро бовать", + "▁T od", + "▁To d", + "▁be long", + "▁bel ong", + "ха на", + "хан а", + "х ана", + "▁l abel", + "▁la bel", + "▁lab el", + "▁с лову", + "▁сло ву", + "▁слов у", + "▁испол нении", + "▁катастро фы", + "▁b order", + "▁bor der", + "ёр ов", + "ё ров", + "▁про ходи", + "▁проход и", + "▁прохо ди", + "▁en ter", + "▁ent er", + "▁ча стями", + "▁част ями", + "▁час тями", + "▁частям и", + "▁кандида та", + "▁кандидат а", + "▁т ё", + "▁Н ек", + "▁Не к", + "▁абстра кт", + "▁И у", + "▁Фе одо", + "▁Фео до", + "▁Фран к", + "▁Фра нк", + "▁указа ния", + "▁ука зания", + "▁от клю", + "▁отк лю", + "▁cont ains", + "▁contain s", + "jo y", + "j oy", + "▁художе ственного", + "▁t able", + "▁occur red", + "▁на став", + "▁нас тав", + "▁наста в", + "▁швей цар", + "▁decl ared", + "▁con cent", + "▁conc ent", + "▁пол года", + "▁вра г", + "▁Ба х", + "ст ские", + "▁пред ложить", + "▁предложи ть", + "▁вы ходя", + "▁выход я", + "R A", + "▁ж ре", + "▁p ict", + "an cy", + "anc y", + "▁Г К", + "▁пред ложили", + "▁предложи ли", + "▁предложил и", + "▁без раз", + "ap ers", + "aper s", + "▁сим фо", + "му д", + "м уд", + "▁от ражение", + "▁отра жение", + "го вых", + "гов ых", + "▁после воен", + "▁при хода", + "▁приход а", + "▁прихо да", + "▁посмотре л", + "▁m ill", + "▁mil l", + "▁mi ll", + "▁Sh ow", + "▁Фран цию", + "▁Франци ю", + "▁ty pes", + "▁typ es", + "▁type s", + "▁кафе дры", + "▁на сили", + "▁нас или", + "▁наси ли", + "▁На чина", + "▁Нач ина", + "▁мы сле", + "▁мыс ле", + "▁ мысле", + "▁U N", + "▁ UN", + "ни зм", + "низ м", + "н изм", + "▁тре уголь", + "ur rent", + "▁американ цы", + "▁америка нцы", + "▁С ак", + "▁Са к", + "▁C amb", + "▁Cam b", + "▁Ca mb", + "▁dam age", + "▁са му", + "▁сам у", + "▁находя сь", + "▁наход ясь", + "▁Пи тер", + "лек три", + "▁aut om", + "▁ребен ком", + "▁глубо кой", + "▁глубоко й", + "▁события х", + "▁ак ку", + "▁S ar", + "▁Sa r", + "▁наступа ет", + "в ным", + "раз ному", + "▁изу чению", + "▁пере пра", + "С А", + "▁p un", + "▁коль цо", + "▁у бор", + "▁убо р", + "▁С У", + "▁кла ви", + "▁t hr", + "▁th r", + "▁си дели", + "▁сидел и", + "▁qu ality", + "▁qual ity", + "▁проце ссу", + "▁процесс у", + "▁Серге евич", + "ig an", + "i gan", + "▁те пла", + "▁теп ла", + "▁фи гура", + "▁фигу ра", + "▁фигур а", + "▁характери зуется", + "▁характеризу ется", + "эн ь", + "э нь", + "▁U l", + "▁утвер ждать", + "▁утвержда ть", + "вле нную", + "влен ную", + "в ленную", + "кра т", + "кр ат", + "к рат", + "ву шка", + "ound ed", + "▁духов ен", + "▁духо вен", + "▁пла нет", + "▁плане т", + "▁план ет", + "▁ планет", + "▁эми грации", + "▁эмигра ции", + "▁упра влением", + "▁управление м", + "▁вер ху", + "▁верх у", + "▁ верху", + "▁сериа ла", + "▁сериал а", + "по лни", + "пол ни", + "ди нами", + "дина ми", + "▁самоу правления", + "▁Ле он", + "▁Лео н", + "i y", + ", ,", + "▁по пала", + "▁попа ла", + "▁попал а", + "▁поп ала", + "▁тре нером", + "▁тренер ом", + "Са н", + "С ан", + "▁) ,", + "▁ ),", + "▁по рабо", + "▁пора бо", + "за к", + "з ак", + "ig r", + "i gr", + "строе ния", + "▁пов сюду", + "▁Не по", + "▁L ee", + "▁Le e", + "▁фами лия", + "at us", + "ле нное", + "лен ное", + "ленно е", + "▁Зем лю", + "▁американ цев", + "▁америка нцев", + "p p", + "▁вое нача", + "▁от би", + "syl vania", + "▁мета лла", + "▁метал ла", + "▁металл а", + "▁про стого", + "▁просто го", + "▁прос того", + "▁Чемпиона т", + "▁Чемпион ат", + "▁С к", + "▁Исполь зу", + "▁чи слом", + "▁число м", + "▁маркет ин", + "▁пала ты", + "▁st rugg", + "▁str ugg", + "▁ве лел", + "ля тся", + "лят ся", + "л ятся", + "▁объ явля", + "▁объя вля", + "▁приме няются", + "▁применя ются", + "▁применяют ся", + "▁познакоми лся", + "▁выбира ть", + "▁выби рать", + "▁о свя", + "▁ос вя", + "▁he ard", + "▁hear d", + "▁встре тить", + "▁продол жить", + "▁продолжи ть", + "ne s", + "n es", + "▁кор руп", + "▁M ain", + "▁Ma in", + "▁с него", + "▁сне го", + "▁снег о", + "▁John son", + "▁конструк тор", + "▁констру ктор", + "▁за те", + "▁зат е", + "▁Послед ние", + "▁Дмитри я", + "▁citiz ens", + "ве ла", + "вел а", + "▁be at", + "▁электро энер", + "СК ИЙ", + "кто ру", + "кт ору", + "ктор у", + "к тору", + "▁в ходила", + "▁вход ила", + "▁входил а", + "▁входи ла", + "▁d og", + "▁do g", + "▁Фе до", + "▁п лы", + "▁ плы", + "▁журна листов", + "▁журнали стов", + "▁журналист ов", + "▁Мо лда", + "▁Мол да", + "▁поко ление", + "▁о казывает", + "▁оказыва ет", + "▁ока зывает", + "▁рекомен дации", + "▁рекоменда ции", + "▁mur der", + "▁murd er", + "▁но вости", + "▁ново сти", + "ен ты", + "ент ы", + "е нты", + "▁косми ческих", + "▁листь ев", + "▁лист ьев", + "ству ющий", + "▁Стани слав", + "И с", + "▁раз ного", + "▁разно го", + "▁sy mb", + "▁sym b", + "ща ла", + "щал а", + "щ ала", + "вна я", + "в ная", + "▁потен циа", + "▁сред не", + "▁сре дне", + "▁w or", + "▁сти му", + "▁belie ve", + "шны й", + "ш ный", + "фика цию", + "▁зве з", + "▁зв ез", + "▁ звез", + "▁ле жат", + "▁лежа т", + "is ters", + "ist ers", + "ister s", + "ро вым", + "▁леген дар", + "▁легенда р", + "го судар", + "▁Навер ное", + "жи вать", + "▁заинтере сован", + "▁заинтересова н", + "▁заинтересо ван", + "▁гражда нин", + "▁граждан ин", + "та ря", + "тар я", + "▁вер нулась", + "▁верну лась", + "▁заканчи вается", + "И З", + "▁выра зил", + "▁вырази л", + "▁n uc", + "▁с лава", + "▁сла ва", + "▁ слава", + "▁режи ссер", + "▁режисс ер", + "▁режиссе р", + "оло гия", + "ологи я", + "о логия", + "▁trans ferred", + "▁transfer red", + "▁м иль", + "▁ми ль", + "▁ миль", + "ча ян", + "чая н", + "Ф и", + "▁объеди нение", + "▁обла стного", + "▁с мену", + "▁сме ну", + "▁Pr ince", + "▁Pri nce", + "▁f ast", + "▁fa st", + "▁чув ством", + "▁чувство м", + "▁чувств ом", + "▁Основ ная", + "▁произо шед", + "▁cou ple", + "▁предста вляли", + "▁представля ли", + "▁представлял и", + "iz es", + "ize s", + "▁ed itor", + "▁фу нтов", + "po int", + "p oint", + "▁ey es", + "▁eye s", + "▁sugg est", + "▁Екатери н", + "▁рас смотреть", + "▁рассмотре ть", + "▁луч шего", + "▁лучше го", + "▁Заслу женный", + "▁Ско рее", + "п п", + "▁ab andon", + "▁Центра льного", + "▁Центр ального", + "▁вку су", + "▁вкус у", + "не ва", + "нев а", + "н ева", + "▁У р", + "▁лю бая", + "ссо циа", + "▁пес ча", + "▁ref used", + "тс кий", + "т ский", + "▁чере па", + "▁equip ment", + "▁ад мира", + "▁чи стой", + "▁чисто й", + "▁зем лей", + "▁земле й", + "▁созда ют", + "▁соз дают", + "▁боль нице", + "ho st", + "h ost", + "▁е ду", + "▁ед у", + "Y ou", + "▁оказа ть", + "▁ока зать", + "▁субъек тов", + "▁субъект ов", + "▁sp irit", + "te st", + "tes t", + "t est", + "▁при носит", + "ье м", + "ь ем", + "▁полу чит", + "▁получи т", + "▁экви вален", + "▁на строен", + "▁настрое н", + "▁настро ен", + "▁предста влять", + "▁представля ть", + "▁приобре те", + "▁за помина", + "▁запо мина", + "▁запом ина", + "▁Ре жи", + "ib ly", + "▁з рели", + "▁зре ли", + "▁принципи ально", + "▁i d", + "▁ id", + "▁корот кий", + "▁кар тине", + "▁карти не", + "▁картин е", + "ww w", + "w ww", + "▁oper ated", + "▁operate d", + "пло м", + "п лом", + "▁еди ницы", + "▁единиц ы", + "▁едини цы", + "▁домаш них", + "логи ческие", + "▁за хоро", + "▁захо ро", + "▁ш ей", + "▁ше й", + "▁ шей", + "▁anc ient", + "▁об ед", + "▁обе д", + "▁gu itar", + "▁разво рачи", + "▁ре альных", + "▁реаль ных", + "▁реа льных", + "▁у словно", + "▁услов но", + "▁мя ч", + "▁writ er", + "▁write r", + "▁Национа льной", + "▁c ouncil", + "▁coun cil", + "ла г", + "про це", + "▁возник ло", + "▁с воя", + "▁сво я", + "▁stud ied", + "▁T em", + "▁Te m", + "m iss", + "▁профе ссии", + "▁угро зу", + "▁обра щаться", + "▁обраща ться", + "ё й", + "▁Ма ма", + "▁Pe ople", + "▁При мерно", + "▁Пример но", + "▁Приме рно", + "X V", + "▁сочи нений", + "▁Пари жа", + "▁Париж а", + "▁госпо дин", + "▁господ ин", + "im b", + "i mb", + "▁фак торы", + "▁фактор ы", + "▁занима ются", + "▁занимают ся", + "▁гран диоз", + "тт а", + "т та", + "▁тру б", + "▁А бу", + "▁Аб у", + "▁Национа льного", + "▁ве лика", + "▁вели ка", + "▁велик а", + "▁Sp ain", + "▁J ones", + "▁Jo nes", + "▁Jon es", + "стру и", + "▁к валифици", + "▁квали фици", + "ul es", + "ule s", + "u les", + "▁об щение", + "▁обще ние", + "▁рекла мы", + "▁реклам ы", + "▁пропа ганди", + "▁пропаган ди", + "ды е", + "Б А", + "ни ло", + "нил о", + "▁гля дя", + "▁мага зина", + "▁магази на", + "▁магазин а", + "▁пере бро", + "▁st ories", + "▁М она", + "▁Мо на", + "▁Мон а", + "vi s", + "v is", + "на та", + "нат а", + "▁pass eng", + "▁истори ческий", + "▁исторически й", + "ли нского", + "лин ского", + "▁вы рабаты", + "▁выра баты", + "▁по прав", + "▁попра в", + "▁поп рав", + "б же", + "▁F oot", + "▁В ит", + "▁Ви т", + "▁necess ary", + "▁re con", + "▁rec on", + "▁способ на", + "▁до бле", + "▁доб ле", + "▁Исто чник", + "▁непре рывно", + "▁непрерыв но", + "▁t rial", + "▁tr ial", + "▁tri al", + "Ра з", + "Р аз", + "▁освобо ждение", + "▁завое вал", + "▁отста и", + "▁отс таи", + "▁Ми Г", + "во дов", + "вод ов", + "▁полу ченные", + "▁w hy", + "▁wh y", + "▁D VD", + "▁кни гах", + "▁книга х", + "▁тран зи", + "▁при мы", + "▁прим ы", + "▁э ры", + "▁эр ы", + "▁Б ой", + "▁Бо й", + "▁спосо бами", + "▁способа ми", + "ful ly", + "f ully", + "ee n", + "e en", + "це ло", + "▁при ступа", + "▁неболь шим", + "▁го рно", + "▁гор но", + "ies t", + "ie st", + "i est", + "ко вом", + "ков ом", + "ково м", + "▁вариан та", + "▁вариант а", + "▁вариа нта", + "▁х ан", + "▁ха н", + "▁ хан", + "▁Види мо", + "▁Вид имо", + "до вание", + "дова ние", + "ат ри", + "атр и", + "а три", + "▁не сов", + "▁нес ов", + "▁несо в", + "▁с со", + "▁ ссо", + "s k", + "▁показа тели", + "▁Ви та", + "▁Вит а", + "▁спец служ", + "▁О ле", + "▁Ол е", + "▁крестьян е", + "▁крестья не", + "ра д", + "р ад", + "▁мо рского", + "▁мор ского", + "▁ морского", + "▁Соеди ненных", + "▁за веду", + "▁заве ду", + "▁генера льного", + "▁на ходят", + "▁находя т", + "▁наход ят", + "▁паци ента", + "▁пациен та", + "▁пациент а", + "▁т етра", + "▁те тра", + "сер ви", + "▁взгля дом", + "▁взгляд ом", + "▁Penn sylvania", + "▁Спе циаль", + "▁m m", + "▁ mm", + "▁означа ло", + "▁озна чало", + "▁art icle", + "▁г ек", + "▁ге к", + "▁result ed", + "▁ку стар", + "▁относи ться", + "ro om", + "r oom", + "▁эпи де", + "▁ви дя", + "▁вид я", + "▁москов ского", + "▁Э л", + "▁вели ким", + "▁велик им", + "ри нг", + "рин г", + "р инг", + "▁con clud", + "▁сотруд ничество", + "▁сотрудни чество", + "▁на бе", + "▁ра ке", + "▁рак е", + "at i", + "▁зна ков", + "▁знако в", + "▁знак ов", + "про дук", + "▁You ng", + "▁опла ты", + "▁b al", + "▁ bal", + "▁на раста", + "▁Н ей", + "▁Не й", + "▁счет у", + "▁сче ту", + "▁com pl", + "▁comp l", + "▁боль ницы", + "▁Кана ды", + "▁На чиная", + "▁Начина я", + "▁б рен", + "▁бре н", + "▁деву шек", + "▁ве тера", + "▁вет ера", + "▁ветер а", + "ри ки", + "рик и", + "▁ст рок", + "▁стро к", + "▁стр ок", + "▁ожида ния", + "▁ожи дания", + "▁writ e", + "▁ви дела", + "▁виде ла", + "▁видел а", + "▁показа ния", + "▁пока зания", + "гну л", + "г нул", + "▁бу дди", + "▁буд ди", + "▁культур ного", + "▁культурно го", + "▁взгля дов", + "▁взгляд ов", + "▁t ell", + "▁te ll", + "про мышлен", + "сно вы", + "снов ы", + "▁во лн", + "▁вол н", + "S T", + "▁разрабо тка", + "▁действи ями", + "▁действия ми", + "▁действиям и", + "▁церемо нии", + "▁приобре сти", + "Т У", + "▁Пав лович", + "▁рекомен да", + "▁вся кое", + "▁на логов", + "▁налого в", + "▁налог ов", + "▁Му зей", + "▁Музе й", + "▁район ного", + "▁заинтере сова", + "▁заинтересо ва", + "▁C ivil", + "с вое", + "▁B oston", + "▁Bo ston", + "▁Bos ton", + "▁за держи", + "га рд", + "гар д", + "▁project s", + "▁сту пень", + "▁ступ ень", + "▁явля лась", + "▁пло ды", + "▁плод ы", + "зе ф", + "ль ны", + "▁p et", + "▁pe t", + "▁ pet", + "▁счёт ом", + "▁счё том", + "▁глуби ну", + "▁про игры", + "▁прои гры", + "▁ко ну", + "▁к ону", + "▁кон у", + "or ation", + "ora tion", + "o ration", + "▁с делки", + "▁сде лки", + "▁сдел ки", + "▁Напом ним", + "▁сухо пу", + "▁куль туру", + "▁культур у", + "g n", + "▁с нови", + "▁сно ви", + "er sey", + "ers ey", + "▁игро ком", + "▁игрок ом", + "▁Де рев", + "▁Дер ев", + "▁Дере в", + "▁реали зовать", + "▁реализова ть", + "▁сооб щалось", + "▁сообща лось", + "▁объяс нил", + "▁The atre", + "▁с право", + "▁спра во", + "ol es", + "ole s", + "o les", + "▁ситуа циях", + "▁ситуация х", + "▁па ссив", + "▁пас сив", + "ка и", + "ссе ль", + "с сель", + "pon d", + "po nd", + "p ond", + "▁Пу тина", + "▁Путин а", + "▁Пути на", + "▁существо вании", + "▁существова нии", + "сти ческим", + "стически м", + "с тическим", + "▁m ut", + "бе лев", + "pe rial", + "per ial", + "ри ровать", + "▁окру жения", + "▁C ro", + "▁Cr o", + "▁выра зить", + "▁вырази ть", + "ellig ence", + "ха л", + "х ал", + "▁кор ни", + "▁Francis co", + "▁увеличи вается", + "▁увели чивается", + "▁увеличивает ся", + "▁Побе ды", + "ру ющий", + "рую щий", + "▁Z h", + "ли вости", + "ливо сти", + "▁те ряет", + "▁теря ет", + "▁под креп", + "▁l iber", + "смо трен", + "смотре н", + "смотр ен", + "▁специаль ности", + "▁специально сти", + "▁Cor ps", + "▁до льше", + "▁хва тит", + "▁С мир", + "▁См ир", + "▁при клю", + "▁поэ тов", + "▁поэт ов", + "вз о", + "в зо", + "▁Дон ба", + "▁cont ro", + "▁official s", + "▁Eng ine", + "▁альбо ма", + "▁альбом а", + "▁ауди тории", + "▁J es", + "▁Je s", + "ев о", + "е во", + "▁су мас", + "▁сум ас", + "▁жили щ", + "▁пре ступление", + "▁преступ ление", + "▁У тром", + "▁г нев", + "▁гне в", + "▁м ладший", + "▁млад ший", + "▁вы ступление", + "▁выступ ление", + "▁РК КА", + "» \"", + "▁enem y", + "▁ма рок", + "▁мар ок", + "▁main ly", + "▁ото жде", + "▁Любо вь", + "▁Воз вра", + "▁руковод ству", + "▁cond ition", + "нен ко", + "н енко", + "▁Ку ба", + "▁ле жал", + "▁лежа л", + "▁С А", + "▁ СА", + "▁называ ются", + "▁называют ся", + "▁тех нического", + "▁техни ческого", + "▁ технического", + "лет них", + "▁финан совой", + "▁финансо вой", + "▁финансов ой", + "ми лли", + "мил ли", + "ra nce", + "ran ce", + "r ance", + "▁Вале рий", + "▁выгля деть", + "▁сло жнее", + "is her", + "ish er", + "з ра", + "▁официаль ном", + "▁официально м", + "▁гражда не", + "▁граждан е", + "▁мо нта", + "▁мон та", + "▁ монта", + "▁обра щается", + "▁обраща ется", + "▁Да льше", + "▁Даль ше", + "▁бо льной", + "▁боль ной", + "▁больно й", + "▁R el", + "▁Re l", + "▁цар ство", + "▁хра нили", + "▁храни ли", + "▁ хранили", + "▁бе жал", + "▁справед ли", + "pl ace", + "▁Герма нией", + "▁ди вер", + "▁re comm", + "▁rec omm", + "▁тяже сти", + "▁to uch", + "▁стра ной", + "▁стран ой", + "▁Д ем", + "▁Де м", + "▁fight ing", + "▁Эн гель", + "▁от оз", + "▁ото з", + "▁э ро", + "▁эр о", + "▁ эро", + "▁откры вает", + "▁ла й", + "▁л ай", + "▁ лай", + "▁ве ла", + "▁вел а", + "▁ вела", + "чи вый", + "▁у мение", + "▁уме ние", + "▁К ло", + "▁выс шее", + "▁ad ult", + "en ge", + "eng e", + "▁comp uter", + "▁помо гать", + "▁помога ть", + "ки я", + "\") ;", + "\" );", + "▁це лые", + "▁s uit", + "▁su it", + "▁ран него", + "▁стра ницах", + "▁страница х", + "▁за веща", + "▁заве ща", + "пи ри", + "▁Да ге", + "▁обы чного", + "▁обычно го", + "▁съ ез", + "▁съе з", + "▁во спа", + "▁вос па", + "▁household s", + "▁у мы", + "▁ум ы", + "▁за няться", + "▁заня ться", + "▁занять ся", + "▁за ма", + "▁зам а", + "▁с тили", + "▁ст или", + "▁сти ли", + "▁ стили", + "▁эваку и", + "▁у гля", + "▁уг ля", + "▁W omen", + "▁заинтере со", + "ры з", + "▁= =", + "▁ ==", + "▁табли цы", + "▁Татья на", + "ни ст", + "нис т", + "н ист", + "▁мо тор", + "▁мото р", + "▁эк зо", + "▁Су во", + "▁благополу чно", + "▁беско нечно", + "▁бесконе чно", + "▁смя г", + "га ться", + "гать ся", + "▁comp ared", + "▁compar ed", + "ко вали", + "ков али", + "кова ли", + "ковал и", + "су а", + "с уа", + "▁футбо лу", + "▁футбол у", + "▁военнослу жащих", + "▁военнослужа щих", + "▁еди ница", + "▁единиц а", + "▁едини ца", + "▁К ристи", + "▁Кри сти", + "▁по шло", + "▁пош ло", + "▁Ста ро", + "▁Стар о", + "▁represent ed", + "▁истори ческие", + "▁исторически е", + "▁В зя", + "▁Вз я", + "▁мене дже", + "▁менедж е", + "▁орде нами", + "▁ордена ми", + "▁по пра", + "▁поп ра", + "▁обы чный", + "Мо ск", + "с ве", + "ли нский", + "лин ский", + "▁расши рение", + "▁сво ев", + "▁свое в", + "то рий", + "тори й", + "▁P ower", + "▁Po wer", + "▁M iddle", + "ha ps", + "h aps", + "▁Чар ль", + "▁му льти", + "▁мульт и", + "▁neigh bor", + "▁го рю", + "▁гор ю", + "▁кня же", + "▁не и", + "▁осуществ лять", + "▁осуществля ть", + "▁t hing", + "▁th ing", + "▁ thing", + "▁O x", + "▁отде льной", + "▁отдель ной", + "▁отдельно й", + "▁вы па", + "ab b", + "хра н", + "х ран", + "▁Bec ause", + "▁отпра вились", + "▁отправили сь", + "▁до г", + "▁вы би", + "▁кно пку", + "▁дости гли", + "▁достиг ли", + "▁не под", + "▁непо д", + "▁не ра", + "▁н ера", + "▁нер а", + "▁ нера", + "▁зем летря", + "▁земле тря", + "▁Аб ду", + "▁су дей", + "▁суд ей", + "▁суде й", + "▁Я зы", + "мет рии", + "метри и", + "▁Бо гда", + "▁Бог да", + "▁команду ющего", + "▁памят ника", + "▁памятник а", + "▁Е ванге", + "▁разру шения", + "▁Я ку", + "▁Як у", + "▁attack s", + "▁бы вшей", + "▁больше виков", + "▁большеви ков", + "▁при ё", + "▁ру мы", + "▁при знания", + "▁призна ния", + "▁M ah", + "▁Ma h", + "▁му льт", + "▁some one", + "▁милли оны", + "▁миллион ы", + "▁claim s", + "▁Л ос", + "▁Ло с", + "▁в зы", + "▁вз ы", + "▁убе ждения", + "og ue", + "▁Ле о", + "▁прави тельству", + "▁правитель ству", + "но ву", + "нов у", + "▁Ре шение", + "▁Дэ вид", + "но шений", + "▁ры ча", + "▁па льцев", + "▁паль цев", + "▁З А", + "▁ ЗА", + "▁Ли ги", + "▁ак тивное", + "▁актив ное", + "▁активно е", + "▁R ome", + "▁Ro me", + "▁Rom e", + "▁T re", + "▁Tr e", + "▁pl aces", + "▁place s", + "сти ку", + "стик у", + "с тику", + "▁выпол нении", + "▁креп ко", + "▁из ъ", + "▁с мея", + "▁сме я", + "ги те", + "▁ве щество", + "▁веществ о", + "▁веще ство", + "▁Про тив", + "▁дет ских", + "▁у слож", + "▁ус лож", + "▁разви ваться", + "▁развива ться", + "▁развивать ся", + "▁Пи сь", + "▁отра жа", + "cl es", + "cle s", + "c les", + "▁малень кой", + "хо же", + "ag on", + "ago n", + "▁убе диться", + "▁убеди ться", + "▁убедить ся", + "Не т", + "Н ет", + "▁Х ей", + "▁Хе й", + "ist ics", + "istic s", + "▁види мости", + "▁видимо сти", + "▁ !", + "▁пять десят", + "▁в он", + "▁во н", + "▁hon or", + "▁тех нике", + "▁техни ке", + "▁ис торией", + "▁исто рией", + "▁истори ей", + "▁популяр ность", + "▁prom oted", + "▁promot ed", + "▁promote d", + "▁приобре тает", + "▁вы ходят", + "▁выход ят", + "▁выходя т", + "▁един ства", + "▁без ум", + "▁безу м", + "▁D i", + "▁Gu ard", + "it led", + "itle d", + "▁вспомина ет", + "▁поме щении", + "▁mom ent", + "ля цию", + "▁Во ль", + "▁Вол ь", + "▁печа та", + "▁печат а", + "▁Мак сим", + "▁Макси м", + "▁Макс им", + "▁Вспо м", + "▁plat form", + "▁патри о", + "гу н", + "г ун", + "▁William s", + "▁st one", + "▁ stone", + "erv ation", + "▁герцо га", + "▁герцог а", + "▁спраши вает", + "ней шее", + "▁еже днев", + "A l", + "▁бое вого", + "▁Л ука", + "▁Лу ка", + "▁Лук а", + "▁награ ды", + "▁наград ы", + "▁раз обла", + "▁разо бла", + "▁разоб ла", + "▁круп ным", + "▁во о", + "бе ди", + "б еди", + "ографи я", + "о графия", + "ва ра", + "вар а", + "в ара", + "▁во лей", + "▁вол ей", + "▁воле й", + "▁след ствием", + "▁следствие м", + "▁Т ек", + "▁Те к", + "▁кра сного", + "▁красно го", + "▁ды м", + "▁ дым", + "▁вол на", + "▁волн а", + "▁З ака", + "▁За ка", + "▁Зак а", + "▁ге ниаль", + "▁истреби телей", + "am m", + "a mm", + "▁сом нений", + "▁сомне ний", + "▁кол они", + "▁коло ни", + "▁колон и", + "▁пользова лся", + "се ло", + "сел о", + "▁некото рой", + "р ской", + "▁вы мы", + "▁W ales", + "▁Wal es", + "▁говори м", + "▁говор им", + "▁гово рим", + "▁диссер тацию", + "▁полу чило", + "▁получи ло", + "▁получил о", + "▁совет ская", + "▁administ ration", + "▁необходи мое", + "▁необходимо е", + "▁необходим ое", + "▁це нных", + "▁цен ных", + "▁уничто жения", + "▁умолча нию", + "▁Коми тета", + "▁Комитет а", + "▁боль ницу", + "▁I ll", + "▁Il l", + "▁потре бления", + "▁потреб ления", + "▁на стройки", + "▁настрой ки", + "▁настро йки", + "чь и", + "ч ьи", + "▁Bl ue", + "▁под водных", + "▁подвод ных", + "▁подво дных", + "▁лоша дь", + "▁гу б", + "▁ губ", + "▁Гла вного", + "▁Глав ного", + "ke r", + "k er", + "▁потер ь", + "▁поте рь", + "▁тол пы", + "▁па льцы", + "▁паль цы", + "кл у", + "к лу", + "▁А нали", + "▁Ан али", + "▁Ана ли", + "▁насле дия", + "ма ну", + "ман у", + "▁count y", + "▁coun ty", + "пп о", + "п по", + "▁об щ", + "▁ре ферен", + "▁реф ерен", + "▁со вести", + "▁сове сти", + "смотри те", + "▁ча стной", + "▁част ной", + "▁час тной", + "хо за", + "хоз а", + "▁пациен тов", + "▁пациент ов", + "▁товари щи", + "▁товарищ и", + "ве ща", + "▁do ub", + "▁dou b", + "▁F ox", + "▁наде юсь", + "го ва", + "гов а", + "▁D utch", + "▁соба ку", + "▁собак у", + "жи га", + "▁Интер нет", + "▁ба лет", + "▁бал ет", + "▁потребу ется", + "▁про ща", + "▁Тре тья", + "▁Треть я", + "Во з", + "В оз", + "▁проце нта", + "▁процен та", + "▁процент а", + "▁че лю", + "▁чел ю", + "▁из ум", + "▁изу м", + "ad el", + "ade l", + "in clud", + "▁зо вут", + "▁К аль", + "▁Ка ль", + "▁Кал ь", + "▁мощ ностью", + "▁мощность ю", + "▁беспла тно", + "▁У ил", + "▁Уи л", + "дным и", + "д ными", + "k o", + "▁Г ю", + "▁взя ла", + "▁взял а", + "ко ю", + "▁H or", + "▁Ho r", + "▁T im", + "▁Se a", + "ку ру", + "кур у", + "or ship", + "ors hip", + "▁complet ely", + "▁complete ly", + "▁све же", + "al i", + "a li", + "▁Кры му", + "▁Крым у", + "▁newsp aper", + "▁подроб ности", + "▁подробно сти", + "▁ж дал", + "▁ ждал", + "▁фе льд", + "▁ фельд", + "▁производ ству", + "л э", + "▁ро га", + "▁ рога", + "▁Ви занти", + "▁sim ply", + "н че", + "▁сынов ья", + "▁O h", + "▁отра жает", + "▁отража ет", + "▁убе жи", + "ло вский", + "лов ский", + "▁I D", + "▁ ID", + "▁M att", + "▁Ma tt", + "▁Mat t", + "ia ble", + "i able", + "▁попыт ок", + "▁попы ток", + "ли ней", + "лин ей", + "лине й", + "▁по жало", + "▁пожа ло", + "▁на шла", + "▁наш ла", + "ст ник", + "с тник", + "▁пор туга", + "▁порту га", + "тс кой", + "т ской", + "▁ш аги", + "▁ша ги", + "▁шаг и", + "▁фа ктор", + "▁фак тор", + "▁факт ор", + "▁Бо риса", + "▁Бори са", + "▁Борис а", + "▁понима ли", + "▁пони мали", + "▁понимал и", + "▁сторо ной", + "▁сторон ой", + "▁государ стве", + "▁государств е", + "▁обозна чения", + "еди нён", + "един ён", + "▁М А", + "▁ МА", + "▁re duced", + "▁reduce d", + "▁ве ж", + "▁защи тить", + "▁защит ить", + "ры ми", + "рым и", + "▁sup ply", + "▁ви тами", + "нт ер", + "нте р", + "н тер", + "▁Ш ев", + "▁Ше в", + "▁пере до", + "▁пе редо", + "▁перед о", + "до нос", + "дон ос", + "A meric", + "▁матери али", + "▁материа ли", + "▁мате риали", + "▁материал и", + "▁b illion", + "▁bill ion", + "ee d", + "e ed", + "▁Су пер", + "▁Иоан н", + "сло вие", + "слови е", + "▁показа тель", + "▁adop ted", + "▁че рной", + "▁чер ной", + "▁черно й", + "▁ра вна", + "▁рав на", + "▁бо та", + "▁ бота", + "▁ле кси", + "▁лек си", + "▁карь ере", + "▁пос тели", + "▁посте ли", + "ви з", + "в из", + "шни ков", + "шник ов", + "ш ников", + "▁не ю", + "▁со циал", + "▁соци ал", + "е ц", + "▁рабо тник", + "▁работ ник", + "▁цар ства", + "▁: )", + "Д у", + "▁опу хо", + "▁B ow", + "▁Bo w", + "▁т вои", + "▁тво и", + "▁поко лений", + "▁количе ству", + "▁Б аль", + "▁Ба ль", + "▁Бал ь", + "▁от рази", + "▁отра зи", + "▁ра ун", + "▁потен циал", + "▁потенциа л", + "Г А", + "▁реак цию", + "▁а спи", + "▁ас пи", + "▁еписко па", + "▁епископ а", + "▁свобо дной", + "▁свобод ной", + "▁свободно й", + "▁ну ждается", + "▁нужда ется", + "▁откры та", + "▁открыт а", + "▁собира ть", + "▁аэро пор", + "▁ближай шие", + "▁мини стром", + "▁министр ом", + "▁памя тников", + "▁памят ников", + "▁памятник ов", + "▁И л", + "▁един ственная", + "▁адре су", + "▁адрес у", + "▁s ales", + "▁sal es", + "▁sale s", + "▁to ward", + "▁не доступ", + "▁недо ступ", + "▁pur pose", + "▁J ac", + "? )", + "▁созда но", + "▁создан о", + "▁агре га", + "▁Про ект", + "▁опреде лё", + "▁стреми лся", + "▁стрем ился", + "▁счита лось", + "▁уг лом", + "▁клу бом", + "▁клуб ом", + "▁площадь ю", + "▁проводи лись", + "▁прово дились", + "▁проводили сь", + "st one", + "ston e", + "▁Д ети", + "▁Де ти", + "▁Дет и", + "▁предстоя ло", + "▁напра влений", + "H e", + "▁r isk", + "▁ri sk", + "al ion", + "ali on", + "▁cap acity", + "▁у мно", + "▁ум но", + "▁hous ing", + "▁mach ine", + "▁сов мести", + "▁совме сти", + "▁Азербайджа на", + "▁спра виться", + "▁При нци", + "▁Прин ци", + "▁То мас", + "▁Том ас", + "▁Тома с", + "ме стно", + "▁мо нар", + "▁мона р", + "▁мон ар", + "▁напра влены", + "▁направлен ы", + "▁Бе лого", + "▁Бело го", + "P A", + "▁e astern", + "▁eas tern", + "▁east ern", + "▁ро стом", + "▁рост ом", + "▁рос том", + "▁y outh", + "▁you th", + "▁Лер мон", + "▁произ веден", + "▁электро нной", + "▁национа льный", + "ди лась", + "дила сь", + "▁p erman", + "▁per man", + "ma s", + "m as", + "▁k il", + "ri ch", + "ric h", + "r ich", + "▁позво лили", + "▁позволи ли", + "▁позволил и", + "▁T op", + "▁To p", + "▁вой ной", + "▁войн ой", + "▁ме муа", + "▁мем уа", + "▁Пор туга", + "ше нная", + "шен ная", + "▁доби лся", + "▁доб ился", + "▁фи гур", + "▁фигу р", + "▁жела ет", + "▁раз делить", + "▁разде лить", + "▁раздели ть", + "▁раздел ить", + "▁меся цы", + "▁месяц ы", + "▁л жи", + "▁капи ту", + "▁капита л", + "▁капи тал", + "▁up per", + "во я", + "ша й", + "ш ай", + "▁про дать", + "▁прода ть", + "R E", + "▁ва шем", + "▁ваш ем", + "▁ваше м", + "ie uten", + "▁прекра сный", + "▁одноим ён", + "▁однои мён", + "in em", + "ine m", + "▁поч вы", + "▁Я вляется", + "▁офице ра", + "▁офицер а", + "▁ша гов", + "▁шаг ов", + "▁персона ж", + "ia na", + "ian a", + "i ana", + "▁иде али", + "▁идеа ли", + "▁идеал и", + "Ч С", + "сс ам", + "сса м", + "с сам", + "▁ре пли", + "▁ребен ку", + "Х Л", + "▁ближай шее", + "▁но сил", + "▁носи л", + "▁нос ил", + "▁ носил", + "▁r are", + "▁ra re", + "▁региона х", + "ess or", + "▁уз лов", + "▁Ш ер", + "▁Ше р", + "▁Х э", + "re sh", + "res h", + "r esh", + "▁кри тику", + "▁крити ку", + "▁критик у", + "Лу ч", + "▁f ellow", + "▁fell ow", + "▁гру зи", + "▁груз и", + "ва ющее", + "ваю щее", + "▁тан ковой", + "▁танков ой", + "▁буду щих", + "▁G ood", + "▁Go od", + "▁c ard", + "▁car d", + "▁Харак тер", + "▁голосо вания", + "Ан дже", + "Анд же", + "▁о зву", + "▁оз ву", + "▁метал лов", + "▁металло в", + "▁металл ов", + "▁Оказа лось", + "▁H a", + "́ ль", + "en ted", + "ent ed", + "▁c am", + "▁recomm end", + "▁На ша", + "▁Наш а", + "▁за бра", + "▁заб ра", + "▁стра сти", + "▁ страсти", + "▁У правление", + "▁Упра вление", + "ко гда", + "▁взаимоот ношения", + "▁за говор", + "▁загово р", + "▁Чемпи он", + "▁сигна ла", + "▁сигнал а", + "▁рус скими", + "▁русским и", + "st ate", + "▁резо лю", + "▁заме тили", + "▁замет или", + "▁заметил и", + "▁п ровали", + "▁про вали", + "▁важ нейших", + "▁привя зан", + "▁A re", + "▁Ar e", + "▁fl ag", + "▁сте кла", + "▁стек ла", + "▁п ружи", + "▁пру жи", + "▁кня зей", + "▁пользова лись", + "▁purch ased", + "▁purchase d", + "аль ное", + "ально е", + "а льное", + "нг и", + "н ги", + "▁w atch", + "▁по ту", + "сту пив", + "ступ ив", + "ступи в", + "▁по говорить", + "▁пого ворить", + "▁поговори ть", + "▁сбор ная", + "▁сбо рная", + "▁номер ом", + "▁номе ром", + "▁Октябрь ской", + "▁откров ен", + "▁откро вен", + "▁социали зма", + "▁социал изма", + "▁Н ай", + "▁На й", + "▁se ek", + "▁see k", + "▁ло м", + "▁л ом", + "▁ лом", + "▁ed ition", + "ig er", + "i ger", + "▁каж дые", + "▁кажды е", + "ра ть", + "рат ь", + "▁tr ying", + "▁try ing", + "про ект", + "проек т", + "ву д", + "в уд", + "▁журнали стам", + "▁журналист ам", + "▁журналиста м", + "▁столк новения", + "▁столкнове ния", + "▁res pond", + "▁resp ond", + "▁ respond", + "▁прожи вало", + "▁до лга", + "▁дол га", + "▁долг а", + "▁E astern", + "▁East ern", + "▁пре ры", + "▁пр еры", + "▁прер ы", + "▁об ман", + "▁обма н", + "▁транспорт ных", + "▁транспор тных", + "те льских", + "тель ских", + "▁r at", + "▁ra t", + "▁ rat", + "▁b rand", + "▁br and", + "▁bra nd", + "но вка", + "нов ка", + "ot i", + "▁сме си", + "▁Ге ро", + "▁Гер о", + "▁вд вое", + "▁озна коми", + "▁з ону", + "▁зо ну", + "▁зон у", + "▁до гада", + "▁дога да", + "▁дог ада", + "▁А рави", + "▁Ара ви", + "▁при водят", + "▁приво дят", + "▁приводя т", + "аль ная", + "а льная", + "ли ей", + "лие й", + "▁предста вил", + "▁представи л", + "▁че ш", + "▁особенно сть", + "▁особен ность", + "▁станови лись", + "▁стано вились", + "▁Р ан", + "▁Ра н", + "▁во скре", + "▁вос кре", + "▁воск ре", + "▁против ником", + "▁противник ом", + "вар дей", + "вард ей", + "▁ба лла", + "▁бал ла", + "ци онера", + "цион ера", + "цио нера", + "ционе ра", + "ционер а", + "▁Ch ap", + "▁У лица", + "▁Гру ппа", + "▁Груп па", + "▁гру з", + "▁гр уз", + "▁ груз", + "▁м игра", + "▁ми гра", + "▁миг ра", + "▁ мигра", + "▁симво лов", + "▁символ ов", + "▁наде жда", + "сти ческую", + "с тическую", + "▁чудови щ", + "▁про воло", + "▁прово ло", + "▁англий ских", + "▁круп ной", + "▁крупно й", + "▁произ вести", + "ал ы", + "а лы", + "▁з ря", + "ce an", + "▁G overnor", + "По д", + "П од", + "▁пе чат", + "▁печа т", + "▁ печат", + "▁подоб ной", + "▁подобно й", + "▁Югосла вии", + "▁d yn", + "▁Пожа луй", + "▁S and", + "▁San d", + "▁Sa nd", + "▁на строения", + "▁настрое ния", + "▁генера льный", + "▁f ix", + "▁дене жных", + "▁tw enty", + "▁на бере", + "▁набе ре", + "▁Э кс", + "▁Эк с", + "▁показа ться", + "▁показать ся", + "▁кор м", + "▁согласи е", + "▁S ever", + "▁Se ver", + "▁ра внове", + "▁равно ве", + "▁рав нове", + "ro ng", + "ron g", + "r ong", + "▁c ars", + "▁car s", + "▁B road", + "▁Bro ad", + "▁Br oad", + "▁се тей", + "▁сет ей", + "▁сете й", + "▁по лки", + "▁пол ки", + "▁полк и", + "▁F our", + "нек до", + "▁отде льного", + "▁отдель ного", + "▁отдельно го", + "▁ма лой", + "▁мало й", + "▁ло док", + "ric al", + "r ical", + "▁Та тар", + "▁чи не", + "▁чин е", + "▁ чине", + "то чных", + "▁along side", + "▁С иль", + "▁Си ль", + "▁Сил ь", + "и в", + "▁полу ченных", + "▁L y", + "▁B rig", + "▁Br ig", + "▁с низу", + "▁сни зу", + "▁требо валось", + "ga r", + "g ar", + "▁назна чил", + "▁вопро се", + "▁вопрос е", + "▁R am", + "тер риториаль", + "▁соревнова ний", + "▁V iet", + "▁Vi et", + "ла ва", + "лав а", + "s l", + "▁с пусти", + "▁спу сти", + "▁Уз беки", + "▁официаль ной", + "▁официально й", + "▁Министер ство", + "Ин тер", + "И нтер", + "▁В ет", + "▁Ве т", + "ко вод", + "ков од", + "ково д", + "▁акаде мик", + "▁академи к", + "▁О ре", + "▁Ор е", + "▁Ки ева", + "▁Киев а", + "ol ved", + "▁Христо с", + "▁су ществ", + "▁суще ств", + "▁зна чении", + "▁му жество", + "▁муже ство", + "▁конкре тного", + "▁конкретно го", + "▁ориен тирова", + "▁ориенти рова", + "▁обра тил", + "as y", + "a sy", + "▁соору жений", + "▁rec ently", + "▁recent ly", + "про сы", + "прос ы", + "▁в строен", + "▁зам ка", + "▁сообщи ть", + "да чи", + "▁Рабо тал", + "▁Работа л", + "▁Лат вии", + "▁празд ни", + "▁произ водит", + "▁производ ит", + "▁производи т", + "▁произво дит", + "▁ag ricult", + "жа ми", + "жам и", + "О П", + "▁Ма сса", + "▁сло я", + "ag n", + "a gn", + "▁о дея", + "▁оде я", + "ёт е", + "ё те", + "▁защи та", + "▁защит а", + "ни ческая", + "▁писа ла", + "▁писал а", + "ст ал", + "ста л", + "с тал", + "▁А фана", + "▁Аф ана", + "▁коме дии", + "▁Ген рих", + "▁Генри х", + "▁v irt", + "▁vir t", + "▁Ге нна", + "▁Ген на", + "▁нор ве", + "▁воен ном", + "▁военно м", + "▁вое нном", + "раз вед", + "▁отпра виться", + "▁отправить ся", + "▁ду мали", + "▁дума ли", + "▁думал и", + "▁crit ical", + "▁critic al", + "фо то", + "и гра", + "же нную", + "жен ную", + "тр ю", + "т рю", + "▁у читывая", + "▁учиты вая", + "▁расска зывать", + "▁рассказыва ть", + "▁рассказы вать", + "ги ю", + "▁p al", + "нд о", + "н до", + "▁о писал", + "▁описа л", + "▁опи сал", + "▁become s", + "▁becom es", + "▁Ч ёр", + "▁А пол", + "▁Апо л", + "▁Ап ол", + "▁main tain", + "▁f light", + "▁fl ight", + "ре нности", + "рен ности", + "ренно сти", + "▁s ources", + "▁source s", + "▁не бы", + "▁об лик", + "▁обли к", + "▁у сы", + "▁ус ы", + "▁g oes", + "▁go es", + "▁потреби телей", + "▁разме щения", + "________ ________", + "до вали", + "дова ли", + "дов али", + "довал и", + "ме тр", + "мет р", + "Ве ли", + "▁gro wing", + "▁grow ing", + "▁Алексе евич", + "▁фи нал", + "▁фина л", + "▁фин ал", + "▁д но", + "▁ дно", + "▁возвра ща", + "▁дости жение", + "un ior", + "леко пита", + "▁обе щал", + "▁обеща л", + "▁тай ны", + "▁на нести", + "▁нанес ти", + "▁эк скур", + "▁экс кур", + "▁восприя тие", + "▁деву шку", + "▁си льных", + "▁силь ных", + "▁стихот ворения", + "▁стихотво рения", + "▁срав нения", + "▁A D", + "▁ AD", + "▁стату са", + "▁статус а", + "▁инже нера", + "▁инженер а", + "▁Го вори", + "▁называ емых", + "▁называем ых", + "▁спи ну", + "▁вре да", + "▁вред а", + "▁Сара тов", + "ar io", + "ari o", + "жо у", + "▁пере шла", + "▁Ана логи", + "▁оправ ды", + "▁переда че", + "▁передач е", + "▁Б рат", + "▁Бра т", + "▁полез но", + "▁сме ши", + "▁сли зи", + "▁P ak", + "▁неправи льно", + "́ ,", + "▁в сер", + "▁все р", + "▁вс ер", + "▁тка ней", + "ц кая", + "▁ба скет", + "qu est", + "que st", + "ques t", + "▁аэро порта", + "▁аэропор та", + "▁аэропорт а", + "▁incor por", + "▁контро лем", + "▁образ ец", + "▁образе ц", + "ve st", + "ves t", + "v est", + "▁пер сид", + "▁ка ба", + "▁поко я", + "▁rece ive", + "чи ками", + "чика ми", + "чикам и", + "▁коман дующий", + "▁команду ющий", + "▁ру бля", + "▁руб ля", + "▁про чего", + "▁проч его", + "▁elect ric", + "▁Май кл", + "▁Лю би", + "▁ф рей", + "▁фре й", + "▁attack ed", + "▁во жде", + "▁вож де", + "▁Hist ory", + "▁Histor y", + "▁пла нете", + "▁плане те", + "▁план ете", + "▁планет е", + "▁у регули", + "▁един ственное", + "▁единственно е", + "▁Кон гре", + "▁lead ership", + "▁leader ship", + "▁leaders hip", + "▁Никола ев", + "pr ise", + "pri se", + "▁трав мы", + "нс кую", + "н скую", + "▁шта те", + "▁штат е", + "▁произ нес", + "ul s", + "u ls", + "ре ктор", + "рек тор", + "▁заседа ния", + "▁засе дания", + "▁Геор гия", + "▁Георги я", + "ло вича", + "лович а", + "лови ча", + "▁до ходы", + "▁доход ы", + "▁пра ве", + "▁прав е", + "▁ праве", + "▁на строй", + "▁настро й", + "щи ками", + "щика ми", + "щикам и", + "▁c ells", + "▁cell s", + "ис ка", + "и ска", + "▁указа нных", + "▁соста влял", + "▁состав лял", + "▁составля л", + "qu arters", + "▁основ ное", + "▁осно вное", + "▁b ra", + "▁br a", + "▁ bra", + "▁выступа ют", + "▁у сер", + "▁ус ер", + "▁усе р", + "▁диапа зо", + "шед ший", + "▁f it", + "▁ fit", + "▁se at", + "▁sea t", + "▁en joy", + "ско пи", + "скоп и", + "▁г воз", + "▁во ля", + "▁вол я", + "▁ла ты", + "▁лат ы", + "▁совокуп ность", + "▁F ar", + "▁Fa r", + "▁m is", + "▁mi s", + "▁коллек ции", + "▁колле кции", + "▁привы к", + "диви тельно", + "▁и скопа", + "▁иск опа", + "▁иско па", + "▁ги бель", + "▁estim ated", + "ask et", + "▁хо дили", + "▁ход или", + "▁ходил и", + "▁ ходили", + "щи мся", + "щим ся", + "▁насе лением", + "▁население м", + "Н Е", + "▁Th ree", + "▁А хма", + "▁Ах ма", + "то рам", + "тор ам", + "тора м", + "▁бума г", + "▁ass igned", + "▁ко мен", + "▁ком ен", + "▁коме н", + "▁ комен", + "▁дыха ния", + "▁т вёр", + "▁тв ёр", + "ни нг", + "нин г", + "н инг", + "▁Результа ты", + "▁Результат ы", + "▁п одно", + "▁по дно", + "▁под но", + "▁pos itive", + "▁тра вы", + "▁трав ы", + "▁но сят", + "▁нос ят", + "▁ носят", + "▁ли цам", + "▁лица м", + "▁лиц ам", + "▁со веты", + "▁сов еты", + "▁совет ы", + "▁сове ты", + "▁сла ву", + "▁сте кля", + "▁стек ля", + "ме тов", + "мет ов", + "мето в", + "▁Госпо да", + "▁Гос пода", + "▁гражда нских", + "▁граждан ских", + "рок ко", + "▁эксплуа тацию", + "R O", + "▁ста рей", + "▁стар ей", + "▁вся кие", + "▁расска зов", + "▁рассказ ов", + "ia no", + "ian o", + "i ano", + "▁сро чно", + "▁груп пами", + "▁группа ми", + "wh ich", + "▁я чей", + "▁Lat in", + "▁обра зуется", + "▁образу ется", + "▁образует ся", + "▁Пробле ма", + "▁бе ль", + "▁ бель", + "▁Государ ственный", + "▁да влением", + "▁дав лением", + "▁давление м", + "со вые", + "ur ation", + "ura tion", + "u ration", + "form ation", + "▁вет ви", + "ха рак", + "хар ак", + "хара к", + "▁наи луч", + "▁ти пу", + "▁тип у", + "▁m icro", + "▁произо йдет", + "жу т", + "ж ут", + "▁тру бы", + "▁труб ы", + ". #", + "▁match es", + "▁mat ches", + "▁дево чки", + "▁па ло", + "▁пал о", + "▁ра зма", + "▁раз ма", + "▁Д ай", + "▁Да й", + "▁В ера", + "▁Ве ра", + "▁Вер а", + "▁ма ссой", + "▁массо й", + "▁масс ой", + "▁коллек тива", + "▁коллектив а", + "▁ше ст", + "▁основ ал", + "▁основа л", + "▁осно вал", + "▁ни куда", + "▁ник уда", + "▁элемента ми", + "▁полномо чий", + "▁wid ely", + "▁wide ly", + "▁ги по", + "▁находя щихся", + "де с", + "ки о", + "те ма", + "тем а", + "т ема", + "ля ться", + "лять ся", + "▁уголов ное", + "ье ва", + "ьев а", + "ь ева", + "da te", + "d ate", + "▁Горь кого", + "чь их", + "чьи х", + "▁prim arily", + "▁дей ствовали", + "▁действовал и", + "▁С ент", + "▁Се нт", + "▁Сен т", + "▁п рого", + "▁про го", + "▁выз вали", + "▁вызва ли", + "▁вызвал и", + "▁offic ially", + "▁official ly", + "▁о писать", + "▁описа ть", + "▁опи сать", + "▁злоу потре", + "▁На чало", + "▁Нача ло", + "▁потреб ностей", + "▁serv ing", + "▁ser ving", + "▁взрос ло", + "▁взро сло", + "в кой", + "▁беспо ряд", + "▁Ло моно", + "▁распреде ления", + "▁на ле", + "▁н але", + "T S", + "▁П орт", + "▁По рт", + "▁Пор т", + "▁Бу ха", + "▁fac ilities", + "▁Неу жели", + "▁д ай", + "▁да й", + "▁ дай", + "▁патриар ха", + "u i", + "▁с ливо", + "▁сли во", + "▁сдела ет", + "▁Hist or", + "▁счита ться", + "▁считать ся", + "▁официаль ных", + "▁g reen", + "▁gr een", + "▁gre en", + "▁кри тика", + "▁крити ка", + "▁критик а", + "▁призна н", + "▁приз нан", + "О р", + "тчи ки", + "тчик и", + "т чики", + "▁столк нове", + "▁Б э", + "▁г л", + "▁ гл", + "▁c erem", + "▁ce rem", + "Ne w", + "N ew", + "▁посе тил", + "▁посети л", + "▁корре кти", + "▁коррек ти", + "▁отмеча л", + "▁отме чал", + "▁си льной", + "▁сильно й", + "▁силь ной", + "ла ма", + "лам а", + "▁хво ст", + "▁необходи мы", + "▁необходим ы", + "▁he av", + "▁ва шим", + "▁ваш им", + "▁ваши м", + "▁низ кой", + "▁низко й", + "if ying", + "ify ing", + "▁ограни чений", + "▁уме реть", + "▁умер еть", + "▁v on", + "▁vo n", + "▁ли шения", + "би ни", + "бин и", + "ab eth", + "▁T ro", + "▁Tr o", + "▁подтвер дил", + "Ф а", + "▁за бира", + "▁заби ра", + "ра ссу", + "рас су", + "▁He alth", + "▁по дать", + "▁пода ть", + "▁St an", + "▁удоволь ствия", + "то вал", + "тов ал", + "това л", + "▁ду хом", + "▁дух ом", + "▁духо м", + "▁s pend", + "▁sp end", + "▁spe nd", + "\" >", + "▁по дал", + "▁под ал", + "▁пода л", + "▁l oad", + "▁lo ad", + "▁ load", + "ci ous", + "c ious", + "▁B ell", + "▁Be ll", + "▁Bel l", + "▁подо зри", + "ёр т", + "ё рт", + "▁пригла сил", + "дя ми", + "дям и", + "д ями", + "▁По стоя", + "щая ся", + "▁хоро шая", + "▁сме ло", + "▁N etwork", + "▁Net work", + "▁сни зи", + "▁карто фе", + "▁станови лся", + "▁станов ился", + "▁стано вился", + "▁Норве гии", + "лю сь", + "л юсь", + "▁Бого роди", + "▁schol ars", + "▁h ab", + "▁ha b", + "▁ hab", + "▁современ ный", + "▁побе д", + "▁пло тно", + "▁плот но", + "▁Ст рои", + "▁Стро и", + "▁са ду", + "▁сад у", + "ве ние", + "вени е", + "▁Ле она", + "▁Леон а", + "▁Лео на", + "▁б ь", + "▁ бь", + "▁Jack son", + "жда ться", + "ждать ся", + "▁восстано вление", + "▁да ты", + "▁дат ы", + "раз ви", + "▁тво ей", + "▁твое й", + "ше нного", + "шен ного", + "шенно го", + "man n", + "m ann", + "▁потре бовал", + "▁потребо вал", + "▁Гар ри", + "ди нг", + "дин г", + "д инг", + "жа в", + "ж ав", + "▁раз личие", + "▁разли чие", + "▁различи е", + "▁bl ue", + "▁заклю чи", + "▁А стра", + "▁по строены", + "▁построе ны", + "▁построен ы", + "▁re quest", + "▁requ est", + "▁неболь шую", + "▁tourn ament", + "▁fig ure", + "▁И де", + "▁беспо ко", + "мо три", + "▁Ку бок", + "▁ви ну", + "▁вин у", + "▁ вину", + "▁пере за", + "▁пе реза", + "▁ж дали", + "▁ждал и", + "▁ ждали", + "!\" ,", + "! \",", + "! »", + "de f", + "d ef", + "▁look ed", + "▁сом ни", + "▁э ше", + "g reg", + "▁За па", + "▁her self", + "▁при зем", + "▁приз ем", + "▁Ни к", + "▁ава рии", + "С Я", + "▁result ing", + "▁содержа нием", + "▁содержание м", + "▁обще ственный", + "▁обществе нный", + "▁camp us", + "bor n", + "b orn", + "▁си льного", + "▁сильно го", + "▁силь ного", + "▁вы брал", + "▁выбра л", + "il ing", + "ili ng", + "i ling", + "▁пече ни", + "▁ба нди", + "▁бан ди", + "▁Port ug", + "▁та кси", + "▁так си", + "ро га", + "рог а", + "▁Конститу ции", + "▁exper iment", + "за паде", + "запад е", + "▁с юр", + "▁сю р", + "▁C ross", + "▁Cro ss", + "▁Cr oss", + "j o", + "▁qu ite", + "стан ция", + "▁inst all", + "▁пере кре", + "▁при нести", + "▁принес ти", + "ни зма", + "низ ма", + "низм а", + "н изма", + "ieuten ant", + "▁попро бу", + "▁фи ни", + "▁фин и", + "im a", + "i ma", + "▁ж дут", + "▁жду т", + "▁бе сси", + "▁бес си", + "▁бесс и", + "▁промышлен ных", + "Во т", + "В от", + "ме м", + "м ем", + "▁турни р", + "▁перспекти вы", + "▁перспек тивы", + "▁удовлет вори", + "▁удовлетво ри", + "▁поли тическую", + "▁полити ческую", + "▁супру га", + "▁вы пусти", + "▁выпу сти", + "▁ос ново", + "▁основ о", + "▁осно во", + "▁день гами", + "▁огром ную", + "жда ла", + "жд ала", + "ждал а", + "ж дала", + "▁искрен не", + "▁це лую", + "▁расположен ных", + "▁расположе нных", + "С парта", + "▁ж ёл", + "▁жё л", + "▁un able", + "▁у шла", + "▁вы йдет", + "ul ate", + "ula te", + "▁вспом нил", + "▁две надцать", + "▁тяже лой", + "▁тяжело й", + "▁полу ша", + "▁О Т", + "▁ ОТ", + "▁про бо", + "▁пр обо", + "▁проб о", + "▁пробле мами", + "▁проблема ми", + "▁проблемам и", + "▁d ang", + "кон ферен", + "▁Ко ра", + "▁Кор а", + "служ ба", + "▁фай лы", + "▁файл ы", + "▁серти фика", + "▁неиз мен", + "▁re ject", + "▁Б ала", + "▁Ба ла", + "▁Бал а", + "▁захва тили", + "▁захватил и", + "▁захват или", + "▁дифф еренци", + "воз душ", + "▁д иска", + "▁ди ска", + "▁дис ка", + "▁диск а", + "▁попыт ке", + "▁попы тке", + "▁образ ца", + "▁Иису с", + "▁суще ствовали", + "▁существо вали", + "▁существова ли", + "▁существовал и", + "cl aim", + "th let", + "▁E ll", + "▁El l", + "▁раз бой", + "▁разбо й", + "▁webs ite", + "ты ся", + "▁rap id", + "▁prom inent", + "▁окрестно стях", + "́ т", + "▁с нял", + "▁сня л", + "▁при во", + "▁прив о", + "▁re ports", + "▁report s", + "▁А дам", + "▁Ад ам", + "▁Ада м", + "▁успе хов", + "▁успех ов", + "рова нную", + "рован ную", + "▁Ма кедо", + "▁b urn", + "▁bur n", + "▁факуль те", + "▁поку пать", + "▁покупа ть", + "▁Ко личество", + "▁кру го", + "▁круг о", + "▁кр уго", + "▁Ру сь", + "▁Рус ь", + "▁j oint", + "▁jo int", + "▁join t", + "▁E ven", + "▁Ev en", + "▁commun ities", + "▁за су", + "▁зас у", + "▁свя зя", + "▁связ я", + "ке ль", + "▁начина ть", + "▁new ly", + "▁Наполе она", + "▁Наполеон а", + "▁эта же", + "▁этаж е", + "▁под созна", + "▁подсо зна", + "▁расположен ный", + "▁расположе нный", + "чё та", + "чёт а", + "со вест", + "▁совет ское", + "▁советско е", + "us ion", + "▁gu ns", + "▁gun s", + "▁сту пени", + "▁Зна чи", + "▁ско та", + "▁скот а", + "х ле", + "▁проф со", + "▁на доб", + "▁над об", + "▁надо б", + "▁Ни когда", + "▁Нико гда", + "▁фина ла", + "▁финал а", + "▁фин ала", + "▁oper ating", + "ун д", + "у нд", + "▁приме нением", + "▁применение м", + "▁у словие", + "▁услови е", + "▁w ild", + "▁стра дания", + "▁страда ния", + "шны х", + "шн ых", + "ш ных", + "шли сь", + "ш лись", + "▁Анг лию", + "▁при об", + "▁прио б", + "то нов", + "тон ов", + "т онов", + "▁пла ц", + "an cing", + "anc ing", + "▁со рока", + "▁сорок а", + "▁Ленин граде", + "▁Ленинград е", + "в на", + "ня м", + "н ям", + "ль ском", + "▁ма кро", + "ab y", + "a by", + "чи вается", + "чивает ся", + "чива ется", + "▁гла ву", + "▁глав у", + "▁нару жу", + "▁B udd", + "▁Bu dd", + "▁у тили", + "▁ут или", + "▁при емы", + "▁прием ы", + "▁прие мы", + "▁Владими рович", + "▁в сад", + "▁вс ад", + "▁sp ring", + "▁ко льца", + "▁коль ца", + "▁grant ed", + "об е", + "о бе", + "▁зарубе жных", + "la w", + "l aw", + "▁author ities", + "▁Ка та", + "▁Национа льный", + "S P", + "▁ве до", + "▁вед о", + "▁пер вому", + "▁перво му", + "▁первом у", + "▁g ained", + "▁gain ed", + "▁я го", + "▁до веря", + "▁дове ря", + "▁довер я", + "▁кур се", + "▁курс е", + "▁христиан ства", + "il ly", + "ill y", + "▁механи змы", + "▁механизм ы", + "▁разви вать", + "▁развива ть", + "ло ге", + "лог е", + "▁американ ская", + "▁америка нская", + "▁значи тельную", + "▁Ка лу", + "▁Кал у", + "▁от че", + "тя тся", + "тят ся", + "т ятся", + "▁И тали", + "▁Ита ли", + "▁comb ined", + "▁собира лись", + "▁allow ing", + "▁cons um", + "▁форма льно", + "▁форм ально", + "▁музы ке", + "▁коло сса", + "▁О пять", + "▁Оп ять", + "▁ве сен", + "▁весе н", + "▁вес ен", + "▁древ него", + "▁древне го", + "▁полуо строва", + "▁полуостро ва", + "▁созна тельно", + "▁против ников", + "▁противник ов", + "▁us er", + "▁use r", + "▁u ser", + "▁ user", + "▁Международ ного", + "▁по строй", + "▁пост рой", + "▁постро й", + "▁пробле ме", + "▁проблем е", + "▁пожа р", + "ль ских", + "▁молодо сти", + "z il", + "▁Т рам", + "▁Тра м", + "▁объ ём", + "▁объё м", + "▁f ile", + "▁fil e", + "▁ file", + "▁би блей", + "▁го суда", + "▁гос уда", + "▁госу да", + "чи ной", + "чин ой", + "▁С дела", + "▁Rail way", + "▁а люми", + "▁Б рита", + "▁Бри та", + "▁написа на", + "▁написан а", + "ча н", + "ч ан", + "▁австра лий", + "▁опреде ляют", + "▁определя ют", + "▁ту пи", + "С Б", + "ско п", + "ск оп", + "с коп", + "▁малень кая", + "▁Ва жно", + "▁L ove", + "▁Lo ve", + "▁ч ь", + "▁ чь", + "▁мг новение", + "▁фор мах", + "▁форма х", + "ле нно", + "лен но", + "л енно", + "▁слы шать", + "▁слыша ть", + "кл ы", + "к лы", + "несе ны", + "несен ы", + "▁mod els", + "▁model s", + "▁mode ls", + "▁насеко мых", + "▁n ative", + "▁A wards", + "▁Award s", + "▁поч ве", + "▁компонен ты", + "▁компонент ы", + "▁Ч еты", + "▁Че ты", + "▁Чет ы", + "▁ко нь", + "▁кон ь", + "▁ма стеров", + "▁мастер ов", + "▁масте ров", + "ка та", + "кат а", + "▁рассмотре ния", + "▁милли он", + "gr ad", + "g rad", + "▁небольшо го", + "▁экспери мент", + "▁Ча ще", + "▁d ra", + "▁dr a", + "д ни", + "▁остро вах", + "▁острова х", + "▁Cap tain", + "▁захва та", + "▁захват а", + "х ма", + "▁рим ля", + "▁a ctions", + "▁act ions", + "▁action s", + "▁ actions", + "▁organ ized", + "▁organiz ed", + "▁че рного", + "▁чер ного", + "▁черно го", + "▁пере вер", + "▁переве р", + "▁C a", + "▁же нского", + "▁жен ского", + "▁буду щей", + "▁м ону", + "▁мо ну", + "▁мон у", + "▁ска зки", + "▁сказ ки", + "▁в ведения", + "▁Ber lin", + "▁Ле г", + "▁тех нические", + "▁техни ческие", + "те лось", + "▁симво лом", + "▁символ ом", + "▁b ill", + "▁bi ll", + "re c", + "r ec", + "О К", + "▁спо ры", + "▁спор ы", + "B M", + "▁ко стей", + "▁кос тей", + "▁про водятся", + "▁прово дятся", + "▁провод ятся", + "▁проводят ся", + "▁проводя тся", + "ch o", + "c ho", + "за ли", + "зал и", + "з али", + "▁l isted", + "▁list ed", + "od ies", + "▁на гру", + "▁наг ру", + "▁кален дар", + "▁сержа нт", + "▁образова н", + "▁образов ан", + "▁за сыпа", + "▁в ины", + "▁ви ны", + "▁вин ы", + "▁ вины", + "▁сочета нии", + "фу нк", + "▁К ав", + "▁Ка в", + "▁territ ory", + "▁поли тическая", + "▁полити ческая", + "▁s cript", + "▁sc ript", + "▁ script", + "ве ри", + "вер и", + "▁диа гно", + "▁ш от", + "▁шо т", + "j a", + "▁спи не", + "▁це ной", + "▁цен ой", + "▁Институ т", + "▁посо вето", + "▁Р А", + "▁ РА", + "шн а", + "ш на", + "▁образ цы", + "▁С каза", + "▁Ска за", + "▁называ емой", + "▁называем ой", + "▁а нима", + "▁ани ма", + "читы вая", + "▁р ю", + "▁ рю", + "▁тре тья", + "▁треть я", + "ut ing", + "u ting", + "▁навы ки", + "▁стар шим", + "▁механи змов", + "▁механизм ов", + "▁запре т", + "▁м лекопита", + "▁то кси", + "▁ток си", + "▁ токси", + "▁поль зуется", + "▁пользу ется", + "▁фор си", + "▁Фло рен", + "▁наименова ние", + "са р", + "с ар", + "▁E nd", + "▁En d", + "▁обра зует", + "▁образу ет", + "▁пре ле", + "▁чужо й", + "▁свобо де", + "▁свобод е", + "▁литера туру", + "▁литератур у", + "▁ре органи", + "фи льм", + "филь м", + "▁part ies", + "▁par ties", + "▁н ю", + "▁ ню", + "▁aud ience", + "▁тенден ции", + "▁ш ле", + "▁ры бу", + "▁рыб у", + "▁реме сле", + "ди ем", + "дие м", + "▁У лья", + "▁происше ствия", + "▁поступа ть", + "▁посту пать", + "▁К от", + "▁Ко т", + "oc ated", + "oca ted", + "▁за т", + "▁з ат", + "ru m", + "r um", + "бо та", + "бот а", + "▁сани тар", + "▁рас следова", + "▁b roke", + "▁bro ke", + "▁br oke", + "▁Be fore", + "▁Ир ландии", + "▁кори чне", + "▁ коричне", + "in y", + "i ny", + "▁показа ла", + "▁пока зала", + "▁показал а", + "▁каза ков", + "▁же нской", + "▁жен ской", + "▁ре нт", + "▁р ент", + "▁а зо", + "amp ion", + "▁авто доро", + "▁Ве чером", + "▁боль шего", + "▁больше го", + "▁typ ically", + "▁typical ly", + "▁p aint", + "▁pain t", + "▁выступ лений", + "▁ули цах", + "▁улица х", + "▁fif th", + "ро вкой", + "ров кой", + "▁б рони", + "▁бро ни", + "▁брон и", + "▁dist ance", + "▁di stance", + "▁пре зента", + "▁com posed", + "▁compos ed", + "▁По стано", + "▁Поста но", + "▁Пост ано", + "▁e ra", + "▁er a", + "▁ era", + "▁выстав ке", + "▁выста вке", + "▁op position", + "▁oppos ition", + "row d", + "▁дума ют", + "▁думаю т", + "Б ы", + "▁импе риали", + "то во", + "тов о", + "▁any thing", + "▁концеп ция", + "ни са", + "нис а", + "▁C O", + "▁ CO", + "▁об щаться", + "▁Бли ж", + "▁фра зы", + "▁attempt ed", + "▁сдела н", + "▁сде лан", + "▁сдел ан", + "сна б", + "▁под ъем", + "▁подъ ем", + "▁Наталь я", + "▁Ната лья", + "▁по вест", + "▁пове ст", + "▁про даже", + "▁прода же", + "▁продаж е", + "▁дире кторов", + "▁директор ов", + "за ны", + "зан ы", + "▁З ай", + "▁За й", + "▁встре титься", + "▁встретить ся", + "▁Ос енью", + "▁позво лил", + "▁позволи л", + "▁судь и", + "▁суд ьи", + "▁ю ности", + "▁юно сти", + "▁атмосф еру", + "▁атмосфер у", + "▁К ир", + "▁Ки р", + "pe t", + "p et", + "ле нными", + "лен ными", + "ленным и", + "▁дивизи она", + "▁дивизион а", + "Г И", + "кви зи", + "▁стои ло", + "b ody", + "ви те", + "вит е", + "ва нных", + "ван ных", + "юзе ля", + "▁спек тра", + "▁спект ра", + "▁поли тическим", + "▁полити ческим", + "▁наблю дений", + "▁возмо жные", + "▁возможны е", + "C om", + "ga l", + "g al", + "▁при клад", + "▁indust rial", + "▁y ards", + "ya l", + "y al", + "▁Alex ander", + "▁У ол", + "▁Уо л", + "est ic", + "▁разно гла", + "▁st ring", + "▁str ing", + "▁stri ng", + "▁ string", + "ва ни", + "ван и", + "в ани", + "▁возник нове", + "зна ние", + "▁атмосф еры", + "▁атмосфер ы", + "▁филосо фия", + "▁философи я", + "ch ester", + "che ster", + "ches ter", + "▁затра т", + "▁зат рат", + "▁пле чи", + "or ter", + "ort er", + "▁использова лся", + "▁использовал ся", + "d a", + "мс а", + "м са", + "▁национа льно", + "▁откров енно", + "▁откро венно", + "▁откровен но", + "▁па дение", + "ak ed", + "ake d", + "con f", + "▁напра влению", + "ва ешь", + "»\" .", + "» \".", + "▁ми тин", + "зо вая", + "зова я", + "зов ая", + "ча тки", + "чат ки", + "▁f ully", + "▁full y", + "▁ fully", + "▁Соб ственно", + "▁диамет ром", + "▁диаметр ом", + "ant ly", + "▁запа сы", + "▁запас ы", + "▁о чер", + "▁оче р", + "▁экспер тов", + "▁d ie", + "▁di e", + "▁не лег", + "▁неле г", + "▁r aces", + "▁ra ces", + "▁race s", + "▁пы ль", + "▁trans fer", + "▁обы чные", + "▁содержа ть", + "▁содержат ь", + "▁оде жда", + "Бо ль", + "▁Т В", + "▁ ТВ", + "▁двор це", + "▁ги пно", + "▁оке а", + "▁Э ли", + "▁Эл и", + "▁не лега", + "▁неле га", + "▁нелег а", + "▁спро сить", + "▁спрос ить", + "▁ло кали", + "▁лока ли", + "▁лок али", + "▁пожа ра", + "▁пожар а", + "▁M en", + "▁Me n", + "▁откры той", + "▁открыто й", + "▁открыт ой", + "кну ла", + "кнул а", + "к нула", + "▁Secret ary", + "h y", + "се ли", + "сел и", + "▁пове зло", + "▁па рази", + "▁пара зи", + "▁H ead", + "▁He ad", + "▁ве ще", + "▁при чину", + "▁причи ну", + "▁причин у", + "▁се ан", + "▁нач нет", + "▁ч тение", + "▁чте ние", + "▁Direct or", + "но сил", + "носи л", + "нос ил", + "' )", + "све т", + "с вет", + "▁Х ри", + "▁ра сто", + "▁рас то", + "▁раст о", + "▁суще ствующих", + "▁существу ющих", + "▁вы боре", + "▁выбо ре", + "▁выбор е", + "▁свет ло", + "▁раз говоры", + "▁разгово ры", + "▁разговор ы", + "на го", + "ОВ А", + "О ВА", + "▁включа ют", + "▁вклю чают", + "ра л", + "р ал", + "ock ed", + "▁H ome", + "▁Hom e", + "▁Ho me", + "▁f air", + "▁fa ir", + "yth on", + "om y", + "o my", + "клады вают", + "▁сооб щается", + "▁сообщает ся", + "▁сообща ется", + "▁v ac", + "▁ar ms", + "▁arm s", + "ха у", + "▁хими ческих", + "рова нными", + "рован ными", + "рованным и", + "▁mention ed", + "▁И мя", + "▁Им я", + "▁El iz", + "▁r ob", + "▁ro b", + "▁де тской", + "▁дет ской", + "▁контак ты", + "▁контакт ы", + "▁рас следование", + "▁расследова ние", + "▁ident ified", + "▁Б ак", + "▁Ба к", + "▁о ты", + "▁от ы", + "▁развер ты", + "ans ion", + "▁не ви", + "▁нев и", + "▁кон суль", + "▁консу ль", + "▁мо тивы", + "▁мотив ы", + "▁пере бра", + "▁f ear", + "▁fe ar", + "▁т воя", + "▁тво я", + "z y", + "▁заме чает", + "▁замеча ет", + "▁Си бир", + "▁Сиби р", + "ст ина", + "сти на", + "стин а", + "с тина", + "▁ded icated", + "▁У чи", + "▁Уч и", + "▁добра ться", + "▁look ing", + "▁прину ди", + "▁по гу", + "▁Th rough", + "▁свобо дное", + "▁свобод ное", + "▁свободно е", + "▁начина л", + "▁начи нал", + "▁ва жной", + "▁важ ной", + "▁важно й", + "▁ре форм", + "▁рефор м", + "▁c ateg", + "ти ками", + "тика ми", + "▁це лых", + "▁хра ме", + "▁храм е", + "▁Pro ject", + "▁ма лого", + "▁мало го", + "▁R ay", + "▁K enn", + "▁Ken n", + "▁И дея", + "▁Иде я", + "▁неф ть", + "▁дове рие", + "▁Ц вет", + "▁знамени того", + "ча лись", + "чали сь", + "▁реа били", + "ко п", + "к оп", + "▁архитек тор", + "▁архите ктор", + "▁ре пети", + "▁забы вать", + "Т П", + "▁Ch ild", + "▁бы вало", + "▁бывал о", + "▁созда ется", + "▁создает ся", + "▁мы ше", + "▁мыш е", + "▁anim als", + "▁animal s", + "и р", + "ту рах", + "тура х", + "▁филь мах", + "▁фильма х", + "▁ex tend", + "▁ext end", + "▁ch annel", + "▁аре ста", + "▁арест а", + "▁вы зывать", + "▁вызыва ть", + "па в", + "п ав", + "▁R y", + "▁жи вого", + "▁живо го", + "▁Ра ди", + "пи ла", + "пил а", + "п ила", + "ча лся", + "чал ся", + "▁р ту", + "▁сра жении", + "ty pe", + "t ype", + "▁хода тай", + "▁при менить", + "▁приме нить", + "▁примени ть", + "▁иде ологии", + "▁идеологи и", + "▁Со лне", + "▁Солн е", + "▁Сол не", + "▁пере чень", + "▁счита лся", + "▁считал ся", + "▁пери фе", + "▁откры тый", + "▁открыты й", + "▁угро зой", + "▁h all", + "▁ha ll", + "▁п лот", + "▁пло т", + "▁Им пе", + "▁чет веро", + "▁четвер о", + "▁К ала", + "▁Ка ла", + "▁Кал а", + "▁квали фикации", + "▁квалифика ции", + "а я", + "res pond", + "▁поступа ет", + "Ж Д", + "os en", + "ose n", + "o sen", + "у строй", + "▁cre ation", + "▁creat ion", + "im al", + "ima l", + "▁ле ту", + "▁лет у", + "▁л ету", + "▁со зре", + "▁соз ре", + "▁пар ке", + "▁парк е", + "де нт", + "ден т", + "д ент", + "жа ние", + "гу берна", + "▁сюжет а", + "▁сюже та", + "смо треть", + "смотре ть", + "смотр еть", + "▁D an", + "▁По лит", + "▁Пол ит", + "▁Поли т", + "M an", + "▁му жской", + "▁муж ской", + "▁че рные", + "▁чер ные", + "▁Румы нии", + "wh ile", + "ди шь", + "▁hor se", + "▁hors e", + "▁Cor poration", + "ler s", + "l ers", + "▁ве нти", + "▁вен ти", + "▁be aut", + "▁ве сом", + "▁вес ом", + "за тор", + "▁В друг", + "▁прио рите", + "и д", + "ре али", + "▁сер вера", + "▁сервер а", + "▁кру гом", + "▁круг ом", + "▁круго м", + "▁а фи", + "▁аф и", + "▁изобра жений", + "▁Прави тельство", + "be c", + "b ec", + "▁Про ис", + "▁пред писа", + "▁при спо", + "▁прис по", + "▁пр испо", + "▁M u", + "▁с вин", + "▁сви н", + "▁св ин", + "▁празд нова", + "ic ed", + "ice d", + "i ced", + "▁се вера", + "▁север а", + "жник и", + "ж ники", + "▁цен зу", + "ти не", + "тин е", + "ми гра", + "м игра", + "лосо ф", + "▁жё ст", + "▁хра бро", + "▁добы чи", + "▁отпра вили", + "▁отправил и", + "▁при шёл", + "▁без рабо", + "▁Но вые", + "▁К ин", + "▁Ки н", + "си он", + "сио н", + "▁И рана", + "▁Ир ана", + "▁Ира на", + "▁Иран а", + "▁мо нет", + "▁мон ет", + "▁моне т", + "▁че чен", + "▁разрабо та", + "▁мифо логии", + "▁миф ологии", + "▁pos itions", + "▁position s", + "▁глу бже", + "▁персона ла", + "▁экономи ческие", + "▁pie ce", + "▁M id", + "▁соответ ствующей", + "▁соответству ющей", + "ird s", + "числе нные", + "чис ленные", + "▁то п", + "▁т оп", + "▁ топ", + "▁вопро сами", + "▁вопросам и", + "▁вопроса ми", + "▁ша сси", + "▁дости гла", + "▁достиг ла", + "▁прогре ссив", + "▁прогресс ив", + "▁прогресси в", + "▁украин ский", + "▁му со", + "▁отожде ств", + "▁L es", + "▁Le s", + "▁компро ми", + "▁ак тов", + "▁акт ов", + "aw a", + "a wa", + "▁Прави тельства", + "▁Вол го", + "▁перио ды", + "▁период ы", + "▁H uman", + "▁Hu man", + "or age", + "ora ge", + "o rage", + "▁про сить", + "▁прос ить", + "▁просит ь", + "▁проси ть", + "▁пере из", + "▁переи з", + "▁эффек та", + "▁эффект а", + "ко лы", + "кол ы", + "▁conf irmed", + "▁pl ays", + "▁play s", + "▁вариан те", + "▁вариант е", + "▁вариа нте", + "▁сле зы", + "▁слез ы", + "▁Ве сной", + "ph y", + "p hy", + "▁вид ны", + "un te", + "unt e", + "▁dise ase", + "сло ве", + "слов е", + "с лове", + "▁по ды", + "▁под ы", + "▁рассу ждения", + "▁Э кономи", + "ique s", + "iqu es", + "i ques", + "ви ка", + "вик а", + "▁Оста льные", + "▁коммуни кации", + "▁коммуника ции", + "▁х ру", + "▁осо бые", + "▁особы е", + "▁тре бовал", + "▁требо вал", + "▁W in", + "▁Wi n", + "▁К им", + "▁Ки м", + "▁Все союз", + "ше нным", + "шен ным", + "▁до лине", + "▁доли не", + "чь его", + "чье го", + "▁перед ней", + "ме ров", + "мер ов", + "ро вало", + "рова ло", + "ровал о", + "▁продол жала", + "▁продолжа ла", + "▁продолжал а", + "▁С аль", + "▁Са ль", + "▁Сал ь", + "▁sim ple", + "▁p oll", + "▁pol l", + "▁po ll", + "▁Ф ар", + "▁Фа р", + "▁чувству ю", + "▁чувств ую", + "▁Соответ ственно", + "ша ми", + "ша ться", + "шать ся", + "▁каче ств", + "▁стан ций", + "▁ станций", + "▁ne eds", + "▁need s", + "Con t", + "C ont", + "ki n", + "k in", + "▁tra cks", + "▁track s", + "▁C ard", + "▁Car d", + "▁Ca rd", + "▁Во сток", + "▁Восто к", + "▁Вос ток", + "не нную", + "нен ную", + "▁по дой", + "▁под ой", + "▁подо й", + "▁бо ев", + "▁бое в", + "ar c", + "a rc", + "ствен ностью", + "стве нностью", + "ственно стью", + "ственность ю", + "▁w ays", + "▁way s", + "▁wa ys", + "▁ ways", + "▁E ach", + "▁сдела ны", + "▁сделан ы", + "грам му", + "грамм у", + "▁уче ного", + "▁художе ственный", + "C O", + "▁К А", + "▁ КА", + "▁los ing", + "▁бе рут", + "▁бер ут", + "▁беру т", + "▁T our", + "▁To ur", + "▁уве ренно", + "▁уверен но", + "нг у", + "н гу", + "▁Rev olution", + "▁тради ционно", + "▁о гор", + "▁ог ор", + "▁ого р", + "▁к в", + "▁массо вого", + "▁шко лах", + "▁школа х", + "▁Доста точно", + "▁рассматри вается", + "▁рассматривает ся", + "▁освобо дить", + "▁освободи ть", + "▁смотре ли", + "▁смотрел и", + "▁comm ander", + "▁command er", + "▁иде е", + "▁ка бине", + "▁каби не", + "▁ле дя", + "▁лед я", + "▁инфраструк туры", + "п с", + "▁Ю рия", + "▁полномо чия", + "▁фаль ши", + "▁я дро", + "▁яд ро", + "▁систе мах", + "▁система х", + "he w", + "h ew", + "по т", + "п от", + "▁бро сить", + "▁броси ть", + "▁услыша ть", + "▁услы шать", + "▁ком мен", + "▁ коммен", + "▁характер но", + "▁a im", + "▁ aim", + "▁свойства ми", + "▁мото ци", + "▁обра ща", + "▁По чёт", + "▁prov iding", + "▁из мери", + "▁изме ри", + "▁измер и", + "ти руется", + "тиру ется", + "тирует ся", + "▁пре образования", + "▁преобразова ния", + "ne w", + "n ew", + "▁дви жется", + "▁съ ём", + "▁съё м", + "шн я", + "ш ня", + "да ра", + "дар а", + "д ара", + "▁россий ская", + "A n", + "▁Б ир", + "▁Би р", + "▁рассе я", + "бро са", + "бр оса", + "▁Мо ги", + "▁Ль вов", + "▁Льво в", + "ли ков", + "лик ов", + "▁Иеруса ли", + "в ской", + "▁M ajor", + "C P", + "▁у трен", + "▁ут рен", + "▁ле вый", + "▁пове рить", + "▁повер ить", + "ш ё", + "би о", + "зве з", + "▁су дья", + "▁судь я", + "▁суд ья", + "▁руководи тели", + "ad or", + "ado r", + "▁вос созда", + "▁Se ries", + "▁Ser ies", + "▁Похоро нен", + "o ir", + "▁зна ч", + "▁возду шного", + "▁воздуш ного", + "ли ги", + "▁Ка ждо", + "▁V is", + "▁Vi s", + "▁дума ете", + "▁думает е", + "▁долго сро", + "▁от зыва", + "▁отзыв а", + "▁соответ ствуют", + "▁соответству ют", + "▁Ч его", + "▁Че го", + "▁I ra", + "▁Ir a", + "▁стреми тельно", + "▁L ine", + "▁Li ne", + "▁Екатери ны", + "▁Екатерин ы", + "▁v ess", + "▁ve ss", + "▁Х ью", + "pr int", + "pri nt", + "▁вклю чить", + "▁стихот ворение", + "▁стихотво рение", + "▁организова л", + "▁сто ян", + "▁стоя н", + "▁вер шины", + "▁верши ны", + "▁собра лись", + "▁собрали сь", + "▁косми ческого", + "▁ex press", + "▁exp ress", + "г с", + "▁Int el", + "▁каби нете", + "▁кабинет е", + "▁кабине те", + "▁Э лектро", + "▁b ey", + "▁be y", + "▁con tain", + "▁cont ain", + "▁гар мони", + "▁гармо ни", + "▁и ран", + "▁ир ан", + "▁объяви ли", + "▁объя вили", + "▁объявил и", + "▁отмеча ют", + "▁отме чают", + "▁по ехал", + "▁пое хал", + "▁ли ста", + "▁лист а", + "ni c", + "n ic", + "▁w arn", + "▁war n", + "▁t itled", + "▁tit led", + "▁title d", + "▁Бу дь", + "▁Буд ь", + "▁Эсто нии", + "▁F ield", + "мо вой", + "мов ой", + "во ю", + "▁L ittle", + "▁пря мого", + "▁прямо го", + "▁al le", + "▁all e", + "▁ alle", + "▁А по", + "▁Ап о", + "▁e lim", + "▁el im", + "▁ле з", + "▁л ез", + "▁ лез", + "та ться", + "тать ся", + "▁обстанов ки", + "▁et c", + "▁упо рно", + "▁упор но", + "▁по началу", + "▁тек сту", + "▁текст у", + "ве ров", + "вер ов", + "веро в", + "▁че сно", + "▁приро дой", + "▁природ ой", + "логи ческий", + "▁М ГУ", + "▁пере вести", + "▁переве сти", + "▁Кар ло", + "▁Карл о", + "▁команди ров", + "▁командир ов", + "▁вероятно сти", + "▁вероят ности", + "▁expand ed", + "▁drop ped", + "▁тре ти", + "▁тр ети", + "об ы", + "о бы", + "▁мето дами", + "▁метода ми", + "▁on line", + "▁украин ских", + "▁Un ivers", + "ур а", + "у ра", + "▁тех нической", + "▁техни ческой", + "▁ технической", + "▁при бре", + "▁XX I", + "▁вре мён", + "▁Совет ов", + "▁Сове тов", + "▁Ф ра", + "▁t ask", + "▁c arri", + "▁car ri", + "▁орга нах", + "▁органа х", + "▁continu es", + "▁contin ues", + "▁continue s", + "in ate", + "ina te", + "de g", + "ne l", + "n el", + "га нской", + "ган ской", + "та ры", + "тар ы", + "▁про ста", + "▁прос та", + "▁пр оста", + "▁прост а", + "▁пят надцать", + "▁пятна дцать", + "▁f alse", + "▁Еги пте", + "se n", + "s en", + "▁Со ч", + "▁а кта", + "▁ак та", + "▁акт а", + "▁co al", + "▁Ль во", + "▁но сили", + "▁носи ли", + "▁нос или", + "▁носил и", + "▁ носили", + "▁До ку", + "пп е", + "п пе", + "▁поддержа ть", + "▁тру бку", + "▁труб ку", + "▁приве дет", + "▁привед ет", + "зна ния", + "▁учё ный", + "▁Сле д", + "▁reg ister", + "▁Д вор", + "▁Л ы", + "вы со", + "выс о", + "▁стра ница", + "▁страниц а", + "▁неиз менно", + "▁неизмен но", + "▁all ows", + "▁allow s", + "▁китай ской", + "▁кита йской", + "сте рои", + "эл е", + "э ле", + "чё р", + "ч ёр", + "▁E p", + "▁по ложил", + "▁поло жил", + "▁положи л", + "нь ко", + "▁П сков", + "▁медици нского", + "▁мыш ление", + "▁As ia", + "▁in hab", + "▁По каза", + "▁Пока за", + "▁И рина", + "▁Ир ина", + "▁нару шений", + "ну ты", + "нут ы", + "▁Ро сто", + "▁Рос то", + "ва нный", + "ван ный", + "▁сте ну", + "▁стен у", + "▁Амери ку", + "▁эмо ций", + "▁т рю", + "▁тр ю", + "▁ трю", + "▁пре се", + "▁ре дакти", + "▁реда кти", + "▁редак ти", + "ash ion", + "▁готов ность", + "▁B ul", + "▁Bu l", + "▁подтвер жда", + "▁ве не", + "▁вен е", + "▁рису нок", + "▁chall eng", + "▁G re", + "▁Gr e", + "▁на родный", + "▁наро дный", + "▁народ ный", + "▁b ul", + "▁bu l", + "▁сни жения", + "▁опреде ленное", + "▁определен ное", + "▁определенно е", + "▁mus eum", + "▁arr ested", + "▁arrest ed", + "си на", + "син а", + "с ина", + "▁распо ложи", + "▁слу жили", + "▁служ или", + "▁служи ли", + "▁служил и", + "▁N ight", + "▁мето до", + "▁мет одо", + "▁метод о", + "з нь", + "п кой", + "ти нской", + "тин ской", + "то чные", + "▁Гражда нской", + "▁Scot land", + "▁Pr ime", + "▁Pri me", + "▁stra ight", + "▁войска м", + "▁войск ам", + "▁vis ited", + "▁visit ed", + "▁коммента рии", + "▁К ем", + "▁Ке м", + "▁author ity", + "▁s light", + "▁sl ight", + "Ба р", + "Б ар", + "▁пи кабу", + "И М", + "▁Sy d", + "де ш", + "▁извест ная", + "▁известна я", + "▁изве стная", + "ru n", + "r un", + "▁аэрод ром", + "▁аэродро м", + "▁про стое", + "▁просто е", + "▁прос тое", + "▁прост ое", + "▁К О", + "▁ КО", + "▁а зербайджа", + "▁Вну трен", + "▁D et", + "▁De t", + "▁то ма", + "▁том а", + "▁la unch", + "▁laun ch", + "▁корпора ции", + "▁коро лю", + "▁хозя ева", + "▁хозяев а", + "▁bey ond", + "▁тыся чу", + "▁тысяч у", + "▁фа са", + "▁st ock", + "▁диа лог", + "D on", + "▁d raft", + "▁dr aft", + "▁dra ft", + "зи рованные", + "зирова нные", + "зирован ные", + "В т", + "▁шири ной", + "▁акку муля", + "▁все ленной", + "▁по няла", + "▁поня ла", + "▁понял а", + "▁не деле", + "▁неде ле", + "▁A rm", + "▁Ar m", + "▁F ord", + "▁For d", + "▁уве дом", + "▁эк спорт", + "▁экс порт", + "▁экспо рт", + "▁экспор т", + "▁направления х", + "▁из образи", + "▁изобра зи", + "▁Э пи", + "Се вер", + "▁у на", + "▁ уна", + "▁exist ing", + "▁У да", + "▁сов па", + "▁коло коль", + "▁катего рия", + "▁категори я", + "▁Пу бли", + "▁есте ственным", + "▁sp ot", + "▁само лёт", + "▁самолё т", + "▁пояс нил", + "▁Col on", + "▁и того", + "▁ито го", + "▁итог о", + "▁Объ еди", + "фт е", + "ф те", + "▁Americ ans", + "▁American s", + "▁America ns", + "▁о тк", + "▁от к", + "шни ки", + "шник и", + "ш ники", + "▁ла т", + "▁л ат", + "▁ лат", + "▁откры том", + "▁открыто м", + "▁открыт ом", + "▁предоста вля", + "▁col umn", + "▁ч ая", + "▁ча я", + "▁ чая", + "▁тру дов", + "▁труд ов", + "▁трудо в", + "х нул", + "▁уви дела", + "▁увиде ла", + "▁увидел а", + "▁ска нда", + "▁скан да", + "▁D un", + "▁Du n", + "▁Н ере", + "▁Не ре", + "▁Нер е", + "▁пос реди", + "▁посред и", + "▁phil osoph", + "бо го", + "▁изу чал", + "▁изуча л", + "м ба", + "▁предлага ют", + "▁attempt s", + "dr o", + "d ro", + "▁от дох", + "▁сло варь", + "▁слова рь", + "▁слов арь", + "in ity", + "ini ty", + "init y", + "ge nt", + "gen t", + "g ent", + "▁пу лем", + "▁пуле м", + "▁Ме ль", + "▁умень ши", + "▁хокке й", + "▁физи ческие", + "▁физически е", + "▁хва тило", + "▁Тре тий", + "▁ми ровых", + "▁миро вых", + "▁миров ых", + "▁ст вола", + "▁ство ла", + "▁ствол а", + "B l", + "П О", + "▁сти хий", + "▁стихи й", + "uild ing", + "не восто", + "нево сто", + "▁Т реть", + "▁Тре ть", + "ме ли", + "мел и", + "▁по ду", + "▁под у", + "▁V en", + "▁Ve n", + "мо нти", + "мон ти", + "монт и", + "▁по пе", + "▁поп е", + "▁fem ales", + "▁female s", + "▁заклю чил", + "▁заключи л", + "▁У зна", + "▁Уз на", + "▁Мо нте", + "▁Мон те", + "▁бара ба", + "▁гражда нина", + "▁граждан ина", + "▁гражданин а", + "▁автомоби ли", + "▁ret ired", + "▁retire d", + "▁ре ставра", + "▁откры тых", + "▁открыт ых", + "▁открыты х", + "ми е", + "▁тера пев", + "▁off ers", + "▁offer s", + "▁own er", + "▁оста вляет", + "▁оставля ет", + "▁Con ference", + "▁с вали", + "▁сва ли", + "▁св али", + "хо дятся", + "ходя тся", + "ход ятся", + "ходят ся", + "▁прогре сса", + "▁прогресс а", + "пе реди", + "пер еди", + "пере ди", + "перед и", + "▁Т вор", + "▁Наполе он", + "▁met al", + "▁M ir", + "▁Г ера", + "▁Ге ра", + "▁Гер а", + "▁колеба ний", + "во сти", + "вос ти", + "▁W ater", + "▁Wat er", + "ay a", + "a ya", + "▁G en", + "▁Ge n", + "▁не сти", + "▁нес ти", + "▁ нести", + "▁мене дж", + "ду ю", + "д ую", + "▁М ЧС", + "▁за лож", + "▁b ranch", + "▁сте нах", + "▁стена х", + "▁при ход", + "▁прихо д", + "▁пере стал", + "▁переста л", + "▁перес тал", + "▁грам мати", + "▁кори до", + "▁то на", + "▁т она", + "▁тон а", + "▁ тона", + "▁Генера льного", + "▁публи ки", + "▁вне шние", + "▁внеш ние", + "▁Говоря т", + "Ф е", + "▁B al", + "▁Ba l", + "▁на силь", + "▁нас иль", + "▁наси ль", + "▁Ка кая", + "▁Как ая", + "▁у зел", + "▁Фе дор", + "▁Федо р", + "▁по чер", + "▁поч ер", + "▁поче р", + "▁о гла", + "▁ог ла", + "▁Б ет", + "▁Бе т", + "А й", + "▁бли зости", + "▁P o", + "ку ля", + "▁возник нуть", + "▁H on", + "▁Ho n", + "▁ва жнее", + "▁важ нее", + "тк о", + "т ко", + "▁тре бовать", + "▁требо вать", + "▁счита ются", + "▁считают ся", + "▁считаю тся", + "▁необходи ма", + "▁необходим а", + "во дили", + "вод или", + "води ли", + "водил и", + "▁S a", + "uc t", + "u ct", + "см и", + "с ми", + "жи ны", + "жин ы", + "ж ины", + "▁p it", + "ро вый", + "ще нное", + "щен ное", + "щенно е", + "▁оборо не", + "▁оборон е", + "▁ту ристов", + "▁тури стов", + "▁энерги ей", + "▁У ор", + "▁Уо р", + "▁M P", + "▁ MP", + "▁d ance", + "▁ответ ила", + "▁отве тила", + "▁ответил а", + "▁Пси хо", + "▁францу зов", + "▁француз ов", + "▁экс пози", + "▁экспо зи", + "▁стере оти", + "▁кон фе", + "▁конф е", + "▁две надцати", + "ци н", + "ц ин", + "▁конкре тной", + "▁конкретно й", + "▁состоя т", + "▁состо ят", + "ну с", + "н ус", + "▁S ky", + "▁Sk y", + "▁За ха", + "is hes", + "ish es", + "▁аспи ран", + "▁ланд ша", + "ion e", + "io ne", + "i one", + "▁коле са", + "▁колес а", + "пп а", + "п па", + "се ров", + "сер ов", + "▁Под роб", + "▁сцена рия", + "▁r ules", + "▁rul es", + "▁ru les", + "▁rule s", + "▁втор жения", + "▁при год", + "▁приго д", + "вка зе", + "вказ е", + "▁material s", + "er c", + "e rc", + "▁останови ться", + "▁остановить ся", + "▁остано виться", + "▁к рым", + "▁кры м", + "▁постано вление", + "▁постанов ление", + "▁Мар тин", + "▁де ду", + "▁дед у", + "▁con vers", + "▁conv ers", + "▁conver s", + "▁предна знача", + "▁предназна ча", + "▁д жа", + "▁ джа", + "▁баскет бо", + "▁we ight", + "▁ weight", + "▁отсут ствуют", + "▁app arent", + "▁ф ос", + "▁фо с", + "▁ фос", + "▁за водов", + "▁заво дов", + "▁завод ов", + "ph as", + "pha s", + "ми ей", + "мие й", + "▁три ум", + "▁на кры", + "▁А К", + "▁ АК", + "▁часто ты", + "▁power ful", + "▁reg ional", + "▁region al", + "▁Je an", + "▁взгля да", + "▁взгляд а", + "▁ad vant", + "▁adv ant", + "▁Em peror", + "рен бург", + "ки но", + "кин о", + "к ино", + "логи ческой", + "▁inj ury", + "▁кня зья", + "▁князь я", + "▁обще ственно", + "▁обществе нно", + "▁обществ енно", + "▁затра ты", + "▁затрат ы", + "▁шот ланд", + "▁расска зала", + "▁рассказа ла", + "▁рассказал а", + "▁рассказ ала", + "he ns", + "hen s", + "h ens", + "▁поме щений", + "ань ше", + "а ньше", + "▁попыта ться", + "▁попы таться", + "▁чемпи онов", + "▁чемпион ов", + "▁сотруд ника", + "▁сотрудни ка", + "▁сотрудник а", + "▁за гля", + "▁откры вается", + "▁открывает ся", + "▁фра за", + "▁за ложен", + "▁залож ен", + "▁ш тор", + "▁шт ор", + "▁dep artment", + "▁depart ment", + "▁ве село", + "▁весе ло", + "pt ion", + "p tion", + "▁марш рут", + "▁маршру т", + "▁от печа", + "▁Пи кабу", + "▁B ern", + "▁Ber n", + "▁c rim", + "▁cr im", + "ol id", + "oli d", + "▁по че", + "▁поч е", + "▁культур ных", + "▁ар битра", + "▁работ ода", + "▁работо да", + "▁ко ров", + "▁кор ов", + "▁коро в", + "▁g ives", + "▁give s", + "▁кри тике", + "▁крити ке", + "▁критик е", + "▁ак тера", + "▁акт ера", + "▁актер а", + "▁res ources", + "▁on to", + "▁ onto", + "▁желез ы", + "▁желе зы", + "дви га", + "двиг а", + "д вига", + "ger s", + "g ers", + "▁затра ги", + "▁рас смотрим", + "▁r oll", + "▁ro ll", + "▁ roll", + "гла сно", + "▁при зыв", + "▁призы в", + "▁воспита ние", + "сти вале", + "стива ле", + "шед ших", + "▁понима нии", + "▁кисло рода", + "▁кислород а", + "▁в ступить", + "▁вступи ть", + "▁вступ ить", + "ст ская", + "▁Just ice", + "▁мини ат", + "стер на", + "с терна", + "ro me", + "rom e", + "r ome", + "▁Шта тов", + "▁п лей", + "▁пле й", + "▁ плей", + "▁площа дке", + "▁M ov", + "▁Mo v", + "чка м", + "ч кам", + "▁роди не", + "▁па тологи", + "▁пато логи", + "▁голо вного", + "▁голов ного", + "▁экземпля ров", + "▁экземпляр ов", + "▁снаря дов", + "▁снаряд ов", + "▁кон центри", + "▁собира ются", + "▁у д", + "▁ уд", + "▁государ ству", + "▁государств у", + "▁мо рали", + "▁мор али", + "▁мора ли", + "▁ю сти", + "▁способ ностей", + "▁способно стей", + "▁сим пати", + "▁симпа ти", + "до влет", + "дов лет", + "▁Е ди", + "▁ Еди", + "▁класси фикации", + "▁хра нить", + "▁храни ть", + "▁ко лес", + "▁коле с", + "▁гимна зии", + "▁Ру сский", + "▁Рус ский", + "оте че", + "▁spl it", + "мо рской", + "мор ской", + "▁произо шли", + "▁вы тяну", + "ba r", + "b ar", + "▁опера тор", + "▁e state", + "▁est ate", + "▁корот кие", + "у ка", + "▁посоль ства", + "▁Та ш", + "▁до мом", + "▁дом ом", + "▁домо м", + "ль щиков", + "▁Сере бря", + "▁Am ong", + "▁пове сть", + "▁повест ь", + "▁оши ба", + "▁ошиб а", + "▁s we", + "▁sw e", + "но рма", + "нор ма", + "▁P ers", + "▁Per s", + "▁Ны не", + "▁сло ев", + "▁под пись", + "▁подпи сь", + "▁anal ysis", + "▁четвер ти", + "▁о сле", + "▁ос ле", + "▁A M", + "▁ AM", + "▁вопро сах", + "▁вопроса х", + "зо вый", + "зовы й", + "▁com pon", + "▁comp on", + "че нность", + "чен ность", + "ченно сть", + "▁плат форма", + "▁платфор ма", + "▁соб лаз", + "▁аре нду", + "▁арен ду", + "ро вича", + "рович а", + "▁декла ра", + "ме тим", + "мет им", + "мети м", + "▁фор те", + "▁образова нием", + "▁образование м", + "▁Мои се", + "▁и менова", + "▁име нова", + "▁с меня", + "▁сме ня", + "▁см еня", + "▁un ique", + "▁обще при", + "▁за печат", + "▁запе чат", + "▁B on", + "▁Bo n", + "▁ис кал", + "▁иска л", + "▁иск ал", + "burg h", + "bur gh", + "▁A venue", + "▁же нат", + "▁жен ат", + "▁жена т", + "▁dig ital", + "▁F am", + "▁Fa m", + "сси ян", + "ссия н", + "▁Ку зь", + "▁occ asion", + "▁occas ion", + "▁sh op", + "ще нным", + "щен ным", + "▁найден ы", + "▁найде ны", + "▁Фили пп", + "▁Филип п", + "▁effect ive", + "▁со зерца", + "▁C E", + "▁при ехали", + "▁прие хали", + "▁приехал и", + "▁приеха ли", + "▁добро вольно", + "▁доброволь но", + "▁доброво льно", + "фф е", + "ф фе", + "▁get ting", + "▁упо рядо", + "не сение", + "несе ние", + "▁as pect", + "де ев", + "▁пу те", + "▁пут е", + "▁цар ю", + "▁ца рю", + "L E", + "▁ра нения", + "▁ране ния", + "▁вы ез", + "▁U s", + "▁le aves", + "▁leave s", + "жно му", + "жном у", + "ж ному", + "▁пра вый", + "▁правы й", + "▁внеш ним", + "S I", + "▁т ень", + "▁те нь", + "▁тен ь", + "▁ тень", + "▁де тский", + "▁дет ский", + "▁op posed", + "▁oppos ed", + "че вой", + "чев ой", + "ч евой", + "▁f lo", + "▁fl o", + "▁постро ил", + "▁ear th", + "▁спро сила", + "▁спросил а", + "▁спрос ила", + "▁у бира", + "▁уби ра", + "▁про ходила", + "▁проходил а", + "▁проходи ла", + "▁проход ила", + "▁прохо дила", + "▁гу бы", + "▁губ ы", + "жко й", + "ж кой", + "▁поч те", + "гер ман", + "▁ужа са", + "▁ужас а", + "▁spe ech", + "▁мета физи", + "▁в веден", + "▁отмет или", + "▁отме тили", + "▁отметил и", + "▁h ero", + "▁he ro", + "▁her o", + "ней шей", + "▁фак ту", + "▁факт у", + "▁воен ная", + "▁вое нная", + "▁m ile", + "▁mil e", + "▁mi le", + "▁заседа ние", + "▁засе дание", + "... \".", + "...\" .", + "▁обнару жения", + "el a", + "e la", + "▁С ил", + "▁Си л", + "▁с ала", + "▁са ла", + "▁ко ди", + "▁код и", + "▁ коди", + "▁дей ствующих", + "▁действу ющих", + "тя н", + "т ян", + "▁дра мы", + "▁указыва ют", + "▁ука зывают", + "▁от слежи", + "\"» .", + "\" ».", + "▁ми лости", + "▁мило сти", + "▁на сме", + "▁нас ме", + "▁В ремен", + "▁Вре мен", + "▁Б ек", + "▁Бе к", + "ме те", + "мет е", + "м ете", + "кус ство", + "▁спектак ль", + "▁э ста", + "▁эс та", + "▁Bra zil", + "se x", + "s ex", + "▁при несли", + "▁прин если", + "▁принес ли", + "▁сохра нять", + "▁сохраня ть", + "▁сохран ять", + "▁сохра нение", + "▁b ought", + "▁Co ast", + "▁противо тан", + "▁стара лись", + "▁психо тера", + "ре но", + "рен о", + "▁уча ствует", + "▁ль го", + "▁англича н", + "▁T est", + "▁Te st", + "ге нов", + "ген ов", + "гено в", + "▁б лага", + "▁бла га", + "▁ре монта", + "▁ремон та", + "▁ремонт а", + "▁удержа ть", + "▁P op", + "▁Po p", + "до вич", + "дови ч", + "▁юриди ческих", + "▁а некдо", + "▁sh all", + "el le", + "ell e", + "▁organization s", + "▁organiz ations", + "▁Международ ной", + "▁да ло", + "▁дал о", + "▁следу ющую", + "▁роди телями", + "▁родителям и", + "▁и нер", + "▁ин ер", + "▁b ed", + "▁be d", + "▁ bed", + "▁e scape", + "▁esc ape", + "▁Особ ен", + "▁Осо бен", + "▁пти ца", + "▁птиц а", + "▁ассо ции", + "▁за стре", + "▁зас тре", + "▁ap plied", + "▁comb at", + "▁по степен", + "▁посте пен", + "in ks", + "ink s", + "▁прось бе", + "▁стол б", + "▁Develop ment", + "ти вшись", + "тив шись", + "▁популяр ных", + "▁популя рных", + "▁уса дь", + "ству ющего", + "▁с ражение", + "▁сра жение", + "▁про вела", + "▁прове ла", + "▁провел а", + "▁Па па", + "ви ц", + "▁N AS", + "▁cre ating", + "▁creat ing", + "b a", + "▁ли сто", + "▁л исто", + "▁лист о", + "li g", + "l ig", + "▁ле вого", + "▁монасты ре", + "▁мы ши", + "▁мыш и", + "▁коло нны", + "▁колон ны", + "▁дер жит", + "▁ри ска", + "▁р иска", + "▁рис ка", + "▁риск а", + "▁из мель", + "▁изме ль", + "му ра", + "мур а", + "м ура", + "▁соревнова ния", + "▁б лу", + "▁ блу", + "▁Поня тно", + "▁плац дар", + "▁епар хии", + "▁до мах", + "▁дома х", + "▁сход ство", + "строе ние", + "восто ку", + "восток у", + "▁ар тери", + "▁арте ри", + "▁ситуа ций", + "▁основ ную", + "▁су п", + "▁mot or", + "▁славя н", + "▁Pro gram", + "ут бу", + "▁beg ins", + "▁begin s", + "И Р", + "▁econom y", + "не шь", + "н ешь", + "▁Чер ни", + "▁им пер", + "▁импе р", + "▁про тивном", + "▁против ном", + "ев у", + "е ву", + "▁студен ты", + "▁студент ы", + "▁комму нистов", + "▁коммуни стов", + "▁пропор циона", + "▁s ort", + "го ри", + "гор и", + "г ори", + "▁выступа ли", + "▁выступал и", + "▁выступ али", + "ar p", + "чи ку", + "чик у", + "▁Cent re", + "es h", + "e sh", + "▁твор ческой", + "▁богат ство", + "▁удовлет ворения", + "▁удовлетво рения", + "▁мощ ный", + "▁вся чески", + "ка че", + "воз можно", + "возмо жно", + "▁соб ственном", + "▁собствен ном", + "▁собственно м", + "▁б ок", + "▁бо к", + "▁ бок", + "▁рас пу", + "▁фи рма", + "▁фир ма", + "▁фирм а", + "▁реконструк ции", + "▁г ей", + "▁ге й", + "▁ гей", + "▁Sp ace", + "▁L ew", + "▁Le w", + "▁учи телей", + "▁О пыт", + "▁спортсме нов", + "▁спортс менов", + "▁спортсмен ов", + "da ta", + "d ata", + "▁l ibrary", + "▁те чении", + "▁устанавли вается", + "▁устанавливает ся", + "ЕС Т", + "Е СТ", + "▁Са мар", + "▁Сам ар", + "▁Сама р", + "\" !", + "▁о смысле", + "▁ос мысле", + "з ла", + "▁лу чи", + "▁луч и", + "▁л учи", + "▁пло хой", + "▁плохо й", + "▁от бы", + "▁По степенно", + "▁в кла", + "сф ера", + "сфер а", + "с фера", + "▁вы тащи", + "▁пра ву", + "▁прав у", + "▁На против", + "▁закры ть", + "▁закрыт ь", + "▁ко ем", + "▁кое м", + "▁зо о", + "▁Сем ё", + "▁гре ческого", + "▁Ма х", + "▁совер шать", + "▁соверша ть", + "ча са", + "час а", + "▁weap ons", + "▁международ ный", + "▁до ка", + "▁док а", + "▁депута том", + "▁депутат ом", + "▁в несе", + "▁вне се", + "▁внес е", + "▁писа тели", + "▁на личия", + "▁наличи я", + "▁нали чия", + "▁te le", + "▁улуч шить", + "▁R og", + "▁Ro g", + "▁обы чным", + "▁Прем ьер", + "ме нами", + "мена ми", + "ен ко", + "▁s ought", + "▁R h", + "▁f ans", + "▁fa ns", + "▁fan s", + "▁оккупа ции", + "▁Ла за", + "▁A R", + "▁ AR", + "▁пле ну", + "▁плен у", + "▁E le", + "▁El e", + "▁пред ложений", + "▁предложе ний", + "▁самолё та", + "▁самолёт а", + "че ред", + "чер ед", + "▁суще ствовала", + "▁существо вала", + "▁существова ла", + "▁существовал а", + "▁холо ди", + "▁холод и", + "▁выска зал", + "▁высказа л", + "av ed", + "ave d", + "a ved", + "▁говори те", + "▁говорит е", + "▁гово рите", + "▁сигна лы", + "▁сигнал ы", + "▁со ц", + "ak a", + "a ka", + "▁собра нии", + "▁norm al", + "▁строе ния", + "▁ строения", + "▁м яс", + "▁мя с", + "▁дове рия", + "▁Ви ктора", + "▁Виктор а", + "▁Викто ра", + "пер ёд", + "▁Су дя", + "▁Суд я", + "▁особы м", + "▁div ided", + "▁напра вил", + "▁нас чет", + "гна л", + "г нал", + "ру ющей", + "рую щей", + "▁Евге ния", + "ме нные", + "мен ные", + "▁surround ing", + "ре нное", + "рен ное", + "ренно е", + "▁ребён ка", + "ст ский", + "с тский", + "▁И знача", + "▁Из нача", + "s m", + "▁на со", + "▁нас о", + "▁цар е", + "▁ца ре", + "▁def in", + "▁г лаг", + "▁гла г", + "▁при ём", + "▁приё м", + "▁при ток", + "▁прито к", + "▁прит ок", + "▁Б ря", + "▁w eb", + "▁we b", + "▁Библи и", + "▁де таль", + "▁дет аль", + "▁дета ль", + "ть ев", + "тье в", + "т ьев", + "▁лю без", + "▁профи лакти", + "▁исследова нии", + "Ве р", + "В ер", + "▁дли нный", + "▁длин ный", + "отече ствен", + "▁у стья", + "▁ус тья", + "жко в", + "ж ков", + "▁поли тик", + "▁полити к", + "Т ри", + "▁fl ow", + "▁flo w", + "▁dr ive", + "ве нно", + "вен но", + "в енно", + "▁And rew", + "▁Andre w", + "▁меч ты", + "▁ad vert", + "▁adv ert", + "▁me asure", + "▁meas ure", + "▁А ма", + "▁Ам а", + "до вания", + "дова ния", + "жь ю", + "ж ью", + "▁ль да", + "▁ льда", + "▁при хо", + "▁съ езд", + "▁съе зд", + "▁съез д", + "▁призна к", + "ор к", + "о рк", + "да й", + "д ай", + "▁право нару", + "▁ак тивных", + "▁актив ных", + "▁вла стями", + "▁властям и", + "▁диви зион", + "▁дивизи он", + "▁ u", + "enc ies", + "▁tra ffic", + "▁про ход", + "▁прохо д", + "▁равно мер", + "▁рав номер", + "▁па ре", + "▁пар е", + "▁Украи ну", + "▁Украин у", + "▁F ree", + "▁Fre e", + "▁согласи ться", + "▁интеллиген ции", + "▁магази не", + "▁магазин е", + "▁О казывается", + "▁прав ды", + "▁L ibrary", + "▁пе ще", + "▁пещ е", + "▁хиру р", + "I d", + "▁физи чески", + "ку си", + "кус и", + "▁кино те", + "▁кин оте", + "не сса", + "нес са", + "▁Ф РГ", + "ро ны", + "рон ы", + "р оны", + "▁у й", + "▁Je ff", + "▁инвести ций", + "▁к вар", + "▁ква р", + "▁кв ар", + "▁ми тропо", + "▁prote ction", + "▁prot ection", + "▁protect ion", + "га у", + "▁ка ст", + "▁behav ior", + "▁предоста вляет", + "▁предоставля ет", + "▁есте ственных", + "▁поддерж кой", + "▁Syd ney", + "▁Досто евского", + "▁ щу", + "ва нной", + "ван ной", + "▁обще ством", + "▁общество м", + "▁обществ ом", + "T C", + "би ться", + "бить ся", + "з ной", + "▁ме диа", + "▁меди а", + "▁соб ственными", + "▁собствен ными", + "▁собственным и", + "com e", + "co me", + "c ome", + "лен ко", + "л енко", + "▁от ыска", + "▁оты ска", + "▁бога тых", + "▁богат ых", + "▁богаты х", + "▁вы у", + "▁оп понен", + "▁Б рон", + "▁Бро н", + "▁R ou", + "▁Ro u", + "▁соот ношение", + "▁соотно шение", + "▁F er", + "▁Fe r", + "ра спо", + "рас по", + "▁у веря", + "▁уве ря", + "▁гео метри", + "рь мя", + "▁обла дал", + "▁облада л", + "▁изме ря", + "▁измер я", + "▁rel atively", + "▁relative ly", + "▁попро сту", + "▁дей ствовал", + "▁региона льного", + "▁регион ального", + "▁участ ках", + "▁участка х", + "▁Федера льного", + "▁Ц арь", + "▁Цар ь", + "▁Ца рь", + "▁Е се", + "▁у били", + "▁уби ли", + "▁убил и", + "▁фестива ля", + "▁W ild", + "▁Wil d", + "▁Wi ld", + "▁Суще ствуют", + "▁ал фа", + "▁Гого ля", + "un der", + "und er", + "u nder", + "▁изобра жением", + "▁изображение м", + "▁пита ние", + "▁ка то", + "▁возможно стью", + "▁возможность ю", + "▁возмо жностью", + "▁return ing", + "▁фа кта", + "▁фак та", + "▁факт а", + "ai s", + "a is", + "▁ф разу", + "▁фра зу", + "бле нии", + "б лении", + ".) ;", + ". );", + "ir ty", + "irt y", + "▁показа телей", + "▁запо вед", + "st ream", + "▁In ternet", + "▁Inter net", + "▁col le", + "▁coll e", + "▁Сла вы", + "но мет", + "ном ет", + "▁рассчиты вать", + "▁fund ing", + "▁гомо сек", + "▁характери стик", + "▁характеристи к", + "▁С уд", + "▁Су д", + "▁arg ued", + "▁пло тность", + "▁плотно сть", + "▁плот ность", + "▁С ино", + "▁Си но", + "▁Син о", + "▁Фридри х", + "▁З им", + "▁Зи м", + "▁О м", + "▁mark ed", + "▁потря са", + "▁противоре чия", + "▁противоречи я", + "▁дол гие", + "▁желез ных", + "▁литератур ного", + "▁Ка жется", + "▁ста рик", + "▁стари к", + "▁ш па", + "▁dist inct", + "юр ер", + "юре р", + "▁Я р", + "▁беремен ности", + "▁прото ти", + "▁поя влением", + "▁появление м", + "▁s ides", + "▁side s", + "▁learn ing", + "▁встре ч", + "▁даль нейшее", + "▁дальней шее", + "▁образова нию", + "▁распреде ление", + "ря ть", + "рят ь", + "р ять", + "▁инстру кции", + "▁инструк ции", + "▁об нов", + "▁обно в", + "▁тех нология", + "▁технологи я", + "▁техно логия", + "▁exec utive", + "▁от личия", + "▁отли чия", + "▁отличи я", + "▁но вич", + "▁ нович", + "▁Му зыка", + "▁пос ол", + "▁посо л", + "▁class es", + "▁Ц РУ", + "▁соответ ствующий", + "▁соответству ющий", + "▁нако пи", + "▁накоп и", + "▁лег кой", + "▁легко й", + "▁M edia", + "▁Med ia", + "▁психо анали", + "▁С ал", + "▁Са л", + "▁построе но", + "▁построен о", + "▁доче рью", + "▁дочер ью", + "ад а", + "а да", + "ан ти", + "а нти", + "кра ин", + "▁ко ш", + "де не", + "ден е", + "▁награ ду", + "▁наград у", + "▁оза бо", + "▁F ederal", + "▁Г ви", + "ня н", + "н ян", + "▁по гиба", + "▁поги ба", + "▁погиб а", + "▁Большо е", + "▁Ни ц", + "▁три жды", + "▁respect ively", + "ill ery", + "ille ry", + "iller y", + "то п", + "т оп", + "▁вер нее", + "▁па ке", + "▁пак е", + "▁О фи", + "▁инте гри", + "▁П оле", + "▁По ле", + "▁Пол е", + "▁на град", + "▁награ д", + "▁наг рад", + "▁тек сто", + "▁текст о", + "▁уров ней", + "▁уровне й", + "U n", + "▁п че", + "▁аэро порт", + "▁аэропор т", + "те льского", + "тель ского", + "▁про водили", + "▁проводи ли", + "▁прово дили", + "▁провод или", + "▁проводил и", + "▁об зор", + "ak s", + "a ks", + "тех нического", + "техни ческого", + "▁ш риф", + "▁пол оса", + "▁поло са", + "мое му", + "▁de ploy", + "il a", + "i la", + "▁од новремен", + "▁одно времен", + "но стями", + "нос тями", + "ностям и", + "▁созда нный", + "▁создан ный", + "▁comm ittee", + "▁Ira q", + "▁b ott", + "▁bo tt", + "я вление", + "▁поку пки", + "▁согла сен", + "▁воспомина ний", + "L L", + "бу с", + "б ус", + "▁присоеди нился", + "▁вос точных", + "▁восто чных", + "▁уви дим", + "▁пробле мам", + "▁проблема м", + "▁проблем ам", + "ни та", + "нит а", + "▁расстрой ства", + "▁сохра няется", + "▁сохраняет ся", + "▁сохраня ется", + "ле ром", + "лер ом", + "▁пи во", + "▁Sen ate", + "▁Foot ball", + "▁еди ный", + "▁p rec", + "▁pre c", + "▁pr ec", + "▁над ое", + "▁надо е", + "те кает", + "тека ет", + "▁распо ложения", + "▁расположе ния", + "сс кого", + "с ского", + "▁осад ков", + "ва не", + "ван е", + "в ане", + "бе рку", + "бер ку", + "▁по лях", + "▁пол ях", + "▁поля х", + "▁сочета ние", + "▁па сту", + "▁пас ту", + "▁паст у", + "▁г иль", + "▁ги ль", + "▁схе му", + "▁С охра", + "▁Со хра", + "▁Казах стан", + "▁young er", + "▁M aster", + "▁Ma ster", + "▁Mas ter", + "дру го", + "др уго", + "друг о", + "▁method s", + "зо сть", + "▁ко лени", + "▁коле ни", + "▁колен и", + "▁срав нении", + "▁то чностью", + "▁точно стью", + "▁точ ностью", + "▁точность ю", + "▁веду щий", + "зо ру", + "зор у", + "з ору", + "▁помощ ником", + "▁помощник ом", + "▁посети телей", + "am ber", + "amb er", + "a mber", + "▁огром ным", + "тни ки", + "тник и", + "т ники", + "▁N az", + "▁Na z", + "▁К НР", + "▁КН Р", + "▁руко пи", + "▁ненави сть", + "в р", + "S c", + "▁Фу нк", + "▁при бор", + "▁прибо р", + "▁о форми", + "▁оформ и", + "▁Ка ро", + "▁Кар о", + "▁П рин", + "▁При н", + "▁Коро ль", + "▁зер на", + "▁незамет но", + "▁незаме тно", + "▁а мби", + "▁ам би", + "▁при том", + "▁прито м", + "▁прит ом", + "▁логи ки", + "▁совме стной", + "▁совместно й", + "▁не хва", + "ir a", + "i ra", + "▁Чи та", + "▁Фи зи", + "▁конкре тные", + "▁сосед ей", + "▁сосе дей", + "нди ю", + "н дию", + "▁N ow", + "▁No w", + "▁комп енси", + "▁компе нси", + "ро дный", + "род ный", + "▁но гах", + "▁нога х", + "ар ьи", + "арь и", + "▁ex change", + "▁источ никах", + "▁источника х", + "▁fig ures", + "▁figure s", + "▁отпра влен", + "▁Проце сс", + "▁Анг лия", + "▁кра сной", + "▁красно й", + "▁при под", + "▁Каза ни", + "▁Казан и", + "▁полу защи", + "▁за ре", + "▁зар е", + "▁у каз", + "▁ука з", + "▁тера пии", + "▁liter ature", + "▁о тс", + "▁от с", + "дер жка", + "держ ка", + "▁п роб", + "▁про б", + "▁пр об", + "Па р", + "П ар", + "▁Х оло", + "▁Хо ло", + "▁Хол о", + "▁Ря зан", + "▁Ряза н", + "▁способ ностью", + "▁способность ю", + "▁способно стью", + "▁Кали нин", + "▁вы се", + "▁выс е", + "▁feat uring", + "корре спонден", + "▁W ay", + "▁С мит", + "▁См ит", + "▁Jew s", + "▁хоро ших", + "▁ду шой", + "▁душ ой", + "▁прибо ров", + "▁прибор ов", + "▁w alls", + "▁wall s", + "о кеан", + "▁s om", + "▁so m", + "▁saf ety", + "▁safe ty", + "▁se asons", + "▁season s", + "▁про ходить", + "▁проходит ь", + "▁проходи ть", + "▁проход ить", + "▁прохо дить", + "▁и зве", + "▁из ве", + "▁И зме", + "▁Из ме", + "D e", + "▁площа дки", + "▁форма те", + "▁формат е", + "e qu", + "▁по дли", + "▁под ли", + "▁про ститу", + "▁прости ту", + "чь ей", + "чье й", + "▁жи лья", + "▁жил ья", + "▁ре шет", + "▁реше т", + "у а", + "▁зво н", + "▁зв он", + "стра сти", + "▁эк рана", + "▁экра на", + "▁экран а", + "▁восто ку", + "▁восток у", + "▁ востоку", + "▁бо ится", + "▁бои тся", + "▁ap plication", + "▁applic ation", + "▁A tt", + "▁At t", + "▁У ч", + "▁предотвра тить", + "▁религиоз ной", + "S A", + "▁сер б", + "▁христиан ской", + "▁христиа нской", + "зо пасности", + "▁непода леку", + "▁v an", + "▁ van", + "▁регули рования", + "▁про стей", + "▁прос тей", + "▁прост ей", + "▁neg oti", + "▁лекар ства", + "▁те рак", + "▁тер ак", + "▁тера к", + "▁сло жный", + "ze n", + "z en", + "▁ч ёт", + "▁ чёт", + "▁итальян ский", + "▁sh ared", + "▁share d", + "▁гвардей ской", + "▁ли чным", + "▁в сюду", + "▁всю ду", + "▁ко рень", + "▁кор ень", + "▁коре нь", + "ба ри", + "бар и", + "▁от казывается", + "▁отказыва ется", + "▁Кавказ а", + "▁Кав каза", + "▁де фек", + "▁дополни тельно", + "▁проце нт", + "▁процен т", + "▁отчет ливо", + "▁лидер ом", + "▁лиде ром", + "▁Иоси ф", + "▁Eliz abeth", + "▁F le", + "▁Fl e", + "▁п ап", + "▁па п", + "▁литератур ных", + "▁произведения х", + "ско р", + "ск ор", + "с кор", + "▁пи к", + "▁конфлик тов", + "▁конфликт ов", + "▁ми ф", + "▁На стоя", + "▁Бель гии", + "▁produ cer", + "▁produc er", + "▁produce r", + "▁t aught", + "рэ н", + "р эн", + "▁с мены", + "▁сме ны", + "in der", + "ind er", + "i nder", + "▁B or", + "▁Bo r", + "▁ ы", + "▁образ цов", + "▁образцо в", + "▁con ference", + "▁не вольно", + "▁нево льно", + "▁бо льно", + "▁боль но", + "el lo", + "ell o", + "▁сыгра ла", + "▁сыграл а", + "го вые", + "▁компа кт", + "line s", + "lin es", + "li nes", + "l ines", + "▁высо ком", + "▁высоко м", + "▁федера ции", + "w a", + "▁r oyal", + "▁ro yal", + "чи те", + "чит е", + "▁Лю д", + "▁со кру", + "▁сок ру", + "▁укра шения", + "▁ле сов", + "▁лес ов", + "▁лесо в", + "▁frequ ently", + "▁H u", + "сс ом", + "ссо м", + "с сом", + "▁це пь", + "▁цеп ь", + "▁пе тру", + "▁пет ру", + "▁семь ей", + "▁семье й", + "▁табли це", + "▁повы сить", + "ству ющей", + "▁принадле жности", + "ra ne", + "ran e", + "r ane", + "th ur", + "▁ide as", + "▁idea s", + "▁ак тивной", + "▁актив ной", + "▁активно й", + "▁обла ка", + "▁обл ака", + "▁произо йти", + "▁относи лись", + "спо рта", + "спорт а", + "спор та", + "с порта", + "▁у строить", + "▁устро ить", + "▁устрои ть", + "▁P rem", + "▁Pr em", + "▁Pre m", + "▁документа х", + "▁gl obal", + "▁па пы", + "▁пап ы", + "us hed", + "ush ed", + "▁appear ances", + "▁appearance s", + "▁исто рико", + "▁истори ко", + "▁историк о", + "▁рабо чим", + "▁рабочи м", + "▁Ме сто", + "▁со сто", + "▁сос то", + "▁неприя тно", + "▁неприят но", + "▁обяза тельств", + "▁Tw itter", + "▁высо кое", + "▁высоко е", + "▁обще ственные", + "▁обществе нные", + "кто ре", + "ктор е", + "к торе", + "ти рование", + "тирова ние", + "▁ува жение", + "▁луч шей", + "▁лучше й", + "де нса", + "ден са", + "д енса", + "▁А мерика", + "▁Амери ка", + "▁T ay", + "▁превра тился", + "ig en", + "i gen", + "▁Сред ней", + "си ль", + "сил ь", + "с иль", + "то чной", + "точно й", + "▁требо вали", + "▁требовал и", + "ul pt", + "жде нный", + "жден ный", + "ж денный", + "▁англича не", + "▁англичан е", + "▁энту зиа", + "▁со отечествен", + "▁sett led", + "▁settle d", + "▁дипло мати", + "▁диплома ти", + "▁дипломат и", + "ли е", + "▁Сти вен", + "▁Стив ен", + "▁жи лых", + "▁жил ых", + "▁принадле жал", + "▁принадлежа л", + "ъю тан", + "▁K ent", + "▁Ke nt", + "▁Ken t", + "▁Г иль", + "▁Ги ль", + "▁украин ского", + "▁у строен", + "▁устро ен", + "ми к", + "▁с тес", + "▁сте с", + "ап пара", + "▁R u", + "▁прове рка", + "▁провер ка", + "▁Т ей", + "▁Те й", + "б с", + "▁пол ковод", + "▁полков од", + "▁раз рыв", + "▁разры в", + "▁об становка", + "▁обстанов ка", + "▁R om", + "▁Ro m", + "▁железнодоро жной", + "а ги", + "▁b it", + "▁bi t", + "▁ bit", + "о п", + "▁cons ists", + "▁consist s", + "▁ан тен", + "▁разно образных", + "▁разнообраз ных", + "▁соб ственному", + "▁собствен ному", + "▁собственно му", + "▁собственном у", + "▁И е", + "ди ей", + "дие й", + "сла вя", + "слав я", + "▁По вто", + "▁хо дит", + "▁ход ит", + "▁ ходит", + "▁испы тывает", + "▁испыты вает", + "ре нность", + "рен ность", + "ренно сть", + "▁conc ert", + "ней шая", + "▁по мога", + "▁помо га", + "▁помог а", + "▁исче зает", + "▁исчеза ет", + "ok en", + "oke n", + "o ken", + "▁про читать", + "▁прочи тать", + "▁прочита ть", + "шна я", + "шн ая", + "ш ная", + "ма нд", + "ман д", + "фи н", + "ф ин", + "▁H om", + "▁Ho m", + "▁back ground", + "▁А ре", + "▁Ар е", + "▁корот кое", + "▁коротко е", + "▁fl ood", + "▁flo od", + "▁ране ных", + "▁ранен ых", + "os h", + "o sh", + "▁лест нице", + "▁p air", + "▁интерфей с", + "▁похоро нен", + "▁зад ней", + "▁на долго", + "на ме", + "нам е", + "▁ра вных", + "▁рав ных", + "▁равны х", + "▁О би", + "▁Об и", + "▁су хой", + "▁сухо й", + "▁тру бо", + "▁труб о", + "▁Андре евич", + "▁челове ческий", + "▁в нести", + "▁вне сти", + "▁внес ти", + "▁ве рил", + "▁вер ил", + "▁вери л", + "▁фигу ри", + "▁фигур и", + "ma il", + "m ail", + "▁О ри", + "▁Ор и", + "▁за у", + "у д", + "▁наблю дение", + "▁О дной", + "▁Од ной", + "▁Одно й", + "▁pl ants", + "▁plan ts", + "▁plant s", + "og rap", + "▁экс пре", + "ли нг", + "лин г", + "л инг", + "▁прода вать", + "▁Председа тель", + "пи сал", + "писа л", + "пис ал", + "▁оказыва ть", + "▁ока зывать", + "▁участ никами", + "▁участника ми", + "▁участникам и", + "▁водо хранили", + "▁so lo", + "▁sol o", + "шно го", + "ш ного", + "▁ва шему", + "▁ваше му", + "▁вашем у", + "за ко", + "зак о", + "▁Же ла", + "▁от пуск", + "▁отпу ск", + "▁re in", + "▁вс ём", + "▁всё м", + "▁встре тился", + "▁встретил ся", + "▁мо тиви", + "▁мотив и", + "▁P en", + "▁Pe n", + "▁J ersey", + "▁Jer sey", + "▁c as", + "▁возвра щение", + "Ч и", + "▁су ждения", + "▁приме нении", + "▁р та", + "▁ рта", + "▁st ream", + "▁stre am", + "▁ stream", + "▁Sup reme", + "▁предполага лось", + "▁и ными", + "▁иным и", + "▁зада ний", + "фи к", + "▁кара нда", + "▁каран да", + "▁указа но", + "▁указ ано", + "▁относи лся", + "it age", + "ita ge", + "сти к", + "с тик", + "НА Я", + "▁коллек тив", + "▁рабо тники", + "▁работ ники", + "▁работник и", + "фа ми", + "▁концентра ции", + "▁жан ра", + "▁жанр а", + "▁Ха ба", + "▁ин форми", + "▁заслу женный", + "▁recogn ized", + "ap pe", + "app e", + "▁ле сах", + "▁леса х", + "▁D ani", + "▁Dan i", + "▁аген тов", + "▁агент ов", + "▁e c", + "▁ ec", + "о л", + "▁отсут ствием", + "▁отсутствие м", + "▁по дачи", + "▁пода чи", + "▁раз га", + "те нь", + "тен ь", + "т ень", + "▁любы м", + "▁исто рики", + "▁истори ки", + "▁историк и", + "f ile", + "за паду", + "запад у", + "▁connect ed", + "▁м уд", + "▁му д", + "▁ муд", + "▁луч шую", + "▁ку по", + "▁куп о", + "▁про хо", + "▁трудя щихся", + "ad ing", + "▁se ems", + "▁see ms", + "▁seem s", + "▁дер жал", + "▁держа л", + "▁brother s", + ". »", + "▁подоб ный", + "ви чи", + "вич и", + "▁Р аньше", + "▁Ра ньше", + "ча тые", + "▁М ино", + "▁Ми но", + "▁Мин о", + "▁settle ment", + "▁слу х", + "▁ слух", + "▁авиа ционной", + "▁тол па", + "бо ре", + "бор е", + "▁пои стине", + "▁челове ческие", + "▁изме нилось", + "▁измени лось", + "▁у мел", + "▁уме л", + "до бро", + "доб ро", + "город ской", + "▁му рав", + "ти с", + "т ис", + "▁Зве зды", + "ту али", + "туа ли", + "▁re ar", + "▁r ear", + "O C", + "ст ила", + "сти ла", + "стил а", + "с тила", + "▁наз вана", + "▁назва на", + "▁назван а", + "▁у честь", + "▁уче сть", + "▁постоя нное", + "▁постоянно е", + "▁с три", + "▁ст ри", + "▁стр и", + "▁ стри", + "j s", + "re al", + "▁отря дов", + "▁отряд ов", + "▁ren amed", + "▁d rum", + "▁dr um", + "▁совер шения", + "▁у ксу", + "д ву", + "▁Чу в", + "▁H ung", + "▁Hu ng", + "▁Hun g", + "▁литератур ной", + "▁спе рва", + "▁спер ва", + "▁пра вого", + "▁право го", + "▁B i", + "▁наде жду", + "▁Бе с", + "пу ляр", + "▁за гла", + "▁cor respond", + "▁написа ны", + "▁написан ы", + "▁t rees", + "▁tr ees", + "▁tre es", + "▁tree s", + "▁ре бят", + "▁ребя т", + "▁реб ят", + "▁на роде", + "▁наро де", + "▁народ е", + "▁художе ственных", + "▁ли чное", + "▁лично е", + "▁Ва ш", + "▁t ree", + "▁tr ee", + "▁tre e", + "▁ре альные", + "▁реаль ные", + "▁реа льные", + "ha nd", + "han d", + "h and", + "▁ке рами", + "▁съ езде", + "▁съез де", + "▁съезд е", + "▁участ ника", + "▁участник а", + "▁ро ссиян", + "▁россия н", + "▁убий стве", + "er ved", + "erv ed", + "erve d", + "h r", + "▁гру зов", + "▁грузо в", + "▁груз ов", + "Americ an", + "▁всер ьез", + "вы с", + "▁gl ass", + "▁ран ней", + "X X", + "ic ine", + "▁ро ду", + "▁род у", + "▁ши рина", + "▁шири на", + "▁ й", + "те б", + "ч ни", + "▁э ски", + "▁эс ки", + "▁S pecial", + "▁Spe cial", + "▁F air", + "▁Fa ir", + "▁эскадри льи", + "▁adv ance", + "▁уви дев", + "▁увиде в", + "▁ре пер", + "ва в", + "в ав", + "ui ng", + "u ing", + "▁H D", + "▁Carol ina", + "▁О дни", + "▁Од ни", + "ru it", + "r uit", + "▁сторо нам", + "▁сторон ам", + "▁сторона м", + "цки х", + "ц ких", + "▁S her", + "▁Sh er", + "▁She r", + "▁V e", + "мо з", + "м оз", + "▁Б рай", + "▁Бра й", + "▁Б род", + "▁Бро д", + "▁об лом", + "▁обл ом", + "Га з", + "Г аз", + "▁Pol ish", + "▁Po lish", + "▁вы ходил", + "▁выход ил", + "▁по ложено", + "▁поло жено", + "▁объя влено", + "▁объявлен о", + "▁за голов", + "ко не", + "кон е", + "к оне", + "▁по ставки", + "▁поста вки", + "▁постав ки", + "in er", + "ine r", + "i ner", + "▁дере вен", + "▁дерев ен", + "▁поста влен", + "▁постав лен", + "ня лось", + "▁вы брасы", + "▁выбра сы", + "oe s", + "o es", + "▁свет ом", + "▁све том", + "▁свето м", + "▁я дови", + "▁i ron", + "▁ir on", + "▁ iron", + "▁заклю чить", + "▁заключи ть", + "▁священ ник", + "▁Democr atic", + "▁dec re", + "▁под писы", + "▁подпи сы", + "▁St and", + "▁Stan d", + "wa n", + "w an", + "▁Вну три", + "▁уро ки", + "▁урок и", + "▁запре щено", + "▁del iver", + "те нта", + "тен та", + "тент а", + "т ента", + "евро пей", + "е вропей", + "▁золо тые", + "▁вер шине", + "▁верши не", + "▁em ot", + "ik i", + "i ki", + "▁коло ниаль", + "▁колони аль", + "▁s ites", + "▁sit es", + "▁site s", + "▁particip ated", + "▁participate d", + "по льского", + "поль ского", + "логи ческого", + "▁H ind", + "▁ба лета", + "▁балет а", + "▁ку ски", + "▁ру д", + "▁р уд", + "▁Bro ok", + "▁Br ook", + "шка х", + "ш ках", + "▁стан цию", + "▁G ames", + "▁Game s", + "▁ch eck", + "▁che ck", + "▁и коно", + "▁ико но", + "▁pre par", + "▁prep ar", + "▁приня ты", + "▁принят ы", + "▁ва риа", + "▁о да", + "▁од а", + "▁ ода", + "▁за воды", + "▁заво ды", + "▁завод ы", + "ти вом", + "тив ом", + "тиво м", + "кра тный", + "крат ный", + "▁центра льного", + "▁центр ального", + "▁пи ра", + "▁пир а", + "▁ пира", + "▁occup ied", + "▁ac ting", + "▁act ing", + "▁прода жу", + "▁продаж у", + "▁ele ment", + "▁el ement", + "▁Sever al", + "▁хозя и", + "▁w inter", + "▁win ter", + "▁кана лов", + "▁кан алов", + "▁канал ов", + "▁представи телем", + "▁обще ственности", + "▁обществе нности", + "▁общественно сти", + "▁перво бы", + "▁астро номи", + "▁астроно ми", + "▁сред ние", + "си с", + "с ис", + "▁тради ций", + "▁Вы пол", + "▁санк ции", + "▁сан кции", + "▁выпу щен", + "▁радо стью", + "▁радость ю", + "ad ed", + "ade d", + "▁op in", + "Фо н", + "Ф он", + "adel ph", + "p y", + "▁Дерев ня", + "▁хозяй стве", + "▁хозяйств е", + "▁form ation", + "▁format ion", + "▁ formation", + "ок оло", + "о коло", + "d iv", + "нт ом", + "нто м", + "н том", + "▁сы грать", + "▁сыгра ть", + "стра да", + "стр ада", + "▁academ ic", + "ну лось", + "нуло сь", + "x y", + "ро вого", + "рово го", + "▁серви са", + "▁сервис а", + "▁заня тие", + "▁быстро го", + "▁быст рого", + "▁viol ence", + "▁cont rast", + "▁круп ными", + "▁крупным и", + "▁вы ступили", + "▁выступил и", + "▁выступ или", + "▁d ial", + "▁di al", + "▁осуществ ляет", + "▁осуществля ет", + "то вского", + "тов ского", + "▁ка бе", + "▁Во зь", + "▁Воз ь", + "▁ана рхи", + "▁стрем ятся", + "▁стремя тся", + "ну та", + "нут а", + "▁ста циона", + "▁Д ы", + "ме нем", + "мен ем", + "мене м", + "▁ко рона", + "▁кор она", + "▁коро на", + "▁L ight", + "▁subsequ ent", + "▁а рт", + "▁ар т", + "▁ арт", + "▁неблаго прият", + "то чного", + "точно го", + "▁c alls", + "▁call s", + "▁cal ls", + "▁му жского", + "▁муж ского", + "▁ба га", + "▁су мели", + "▁суме ли", + "▁сумел и", + "▁Т рудно", + "▁Тру дно", + "▁кам еру", + "▁камер у", + "▁каме ру", + "▁Or der", + "▁опыт е", + "▁опы те", + "мо стью", + "мость ю", + "▁си бир", + "▁ сибир", + "▁С тран", + "▁Стра н", + "▁Ст ран", + "▁не высо", + "▁невы со", + "▁тра ек", + "▁жерт во", + "▁жертв о", + "▁ жертво", + "▁U SA", + "▁US A", + "▁Пре кра", + "▁pro ved", + "▁prov ed", + "▁получа ем", + "▁аэро дро", + "▁аэрод ро", + "L A", + "▁за ты", + "▁зат ы", + "▁Republic an", + "▁ш ам", + "▁ша м", + "ab led", + "able d", + "abl ed", + "▁Сред няя", + "оне ров", + "онер ов", + "о неров", + "▁запи сей", + "▁за сты", + "▁зас ты", + "▁C op", + "▁Co p", + "▁а ф", + "▁сы рья", + "▁пы ли", + "▁Мо нго", + "▁Мон го", + "▁профессо ром", + "▁профессор ом", + "▁привы кли", + "▁привык ли", + "▁современ ным", + "▁изну три", + "▁поднима ется", + "▁про дела", + "▁проде ла", + "▁adv anced", + "▁advance d", + "▁Государ ственная", + "▁Ду мы", + "▁П лан", + "▁Пла н", + "▁при емле", + "▁прием ле", + "▁u r", + "▁ ur", + "▁сигна лов", + "▁сигнал ов", + "ис т", + "и ст", + "▁но го", + "▁ног о", + "▁ ного", + "▁Э ри", + "▁Эр и", + "фор и", + "фо ри", + "ф ори", + "▁g od", + "▁go d", + "▁вла делец", + "▁владе лец", + "▁владел ец", + "▁w ing", + "▁win g", + "▁ wing", + "▁не чи", + "▁миллиар да", + "во рец", + "вор ец", + "b r", + "▁при креп", + "▁знако мый", + "▁знакомы й", + "▁на бора", + "▁набор а", + "▁набо ра", + "▁J r", + "▁мон еты", + "▁моне ты", + "▁монет ы", + "▁предпри ня", + "▁приня тие", + "▁insp ired", + "чи ну", + "чин у", + "▁игра ла", + "▁игр ала", + "▁играл а", + "▁представля ла", + "▁представлял а", + "ша н", + "ш ан", + "▁паль цами", + "▁пальца ми", + "▁экспери ментов", + "▁эксперимент ов", + "▁в ведение", + "▁состоя ний", + "▁радио ак", + "▁прем ьера", + "▁премьер а", + "▁бра ке", + "▁брак е", + "▁раз гром", + "▁разгро м", + "▁al t", + "▁ alt", + "ща лось", + "▁не ком", + "▁неко м", + "хо дите", + "ходи те", + "ходит е", + "▁москов ских", + "▁уча ствовала", + "▁участвовал а", + "▁Исполь зование", + "▁самолё тов", + "▁самолёт ов", + "ра ли", + "рал и", + "р али", + "▁осе ни", + "▁осен и", + "Ж и", + "vi n", + "v in", + "▁использова ны", + "▁использован ы", + "Sc ript", + "S cript", + "▁анти се", + "▁ли стов", + "▁лист ов", + "▁листо в", + "▁ листов", + "▁акаде мию", + "▁академи ю", + "▁финан совые", + "▁финансо вые", + "ра жение", + "▁Columb ia", + "▁У правления", + "▁Упра вления", + "im ents", + "iment s", + "i ments", + "▁про ви", + "▁ прови", + "▁Ма стер", + "▁предыду щего", + "▁республи к", + "▁капита лизма", + "▁капитали зма", + "▁капитал изма", + "пи ло", + "пил о", + "▁у вен", + "▁уве н", + "ak ers", + "aker s", + "ге ля", + "E G", + "▁h our", + "Моск ва", + "▁acc ident", + "▁Du ke", + "▁опреде ленным", + "▁определен ным", + "▁se lect", + "▁оке ане", + "▁океан е", + "▁океа не", + "▁D ata", + "▁ Data", + "▁ко ня", + "▁кон я", + "ло вского", + "лов ского", + "ov a", + "o va", + "▁B rad", + "▁Br ad", + "▁Bra d", + "▁слы шали", + "▁слыша ли", + "▁слышал и", + "pl ies", + "▁био графии", + "▁биографи и", + "▁конкре тно", + "▁he ight", + "▁симпто мы", + "▁одер жал", + "Т В", + "▁Со труд", + "▁r ot", + "▁ro t", + "▁предпо ложения", + "▁Д ву", + "▁C orn", + "▁Cor n", + "▁ВМ Ф", + "▁совет ник", + "▁сове тник", + "▁четы рьмя", + "▁позво нил", + "▁ша хма", + "▁шах ма", + "▁ло дка", + "▁уси ления", + "▁уда ром", + "▁удар ом", + "▁п ас", + "▁па с", + "▁ пас", + "▁внутрен нее", + "Г и", + "▁от бор", + "▁нару ши", + "▁О бу", + "▁Об у", + "▁n ob", + "▁no b", + "▁финанси рования", + "нд у", + "н ду", + "▁h air", + "▁ha ir", + "▁си нта", + "▁perform ances", + "▁performan ces", + "▁performance s", + "▁ра бов", + "▁рабо в", + "▁раб ов", + "▁Pol ice", + "▁J oe", + "▁Jo e", + "▁Международ ный", + "▁сосед них", + "▁re sc", + "▁r esc", + "▁res c", + "▁от рыв", + "▁отры в", + "▁япо нской", + "▁япон ской", + "▁напра вить", + "▁особ ую", + "▁осо бую", + "▁заклю чении", + "O T", + "▁руко писи", + "▁рукопи си", + "драв ству", + "▁оте чественной", + "▁отече ственной", + "сут ствие", + "▁ней тро", + "ин ы", + "и ны", + "▁ле ни", + "▁лен и", + "▁ лени", + "рд о", + "р до", + "ye r", + "y er", + "▁проис ходили", + "▁происхо дили", + "▁разно образные", + "▁разнообраз ные", + "▁в ступления", + "▁вступ ления", + "▁instr ument", + "▁ма ри", + "▁мар и", + "▁ мари", + "ia t", + "i at", + "▁s ac", + "▁г ряду", + "▁гря ду", + "▁массо вых", + "шед шие", + "▁про сматри", + "▁прос матри", + "▁g overn", + "▁хо дом", + "▁ход ом", + "▁ ходом", + "▁se vent", + "▁seven t", + "▁про анали", + "ре ль", + "▁вы ступить", + "▁выступ ить", + "▁ur ban", + "▁ urban", + "▁ра ды", + "▁рад ы", + "▁Б ран", + "▁Бра н", + "▁про ст", + "▁прос т", + "эл я", + "э ля", + "ща ми", + "▁met res", + "▁employ ed", + "▁япо нских", + "▁япон ских", + "▁We ek", + "lo ng", + "l ong", + "▁объем е", + "▁объе ме", + "T ube", + "▁заве дующий", + "▁заведу ющий", + "▁до вести", + "▁дове сти", + "▁ч ей", + "▁че й", + "▁ чей", + "▁ге но", + "▁ген о", + "▁ гено", + "▁Э м", + "▁сф еру", + "▁сфе ру", + "▁хра ни", + "▁ храни", + "▁ау дио", + "▁ауди о", + "Исто рия", + "Ис тория", + "ба к", + "б ак", + "▁недо уме", + "ну тые", + "нуты е", + "▁ch osen", + "▁cho sen", + "▁chose n", + "▁лю д", + "▁от нес", + "ме ди", + "мед и", + "м еди", + "до льф", + "доль ф", + "▁б рази", + "▁бра зи", + "▁m essage", + "▁mess age", + "I X", + "▁Шот ландии", + "▁хиру рги", + "▁хирур ги", + "то ном", + "тон ом", + "т оном", + "▁ир ланд", + "▁бабу шка", + "▁st ars", + "▁star s", + "тех нологи", + "▁обойти сь", + "▁физи ко", + "▁физик о", + "▁На ряду", + "стро ена", + "строе на", + "строен а", + "▁c rowd", + "▁те ста", + "▁тест а", + "▁ теста", + "p o", + "▁tw ice", + "▁ent itled", + "▁гото вить", + "▁готов ить", + "▁британ ской", + "us es", + "use s", + "u ses", + "▁в пада", + "▁впа да", + "▁sem i", + "▁бо кс", + "▁бок с", + "▁Наи боль", + "▁A k", + "▁основа нием", + "▁осно ванием", + "▁основание м", + "▁вра гом", + "▁враг ом", + "▁военно п", + "д ве", + "▁работ ника", + "▁работник а", + "▁А ссоциа", + "▁ф ут", + "▁фу т", + "▁F urther", + "▁ч ья", + "▁чь я", + "▁ чья", + "▁Го лла", + "▁Гол ла", + "▁Евро па", + "▁У ж", + "ва вших", + "вав ших", + "▁де бют", + "▁дебю т", + "▁аспек ты", + "▁аспект ы", + "▁not able", + "▁order s", + "▁ord ers", + "▁ orders", + "▁ш ара", + "▁ша ра", + "▁шар а", + "▁препода вал", + "▁преподава л", + "▁кали бра", + "▁слабо сть", + "но н", + "н он", + "▁find s", + "▁p ul", + "▁ру сскую", + "▁рус скую", + "▁Го лу", + "▁Гол у", + "▁Б ит", + "▁Би т", + "▁эм пири", + "▁закон чилась", + "▁закончи лась", + "▁И Т", + "▁ ИТ", + "ру дно", + "is f", + "▁Г рин", + "▁Гри н", + "▁умира ет", + "▁C reek", + "оло гов", + "олог ов", + "о логов", + "▁космо с", + "▁отпра вляется", + "▁отправля ется", + "ри тет", + "рит ет", + "рите т", + "▁вели кое", + "▁велико е", + "▁велик ое", + "та лся", + "тал ся", + "▁бе зы", + "▁без ы", + "▁тай но", + "▁ю га", + "▁юг а", + "adelph ia", + "▁За клю", + "▁Зак лю", + "oo m", + "o om", + "▁пря мым", + "▁от влека", + "▁отвле ка", + "▁te aching", + "▁teac hing", + "▁про си", + "▁прос и", + "▁пр оси", + "▁но утбу", + "▁защи тил", + "▁защит ил", + "▁атмосф ере", + "▁атмосфер е", + "▁международ ном", + "вно ве", + "в нове", + "▁we alth", + "▁Воз ро", + "▁Ленин града", + "▁Ленинград а", + "▁явля лось", + "▁поэ мы", + "▁re ference", + "▁refer ence", + "▁да нная", + "▁дан ная", + "▁п ен", + "▁пе н", + "▁ пен", + "▁одно род", + "▁As ian", + "▁Asia n", + "▁огром ного", + "▁ска зо", + "▁сказ о", + "▁pain ting", + "▁paint ing", + "▁необходи мой", + "▁необходимо й", + "▁необходим ой", + "▁gu ard", + "во ить", + "вои ть", + "▁Я к", + "Ц ен", + "▁д на", + "▁ дна", + "▁необходи м", + "▁необ ходим", + "il ling", + "ill ing", + "▁Все воло", + "▁владель ца", + "▁владе льца", + "ка го", + "▁се ман", + "▁сем ан", + "▁публи чно", + "▁Жу ков", + "la y", + "l ay", + "▁det ect", + "▁ку пе", + "▁куп е", + "▁по х", + "▁написа ния", + "▁тести рования", + "▁ци рку", + "▁ис тину", + "▁исти ну", + "▁прове рку", + "▁провер ку", + "де о", + "ва вший", + "вав ший", + "▁зави сят", + "▁подоб ным", + "▁m ist", + "▁mi st", + "▁mis t", + "▁сокра щения", + "win g", + "w ing", + "лко м", + "лк ом", + "л ком", + "де ры", + "дер ы", + "д еры", + "▁се льский", + "▁сель ский", + "▁любо му", + "▁любом у", + "кс о", + "к со", + "▁em phas", + "П С", + "г г", + "▁U r", + "▁муниципа льных", + "▁вы бе", + "▁fin ish", + "▁f ish", + "▁превра тить", + "D A", + "▁ста вят", + "▁став ят", + "▁обнару жено", + "▁обнаружен о", + "▁contem porary", + "▁Ана ста", + "ра щи", + "▁вклю чены", + "▁жела тельно", + "вля ем", + "▁охра не", + "▁охран е", + "▁кри тик", + "▁крити к", + "ды м", + "▁Полит бюро", + "▁ста рин", + "▁стар ин", + "▁стари н", + "▁scient ific", + "ip e", + "i pe", + "▁и ро", + "▁ир о", + "▁re asons", + "▁reason s", + "▁высказыва ния", + "▁То кио", + "хе н", + "х ен", + "▁подели ться", + "▁иг рой", + "▁игро й", + "▁игр ой", + "▁реали зу", + "▁Н ИИ", + "▁од еты", + "▁оде ты", + "▁поя вляться", + "▁появля ться", + "▁ле га", + "▁лег а", + "▁ лега", + "то чный", + "сшта б", + "▁Cl ark", + "▁блю до", + "ро ваний", + "рова ний", + "▁обра тной", + "▁обратно й", + "▁K ong", + "▁неза ме", + "▁з вали", + "▁зв али", + "▁те ст", + "▁ин декс", + "▁инде кс", + "чо н", + "ч он", + "за ет", + "▁вер сий", + "▁верси й", + "▁Фо рма", + "▁Фор ма", + "▁вс плы", + "дж у", + "д жу", + "▁От куда", + "▁под няться", + "▁подня ться", + "▁поднять ся", + "▁каби нета", + "▁кабинет а", + "▁кабине та", + "▁воск лик", + "▁г лю", + "▁гл ю", + "▁exp ressed", + "▁express ed", + "▁f aced", + "▁fac ed", + "▁face d", + "▁fa ced", + "▁Счита ется", + "нка х", + "н ках", + "▁по ва", + "▁пов а", + "▁ пова", + "▁Phil ipp", + "▁Philip p", + "▁возду шной", + "▁воздуш ной", + "▁ат ле", + "х нет", + "▁о тро", + "▁от ро", + "▁Вашинг тон", + "▁препода ватель", + "▁преподава тель", + "▁ад мирал", + "▁адмира л", + "▁Ox ford", + "клады вает", + "▁юсти ции", + "▁ф юзеля", + "▁вино град", + "се ть", + "сет ь", + "с еть", + "▁girl s", + "▁Па ки", + "▁сло и", + "▁За щи", + "▁Comm un", + "▁Та джи", + "▁Ми хаи", + "▁Миха и", + "▁Ю жного", + "▁Южно го", + "▁Че рного", + "▁Чер ного", + "▁Черно го", + "▁иллю стра", + "▁иде ей", + "▁идее й", + "if orm", + "i form", + "▁f uel", + "el ler", + "ell er", + "elle r", + "▁полез ных", + "▁r ise", + "▁ri se", + "▁cr ime", + "▁crim e", + "▁д ед", + "▁де д", + "▁по ведении", + "▁пове дении", + "▁На блю", + "▁отверсти е", + "▁Ста вро", + "▁for mat", + "▁form at", + "▁вра щения", + "▁жела нию", + "▁И нг", + "▁Ин г", + "▁set ting", + "▁sett ing", + "▁ве рит", + "▁вер ит", + "▁вери т", + "▁со пут", + "▁телеви дения", + "▁телевиде ния", + "П А", + "▁плани рует", + "о й", + "▁under stand", + "▁современ ников", + "▁педаго г", + "▁жела нии", + "▁рас тут", + "▁расту т", + "▁раст ут", + "▁fle et", + "▁ри ску", + "▁рис ку", + "▁риск у", + "▁def ense", + "▁уничто жение", + "if ically", + "ific ally", + "хе ма", + "х ема", + "▁возвра щаться", + "▁возвраща ться", + "un ch", + "unc h", + "▁S ong", + "▁So ng", + "▁Son g", + "▁H ospital", + "▁макси мум", + "▁доступ ны", + "▁e ld", + "▁el d", + "▁ eld", + "▁име ющий", + "▁имею щий", + "▁ст ака", + "▁ста ка", + "ля лись", + "ляли сь", + "▁в вода", + "▁вв ода", + "P C", + "br o", + "b ro", + "▁Ви кипе", + "▁прин ца", + "▁принц а", + "▁супру ги", + "▁Москов ском", + "ВА Т", + "В АТ", + "▁wind ow", + "▁с кот", + "▁ско т", + "▁ск от", + "▁кра сные", + "▁langu ages", + "▁language s", + "туа ция", + "▁на реза", + "▁наре за", + "▁Ленин градской", + "▁Ленинград ской", + "▁п рус", + "▁пр ус", + "▁пру с", + "▁f ought", + "▁о чки", + "▁препят ствия", + "▁str ength", + "▁streng th", + "ле тию", + "▁про езд", + "▁проез д", + "▁tr ust", + "▁med ian", + "▁media n", + "▁серьез ных", + "▁побе дить", + "▁победи ть", + "▁побед ить", + "мен ко", + "м енко", + "▁alle ged", + "▁alleg ed", + "▁пол часа", + "▁препара тов", + "▁Ри мской", + "▁Рим ской", + "▁желу до", + "erv ative", + "▁Чер чил", + "ид е", + "и де", + "▁потеря ть", + "▁потер ять", + "▁поте рять", + "ев ском", + "▁в нес", + "▁вне с", + "▁повто рить", + "▁выигра ла", + "▁выиграл а", + "▁соеди ня", + "▁не терпе", + "▁g ar", + "▁ gar", + "▁рус ское", + "▁русско е", + "▁L ike", + "▁Li ke", + "▁доказа тельство", + "▁доказательств о", + "ou red", + "our ed", + "o ured", + "▁но са", + "▁н оса", + "▁нос а", + "▁ носа", + "▁ве дется", + "▁ведет ся", + "▁вед ется", + "▁ро ссия", + "▁рос сия", + "ха ть", + "▁бого слу", + "▁участ ником", + "▁участник ом", + "я л", + "▁посёл ке", + "▁евре йского", + "▁еврей ского", + "спе ри", + "с пери", + "▁# ####", + "▁#### #", + "▁### ##", + "▁Со об", + "▁в ступи", + "▁вступ и", + "ain e", + "ai ne", + "a ine", + "▁За дача", + "▁полага ют", + "▁пола гают", + "▁соблю дать", + "▁тради ционных", + "▁D ar", + "▁с ё", + "▁ сё", + "▁r ing", + "▁ri ng", + "▁ ring", + "▁пере нос", + "▁перено с", + "▁учи телем", + "▁раун де", + "ke s", + "k es", + "▁c ry", + "▁cr y", + "Т у", + "▁огром ная", + "▁срав нить", + "▁сравни ть", + "чи вая", + "чив ая", + "чива я", + "М не", + "▁bu ried", + "▁bur ied", + "▁теку щего", + "▁четы р", + "▁M as", + "▁Ma s", + "ре нная", + "рен ная", + "▁exp ansion", + "▁Ч ан", + "▁Ча н", + "▁жи вым", + "▁Д жен", + "▁Дж ен", + "▁Дже н", + "▁s inger", + "▁sing er", + "▁у вы", + "▁то лку", + "▁тол ку", + "▁колеба ния", + "▁A sh", + "▁As h", + "▁писто лет", + "▁Уча ствовал", + "▁ро лей", + "▁предъ явля", + "▁предъя вля", + "▁K ar", + "▁дела ем", + "▁ф ара", + "▁фа ра", + "▁фар а", + "▁М ет", + "▁Ме т", + "▁украин ской", + "▁Comm and", + "▁ele ctions", + "▁elect ions", + "▁election s", + "ot o", + "o to", + "▁государ ственным", + "▁государстве нным", + "▁мину те", + "▁минут е", + "▁пере ходе", + "▁переход е", + "▁изобра жа", + "▁катего рий", + "▁категори й", + "ба нк", + "бан к", + "▁не сут", + "▁нес ут", + "▁несу т", + "▁обра щении", + "▁откры ты", + "▁открыт ы", + "▁побе дитель", + "▁победи тель", + "Ма к", + "М ак", + "▁раздра жи", + "▁Бо ро", + "▁Бор о", + "▁Гла вная", + "▁Глав ная", + "▁совет ским", + "▁teac her", + "▁Уи лья", + "▁Уил ья", + "▁бе гу", + "▁бег у", + "▁Ка кое", + "▁Как ое", + "▁из готавли", + "ле п", + "сти те", + "стит е", + "с тите", + "▁Из начально", + "▁Изнача льно", + "не сло", + "нес ло", + "▁тен ни", + "▁пре ссе", + "▁пресс е", + "благо да", + "бла года", + "▁захва тил", + "▁захват ил", + "L S", + "▁интере сные", + "▁интерес ные", + "▁пле мена", + "▁племен а", + "ин о", + "и но", + "▁соста вит", + "▁состав ит", + "▁поса дки", + "▁посад ки", + "▁O s", + "se y", + "s ey", + "▁pl ot", + "▁доро же", + "▁на бро", + "▁Ио ган", + "▁переда чу", + "▁передач у", + "▁p owers", + "▁power s", + "▁hold ing", + "▁I ran", + "▁Ir an", + "▁Ira n", + "▁M aria", + "▁Mar ia", + "▁Ma ria", + "▁Про тиво", + "▁Против о", + "▁желу дка", + "▁Ю пи", + "▁Мар кс", + "▁Марк с", + "▁inc ident", + "▁свобо дных", + "▁свобод ных", + "▁д изе", + "▁ди зе", + "▁П РИ", + "▁уна следова", + "▁голо д", + "▁гол од", + "▁чита телю", + "▁state ment", + "▁stat ement", + "прав да", + "п равда", + "▁мани фе", + "▁Al bert", + "▁Alb ert", + "▁opport unity", + "▁Ку бке", + "▁connect ion", + "▁conne ction", + "про да", + "пр ода", + "п рода", + "▁про ры", + "▁прор ы", + "pos ition", + "▁дре веси", + "▁древе си", + "▁воздей ствием", + "▁воздействие м", + "▁близ кие", + "▁близки е", + "▁Ма ха", + "▁Мах а", + "▁вели кие", + "▁официаль ного", + "▁официально го", + "▁обще ственное", + "▁обществе нное", + "▁общественно е", + "▁пользова тели", + "▁E s", + "▁Bro ther", + "▁Br other", + "▁догово ру", + "▁договор у", + "▁сна ружи", + "▁множе ством", + "▁множество м", + "▁Com mon", + "▁Comm on", + "▁тради ционной", + "▁традиционно й", + "▁отли чался", + "▁отлича лся", + "▁за тро", + "▁зат ро", + "▁жерт вой", + "▁жертв ой", + "▁жертво й", + "▁север ных", + "▁по лит", + "▁пол ит", + "▁поли т", + "▁inte g", + "▁ult imately", + "▁П лю", + "▁опу сто", + "T I", + "▁из лага", + "▁прогре сс", + "▁аппара тов", + "▁аппарат ов", + "▁вели чина", + "▁величи на", + "▁Чи сло", + "▁вы пустил", + "▁выпу стил", + "▁выпусти л", + "▁ш ве", + "▁до рабо", + "▁Victor ia", + "▁на би", + "▁постано вления", + "▁постанов ления", + "▁кры ло", + "▁Са йт", + "▁Сай т", + "id den", + "idd en", + "▁спортсме н", + "▁спортс мен", + "▁прави тельстве", + "▁правитель стве", + "ту м", + "т ум", + "▁п ленных", + "▁пле нных", + "▁плен ных", + "▁G er", + "▁Ge r", + "ша лся", + "шал ся", + "▁К рон", + "▁Кро н", + "▁крова ти", + "▁про сле", + "▁прос ле", + "▁att rib", + "▁Распо ложен", + "▁неболь шими", + "▁небольшим и", + "▁вру чную", + "▁за паду", + "▁запа ду", + "▁запад у", + "▁ западу", + "▁под ло", + "▁ку па", + "▁куп а", + "▁ купа", + "▁т ура", + "▁ту ра", + "▁тур а", + "▁ тура", + "▁уста ре", + "▁ус таре", + "ту с", + "т ус", + "▁услови ями", + "▁условия ми", + "▁условиям и", + "▁обык новенно", + "▁обыкновен но", + "▁Иеруса лим", + "▁Иерусали м", + "▁Phil adelphia", + "▁хоро шую", + "▁бе да", + "▁бед а", + "P U", + "▁D C", + "▁ DC", + "▁s yn", + "▁sy n", + "▁по ступить", + "▁посту пить", + "▁поступ ить", + "▁поступи ть", + "▁компе тен", + "▁сни мать", + "▁снима ть", + "▁G i", + "▁ext rem", + "▁c ab", + "w ise", + "▁Ки рги", + "▁Кир ги", + "▁па лец", + "▁пале ц", + "▁пал ец", + "▁на г", + "A A", + "▁кня жества", + "▁княже ства", + "n ce", + "пу р", + "п ур", + "▁та кова", + "▁таков а", + "▁тру довой", + "▁трудо вой", + "▁трудов ой", + "▁g overnor", + "▁govern or", + "ле нность", + "лен ность", + "ленно сть", + "▁investig ation", + "▁min ister", + "сти ческом", + "с тическом", + "▁Коман дир", + "▁духов ных", + "▁духо вных", + "▁напа дение", + "ic ian", + "▁h arm", + "▁har m", + "▁ha rm", + "▁се ктора", + "▁сек тора", + "▁сектор а", + "▁candid ate", + "▁пла ну", + "▁план у", + "▁Ка вказе", + "▁Кавказ е", + "▁в ак", + "▁ва к", + "▁ вак", + "▁посвя щён", + "▁кан целя", + "▁Фак тически", + "▁Бе зу", + "▁Без у", + "ud get", + "не нном", + "нен ном", + "ненно м", + "ва но", + "ван о", + "в ано", + "▁f eed", + "▁fe ed", + "▁за са", + "▁зас а", + "▁Анг лий", + "▁let ters", + "▁letter s", + "▁за гра", + "▁pr ice", + "▁pri ce", + "▁pric e", + "▁Е же", + "ре жи", + "D ata", + "▁судеб ного", + "▁Е фи", + "▁от чаян", + "▁отчая н", + "Д ля", + "▁выпол нил", + "▁экономи ка", + "on ia", + "▁d im", + "▁di m", + "▁Бе лый", + "ol y", + "o ly", + "▁музыка льных", + "▁дя дя", + "▁станови лось", + "▁стано вилось", + "asket ball", + "▁ар х", + "▁золо том", + "▁золото м", + "oc ks", + "ock s", + "o cks", + "▁рели гия", + "▁религи я", + "tt ps", + "ttp s", + "▁преж них", + "▁финан сового", + "▁финансо вого", + "St ring", + "▁изу чить", + "▁провин циаль", + "▁де лая", + "▁дела я", + "▁дел ая", + "▁очи стить", + "▁пере дача", + "▁переда ча", + "▁передач а", + "▁Да вид", + "la n", + "l an", + "▁You Tube", + "ос об", + "о соб", + "▁бы вшие", + "▁оли цет", + "▁выпол няется", + "▁выполня ется", + "▁выполняет ся", + "▁Гла вным", + "▁Глав ным", + "те ть", + "тет ь", + "т еть", + "▁да нному", + "▁дан ному", + "▁данном у", + "▁ше ю", + "▁избе гать", + "▁Ass embly", + "▁изда ний", + "▁sp ons", + "▁от чего", + "▁отче го", + "▁B att", + "▁Bat t", + "▁Ba tt", + "▁за лив", + "▁зал ив", + "▁зали в", + "▁искус ству", + "▁искусств у", + "ни ном", + "нин ом", + "▁ста раясь", + "▁стара ясь", + "▁старая сь", + "▁appro ved", + "▁успо каи", + "вы вать", + "▁бассе йн", + "▁бассей н", + "▁пропаган ды", + "▁fail ure", + "▁опреде ленную", + "▁определен ную", + "▁Пу га", + "▁помо гли", + "▁помог ли", + "▁про чно", + "▁проч но", + "▁про хождения", + "▁прохо ждения", + "▁действи ям", + "▁действия м", + "▁счет ом", + "▁сче том", + "▁Га га", + "▁un ion", + "▁во лок", + "▁вол ок", + "▁воло к", + "К то", + "дт а", + "д та", + "▁му че", + "▁Право слав", + "▁ве сны", + "▁вес ны", + "F F", + "▁про вока", + "▁прово ка", + "й ки", + "▁ro of", + "▁темно те", + "▁СН Г", + "▁изо би", + "па я", + "п ая", + "че нности", + "чен ности", + "ченно сти", + "▁пе ше", + "▁у ще", + "▁с ана", + "▁са на", + "▁сан а", + "▁ком пи", + "▁комп и", + "пи ться", + "пить ся", + "▁рассмотре ние", + "C H", + "▁атмо сфер", + "▁атмосф ер", + "▁пере рыва", + "▁уче ник", + "▁на ря", + "▁нар я", + "▁помо гут", + "▁помог ут", + "in f", + "▁К оз", + "▁Ко з", + "▁основ ными", + "▁основным и", + "▁гре х", + "▁со боре", + "▁собо ре", + "▁собор е", + "▁mix ed", + "▁при зра", + "▁приз ра", + "де льные", + "дель ные", + "ста вка", + "став ка", + "▁официаль ным", + "шны м", + "ш ным", + "▁s and", + "▁san d", + "▁допол нение", + "▁дополне ние", + "▁атом ов", + "▁ато мов", + "▁kil omet", + "то вом", + "тов ом", + "тово м", + "▁рассматри вает", + "зи рованной", + "зирова нной", + "зирован ной", + "▁про явление", + "▁проя вление", + "▁на са", + "▁нас а", + "▁s ure", + "▁sur e", + "▁su re", + "▁устано вок", + "▁установ ок", + "нк ер", + "нке р", + "н кер", + "ig ration", + "igr ation", + "▁прибли жа", + "▁кон курс", + "▁конкур с", + "гну т", + "г нут", + "▁про зву", + "▁проз ву", + "▁пер со", + "▁от бора", + "▁отбор а", + "▁H ay", + "▁Ha y", + "▁дли тельного", + "T o", + "▁обсу ждение", + "▁ис следу", + "▁dev ice", + "▁испра вить", + "▁исправи ть", + "us ta", + "ust a", + "▁спи рт", + "▁спир т", + "▁объяви ла", + "▁объя вила", + "▁объявил а", + "▁s pect", + "▁sp ect", + "▁spe ct", + "▁spec t", + "▁е дини", + "▁еди ни", + "▁един и", + "▁На ходится", + "▁избира телей", + "▁ло жь", + "то логии", + "тологи и", + "т ологии", + "▁узна в", + "▁уз нав", + "▁тру днее", + "▁труд нее", + "▁A pp", + "▁Ap p", + "ю ль", + "▁надея ться", + "▁проек том", + "▁проект ом", + "▁l y", + "▁ ly", + "▁common ly", + "ти ко", + "тик о", + "▁под ключа", + "▁подклю ча", + "▁созда нием", + "▁создание м", + "▁part ner", + "▁partn er", + "▁бата рей", + "▁С ли", + "▁диза йн", + "▁дизай н", + "▁культур ной", + "▁культурно й", + "▁Са ми", + "▁Сам и", + "▁церк вей", + "▁поле ми", + "▁обла стной", + "▁Да нный", + "▁Дан ный", + "▁прием ов", + "▁прие мов", + "▁В ино", + "▁Ви но", + "▁Вин о", + "▁угро за", + "▁E conom", + "▁образова нии", + "но вому", + "ново му", + "▁in ternal", + "▁intern al", + "▁пере ло", + "▁разрабо тал", + "▁разработа л", + "со во", + "сов о", + "▁бук в", + "ду шно", + "душ но", + "▁состоит ся", + "▁состо ится", + "▁С ве", + "▁Св е", + "ud den", + "udd en", + "in son", + "ins on", + "▁ка зах", + "▁каза х", + "▁опреде лять", + "▁определя ть", + "▁достоин ство", + "▁сне га", + "▁снег а", + "▁широ кого", + "▁широко го", + "ric s", + "r ics", + "ди ни", + "дин и", + "▁а нома", + "▁ано ма", + "▁nar row", + "▁C r", + "▁проис ходить", + "▁происходит ь", + "▁происхо дить", + "▁мона хи", + "▁ключе вых", + "▁основ ано", + "▁основа но", + "▁осно вано", + "▁основан о", + "▁con stitution", + "▁constit ution", + "▁челове ческое", + "▁К ал", + "▁Ка л", + "he im", + "th is", + "▁американ ским", + "▁америка нским", + "▁недоволь ство", + "▁безна де", + "C ol", + "▁окру жении", + "▁к ай", + "▁ка й", + "▁ кай", + "▁Патри ар", + "▁bas ic", + "▁посту пки", + "▁поступ ки", + "▁косми ческой", + "▁th row", + "▁thr ow", + "▁Ан дер", + "▁Анд ер", + "▁документа ции", + "▁документ ации", + "▁s ector", + "▁se ctor", + "▁приобре л", + "▁Про шло", + "▁победи телем", + "хо вой", + "хов ой", + "▁- >", + "▁ ->", + "▁пла ту", + "▁плат у", + "▁O nce", + "▁On ce", + "▁интер нете", + "▁интернет е", + "▁религиоз ные", + "лек санд", + "▁Д СС", + "по мина", + "пом ина", + "д це", + "го не", + "гон е", + "г оне", + "cl usion", + "clus ion", + "▁разрабо тчики", + "▁разработчи ки", + "нос цев", + "▁O ffic", + "▁Off ic", + "▁Of fic", + "▁ки бер", + "▁раз влека", + "▁развле ка", + "о е", + "ма ри", + "мар и", + "ва емся", + "ваем ся", + "▁королев ы", + "▁короле вы", + "▁аккура тно", + "▁магази нов", + "▁магазин ов", + "га нов", + "ган ов", + "пи й", + "▁Константи на", + "▁Константин а", + "▁ду мы", + "▁ думы", + "▁широ кие", + "ли ны", + "лин ы", + "л ины", + "▁на жа", + "▁нака пли", + "▁Ни коль", + "▁Нико ль", + "▁Де мокра", + "af t", + "a ft", + "▁пла то", + "▁плат о", + "жно стью", + "жность ю", + "ж ностью", + "▁медици не", + "▁По кров", + "▁J on", + "▁Jo n", + "Н ью", + "ad er", + "ade r", + "a der", + "▁Об щества", + "▁Обще ства", + "▁ка ре", + "▁кар е", + "▁во дного", + "▁вод ного", + "wa ter", + "w ater", + "▁П ЕР", + "стви ях", + "ствия х", + "▁по сыпа", + "▁посы па", + "▁обстанов ку", + "▁Коро че", + "▁ко лю", + "▁кол ю", + "▁С э", + "▁Х Х", + "▁b ow", + "▁bo w", + "▁ал ма", + "▁меда лью", + "▁медаль ю", + "▁Спе циали", + "▁ко пии", + "▁копи и", + "▁не уме", + "▁неу ме", + "▁у ко", + "▁Че хова", + "▁Чехов а", + "▁cle an", + "▁огром ных", + "▁ret ire", + "▁христиан ство", + "▁фа ктором", + "▁фак тором", + "▁фактор ом", + "▁стра сть", + "ту т", + "т ут", + "▁Ма рина", + "▁Мар ина", + "▁Мари на", + "▁сига ре", + "лё м", + "л ём", + "▁Го голь", + "▁Гого ль", + "▁слу чается", + "▁случа ется", + "▁случае тся", + "▁жесто ко", + "би ографи", + "био графи", + "▁уда чно", + "▁фанта зии", + "▁L im", + "▁Li m", + "▁Б ос", + "▁Бо с", + "▁По и", + "▁ext ensive", + "▁Петро град", + "▁second ary", + "▁assist ant", + "▁П оста", + "▁По ста", + "▁Пост а", + "▁Ива нова", + "▁Иванов а", + "▁и зна", + "▁из на", + "▁ident ity", + "▁музыка льной", + "та ски", + "▁fund s", + "▁спе кт", + "▁спек т", + "▁ спект", + "E M", + "▁reg ions", + "▁region s", + "ki ng", + "kin g", + "k ing", + "▁ма нда", + "▁со рта", + "▁сор та", + "▁охо ты", + "▁охот ы", + "▁на це", + "▁кри тиков", + "▁крити ков", + "▁критик ов", + "▁Фе доров", + "▁Федо ров", + "▁Федор ов", + "ar et", + "are t", + "a ret", + "ме нных", + "мен ных", + "▁нау ку", + "▁наук у", + "▁Th ough", + "те ран", + "тер ан", + "тера н", + "▁ла ско", + "▁распростра нены", + "ло жением", + "ложе нием", + "ложение м", + "▁соответ ствие", + "▁роди телям", + "ris is", + "et ic", + "свое му", + "▁выз вала", + "▁вызва ла", + "▁вызвал а", + "▁суще ствовал", + "▁существо вал", + "▁существова л", + "it ors", + "itor s", + "▁Squ ad", + "▁Tur k", + "жу ю", + "ж ую", + "▁учеб ного", + "▁учебно го", + "▁про заи", + "ре дка", + "ред ка", + "ut ers", + "uter s", + "u ters", + "ans as", + "▁вы лета", + "▁выле та", + "▁B and", + "▁Ba nd", + "▁инже неров", + "▁инженер ов", + "ря ет", + "▁моло дая", + "▁молод ая", + "▁пе чень", + "▁пече нь", + "▁С тру", + "▁Ст ру", + "g ment", + "▁ве дёт", + "▁вед ёт", + "▁a id", + "▁ aid", + "▁подчер кнуть", + "▁подчеркну ть", + "Г у", + "▁ува жения", + "▁кино фе", + "▁каст рю", + "▁о гля", + "▁ог ля", + "▁от того", + "▁Астра ха", + "▁K ir", + "▁s ets", + "▁se ts", + "▁set s", + "▁При вет", + "▁M S", + "▁ MS", + "лле й", + "лл ей", + "л лей", + "▁вмеша тельства", + "▁луч шем", + "▁лучше м", + "▁res ident", + "▁ве рю", + "▁вер ю", + "сси он", + "с сион", + "▁малень кого", + "▁ста рая", + "▁стар ая", + "▁стара я", + "▁нам ерен", + "▁наме рен", + "▁намере н", + "бо ры", + "бор ы", + "▁success fully", + "▁successful ly", + "яз а", + "я за", + "▁Ма кс", + "▁Мак с", + "V iew", + "▁оболо чки", + "▁за мо", + "▁зам о", + "▁ря дах", + "▁ряда х", + "▁determ ined", + "▁determine d", + "▁о сь", + "▁ос ь", + "зе та", + "зет а", + "▁Со ф", + "▁port ion", + "▁St ation", + "▁защи тник", + "▁защит ник", + "▁уда лить", + "груп пы", + "▁сооб щество", + "▁сообще ство", + "▁n or", + "▁no r", + "▁P oint", + "▁Po int", + "▁soft ware", + "e z", + "Ж е", + "▁у ны", + "eder ation", + "▁зем ного", + "▁зе много", + "▁сотруд ничестве", + "▁сотрудни честве", + "▁ва ку", + "▁вак у", + "▁ ваку", + "сс он", + "ссо н", + "с сон", + "▁мини му", + "▁к лят", + "▁кля т", + "▁B at", + "▁Ba t", + "▁i ce", + "▁ ice", + "▁па нели", + "to p", + "t op", + "▁в зят", + "▁вз ят", + "▁взя т", + "▁за нят", + "▁заня т", + "▁co py", + "▁cop y", + "▁v ent", + "▁ve nt", + "▁ven t", + "▁ vent", + "▁выгля дят", + "▁d ensity", + "▁d aily", + "▁му ску", + "три ца", + "т рица", + "по да", + "под а", + "п ода", + "▁мон голь", + "▁Жен щина", + "▁по года", + "▁пого да", + "▁при зы", + "▁приз ы", + "▁эваку ации", + "▁Во йна", + "▁Вой на", + "▁побе де", + "▁побед е", + "▁Лон дона", + "▁Лондон а", + "▁постоя нным", + "▁посвя щена", + "▁посвящен а", + "▁bel ief", + "▁belie f", + "▁Wil son", + "▁буду щий", + "▁Белару сь", + "▁смо жем", + "▁заклю ченных", + "▁заключен ных", + "▁ро манов", + "▁роман ов", + "▁рома нов", + "▁Т он", + "▁То н", + "▁Про ко", + "▁язы ку", + "▁язык у", + "▁w itness", + "▁неболь шом", + "▁небольшо м", + "▁ви дами", + "▁вида ми", + "▁видам и", + "▁серд цем", + "▁сердце м", + "pt on", + "p ton", + "▁relig ion", + "▁га зов", + "▁газ ов", + "▁газо в", + "▁при лега", + "▁приле га", + "▁объя вления", + "▁от чу", + "шне го", + "шн его", + "ш него", + "▁понима ете", + "▁понимает е", + "▁журна лов", + "▁журнал ов", + "▁ex act", + "▁спор тивной", + "▁Генри ха", + "▁Генрих а", + "▁sc oring", + "▁по ложением", + "▁поло жением", + "▁положение м", + "me s", + "m es", + "си о", + "▁ле тчиков", + "▁лет чиков", + "▁летчик ов", + "▁мемо риаль", + "▁П еру", + "▁Пер у", + "▁Пе ру", + "▁сто лу", + "▁стол у", + "▁переда ны", + "▁передан ы", + "ri p", + "r ip", + "▁заста вил", + "▁пу шек", + "▁enc oura", + "▁категори чески", + "▁подо шли", + "ско чил", + "▁об ществ", + "▁обще ств", + "ot ic", + "oti c", + "▁зи му", + "▁зим у", + "ре ю", + "▁физи ке", + "▁физик е", + "▁Г од", + "▁Го д", + "▁с дел", + "▁сде л", + "ствен ны", + "стве нны", + "▁Georg ia", + "▁Тра ди", + "▁предска за", + "▁st orm", + "▁со стя", + "▁сос тя", + "▁то чкой", + "▁точ кой", + "▁Ма рка", + "▁Мар ка", + "▁Марк а", + "▁fac ility", + "▁exper ien", + "▁Со юзе", + "▁Союз е", + "▁Сою зе", + "▁Бы ть", + "▁кар ман", + "▁дерев ень", + "▁деревен ь", + "▁ныне шнего", + "▁нынеш него", + ". ]", + "▁подтвер ждение", + "▁немно гих", + "нь о", + "▁вме ши", + "▁вообра жение", + "▁H ong", + "▁Hon g", + "▁Ho ng", + "▁на резать", + "▁наре зать", + "▁нареза ть", + "▁Мар кса", + "▁Марк са", + "▁Маркс а", + "ья х", + "ь ях", + "▁achie ved", + "▁achieve d", + "▁To day", + "▁Tod ay", + "И Е", + "▁Высо та", + "▁расска зали", + "▁рассказа ли", + "▁рассказал и", + "▁рассказ али", + "▁переда вать", + "чи тать", + "чита ть", + "р ную", + "▁на ем", + "▁насчиты валось", + "▁то лко", + "▁тол ко", + "▁цен тры", + "▁центр ы", + "▁Не мец", + "▁Нем ец", + "▁Неме ц", + "ви ю", + "ри в", + "р ив", + "▁ки пят", + "▁кипя т", + "▁an imal", + "▁anim al", + "▁прав ди", + "▁жи вот", + "▁живо т", + "▁жив от", + "▁m ap", + "▁ map", + "▁обно вления", + "▁обнов ления", + "▁cap tain", + "▁capt ain", + "▁ме стным", + "▁мест ным", + "▁обе да", + "▁обед а", + "▁Созда ние", + "▁У ССР", + "▁значи тельный", + "▁женщи нам", + "▁женщин ам", + "▁женщина м", + "▁С вое", + "▁Сво е", + "▁Св ое", + "▁оде жде", + "▁понадоби тся", + "Ра нее", + "▁главнокоман ду", + "▁стреми лись", + "▁го ру", + "▁г ору", + "▁гор у", + "oot h", + "oo th", + "o oth", + "О Г", + "бо л", + "б ол", + "▁Ива новича", + "▁Иванович а", + "Че лове", + "▁пла нах", + "▁плана х", + "▁вы явля", + "▁выя вля", + "▁ло ма", + "▁лом а", + "▁ лома", + "▁бло ков", + "▁блок ов", + "ла в", + "л ав", + "▁у хо", + "▁погре бе", + "▁конкурен ции", + "?\" .", + "? \".", + "▁основа тель", + "▁осно ватель", + "▁друзья м", + "▁отде льным", + "▁отдель ным", + "▁британ ского", + "дца ть", + "▁short ly", + "k l", + "▁лу чей", + "▁луч ей", + "▁D ue", + "▁Du e", + "ще ва", + "щев а", + "щ ева", + "▁уча ствуют", + "▁орга ном", + "▁орган ом", + "▁бума ге", + "▁бумаг е", + "▁навы ков", + "▁предлага л", + "▁ob tained", + "▁obtain ed", + "▁умень шить", + "▁уменьши ть", + "▁на жи", + "en z", + "▁сум ме", + "▁за мену", + "▁заме ну", + "е вым", + "ograph ic", + "▁боя лся", + "▁у ло", + "▁ул о", + "▁дол гов", + "▁долго в", + "▁долг ов", + "▁совокуп ности", + "▁s ym", + "▁sy m", + "▁настоя щая", + "va r", + "v ar", + "▁бы та", + "▁экономи ческий", + "▁выпол няют", + "▁выполня ют", + "▁ме га", + "ли са", + "лис а", + "▁перево зки", + "▁перевоз ки", + "ци оз", + "цио з", + "▁С уда", + "▁Су да", + "▁Суд а", + "▁за лить", + "▁зал ить", + "▁зали ть", + "▁e lev", + "▁ele v", + "▁el ev", + "▁заболе вание", + "▁Шек спира", + "▁Шекспи ра", + "▁Григорь евич", + "▁тка нь", + "▁ра диа", + "▁ради а", + "ка т", + "к ат", + "te s", + "t es", + "▁B h", + "▁the me", + "▁them e", + "▁предыду щей", + "▁зая вляет", + "▁заявля ет", + "ка й", + "к ай", + "▁выи грать", + "▁выигра ть", + "▁ch ance", + "▁краси во", + "▁неме цким", + "▁немец ким", + "го ро", + "гор о", + "ме нее", + "мене е", + "▁r id", + "▁ri d", + "▁ rid", + "▁органи змов", + "▁организм ов", + "▁ро де", + "▁род е", + "▁ роде", + "uc cess", + "▁информа ционных", + "▁смотря т", + "▁st ood", + "▁ос вободи", + "▁освобо ди", + "▁о смотре", + "▁осмо тре", + "▁distrib ution", + "▁ча стные", + "▁част ные", + "▁час тные", + "▁В чера", + "про стра", + "прос тра", + "▁зако нами", + "▁закона ми", + "▁законам и", + "▁ли чи", + "▁ личи", + "▁услови ем", + "▁условие м", + "▁солда та", + "▁солдат а", + "▁второ степен", + "▁про ведена", + "▁прове дена", + "▁проведе на", + "▁проведен а", + "▁демон страции", + "▁демонстра ции", + "то чки", + "▁су ше", + "▁с тя", + "▁ст я", + "▁ стя", + "▁cor ner", + "▁corn er", + "▁пла вания", + "▁ре ализация", + "▁реали зация", + "▁реа лизация", + "▁m ales", + "▁male s", + "▁R od", + "▁Ro d", + "жка ми", + "ж ками", + "▁на лога", + "▁налог а", + "▁i gn", + "▁ ign", + "▁яи ц", + "▁Дру го", + "▁field s", + "▁ch oice", + "▁cho ice", + "▁хо дят", + "▁ход ят", + "▁ ходят", + "▁уби вает", + "▁темпера тур", + "▁з в", + "ги б", + "▁матери альных", + "▁материа льных", + "▁материаль ных", + "▁вла дение", + "▁владе ние", + "▁хло п", + "▁с рабо", + "▁сра бо", + "▁о ранже", + "▁veh icles", + "▁vehicle s", + "▁производи телей", + "▁надпись ю", + "▁г лад", + "▁гла д", + "▁гл ад", + "▁п реди", + "▁пре ди", + "▁пред и", + "▁пр еди", + "▁А нге", + "▁Ан ге", + "▁Анг е", + "те ла", + "тел а", + "▁опреде ляются", + "▁определя ются", + "▁определяют ся", + "▁ло жи", + "▁ ложи", + "▁рас писа", + "▁B ridge", + "▁понима я", + "▁пони мая", + "▁С В", + "▁по льского", + "▁поль ского", + "▁ польского", + "ша лись", + "шали сь", + "▁просве щения", + "зо ром", + "зор ом", + "ма ль", + "мал ь", + "м аль", + "os is", + "▁тво его", + "▁твое го", + "▁S T", + "▁ ST", + "▁оста вшиеся", + "▁pat ients", + "▁расска жу", + "▁ло к", + "▁л ок", + "▁ лок", + "▁рус скому", + "▁русском у", + "▁русско му", + "ну тый", + "нуты й", + "но ми", + "ном и", + "▁К Н", + "▁ле пе", + "▁W ars", + "▁War s", + "▁В МС", + "▁ВМ С", + "▁о пло", + "▁оп ло", + "жде нных", + "жден ных", + "дь е", + "д ье", + "▁Япо ния", + "▁чи тает", + "▁чита ет", + "▁st ating", + "▁stat ing", + "▁ненави сти", + "▁ло ву", + "▁лов у", + "▁ лову", + "▁за бу", + "▁заб у", + "▁бухгал тер", + "▁ново стей", + "▁ту ристи", + "▁тур исти", + "▁тури сти", + "▁epis odes", + "▁episode s", + "▁t or", + "▁to r", + "▁кух не", + "▁сни зить", + "▁снизи ть", + "▁цар ской", + "▁ца рской", + "▁prem i", + "▁несо вершенно", + "▁несовершен но", + "▁Sh ort", + "▁священ ника", + "▁священник а", + "▁де лится", + "▁дел ится", + "▁дели тся", + "▁тра пе", + "▁в перёд", + "▁атом ной", + "▁наблю дал", + "▁наблюда л", + "спо мина", + "с помина", + "мей стер", + "▁проигра л", + "cl os", + "▁у ми", + "▁ум и", + "▁пи ани", + "ци зма", + "цизм а", + "ц изма", + "▁лихо ра", + "▁параш ю", + "▁жидко сть", + "▁жид кость", + "▁port ray", + "▁Четы ре", + "▁B u", + "▁об жа", + "▁не я", + "▁ нея", + "▁polit ics", + "▁des cend", + "▁desc end", + "▁gradu ated", + "▁вра ща", + "▁под бира", + "▁за дол", + "▁зад ол", + "▁успо кои", + "▁успоко и", + "▁фабри ки", + "▁встре тились", + "▁встретили сь", + "if ul", + "i ful", + "▁C oll", + "▁Col l", + "▁Co ll", + "ар а", + "а ра", + "ва емая", + "ваем ая", + "▁Atl antic", + "▁пра вление", + "▁прав ление", + "▁ правление", + "ху до", + "худ о", + "▁государ я", + "▁госу даря", + "▁госуда ря", + "ству ющим", + "▁золо тых", + "ри сты", + "рис ты", + "рист ы", + "▁пило та", + "▁пилот а", + "▁p ros", + "▁pro s", + "▁pr os", + "▁Bet ween", + "▁коро тко", + "▁корот ко", + "▁у ступ", + "ле нности", + "лен ности", + "ленно сти", + "▁observ ed", + "▁королев ства", + "▁включа ть", + "▁вклю чать", + "▁тенден ция", + "жи вает", + "▁с брасы", + "▁обще ству", + "▁обществ у", + "ба нка", + "бан ка", + "банк а", + "▁об серва", + "▁худо жники", + "▁худож ники", + "▁художник и", + "▁встре чались", + "▁встреча лись", + "ge st", + "ges t", + "g est", + "▁гу се", + "▁дисципли ны", + "ру емых", + "руем ых", + "▁контак тов", + "▁контакт ов", + "ке й", + "к ей", + "▁Ита лию", + "▁Итали ю", + "▁сохра нилось", + "▁сохрани лось", + "▁диску ссии", + "вля лся", + "влял ся", + "в лялся", + "▁приня та", + "▁принят а", + "▁выра жается", + "▁выража ется", + "▁выражает ся", + "ver se", + "vers e", + "▁На сколько", + "▁Со лда", + "▁Сол да", + "er al", + "era l", + "e ral", + "▁секре т", + "▁сек рет", + "f e", + "▁com par", + "▁comp ar", + "▁стра ницу", + "▁страниц у", + "▁not es", + "▁no tes", + "▁note s", + "ме тра", + "мет ра", + "метр а", + "м етра", + "в ну", + "▁указа ние", + "▁Де ся", + "▁библиоте ке", + "▁библиотек е", + "▁го ра", + "▁гор а", + "▁ гора", + "▁sc ale", + "со ном", + "сон ом", + "с оном", + "▁размыш ления", + "то ро", + "тор о", + "▁Э того", + "▁Это го", + "▁c m", + "▁П К", + "▁ ПК", + "рно м", + "р ном", + "▁s ust", + "▁sus t", + "▁su st", + "▁D ec", + "▁De c", + "▁напра влена", + "▁направлен а", + "▁head quarters", + "▁максима льной", + "▁максимально й", + "▁Памя тник", + "▁every thing", + "▁заключа лась", + "▁pl anning", + "▁plan ning", + "▁plann ing", + "as ty", + "ast y", + "▁K u", + "▁Bus iness", + "▁разгово ре", + "▁разговор е", + "▁Р ед", + "▁Ре д", + "▁o nes", + "▁on es", + "▁one s", + "▁ ones", + "ol t", + "▁мо рем", + "▁мор ем", + "▁море м", + "▁Te le", + "фе т", + "ф ет", + "▁полага ет", + "▁пола гает", + "▁пере ми", + "▁де жу", + "ва лер", + "вал ер", + "вале р", + "▁Бо рисо", + "▁Бори со", + "▁Борис о", + "▁Да нные", + "▁Дан ные", + "▁присут ствуют", + "▁L o", + "же л", + "▁прямо уго", + "▁D am", + "▁га у", + "▁ гау", + "▁Й е", + "▁та бле", + "ро г", + "шт е", + "ш те", + "▁C ult", + "az on", + "▁родствен ники", + "▁regard ing", + "▁евре йской", + "▁еврей ской", + "друго му", + "▁десятиле тий", + "▁а рома", + "▁аро ма", + "ка ра", + "кар а", + "к ара", + "ме рика", + "мери ка", + "▁Sun day", + "▁Sund ay", + "▁ми г", + "▁Рус ские", + "▁широ ком", + "▁широко м", + "ся х", + "с ях", + "до вым", + "Д С", + "▁рубе же", + "▁рубеж е", + "▁консо ли", + "▁N ic", + "▁sc ulpt", + "▁Бер лина", + "▁Берлин а", + "I G", + "▁сопрово ждении", + "ве дем", + "веде м", + "вед ем", + "▁Пом ните", + "▁Ка мен", + "▁Кам ен", + "on to", + "ont o", + "▁При чина", + "▁даль нейшей", + "▁дальней шей", + "▁Ту рк", + "▁Тур к", + "▁ве ках", + "▁века х", + "ro g", + "r og", + "H P", + "ст рия", + "стри я", + "бо роны", + "бор оны", + "боро ны", + "кси кан", + "▁интере сное", + "▁интерес ное", + "▁интересно е", + "▁се ссии", + "▁п нев", + "▁футбо ла", + "▁футбол а", + "▁за пустить", + "▁запу стить", + "▁Бра ун", + "▁наме ст", + "▁тра тить", + "▁пра вую", + "▁прав ую", + "▁праву ю", + "▁Вто рое", + "▁до лины", + "▁дол ины", + "▁доли ны", + "▁сов падает", + "▁совпада ет", + "▁совпа дает", + "се ний", + "▁пере нести", + "▁перенес ти", + "▁stop ped", + "▁Рас смотри", + "▁Расс мотри", + "▁U k", + "▁ме стность", + "▁мест ность", + "b in", + "тя не", + "тян е", + "ло вину", + "лови ну", + "▁abandon ed", + "▁w orth", + "▁wor th", + "▁ worth", + "▁повы шенной", + "▁повышен ной", + "▁шан сы", + "▁шанс ы", + "▁do ctor", + "▁doct or", + "▁та ри", + "▁ тари", + "▁иг ровой", + "▁игро вой", + "▁ка пель", + "▁пере дан", + "▁перед ан", + "▁переда н", + "▁ту лови", + "▁глубо кий", + "▁норма льной", + "▁нормально й", + "▁норм альной", + "▁выступа ла", + "▁выступал а", + "▁выступ ала", + "▁с ры", + "▁ср ы", + "▁рей х", + "▁Дру гими", + "▁k illing", + "▁kill ing", + "▁kil ling", + "▁Hol ly", + "▁сере бра", + "▁У ста", + "▁Ус та", + "да т", + "д ат", + "сф аль", + "ся ми", + "с ями", + "t d", + "▁import ance", + "▁ано ним", + "▁от те", + "▁s un", + "▁su n", + "▁с писки", + "▁спи ски", + "▁вы деления", + "▁выде ления", + "▁выделе ния", + "▁молит вы", + "бо н", + "б он", + "зи руется", + "зиру ется", + "зирует ся", + "▁B a", + "▁ма гнит", + "▁магни т", + "▁маг нит", + "▁неза долго", + "▁фами лию", + "▁H al", + "▁Ha l", + "▁Ind ust", + "▁боеприпа сов", + "▁со ка", + "▁сок а", + "▁heav ily", + "▁Ло рен", + "▁Лор ен", + "▁пере двига", + "▁перед вига", + "▁передви га", + "▁ла зер", + "ol n", + "▁ме няет", + "▁меня ет", + "▁ж ал", + "▁жа л", + "▁ жал", + "▁состоя нием", + "▁состояние м", + "▁разре шить", + "▁ill ust", + "чи вания", + "чива ния", + "▁ста вки", + "▁став ки", + "▁ ставки", + "▁ре ви", + "▁рев и", + "p ir", + "▁иллю стри", + "▁у ку", + "▁о бле", + "▁об ле", + "▁обл е", + "▁м ем", + "▁ме м", + "▁ мем", + "▁кана ле", + "▁кан але", + "▁канал е", + "▁вра ги", + "▁враг и", + "▁вр аги", + "▁упа ков", + "▁пря мых", + "▁V ill", + "▁Vi ll", + "▁препара ты", + "re ate", + "reat e", + "по н", + "п он", + "▁занима ли", + "▁занимал и", + "▁ие ро", + "▁изобре те", + "▁При бал", + "▁rece iving", + "▁забы ли", + "▁забыл и", + "▁спа се", + "▁спас е", + "пи лся", + "пил ся", + "п ился", + "▁занима лась", + "▁занимала сь", + "▁мор ские", + "▁кня ги", + "ia ry", + "i ary", + "▁вз вода", + "▁бан кро", + "▁банк ро", + "▁К ы", + "▁бо рта", + "▁бор та", + "▁борт а", + "▁о бл", + "▁об л", + "▁нау чным", + "▁R em", + "▁Re m", + "V al", + "▁Ка ри", + "▁Кар и", + "▁L et", + "▁Le t", + "▁ко рей", + "▁кор ей", + "▁коре й", + "▁ корей", + "▁м еру", + "▁ме ру", + "▁мер у", + "re nce", + "ren ce", + "r ence", + "▁c ru", + "▁cr u", + "ди ны", + "дин ы", + "д ины", + "▁пенси ю", + "▁пен сию", + "ur ance", + "ura nce", + "u rance", + "▁На бо", + "▁Подоб ные", + "▁лейтенант а", + "▁лейтенан та", + "ul ed", + "ule d", + "u led", + "▁ты лу", + "▁тыл у", + "▁охра ня", + "▁охран я", + "ха и", + "▁Не много", + "▁Нем ного", + "▁прин ц", + "▁заня ты", + "▁занят ы", + "▁обви нение", + "▁ужа сно", + "▁ужас но", + "ва нные", + "ван ные", + "▁ко вар", + "▁ков ар", + "▁хро мо", + "▁мило сер", + "▁re ading", + "▁read ing", + "▁сло ем", + "ме да", + "мед а", + "со вого", + "сово го", + "▁Or gan", + "▁pie ces", + "▁piece s", + "▁re mark", + "▁rem ark", + "▁жи вые", + "▁учре ждение", + "▁С ток", + "▁Сто к", + "▁Ст ок", + "▁переста ли", + "▁перестал и", + "▁перес тали", + "▁Г ол", + "▁Го л", + "▁кла ссы", + "▁класс ы", + "▁го сте", + "▁гос те", + "▁не дово", + "▁недо во", + "▁де ления", + "▁деле ния", + "▁ деления", + "▁с ада", + "▁са да", + "▁сад а", + "но логия", + "нологи я", + "н ология", + "▁коро бки", + "▁уча щихся", + "▁Республи ке", + "▁полу фина", + "▁сведения м", + "▁H an", + "▁Ha n", + "▁Ка питан", + "▁Капи тан", + "▁Все гда", + "▁Наде юсь", + "▁Красно дар", + "ob e", + "o be", + "фици ровать", + "ти ровали", + "тирова ли", + "тировал и", + "ue ens", + "ueen s", + "▁a ware", + "▁aw are", + "▁сотруд никами", + "▁сотрудни ками", + "▁сотрудника ми", + "▁паль цем", + "▁cal c", + "ар мей", + "hi st", + "h ist", + "▁s ave", + "▁клу бов", + "▁клуб ов", + "И Б", + "▁п оп", + "▁по п", + "па мя", + "пам я", + "ча сто", + "час то", + "част о", + "▁исто риков", + "▁истори ков", + "▁историк ов", + "▁историко в", + "дка х", + "д ках", + "▁доб рый", + "Ге р", + "Г ер", + "▁вож дя", + "▁вы ходили", + "▁выход или", + "▁выходил и", + "▁те лу", + "▁тел у", + "▁demon str", + "▁demonst r", + "та но", + "тан о", + "т ано", + "▁прото кол", + "▁подготов ить", + "▁подгото вить", + "▁подготови ть", + "▁A C", + "▁ AC", + "ос а", + "о са", + "ap h", + "a ph", + "▁гра ницах", + "▁грани цах", + "▁граница х", + "▁тради ция", + "ис пыта", + "▁конкур се", + "▁конкурс е", + "▁ко нди", + "▁кон ди", + "▁Пе тер", + "▁Пет ер", + "▁моно по", + "▁охо тни", + "▁охот ни", + "▁Le on", + "▁француз ские", + "▁Л ар", + "▁Ла р", + "▁пов реди", + "▁повре ди", + "▁совет ско", + "▁r oles", + "▁ro les", + "▁role s", + "▁коро че", + "▁попа дают", + "▁попада ют", + "▁Во круг", + "▁подтвер ждает", + "▁подтвержда ет", + "▁кно пки", + "во ла", + "вол а", + "▁Н ака", + "▁На ка", + "▁С мотри", + "▁Смо три", + "▁экспер ты", + "лли ан", + "▁не яс", + "▁нея с", + "T ype", + "▁ак тива", + "▁актив а", + "▁те чению", + "▁cent uries", + "▁бе женцев", + "бо т", + "б от", + "am ing", + "amin g", + "ami ng", + "a ming", + "фран цуз", + "▁меда лями", + "▁интеллек та", + "▁интеллект а", + "▁Са мые", + "▁у кро", + "▁цвет у", + "▁цве ту", + "▁hy p", + "▁ф лага", + "▁фла га", + "▁флаг а", + "▁Сер бии", + "▁люби м", + "▁искус ством", + "▁искусство м", + "▁искусств ом", + "коно мии", + "кономи и", + "де ров", + "дер ов", + "▁К рай", + "▁Кра й", + "ль ники", + "льник и", + "▁Ки ри", + "▁Кир и", + "▁ш там", + "▁шта м", + "▁шт ам", + "ка са", + "кас а", + "▁необходи мостью", + "▁необходимо стью", + "▁необходимость ю", + "▁мо рю", + "▁мор ю", + "▁Лит вы", + "▁r ang", + "▁ra ng", + "▁ran g", + "▁окру гу", + "▁округ у", + "▁inv ited", + "▁пре дельно", + "▁преде льно", + "▁K ey", + "▁Ke y", + "ки не", + "кин е", + "▁L ive", + "▁Li ve", + "▁неве роятно", + "▁невероят но", + "▁орке стра", + "▁оркестр а", + "▁H un", + "▁Hu n", + "▁з вер", + "▁зве р", + "▁зв ер", + "пе ней", + "пен ей", + "▁s port", + "▁sp ort", + "▁Аб солю", + "▁B ase", + "▁Bas e", + "▁Ba se", + "▁номина ции", + "pr et", + "pre t", + "p ret", + "бе с", + "▁Sp ring", + "▁Spr ing", + "▁написа ла", + "▁написал а", + "▁костю м", + "▁И ными", + "▁ю рис", + "▁юри с", + "▁кла виа", + "▁клави а", + "▁С ав", + "▁Са в", + "▁ро сту", + "▁рост у", + "▁рос ту", + "▁в право", + "▁поло се", + "▁Th us", + "▁pro vin", + "▁prov in", + "гу б", + "▁синта кси", + "▁ри мского", + "▁рим ского", + "▁Неда вно", + "▁отде лом", + "▁отдел ом", + "ет ь", + "е ть", + ".. .)", + "... )", + "▁уро жай", + "ве ло", + "вел о", + "▁ли м", + "▁л им", + "▁ лим", + "▁хра нится", + "▁храни тся", + "тро п", + "тр оп", + "▁Ма ну", + "▁Ман у", + "со циали", + "▁благо слове", + "▁п лу", + "▁переименова н", + "▁агре ссии", + "▁револю цию", + "же ницы", + "▁Моск вой", + "▁D er", + "▁De r", + "on der", + "ond er", + "o nder", + "▁b rain", + "▁br ain", + "▁bra in", + "ли лась", + "лила сь", + "дер жание", + "держа ние", + "▁develop ing", + "▁про дли", + "▁прод ли", + "▁сом нение", + "▁сомне ние", + "▁успо ко", + "▁со звез", + "▁отли чались", + "▁отлича лись", + "▁раз деление", + "▁разде ление", + "▁разделе ние", + "▁дово лен", + "▁ш ты", + "▁шт ы", + "▁L ady", + "▁ок ружи", + "▁окру жи", + "▁veh icle", + "▁end s", + "▁контра кта", + "▁контракт а", + "▁контрак та", + "▁знаком ства", + "I s", + "пи ски", + "пис ки", + "▁тон ко", + "▁пре следу", + "▁rem ember", + "▁Г ло", + "▁по по", + "▁поп о", + "▁жив ёт", + "▁по меня", + "▁поме ня", + "▁пом еня", + "ew ork", + "e work", + "▁c art", + "▁car t", + "▁де тского", + "▁дет ского", + "▁государ ь", + "▁госуда рь", + "um es", + "ume s", + "u mes", + "▁останов ки", + "▁остано вки", + "▁стара ется", + "▁работа ющих", + "▁crit ics", + "▁critic s", + "▁Reg iment", + "▁спектак ля", + "▁се льских", + "▁сель ских", + "▁во ров", + "▁воро в", + "▁вор ов", + "тя нуть", + "тяну ть", + "▁Верхов ный", + "▁На ч", + "пар тий", + "▁нем цами", + "▁s ons", + "▁so ns", + "▁son s", + "▁я щик", + "▁Я ков", + "▁Яко в", + "▁Як ов", + "▁review s", + "пли н", + "п лин", + "▁par ish", + "I R", + "▁c ert", + "▁tem ple", + "▁за мед", + "▁заме д", + "▁зам ед", + "▁Ку й", + "▁со обще", + "▁сооб ще", + "▁меха ники", + "▁механи ки", + "▁гла сит", + "ot hes", + "oth es", + "▁мони то", + "▁право сла", + "▁бал лов", + "▁балло в", + "▁ad apt", + "▁кра сных", + "Со юз", + "▁обо стре", + "кла дки", + "клад ки", + "▁ви рус", + "▁вир ус", + "▁виру с", + "▁при ле", + "фе ссиона", + "ор т", + "о рт", + "▁вели кому", + "▁велико му", + "▁p arliament", + "▁пыта лась", + "▁per haps", + "▁произ ведён", + "чи вают", + "чива ют", + "▁ито ги", + "▁итог и", + "▁Sec urity", + "▁Х рам", + "▁Хра м", + "▁Ю рь", + "▁foc used", + "▁focus ed", + "▁си ро", + "▁а стерои", + "▁и бн", + "пле ны", + "плен ы", + "п лены", + "▁Э ле", + "▁Эл е", + "вро пей", + "▁су вере", + "▁def ined", + "▁defin ed", + "▁францу зы", + "▁француз ы", + "мо да", + "м ода", + "▁военнослу жа", + "▁Чер ны", + "▁С вой", + "▁Сво й", + "▁Св ой", + "▁бога ты", + "▁богат ы", + "ка ется", + "кает ся", + "▁% .", + "▁ %.", + "ид ы", + "и ды", + "те льский", + "тель ский", + "▁много кратно", + "▁r ival", + "▁ri val", + "▁M un", + "▁Mu n", + "ed ia", + "шки на", + "шкин а", + "ш кина", + "▁непоня тно", + "ва нь", + "ван ь", + "в ань", + "ру ющего", + "рую щего", + "au g", + "a ug", + "▁nuc lear", + "▁дер з", + "▁воз ьми", + "▁возь ми", + "▁ущер ба", + "▁ущерб а", + "▁уще рба", + "вшему ся", + "▁британ ский", + "▁host ed", + "▁Шта ты", + "▁S ports", + "▁influ enced", + "▁influence d", + "▁и сце", + "▁ис це", + "▁о сен", + "▁ос ен", + "▁осе н", + "▁коме нда", + "▁комен да", + "▁блю да", + "ти хо", + "▁мяг ко", + "В ла", + "ст она", + "сто на", + "стон а", + "с тона", + "▁одно сторон", + "▁ю жных", + "Л Я", + "▁недо пусти", + "Г ра", + "▁мень шин", + "▁возраста ет", + "▁ту берку", + "▁употре бления", + "▁Х ен", + "▁Хе н", + "▁ми о", + "▁repe ated", + "▁con sequ", + "▁cons equ", + "ле вский", + "лев ский", + "л евский", + "ua te", + "u ate", + "▁p hr", + "▁ph r", + "▁see med", + "▁seem ed", + "▁Те бе", + "▁интересу ет", + "▁глубо кое", + "▁глубоко е", + "жде нные", + "жден ные", + "за ций", + "▁eas ily", + "▁Мини стров", + "▁Министр ов", + "▁бес при", + "▁импера тором", + "▁император ом", + "▁опреде лению", + "▁g raph", + "▁gr aph", + "▁gra ph", + "▁мо щь", + "▁мощ ь", + "▁ши ре", + "ess ed", + "▁пье се", + "▁пьес е", + "ей с", + "е йс", + "президен т", + "▁гру бы", + "▁сопрово ждается", + "▁сопровожда ется", + "▁ста вший", + "▁став ший", + "▁Си ци", + "▁S us", + "▁Su s", + "▁пере с", + "▁пе рес", + "▁леген ды", + "▁Oh io", + "ря ется", + "ряет ся", + "▁пяти десяти", + "▁россий ским", + "ль ца", + "▁p age", + "▁сту п", + "▁ ступ", + "▁помощ ника", + "▁помощник а", + "? »", + "▁перево рота", + "▁переворот а", + "G B", + "ком му", + "▁по ведением", + "▁пове дением", + "▁поведение м", + "▁n et", + "▁ne t", + "▁ net", + "с вобо", + "▁Хо рва", + "▁Хор ва", + "▁Me an", + "▁празд ника", + "▁праздник а", + "▁праздни ка", + "▁свиде телей", + "▁ref lect", + "▁распростра нён", + "▁распростран ён", + "▁призна ет", + "▁а зиат", + "▁ азиат", + "▁треть им", + "до ры", + "дор ы", + "▁реги стри", + "▁ регистри", + "▁T al", + "▁publ ication", + "▁public ation", + "▁П ода", + "▁По да", + "▁Под а", + "▁П ой", + "▁По й", + "▁ба бо", + "▁can cer", + "▁d oll", + "▁do ll", + "▁М ура", + "▁Му ра", + "▁Мур а", + "▁m ort", + "▁mor t", + "▁плани рования", + "▁предъ яви", + "▁предъя ви", + "j i", + "ва емое", + "ваем ое", + "▁a gent", + "▁ag ent", + "▁age nt", + "▁то жде", + "▁живо пись", + "▁живопи сь", + "▁живопис ь", + "▁бра ту", + "▁брат у", + "▁Ро берта", + "▁Роберт а", + "▁Робер та", + "▁пере мены", + "▁переме ны", + "▁перемен ы", + "▁а ро", + "▁ар о", + "ве личи", + "вели чи", + "▁оста вшихся", + "▁w ww", + "▁ www", + "но вской", + "нов ской", + "▁ин дика", + "▁инди ка", + "▁О гром", + "▁Ог ром", + "▁приз вал", + "▁Scott ish", + "▁исполни тельной", + "▁исполнитель ной", + "ra t", + "r at", + "▁обра тились", + "ня ясь", + "няя сь", + "▁институ тов", + "▁институт ов", + "▁без от", + "▁безо т", + "▁Пу ти", + "S p", + "▁лег кие", + "▁присут ствия", + "▁соответ ствовать", + "▁vot es", + "▁vote s", + "▁vo tes", + "w orth", + "▁мудро сти", + "▁в ходило", + "▁входил о", + "▁входи ло", + "▁прекра щения", + "▁э стра", + "▁эс тра", + "▁гру зин", + "▁грузи н", + "▁груз ин", + "▁home s", + "▁hom es", + "▁Bel g", + "▁горя чей", + "et hod", + "eth od", + "▁сле дов", + "▁след ов", + "▁Но белев", + "▁зна ка", + "▁знак а", + "▁бое виков", + "▁неме длен", + "▁содержа нию", + "шне й", + "шн ей", + "ш ней", + "▁обла дать", + "▁облада ть", + "▁sc enes", + "▁scene s", + "▁ин тим", + "▁re duce", + "▁выра жает", + "▁выража ет", + "▁игро ки", + "▁игрок и", + "po ol", + "p ool", + "ль фа", + "льф а", + "зы вают", + "зыва ют", + "▁использова нию", + "▁у ходят", + "▁ухо дят", + "▁уходя т", + "▁уход ят", + "Мо сков", + "Моск ов", + "▁Ве ро", + "▁Вер о", + "▁sub s", + "▁su bs", + "▁пра вед", + "▁прав ед", + "▁праве д", + "▁ правед", + "сс ёр", + "▁по летов", + "▁поле тов", + "▁полет ов", + "▁t ower", + "▁to wer", + "▁форми руется", + "▁sil ver", + "▁полу тора", + "▁торго вля", + "▁торгов ля", + "▁настоя щие", + "▁зво нок", + "▁звон ок", + "▁instit utions", + "▁institution s", + "би та", + "бит а", + "▁кра ски", + "▁prov ince", + "▁provin ce", + "▁обра тном", + "▁обратно м", + "ни цами", + "ница ми", + "▁и стина", + "▁ис тина", + "▁исти на", + "▁ист ина", + "́ть ся", + "́ ться", + "гу ю", + "г ую", + "▁Пом ню", + "▁про су", + "▁прос у", + "ent ially", + "ential ly", + "▁глу бина", + "▁глуби на", + "▁con text", + "▁cont ext", + "▁пу стой", + "▁пусто й", + "▁шта бе", + "▁штаб е", + "▁г ал", + "▁га л", + "▁ гал", + "▁отверсти я", + "▁im ag", + "▁Tay lor", + "▁об маны", + "▁обма ны", + "▁обман ы", + "▁У читывая", + "ut ies", + "u ties", + "▁от талки", + "▁раз деления", + "▁разде ления", + "▁разделе ния", + "▁предусматри вает", + "вля лись", + "вляли сь", + "в лялись", + "▁гре ческой", + "▁к лей", + "▁кле й", + "▁vers ions", + "▁version s", + "▁а гра", + "▁лю бя", + "▁конструк ция", + "▁е д", + "▁ ед", + "ис ти", + "ист и", + "и сти", + "ди ну", + "дин у", + "▁осуществ ление", + "▁друж бы", + "tain ment", + "f riend", + "Е С", + "▁экспери менты", + "▁эксперимент ы", + "▁постоя нных", + "▁зем лях", + "▁земля х", + "▁Ро за", + "▁гре ков", + "▁шо кола", + "▁резо нан", + "▁От носи", + "▁Отно си", + "▁С нова", + "th en", + "the n", + "t hen", + "▁caus ing", + "▁поддержа ния", + "ил ся", + "и лся", + "▁вы ставка", + "▁выстав ка", + "▁выста вка", + "▁Чехослова кии", + "▁внутрен нюю", + "▁месторо ждения", + "▁неу стой", + "ва нного", + "ван ного", + "▁кон вен", + "▁tra ins", + "▁tr ains", + "▁train s", + "un a", + "u na", + "▁form al", + ")) )", + ") ))", + "▁беспо мощ", + "st ruction", + "struct ion", + "▁М но", + "Со вет", + "▁м ск", + "▁интере сам", + "▁интерес ам", + "▁интереса м", + "▁теле сериа", + "▁информа ционной", + "▁ра вной", + "▁равно й", + "▁рав ной", + "▁Re view", + "▁Rev iew", + "▁необык новен", + "ль си", + "▁изме нении", + "▁че рных", + "▁чер ных", + "▁обяза нность", + "▁обязан ность", + "Мо ло", + "М оло", + "▁dom estic", + "▁контр револю", + "во сть", + "вос ть", + "▁call ing", + "▁cal ling", + "▁N ative", + "▁под хва", + "▁крей сер", + "▁му дре", + "▁муд ре", + "щими ся", + "▁ра зной", + "▁раз ной", + "▁разно й", + "У Р", + "▁Э рик", + "▁Эри к", + "▁у меть", + "▁уме ть", + "▁ум еть", + "▁воспринима ть", + "▁U pon", + "▁Up on", + "▁си дят", + "▁сидя т", + "нце в", + "н цев", + "▁упраж нений", + "▁rest aur", + "▁D ig", + "▁Di g", + "▁ри ф", + "▁ риф", + "af ter", + "aft er", + "a fter", + "▁pro ced", + "▁Коман да", + "▁переме щения", + "▁жало бы", + "▁жал обы", + "▁жалоб ы", + "▁да ту", + "▁дат у", + "ти р", + "т ир", + "▁ю жнее", + "u v", + "▁Пе тру", + "▁Пет ру", + "▁Петр у", + "▁безу спе", + "▁Об раз", + "▁Обра з", + "▁a head", + "▁при ходили", + "▁приходи ли", + "▁приход или", + "▁прихо дили", + "▁приходил и", + "▁K en", + "▁Ke n", + "▁ко ре", + "▁кор е", + "▁интере сных", + "▁интерес ных", + "▁learn ed", + "N S", + "т ны", + "▁поддержи вал", + "▁совер шили", + "▁совершил и", + "▁соверши ли", + "▁а так", + "▁ат ак", + "▁ата к", + "▁фор мат", + "▁форма т", + "▁форм ат", + "▁проце ссом", + "▁процесс ом", + "▁процессо м", + "▁сокра щение", + "▁ну ля", + "▁пе щ", + "▁международ ным", + "▁Че твер", + "▁Чет вер", + "▁ф ри", + "▁ фри", + "к ки", + "▁f ine", + "▁fin e", + "▁ще дро", + "▁пле чо", + "А л", + "ве да", + "вед а", + "фе льд", + "фель д", + "▁fa ith", + "▁китай ских", + "▁един ственно", + "ia ng", + "ian g", + "i ang", + "▁С анта", + "▁Са нта", + "▁Сан та", + "▁сокра тить", + "▁полицей ских", + "▁Профе ссор", + "▁и коны", + "▁ико ны", + "▁национа льные", + "L ist", + "▁пере ключа", + "▁переклю ча", + "др я", + "д ря", + "▁узна ет", + "▁газе тах", + "▁газета х", + "▁п ада", + "▁па да", + "▁ пада", + "▁вз ыска", + "▁взы ска", + "см а", + "с ма", + "▁После днее", + "▁Послед нее", + "▁Кла сси", + "▁би ологии", + "▁био логии", + "▁биологи и", + "il ton", + "ilt on", + "▁B ack", + "▁Ba ck", + "▁опера тивно", + "▁perman ent", + "▁ка жутся", + "гра мо", + "грам о", + "▁конститу ции", + "▁acc used", + "▁con sec", + "▁cons ec", + "ти вному", + "тив ному", + "тивно му", + "тивном у", + "▁advant age", + "▁Совет ская", + "▁Ст эн", + "▁Н ЛО", + "▁a uth", + "▁aut h", + "лли нг", + "лл инг", + "ллин г", + "л линг", + "▁ожида л", + "▁ожи дал", + "de s", + "d es", + "ди тесь", + "дите сь", + "▁по ловой", + "▁поло вой", + "▁полов ой", + "▁с оле", + "▁со ле", + "П ра", + "all el", + "alle l", + "шо в", + "ш ов", + "де льный", + "дель ный", + "▁сред нее", + "▁сре днее", + "▁средне е", + "▁Воз ник", + "▁sle ep", + "▁str ike", + "▁stri ke", + "act ive", + "▁ре кор", + "▁реко р", + "▁рек ор", + "ри стов", + "рис тов", + "ристо в", + "рист ов", + "▁ви дишь", + "▁види шь", + "▁М али", + "▁Ма ли", + "▁уве ренности", + "▁уверен ности", + "▁уверенно сти", + "em an", + "e man", + "▁дву сторон", + "co w", + "c ow", + "▁r ough", + "▁ro ugh", + "▁ rough", + "▁б ру", + "▁ бру", + "▁s ell", + "▁se ll", + "▁по лости", + "▁поло сти", + "▁пере веден", + "▁переве ден", + "▁бе лым", + "▁Се ми", + "▁Сем и", + "▁M arsh", + "▁Mar sh", + "▁ли деры", + "▁лидер ы", + "▁лиде ры", + "жо р", + "ж ор", + "х ро", + "▁Mich igan", + "▁M ike", + "▁Б ое", + "▁Бо е", + "▁логи ка", + "▁сред а", + "▁сре да", + "▁об щему", + "▁обще му", + "▁общем у", + "▁рас форми", + "ИН А", + "И НА", + "ди ра", + "дир а", + "▁eng aged", + "▁l aid", + "▁la id", + "до бы", + "доб ы", + "д обы", + "▁А п", + "▁поки нули", + "▁покинул и", + "▁ма ссе", + "▁масс е", + "▁толщи ной", + "▁по ре", + "▁пор е", + "▁авто ру", + "▁ав тору", + "▁автор у", + "▁Э ми", + "▁Эм и", + "▁W at", + "▁ро та", + "▁рот а", + "▁ рота", + "b ut", + "▁в ключения", + "▁вклю чения", + "▁электро магни", + "Re s", + "R es", + "▁op pon", + "▁pil ot", + "▁про чь", + "▁проч ь", + "▁b or", + "▁bo r", + "▁ bor", + "▁Add ition", + "ба ра", + "бар а", + "б ара", + "▁в люблен", + "▁влю блен", + "▁в зве", + "▁вз ве", + "▁значи тельных", + "им е", + "и ме", + "▁про стая", + "▁прос тая", + "▁проста я", + "▁прост ая", + "▁с жи", + "▁рей тинг", + "▁рейти нг", + "▁ок тябрь", + "▁организа циями", + "▁организация ми", + "▁от рез", + "▁отре з", + "▁Л ай", + "▁Ла й", + "▁sh ut", + "▁за бе", + "▁заб е", + "▁воен ными", + "▁вое нными", + "▁военным и", + "ми ная", + "мина я", + "мин ая", + "ж ском", + "▁ограни чение", + "▁кня зем", + "ст рая", + "стра я", + "стр ая", + "▁реги он", + "▁Рас смотрим", + "▁Рассмотри м", + "▁из влека", + "▁извле ка", + "▁Разви тие", + "▁сооб щают", + "▁сообща ют", + "▁за мены", + "▁заме ны", + "▁cost s", + "▁с бере", + "▁сбе ре", + "▁потеря ла", + "▁потерял а", + "▁спор тивных", + "▁view s", + "▁exist ence", + "▁тор говые", + "▁торго вые", + "▁называ лась", + "▁есте ственного", + "▁естественно го", + "сс кой", + "с ской", + "O b", + "act ions", + "action s", + "a ctions", + "▁sub stant", + "▁m or", + "▁харак тере", + "▁характер е", + "▁Вяче слав", + "▁N ap", + "▁Na p", + "▁Al f", + "▁ко же", + "▁dr iver", + "▁drive r", + "uc ky", + "uck y", + "▁К лин", + "▁Кли н", + "кс ов", + "ксо в", + "к сов", + "▁O rig", + "▁Or ig", + "▁жи вое", + "▁живо е", + "▁жив ое", + "▁арен ды", + "▁чинов ники", + "▁престо ла", + "▁престол а", + "▁a part", + "▁ap art", + "el ve", + "▁А та", + "▁Ат а", + "▁оцен кам", + "▁оценка м", + "▁C irc", + "▁пере на", + "▁пер ена", + "▁пе рена", + "ру ющая", + "рую щая", + "▁зер кало", + "▁зерка ло", + "▁обы гра", + "фф а", + "ф фа", + "па три", + "п атри", + "▁повседнев ной", + "ri f", + "r if", + "▁В начале", + "▁выделя ется", + "▁выде ляется", + "▁Ind epend", + "▁Худо же", + "▁Ма лень", + "▁б ить", + "▁би ть", + "▁бит ь", + "▁ бить", + "▁называ емого", + "▁кор рек", + "▁корре к", + "re te", + "ret e", + "▁ува жением", + "▁уважение м", + "▁равнове сия", + "▁равновеси я", + "▁име лись", + "▁имели сь", + "▁поса дку", + "▁посад ку", + "▁про до", + "▁пр одо", + "▁прод о", + "▁кня зю", + "ви дной", + "вид ной", + "видно й", + "▁мужи к", + "▁contrib uted", + "▁сти хах", + "▁М И", + "▁ МИ", + "▁же ни", + "▁жен и", + "▁постано вки", + "▁постанов ки", + "y e", + "▁прос тира", + "▁прости ра", + "▁s an", + "ъя с", + "ъ яс", + "▁de lay", + "▁del ay", + "▁Предпо ложи", + "▁dec ades", + "▁decade s", + "ter ed", + "te red", + "t ered", + "▁образу ются", + "▁образуют ся", + "▁трени ровки", + "ёр ы", + "ё ры", + "▁дела ю", + "▁неве до", + "▁сбор ки", + "▁сбо рки", + "▁при несла", + "▁принес ла", + "▁справед ливость", + "▁справедливо сть", + "▁справедли вость", + "за кон", + "зак он", + "зако н", + "▁с могу", + "▁смо гу", + "▁смог у", + "▁perform ing", + "▁С М", + "▁h un", + "ut ation", + "▁object s", + "▁аген та", + "▁агент а", + "▁алгорит м", + "▁перспекти ве", + "▁перспек тиве", + "▁разно обра", + "an ning", + "ann ing", + "▁к рик", + "▁кри к", + "▁настой чиво", + "rag on", + "r agon", + "▁un known", + "▁воору жении", + "▁постоя нный", + "▁на зо", + "▁наз о", + "ско вой", + "сков ой", + "с ковой", + "▁це п", + "▁ цеп", + "▁аван тю", + "▁t rav", + "▁tra v", + "▁tr av", + "ur d", + "u rd", + "▁С тю", + "▁Ст ю", + "us ter", + "ust er", + "u ster", + "ло вых", + "лов ых", + "▁вз дох", + "▁Север ная", + "▁suc ceeded", + "▁бом б", + "▁sup por", + "▁imp rove", + "▁impro ve", + "▁х ит", + "▁хи т", + "▁ядер ного", + "▁компонен т", + "▁кон стати", + "▁associ ation", + "▁у брать", + "▁убра ть", + "▁над писи", + "▁надпи си", + "▁E st", + "▁Es t", + "▁ac res", + "▁поль зы", + "▁с горе", + "▁полага л", + "▁пола гал", + "os a", + "▁расположен ные", + "▁расположе нные", + "особ енно", + "▁лю били", + "▁люби ли", + "▁любил и", + "▁те чением", + "▁течение м", + "ба лан", + "бал ан", + "зи но", + "зин о", + "з ино", + "▁Ита лия", + "▁Итали я", + "▁опера тора", + "▁оператор а", + "in king", + "ink ing", + "ге та", + "▁внутрен ним", + "▁в арьи", + "▁вар ьи", + "▁преступ ников", + "ли ни", + "лин и", + "слу х", + "▁це лая", + "▁val ues", + "▁value s", + "▁выя вить", + "▁выяви ть", + "▁аргу мента", + "ot hing", + "oth ing", + "o thing", + "Д Д", + "ou ts", + "out s", + "o uts", + "▁v en", + "▁ve n", + "▁ ven", + "▁нов город", + "- ,", + "▁сме х", + "▁I d", + "▁ Id", + "▁благодар ность", + "сто люби", + "▁от дых", + "▁pass ing", + "▁w rong", + "▁концеп цию", + "со чета", + "▁по ложений", + "▁поло жений", + "▁переда ч", + "▁кос вен", + "▁собесед ник", + "▁собесе дник", + "▁индей цев", + "бу ла", + "▁при боры", + "▁прибо ры", + "▁прибор ы", + "▁сосу дов", + "про ви", + "▁ре ль", + "▁ рель", + "▁us ers", + "▁user s", + "▁газ ету", + "▁газе ту", + "▁газет у", + "▁отвра ти", + "харак тери", + "▁а гро", + "▁Об ъек", + "▁Объ ек", + "стан ций", + "▁изу чении", + "че нном", + "чен ном", + "ченно м", + "▁inv asion", + "▁форми ровании", + "ли ла", + "лил а", + "л ила", + "▁т рон", + "▁тро н", + "▁тр он", + "йте д", + "йт ед", + "▁раз ряд", + "▁разря д", + "▁а ква", + "▁ак ва", + "▁То вари", + "▁Рас пу", + "▁завер шить", + "▁заверши ть", + "ти нский", + "тин ский", + "рова нном", + "рован ном", + "▁однозна чно", + "▁J er", + "▁Je r", + "▁да вая", + "▁дав ая", + "▁mount ain", + "rop ol", + "▁N ations", + "▁реак ций", + "▁у ла", + "▁ул а", + "▁добы чу", + "ни цкий", + "ниц кий", + "▁e ye", + "▁ey e", + "▁кру гах", + "▁круга х", + "▁До полни", + "ка ты", + "кат ы", + "фе ро", + "фер о", + "oc key", + "ock ey", + "▁наде жде", + "▁Па стерна", + "▁Пас терна", + "фа р", + "ф ар", + "▁две рей", + "▁двер ей", + "▁б рал", + "▁бра л", + "▁ брал", + "ши ф", + "▁противостоя ть", + "▁появи ться", + "▁поя виться", + "▁из вер", + "▁изве р", + "▁на дё", + "▁над ё", + "▁Мю н", + "▁у шёл", + "▁gu est", + "▁A ff", + "▁Af f", + "▁ориен тации", + "▁ориента ции", + "▁во ины", + "▁воин ы", + "▁вои ны", + "▁Харь ков", + "▁поли тическое", + "▁полити ческое", + "▁a w", + "▁ aw", + "▁Жи во", + "▁поч ву", + "ped ition", + "уд а", + "у да", + "▁по смер", + "▁пос мер", + "▁sus p", + "▁su sp", + "ри лись", + "рили сь", + "▁ди плом", + "▁дипло м", + "▁рас хо", + "▁по смотрим", + "▁S ant", + "▁San t", + "▁Sa nt", + "▁По со", + "▁Фран суа", + "▁act ual", + "▁сохра няет", + "▁сохраня ет", + "ic y", + "i cy", + "▁м ю", + "▁ще н", + "▁ щен", + "▁государ ственную", + "▁государстве нную", + "▁архитек тора", + "▁архите ктора", + "▁архитектор а", + "▁с жима", + "▁сжи ма", + "▁Росси йского", + "▁Россий ского", + "▁Ла уре", + "▁стар ших", + "▁обеспе чивают", + "▁обеспечи вают", + "▁инте грации", + "▁интегра ции", + "зо вывать", + "зовы вать", + "▁события ми", + "ro ve", + "r ove", + "▁стер ж", + "▁знаком ство", + "▁f estival", + "▁практи ческой", + "▁прак тической", + "▁equ al", + "▁смы сло", + "▁смысл о", + "▁ме ксикан", + "▁[ ...", + "▁О ли", + "▁Ол и", + "▁Г рей", + "▁Гре й", + "▁Ус пен", + "▁Успе н", + "▁Са мая", + "▁Сам ая", + "▁Сама я", + "▁древне гре", + "▁програм много", + "▁программ ного", + "▁ку чу", + "▁моби льных", + "or gan", + "org an", + "▁по вле", + "▁пов ле", + "▁геро ем", + "▁истори чески", + "▁Ве ст", + "зе ль", + "зел ь", + "▁the atre", + "▁верто лет", + "Е З", + "до сть", + "ши ла", + "шил а", + "ш ила", + "▁скры ть", + "ли ки", + "лик и", + "▁зеле ный", + "▁преж ние", + "▁стара ются", + "▁в ёл", + "▁ вёл", + "Г ц", + "▁Твер ской", + "▁строе ние", + "▁ строение", + "so le", + "s ole", + "▁С он", + "▁Со н", + "▁стрем ления", + "▁happ ened", + "▁ответ ов", + "▁отве тов", + "▁club s", + "▁ill e", + "▁ ille", + "▁крестьян ской", + "▁крестья нской", + "▁худож ником", + "▁художник ом", + "▁тай ну", + "▁подчер кну", + "▁с водится", + "▁сво дится", + "▁значи тельная", + "▁бес пло", + "▁преж ней", + "▁R on", + "▁Ro n", + "Ф З", + "▁вое вать", + "▁бо гу", + "▁бог у", + "▁Ар тур", + "▁Арт ур", + "чу р", + "ч ур", + "▁произ водят", + "▁производ ят", + "▁произво дят", + "▁qu ant", + "▁Александ ру", + "▁Александр у", + "▁с нят", + "▁сня т", + "▁in stance", + "▁inst ance", + "▁заста вили", + "▁заставил и", + "э лектри", + "▁предо преде", + "▁учё ных", + "▁end ing", + "▁рас пра", + "▁g one", + "▁go ne", + "▁ла дно", + "▁princip al", + "▁кон денса", + "▁у клады", + "▁харак тером", + "▁характер ом", + "▁cor rect", + "▁поя са", + "▁пояс а", + "▁за дать", + "▁зада ть", + "д с", + "▁конструк ций", + "же нном", + "жен ном", + "женно м", + "▁Т били", + "▁жела нием", + "▁желание м", + "▁dist ingu", + "▁c aught", + "▁rev olution", + "▁спа ль", + "▁спал ь", + "▁Step hen", + "▁ste el", + "▁пря мые", + "ья н", + "ь ян", + "ic ks", + "ick s", + "i cks", + "▁электро нных", + "▁люби телей", + "at al", + "ata l", + "▁entire ly", + "▁раз бор", + "▁разбо р", + "р ба", + "▁дво их", + "▁P R", + "▁ PR", + "Пре д", + "П ред", + "▁судеб ной", + "▁до сро", + "▁рубе ж", + "▁пере нес", + "▁r ow", + "▁ro w", + "▁ row", + "▁g all", + "▁вле во", + "▁W alk", + "▁Wal k", + "▁гер манской", + "▁герман ской", + "▁пока зывать", + "▁показыва ть", + "▁ме стный", + "▁мест ный", + "▁се кции", + "▁сек ции", + "▁бир же", + "▁ва жность", + "▁важ ность", + "▁важно сть", + "▁con test", + "▁cont est", + "▁b atter", + "▁batt er", + "▁разви ваются", + "▁развива ются", + "fl ib", + "f lib", + "▁По яви", + "▁по кро", + "▁от зывы", + "▁отзыв ы", + "▁памя тники", + "▁памят ники", + "▁памятник и", + "▁сдела на", + "▁сде лана", + "▁сделан а", + "▁сдел ана", + "цион еры", + "цио неры", + "ционе ры", + "ционер ы", + "▁Не боль", + "▁ин тона", + "▁h ired", + "▁C ub", + "▁ис прави", + "▁испра ви", + "▁водо рода", + "▁водоро да", + "▁Су хо", + "▁conclud ed", + "▁я д", + "▁g ain", + "▁P u", + "сти чески", + "с тически", + "ла нда", + "лан да", + "ланд а", + "▁a go", + "▁ag o", + "▁ ago", + "▁Cast le", + "▁Cas tle", + "НО СТ", + "▁ядер ной", + "▁синте за", + "▁судеб ных", + "▁реали зацию", + "▁ожида нии", + "то вое", + "тов ое", + "тово е", + "м ь", + "▁Ч ин", + "▁Чи н", + "ц ки", + "▁на нес", + "▁центра льных", + "▁центр альных", + "▁спа сение", + "▁спасе ние", + "▁еди ное", + "▁един ое", + "▁едино е", + "▁матери альной", + "▁материа льной", + "▁материаль ной", + "pat h", + "pa th", + "p ath", + "че рки", + "чер ки", + "▁Дмитри евич", + "▁герман ских", + "▁та нце", + "▁тан це", + "▁зу бов", + "▁зуб ов", + "▁пя тна", + "▁пят на", + "▁при водя", + "▁приво дя", + "▁Д жим", + "▁Дж им", + "▁Джи м", + "▁мастер ской", + "▁масте рской", + "▁Б ла", + "▁криста лли", + "▁hot el", + "▁ко лла", + "▁кол ла", + "▁сооб щал", + "▁сообща л", + "Д П", + "тех ники", + "техни ки", + "▁совет ов", + "▁сове тов", + "▁стра хов", + "▁страхо в", + "▁страх ов", + "▁авиа ционного", + "▁зе рно", + "▁зер но", + "▁у мом", + "▁ум ом", + "▁умо м", + "▁умень шается", + "ря х", + "р ях", + "D P", + "▁ac ts", + "▁act s", + "▁l ands", + "▁land s", + "▁ lands", + "▁претен ден", + "▁ок не", + "▁называ емая", + "▁называем ая", + "ле ни", + "лен и", + "▁шту ка", + "▁шт ука", + "▁штук а", + "▁ви бра", + "▁парадок са", + "▁в стать", + "▁вс тать", + "▁вста ть", + "▁заклю чению", + "▁ресто ран", + "▁рестора н", + "▁при па", + "▁ припа", + "зя т", + "з ят", + "▁neg ative", + "▁с гу", + "▁fav our", + "П ла", + "С тра", + "▁С ъ", + "▁у дли", + "▁уд ли", + "▁Василь ев", + "▁Василье в", + "▁откры того", + "▁открыто го", + "▁по ш", + "▁Со ю", + "▁A ud", + "▁Pol and", + "▁Po land", + "▁боя ться", + "▁зву ко", + "▁звук о", + "▁sh ape", + "▁уви дите", + "▁Великобрита ния", + "▁предупре ждения", + "▁ent ry", + "не о", + "▁моду ль", + "▁Ль ва", + "▁за одно", + "▁зао дно", + "ри ат", + "риа т", + "▁характер ны", + "▁cons ult", + "▁stand ing", + "▁ standing", + "▁византи й", + "is ms", + "ism s", + "▁про чее", + "▁тяже лый", + "▁Ar thur", + "▁дости гается", + "▁достигает ся", + "▁достига ется", + "▁C R", + "▁клима та", + "▁климат а", + "▁Enter tainment", + "▁main tained", + "▁maintain ed", + "▁зна коми", + "▁знако ми", + "▁знаком и", + "тя х", + "т ях", + "▁affect ed", + "жи вания", + "▁запро сов", + "▁запрос ов", + "жо н", + "ж он", + "▁О л", + "▁Pak istan", + "ar ia", + "ari a", + "a ria", + "пра вление", + "прав ление", + "▁су ждено", + "▁выро сла", + "▁вырос ла", + "▁обы ден", + "▁Медведе в", + "ps on", + "p son", + "▁у се", + "▁ус е", + "▁старо сти", + "ль цы", + "ст ит", + "сти т", + "с тит", + "▁эта жа", + "▁этаж а", + "▁д нях", + "▁дня х", + "скри п", + "▁помо гал", + "▁помог ал", + "▁помога л", + "▁вы ры", + "▁выр ы", + "По сле", + "▁some w", + "▁som ew", + "то рных", + "тор ных", + "▁дости жений", + "▁возможно й", + "▁возмо жной", + "▁Ре ги", + "▁объеди ня", + "▁познакоми ться", + "▁об щин", + "▁общи н", + "▁общ ин", + "▁О П", + "▁ ОП", + "▁парт неров", + "▁партнер ов", + "▁ра зом", + "▁раз ом", + "▁разо м", + "▁устано вленных", + "▁установ ленных", + "▁установлен ных", + "j e", + "▁уров ню", + "▁револю ционной", + "▁С не", + "▁про вода", + "▁прово да", + "▁провод а", + "▁ провода", + "▁С мерть", + "▁занима ть", + "▁ж аль", + "▁жа ль", + "▁жал ь", + "▁фа рма", + "▁фар ма", + "▁запа дного", + "▁запад ного", + "▁деше вле", + "ща х", + "▁упразд нён", + "▁ло го", + "▁ лого", + "▁Про грамма", + "ба йка", + "бай ка", + "▁му жу", + "▁муж у", + "нос ятся", + "нося тся", + "носят ся", + "▁завое вания", + "▁S u", + "ле том", + "лет ом", + "/ ,", + "▁r om", + "▁ro m", + "▁ rom", + "▁И гна", + "▁И ран", + "▁Ир ан", + "▁Ира н", + "▁пре гра", + "▁клю чи", + "▁ключ и", + "▁Лу к", + "▁ра ны", + "▁ран ы", + "wo rd", + "w ord", + "▁b odies", + "▁Ба ш", + "▁мо ск", + "▁не а", + "же нер", + "жен ер", + "▁при вед", + "▁приве д", + "▁прив ед", + "▁опреде лении", + "▁отде льными", + "▁отдель ными", + "▁отдельным и", + "▁кан ц", + "▁struct ures", + "▁structure s", + "▁зву ков", + "▁звук ов", + "▁звуко в", + "▁упра влению", + "▁да вай", + "▁дав ай", + "pect ed", + "▁ближай ших", + "▁музыка льного", + "▁У а", + "зне ц", + "з нец", + "ар т", + "а рт", + "it o", + "i to", + "▁обнаружи вает", + "▁обнару живает", + "▁Ми ра", + "▁Мир а", + "▁Camb ridge", + "▁US B", + "▁нео грани", + "▁п рони", + "▁про ни", + "▁пр они", + "▁прон и", + "▁счаст лив", + "▁счастли в", + "el er", + "e ler", + "▁прошло й", + "▁прош лой", + "ва вшие", + "вав шие", + "см ер", + "сме р", + "с мер", + "▁подо йти", + "▁подой ти", + "▁L og", + "▁Lo g", + "В С", + "▁за блоки", + "▁Португа лии", + "▁З ву", + "▁уби тых", + "▁убит ых", + "▁убиты х", + "▁об мо", + "▁conv erted", + "▁conver ted", + "▁электроэнер гии", + "▁Kore a", + "▁недо ве", + "▁равно веси", + "▁равнове си", + "ce ived", + "ли стов", + "лист ов", + "лис тов", + "▁ком бини", + "▁con tained", + "▁cont ained", + "▁contain ed", + "▁но жом", + "▁нож ом", + "▁интерпре тации", + "▁деся тка", + "▁ле тчик", + "▁лет чик", + "▁ули цам", + "▁улица м", + "▁улиц ам", + "▁до шли", + "▁знако мые", + "▁знакомы е", + "▁музыка льный", + "▁Мат ве", + "▁продук цию", + "▁у ходить", + "▁уходит ь", + "▁ухо дить", + "▁уход ить", + "it ants", + "itan ts", + "cent ury", + "▁В полне", + "ra ck", + "rac k", + "r ack", + "▁Ша х", + "▁у су", + "▁ус у", + "ac ter", + "act er", + "▁продол жения", + "▁d uty", + "▁du ty", + "▁по ма", + "▁пом а", + "▁на родные", + "▁наро дные", + "▁народ ные", + "▁вступа ет", + "▁ре м", + "▁р ем", + "▁ рем", + "▁Ку ту", + "▁Ко му", + "▁Ком у", + "▁вра чом", + "▁врач ом", + "▁Ми ло", + "▁ис следовать", + "▁исследова ть", + "el ess", + "e less", + "bour ne", + "▁чи стого", + "▁чисто го", + "▁высо чай", + "▁v ir", + "▁добро во", + "▁доб рово", + "▁П лу", + "▁ба ро", + "▁бар о", + "▁Де парта", + "▁квадра тных", + "▁на брал", + "▁набра л", + "d o", + "▁ви ден", + "▁виде н", + "▁вид ен", + "▁gener ation", + "▁resist ance", + "▁возмо жны", + "▁Эдуар д", + "▁модерни зации", + "▁та ки", + "▁так и", + "▁ таки", + "▁по зор", + "▁поз ор", + "по вич", + "▁срав нение", + "▁коали ции", + "▁Ви ш", + "▁сыгра ли", + "▁сыграл и", + "чь ся", + "▁вы зова", + "▁вызо ва", + "▁вызов а", + "▁ро дом", + "▁род ом", + "▁родо м", + "▁ родом", + "▁итальян ского", + "▁под полковник", + "▁подполков ник", + "ён ок", + "ё нок", + "▁Хо ть", + "▁Lew is", + "в з", + "А вто", + "▁Ле ви", + "▁Лев и", + "▁способ ствовать", + "▁St one", + "со циаль", + "▁рас ход", + "▁расхо д", + "▁за просы", + "▁запро сы", + "▁запрос ы", + "до вской", + "дов ской", + "▁Min istry", + "ruct ure", + "▁Александ ром", + "▁Александр ом", + "▁возоб но", + "▁ри туаль", + "▁ритуа ль", + "et ts", + "ett s", + "запад ной", + "▁An ton", + "▁Ant on", + "▁Республи ка", + "▁про пу", + "▁Ю жно", + "▁визи та", + "▁визит а", + "▁str ateg", + "▁п ир", + "▁пи р", + "▁ак ционер", + "▁Ива новна", + "▁Иванов на", + "▁ак ты", + "▁акт ы", + "▁ass ault", + "▁accom pan", + "ли сты", + "лист ы", + "лис ты", + "▁ar med", + "▁arm ed", + "▁Ру зве", + "ac hel", + "ach el", + "ache l", + "▁A ri", + "▁Ar i", + "▁британ ских", + "▁под со", + "▁подс о", + "▁беспо ща", + "▁реда ктором", + "▁редак тором", + "▁редактор ом", + "▁cop ies", + "▁вы реза", + "▁кни гой", + "▁книг ой", + "▁расши рить", + "▁По нима", + "flib usta", + "▁Ру сского", + "▁Рус ского", + "ри тся", + "рит ся", + "р ится", + "▁эпо ха", + "▁мо щи", + "▁мощ и", + "▁Ма дри", + "▁пла ст", + "▁К ё", + "ско па", + "ск опа", + "скоп а", + "ти руя", + "тиру я", + "▁депута ты", + "▁депутат ы", + "▁соответ ствующим", + "▁соответству ющим", + "▁support ing", + "▁suppor ting", + "▁и рони", + "▁ир они", + "▁иро ни", + "ur ches", + "urch es", + "▁реши лся", + "▁решил ся", + "om ot", + "▁ле чении", + "▁ста рым", + "▁bro ken", + "▁br oken", + "▁broke n", + "▁употре бление", + "▁за долго", + "▁задол го", + "▁ве тери", + "▁ветер и", + "▁за ведений", + "▁заве дений", + "▁In it", + "▁ну жд", + "▁нуж д", + "▁побе дой", + "▁побед ой", + "( $", + "▁p up", + "▁Ch ris", + "дея тельности", + "В М", + "▁Dis ney", + "our ney", + "ourn ey", + "т к", + "▁патри оти", + "▁патрио ти", + "▁ау к", + "о в", + "▁сло жным", + "▁широ кую", + "▁импе рия", + "▁Зве зда", + "▁вой сках", + "▁войска х", + "d r", + "▁компью теров", + "▁компьютер ов", + "▁ло я", + "▁из дал", + "▁изда л", + "▁изд ал", + "▁Обла датель", + "▁Че хов", + "▁дли тельное", + "▁млад шего", + "▁Phil ip", + "▁возвы шен", + "де ре", + "дер е", + "д ере", + "▁авто но", + "▁но вость", + "▁ново сть", + "▁отказа лась", + "▁изда тельства", + "▁се кс", + "▁сек с", + "▁r ural", + "▁ru ral", + "▁вер ность", + "▁верно сть", + "▁па лом", + "▁пало м", + "▁пал ом", + "▁сторон ники", + "▁выбра ли", + "▁выбрал и", + "be ll", + "bel l", + "b ell", + "▁хозяй ств", + "▁reject ed", + "▁уче ники", + "▁ученик и", + "▁региона льных", + "▁регион альных", + "▁Рас стояние", + "▁раз ное", + "▁разно е", + "ни ческое", + "го вая", + "гов ая", + "гова я", + "ча ться", + "чать ся", + "▁K el", + "▁Ke l", + "▁f ram", + "▁fr am", + "▁постро или", + "▁построил и", + "▁Со вершенно", + "▁sign al", + "▁ка дра", + "▁кад ра", + "os ter", + "ost er", + "o ster", + "▁О стро", + "▁Ос тро", + "▁кафе дрой", + "▁с прос", + "▁спро с", + "▁ново рожден", + "▁Ю лия", + "▁Юли я", + "▁вы тека", + "▁От то", + "▁встре тили", + "▁встретил и", + "▁T am", + "▁устано вление", + "▁установ ление", + "▁пролета риата", + "▁обита ния", + "▁си лам", + "▁сил ам", + "▁сила м", + "▁эта пах", + "▁этапа х", + "▁то чность", + "▁точно сть", + "▁точ ность", + "▁бу й", + "надца того", + "▁предпо лагается", + "▁предполага ется", + "▁предполагает ся", + "до ступ", + "▁отде лении", + "▁отделе нии", + "▁пред води", + "he mat", + "hem at", + "▁нарко ма", + "▁нар кома", + "▁М ала", + "▁Ма ла", + "▁independ ence", + "лё в", + "л ёв", + "▁поги бло", + "▁погиб ло", + "▁Воро ши", + "ic ate", + "ica te", + "▁раз бу", + "▁П ье", + "aw n", + "a wn", + "▁до клады", + "▁докла ды", + "▁доклад ы", + "T R", + "нс и", + "н си", + "▁Га ври", + "▁отк лик", + "▁откли к", + "▁За коно", + "▁Зак оно", + "▁Закон о", + "шни е", + "ш ние", + "▁Де пута", + "▁с кле", + "▁ск ле", + "▁Запад ного", + "▁Запа дного", + "▁Да вы", + "▁тон кой", + "▁тонко й", + "▁глубо кие", + "▁пунк том", + "▁пункт ом", + "▁пунк те", + "▁пункт е", + "▁дей ств", + "ство вавших", + "ствова вших", + "О Т", + "▁оказыва ют", + "▁ока зывают", + "▁techn ical", + "▁до жида", + "▁дож ида", + "iv als", + "ival s", + "iva ls", + "▁за пер", + "▁запе р", + "пле н", + "п лен", + "▁исче зли", + "▁исчез ли", + "▁f resh", + "▁fre sh", + "▁fr esh", + "▁секре тар", + "▁секрета р", + "▁секрет ар", + "▁похо жа", + "▁похож а", + "▁опо зда", + "▁республи ке", + "▁республик е", + "▁угро жа", + "▁исклю чение", + "▁ле жали", + "▁лежа ли", + "▁лежал и", + "▁При зна", + "▁ми рного", + "▁мир ного", + "▁пря мое", + "▁прямо е", + "▁немец кими", + "▁немецким и", + "▁происхо ждении", + "▁эфи ре", + "▁эфир е", + "щее ся", + "▁принима ла", + "▁принимал а", + "▁опыт ный", + "▁опы тный", + "▁и ном", + "▁ин ом", + "▁ино м", + "▁On ly", + "▁ито г", + "пусти м", + "пус тим", + "▁принадле жность", + "▁Ники та", + "ви дные", + "вид ные", + "▁Красно яр", + "▁R aj", + "we ight", + "▁уда ления", + "▁S ee", + "▁Se e", + "ens ions", + "ension s", + "▁улыб кой", + "▁F orm", + "▁For m", + "▁Col or", + "▁Co lor", + "▁испыты вать", + "▁s ale", + "▁sal e", + "▁на три", + "▁н атри", + "▁очеред ного", + "▁Та и", + "se s", + "s es", + "пле т", + "п лет", + "▁Б уда", + "▁Бу да", + "▁Буд а", + "▁превра тилась", + "ро вав", + "ров ав", + "рова в", + "▁Ло у", + "▁лауре а", + "▁rank ed", + "av ig", + "▁ка пли", + "▁кап ли", + "▁архи в", + "▁арх ив", + "▁Tor onto", + "▁promot ion", + "зи рованный", + "зирова нный", + "зирован ный", + "ag an", + "aga n", + "a gan", + "▁lim it", + "▁на ходим", + "▁находи м", + "▁наход им", + "▁возможно стями", + "▁f ashion", + "ла с", + "л ас", + "▁пе чи", + "▁устра нить", + "el ine", + "e line", + "▁прого лосо", + "▁не пред", + "▁непре д", + "▁есте ственной", + "▁естественно й", + "▁quest ions", + "▁question s", + "▁а й", + "▁ ай", + "▁Де ка", + "▁Дек а", + "▁об щении", + "▁обще нии", + "▁продолжа лось", + "▁ба нке", + "▁бан ке", + "▁банк е", + "▁ка дры", + "▁кад ры", + "▁преду смотрен", + "▁предусмотре н", + "D S", + "▁мона ше", + "▁но чной", + "о фф", + "▁G irl", + "сле дует", + "следу ет", + "▁fre edom", + "▁free dom", + "▁шту к", + "▁служ б", + "хи я", + "▁жа лова", + "▁жало ва", + "▁сто имо", + "▁стои мо", + "▁полуо стро", + "▁разли чной", + "▁ныне шней", + "▁нынеш ней", + "не ру", + "нер у", + "н еру", + "▁Ф ила", + "▁Фи ла", + "▁chair man", + "з ки", + "t ical", + "▁ск вер", + "▁sh ell", + "▁she ll", + "▁shel l", + "y o", + "н цы", + "▁заблу ждение", + "▁индивиду альных", + "▁индивидуаль ных", + "▁l at", + "▁la t", + "▁со рат", + "▁сор ат", + "▁Крем ля", + "▁slight ly", + "▁но ва", + "▁нов а", + "▁ нова", + "▁фра кции", + "▁фрак ции", + "▁обще жи", + "▁кра сным", + "U N", + "▁Ин доне", + "▁Р э", + "зи да", + "з ида", + "▁разли чного", + "▁T H", + "▁Сиби рь", + "▁Сибир ь", + "▁S anta", + "▁San ta", + "▁Sant a", + "D R", + "em et", + "e met", + "▁Кра сную", + "▁реаль ном", + "▁реа льном", + "▁реально м", + "▁Ри о", + "▁слу жащих", + "▁служа щих", + "Р К", + "▁W ell", + "▁We ll", + "▁зри теля", + "ста вки", + "став ки", + "гл е", + "г ле", + "▁ди ско", + "▁дис ко", + "▁диск о", + "▁it ems", + "▁ent rance", + "▁Г им", + "▁Ги м", + "▁поддержи вают", + "▁environment al", + "com m", + "co mm", + "c omm", + "▁Ва ше", + "▁Ваш е", + "▁спро са", + "▁спрос а", + "▁запа сов", + "▁запас ов", + "▁да ром", + "▁дар ом", + "▁P sych", + "▁М еха", + "▁Ме ха", + "▁ph ase", + "▁кла ссу", + "▁класс у", + "▁администра ция", + "▁Богороди цы", + "по сле", + "н на", + "▁trans form", + "П П", + "▁tit les", + "▁title s", + "▁ле тчики", + "▁лет чики", + "▁летчик и", + "▁у стоя", + "▁мотива м", + "▁мотив ам", + "▁ки пе", + "▁ кипе", + "▁зем лев", + "▁земле в", + "▁адвока т", + "▁уничто жил", + "▁town s", + "▁напра вился", + "▁направил ся", + "▁de script", + "▁des cript", + "▁desc ript", + "▁ор на", + "ж ко", + "▁гра вита", + "▁грави та", + "▁владель цев", + "▁владе льцев", + "▁пользова ния", + "▁исследова ниях", + "▁исследования х", + "▁Дей ствие", + "▁Действи е", + "▁дре сси", + "▁У ай", + "▁Уа й", + "▁синх рони", + "▁жа лу", + "▁жал у", + "▁выда ющихся", + "▁пре следования", + "▁преследова ния", + "▁со пря", + "▁некото рого", + "▁b an", + "▁ ban", + "▁Ш ей", + "▁Ше й", + "▁из вне", + "▁госпо да", + "▁гос пода", + "▁господ а", + "Бе р", + "Б ер", + "▁экстре ми", + "ме рно", + "мер но", + "▁Север ном", + "ме л", + "ce ll", + "cel l", + "c ell", + "▁цен тру", + "▁центр у", + "▁Сталин у", + "▁Стали ну", + "ма га", + "▁персона жи", + "▁персонаж и", + "av er", + "ave r", + "a ver", + "▁К ва", + "▁H ard", + "▁Har d", + "▁Ha rd", + "il er", + "ile r", + "i ler", + "▁we ather", + "▁муж чину", + "▁мужчи ну", + "▁мужчин у", + "до во", + "дов о", + "▁пого ды", + "▁лето пи", + "▁bu y", + "▁доста вить", + "▁и менами", + "▁име нами", + "▁имена ми", + "▁ex clus", + "▁Вита лий", + "▁prof essor", + "▁profess or", + "▁По ложение", + "▁Поло жение", + "▁бо юсь", + "▁бою сь", + "жу сь", + "▁pro ceed", + "▁придума л", + "▁контак та", + "▁контакт а", + "▁международ ные", + "▁поли цию", + "▁за на", + "▁з ана", + "▁ зана", + "▁е дет", + "▁ед ет", + "▁B ad", + "▁Ba d", + "▁вы ши", + "▁проя вил", + "▁прояви л", + "▁дево чек", + "▁санти метров", + "▁пове ствования", + "▁с пя", + "ча тый", + "▁R et", + "▁Re t", + "▁о бой", + "▁об ой", + "▁обо й", + "▁гро зит", + "▁гроз ит", + "▁хими ческой", + "при з", + "пр из", + "ya rd", + "y ard", + "▁пи ва", + "▁п оси", + "▁по си", + "▁пос и", + "▁* /", + "▁v oc", + "▁vo c", + "▁Ху ан", + "▁ev ening", + "▁even ing", + "лейте нан", + "▁форте пи", + "▁отда вать", + "чи не", + "чин е", + "▁насе ленных", + "▁уме ют", + "бо ю", + "▁impro ved", + "▁improve d", + "▁уби ты", + "▁убит ы", + "▁посе щения", + "▁реда ктора", + "▁редак тора", + "▁редактор а", + "▁пла та", + "▁плат а", + "▁J ose", + "▁Jos e", + "▁Jo se", + "st ring", + "str ing", + "▁зарабо тной", + "ня ков", + "няк ов", + "h ttp", + "▁чу жих", + "▁Го ро", + "▁Гор о", + "▁int elligence", + "▁пом ните", + "▁помнит е", + "▁Г ин", + "▁Ги н", + "▁a ctor", + "▁act or", + "ur er", + "ure r", + "сти ческими", + "стическим и", + "стически ми", + "с тическими", + "ли зация", + "лиза ция", + "▁дет ские", + "▁на хождения", + "▁Ленинград ского", + "ком муни", + "комму ни", + "▁благо чести", + "м чу", + "то ле", + "тол е", + "т оле", + "▁по льских", + "▁поль ских", + "ти руют", + "тиру ют", + "▁су доро", + "▁судо ро", + "▁G et", + "▁Ge t", + "▁ Get", + "▁рас чета", + "▁расчет а", + "▁расче та", + "▁составля ющих", + "▁спу тников", + "▁спут ников", + "▁спутник ов", + "▁ч ье", + "▁чь е", + "▁ чье", + "▁положи тельные", + "▁вы пить", + "▁выпи ть", + "▁vol unte", + "▁бума гу", + "▁бумаг у", + "▁голо вной", + "▁голов ной", + "ком мен", + "▁Нидерлан дов", + "▁располага ются", + "▁Про то", + "▁со авто", + "▁су гу", + "▁эс мин", + "▁кре ста", + "▁крест а", + "▁при чу", + "▁ору дие", + "па м", + "п ам", + "▁Ф СБ", + "ag en", + "age n", + "a gen", + "▁P lan", + "▁Pl an", + "▁Се кре", + "▁Сек ре", + "▁Су ть", + "▁футбо л", + "▁фут бол", + "▁На ру", + "▁Нар у", + "▁w inner", + "▁win ner", + "▁cap ture", + "▁capt ure", + "лет нюю", + "треть их", + "▁позво лила", + "▁позволи ла", + "▁позволил а", + "▁находя щиеся", + "эн а", + "э на", + "▁мет рах", + "▁метра х", + "▁свиде тельству", + "▁свидетель ству", + "▁свидетельств у", + "у бий", + "▁Ch annel", + "▁созда вая", + "▁Центра льный", + "▁Центр альный", + "▁в слух", + "ст ят", + "стя т", + "с тят", + "▁да ется", + "▁дает ся", + "▁altern ative", + "▁An ne", + "▁Ann e", + "▁inst alled", + "▁install ed", + "▁содержи мое", + "▁R oss", + "▁Ros s", + "▁Ro ss", + "жи ми", + "жим и", + "ж ими", + "▁со сла", + "▁сос ла", + "▁дер жав", + "▁держа в", + "▁уче ным", + "▁do ct", + "▁doc t", + "бр ю", + "б рю", + "▁до зво", + "▁Дру гая", + "З А", + "▁Но вое", + "▁Ново е", + "▁Нов ое", + "▁сдела в", + "▁сде лав", + "▁сдел ав", + "ль мо", + "льм о", + "зо вой", + "зов ой", + "ся га", + "▁Су б", + "▁l ect", + "▁le ct", + "▁ lect", + "зи ться", + "зить ся", + "▁ссы лку", + "in tend", + "int end", + "кори чне", + "ха нов", + "хан ов", + "по лага", + "▁Кирил л", + "▁Кир илл", + "▁Кири лл", + "хо та", + "хот а", + "▁ну жным", + "▁нуж ным", + "▁нужны м", + "▁у пала", + "▁упа ла", + "▁упал а", + "▁caus es", + "▁cause s", + "вобо ди", + "▁ло жка", + "▁упраж нение", + "▁ч ин", + "▁чи н", + "▁ чин", + "▁по стов", + "▁пос тов", + "▁пост ов", + "▁Пу ть", + "▁crim inal", + "▁мо тив", + "ра ж", + "▁за куп", + "▁заку п", + "▁возможно го", + "▁возмо жного", + "▁у рок", + "▁уро к", + "▁пы таться", + "▁пыта ться", + "▁ку куру", + "ie l", + "i el", + "▁дости га", + "▁достиг а", + "▁У вы", + "▁C ur", + "зи ровал", + "зирова л", + "шка м", + "ш кам", + "▁торже ственно", + "ло р", + "л ор", + "▁кры лья", + "▁крыль я", + "▁внутрен няя", + "▁По лков", + "▁Пол ков", + "▁vis ual", + "rest ling", + "ло жите", + "ложи те", + "▁im ages", + "▁image s", + "▁imag es", + "▁гря зи", + "▁гряз и", + "▁харак теру", + "▁характер у", + "▁характер ные", + "▁характерны е", + "тран спорт", + "▁Кня зь", + "ров ень", + "▁противоре чит", + "▁противоречи т", + "ль ские", + "▁architect ure", + "▁ва жности", + "▁важ ности", + "▁важно сти", + "enn is", + "▁посвя тил", + "▁над лежа", + "▁надле жа", + "▁В ид", + "▁Ви д", + "▁пере клю", + "▁G ree", + "▁Gr ee", + "▁Gre e", + "▁Ц СКА", + "S e", + "U T", + "гг ер", + "г гер", + "▁c old", + "▁col d", + "▁co ld", + "▁добро совест", + "▁из ложен", + "▁фотографи й", + "▁W rit", + "ме то", + "мет о", + "▁ле нты", + "▁л енты", + "▁лен ты", + "кото рое", + "▁Г ЭС", + "▁гипоте зы", + "К ни", + "▁ро зни", + "▁роз ни", + "▁возможно е", + "▁возмо жное", + "▁ата ковать", + "▁h ear", + "▁he ar", + "▁Mr s", + "▁по ходе", + "▁похо де", + "▁поход е", + "▁напом нил", + "▁cons isted", + "▁consist ed", + "▁mer ch", + "▁окру жение", + "▁обсу дить", + "▁пере ска", + "▁перес ка", + "▁Вильгель м", + "▁Г ДР", + "▁t rip", + "▁tr ip", + "▁tri p", + "▁Б она", + "▁Бо на", + "▁Бон а", + "▁стра нным", + "▁стран ным", + "ти ровала", + "тирова ла", + "тировал а", + "то лько", + "▁Д ен", + "▁Де н", + "▁де са", + "▁соста ву", + "▁состав у", + "▁ar ts", + "▁art s", + "те и", + "▁пу та", + "▁пут а", + "▁ пута", + "▁c ore", + "▁co re", + "▁cor e", + "▁извест ное", + "▁известно е", + "▁изве стное", + "het ic", + "h etic", + "▁а сфаль", + "▁жи телями", + "▁жителя ми", + "▁жителям и", + "▁А вра", + "▁Ав ра", + "▁Име ет", + "h o", + "▁д вою", + "▁дво ю", + "дей ствие", + "▁запа дное", + "▁запад ное", + "▁м ера", + "▁ме ра", + "▁мер а", + "▁ мера", + "==== ====", + "▁ты л", + "▁ми ровую", + "▁миро вую", + "▁миров ую", + "ЕН ИЯ", + "ЕНИ Я", + "▁рит м", + "▁карти нки", + "▁картин ки", + "▁гра фик", + "▁графи к", + "olog ies", + "▁выра жением", + "▁выражение м", + "▁g ets", + "▁get s", + "▁ge ts", + "▁испыты вал", + "▁s udden", + "▁Р ос", + "▁Ро с", + "▁m ent", + "▁me nt", + "▁men t", + "▁ ment", + "▁гене ри", + "А т", + "▁D aily", + "▁Christ mas", + "▁Э нд", + "▁Эн д", + "л з", + "▁Ли тера", + "▁Лит ера", + "▁посла ть", + "▁ва жны", + "▁важ ны", + "▁прото кола", + "▁протокол а", + "▁H art", + "▁Har t", + "▁сло бо", + "▁сл обо", + "▁конфлик ты", + "▁конфликт ы", + "▁В ай", + "▁Ва й", + "▁B ang", + "▁Ba ng", + "▁Бли жай", + "▁Ближ ай", + "▁I BM", + "ни чать", + "▁санк ций", + "▁называ лся", + "▁называл ся", + "▁B ishop", + "▁побы вал", + "▁пере ехала", + "▁переехал а", + "▁культур но", + "ach us", + "▁па спорт", + "▁пас порт", + "▁корпу се", + "▁корпус е", + "▁от носят", + "▁отно сят", + "▁относя т", + "▁эле ментом", + "▁элемент ом", + "▁по чи", + "▁поч и", + "▁исклю чено", + "ock et", + "пы тно", + "пыт но", + "▁коро лем", + "▁короле м", + "▁совер шает", + "▁соверша ет", + "▁води теля", + "▁рас шиф", + "▁расши ф", + "cript ion", + "▁v ari", + "▁var i", + "▁cont rolled", + "▁control led", + "▁по льский", + "▁поль ский", + "▁паци ент", + "▁пациен т", + "▁стреми ться", + "▁англий ским", + "▁M arg", + "▁Mar g", + "▁пред ложением", + "▁предложение м", + "▁предложе нием", + "ша йте", + "шай те", + "▁Подоб но", + "Ч а", + "▁A N", + "▁ AN", + "▁Ва сили", + "▁Васи ли", + "▁Вас или", + "▁ме трополи", + "▁метро поли", + "▁S ix", + "▁Si x", + "▁Украи нской", + "▁Украин ской", + "▁ра стор", + "▁рас тор", + "▁расто р", + "▁раст ор", + "▁авиаком пании", + "▁само лете", + "▁самоле те", + "▁самолет е", + "▁у смотре", + "восто чной", + "вос точной", + "▁авиа ционный", + "зи ла", + "зил а", + "з ила", + "▁трак тов", + "pe s", + "p es", + "▁s ole", + "▁so le", + "▁sol e", + "▁ sole", + "бр у", + "б ру", + "▁Ste ve", + "▁C ode", + "▁Co de", + "▁Э ффек", + "▁окру гов", + "▁округ ов", + "шта дт", + "▁запа дные", + "▁запад ные", + "▁близ ким", + "▁близки м", + "▁х е", + "▁ хе", + "▁хо ле", + "▁х оле", + "▁хол е", + "▁молоде жь", + "▁высо кими", + "▁высоким и", + "▁ак тивного", + "▁актив ного", + "▁активно го", + "▁до ски", + "се ти", + "сет и", + "с ети", + "▁Ф рэ", + "at ab", + "ata b", + "▁dis miss", + "▁Елиза вета", + "▁над ле", + "▁ надле", + "▁bo ys", + "▁boy s", + "▁Тимо фе", + "▁А ни", + "▁Ан и", + "▁ко з", + "▁к оз", + "▁О не", + "▁Он е", + "▁ро дного", + "▁род ного", + "▁ родного", + "ol ec", + "ole c", + "▁люби мой", + "▁любим ой", + "▁по та", + "▁sk ills", + "▁президен ту", + "▁президент у", + "▁офи с", + "▁оф ис", + "▁взгля нуть", + "▁фрон тах", + "▁фронта х", + "▁Вер нувшись", + "▁ш ума", + "▁шу ма", + "▁шум а", + "▁рекла ма", + "▁реклам а", + "▁рек лама", + "▁на чи", + "▁нач и", + "▁свобо дный", + "▁свобод ный", + "ad ow", + "ado w", + "▁аэропор ту", + "▁аэропорт у", + "▁ ща", + "ва теля", + "▁завер шил", + "▁заверши л", + "▁Comm unity", + "▁Commun ity", + "▁д ань", + "▁да нь", + "▁дан ь", + "▁Man agement", + "дс кого", + "д ского", + "▁m outh", + "со вая", + "сов ая", + "сова я", + "▁ово щи", + "До н", + "Д он", + "ро йте", + "рой те", + "эт и", + "э ти", + "▁Р ю", + "▁за пя", + "▁кам панию", + "же чь", + "▁кор зи", + "▁се сть", + "▁женщи нами", + "▁женщина ми", + "▁женщинам и", + "▁ладо ни", + "▁лицен зии", + "рус ски", + "тар кти", + "▁слу шал", + "▁слуша л", + "▁про свет", + "▁прос вет", + "▁просве т", + "▁знамени той", + "▁ка дро", + "▁кад ро", + "▁Con stitution", + "▁с конча", + "▁скон ча", + "ic ians", + "ician s", + "Ра с", + "Р ас", + "▁ос пари", + "ста би", + "ar en", + "are n", + "a ren", + "▁хозя ев", + "▁Рус ская", + "inc oln", + "▁предпочита ют", + "▁l ov", + "▁lo v", + "форма ции", + "форм ации", + "▁char ges", + "▁charg es", + "▁charge s", + "▁же мчу", + "▁нач нут", + "▁эк спор", + "▁экс пор", + "▁экспо р", + "▁с лю", + "▁сл ю", + "▁возбу ждения", + "▁сте нки", + "▁стен ки", + "▁опублико вана", + "▁опубликова на", + "▁опубликован а", + "▁вы но", + "▁жи тель", + "▁се лек", + "▁селе к", + "▁сел ек", + "▁жи вем", + "▁жив ем", + "▁Послед няя", + "▁гармо нии", + "▁гармони и", + "▁S av", + "▁Sa v", + "br a", + "b ra", + "ху ю", + "х ую", + "▁m el", + "▁me l", + "▁до ска", + "hip s", + "hi ps", + "h ips", + "▁Коми тет", + "▁при ключения", + "▁приклю чения", + "▁Те ло", + "▁юно ша", + "▁З ев", + "▁Зе в", + "▁иерархи и", + "▁гор ло", + "▁рее стра", + "▁Е два", + "ess ions", + "ession s", + "▁об особ", + "▁обо соб", + "▁ch ose", + "▁cho se", + "▁запа дном", + "▁запад ном", + "лена пра", + "Е ди", + "E P", + "▁Ка спи", + "че ско", + "▁да вала", + "▁дав ала", + "▁давал а", + "▁оста вля", + "▁нача льной", + "▁началь ной", + "▁нач альной", + "▁С кончался", + "▁thous ands", + "▁thousand s", + "▁национа льную", + "▁acc ur", + "▁мону мента", + "▁окраи не", + "▁expl ained", + "▁Fre der", + "▁Fred er", + "▁же нских", + "▁жен ских", + "ча ло", + "чал о", + "os l", + "o sl", + "▁пусты не", + "▁мудро сть", + "пла тель", + "▁w ounded", + "са ть", + "▁ми фа", + "▁миф а", + "▁стре лять", + "▁откры тии", + "▁ша га", + "▁шаг а", + "▁сло жность", + "▁сложно сть", + "▁recogn ition", + "▁м ни", + "▁мн и", + "▁ско пи", + "▁ скопи", + "че стер", + "▁молеку лы", + "▁молекул ы", + "эк с", + "э кс", + "F or", + "▁Ab b", + "▁молеку ляр", + "▁молекул яр", + "▁положи тельно", + "▁S on", + "▁So n", + "▁Васи лье", + "▁Василь е", + "строе ны", + "строен ы", + "▁т емой", + "▁те мой", + "▁тем ой", + "▁П ин", + "▁Пи н", + "ди г", + "▁в падает", + "▁впа дает", + "▁впада ет", + "ст аль", + "ста ль", + "стал ь", + "с таль", + "▁при ведены", + "▁приведен ы", + "▁вдох нов", + "до бие", + "доби е", + "▁Prof essor", + "▁establ ishment", + "▁establish ment", + "фа нта", + "фан та", + "ф анта", + "▁скло нны", + "▁поддерж ал", + "▁поддержа л", + "- \"", + "▁э кономии", + "▁экономи и", + "▁partn ership", + "▁partner ship", + "▁неу довлет", + "che stra", + "ches tra", + "▁В А", + "▁ ВА", + "▁stand ards", + "▁standard s", + "▁по льской", + "▁поль ской", + "▁упомина ние", + "▁немец ко", + "▁стро ится", + "▁строи тся", + "▁конфигура ции", + "Ч у", + "ly n", + "l yn", + "▁ро дном", + "▁род ном", + "pos es", + "pose s", + "po ses", + "▁ду мала", + "▁дума ла", + "▁думал а", + "эр а", + "э ра", + "▁парт нё", + "▁закон чить", + "▁закончи ть", + "не ниями", + "нения ми", + "▁симво лы", + "▁символ ы", + "emet ery", + "igh th", + "ight h", + "▁b udget", + "▁C as", + "▁Ca s", + "▁ка тор", + "▁като р", + "▁пе шком", + "▁проник нуть", + "▁прони кнуть", + "▁An th", + "▁Ant h", + "▁о ду", + "▁од у", + "▁сте пи", + "▁степ и", + "образ ных", + "▁охва тывает", + "▁охваты вает", + "▁под ключения", + "▁подклю чения", + "▁Алексе ев", + "▁королев ской", + "▁короле вской", + "че нно", + "чен но", + "ч енно", + "▁психи атри", + "] )", + "▁за писал", + "▁запи сал", + "▁записа л", + "▁взя в", + "▁соци ологи", + "▁императри цы", + "▁упра влен", + "▁се пара", + "▁ис кали", + "▁иска ли", + "▁иск али", + "▁искал и", + "▁металлу рги", + "вол нова", + "▁co oper", + "жа ния", + "▁тысяче летия", + "▁име лось", + "▁имело сь", + "грам ми", + "грамм и", + "▁Techn ology", + "▁бли зок", + "▁близ ок", + "га ны", + "ган ы", + "шед шего", + "▁bene f", + "▁вза мен", + "Во л", + "В ол", + "▁circ um", + "▁прокура туры", + "се ры", + "сер ы", + "с еры", + "▁ле вую", + "ri ne", + "r ine", + "конферен ции", + "во ци", + "▁пото ков", + "▁поток ов", + "га т", + "г ат", + "▁Ар мия", + "ма к", + "м ак", + "▁жела л", + "▁жел ал", + "▁пробле мати", + "▁проблема ти", + "▁Поро шенко", + "▁су ду", + "▁суд у", + "▁n ote", + "▁not e", + "▁no te", + "▁доку менте", + "▁документ е", + "ter m", + "te rm", + "t erm", + "▁столе тий", + "▁зи мы", + "▁зим ы", + "▁Са ша", + "en na", + "enn a", + "ва лы", + "вал ы", + "в алы", + "▁Ма лой", + "▁Мало й", + "▁психи ки", + "▁рас твор", + "▁раство р", + "▁раст вор", + "▁мор фо", + "▁на страи", + "▁у том", + "▁уто м", + "▁ут ом", + "▁Пред ставьте", + "▁Предста вьте", + "▁l es", + "▁le s", + "▁ les", + "▁балан с", + "на йтед", + "лю бо", + "люб о", + "▁винов ат", + "▁винова т", + "▁стра дает", + "▁страда ет", + "▁H arry", + "▁Har ry", + "ze r", + "z er", + "▁экра ни", + "▁экран и", + "y r", + "▁Ра фа", + "▁inter ests", + "▁interest s", + "Ми р", + "М ир", + "▁H oly", + "▁Hol y", + "▁Ho ly", + "▁пале о", + "▁при казом", + "▁прика зом", + "▁приказ ом", + "ну тых", + "нут ых", + "нуты х", + "▁би лет", + "▁желез ная", + "ac c", + "a cc", + "сен ко", + "с енко", + "▁кисло род", + "▁призна ли", + "▁приз нали", + "▁признал и", + "▁бере гах", + "▁берега х", + "▁Кана де", + "▁дополни тельный", + "▁Д зер", + "▁эта пов", + "▁этап ов", + "▁враже ских", + "▁про яс", + "▁проя с", + "▁follow s", + "▁напомина ют", + "▁У чился", + "▁Учи лся", + "▁Уч ился", + "зе ро", + "зер о", + "ъем ле", + "ъ емле", + "▁воз лага", + "▁prom ote", + "▁promot e", + "ло гию", + "логи ю", + "▁авиа ция", + "▁право вой", + "ян а", + "я на", + "лё нный", + "лён ный", + "л ённый", + "▁раз вра", + "▁Са мым", + "▁K im", + "▁физи ческое", + "▁Полу чив", + "▁млекопита ющих", + "▁ду бли", + "▁ob tain", + "▁vol ume", + "▁дер жаться", + "▁держа ться", + "▁держать ся", + "▁Dav is", + "▁неу дачи", + "▁неуда чи", + "анг лий", + "▁раз ду", + "▁о стано", + "▁ос тано", + "▁оста но", + "▁ост ано", + "кла сси", + "класс и", + "▁от мени", + "▁отме ни", + "gen cy", + "g ency", + "▁почув ствовать", + "▁от реза", + "▁отре за", + "▁отрез а", + "▁ищу т", + "град ской", + "▁ру га", + "ле ли", + "лел и", + "▁ва ре", + "▁вар е", + "▁разы гры", + "▁п ьян", + "▁пья н", + "▁пь ян", + "▁но гой", + "▁ног ой", + "▁ного й", + "▁соста влять", + "▁состав лять", + "▁составля ть", + "ia te", + "iat e", + "i ate", + "▁в ин", + "▁ви н", + "▁ вин", + "ле нном", + "лен ном", + "ленно м", + "▁опо зна", + "ме ном", + "мен ом", + "▁выпла ты", + "▁закры т", + "▁вы страи", + "▁сле по", + "▁трам вай", + "▁владе ет", + "oc ker", + "ock er", + "▁из вра", + "▁пе сок", + "▁пес ок", + "▁Ar gent", + "▁д жу", + "▁ джу", + "An d", + "A nd", + "▁космо са", + "▁космос а", + "ко ен", + "кое н", + "D C", + "ке нт", + "кен т", + "к ент", + "▁сло жная", + "▁B ru", + "▁Br u", + "▁о гур", + "▁ог ур", + "▁ди сло", + "▁дис ло", + "▁ну жные", + "▁нуж ные", + "▁нужны е", + "U M", + "▁инду стрии", + "▁индустри и", + "ли нской", + "лин ской", + "it zer", + "itz er", + "▁недоста тков", + "▁a st", + "▁as t", + "▁ ast", + "сист емы", + "систе мы", + "▁с оз", + "▁со з", + "▁согласи лись", + "▁ш ну", + "▁Сов сем", + "▁ли шен", + "▁лиш ен", + "▁социаль ный", + "▁соци альный", + "li fe", + "l ife", + "ка зывает", + "казыва ет", + "▁еже меся", + "▁не лов", + "▁француз ским", + "▁ощу ти", + "▁re ign", + "▁делега ции", + "б би", + "▁Ви теб", + "▁L ind", + "▁Li nd", + "▁перио де", + "▁период е", + "▁R en", + "▁Re n", + "▁англий ские", + "шо у", + "ка ло", + "кал о", + "▁G il", + "▁Gi l", + "▁Со циаль", + "▁продолжа лась", + "▁продолжала сь", + "▁про ведены", + "▁проведе ны", + "▁проведен ы", + "▁степень ю", + "▁степ енью", + "▁ю мо", + "▁вы клю", + "▁бы тие", + "▁Сол женицы", + "▁Т ен", + "▁Те н", + "▁сме нил", + "▁смени л", + "▁фестива ль", + "▁холо д", + "▁хол од", + "то вую", + "тов ую", + "▁экономи ку", + "мно го", + "м ного", + "▁И склю", + "▁Ис клю", + "▁P ope", + "▁Po pe", + "▁Pop e", + "▁H o", + "чи вым", + "▁was n", + "▁рыбо лов", + "▁выда ющиеся", + "▁И горя", + "▁интере сный", + "▁интерес ный", + "olog ist", + "▁молеку л", + "▁d ry", + "▁dr y", + "ке ров", + "кер ов", + "▁re ady", + "▁read y", + "▁ ready", + "▁располага лись", + "▁бы стры", + "▁быст ры", + "▁на зываться", + "▁называ ться", + "▁называть ся", + "▁B ir", + "▁Bi r", + "ла сти", + "лас ти", + "▁просмо тра", + "▁кур сов", + "▁курс ов", + "am in", + "ami n", + "a min", + "▁ра сы", + "▁рас ы", + "ши ну", + "шин у", + "▁и знача", + "▁из нача", + "▁изна ча", + "▁даль нейших", + "▁дальней ших", + "юр ы", + "ю ры", + "▁По хоже", + "▁разговари вать", + "E n", + "▁оста вляя", + "▁оставля я", + "▁B alt", + "▁Bal t", + "▁Слу ж", + "▁против нику", + "▁противник у", + "▁глу пы", + "▁подрост ков", + "лет ним", + "▁N ether", + "▁Ne ther", + "▁Net her", + "▁бесе ду", + "Пе т", + "П ет", + "▁lo an", + "▁фи льтра", + "▁филь тра", + "▁сту дент", + "▁студен т", + "▁влия ют", + "▁\" \"", + "гну в", + "г нув", + "▁пар тией", + "▁парти ей", + "▁Попро бу", + "▁бро дя", + "шни к", + "ш ник", + "▁ры цар", + "▁рыца р", + "▁на пр", + "n ight", + "▁популяр ности", + "▁за грани", + "▁загра ни", + "▁неко его", + "▁некое го", + "▁сред нюю", + "wh ere", + "w here", + "ши тся", + "шит ся", + "ш ится", + "▁spec ifically", + "▁specific ally", + "го вого", + "гово го", + "▁Вален тина", + "▁Валентин а", + "▁литера туро", + "▁литератур о", + "▁Ар кти", + "▁изме рений", + "▁тер петь", + "▁терпе ть", + "▁преобла да", + "▁раз гля", + "хла д", + "х лад", + "▁уди вление", + "▁in stitution", + "▁instit ution", + "▁обсу ждать", + "▁обсужда ть", + "▁опас ных", + "▁опа сных", + "▁консерва тории", + "▁ред ких", + "▁employ ees", + "▁бо яр", + "▁боя р", + "pa t", + "p at", + "Жи з", + "Ж из", + "▁ви дение", + "▁виде ние", + "▁ видение", + "ect or", + "e ctor", + "ivers ary", + "▁поли тикой", + "▁полити кой", + "▁политик ой", + "́ в", + "мо гу", + "▁ва кан", + "▁вак ан", + "щи кам", + "щик ам", + "щика м", + "▁G reg", + "▁Gre g", + "▁r uled", + "▁rul ed", + "▁ru led", + "▁rule d", + "▁ги бри", + "▁гиб ри", + "▁пере дали", + "▁перед али", + "▁переда ли", + "▁передал и", + "▁п еть", + "▁пе ть", + "▁пет ь", + "▁ петь", + "▁розы гры", + "Го р", + "Г ор", + "▁По ве", + "▁ба шня", + "▁баш ня", + "▁социаль ная", + "▁соци альная", + "▁четвер тый", + "▁не сло", + "▁нес ло", + "▁ несло", + "▁Ф ро", + "▁начина ли", + "▁начинал и", + "▁начи нали", + "ma d", + "m ad", + "▁le gend", + "▁leg end", + "or ney", + "orn ey", + "ссам бле", + "▁эта ж", + "▁паро ход", + "▁призна ется", + "▁признает ся", + "▁сро ком", + "▁срок ом", + "▁О ренбург", + "▁S om", + "▁So m", + "▁яй цо", + "▁пода льше", + "▁о ф", + "▁клу бы", + "▁клуб ы", + "▁W W", + "▁глубо кого", + "▁глубоко го", + "▁прис ваи", + "▁с тена", + "▁ст ена", + "▁сте на", + "▁стен а", + "▁в клады", + "▁вклад ы", + "▁вкла ды", + "▁по лете", + "▁пол ете", + "▁поле те", + "▁полет е", + "▁наслед ство", + "▁С эм", + "▁Сэ м", + "!) ,", + "! ),", + "▁P ass", + "▁комму ны", + "▁общепри ня", + "▁Г О", + "▁ ГО", + "▁writ ers", + "▁writer s", + "▁d ipl", + "▁di pl", + "▁устанавли вать", + "▁европей ского", + "ле тие", + "▁за жига", + "▁зажи га", + "▁ле тать", + "▁лета ть", + "▁Кра сная", + "▁A h", + "▁да нную", + "▁дан ную", + "▁П ас", + "▁Па с", + "▁способ ных", + "▁способны х", + "▁выступа я", + "▁выступ ая", + "▁буржуа зии", + "val ue", + "▁Не кра", + "▁Нек ра", + "ъю нк", + "оло ка", + "о лока", + "▁вы слу", + "▁выс лу", + "▁E very", + "▁Ev ery", + "▁кол хоза", + "▁колхо за", + "▁колхоз а", + "▁фак том", + "▁факт ом", + "▁ма ну", + "▁ ману", + "▁Не а", + "▁написа н", + "▁напи сан", + "фо нов", + "фон ов", + "ф онов", + "жник а", + "ж ника", + "▁вла стям", + "▁п рит", + "▁при т", + "▁пр ит", + "пла не", + "план е", + "▁про жил", + "▁прожи л", + "▁оста льным", + "▁ост альным", + "▁фу тов", + "▁фут ов", + "▁аэрод рома", + "▁аэродром а", + "▁аэродро ма", + "ни а", + "ow nt", + "own t", + "▁при ступил", + "▁стади оне", + "▁стадион е", + "ча к", + "ч ак", + "ря ми", + "р ями", + "▁ле сной", + "▁лес ной", + "▁подроб нее", + "▁коро лева", + "▁королев а", + "▁короле ва", + "цки м", + "ц ким", + "▁аре ст", + "▁ро лях", + "▁инте нси", + "▁интен си", + "ды й", + "▁Ман дель", + "▁s afe", + "▁saf e", + "▁выделя ют", + "▁выде ляют", + "io t", + "i ot", + "go ing", + "▁ра ка", + "▁р ака", + "▁рак а", + "▁ рака", + "▁хра нятся", + "▁дож дя", + "зе ме", + "зем е", + "▁poss ibly", + "до вое", + "дов ое", + "дово е", + "▁та бу", + "▁француз ском", + "ure au", + "▁се мена", + "▁сем ена", + "▁семе на", + "▁цивили зация", + "▁a x", + "▁ ax", + "▁П руссии", + "▁Пру ссии", + "▁та ков", + "▁так ов", + "▁пого ду", + "▁кли мат", + "▁клима т", + "▁E arl", + "▁Ear l", + "▁exp ression", + "▁express ion", + "▁за груз", + "▁загру з", + "▁under standing", + "▁understand ing", + "▁У эль", + "▁Уэ ль", + "▁подписа н", + "▁подпи сан", + "▁ин тернациона", + "▁интер национа", + ", [", + "▁N ick", + "▁Nic k", + "▁re ality", + "▁real ity", + "▁комплек сов", + "▁комплекс ов", + "м ли", + "▁cast le", + "▁cas tle", + "▁де ление", + "▁деле ние", + "▁ деление", + "▁ed ge", + "▁г ры", + "▁гр ы", + "▁ гры", + "▁маль чиков", + "▁мальчик ов", + "▁мальчи ков", + "▁А ба", + "▁Аб а", + "▁ва жная", + "▁важ ная", + "▁важна я", + "▁temper ature", + "▁бе седа", + "▁бесе да", + "пе ред", + "пер ед", + "пере д", + "▁фраг менты", + "▁фрагмент ы", + "ep er", + "e per", + "ic ide", + "▁M ic", + "▁пору чил", + "▁под ходят", + "▁подход ят", + "▁подходя т", + "▁max imum", + "▁удовлет ворение", + "▁удовлетво рение", + "▁д лине", + "▁дли не", + "▁длин е", + "ul ty", + "ult y", + "iv ered", + "ive red", + "iver ed", + "▁пар ня", + "▁неме цком", + "▁немец ком", + "▁немецко м", + "▁Кор ни", + "▁r ich", + "▁ri ch", + "▁ rich", + "▁S et", + "▁Se t", + "▁ини ции", + "▁за бот", + "▁забо т", + "▁заб от", + "▁па виль", + "▁Mean while", + "▁ситуа цией", + "▁у ют", + "при меча", + "▁Та бли", + "▁на шёл", + "▁наш ёл", + "▁Ле чение", + "▁необходи мого", + "▁необходимо го", + "У Н", + "▁у ходя", + "▁ухо дя", + "▁уход я", + "iv a", + "i va", + "▁тай ной", + "▁тайно й", + "▁сай тов", + "▁сайт ов", + "ot ten", + "ott en", + "▁религиоз ного", + "▁neighbor hood", + "▁дол гих", + "▁долг их", + "ве на", + "вен а", + "в ена", + "▁христи а", + "▁н ью", + "▁ нью", + "▁Все х", + "an na", + "ann a", + "то кси", + "ток си", + "▁Р ек", + "▁Ре к", + "▁Ки евской", + "▁Киев ской", + "▁F ront", + "▁счита лись", + "▁считали сь", + "об ъек", + "́ ние", + "▁per fect", + "но вна", + "нов на", + "▁исчер пы", + "▁нару шением", + "▁нарушение м", + "▁вы ступила", + "▁выступил а", + "▁выступ ила", + "дор ф", + "▁e g", + "at ures", + "ature s", + "atur es", + "гу а", + "г уа", + "▁при нялся", + "▁приня лся", + "▁принял ся", + "▁промышлен ного", + "▁Му зе", + "▁А О", + "▁ АО", + "O L", + "▁я вилось", + "вле нными", + "влен ными", + "вленным и", + "в ленными", + "▁R oll", + "▁Ro ll", + "▁по вели", + "▁пове ли", + "▁И З", + "▁ ИЗ", + "ст ке", + "с тке", + "▁холо дно", + "▁хол одно", + "▁холод но", + "le ts", + "let s", + "l ets", + "▁О бя", + "▁Об я", + "▁тран сли", + "▁транс ли", + "▁Рабо ты", + "▁L incoln", + "▁отра жения", + "▁c lin", + "▁cl in", + "▁доб рые", + "▁oppos ite", + "▁кана лы", + "▁кан алы", + "▁канал ы", + "▁полу чении", + "во ем", + "вое м", + "▁Д я", + "▁еги п", + "▁в рожден", + "▁получи вший", + "▁получив ший", + "ну той", + "нут ой", + "▁пострада вших", + "▁Ал тай", + "▁Be ach", + "▁Viet nam", + "▁хра мов", + "▁храм ов", + "▁спо ров", + "▁спор ов", + "▁Пер вого", + "▁Перво го", + "▁осве щения", + "▁про ше", + "▁прош е", + "▁рас ще", + "Al l", + "A ll", + "▁З дание", + "▁на стро", + "▁нас тро", + "▁fl u", + "▁держа вы", + "▁держав ы", + "▁х ар", + "▁ха р", + "▁ хар", + "▁пото ки", + "▁поток и", + "▁ш ёл", + "▁ шёл", + "▁S em", + "▁Se m", + "▁в ступили", + "▁вступил и", + "▁вступи ли", + "▁вступ или", + "▁слабо сти", + "▁рассказыва ли", + "▁рассказывал и", + "▁рассказы вали", + "▁ro oms", + "▁room s", + "▁Brig ade", + "▁purch ase", + "об у", + "о бу", + "▁B all", + "▁Bal l", + "▁Ba ll", + "▁о том", + "▁от ом", + "▁ото м", + "▁Э лиза", + "▁Эли за", + "▁проце дура", + "▁процеду ра", + "тка м", + "тк ам", + "т кам", + "▁бога тый", + "▁богаты й", + "▁не способ", + "▁Х ро", + "▁дви жению", + "он о", + "о но", + "▁це нные", + "▁цен ные", + "▁пригла шение", + "▁т ун", + "▁ту н", + "▁о ро", + "▁ор о", + "▁улуч шение", + "▁Уче ные", + "▁c atch", + "▁cat ch", + "пла н", + "п лан", + "▁веду щие", + "жда ются", + "ждают ся", + "▁моду ля", + "▁вклю чён", + "▁красо ту", + "▁experience d", + "▁experien ced", + "▁вы дать", + "▁выда ть", + "▁does n", + "М П", + "▁ва жна", + "▁важ на", + "▁бе лыми", + "▁белым и", + "▁необходи мую", + "▁необходим ую", + "ком па", + "▁com mitted", + "▁commit ted", + "▁выну ждена", + "▁вынужден а", + "▁cerem ony", + "▁С цена", + "al ty", + "alt y", + "чи ва", + "чив а", + "▁го во", + "▁ гово", + "▁до ставки", + "▁доста вки", + "▁тан ковых", + "▁танков ых", + "▁митрополи т", + "▁митропо лит", + "▁бо ятся", + "▁боя тся", + "ни ческим", + "ль ностью", + "льно стью", + "льность ю", + "▁Г А", + "▁ ГА", + "en nes", + "enn es", + "▁fl at", + "▁япо нского", + "▁япон ского", + "▁Север ный", + "▁зе лень", + "▁зеле нь", + "▁овла деть", + "▁f ired", + "▁fire d", + "▁рабо тами", + "▁работа ми", + "?\" ,", + "? \",", + "▁пре дки", + "▁пред ки", + "▁во дки", + "▁вод ки", + "▁Че хии", + "▁techn iques", + "▁technique s", + "▁приня ло", + "▁принял о", + "sc h", + "s ch", + "▁exhib ition", + "▁жи ра", + "сло й", + "сл ой", + "с лой", + "▁proper ties", + "▁выпол нял", + "▁выполня л", + "▁выше у", + "лад ший", + "▁h ope", + "▁hop e", + "▁ме стными", + "▁мест ными", + "▁местным и", + "▁за пуск", + "▁запу ск", + "де лия", + "дели я", + "жа м", + "ж ам", + "▁за полне", + "▁запо лне", + "▁запол не", + "▁встре чает", + "▁встреча ет", + "▁Ал жи", + "▁красо та", + ": #", + "▁опублико ваны", + "▁опубликова ны", + "▁опубликован ы", + "p a", + "ков ская", + "▁при еха", + "▁прие ха", + "ear s", + "e ars", + "▁гра бе", + "▁психо логической", + "▁психологи ческой", + "л та", + "▁s ession", + "Л Е", + "▁показа н", + "▁пока зан", + "ти ровки", + "▁лауре ат", + "▁лауреа т", + "▁продви жения", + "r c", + "▁т рей", + "▁тре й", + "▁тр ей", + "▁опыт ы", + "▁опы ты", + "ли вым", + "▁Ч или", + "▁Чи ли", + "▁ле жала", + "▁лежа ла", + "▁лежал а", + "Мо р", + "М ор", + "▁с эр", + "дви г", + "▁раз бе", + "▁При шлось", + "▁Ал лах", + "▁Алла х", + "▁ска лы", + "▁ск алы", + "▁взаимоот ношений", + "▁arr ival", + "▁out put", + "▁пря мом", + "▁прямо м", + "▁прокуро ра", + "▁прокурор а", + "при им", + "▁те рять", + "▁тер ять", + "▁теря ть", + "▁стати стики", + "▁отмет ила", + "▁отме тила", + "▁отметил а", + "▁попыта лись", + "▁компенса ции", + "▁Во лы", + "▁Вол ы", + "▁пле чами", + "▁у ехать", + "▁во стре", + "▁вос тре", + "То р", + "Т ор", + "▁Прак тически", + "▁Ф И", + "ва йтесь", + "вай тесь", + "вайте сь", + "▁dif ference", + "▁differ ence", + "с ви", + "▁обрабо тке", + "сс кий", + "с ский", + "▁Совет ском", + "in ois", + "ino is", + "▁литератур ный", + "▁нем ногие", + "▁немно гие", + "▁выс шие", + "▁искус ственного", + "▁искусстве нного", + "▁искусственно го", + "лл у", + "л лу", + "▁постоя нные", + "▁содержа тся", + "▁содержат ся", + "▁придума ть", + "▁свя щенно", + "▁священ но", + "г л", + "лы к", + "▁ре че", + "du cing", + "duc ing", + "s ize", + "▁А рно", + "▁Ар но", + "... \",", + "...\" ,", + "▁револю ционного", + "▁а пте", + "▁ап те", + "▁г ерба", + "▁ге рба", + "▁гер ба", + "▁Нере дко", + "▁надея лся", + "▁че шу", + "▁чеш у", + "но стях", + "нос тях", + "▁ф из", + "▁фи з", + "▁подразуме вает", + "▁D or", + "▁Do r", + "▁уров нях", + "▁уровня х", + "▁под лежа", + "▁подле жа", + "▁наз ваний", + "▁назва ний", + "▁ве дение", + "▁ ведение", + "▁утвер жден", + "▁катастро фи", + "ca r", + "c ar", + "▁невы носи", + "▁под ста", + "▁подс та", + "▁соответ ствующее", + "▁соответству ющее", + "▁dec or", + "▁Х ам", + "▁Ха м", + "▁h ors", + "▁hor s", + "▁на ходить", + "▁находи ть", + "▁находит ь", + "▁наход ить", + "▁b ond", + "▁bo nd", + "▁вы сла", + "▁выс ла", + "▁си льная", + "▁силь ная", + "чи кам", + "чик ам", + "чика м", + "▁кван товой", + "▁заслу живает", + "▁заслужи вает", + "ду ши", + "душ и", + "▁Gold en", + "▁commission ed", + "▁Ab out", + "▁запла тить", + "▁сул тана", + "с мысле", + "▁sur vey", + "▁surv ey", + "ra cy", + "rac y", + "r acy", + "▁изме нилась", + "▁измени лась", + "▁изме няется", + "▁изменя ется", + "pect ive", + "▁Ф рун", + "фе н", + "ф ен", + "▁цвет ом", + "▁цве том", + "▁широ ким", + "▁сен тябрь", + "пе нди", + "пен ди", + "▁про сыпа", + "ч жу", + "▁комисса р", + "▁пре ссы", + "▁пресс ы", + "▁Сред ний", + "▁ни сколько", + "▁Тро цкий", + "an te", + "ant e", + "▁chem ical", + "▁организа торов", + "▁организатор ов", + "▁удосто ве", + "мс кий", + "м ский", + "▁бы вал", + "▁противоре чие", + "▁противоречи е", + "us er", + "use r", + "u ser", + "▁ну жный", + "▁нуж ный", + "▁нужны й", + "▁д лится", + "▁дли тся", + "образ ные", + "▁анг л", + "▁ан гл", + "▁прозви ще", + "▁ре альный", + "▁реаль ный", + "▁реа льный", + "▁old est", + "▁раз броса", + "▁предо стере", + "▁Результа т", + "го ворить", + "гово рить", + "говор ить", + "говори ть", + "▁вели чину", + "▁величи ну", + "я дер", + "▁По пов", + "ё к", + "де и", + "▁па рус", + "▁пар ус", + "▁пару с", + "▁fact ory", + "▁factor y", + "▁подраз деление", + "▁подразделе ние", + "▁б рали", + "▁бра ли", + "▁брал и", + "▁Dan iel", + "▁Dani el", + "▁возвра щает", + "▁возвраща ет", + "ья ми", + "ь ями", + "▁P ython", + "▁герман ского", + "▁Ear ly", + "▁Earl y", + "▁дли нной", + "▁длин ной", + "▁связа нный", + "▁связан ный", + "▁Куй бы", + "▁s olid", + "▁sol id", + "▁от деле", + "▁отде ле", + "▁отдел е", + "▁бе лка", + "B e", + "по сти", + "▁уво лен", + "▁прави теля", + "ва рить", + "вар ить", + "вари ть", + "▁поряд ку", + "▁fun ctions", + "▁function s", + "▁с енса", + "▁се нса", + "▁сен са", + "▁W ind", + "▁Win d", + "▁Wi nd", + "▁сере бро", + "▁al leg", + "▁alle g", + "▁К рю", + "шня я", + "ш няя", + "▁engine ering", + "▁т ворения", + "▁тво рения", + "▁пере ходить", + "▁переход ить", + "▁переходит ь", + "▁тво их", + "▁твои х", + "▁большо му", + "▁большом у", + "▁g ender", + "▁gen der", + "▁ge nder", + "▁sup posed", + "▁удоб ства", + "er ts", + "ert s", + "▁диапазо не", + "▁ка зар", + "▁каза р", + "▁каз ар", + "то вский", + "тов ский", + "▁трево ги", + "▁Израи ле", + "▁генера лов", + "▁генерал ов", + "▁об мени", + "▁обмен и", + "зя н", + "з ян", + "▁За кона", + "▁Зак она", + "▁Закон а", + "▁возник новение", + "▁возникнове ние", + "▁В одо", + "▁Во до", + "▁твор ческого", + "▁с лез", + "▁сле з", + "▁сл ез", + "▁good s", + "▁есте ство", + "▁вос ходя", + "ха ли", + "хал и", + "х али", + "▁р ва", + "▁ рва", + "▁техни кой", + "▁призна лся", + "▁признал ся", + "▁из редка", + "▁изре дка", + "▁Ра дио", + "▁Ради о", + "ри цы", + "▁партий ной", + "▁многочисле нными", + "▁на нима", + "▁за числе", + "▁carry ing", + "▁v oted", + "▁vot ed", + "▁vote d", + "▁vo ted", + "▁Хо чу", + "▁бе лая", + "▁Is lands", + "▁Island s", + "▁ис торий", + "▁исто рий", + "▁истори й", + "тре т", + "тр ет", + "т рет", + "▁недвижи мости", + "z z", + "▁право су", + "▁[... ]", + "▁кол ба", + "▁пар ни", + "КО В", + "К ОВ", + "▁Г ёте", + "▁снаб жения", + "▁ снабжения", + "▁Ве ду", + "▁Досто евский", + "▁счита ем", + "▁при страсти", + "тт и", + "т ти", + "ля лся", + "лял ся", + "▁und ert", + "▁under t", + "ва нным", + "ван ным", + "▁liter ary", + "▁по лы", + "▁пол ы", + "▁appro pri", + "▁опера циях", + "▁операция х", + "▁мы шь", + "▁мыш ь", + "▁мо ментов", + "▁момент ов", + "▁за кри", + "▁зак ри", + "▁h a", + "▁ ha", + "▁насе лён", + "▁населё н", + "▁prep ared", + "▁prepar ed", + "▁конструк цию", + "▁министер ство", + "▁К ю", + "on ym", + "ony m", + "▁Ф ей", + "▁Фе й", + "▁тек стом", + "▁текст ом", + "▁тексто м", + "ri x", + "r ix", + "▁Д ТП", + "▁привиле ги", + "▁опера тивной", + "▁оперативно й", + "не я", + "▁смы слу", + "▁смысл у", + "de v", + "d ev", + "ши р", + "ш ир", + "▁юриди ческого", + "P D", + "▁де тек", + "▁дет ек", + "▁дете к", + "▁Го лова", + "▁Голо ва", + "▁Да ма", + "▁ти шина", + "ше вского", + "шев ского", + "ш евского", + "ча тых", + "чат ых", + "▁жиз ненных", + "▁жизне нных", + "▁доро гие", + "▁дороги е", + "▁start s", + "▁star ts", + "▁f il", + "▁библиоте ку", + "▁библиотек у", + "▁пенси он", + "▁пен сион", + "▁Де ни", + "▁Ден и", + "▁c ro", + "▁cr o", + "▁Пе рио", + "▁Ad minist", + "f oot", + "хо ло", + "хол о", + "х оло", + "▁скло нность", + "хе р", + "х ер", + "▁закон чился", + "▁закончи лся", + "▁закончил ся", + "k m", + "ети и", + "е тии", + "ли тет", + "лит ет", + "лите т", + "ти лле", + "тил ле", + "▁федера льных", + "ро ву", + "ров у", + "▁М сти", + "▁th ick", + "▁пре терпе", + "▁bott om", + "▁symb ol", + "эл и", + "э ли", + "ИТ АР", + "И ТАР", + "▁красно ре", + "ap es", + "ape s", + "a pes", + "▁return s", + "▁дела ла", + "▁дел ала", + "▁делал а", + "▁detail s", + "▁устанавли вает", + "▁во дах", + "▁вода х", + "▁авто бус", + "▁автобу с", + "▁cor por", + "▁W i", + "▁че ки", + "pos s", + "po ss", + "p oss", + "▁им пор", + "▁ге нов", + "▁ген ов", + "▁гено в", + "▁ генов", + "▁П ана", + "▁Па на", + "▁Пан а", + "▁вы жить", + "▁выжи ть", + "▁расска зывают", + "▁рассказыва ют", + "▁рассказы вают", + "с бор", + "▁про сту", + "▁прос ту", + "▁прост у", + "ag a", + "a ga", + "▁фено мен", + "па ти", + "▁earl iest", + "▁I ns", + "▁In s", + "З ве", + "пи в", + "п ив", + "▁у чить", + "▁учи ть", + "▁уч ить", + "▁специали ста", + "▁специалист а", + "wh o", + "w ho", + "▁коэффици ент", + "▁привле чения", + "▁передви жения", + "ни чной", + "▁не ду", + "во де", + "вод е", + "▁ра змы", + "▁раз мы", + "▁тради ционные", + "▁гри бы", + "▁гриб ы", + "▁систе мами", + "▁система ми", + "▁демонстри рует", + "▁Про шу", + "▁настоя щем", + "▁sugg ests", + "▁suggest s", + "▁при думы", + "и гры", + "▁по дор", + "▁под ор", + "▁подо р", + "зо вые", + "зовы е", + "те мати", + "тема ти", + "▁под суди", + "▁при ступить", + "ко рей", + "кор ей", + "▁наси лие", + "▁насили е", + "▁second s", + "аль ным", + "а льным", + "▁полага ть", + "▁пола гать", + "achus etts", + "несе но", + "несен о", + "angu age", + "▁замеча ния", + "ло вка", + "лов ка", + "со вым", + "Ко ро", + "Кор о", + "▁освобо ждении", + "▁го нке", + "▁гон ке", + "▁гарни зо", + "ти шь", + "▁посту пок", + "▁поступ ок", + "▁укреп ление", + "▁укре пление", + "▁укрепле ние", + "▁музы кой", + "am i", + "▁конкурен тов", + "щи ца", + "ше вский", + "шев ский", + "ш евский", + "▁заба стов", + "▁сказа в", + "▁ска зав", + "▁сказ ав", + "▁regard ed", + "▁к исти", + "▁ки сти", + "▁воск лица", + "▁нео фициаль", + "▁Mos cow", + "ри йский", + "рий ский", + "▁Пале сти", + "▁прось бу", + "▁объек тами", + "▁объекта ми", + "пре м", + "пр ем", + "п рем", + "▁O S", + "▁ OS", + "▁иде ями", + "▁идея ми", + "ле ба", + "леб а", + "▁про сили", + "▁прос или", + "▁просил и", + "▁проси ли", + "▁уби вать", + "мо нта", + "мон та", + "монт а", + "▁выс шим", + "▁ана логии", + "▁аналоги и", + "пере да", + "перед а", + "▁фло ти", + "▁флот и", + "▁an aly", + "▁anal y", + "▁Во скре", + "▁Вос кре", + "▁loc ations", + "▁location s", + "ф ло", + "▁Ста ти", + "▁Mil itary", + "▁сложи лась", + "is ta", + "ist a", + "▁о зер", + "▁озе р", + "▁оз ер", + "ди лось", + "дило сь", + "▁з вании", + "▁шпи она", + "▁intro duction", + "▁использова лась", + "I F", + "▁люби ла", + "▁любил а", + "▁из ле", + "▁ко декса", + "▁коде кса", + "▁Squad ron", + "Ф о", + "▁террито риях", + "▁территория х", + "▁из би", + "▁воору жений", + "▁бит ва", + "га ра", + "гар а", + "г ара", + "▁сати ри", + "▁dis appe", + "▁ста вил", + "▁став ил", + "▁здоров о", + "▁здоро во", + "▁Wh it", + "кур с", + "пля р", + "п ляр", + "ч жоу", + "▁е ле", + "▁за пада", + "▁запа да", + "▁запад а", + "▁поэ зия", + "▁ин квизи", + "▁э р", + "▁ эр", + "▁D own", + "▁Do wn", + "▁Ду б", + "▁от дели", + "▁отде ли", + "▁отдел и", + "▁пло тности", + "▁плотно сти", + "▁плот ности", + "▁вели чине", + "▁величи не", + "▁О й", + "Йор ка", + "Йорк а", + "▁f lying", + "▁fl ying", + "▁fly ing", + "▁петру шки", + "▁Р ам", + "▁Ра м", + "▁плани ровалось", + "▁h uge", + "▁озе ре", + "▁оз ере", + "▁озер е", + "▁У каза", + "▁вре менной", + "▁времен ной", + "▁време нной", + "▁временно й", + "▁Des ign", + "▁рит ми", + "▁ритм и", + "▁Ш вар", + "▁За бо", + "▁ли чном", + "▁лично м", + "▁отве чают", + "▁отвеча ют", + "▁пусты ни", + "▁пода рки", + "▁подар ки", + "▁S n", + "▁несо стоя", + "▁це ленапра", + "▁профсо ю", + "▁ро дных", + "▁род ных", + "▁ родных", + "▁вече ру", + "▁вечер у", + "▁плодо твор", + "сто ра", + "стор а", + "с тора", + "▁mot ion", + "▁Н ина", + "▁Ни на", + "▁п ь", + "▁ пь", + "▁describ es", + "▁H ou", + "▁Ho u", + "▁рим лян", + "▁римля н", + "▁цвета ми", + "▁цве тами", + "▁тро ллей", + "НИ Е", + "Н ИЕ", + "re ll", + "rel l", + "r ell", + "ри йского", + "рий ского", + "us al", + "en ses", + "ens es", + "ense s", + "▁cont aining", + "▁contain ing", + "▁se ats", + "▁sea ts", + "▁seat s", + "▁дополни тельного", + "▁дополнительно го", + "▁ля гу", + "▁развед ку", + "▁разве дку", + "▁по ступила", + "▁посту пила", + "▁поступ ила", + "▁поступил а", + "▁поступи ла", + "▁о характери", + "▁миро вом", + "▁миров ом", + "▁равновеси е", + "▁off ices", + "▁offic es", + "▁office s", + "▁та ковой", + "▁таков ой", + "▁продви жение", + "▁Stud ies", + "▁opin ion", + "▁п рив", + "▁при в", + "▁пр ив", + "ht ml", + "▁колле гами", + "▁я вились", + "▁за нялся", + "▁заня лся", + "▁занял ся", + "▁ак тивов", + "▁актив ов", + "▁изме нил", + "▁измени л", + "▁измен ил", + "▁поста влена", + "▁постав лена", + "▁поставлен а", + "re es", + "ree s", + "r ees", + "▁occ as", + "▁Squ are", + "▁тон кие", + "ор и", + "о ри", + "▁о бры", + "▁об ры", + "▁show ing", + "ско ро", + "скор о", + "с коро", + "▁Ге рои", + "▁Геро и", + "▁на логи", + "▁налог и", + "бле нием", + "бление м", + "б лением", + "▁архи пе", + "ik a", + "i ka", + "▁Оде ссе", + "▁безу пре", + "▁сугу бо", + "ва лов", + "вал ов", + "вало в", + "в алов", + "▁по рядо", + "▁поряд о", + "▁архиеписко п", + "▁повто рять", + "▁повторя ть", + "▁коль це", + "▁при дать", + "▁прида ть", + "▁inter ested", + "▁interest ed", + "▁Р У", + "▁ РУ", + "▁бога тые", + "▁богаты е", + "▁К Б", + "▁Кузне цов", + "▁гвардей ского", + "же ло", + "жел о", + "фо с", + "ф ос", + "▁При ня", + "▁Прин я", + "▁докла да", + "▁доклад а", + "▁претен зии", + "▁до шло", + "▁Ильи ч", + "▁те стов", + "▁тесто в", + "▁тест ов", + "▁ж юри", + "▁Зака вказ", + "▁Чу ть", + "га да", + "г ада", + "▁med al", + "▁тру дового", + "▁трудо вого", + "▁Б рэ", + "те ста", + "тес та", + "▁pro ducing", + "▁produ cing", + "▁produc ing", + "aval ry", + "▁государ ственная", + "▁государстве нная", + "▁hold s", + "▁пере ез", + "▁принадле жала", + "▁принадлежа ла", + "▁принадлежал а", + "▁успе шного", + "▁успеш ного", + "▁успешно го", + "▁хо р", + "▁х ор", + "▁ хор", + "▁стра хом", + "▁страхо м", + "▁страх ом", + "▁person nel", + "▁иностран ные", + "▁Е ле", + "▁библи о", + "▁опреде ленном", + "▁определен ном", + "▁определенно м", + "▁S at", + "▁Sa t", + "▁исклю чить", + "▁исключи ть", + "▁защи ща", + "▁Воло год", + "ци ско", + "▁пере ведён", + "▁Sim on", + "▁Si mon", + "▁hum ans", + "▁human s", + "▁С ера", + "▁Се ра", + "▁Сер а", + "▁догово рились", + "▁договори лись", + "▁art icles", + "▁article s", + "▁де лятся", + "▁дел ятся", + "▁H ere", + "▁He re", + "▁Her e", + "▁догово ров", + "▁договор ов", + "Фон тан", + "▁алкого ля", + "си сте", + "сист е", + "сис те", + "▁поло су", + "▁P ict", + "▁Стар ший", + "▁по лов", + "▁пол ов", + "▁поло в", + "▁подле жит", + "▁char ged", + "▁charg ed", + "▁charge d", + "▁дека брь", + "▁M arc", + "▁Mar c", + "▁Ma rc", + "ри ди", + "▁у казом", + "▁ука зом", + "▁указ ом", + "лё нные", + "лён ные", + "л ённые", + "▁ви дах", + "▁вида х", + "▁histor ic", + "▁бро ш", + "▁высоко поста", + "на з", + "н аз", + "▁сфе рах", + "▁сфера х", + "▁t ail", + "▁охла ждения", + "▁предусмотре но", + "▁предусмотрен о", + "▁В ере", + "▁Ве ре", + "▁Вер е", + "▁Ко реи", + "за й", + "з ай", + "▁устрой стве", + "▁устройств е", + "▁dam aged", + "▁damage d", + "▁дога ды", + "▁R un", + "▁Ru n", + "▁Т еха", + "▁Те ха", + "▁Тех а", + "▁b ass", + "▁bas s", + "▁N Y", + "х нуть", + "▁мра мор", + "▁Об ъяс", + "▁Объ яс", + "▁г нева", + "▁гне ва", + "▁гнев а", + "▁ве рующих", + "▁веру ющих", + "▁пирами ды", + "▁опреде лил", + "д э", + "ма ла", + "мал а", + "м ала", + "по каза", + "▁современ ная", + "▁Holly wood", + "▁Гон ча", + ", '", + "ем ен", + "е мен", + "▁цар ем", + "▁ца рем", + "▁царе м", + "▁Информа ция", + "▁Представи тели", + "▁ми рных", + "▁мир ных", + "▁дю й", + "шно е", + "шн ое", + "ш ное", + "▁город ские", + "▁пу га", + "▁ пуга", + "▁program ming", + "▁го нки", + "▁гон ки", + "▁пло дов", + "▁плодо в", + "▁плод ов", + "▁меся це", + "▁месяц е", + "▁се льском", + "▁сель ском", + "▁nomin ated", + "▁древ ний", + "▁Мини стр", + "▁г р", + "▁ гр", + "риф мети", + "Та й", + "Т ай", + "▁поедин ке", + "ти мся", + "тим ся", + "▁доба вляет", + "▁Ад мирал", + "▁хра нение", + "▁cl imate", + "▁КН ДР", + "▁энергети ки", + "▁Kore an", + "▁Korea n", + "▁Ме ж", + "▁форму лы", + "▁режисс ера", + "▁режиссе ра", + "▁режиссер а", + "пт у", + "п ту", + "▁куль турой", + "▁культур ой", + "E X", + "ни мом", + "ним ом", + "▁чи стый", + "▁Ро бин", + "▁Роб ин", + "▁подвод ной", + "▁подво дной", + "▁бере гам", + "▁берега м", + "▁берег ам", + "ин тер", + "инте р", + "и нтер", + "▁продоволь ствия", + "▁conf ig", + "▁Mass achusetts", + "ри да", + "р ида", + "▁напо ловину", + "▁налого об", + "▁откры ла", + "▁открыл а", + "▁hy dro", + "▁одно и", + "▁и дио", + "▁иди о", + "▁Р ен", + "▁Ре н", + "▁ю вели", + "▁нау кой", + "▁наук ой", + "▁Тео рия", + "▁инфек ции", + "▁захо тел", + "▁про живания", + "▁прожи вания", + "▁extrem ely", + "▁Mar ine", + "▁Ma rine", + "▁Ва дим", + "▁созна нием", + "▁сознание м", + "те льские", + "тель ские", + "щ ность", + "▁приобре ла", + "▁приобрел а", + "▁коле со", + "▁колес о", + "гро в", + "гр ов", + "г ров", + "▁St adium", + "▁пропо ве", + "▁рекла му", + "▁реклам у", + "▁С ки", + "▁Ск и", + "▁семей ство", + "▁к ив", + "▁ки в", + "▁покупа телей", + "зо ре", + "зор е", + "▁устано вку", + "▁установ ку", + "▁понрави лось", + "▁двига тели", + "▁поч ты", + "▁Л юк", + "▁Лю к", + "▁ent ertain", + "▁enter tain", + "▁эксперти зы", + "▁и нди", + "▁ин ди", + "▁S i", + "▁оформ ления", + "▁гре ч", + "▁отмеча лось", + "▁И ор", + "▁Ио р", + "▁до стать", + "▁доста ть", + "▁товари ще", + "▁товарищ е", + "▁объя влен", + "▁пересе лен", + "▁design ated", + "▁Россий ская", + "Ц ИЯ", + "▁Ill inois", + "▁поло вого", + "▁Б лю", + "▁музыка нтов", + "▁музыкан тов", + "▁бе лков", + "▁раз рыва", + "▁разры ва", + "▁разрыв а", + "▁смер тной", + "▁Ж ор", + "▁Жо р", + "вы бор", + "▁Фили ппа", + "▁Филип па", + "▁Филипп а", + "▁с рабаты", + "▁сра баты", + "▁bo at", + "▁За вер", + "▁но чам", + "▁но сом", + "▁нос ом", + "▁за грузки", + "▁загру зки", + "▁загруз ки", + "▁N et", + "▁Ne t", + "▁руко пись", + "▁рукопи сь", + "In d", + "I nd", + "▁N a", + "▁оказа ли", + "▁ока зали", + "▁оказал и", + "▁dr ama", + "▁dram a", + "▁dra ma", + "шн ы", + "ш ны", + "▁мощ ные", + "▁уси ление", + "▁T ok", + "▁To k", + "H L", + "▁w indows", + "▁wind ows", + "▁window s", + "та ций", + "▁М эй", + "▁Мэ й", + "ру йте", + "▁т рога", + "▁тро га", + "▁Ме рку", + "▁Мер ку", + "▁ref uge", + "▁B ab", + "▁Ba b", + "един ённых", + "единён ных", + "▁П ьер", + "▁Пье р", + "▁меч тал", + "▁мечта л", + "▁Ка ким", + "▁Как им", + "ind ing", + "▁двига телем", + "▁предоста вления", + "▁располага лся", + "х э", + "▁ри тори", + "▁рит ори", + "не сена", + "нес ена", + "несе на", + "несен а", + "ству ющее", + "O n", + "▁поли тиков", + "▁полити ков", + "▁политик ов", + "▁вы йдя", + "se ct", + "sec t", + "s ect", + "во дом", + "вод ом", + "▁Re al", + "▁sp oke", + "тчи ка", + "тчик а", + "т чика", + "▁разно образие", + "▁clos ely", + "▁close ly", + "▁ext ension", + "▁х руп", + "▁хру п", + "▁па пи", + "▁пап и", + "▁пожи з", + "▁выз доро", + "▁рабо чем", + "▁опи раясь", + "▁опира ясь", + "▁це лям", + "▁бе жали", + "▁бежал и", + "▁выгля дел", + "▁перегово рах", + "ap ore", + "▁и ную", + "▁ин ую", + "▁соору жение", + "▁неот ъемле", + "ме нного", + "мен ного", + "менно го", + "rol ler", + "roll er", + "un es", + "une s", + "u nes", + "пу с", + "п ус", + "▁Возро ждения", + "▁кро ше", + "▁A BC", + "▁са ло", + "ли вые", + "▁доста точной", + "▁достаточно й", + "▁достато чной", + "▁critic ized", + "▁ма сле", + "Андже ле", + "▁На ука", + "▁Нау ка", + "ess age", + "▁бель гий", + "▁материа лом", + "▁материал ом", + "▁требования ми", + "▁требованиям и", + "▁Сле дующий", + "▁Следу ющий", + "▁Ал ма", + "▁стра нное", + "▁стран ное", + "▁странно е", + "пла нет", + "плане т", + "план ет", + "▁не мысли", + "обо рудова", + "▁st atic", + "▁stat ic", + "▁круп ная", + "▁eng ines", + "▁engine s", + "мор ских", + "▁b ands", + "▁band s", + "▁отме чено", + "▁пя тый", + "▁основа нный", + "▁осно ванный", + "▁основан ный", + "▁су ществи", + "▁суще стви", + "▁существ и", + "▁enc ounter", + "▁живо тным", + "▁живот ным", + "▁Университе та", + "▁Университет а", + "та ется", + "тает ся", + "▁fact ors", + "▁factor s", + "▁tr uth", + "▁Не за", + "▁ху ли", + "▁Яро сла", + "▁вообра жа", + "▁Mc G", + "▁б аз", + "▁ба з", + "то рией", + "тори ей", + "▁Са мой", + "▁Сам ой", + "▁Само й", + "▁выпол нены", + "▁выполнен ы", + "▁вер мах", + "▁адмира ла", + "▁адмирал а", + "▁gr ounds", + "▁ground s", + "▁з верь", + "▁зве рь", + "▁звер ь", + "▁по кра", + "▁M iller", + "▁Mil ler", + "▁Mill er", + "▁при ходил", + "▁приходи л", + "▁приход ил", + "▁прихо дил", + "▁пред лагается", + "▁предлага ется", + "▁предлагает ся", + "кс ом", + "ксо м", + "к сом", + "вя зки", + "вяз ки", + "▁у род", + "▁уро д", + "▁днев нике", + "▁на но", + "▁н ано", + "▁резер ва", + "▁на ций", + "▁наци й", + "▁c ook", + "▁co ok", + "▁само от", + "▁самоо т", + "▁посе лений", + "lo ok", + "l ook", + "▁матери ального", + "▁материа льного", + "▁материаль ного", + "▁se lection", + "▁select ion", + "as ure", + "▁па льца", + "▁паль ца", + "▁ма сон", + "▁со гре", + "▁поза бо", + "▁Man chester", + "▁специаль ным", + "▁специ альным", + "▁L abor", + "▁La bor", + "▁Lab or", + "пле й", + "п лей", + "▁ожида ет", + "▁ожи дает", + "▁журна листы", + "▁журнали сты", + "▁журналист ы", + "▁С ор", + "▁Со р", + "вя зать", + "вяза ть", + "▁tra ined", + "▁tr ained", + "▁train ed", + "ма ло", + "мал о", + "▁дома шнего", + "▁домаш него", + "is ted", + "ist ed", + "▁эска дры", + "▁p oly", + "▁pol y", + "▁po ly", + "▁про читал", + "▁прочи тал", + "▁прочита л", + "▁на вести", + "▁наве сти", + "▁great est", + "▁О Г", + "▁ ОГ", + "▁e re", + "▁er e", + "▁ ere", + "▁f ur", + "▁n ull", + "▁забо ты", + "▁забот ы", + "▁A st", + "▁As t", + "гово рили", + "говор или", + "говори ли", + "говорил и", + "▁бом бо", + "▁бомб о", + "▁eth nic", + "▁co ord", + "kn ow", + "k now", + "▁О г", + "▁t ries", + "▁tr ies", + "▁tri es", + "▁r oot", + "▁ro ot", + "▁север нее", + "▁пере ворот", + "▁перево рот", + "вно е", + "в ное", + "▁подчер кивает", + "▁подчерки вает", + "ва ющую", + "ваю щую", + "▁генера лом", + "▁генерал ом", + "ру ющим", + "рую щим", + "▁T urn", + "▁Tur n", + "▁эффек ты", + "▁эффект ы", + "▁молодё жи", + "▁первен стве", + "▁вы ку", + "▁обви ни", + "▁использу ем", + "▁производ ством", + "▁производство м", + "▁пользу ясь", + "▁те рпи", + "▁тер пи", + "▁П ир", + "▁Пи р", + "▁с мена", + "▁сме на", + "▁см ена", + "▁внима нием", + "▁внимание м", + "▁document ary", + "C S", + "▁во дных", + "▁вод ных", + "▁ водных", + "▁се ления", + "▁селе ния", + "▁serv es", + "▁ser ves", + "▁serve s", + "▁conf ront", + "▁объеди нить", + "▁на несен", + "▁нанес ен", + "▁магази ны", + "▁магазин ы", + "▁за дум", + "▁зад ум", + "▁заду м", + "▁озна менова", + "▁Тру дового", + "▁inj ured", + "г мати", + "▁аргу менты", + "▁Р О", + "▁ РО", + "ну сь", + "нус ь", + "би ны", + "бин ы", + "б ины", + "ни цкого", + "ниц кого", + "▁кам ере", + "▁камер е", + "▁каме ре", + "▁Inf antry", + "▁del ivered", + "▁deliver ed", + "х во", + "▁ос ваи", + "▁европей ские", + "▁пла нета", + "▁плане та", + "▁планет а", + "жи вание", + "▁деву шкой", + "нг о", + "н го", + "▁ва жен", + "▁важ ен", + "▁К ристо", + "▁Кри сто", + "▁Пре обра", + "▁Serv ices", + "▁Service s", + "▁сра жаться", + "▁испол нял", + "▁исполня л", + "цки е", + "ц кие", + "▁деревя нные", + "▁жан ре", + "▁жанр е", + "▁k id", + "вто ри", + "в тори", + "x ual", + "▁Б лок", + "▁Бло к", + "бо на", + "бон а", + "б она", + "▁тор гового", + "▁торго вого", + "▁с гора", + "▁распоря жения", + "▁к э", + "▁принадле жали", + "▁принадлежа ли", + "▁принадлежал и", + "▁х восто", + "▁хво сто", + "▁хвост о", + "▁Язы к", + "▁пом нит", + "van t", + "va nt", + "v ant", + "гна н", + "г нан", + "▁demon st", + "▁Калифор нии", + "▁Лауре ат", + "▁созда нные", + "▁создан ные", + "Фо р", + "Ф ор", + "▁зарабо тать", + "▁Се ме", + "▁Сем е", + "▁сохра нил", + "▁сохрани л", + "▁сохран ил", + "▁s ed", + "▁se d", + "▁b es", + "▁be s", + "▁ bes", + "▁Вене су", + "▁отра слей", + "▁отрас лей", + "даго ги", + "зи рованного", + "зирова нного", + "зирован ного", + "az a", + "a za", + "▁Ex ec", + "▁помо гали", + "▁помог али", + "▁помога ли", + "▁помогал и", + "ни шь", + "▁способ ствовало", + "▁доче рей", + "▁дочер ей", + "▁con vent", + "▁conv ent", + "▁Ло ги", + "▁hab it", + "▁ha bit", + "▁мерт вых", + "▁ше е", + "▁ шее", + "▁до су", + "стре лко", + "▁Д жер", + "▁Дж ер", + "▁Дже р", + "▁sur re", + "▁туа лет", + "▁кило грам", + "go r", + "g or", + "▁про лив", + "▁проли в", + "▁с най", + "▁сна й", + "he red", + "her ed", + "here d", + "h ered", + "▁Обра тите", + "▁програм мой", + "▁программ ой", + "▁col lected", + "▁collect ed", + "▁нач нется", + "▁начнет ся", + "ст рит", + "стри т", + "стр ит", + "F i", + "▁П аль", + "▁Па ль", + "▁кры ши", + "▁Ко лле", + "▁Кол ле", + "▁Полков ник", + "ic it", + "▁Кен неди", + "▁ко шки", + "▁кош ки", + "▁живо пис", + "▁живопи с", + "▁страхо вания", + "▁с ень", + "▁се нь", + "▁сен ь", + "▁ сень", + "та нные", + "тан ные", + "▁Ду хов", + "M y", + "▁собра ны", + "▁собран ы", + "w ick", + "▁исто рика", + "▁истори ка", + "▁историк а", + "▁Во рон", + "▁Воро н", + "▁Вор он", + "но стям", + "▁вся кую", + "▁сты дно", + "ва ющими", + "ваю щими", + "вающим и", + "▁раз уме", + "▁разу ме", + "▁разум е", + "▁ разуме", + "▁Ch air", + "▁постра дали", + "▁пострада ли", + "▁пострадал и", + "▁Дне про", + "▁every one", + "▁госпо дина", + "▁господ ина", + "▁господин а", + "▁Ко смо", + "▁Jac ob", + "▁прави льный", + "▁каза ки", + "▁Основ ным", + "▁компози тора", + "▁композитор а", + "▁раз бо", + "ph one", + "▁упра вляет", + "▁управля ет", + "▁D ark", + "▁Dar k", + "▁Гос думы", + "▁юби лей", + "▁brief ly", + "▁должно стных", + "▁пар ков", + "▁парк ов", + "▁P ier", + "▁фи кса", + "▁reg iment", + "▁привы чки", + "▁вне дре", + "▁внед ре", + "▁при дает", + "▁прида ет", + "▁Не зависи", + "▁Неза виси", + "▁броси лся", + "▁бросил ся", + "са к", + "с ак", + "▁за тя", + "▁зат я", + "во дных", + "вод ных", + "▁man ner", + "ua tion", + "u ation", + "▁чле нам", + "▁член ам", + "▁члена м", + "ва жно", + "стан дар", + "▁зло б", + "▁Am azon", + "▁фир м", + "▁Ниц ше", + "ain ts", + "aint s", + "▁про ница", + "▁прони ца", + "зи руют", + "зиру ют", + "▁ма тчи", + "▁мат чи", + "▁матч и", + "▁быст рый", + "▁быстры й", + "▁Stud io", + "у краин", + "▁W olf", + "O W", + "▁educ ational", + "▁education al", + "▁на полне", + "▁напо лне", + "▁напол не", + "пу нк", + "▁ко лы", + "▁кол ы", + "▁ колы", + "▁мыс ленно", + "▁мысле нно", + "▁G ord", + "▁Go rd", + "▁Нача льник", + "▁д ен", + "▁де н", + "▁ ден", + "▁хо ре", + "▁хор е", + "bo y", + "b oy", + "▁кише чника", + "▁ро дила", + "▁роди ла", + "▁род ила", + "щё нный", + "щён ный", + "щ ённый", + "▁живу щих", + "▁дости гнуть", + "▁достиг нуть", + "▁достигну ть", + "четы ре", + "тер национа", + "терна циона", + "гра жда", + "▁гне з", + "▁с вар", + "▁сва р", + "▁св ар", + "▁protect ed", + "цион ному", + "цио нному", + "ционно му", + "ционном у", + "▁Пре мия", + "▁леген да", + "▁совеща ния", + "▁d ream", + "▁беспо кои", + "▁беспоко и", + "произ води", + "производ и", + "gh an", + "g han", + "▁экспеди ция", + "▁под ходе", + "▁подход е", + "▁Ба бу", + "▁о той", + "▁от ой", + "▁ото й", + "чи тал", + "чита л", + "чит ал", + "▁t error", + "▁ter ror", + "▁расска зе", + "▁рассказ е", + "▁да мы", + "▁дам ы", + "▁по ступления", + "▁посту пления", + "▁поступ ления", + "▁В сю", + "▁ra ise", + "▁ста вили", + "▁став или", + "▁ставил и", + "не во", + "нев о", + "н ево", + "ни стов", + "нис тов", + "нист ов", + "▁Tr ust", + "▁А виа", + "▁а спект", + "▁аспек т", + "in th", + "int h", + "▁ше и", + "о д", + "▁S ony", + "▁So ny", + "▁Son y", + "▁я вилась", + "▁М ое", + "▁Мо е", + "▁Генна дий", + "▁коммента риях", + "▁any one", + "▁Де вушка", + "▁про тека", + "▁проте ка", + "▁значи мости", + "▁обозна чение", + "кс я", + "к ся", + "▁подтвер дили", + "▁подтвердил и", + "▁а не", + "▁ан е", + "▁ ане", + "▁ро маны", + "▁роман ы", + "▁рома ны", + "▁Таджи ки", + "▁ку льт", + "▁куль т", + "▁спро воци", + "▁устано вке", + "▁установ ке", + "▁круп но", + "▁кру пно", + "▁анали зе", + "▁анализ е", + "▁использу емых", + "▁используем ых", + "▁китай ского", + "▁кита йского", + "▁индивиду ального", + "▁индивидуаль ного", + "▁во рон", + "▁воро н", + "▁вор он", + "▁oper ate", + "▁превра щения", + "▁Ал ба", + "▁ра кови", + "▁гре ческих", + "▁по ловых", + "▁поло вых", + "▁полов ых", + "▁L ow", + "▁Lo w", + "▁фа зы", + "oc ation", + "oca tion", + "▁поста вок", + "▁постав ок", + "ти мента", + "тим ента", + "▁prison ers", + "▁paint ings", + "▁painting s", + "▁встре чался", + "▁встреча лся", + "▁встречал ся", + "▁И а", + "▁моло д", + "▁мол од", + "сту пы", + "ступ ы", + "▁М ани", + "▁Ма ни", + "▁Ман и", + "▁Jes us", + "Ph one", + "▁за со", + "▁зас о", + "▁ми нус", + "▁мину с", + "▁мин ус", + "▁полё та", + "▁пи лот", + "▁пило т", + "▁polic ies", + "▁ла би", + "ec k", + "e ck", + "▁соли дар", + "▁чу жие", + "ко ны", + "кон ы", + "к оны", + "▁недоста тка", + "▁слы шу", + "ко сми", + "кос ми", + "▁москов ской", + "▁ш изо", + "▁ши зо", + "▁ло дку", + "▁ран нем", + "▁ваго нов", + "▁вагон ов", + "ку ляр", + "куля р", + "▁подтвер ждения", + "▁За поро", + "▁г ан", + "▁га н", + "▁ ган", + "та льной", + "таль ной", + "т альной", + "▁церков ью", + "▁церковь ю", + "▁ка ту", + "▁побли зости", + "▁п ал", + "▁па л", + "▁ пал", + "▁For est", + "▁Fore st", + "▁начина ются", + "▁начинают ся", + "ки с", + "к ис", + "Золо той", + "▁приобре тения", + "▁приобрете ния", + "ро ды", + "род ы", + "▁program me", + "▁колле гии", + "▁коллеги и", + "▁опреде ленно", + "▁определен но", + "▁се мян", + "▁сем ян", + "▁Черни гов", + "▁во ю", + "▁ вою", + "ха ра", + "хар а", + "х ара", + "▁скон центри", + "ри лась", + "рила сь", + "▁опа сения", + "▁Дже фф", + "▁дер жится", + "▁держит ся", + "▁спи ны", + "▁Ис следова", + "▁H it", + "▁Nether lands", + "▁урав нения", + "▁жан р", + "▁завое вала", + "▁завоевал а", + "f rom", + "▁Лю бой", + "▁Любо й", + "▁взаимо по", + "▁Афгани стане", + "in us", + "inu s", + "▁M ach", + "▁Mac h", + "▁Ma ch", + "▁vict ims", + "▁присут ствовал", + "M P", + "▁мыс лью", + "▁мысль ю", + "▁строи тельству", + "▁pict ure", + "▁принима я", + "▁вос тока", + "▁восто ка", + "▁восток а", + "▁образова ний", + "▁dec ade", + "▁номер е", + "▁номе ре", + "▁П ей", + "▁Пе й", + "Д ру", + "▁jud ge", + "▁итальян ской", + "чи тельно", + "чите льно", + "до чной", + "▁мел кими", + "▁за писать", + "▁запи сать", + "▁записа ть", + "an ned", + "ann ed", + "pl ate", + "ле ру", + "лер у", + "л еру", + "▁V ar", + "▁tw elve", + "▁терро ристов", + "▁террори стов", + "▁транспорт ного", + "▁транспор тного", + "▁ВВ П", + "▁авто биографи", + "че вский", + "чев ский", + "ч евский", + "▁Де ль", + "▁dr awn", + "▁draw n", + "▁dra wn", + "▁портре ты", + "▁портрет ы", + "▁Золо той", + "▁ Золотой", + "▁increasing ly", + "нс а", + "н са", + "▁духов ное", + "▁духо вное", + "▁духовно е", + "▁Не ме", + "▁Нем е", + "▁до лл", + "▁дол л", + "▁предпоч тение", + "ish ment", + "▁подоб ная", + "▁commun ication", + "ту ет", + "▁Людови ка", + "▁упомина ет", + "ти нского", + "тин ского", + "кру п", + "к руп", + "iss ance", + "▁Боль шую", + "ak h", + "a kh", + "▁пло ти", + "▁плот и", + "▁вы ходом", + "▁выход ом", + "▁моря ков", + "▁топли во", + "▁топ ливо", + "▁зарпла ты", + "▁s am", + "▁П ОЛ", + "▁ПО Л", + "▁зна чением", + "▁значение м", + "▁B oe", + "▁Bo e", + "al o", + "a lo", + "v o", + "▁с ква", + "▁ск ва", + "▁ба лло", + "▁бал ло", + "▁взрос лые", + "▁business es", + "q l", + "▁орби ту", + "ы х", + "ро дных", + "род ных", + "▁Вой ска", + "ст вах", + "ства х", + "▁ве лик", + "▁вели к", + "бо ли", + "бол и", + "▁пор ту", + "▁порт у", + "▁ве рили", + "▁вер или", + "▁верил и", + "▁вери ли", + "▁ut il", + "▁u til", + "▁в ступ", + "B I", + "▁d ress", + "▁dr ess", + "▁Mex ican", + "ке вич", + "к евич", + "▁обы чай", + "▁обыча й", + "▁д рай", + "▁дра й", + "▁др ай", + "▁Мар се", + "▁Строи тельство", + "▁магни то", + "▁магнит о", + "си а", + "▁широ ких", + "ри ал", + "риа л", + "▁испол нять", + "▁исполня ть", + "ut t", + "u tt", + "▁станови лась", + "▁стано вилась", + "▁ор то", + "▁склады вается", + "▁живо тными", + "▁живот ными", + "▁животным и", + "▁поме шать", + "▁ра ски", + "▁рас ки", + "цо вой", + "цов ой", + "де льно", + "дель но", + "▁surv ived", + "ric ts", + "rict s", + "▁тру де", + "▁труд е", + "▁журна лах", + "▁журнала х", + "▁капита ном", + "▁капитан ом", + "ви та", + "вит а", + "жка х", + "ж ках", + "▁e asy", + "▁eas y", + "▁кров оте", + "▁крово те", + "▁напада ющий", + "ol i", + "o li", + "▁тяже лым", + "▁невозмо жным", + "ви дел", + "виде л", + "▁Фре де", + "ло жению", + "ложе нию", + "▁золо тую", + "▁г радо", + "▁гра до", + "▁у пло", + "▁атмо сфера", + "▁атмосф ера", + "▁атмосфер а", + "Ob ject", + "▁бе дных", + "▁бед ных", + "▁церков ных", + "▁Op era", + "▁Oper a", + "ти за", + "▁разру шение", + "чи ло", + "чил о", + "▁K han", + "▁Kh an", + "▁следу ют", + "ra ge", + "rag e", + "r age", + "▁Ю ли", + "ков ья", + "ковь я", + "Р Ф", + "дни к", + "д ник", + "▁россий ском", + "▁отде льная", + "▁отдель ная", + "pe n", + "p en", + "W hat", + "▁опыт ных", + "▁опы тных", + "▁во льно", + "▁ вольно", + "▁пре подоб", + "▁препо доб", + "гу ляр", + "щи ну", + "щин у", + "▁знако мы", + "▁знаком ы", + "▁свадь бы", + "▁труд ностей", + "▁трудно стей", + "▁заста вля", + "▁ез дил", + "▁дея тели", + "▁по це", + "▁Чи сле", + "▁бесе де", + "▁р во", + "▁к ровать", + "▁кро вать", + "▁крова ть", + "▁се риал", + "▁сериа л", + "▁дове лось", + "▁в дали", + "▁вд али", + "▁вда ли", + "▁Приме нение", + "▁le ads", + "▁lead s", + "▁разрабо тать", + "▁разработа ть", + "▁оста нки", + "▁Шев ченко", + "▁Об щество", + "▁Обще ство", + "▁stre ets", + "▁street s", + "но са", + "нос а", + "н оса", + "st ances", + "stance s", + "жи в", + "ж ив", + "▁на право", + "▁напра во", + "▁масшта бе", + "▁масштаб е", + "ст ку", + "с тку", + "at ically", + "atic ally", + "▁he at", + "▁дей ствию", + "▁действи ю", + "кро ва", + "кров а", + "к рова", + "▁Dou gl", + "▁sy nt", + "▁syn t", + "▁радо стно", + "▁учреждения х", + "▁коро ткой", + "▁корот кой", + "▁коротко й", + "▁де ви", + "▁дев и", + "▁по ступили", + "▁посту пили", + "▁поступ или", + "▁поступил и", + "▁поступи ли", + "▁Mod ern", + "▁Со ро", + "▁Сор о", + "hed ral", + "▁вок зала", + "▁вокза ла", + "▁по ехали", + "▁пое хали", + "▁поехал и", + "▁жи теля", + "▁патро нов", + "▁при бытия", + "▁прибы тия", + "▁inter pret", + "▁ду мая", + "▁дума я", + "▁значи тельным", + "▁ste am", + "▁six th", + "▁d ivers", + "▁div ers", + "▁di vers", + "до подоб", + "▁уда рил", + "▁удар ил", + "▁стра нам", + "▁стран ам", + "▁страна м", + "▁Ст рук", + "▁Стру к", + "сно сти", + "с ности", + "▁Med ical", + "▁до лей", + "▁дол ей", + "▁Air port", + "ца рь", + "цар ь", + "ц арь", + "▁коми ссию", + "▁arr ang", + "▁arran g", + "▁лёг кой", + "▁люби мый", + "рас преде", + "▁m and", + "▁man d", + "▁re aching", + "▁reach ing", + "▁превосход ство", + "▁полуостро ве", + "▁H and", + "▁Ha nd", + "▁Han d", + "▁Фран цией", + "▁Франци ей", + "▁се льской", + "▁сель ской", + "▁Сред неве", + "▁интерфей са", + "▁интерфейс а", + "▁необходи мый", + "▁необходимы й", + "ord ers", + "order s", + "▁Един ственное", + "▁яй це", + "▁за тяну", + "▁затя ну", + "▁Бе ля", + "▁Бел я", + "▁состоя щий", + "▁обслужи вание", + "▁индиви да", + "▁инди вида", + "▁слу чится", + "▁случи тся", + "▁К инг", + "▁Ки нг", + "▁Кин г", + "▁A ge", + "▁Ag e", + "▁чи тали", + "▁чита ли", + "▁читал и", + "зо ры", + "зор ы", + "деся тых", + "десят ых", + "▁рассмотре нии", + "▁про мо", + "▁По се", + "C D", + "▁им прови", + "ли вая", + "лив ая", + "лива я", + "▁s urg", + "▁sur g", + "▁национа льности", + "▁национально сти", + "▁Ан дро", + "▁Анд ро", + "▁с ед", + "▁се д", + "▁ сед", + "▁цар ей", + "▁ца рей", + "▁царе й", + "▁живо тно", + "▁живот но", + "Е ФА", + "▁у целе", + "х ристиан", + "▁гро мо", + "▁гром о", + "▁Ex press", + "▁т уре", + "▁ту ре", + "▁тур е", + "▁ туре", + "▁differ ences", + "▁difference s", + "▁полу чим", + "▁получи м", + "▁вы годно", + "▁выго дно", + "▁выгод но", + "▁изда нии", + "▁E th", + "le vel", + "lev el", + "ле теть", + "лет еть", + "лете ть", + "▁Го ра", + "▁Гор а", + "▁кварти р", + "▁квар тир", + "ши в", + "ш ив", + "▁На родный", + "▁Народ ный", + "or i", + "o ri", + "▁сопер ника", + "▁jo bs", + "▁job s", + "ш т", + "▁municip ality", + "▁municipal ity", + "▁o ption", + "▁op tion", + "▁opt ion", + "▁т вою", + "▁тво ю", + "▁accompan ied", + "ar ant", + "ara nt", + "a rant", + "▁крестьян ских", + "▁крестья нских", + "▁центра лизова", + "as p", + "a sp", + "▁с я", + "▁ ся", + "▁лег кий", + "▁ча стного", + "▁част ного", + "▁час тного", + "▁церков ной", + "▁ком ната", + "▁комна та", + "un c", + "▁под час", + "▁на ри", + "▁нар и", + "▁абсолю тной", + "▁абсолютно й", + "кло в", + "кл ов", + "к лов", + "▁ку льта", + "▁куль та", + "▁культ а", + "▁разгово ров", + "▁разговор ов", + "ре нными", + "рен ными", + "ренным и", + "▁узна ла", + "▁узнал а", + "st ar", + "ля тора", + "лятор а", + "▁ens ure", + "▁возмо жна", + "▁двой ной", + "▁отдох нуть", + "▁полу чены", + "▁s elling", + "▁sell ing", + "▁У ва", + "тро пи", + "троп и", + "▁Божи ей", + "▁кру ги", + "▁круг и", + "▁мастер ство", + "▁био логических", + "▁биологи ческих", + "M od", + "▁Фе о", + "▁Вели кая", + "гро б", + "гр об", + "г роб", + "▁w arm", + "▁war m", + "▁wa rm", + "▁в ходи", + "▁вход и", + "▁ссы лке", + "▁art illery", + "▁Луч ший", + "▁моди фикации", + "▁модифика ции", + "во рения", + "▁R ub", + "▁Ru b", + "▁m arg", + "▁mar g", + "▁бес числе", + "▁ch ampion", + "▁ду ху", + "▁дух у", + "про ти", + "пр оти", + "▁Григо рия", + "G et", + "▁Ди к", + "▁ми стер", + "▁благо со", + "▁вер блю", + "▁посвя щены", + "▁посвящен ы", + "▁Н еве", + "▁Не ве", + "▁Сте пан", + "▁Степа н", + "▁ми ровая", + "▁миро вая", + "▁миров ая", + "ва лом", + "вал ом", + "вало м", + "▁суще ствующие", + "▁существу ющие", + "▁ф ру", + "▁публика ций", + "B O", + "▁понима ем", + "▁знамени тых", + "ма рка", + "мар ка", + "▁си гнали", + "▁сигна ли", + "▁сигнал и", + "▁социаль ную", + "▁Б оло", + "▁Бо ло", + "▁Бол о", + "▁ответ или", + "▁отве тили", + "▁ответил и", + "▁оли гар", + "▁автомоби ле", + "▁сум мар", + "▁сумма р", + "▁При меня", + "▁Приме ня", + "▁legisl ation", + "Челове к", + "ak i", + "a ki", + "co h", + "c oh", + "▁верто лета", + "▁вертолет а", + "▁m ir", + "▁mi r", + "▁ mir", + "▁гаран тии", + "▁поро ждает", + "▁предприятия х", + "▁да льность", + "▁даль ность", + "▁п рон", + "▁про н", + "▁пр он", + "▁в да", + "▁вд а", + "Золо тая", + "▁бое вую", + "▁боев ую", + "▁на рисо", + "▁нари со", + "▁ту рок", + "▁тур ок", + "о чень", + "▁R and", + "▁Се вера", + "▁Север а", + "▁Ника ких", + "▁до цен", + "▁столк нулся", + "▁столкну лся", + "Та м", + "Т ам", + "ic on", + "ico n", + "i con", + "кон струи", + "▁вол нения", + "е д", + "▁doc uments", + "▁document s", + "▁комму низма", + "▁коммуни зма", + "поли тической", + "be l", + "b el", + "▁Да нная", + "▁Дан ная", + "зо вых", + "зов ых", + "зовы х", + "ба ль", + "бал ь", + "б аль", + "▁про рыва", + "▁проры ва", + "▁прорыв а", + "▁по шёл", + "▁пош ёл", + "▁захва т", + "▁в реза", + "▁вре за", + "▁тео рий", + "▁норма льного", + "▁нормально го", + "▁норм ального", + "▁краси вый", + "ма ш", + "▁изда тельство", + "▁вы текает", + "▁вытека ет", + "▁world wide", + "▁верх него", + "ер ей", + "ере й", + "е рей", + "▁respons ibility", + "▁Х ристиан", + "▁Бре ж", + "У Т", + "▁солн цем", + "▁солнце м", + "ле вых", + "лев ых", + "▁устро ил", + "▁устрои л", + "▁signific antly", + "▁significant ly", + "▁о вра", + "▁ов ра", + "▁нарко тиков", + "au x", + "a ux", + "▁sever e", + "▁att ached", + "▁объяви ть", + "▁объя вить", + "▁по благода", + "yle s", + "yl es", + "y les", + "▁Спа си", + "▁Спас и", + "▁w aters", + "▁water s", + "▁wa ters", + "▁Л уна", + "▁Лу на", + "пи лись", + "пили сь", + "▁Бо жь", + "▁объек тивно", + "ok es", + "oke s", + "o kes", + "▁испы ту", + "▁репута цию", + "▁слуша телей", + "виде тельство", + "▁r ates", + "▁ra tes", + "▁rate s", + "▁rat es", + "▁смо трю", + "▁яр кие", + "но ваться", + "нова ться", + "ви ну", + "вин у", + "▁fin ishing", + "▁finish ing", + "▁анти совет", + "▁% ,", + "▁ %,", + "▁Al b", + "▁бо льным", + "▁боль ным", + "▁кам нями", + "▁камня ми", + "▁про двига", + "▁продви га", + "▁прод вига", + "▁бу кси", + "▁бук си", + "▁повлия ть", + "ска зу", + "▁одино чку", + "ant asy", + "anta sy", + "▁prom pt", + "▁умень шения", + "ши не", + "шин е", + "▁написа ли", + "▁написал и", + "▁спи р", + "▁вар вар", + "стоя ния", + "▁is ol", + "▁Константино поль", + "▁У сть", + "▁Ус ть", + "ра нь", + "ран ь", + "р ань", + "дя м", + "д ям", + "▁потре бля", + "▁потреб ля", + "а в", + "▁под бо", + "▁И сти", + "▁Ис ти", + "▁ка мера", + "▁кам ера", + "▁камер а", + "▁каме ра", + "ти ком", + "тик ом", + "тико м", + "це нка", + "цен ка", + "▁объяс нять", + "▁f illed", + "▁fil led", + "▁москов ский", + "▁карто фель", + "▁картофе ль", + "▁ra cial", + "ra nt", + "ran t", + "r ant", + "ни что", + "▁s che", + "▁sc he", + "▁sch e", + "▁партий ных", + "▁хозяй ственной", + "▁хозяйстве нной", + "▁Фё дор", + "▁бе жит", + "▁помо гло", + "▁помог ло", + "▁спут ника", + "▁спутник а", + "▁aff ili", + "▁рису нке", + "▁докла де", + "▁доклад е", + "▁L ist", + "▁Li st", + "▁Lis t", + "▁ List", + "▁за пе", + "▁vill ages", + "▁village s", + "▁масшта ба", + "▁масштаб а", + "▁да ма", + "▁дам а", + "E E", + "▁та щи", + "▁ тащи", + "f ather", + "▁обще образова", + "▁Я сно", + "▁пла мя", + "▁philosoph y", + "▁Пере вод", + "▁p hen", + "▁ph en", + "▁c risis", + "▁З во", + "▁с няли", + "▁сня ли", + "▁снял и", + "▁сни жается", + "▁у бо", + "▁фрон том", + "▁фронт ом", + "▁малей шего", + "▁пу ли", + "▁жан дар", + "▁К ОН", + "▁КО Н", + "▁ве рят", + "▁вер ят", + "▁понима ешь", + "▁долла ра", + "▁долл ара", + "▁у ход", + "▁ухо д", + "A d", + "▁Гла вной", + "▁Глав ной", + "▁свобо дным", + "▁свобод ным", + "ва телей", + "▁pra ised", + "▁нагля дно", + "▁Мекси ки", + "▁пред писы", + "▁st ores", + "▁store s", + "▁chall enge", + "▁challeng e", + "▁осве дом", + "▁ча стям", + "▁част ям", + "тни ков", + "тник ов", + "т ников", + "at ched", + "atch ed", + "пе нга", + "пен га", + "▁зна мена", + "▁dr iving", + "▁un iform", + "ве ром", + "вер ом", + "веро м", + "▁те сты", + "▁тест ы", + "▁Ле ни", + "▁Лен и", + "▁ию нь", + "▁Вашинг тоне", + "▁Вашингтон е", + "х ли", + "▁Ц вета", + "▁Цвет а", + "▁приве з", + "▁прив ез", + "▁низ ким", + "▁О в", + "ен а", + "е на", + "▁иу дей", + "▁оче рта", + "▁очер та", + "▁встре чаться", + "▁встреча ться", + "ц ком", + "▁кол ду", + "▁В Ц", + "▁се стре", + "op her", + "oph er", + "▁же нский", + "▁жен ский", + "▁k ick", + "▁жи тельства", + "▁житель ства", + "▁физи к", + "де сант", + "▁экзем пляр", + "▁экземпля р", + "▁вол нова", + "▁ волнова", + "▁доба вляют", + "▁гре ки", + "▁испол нилось", + "▁исполни лось", + "ail ed", + "ai led", + "a iled", + "▁не сли", + "▁н если", + "▁нес ли", + "▁ несли", + "▁ве ктор", + "▁век тор", + "▁происходя щее", + "смо тр", + "▁стои мостью", + "▁стоимость ю", + "▁стоимо стью", + "▁горо дке", + "▁город ке", + "▁I l", + "жа не", + "жан е", + "ж ане", + "▁ш ку", + "▁ шку", + "ur is", + "u ris", + "▁потерпе л", + "▁потер пел", + "▁we ak", + "▁ж ут", + "▁жу т", + "▁ жут", + "▁вре менного", + "▁времен ного", + "▁време нного", + "▁временно го", + "▁B ah", + "▁Ba h", + "▁ра да", + "▁р ада", + "▁рад а", + "▁Балтий ского", + "▁F und", + "▁Fu nd", + "▁Университе т", + "▁пово рота", + "▁поворот а", + "▁поворо та", + "▁сохра нилась", + "▁сохрани лась", + "ue se", + "ues e", + "u ese", + "▁Swed en", + "▁Con c", + "▁ph one", + "▁ phone", + "▁expl os", + "ag h", + "a gh", + "▁T rib", + "▁Tr ib", + "▁Tri b", + "▁закры тия", + "▁Красно зна", + "▁Сло вом", + "▁Слово м", + "▁вы ключа", + "▁выклю ча", + "▁эпизо дов", + "▁эпизод ов", + "▁sched uled", + "▁из менять", + "▁изме нять", + "▁изменя ть", + "▁измен ять", + "▁с тира", + "▁сти ра", + "▁с нис", + "▁сни с", + "ле тки", + "лет ки", + "он ера", + "оне ра", + "онер а", + "о нера", + "▁Сток голь", + "ш н", + "▁ф ила", + "▁фи ла", + "▁секрета рем", + "▁секретар ем", + "▁ню ан", + "ве ни", + "вен и", + "▁Верхов ной", + "▁жела ющих", + "▁созда ются", + "▁создают ся", + "▁applic ations", + "▁application s", + "▁J ane", + "▁Jan e", + "▁напра влено", + "▁направлен о", + "▁Та ври", + "▁совеща ние", + "▁посе тить", + "▁посети ть", + "ду ра", + "д ура", + "ста ви", + "став и", + "▁вла дел", + "▁владе л", + "▁incorpor ated", + "▁обеспе чивать", + "▁обеспечи вать", + "▁рас цвета", + "▁ви дам", + "▁вид ам", + "▁вида м", + "▁Ста рый", + "▁при слуши", + "▁мар ша", + "▁марш а", + "ро динами", + "роди нами", + "▁т щет", + "▁времен ам", + "▁време нам", + "▁времена м", + "ку ла", + "▁Аль бер", + "ou ri", + "our i", + "▁крей сера", + "▁крейсер а", + "ро дные", + "род ные", + "▁ран ние", + "Ве н", + "В ен", + "▁er ror", + "▁err or", + "▁ error", + "ви дение", + "виде ние", + "▁пузы рь", + "ин те", + "и нте", + "▁во лость", + "▁воло сть", + "▁волос ть", + "▁согла сова", + "▁согласо ва", + "ar ner", + "arn er", + "▁ликви да", + "▁страте гия", + "▁стратеги я", + "▁обе спо", + "▁mult i", + "▁жи телям", + "▁жителя м", + "ру са", + "рус а", + "р уса", + "▁Со колов", + "ra c", + "r ac", + "хо р", + "х ор", + "ствен на", + "стве нна", + "am ic", + "ami c", + "▁о бая", + "▁об ая", + "▁оба я", + "▁Ба шки", + "▁Баш ки", + "▁останови лись", + "▁остано вились", + "▁в вел", + "▁кра тков", + "▁крат ков", + "▁кратко в", + "▁ви до", + "▁вид о", + "▁чемпиона тов", + "▁чемпионат ов", + "▁ка зна", + "▁каз на", + "ду х", + "▁съ ё", + "▁не деля", + "▁неде ля", + "▁внед рения", + "▁внедре ния", + "om ic", + "▁По ра", + "▁Пор а", + "▁серьез ный", + "▁accom mod", + "▁t ank", + "▁чув ствуют", + "▁чувству ют", + "▁чувствую т", + "ще нными", + "щен ными", + "щенным и", + "▁ле ди", + "▁л еди", + "▁лед и", + "▁бо рода", + "▁бор ода", + "▁боро да", + "жи вают", + "▁сла бые", + "▁слабы е", + "▁Sing apore", + "▁стрель бе", + "▁футбо льный", + "▁футболь ный", + "▁тер ра", + "▁v ocal", + "▁voc al", + "▁сви ре", + "▁прави лами", + "▁правила ми", + "▁правилам и", + "▁B ol", + "▁Bo l", + "▁вся кая", + "▁трибу на", + "▁сове сть", + "ме нная", + "мен ная", + "▁следу ющая", + "▁Аб ха", + "▁учё ные", + "▁Р П", + "▁ремесле н", + "▁прио ритет", + "▁приорите т", + "▁comb ination", + "▁оказа л", + "▁ока зал", + "▁T ai", + "▁И тальян", + "▁Госпо ди", + "ac ent", + "ace nt", + "a cent", + "▁Е р", + "цен тр", + "▁мо роз", + "▁мор оз", + "▁моро з", + "▁де зин", + "ря дка", + "ряд ка", + "ра циона", + "▁публи ке", + "▁удовлет ворить", + "▁удовлетво рить", + "▁удовлетвори ть", + "ле ю", + "▁специаль ное", + "▁специ альное", + "▁специально е", + "бо вал", + "бов ал", + "бова л", + "ос та", + "о ста", + "▁сериа ле", + "▁сериал е", + "▁жиз ненно", + "▁жизне нно", + "in ch", + "inc h", + "▁соот но", + "▁Выступа л", + "▁Что б", + "▁коммер ческих", + "▁T en", + "▁Te n", + "▁раз мести", + "▁разме сти", + "▁поверх ностью", + "▁поверхность ю", + "▁поверхно стью", + "▁den ied", + "▁Ельци на", + "▁у жи", + "▁уж и", + "▁извест ными", + "▁известны ми", + "▁известным и", + "▁изве стными", + "▁ар те", + "▁арт е", + "▁own ers", + "▁owner s", + "▁пенси и", + "▁пен сии", + "▁се ктор", + "▁сек тор", + "▁miss ing", + "▁в яз", + "▁вя з", + "▁ вяз", + "▁подраз деля", + "▁E vent", + "▁Ev ent", + "▁Even t", + "▁Каждо е", + "▁состя за", + "▁скульп туры", + "▁скульптур ы", + "▁ле нинград", + "▁з вери", + "▁зве ри", + "▁звер и", + "▁за вет", + "▁заве т", + "чё те", + "чёт е", + "ч ёте", + "сти жи", + "▁се ро", + "▁сер о", + "▁банк рот", + "▁банкро т", + "▁вече рин", + "▁вечер ин", + "▁выстре ла", + "юр ера", + "юре ра", + "юрер а", + "поль зова", + "▁Дви жение", + "▁Но чью", + "▁под во", + "▁об ходи", + "▁обход и", + "▁ обходи", + "▁попро сили", + "▁попросил и", + "▁И в", + "▁обнару жен", + "бе ка", + "бек а", + "▁диа метр", + "▁диамет р", + "▁исти нно", + "▁stay ed", + "Фран циско", + "▁turn s", + "▁tur ns", + "про вода", + "провод а", + "▁min ute", + "▁кру гов", + "▁круг ов", + "▁круго в", + "ж ская", + "▁за вла", + "▁Жен щины", + "▁реаль ностью", + "▁реа льностью", + "▁реальность ю", + "▁реально стью", + "▁гото вится", + "▁готов ится", + "▁бы вшим", + "▁ин спек", + "▁инспе к", + "чи вание", + "чива ние", + "▁горо док", + "▁город ок", + "▁я влением", + "▁яв лением", + "▁явление м", + "u ilt", + "▁И Г", + "▁воз люблен", + "ol ished", + "olis hed", + "▁Ку ли", + "▁диа лога", + "▁диалог а", + "С Е", + "od ox", + "▁популяр ной", + "▁популя рной", + "▁ал ьян", + "▁аль ян", + "▁скульп тур", + "▁с корей", + "▁ско рей", + "▁скор ей", + "то вать", + "това ть", + "▁а мор", + "▁ам ор", + "▁прожи вали", + "▁ча сами", + "▁часа ми", + "▁Худо жник", + "▁стра нные", + "▁стран ные", + "▁го тово", + "▁гото во", + "▁готов о", + "▁найден о", + "▁найде но", + "▁res idence", + "▁собы тием", + "▁событие м", + "▁тра вя", + "▁трав я", + "▁наи мень", + "▁тю рк", + "▁V i", + "ру сской", + "рус ской", + "▁у т", + "▁ ут", + "Л С", + "▁И бра", + "▁утвер ждали", + "▁утвержда ли", + "▁утверждал и", + "про сто", + "прос то", + "\" »", + "▁а ни", + "▁ан и", + "▁ ани", + "▁зим них", + "▁се строй", + "▁pract ices", + "▁practice s", + "▁серд цу", + "▁T ony", + "▁To ny", + "▁фран ков", + "▁фра нков", + "▁свет у", + "▁све ту", + "▁св ету", + "▁полицей ские", + "▁основа телей", + "▁осно вателей", + "com ing", + "co ming", + "▁моди фика", + "▁Fam ily", + "▁ве щах", + "▁веща х", + "▁Андре ев", + "▁лиш ним", + "▁st orage", + "▁независи мых", + "▁напра сно", + "го нь", + "гон ь", + "▁пи ща", + "▁чер ту", + "▁черт у", + "це ден", + "▁прокуро р", + "▁про честь", + "▁ди ких", + "▁дик их", + "▁хо рва", + "▁хор ва", + "▁concern s", + "▁сотруд ником", + "▁сотрудни ком", + "▁сотрудник ом", + "▁Ти бе", + "▁государства ми", + "▁процеду ру", + "▁си они", + "▁от ступ", + "ь ба", + "▁ка зен", + "▁каз ен", + "▁гражда нам", + "▁граждан ам", + "▁Э лли", + "▁Эл ли", + "▁обли га", + "▁Mag azine", + "▁инициа тиву", + "▁design s", + "qu es", + "que s", + "q ues", + "▁вы раста", + "▁выра ста", + "▁под писи", + "▁подпи си", + "▁писа телем", + "▁Современ ные", + "▁agricult ural", + "▁ви зит", + "▁визи т", + "▁оста влять", + "▁оставля ть", + "▁в р", + "▁ вр", + "ra it", + "r ait", + "▁пара метр", + "▁парамет р", + "▁ка знь", + "▁каз нь", + "▁С Т", + "▁ СТ", + "▁современ ное", + "секре тарь", + "▁о сты", + "▁ос ты", + "▁ост ы", + "▁сохра ня", + "▁сохран я", + "ug by", + "▁anc est", + "ub le", + "ubl e", + "u ble", + "▁с пит", + "▁спи т", + "▁занима ла", + "▁занимал а", + "ви ны", + "вин ы", + "в ины", + "али зации", + "а лизации", + "▁совер шении", + "▁мета лло", + "▁метал ло", + "▁металл о", + "жа ю", + "тчи ками", + "тчика ми", + "т чиками", + "▁ev olution", + "▁Восто чного", + "▁Вос точного", + "▁Восточно го", + "▁поступа ют", + "▁пунк тах", + "▁пункта х", + "▁за б", + "▁ги гие", + "▁глав ном", + "хе й", + "х ей", + "▁характери стика", + "▁характеристи ка", + "▁характеристик а", + "▁без жало", + "▁пере пол", + "▁Со кра", + "▁withd raw", + "ed ing", + "▁рас четы", + "▁расчет ы", + "▁расче ты", + "▁во шло", + "▁С кан", + "▁Ска н", + "▁Ск ан", + "sc ape", + "▁посоль ство", + "▁f an", + "▁fa n", + "af e", + "a fe", + "зу т", + "з ут", + "▁живо та", + "▁живот а", + "at han", + "ath an", + "▁развед ка", + "▁разве дка", + "▁те зи", + "▁о вец", + "▁ов ец", + "▁за тво", + "▁зат во", + "▁m ine", + "▁min e", + "▁mi ne", + "жи вал", + "жив ал", + "▁един ственного", + "▁единственно го", + "▁проек тирования", + "▁проектирова ния", + "к ни", + "▁усу гу", + "вз я", + "в зя", + "▁потом ков", + "▁у еди", + "▁описа нии", + "▁верх них", + "▁оп ья", + "су да", + "с уда", + "▁налого платель", + "рё л", + "р ёл", + "▁Г аль", + "▁Га ль", + "▁або нен", + "пп ер", + "ппе р", + "п пер", + "▁вели кая", + "▁велика я", + "▁велик ая", + "▁мастер ства", + "▁Шта тах", + "ро дной", + "род ной", + "▁com edy", + "▁выделя ются", + "▁выде ляются", + "▁выделяют ся", + "ration s", + "rat ions", + "r ations", + "▁вообра жения", + "▁совет скими", + "▁советским и", + "x x", + "▁S ab", + "▁Sa b", + "ra py", + "rap y", + "▁ОК Б", + "▁assist ance", + "▁Л ью", + "▁Ль ю", + "ло вым", + "корреспонден т", + "▁особенно стями", + "▁особен ностями", + "зи руя", + "зиру я", + "▁ба рон", + "▁бар он", + "▁баро н", + "▁ри мской", + "▁рим ской", + "▁темпера туру", + "▁температур у", + "▁экс пан", + "в лю", + "му нд", + "м унд", + "▁Д ево", + "▁Де во", + "▁участ никам", + "▁участник ам", + "▁участника м", + "▁A uthor", + "▁мене джер", + "▁менедже р", + "▁менедж ер", + "▁раскры ть", + "▁неко тором", + "▁некото ром", + "it le", + "i tle", + "ци зм", + "ц изм", + "▁свиде телем", + "▁кри пто", + "▁Друго е", + "▁Анто нио", + "▁ядер ных", + "▁example s", + "▁exam ples", + "▁Ди они", + "▁зак лина", + "▁законо проек", + "ха ри", + "хар и", + "▁un f", + "ra ction", + "ract ion", + "rac tion", + "r action", + "▁заклю чен", + "▁Е вра", + "▁Ев ра", + "▁s hel", + "▁sh el", + "▁she l", + "ти руются", + "тиру ются", + "тируют ся", + "▁сто лица", + "▁столи ца", + "▁ин су", + "▁то тали", + "▁тот али", + "▁з рение", + "▁зре ние", + "▁ зрение", + "▁Вален тин", + "▁ми ров", + "▁мир ов", + "▁миро в", + "▁низ кий", + "▁не совершен", + "▁несо вершен", + "та и", + "▁се ли", + "▁сел и", + "▁ сели", + ": \"", + "▁Gl obal", + "▁похо жие", + "▁похожи е", + "▁тур изма", + "▁тури зма", + "▁ра ст", + "▁рас т", + "▁продю сер", + "▁понима нию", + "▁строи тельных", + "ем ле", + "T ime", + "▁успе шной", + "▁успеш ной", + "▁успешно й", + "▁ре шается", + "▁реша ется", + "▁решает ся", + "▁корреспонден т", + "▁ корреспондент", + "▁воспринима ется", + "▁H ug", + "▁Hu g", + "▁Джор джа", + "▁Джордж а", + "щи ку", + "щик у", + "ъе сте", + "▁и ндо", + "▁ин до", + "▁И рак", + "▁Ир ак", + "▁Ира к", + "▁х ана", + "▁ха на", + "▁хан а", + "▁ хана", + "▁ак тивную", + "▁актив ную", + "▁regular ly", + "▁ра кета", + "▁ракет а", + "▁раке та", + "▁способ ные", + "▁способны е", + "▁поя влению", + "▁об щина", + "▁общи на", + "▁общ ина", + "▁общин а", + "P R", + "пра ва", + "прав а", + "▁спа си", + "▁спас и", + "▁ass umed", + "▁ниж них", + "▁си дела", + "▁сидел а", + "▁траге дия", + "ри ны", + "рин ы", + "р ины", + "▁э фир", + "▁эфи р", + "▁вра гами", + "▁врага ми", + "▁субъек т", + "▁воору женные", + "ф ли", + "▁набере жной", + "сте ров", + "стер ов", + "с теров", + "▁P ot", + "▁Po t", + "▁объеди няет", + "▁объединя ет", + "▁бого слов", + "▁Гла внокоман", + "▁эми гри", + "▁неприя теля", + "▁K at", + "▁испа нский", + "▁испан ский", + "▁С Д", + "▁расти тельного", + "вали фици", + "▁ ]", + "▁от кли", + "▁отк ли", + "дд а", + "д да", + "▁индивиду альной", + "▁индивидуаль ной", + "▁д оса", + "▁до са", + "▁ю жном", + "▁южно м", + "▁диви зию", + "▁дивизи ю", + "▁Фе дорович", + "▁Федо рович", + "▁неу верен", + "чник ом", + "чни ком", + "ч ником", + "▁inhab itants", + "▁retire ment", + "▁Импе рии", + "зи рованы", + "зирова ны", + "зирован ы", + "▁истреби тели", + "ста нно", + "стан но", + "▁found ation", + "▁P it", + "▁Си туация", + "as te", + "ast e", + "a ste", + "▁кар ьера", + "▁карь ера", + "ру м", + "р ум", + "▁кора бе", + "го лу", + "▁раз гра", + "▁d uties", + "▁du ties", + "▁n one", + "▁no ne", + "▁non e", + "▁sw itch", + "ло гу", + "лог у", + "▁чуде са", + "ска ра", + "ск ара", + "скар а", + "с кара", + "▁то лка", + "▁тол ка", + "▁серви сов", + "▁сервис ов", + "▁необычай но", + "▁совершен ства", + "▁Пар ла", + "▁f olk", + "▁ак тивным", + "▁актив ным", + "лли вуд", + "▁прид ётся", + "or er", + "ore r", + "▁бой цы", + "▁pass es", + "щи не", + "щин е", + "▁ro ads", + "▁road s", + "▁чу гу", + "▁город ском", + "▁Чарль з", + "ar o", + "a ro", + "служ бы", + "▁про хлад", + "▁па ст", + "▁пас т", + "▁каза лся", + "▁Поль шу", + "▁мета лл", + "▁метал л", + "▁про пустить", + "▁пропу стить", + "▁им порт", + "▁импор т", + "▁люби мого", + "▁откры тое", + "▁открыто е", + "▁открыт ое", + "▁яр ких", + "▁f ly", + "▁fl y", + "▁ве сть", + "▁вес ть", + "▁инстру ментом", + "▁инструмент ом", + "▁выход ные", + "▁вы вел", + "▁выве л", + "чу т", + "ч ут", + "О Й", + "▁вер немся", + "▁устро или", + "▁устрои ли", + "▁устроил и", + "▁особ ая", + "▁осо бая", + "▁C ab", + "▁Ca b", + "▁цивили зова", + "▁пи ки", + "▁пик и", + "▁b asketball", + "за ла", + "зал а", + "з ала", + "▁U SS", + "▁US S", + "atur day", + "b ian", + "▁res igned", + "▁слу читься", + "▁случи ться", + "▁у зла", + "▁уз ла", + "▁c ool", + "▁co ol", + "▁S ound", + "▁So und", + "▁при ехать", + "▁прие хать", + "▁приеха ть", + "та ре", + "тар е", + "ing ly", + "ро дного", + "род ного", + "▁по больше", + "▁побо льше", + "▁без обра", + "▁безо бра", + "во ил", + "вои л", + "рд жи", + "р джи", + "▁pro test", + "▁prote st", + "▁prot est", + "то ну", + "тон у", + "т ону", + "▁Do ctor", + "▁орби ты", + "ко к", + "к ок", + "▁раз лу", + "▁cour ts", + "▁court s", + "графи ческой", + "▁Не доста", + "▁дости гают", + "▁достига ют", + "▁b le", + "▁bl e", + "▁ ble", + "▁еврей ских", + "an es", + "ane s", + "a nes", + "ч та", + "▁постра дал", + "▁пострада л", + "гово ры", + "говор ы", + "▁про рыв", + "▁проры в", + "ни ны", + "нин ы", + "н ины", + "▁К об", + "▁Ко б", + "▁Э нер", + "▁Эн ер", + "▁C N", + "▁Во льф", + "▁Воль ф", + "▁совет ника", + "▁советник а", + "▁h ang", + "▁ha ng", + "▁соста вом", + "▁состав ом", + "ней шего", + "▁буты лки", + "▁поло тен", + "▁деву шке", + "ва нная", + "ван ная", + "▁покры тия", + "▁кух ни", + "▁shoot ing", + "▁боль ший", + "ми ри", + "мир и", + "▁пи том", + "▁прове рять", + "▁провер ять", + "▁проверя ть", + "▁Fore ign", + "▁возбу ди", + "▁D isc", + "▁Dis c", + "▁Di sc", + "▁з ме", + "▁ зме", + "▁му нди", + "▁влия ть", + "ва рда", + "вар да", + "вард а", + "▁ch urches", + "▁church es", + "▁жиз ненного", + "▁жизне нного", + "▁жизненно го", + "▁/ *", + "▁уверен ностью", + "▁уверенность ю", + "▁уверенно стью", + "▁p p", + "▁ pp", + "мо ни", + "мон и", + "м они", + "; #", + "▁освобо жден", + "▁при носят", + "▁О лега", + "▁Олег а", + "▁Оле га", + "▁откры вать", + "▁вла дений", + "▁владе ний", + "▁Ра ссе", + "▁Рас се", + "▁Расс е", + "▁Mount ain", + "▁deb ate", + "▁соот ношения", + "▁соотно шения", + "▁пе ска", + "▁пес ка", + "ate gy", + "ateg y", + "▁m ode", + "▁mod e", + "▁Г от", + "▁Го т", + "▁дене жные", + "▁от бира", + "▁отби ра", + "ри зации", + "▁ез дить", + "▁пригла сили", + "▁пригласил и", + "▁Из обра", + "▁Изо бра", + "ми нг", + "мин г", + "м инг", + "▁неме цкая", + "▁немец кая", + "▁He art", + "▁Де нис", + "▁Ден ис", + "▁Дени с", + "▁Ро зен", + "▁челове ко", + "▁человек о", + "то чная", + "▁По тре", + "▁духовен ства", + "ол е", + "о ле", + "зи стен", + "зис тен", + "▁Де я", + "ри ке", + "рик е", + "▁мыс лями", + "▁Hot el", + "▁мощ ным", + "бр ы", + "б ры", + "▁краси вые", + "▁фено мена", + "▁феномен а", + "▁фа ктора", + "▁фак тора", + "▁фактор а", + "▁от ныне", + "▁же ниться", + "▁жени ться", + "▁Наде жда", + "▁сте нами", + "▁стена ми", + "▁ви дна", + "▁вид на", + "▁военноп ленных", + "▁phot ograph", + "as hed", + "ash ed", + "▁вз волнова", + "uc ks", + "uck s", + "u cks", + "▁Эй зен", + "▁не обо", + "▁нео бо", + "▁необ о", + "фа кс", + "фак с", + "▁Ки евского", + "▁Киев ского", + "▁спу тник", + "▁спут ник", + "▁се ме", + "▁сем е", + "▁без грани", + "▁нау чился", + "щи н", + "щ ин", + "пс а", + "п са", + "▁пре взо", + "▁сто ловой", + "▁столо вой", + "пят ь", + "пя ть", + "п ять", + "ag ues", + "ague s", + "agu es", + "▁дей ствии", + "▁действи и", + "▁he aded", + "▁head ed", + "▁дума ешь", + "▁Ис полни", + "▁Испо лни", + "in ton", + "int on", + "▁отмеча ли", + "▁отме чали", + "▁отмечал и", + "▁прос вети", + "▁просве ти", + "▁просвет и", + "ю к", + "н це", + "▁яр кий", + "▁R ose", + "▁Ros e", + "▁Ro se", + "▁п лит", + "▁пли т", + "▁луч шая", + "▁ше стой", + "▁шест ой", + "▁догово ром", + "▁договор ом", + "▁с проек", + "▁спро ек", + "▁d rew", + "▁dr ew", + "▁союз ники", + "▁ла ко", + "ival ent", + "▁occ urs", + "▁occur s", + "▁специаль ную", + "▁выро сли", + "▁вырос ли", + "▁NAS A", + "▁Б ло", + "▁П ять", + "▁Пя ть", + "▁Пят ь", + "▁Y our", + "▁You r", + "▁не кро", + "▁мо ими", + "▁мои ми", + "▁моим и", + "▁Ав торы", + "▁Авто ры", + "▁Автор ы", + "▁рабо тая", + "▁работа я", + "▁работ ая", + "▁привле кает", + "▁привлека ет", + "▁ку лина", + "Ро ссий", + "▁ad mitted", + "Х А", + "▁холо да", + "▁хол ода", + "▁холод а", + "▁y ellow", + "▁цело стности", + "▁ре зю", + "▁рез ю", + "▁орке стр", + "эн д", + "э нд", + "▁Ч о", + "▁Принци п", + "С вя", + "▁par allel", + "▁оказа ния", + "▁ока зания", + "сколь з", + "ba l", + "b al", + "▁st ret", + "▁str et", + "▁stre t", + "▁обусло вли", + "▁Те одо", + "▁Тео до", + "ле тела", + "лете ла", + "летел а", + "▁каза ться", + "▁dev ices", + "▁device s", + "▁Пла ни", + "▁План и", + "▁поля ков", + "дж о", + "д жо", + "▁со хран", + "▁сохра н", + "▁ку рт", + "▁кур т", + "▁Та ган", + "▁посла ние", + "лё нных", + "лён ных", + "л ённых", + "▁re new", + "▁ren ew", + "▁присут ствовать", + "▁полу чат", + "▁получа т", + "▁жало б", + "▁жал об", + "▁господ ства", + "▁str uck", + "ne e", + "n ee", + "▁отря дом", + "▁отряд ом", + "▁прави льное", + "▁правильно е", + "▁под полков", + "▁подпо лков", + "id el", + "ide l", + "▁рису нки", + "▁С пас", + "▁Спа с", + "▁диза йна", + "▁дизай на", + "▁дизайн а", + "▁found ing", + "▁преж него", + "▁малень кую", + "in it", + "ini t", + "▁меда лей", + "де лки", + "дел ки", + "st ance", + "▁обна ро", + "▁гне зда", + "▁гнез да", + "ки ло", + "pr ison", + "pri son", + "p rison", + "▁ка ш", + "▁после довал", + "▁последова л", + "▁Мин ске", + "▁сочи нение", + "▁по пла", + "▁поп ла", + "▁ги ган", + "▁философ ских", + "▁ци кло", + "▁цикл о", + "▁шко льников", + "▁безу слов", + "oc ol", + "o col", + "▁Х мель", + "includ ing", + "▁ощу щений", + "▁полу чился", + "▁получи лся", + "▁получил ся", + "O P", + "▁способ ствуют", + "▁E ric", + "▁Er ic", + "▁при водить", + "▁приводи ть", + "▁приводит ь", + "▁приво дить", + "▁В ода", + "▁Во да", + "▁об ход", + "▁наз ваны", + "▁назва ны", + "▁назван ы", + "▁Мето д", + "▁Мет од", + "et ime", + "e time", + "▁япо нский", + "▁япон ский", + "▁митрополи та", + "▁митропо лита", + "▁митрополит а", + "▁се тях", + "▁сет ях", + "▁мо заи", + "▁доступ ен", + "▁употребля ть", + "▁Д ор", + "▁До р", + "▁перио дом", + "▁период ом", + "▁но га", + "▁ног а", + "▁ ́", + "▁досто примеча", + "ли ровать", + "▁Pol it", + "▁вы мышлен", + "▁опера тивного", + "▁оперативно го", + "▁t ons", + "▁to ns", + "▁награ жден", + "▁стать ях", + "▁статья х", + "▁ро ждается", + "▁рожда ется", + "for mer", + "form er", + "▁гео графии", + "▁географи и", + "▁допуска ется", + "it able", + "ita ble", + "▁стро ку", + "▁строк у", + "▁зая вку", + "ow ered", + "ower ed", + "▁приз ёром", + "▁призёр ом", + "▁сла бе", + "▁пересе ка", + "▁с пал", + "▁спа л", + "▁бес стра", + "▁бесс тра", + "за на", + "зан а", + "з ана", + "ки вает", + "s ub", + "▁болез нью", + "▁болезнь ю", + "▁пролета р", + "▁проле тар", + "▁ар хаи", + "▁пообе щал", + "▁пись мах", + "▁письма х", + "▁шан сов", + "▁шанс ов", + "▁ожида ли", + "▁ожи дали", + "▁ожидал и", + "▁празд ники", + "▁праздник и", + "▁праздни ки", + "▁ба зой", + "▁базо й", + "▁баз ой", + "▁фло том", + "▁флот ом", + "тки н", + "тк ин", + "т кин", + "▁Сла вя", + "▁bene fit", + "▁benef it", + "▁class ical", + "▁созда нных", + "▁создан ных", + "м би", + "▁постано вке", + "▁постанов ке", + "▁потенциа ла", + "▁потенциал а", + "▁Элиза бет", + "▁про живает", + "▁прожи вает", + "▁ко лен", + "▁кол ен", + "▁коле н", + "▁p ool", + "▁po ol", + "▁ pool", + "▁доро гах", + "▁дорога х", + "▁пре кло", + "un nel", + "unn el", + "▁по двиг", + "▁подви г", + "▁устраи вает", + "▁Брита нии", + "▁к ин", + "▁ки н", + "▁ кин", + "▁съ емо", + "▁съе мо", + "▁съем о", + "▁взя лся", + "▁взял ся", + "▁одино честве", + "▁приобре тение", + "▁приобрете ние", + "▁продол жались", + "▁продолжа лись", + "▁продолжали сь", + "▁кри чит", + "igr ants", + "▁propos al", + "▁с ара", + "▁са ра", + "▁от стоя", + "▁f inding", + "▁find ing", + "▁поя влялись", + "▁появля лись", + "▁исто лко", + "▁иденти фика", + "▁взаимодей ствии", + "▁опо ры", + "▁опор ы", + "▁оцени вается", + "▁subject s", + "ур ов", + "у ров", + "▁к лин", + "▁кли н", + "▁тор говой", + "▁торго вой", + "▁торгов ой", + "▁подготов и", + "▁подгото ви", + "ти кой", + "тик ой", + "тико й", + "▁космо се", + "▁космос е", + "▁cap able", + "▁Само лет", + "▁ви дения", + "▁виде ния", + "▁trans ition", + "юще мся", + "ющем ся", + "▁согла сны", + "▁м эра", + "▁мэ ра", + "▁исполни телей", + "▁жа лко", + "▁жал ко", + "▁З ла", + "▁про бы", + "▁пр обы", + "▁проб ы", + "▁выго ды", + "▁выгод ы", + "▁Sil ver", + "▁земле дель", + "▁до казывает", + "▁доказыва ет", + "▁дока зывает", + "▁ху тор", + "дя х", + "д ях", + "ж ских", + "▁подо шла", + "▁наде ясь", + "▁надея сь", + "▁T reat", + "▁Tre at", + "▁ро з", + "▁р оз", + "▁ роз", + "ro ns", + "ron s", + "r ons", + "нх ен", + "н хен", + "▁pro sec", + "▁pros ec", + "▁п ерей", + "▁пере й", + "▁пер ей", + "▁пе рей", + "ров ском", + "▁c ensus", + "▁дер жали", + "▁держа ли", + "▁держал и", + "▁потом ки", + "▁ста вку", + "▁став ку", + "R L", + "Т ре", + "сс ой", + "ссо й", + "с сой", + "▁ли нией", + "▁электро нов", + "▁задей ствова", + "▁А ля", + "▁Ал я", + "▁проек тирова", + "▁дополни тельной", + "▁дополнительно й", + "▁а рабо", + "▁араб о", + "▁ара бо", + "▁большин ством", + "▁большинство м", + "t ion", + "▁N ever", + "▁Ne ver", + "▁бабу шки", + "▁L is", + "▁Li s", + "▁случа лось", + "ut or", + "▁Сим феро", + "▁древ е", + "▁др еве", + "▁дре ве", + "▁Sum mer", + "▁i OS", + "▁Горь кий", + "▁pur poses", + "▁purpose s", + "▁ма мы", + "▁pain ted", + "▁paint ed", + "▁пригово ра", + "▁приговор а", + "ch ang", + "chan g", + "▁опыт у", + "▁опы ту", + "▁adv oc", + "би нской", + "бин ской", + "▁повы шает", + "▁Inst ead", + "▁преу спе", + "Ш е", + "▁бе ге", + "▁бег е", + "▁гото вят", + "▁готов ят", + "▁изме нениями", + "▁изменения ми", + "▁разнови дность", + "▁Ла дно", + "▁увеличи вает", + "▁увели чивает", + "▁опера ционной", + "▁совеща нии", + "▁массо вые", + "▁су ши", + "▁само созна", + "▁ба ры", + "▁бар ы", + "out heast", + "▁С офи", + "▁Со фи", + "▁Соф и", + "му ществ", + "муще ств", + "▁пара диг", + "▁Colon el", + "ри х", + "р их", + "▁Донец кой", + "▁полез ным", + "ор дини", + "▁Об щий", + "▁b rig", + "▁br ig", + "▁Ко рот", + "▁Кор от", + "▁Коро т", + "ни чный", + "▁гипоте за", + "▁методи ки", + "▁ре альное", + "▁реаль ное", + "▁реа льное", + "▁реально е", + "э пи", + "▁у де", + "▁уд е", + "жи я", + "▁Рас простра", + "▁не кая", + "▁поезд ов", + "▁поез дов", + "▁sing ing", + "▁огне стре", + "▁психи ческих", + "▁в лю", + "▁ влю", + "▁h ttps", + "▁http s", + "Д И", + "▁Фрей д", + "▁отста вке", + "▁отстав ке", + "▁Новгород е", + "▁Новго роде", + "sc ript", + "s cript", + "▁Чи каго", + "▁глав ными", + "▁главным и", + "▁D ick", + "▁Di ck", + "▁обеспе чению", + "m m", + "▁извле чь", + "зи ровали", + "зирова ли", + "зировал и", + "▁проте ст", + "▁Т они", + "▁То ни", + "▁Тон и", + "то вания", + "това ния", + "▁ба лли", + "▁бал ли", + "▁ка бины", + "▁каби ны", + "▁нару шении", + "ще нную", + "щен ную", + "▁противоре чий", + "▁противоречи й", + "▁гу ля", + "▁по мы", + "▁пом ы", + "▁вызыва ли", + "▁несов мести", + "▁центра льный", + "▁центр альный", + "over ty", + "▁факультет е", + "▁факульте те", + "▁стратеги ческих", + "гото вка", + "готов ка", + "▁found er", + "▁проя влять", + "▁проявля ть", + "▁анали зу", + "▁анализ у", + "▁l ake", + "▁la ke", + "▁удоб нее", + "▁по кое", + "▁поко е", + "▁изме нением", + "▁изменение м", + "▁некото рую", + "▁исто рио", + "▁истори о", + "▁re tained", + "▁ret ained", + "▁Се ль", + "▁gr ade", + "▁grad e", + "▁gra de", + "▁municip al", + "ба вок", + "▁импера тору", + "▁император у", + "▁Об щее", + "▁Обще е", + "▁умер ших", + "бле нию", + "б лению", + "▁Ф БР", + "▁тра ва", + "▁трав а", + "▁ветера нов", + "▁по чек", + "▁поч ек", + "▁поче к", + "▁суб си", + "▁без воз", + "▁з мей", + "▁зме й", + "▁предложи ла", + "▁предложил а", + "▁де жур", + "▁дежу р", + "▁thous and", + "▁выпу стила", + "▁выпусти ла", + "▁выпустил а", + "va rd", + "var d", + "v ard", + "▁C all", + "▁Cal l", + "▁Ca ll", + "▁а пел", + "▁сла до", + "▁слад о", + "▁answ er", + "ти ни", + "тин и", + "lo ck", + "l ock", + "ло жив", + "ложи в", + "лож ив", + "▁ар мян", + "▁армя н", + "▁пят надцати", + "▁ре форми", + "▁реформ и", + "▁рефор ми", + "▁Пре свя", + "▁Мар са", + "▁de leg", + "▁R ights", + "к м", + "▁платфор ме", + "▁с кото", + "▁ско то", + "▁скот о", + "▁un us", + "ле ка", + "лек а", + "▁вопло щение", + "▁Пись мо", + "▁Oper ation", + "▁Opera tion", + "▁серьез ным", + "▁Белару си", + "▁тех но", + "▁кор ней", + "▁корне й", + "би не", + "бин е", + "▁орга низу", + "▁органи зу", + "▁О га", + "▁Ог а", + "▁до ложил", + "▁у пру", + "▁на йдет", + "▁най дет", + "▁найде т", + "▁sup erv", + "▁super v", + "сте ром", + "стер ом", + "с тером", + "▁str ategy", + "▁strateg y", + "▁возвра щался", + "▁возвраща лся", + "▁совет ом", + "▁сове том", + "▁принима ется", + "▁принимает ся", + "▁ch ain", + "▁ди стри", + "▁дис три", + "▁уничто жены", + "▁в ед", + "▁ве д", + "▁ вед", + "▁пользова телям", + "▁пользователя м", + "▁Кон тро", + "▁Е ре", + "▁Ер е", + "▁dep th", + "▁Н ер", + "▁Не р", + "▁p ull", + "▁pul l", + "▁гре хов", + "▁грех ов", + "▁попа ло", + "▁попал о", + "▁Википе дии", + "▁заве домо", + "▁Д ек", + "▁Де к", + "чи вые", + "▁поэ том", + "▁поэт ом", + "▁c rown", + "▁cr own", + "▁cro wn", + "▁собесед ника", + "▁собеседник а", + "▁ста рую", + "▁стар ую", + "▁стару ю", + "три н", + "тр ин", + "т рин", + "▁Pr ior", + "▁Pri or", + "▁превос ходя", + "▁превосход я", + "▁requ ires", + "▁require s", + "▁малень ким", + "▁архитек туре", + "▁архитектур е", + "▁специаль ная", + "▁специ альная", + "▁вку са", + "▁вкус а", + "▁кре сла", + "▁Ми ровой", + "▁Миро вой", + "▁St ock", + "▁G ib", + "▁Gi b", + "▁D ream", + "▁consider able", + "▁мол чали", + "▁молча ли", + "▁сред ствах", + "▁средства х", + "▁беспокой ство", + "▁F a", + "хо л", + "х ол", + "▁уме ло", + "▁умел о", + "▁заста вляют", + "▁заставля ют", + "▁v eter", + "▁ve ter", + "▁f rag", + "▁fr ag", + "ев рей", + "▁финанси рование", + "▁на лог", + "▁тяже лое", + "▁тяжело е", + "▁particip ate", + "▁вто рг", + "▁втор г", + "▁Мюн хе", + "▁register ed", + "▁Свердлов ской", + "ев ская", + "▁от зыв", + "▁а с", + "▁ ас", + "ло ма", + "лом а", + "▁дела ете", + "▁делает е", + "▁гла зом", + "▁глаз ом", + "С ША", + "▁зам ке", + "су рд", + "сур д", + "ал ов", + "а лов", + "▁Ро ль", + "▁долго го", + "▁typ ical", + "▁Е фре", + "ты вает", + "ши но", + "шин о", + "ш ино", + "▁С емен", + "▁Се мен", + "▁Сем ен", + "▁Семе н", + "▁ря дов", + "▁ряд ов", + "▁м исти", + "▁ми сти", + "▁O nt", + "▁On t", + "▁кра тко", + "▁крат ко", + "▁inter ior", + "▁Portug uese", + "▁ниж нем", + "▁но меров", + "▁номер ов", + "▁номе ров", + "то вской", + "тов ской", + "▁юно шей", + "▁юноше й", + "▁упомина ния", + "▁захо чет", + "▁филосо фа", + "▁философ а", + "%) ,", + "% ),", + "▁G h", + "▁Анали з", + "▁вре менных", + "▁времен ных", + "▁време нных", + "сы лка", + "▁предпринима тель", + "▁Уильям а", + "▁Уилья ма", + "▁союз ных", + "▁указа нием", + "▁указание м", + "▁Кра сный", + "▁Ham ilton", + "▁Нем цы", + "▁пере дана", + "▁перед ана", + "▁переда на", + "▁передан а", + "▁J S", + "▁про водя", + "▁прово дя", + "▁провод я", + "▁Ph ys", + "б ба", + "▁популяр ностью", + "▁популярность ю", + "▁ва х", + "▁ вах", + "▁обра дова", + "▁Р ису", + "▁Ри су", + "▁Рис у", + "по том", + "пот ом", + "st ruct", + "str uct", + "▁teac hers", + "▁teacher s", + "раз рабо", + "▁ма йора", + "▁майор а", + "▁ майора", + "▁моги лы", + "▁g ather", + "▁уси лить", + "▁усили ть", + "▁за писки", + "▁запи ски", + "пе ри", + "пер и", + "л с", + "▁позволя ло", + "▁бе дра", + "▁бед ра", + "▁перевод чик", + "▁откры тые", + "▁открыты е", + "▁in put", + "▁им мигра", + "▁B urn", + "▁Bur n", + "▁N ich", + "▁Nic h", + "▁ q", + "а зиат", + "▁художе ств", + "▁прекра сной", + "▁прекрасно й", + "▁кру то", + "▁теку щей", + "O D", + "пле та", + "плет а", + "п лета", + "▁determ ine", + "зи лся", + "зил ся", + "з ился", + "Я Т", + "▁К руг", + "▁Кру г", + "про вер", + "▁взрос лого", + "▁взросло го", + "▁при шель", + "▁пришел ь", + "час тие", + "части е", + "▁вы веден", + "▁выве ден", + "w ich", + "▁sec ure", + "▁несо гла", + "▁официаль ные", + "▁S D", + "▁ак теров", + "▁актер ов", + "▁превы ша", + "▁Тбили си", + "▁Ж ак", + "▁Жа к", + "▁при ехала", + "▁приехал а", + "▁приеха ла", + "pos t", + "po st", + "p ost", + "▁Ли тератур", + "▁Литера тур", + "▁до полне", + "▁допол не", + "▁лам по", + "▁показа ло", + "▁показал о", + "ific ations", + "ification s", + "▁к рики", + "▁кри ки", + "▁крик и", + "ри йской", + "рий ской", + "▁столи цей", + "▁столице й", + "▁мо сту", + "▁мост у", + "▁выпол нен", + "▁ме няются", + "▁меня ются", + "* .", + "шо м", + "ш ом", + "▁v o", + "▁ vo", + "▁дома шней", + "▁домаш ней", + "▁хоро шень", + "▁свя зывает", + "▁связыва ет", + "▁у бра", + "▁О писание", + "▁запа са", + "▁запас а", + "ва ш", + "▁Эр н", + "F S", + "▁и ст", + "▁ис т", + "▁ ист", + "▁ва сса", + "▁вас са", + "стре би", + "ско ва", + "сков а", + "с кова", + "▁l ies", + "▁ме ща", + "▁фон дов", + "▁фонд ов", + "▁под няли", + "▁подня ли", + "▁поднял и", + "▁r ose", + "▁ro se", + "▁пе вица", + "▁Г ЛА", + "▁эм бле", + "ши вают", + "▁Batt alion", + "те нти", + "тен ти", + "тент и", + "▁album s", + "▁Prem ier", + "▁верх нем", + "ie ge", + "▁пла ву", + "▁плав у", + "▁Кры мской", + "▁Крым ской", + "▁Са му", + "▁Сам у", + "▁поддержи вали", + "▁поддерживал и", + "▁находя щийся", + "▁дет ство", + "▁Л ор", + "▁Ло р", + "▁на ки", + "▁серьез ное", + "▁серьезно е", + "B N", + "▁М ере", + "▁Ме ре", + "▁Мер е", + "▁поговори м", + "▁подписа ли", + "▁подписал и", + "▁critic ism", + "▁мо ё", + "▁Ц ин", + "▁Ци н", + "▁подру га", + "▁раство ра", + "▁раствор а", + "▁устра нения", + "▁поезд ку", + "▁поез дку", + "▁напра вленные", + "▁направлен ные", + "▁rep utation", + "▁относи тельности", + "▁относительно сти", + "▁при город", + "▁приго род", + "▁Ad am", + "▁приспо со", + "▁х вали", + "▁хва ли", + "▁Во просы", + "▁Вопрос ы", + "▁мане ре", + "▁требо ванием", + "▁требование м", + "▁Addition ally", + "▁тео рией", + "In t", + "I nt", + "ut her", + "uth er", + "u ther", + "V I", + "▁отде льности", + "▁отдель ности", + "▁отдельно сти", + "▁Ю жная", + "> >", + "И Х", + "us ing", + "▁документа ми", + "▁Mem orial", + "чник е", + "чни ке", + "ч нике", + "▁Ге рак", + "▁Гер ак", + "▁Гера к", + "шне е", + "ш нее", + "▁невозможно сти", + "▁невозмо жности", + "▁squad ron", + "P ar", + "▁глю ко", + "▁то чное", + "▁точно е", + "▁точ ное", + "▁ точное", + "▁все сторон", + "▁Р яза", + "▁Ря за", + "по мя", + "пом я", + "гра н", + "гр ан", + "г ран", + "▁созда нной", + "▁создан ной", + "▁разрабо тана", + "▁разработан а", + "▁разработа на", + "▁приня тии", + "▁L ieutenant", + "▁де спо", + "▁ме стам", + "▁мест ам", + "▁места м", + "▁драматур г", + "▁за шел", + "▁о ва", + "▁ов а", + "ownt own", + "▁c oun", + "▁co un", + "▁cou n", + "▁Челя бин", + "▁устой чивости", + "▁устойчи вости", + "▁B ureau", + "▁верто летов", + "▁вертолет ов", + "v i", + "▁жела ний", + "▁Со став", + "кле и", + "▁япо нцы", + "▁япон цы", + "▁гости ницы", + "▁фраг мента", + "▁фрагмент а", + "ко т", + "к от", + "▁гри бов", + "▁гриб ов", + "do n", + "d on", + "▁Воору жённых", + "▁re nd", + "▁r end", + "▁ren d", + "▁in tern", + "▁int ern", + "▁inter n", + "▁Аль берт", + "▁Альбер т", + "▁popular ity", + "▁У ЕФА", + "▁S R", + "▁э ква", + "▁эк ва", + "▁по ступи", + "▁посту пи", + "▁поступ и", + "▁Кор не", + "▁подчи нения", + "▁F inal", + "▁Fin al", + "ни вшись", + "нив шись", + "▁револю ционных", + "ze ch", + "z ech", + "▁Ф ай", + "▁Фа й", + "L C", + "▁освое ния", + "де кса", + "декс а", + "ro ke", + "r oke", + "му ж", + "▁входя щих", + "▁процесса х", + "▁Бу дет", + "▁Буд ет", + "чи с", + "ч ис", + "▁за роды", + "▁заро ды", + "▁Ro ute", + "▁Rou te", + "ga s", + "g as", + "▁Т им", + "▁Ти м", + "▁Числе нность", + "зе на", + "зен а", + "з ена", + "▁продук тами", + "▁продукта ми", + "Ж а", + "эм п", + "▁p ray", + "▁pr ay", + "▁pra y", + "▁кафе дра", + "▁з меи", + "▁зме и", + "▁страда ний", + "▁I C", + "▁ IC", + "са сы", + "▁ко че", + "▁впечат ля", + "▁ве гета", + "▁урав нове", + "▁ура внове", + "▁Моло дой", + "▁показа ний", + "▁А рт", + "▁Ар т", + "▁га ллю", + "▁гал лю", + "▁япо нцев", + "▁япон цев", + "] :", + "▁ре воль", + "▁Stud ios", + "▁Studio s", + "▁st adium", + "▁test ing", + "у чи", + "▁супру же", + "▁land ing", + "▁ника кие", + "▁скан дал", + "▁сканда л", + "дравству йте", + "▁Вол ги", + "▁cred it", + "▁завое вать", + "tra ck", + "tr ack", + "t rack", + "▁Шек спи", + "▁ро дины", + "▁роди ны", + "▁род ины", + "▁последу ющей", + "▁коммента риев", + "▁тек сти", + "▁текст и", + "▁contro vers", + "▁девя но", + "ти цы", + "▁за брать", + "▁забра ть", + "▁заб рать", + "▁Молда вии", + "▁право вых", + "▁восклик нул", + "k h", + "ва емым", + "та мина", + "тами на", + "там ина", + "▁подтвер дить", + "▁иде ально", + "▁идеаль но", + "▁идеа льно", + "ма ров", + "мар ов", + "▁z one", + "▁полу чите", + "▁получи те", + "▁получит е", + "▁дей ствующей", + "▁действу ющей", + "▁R ang", + "ри ко", + "рик о", + "▁Фё дорович", + "▁пье са", + "▁пьес а", + "спо кой", + "▁по ложению", + "▁поло жению", + "▁гри б", + "▁бактери й", + "пто м", + "пт ом", + "п том", + "▁ф ли", + "▁ фли", + "w orld", + "▁контр развед", + "▁ф лаго", + "▁фла го", + "▁флаг о", + "▁v ary", + "▁var y", + "▁t ur", + "▁а пель", + "▁апел ь", + "▁фор ума", + "▁фору ма", + "А д", + "▁Pal est", + "▁би леты", + "▁билет ы", + "▁ком пре", + "▁комп ре", + "▁Пла тона", + "▁Ц у", + "▁больше вики", + "▁большеви ки", + "▁При бы", + "▁про сты", + "▁прос ты", + "▁прост ы", + "▁дли нных", + "▁длин ных", + "▁ро ждение", + "ша лось", + "шало сь", + "▁t ick", + "▁ды ма", + "▁дым а", + "▁нагруз ку", + "▁a ired", + "▁air ed", + "▁Муж чина", + "▁HT ML", + "▁ко зы", + "▁коз ы", + "▁всеоб щего", + "▁компе тент", + "▁компетен т", + "▁вы нес", + "▁th inking", + "▁think ing", + "▁постано влением", + "▁постанов лением", + "▁постановление м", + "▁да дут", + "▁Wal ter", + "▁депре ссии", + "▁истори ческом", + "▁чер той", + "▁черт ой", + "▁ат ака", + "▁ата ка", + "▁атак а", + "▁techn ique", + "atab ase", + "▁обрабо тка", + "▁параш ют", + "▁парашю т", + "▁ди к", + "▁ дик", + "▁дере ву", + "▁дерев у", + "▁дер еву", + "▁Роди тели", + "▁suff icient", + "▁у казывается", + "▁указыва ется", + "▁указывает ся", + "▁ис ходит", + "▁исход ит", + "зы вов", + "зыв ов", + "▁логи ке", + "▁in her", + "▁ар ген", + "со вета", + "совет а", + "▁ex erc", + "▁конгре сс", + "жда лся", + "ждал ся", + "▁pro hib", + "▁откло нения", + "▁юриди ческой", + "еди но", + "един о", + "ед ино", + "е дино", + "▁Bar b", + "▁ex ception", + "▁except ion", + "ря н", + "р ян", + "так те", + "такт е", + "По чему", + "▁стро ю", + "▁телекана ла", + "▁candid ates", + "▁candidate s", + "▁ну жное", + "▁нужно е", + "▁нуж ное", + "▁И Н", + "▁ ИН", + "▁низ ких", + "▁Свет лана", + "▁Зе ландии", + "▁торго влю", + "▁торгов лю", + "▁оцен ил", + "▁оце нил", + "▁оцени л", + "▁Dougl as", + "ил ла", + "илл а", + "и лла", + "▁в водить", + "▁китай ский", + "▁кита йский", + "er to", + "ert o", + "ap ping", + "app ing", + "▁Эд вард", + "▁утвер ждён", + "▁способ ствовали", + "▁испыты вают", + "▁Ад риа", + "▁п али", + "▁па ли", + "▁пал и", + "▁ пали", + "▁Turk ish", + "▁Гра ф", + "ra ce", + "rac e", + "r ace", + "▁обусло влено", + "▁де по", + "▁извести е", + "▁испол нил", + "▁исполни л", + "▁Л ам", + "▁Ла м", + "▁переда ется", + "▁передает ся", + "образова ния", + "il st", + "ils t", + "ie ties", + "iet ies", + "▁лек ций", + "ни честве", + "▁зая влял", + "▁заявля л", + "▁д вести", + "▁две сти", + "▁похо жий", + "▁похожи й", + "По след", + "После д", + "▁Си нга", + "▁Син га", + "ph a", + "p ha", + "▁зна ниями", + "▁знания ми", + "▁гря зь", + "▁гряз ь", + "▁хреб та", + "▁журна лы", + "▁журнал ы", + "▁Мар ты", + "▁ву зов", + "▁о сматри", + "▁ос матри", + "▁числе нностью", + "▁численность ю", + "▁Э нциклопе", + "▁s kin", + "▁sk in", + "мо вых", + "мов ых", + "▁плохо го", + "▁Не извест", + "oc racy", + "ocr acy", + "▁гер мети", + "▁стрем ясь", + "▁стремя сь", + "▁пре сса", + "▁пресс а", + "▁Восто чно", + "▁Вос точно", + "▁изо ляции", + "▁иде ал", + "▁идеа л", + "▁по кая", + "▁пока я", + "▁В ласти", + "▁Вла сти", + "▁запро са", + "▁запрос а", + "▁выбира ет", + "▁f iled", + "▁file d", + "▁fil ed", + "▁сторо нами", + "▁сторона ми", + "▁сторонам и", + "▁ста рое", + "▁стар ое", + "▁старо е", + "▁маши ной", + "▁машин ой", + "▁машино й", + "лка х", + "л ках", + "ar sh", + "ars h", + "▁пло д", + "▁фа вори", + "ma p", + "m ap", + "t ure", + "тех нической", + "техни ческой", + "▁официаль ное", + "▁официально е", + "▁зая влении", + "▁заболевания х", + "▁форму ла", + "▁re act", + "ль ником", + "льник ом", + "▁А ки", + "▁Ак и", + "▁ри мский", + "▁рим ский", + "▁вы пря", + "il ler", + "ill er", + "ille r", + "▁нелег ко", + "▁на ходили", + "▁находи ли", + "▁наход или", + "▁находил и", + "▁фор мами", + "▁форма ми", + "▁моги ле", + "▁увели чением", + "▁увеличе нием", + "▁увеличение м", + "es c", + "e sc", + "▁ста ну", + "▁стан у", + "▁пье с", + "▁инже нером", + "▁инженер ом", + "▁B arn", + "▁Bar n", + "ra v", + "r av", + "il it", + "ili t", + "▁па кета", + "▁пакет а", + "▁паке та", + "▁st ands", + "▁stand s", + "▁присоеди ниться", + "▁Интер нете", + "▁Интернет е", + "▁интеллек т", + "ло ву", + "лов у", + "ди ями", + "дия ми", + "▁по при", + "▁поп ри", + "▁слы шит", + "да же", + "▁invest ment", + "▁мо деля", + "▁моде ля", + "▁состоя ло", + "▁состоял о", + "▁poet ry", + "▁пода рил", + "▁подар ил", + "▁а рифмети", + "uz z", + "u zz", + "▁це лой", + "▁цело й", + "▁проя вить", + "▁прояви ть", + "▁e rect", + "▁er ect", + "▁ere ct", + "▁тон кий", + "▁сосед ней", + "▁сдела нные", + "▁сделан ные", + "▁Буда пе", + "um a", + "u ma", + "▁r ating", + "▁ra ting", + "▁rat ing", + "▁C ape", + "▁Cap e", + "▁Ca pe", + "сно в", + "с нов", + "▁прой дут", + "▁Литера тура", + "▁Литератур а", + "▁средневе ковой", + "▁про воци", + "▁прово ци", + "▁Ка зи", + "▁person s", + "▁pers ons", + "▁accom pl", + "Х у", + "▁шу тку", + "▁до ходит", + "▁доход ит", + "ov en", + "ove n", + "o ven", + "es ter", + "est er", + "e ster", + "▁Mel bourne", + "▁соответ ствия", + "▁Af ghan", + "▁re serv", + "▁res erv", + "▁пле мя", + "▁пору чено", + "▁и зре", + "▁из ре", + "▁sat isf", + "▁aspect s", + "▁оцени вать", + "▁успе ла", + "▁успел а", + "▁Суво рова", + "▁зоо пар", + "▁е ли", + "▁Вене ции", + "▁Conf eder", + "на с", + "н ас", + "▁ра зоб", + "▁раз об", + "▁разо б", + "▁католи ческой", + "▁наме рение", + "▁намере ние", + "▁re action", + "▁react ion", + "Е вро", + "мет рия", + "метри я", + "▁спраши вал", + "▁пода вления", + "▁g ang", + "▁Ду ха", + "К ре", + "ло гами", + "лога ми", + "▁аэрод роме", + "▁аэродром е", + "▁аэродро ме", + "▁в их", + "▁ви х", + "▁гне здо", + "▁гнез до", + "▁гра би", + "po wer", + "p ower", + "▁Зе ле", + "▁у пад", + "▁упа д", + "▁кре сло", + "!) .", + "! ).", + "▁хими ческого", + "м вор", + "▁буты лку", + "▁супру гов", + "▁пробле мах", + "▁проблема х", + "од но", + "о дно", + "ст ному", + "стно му", + "стном у", + "с тному", + "ши вать", + "▁созда ла", + "▁создал а", + "▁соз дала", + "С О", + "вле нно", + "влен но", + "в ленно", + "▁поя влении", + "▁напо добие", + "▁лам пы", + "▁Ры ба", + "b us", + "▁О кс", + "▁Ок с", + "▁не бре", + "▁ небре", + "▁С ена", + "▁Се на", + "▁Сен а", + "▁пере менной", + "▁переме нной", + "▁перемен ной", + "( (", + "▁Закон ода", + "▁Законо да", + "▁loc omot", + "▁ве дении", + "▁ ведении", + "▁защи той", + "▁защит ой", + "▁приобре ли", + "▁приоб рели", + "▁приобрел и", + "▁рассматри ваются", + "▁инициа тивы", + "▁настоя щих", + "▁К В", + "▁часто та", + "ли тся", + "лит ся", + "л ится", + "ру ющее", + "рую щее", + "▁ва гон", + "▁ваго н", + "▁интере сом", + "▁интерес ом", + "▁интересо м", + "ко ди", + "ти ей", + "тие й", + "▁ref ers", + "▁refer s", + "ar go", + "arg o", + "▁брат ьями", + "▁брать ями", + "▁братья ми", + "▁с пора", + "▁спо ра", + "▁спор а", + "▁позна ва", + "▁за пута", + "▁запу та", + "▁призна ком", + "▁признак ом", + "ТО Р", + "Т ОР", + "ва к", + "в ак", + "ol as", + "ola s", + "▁div or", + "▁M oh", + "▁Mo h", + "▁семей ной", + "▁ресур с", + "▁сексуаль ной", + "▁усили ями", + "▁усилия ми", + "СКА Я", + "ру т", + "р ут", + "n i", + "▁Не бе", + "лл ь", + "л ль", + "▁вер хом", + "▁верх ом", + "▁пере писы", + "▁перепи сы", + "hi re", + "h ire", + "чи ке", + "чик е", + "▁социаль ное", + "▁социально е", + "▁соци альное", + "ста ть", + "с тать", + "▁Един ственный", + "▁base ball", + "▁concern ed", + "▁лето писи", + "▁летопи си", + "▁рекомен дова", + "▁ко шка", + "▁кош ка", + "▁фа льси", + "▁фаль си", + "▁Д ья", + "▁под чёр", + "▁rail road", + "▁дипло мат", + "▁диплома т", + "▁диплом ат", + "шко ва", + "шков а", + "ш кова", + "рес чур", + "▁промышлен ной", + "▁по ехать", + "▁пое хать", + "▁Бо жий", + "▁Божи й", + "▁ве тром", + "▁вет ром", + "▁защит ника", + "▁защитник а", + "▁А ЭС", + "▁inn ov", + "▁прави телей", + "не ся", + "нес я", + "▁расстре ля", + "▁вра чу", + "▁врач у", + "▁L td", + "▁прави льного", + "▁правильно го", + "сф ер", + "с фер", + "▁histor ian", + "▁исполни тель", + "▁Фран ци", + "▁Фра нци", + "▁рее стре", + "▁килограм мов", + "▁W he", + "▁Wh e", + "▁Севасто поль", + "сси они", + "ссион и", + "▁О конча", + "▁Окон ча", + "▁вое вода", + "▁отпра вилась", + "▁Ш ми", + "▁у езде", + "▁уезд е", + "▁уез де", + "дс кий", + "д ский", + "ос нова", + "о снова", + "▁account s", + "▁кило метра", + "▁километ ра", + "▁заим ствова", + "▁вы ехал", + "▁не жи", + "▁образу я", + "мя т", + "м ят", + "▁оста вляют", + "▁оставля ют", + "o is", + "▁описа ны", + "▁чита тели", + "▁вы пустить", + "▁выпу стить", + "▁выпусти ть", + "▁повсе местно", + "пс о", + "п со", + "▁К ино", + "▁Ки но", + "▁Кин о", + "произ вод", + "▁прав де", + "же ва", + "жев а", + "ж ева", + "жё р", + "ж ёр", + "▁следу я", + "жь те", + "ж ьте", + "▁пере ходя", + "▁переход я", + "▁От сутствие", + "▁t all", + "▁tal l", + "▁And erson", + "▁im prison", + "▁imp rison", + "▁солне чных", + "▁хло по", + "▁хлоп о", + "▁Boe ing", + "▁фо кус", + "▁зве рей", + "▁зв ерей", + "▁звер ей", + "▁j ourney", + "▁циф ровой", + "▁ожида ется", + "▁ожидает ся", + "▁отрица тельно", + "▁дли нными", + "▁длин ными", + "ре не", + "рен е", + "▁об нима", + "▁при родного", + "▁приро дного", + "▁природ ного", + "▁Севасто поля", + "▁пережи ваний", + "▁деся ток", + "an th", + "ant h", + "ar ry", + "▁rel ief", + "си тесь", + "сите сь", + "▁Поль ша", + "▁ка менные", + "▁камен ные", + "▁каме нные", + "▁не стаби", + "Восто чной", + "▁За байка", + "▁т в", + "▁В за", + "▁Вз а", + "▁Уз нав", + "▁Узна в", + "образ но", + "▁p ric", + "▁pr ic", + "▁pri c", + "▁раз ницы", + "▁Иоси фа", + "▁Иосиф а", + "l s", + "rel ated", + "▁other wise", + "▁ради олока", + "▁радио лока", + "▁обозна чает", + "▁обознача ет", + "▁результа тами", + "▁результатам и", + "▁результата ми", + "▁с кру", + "▁ск ру", + "igh ters", + "ight ers", + "ighter s", + "▁н я", + "▁ ня", + "▁электри ческих", + "th eless", + "the less", + "▁Все ленная", + "▁invol ving", + "▁замы сел", + "▁пред логом", + "▁тре тью", + "▁треть ю", + "пи ю", + "▁пред чув", + "▁е хал", + "▁еха л", + "▁ ехал", + "▁от нима", + "▁физи ка", + "▁физик а", + "▁Полу чается", + "▁K al", + "▁отече ственных", + "▁от клады", + "▁ме стном", + "▁мест ном", + "▁ка чеством", + "▁каче ством", + "▁качество м", + "▁качеств ом", + "▁собе се", + "▁откры лась", + "▁открыла сь", + "ос и", + "о си", + "▁process es", + "▁ве рный", + "▁вер ный", + "Он и", + "О ни", + "er ted", + "ert ed", + "ди нга", + "дин га", + "динг а", + "▁Ан таркти", + "▁По дума", + "▁Под ума", + "▁Сред него", + "▁Ско тт", + "▁академи ка", + "▁академик а", + "▁за горе", + "▁мо тори", + "▁мото ри", + "▁мотор и", + "▁про сят", + "▁прос ят", + "▁Особ ое", + "▁Осо бое", + "▁В ре", + "ги вает", + "▁fix ed", + "▁несколь ким", + "▁валю ты", + "▁пра вы", + "▁прав ы", + "▁раз ницу", + "▁Ва ша", + "▁Ваш а", + "▁Championship s", + "▁ле до", + "▁лед о", + "мен кла", + "▁re nt", + "▁r ent", + "▁ren t", + "▁ rent", + "▁му сор", + "▁мусо р", + "▁на ряд", + "▁наря д", + "▁По ст", + "▁законо проект", + "▁законопроек т", + "ль щики", + "▁Иль ин", + "▁Ильи н", + "▁И нте", + "▁Ин те", + "▁гу стой", + "▁С вою", + "▁Сво ю", + "▁тра ве", + "▁трав е", + "ству ющая", + "▁ста туи", + "▁стату и", + "▁на ращи", + "▁вклю чена", + "og ether", + "o gether", + "▁сопри косно", + "▁ам пли", + "▁sequ ence", + "ли чные", + "▁v ision", + "▁vis ion", + "▁реаги ровать", + "▁бли зки", + "▁близ ки", + "▁decl ined", + "▁истори ческое", + "▁m yth", + "▁my th", + "▁G ab", + "▁a wards", + "▁award s", + "▁aw ards", + "▁руко ят", + "▁Ме та", + "▁Мет а", + "▁т р", + "▁ тр", + "нь те", + "н ьте", + "▁Ц ы", + "▁t act", + "Се й", + "С ей", + "ме нным", + "мен ным", + "▁пере менных", + "▁переме нных", + "▁перемен ных", + "▁фото аппара", + "▁транс форми", + "▁Ста мбу", + "гра ть", + "г рать", + "▁d ates", + "▁date s", + "▁В ор", + "▁Во р", + "це нден", + "цен ден", + "▁приве зли", + "▁привез ли", + "▁разрабо ткой", + "▁интер вен", + "▁n aval", + "▁e cho", + "▁ec ho", + "▁учеб ные", + "▁созда нная", + "▁создан ная", + "▁столк нулись", + "▁столкну лись", + "▁And re", + "ИЧ Е", + "ron ze", + "▁r ain", + "▁ra in", + "▁ rain", + "▁кры ше", + "▁си не", + "▁а мино", + "▁ам ино", + "▁исче зла", + "▁исчез ла", + "▁про филь", + "▁профи ль", + "▁проф иль", + "то ка", + "ток а", + "лко ма", + "лком а", + "л кома", + "▁С хема", + "▁откры лся", + "▁открыл ся", + "el lect", + "ell ect", + "elle ct", + "▁rec ru", + "▁съем ки", + "▁S aturday", + "▁Тро цкого", + "een th", + "e enth", + "▁пере жить", + "▁пережи ть", + "▁А са", + "▁не прав", + "▁муж чиной", + "▁мужчи ной", + "▁мужчин ой", + "▁пропо вед", + "▁пропове д", + "ле ев", + "лее в", + "▁passeng er", + "▁Тре бу", + "▁площа дку", + "▁соста вило", + "▁составил о", + "▁Люд мила", + "▁коро лём", + "▁раз грани", + "▁разгра ни", + "▁де кре", + "▁Ind ones", + "▁dipl om", + "логи ческая", + "вле нном", + "влен ном", + "вленно м", + "в ленном", + "▁По началу", + "▁strong ly", + "▁На за", + "▁Наз а", + "▁поме стить", + "П Л", + "по сть", + "▁ко гни", + "▁го товых", + "▁гото вых", + "▁готов ых", + "▁готовы х", + "ien cy", + "i ency", + "▁про пуск", + "▁пропу ск", + "▁прио станови", + "да в", + "д ав", + "▁на жима", + "▁нажи ма", + "▁Никола евна", + "▁Николаев на", + "▁о тру", + "▁от ру", + "N e", + "▁Сю да", + "▁разви тых", + "▁напом нить", + "▁Ш ам", + "▁Ша м", + "щую ся", + "▁стро ке", + "▁строк е", + "▁возду хом", + "▁воздух ом", + "▁стади он", + "▁разли чий", + "▁различи й", + "ер ба", + "е рба", + "▁Islam ic", + "▁выпол нена", + "▁выполнен а", + "шн ую", + "ш ную", + "▁жи лой", + "▁жил ой", + "▁к ля", + "▁ кля", + "▁рас твори", + "▁раство ри", + "▁раствор и", + "▁раст вори", + "▁квали фика", + "▁Тихо го", + "▁a gency", + "▁ag ency", + "▁математи ке", + "▁матема тике", + "▁до чер", + "▁доче р", + "▁з веря", + "▁зве ря", + "▁звер я", + "▁Узбеки стана", + "as ka", + "ask a", + "▁До чь", + "▁стихотво рений", + "▁German s", + "До ну", + "Дон у", + "Д ону", + "▁fact or", + "▁fa ctor", + "▁на ступил", + "▁наступ ил", + "кс ы", + "к сы", + "▁Вы ше", + "▁ин станции", + "▁приме няться", + "▁применя ться", + "▁применять ся", + "ст ем", + "сте м", + "с тем", + "▁жа жду", + "▁Яковле вич", + "▁ви не", + "▁вин е", + "▁о м", + "▁ ом", + "▁культур ные", + "og en", + "o gen", + "igen ous", + "▁магази нах", + "▁магазина х", + "▁описы вается", + "▁описывает ся", + "вы вает", + "▁Не сом", + "▁эпизо де", + "▁эпизод е", + "д д", + "▁Ц ИК", + "▁dep ict", + "▁se ctions", + "▁section s", + "▁тех ническим", + "▁техни ческим", + "▁ноя брь", + "▁Со бор", + "▁Соб ор", + "▁попро сить", + "▁Ш ли", + "сно му", + "сном у", + "с ному", + "▁у стье", + "▁ус тье", + "▁Табли ца", + "▁bring ing", + "▁пре дви", + "▁пред ви", + "▁итальян ских", + "▁теоре тически", + "▁фраг мент", + "▁ископа емых", + "гни т", + "г нит", + "▁E xt", + "▁Ex t", + "▁обви нению", + "▁у му", + "▁ум у", + "▁насе лённые", + "▁населё нные", + "▁населён ные", + "▁и поте", + "▁m ys", + "▁my s", + "▁деревя нных", + "▁прогре сси", + "▁прогресс и", + "▁за ду", + "▁зад у", + "▁координа ты", + "▁координат ы", + "ine ma", + "inem a", + "▁ве щами", + "▁веща ми", + "▁St aff", + "▁каза лась", + "▁з лове", + "▁зло ве", + "▁rel ative", + "▁Java Script", + "▁республи ка", + "▁республик а", + "▁пра вам", + "▁прав ам", + "▁права м", + "Мо н", + "М он", + "▁d iam", + "▁di am", + "▁не мину", + "▁ко пей", + "▁коп ей", + "▁оста вила", + "▁оставил а", + "до у", + "▁Петро пав", + "▁Там бов", + "▁возвра тился", + "сси ми", + "сс ими", + "▁Даль нем", + "▁национа льным", + "▁ре шают", + "▁реша ют", + "▁A li", + "▁Al i", + "▁предназна чен", + "чи ваться", + "чивать ся", + "чива ться", + "числе ния", + "чис ления", + "рным и", + "р ными", + "▁пер о", + "▁пе ро", + "▁фигу ру", + "▁фигур у", + "▁п ету", + "▁пе ту", + "▁пет у", + "▁корот ких", + "▁жерт вами", + "▁ли чную", + "▁а мерика", + "▁предпри нять", + "▁предприня ть", + "▁Tem ple", + "us hing", + "ush ing", + "В И", + "т ль", + "▁ще л", + "▁возду шные", + "▁воздуш ные", + "▁Европе йского", + "▁Европей ского", + "▁ни к", + "▁ ник", + "▁Сто имость", + "▁Хру щев", + "юр а", + "ю ра", + "▁meas ures", + "▁measure s", + "▁насле дие", + "▁за коне", + "▁зако не", + "▁закон е", + "▁зак оне", + "▁предста влено", + "▁представлен о", + "▁на ду", + "▁над у", + "▁P ear", + "▁Pe ar", + "▁с вести", + "▁све сти", + "▁рав ны", + "▁посе лка", + "▁произ вел", + "ва рь", + "вар ь", + "в арь", + "▁Л ек", + "▁Ле к", + "▁N aval", + "▁Na val", + "▁За втра", + "▁G it", + "▁Gi t", + "▁Пара лле", + "▁мисси с", + "▁ак тивные", + "▁актив ные", + "▁деревя нный", + "rick et", + "▁T ype", + "▁Ty pe", + "▁ Type", + "▁зарпла ту", + "▁популяр ным", + "▁популя рным", + "Ма й", + "М ай", + "▁коммуника ций", + "▁Мар ша", + "▁appe al", + "ун да", + "унд а", + "у нда", + "▁на ти", + "▁особ ей", + "▁осо бей", + "▁превра тились", + "к р", + "▁n ort", + "▁nor t", + "нт у", + "н ту", + "▁B uilding", + "▁злоу мышлен", + "▁совпада ют", + "▁совпа дают", + "пре дь", + "пред ь", + "▁Х леб", + "▁национа льном", + "▁национально м", + "реди енты", + "ж мите", + "▁фабри ка", + "ag s", + "a gs", + "▁Генера льный", + "▁Те ль", + "▁значи мость", + "▁знач имость", + "▁моно поли", + "▁монопо ли", + "▁С р", + "▁Ара вии", + "▁Арави и", + "▁ка ло", + "▁ кало", + "▁жертво при", + "ри но", + "рин о", + "р ино", + "▁b irds", + "▁ад ъютан", + "▁образ цо", + "▁э ссе", + "▁эс се", + "▁уче ника", + "▁ученик а", + "ду тся", + "дут ся", + "▁на сти", + "▁нас ти", + "О Б", + "ев ка", + "е вка", + "▁D om", + "▁Do m", + "▁зака зу", + "▁заказ у", + "▁res emb", + "▁rese mb", + "▁ни чуть", + "▁Н евского", + "▁Не вского", + "▁How ard", + "▁Ho ward", + "▁каза лись", + "▁achie ve", + "▁Ис ходя", + "по жа", + "▁Те атра", + "▁cour ses", + "▁course s", + "Е Ч", + "▁Ко нец", + "▁Кон ец", + "▁голо вок", + "▁голов ок", + "▁корпу сом", + "▁корпус ом", + "▁ль ду", + "▁Die go", + "ри ков", + "рик ов", + "рико в", + "▁конферен ция", + "бы тия", + "хо вского", + "хов ского", + "ри мина", + "рим ина", + "▁О тра", + "▁От ра", + "▁солне чной", + "c i", + "▁пе вец", + "▁пев ец", + "▁в ходить", + "▁входит ь", + "▁вход ить", + "▁входи ть", + "▁кварта ле", + "▁ве ри", + "▁вер и", + "▁ вери", + "pt y", + "p ty", + "ad s", + "en ch", + "enc h", + "▁play off", + "▁за пра", + "▁хра мы", + "▁храм ы", + "▁убеди тельно", + "▁рассматри ваться", + "▁рассматривать ся", + "▁да льности", + "▁даль ности", + "Но р", + "Н ор", + "▁consec utive", + "▁отре аги", + "▁че ресчур", + "▁rest ored", + "▁ре фор", + "▁реф ор", + "▁артилле рийского", + "▁артиллерий ского", + "▁pl us", + "ва ющихся", + "ваю щихся", + "вающих ся", + "▁При чиной", + "▁m ob", + "▁масси ва", + "▁массив а", + "▁вспы х", + "▁насе лению", + "▁предусмотре нных", + "▁предусмотрен ных", + "▁О су", + "▁Ос у", + "▁по интере", + "▁Органи зация", + "▁организова н", + "▁свя зывают", + "▁связыва ют", + "▁П ят", + "▁Пя т", + "▁че рная", + "▁чер ная", + "M C", + "▁станов ления", + "▁стано вления", + "ve ments", + "vement s", + "v ements", + "▁Im perial", + "▁сохра нился", + "▁сохрани лся", + "▁сохранил ся", + "▁сохран ился", + "▁пи рат", + "▁пира т", + "▁пир ат", + "▁нау чная", + "▁B os", + "▁Bo s", + "▁коме дий", + "▁скан дина", + "▁стади она", + "▁стадион а", + "▁бо льные", + "▁боль ные", + "▁сформи ровать", + "oc a", + "o ca", + "▁сложи лось", + "и муще", + "▁завер шении", + "▁ком по", + "▁комп о", + "▁результа тах", + "▁результата х", + "▁выра жению", + "▁кафе дре", + "B ut", + "▁шири ну", + "▁с фера", + "▁сф ера", + "▁сфе ра", + "▁ сфера", + "▁ма лый", + "▁малы й", + "▁на ходил", + "▁находи л", + "▁наход ил", + "▁за тяги", + "▁затя ги", + "▁стаби льности", + "▁Ж ил", + "▁Жи л", + "▁испыта ние", + "▁с вязать", + "▁свя зать", + "▁связа ть", + "▁R oy", + "▁Ro y", + "▁футбо ль", + "▁фут боль", + "▁футбол ь", + "be s", + "b es", + "ма д", + "м ад", + "▁er r", + "▁ err", + "▁Ш ере", + "▁Ше ре", + "▁Шер е", + "▁Пол тав", + "▁ве чной", + "▁вечно й", + "▁Кон струк", + "▁воору жён", + "раз ум", + "разу м", + "мо ли", + "мол и", + "▁consist ing", + "▁к ром", + "▁кро м", + "▁кр ом", + "▁ли мон", + "▁лим он", + "▁поку пку", + "▁Ф рэн", + "▁Фрэ н", + "▁по дко", + "▁под ко", + "▁буд ьте", + "▁будь те", + "▁погре ба", + "▁несо ответ", + "би ю", + "▁о хота", + "▁охо та", + "▁охот а", + "▁особенно стью", + "▁особен ностью", + "▁особенность ю", + "▁St art", + "▁Star t", + "▁есте ственный", + "▁v ice", + "▁разрабо таны", + "▁разработан ы", + "▁разработа ны", + "▁пре зира", + "▁ме бель", + "▁У чеб", + "▁Уче б", + "нк ом", + "н ком", + "ль цев", + "▁Ря д", + "▁с пле", + "▁st ages", + "▁stage s", + "▁бе лом", + "▁бело м", + "▁глубо ких", + "М С", + "▁m olec", + "▁кратков ремен", + "▁кратко времен", + "▁вдох нови", + "▁вдохнов и", + "▁кварти ра", + "▁квар тира", + "▁квартир а", + "▁Стани слава", + "▁Станислав а", + "де нный", + "ден ный", + "▁der ived", + "▁боя лись", + "▁обре сти", + "али зация", + "а лизация", + "▁ве лась", + "▁вела сь", + "o j", + "▁возмо жен", + "▁В он", + "▁Во н", + "▁ле жать", + "▁лежа ть", + "▁лежат ь", + "▁обсу ждали", + "▁обсужда ли", + "▁от рас", + "▁отра с", + "▁го рной", + "▁гор ной", + "▁горно й", + "▁зали ве", + "▁залив е", + "▁буду щим", + "ге но", + "ген о", + "▁д жи", + "▁ джи", + "то чное", + "точно е", + "▁поправ ки", + "▁попра вки", + "▁H ans", + "▁Ha ns", + "▁Han s", + "▁социаль ным", + "▁соци альным", + "▁пе сне", + "▁пес не", + "▁учё том", + "гра фы", + "граф ы", + "▁пра вами", + "▁права ми", + "▁правам и", + "▁H ur", + "▁Hu r", + "▁Джей мса", + "▁Джеймс а", + "r m", + "▁require ments", + "ie val", + "▁изу чением", + "▁изучение м", + "▁прекра сные", + "▁библиоте к", + "▁библио тек", + "▁O cean", + "▁ло дке", + "▁с ном", + "▁сно м", + "▁ сном", + "▁про коммен", + "▁j e", + "▁ je", + "гра фов", + "граф ов", + "▁излу чение", + "ви чей", + "вич ей", + "ро дом", + "род ом", + "▁ко пий", + "▁копи й", + "▁Жи тели", + "▁стра шный", + "▁страш ный", + "▁удержи вать", + "▁is lands", + "▁island s", + "▁уточ нил", + "▁исследова нию", + "▁колле дж", + "▁твор ческих", + "▁ex port", + "▁exp ort", + "▁воз дви", + "▁ф ин", + "▁фи н", + "▁ фин", + "▁назна чении", + "▁S el", + "▁Se l", + "▁m ental", + "▁ment al", + "▁Л ё", + "▁ана то", + "▁снима ет", + "▁наро дами", + "▁народа ми", + "▁ка менных", + "▁камен ных", + "▁каме нных", + "▁проя вляет", + "▁проявля ет", + "▁D omin", + "▁Do min", + "▁Dom in", + "▁го товые", + "▁гото вые", + "▁готовы е", + "лу к", + "▁соб рали", + "▁собра ли", + "▁собрал и", + "▁d ies", + "▁di es", + "▁die s", + "▁упомя нуть", + "▁упомяну ть", + "▁Воз ника", + "▁Возник а", + "▁плате жей", + "▁вы су", + "▁выс у", + "▁еди ную", + "▁един ую", + "▁king dom", + "▁напра вленных", + "▁направлен ных", + "▁чу дом", + "▁чудо м", + "снаб жения", + "▁С тало", + "▁Ста ло", + "▁ст ул", + "▁сту л", + "зо вского", + "зов ского", + "кос новен", + "косно вен", + "▁Ви део", + "▁максима льная", + "ли вой", + "ливо й", + "лив ой", + "▁мо ды", + "▁Фран ко", + "▁Франк о", + "▁добро го", + "▁доб рого", + "вар дии", + "▁позд ней", + "▁жи лого", + "▁у ступил", + "▁уступ ил", + "id ers", + "ider s", + "лет ние", + "▁первен ства", + "▁охра ну", + "▁охран у", + "ки нг", + "кин г", + "к инг", + "▁ad vent", + "▁adv ent", + "▁у говари", + "▁уго вари", + "ша р", + "ш ар", + "▁ре чной", + "▁сна ряд", + "▁снаря д", + "▁Ont ario", + "су щ", + "▁называ ем", + "▁ску чно", + "▁б лин", + "▁бли н", + "▁St ring", + "▁ String", + "балан си", + "▁Тер рито", + "▁челове ческая", + "▁Кон вен", + "▁шер сти", + "ро ман", + "ром ан", + "рома н", + "с ре", + "▁С мы", + "▁См ы", + "▁бо жества", + "▁боже ства", + "▁катастро фа", + "▁составля ющие", + "▁завер ша", + "▁университе тов", + "▁университет ов", + "▁i Phone", + "▁« »", + "▁Gord on", + "ri ent", + "rie nt", + "r ient", + "́ к", + "ag u", + "a gu", + "▁Фридри ха", + "▁Фридрих а", + "▁пре дел", + "▁преде л", + "▁просле дить", + "▁обо рачи", + "▁организа циях", + "▁организация х", + "iv ate", + "iva te", + "▁сте ной", + "▁стен ой", + "▁мор ально", + "▁мора льно", + "▁C zech", + "вре менно", + "времен но", + "в ременно", + "▁he ads", + "▁head s", + "дне е", + "д нее", + "▁Вне за", + "▁краси вая", + "▁поэ ты", + "▁поэт ы", + "ше нными", + "шен ными", + "шенным и", + "▁High way", + "▁горо дами", + "▁города ми", + "▁ре альным", + "▁реаль ным", + "▁реа льным", + "ne st", + "nes t", + "n est", + "▁Hou ston", + "▁Основ ными", + "▁Основным и", + "▁в ступила", + "▁вступил а", + "▁вступи ла", + "▁вступ ила", + "се нь", + "сен ь", + "с ень", + "▁От ве", + "▁бога той", + "▁богат ой", + "▁Тек ст", + "▁Ка пи", + "про цен", + "проце н", + "▁при жи", + "▁Воору женных", + "▁про рока", + "▁проро ка", + "го ни", + "гон и", + "г они", + "L a", + "ни ор", + "нио р", + "▁ре зь", + "▁рез ь", + "▁повто рил", + "▁Тер мин", + "▁предыду щие", + "pl ication", + "plic ation", + "▁Древ ней", + "▁серде чно", + "▁практи ческих", + "▁прак тических", + "▁практически х", + "▁ла п", + "▁л ап", + "но вую", + "нов ую", + "нову ю", + "▁сбор ника", + "▁сборник а", + "▁нау чились", + "▁сверх ъесте", + "во рение", + "▁subs id", + "▁День ги", + "ha rd", + "h ard", + "▁комбина ции", + "▁оста льными", + "▁остальным и", + "▁воспомина ниях", + "▁воспоминания х", + "▁Евро со", + "ма йора", + "майор а", + "ту ар", + "туа р", + "С вобо", + "▁a thlet", + "▁вз лета", + "▁потенциаль ных", + "▁потенциа льных", + "▁I ron", + "▁Ir on", + "▁солне чного", + "▁жест ко", + "ord an", + "лю т", + "л ют", + "▁генера лу", + "▁генерал у", + "фи р", + "ф ир", + "▁ю мора", + "▁юмо ра", + "▁команду ющим", + "▁свя ты", + "▁за ходит", + "▁захо дит", + "▁телеви зор", + "ре вич", + "р евич", + "▁паль то", + "▁Ser ver", + "▁Serv er", + "▁институ ты", + "▁институт ы", + "М К", + "й ка", + "▁корпу сов", + "▁корпус ов", + "▁медици нский", + "▁ста вится", + "▁став ится", + "▁ставит ся", + "▁вмеша тельство", + "▁Д ли", + "▁Пред полага", + "▁Предпо лага", + "▁чу же", + "▁ме стона", + "▁место на", + "▁мест она", + "▁spirit ual", + "▁hor ses", + "▁horse s", + "▁hors es", + "▁Я ну", + "▁Ян у", + "▁B rand", + "▁Br and", + "▁Bra nd", + "▁C H", + "▁ CH", + "▁ка дет", + "▁кад ет", + "▁означа ть", + "▁озна чать", + "ал е", + "а ле", + "▁Ва г", + "▁испо ве", + "▁сы рье", + "▁встре чал", + "▁встреча л", + "▁встреч ал", + "▁оты скать", + "▁отыска ть", + "▁фе стивале", + "▁фестива ле", + "▁нале во", + "ще нности", + "щен ности", + "щенно сти", + "▁искус ственно", + "▁искусств енно", + "▁искусстве нно", + "▁очевид ным", + "▁Росси йский", + "▁Россий ский", + "▁в ведены", + "▁введен ы", + "▁Дзер жи", + "▁Прем ьера", + "▁Премьер а", + "▁Swed ish", + "▁требо ванию", + "▁Э тому", + "▁Это му", + "▁про спект", + "▁проспек т", + "▁бы вшая", + "ropol itan", + "▁использова н", + "▁де да", + "▁дед а", + "▁вы езд", + "▁выез д", + "▁Con nect", + "ig g", + "▁Га лли", + "́ м", + "▁подъ ема", + "▁подъем а", + "▁Монго лии", + "▁dist ricts", + "▁district s", + "▁m urd", + "▁mur d", + "▁Вслед ствие", + "ва ющиеся", + "ваю щиеся", + "вающие ся", + "m osp", + "▁Византи и", + "▁согла сован", + "▁согласо ван", + "▁согласова н", + "▁за сло", + "▁зас ло", + "▁игру шки", + "▁верх ний", + "▁кусо чек", + "▁Хо зя", + "th odox", + "▁координа т", + "▁метео ро", + "ра ка", + "рак а", + "р ака", + "▁обо рон", + "▁оборо н", + "гу ш", + "▁Гла вные", + "▁Глав ные", + "▁улыб нулся", + "▁смотри те", + "▁смотрит е", + "▁ смотрите", + "▁тро их", + "▁холо дный", + "▁холод ный", + "▁Te levision", + "ma t", + "m at", + "▁Побе дитель", + "▁журнали ста", + "▁журналист а", + "▁Я на", + "▁Ян а", + "▁учеб но", + "▁ст вол", + "▁ство л", + "▁да вало", + "▁давал о", + "▁табли цу", + "▁настаи вал", + "▁прогно з", + "▁спо рить", + "▁спор ить", + "▁француз ская", + "▁Пе ча", + "▁Ис следования", + "▁Исследова ния", + "че вского", + "чев ского", + "ч евского", + "▁great ly", + "▁построе нный", + "▁построен ный", + "▁догово риться", + "▁договори ться", + "▁P HP", + "▁тех нический", + "▁техни ческий", + "ял и", + "я ли", + "фи лд", + "▁Фрун зе", + "▁теоре тической", + "ab el", + "a bel", + "▁духов но", + "▁духо вно", + "▁изме нился", + "▁измени лся", + "▁измен ился", + "▁изменил ся", + "▁ме шок", + "▁свиде тельств", + "▁свидетель ств", + "▁тру довых", + "▁трудо вых", + "▁трудов ых", + "▁на коп", + "▁нако п", + "▁всевозмо жные", + "▁О х", + "## ##", + "▁Ar men", + "▁Arm en", + "▁зи ма", + "▁зим а", + "▁Хо се", + "▁пла вно", + "▁плав но", + "▁непред сказу", + "▁попа дания", + "▁попада ния", + "▁Основ ное", + "▁у голь", + "▁уго ль", + "▁угол ь", + "▁ уголь", + "▁прекра сное", + "▁прекрасно е", + "▁компьютер ной", + "▁Б ом", + "▁Бо м", + "▁ш три", + "▁шт ри", + "▁дворян ства", + "▁телеви дении", + "▁телевиде нии", + "▁pl ane", + "▁plan e", + "с це", + "▁M it", + "▁тепло й", + "▁теп лой", + "▁нау чить", + "▁г ну", + "▁ гну", + "ме ние", + "мени е", + "▁Си ти", + "▁A T", + "▁ AT", + "ра жи", + "раж и", + "▁бо гом", + "▁бого м", + "▁бог ом", + "дд и", + "д ди", + "▁ко ля", + "▁кол я", + "▁У голов", + "▁духов ную", + "▁Верх не", + "▁air port", + "▁релье ф", + "▁депута та", + "▁депутат а", + "▁w ave", + "▁wa ve", + "▁Выс шей", + "▁ост рый", + "▁про слежи", + "▁просле жи", + "▁уз лы", + "▁электри ческого", + "н рав", + "▁слия ния", + "▁Руко водство", + "▁ну ждаются", + "▁нужда ются", + "▁совер шается", + "▁соверша ется", + "▁совершает ся", + "▁выдержа ть", + "▁сбор нике", + "▁сборник е", + "▁компьютер ных", + "У кра", + "▁ре йс", + "▁р ейс", + "▁рей с", + "▁а рене", + "▁аре не", + "▁арен е", + "▁о чу", + "▁ре кой", + "▁реко й", + "▁рек ой", + "▁not ably", + "▁де ловой", + "▁дело вой", + "▁примени тельно", + "ст ол", + "сто л", + "с тол", + "▁полузащи тник", + "ol is", + "oli s", + "▁золо ти", + "▁prof ession", + "▁profess ion", + "▁cy cle", + "▁пере пле", + "▁ло ндо", + "▁над пи", + "▁задержа н", + "▁наблю дали", + "▁наблюда ли", + "▁наблюдал и", + "edd ing", + "▁предприя тии", + "▁выстре лов", + "да кти", + "дак ти", + "фи лософ", + "Ку р", + "К ур", + "фе я", + "▁с вети", + "▁свет и", + "▁све ти", + "▁св ети", + "▁лест ницы", + "▁F u", + "▁Экс пер", + "▁link ed", + "▁на сторо", + "▁нас торо", + "▁насто ро", + "▁серьез ной", + "▁серьезно й", + "▁ann iversary", + "▁эли ты", + "▁ово щей", + "▁re pro", + "▁rep ro", + "▁про пита", + "▁православ ных", + "▁правосла вных", + "▁явля ясь", + "▁наро дная", + "▁народ ная", + "▁о сы", + "▁ос ы", + "▁выс ший", + "▁з вена", + "▁зве на", + "▁зв ена", + "▁слы шно", + "▁здоров ью", + "▁здоро вью", + "▁органи затор", + "▁организа тор", + "▁последу ющим", + "▁воору жённых", + "▁вооружён ных", + "▁истреби теля", + "Из вести", + "A G", + "▁F ederation", + "▁ро дились", + "▁роди лись", + "▁Институ те", + "▁Институт е", + "▁защи тников", + "▁защит ников", + "▁защитник ов", + "▁объ явление", + "▁объя вление", + "▁сло жное", + "▁сложно е", + "▁вер нется", + "▁наличие м", + "▁наличи ем", + "▁втором у", + "▁второ му", + "▁сдела ло", + "▁сделал о", + "ти ль", + "тил ь", + "т иль", + "▁ac know", + "▁Елиза веты", + "▁ле сных", + "▁лес ных", + "ти роваться", + "тирова ться", + "тировать ся", + "▁на верх", + "▁навер х", + "▁духов ные", + "▁духо вные", + "▁С лава", + "▁Сла ва", + "▁res erve", + "▁reserv e", + "Жи знь", + "Жиз нь", + "▁в зи", + "▁вз и", + "▁ |", + "atio n", + "▁fo r", + "▁yo u", + "▁ you", + "▁ that", + "▁ {", + "▁ was", + "e rs", + "o rt", + "▁ }", + "a rt", + "u rn", + "i ght", + "▁t his", + "o uld", + "▁fro m", + "po rt", + "tu rn", + "t urn", + "--- -", + "- ---", + "▁hav e", + "▁ have", + "▁hi s", + "▁ his", + "u lt", + "ro u", + "r ou", + "▁ su", + "▁ca n", + "▁ had", + "*** *", + "* ***", + "▁ &", + "yp e", + "▁yo ur", + "▁ your", + "▁ou t", + "li c", + "l ic", + "▁ they", + "▁re turn", + "▁r eturn", + "▁ return", + "▁* *", + "▁ **", + "▁ will", + "▁c omp", + "▁ comp", + "▁ she", + "▁l i", + "▁ li", + "▁s a", + "▁ sa", + "e g", + "ea r", + "▁ +", + "ub lic", + "u blic", + "▁wer e", + "▁ were", + "{ \\", + "▁ has", + "al ue", + "alu e", + "fo rm", + "▁ma n", + "▁mo re", + "▁wo uld", + "▁ about", + "iti on", + "e rr", + "atio ns", + "rin g", + "▁ dis", + "-- ------", + "--- -----", + "----- ---", + "------ --", + "------- -", + "- -------", + "▁hi m", + "▁ him", + "▁ import", + "▁ti me", + "Us er", + "Use r", + "U ser", + "o rs", + "▁ther e", + "▁ there", + "▁li ke", + "▁ when", + "ve rs", + "▁ some", + "▁pa rt", + "i cal", + "▁fu n", + "▁ fun", + "▁ov er", + "pu t", + "ar am", + "ara m", + "a ram", + "▁s tat", + "▁sta t", + "▁ stat", + "▁ what", + "tex t", + "▁sa id", + "▁ ###", + "▁ju st", + "▁ just", + "irs t", + "▁ into", + "▁ const", + "e rv", + "_ {", + "▁pub lic", + "▁pu blic", + "▁publi c", + "▁ public", + "▁ot her", + "▁ @", + "oin t", + "oi nt", + "oi d", + "re turn", + "ret urn", + "r eturn", + "fte r", + "** ******", + "****** **", + "▁ou r", + "ri v", + "r iv", + "▁ than", + "pec t", + "ys t", + "y st", + "▁co uld", + "▁ could", + "a nn", + "e nc", + "a nc", + "▁als o", + "▁ also", + "rea t", + "pe c", + "p ec", + "opl e", + "tr ing", + "tri ng", + "t ring", + "▁T his", + "▁ This", + "▁ba ck", + "▁fi n", + "▁ fin", + "Co n", + "▁ did", + "▁ only", + "▁c lass", + "▁clas s", + "▁$ \\", + "▁ $\\", + "▁ye ar", + "} ,", + "▁ del", + "fi g", + "f ig", + "rou nd", + "▁ di", + "t his", + "f r", + "essa ge", + "f o", + "▁ people", + "yst em", + "ys tem", + "▁fir st", + "▁ first", + "▁ function", + "▁ho w", + "▁ how", + "ifi c", + "rea d", + "▁ bet", + "a rg", + "▁ need", + "ma th", + "mat h", + "m ath", + "e rt", + "Pr o", + "▁pa r", + "▁ Wh", + "▁ want", + "Na me", + "▁ =>", + "▁qu e", + "▁q ue", + "▁ que", + "▁ bu", + "eq u", + "cr e", + "c re", + "▁va r", + "=== =", + "= ===", + "▁mo d", + "te rn", + "} }", + "▁ “", + "▁r eg", + "^ {", + "▁ She", + "▁ */", + "▁ two", + "▁ma y", + "▁ may", + "fo re", + "rou gh", + "Ty pe", + "Typ e", + "fu l", + "▁sel f", + "▁ every", + "re f", + "r ef", + "▁ even", + "▁han d", + "▁ should", + "▁af ter", + "gh t", + "g ht", + "a tor", + "ri but", + "rib ut", + "ribu t", + "▁ca ll", + "▁ call", + "▁ma ke", + "▁ make", + "othe r", + "▁lon g", + "le ment", + "lem ent", + "l ement", + "▁wo r", + "▁ wor", + "▁ If", + "dat a", + "▁thro ugh", + "▁ through", + "▁dow n", + "▁ static", + "i cs", + "▁ void", + "owe r", + "▁thin k", + "▁ think", + "* /", + "▁a gain", + "▁ again", + "atin g", + "▁mo st", + "▁mos t", + "▁req u", + "▁ requ", + "abe l", + ")) ;", + ") );", + "▁b ecause", + "▁ because", + "u lar", + "rou p", + "r oup", + "▁ cons", + "▁ri ght", + "▁rig ht", + "▁ fr", + "ea d", + "▁els e", + "▁ else", + "▁ som", + "eme nt", + "emen t", + "au lt", + "se rt", + "ser t", + "s ert", + "typ e", + "iden t", + "▁p rov", + "▁ prov", + "▁ true", + "▁ As", + "} \\", + "▁ inst", + "▁na me", + "▁nam e", + "▁ sur", + "par am", + "pa ram", + "para m", + "p aram", + "▁sta rt", + "▁ start", + "S E", + "Str ing", + "S tring", + "ti ng", + "▁b efore", + "▁bef ore", + "▁ before", + "▁ pol", + "▁wel l", + "Co m", + "olo g", + "▁e rr", + "a rs", + "▁in cl", + "▁inc l", + "▁ incl", + "e rn", + "o dy", + "-- --------------", + "---- ------------", + "--- -------------", + "------------ ----", + "----- -----------", + "---------- ------", + "------ ----------", + "------------- ---", + "-------------- --", + "--------- -------", + "------- ---------", + "----------- -----", + "▁da ta", + "▁dat a", + "▁ good", + "▁ Q", + "▁mu ch", + "▁cu r", + "▁ cur", + "▁v alue", + "▁ loc", + "re ak", + "rea k", + "ativ e", + "▁ die", + "▁ trans", + "▁ result", + "▁au t", + "▁& &", + "▁ &&", + "} $", + "con d", + "co nd", + "c ond", + "▁fi l", + "▁ fil", + "iti es", + "▁p rodu", + "▁prod u", + "▁ produ", + "▁fo rm", + "▁ca se", + "▁ case", + "▁s pec", + "▁ spec", + "▁ é", + "▁ does", + "mi n", + "▁nu ll", + "▁ null", + "r r", + "Li st", + "ri ght", + "▁U ser", + "▁Us er", + "▁Use r", + "▁ User", + "U L", + "ati onal", + "atio nal", + "▁b eing", + "▁bei ng", + "▁ being", + "▁ca r", + "▁ dist", + "p lic", + "ol low", + "▁ pres", + "▁ such", + "rea m", + "▁Fo r", + "riv ate", + "▁ye ars", + "▁se rv", + "▁ma de", + "▁mad e", + "▁ made", + "; \r", + "▁li st", + "▁ cor", + "▁ det", + "eg in", + "e gin", + "▁c har", + "▁cha r", + "▁ char", + "tr ans", + "tra ns", + "▁! =", + "▁ !=", + "▁ dec", + "▁ma ny", + "▁ many", + "▁ à", + "▁si m", + "▁ sim", + "a sed", + "▁d iffer", + "▁diff er", + "▁fi nd", + "▁ find", + "▁ \r", + "▁i nv", + "▁ inv", + "▁poi nt", + "▁ They", + "▁u sed", + "i ó", + "▁sa y", + "▁ say", + "▁he lp", + "▁ help", + "▁ cre", + "▁ Tr", + "umen t", + "ou ght", + "m essage", + "▁mo n", + "wor k", + "iste r", + "a rn", + "i zed", + "Dat a", + "Da ta", + "o rn", + "D E", + "▁ person", + "e ngth", + "▁fal se", + "▁fals e", + "▁ false", + "▁s how", + "▁ show", + "▁sa me", + "▁ same", + "▁gene r", + "▁ gener", + "cu r", + "c ur", + "stru ct", + "be gin", + "b egin", + "cep t", + "▁F r", + "▁ Fr", + "▁ stud", + "( \\", + "▁ too", + "▁da y", + "▁fol low", + "▁ follow", + "atu re", + "r eg", + "uri ng", + "cr i", + "c ri", + "▁ /*", + "C T", + "▁Ther e", + "▁ There", + "▁tak e", + "▁ta ke", + "▁ take", + "ca l", + "c al", + "fo r", + "** **************", + "**** ************", + "******** ********", + "************ ****", + "************** **", + "s ource", + "▁ eff", + "mo d", + "} {", + "▁ around", + "pres s", + "pon se", + "pons e", + "▁li ne", + "▁lin e", + "dat e", + "cod e", + "[ '", + "▁li fe", + "▁u sing", + "▁va l", + "y p", + "▁fo und", + "▁fou nd", + "▁ found", + "ol ut", + "olu t", + "' ]", + "▁s tring", + "▁w r", + "▁ wr", + "stri ng", + "s tring", + "si ze", + "▁ each", + "v alue", + "▁las t", + "▁ last", + "▁ got", + "Se t", + "S et", + "▁ cr", + "é s", + "▁ between", + "et hing", + "eth ing", + "e thing", + "de x", + "d ex", + "▁pas s", + "▁pa ss", + "Ge t", + "▁ sup", + "Val ue", + "V alue", + "▁ try", + "lat ion", + "l ation", + "▁ exper", + "T r", + "▁ Mar", + "se rv", + "▁nu mber", + "▁ number", + "i nal", + "cen t", + "/ *", + "io nal", + "iona l", + "i onal", + "▁fi nal", + "▁ final", + "▁ never", + "▁hi gh", + "▁ high", + "▁ best", + "▁si gn", + "▁sig n", + "▁ sign", + "▁ dem", + "▁g iv", + "▁gi v", + "▁chi ld", + "▁ child", + "in cl", + "inc l", + "ind ow", + "indo w", + "rien d", + "▁ los", + "fil e", + "fi le", + "format ion", + "cc ess", + "c cess", + "▁i l", + "▁ il", + "isi on", + "▁a rt", + "Co nt", + "▁tu rn", + "▁ turn", + "te rs", + "ar get", + "arg et", + "arge t", + "Er r", + "E rr", + "ti me", + "tim e", + "▁ So", + "di v", + "▁di dn", + "} )", + "▁som ething", + "▁ something", + "() .", + "( ).", + "eve r", + "tr y", + "t ry", + "▁ rep", + "la bel", + "lab el", + "l abel", + "▁bot h", + "▁ both", + "* ,", + "▁ open", + "_{ \\", + "_ {\\", + "▁ol d", + ". _", + "M E", + "i fy", + "g g", + "Co l", + "▁mu st", + "▁ must", + "▁d ifferent", + "i sts", + "▁s ystem", + "▁sys tem", + "▁syst em", + "▁ system", + "ive rs", + "atu s", + "gra m", + "▁p rivate", + "▁ private", + "op y", + "o py", + "▁fee l", + "▁ How", + "// //", + "/// /", + "/ ///", + "loc k", + "▁ Sch", + "▁ma t", + "▁ho me", + "▁ home", + "per ty", + "pert y", + "lo c", + "l oc", + "▁w om", + "▁wo m", + "ar ly", + "arl y", + "ete r", + "▁incl ud", + "▁inclu d", + "UL L", + "U LL", + "▁ mem", + "▁litt le", + "▁a rg", + "▁} ,", + "▁ },", + "in clude", + "incl ude", + "et a", + "e ta", + "▁p lace", + "▁plac e", + "id th", + "us tom", + "▁| |", + "▁ ||", + "▁ tem", + "▁ fact", + "▁ Pl", + "op t", + "o pt", + "el e", + "e le", + "inte r", + "() ,", + "( ),", + "iq ue", + "avi ng", + "▁thou ght", + "fr ac", + "f rac", + "▁ca re", + "▁ care", + "() );", + "()) ;", + "( ));", + "▁pu t", + "▁mi ght", + "▁mig ht", + "▁A mer", + "▁Am er", + "▁ Amer", + "▁( !", + "▁ (!", + "▁sta te", + "su b", + "▁ Or", + "▁si ze", + "▁ without", + "e q", + "▁ expect", + "▁se cond", + "▁ second", + "▁S tring", + "▁Str ing", + "▁ next", + "+ +", + "re qu", + "req u", + "r equ", + "▁ When", + "amen t", + "trans lation", + "transl ation", + "▁va n", + "▁ano ther", + "Mo d", + "IO N", + "I ON", + "▁wo rd", + "Err or", + "Er ror", + "▁ contin", + "▁ three", + "Obj ect", + "▁parti c", + "$ .", + "▁vi s", + "pt ions", + "ption s", + "▁b reak", + "▁ break", + "▁thin gs", + "▁ That", + "u rs", + "▁fi le", + "igne d", + "pa rt", + "▁eq u", + "( &", + "▁ small", + "▁ always", + "▁ El", + "▁wo n", + "▁ won", + "▁l eft", + "▁ left", + "it em", + "ite m", + "i tem", + "ho r", + "h or", + "▁ away", + "b b", + "fu n", + "f un", + "▁stru ct", + "▁proc ess", + "▁proces s", + "▁ process", + "▁s upport", + "▁supp ort", + "▁ support", + "); \r", + ") ;\r", + "ió n", + "i ón", + "L O", + "▁ ·", + "P E", + "' ;", + "$ ,", + "▁ Gr", + "i nit", + "u mn", + "vers ion", + "v ersion", + "▁ ref", + "sta nd", + "stan d", + "▁ At", + "▁e in", + "fa ce", + "fac e", + "ifi ed", + "su m", + "s um", + "i tal", + "▁mo v", + "▁ mov", + "e lt", + "c tor", + "▁ build", + "i nc", + "in fo", + "inf o", + "c hn", + "▁ week", + "H E", + "ic ense", + "▁que st", + "▁q uest", + "le ft", + "l eft", + "▁ma r", + "▁b eh", + "▁fi eld", + "▁ keep", + "i tor", + "▁ non", + "▁_ _", + "▁ __", + "▁u na", + "▁un a", + "▁ una", + "▁ pop", + "▁sin ce", + "▁sinc e", + "▁ since", + "p i", + "ut il", + "uti l", + "u til", + "▁ soc", + "Ex ception", + "▁lo cal", + "▁ local", + "▁dir ect", + "▁ direct", + "▁ sure", + "▁d a", + "▁ da", + "▁curr ent", + "▁ current", + "' :", + "W h", + "▁ information", + "Te xt", + "Tex t", + "T ext", + "▁stan d", + "▁sta nd", + "▁c heck", + "▁ check", + "▁n a", + "▁ na", + "▁u nt", + "▁un t", + "▁ unt", + "b f", + "▁co nf", + "c lass", + "be rs", + "In fo", + "Inf o", + "▁ Br", + "erv ice", + "() )", + "( ))", + "▁pa t", + "o rg", + "▁tel l", + "▁al low", + "▁ allow", + "▁tea m", + "▁ team", + "le ase", + "ht t", + "h tt", + "▁ Pr", + "/* *", + "/ **", + "▁si ng", + "▁sin g", + "▁ sing", + "Re qu", + "Req u", + "R equ", + "▁obj ect", + "▁ object", + "B y", + "i ded", + "▁ free", + "ci te", + "cit e", + "c ite", + "▁) ;", + "▁ );", + "▁dur ing", + "▁l eg", + "▁si t", + "l eg", + "▁mo m", + "▁ expl", + "▁ develop", + "▁ event", + "▁N ULL", + "▁ NULL", + "oh n", + "o hn", + "▁// /", + "▁/ //", + "▁ ///", + "▁ business", + "▁ prof", + "▁p or", + "▁po r", + "▁ por", + "▁com mun", + "▁ commun", + "iu m", + "Te st", + "T est", + "ou ble", + "ri te", + "rit e", + "r ite", + "rea dy", + "▁{ \r", + "▁ {\r", + "▁thin g", + "a rl", + "con st", + "cons t", + ".. /", + ". ./", + "▁pow er", + "rib ute", + "ribut e", + "ribu te", + "▁ talk", + "▁ called", + "▁ca me", + "▁be lie", + "Ad d", + "A dd", + "e lla", + "oba l", + "▁u ntil", + "▁unt il", + "▁ until", + "▁ hum", + "atel y", + "### #", + "# ###", + "pu blic", + "pub lic", + "p ublic", + "[ ]", + "le n", + "l en", + "▁f amily", + "▁famil y", + "▁ family", + "▁pr ogram", + "▁ program", + "▁hi st", + "▁mu s", + "▁ mus", + "I m", + "el se", + "els e", + "ail s", + "ai ls", + "a ils", + "▁ love", + "ä r", + "ou rs", + "di s", + "d is", + "ö r", + "at eg", + "stat e", + "sta te", + "St ate", + "Stat e", + "erta in", + "▁e ffect", + "▁ effect", + "▁ big", + "in dex", + "ind ex", + "inde x", + "▁p ub", + "▁pu b", + "▁ pub", + "ve rt", + "m d", + "▁meth od", + "▁ method", + "▁gam e", + "▁ga me", + "▁ game", + "le te", + "let e", + "l ete", + "It em", + "I tem", + "IN G", + "I NG", + "re sent", + "oc ument", + "▁b eg", + "} .", + "▁ school", + "▁ lot", + "▁a dv", + "▁ adv", + "▁ca p", + "▁ cap", + "▁li ght", + "▁lig ht", + "Ke y", + "K ey", + "iti ons", + "▁/ **", + "▁/* *", + "▁ /**", + "▁wen t", + "ã o", + "▁thou gh", + "▁gr oup", + "▁ group", + "▁ mean", + "▁nu m", + "▁ num", + "▁ cond", + "н і", + "▁giv en", + "▁gi ven", + "▁ why", + "▁si de", + "▁sid e", + "▁ far", + "Con text", + "Cont ext", + "Vi ew", + "▁< <", + "▁ <<", + "fi l", + "f il", + "oa d", + "▁prod uct", + "▁ product", + "▁p aram", + "▁par am", + "▁para m", + "▁pa ram", + "▁ param", + "▁ prote", + "Tim e", + "olut ion", + "▁mont h", + "▁ month", + "▁a ppe", + "tr act", + "tra ct", + "t ract", + "é e", + "▁giv e", + "▁gi ve", + "▁ki nd", + "▁kin d", + "▁ kind", + "▁ count", + "co unt", + "cou nt", + "c ount", + "▁sto p", + "▁ stop", + "▁g over", + "▁go ver", + "▁ mil", + "yn c", + "y nc", + "▁ni ght", + "▁ sol", + "▁wat er", + "eri ng", + "▁li m", + "Par am", + "P aram", + "▁ho use", + "▁S ystem", + "▁ System", + "▁pa y", + "▁ pay", + "▁: =", + ", \\", + "le ngth", + "l ength", + "▁s i", + "▁ si", + "▁ interest", + "ct ed", + "c ted", + "enti on", + "▁ appro", + "▁thro w", + "▁ throw", + "math cal", + "i rl", + "▁ prom", + "▁req uest", + "▁ request", + "equ ation", + "eq uation", + "ol ogy", + "olo gy", + "mi t", + "▁pa ck", + "▁pac k", + "▁ pack", + "ar ray", + "arr ay", + "ti l", + "▁pre sent", + "▁ present", + "▁org an", + "Fil e", + "Fi le", + "F ile", + "▁ orig", + "▁ful l", + "▁fu ll", + "▁ full", + "is tr", + "ist r", + "i str", + "▁as sert", + "▁ass ert", + "▁ assert", + "ar ds", + "ur l", + "u rl", + "e nn", + "▁l evel", + "▁lev el", + "wor d", + "▁bo dy", + "▁bod y", + "í a", + "Q u", + "▁ma in", + "▁mai n", + "▁ main", + "A B", + "plo y", + "Ev ent", + "Even t", + "E vent", + "▁s uper", + "▁ super", + "A s", + "th ers", + "ther s", + "the rs", + "▁da ys", + "▁ days", + "▁ done", + "▁vi ew", + "▁vie w", + "si de", + "sid e", + "') ;", + "' );", + "▁ vol", + "▁ tot", + "ca se", + "cas e", + "c ase", + "▁af f", + "Requ est", + "Re quest", + "Req uest", + "\\ \\", + "▁J ohn", + "▁Jo hn", + "▁ John", + "▁u ne", + "▁un e", + "▁ une", + "[ \"", + "fi eld", + "▁perf orm", + "▁ perform", + "ail able", + "Con fig", + "Conf ig", + "O r", + "▁mo del", + "▁ model", + "▁ create", + "▁a nn", + "▁ Im", + "a nte", + "con fig", + "conf ig", + "\" ]", + "l t", + "▁tex t", + "▁ May", + "▁o rg", + "▁or g", + "▁ org", + "▁po rt", + "▁por t", + "P l", + "▁ door", + "▁( *", + "▁ (*", + "k t", + "enti al", + "▁i nc", + "No de", + "N ode", + "ivel y", + "▁as ked", + "i rt", + "▁ Te", + "▁repo rt", + "▁ report", + "▁c hang", + "▁cha ng", + "Si ze", + "S ize", + "▁oc c", + "▁ occ", + "▁ mind", + "▁ whe", + "▁ important", + "▁ Not", + "▁wr it", + "▁e yes", + "▁ desc", + "mo st", + "mos t", + "▁su ccess", + "▁succ ess", + "▁ success", + "co re", + "cor e", + "c ore", + "} (", + "▁ar ray", + "▁arr ay", + "▁ array", + "Fi eld", + "F ield", + "i ds", + "hin g", + "▁ca l", + "▁ cal", + "arin g", + "a lt", + "▁d é", + "al pha", + "alph a", + "▁fo ur", + "▁fou r", + "▁ four", + "no de", + "nod e", + "n ode", + "▁Pa r", + "▁ Eng", + "▁mo ve", + "▁ move", + "▁L icense", + "▁Lic ense", + "▁ License", + "cu l", + "c ul", + ") $", + "▁ tw", + "▁ With", + "▁ once", + "Serv ice", + "S ervice", + "bo l", + "b ol", + "▁Q u", + "▁ Qu", + "▁ grow", + "▁c onne", + "▁conn e", + "▁ conne", + "▁h tt", + "▁ htt", + "▁} ;", + "▁ };", + "▁wal k", + "▁ walk", + "▁i nit", + "na l", + "n al", + "ende r", + "cri ption", + "le cted", + "▁n il", + "▁ni l", + "▁ nil", + "▁p rob", + "▁ prob", + "▁ Ste", + "iso n", + "an ds", + "os ed", + "ose d", + "o sed", + "▁Hi s", + "▁ His", + "ü r", + "Ma n", + "El ement", + "Elem ent", + "E lement", + "In dex", + "Ind ex", + "se arch", + "s earch", + "▁ma g", + "▁ mag", + "▁c ourse", + "▁cours e", + "▁ course", + "▁ Car", + "▁e xp", + "▁ exp", + "▁m it", + "▁mi t", + "▁ mit", + "▁def ault", + "▁ default", + "/ >", + "▁s ervice", + "▁ service", + "uf fer", + "uff er", + "▁ Do", + "▁in cre", + "} ^", + "▁lo oked", + "ay er", + "aye r", + "a yer", + "▁ One", + "▁ba s", + "▁ bas", + "▁ job", + "m u", + "bu t", + "el ta", + "elt a", + "▁ Christ", + "▁re cord", + "▁ record", + "▁ Univers", + "ivi d", + "i vid", + "val id", + "▁hol d", + "▁ho ld", + "▁tab le", + "▁ta ble", + "▁ table", + "lin k", + "l ink", + "▁ Ge", + "For m", + "F orm", + "= {", + "stan ce", + "▁go vern", + "▁gover n", + "▁ govern", + "▁tech n", + "▁ techn", + "▁ prim", + "ma x", + "m ax", + "▁fo re", + "▁ Can", + "▁po lit", + "▁ polit", + "orie s", + "▁ti mes", + "▁ times", + "▁d ans", + "▁da ns", + "▁dan s", + "▁ai r", + "} _", + "▁l east", + "EN T", + "E NT", + "▁cos t", + "▁ cost", + ". ”", + "▁ children", + "abil ity", + "Bu t", + "▁pa th", + "res ult", + "▁e lement", + "▁elem ent", + "▁ element", + "▁w ait", + "▁wa it", + "▁ wait", + "▁mo ney", + "Ma p", + "M ap", + "oi n", + "o in", + "ivi ng", + "ic ht", + "ich t", + "i cht", + "i lle", + "i sed", + "▁cust om", + "▁ custom", + "▁hav ing", + "pon ent", + "po nent", + "▁ By", + "atte r", + "iti ve", + "De f", + "D ef", + "▁m oment", + "▁mo ment", + "▁ moment", + "at erial", + "ate rial", + "ater ial", + "Cl ass", + "C lass", + "o graph", + "▁ large", + "▁# ###", + "▁ Then", + "▁ Gu", + "ole an", + "o lean", + "pe rt", + "per t", + "p ert", + "▁ Ab", + "▁ short", + "imen t", + "▁ project", + "cri pt", + "cr ipt", + "▁incl uding", + "▁inclu ding", + "▁ma king", + "▁ making", + "▁ Fl", + "▁sa t", + "▁ sat", + "▁ company", + "oc us", + "p u", + "▁ God", + "▁ sn", + "▁a u", + "▁ au", + "▁ cou", + "á s", + "en ded", + "end ed", + "ende d", + "▁ pot", + "▁t yp", + "▁ typ", + "▁it em", + "▁i tem", + "▁ item", + "At t", + "A tt", + "▁yo ung", + "} \r", + "nde r", + "st art", + "sta rt", + "star t", + "* )", + "▁e nc", + "▁wom en", + "▁wo men", + "▁lo oking", + "▁ looking", + "▁heal th", + "▁ health", + "Pat h", + "P ath", + "▁ After", + "▁mu lt", + "▁mul t", + "▁ mult", + "▁{ \\", + "▁ {\\", + "▁lan d", + "▁ Des", + "in put", + "▁ Pol", + "\" \"", + "Co de", + "C ode", + "▁s upp", + "▁su pp", + "▁sup p", + "▁ supp", + "ain er", + "ai ner", + "aine r", + "a iner", + "he ck", + "▁mo r", + "▁ mor", + "▁ mill", + "f s", + "ting s", + "t ings", + "▁to get", + "▁cer tain", + "▁toget her", + "C E", + "▁Amer ican", + "a bles", + "▁pa rent", + "▁pare nt", + "▁ parent", + "amb da", + "an do", + "and o", + "= \\", + "en ding", + "end ing", + "▁ possible", + "ivi ty", + "nu m", + "n um", + "r t", + "ajo r", + "a jor", + "cre ate", + "creat e", + "c reate", + "ri de", + "rid e", + "r ide", + "▁kne w", + "bi t", + "it ional", + "ition al", + "iti onal", + "▁li k", + "▁ lik", + "▁ Her", + "▁ exist", + "i nn", + "bu f", + "b uf", + "▁ Me", + "▁ seen", + "No t", + "N ot", + "▁contr ol", + "▁ control", + "▁res pon", + "▁resp on", + "▁ respon", + "} ;", + "i lt", + "▁ba d", + "▁ bad", + "▁o ften", + "▁pas t", + "▁pa st", + "▁ reason", + "et ers", + "eter s", + "ete rs", + "e ters", + "▁w anted", + "ta ble", + "tab le", + "t able", + "or mal", + "orm al", + "wid th", + "w idth", + "pt r", + "p tr", + "▁ dest", + "▁de sign", + "▁ design", + "▁sou nd", + "▁ sound", + "▁ plan", + "▁ba se", + "▁ base", + "▁sa ys", + "fun ction", + "f unction", + "▁ tri", + "m t", + "▁av ailable", + "▁ available", + "ay out", + "a yout", + "▁o ch", + "▁oc h", + "▁ och", + "▁l as", + "▁la s", + "▁ las", + "mo n", + "Ha nd", + "H and", + "F r", + "pa ce", + "p ace", + "▁p ara", + "▁par a", + "▁pa ra", + "▁ para", + "▁ sum", + "M essage", + "ic i", + "i ci", + "▁k nown", + "am ma", + "amm a", + "a mma", + "ar r", + "a rr", + "▁ tre", + "~ \\", + "▁experi ence", + "icl e", + "▁ Il", + "▁ sent", + "▁o thers", + "▁ others", + "▁s oft", + "▁ma x", + "▁ max", + "▁mar ket", + "▁ market", + "▁p our", + "▁po ur", + "▁pou r", + "pr ession", + "press ion", + "p ression", + "ep s", + "e ps", + "▁sa w", + "▁a cross", + "▁ Su", + "O ver", + "u lation", + "▁R eg", + "▁ Reg", + "▁+ =", + "▁ +=", + "bo dy", + ") \\", + "▁prin t", + "d b", + "war ds", + "▁ black", + "▁ Ed", + "▁com plet", + "▁s ingle", + "▁sin gle", + "▁ single", + "b t", + "▁cod e", + "▁b ool", + "▁bo ol", + "▁ bool", + "▁a rea", + "▁ar ea", + "▁ area", + "▁re quire", + "▁ require", + "▁pro blem", + "▁prob lem", + "Eq u", + "E qu", + "▁con fig", + "▁ config", + "ve c", + "v ec", + "▁ac count", + "▁ account", + "ym bol", + "Ar ray", + "Arr ay", + "em pl", + "emp l", + "con text", + "cont ext", + "De s", + "D es", + "Res ult", + "ec ut", + "e cut", + "▁t arget", + "▁tar get", + "▁ target", + "\" />", + "o gle", + "▁wa sn", + "▁blo ck", + "p orts", + "rea te", + "= '", + "c d", + "loc ation", + "l ocation", + "▁a ccess", + "▁ access", + "gre ss", + "gres s", + "U p", + "▁ working", + "▁ Am", + "iq u", + "▁( (", + "▁ ((", + "▁ Per", + "▁f unc", + "▁fun c", + "▁fu nc", + "▁ func", + "▁gi rl", + "▁gir l", + "▁ girl", + "id o", + "i do", + "▁v ersion", + "▁ version", + "T Y", + "ma ry", + "mar y", + "m ary", + "a bled", + "anne l", + "▁ example", + "▁ context", + "▁c ir", + "▁ci r", + "▁ cir", + "Lo g", + "L og", + "▁s pace", + "▁ space", + "▁f ut", + "▁fu t", + "▁G ener", + "▁Ge ner", + "▁Gen er", + "▁Gene r", + "▁ Gener", + "▁d ri", + "▁dr i", + "_ .", + "▁fe lt", + "▁fel t", + "▁= ==", + "▁== =", + "▁ ===", + "▁} );", + "▁}) ;", + "▁ });", + "▁fro nt", + "▁ front", + "sign ed", + "sig ned", + "s igned", + "▁ye t", + "▁ input", + "▁ca mp", + "▁ camp", + "▁hal f", + "▁ half", + "▁cov er", + "▁ cover", + "▁b en", + "▁be n", + "▁ ben", + "▁d iff", + "▁di ff", + "▁dif f", + "▁ diff", + "_ \\", + "▁mo t", + "▁ mot", + "▁s ocial", + "▁soci al", + "▁ social", + "//// ////", + "▁s tre", + "▁ stre", + "gro und", + "і в", + "ob ject", + "obj ect", + "re ed", + "ree d", + "r eed", + "▁e en", + "▁ een", + "▁ba sed", + "u rg", + "▁lear n", + "▁ learn", + "▁e xc", + "▁ exc", + "▁ imp", + "▁w ur", + "en ds", + "end s", + "vo id", + "v oid", + "▁s td", + "▁st d", + "▁ std", + "▁part icular", + "▁particul ar", + "▁parti cular", + "▁sour ce", + "▁ source", + "def ault", + "▁a ls", + "▁al s", + "▁ als", + "sc ri", + "scr i", + "s cri", + "st atus", + "stat us", + "▁stor y", + "▁sto ry", + "▁ story", + "▁b egin", + "▁ begin", + "▁posit ion", + "▁ special", + "ph p", + "p hp", + "▁ba r", + "▁prac t", + "cal l", + "ca ll", + "c all", + "▁d as", + "▁da s", + "▁ das", + "▁clo se", + "▁ close", + "▁ Er", + "▁ low", + "pa ck", + "p ack", + "Re g", + "R eg", + "O f", + "atu res", + "é n", + "ede r", + "uild er", + "cas t", + "co nom", + "c onom", + "raf t", + "▁ma kes", + "Lo c", + "L oc", + "ht tp", + "htt p", + "▁ abs", + "▁ Will", + "bre ak", + "b reak", + "▁o ptions", + "▁opt ions", + "▁option s", + "▁ options", + "fo rt", + "▁a nal", + "▁ anal", + "▁e nv", + "▁en v", + "▁ env", + "( {", + "ev ent", + "even t", + "eve nt", + "e vent", + "▁pa ge", + "▁pag e", + "▁ page", + "ter nal", + "▁d istribut", + "▁dist ribut", + "▁fo od", + "▁foo d", + "▁ food", + "che ck", + "c heck", + "C K", + "as sert", + "ass ert", + "asse rt", + "á n", + "ba se", + "bas e", + "b ase", + "▁w hole", + "ac ión", + "ació n", + "aci ón", + "a ción", + "ig ma", + "▁res ponse", + "▁respon se", + "▁ response", + "ap ter", + "apt er", + "▁ results", + "▁re present", + "▁Ce nt", + "▁ Cent", + "▁ Some", + "▁be hind", + "▁ creat", + "plac e", + "p lace", + "s u", + "▁Pa rt", + "▁ Part", + "math bb", + "pi ng", + "pin g", + "▁ match", + "O ut", + "▁s itu", + "▁si tu", + "▁w indow", + "▁ window", + "lish ed", + "l ished", + "▁ Ver", + "▁ message", + "▁ Em", + "▁ human", + "per ties", + "pert ies", + "le m", + "l em", + "OR T", + "O RT", + "▁e arly", + "▁qui ck", + "▁ quick", + "▁c ountry", + "▁coun try", + "▁countr y", + "▁ country", + "▁ due", + "▁ Die", + "▁t rying", + "▁li ve", + "▁liv e", + "▁ live", + "IN T", + "I NT", + "W ith", + "ov ed", + "ove d", + "o ved", + "▁ specific", + "▁fal l", + "▁ fall", + "▁gene ral", + "▁ general", + "▁na mes", + "▁nam es", + "▁ names", + "whe re", + "▁ These", + "▁si l", + "▁ sil", + "é t", + "▁e ner", + "▁en er", + "▁ ener", + "▁ Now", + "▁addr ess", + "▁ address", + "Res ponse", + "▁ Mr", + "▁ans w", + "▁fi lm", + "▁ film", + "▁stro ng", + "▁ strong", + "▁Unit ed", + "▁wom an", + "▁wo man", + "▁ woman", + "en ame", + "ena me", + "e name", + "▁de scrib", + "isi ng", + "i sing", + "▁fu r", + "▁ fur", + "▁ Cal", + "▁ Dr", + "ER R", + "E RR", + "▁\\ \\", + "▁ \\\\", + "an gle", + "ang le", + "ur ope", + "uro pe", + "urop e", + "▁ci ty", + "▁ city", + "▁in dex", + "▁ind ex", + "▁inde x", + "▁ index", + "▁ However", + "▁fi g", + "▁ fig", + "▁ question", + "▁Ja n", + "▁ Jan", + "▁ Med", + "Cal l", + "C all", + "tt y", + "t ty", + "▁ind ivid", + "pa ge", + "pag e", + "p age", + "▁ comb", + "se ction", + "sect ion", + "s ection", + "▁ Comm", + "▁h et", + "▁he t", + "▁ het", + "▁ Bar", + "agem ent", + "fi n", + "f in", + "▁ma jor", + "▁maj or", + "▁ major", + "ap i", + "a pi", + "▁ „", + "▁a uf", + "▁au f", + "▁ auf", + "cur rent", + "curr ent", + "▁in clude", + "▁incl ude", + "▁inclu de", + "▁ include", + "▁qu i", + "▁q ui", + "U E", + "▁id ea", + "▁ idea", + "▁ required", + "▁ heart", + "ibil ity", + "Mod el", + "Mode l", + "Mo del", + "wr ite", + "writ e", + "w rite", + "▁conten t", + "▁ content", + "▁w er", + "▁we r", + "▁ wer", + "▁han ds", + "ch ar", + "cha r", + "c har", + "}^ {", + "} ^{", + "▁ma ss", + "▁mas s", + "▁ mass", + "▁n at", + "▁na t", + "▁ nat", + "▁d at", + "▁da t", + "▁ dat", + "==== ============", + "======== ========", + "============ ====", + "i mal", + "▁pro bably", + "i lar", + "▁wat ch", + "▁ watch", + "▁cu lt", + "▁cul t", + "▁mo ther", + "▁ mother", + "or ding", + "▁( )", + "▁ ()", + "▁lin k", + "▁ link", + "gr oup", + "gro up", + "g roup", + "▁ Ser", + "Se r", + "S er", + "▁ values", + "▁j ava", + "▁ja va", + "▁ java", + "full y", + "Co unt", + "C ount", + "++ )", + "▁v i", + "▁ vi", + "▁ white", + "ct x", + "c tx", + "▁co nc", + "▁ conc", + "▁sta y", + "gi ng", + "▁ clear", + "▁c opy", + "▁ copy", + "▁wor ds", + "▁ words", + "com p", + "co mp", + "c omp", + "ar gs", + "arg s", + "▁pi ck", + "▁pic k", + "▁ pick", + "ul y", + "u ly", + "▁va ri", + "▁ vari", + "▁bel ieve", + "▁ Co", + "Pro perty", + "Gr oup", + "G roup", + "is chen", + "isch en", + "ische n", + "isc hen", + "i schen", + "et urn", + "e turn", + "Sys tem", + "S ystem", + "C L", + "▁t otal", + "▁to tal", + "▁ total", + "▁is t", + "▁i st", + "▁ ist", + "In put", + "umen ts", + "Man ager", + "le ep", + "lee p", + "н ого", + "r uction", + "▁i nte", + "▁ inte", + "Ap p", + "A pp", + "av or", + "avo r", + "a vor", + "▁re spect", + "▁ respect", + "ato rs", + "▁c omo", + "▁com o", + "▁co mo", + "▁cu t", + "▁ cut", + "▁ App", + "F I", + "▁so rt", + "▁sor t", + "▁ sort", + "ј е", + "i cro", + "Tr ans", + "Tra ns", + "л і", + "▁ Inst", + "re quest", + "requ est", + "req uest", + "▁relation s", + "- \\", + "St atus", + "Stat us", + "▁fat her", + "c s", + "is ch", + "isc h", + "i sch", + "}_ {", + "} _{", + "AT E", + "A TE", + "it ten", + "itt en", + "itte n", + "T H", + "▁ho m", + "▁ hom", + "▁t oday", + "▁tod ay", + "▁toda y", + "▁z u", + "▁ zu", + "▁is n", + "▁i sn", + "▁ opt", + "é r", + "ix ed", + "ph i", + "p hi", + "iden ce", + "Cl ient", + "A t", + "▁ Let", + "iu s", + "be n", + "b en", + ") \r", + ">< /", + "> (", + "▁w rite", + "▁wr ite", + "▁ write", + "fin d", + "fi nd", + "f ind", + "▁pers onal", + "▁persona l", + "▁ personal", + "] [", + "▁fo ot", + "▁foo t", + "▁re search", + "iron ment", + "▁n om", + "▁no m", + "▁ nom", + "▁ instance", + "▁ held", + "▁ members", + "▁fi re", + "▁fir e", + "▁ fire", + "▁hi story", + "▁ history", + "▁ma p", + "▁dis cuss", + "▁e spec", + "▁es pec", + "▁esp ec", + "▁ espec", + "▁tak ing", + "▁ta king", + "▁s ervices", + "▁ services", + "▁indu st", + "▁ indust", + "ige n", + "▁ Ass", + "▁e xpected", + "▁ expected", + "▁wur de", + "di r", + "d ir", + "▁a mong", + "▁su gg", + "▁sug g", + "In ter", + "Int er", + "blo ck", + "▁ Rep", + "▁pa in", + "▁fi ve", + "▁ five", + "▁fu nd", + "▁ fund", + "ar row", + "arr ow", + "▁deter m", + "ic ult", + "F un", + "▁mont hs", + "js on", + "j son", + ", ”", + "▁c los", + "▁clo s", + "ie rs", + "ai rs", + "a irs", + "def ine", + "I f", + "▁w onder", + "▁won der", + "▁wo nder", + "qu ery", + "que ry", + "quer y", + "p g", + "▁m aterial", + "▁mat erial", + "▁mate rial", + "▁ material", + "y d", + "Re ad", + "R ead", + "h tml", + "T E", + "P r", + "^{ \\", + "^ {\\", + "▁ga ve", + "▁s uggest", + "▁sug gest", + "Over ride", + "ro du", + "rod u", + "Fr om", + "F rom", + "▁E urope", + "▁Europ e", + "▁ Europe", + "P O", + "hos t", + "▁ Ber", + "▁ Har", + "▁e nergy", + "▁ener gy", + "▁energ y", + "▁ energy", + "> <", + "fr ame", + "wi th", + "▁m o", + "▁ mo", + "p m", + "▁o m", + "▁ om", + "ne xt", + "nex t", + "n ext", + "▁ status", + "▁} \r", + "▁ }\r", + "▁ Dis", + "▁ho st", + "▁c omes", + "▁ comes", + "u sed", + "▁fut ure", + "▁ future", + "lic k", + "li ck", + "l ick", + "▁ compet", + "▁ voice", + "ev el", + "eve l", + "e vel", + "▁n eg", + "▁ neg", + "▁com mand", + "▁ command", + "▁f ür", + "▁pi e", + "▁ pie", + "▁qui te", + "▁quit e", + "▁b lo", + "▁bl o", + "▁ blo", + "il on", + "ilo n", + "i lon", + "▁t each", + "▁te ach", + "▁tea ch", + "▁prev ious", + "▁ previous", + "▁si te", + "▁ site", + "co lor", + "col or", + "colo r", + "at tr", + "att r", + "▁ accept", + ") }", + "Dat e", + "Da te", + "D ate", + "▁o u", + "▁ ou", + "▁pre tty", + "▁pret ty", + "▁ image", + "B U", + "▁sear ch", + "▁ search", + "▁ è", + "▁Va l", + "▁ ‘", + "▁Da v", + "sr c", + "s rc", + "in cip", + "▁could n", + "ad os", + "ado s", + "▁d ro", + "▁dr o", + "▁ dro", + "be ta", + "bet a", + "b eta", + "▁minut es", + "▁gran d", + "▁ grand", + "▁ »", + "▁O ur", + "▁ Our", + "St r", + "S tr", + "VE R", + "V ER", + "ma z", + "m az", + "▁or iginal", + "▁ original", + "▁ coll", + "lo at", + "▁o s", + "▁ os", + "}) ;", + "} );", + "sum mary", + "▁wal l", + "▁ wall", + "Col or", + "Co lor", + "▁ve rs", + "▁d ella", + "▁de lla", + "▁del la", + "▁dell a", + "▁\" \"\"", + "▁\"\" \"", + "▁ \"\"\"", + "math bf", + "▁ associ", + "▁in de", + "▁i nde", + "▁ind e", + "▁ inde", + "a gue", + "▁A pr", + "▁Ap r", + "▁ Apr", + "ro ups", + "rou ps", + "roup s", + "▁s eries", + "▁serie s", + "▁ series", + "▁in stead", + "▁si x", + "▁ six", + "▁ Rec", + "▁c oming", + "u rt", + "▁glob al", + "▁glo bal", + "▁ global", + "▁neces s", + "▁ necess", + "Po s", + "P os", + "▁ leave", + "▁p od", + "▁po d", + "▁ pod", + "ateg ory", + "ategor y", + "▁ deep", + "▁outs ide", + "ha s", + "h as", + "opt ions", + "option s", + "o ptions", + "▁ Sm", + "Su b", + "S ub", + "ro ws", + "row s", + "r ows", + "▁Stat es", + "▁Sta tes", + "▁ States", + "▁wr ong", + "▁ sem", + "▁ catch", + "mod el", + "mode l", + "mo del", + "▁htt p", + "▁ option", + "▁ä r", + "▁ är", + "▁enjo y", + "n u", + "▁p as", + "▁pa s", + "▁ pas", + "▁a mount", + "▁ amount", + "▁res pons", + "▁respon s", + "▁ respons", + "▁In tern", + "▁Inter n", + "▁Int ern", + "▁ Intern", + "▁my self", + "▁o pp", + "▁op p", + "▁ opp", + "▁ Sim", + "E d", + "▁( \\", + "▁ (\\", + "▁ points", + "ar ning", + "arn ing", + "U P", + "elli ng", + "▁c annot", + "▁le ngth", + "▁ length", + "nu ll", + "n ull", + "ui nt", + "u int", + "wi se", + "▁d ouble", + "▁ double", + "ig e", + "i ge", + "i sta", + "▁est ab", + "▁es tab", + "▁esta b", + "an ch", + "anc h", + "▁bou nd", + "▁ bound", + "▁ fa", + "▁c lean", + "▁ clean", + "▁simpl e", + "▁ simple", + "m i", + "#### ####", + "if ier", + "ifi er", + "▁Gener al", + "▁Gene ral", + "▁ General", + "▁se emed", + "end if", + "▁ca us", + "▁ educ", + "▁cel l", + "Ge ner", + "Gen er", + "G ener", + "sp ace", + "s pace", + "▁ Your", + "g t", + "▁l imit", + "▁li mit", + "▁ limit", + "▁da te", + "▁dat e", + "Ut il", + "U til", + "▁Nat ional", + "▁Nation al", + "▁ National", + "o ws", + "qu ad", + "▁o k", + "▁ ok", + "ar th", + "art h", + "▁ec onom", + "▁ econom", + "Com ponent", + "▁be low", + "sig ma", + "s igma", + "▁com put", + "▁comp ut", + "▁ comput", + "▁N one", + "▁No ne", + "▁Non e", + "▁ None", + "▁ta sk", + "▁ task", + "en te", + "ent e", + "e nte", + "pp ed", + "ppe d", + "p ped", + "▁a us", + "▁au s", + "▁ aus", + "Att ribute", + "Attrib ute", + "re q", + "r eq", + "ad dr", + "add r", + "li ght", + "co ver", + "cov er", + "c over", + "up port", + "upp ort", + "▁ Gl", + "▁ San", + "▁wr iting", + "▁ writing", + "▁ Mark", + "▁ gre", + "TY PE", + "T YPE", + "▁Sou th", + "▁Sout h", + "▁ South", + "▁perf ect", + "▁pack age", + "▁ package", + "▁ infl", + "▁ Ang", + "res pon", + "resp on", + "pte mber", + "▁ building", + "VA L", + "V AL", + "fr ee", + "fre e", + "f ree", + "H T", + "▁Fr om", + "▁Fro m", + "▁ From", + "d s", + "ach ine", + "achi ne", + "no wn", + "now n", + "n own", + "▁sa ying", + "Re f", + "R ef", + "▁ network", + "par ent", + "pa rent", + "pare nt", + "paren t", + "p arent", + "> \r", + "Build er", + "B uilder", + "▁li ving", + "▁liv ing", + "▁ continue", + "an ger", + "ang er", + "ange r", + "▁ Red", + "▁ dead", + "▁bo olean", + "▁ boolean", + "▁cl ient", + "▁ client", + "▁ •", + "ol der", + "old er", + "ud io", + "udi o", + "▁d eg", + "asi ng", + "a sing", + "▁ step", + "▁pe rs", + "▁ pers", + "ç ão", + "ob j", + "▁rou nd", + "▁re source", + "▁res ource", + "▁ resource", + "▁val id", + "▁ valid", + "bu g", + "b ug", + "st d", + "s td", + "sp an", + "s pan", + "po l", + "p ol", + "ial og", + "ia log", + "▁p hot", + "? '", + "D B", + "▁Fi n", + "▁ Fin", + "V E", + "E m", + "▁ca m", + "▁ cam", + "tar get", + "t arget", + "pe cted", + "pec ted", + "He l", + "H el", + "▁Tes t", + "▁ Test", + "▁tow n", + "▁ town", + "al ign", + "ali gn", + "▁ except", + "▁ initial", + "lic h", + "li ch", + "l ich", + "▁Au t", + "▁ Aut", + "▁ fail", + "▁ben ef", + "is che", + "isch e", + "isc he", + "i sche", + ". *", + "▁ contact", + "Re c", + "R ec", + "a rio", + "ot tom", + "ott om", + "otto m", + "▁rel ationship", + "▁relation ship", + "]) ;", + "] );", + "He ad", + "H ead", + "form at", + "for mat", + "▁é t", + "▁ ét", + "▁ More", + "act ory", + "actor y", + "port un", + "+ \\", + "▁simpl y", + "▁Rus s", + "n í", + "▁lon ger", + "in ition", + "init ion", + "ec tor", + "apt ion", + "a ption", + "▁profes s", + "▁ Mus", + "è s", + "▁ Act", + "off set", + "offs et", + "▁il l", + "▁ Ag", + "cont ent", + "▁ works", + "yn am", + "yna m", + "y nam", + "p lement", + "Res ource", + "Re source", + "Act ion", + "A ction", + "▁diff icult", + "▁Wes t", + "▁ West", + "▁vide o", + "▁ video", + "▁T HE", + "▁TH E", + "▁ THE", + "▁ decl", + "ondo n", + "de d", + "d ed", + "}{ \\", + "} {\\", + "o cr", + "▁Cit y", + "▁Ci ty", + "▁ City", + "ue r", + "u er", + "c z", + "▁i mag", + "▁ imag", + "c r", + "et e", + "e te", + "id get", + "idge t", + "▁ forward", + "▁pi ct", + "▁pic t", + "or ge", + "org e", + "▁ subject", + "up date", + "s a", + "▁ Ant", + "▁r unning", + "▁ running", + "▁sa l", + "▁ sal", + "con ne", + "conn e", + "c onne", + "▁ output", + "ad ata", + "ada ta", + "a data", + "Che ck", + "C heck", + "l edge", + "▁pa per", + "▁pap er", + "▁ paper", + "param s", + "par ams", + "para ms", + "a vy", + "▁a f", + "▁ af", + "▁e ine", + "▁ein e", + "▁j our", + "▁jo ur", + "▁jou r", + "▁ jour", + "A Y", + "▁S tr", + "▁St r", + "▁ Str", + "st yle", + "sty le", + "Th at", + "T hat", + "▁ language", + ") (", + "▁b uy", + "▁.. .", + "▁ activ", + "ap ped", + "app ed", + "appe d", + "a pped", + "But ton", + "B utton", + "To ken", + "Tok en", + "T oken", + "ibe r", + "▁c reated", + "▁ created", + "cur ity", + "c urity", + "En d", + "E nd", + "a ł", + "izi ng", + "i zing", + "▁s ich", + "▁si ch", + "▁ See", + "▁u int", + "▁ui nt", + "▁ uint", + "▁ label", + "vo l", + "v ol", + "ó w", + "oco l", + "▁inte rn", + "▁ intern", + "R un", + "▁ Oct", + "▁C omp", + "▁ Comp", + "Ac t", + "A ct", + "▁tou r", + "▁Stat e", + "▁Sta te", + "▁ State", + "▁ad ded", + "▁ added", + "htt ps", + "http s", + "stre am", + "▁ lower", + "▁ Sk", + "▁ cross", + "▁ echo", + "▁ device", + "▁gam es", + "▁ga mes", + "P L", + "W indow", + "ti tle", + "tit le", + "t itle", + "St ream", + "z t", + "▁ Sw", + "▁ role", + "k u", + "seq u", + "▁ late", + "Com m", + "Co mm", + "C omm", + "▁en tre", + "▁ent re", + "▁entr e", + "▁ entre", + "▁ dog", + "dev ice", + "▁ likely", + "^{ -", + "^ {-", + "▁l en", + "▁le n", + "▁ len", + "▁Pa ul", + "▁ Paul", + "▁t ool", + "▁to ol", + "▁too l", + "▁ tool", + "Of f", + "O ff", + "▁f amil", + "▁fam il", + "▁fa mil", + "▁ draw", + "a pping", + "▁ events", + "cre t", + "cr et", + "c ret", + "rou ght", + "Cont ent", + "ms g", + "m sg", + "ga mma", + "g amma", + "Op er", + "O per", + "▁your self", + "▁yours elf", + "▁li ter", + "▁ liter", + "em p", + "e mp", + "▁sep ar", + "▁ separ", + "▁ti tle", + "▁ title", + "M ethod", + "math rm", + "▁s low", + "▁ Rom", + "▁ta x", + "▁ tax", + "empl ate", + "emp late", + "o i", + "▁A rt", + "▁ Art", + "f alse", + "oc ket", + "T O", + "am ente", + "ame nte", + "ament e", + "amen te", + "a mente", + "lo cal", + "loc al", + "l ocal", + "chi e", + "▁pa n", + "ch ema", + "che ma", + "chem a", + "▁Nort h", + "▁> =", + "▁ >=", + "A ut", + "▁ dig", + "sol e", + "um er", + "ume r", + "u mer", + "del ta", + "d elta", + "it é", + "i té", + "ab ase", + "aba se", + "a base", + "ra f", + "r af", + "▁obs erv", + "▁ observ", + "▁ Est", + "▁s eg", + "▁se g", + "▁ seg", + "▁[ ]", + "▁ []", + "▁ Pres", + "pu sh", + "pus h", + "p ush", + "▁ Off", + "a ti", + "▁ dim", + "En t", + "E nt", + "___ _", + "_ ___", + "en try", + "ent ry", + "entr y", + "▁fi ght", + "▁ cred", + "▁O R", + "▁ OR", + "▁ Dep", + "$ {", + "Creat e", + "C reate", + "▁Apr il", + "▁Ap ril", + "min istr", + "▁ Ap", + "▁ Here", + "priv ate", + "p rivate", + "In stance", + "Inst ance", + "ie m", + "i em", + "▁ third", + "▁up date", + "▁ update", + "Lin e", + "Li ne", + "L ine", + "ta g", + "t ag", + "▁e specially", + "▁espec ially", + "▁especial ly", + "▁ especially", + "▁c u", + "▁ cu", + "▁ki ll", + "▁ kill", + "au ght", + "Option s", + "Opt ions", + "O ptions", + "ju st", + "j ust", + "▁ While", + "iz er", + "ize r", + "i zer", + "▁a uto", + "▁aut o", + "▁au to", + "▁ auto", + "▁ba nd", + "iq ues", + "N O", + "▁O F", + "▁ OF", + "▁ Acc", + "EX T", + "E XT", + "en sor", + "ens or", + "enso r", + "▁ lat", + "bi g", + "b ig", + "▁Ki ng", + "▁Kin g", + "▁ King", + "s i", + "▁Hi st", + "▁ Hist", + "▁ quality", + "mod e", + "mo de", + "m ode", + "▁op portun", + "▁would n", + ":* *", + ": **", + "out put", + "▁fee t", + "d f", + "agi ng", + "▁d efined", + "▁define d", + "▁ defined", + "▁ review", + "▁F il", + "▁Fi l", + "▁ Fil", + "▁prin cip", + "Bas e", + "B ase", + "di ct", + "d ict", + "ve rage", + "ver age", + "ici ent", + "▁hi t", + "▁ hit", + "Pag e", + "P age", + "▁p erm", + "▁per m", + "▁pe rm", + "▁ perm", + "í t", + "▁expr ess", + "▁ express", + "▁Sept ember", + "im age", + "ima ge", + "imag e", + "▁ products", + "▁medi a", + "▁ media", + "ig ger", + "igg er", + "▁ send", + "la st", + "las t", + "l ast", + "mi ng", + "uar y", + "y sis", + "lik e", + "в і", + "▁Mi ch", + "M O", + "▁J ah", + "▁Ja h", + "▁shar e", + "▁sha re", + "▁ share", + "sp ec", + "spe c", + "s pec", + "▁ fast", + "H O", + "▁part icip", + "▁parti cip", + "Bl ock", + "Blo ck", + "B lock", + "▁vi ol", + "▁fr ame", + "▁fra me", + "▁fram e", + "▁ frame", + "▁ qual", + "tr e", + "t re", + "▁tow ard", + "f g", + "Bo x", + "B ox", + "Col umn", + "▁mil it", + "▁mi lit", + "pas s", + "▁ Ben", + "Fr ame", + "▁n ormal", + "▁nor mal", + "▁ normal", + "op en", + "ope n", + "o pen", + "p x", + "▁Eve n", + "▁ Even", + "▁m a", + "▁ ma", + "St art", + "Star t", + "rh o", + "r ho", + "gr aph", + "gra ph", + "g raph", + "aci ng", + "arte r", + "in st", + "ins t", + "activ e", + "▁ fem", + "▁m oved", + "▁mo ved", + "▁stor e", + "▁sto re", + "▁ store", + "▁p rice", + "▁ price", + "be rg", + "b erg", + "▁ nov", + "▁ca rd", + "▁ card", + "el low", + "▁ party", + "▁ percent", + "▁ training", + "▁in g", + "▁i ng", + "▁ ing", + "im er", + "ime r", + "i mer", + "▁ Sam", + "Def ault", + "▁f uck", + "▁fu ck", + "▁com plete", + "▁comp lete", + "▁compl ete", + "▁ complete", + "ui d", + "u id", + "▁det ails", + "▁ details", + "Po int", + "P oint", + "▁Coun t", + "▁Cou nt", + "▁ Count", + "z o", + "▁ Bro", + "▁ recogn", + "▁ Hol", + "el ement", + "ele ment", + "elem ent", + "e lement", + "Mod e", + "Mo de", + "M ode", + "▁E X", + "▁ EX", + "Im age", + "ri ter", + "rit er", + "rite r", + "r iter", + "s oft", + "▁int rodu", + "▁intro du", + "▁sur pr", + "Buf fer", + "Buff er", + "B uffer", + "le ctor", + "lect or", + "l ector", + "an ged", + "ang ed", + "ange d", + "▁Pa t", + "▁ Pat", + "▁Pa l", + "▁ Pal", + "▁con tr", + "▁cont r", + "▁ contr", + "Hand ler", + "Handle r", + "▁ features", + "ip le", + "i ple", + "▁C ON", + "▁CO N", + "▁ CON", + "Fi l", + "F il", + "▁Po rt", + "▁Por t", + "▁ Port", + "▁thin king", + "do c", + "d oc", + "▁wor ked", + "c m", + "da t", + "d at", + "PR O", + "P RO", + "▁Ever y", + "▁Eve ry", + "▁ Every", + "▁ First", + "▁imm edi", + "ov ember", + "ove mber", + "apa n", + "▁extr a", + "▁ extra", + "▁sect ion", + "▁ section", + "▁Jun e", + "▁vi a", + "▁ via", + "▁s tri", + "▁ stri", + "^ \\", + "▁arc h", + "S ource", + "▁co nv", + "▁ conv", + "▁Lond on", + "▁ London", + "Num ber", + "N umber", + "an did", + "and id", + "en v", + "e nv", + "▁nat ural", + "▁natur al", + "▁ natural", + "▁ne ws", + "▁ news", + "▁c hall", + "▁cha ll", + "* }", + "N ull", + "rot e", + "▁ bi", + "▁wr itten", + "▁ written", + "▁blo od", + "▁happen ed", + "▁ca use", + "as hing", + "ash ing", + "ashi ng", + "a dem", + "▁displ ay", + "▁ display", + "ta b", + "t ab", + "ni e", + "n ie", + "▁h ers", + "▁he rs", + "▁her s", + "▁ Pre", + "buf fer", + "buff er", + "b uffer", + "▁his tor", + "en u", + "e nu", + "▁ar riv", + "▁arr iv", + "▁ Dem", + "▁f avor", + "▁fa vor", + "▁hand le", + "▁ handle", + "SE T", + "S ET", + "▁Pub lic", + "▁Pu blic", + "▁ Public", + "r upt", + "▁é s", + "▁ és", + "Pr e", + "P re", + "р і", + "th eta", + "the ta", + "i sf", + "▁nat ional", + "Equ al", + "Eq ual", + "E qual", + "▁ca pt", + "▁ Inter", + "ta u", + "t au", + "▁s leep", + "▁ sleep", + "../ ../", + "▁ issue", + "▁ member", + "▁a wait", + "▁aw ait", + "▁ await", + "▁Da n", + "▁ Dan", + "z i", + "i nate", + "▁ sym", + "cha n", + "▁Ja ck", + "▁ Jack", + "▁ English", + "▁s z", + "▁ sz", + "rib utes", + "ribut es", + "ribute s", + "ribu tes", + "▁ig n", + "á l", + "id ge", + "▁co uple", + "▁coup le", + "we b", + "w eb", + "▁usual ly", + "▁vi ll", + "▁vil l", + "▁W hy", + "▁Wh y", + "▁ Why", + "eb ru", + "e bru", + "or ds", + "▁i nf", + "▁ loss", + "▁o d", + "▁ od", + "▁ Phil", + "ser ver", + "serv er", + "serve r", + "▁ Up", + "▁b uff", + "▁bu ff", + "▁buf f", + "▁ buff", + "▁fil ename", + "▁file name", + "▁ filename", + "AB LE", + "iti ng", + "ef ore", + "e fore", + "() ->", + "( )->", + "▁ conditions", + "v m", + "i tz", + "▁ Trans", + "▁w eight", + "▁weigh t", + "vi der", + "vid er", + "v ider", + "c oming", + "▁l ock", + "▁loc k", + "▁lo ck", + "▁ lock", + "▁e tc", + "▁ etc", + "▁a vec", + "▁av ec", + "▁ave c", + "▁tak es", + "▁ta kes", + "▁C har", + "▁Cha r", + "▁ Char", + "▁N ovember", + "m ethod", + "▁A ustral", + "▁ Austral", + "▁Amer ica", + "▁ America", + "lon g", + "fl ow", + "f low", + "▁may be", + "▁ maybe", + "La yout", + "L ayout", + "ic ip", + "ici p", + "i cip", + "part ial", + "Tr ue", + "▁f loor", + "▁ floor", + "▁ Def", + "▁conce rn", + "▁concer n", + "▁an swer", + "▁ans wer", + "▁ answer", + "▁ba ll", + "▁ Rev", + "▁ sun", + "ment e", + "me nte", + "men te", + "m ente", + "▁ Mal", + "▁ issues", + "ec ause", + "eca use", + "▁p layer", + "▁pl ayer", + "▁ player", + "▁ parents", + "▁popula r", + "▁popul ar", + "▁mo de", + "▁ mode", + "N E", + "Lo ad", + "L oad", + "▁regul ar", + "▁ regular", + "? :", + "fun c", + "fu nc", + "f unc", + "▁per formance", + "▁J uly", + "th ern", + "ther n", + "the rn", + "▁we bsite", + "▁web site", + "fo rd", + "l evel", + "fl ags", + "flag s", + "▁cor respon", + "si m", + "s im", + "▁ alone", + "▁ har", + "obi le", + "obil e", + "▁d ru", + "▁dr u", + "▁ dru", + "ch i", + "c hi", + "▁D avid", + "▁Da vid", + "▁ David", + "▁ column", + "() ;\r", + "(); \r", + "( );\r", + "Z E", + "▁reli g", + "▁ region", + "a dy", + "I O", + "ande r", + "Ne t", + "N et", + "▁ built", + "▁ install", + "C ur", + "▁fi ne", + "▁talk ing", + "▁tal king", + "▁ch anges", + "▁ changes", + "St yle", + "▁Ma rt", + "▁ Mart", + "res ponse", + "respon se", + "respons e", + "te ger", + "{ \r", + "iri t", + "▁prote cted", + "▁ protected", + "▁r ele", + "un signed", + "uns igned", + "ial ize", + "▁htt ps", + "▁ https", + "T ag", + "▁$ (", + "▁ $(", + "mo re", + "mor e", + "ype s", + "yp es", + "y pes", + "et ch", + "etc h", + "▁ engine", + "K E", + "cm d", + "c md", + "scri pt", + "scr ipt", + "t tp", + "▁a void", + "▁t err", + "▁te rr", + "▁ter r", + "▁ rock", + "▁f ul", + "▁fu l", + "▁ ful", + "Up date", + "▁env ironment", + "▁environ ment", + "▁ environment", + "▁ prec", + "▁ca ses", + "▁ cases", + "▁off set", + "▁ offset", + "▁r ais", + "▁ra is", + "▁ rais", + "ée s", + "é es", + "a a", + "y t", + "▁a rr", + "▁ arr", + "opy right", + "f irst", + "▁ util", + "▁ feature", + "po sed", + "p osed", + "ff ect", + "f fect", + "itu de", + "itud e", + "emen ts", + "le ctions", + "lect ions", + "lection s", + "▁ club", + "] {", + "▁* )", + "▁ *)", + "▁ imm", + "▁forme r", + "▁decide d", + "▁decid ed", + "▁ rev", + "▁st ru", + "▁str u", + "▁ stru", + "▁I tal", + "a lle", + "▁b is", + "▁bi s", + "▁ bis", + "ge ner", + "gen er", + "g ener", + "▁in tegr", + "▁int egr", + "▁inte gr", + "▁ integr", + "ry pt", + "s b", + "▁t ypes", + "▁ types", + "▁R E", + "▁ RE", + "In it", + "I nit", + "▁comme nt", + "▁ comment", + "AR T", + "A RT", + "F O", + "Con ne", + "Conn e", + "C onne", + "▁sq u", + "id ad", + "ida d", + "cia l", + "▁ Of", + "▁tr avel", + "') .", + "' ).", + "u y", + "i lla", + "is try", + "istr y", + "▁v a", + "▁ va", + "▁ Che", + "ER T", + "E RT", + "en de", + "end e", + "e nde", + "un gen", + "ung en", + "unge n", + "▁sa m", + "▁ sam", + "▁ex ecut", + "▁exec ut", + "▁ execut", + "▁ Us", + "▁mu t", + "▁ mut", + "▁ba l", + "as se", + "ass e", + "▁k ids", + "▁kid s", + "▁ki ds", + "▁fin anc", + "▁ Sec", + "be rt", + "▁Hig h", + "▁Hi gh", + "▁ High", + "▁ је", + "but ton", + "b utton", + "it ory", + "itor y", + "ito ry", + "▁ Rem", + "▁D E", + "▁ DE", + "▁r each", + "▁ reach", + "La bel", + "L abel", + "á t", + "▁pas sed", + "▁be hav", + "xF F", + "x FF", + "▁R eturn", + "▁Re turn", + "▁Ret urn", + "▁ Return", + "ST R", + "S TR", + "▁ Les", + "inge r", + "▁Sin ce", + "▁ Since", + "▁exper i", + "▁exp eri", + "▁s hall", + "▁sha ll", + "▁ shall", + "▁s tar", + "▁sta r", + "no n", + "n on", + "▁ gun", + "▁ Bel", + "▁ob j", + "▁ obj", + "r s", + "ne n", + "n en", + "▁S tre", + "▁St re", + "▁Str e", + "▁ î", + "time s", + "ti mes", + "tim es", + "t imes", + "▁ register", + "▁mod ule", + "▁mo dule", + "▁ module", + "▁app lic", + "▁appl ic", + "▁ cook", + "▁sa ve", + "▁sav e", + "▁ save", + "▁ Cr", + ", \r", + "▁sta tes", + "▁ states", + "▁em pty", + "▁emp ty", + "▁empt y", + "▁ empty", + "▁au tom", + "▁auto m", + "▁ autom", + "fig ure", + "▁h appy", + "▁happ y", + "▁f n", + "▁ fn", + "▁ju d", + "▁ jud", + "▁h at", + "▁ha t", + "▁ hat", + "AC K", + "A CK", + "▁ Fe", + "$ -", + "ivi l", + "i vil", + "▁size of", + "▁ sizeof", + "▁li ves", + "▁liv es", + "▁fe eling", + "▁feel ing", + "▁fee ling", + "▁ris k", + "▁Januar y", + "▁Ob ject", + "▁ Object", + "ea h", + "e ah", + "▁com plex", + "▁ complex", + "print f", + "ist ance", + "istan ce", + "i stance", + "li k", + "l ik", + "Ar g", + "A rg", + "▁mo dern", + "▁mode rn", + "▁moder n", + "ion es", + "io nes", + "ione s", + "i ones", + "▁ Mag", + "▁ condition", + "Le ngth", + "L ength", + "▁fi t", + "oun ds", + "▁ch anged", + "▁ changed", + "▁g uy", + "▁gu y", + "fil ter", + "at ever", + "ate ver", + "é d", + "re move", + "rem ove", + "▁ho p", + "▁ hop", + "▁ Out", + "▁Ric h", + "▁ Rich", + "ch ild", + "chi ld", + "▁in cluded", + "▁incl uded", + "▁inclu ded", + "$ \\", + "▁ Tom", + "eli ne", + "elin e", + "▁s ometimes", + "▁some times", + "▁sometime s", + "▁dr ink", + "▁ quant", + "▁p lease", + "▁ple ase", + "▁ex actly", + "▁exact ly", + "cin g", + "▁all owed", + "▁ allowed", + "bu ild", + "b uild", + "▁beaut iful", + "▁Wel l", + "▁ Well", + "▁look s", + "▁lo oks", + "▁ ü", + "▁wr ote", + "▁ nor", + "▁ failed", + "Me t", + "M et", + "▁p rior", + "or ia", + "ori a", + "o ria", + "▁ web", + "▁mes s", + "le q", + "l eq", + "d y", + "te x", + "t ex", + "▁a nim", + "▁ anim", + "atu r", + "▁str ucture", + "▁ structure", + "opt ion", + "o ption", + "▁ actual", + "▁Fr anc", + "▁Fra nc", + "▁Fran c", + ".< /", + ". ", + "▁ />", + "▁p roduction", + "▁prod uction", + "▁ production", + "ige r", + "sh ow", + "s how", + "▁popul ation", + "▁ park", + "▁ necessary", + "▁t rust", + "mod ule", + "mo dule", + "G E", + "▁class Name", + "▁ className", + "▁cal cul", + "▁calc ul", + "Fun ction", + "F unction", + "▁ Sal", + "O K", + "▁en try", + "▁entr y", + "▁ entry", + "▁ Stud", + "▁item s", + "▁ items", + "▁se curity", + "▁secur ity", + "▁ security", + "En try", + "Ent ry", + "f loat", + "▁cont ribut", + "▁C heck", + "▁Che ck", + "▁ Check", + "M D", + "Par t", + "P art", + "▁syst ems", + "▁ policy", + "▁s creen", + "▁scr een", + "▁ screen", + "▁A ny", + "▁An y", + "▁ Any", + "al loc", + "all oc", + "allo c", + "▁ É", + "▁e mail", + "▁em ail", + "▁ email", + "= >", + "▁ Hen", + "▁in fo", + "▁inf o", + "▁ info", + "▁f loat", + "▁flo at", + "▁ float", + "▁ switch", + "▁as sum", + "▁ass um", + "us tr", + "ust r", + "u str", + "▁g roups", + "▁gro ups", + "▁ groups", + "▁R ead", + "▁Re ad", + "▁ Read", + "▁w at", + "▁wa t", + "RA N", + "R AN", + "AL L", + "A LL", + "▁h us", + "▁ hus", + "Sp ec", + "Spe c", + "S pec", + "\") )", + "\" ))", + "▁C lass", + "▁ Class", + "▁presid ent", + "▁def init", + "▁defin it", + "▁T hom", + "W idth", + "D o", + "▁{ @", + "a gon", + "▁ Lu", + "M M", + "tm p", + "t mp", + "▁th rows", + "▁throw s", + "▁thr ows", + "▁thro ws", + "▁ throws", + "IT Y", + "I TY", + "é g", + "▁inter face", + "▁ interface", + "▁sa f", + "B ack", + "▁s peed", + "▁ speed", + "▁ext ends", + "▁extend s", + "em pty", + "empt y", + "emp ty", + "▁d riv", + "▁dr iv", + "▁dri v", + "▁c enter", + "▁ center", + "he ader", + "head er", + "▁} )", + "▁ })", + "▁ middle", + "▁ch oose", + "▁cho ose", + "▁St ad", + "▁Sta d", + "S O", + "Fact ory", + "Factor y", + "F actory", + "De v", + "D ev", + "icl es", + "▁appl ication", + "▁ application", + "▁ models", + "pi te", + "pit e", + "ca p", + "c ap", + "x i", + "▁dre am", + "EN D", + "E ND", + "▁con tract", + "▁contr act", + "▁contra ct", + "▁ contract", + "icro soft", + "▁thou s", + "i zes", + "▁d irection", + "▁di rection", + "▁dir ection", + "▁ direction", + "▁` `", + "▁ ``", + "▁d rive", + "▁dri ve", + "▁driv e", + "▁ drive", + "Ma x", + "M ax", + "ci a", + "c ia", + "▁Ale x", + "▁ Alex", + "▁gol d", + "▁ gold", + "▁p rep", + "▁or igin", + "▁ origin", + "O p", + "PO RT", + "P ORT", + "▁sa fe", + "▁ safe", + "ap ache", + "apa che", + "▁t emper", + "▁temp er", + "s z", + "▁u nit", + "▁ unit", + "▁ cop", + "eq n", + "List ener", + "Listen er", + "▁forma t", + "▁ format", + "se lect", + "sel ect", + "s elect", + "▁com fort", + "▁ comfort", + "id ay", + "ida y", + "i day", + "em e", + "e me", + "▁ note", + "▁Mi l", + "▁ Mil", + "on ly", + "▁< =", + "▁ <=", + "▁nei gh", + "▁ blue", + "Ch ild", + "Add ress", + "Addr ess", + "▁cl osed", + "▁clo sed", + "▁ closed", + "inde r", + "ol o", + "o lo", + "▁a lt", + "▁a dm", + "▁ad m", + "Form at", + "For mat", + "U I", + "▁f requ", + "▁in depend", + "▁inde pend", + "▁ independ", + "▁Lan d", + "▁ Land", + "▁ tor", + "in fty", + "inf ty", + "▁Wor k", + "▁ Work", + "▁Coun ty", + "▁s rc", + "▁ src", + "}$ ,", + "} $,", + "par se", + "pars e", + "p arse", + "▁Cou r", + "▁f ol", + "▁fo l", + "▁ fol", + "Ent ity", + "pg f", + "▁Chi na", + "▁ Sub", + "▁ fields", + "▁y es", + "▁ye s", + "▁ yes", + "re nd", + "ren d", + "r end", + "▁tow ards", + "▁sta ff", + "▁ staff", + "▁ Air", + "▁ station", + "ativ es", + "iss ions", + "ission s", + "| \\", + "Pt r", + "P tr", + "Po l", + "P ol", + "▁ progress", + "i tar", + "▁p arts", + "▁ parts", + "▁ plant", + "▁abs olut", + "▁gu ess", + "eq ref", + "▁ti m", + "▁ tim", + "▁ Lou", + "al u", + "a lu", + "▁mo uth", + "▁mou th", + "▁ mouth", + "▁h eight", + "▁ height", + "▁Pos t", + "▁ Post", + "▁ti t", + "▁ tit", + "▁ho ur", + "▁ hour", + "▁ser ver", + "▁serv er", + "▁serve r", + "▁ server", + "▁p layers", + "ri er", + "rie r", + "r ier", + "Lin k", + "L ink", + "] (", + "▁constr uct", + "▁constru ct", + "▁ construct", + "hand le", + "}$ .", + "} $.", + "ry ing", + "r ying", + "▁s hop", + "▁ shop", + "ex p", + "e xp", + "Hel per", + "Help er", + "Off set", + "▁conn ection", + "▁ connection", + "▁d ifference", + "serv ice", + "s ervice", + "▁ga s", + "▁p riv", + "▁ priv", + "▁ univers", + "▁w ish", + "▁wis h", + "Re m", + "R em", + "U rl", + "ge b", + "g eb", + "S o", + "Mod ule", + "Mo dule", + "SI ZE", + "wind ow", + "w indow", + "de l", + "d el", + "▁a verage", + "▁ave rage", + "xi m", + "x im", + "▁p u", + "▁ pu", + "an ç", + "De t", + "D et", + "▁ Det", + "▁p å", + "▁na med", + "▁nam ed", + "▁ named", + "▁decis ion", + "wi n", + "▁Ge orge", + "▁s olution", + "▁sol ution", + "▁mult iple", + "▁ multiple", + "at egy", + "▁le arning", + "▁lear ning", + "▁ learning", + "▁se cret", + "▁secre t", + "▁ secret", + "D O", + "▁n ice", + "▁ni ce", + "▁nic e", + "▁ nice", + "//////// ////////", + "S u", + "itat ion", + "▁j oin", + "▁ join", + "▁elem ents", + "▁ elements", + "til de", + "t ilde", + "▁ dep", + "▁s hot", + "▁ shot", + "▁pl atform", + "▁ platform", + "edi a", + "( [", + "▁dre ss", + "▁off icial", + "este rn", + "▁dis cover", + "▁disco ver", + "▁ mi", + "od ing", + "odi ng", + "o ding", + "▁Fou nd", + "▁Fo und", + "▁ Found", + "▁a ffect", + "▁af fect", + "Vi s", + "V is", + "st ract", + "str act", + "stra ct", + "s tract", + "de bug", + "d ebug", + "▁relate d", + "▁ spect", + "сь ко", + "▁ bank", + "▁c ele", + "▁ce le", + "▁cel e", + "AN D", + "A ND", + "▁f ill", + "▁fil l", + "▁fi ll", + "▁ fill", + "▁giv es", + "▁gi ves", + "ar on", + "aro n", + "a ron", + "RE G", + "▁s udd", + "▁su dd", + "▁sud d", + "date d", + "da ted", + "dat ed", + "d ated", + "▁g i", + "▁ gi", + "se nd", + "sen d", + "s end", + "cp p", + "c pp", + "▁s pent", + "an de", + "and e", + "a nde", + "▁ operation", + "pro cess", + "proc ess", + "▁info rm", + "▁Fr ee", + "▁ Free", + "yo nd", + "y ond", + "▁su rv", + "▁L oc", + "▁Lo c", + "▁ Loc", + "▁con cl", + "▁conc l", + "▁ Over", + "ho l", + "h ol", + "ra z", + "r az", + "Wr ite", + "Writ e", + "W rite", + "▁giv ing", + "▁gi ving", + "in stance", + "inst ance", + "▁re leased", + "▁ Ro", + "▁grap h", + "▁ graph", + "▁ figure", + "Fil ter", + "HE CK", + "id x", + "i dx", + "▁g lass", + "▁ glass", + "sk i", + "s ki", + "com es", + "co mes", + "come s", + "c omes", + "▁ca t", + "▁ cat", + "go to", + "got o", + "g oto", + "u fact", + "▁C opyright", + "▁Copy right", + "▁ Copyright", + "}} \\", + "} }\\", + "▁d ir", + "▁di r", + "▁ dir", + "to ken", + "tok en", + "t oken", + "▁oc cur", + "arl ier", + "▁ measure", + "▁m ás", + "▁má s", + "▁ Net", + "▁arg ument", + "▁ argument", + "▁s ou", + "▁so u", + "▁m oving", + "▁mo ving", + "▁p refer", + "▁pre fer", + "▁pref er", + "ma sk", + "mas k", + "m ask", + "< <", + "▁bre ath", + "▁breat h", + "▁posit ive", + "▁s or", + "▁so r", + "▁ sor", + "▁re move", + "▁rem ove", + "▁ remove", + "▁k it", + "▁ki t", + "▁ kit", + "▁me eting", + "▁Da ta", + "▁Dat a", + "og raf", + "▁param eters", + "▁parameter s", + "▁ parameters", + "▁ Att", + "es ch", + "esc h", + "e sch", + "▁involve d", + "ä t", + "B ar", + "GE T", + "G ET", + "▁pr event", + "▁prev ent", + "▁ prevent", + "▁be yond", + "▁Ot her", + "▁ Other", + "ä n", + "by te", + "▁sudd en", + "▁sud den", + "ol ve", + "olv e", + "LO G", + "L OG", + "un it", + "uni t", + "u nit", + "S D", + "▁e at", + "▁ Mad", + "▁ session", + "De le", + "Del e", + "D ele", + "▁conve rs", + "cent er", + "cen ter", + "c enter", + "ot ion", + "oti on", + "ca che", + "c ache", + "dis play", + "disp lay", + "▁p ow", + "▁po w", + "▁ pow", + "CT ION", + "C TION", + "▁ Mac", + "m o", + "▁d istance", + "▁ distance", + "▁Ti me", + "g i", + "▁seq u", + "T arget", + "Ser ver", + "Serv er", + "cl ose", + "clos e", + "Ex t", + "E xt", + "▁s elect", + "▁sel ect", + "▁sele ct", + "▁ select", + "▁ pattern", + "\") );", + "\")) ;", + "\" ));", + "Pro vider", + "Prov ider", + "UR L", + "U RL", + "▁ green", + "▁wait ing", + "▁wa iting", + "pro to", + "pr oto", + "prot o", + "▁immediate ly", + "com mon", + "comm on", + "az ione", + "azi one", + "a zione", + "ri ver", + "riv er", + "rive r", + "r iver", + "▁! ==", + "▁!= =", + "▁Febru ary", + "▁Februar y", + "u rb", + "de st", + "des t", + "d est", + "< ?", + "▁ edge", + "▁m ais", + "▁ma is", + "▁mai s", + "gor ith", + "cp u", + "c pu", + "▁associate d", + "No ne", + "Non e", + "N one", + "se m", + "s em", + "▁b ud", + "▁bu d", + "▁ bud", + "▁a uch", + "▁au ch", + "▁ auch", + "▁ Life", + "▁f iles", + "▁fil es", + "▁file s", + "▁fi les", + "▁ files", + "▁ leading", + "▁obt ain", + "i table", + "▁ont o", + "▁bo rn", + "or em", + "ore m", + "o rem", + "▁Stre et", + "▁m aint", + "▁main t", + "▁ma int", + "▁mai nt", + "Param s", + "Par ams", + "ma in", + "m ain", + "We b", + "W eb", + "ais e", + "ai se", + "a ise", + "▁de scribed", + "▁desc ribed", + "▁describe d", + "▁Da y", + "▁ Day", + "▁Vo l", + "▁ Vol", + "▁hug e", + "Ha s", + "H as", + "He ader", + "Head er", + "▁a ren", + "▁are n", + "▁ar en", + "▁ aren", + "▁en sure", + "▁ ensure", + "mu lt", + "mul t", + "m ult", + "▁ Like", + "▁manage ment", + "▁ management", + "▁ background", + "o unter", + "bo ol", + "b ool", + "N um", + "▁ex cl", + "▁exc l", + "im g", + "i mg", + "▁ Hel", + "Opt ion", + "O ption", + "▁sto pped", + "▁th read", + "▁thr ead", + "▁ thread", + "to type", + "tot ype", + "t otype", + "▁stag e", + "▁sta ge", + "▁ stage", + "▁ü ber", + "▁ über", + "▁ although", + "Type s", + "Ty pes", + "Typ es", + "T ypes", + "▁ Oh", + "▁ eight", + "▁de scription", + "▁des cription", + "▁ description", + "' '", + "ö n", + "▁surf ace", + "▁ surface", + "▁Intern ational", + "▁cha rg", + "▁ charg", + "▁ collection", + "▁use rs", + "▁ users", + "▁ob vious", + "▁artic le", + "▁ article", + "▁\" \\", + "▁ \"\\", + "di m", + "d im", + "▁s in", + "▁si n", + "▁ sin", + "Cont rol", + "▁ commit", + "cript or", + "▁N OT", + "▁NO T", + "▁ NOT", + "▁M ichael", + "▁n od", + "▁no d", + "▁ nod", + "▁mo rt", + "iv o", + "i vo", + "▁ Po", + "▁P aris", + "▁Pa ris", + "▁ad ministr", + "▁admin istr", + "▁ administr", + "bu rg", + "cd ot", + "c dot", + "▁milit ary", + "▁militar y", + "▁Bes t", + "▁ Best", + "IN E", + "I NE", + "S l", + "▁im pl", + "▁imp l", + "▁ impl", + "cont rol", + "contr ol", + "▁u it", + "▁ui t", + "▁ uit", + "▁un signed", + "▁uns igned", + "▁ unsigned", + "Ch ar", + "C har", + "м і", + "▁c ourt", + "▁cou rt", + "▁ court", + "vi lle", + "vil le", + "▁ Cam", + ". \r", + "▁curr ently", + "ro t", + "r ot", + "▁D ate", + "▁Da te", + "▁Dat e", + "▁ Date", + "▁s hit", + "▁sh it", + "▁ shit", + "▁$ {\\", + "▁${ \\", + "u nn", + "U s", + "▁b uffer", + "▁buff er", + "▁buf fer", + "▁ buffer", + "▁s ont", + "▁so nt", + "▁son t", + "▁lett er", + "▁ letter", + "Ch ange", + "▁h ref", + "▁hr ef", + "▁ href", + "▁lac k", + "▁ Cons", + "BU G", + "B UG", + "▁pro perties", + "▁ properties", + "▁r andom", + "▁ran dom", + "▁rand om", + "▁ random", + "▁p iece", + "▁ piece", + "isti cs", + "gl obal", + "glob al", + "▁ transform", + "er d", + "e rd", + "▁B ecause", + "▁ Because", + "PE CT", + "P ECT", + "▁ Met", + "▁p sy", + "▁ps y", + "▁ psy", + "▁ god", + "▁ Del", + "base d", + "ba sed", + "bas ed", + "▁v oor", + "▁vo or", + "▁ Call", + "▁fil ter", + "▁ filter", + "▁incl udes", + "▁inclu des", + "▁ includes", + "olut ions", + "olution s", + "f d", + "▁ wind", + "ca rd", + "car d", + "c ard", + "▁n umer", + "▁num er", + "▁nu mer", + "▁ numer", + "add ress", + "addr ess", + "ash ington", + "ashing ton", + "ab a", + "a ba", + "▁ Log", + "Set tings", + "Setting s", + "▁p i", + "▁ pi", + "iri ng", + "F T", + "co nf", + "ta sk", + "t ask", + "▁î n", + "▁re ceive", + "▁ root", + "pat ch", + "p atch", + "é l", + "▁ methods", + "▁plac es", + "▁capit al", + "▁Germ an", + "\\ ,", + "ec ute", + "ecut e", + "col umn", + "▁ functions", + "▁co unter", + "▁ counter", + "▁ arms", + "▁fee d", + "▁ feed", + "he nt", + "hen t", + "h ent", + "MA X", + "M AX", + "▁app ly", + "▁ap ply", + "▁appl y", + "▁ apply", + "▁hus band", + "▁S pec", + "▁Sp ec", + "▁Spe c", + "▁ Spec", + "ent ity", + "enti ty", + "▁e arlier", + "▁Mi ss", + "▁Mis s", + "▁ Miss", + "▁ setting", + "▁ ded", + "Ro w", + "R ow", + "▁Y es", + "▁Ye s", + "▁ Yes", + "▁financ ial", + "s ession", + "ishi ng", + "▁ne arly", + "▁d ur", + "▁du r", + "▁m achine", + "▁ machine", + "xf f", + "x ff", + "▁s ymbol", + "▁sym bol", + "▁ symbol", + "lan ds", + "Ac c", + "A cc", + "d i", + "pro p", + "pr op", + "p rop", + "uri ty", + "▁## ###", + "▁walk ed", + "▁wal ked", + "▁internation al", + "Y es", + "▁re lease", + "▁ release", + "st atic", + "stat ic", + "▁b ei", + "▁be i", + "al low", + "all ow", + "allo w", + "▁ People", + "▁param eter", + "▁ parameter", + "C ache", + "▁$ $", + "▁ $$", + "▁ Mer", + "▁k om", + "▁ko m", + "▁ kom", + "le ted", + "let ed", + "lete d", + "l eted", + "oi s", + "▁ Open", + "ty pes", + "type s", + "typ es", + "t ypes", + "▁f ue", + "▁fu e", + "ac ters", + "act ers", + "acter s", + "▁ reference", + "Equ als", + "Equal s", + "Eq uals", + "▁ aware", + "▁h ol", + "▁ho l", + "▁ hol", + "▁de mand", + "▁v eh", + "▁ veh", + "▁not ice", + "▁ notice", + "▁com ponent", + "▁compon ent", + "▁ component", + "f n", + "▁analy sis", + "▁analys is", + "▁ analysis", + "mat ch", + "m atch", + "▁ effective", + "pro duct", + "produ ct", + "prod uct", + "▁ legal", + "se mb", + "sem b", + "s emb", + "▁locate d", + "Q L", + "et o", + "e to", + "Dr aw", + "D raw", + "▁scal e", + "▁ scale", + "▁w ants", + "▁want s", + "H ow", + "▁w el", + "▁we l", + "isi ons", + "▁de liver", + "unde r", + "▁j u", + "▁ ju", + "val ues", + "value s", + "▁si ster", + "▁sist er", + "▁C reate", + "▁Creat e", + "▁Cre ate", + "▁ Create", + "▁I nc", + "▁a ux", + "▁au x", + "▁ aux", + "▁ White", + "Me nu", + "Men u", + "M enu", + "re source", + "res ource", + "▁ca b", + "▁li f", + "▁ lif", + "▁c ulture", + "ic he", + "ich e", + "i che", + "▁wh atever", + "▁what ever", + "▁de signed", + "▁ Mont", + "▁ charge", + "Name s", + "Na mes", + "N ames", + "▁custom ers", + "▁customer s", + "o sa", + "E Q", + "▁o pin", + "▁Fr e", + "▁ seek", + "▁p ush", + "▁pu sh", + "▁ push", + "▁n av", + "▁na v", + "▁ nav", + "▁bu rn", + "▁ burn", + "arde n", + "ha sh", + "has h", + "h ash", + "▁opportun ity", + "▁ Mat", + "oya l", + "▁pu n", + "sc ale", + "scal e", + "yn amic", + "ynam ic", + "yna mic", + "▁Typ e", + "▁qu ery", + "▁que ry", + "▁quer y", + "▁ query", + "▁ Once", + "▁medic al", + "▁medi cal", + "li e", + "l ie", + "▁ student", + "ede ral", + "▁ lov", + "▁alter n", + "▁ altern", + "bi n", + "od er", + "ode r", + "o der", + "▁ returns", + "reg ister", + "C I", + "▁ Tor", + "C R", + "▁ Los", + "am ily", + "ami ly", + "amil y", + "air e", + "ai re", + "a ire", + "++ ;", + "Cont roller", + "Control ler", + "wi de", + "wid e", + "row ser", + "rows er", + "▁ Book", + "Cont ainer", + "pl oad", + "plo ad", + "p load", + "▁ Ev", + "▁ta l", + "▁ tal", + "eqn array", + "▁rep orted", + "▁me aning", + "ri be", + "rib e", + "r ibe", + "hol d", + "▁of fers", + "▁t empl", + "▁tem pl", + "▁temp l", + "cs s", + "c ss", + "▁p icture", + "▁ picture", + "▁a sync", + "▁as ync", + "▁ async", + "▁sto ck", + "▁ stock", + "▁inter nal", + "▁ internal", + "t i", + "V er", + "▁d emon", + "▁demo n", + "▁l augh", + "▁la ugh", + "▁laug h", + "▁ End", + "▁k on", + "▁ko n", + "▁ kon", + "▁c andid", + "▁can did", + "Me m", + "M em", + "iz z", + "i zz", + "re fix", + "ref ix", + "▁A ND", + "▁AN D", + "▁ AND", + "eg en", + "e gen", + "E l", + "H ttp", + "▁ Rob", + "д і", + "▁ bul", + "▁countr ies", + "▁ex pression", + "▁expr ession", + "▁ expression", + "s f", + "▁certain ly", + "▁A NY", + "▁AN Y", + "▁ ANY", + "▁conn ect", + "▁ connect", + "F E", + "▁and roid", + "▁ android", + "▁Gol d", + "▁ Gold", + "▁opp os", + "ove rn", + "o vern", + "▁Com mun", + ", _", + "asi on", + "▁fi rm", + "▁fir m", + "▁ Good", + "▁ brand", + "M in", + "fil l", + "fi ll", + "f ill", + "'] ,", + "' ],", + "in gle", + "ing le", + "it hub", + "ith ub", + "▁ Div", + "▁ce rt", + "▁cer t", + "▁ cert", + "He ight", + "H eight", + "The re", + "Th ere", + "T here", + "it ute", + "itut e", + "itu te", + "▁a maz", + "▁am az", + "▁ amaz", + "▁S E", + "▁ SE", + "▁pull ed", + "▁pul led", + "▁re sources", + "▁resource s", + "▁ resources", + "▁ Max", + "▁ag reed", + "▁agree d", + "\"> < /", + "\" > >", + "▁ >>", + "com mand", + "comm and", + "at z", + "a tz", + "▁m al", + "▁ma l", + "▁ mal", + "▁ Press", + "▁char acters", + "▁z ero", + "▁ze ro", + "▁ zero", + "AG E", + "A GE", + "rap per", + "▁kit chen", + "▁re str", + "▁r estr", + "▁res tr", + "▁rest r", + "▁Ar ray", + "▁Arr ay", + "▁ Array", + "▁fres h", + "▁sh ift", + "▁ shift", + "▁spec ified", + "pl ete", + "ple te", + "plet e", + "p lete", + "IT E", + "I TE", + "▁ Camp", + "c b", + "▁ TH", + "I B", + "▁ ú", + "▁par ams", + "▁param s", + "▁para ms", + "▁ params", + "ign ment", + "ad ding", + "add ing", + "▁ degree", + "Loc al", + "Lo cal", + "L ocal", + "O h", + "▁z ur", + "▁zu r", + "▁lev els", + "fin ished", + "finish ed", + "C ase", + "ri age", + "ria ge", + "Vec tor", + "V ector", + "▁s ea", + "▁ sea", + "anti c", + "▁ther efore", + "On e", + "O ne", + "Re turn", + "Ret urn", + "R eturn", + "Acc ess", + "Ac cess", + "A ccess", + "va s", + "v as", + "Bi g", + "B ig", + "▁be havior", + "▁behavi or", + "k r", + "▁un defined", + "▁und efined", + "▁ undefined", + "▁ Es", + "el es", + "ele s", + "e les", + "▁W AR", + "▁WA R", + "▁ WAR", + "St at", + "S tat", + "▁ Google", + "▁c redit", + "▁cre dit", + "▁cr edit", + "▁F ile", + "▁Fil e", + "▁Fi le", + "▁ File", + "an ging", + "ang ing", + "hou se", + "rom ise", + "▁soci ety", + "▁societ y", + "▁enc our", + "▁pa int", + "▁ UK", + "aw s", + "a ws", + "on om", + "ono m", + "o nom", + "G l", + "}_ {\\", + "}_{ \\", + "} _{\\", + "ele ss", + "eles s", + "em y", + "e my", + "▁ images", + "▁ ö", + "▁f ont", + "▁fo nt", + "▁fon t", + "▁ font", + "cl ear", + "cle ar", + "c lear", + "gi n", + "▁Lor d", + "▁ transport", + "▁: :", + "▁ ::", + "▁c up", + "▁cu p", + "▁ cup", + "u late", + "▁Dur ing", + "pr iv", + "p riv", + "▁extr em", + "▁ Di", + "▁d oubt", + "▁dou bt", + "▁doub t", + "P y", + "sp lit", + "spl it", + "s plit", + "eg o", + "e go", + "git hub", + "g ithub", + "RO M", + "R OM", + "▁cha ir", + "▁ chair", + "▁t rade", + "▁n icht", + "▁ni cht", + "▁nic ht", + "To p", + "T op", + "St ore", + "▁p arte", + "▁part e", + "▁par te", + "pro ject", + "ni a", + "n ia", + "▁в ід", + "▁ві д", + "Th read", + "с тва", + "aut hor", + "auth or", + "▁dol l", + "▁ harm", + "▁ Gen", + "tr ee", + "tre e", + "t ree", + "eti me", + "cf g", + "c fg", + "▁gu ys", + "▁guy s", + "▁Cal ifornia", + "▁ Green", + "▁mo vement", + "ie j", + "i ej", + "▁ statement", + "▁se eing", + "▁see ing", + "▁h aven", + "▁have n", + "▁ha ven", + "▁hav en", + "S L", + "ched ul", + "ie rt", + "ier t", + "i ert", + "▁pr imary", + "▁pri mary", + "▁prima ry", + "▁ primary", + "▁ci vil", + "▁civ il", + "▁b utton", + "▁but ton", + "▁butt on", + "▁ button", + "▁li ved", + "▁liv ed", + "P ass", + "so r", + "s or", + "▁watch ing", + "▁wat ching", + "▁skill s", + "te e", + "t ee", + "Le vel", + "L evel", + "h s", + "▁a gre", + "ca t", + "c at", + "▁Mi ll", + "▁ Mill", + "▁ Cap", + "OR D", + "O RD", + "gl e", + "g le", + "▁ah ead", + "is cher", + "isch er", + "ische r", + "isc her", + "ș i", + "▁sou th", + "▁sout h", + "▁con sum", + "▁ consum", + "R ange", + "Se c", + "S ec", + "▁sa les", + "▁fi x", + "▁ fix", + "▁j ed", + "▁je d", + "▁ jed", + "ve ctor", + "vec tor", + "v ector", + "▁s pot", + "▁spo t", + "▁ spot", + "or row", + "orr ow", + "si gn", + "sig n", + "s ign", + "▁colleg e", + "▁d river", + "▁dri ver", + "▁driv er", + "▁ driver", + "▁def initely", + "▁definit ely", + "ativ ely", + "b i", + "Call back", + "▁particul arly", + "▁h ell", + "▁he ll", + "▁hel l", + "▁ hell", + "PR E", + "P RE", + "▁cle arly", + "▁clear ly", + "P T", + "othe s", + "Loc ation", + "L ocation", + "▁ Run", + "▁f ixed", + "▁ fixed", + "▁ Hand", + "d ouble", + "C an", + "Om ega", + "▁stan ding", + "it en", + "ite n", + "i ten", + "▁d urch", + "▁dur ch", + "▁d ell", + "▁de ll", + "▁del l", + "▁rais ed", + "▁ weak", + "▁ Du", + "gra d", + "▁scen e", + "▁ scene", + "▁t on", + "▁to n", + "▁ ton", + "▁e arth", + "▁stre ngth", + "a ked", + "▁re main", + "▁ Bi", + "▁custom er", + "▁cust omer", + "▁ customer", + "ON E", + "O NE", + "▁c off", + "▁co ff", + "re quire", + "requ ire", + "▁ Only", + "▁ Web", + "▁ activity", + "▁r out", + "▁ro ut", + "▁rou t", + "bl ing", + "b ling", + "S Y", + "▁Ric hard", + "▁R ef", + "▁Re f", + "▁ Ref", + "▁j un", + "▁ju n", + "bo rn", + "ij n", + "Config uration", + "▁f at", + "▁fa t", + "▁ki d", + "▁Tu r", + "▁ Tur", + "▁ Big", + "Ga mma", + "G amma", + "▁ Health", + "▁T R", + "▁ TR", + "▁s ię", + "▁si ę", + "▁constr uction", + "▁constru ction", + "▁ construction", + "▁ Bet", + "bu s", + "▁e arn", + "▁ear n", + "▁f ra", + "▁fr a", + "▁ Op", + "FI G", + "F IG", + "em a", + "e ma", + "▁ Saint", + "AR E", + "A RE", + "ur i", + "u ri", + "{ }", + "▁s itting", + "▁sit ting", + "rop ri", + "▁ol der", + "▁ older", + "▁pres sure", + "Im pl", + "Imp l", + "Conne ction", + "Conn ection", + "Connect ion", + "▁f i", + "▁ fi", + "ape rs", + "a pers", + "Po rt", + "P ort", + "▁L ook", + "▁Lo ok", + "▁ Look", + "au th", + "aut h", + "a uth", + "au to", + "aut o", + "a uto", + "▁un less", + "▁Wa l", + "w s", + "▁ core", + "( -", + "▁c lim", + "▁cl im", + "▁call back", + "▁ callback", + "▁ Long", + "} =", + "ъ р", + "▁shar ed", + "▁sha red", + "▁ shared", + "gorith m", + "▁ Home", + "▁vil lage", + "s v", + "▁ Cast", + "▁P erson", + "▁Per son", + "▁Pers on", + "▁ Person", + "▁Ra d", + "▁ Rad", + "pon ents", + "ponent s", + "▁wer den", + "▁werd en", + "▁ bow", + "a mi", + "Inter face", + "▁b asis", + "▁ba sis", + "▁Compan y", + "▁ Company", + "er nel", + "ern el", + "erne l", + "it u", + "i tu", + "Has h", + "Ha sh", + "H ash", + "▁a an", + "▁s mile", + "▁sm ile", + "x ml", + "▁s cen", + "▁sc en", + "to ol", + "too l", + "t ool", + "▁ac cur", + "▁ accur", + "set tings", + "setting s", + "ac ement", + "ace ment", + "pow er", + "( !", + "▁ calls", + "▁ basic", + "▁set tings", + "▁sett ings", + "▁setting s", + "▁ settings", + "r ipt", + "ct ors", + "ctor s", + "▁ Foundation", + "KE Y", + "K EY", + "fo ot", + "foo t", + "▁r adio", + "▁radi o", + "▁ radio", + "ma nn", + "▁j ump", + "▁ju mp", + "▁ti ck", + "▁ tick", + "▁gr owing", + "at en", + "ate n", + "a ten", + "rea l", + "Dev ice", + "var epsilon", + "vare psilon", + "▁ sets", + "Op en", + "O pen", + "▁supp osed", + "▁suppose d", + "ed e", + "e de", + "tee n", + "if def", + "▁de lete", + "▁del ete", + "▁delet e", + "▁ delete", + "▁& =", + "▁ &=", + "▁Bil l", + "▁ Bill", + "▁ai m", + "▁O k", + "▁ Ok", + "▁ Av", + "re ci", + "rec i", + "ac ks", + "ack s", + "a cks", + "is te", + "ist e", + "i ste", + "Pro perties", + "▁t mp", + "▁tm p", + "▁ tmp", + "▁d ei", + "▁de i", + "PE R", + "P ER", + "st a", + "s ta", + "▁ limited", + "de scription", + "des cription", + "con s", + "co ns", + "c ons", + "▁W ho", + "▁Wh o", + "▁ Who", + "▁te lev", + "▁tele v", + "▁tel ev", + "it ution", + "itut ion", + "▁e qual", + "▁eq ual", + "▁ equal", + "к і", + "ä h", + "▁C aption", + "▁Capt ion", + "▁Ca ption", + "em por", + "emp or", + "▁+ +", + "▁ ++", + "▁l ib", + "▁li b", + "▁ lib", + "ma ke", + "m ake", + "▁M A", + "▁ MA", + "co py", + "cop y", + "c opy", + "▁\\ ,", + "▁ \\,", + "od ed", + "ode d", + "o ded", + "▁ none", + "▁ev alu", + "▁eval u", + "▁ evalu", + "sto n", + "> ,", + "FO R", + "F OR", + "▁ norm", + "a ppe", + "S ession", + "▁hosp ital", + "pro perty", + "fin al", + "fi nal", + "f inal", + "▁n u", + "▁ nu", + "se cond", + "sec ond", + "▁a spect", + "▁asp ect", + "\") ]", + "\" )]", + "am ento", + "ament o", + "amen to", + "▁r ac", + "▁ra c", + "▁ rac", + "sa ve", + "s ave", + "A b", + "un gs", + "ung s", + "ab il", + "abi l", + "a bil", + "▁Arc h", + "▁ Arch", + "sys tem", + "s ystem", + "his t", + "▁l uck", + "▁lu ck", + "▁luc k", + "re nder", + "ren der", + "rend er", + "r ender", + "▁se in", + "▁sei n", + "ion i", + "io ni", + "i oni", + "▁ rot", + "▁app ropri", + "▁ap propri", + "▁ appropri", + "▁Soft ware", + "▁t ele", + "▁tel e", + "▁ tele", + "De lete", + "Dele te", + "Del ete", + "▁li c", + "▁ lic", + "se ts", + "set s", + "s ets", + "▁v el", + "▁ve l", + "▁ vel", + "▁ rank", + "▁ex isting", + "▁ existing", + "av ax", + "ava x", + "▁r is", + "▁ri s", + "▁ ris", + "▁def ine", + "▁defin e", + "▁ define", + "▁con vert", + "▁conv ert", + "▁conver t", + "▁conve rt", + "▁ convert", + "em ail", + "ema il", + "e mail", + "▁Und er", + "▁ Under", + "▁Gran d", + "▁ex ists", + "▁exist s", + "▁ exists", + "sy s", + "s ys", + "ef f", + "e ff", + "▁ Top", + "▁ č", + "▁t empor", + "▁tem por", + "▁temp or", + "▁tempo r", + "▁arg uments", + "▁argument s", + "▁ arguments", + "▁supp orted", + "▁ supported", + "en sed", + "ens ed", + "ense d", + "▁Franc is", + "▁ coord", + "▁N ame", + "▁Na me", + "▁Nam e", + "▁ Name", + "▁J ahr", + "▁Jah r", + "▁Ja hr", + "sh e", + "s he", + "▁ Dev", + "▁a lla", + "▁al la", + "▁all a", + "▁ alla", + "▁W IT", + "ag ment", + "c ustom", + "& &", + "W E", + "▁h olding", + "▁hol ding", + "pro totype", + "proto type", + "prot otype", + "▁f ing", + "▁fin g", + "▁fi ng", + "▁b ag", + "▁ba g", + "▁ bag", + "st ack", + "sta ck", + "▁Ga l", + "iden ts", + "▁J un", + "▁Ju n", + "▁sh owed", + "▁ Bay", + "▁S O", + "▁ SO", + "▁\" <", + "graph ics", + "▁f u", + "▁ fu", + "cl ick", + "cli ck", + "c lick", + "▁bat tle", + "{ {", + "▁Eve nt", + "▁ Event", + "ri or", + "rio r", + "r ior", + "ch aft", + "cha ft", + "▁f avorite", + "▁favor ite", + "us ive", + "sup port", + "supp ort", + "s upport", + "b m", + "K ind", + "▁E nt", + "▁En t", + "▁ Ent", + "cu p", + "c up", + "▁destro y", + "▁ destroy", + "id en", + "ide n", + "i den", + "######## ########", + "de c", + "d ec", + "▁z a", + "▁ za", + "▁s even", + "▁ seven", + "ar ely", + "are ly", + "arel y", + "▁f lag", + "▁ flag", + "Di r", + "D ir", + "▁Ca rl", + "▁doc tor", + "▁L in", + "▁Li n", + "▁ Lin", + "▁t om", + "▁to m", + "▁ tom", + "^{ (", + "^ {(", + "B o", + "an tes", + "ant es", + "ante s", + "▁ mine", + "▁Mi t", + "▁de scribe", + "▁desc ribe", + "▁describ e", + "Ar gs", + "Arg s", + "AP I", + "A PI", + "▁ Luc", + "▁ science", + "▁ Oper", + "Ne xt", + "N ext", + "▁G overn", + "▁Go vern", + "▁ objects", + "▁Lo uis", + "▁Return s", + "▁ Returns", + "▁h an", + "▁ha n", + "▁ han", + "▁com me", + "▁comm e", + "▁p el", + "▁pe l", + "▁ pel", + "▁ detect", + ") =", + "▁ric h", + "▁classe s", + "▁clas ses", + "▁ classes", + "▁ expand", + "▁ Dom", + "▁ Dec", + "s n", + "pe ed", + "p eed", + "▁Ji m", + "sh ould", + "▁p ages", + "▁page s", + "▁pa ges", + "▁pag es", + "▁ pages", + "ri cs", + "a ds", + "un icip", + "uni cip", + "▁down load", + "▁ download", + "▁st ress", + "▁str ess", + "▁stre ss", + "▁ Pet", + "me nu", + "men u", + "m enu", + "r eme", + "▁com pared", + "▁compare d", + "St e", + "S te", + "IN D", + "I ND", + "cont ainer", + "or en", + "ore n", + "o ren", + "▁s es", + "▁se s", + "▁ ses", + "▁ Whe", + "▁r oku", + "▁ro ku", + "▁estab lished", + "__ (", + "_ _(", + "=\" +", + "= \"+", + "V ar", + "▁M ake", + "▁Ma ke", + "▁Mak e", + "▁ Make", + "▁rem oved", + "▁remove d", + "▁ removed", + "ü n", + "▁ mix", + "er k", + "ou ter", + "out er", + "oute r", + "o uter", + "S K", + "▁be comes", + "▁bec omes", + "sc ious", + "▁w atched", + "▁watch ed", + "▁wat ched", + "▁ga ther", + "▁ gather", + "▁Res ult", + "▁ Result", + "pro of", + "pa y", + "p ay", + "▁prod uced", + "▁| =", + "▁bord er", + "▁ border", + "▁d in", + "▁di n", + "▁scr ipt", + "▁m as", + "▁ma s", + "▁ mas", + "▁Tech n", + "Js on", + "J son", + "▁fill ed", + "▁ filled", + "und le", + "To ol", + "Too l", + "T ool", + "▁ki ng", + "▁kin g", + "▁pre dict", + "▁pred ict", + "▁ predict", + "▁l ui", + "▁lu i", + "▁WAR RAN", + "▁F un", + "▁Fu n", + "▁ Fun", + "▁l ose", + "▁lo se", + "▁los e", + "▁da ily", + "▁dai ly", + "▁ar rived", + "▁arriv ed", + "▁arrive d", + "St ack", + "sc ope", + "s cope", + "▁ Back", + "el ij", + "eli j", + "e lij", + "▁z e", + "▁ ze", + "ke ys", + "key s", + "{ \"", + "VI D", + "V ID", + "▁l icense", + "▁lic ense", + "▁ license", + "wh at", + "w hat", + "▁proc ed", + "ag ram", + "agr am", + "agra m", + "a gram", + "▁L O", + "▁ LO", + "▁fl ags", + "▁flag s", + "▁ flags", + "Do wn", + "D own", + "scri ption", + "script ion", + "s cription", + "▁famil ies", + "▁familie s", + "is se", + "iss e", + "— \"", + "▁ brief", + "▁cl ients", + "▁client s", + "ran gle", + "r angle", + "▁amaz ing", + "▁s ind", + "▁si nd", + "▁sin d", + "▁cov ered", + "▁ covered", + "We ll", + "W ell", + "▁ Bas", + "to tal", + "tot al", + "t otal", + "▁I nit", + "▁ Init", + "▁sa nd", + "Un it", + "U nit", + "▁b right", + "▁br ight", + "▁brig ht", + "ic ans", + "ica ns", + "ican s", + "▁att ribute", + "▁attribut e", + "▁ attribute", + "f c", + "▁plac ed", + "ES T", + "E ST", + "Var i", + "V ari", + "▁c os", + "▁co s", + "▁ cos", + "▁at tract", + "▁attr act", + "▁attra ct", + "an el", + "ane l", + "a nel", + "}) .", + "} ).", + "by tes", + "byte s", + "▁p arse", + "▁par se", + "▁ parse", + "P o", + "▁c alling", + "▁? >", + "▁ ?>", + "▁it er", + "▁i ter", + "▁ iter", + "▁u rl", + "▁ur l", + "▁ url", + "▁hon est", + "▁dir ector", + "R C", + "▁ solid", + "ie ne", + "ien e", + "i ene", + "FA ULT", + "co pe", + "cop e", + "c ope", + "▁Hi story", + "▁ History", + "▁ Team", + "ree dom", + "reed om", + "U B", + "▁w orse", + "▁wor se", + "im o", + "i mo", + "Ma t", + "M at", + "ac tor", + "act or", + "a ctor", + "▁v or", + "▁vo r", + "▁ vor", + "▁experi ment", + "▁ Play", + "▁happ ens", + "▁happen s", + "▁patient s", + "▁ rend", + "▁ Mo", + "▁ Tex", + "▁w ed", + "▁we d", + "▁ wed", + "t n", + "in sert", + "ins ert", + "▁an ti", + "▁ anti", + "Mat ch", + "M atch", + "▁ Hot", + "▁ phase", + "▁t emplate", + "▁templ ate", + "▁temp late", + "▁ template", + "st op", + "sto p", + "s top", + "▁manage d", + "▁ managed", + "wa it", + "w ait", + "▁* (", + "▁ *(", + "▁ appoint", + "ł a", + "▁s tick", + "▁st ick", + "▁ stick", + "▁F OR", + "▁FO R", + "▁ FOR", + "▁ Vis", + "to r", + "t or", + "▁p ř", + "q uest", + "\"); \r", + "\") ;\r", + "\" );\r", + "▁sudden ly", + "▁sud denly", + "é c", + "N D", + "ur op", + "uro p", + "u rop", + "▁ins urance", + "ac cess", + "acc ess", + "a ccess", + "un finished", + "▁t amb", + "▁ta mb", + "▁tam b", + "▁sa c", + "▁C ourt", + "▁Cou rt", + "▁mis sing", + "▁ missing", + "▁W here", + "▁Wh ere", + "▁Whe re", + "▁ Where", + "▁ Sum", + "}^ {\\", + "}^{ \\", + "} ^{\\", + "▁s ua", + "▁su a", + "_ ,", + "▁Tr ump", + "▁Tru mp", + "▁ operations", + "▁de ux", + "d z", + "Temp late", + "T emplate", + "▁\" /", + "▁o dd", + "▁od d", + "▁ odd", + "▁tea ms", + "▁c er", + "▁ce r", + "▁ cer", + "▁ și", + "▁cl oud", + "▁clo ud", + "▁ cloud", + "it ems", + "ite ms", + "item s", + "right arrow", + ")- >", + ") ->", + "▁w riter", + "▁wr iter", + "▁ writer", + "re place", + "rep lace", + "je n", + "j en", + "▁o t", + "▁ ot", + "▁oc cup", + "▁ occup", + "▁M ath", + "▁Mat h", + "▁Ma th", + "▁ Math", + "▁con serv", + "▁cons erv", + "▁conse rv", + "am er", + "ame r", + "a mer", + "▁Fo rt", + "▁co sts", + "▁cos ts", + "▁ forms", + "▁Vic t", + "PA R", + "P AR", + "frame work", + "Oper ation", + "▁t ight", + "▁ti ght", + "In valid", + "▁th ank", + "▁than k", + "▁ guard", + "Bo dy", + "B ody", + "▁e mot", + "fa st", + "fas t", + "f ast", + "щ о", + "ñ o", + "ni ght", + "▁S ci", + "▁Sc i", + "▁T O", + "▁ TO", + "▁individ uals", + "}) ,", + "} ),", + "F alse", + "(\" %", + "( \"%", + "▁op tim", + "▁opt im", + "▁ optim", + "▁- ->", + "▁-- >", + "▁ -->", + "▁f actor", + "▁fac tor", + "▁ factor", + "▁sm aller", + "sp ect", + "spec t", + "spe ct", + "s pect", + "Eng ine", + "▁ann ounced", + "▁announce d", + "▁ rob", + "▁f lat", + "▁ flat", + "oso ph", + "Se arch", + "S earch", + "ah l", + "a hl", + "▁Ex ception", + "▁Except ion", + "▁ Exception", + "equ als", + "eq uals", + "equal s", + "▁un ter", + "▁unt er", + "▁ unter", + "sh ape", + "sha pe", + "Ob j", + "▁spe cies", + "wei ght", + "w eight", + "yo u", + "y ou", + "▁e ste", + "▁est e", + "▁es te", + "▁ este", + "▁V iew", + "▁Vi ew", + "▁ View", + "▁jour nal", + "▁ journal", + "Value s", + "Val ues", + "▁ein em", + "▁eine m", + "is mo", + "ism o", + "▁ projects", + "▁D as", + "▁Da s", + "ri ble", + "rib le", + "r ible", + "▁ serve", + "▁h ur", + "▁ USA", + "il iar", + "ili ar", + "ilia r", + "id os", + "ido s", + "B r", + "est amp", + "esta mp", + "▁t ools", + "▁to ols", + "▁too ls", + "▁tool s", + "▁ tools", + "an ner", + "ann er", + "anne r", + "R T", + "▁Sta rt", + "▁ Start", + "▁b ath", + "▁bat h", + "▁ba th", + "▁coff ee", + "orte r", + "in ternal", + "inter nal", + "intern al", + "file s", + "fil es", + "fi les", + "f iles", + "IN VAL", + "ak o", + "a ko", + "d t", + "▁Se cond", + "▁ Second", + "▁al loc", + "▁all oc", + "▁ alloc", + "▁en ded", + "▁ende d", + "▁ ended", + "ac ional", + "aci onal", + "acion al", + "acio nal", + "▁manage r", + "▁ manager", + "▁ Sun", + "ag g", + "a gg", + "olve d", + "olv ed", + "▁trad itional", + "sh ot", + "s hot", + "C F", + "▁ Each", + "w r", + "▁ Som", + "▁mater ials", + "▁m sg", + "▁ms g", + "▁ msg", + "▁ syn", + "▁prod uce", + "▁stor age", + "▁sto rage", + "▁ storage", + "sub section", + "▁S ie", + "▁Si e", + "CE SS", + "Re cord", + "Rec ord", + "▁mark eting", + "▁market ing", + "pl et", + "ple t", + "p let", + "D ialog", + "▁ment ioned", + "▁ Na", + "▁ Union", + "▁AP I", + "▁ API", + "▁ negative", + "tx t", + "t xt", + "▁eas ier", + "le gal", + "leg al", + "De p", + "D ep", + "▁nove l", + "eu r", + "e ur", + "ac ió", + "aci ó", + "a ció", + "▁B ud", + "▁Bu d", + "sch aft", + "s chaft", + ">( );", + ">() ;", + "> ();", + "ie der", + "ied er", + "i eder", + "▁r oute", + "▁rout e", + "▁rou te", + "▁ route", + "ik el", + "ike l", + "i kel", + "▁l isten", + "▁li sten", + "▁list en", + "▁ listen", + "ashi on", + "▁M rs", + "ag ger", + "agg er", + "▁T hus", + "▁mat rix", + "▁ matrix", + "al la", + "all a", + "a lla", + "▁con versation", + "▁convers ation", + "Mo n", + "M on", + "our nal", + "▁minut e", + "▁ minute", + "A m", + "Ap i", + "A pi", + "▁for get", + "▁forg et", + "M e", + "lev ant", + "te mp", + "tem p", + "t emp", + "▁t elling", + "▁tell ing", + "▁tel ling", + "mo ve", + "mov e", + "m ove", + "▁in dependent", + "to String", + "ed it", + "edi t", + "e dit", + "▁Ja c", + "re act", + "rea ct", + "▁c in", + "▁ci n", + "▁ cin", + "▁P rov", + "▁ Prov", + "iste d", + "i sted", + "▁h ash", + "▁has h", + "▁ha sh", + "▁ hash", + "on na", + "▁gener ated", + "▁generate d", + "▁gene rated", + "▁ generated", + "Re nder", + "Rend er", + "R ender", + "▁psy ch", + "▁ps ych", + "na v", + "n av", + "▁en tr", + "▁ent r", + "▁ entr", + "r x", + "AT H", + "A TH", + "▁ass ume", + "▁assum e", + "Tr ee", + "T ree", + "semb ly", + "sembl y", + "ca ption", + "c aption", + "▁s olutions", + "▁solution s", + "▁fait h", + "▁digit al", + "▁ex cell", + "▁exc ell", + "▁V ersion", + "▁Vers ion", + "▁ Version", + "De bug", + "D ebug", + "re set", + "res et", + "▁slow ly", + "▁ owner", + "▁D id", + "▁Di d", + "▁ Did", + "▁g est", + "▁ge st", + "▁ges t", + "▁ gest", + "▁é té", + "▁ét é", + "▁ été", + "▁pro of", + "▁ proof", + "F ont", + "▁ nob", + "C o", + "▁G NU", + "▁li ber", + "▁lib er", + "▁h ij", + "▁hi j", + "▁v ert", + "▁ver t", + "▁ve rt", + "▁ vert", + "FL AG", + "ME NT", + "M ENT", + "Mu lt", + "M ult", + "▁d istrict", + "▁di strict", + "conne ct", + "conn ect", + "ject ion", + "je ction", + "j ection", + "▁real ized", + "▁realize d", + "▁realiz ed", + "mo s", + "m os", + "▁re nder", + "▁r ender", + "▁ren der", + "▁rend er", + "▁ render", + "ri o", + "r io", + "▁ interpret", + "fi x", + "f ix", + "atr e", + "a tre", + "▁benef its", + "▁benefit s", + "▁Fac e", + "▁ Face", + "iv ery", + "ive ry", + "iver y", + "i very", + "doc ument", + "d ocument", + "▁as king", + "▁ask ing", + "La st", + "L ast", + "ar ante", + "ara nte", + "aran te", + "▁v ector", + "▁ve ctor", + "▁vec tor", + "▁ vector", + "▁ forced", + "P H", + "W R", + "▁K l", + "▁s ky", + "▁sk y", + "▁ sky", + "▁strat egy", + "oc ked", + "▁ne ck", + "ś ci", + "O UT", + ")) ,", + ") ),", + "C ustom", + "▁w ie", + "▁ wie", + "▁s weet", + "▁swe et", + "▁t emp", + "▁te mp", + "▁tem p", + "▁ temp", + "▁hal l", + "▁ hall", + "as tr", + "ast r", + "a str", + "As s", + "A ss", + "MO DE", + "MOD E", + "▁maxim um", + "an nels", + "ann els", + "annel s", + "anne ls", + "▁t ip", + "▁ti p", + "▁ tip", + "▁sec onds", + "▁ seconds", + "▁st ack", + "▁sta ck", + "▁ stack", + "ig a", + "i ga", + "▁r aise", + "▁rais e", + "▁ raise", + "en able", + "ena ble", + "oi r", + "▁s oul", + "▁so ul", + "▁sou l", + "K e", + ")$ .", + ") $.", + "▁Ti m", + "▁ Tim", + "AL SE", + "cont in", + "▁m ad", + "▁ma d", + "▁ mad", + "lic hen", + "li chen", + "lich en", + "liche n", + "l ichen", + "ab e", + "a be", + "sa fe", + "▁conce nt", + "bo und", + "b ound", + "▁R equ", + "▁Re qu", + "▁ Requ", + "sw itch", + "▁sto ne", + "▁ transl", + "▁va c", + "ando n", + "▁Fo re", + "▁ Fore", + "▁s ounds", + "▁sound s", + "▁ Pop", + "▁ HT", + "li a", + "l ia", + "en ter", + "ent er", + "ente r", + "▁hel ps", + "▁help s", + "e dy", + "an ted", + "ant ed", + "ante d", + "▁ Step", + "I con", + "▁EX PECT", + "▁ EXPECT", + "ial ized", + "ialize d", + "Pos t", + "Po st", + "P ost", + "az e", + "a ze", + "▁re q", + "▁r eq", + "▁ req", + "▁upp er", + "▁ upper", + "▁ Sy", + "▁ex plain", + "▁expl ain", + "▁' ./", + "▁'. /", + "ut ils", + "util s", + "uti ls", + "poss ible", + "▁d ont", + "▁do nt", + "▁don t", + "H ost", + "▁appro xim", + "▁approx im", + "As ync", + "A sync", + "▁g rab", + "▁gr ab", + "▁gra b", + "▁sour ces", + "▁ sources", + "▁Germ any", + "▁Ger many", + "▁r ub", + "▁ru b", + "▁ rub", + "CH AN", + "▁tr uly", + "▁< ?", + "▁ ", + "_ ->", + "ag nost", + "agn ost", + "▁prop osed", + "▁propose d", + "▁Ga me", + "▁Gam e", + "▁ Game", + "▁eff orts", + "t c", + "▁int ent", + "▁inte nt", + "▁ intent", + "▁h olds", + "▁hol ds", + "▁ holds", + "om etry", + "ome try", + "omet ry", + "o metry", + "▁H ave", + "▁Ha ve", + "▁Hav e", + "▁ Have", + "▁de tail", + "▁ detail", + "▁WIT HOUT", + "▁WITH OUT", + "▁K on", + "▁Ko n", + "▁not iced", + "▁notice d", + "▁requirement s", + "DE BUG", + "▁S pan", + "▁Sp an", + "▁ Span", + "▁ca rs", + "me ta", + "met a", + "m eta", + "▁ki l", + "▁ kil", + "▁B ron", + "▁Br on", + "▁Bro n", + "▁experi enced", + "▁re mind", + "▁rem ind", + "our se", + "ours e", + "▁Wes tern", + "tere d", + "▁ devices", + "▁pict ures", + "▁picture s", + "▁t ut", + "▁tu t", + "\" `", + "▁im possible", + "▁fe els", + "▁feel s", + "▁fee ls", + "ic as", + "ica s", + "i cas", + "▁' @", + "▁n otes", + "▁ notes", + "Par ser", + "Parse r", + "Pars er", + "▁dis covered", + "▁Roma n", + "▁bud get", + "▁gu ide", + "▁guid e", + "▁in cred", + "▁inc red", + "▁incre d", + "ol ar", + "ola r", + "o lar", + "en den", + "end en", + "ende n", + "Des c", + "De sc", + "D esc", + "▁ wave", + "ig t", + "i gt", + "▁re strict", + "▁rest rict", + "▁restr ict", + "▁ Ret", + "▁m ac", + "▁ma c", + "▁ mac", + "í s", + "de m", + "d em", + "▁ ordered", + "dr op", + "dro p", + "d rop", + "▁ Review", + "▁liter ally", + "▁literal ly", + "▁ Sir", + "▁Y eah", + "▁Ye ah", + "▁ Yeah", + "▁dens ity", + "▁ density", + "ri z", + "r iz", + "in de", + "ind e", + "i nde", + "▁ga in", + "▁ gain", + "▁p anel", + "▁pan el", + "▁pa nel", + "▁ panel", + "je t", + "j et", + "▁Ti mes", + "▁ Times", + "▁n ella", + "▁ne lla", + "▁nel la", + "▁nell a", + "▁pre viously", + "▁prev iously", + "point s", + "Se nd", + "S end", + "▁Brow n", + "ea ch", + "e ach", + "▁tr igger", + "▁ trigger", + "ome times", + "omet imes", + "ic os", + "ico s", + "i cos", + "G R", + "Pane l", + "Pan el", + "P anel", + "oge n", + "▁ cm", + "ru ctions", + "ruct ions", + "ruction s", + "▁k iss", + "▁ki ss", + "▁s olo", + "▁f amous", + "▁th ro", + "▁thr o", + "Gr aph", + "G raph", + "im it", + "imi t", + "i mit", + "▁V alue", + "▁Val ue", + "▁ Value", + "▁st arts", + "ip eline", + "ipe line", + "h d", + "▁dis cussion", + "▁discuss ion", + "▁tr uck", + "On ly", + "▁E qu", + "▁Eq u", + "▁ Equ", + "▁k ö", + "▁ kö", + "▁B es", + "▁Be s", + "▁bat t", + "▁ba tt", + "▁S ection", + "▁Se ction", + "▁ Section", + "Sh ow", + "S how", + "g p", + "ST ATE", + "STAT E", + "PO ST", + "POS T", + "P OST", + "▁N ord", + "▁No rd", + "▁Nor d", + "▁in nov", + "▁cri m", + "▁ crim", + "ax is", + "a xis", + "▁Tu rn", + "▁ Turn", + "con n", + "co nn", + "Run time", + "osto n", + "▁ windows", + "▁v ide", + "▁vi de", + "▁vid e", + "P P", + "ch ron", + "chr on", + "▁sa n", + "▁ san", + "▁ris e", + "▁ rise", + "▁d elle", + "▁de lle", + "▁del le", + "▁dell e", + "▁D ur", + "▁Du r", + "▁ra pid", + "ce rt", + "cer t", + "c ert", + "ed ge", + "▁\\ ]", + "▁ \\]", + "▁l aws", + "▁la ws", + "▁ph oto", + "▁phot o", + "▁ photo", + "▁ap plications", + "▁appl ications", + "▁fed eral", + "▁feder al", + "▁R ussia", + "▁us ual", + "▁r aw", + "▁ra w", + "▁ raw", + "▁pi ù", + "êt re", + "ê tre", + "JS ON", + "J SON", + "SI ON", + "S ION", + "xt ure", + "ist ent", + "iste nt", + "isten t", + "▁Pow er", + "▁ Power", + "Bi t", + "B it", + "▁capac ity", + "▁ capacity", + "▁c ards", + "▁car ds", + "▁card s", + "▁ cards", + "UI D", + "U ID", + "imen ts", + "▁d ar", + "▁da r", + "▁ dar", + "▁Ch icago", + "▁comfort able", + "ti p", + "t ip", + "ba s", + "b as", + "▁m u", + "▁ mu", + "▁en emy", + "ya n", + "y an", + "▁up dated", + "▁update d", + "▁ updated", + "an go", + "ang o", + "E v", + "E ffect", + "os ing", + "osi ng", + "o sing", + "▁d efe", + "▁i p", + "▁ ip", + "▁t out", + "▁to ut", + "▁tou t", + "▁f reedom", + "▁freed om", + "▁a o", + "▁ ao", + "▁There fore", + "▁Ther efore", + "Ed it", + "E dit", + "RE E", + "R EE", + "▁Da m", + "▁ Dam", + "▁traff ic", + "ño s", + "ñ os", + "▁a lle", + "▁ depth", + "No w", + "N ow", + "▁si des", + "▁sid es", + "▁го ди", + "▁год и", + "Des criptor", + "▁art ikel", + "▁n arrow", + "▁narr ow", + "__ _", + "_ __", + "k w", + "ut o", + "u to", + "▁Fac ebook", + "te gr", + "t egr", + "bo olean", + "ni k", + "n ik", + "b d", + "Tr ack", + "Tra ck", + "▁g ran", + "▁gr an", + "▁gra n", + "res hold", + "resh old", + "wr ap", + "w rap", + "▁n oise", + "▁no ise", + "ig u", + "i gu", + "▁ Bon", + "▁w y", + "▁ wy", + "lin ux", + "▁ma ch", + "▁mac h", + "▁p rices", + "▁pr ices", + "▁pri ces", + "▁price s", + "é v", + "stan ding", + "▁cat eg", + "; \\", + "▁de cre", + "▁m enu", + "▁me nu", + "▁men u", + "▁ menu", + "▁Y et", + "▁Ye t", + "lic he", + "li che", + "lich e", + "l iche", + "u sing", + "▁Soci ety", + "▁nu c", + "oria l", + "▁af raid", + "▁turn ing", + "▁tur ning", + "ds t", + "d st", + "math frak", + "le rs", + "▁l ots", + "▁lo ts", + "▁lot s", + "▁ á", + "▁ Tra", + "n p", + "▁ rose", + "▁G L", + "▁ GL", + "▁hel ping", + "▁help ing", + "Mo ck", + "M ock", + "Us e", + "U se", + "Co py", + "Cop y", + "C opy", + "▁ fly", + "SE R", + "S ER", + "am il", + "ami l", + "a mil", + "▁rel igious", + "su per", + "sup er", + "s uper", + "sc reen", + "scr een", + "s creen", + "▁f urn", + "▁fur n", + "▁fu rn", + "▁surpr ised", + "▁surprise d", + "▁re plied", + "▁repl ied", + "Act ivity", + "Activ ity", + "▁Dow n", + "▁ Down", + "▁in sert", + "▁ins ert", + "▁ insert", + "▁point ed", + "▁po inted", + "▁ Card", + "dr iver", + "drive r", + "d river", + "▁D a", + "▁ Da", + "! --", + "ro ud", + "rou d", + "r oud", + "un do", + "und o", + "▁m essages", + "▁message s", + "▁mess ages", + "▁ messages", + "▁ Point", + "V M", + "▁p lane", + "▁ plane", + "x c", + "▁telev ision", + "▁tele vision", + "▁televis ion", + "▁c ris", + "▁cr is", + "▁cri s", + "▁ delay", + "▁N ext", + "▁Ne xt", + "▁ Next", + "▁no mbre", + "▁nom bre", + "▁t u", + "▁ tu", + "▁sk ip", + "▁ski p", + "▁ skip", + "istr ation", + "▁tu r", + "▁Devel op", + "▁wonder ful", + "> &", + "▁Lib er", + "▁s cope", + "▁sc ope", + "▁ scope", + "▁man age", + "▁ma nage", + "▁d ass", + "▁da ss", + "▁das s", + "▁re call", + "▁rec all", + "P M", + "▁re levant", + "▁relev ant", + "▁E arth", + "▁a pr", + "▁ap r", + "▁A SS", + "▁AS S", + "▁ ASS", + "ié n", + "i én", + "▁S H", + "▁ SH", + "it et", + "ite t", + "no ne", + "non e", + "n one", + "as i", + "a si", + "▁mo tor", + "▁S how", + "▁ Show", + "n b", + "▁fa ctors", + "▁f orest", + "▁fo rest", + "th m", + "t hm", + "▁Di vision", + "struct or", + "stru ctor", + "▁some where", + "▁Afr ican", + "▁Inst itute", + "▁Institut e", + "Gr id", + "G rid", + "▁te acher", + "▁teach er", + "▁tea cher", + "uri es", + "▁respective ly", + "▁ SD", + "▁a live", + "▁al ive", + "▁ali ve", + "▁p ou", + "▁po u", + "▁Wa ter", + "▁ Water", + "▁ch anging", + "▁chang ing", + "▁ changing", + "▁after noon", + "▁or ders", + "Re t", + "R et", + "Point er", + "Po inter", + "▁s av", + "▁sa v", + "er g", + "e rg", + "ok ed", + "oke d", + "o ked", + "▁Fi re", + "▁ Fire", + "im m", + "i mm", + "▁des ire", + "▁ що", + "▁De sign", + "▁ Design", + "▁c md", + "▁cm d", + "▁ cmd", + "▁e ating", + "▁eat ing", + "Net work", + "▁rou gh", + "oper ator", + "IG N", + "I GN", + "▁sp orts", + "▁w eren", + "▁we ren", + "▁were n", + "▁wer en", + "▁a nx", + "▁an x", + "▁i o", + "▁ io", + "▁con du", + "▁cond u", + "el les", + "ell es", + "elle s", + "id ade", + "ida de", + "idad e", + "R I", + "/ \\", + "ap shot", + "aps hot", + "▁ta il", + "▁ tail", + "mod els", + "model s", + "mode ls", + "og y", + "o gy", + "▁J eff", + "ir ation", + "irat ion", + "▁Ko re", + "▁Kor e", + "ba t", + "b at", + "Ad apter", + "c ategory", + "ang ular", + "angu lar", + "▁s aved", + "▁sa ved", + "▁save d", + "▁sav ed", + "▁ saved", + "▁ uniform", + "▁n é", + "▁ né", + "His t", + "Hi st", + "H ist", + "do main", + "dom ain", + "▁ Si", + "ra ise", + "rais e", + "rai se", + "r aise", + "▁wa rn", + "▁ warn", + "▁G ro", + "▁Gr o", + ")) .", + ") ).", + "} >", + "▁Amaz on", + "▁ Organ", + "▁ag reement", + "▁agree ment", + "x a", + "▁perm an", + "▁st range", + "▁str ange", + "▁strang e", + "ст і", + "с ті", + "▁st upid", + "▁spe aking", + "▁speak ing", + "▁Intern et", + "pre fix", + "pref ix", + "p refix", + "As sert", + "Ass ert", + "pro te", + "pr ote", + "prot e", + "p rote", + "▁m anner", + "▁S z", + "u nte", + "Pro file", + "▁forme d", + "▁ formed", + "▁li t", + "▁ lit", + "▁ec onomy", + "▁c z", + "▁ cz", + "wi d", + "w id", + "RE Q", + "R EQ", + "▁P rodu", + "▁Pro du", + "▁ Produ", + "stan ces", + "▁conf irm", + "▁ confirm", + "▁d éc", + "▁dé c", + "ý ch", + "▁ill ustr", + "TI ES", + "T IES", + "▁P ub", + "▁Pu b", + "▁ Pub", + "▁ba n", + "a ded", + "ah n", + "a hn", + "no number", + "non umber", + "▁wor st", + "st ats", + "stat s", + "sta ts", + "▁c ant", + "▁can t", + "▁ca nt", + "▁al ign", + "▁ali gn", + "▁ align", + "kap pa", + "k appa", + "▁h en", + "▁he n", + "▁ hen", + "▁in iti", + "'] )", + "' ])", + "▁g arden", + "▁gar den", + "▁gard en", + "▁secur e", + "▁ secure", + "▁\\ [", + "▁ \\[", + "hand ler", + "handle r", + "el li", + "ell i", + "e lli", + "ld ots", + "l dots", + "se cut", + "sec ut", + "s ecut", + "▁ext ended", + "} -", + "an ie", + "ani e", + "a nie", + "▁F ind", + "▁Fin d", + "▁Fi nd", + "▁ Find", + "▁M useum", + "▁Muse um", + "▁C onne", + "▁Con ne", + "▁ Conne", + "y y", + "▁pass ion", + "ake rs", + "a kers", + "ah r", + "a hr", + "ologie s", + "▁equ ation", + "▁eq uation", + "▁ equation", + "Le t", + "L et", + "'] ['", + "'][ '", + "' ]['", + "Pr int", + "ie nte", + "ient e", + "ien te", + "i ente", + "▁T oday", + "LE CT", + "L ECT", + "▁ Af", + "▁` ``", + "▁`` `", + "ev en", + "eve n", + "e ven", + "si n", + "s in", + "u rer", + "▁ °", + "ot imes", + "oti mes", + "o times", + "▁I O", + "▁ IO", + "() ));", + "()) );", + "())) ;", + "( )));", + "▁ −", + "▁ad opt", + "ph ere", + "pher e", + "p here", + "# [", + "▁c entre", + "ov es", + "ove s", + "o ves", + "▁a ns", + "▁an s", + "▁ ans", + "d p", + "▁Ki r", + "▁applic able", + "f p", + "▁ok ay", + "or o", + "o ro", + "▁opportun ities", + "Re pository", + "Rep ository", + "▁l l", + "▁ ll", + "▁con ven", + "▁conv en", + "▁conve n", + "▁ Spe", + "Am er", + "A mer", + "▁c ette", + "▁cet te", + "Con d", + "Co nd", + "C ond", + "de p", + "d ep", + "O wn", + "▁h ook", + "▁ho ok", + "▁ hook", + "▁d ict", + "▁di ct", + "▁dic t", + "▁ dict", + "▁Th ose", + "▁fel low", + "▁philos oph", + "fer ences", + "ference s", + "ha v", + "h av", + "▁ad ding", + "▁add ing", + "▁ adding", + "ivers e", + "iver se", + "i verse", + "ga me", + "g ame", + "▁ Blue", + "not e", + "no te", + "n ote", + "▁Ra m", + "co very", + "cover y", + "cov ery", + "c overy", + "ñ a", + "▁' \\", + "▁ '\\", + "▁re ader", + "▁read er", + "▁ reader", + "ност и", + "▁pay ment", + "▁ payment", + "▁L ic", + "▁Li c", + "▁l ips", + "▁li ps", + "▁lip s", + "C HECK", + "Ed itor", + "Edit or", + "▁zo ne", + "▁ zone", + "it ure", + "itu re", + "run time", + "▁proc eed", + "ol ver", + "olve r", + "olv er", + "▁Th anks", + "▁Thank s", + "▁ Thanks", + "▁should n", + "▁Mod el", + "▁Mo del", + "▁Mode l", + "▁ Model", + "▁S ov", + "▁So v", + "! '", + "D i", + "▁c ancer", + "Id ent", + "i nf", + "LE N", + "L EN", + "() {", + "( ){", + "\"] ,", + "\" ],", + "u h", + "▁ph otos", + "▁phot os", + "▁photo s", + "▁t iny", + "▁ti ny", + "▁tin y", + "▁ tiny", + "▁g ent", + "▁gen t", + "▁ge nt", + "▁ gent", + "ü l", + "▁T ake", + "▁Ta ke", + "▁Tak e", + "▁ Take", + "i del", + "ou ting", + "out ing", + "In ternal", + "Inter nal", + "Intern al", + "▁cel ls", + "har d", + "▁Tow n", + "pl ex", + "ple x", + "p lex", + "to ns", + "ton s", + "t ons", + "▁conc entr", + "▁concent r", + "mo ck", + "m ock", + "v c", + "á z", + "▁Champion ship", + "▁Champions hip", + "ér i", + "é ri", + "ier te", + "iert e", + "▁tot ally", + "▁total ly", + "▁A uf", + "▁Au f", + "▁our selves", + "▁S elf", + "▁Sel f", + "▁ Self", + "Form s", + "For ms", + "fm t", + "f mt", + "▁r c", + "▁ rc", + "▁tel ls", + "B B", + "di t", + "d it", + "▁vari ables", + "▁variable s", + "▁ variables", + "▁int ended", + "▁intend ed", + "iz ont", + "izon t", + "izo nt", + "da m", + "d am", + "se q", + "s eq", + "▁ Sup", + "▁c ultural", + "▁sc ream", + "__ ,", + "_ _,", + "ci pl", + "cip l", + "Time out", + "or te", + "ort e", + "▁Spec ial", + "▁ Special", + "el len", + "ell en", + "elle n", + "T e", + "o lt", + "j u", + "Arg ument", + "▁ne ut", + "▁neu t", + "▁ neut", + "▁Ra y", + "▁ Ray", + "▁Po lit", + "▁crow d", + "▁cro wd", + "▁Window s", + "▁ Windows", + "ie go", + "ieg o", + "i ego", + "▁ escape", + "▁Ap ache", + "sy nc", + "syn c", + "s ync", + "eb en", + "e ben", + "if ies", + "ifi es", + "ethe r", + "Met a", + "Me ta", + "M eta", + "▁big gest", + "Ga me", + "G ame", + "▁trans action", + "▁ transaction", + "En v", + "E nv", + "▁pl enty", + "▁ mel", + "▁mot iv", + "▁m ock", + "▁mo ck", + "▁ mock", + "▁$ _", + "▁ $_", + "ен е", + "е не", + "▁N umber", + "▁Num ber", + "▁Nu mber", + "▁ Number", + "ck now", + "c know", + "▁Up date", + "▁ Update", + "ze ro", + "zer o", + "z ero", + "▁sur prise", + "▁surpr ise", + "pd f", + "p df", + "Gl obal", + "▁f ond", + "▁fo nd", + "▁fon d", + "▁under stood", + "Na v", + "N av", + "▁Mi c", + "▁ Mic", + "= $", + "ok ing", + "oki ng", + "o king", + "▁Stad ium", + "Cl ose", + "▁soldier s", + "▁O P", + "▁ OP", + "ag ne", + "agn e", + "Ma in", + "M ain", + "á k", + "▁# [", + "▁ #[", + "▁Com mit", + "▁Comm it", + "▁ Commit", + "py x", + "▁ east", + "▁Ord er", + "▁ Order", + "F loat", + "▁mon itor", + "▁ monitor", + "▁p ad", + "▁pa d", + "▁ pad", + "oni c", + "▁p ushed", + "▁push ed", + "▁rep lace", + "▁ replace", + "CR E", + "C RE", + "▁r ide", + "▁ri de", + "▁rid e", + "▁ ride", + "fo und", + "f ound", + "= %", + "▁ matches", + "▁L ie", + "▁Li e", + "▁exper iences", + "▁experience s", + "▁experi ences", + "Po ol", + "P ool", + "up s", + "u ps", + "A V", + "▁ex istence", + "▁t hin", + "▁th in", + "▁m agn", + "▁mag n", + "▁ma gn", + "CO MP", + "COM P", + "ho me", + "hom e", + "h ome", + "▁n i", + "▁ ni", + "▁wur den", + "▁wurde n", + "▁te eth", + "▁S tan", + "▁Sta n", + "ap pro", + "app ro", + "an ny", + "ann y", + "if ts", + "ift s", + "▁ unknown", + "▁h omes", + "▁ho mes", + "▁ent ity", + "▁ entity", + "ci e", + "c ie", + "ia r", + "i ar", + "▁compl iance", + "=\\ \"", + "= \\\"", + "com ponents", + "component s", + "Att r", + "At tr", + "all ery", + "alle ry", + "aller y", + "▁ident ify", + "O k", + "pi e", + "p ie", + "▁St ill", + "▁off ering", + "▁offer ing", + "▁bu sy", + "▁bus y", + "ct l", + "c tl", + "ito rs", + "▁concer ned", + "▁b rown", + "▁br own", + "▁bro wn", + "▁brow n", + "cl k", + "Se lected", + "Select ed", + "▁B lock", + "▁Bl ock", + "▁Blo ck", + "▁ Block", + "▁e gy", + "▁eg y", + "▁ egy", + "ic ing", + "ici ng", + "i cing", + "▁U RL", + "▁ URL", + "▁t opic", + "▁to pic", + "▁top ic", + "▁ topic", + "▁Pro duct", + "▁Produ ct", + "▁ Product", + "▁week end", + "l u", + "▁E gy", + "▁Eg y", + "x C", + "▁n ove", + "▁no ve", + "▁nov e", + "▁l ett", + "▁le tt", + "▁let t", + "▁ lett", + "en ne", + "enn e", + "() ).", + "()) .", + "( )).", + ".* *", + ". **", + "▁p romise", + "▁prom ise", + "el ection", + "ele ction", + "elect ion", + "e lection", + "Aut h", + "A uth", + "r v", + "ri l", + "r il", + "▁condu ct", + "▁ conduct", + "▁maint ain", + "▁ boat", + "▁op posite", + "sp in", + "spi n", + "s pin", + "web pack", + "▁o rient", + "▁or ient", + "▁ orient", + "▁ex ercise", + "▁exerc ise", + "▁eff icient", + "▁ efficient", + "▁z w", + "▁ zw", + "▁S ud", + "▁Su d", + "▁Pi er", + "in v", + "i nv", + "ip es", + "ipe s", + "i pes", + "ensure math", + "▁conve r", + "cre en", + "cr een", + "c reen", + "▁terr or", + "▁in valid", + "▁ invalid", + "ceive d", + "▁w ire", + "▁wir e", + "▁ wire", + "ap plication", + "sh ift", + "Gener ic", + "▁ Plan", + "▁Wa ll", + "▁ Wall", + "▁direct ory", + "▁director y", + "▁ directory", + "▁e gg", + "▁eg g", + "▁ wealth", + "ran dom", + "rand om", + "r andom", + "att ribute", + "▁h ide", + "▁hi de", + "▁hid e", + "▁ hide", + "Se rial", + "Ser ial", + "S erial", + "ca m", + "c am", + "▁it al", + "▁i tal", + "▁ ital", + "▁Lin e", + "▁ Line", + "▁C HECK", + "▁ CHECK", + "ploy ment", + "▁mass ive", + "▁ex tract", + "▁ext ract", + "▁extra ct", + "▁extr act", + "▁ extract", + "ch ain", + "cha in", + "Res t", + "Re st", + "R est", + "▁L as", + "▁La s", + "▁b ear", + "▁be ar", + "▁ bear", + "▁l inks", + "▁link s", + "▁lin ks", + "▁ links", + "▁F C", + "▁ FC", + "Car d", + "C ard", + "▁v isible", + "▁vis ible", + "▁ visible", + "▁res erved", + "▁reserv ed", + "▁reserve d", + "lic enses", + "license s", + "d c", + "▁In formation", + "▁ Information", + "S k", + "*) ,", + "* ),", + "Sc ope", + "S cope", + "'] ;", + "' ];", + "▁Mi r", + "▁ Mir", + "ud ing", + "udi ng", + "u ding", + "▁t rend", + "▁tr end", + "▁tre nd", + "▁tren d", + "re p", + "r ep", + "▁ne ither", + "▁nei ther", + "▁C reat", + "▁Cre at", + "▁ Creat", + "▁posit ions", + "r idge", + "▁office rs", + "▁vi olence", + "▁Wa y", + "Af ter", + "A fter", + "ac ket", + "ack et", + "▁S ou", + "▁So u", + "ac er", + "ace r", + "a cer", + "| |", + "▁r emark", + "▁ remark", + "n ě", + "▁ sed", + "E ach", + "▁photo graph", + "▁lett ers", + "▁in vent", + "▁inv ent", + "▁s ongs", + "ó l", + "ki nd", + "kin d", + "k ind", + "▁N on", + "▁No n", + "▁ Non", + "▁d ust", + "▁du st", + "** :", + "* *:", + "nab la", + ".\" ,", + ". \",", + "Loc k", + "Lo ck", + "L ock", + "▁cl uster", + "▁ cluster", + "lo ss", + "los s", + "l oss", + "▁ASS ERT", + "▁ ASSERT", + "fa ll", + "f all", + "▁ reject", + "▁ Spring", + "▁wed ding", + "▁g rav", + "▁gr av", + "▁gra v", + "▁ grav", + "li mit", + "lim it", + "l imit", + "RE S", + "R ES", + "] }", + "▁li sted", + "▁ listed", + "▁T ele", + "▁Tel e", + "▁ Tele", + "hl ine", + "h line", + "▁chi ef", + "ME M", + "M EM", + "▁exp ensive", + "tr ace", + "tra ce", + "▁ Coll", + "▁Aut hor", + "▁Auth or", + "▁ Author", + "▁ Board", + "▁C apt", + "▁Cap t", + "▁Ca pt", + "▁ Capt", + "TE XT", + "T EXT", + "es ta", + "est a", + "e sta", + "▁proper ly", + "▁& \\", + "▁ &\\", + "le ton", + "let on", + "l eton", + "ik er", + "ike r", + "i ker", + "G u", + "▁K om", + "▁Ko m", + "oc o", + "o co", + "▁any more", + "▁t aste", + "▁ta ste", + "▁tast e", + "ge x", + "g ex", + "▁Se cret", + "▁ Secret", + "▁tal ent", + "▁tale nt", + "▁mom ents", + "▁moment s", + "▁mo ments", + "▁ex tr", + "▁ext r", + "▁ extr", + "▁mod ify", + "▁Fig ure", + "▁ Figure", + "▁ domin", + "▁p lot", + "▁ plot", + "en ger", + "eng er", + "enge r", + "▁ci ties", + "▁n ut", + "▁nu t", + "▁ nut", + "pro file", + "prof ile", + "▁S tat", + "▁St at", + "▁Sta t", + "▁ Stat", + "▁n odes", + "▁no des", + "▁node s", + "▁nod es", + "▁ nodes", + "▁n s", + "▁ ns", + "ess ages", + "essage s", + "essa ges", + "im pl", + "imp l", + "ic ker", + "ick er", + "i cker", + "▁ex amples", + "abe th", + "abet h", + "▁sta ted", + "fi re", + "f ire", + "bu l", + "b ul", + "▁danger ous", + "▁P ay", + "▁Pa y", + "▁ Pay", + "▁ Gre", + "▁Mon day", + "▁Mond ay", + "es ome", + "eso me", + "e some", + "iga n", + "ru nd", + "run d", + "r und", + "p rise", + "fa il", + "f ail", + "▁Nev er", + "▁ Never", + "A v", + "▁line ar", + "▁lin ear", + "▁ linear", + "▁u l", + "▁ ul", + "WA R", + "W AR", + "▁d op", + "▁do p", + "▁n ou", + "▁no u", + "Des t", + "De st", + "D est", + "en da", + "end a", + "▁c razy", + "▁cr azy", + "ge l", + "g el", + "og gle", + "ogg le", + "▁rep resentation", + "▁represent ation", + "in en", + "ine n", + "i nen", + "▁alter native", + "D M", + "AB ILITY", + "face s", + "fa ces", + "fac es", + "f aces", + "▁do ors", + "▁door s", + "▁ doors", + "at iv", + "ati v", + "Lo ok", + "L ook", + "▁J SON", + "▁JS ON", + "▁ JSON", + "▁appe arance", + "S QL", + "▁sil ence", + "ud o", + "u do", + "▁Dire ctor", + "▁Dir ector", + "State ment", + "Stat ement", + "se lected", + "select ed", + "hi gh", + "h igh", + "pr ime", + "prim e", + "▁ign ore", + "▁ignor e", + "▁ ignore", + "▁col ors", + "▁color s", + "▁ colors", + "▁vi rt", + "▁ virt", + "man ager", + "▁rem ote", + "▁remot e", + "▁ remote", + "ł o", + "sm all", + "▁cri me", + "r b", + "▁c reation", + "▁S ign", + "▁Si gn", + "▁Sig n", + "▁ Sign", + "IL E", + "I LE", + "▁D O", + "▁ DO", + "com ment", + "comm ent", + "▁C ost", + "▁Co st", + "▁Cos t", + "▁ Cost", + "._ _", + ". __", + "▁ Cop", + "▁v om", + "▁vo m", + "▁Sci ence", + "oo p", + "o op", + "inter face", + "▁WARRAN TIES", + "▁P age", + "▁Pa ge", + "▁ Page", + "** ****", + "**** **", + "*** ***", + "TR UE", + "▁re peated", + "▁repeat ed", + "▁r oz", + "▁ro z", + "▁ roz", + "P e", + "▁IS BN", + "ir ts", + "irt s", + "p oses", + "}) $", + "} )$", + "▁ І", + "child ren", + "ble s", + "bl es", + "b les", + "EC T", + "E CT", + "▁i z", + "▁ iz", + "▁b uilder", + "▁build er", + "▁ builder", + "▁ Media", + "▁contr ast", + "▁contra st", + "” ,", + "▁L ink", + "▁Lin k", + "▁ Link", + "▁ joint", + "▁ex ternal", + "▁extern al", + "▁ external", + "▁b its", + "▁bit s", + "▁bi ts", + "▁ bits", + "FO RM", + "FOR M", + "F ORM", + "w p", + "▁Mi ke", + "▁Mik e", + "▁ Master", + "▁N av", + "▁Na v", + "▁ Nav", + "el ing", + "eli ng", + "elin g", + "e ling", + "f x", + "▁ta ll", + "▁s ono", + "▁so no", + "▁son o", + "▁an che", + "▁anc he", + "▁anch e", + "▁ anche", + "ic ken", + "ick en", + "i cken", + "lo op", + "l oop", + "ici ency", + "empor ary", + "▁D oes", + "▁Do es", + "▁ Does", + "▁re lation", + "▁rel ation", + "▁ relation", + "wa s", + "w as", + "lo w", + "l ow", + "ich te", + "icht e", + "i chte", + "▁bed room", + "DI S", + "D IS", + "▁mag net", + "▁magn et", + "▁ Engine", + "▁feel ings", + "▁feeling s", + "▁fee lings", + "G C", + "▁t orn", + "▁to rn", + "▁tor n", + "▁relationship s", + "▁relation ships", + "▁p roud", + "▁pro ud", + "▁pr oud", + "▁t we", + "▁tw e", + "ov al", + "ova l", + "o val", + "▁w aste", + "▁was te", + "▁wa ste", + "▁red uced", + "▁redu ced", + "B P", + "▁for got", + "▁forg ot", + "▁bod ies", + "la g", + "l ag", + "do or", + "d oor", + "▁s ufficient", + "▁doll ars", + "▁dollar s", + "Le n", + "L en", + "▁talk ed", + "▁tal ked", + "▁bon d", + "}} {", + "} }{", + "ro d", + "r od", + "Pass word", + "qu are", + "▁l ights", + "▁light s", + "▁ lights", + "er en", + "ere n", + "e ren", + "▁th irty", + "N C", + "▁T ODO", + "▁TO DO", + "▁respon d", + "dir ect", + "di rect", + "dire ct", + "d irect", + "a ção", + "Med ia", + "M edia", + "ex it", + "e xit", + "L icense", + "▁m ixed", + "▁d esk", + "▁de sk", + "▁des k", + "▁teach ing", + "▁tea ching", + "▁m aj", + "▁ma j", + "▁n erv", + "▁ne rv", + "▁ner v", + "in ations", + "ination s", + "type of", + "▁be side", + "▁bes ide", + "um my", + "umm y", + "Do c", + "D oc", + "▁sche dule", + "▁schedul e", + "▁sched ule", + "▁ schedule", + "▁re cover", + "▁Fur ther", + "bo ot", + "b oot", + "▁Per haps", + "▁ Os", + "Supp ort", + "Sup port", + "S upport", + "▁( _", + "▁ (_", + "ni l", + "n il", + "pi s", + "p is", + "x pected", + "▁process ing", + "▁proces sing", + "▁ processing", + "Bu ild", + "B uild", + "▁i con", + "▁ic on", + "▁ icon", + "▁C A", + "▁ CA", + "wi ck", + "= (", + "▁al gorithm", + "▁ algorithm", + "▁ Management", + "▁anci ent", + "ност ь", + "o ti", + "wor ld", + "n n", + "en abled", + "ena bled", + "enable d", + "A c", + "C CESS", + "ar ation", + "▁bl ocks", + "▁block s", + "▁blo cks", + "▁ blocks", + "▁Ang eles", + "▁Q ual", + "▁Qu al", + "▁ Qual", + "▁suc ceed", + "▁succ eed", + "net work", + "▁ob lig", + "spring framework", + "mu n", + "m un", + "▁ Network", + "De l", + "D el", + "▁esta te", + "▁l iqu", + "▁li qu", + "▁p ob", + "▁po b", + "▁d ad", + "▁da d", + "▁T it", + "▁Ti t", + "▁L ear", + "▁Le ar", + "and roid", + "andro id", + "sub set", + "▁whis per", + "Vo l", + "V ol", + "ul ous", + "ulo us", + "▁l ug", + "▁lu g", + "pi d", + "p id", + "oc ity", + "oci ty", + "o city", + "sk b", + "s kb", + "▁t ea", + "▁te a", + "▁ho nor", + "▁ Ins", + "▁g ew", + "▁ge w", + "▁ gew", + "Det ails", + "Detail s", + "ene ath", + "e neath", + "at ar", + "ata r", + "a tar", + "▁_ {", + "▁ _{", + "am en", + "ame n", + "a men", + "▁set up", + "▁ setup", + "Trans action", + "▁bl ank", + "▁ blank", + "Fail ed", + "F ailed", + "jo b", + "j ob", + "▁p ret", + "▁pre t", + "▁pr et", + "▁ pret", + "ß e", + "lo or", + "l oor", + "ř í", + "nc ia", + "n cia", + "▁any where", + "▁Li ght", + "▁ Light", + "B D", + "▁exc ited", + "▁excit ed", + "ag ers", + "age rs", + "ager s", + "a gers", + "▁w arning", + "▁war ning", + "▁warn ing", + "▁ warning", + "▁proces ses", + "h u", + "▁yo uth", + "▁d ogs", + "▁do gs", + "▁dog s", + "▁o ct", + "▁oc t", + "▁ oct", + "▁ni ne", + "▁nin e", + "Write r", + "Wr iter", + "Writ er", + "W riter", + "gr id", + "g rid", + "▁care fully", + "▁careful ly", + "ma ster", + "mas ter", + "m aster", + "▁dec isions", + "▁decision s", + "▁decis ions", + "▁p in", + "▁pi n", + "▁ pin", + "▁cr ack", + "TE ST", + "TES T", + "T EST", + "▁L ocal", + "▁Loc al", + "▁Lo cal", + "▁ Local", + "▁R ight", + "▁ Right", + "▁v ast", + "▁va st", + "▁vas t", + "▁f aster", + "▁fa ster", + "▁fast er", + "▁inst itut", + "LA N", + "L AN", + "▁e pisode", + "▁del ivery", + "▁deliver y", + "t l", + "F P", + "ci rc", + "cir c", + "ig o", + "i go", + "▁int el", + "▁inte l", + "▁ intel", + "na t", + "n at", + "x b", + ") -", + "▁ Bal", + "▁g onna", + "▁R est", + "▁Re st", + "▁Res t", + "▁ Rest", + "jo r", + "j or", + "oni a", + "o nia", + "ov ery", + "ove ry", + "over y", + "o very", + "LI NE", + "LIN E", + "L INE", + "Que ue", + "▁com pare", + "▁comp are", + "▁compar e", + "▁ compare", + "▁ap artment", + "▁apart ment", + "D r", + "▁ob viously", + "▁obvious ly", + "zi e", + "z ie", + "yc l", + "y cl", + "fort unately", + "fortun ately", + "fortunate ly", + "▁ste pped", + "▁step ped", + "▁S eg", + "▁Se g", + "▁ Seg", + "▁Wh ich", + "▁ Which", + "end or", + "endo r", + "▁per mission", + "▁perm ission", + "▁ permission", + "CO L", + "C OL", + "▁T EST", + "▁TE ST", + "▁ TEST", + "P ay", + "ère s", + "è res", + "▁accomp l", + "ro le", + "rol e", + "r ole", + "Wh ere", + "Whe re", + "W here", + "proto buf", + "met adata", + "meta data", + "Jo b", + "J ob", + "▁Fou r", + "▁Fo ur", + "pl ements", + "ple ments", + "plement s", + "dis able", + "▁l oud", + "▁lo ud", + "▁lou d", + "▁happ ening", + "▁happen ing", + "▁U sing", + "▁Us ing", + "▁ Using", + "▁depend s", + "▁dep ends", + "í m", + "' \\", + "sh ared", + "sha red", + "share d", + "▁att ributes", + "▁attribute s", + "▁attribut es", + "▁ attributes", + "▁A ction", + "▁Act ion", + "▁ Action", + "▁d ess", + "▁de ss", + "▁des s", + "▁ dess", + "▁h ouses", + "▁ho uses", + "▁re set", + "▁res et", + "▁ reset", + "▁b ien", + "▁bi en", + "▁ex plicit", + "▁expl icit", + "LO W", + "-> _", + "▁P M", + "▁ PM", + "C ategory", + "oi ce", + "in to", + "int o", + "▁m ail", + "▁ma il", + "▁mai l", + "▁ mail", + "▁una ble", + "file name", + "fil ename", + "é k", + "▁sec tor", + "▁sect or", + "ap point", + "app oint", + "▁han g", + "▁ hang", + "▁c el", + "▁ce l", + "▁ cel", + "it ate", + "ita te", + "itat e", + "▁' <", + "▁c heap", + "▁che ap", + "▁en abled", + "▁enable d", + "▁ enabled", + "▁di vision", + "▁divis ion", + "An y", + "A ny", + "▁h ier", + "▁hi er", + "▁ Head", + "nt ax", + "n tax", + "ud a", + "u da", + "▁lim itations", + "▁limit ations", + "▁limitation s", + "▁st udio", + "med ia", + "medi a", + "m edia", + "▁cir cle", + "▁circ le", + "▁ circle", + "▁l aug", + "▁la ug", + "ac ts", + "act s", + "ó d", + "pl ed", + "ple d", + "p led", + "LO C", + "L OC", + "Ex pr", + "Exp r", + "> :", + "▁pr és", + "▁pré s", + "▁ prés", + "▁laugh ed", + "▁laug hed", + "▁ Three", + "▁en ds", + "▁ ends", + "▁fund ament", + "▁ inher", + "▁l iv", + "▁li v", + "▁ liv", + "bi d", + "b id", + "▁check ed", + "▁ checked", + "▁Pa c", + "▁f ault", + "▁fa ult", + "▁s alt", + "▁sa lt", + "▁sal t", + "▁Franc isco", + "▁ ^", + "▁O N", + "▁ ON", + "▁beaut y", + "y g", + "▁ Aff", + "▁E q", + "▁ Eq", + "▁mag ic", + "▁hand ler", + "▁handle r", + "▁ handler", + "x E", + "▁numer ous", + "▁numero us", + "▁h ole", + "▁hol e", + "▁ho le", + "▁ hole", + "▁ rooms", + "cc ión", + "cció n", + "c ción", + "▁ Arm", + "per son", + "pers on", + "p erson", + "▁p late", + "▁pl ate", + "▁plat e", + "ble d", + "bl ed", + "b led", + "er rors", + "err ors", + "error s", + "▁A gain", + "▁Ag ain", + "▁Def ault", + "▁ Default", + "▁ Hard", + "t ó", + "hu s", + "h us", + "▁dim ension", + "ial e", + "ia le", + "i ale", + "▁M ult", + "▁Mu lt", + "▁Mul t", + "▁ Mult", + "▁Govern ment", + "Fun c", + "F unc", + "▁b low", + "▁bl ow", + "▁blo w", + "▁re ct", + "▁r ect", + "▁rec t", + "▁ rect", + "er ra", + "err a", + "conne ction", + "connect ion", + "conn ection", + "▁pas sing", + "ße n", + "ß en", + "p has", + "ens ional", + "ension al", + "re cord", + "rec ord", + "co hol", + "▁Harr y", + "izont al", + "izon tal", + "▁f inger", + "▁fin ger", + "▁fing er", + "▁S C", + "▁ SC", + "oper ation", + "B Y", + "▁ Bad", + "▁stor m", + "▁sto rm", + "▁ storm", + "▁N at", + "▁Na t", + "▁bu ying", + "▁buy ing", + "▁S ometimes", + "▁Some times", + "es sed", + "esse d", + "▁da mn", + "▁dam n", + "▁m eg", + "▁me g", + "ün d", + "ü nd", + "w d", + "hid den", + "h idden", + "ar do", + "ard o", + "▁d iet", + "▁di et", + "▁die t", + "ot ted", + "ott ed", + "otte d", + "▁b at", + "▁ba t", + "▁ bat", + "an cer", + "ance r", + "anc er", + "▁f mt", + "▁ fmt", + "▁ Pen", + "▁t il", + "▁ti l", + "▁ til", + "En um", + "E num", + "PA TH", + "P ATH", + "▁mat ters", + "▁matter s", + "▁matt ers", + "time out", + "-- ----------", + "---- --------", + "-------- ----", + "--- ---------", + "----- -------", + "---------- --", + "------ ------", + "--------- ---", + "------- -----", + "----------- -", + "- -----------", + "ka n", + "k an", + "▁Cor por", + "=\" ../../", + "=\"../ ../", + "▁A le", + "▁Al e", + "hent ication", + "hentic ation", + "▁com plic", + "▁comp lic", + "▁compl ic", + "▁Se curity", + "▁ Security", + "OF F", + "O FF", + "R ad", + "ap se", + "aps e", + "a pse", + "▁dan ce", + "▁perm issions", + "▁permission s", + "▁war rant", + "▁l ad", + "▁la d", + "▁ lad", + "▁i sol", + "d l", + "▁A u", + "ye s", + "y es", + "▁t v", + "▁ tv", + "▁pro vider", + "▁prov ider", + "▁provide r", + "▁ provider", + "▁ter rible", + "▁terr ible", + "▁implement ation", + "S R", + "▁h earing", + "▁he aring", + "▁hear ing", + "F R", + "t v", + "F UN", + "▁dur ante", + "▁durant e", + "osi s", + "o sis", + "▁task s", + "▁ tasks", + "▁B lo", + "▁Bl o", + "▁ Blo", + "▁br anch", + "▁ branch", + "▁E lle", + "▁El le", + "▁Ell e", + "ex pr", + "exp r", + "pr ec", + "pre c", + "p rec", + "Sig ma", + "S igma", + "imat ely", + "t k", + "ach ment", + "▁Ent er", + "▁ Enter", + "▁cre ative", + "▁creat ive", + "ap py", + "app y", + "un ched", + "unch ed", + "unc hed", + "▁' ',", + "▁'' ,", + "onde r", + "{ -", + "NU M", + "N UM", + "▁n arr", + "▁na rr", + "▁nar r", + "Mem ory", + "▁ winning", + "▁Fol low", + "▁ Follow", + "*/ \r", + "vis ion", + "v ision", + "res ents", + "resent s", + "zi one", + "z ione", + "▁requ ests", + "▁request s", + "▁ requests", + "▁m argin", + "▁mar gin", + "▁marg in", + "▁ margin", + "▁{ \"", + "▁ {\"", + "v ideo", + "c n", + "▁Im age", + "▁ Image", + "T im", + "CON FIG", + "CONF IG", + "▁all owing", + "▁combine d", + "PU T", + "P UT", + "▁instance of", + "ig in", + "igi n", + "i gin", + "▁p ero", + "▁per o", + "▁pe ro", + "▁' '", + "▁ ''", + "▁conf idence", + "▁equ ivalent", + "▁equival ent", + "pa d", + "p ad", + "ef fect", + "eff ect", + "e ffect", + "R X", + "▁l ang", + "▁la ng", + "▁lan g", + "▁ lang", + "str ong", + "▁br idge", + "▁ bridge", + "▁t reated", + "▁tre ated", + "▁treat ed", + "▁f orth", + "▁for th", + "▁fort h", + "S W", + "▁P O", + "▁ PO", + "▁list ening", + "▁listen ing", + "Ro ute", + "R oute", + "() ))", + "()) )", + "( )))", + "cp y", + "c py", + "▁g ate", + "▁ga te", + "▁ gate", + "▁ Walk", + "▁some how", + "t f", + "▁l ayout", + "▁la yout", + "▁lay out", + "▁ layout", + "um in", + "umi n", + "u min", + "▁consider ing", + "▁consid ering", + "▁pre mi", + "▁pr emi", + "▁M om", + "▁Mo m", + "a than", + "Ge n", + "G en", + "▁plan et", + "▁plane t", + "am ples", + "amp les", + "ample s", + "▁M O", + "▁ MO", + "sh op", + "s hop", + "▁prem ier", + "▁premi er", + "▁s impl", + "▁sim pl", + "▁s egu", + "▁se gu", + "▁seg u", + "L Y", + "Su m", + "S um", + "▁t ables", + "▁table s", + "▁tab les", + "▁ta bles", + "▁ tables", + "sk a", + "s ka", + "▁ ž", + "p d", + "▁s ous", + "▁so us", + "▁sou s", + "▁confer ence", + "▁D at", + "▁Da t", + "▁ Dat", + "Sc roll", + "es se", + "ess e", + "▁citizen s", + "▁dem ocr", + "▁demo cr", + "▁ Sem", + "he aders", + "head ers", + "header s", + "im ento", + "iment o", + "imen to", + "ko m", + "k om", + "Co r", + "C or", + "MI N", + "M IN", + "us her", + "ush er", + "Data base", + "Dat abase", + "▁f ormal", + "▁for mal", + "▁forma l", + "ig ne", + "ign e", + "▁organ izations", + "▁I re", + "▁Ir e", + "X ml", + "▁bom b", + "▁ma nd", + "▁ mand", + "▁c lock", + "▁cl ock", + "▁clo ck", + "▁ clock", + "▁b uck", + "▁bu ck", + "en sch", + "ens ch", + "▁v olt", + "▁vo lt", + "▁vol t", + "▁ volt", + "in ode", + "ino de", + "i node", + "Bo olean", + "▁restaur ant", + "ía n", + "í an", + "page s", + "pa ges", + "pag es", + "p ages", + "▁wor dt", + "▁word t", + "(\" /", + "▁c opyright", + "▁copy right", + "▁ copyright", + "▁r it", + "▁ri t", + "▁ rit", + "size of", + "Tr ace", + "Tra ce", + "ue nt", + "uen t", + "u ent", + "▁k o", + "▁ ko", + ": \\", + "▁b igger", + "▁big ger", + "▁perfect ly", + "ten ance", + "MA SK", + "M ASK", + "r é", + "▁e tt", + "▁et t", + "▁ ett", + "▁n ose", + "▁no se", + "▁nos e", + "▁c raft", + "▁cr aft", + "▁ craft", + "it eral", + "ite ral", + "iter al", + "▁discuss ed", + "C ap", + "▁Un less", + "Att ributes", + "Attribute s", + "Attrib utes", + "▁l unch", + "▁lun ch", + "ö l", + "at r", + "a tr", + "▁pay ing", + "▁pa ying", + "Par se", + "Pars e", + "P arse", + "() \r", + "( )\r", + "la d", + "l ad", + "▁[ ];", + "▁[] ;", + "▁ [];", + "sto ne", + "▁u nc", + "▁defens e", + "} +", + "▁ Global", + "▁Sov iet", + "▁g li", + "▁gl i", + "var iant", + "vari ant", + "St ep", + "Ste p", + "me mber", + "mem ber", + "m ember", + "Sc h", + "S ch", + "▁Commit tee", + "▁s pending", + "▁sp ending", + "▁spend ing", + "▁ Tri", + "▁Jour nal", + "▁ Journal", + "▁s ugar", + "▁su gar", + "▁sug ar", + "el ly", + "ell y", + "HT ML", + "wi ng", + "▁Wh ether", + "▁Whe ther", + "▁N E", + "▁ NE", + "iv eness", + "ive ness", + "iven ess", + "▁h av", + "▁ha v", + "▁ hav", + "▁con scious", + "▁ conscious", + "Sym bol", + "S ymbol", + "Log ger", + "▁Lit tle", + "wide t", + "wi det", + "wid et", + "pi n", + "p in", + "▁sym met", + "▁pos ts", + "▁po sts", + "▁post s", + "▁ posts", + "sh al", + "sha l", + "s hal", + "▁Co nf", + "▁ Conf", + "ma l", + "m al", + "ul o", + "u lo", + "▁M ethod", + "▁ Method", + "▁miss ed", + "▁mis sed", + "Re move", + "Rem ove", + "Aut o", + "A uto", + "VAL UE", + "▁ Force", + "p f", + "la te", + "lat e", + "l ate", + "▁pu l", + "▁ pul", + "Po p", + "P op", + "air es", + "ai res", + "aire s", + "a ires", + "res sed", + "resse d", + "AM E", + "A ME", + "achi ng", + "a ching", + "i ć", + "ec ho", + "ech o", + "e cho", + "H S", + "▁fun ny", + "▁e er", + "▁ve get", + "c f", + "trans form", + "▁g rown", + "▁gr own", + "▁grow n", + "▁gro wn", + "si te", + "s ite", + "▁b eneath", + "▁be neath", + "▁s hell", + "▁ shell", + "x d", + "Pl ay", + "P lay", + "sh ort", + "Ro le", + "R ole", + "in ator", + "ina tor", + "} <", + "\" ><", + "aj o", + "a jo", + "ex ports", + "exp orts", + "export s", + "▁N ode", + "▁No de", + "▁ Node", + "▁j ako", + "▁ja ko", + "▁jak o", + "▁y a", + "▁ ya", + "▁friend ly", + "▁ friendly", + "buf f", + "bu ff", + "b uff", + "DE FAULT", + "▁pre gn", + "▁preg n", + "Requ ired", + "Require d", + "▁b inary", + "▁bin ary", + "▁ binary", + "is ting", + "ist ing", + "isti ng", + "▁st ared", + "▁star ed", + "▁stare d", + "▁sta red", + "▁circum stances", + "re i", + "r ei", + "Trans form", + "cn t", + "c nt", + "▁ Ext", + "re port", + "rep ort", + "repo rt", + "VER SION", + "▁ analy", + "▁Ma rg", + "▁all eg", + "build er", + "b uilder", + "To String", + "La yer", + "L ayer", + "ís t", + "í st", + "Pro p", + "Pr op", + "P rop", + "▁E mp", + "▁Em p", + "▁ Emp", + "} ]", + "▁sel ling", + "▁ selling", + "▁que ue", + "▁ queue", + "▁ser iously", + "▁serious ly", + "▁L ead", + "▁Le ad", + "▁ Lead", + "text it", + "tex tit", + "test ing", + "tes ting", + "se curity", + "sec urity", + "ia ł", + "i ał", + "ú n", + "ch ip", + "chi p", + "c hip", + "▁c andidate", + "▁mini ster", + "▁minist er", + "▁ minister", + "er ia", + "eri a", + "e ria", + "▁H et", + "▁He t", + "▁b arely", + "▁bar ely", + "▁bare ly", + "▁s ty", + "▁st y", + "▁ sty", + "▁Span ish", + "time r", + "ti mer", + "tim er", + "t imer", + "кі в", + "к ів", + "(' .", + "( '.", + "▁d ebug", + "▁de bug", + "▁deb ug", + "▁ debug", + "▁contr o", + "▁j oy", + "▁jo y", + "▁ joy", + "S n", + "In v", + "I nv", + "▁pro tocol", + "▁proto col", + "▁prot ocol", + "▁ protocol", + "▁f aces", + "▁face s", + "▁fac es", + "▁fa ces", + "▁ faces", + "se d", + "s ed", + "Con f", + "Co nf", + "AR G", + "A RG", + "▁e volution", + "▁t od", + "▁to d", + "▁P romise", + "▁Prom ise", + "▁ Promise", + "▁pos ted", + "▁po sted", + "▁post ed", + "Per m", + "Pe rm", + "P erm", + "be t", + "b et", + "An g", + "A ng", + "J ust", + "▁r um", + "▁ru m", + "▁ rum", + "la yer", + "lay er", + "l ayer", + "▁beh avi", + "▁behav i", + "ip ping", + "ipp ing", + "ippi ng", + "i pping", + "▁d ynam", + "▁dy nam", + "▁dyn am", + "▁sch eme", + "▁sche me", + "▁ scheme", + "▁pro to", + "▁pr oto", + "▁prot o", + "▁ proto", + ") /", + "Col lections", + "Collection s", + "Collect ions", + "ri ev", + "rie v", + "r iev", + "▁C lick", + "▁Cl ick", + "▁ Click", + "▁ uns", + "wide tilde", + "widet ilde", + "▁remember ed", + "г і", + "in ates", + "ina tes", + "inate s", + "▁De scription", + "▁Des cription", + "▁ Description", + "▁pre pare", + "▁prep are", + "▁prepar e", + "▁ prepare", + "▁Fi nal", + "▁ Final", + "▁Qu een", + "▁Que en", + "> ;", + "▁autom atically", + "▁automatic ally", + "▁sh arp", + "▁shar p", + "▁sha rp", + "▁me at", + "at eur", + "ate ur", + "aste rn", + "▁st uck", + "ASS ERT", + "do ts", + "dot s", + "d ots", + "ook ie", + "oo kie", + "▁His tor", + "▁re views", + "IM P", + "I MP", + "▁answ ered", + "▁answer ed", + "To tal", + "T otal", + "▁s au", + "▁sa u", + "▁Me xico", + "contin ue", + "like ly", + "lik ely", + "з ва", + "us ers", + "use rs", + "user s", + "▁L ev", + "▁Le v", + "▁m ol", + "▁mo l", + "▁comm itted", + "wr it", + "ri ft", + "rif t", + "r ift", + "▁inter rupt", + "▁ interrupt", + "▁read only", + "sch ema", + "sche ma", + "s chema", + "S m", + "D ouble", + "▁ Hal", + "Mo ve", + "M ove", + "▁S eries", + "▁Serie s", + "▁ Series", + "in line", + "so c", + "s oc", + "▁t ent", + "▁te nt", + "▁ten t", + "▁a mer", + "▁am er", + "▁ amer", + "▁l ady", + "▁la dy", + "▁lad y", + "▁t ired", + "▁ti red", + "▁tire d", + "▁tir ed", + "if i", + "i fi", + "▁m ême", + "▁ même", + "ou ver", + "▁a side", + "▁as ide", + "Di d", + "D id", + "', \r", + "' ,\r", + "▁br inging", + "Draw ing", + "es so", + "ess o", + "mitt ed", + "m itted", + "▁abs olute", + "▁absolut e", + "▁ absolute", + "ha ust", + "haus t", + "(( )", + "( ()", + "▁T ask", + "▁Ta sk", + "▁ Task", + "ER S", + "E RS", + "▁^ {", + "▁ ^{", + "▁t one", + "▁to ne", + "▁ton e", + "dis t", + "di st", + "d ist", + "v s", + "▁whe el", + "▁ wheel", + "▁administr ation", + "▁admin istration", + "▁point er", + "▁po inter", + "▁ pointer", + "▁en counter", + "▁n ord", + "▁no rd", + "▁nor d", + "ke t", + "k et", + "▁b each", + "▁be ach", + "▁enjoy ed", + "cont ains", + "▁app end", + "▁ap pend", + "▁appe nd", + "▁ append", + "W ait", + "▁s quad", + "ze l", + "z el", + "▁med ium", + "▁medi um", + "▁ medium", + "▁s ending", + "▁send ing", + "▁sen ding", + "▁La dy", + "▁Lad y", + "ç ões", + "▁dest ination", + "▁destin ation", + "▁ destination", + "ny ch", + "n ych", + "▁conf lict", + "▁conflic t", + "▁v ul", + "▁vu l", + "▁bas ically", + "▁basic ally", + "re ated", + "reat ed", + "reate d", + "rea ted", + "bl ack", + "ug ins", + "ugin s", + "▁cal m", + "▁ca lm", + "ér ie", + "éri e", + "é rie", + "ha r", + "h ar", + "w atch", + "▁P ut", + "▁Pu t", + "▁ Put", + "▁d ump", + "▁du mp", + "▁ dump", + "ac her", + "ach er", + "ache r", + "a cher", + "sc roll", + "scr oll", + "▁cl aimed", + "▁ claimed", + "▁Cont rol", + "▁ Control", + "▁bl ind", + "en ti", + "ent i", + "▁Ke ep", + "▁ Keep", + "im ages", + "image s", + "ima ges", + "imag es", + "▁t ough", + "▁to ugh", + "▁tou gh", + "ge bra", + "geb ra", + "▁se pt", + "▁sep t", + "▁s kill", + "▁sk ill", + "▁ski ll", + "▁ skill", + "▁Ta y", + "▁k tó", + "ow ner", + "own er", + "par e", + "pa re", + "p are", + "▁f ee", + "▁fe e", + "▁ fee", + "▁k an", + "▁ka n", + "▁ kan", + "▁c ha", + "▁ch a", + "▁ cha", + "ov o", + "o vo", + "▁Ni ght", + "ict ure", + "▁es say", + "▁ess ay", + "▁sup pose", + "▁supp ose", + "eti c", + "Ar t", + "A rt", + "ac on", + "aco n", + "a con", + "ll a", + "l la", + "word s", + "wor ds", + "w ords", + "▁compar ison", + "▁B E", + "▁ BE", + "▁challeng es", + "▁challenge s", + "▁o l", + "▁ ol", + "cite p", + "cit ep", + "▁Fo ot", + "▁ Foot", + "▁S uch", + "▁Su ch", + "▁ Such", + "▁p apers", + "▁paper s", + "▁pa pers", + "▁pap ers", + "act iv", + "qu er", + "que r", + "q uer", + "сь кий", + "do ne", + "don e", + "d one", + "▁sh ock", + "▁dedic ated", + "▁correspon d", + "Se cond", + "Sec ond", + "▁b ull", + "▁bu ll", + "▁bul l", + "lif e", + "ind ent", + "inde nt", + "inden t", + "▁Andr ew", + "is p", + "i sp", + "F ull", + "▁Reg ister", + "▁ Register", + "Sc ale", + "Scal e", + "ic ations", + "ication s", + "pa ir", + "p air", + "▁pers pective", + "▁n os", + "▁no s", + "▁ nos", + "ap a", + "a pa", + "ost ał", + "osta ł", + "▁Pe rs", + "▁ Pers", + "ic er", + "ice r", + "i cer", + "▁pl astic", + "ci ples", + "cipl es", + "cip les", + "z ą", + "c los", + "▁ Á", + "pl ugin", + "plug in", + "▁an gle", + "▁ang le", + "▁angl e", + "▁ angle", + "▁fun ds", + "▁in du", + "▁ind u", + "▁d rawn", + "á m", + "▁seg ment", + "▁ segment", + "is me", + "ism e", + "sc r", + "s cr", + "▁li es", + "▁lie s", + "▁I L", + "▁ IL", + "▁a pi", + "▁ap i", + "▁ api", + "Ext ension", + "▁s cal", + "▁sc al", + "▁ scal", + "inst all", + "▁ Week", + "▁gen tle", + "▁gent le", + "▁d ialog", + "▁dial og", + "▁dia log", + "▁ dialog", + "▁artic les", + "The me", + "Th eme", + "S M", + "▁ Bul", + "▁l eur", + "▁le ur", + "▁s tom", + "▁st om", + "▁sto m", + "Pl ugin", + "▁st ead", + "▁ste ad", + "▁ stead", + "▁ ś", + "ip her", + "iph er", + "i pher", + "▁pr ze", + "▁prz e", + "▁ draft", + "bot tom", + "b ottom", + "▁{ };", + "▁{} ;", + "fe ature", + "feat ure", + "▁fab ric", + "ç a", + "(' #", + "re a", + "r ea", + "▁re put", + "▁rep ut", + "▁C ir", + "▁Ci r", + "▁ Cir", + "▁A L", + "▁ AL", + "▁assert Equals", + "▁ assertEquals", + "result s", + "▁ Cross", + "urs day", + "▁a udio", + "▁aud io", + "▁ audio", + "▁g ap", + "▁ga p", + "pl atform", + "▁a uss", + "▁au ss", + "▁aus s", + "▁part ial", + "▁parti al", + "▁ partial", + "u nc", + "▁cho ices", + "▁choice s", + "pr ed", + "pre d", + "p red", + "▁ heads", + "ter day", + "▁Ni ck", + "▁we ird", + "as ant", + "asa nt", + "or ders", + "cl ock", + "c lock", + "arte rs", + "C md", + "og a", + "o ga", + "Key s", + "Ke ys", + "Re port", + "Rep ort", + "Repo rt", + "▁Vil l", + "▁ Mu", + "▁ owned", + "SU CCESS", + "▁type of", + "▁ typeof", + "hd r", + "h dr", + "ua ble", + "u able", + "▁A P", + "▁ AP", + "▁sh adow", + "▁ shadow", + "STR ING", + "▁video s", + "▁vide os", + "ле ння", + "лен ня", + "ex pect", + "exp ect", + "▁Vall ey", + "▁g oto", + "▁go to", + "▁got o", + "▁ goto", + "fr astr", + "▁opera ting", + "▁License d", + "▁Lic ensed", + "Var iable", + "Vari able", + "cl one", + "▁G esch", + "▁Ge sch", + "▁Ges ch", + "▁Ban d", + "▁ Band", + "... .....", + "..... ...", + "▁hundred s", + "▁emot ional", + "▁emotion al", + ") +", + "▁Egy pt", + "▁fr anç", + "▁ š", + "▁f asc", + "▁fa sc", + "▁A dam", + "▁r ig", + "▁ri g", + "▁ rig", + "▁det ailed", + "▁detail ed", + "▁im plements", + "▁implement s", + "▁impl ements", + "▁ Hy", + "▁g rid", + "▁gr id", + "▁gri d", + "▁ grid", + "St op", + "S top", + "▁s lot", + "▁sl ot", + "▁ slot", + "▁ang ry", + "▁- =", + "▁wait ed", + "▁wa ited", + "Ver t", + "V ert", + "\": \"", + "\" :\"", + "▁e lem", + "▁el em", + "▁ele m", + "▁ elem", + "▁r ég", + "▁ré g", + "ow ed", + "owe d", + "o wed", + "Mem ber", + "Me mber", + "M ember", + "▁r atio", + "▁rat io", + "▁ ratio", + "is en", + "ise n", + "i sen", + "▁L em", + "▁Le m", + "ge ry", + "ger y", + "g ery", + "▁c ream", + "▁cre am", + "▁ét ait", + "▁ était", + "▁g eb", + "▁ge b", + "▁ geb", + "un ique", + "uni que", + "▁D eb", + "▁De b", + "▁f actory", + "▁ factory", + "ż e", + "d ialog", + "▁Con fig", + "▁Conf ig", + "▁ Config", + "Sy nc", + "S ync", + "an gers", + "ang ers", + "ange rs", + "anger s", + "▁gover ning", + "▁govern ing", + "Sp ace", + "S pace", + "▁j est", + "▁je st", + "ic ious", + "ici ous", + "icio us", + "▁emp has", + "um ps", + "ump s", + "▁E sp", + "▁Es p", + "▁ Esp", + "▁s ul", + "▁su l", + "ij a", + "i ja", + "▁l ying", + "▁ly ing", + "▁ lying", + "▁St eve", + "▁me asures", + "os to", + "ost o", + "o sto", + "? ”", + "▁p ocket", + "▁poc ket", + "▁p itch", + "▁pit ch", + "▁n atur", + "▁nat ur", + "ad ores", + "ado res", + "ador es", + "(\" \\", + "( \"\\", + "▁ex pos", + "▁exp os", + "mat erial", + "mate rial", + "m aterial", + "▁app arently", + "▁apparent ly", + "▁appar ently", + "▁B ox", + "▁Bo x", + "▁ Box", + "▁s paces", + "▁sp aces", + "▁space s", + "ex ists", + "exist s", + "OR Y", + "Go od", + "G ood", + "ien ne", + "i enne", + "▁f ruit", + "▁fr uit", + "▁fru it", + "ie ra", + "ier a", + "i era", + "▁ Lim", + "▁t rait", + "▁tr ait", + "▁tra it", + "▁ trait", + "▁ab sor", + "▁abs or", + "rai t", + "LO AD", + "▁mov ies", + "▁movie s", + "▁d ynamic", + "▁dynam ic", + "▁dyn amic", + "▁ dynamic", + "as ts", + "ast s", + "a sts", + "▁In teger", + "▁ Integer", + "▁sm oke", + "п і", + "an gel", + "ang el", + "ange l", + ">( \"", + "> (\"", + "▁in strument", + "▁fue l", + "▁fu el", + "но ї", + "atal ogue", + "atalog ue", + "▁s erial", + "▁se rial", + "▁ser ial", + "▁ serial", + "File s", + "Fil es", + "Fi les", + "F iles", + "▁bath room", + "il o", + "i lo", + "es to", + "est o", + "e sto", + "▁p m", + "▁ pm", + "ent ials", + "ential s", + "enti als", + "▁On line", + "wh ite", + "▁t ips", + "▁tip s", + "▁ti ps", + "Fi g", + "F ig", + "k é", + "bit r", + "bi tr", + "b itr", + "Map ping", + "Ma pping", + "M apping", + "▁t ak", + "▁ta k", + ")\" ,", + ") \",", + "▁K arl", + "▁Kar l", + "▁Ka rl", + "▁Hum an", + "▁rep resents", + "▁represent s", + "▁cons istent", + "▁consist ent", + "_ (", + "we n", + "w en", + "▁F ROM", + "▁FR OM", + "▁ FROM", + "▁e dit", + "▁ed it", + "▁ edit", + "▁ch apter", + "▁chap ter", + "▁wonder ed", + "▁Ma jor", + "▁Maj or", + "▁g es", + "▁ge s", + "▁ ges", + "▁dire cted", + "er os", + "ero s", + "e ros", + "li ament", + "lia ment", + "Bo ok", + "B ook", + "user name", + "ho t", + "h ot", + "▁n am", + "▁na m", + "▁ nam", + "▁Ta l", + "▁ex ports", + "▁exp orts", + "▁export s", + "▁ exports", + "( @", + "▁sh aring", + "▁shar ing", + "▁sha ring", + "ś ć", + "ues day", + "yl v", + "y lv", + "el en", + "ele n", + "e len", + "Se lection", + "Select ion", + "S election", + "▁conf ident", + "ry pto", + "rypt o", + "▁ho rs", + "ed itor", + "edit or", + "edi tor", + "▁should ers", + "▁shoulder s", + "get Name", + "en cing", + "enc ing", + "enci ng", + "SE LECT", + "SEL ECT", + "▁kind s", + "▁kin ds", + "▁W el", + "▁We l", + "Mat rix", + "in valid", + "▁ owners", + "▁Record s", + "▁ Records", + "▁Pro cess", + "▁ Process", + "▁c hat", + "▁ch at", + "▁cha t", + "▁ chat", + "▁b in", + "▁bi n", + "▁ bin", + "re dit", + "red it", + "r edit", + "oi re", + "oir e", + "o ire", + "▁T otal", + "▁To tal", + "▁Tot al", + "▁ Total", + "▁F amily", + "▁Famil y", + "▁ Family", + "AR Y", + "▁b read", + "▁br ead", + "▁bre ad", + "▁ bread", + "▁com pre", + "▁comp re", + "▁compr e", + "▁sh oes", + "▁shoe s", + "▁r az", + "▁ra z", + "▁ raz", + "▁tr ace", + "▁tra ce", + "▁ trace", + "ne j", + "n ej", + "or ted", + "ort ed", + "orte d", + "h n", + "▁pro cedure", + "▁proced ure", + "pro perties", + "pl ier", + "▁ hero", + "pan el", + "pa nel", + "p anel", + "▁mar ked", + "▁wor ried", + "\\ |", + "pt s", + "p ts", + "▁S upport", + "▁Sup port", + "▁Supp ort", + "▁ Support", + "F ail", + "▁dis appoint", + "▁ple asure", + "▁j udge", + "▁judg e", + "ze ich", + "▁for ever", + "▁fore ver", + "▁Ze it", + "uo us", + "u ous", + "inen t", + "i nent", + "▁d w", + "▁ dw", + "▁w aren", + "▁war en", + "▁wa ren", + "▁ware n", + "▁fl ash", + "▁ flash", + "▁dr ugs", + "▁dru gs", + "▁drug s", + "▁dia m", + ". ~", + "im p", + "i mp", + "in ned", + "inn ed", + "▁E V", + "▁ EV", + "St ruct", + "Str uct", + "▁just ice", + "▁offic ials", + "ff ff", + "fff f", + "f fff", + "▁ Common", + "▁ Cat", + "▁tom orrow", + "▁é l", + "▁ él", + "Text ure", + "Te xture", + "qp oint", + "q point", + "▁F ried", + "▁Fr ied", + "▁T erm", + "▁Te rm", + "▁Ter m", + "▁ Term", + "pgf qpoint", + "▁n em", + "▁ne m", + "▁ nem", + "no rm", + "nor m", + "n orm", + "▁hard ly", + "od a", + "o da", + "ze ta", + "zet a", + "z eta", + "em ic", + "emi c", + "e mic", + "▁lo aded", + "▁load ed", + "▁ loaded", + "ci ó", + "c ió", + "▁f ool", + "▁fo ol", + "▁foo l", + "▁t rick", + "▁tr ick", + "▁tri ck", + "▁d st", + "▁ds t", + "▁ dst", + "Fin d", + "Fi nd", + "F ind", + "}} ,", + "} },", + "▁frame work", + "▁ framework", + "▁mer ely", + "▁mere ly", + "▁ union", + "Fl ag", + "F lag", + "▁cris is", + "▁cri sis", + "▁fin ite", + "▁ finite", + "▁l ol", + "▁lo l", + "▁Ki m", + "sin ce", + "s ince", + "▁com pat", + "▁comp at", + "▁ compat", + "▁p ert", + "▁per t", + "▁pe rt", + "▁ pert", + "ib ilities", + "ibil ities", + "▁tamb ién", + "ib li", + "▁t een", + "▁te en", + "▁ teen", + "▁sym pt", + "de rs", + "der s", + "d ers", + "ot te", + "ott e", + "▁Ja ne", + "▁thro at", + "ma g", + "m ag", + "su p", + "s up", + "un i", + "u ni", + "$ $", + "▁ Library", + "▁att acks", + "in gen", + "ing en", + "inge n", + "(' /", + "▁h es", + "▁he s", + "▁ hes", + "co in", + "c oin", + "oun ce", + "MOD ULE", + "▁A dv", + "▁Ad v", + "▁ Adv", + ")^ {", + ") ^{", + "▁b ij", + "▁bi j", + "ev ents", + "event s", + "even ts", + "▁F ern", + "▁Fe rn", + "▁Fer n", + "▁b er", + "▁be r", + "▁ ber", + "▁sil ent", + "▁p ier", + "▁pie r", + "▁pi er", + "▁Y O", + "▁pl ain", + "▁ plain", + "B as", + "▁p ill", + "▁pi ll", + "▁pil l", + "ra se", + "ras e", + "r ase", + "▁car rying", + "▁r esp", + "▁ resp", + "Wrap per", + "W rapper", + "▁g au", + "▁ga u", + "▁h al", + "▁ha l", + "▁ hal", + "th row", + "Cl uster", + "▁Ga b", + "▁Gi rl", + "▁Gir l", + "qu ir", + "▁A rg", + "▁Ar g", + "▁ Arg", + "▁relie f", + "▁reli ef", + "d m", + "▁fr ustr", + "▁fru str", + "\\ %", + "▁stor es", + "▁sto res", + "▁bott le", + "▁bot tle", + "tw o", + "t wo", + "st ad", + "sta d", + "▁che ek", + "▁concer ns", + "▁help ful", + "▁co verage", + "▁cover age", + "is i", + "i si", + "AD D", + "A DD", + "as ync", + "asy nc", + "a sync", + "▁approxim ately", + "▁approximate ly", + "if fer", + "iff er", + "iffe r", + "ho ok", + "h ook", + "▁e num", + "▁en um", + "▁ enum", + "ov á", + "o vá", + "▁e vil", + "▁ev il", + "▁const antly", + "▁constant ly", + "ap ply", + "app ly", + "▁si è", + "▁te achers", + "▁teach ers", + "▁ Sn", + "▁Aw ards", + "▁subst ant", + "▁$ .", + "▁ $.", + "d k", + "▁mo b", + "▁ mob", + "▁ing red", + "ve re", + "ver e", + "v ere", + "Mult i", + "st al", + "sta l", + "s tal", + "yar d", + "requ ired", + "require d", + "▁intellig ence", + "▁th inks", + "▁think s", + "▁thin ks", + "▁person ally", + "▁personal ly", + "▁ trained", + "orne y", + ") \\", + "an al", + "ana l", + "a nal", + "Se ction", + "S ection", + "pl us", + "ü t", + "▁em bed", + "▁emb ed", + "▁ embed", + "▁st rings", + "▁str ings", + "▁string s", + "▁ strings", + "Be fore", + "B efore", + "pro c", + "pr oc", + "p roc", + "▁сп о", + "tr l", + "t rl", + "v r", + "Back ground", + "log ger", + "ag raph", + "agr aph", + "agra ph", + "a graph", + "bat ch", + "b atch", + "▁opt ional", + "▁option al", + "▁ optional", + "▁recogn ize", + "wal k", + "w alk", + "▁Hi t", + "▁ Hit", + "} :", + "▁care ful", + "кра ї", + "▁d isk", + "▁dis k", + "▁di sk", + "▁ disk", + "▁ ships", + "▁s uo", + "▁su o", + "▁s owie", + "▁so wie", + "▁sow ie", + "▁E ss", + "▁Es s", + "▁H ash", + "▁Ha sh", + "▁Has h", + "▁ Hash", + "▁reason able", + "▁More over", + "▁form ula", + "▁C entre", + "▁resid ents", + "R S", + "Id s", + "I ds", + "▁K now", + "▁Kn ow", + "▁r és", + "▁ré s", + "▁s table", + "▁st able", + "▁sta ble", + "▁stab le", + "▁ stable", + "▁W ould", + "▁Wo uld", + "▁ Would", + "▁break ing", + "▁bre aking", + "▁ breaking", + "▁me al", + "▁f el", + "▁fe l", + "▁ fel", + "▁Fr ed", + "Aut hor", + "Auth or", + "▁c apture", + "▁ capture", + "op ts", + "opt s", + "o pts", + "▁every where", + "▁s que", + "▁squ e", + "▁sq ue", + "▁m oder", + "▁mod er", + "▁mo der", + "▁mode r", + "set up", + "▁S upp", + "▁Su pp", + "▁Sup p", + "▁ Supp", + "▁when ever", + "▁whe never", + "{ (", + "wa rt", + "war t", + "w art", + "▁t oe", + "▁to e", + "Pre fix", + "Pref ix", + "P refix", + "ho u", + "h ou", + "ga ge", + "g age", + "> \"", + "▁fra g", + "▁ frag", + "▁The orem", + "mem ory", + "▁cont ents", + "▁content s", + "▁conten ts", + "▁ contents", + "do cs", + "doc s", + "} '", + "The n", + "Th en", + "T hen", + "aa ts", + "aat s", + "a ats", + "Sa ve", + "S ave", + "▁F unction", + "▁Fun ction", + "▁ Function", + "N N", + "dest roy", + "▁M essage", + "▁Mess age", + "▁ Message", + "▁c ancel", + "▁can cel", + "▁ cancel", + "▁super ior", + "▁P ART", + "▁PA RT", + "▁PAR T", + "▁ PART", + "I l", + "eng ine", + "▁b asket", + "▁bas ket", + "wor th", + "wort h", + "f etch", + "▁St adt", + "▁Stad t", + "▁Sta dt", + "▁con j", + "▁se iner", + "▁sein er", + "▁seine r", + "▁sei ner", + "▁confirm ed", + "▁Arg ent", + "am ar", + "ama r", + "a mar", + "pgf path", + "▁strugg le", + "Pat tern", + "i tan", + "▁m oon", + "▁mo on", + "or ough", + "oro ugh", + "o rough", + "▁stru ck", + "] ->", + "▁we apon", + "▁weap on", + "▁su bst", + "▁sub st", + "▁subs t", + "▁inst ructions", + "▁instruct ions", + "▁instruction s", + "▁oc cas", + "prote cted", + "▁L ess", + "▁Le ss", + "▁Les s", + "▁ Less", + "▁b atch", + "▁bat ch", + "▁ batch", + "▁con tra", + "▁cont ra", + "▁contr a", + "▁de ck", + "▁dec k", + "▁ deck", + "▁ign ored", + "▁ignore d", + "▁ignor ed", + "▁refuse d", + "tr igger", + "G A", + "ol ly", + "oll y", + "for ward", + "▁p refix", + "▁pre fix", + "▁pref ix", + "▁ prefix", + "▁im mediate", + "▁immedi ate", + "▁as signed", + "▁assign ed", + "▁ele cted", + "▁to night", + "▁ton ight", + "▁D ies", + "▁Die s", + "▁Di es", + "▁B each", + "▁pre ced", + "▁prec ed", + "ow ał", + "owa ł", + "▁gal ax", + "▁log ic", + "en za", + "enz a", + "▁Capt ain", + "▁f acts", + "▁fact s", + "▁fac ts", + "t é", + "▁s b", + "▁ sb", + "op ed", + "ope d", + "o ped", + "▁com bat", + "▁expl ore", + "▁explo re", + "▁( -", + "▁ (-", + "Load er", + "Lo ader", + "▁l ocked", + "▁loc ked", + "▁lock ed", + "▁ locked", + ": )", + "▁qu el", + "▁que l", + "▁q uel", + "▁ quel", + "T y", + "▁tem ps", + "▁temp s", + "▁g host", + "Mat erial", + "M aterial", + "ER CHANT", + "point er", + "po inter", + "ah a", + "a ha", + "▁sup plement", + "▁supp lement", + "▁d ismiss", + "▁cl osing", + "▁clos ing", + "▁clo sing", + "▁vul ner", + "▁ap rès", + "▁apr ès", + "▁over whel", + "▁dis ag", + "ac ia", + "aci a", + "a cia", + "ru ption", + "rupt ion", + "End point", + "Re al", + "▁T ag", + "▁Ta g", + "▁ Tag", + "▁st airs", + "▁sta irs", + "▁stair s", + "▁ stairs", + "▁e leg", + "▁el eg", + "▁ele g", + "▁vet er", + "factor y", + "fact ory", + "f actory", + "an ne", + "ann e", + "▁fr anc", + "▁fra nc", + "lu ng", + "l ung", + "▁\" '", + ".' ,", + ". ',", + "▁C ountry", + "▁Count ry", + "▁Coun try", + "▁ Country", + "^{ [", + "▁y ours", + "▁you rs", + "▁your s", + "▁yo urs", + "ail ability", + "Cl ear", + "C lear", + "ät t", + "ä tt", + "▁j oke", + "▁jo ke", + "▁ann oy", + "▁r ag", + "▁ra g", + "▁ rag", + "var i", + "va ri", + "v ari", + "ле кс", + "лек с", + "▁P sy", + "il ty", + "ilt y", + "mo unt", + "m ount", + "▁c ual", + "▁cu al", + "▁s olar", + "▁so lar", + "▁sol ar", + "}^ {(", + "}^{ (", + "} ^{(", + "Sh ort", + "▁tax es", + "App end", + "Ap pend", + "Appe nd", + "W in", + "est yle", + "esty le", + "e style", + "▁fac il", + "▁fa cil", + "▁sou ght", + "▁b are", + "▁bar e", + "▁ba re", + "▁ react", + "ja r", + "j ar", + "MA C", + "M AC", + "lo v", + "l ov", + "wa rn", + "war n", + "w arn", + "▁cru cial", + "▁m useum", + "May be", + "▁b ike", + "▁bi ke", + "▁Add ress", + "▁ Address", + "X ML", + "▁adm itted", + "▁admit ted", + "▁$ (\\", + "▁$( \\", + "▁sp ell", + "▁spe ll", + "▁spel l", + "▁ spell", + "▁v ic", + "▁vi c", + "gr e", + "g re", + "▁p roc", + "▁pro c", + "▁pr oc", + "▁ proc", + "▁N om", + "▁No m", + "▁Ra il", + "▁acc eler", + "▁con vin", + "▁conv in", + "▁Pro perty", + "▁ Property", + "▁D A", + "▁ DA", + "▁cl ip", + "▁ clip", + "▁pl ugin", + "▁plug in", + "▁ plugin", + "Lim it", + "Li mit", + "L imit", + "view s", + "br u", + "b ru", + "▁a k", + "▁ ak", + "▁e j", + "▁ ej", + "▁o pts", + "▁op ts", + "▁opt s", + "▁ opts", + "▁sl ip", + "▁gan g", + "▁ga ng", + "▁ gang", + "as ted", + "ast ed", + "aste d", + "a sted", + "ual s", + "ua ls", + "u als", + "▁d ying", + "▁dy ing", + "Col l", + "Co ll", + "C oll", + "am men", + "amm en", + "▁Pol icy", + "▁ Policy", + "ERCHANT ABILITY", + "▁Col lection", + "▁Coll ection", + "▁Collect ion", + "▁ Collection", + "▁v ec", + "▁ve c", + "▁ vec", + "st ud", + "▁la yers", + "▁lay ers", + "▁layer s", + "▁ layers", + "▁t ied", + "▁tie d", + "▁ti ed", + "}\\ \\", + "} \\\\", + "▁al ors", + "▁j ou", + "▁jo u", + "▁ch icken", + "▁chi cken", + "▁chick en", + "▁Every thing", + "▁ Low", + "▁C ook", + "▁Co ok", + "▁pe ak", + "▁PARTIC ULAR", + "▁d ear", + "▁de ar", + "i č", + "▁introdu ce", + "▁ca using", + "Bo und", + "B ound", + "hu nd", + "h und", + "mult i", + "mul ti", + "▁p are", + "▁par e", + "▁pa re", + "▁ pare", + "an nt", + "ann t", + "▁b reat", + "▁bre at", + "▁commit ment", + "▁F riend", + "▁ Friend", + "▁stat istics", + "▁statist ics", + "▁Man ager", + "▁ Manager", + "pl icate", + "plic ate", + "plica te", + "Cl oud", + "ac i", + "a ci", + "Sp an", + "S pan", + "▁C EO", + "▁CE O", + "▁W ait", + "▁Wa it", + "▁ Wait", + "▁O ber", + "▁Ob er", + "if ting", + "ift ing", + "im iento", + "imi ento", + "get Element", + "▁g le", + "▁gl e", + "▁ gle", + "▁w ieder", + "▁wie der", + "▁inst ruction", + "▁instr uction", + "▁instruct ion", + "gl y", + "g ly", + "▁bl ame", + "▁list ade", + "▁lista de", + "▁a apt", + "Fr agment", + "▁g ear", + "▁ge ar", + "mi ll", + "mil l", + "m ill", + "pro d", + "pr od", + "p rod", + "▁bur ning", + "▁burn ing", + "є ться", + "▁m é", + "▁ mé", + "è ne", + "▁com plicated", + "▁compl icated", + "▁complic ated", + "b h", + "▁t ested", + "▁te sted", + "▁test ed", + "▁st aring", + "▁star ing", + "▁sta ring", + "▁surv ive", + "▁surviv e", + "▁c ous", + "▁co us", + "▁cou s", + "▁r ib", + "▁ri b", + "▁ rib", + "am l", + "a ml", + "▁T rust", + "▁Tru st", + "▁c ad", + "▁ca d", + "▁T err", + "▁Te rr", + "▁Ter r", + "▁m apping", + "▁map ping", + "▁ma pping", + "▁ mapping", + "▁gran t", + "▁th orough", + "▁ Ü", + "▁fol ks", + "▁folk s", + "▁Cont ent", + "▁ Content", + "▁child hood", + "ck er", + "cke r", + "c ker", + "RE CT", + "REC T", + "R ECT", + "▁f inale", + "▁fin ale", + "▁final e", + "▁sh ower", + "▁show er", + "ér ic", + "éri c", + "é ric", + "▁s pat", + "▁sp at", + "od ge", + "▁p es", + "▁pe s", + "▁ pes", + "ed a", + "e da", + "D b", + "▁Ant onio", + "▁Anton io", + "▁engage d", + "val s", + "va ls", + "v als", + "▁elect ronic", + "▁electron ic", + "▁electro nic", + "le mma", + "lem ma", + "▁W y", + "mer ge", + "ap on", + "a pon", + "▁priv ile", + "▁nov embre", + "▁nove mbre", + "▁Sp orts", + "▁Sport s", + "wi ll", + "w ill", + "▁control s", + "▁contr ols", + "▁contro ls", + "▁ controls", + "▁c ategories", + "▁categ ories", + "▁categor ies", + "▁ categories", + "ip edia", + "▁A V", + "▁ AV", + "at ori", + "ator i", + "ato ri", + "▁_ __", + "▁__ _", + "▁ ___", + "▁ À", + "▁R yan", + "▁Ry an", + "▁Char lie", + "▁Charl ie", + "▁em otion", + "▁emot ion", + "▁co oking", + "▁cook ing", + "▁FIT NESS", + "ät er", + "ä ter", + "En able", + "D T", + "▁Ch ange", + "▁ Change", + "Asp Net", + "▁ord inary", + "▁ordin ary", + "▁S QL", + "▁ SQL", + "pl ane", + "plan e", + "p lane", + "▁av ait", + "up p", + "u pp", + "▁ill ness", + "UI NT", + "U INT", + "> {", + "▁zw ischen", + "▁hard ware", + "▁sound ed", + "equ iv", + "▁p iano", + "▁pi ano", + "▁pian o", + "us et", + "use t", + "u set", + "TR Y", + "▁b ab", + "▁ba b", + "▁rel iable", + "▁reli able", + "▁Bron nen", + "▁St ore", + "▁Sto re", + "▁ Store", + "A z", + "▁» ,", + "▁ »,", + "St atic", + "Stat ic", + "d w", + "gr een", + "gre en", + "g reen", + "▁' ';", + "▁'' ;", + "li j", + "l ij", + "ev a", + "e va", + "ні й", + "▁S yd", + "con vert", + "conv ert", + "▁decl are", + "▁declar e", + "br es", + "bre s", + "b res", + "IN K", + "▁acc ord", + "▁ac cord", + "▁m ars", + "▁mar s", + "▁ma rs", + "Sequ ence", + "zi p", + "z ip", + "▁Braz il", + "▁meet ings", + "▁meeting s", + "▁accur acy", + "▁M achine", + "▁Mach ine", + "▁ Machine", + "▁aut or", + "▁au tor", + "▁auto r", + "▁ autor", + "▁a insi", + "▁ain si", + "Sim ple", + "Res ources", + "Re sources", + "Resource s", + "th ey", + "the y", + "▁Ban g", + "▁e ing", + "▁ein g", + "▁ eing", + "ate ful", + "▁Some thing", + "▁Som ething", + "▁ Something", + "▁up set", + "Hist ory", + "Hi story", + "dim ensional", + "▁explan ation", + "▁c iv", + "▁ci v", + "▁c once", + "▁con ce", + "▁conc e", + "▁kö z", + "▁prom ised", + "▁promise d", + "we d", + "w ed", + "For e", + "F ore", + "Am ount", + "A mount", + "a bb", + "▁cl othing", + "▁cloth ing", + "▁clo thing", + "oe n", + "o en", + "▁Pr int", + "▁Pri nt", + "▁Prin t", + "▁ Print", + "▁s izes", + "▁size s", + "▁si zes", + "▁b anks", + "▁bank s", + "▁ban ks", + "ri bed", + "rib ed", + "ribe d", + "▁' ../", + "▁'. ./", + "FI X", + "F IX", + "▁z n", + "▁ zn", + "▁I NT", + "▁IN T", + "▁ INT", + "▁in stances", + "▁inst ances", + "▁instance s", + "Name space", + "Names pace", + "▁a sc", + "▁as c", + "▁ asc", + "▁w aves", + "▁wa ves", + "▁wave s", + "▁p om", + "▁po m", + "D uration", + "day s", + "da ys", + "d ays", + "$ (", + "▁grab bed", + "▁sur gery", + "▁surge ry", + "▁surg ery", + "▁re store", + "▁rest ore", + "▁ restore", + "Norm al", + "N ormal", + "▁L eb", + "▁Le b", + "▁anal yt", + "▁analy t", + "Lite ral", + "L iteral", + "H A", + "▁sh ares", + "▁share s", + "▁shar es", + "▁sha res", + "il let", + "ill et", + "ille t", + "▁D og", + "▁Do g", + "or no", + "orn o", + "▁man ip", + "ja v", + "j av", + "▁ess entially", + "▁essential ly", + "▁cas ual", + "op l", + "o pl", + "▁S U", + "▁ SU", + "▁engineer ing", + "▁Prim e", + "▁S W", + "▁ SW", + "▁K re", + "▁Kr e", + "▁opp on", + "pro gram", + "pr ogram", + "em per", + "emp er", + "is Empty", + "▁U nit", + "▁Un it", + "▁ Unit", + "IN TER", + "INT ER", + "INTE R", + "et he", + "eth e", + "e the", + "z d", + "CU R", + "C UR", + "▁v m", + "▁ vm", + "con v", + "co nv", + "ro pol", + "r opol", + "▁S elect", + "▁Se lect", + "▁Sel ect", + "▁ Select", + "ow y", + "o wy", + "ce ptions", + "ception s", + "cept ions", + "class es", + "▁w orden", + "▁wor den", + "▁word en", + "▁d ual", + "▁du al", + "OR K", + "▁in ches", + "▁inc hes", + "▁inch es", + "▁F A", + "▁ FA", + "▁Stat ion", + "▁ Station", + "▁person ality", + "▁personal ity", + "▁s car", + "▁sc ar", + "▁ scar", + "▁reg ime", + "▁not en", + "▁no ten", + "▁note n", + "iz a", + "i za", + "Aud io", + "A udio", + "▁dis put", + "▁disp ut", + "▁ave r", + "▁o bst", + "▁ob st", + "▁obs t", + "▁Reg ion", + "▁ Region", + "ut f", + "u tf", + "▁C ass", + "▁Cas s", + "▁Ca ss", + "hs pace", + "h space", + "▁sh ipping", + "▁ship ping", + "ik o", + "i ko", + "ic ked", + "ick ed", + "num er", + "nu mer", + "n umer", + "ri el", + "rie l", + "r iel", + "dis abled", + "disable d", + "op ol", + "o pol", + "lo oking", + "look ing", + "▁classic al", + "▁constru cted", + "▁refer enties", + "] +", + "▁min imal", + "▁minim al", + "▁mini mal", + "▁s ock", + "▁so ck", + "▁soc k", + "▁ sock", + "fa ther", + "is ión", + "isi ón", + "▁equ ally", + "▁equal ly", + "▁eq ually", + "▁red uction", + "▁redu ction", + "An t", + "A nt", + "ais on", + "ai son", + "a ison", + "▁ar gue", + "▁arg ue", + "cir cle", + "circ le", + "▁t oler", + "▁to ler", + "}\" ,", + "} \",", + "usa l", + "u sal", + "▁al gebra", + "▁gather ed", + "▁Re member", + "▁Rem ember", + "_) ;", + "_ );", + "UT E", + "U TE", + "▁K it", + "▁Ki t", + "▁ Kit", + "S y", + "HE AD", + "▁re cipe", + "▁rec ipe", + "▁recip e", + "▁sc enario", + "▁scen ario", + "VA R", + "V AR", + "▁y ard", + "▁ya rd", + "▁ yard", + "▁st ad", + "▁sta d", + "▁ stad", + "* (", + "▁valid ate", + "▁ validate", + "DE X", + "D EX", + "▁commit tee", + "▁t emporary", + "▁tempor ary", + "▁consequ ences", + "▁consequence s", + "▁égal ement", + "кти в", + "к тив", + "▁dis pl", + "▁di spl", + "▁disp l", + "▁app s", + "▁ap ps", + "▁ apps", + "▁Te il", + "▁» .", + "▁ ».", + "▁adopt ed", + "ten sor", + "t ensor", + "▁fe min", + "▁fem in", + "te ch", + "t ech", + "▁R ot", + "▁Ro t", + "▁ Rot", + "▁kn ees", + "▁kne es", + "▁knee s", + "ph ys", + "phy s", + "ow ej", + "owe j", + "ан д", + "а нд", + "he ll", + "hel l", + "h ell", + "ograf ia", + "▁ex posed", + "▁exp osed", + "▁expos ed", + "▁expose d", + "kt op", + "k top", + "ob y", + "o by", + "lo wer", + "low er", + "l ower", + "▁Se nate", + "▁s word", + "▁sw ord", + "▁swo rd", + "Fl ow", + "F low", + "▁Un fortunately", + "▁box es", + "▁ boxes", + "▁cu ando", + "▁pi lot", + "▁Al bum", + "▁Alb um", + "B al", + "So rt", + "S ort", + "FI ELD", + "▁de sert", + "▁des ert", + "CO MM", + "COM M", + "ad ows", + "ado ws", + "adow s", + "▁l oyal", + "▁lo yal", + "▁as set", + "▁ass et", + "▁ asset", + "▁m ud", + "▁mu d", + "▁ secondary", + "▁c ul", + "▁cu l", + "▁ cul", + "▁stay ing", + "▁sta ying", + "▁data set", + "▁dat aset", + "▁ dataset", + "▁U SE", + "▁US E", + "▁ USE", + "▁l oves", + "▁lo ves", + "▁love s", + "▁lov es", + "▁vel ocity", + "▁veloc ity", + "á v", + "SO C", + "S OC", + "▁compet itive", + "is ka", + "isk a", + "i ska", + "▁kn ock", + "st airs", + "sta irs", + "az y", + "a zy", + "▁v end", + "▁ve nd", + "▁ven d", + "▁ arts", + "▁B ras", + "▁Br as", + "▁Bra s", + "ue la", + "uel a", + "u ela", + "tr im", + "tri m", + "t rim", + "▁d irty", + "▁dir ty", + "▁dirt y", + "▁ dirty", + "▁webs ites", + "▁website s", + "▁In dep", + "▁Ind ep", + "s r", + "▁t icket", + "▁tick et", + "at ile", + "ati le", + "a tile", + "▁implement ed", + "▁bo wl", + "▁bow l", + "DA TE", + "DAT E", + "D ATE", + "▁al ter", + "▁alt er", + "▁ alter", + "▁S pace", + "▁ Space", + "▁accomp an", + "or don", + "ord on", + "▁do ctors", + "▁doctor s", + "ist as", + "ista s", + "C ast", + "CT L", + "C TL", + "ur ers", + "ure rs", + "urer s", + "▁ingred ients", + "▁calcul ated", + "▁calculate d", + "▁calc ulated", + "▁le ather", + "▁s ensitive", + "▁sens itive", + "▁sus pic", + "▁susp ic", + "st an", + "sta n", + "s tan", + "▁an ni", + "▁ann i", + "▁ anni", + "aw ait", + "awa it", + "a wait", + "▁Fr anç", + "▁Fran ç", + "▁ab ort", + "▁ abort", + "▁Sp irit", + "▁W alter", + "▁Walt er", + "un kt", + "unk t", + "▁vert ical", + "▁ vertical", + "OR S", + "O RS", + "be st", + "bes t", + "b est", + "▁Cl ient", + "▁ Client", + "it ated", + "ita ted", + "itate d", + "itat ed", + "▁ Č", + "▁v ille", + "▁vi lle", + "▁vill e", + "▁vil le", + "▁ ville", + "▁di plom", + "or ne", + "orn e", + "▁b ars", + "▁bar s", + "▁ba rs", + "▁ bars", + "U ri", + "AP TER", + "pon s", + "po ns", + "p ons", + "ut z", + "u tz", + "Pro to", + "Pr oto", + "▁st ir", + "▁pr imer", + "▁prim er", + "▁pri mer", + "▁prime r", + "ig ible", + "igi ble", + "ex tra", + "ext ra", + "extr a", + "▁Bo oks", + "▁Book s", + "▁E t", + "▁W elt", + "▁We lt", + "▁Wel t", + "▁Ko rea", + "▁Kor ea", + "р ито", + "▁v ibr", + "▁vi br", + "S elf", + "line ar", + "lin ear", + "▁L ang", + "▁La ng", + "▁Lan g", + "▁ Lang", + "▁de eper", + "▁deep er", + "▁term in", + "▁ter min", + "▁ termin", + "en schaft", + "ens chaft", + "ensch aft", + "▁ро ці", + "am med", + "amm ed", + "vis ible", + "v isible", + "▁IO Exception", + "▁ IOException", + "us qu", + "▁S top", + "▁St op", + "▁Sto p", + "▁ Stop", + "IN VALID", + "INVAL ID", + "▁c ub", + "▁cu b", + "▁j ew", + "▁je w", + "з і", + "ch unk", + "apt ure", + "ash board", + "▁divid ed", + "▁divide d", + "▁extens ive", + "▁s uffer", + "▁suff er", + "▁he ading", + "▁head ing", + "▁ heading", + "cre ated", + "create d", + "creat ed", + "c reated", + "▁quiet ly", + "▁n y", + "▁ ny", + "\" +", + "ik an", + "ika n", + "i kan", + "z u", + "}+ \\", + "} +\\", + "Oper ator", + "▁Le mma", + "▁Lem ma", + "ac ji", + "Serv let", + "▁K evin", + "▁Ke vin", + "st age", + "sta ge", + "b n", + "text width", + "fa iled", + "fail ed", + "f ailed", + "▁Sta ff", + "▁e nem", + "un de", + "und e", + "u nde", + "Pack et", + "P acket", + "▁A ls", + "▁Al s", + "ka r", + "k ar", + "][ '", + "] ['", + "ke d", + "k ed", + "Per s", + "Pe rs", + "P ers", + ">: :", + "> ::", + "▁a rc", + "▁ar c", + "▁ arc", + "SP E", + "S PE", + "▁M i", + "▁De ath", + "b rowser", + "▁D ave", + "▁Dav e", + "▁Da ve", + "▁s ucc", + "▁su cc", + "▁suc c", + "t oggle", + "▁t ack", + "▁ta ck", + "Com ment", + "Comm ent", + "er on", + "ero n", + "e ron", + "▁aware ness", + "▁h ug", + "▁cont emporary", + "▁contempor ary", + "ul ating", + "ula ting", + "▁T itle", + "▁Tit le", + "▁Ti tle", + "▁ Title", + "▁TH IS", + "hav ior", + "ran k", + "r ank", + "▁do zen", + "▁che ese", + "co ln", + "col n", + "▁rad ius", + "▁radi us", + "▁ radius", + "▁dim ensions", + "▁dimension s", + "rodu ction", + "rod uction", + "▁ad ds", + "▁add s", + "▁D avis", + "▁Da vis", + "pk g", + "p kg", + "{ $", + "▁cas ino", + "▁P ierre", + "▁Pier re", + "▁Pi erre", + "▁object ive", + "tr ain", + "tra in", + "pay load", + "▁r ug", + "▁ru g", + "▁ rug", + "▁se vere", + "me an", + "▁t oss", + "▁to ss", + "▁embar rass", + "▁V ery", + "▁Ver y", + "▁Ve ry", + "▁ Very", + "▁Com put", + "▁Comp ut", + "▁ Comput", + "▁forgot ten", + "▁k ernel", + "▁ker nel", + "▁ kernel", + "▁car bon", + "▁carb on", + "f w", + "▁Emp ire", + "▁qu ote", + "▁quot e", + "▁ quote", + "et z", + "e tz", + "▁m ini", + "▁min i", + "▁mi ni", + "▁p ipe", + "▁pi pe", + "▁pip e", + "▁ pipe", + "▁n ous", + "▁no us", + "▁nou s", + "▁M ove", + "▁Mo ve", + "▁Mov e", + "▁ Move", + "▁nerv ous", + "* \r", + "▁B ush", + "▁Bus h", + "▁Bu sh", + "▁pe er", + "▁ peer", + "▁Wr it", + "▁ Writ", + "▁satisf ied", + "▁pull ing", + "▁pul ling", + "▁P ur", + "▁Pu r", + "▁F L", + "▁ FL", + "am az", + "ama z", + "a maz", + "▁ mile", + "▁N eed", + "▁Ne ed", + "▁ Need", + "▁sup plies", + "▁a ño", + "▁p ace", + "▁pa ce", + "▁pac e", + "▁ pace", + "▁Vict oria", + "▁ou ght", + "▁ ought", + "▁P layer", + "▁Pl ayer", + "▁Play er", + "▁ Player", + "agnost ic", + "▁v iv", + "▁vi v", + "▁ viv", + "▁Pat rick", + "▁Patri ck", + "▁ Š", + "▁St ory", + "▁Sto ry", + "ac a", + "a ca", + "▁mount ains", + "▁mountain s", + "CL ASS", + "▁fr agment", + "▁frag ment", + "▁ fragment", + "▁sett lement", + "▁Further more", + "▁dr ivers", + "▁dri vers", + "▁driv ers", + "▁drive rs", + "▁driver s", + "Row s", + "Ro ws", + "R ows", + "▁im pression", + "▁imp ression", + "▁impress ion", + "▁in fer", + "▁inf er", + "▁Ex pl", + "▁Exp l", + "ol ute", + "olut e", + "olu te", + "ov an", + "ova n", + "o van", + "ar ance", + "aran ce", + "CA P", + "C AP", + "▁en force", + "▁Bu rn", + "Res et", + "Re set", + "mo ther", + "mot her", + "m other", + "▁ Battle", + "pad ding", + "p adding", + "▁c ried", + "▁cr ied", + "▁cri ed", + "A K", + "un s", + "u ns", + "▁siè cle", + "▁Cont in", + "▁ Contin", + "ban k", + "b ank", + "ju nit", + "j unit", + "object s", + "Ro t", + "R ot", + "is sa", + "iss a", + "▁be gun", + "▁beg un", + "* -", + "▁vis iting", + "▁visit ing", + "▁target s", + "▁tar gets", + "▁L atin", + "▁E sc", + "▁Es c", + "* ;", + "ån g", + "å ng", + "▁( {", + "▁ ({", + "▁di agram", + "▁dia gram", + "Mod els", + "Model s", + "Mode ls", + "▁part nership", + "▁partners hip", + "▁fr ån", + "Po d", + "P od", + "CA LL", + "CAL L", + "C ALL", + "mod al", + "mo dal", + "si g", + "s ig", + "it el", + "ite l", + "▁convin ced", + "▁convince d", + "▁c ot", + "▁co t", + "▁re peat", + "▁repe at", + "▁ repeat", + "▁l ists", + "▁li sts", + "▁list s", + "▁ lists", + "so und", + "s ound", + "▁gr ace", + "▁gra ce", + "▁o raz", + "▁or az", + "Not ification", + "pr ite", + "prit e", + "p rite", + "▁arriv al", + "an cell", + "ance ll", + "anc ell", + "ancel l", + "hent ic", + "de code", + "dec ode", + "▁fant astic", + "pro gress", + "pro xy", + "pr oxy", + "z ő", + "ke l", + "k el", + "▁conven ient", + "aqu e", + "a que", + "ri et", + "rie t", + "r iet", + "▁Dig ital", + "io rs", + "ior s", + "i ors", + "▁Bud d", + "and ra", + "ad dy", + "add y", + "▁o vers", + "▁over s", + "▁ov ers", + "▁consum ers", + "▁consumer s", + "▁consume rs", + "p n", + "mo use", + "m ouse", + "d eg", + "pe rm", + "per m", + "p erm", + "it és", + "ité s", + "h east", + "ho ur", + "hou r", + "h our", + "PAR AM", + "con scious", + "▁atmos phere", + "▁g ig", + "▁gi g", + "▁con tre", + "▁cont re", + "▁contr e", + "▁Fr ont", + "▁Fro nt", + "▁ Front", + "▁Ha rt", + "▁n urs", + "▁nu rs", + "▁nur s", + "ur as", + "ura s", + "u ras", + "▁T ru", + "▁Tr u", + "▁s ud", + "▁su d", + "▁per forming", + "▁conf used", + "▁che cks", + "▁check s", + "am t", + "a mt", + "Ma ke", + "M ake", + "▁R O", + "▁ RO", + "▁d f", + "▁ df", + "iz ations", + "ization s", + "▁deg li", + "Render er", + "▁p tr", + "▁pt r", + "▁ ptr", + "▁die ser", + "▁dies er", + "▁diese r", + "sub mit", + "▁top ics", + "▁topic s", + "▁princip les", + "▁prin ciples", + "▁principle s", + "var s", + "va rs", + "v ars", + "so ck", + "soc k", + "s ock", + "▁ton gue", + "▁tong ue", + "▁percent age", + "▁d ol", + "▁do l", + "▁r ice", + "▁ri ce", + "▁ric e", + "▁ rice", + "í o", + "▁Easter n", + "▁E rn", + "▁Er n", + "▁U t", + "▁ Ut", + "▁c aut", + "▁ca ut", + "▁Cl oud", + "▁ Cloud", + "▁con version", + "▁conv ersion", + "▁convers ion", + "▁M E", + "▁ ME", + "▁sur ely", + "▁sure ly", + "▁g ard", + "▁gar d", + "▁ga rd", + "pu is", + "p uis", + "▁u rg", + "▁ur g", + "▁ urg", + "im i", + "i mi", + "▁abs ence", + "L anguage", + "▁HT TP", + "▁ HTTP", + "w t", + "▁trans lation", + "▁transl ation", + "▁ translation", + "▁K ind", + "▁Ki nd", + "▁Kin d", + "▁ Kind", + "Tw o", + "T wo", + "▁Re volution", + "In sert", + "Ins ert", + "Ev ery", + "E very", + "or ient", + "ori ent", + "orie nt", + "o rient", + "▁emot ions", + "▁emotion s", + "det ails", + "detail s", + "▁f lu", + "▁ flu", + "▁opera te", + "A g", + "un ning", + "unn ing", + "▁part ie", + "▁parti e", + "tr i", + "t ri", + "▁gold en", + "▁gol den", + "is ten", + "ist en", + "iste n", + "i sten", + "▁Car los", + "▁Carl os", + "▁Carlo s", + "Child ren", + "▁neigh b", + "▁C art", + "▁Car t", + "▁Ca rt", + "▁ Cart", + "Be gin", + "B egin", + "▁s cheduled", + "▁schedule d", + "▁schedul ed", + "' >", + "▁observ ations", + "▁observation s", + "ath ers", + "ather s", + "a thers", + "▁expect ations", + "▁expectation s", + "os o", + "o so", + "z h", + "mu table", + "mut able", + "▁wr ites", + "▁writ es", + "▁write s", + "▁p ushing", + "▁push ing", + "▁br east", + "▁bre ast", + "ap ing", + "api ng", + "a ping", + "▁Sim ple", + "▁ Simple", + "▁s ocket", + "▁soc ket", + "▁sock et", + "▁ socket", + "▁sl ave", + "▁sla ve", + "▁ slave", + "il ey", + "ile y", + "i ley", + "▁ass istant", + "▁t rim", + "▁tr im", + "▁tri m", + "▁ trim", + "▁land scape", + "▁landsc ape", + "qu ant", + "▁swe at", + "en gers", + "eng ers", + "enge rs", + "enger s", + "? _", + "é p", + "> .", + "▁c urious", + "▁cur ious", + "▁Com ponent", + "▁ Component", + "▁re placement", + "▁repl acement", + "▁replace ment", + "▁Tr ack", + "▁Tra ck", + "▁ Track", + "▁Re move", + "▁Rem ove", + "▁ Remove", + "▁S ize", + "▁Si ze", + "▁ Size", + "▁cal culate", + "▁calcul ate", + "▁calc ulate", + "▁s essions", + "▁session s", + "▁type d", + "▁typ ed", + "▁ty ped", + "▁sub mit", + "▁subm it", + "▁ submit", + "▁part ition", + "▁ partition", + "edi ng", + "e ding", + "-- ---", + "---- -", + "--- --", + "- ----", + "az ioni", + "azi oni", + "lie ß", + "on al", + "ona l", + "o nal", + "▁sh ru", + "▁shr u", + "▁RE G", + "▁ REG", + "▁F ac", + "▁Fa c", + "▁ Fac", + "config uration", + "▁A mong", + "__ );", + "__) ;", + "_ _);", + "▁ Server", + "▁L OG", + "▁LO G", + "▁ LOG", + "▁ca nd", + "'] );", + "']) ;", + "' ]);", + "go v", + "g ov", + "un defined", + "und efined", + "undef ined", + "as a", + "a sa", + "▁part icles", + "▁partic les", + "▁particle s", + "▁parti cles", + "` `", + "el and", + "ela nd", + "e land", + "fo ld", + "fol d", + "f old", + "og o", + "o go", + "▁appro aches", + "▁approach es", + "on da", + "ond a", + "ag r", + "a gr", + ", $", + "▁{ {", + "▁ {{", + "▁Mo dern", + "▁Mode rn", + "▁W inter", + "▁Win ter", + "av ailable", + "▁L ud", + "▁Lu d", + "▁c asa", + "▁cas a", + "▁ca sa", + "▁C ould", + "▁Co uld", + "▁Cou ld", + "▁ Could", + "▁fif teen", + "▁pot entially", + "▁potential ly", + "^ ^", + "▁se it", + "▁sei t", + "An imation", + "Anim ation", + "к ого", + "Z one", + "el if", + "eli f", + "e lif", + "▁acknow led", + "▁own ership", + "▁owner ship", + "▁owners hip", + "▁describe s", + "▁re verse", + "▁revers e", + "▁rever se", + "▁ reverse", + "▁opp osed", + "fl ex", + "f lex", + "kr e", + "k re", + "▁mer ge", + "▁ merge", + "▁cover ing", + "▁cov ering", + "▁hon estly", + "▁honest ly", + "▁M ess", + "▁Me ss", + "▁Mes s", + "▁r arely", + "▁rare ly", + "▁incred ible", + "▁victim s", + "w l", + "iz za", + "izz a", + "i zza", + "d n", + "on de", + "ond e", + "o nde", + "▁pr zy", + "▁prz y", + "▁ HTML", + "▁pay load", + "▁ payload", + "Bu s", + "B us", + "us b", + "u sb", + "F n", + "▁display ed", + "▁o cean", + "▁Av enue", + "ac ion", + "aci on", + "acio n", + "met ric", + "m etric", + "▁attract ive", + "▁attr active", + "▁f ö", + "▁ fö", + "C reat", + "ver ter", + "vert er", + "▁Al ice", + "▁Ali ce", + "▁f raction", + "▁fr action", + "▁fra ction", + "▁fract ion", + "▁behav iour", + "▁behavi our", + "▁re venue", + "▁rev enue", + "▁reven ue", + "▁t res", + "▁tr es", + "▁tre s", + "▁ tres", + "IL D", + "I LD", + "▁É t", + "▁s ync", + "▁sy nc", + "▁syn c", + "▁ sync", + "wi ch", + "ъ т", + "om o", + "o mo", + "▁I de", + "▁Id e", + "▁ga ined", + "▁moment um", + "▁K o", + "ie u", + "i eu", + "ie lt", + "iel t", + "i elt", + "▁bon us", + "▁te xture", + "▁text ure", + "▁ texture", + "Mod al", + "Mo dal", + "NE XT", + "N EXT", + "▁годи не", + "▁l anguages", + "v t", + "▁represent ing", + "▁Dre am", + "cur r", + "cu rr", + "qu al", + "q ual", + "▁j s", + "▁ js", + "bu rn", + "bur n", + "b urn", + "▁contribut ions", + "▁contribution s", + "▁r ic", + "▁ri c", + "▁ ric", + "}- \\", + "} -\\", + "={ {", + "= {{", + "ca rt", + "car t", + "c art", + "F B", + "ju d", + "j ud", + "es p", + "e sp", + "▁elect ron", + "▁electro n", + "▁e ll", + "▁el l", + "▁ ell", + "▁Run time", + "▁ Runtime", + "a chel", + "\\ _", + "we ek", + "pack et", + "p acket", + "▁Jahr hund", + "▁th reshold", + "▁ threshold", + "ba ge", + "bag e", + "b age", + "▁con cer", + "▁conc er", + "▁conce r", + "▁b one", + "▁bo ne", + "▁bon e", + "▁ bone", + "Cur sor", + "C ursor", + "▁aw arded", + "▁sum mary", + "▁summar y", + "▁ summary", + "ag gio", + "agg io", + "aggi o", + "▁st ell", + "▁ste ll", + "▁ stell", + "▁f lesh", + "▁fl esh", + "▁fle sh", + "P air", + "▁' .", + "▁ '.", + "as er", + "ase r", + "a ser", + "▁qu art", + "▁q uart", + "▁quar t", + "ry ption", + "rypt ion", + "All oc", + "Al loc", + "ft en", + "fte n", + "f ten", + "Oper and", + "▁ind icated", + "▁indic ated", + "▁indicate d", + "($ _", + "( $_", + "get String", + "▁list ener", + "▁listen er", + "▁ listener", + "sp ir", + "spi r", + ") _", + "ve ns", + "ven s", + "v ens", + "▁food s", + "▁foo ds", + "an za", + "anz a", + "te il", + "DE SC", + "▁n otion", + "▁not ion", + "▁em ployment", + "▁employ ment", + "▁s wing", + "▁sw ing", + "▁ swing", + "nb sp", + "▁p ounds", + "▁pound s", + "to ols", + "tool s", + "too ls", + "t ools", + "▁T ax", + "▁Ta x", + "▁ Tax", + "ap ol", + "a pol", + "▁f ost", + "▁fo st", + "▁fos t", + "com pat", + "comp at", + "▁rapid ly", + "▁W is", + "▁Wi s", + "Event Listener", + "▁prem ière", + "▁premi ère", + "us o", + "u so", + "ext end", + "▁M ERCHANTABILITY", + "UT F", + "U TF", + "▁exper iments", + "▁experi ments", + "▁experiment s", + "sin gle", + "sing le", + "s ingle", + "z k", + "▁n aj", + "▁na j", + "}} }", + "} }}", + "Li n", + "L in", + "▁inter act", + "▁inte ract", + "▁c ms", + "▁cm s", + "▁Ro ger", + "▁Rog er", + "> '", + "com mit", + "comm it", + "▁out come", + "▁h its", + "▁hit s", + "▁hi ts", + "▁s park", + "▁sp ark", + "con sole", + "cons ole", + "▁ver w", + "▁ve rw", + "agnost ics", + "agnostic s", + "▁s oci", + "▁so ci", + "▁soc i", + "▁d ining", + "▁di ning", + "▁din ing", + "▁t ech", + "▁te ch", + "▁ tech", + "š t", + "fo lio", + "fol io", + "ult ane", + "ultan e", + "Jo in", + "J oin", + "▁pos it", + "Pub lic", + "P ublic", + "AspNet Core", + "▁S hop", + "▁Sh op", + "▁ Shop", + "▁co inc", + "▁coin c", + "▁re ferences", + "▁refer ences", + "▁reference s", + "ab out", + "name space", + "names pace", + "D L", + "▁I R", + "▁ IR", + "▁c ada", + "▁ca da", + "▁cad a", + "▁Jord an", + "▁g ep", + "▁ge p", + "▁b ron", + "▁br on", + "▁bro n", + "andid ate", + "EX PECT", + "EXP ECT", + "am o", + "a mo", + "▁De utsch", + "au c", + "a uc", + "▁ра йо", + "▁рай о", + "▁surround ed", + "▁n ome", + "▁no me", + "▁nom e", + "▁under lying", + "R IGHT", + "CO UNT", + "Ty p", + "T yp", + "um ph", + "ump h", + "fo ur", + "f our", + "Control s", + "▁c p", + "▁ cp", + "co st", + "cos t", + "c ost", + "▁mechan ism", + "en ess", + "ene ss", + "enes s", + "e ness", + "é qu", + "▁acquire d", + "▁f alls", + "▁fall s", + "▁fal ls", + "▁ falls", + "▁L E", + "▁ LE", + "for Each", + "▁ver tex", + "▁vert ex", + "▁ vertex", + "▁I F", + "▁ IF", + "cur s", + "cu rs", + "c urs", + "' =>", + "▁S A", + "▁ SA", + "ri ers", + "rie rs", + "rier s", + "r iers", + "▁u w", + "▁ uw", + "▁m arks", + "▁mark s", + "▁mar ks", + "▁ marks", + "▁en erg", + "▁ener g", + "ho f", + "h of", + "ylv ania", + "▁Al len", + "▁All en", + "um py", + "ump y", + "о го", + "vo ice", + "v oice", + "▁en gage", + "▁eng age", + "▁m ant", + "▁man t", + "▁ma nt", + "or se", + "ors e", + "== =", + "= ==", + "▁impro vement", + "▁improve ment", + "Op t", + "O pt", + "it ched", + "itch ed", + "soc ket", + "sock et", + "s ocket", + "▁c ycl", + "▁cy cl", + "▁ cycl", + "▁S M", + "▁ SM", + "▁S ex", + "▁Se x", + "▁neut ral", + "▁neutr al", + "▁J ess", + "▁Je ss", + "▁Jes s", + "▁d ip", + "▁di p", + "▁b orrow", + "▁bor row", + "▁av ant", + "▁t a", + "▁ ta", + "An im", + "A nim", + "▁Ga ll", + "rg b", + "r gb", + "▁gu ilty", + "▁guilt y", + "▁g y", + "▁ gy", + "Init ial", + "▁acc omp", + "▁ac comp", + "▁accom p", + "▁breath ing", + "▁breat hing", + "ber ry", + "b erry", + "GR O", + "G RO", + "rou pe", + "roup e", + "ulp t", + "t b", + "▁ ä", + "P i", + "arg v", + "▁M ust", + "▁Mus t", + "▁Mu st", + "▁ Must", + ": '", + "sv g", + "ou p", + "o up", + "▁prec isely", + "▁precise ly", + "▁T a", + "re na", + "ren a", + "r ena", + "▁f older", + "▁fol der", + "▁fold er", + "▁ folder", + "▁ Channel", + "▁re vol", + "▁rev ol", + "M iss", + "red dit", + "▁dis crim", + "▁disc rim", + "▁a ve", + "▁av e", + "▁ ave", + "pl eted", + "ple ted", + "plete d", + "plet ed", + "p leted", + "▁g ently", + "▁gent ly", + "FF FF", + "ro py", + "rop y", + "r opy", + "▁dia l", + "Not Found", + "▁\" [", + "Hom e", + "H ome", + "on te", + "ont e", + "o nte", + "▁re lie", + "▁rel ie", + "▁reli e", + "▁Con text", + "▁Cont ext", + "▁ Context", + "▁st ats", + "▁stat s", + "▁sta ts", + "▁ stats", + "▁E nergy", + "oun ced", + "ounce d", + "▁gr ave", + "▁grav e", + "▁gra ve", + "▁re cip", + "▁rec ip", + "bl og", + "blo g", + "b log", + "▁na am", + "▁w o", + "▁ wo", + "▁direct ions", + "▁dire ctions", + "▁direction s", + "▁Lin coln", + "un ci", + "unc i", + "ne q", + "n eq", + "Tag s", + "T ags", + "▁t um", + "▁tu m", + "▁s aving", + "▁sa ving", + "▁sav ing", + "ail le", + "ai lle", + "a ille", + "item ize", + "▁F amil", + "▁Fa mil", + "ms m", + "m sm", + "ne ws", + "new s", + "FF ER", + "F FER", + "▁D ead", + "▁De ad", + "▁ Dead", + "▁terr itory", + "▁territor y", + "▁territo ry", + "▁Ka t", + "o cker", + "in teger", + "inte ger", + "▁s ne", + "▁sn e", + "▁f ails", + "▁fa ils", + "▁fail s", + "▁franç ais", + "▁int roduction", + "▁introdu ction", + "▁G rant", + "▁Gr ant", + "▁Gran t", + "▁Gra nt", + "ycl e", + "yc le", + "y cle", + "'] .", + "' ].", + "▁v ier", + "▁vi er", + "▁vie r", + "▁ vier", + "nat ive", + "n ative", + "▁K le", + "▁Kl e", + "quot e", + "User s", + "Us ers", + "Use rs", + "▁ad vis", + "▁adv is", + "▁g ym", + "▁gy m", + "▁prote in", + "ا ل", + "▁M ai", + "▁Ma i", + "▁prov iders", + "▁provide rs", + "▁provider s", + "▁so il", + "gu i", + "g ui", + "▁N ation", + "▁Nat ion", + "re ation", + "reat ion", + "▁T ab", + "▁Ta b", + "▁ Tab", + "en sis", + "ens is", + "in as", + "ina s", + "i nas", + "▁dis patch", + "▁disp atch", + "▁ dispatch", + "un ion", + "uni on", + "▁b ere", + "▁be re", + "▁ber e", + "▁ bere", + "▁P ow", + "▁Po w", + "▁H ig", + "▁Hi g", + "▁stud ying", + "▁study ing", + "RE F", + "R EF", + "SS L", + "S SL", + "▁f right", + "▁fr ight", + "▁S ORT", + "▁SO RT", + "▁com pr", + "▁comp r", + "▁Mad rid", + "row ned", + "rown ed", + "r owned", + "op es", + "ope s", + "o pes", + "pd ev", + "p dev", + "▁w ash", + "▁was h", + "▁wa sh", + "▁' ../../", + "▁'../ ../", + "}} _", + "} }_", + "▁acc um", + "rol ling", + "roll ing", + "▁N C", + "▁ NC", + "▁f iction", + "▁fi ction", + "▁fict ion", + "ip t", + "i pt", + "conne cted", + "connect ed", + "lim its", + "limit s", + "▁l ap", + "▁la p", + "▁ lap", + "▁where as", + "pro m", + "pr om", + "p rom", + "▁appoint ment", + "Pro gram", + "Pr ogram", + "na h", + "n ah", + "Valid ation", + "ic ons", + "ico ns", + "icon s", + "i cons", + "äl l", + "ä ll", + "▁rad ical", + "▁radi cal", + "▁ex clusive", + "▁excl usive", + "▁exclus ive", + "em ony", + "emon y", + "▁challeng ing", + "▁m s", + "▁ ms", + "▁P rivate", + "▁Priv ate", + "▁ Private", + "▁v ida", + "▁vi da", + "▁vid a", + "▁cam pus", + "form s", + "for ms", + "pl aat", + "bs t", + "b st", + "AT ED", + "ATE D", + "▁Ab stract", + "▁Abs tract", + "▁ Abstract", + "▁int ense", + "▁intens e", + "ó g", + "▁s ă", + "▁lan ding", + "! =", + "▁scen es", + "▁Cha p", + "▁sp oken", + "▁spoke n", + "▁spo ken", + "cre d", + "cr ed", + "c red", + "▁p ride", + "▁pr ide", + "▁pri de", + "qu et", + "que t", + "▁m eter", + "▁me ter", + "▁met er", + "▁de utsch", + "uu m", + "u um", + "▁b less", + "▁bl ess", + "▁ble ss", + "▁H ann", + "▁Ha nn", + "▁Han n", + "▁input s", + "▁ inputs", + "▁R ow", + "▁Ro w", + "▁ Row", + "▁with draw", + "P al", + "ac les", + "acle s", + "acl es", + "a cles", + "as sets", + "ass ets", + "asse ts", + "asset s", + "▁v l", + "▁ vl", + "▁G ot", + "▁Go t", + "win d", + "wi nd", + "w ind", + "▁ch ocolate", + "▁h ö", + "▁ hö", + "▁al arm", + "FT WARE", + "▁J ay", + "▁Ja y", + "▁s ake", + "▁sa ke", + "▁reg istration", + "▁registr ation", + "vi d", + "v id", + "▁user name", + "▁ username", + "▁h ack", + "▁ha ck", + "index Of", + "c x", + "▁fest ival", + "case s", + "ca ses", + "cas es", + "c ases", + "CT RL", + "]; \r", + "] ;\r", + "▁Au d", + "▁ Aud", + "▁prim era", + "▁prime ra", + "▁primer a", + "ва т", + "в ат", + "▁brill iant", + "▁difficult y", + "it als", + "ital s", + "ita ls", + "▁sc ores", + "▁score s", + "▁pol ít", + "data base", + "dat abase", + "a ska", + "▁## ####", + "▁### ###", + "▁#### ##", + "▁##### #", + "▁a cid", + "▁ac id", + "at on", + "ato n", + "a ton", + "at omic", + "ato mic", + "atom ic", + "fr eq", + "fre q", + "f req", + "▁WARRAN TY", + "▁report ing", + "▁n ights", + "▁night s", + ")} {", + ") }{", + "xi c", + "x ic", + "▁s po", + "▁sp o", + "line d", + "li ned", + "lin ed", + "l ined", + "er ee", + "ere e", + "e ree", + "mer s", + "me rs", + "m ers", + "▁s erves", + "en so", + "ens o", + "▁env iron", + "▁ environ", + "Li ke", + "L ike", + "an che", + "anc he", + "anch e", + "▁cr ash", + "▁K ap", + "▁Ka p", + "no indent", + "Con n", + "Co nn", + "▁in frastructure", + "IM E", + "I ME", + "▁R oom", + "▁Ro om", + "▁ Room", + "ne ed", + "n eed", + "o rer", + "▁D est", + "▁De st", + "▁Des t", + "▁ Dest", + "ather ine", + "▁g auge", + "▁gau ge", + "▁ga uge", + "▁j et", + "▁je t", + "▁ jet", + "b ably", + "▁comm only", + "ia h", + "i ah", + "n l", + "et en", + "ete n", + "e ten", + "_ )", + "ia c", + "i ac", + "am os", + "amo s", + "a mos", + "ne ment", + "nem ent", + "n ement", + "ko n", + "k on", + "Inter val", + "▁cab in", + "▁ca bin", + "▁ eg", + "▁sh ots", + "▁shot s", + "▁ shots", + "▁A rea", + "▁Ar ea", + "▁Are a", + "▁ Area", + "sm ith", + "param eter", + "' }", + "▁h em", + "▁he m", + "▁ hem", + "▁s inging", + "▁sin ging", + "▁access ible", + "▁P rin", + "▁Pr in", + "▁Pri n", + "opt ional", + "option al", + "ancia l", + "sh ips", + "ship s", + "▁can vas", + "▁ canvas", + "▁address es", + "▁x ml", + "▁ xml", + "▁' \"", + "▁ '\"", + "▁k ar", + "▁ka r", + "▁ kar", + "ö ff", + "▁a ges", + "▁ag es", + "▁age s", + "▁ ages", + "zi ng", + "zin g", + "z ing", + "▁ö ver", + "▁C lean", + "▁Cle an", + "▁ Clean", + "he alth", + "Al i", + "A li", + "▁t s", + "▁ ts", + "at ern", + "ate rn", + "ater n", + "a tern", + "▁cho osing", + "▁bur ned", + "▁burn ed", + "br id", + "b rid", + "ro oms", + "room s", + "öt t", + "ö tt", + "K ERN", + "▁d ish", + "▁dis h", + "▁di sh", + "S a", + "De tail", + "Det ail", + "▁Hi nd", + "▁D ans", + "▁Dan s", + "▁Da ns", + "i ę", + "▁J ahren", + "▁Jah ren", + "▁Jahr en", + "▁Jahre n", + "▁Ja hren", + "ext ension", + "al las", + "all as", + "alla s", + "▁B illy", + "▁Bill y", + "▁Bil ly", + "us ammen", + "it ud", + "itu d", + "ge on", + "geo n", + "Te mp", + "T emp", + "Le g", + "L eg", + "itt el", + "itte l", + "add le", + "▁mus cle", + "▁sc ared", + "▁scar ed", + "ss on", + "s son", + "▁de note", + "▁den ote", + "ie urs", + "ieu rs", + "ieur s", + "i eurs", + "▁o range", + "▁or ange", + "▁h ub", + "▁ hub", + "▁ reb", + "ed i", + "e di", + "▁vo ices", + "▁voice s", + "F older", + "▁s uspend", + "▁sus pend", + "▁susp end", + "▁ suspend", + "▁sc rap", + "▁scr ap", + "▁a ggreg", + "▁ag greg", + "▁Gu ide", + "trans action", + "▁r iding", + "▁ri ding", + "▁rid ing", + "▁v á", + "▁ vá", + "▁b reed", + "▁br eed", + "▁bre ed", + "▁bree d", + "▁con cert", + "▁conce rt", + "▁concer t", + "appro x", + "▁ch ances", + "▁chance s", + "To k", + "T ok", + "E q", + "par ts", + "part s", + "p arts", + "▁sch olar", + "▁schol ar", + "of fs", + "off s", + "fl ush", + "flu sh", + "! ”", + "▁lo gin", + "▁log in", + "▁ login", + "▁so ort", + "▁M and", + "▁Man d", + "▁Ma nd", + "▁function al", + "▁B ou", + "▁Bo u", + "my s", + "m ys", + "▁extra ord", + "▁Build ing", + "ik t", + "i kt", + "B ad", + "ia mi", + "iam i", + "i ami", + "Dr iver", + "D river", + "êt e", + "ê te", + "▁k v", + "▁ kv", + "▁t imer", + "▁time r", + "▁tim er", + "▁ti mer", + "▁ timer", + "ition ally", + "itional ly", + "▁ath let", + "▁\" );", + "▁\") ;", + "▁ \");", + "w y", + "CF G", + "▁he aven", + "▁heav en", + "▁exper imental", + "▁experiment al", + "▁b ounds", + "▁bound s", + "▁ bounds", + "IC K", + "I CK", + "▁ex cit", + "▁exc it", + "▁qu it", + "▁qui t", + "▁q uit", + "▁univers al", + "▁S P", + "▁ SP", + "▁st ub", + "▁ stub", + "▁k le", + "▁kl e", + "▁ kle", + "▁B art", + "▁Bar t", + "▁Ba rt", + "▁\" @", + "pe l", + "p el", + "▁( !(", + "▁(! (", + "▁se lector", + "▁select or", + "▁sel ector", + "▁sele ctor", + "▁ selector", + "E B", + "▁c oc", + "▁co c", + "et ed", + "ete d", + "e ted", + "ют ь", + "ю ть", + "▁poss ess", + "▁R ick", + "▁Ric k", + "▁unus ual", + "ter min", + "term in", + "▁b ags", + "▁bag s", + "▁ba gs", + "▁lo ading", + "▁load ing", + "▁ loading", + "▁t f", + "▁ tf", + "▁) \r", + "▁ )\r", + "pro vider", + "prov ider", + "plet ion", + "▁c ursor", + "▁cur sor", + "▁ cursor", + "▁pa used", + "▁paus ed", + "▁pause d", + "▁coun sel", + "] <", + "zec h", + "▁t ie", + "▁ti e", + "▁M oon", + "▁Mo on", + "▁ armed", + "▁ob serve", + "▁observ e", + "▁obs erve", + "▁per met", + "▁perm et", + "▁J ob", + "▁Jo b", + "▁ Job", + "fö r", + "f ör", + "arg ument", + "▁egg s", + "▁eg gs", + "ás t", + "á st", + "▁incred ibly", + "wer ken", + "werk en", + "iz ard", + "izar d", + "iza rd", + "▁p ainted", + "▁pa inted", + "▁vi olent", + "▁viol ent", + "Es t", + "E st", + "ier ra", + "i erra", + "re ader", + "read er", + "rea der", + "we ise", + "wei se", + "▁J osh", + "▁Jo sh", + "▁Jos h", + "▁H im", + "▁Hi m", + "as hes", + "ash es", + "or igin", + "orig in", + "ori gin", + "▁sp ir", + "▁ spir", + "▁T ree", + "▁Tr ee", + "▁Tre e", + "▁ Tree", + "▁n iet", + "▁nie t", + "▁ni et", + "WI N", + "W IN", + "mar gin", + "m argin", + "▁inv olves", + "▁invol ves", + "▁involve s", + "▁organ is", + "▁N acional", + "bar a", + "ba ra", + "b ara", + "▁de puis", + "▁dep uis", + "pi o", + "p io", + "fe atures", + "feature s", + "feat ures", + "st ru", + "str u", + "▁restaur ants", + "▁restaurant s", + "Mil l", + "M ill", + ")) \r", + ") )\r", + "rem ote", + "▁Th ird", + "▁al gun", + "▁alg un", + "] $", + "▁em ployed", + "po t", + "p ot", + "▁Un ityEngine", + "▁ UnityEngine", + "▁integr ation", + "▁risk s", + "▁ris ks", + "▁st ro", + "▁str o", + "▁ag osto", + "▁ago sto", + "incl uding", + "▁M ind", + "▁Min d", + "▁Mi nd", + "▁st roke", + "▁str oke", + "▁stro ke", + "▁ stroke", + "▁de als", + "▁deal s", + "aj ax", + "aja x", + "a jax", + "▁\\ |", + "▁ \\|", + "ta r", + "t ar", + "▁s ab", + "▁sa b", + "pu r", + "p ur", + "▁sc rew", + "▁scr ew", + "▁in ev", + "▁\\ ;", + "▁Don ald", + "▁ Donald", + "ö d", + "cc a", + "c ca", + "es is", + "esi s", + "e sis", + "▁separ ated", + "▁separate d", + "DB G", + "D BG", + "ag ent", + "age nt", + "agen t", + "a gent", + "▁p acked", + "▁pack ed", + "▁pac ked", + "▁ packed", + "н ня", + "in tern", + "int ern", + "inter n", + "inte rn", + "▁M onte", + "▁Mon te", + "▁Mont e", + "▁Mo nte", + "▁provinc e", + "▁exp anded", + "▁appro ached", + "▁approach ed", + "CL K", + "▁o re", + "▁or e", + "▁ ore", + "B atch", + "▁impress ive", + "R M", + "▁L ocation", + "▁Loc ation", + "▁ Location", + "▁sh ame", + "▁sha me", + "wrap per", + "w rapper", + "un wrap", + "pe er", + "Bit s", + "Bi ts", + "B its", + "▁S N", + "▁ SN", + "sc ar", + "s car", + "Com e", + "Co me", + "C ome", + "▁shout ed", + "ma king", + "m aking", + "▁M aur", + "▁Ma ur", + "▁Mau r", + "▁w is", + "LE TE", + "LET E", + "▁f s", + "▁ fs", + "▁d z", + "▁ dz", + "un que", + "ue go", + "u ego", + "R andom", + "H tml", + "ze m", + "z em", + "▁Gol den", + "▁T ar", + "▁Ta r", + "▁H erm", + "▁He rm", + "▁Her m", + "▁str etch", + "▁stret ch", + "W I", + "▁disappe ared", + "▁disappear ed", + "▁cr usher", + "▁crush er", + "▁K an", + "▁Ka n", + "Ma g", + "M ag", + "ø r", + "▁Cam bridge", + "▁do po", + "▁dop o", + "at ura", + "atur a", + "atu ra", + "he art", + "▁Sp iel", + "/* *\r", + "/** \r", + "Dir ection", + "Direct ion", + "Di rection", + "D irection", + "at ting", + "att ing", + "atti ng", + "wi g", + "w ig", + "▁c odes", + "▁co des", + "▁code s", + "▁cod es", + "▁ codes", + "▁pow der", + "al ert", + "ale rt", + "aler t", + "sem bl", + "semb l", + "▁y e", + "▁ ye", + "St ar", + "S tar", + "▁ro ots", + "▁root s", + "▁H oll", + "▁Hol l", + "▁Ho ll", + "Re le", + "Rel e", + "R ele", + "▁const itu", + "n c", + "“ .", + "re ference", + "refer ence", + "if icial", + "ific ial", + "ifi cial", + "clos ure", + "▁fig ured", + "▁figure d", + "▁assum ption", + "getElement ById", + "▁A G", + "▁ AG", + "os es", + "ose s", + "o ses", + "▁_ \"", + "ep per", + "ob re", + "o bre", + "en umerate", + "▁less ons", + "▁lesson s", + "▁qual ified", + "Per son", + "Pers on", + "P erson", + "an se", + "ans e", + "▁M ort", + "▁Mor t", + "▁Mo rt", + "s ylvania", + "▁c ré", + "▁cr é", + "Bind ing", + "Bin ding", + "B inding", + "і с", + "▁V ari", + "▁Var i", + "▁Va ri", + "▁ Vari", + "▁re minded", + "▁remind ed", + "▁members hip", + "▁member ship", + "ip er", + "ipe r", + "i per", + "zt e", + "z te", + "▁c ref", + "▁cre f", + "▁cr ef", + "▁ cref", + "▁P A", + "▁ PA", + "plaat st", + "▁Env ironment", + "▁ Environment", + "▁ph rase", + "▁phr ase", + "▁ phrase", + "riv ial", + "▁p se", + "▁ps e", + "▁ pse", + "▁tour nament", + ")} ,", + ") },", + "▁Sou nd", + "▁ Sound", + "▁V el", + "▁Ve l", + "▁ Vel", + "▁B erg", + "▁Be rg", + "▁Ber g", + "el son", + "els on", + "▁else where", + "qu ality", + "qual ity", + "▁F lo", + "▁Fl o", + "ib il", + "i bil", + "UA L", + "U AL", + "▁Pl atz", + "▁d elta", + "▁del ta", + "▁ delta", + "▁B uy", + "▁Bu y", + "ri ère", + "r ière", + "▁fl our", + "▁flo ur", + "▁laugh ing", + "▁laug hing", + "▁Look ing", + "▁Lo oking", + "Ag ent", + "A gent", + "▁w x", + "▁ wx", + "▁Wa les", + "C tx", + "▁c ake", + "▁ca ke", + "▁c rate", + "▁cr ate", + "▁ crate", + "an ga", + "ang a", + "Z ero", + "▁amount s", + "Tr a", + "T ra", + "om etric", + "omet ric", + "o metric", + "▁con straints", + "▁constr aints", + "▁constraint s", + "▁templ e", + "▁temp le", + "▁install ation", + "st roke", + "str oke", + "▁N eder", + "▁Ne der", + "▁Ned er", + "ț i", + "▁I bid", + "▁o bs", + "▁ob s", + "▁ obs", + "ent ries", + "entr ies", + "▁j usqu", + "OR M", + "O RM", + "ik es", + "ike s", + "i kes", + "na k", + "n ak", + "▁m odes", + "▁mod es", + "▁mo des", + "▁mode s", + "▁Hit ler", + "▁b elt", + "▁be lt", + "▁bel t", + "▁point ing", + "▁B an", + "▁Ba n", + "ign ore", + "▁per su", + "▁pers u", + "▁Bes ides", + "yn om", + "y nom", + "▁leg is", + "▁C PU", + "▁CP U", + "▁ CPU", + "an ded", + "and ed", + "ande d", + "ui s", + "u is", + "bs ite", + "b site", + "▁Eu ro", + "▁ut ter", + "▁ utter", + "e clipse", + "▁ir re", + "▁irr e", + "▁D ocument", + "▁Doc ument", + "▁ Document", + "▁famil ie", + "ver ify", + "▁J ason", + "▁Ja son", + "▁O rt", + "▁Or t", + "▁ci udad", + "▁techn ologies", + "ni ca", + "nic a", + "n ica", + "can cel", + "c ancel", + "V irtual", + "▁ev ident", + "am an", + "ama n", + "a man", + "at oes", + "ato es", + "▁ste ady", + "▁stead y", + "▁month ly", + "▁SO FTWARE", + "Di e", + "D ie", + "▁app lying", + "▁apply ing", + "▁appl ying", + "Di g", + "D ig", + "vi er", + "v ier", + "▁W H", + "▁ WH", + "▁min ds", + "▁mind s", + "▁k am", + "▁ka m", + "▁expert ise", + "▁not ification", + "▁ notification", + "▁del iber", + "▁H E", + "▁ HE", + "ou tes", + "out es", + "oute s", + "o utes", + "spec ial", + "spe cial", + "▁p resentation", + "▁present ation", + "mi r", + "▁r ust", + "▁ru st", + "▁rus t", + "▁ rust", + "▁n ations", + "▁nat ions", + "▁nation s", + "▁G ets", + "▁Ge ts", + "▁Get s", + "▁respon ses", + "▁response s", + "▁respons es", + "ar ded", + "ard ed", + "arde d", + "im mer", + "imm er", + "▁reve al", + "▁M eg", + "▁Me g", + "▁tod os", + "▁todo s", + "▁a de", + "▁ad e", + "▁ ade", + "ateg ories", + "ategor ies", + "▁pay ments", + "▁payment s", + "ô t", + "En umer", + "Enum er", + "E numer", + "▁platform s", + "▁plat forms", + "▁life time", + "▁lif etime", + "Com plete", + "Comp lete", + "Qu est", + "Que st", + "Q uest", + "en ders", + "end ers", + "ender s", + "ende rs", + "▁c um", + "▁cu m", + "pl er", + "ple r", + "p ler", + "▁app l", + "▁ap pl", + "äh rend", + "ähr end", + "en ez", + "ene z", + "e nez", + "yn chron", + "▁argue d", + "▁K ath", + "▁Kat h", + "▁Ka th", + "▁s ynchron", + "▁syn chron", + "▁B uilder", + "▁Build er", + "▁ Builder", + "B order", + "Pl an", + "P lan", + "ri eb", + "rie b", + "r ieb", + "n m", + "FOR MAT", + "FORM AT", + "us k", + "u sk", + "▁j umped", + "▁jump ed", + "ch arg", + "char g", + "cha rg", + "▁cont ribute", + "▁contribut e", + "Me sh", + "M esh", + "Un ivers", + "▁p olar", + "▁pol ar", + "▁po lar", + "▁tr ois", + "▁tro is", + "ic io", + "ici o", + "i cio", + "Group s", + "G roups", + "▁( %", + "▁ (%", + "Lo op", + "L oop", + "▁g az", + "▁ga z", + "db g", + "d bg", + "LA Y", + "L AY", + "Jo hn", + "J ohn", + "bl ocks", + "block s", + "blo cks", + "▁l ung", + "▁lu ng", + "▁lun g", + "▁ lung", + "▁k ön", + "▁kö n", + "th rough", + "lish er", + "l isher", + "▁inv olving", + "▁De ep", + "▁ Deep", + "▁s ull", + "▁su ll", + "▁sul l", + "Ex port", + "Exp ort", + "▁K ate", + "▁Kat e", + "▁Ka te", + "per iod", + "ch arge", + "char ge", + "charg e", + "G T", + "\"> \r", + "\" >\r", + "▁Ot t", + "▁inter actions", + "▁interaction s", + "▁interact ions", + "TR ACE", + "TRA CE", + "▁d ifer", + "▁di fer", + "▁dif er", + "▁lib eral", + "▁liber al", + "▁p article", + "▁part icle", + "▁partic le", + "▁parti cle", + "▁sur ve", + "▁surv e", + "al ous", + "alo us", + "re ason", + "rea son", + "▁de pression", + "▁dep ression", + "▁depress ion", + "▁f lower", + "▁fl ower", + "▁flo wer", + "▁flow er", + "▁wa ar", + "▁h ade", + "▁had e", + "▁ha de", + "par ty", + "part y", + "▁appro val", + "gener ate", + "▁Ba rn", + "▁ma rg", + "▁m onde", + "▁mon de", + "▁mo nde", + "▁mond e", + "▁o ok", + "▁ ook", + "▁Clar k", + "▁the oret", + "vious ly", + "vi ously", + "v iously", + "▁R ud", + "▁Ru d", + "st mt", + "in ction", + "inct ion", + "▁t un", + "▁tu n", + "▁rot ation", + "▁ rotation", + "pp en", + "ppe n", + "p pen", + "sen sor", + "s ensor", + "▁K ol", + "▁Ko l", + "id elines", + "ide lines", + "idel ines", + "▁ є", + "▁comp osed", + "▁v irus", + "▁vi rus", + "▁vir us", + "' $", + "S N", + "▁V on", + "▁Vo n", + "mon t", + "mo nt", + "m ont", + "la r", + "l ar", + "▁opin ions", + "▁opinion s", + "uct ion", + "u ction", + "ru pal", + "rup al", + "under line", + "▁hor ror", + "Mus t", + "Mu st", + "M ust", + "ot to", + "ott o", + "o tto", + "Sh ould", + "▁stat ist", + "▁g em", + "▁ge m", + "▁ gem", + "▁se cre", + "▁sec re", + "▁st rip", + "▁str ip", + "▁stri p", + "▁ strip", + "▁d irt", + "▁di rt", + "▁dir t", + "ama zon", + "amaz on", + "▁R ound", + "▁Ro und", + "▁Rou nd", + "▁ Round", + "▁dis covery", + "▁disc overy", + "▁discover y", + "▁disco very", + "▁G O", + "▁ GO", + "▁substant ial", + "ib t", + "i bt", + "▁dem ands", + "▁demand s", + "▁every day", + "▁b esch", + "▁be sch", + "▁bes ch", + "▁Br idge", + "▁ HD", + "▁D ol", + "▁Do l", + "▁t rès", + "▁tr ès", + "an ni", + "ann i", + "ro it", + "() );\r", + "()); \r", + "()) ;\r", + "( ));\r", + "fa r", + "f ar", + "tim estamp", + "▁bul k", + "Bl ack", + "▁g an", + "▁ga n", + "▁ gan", + "set ting", + "ret val", + "nu ng", + "n ung", + "▁talk s", + "▁tal ks", + "▁scient ists", + "▁scientist s", + "▁v ig", + "▁vi g", + "▁quant ity", + "▁G ard", + "▁Gar d", + "▁Ga rd", + "▁mov ements", + "▁move ments", + "▁movement s", + "äh r", + "ä hr", + "ling s", + "lin gs", + "l ings", + "te am", + "ri to", + "rit o", + "r ito", + "▁as sembly", + "▁ assembly", + "i lst", + "▁happ iness", + "▁le af", + "▁ leaf", + "▁ass essment", + "▁assess ment", + "Co ord", + "ir s", + "i rs", + "sa m", + "s am", + "▁att orney", + "▁g eme", + "▁ge me", + "▁gem e", + "▁ geme", + "ID E", + "I DE", + "▁V ere", + "▁Ver e", + "▁Ve re", + "▁Anth ony", + "am iento", + "ami ento", + "▁cir cul", + "▁circ ul", + "▁Fr ances", + "▁Franc es", + "▁France s", + "▁Fran ces", + "▁p ent", + "▁pe nt", + "▁pen t", + "▁ pent", + "▁m ate", + "▁mat e", + "▁ma te", + "▁ mate", + "▁Trans port", + "▁ Transport", + "ow o", + "o wo", + "is tes", + "ist es", + "iste s", + "TR AN", + "TRA N", + "T RAN", + "IM PORT", + "IMP ORT", + "▁B reak", + "▁Bre ak", + "▁ Break", + "▁invest ors", + "TH OD", + "▁pan ic", + "▁pa nic", + "▁ panic", + "▁d etection", + "▁det ection", + "▁detect ion", + "▁sim ultane", + "nt e", + "n te", + "▁list ened", + "▁listen ed", + "Option al", + "Opt ional", + "▁a bund", + "▁ab und", + "▁c riteria", + "▁crit eria", + "▁c hip", + "▁ch ip", + "▁chi p", + "▁ chip", + "▁Con stant", + "▁Const ant", + "▁ Constant", + "▁m ining", + "▁min ing", + "▁mi ning", + "▁mini ng", + "ma tes", + "mat es", + "mate s", + "m ates", + "▁w orship", + "▁wor ship", + "ro uter", + "rou ter", + "route r", + "r outer", + "C N", + "▁M atch", + "▁Mat ch", + "▁ Match", + "▁C ole", + "▁Col e", + "▁Co le", + "▁down t", + "▁dow nt", + "▁h oles", + "▁hol es", + "▁ho les", + "▁hole s", + "▁gr ateful", + "RES ULT", + "▁Europ a", + "▁Euro pa", + "▁con sent", + "▁cons ent", + "▁conse nt", + "l ä", + "op ter", + "opt er", + "▁colle agues", + "or ous", + "oro us", + "o rous", + "▁enem ies", + "ha ng", + "han g", + "h ang", + "act ual", + "Object s", + "▁я к", + "▁fl uid", + "▁flu id", + "fix ed", + "f ixed", + "▁G raph", + "▁Gr aph", + "▁Gra ph", + "▁ Graph", + "▁scr atch", + "ce rs", + "cer s", + "c ers", + "ri bu", + "rib u", + "▁valid ation", + "▁ validation", + "▁com pletion", + "▁complet ion", + "▁B egin", + "▁Be gin", + "▁Beg in", + "▁ Begin", + "end point", + "rien t", + "C M", + "▁S ite", + "▁Si te", + "▁ Site", + "▁expl ains", + "▁explain s", + "tr es", + "tre s", + "t res", + "▁any body", + "fo reach", + "fore ach", + "for each", + "lo n", + "l on", + "Ch ain", + "▁B uff", + "▁Bu ff", + "▁ Buff", + "o cal", + "▁M organ", + "▁Mor gan", + "▁s ang", + "▁sa ng", + "▁san g", + "▁pas ses", + "@ @", + "ij d", + "i jd", + "W ord", + "▁v ý", + "ba st", + "bas t", + "b ast", + "▁enter tainment", + "▁entertain ment", + "hi n", + "h in", + "▁g rat", + "▁gr at", + "▁gra t", + "▁M ember", + "▁Me mber", + "▁Mem ber", + "▁ Member", + "▁M inn", + "▁Min n", + "▁Mi nn", + "▁pr inted", + "▁print ed", + "▁prin ted", + "▁Frank lin", + "▁I mp", + "▁Im p", + "▁ Imp", + "M achine", + "column s", + "▁de leted", + "▁del eted", + "▁delete d", + "▁delet ed", + "▁ deleted", + "▁manufact uring", + "▁re ly", + "▁r ely", + "▁rel y", + "▁con se", + "▁cons e", + "▁f ishing", + "▁fish ing", + "▁fis hing", + "bl o", + "b lo", + "- $", + "▁. \"", + "▁ .\"", + "▁clin ical", + "▁clinic al", + "def inition", + "▁evalu ation", + "▁eval uation", + "▁att acked", + "▁fro zen", + "ze nt", + "zen t", + "z ent", + "▁ú lt", + "▁r ational", + "▁rat ional", + "▁ratio nal", + "ot he", + "oth e", + "o the", + "Can cel", + "C ancel", + "hi story", + "hist ory", + "set Text", + "▁a lc", + "▁al c", + "▁h ydro", + "▁hyd ro", + "▁M aterial", + "▁Mat erial", + "▁ Material", + "IO Exception", + "**** **/", + "****** /", + "sp l", + "s pl", + "NO DE", + "att rs", + "attr s", + "▁m ie", + "▁mi e", + "r ó", + "▁j am", + "▁ja m", + "▁Id ent", + "▁Ide nt", + "▁ Ident", + "v é", + "Set ting", + "▁Sev eral", + "▁dec ay", + "And roid", + "▁S ave", + "▁Sa ve", + "▁Sav e", + "▁ Save", + "un ted", + "unt ed", + "unte d", + "us c", + "u sc", + "▁mar zo", + "▁a sleep", + "▁as leep", + "▁sold ier", + "▁D ouble", + "▁Dou ble", + "▁ Double", + "P K", + "▁cont rad", + "▁contr ad", + "▁contra d", + "▁w ins", + "▁win s", + "ce iver", + "ceive r", + "▁seas ons", + "▁C hall", + "▁Ch all", + "▁Cha ll", + "▁health care", + "ła d", + "ł ad", + "▁F ive", + "▁Fi ve", + "▁H ell", + "▁He ll", + "▁Hel l", + "▁' ,", + "▁ ',", + "ma de", + "mad e", + "m ade", + "▁respon ded", + "▁respond ed", + "▁a y", + "▁ ay", + "▁proced ures", + "▁procedure s", + "▁cle ared", + "▁clear ed", + "\"] .", + "\" ].", + "▁T arget", + "▁Tar get", + "▁ Target", + "▁S ide", + "▁Si de", + "▁Sid e", + "▁ Side", + "omi n", + "▁T ell", + "▁Te ll", + "▁Tel l", + "▁ Tell", + "▁on going", + "fl oor", + "f loor", + "▁b ones", + "▁bo nes", + "▁bon es", + "▁bone s", + "▁De lete", + "▁Del ete", + "▁ Delete", + "▁shru gged", + "O ur", + "De r", + "D er", + "▁init ialize", + "▁initial ize", + "▁ initialize", + "▁T ed", + "▁Te d", + "MA GE", + "MAG E", + "M AGE", + "▁h ire", + "▁hi re", + "▁ hire", + "▁tr acking", + "▁track ing", + "▁a sh", + "▁as h", + "▁ ash", + "▁ce iling", + "et ti", + "ett i", + "e tti", + "▁cour age", + "▁cou rage", + "ensch app", + "Mo re", + "M ore", + "▁fol g", + "▁fo lg", + "▁ folg", + "▁Gr ace", + "▁Gra ce", + "▁K elly", + "▁Kel ly", + "▁re ven", + "▁r even", + "▁rev en", + "▁reve n", + "▁ Ali", + "▁d isp", + "▁ disp", + "▁de feat", + "▁cre ature", + "▁creat ure", + "▁Kenn edy", + "▁D iego", + "▁Di ego", + "EM P", + "E MP", + "▁s team", + "end ance", + "▁ign or", + "▁ig nor", + "em en", + "eme n", + "e men", + "▁G ru", + "▁Gr u", + "▁pro posal", + "▁we iter", + "▁weit er", + "▁ лі", + "ib les", + "ible s", + "i bles", + "▁consider ation", + "▁belie ves", + "▁believe s", + "▁S oph", + "▁So ph", + "“ ,", + "▁Matt hew", + "▁circ uit", + "▁sin ger", + "▁S quare", + "ç o", + "Ed ge", + "▁a str", + "▁as tr", + "▁ast r", + "▁ astr", + "▁represent ative", + "▁comprehens ive", + "li ga", + "lig a", + "l iga", + "▁m ere", + "▁me re", + "▁mer e", + "tb l", + "t bl", + "▁contin uing", + "▁continu ing", + "ograph er", + "ograp her", + "LE D", + "L ED", + "▁/* **/", + "▁/** */", + "▁s ear", + "▁se ar", + "▁sea r", + "▁enorm ous", + "iz i", + "i zi", + "Di t", + "D it", + "th ere", + "ther e", + "the re", + "t here", + "і н", + "▁gu erra", + "▁end point", + "▁ endpoint", + "▁le sson", + "▁les son", + "▁less on", + "zo n", + "z on", + "var iable", + "vari able", + "▁research ers", + "▁e nf", + "▁en f", + "▁de fin", + "▁aw ful", + "▁lo west", + "▁low est", + "ru les", + "rule s", + "r ules", + "▁un like", + "inter val", + "▁K am", + "▁Ka m", + "▁I MP", + "▁IM P", + "▁ IMP", + "Gener al", + "Gen eral", + "▁f aire", + "▁fa ire", + "▁fair e", + "▁max im", + "▁ma xim", + "as semb", + "ass emb", + "asse mb", + "assem b", + "? >", + "pl ica", + "plic a", + "p lica", + "▁r am", + "▁ra m", + "▁ ram", + "ma te", + "mat e", + "m ate", + "m n", + "▁H i", + "▁ Hi", + "▁stag es", + "▁sta ges", + "▁Ed itor", + "▁Edit or", + "▁ Editor", + "▁t ang", + "▁tan g", + "▁ta ng", + "R D", + "▁i ch", + "▁ic h", + "▁ ich", + "▁depend ent", + "▁dep endent", + "▁ dependent", + "li fer", + "life r", + "lif er", + "l ifer", + "as cript", + "asc ript", + "a script", + "▁expos ure", + "▁m art", + "▁mar t", + "▁ma rt", + "▁ mart", + "▁Bar cel", + "xs pace", + "x space", + "SE SSION", + "▁p rest", + "▁pre st", + "▁pr est", + "▁pres t", + "UR CE", + "- .", + "ha ve", + "hav e", + "h ave", + "▁observ ation", + "▁obs ervation", + "▁comm ands", + "▁command s", + "▁ commands", + "▁e ager", + "▁out door", + "▁DE BUG", + "▁ DEBUG", + "▁h r", + "▁ hr", + "A X", + "▁p uzz", + "▁pu zz", + "bl ank", + "▁k ennis", + "▁reg arded", + "▁} ),", + "▁}) ,", + "▁ }),", + "vol ume", + "▁Tr aining", + "▁Tra ining", + "▁Train ing", + "a ñ", + "▁f ois", + "▁foi s", + "▁fo is", + "в ня", + "▁opt imal", + "▁optim al", + "▁sub scription", + "▁subs cription", + "▁ subscription", + "br idge", + "brid ge", + "b ridge", + "im ental", + "iment al", + "imen tal", + "▁Th ink", + "▁\" ;", + "▁ \";", + "▁legis l", + "▁H op", + "▁Ho p", + "▁br anches", + "▁branch es", + "▁V eg", + "▁Ve g", + "▁s print", + "▁spr int", + "▁fl ux", + "▁flu x", + "▁Fr eder", + "si s", + "s is", + "not ify", + "so m", + "s om", + "ny m", + "n ym", + "▁R é", + "le tt", + "let t", + "l ett", + "ing ham", + "▁F arm", + "▁Far m", + "▁Fa rm", + "DO M", + "D OM", + "▁sh ield", + "He re", + "Her e", + "H ere", + "▁Lu ke", + "▁un safe", + "an ton", + "ant on", + "anto n", + "▁Im per", + "▁Imp er", + "▁tele phone", + "▁un lock", + "▁ unlock", + "Own er", + "col lection", + "coll ection", + "collect ion", + "▁s nd", + "▁sn d", + "▁ snd", + "▁su iv", + "▁ent ering", + "▁enter ing", + "▁L abel", + "▁La bel", + "▁Lab el", + "▁ Label", + "se lector", + "sel ector", + "select or", + "▁G ET", + "▁ GET", + "▁qu ando", + "▁quand o", + "▁f ed", + "▁fe d", + "▁ fed", + "j Query", + "Or igin", + "▁A lan", + "▁Al an", + "math scr", + "▁pregn ant", + "▁preg nant", + "Ex pect", + "Exp ect", + "re sources", + "res ources", + "resource s", + "▁er sten", + "▁erst en", + "▁ers ten", + "▁erste n", + "al ia", + "ali a", + "a lia", + "û t", + "Cr ed", + "C red", + "▁m éd", + "▁mé d", + "▁e rh", + "▁er h", + "Frame work", + "Sl ot", + "S lot", + "d uration", + "sa l", + "s al", + "▁com position", + "▁compos ition", + "art icle", + "gp u", + "g pu", + "▁per mitted", + "▁perm itted", + "▁permit ted", + "▁F ont", + "▁Fo nt", + "▁ Font", + "▁M uch", + "▁Mu ch", + "▁p ending", + "▁pen ding", + "▁ pending", + "▁ag encies", + "Column s", + "▁k lik", + "▁kl ik", + "▁ rating", + "min d", + "mi nd", + "m ind", + "J ava", + "ab stract", + "abs tract", + "▁d umb", + "▁du mb", + "us a", + "u sa", + "Rem ote", + "▁YO U", + "▁Cre ek", + "Bot tom", + "B ottom", + "▁roll ing", + "▁ rolling", + "▁b undle", + "▁bund le", + "▁ bundle", + "▁g olf", + "▁gol f", + "gp io", + "g pio", + "▁Cha ir", + "▁c ls", + "▁cl s", + "▁ cls", + "$ }", + "▁Par liament", + "f ühr", + "Man y", + "Ma ny", + "M any", + "▁S ep", + "▁Se p", + "▁ Sep", + "▁bad ly", + "ig i", + "i gi", + "▁Geme inde", + "Il l", + "I ll", + "ua rt", + "uar t", + "u art", + "it empty", + "item pty", + "▁N iger", + "▁Ni ger", + "▁im migr", + "▁imm igr", + "Su per", + "Sup er", + "S uper", + "v á", + "ist ribute", + "istribut e", + "Hel pers", + "Helper s", + "Help ers", + "▁wat ers", + "▁join ing", + "▁jo ining", + "om itempty", + "▁Other wise", + "▁H ost", + "▁Ho st", + "▁ Host", + "▁re dd", + "▁red d", + "▁d y", + "▁ dy", + "▁con verted", + "▁convert ed", + "▁pr ayer", + "▁pray er", + "▁pra yer", + "▁У краї", + "▁Укра ї", + "▁e lections", + "re b", + "r eb", + "er ie", + "eri e", + "e rie", + "Ab s", + "A bs", + "ie mbre", + "iem bre", + "i embre", + "hol ders", + "hold ers", + "holder s", + "▁R ol", + "▁Ro l", + "ut schen", + "uts chen", + "utsch en", + "utsche n", + "ter y", + "te ry", + "t ery", + "▁narr ative", + "min us", + "m inus", + "=\" #", + "▁w and", + "▁wa nd", + "▁ wand", + "▁w ished", + "▁wish ed", + "▁wis hed", + "ic ode", + "ico de", + "i code", + "or r", + "o rr", + "[ [", + "▁detect ed", + "▁P our", + "▁Po ur", + "▁Se rv", + "▁ Serv", + "cite t", + "cit et", + "c itet", + "▁g rey", + "▁gr ey", + "▁gre y", + "▁R ap", + "▁Ra p", + "▁v oy", + "▁vo y", + "▁l leg", + "▁ll eg", + "▁cur rency", + "▁curr ency", + "▁ currency", + "▁S cript", + "▁Sc ript", + "▁ Script", + "str ument", + "stru ment", + "▁expect ing", + "▁t ickets", + "▁tick ets", + "▁ticket s", + "▁b ucket", + "▁buck et", + "▁ bucket", + "eg r", + "e gr", + "▁j acket", + "▁jack et", + "dr v", + "d rv", + "▁lo ans", + "▁loan s", + "▁k ann", + "▁kan n", + "▁ka nn", + "▁integr al", + "▁character istics", + "▁characteristic s", + "(\" .", + "( \".", + "▁man ual", + "▁d ynamics", + "▁dynam ics", + "▁dynamic s", + ": *", + "sh a", + "s ha", + "re ens", + "ree ns", + "reen s", + "on ical", + "oni cal", + "onic al", + "▁to ile", + "añ a", + "a ña", + "▁d istant", + "▁di stant", + "▁dist ant", + "▁hand led", + "▁handle d", + "Bo ol", + "B ool", + "▁pe nal", + "▁pen al", + "▁Th ings", + "▁ex ped", + "▁exp ed", + "▁He lp", + "▁Hel p", + "▁ Help", + "▁a sp", + "▁as p", + "▁ asp", + "la p", + "l ap", + "▁A uth", + "▁Aut h", + "▁Au th", + "▁ Auth", + "Bas ic", + "ach uset", + "▁B ild", + "▁Bi ld", + "▁Bil d", + "▁j ag", + "▁ja g", + "▁m emor", + "▁me mor", + "▁mem or", + "▁memo r", + "or ts", + "ort s", + "▁ap plies", + "▁appl ies", + "▁L anguage", + "▁ Language", + "spec ific", + "achuset ts", + "HA ND", + "H AND", + "▁R oute", + "▁ Route", + "mark et", + "mar ket", + "▁K y", + "▁p ose", + "▁pos e", + "▁po se", + "▁ pose", + "AC HE", + "ACH E", + "po ll", + "pol l", + "p oll", + "▁r ocks", + "▁ro cks", + "▁rock s", + "bo ne", + "bon e", + "b one", + "▁D IS", + "▁DI S", + "▁ DIS", + "W atch", + "▁sm iling", + "Mon th", + "Mont h", + "▁e fter", + "con struct", + "const ruct", + "▁ban ds", + "▁ bands", + "▁collabor ation", + "gl as", + "g las", + "▁v y", + "▁ vy", + "▁eng agement", + "▁engage ment", + "__ )", + "_ _)", + "▁w ings", + "▁win gs", + "▁wing s", + "net je", + "at iva", + "ati va", + "ativ a", + "▁With in", + "▁d ove", + "▁do ve", + "▁c b", + "▁ cb", + "ye rs", + "yer s", + "y ers", + "po w", + "p ow", + "[ (", + "▁evalu ate", + "▁eval uate", + "Point s", + "▁р і", + "▁ рі", + "od igd", + "odi gd", + "on omy", + "ono my", + "onom y", + "▁T yp", + "▁Ty p", + "▁ Typ", + "▁coord inates", + "▁coordinate s", + "pis ode", + "uck ed", + "uc ked", + "▁f lav", + "▁fl av", + "▁br ands", + "▁brand s", + "▁cal endar", + "▁ calendar", + "Li b", + "L ib", + "▁uit gen", + "▁t ale", + "▁tal e", + "▁ta le", + "▁m ic", + "▁mi c", + "▁ mic", + "RE SS", + "RES S", + "▁sp äter", + "▁integr ated", + "▁integrate d", + "▁cook ies", + "▁cookie s", + "▁uitgen odigd", + "▁P riv", + "▁Pr iv", + "▁Pri v", + "▁ Priv", + "▁phen omen", + "▁vo egen", + "Su pp", + "Sup p", + "S upp", + "▁re fers", + "▁Cl inton", + "▁Clin ton", + "▁ass ignment", + "▁assign ment", + "i nals", + "▁a sym", + "▁as ym", + "cy cle", + "cycl e", + "c ycle", + "▁Anders on", + "▁b inding", + "▁bin ding", + "▁bind ing", + "▁ binding", + "ri que", + "r ique", + "hi nd", + "hin d", + "h ind", + "▁be half", + "▁beh alf", + "▁break s", + "▁bre aks", + "▁so ap", + "▁ soap", + "▁v ä", + "▁ vä", + "▁c rying", + "▁cr ying", + "▁cry ing", + "▁ →", + "▁m sm", + "▁ms m", + "▁ msm", + "▁bo ots", + "▁boot s", + "ow ing", + "owi ng", + "o wing", + "▁b ell", + "▁be ll", + "▁bel l", + "▁ bell", + "su ite", + "suit e", + "▁Bund es", + "▁Bun des", + "Y ear", + "nd ef", + "nde f", + "n def", + "O ther", + "▁go ogle", + "▁goog le", + "▁ google", + "EN CE", + "ENC E", + "WE R", + "W ER", + "Le s", + "L es", + "Sh ared", + "Share d", + "▁E D", + "▁ ED", + "IF T", + "I FT", + "▁flo ating", + "▁float ing", + "ý m", + "{} ,", + "{ },", + "Bin ary", + "B inary", + "▁ro ce", + "ra j", + "r aj", + "▁be werken", + "B F", + "ce n", + "c en", + "▁c amb", + "▁cam b", + "▁ca mb", + "▁log ging", + "▁ logging", + "Ten sor", + "T ensor", + "▁op ens", + "▁open s", + "▁ opens", + "▁R io", + "▁klik ken", + "apor e", + "w x", + "▁Ni ch", + "na n", + "n an", + "com pare", + "comp are", + "compar e", + "th a", + "t ha", + "Sam ple", + "S ample", + "Sh ell", + "She ll", + "S hell", + "▁re ceiver", + "▁rece iver", + "▁receive r", + "▁h opes", + "▁hope s", + "▁hop es", + "▁ho pes", + "▁b yl", + "▁by l", + "▁pro xy", + "▁pr oxy", + "▁ proxy", + "▁gal l", + "▁ga ll", + "get Id", + "fe ld", + "fel d", + "f eld", + "▁\" _", + "▁H ab", + "▁Ha b", + "sim ple", + "▁execut ed", + "▁execute d", + "▁a te", + "▁at e", + "▁ ate", + "▁an imation", + "▁anim ation", + "▁ animation", + "▁r outer", + "▁ro uter", + "▁rout er", + "▁route r", + "▁rou ter", + "▁ router", + "▁gl ob", + "▁glo b", + "▁ glob", + "Ge plaatst", + "▁begin netje", + "▁K ur", + "▁Ku r", + "al igned", + "align ed", + "▁cert ificate", + "▁ Å", + "▁s oll", + "▁so ll", + "▁sol l", + "▁Im port", + "▁Imp ort", + "▁ Import", + "▁pand emic", + "▁n ic", + "▁ni c", + "▁ nic", + "v ä", + "▁S ay", + "▁Sa y", + "▁д і", + "▁ ді", + "▁N um", + "▁Nu m", + "▁ Num", + "▁rough ly", + "▁des pués", + "▁ ​", + "▁spec ify", + "Map per", + "lic ht", + "li cht", + "lich t", + "l icht", + "▁th umb", + "▁ thumb", + "wi e", + "w ie", + "▁un likely", + "▁unlike ly", + "▁ unlikely", + "▁E dd", + "▁Ed d", + "He y", + "H ey", + "▁O pt", + "▁Op t", + "▁ Opt", + "B LOCK", + "▁ ×", + "▁b a", + "▁ ba", + "▁period s", + "Me d", + "M ed", + "▁f on", + "▁fo n", + "▁ fon", + "▁b ast", + "▁bas t", + "▁ba st", + "▁ bast", + "▁F orest", + "▁Fo rest", + "▁ №", + "on ds", + "ond s", + "▁f al", + "▁fa l", + "▁g esch", + "▁ge sch", + "▁ges ch", + "▁ gesch", + "dir ection", + "di rection", + "direct ion", + "dire ction", + "d irection", + "IF Y", + "▁L A", + "▁ LA", + "▁( ((", + "▁(( (", + "▁ (((", + "GT H", + "G TH", + "it udes", + "itude s", + "itu des", + "itud es", + "▁dest ruction", + "▁destruct ion", + "▁J a", + "▁s take", + "▁st ake", + "▁sta ke", + "iffer ent", + "iffe rent", + "▁ident ical", + "▁f og", + "▁fo g", + "▁R eb", + "▁Re b", + "▁ Reb", + "ja x", + "j ax", + "▁M ars", + "▁Mar s", + "▁Ma rs", + "▁hist oric", + "▁V o", + "▁ Vo", + "▁entre pre", + "▁t ension", + "▁tens ion", + "▁W HERE", + "▁WH ERE", + "▁WHE RE", + "Count er", + "Co unter", + "C ounter", + "▁fr ames", + "▁frame s", + "▁fra mes", + "▁fram es", + "▁ frames", + "▁m uy", + "▁mu y", + "e j", + "ö t", + "e u", + "PRO C", + "PR OC", + "▁res olved", + "▁resolve d", + "▁ resolved", + "▁t ape", + "▁tap e", + "▁ta pe", + "▁sing ular", + "▁O cc", + "▁ Occ", + "▁scal ar", + "▁ scalar", + "de ss", + "des s", + "d ess", + "▁c able", + "▁cab le", + "▁ca ble", + "be ing", + "b eing", + "▁J enn", + "▁Je nn", + "▁Jen n", + "▁er st", + "▁ers t", + "▁ erst", + "Action s", + "Act ions", + "A ctions", + "Env ironment", + "vi a", + "v ia", + "▁strugg ling", + "wh e", + "w he", + "▁throw ing", + "▁thr owing", + "▁thro wing", + "Bound s", + "B ounds", + "▁M D", + "▁ MD", + "▁\" ../", + "▁\". ./", + "▁satisf y", + "▁Color ado", + "▁Act ive", + "▁Activ e", + "▁ Active", + "Task s", + "<>( );", + "<> ();", + "< >();", + "▁sl ipped", + "▁slip ped", + "▁po ison", + "▁poi son", + "z b", + "Dis patch", + "war ning", + "warn ing", + "w arning", + "▁ult imate", + "p icture", + "ex pression", + "exp ression", + "expr ession", + "express ion", + "▁T alk", + "▁Tal k", + "▁f lick", + "▁fl ick", + "▁rais ing", + "▁ra ising", + "▁ raising", + "▁trans actions", + "▁transaction s", + "▁gl ance", + "▁g ri", + "▁gr i", + "▁п рез", + "▁пре з", + "se lection", + "sel ection", + "select ion", + "s election", + "њ а", + "en dl", + "end l", + "▁A bb", + "▁b old", + "▁bo ld", + "▁bol d", + "▁ bold", + "▁maint ained", + "Ex ists", + "▁encour aged", + "▁encourage d", + "Qu al", + "Q ual", + "▁ess ere", + "▁hi red", + "▁hire d", + "let ter", + "lett er", + "lette r", + "it ches", + "itch es", + "oth ers", + "other s", + "othe rs", + "o thers", + "▁w oj", + "▁wo j", + "▁inj uries", + "▁d il", + "▁di l", + "ex ecut", + "exec ut", + "▁Ste el", + "▁G arden", + "▁Gar den", + "▁Gard en", + "\\, \\", + "\\ ,\\", + "▁An gel", + "pr im", + "p rim", + ">: ]<", + "g b", + "pe at", + "in te", + "int e", + "i nte", + "▁ap olog", + "▁reg ulations", + "▁regul ations", + "▁regulation s", + "S rc", + "Up load", + "U pload", + "ma pping", + "map ping", + "m apping", + "▁p resents", + "▁pres ents", + "▁present s", + "▁po etry", + "▁st ops", + "▁stop s", + "▁sto ps", + "▁T ol", + "▁To l", + "▁tow er", + "▁O UT", + "▁ OUT", + "Th ank", + "Than k", + "▁organ ic", + "▁d rei", + "▁dr ei", + "▁dre i", + "▁p ound", + "▁po und", + "▁pou nd", + "▁mod ules", + "▁module s", + "▁ modules", + "▁w orn", + "▁wor n", + "▁wo rn", + "▁par ad", + "▁para d", + "▁pa rad", + "▁C os", + "▁Co s", + "fi c", + "▁Jim my", + "▁lan ds", + "▁min ist", + "▁mini st", + "vs pace", + "v space", + "▁light ing", + "▁n aked", + "▁na ked", + "▁design er", + "▁St ream", + "▁Stre am", + "▁ Stream", + "TM P", + "T MP", + "Cent er", + "C enter", + "resent ation", + "ON T", + "O NT", + "▁e rs", + "▁er s", + "▁ ers", + "▁measure ment", + "▁mus cles", + "▁muscle s", + "▁I gn", + "▁ Ign", + "▁C OM", + "▁CO M", + "▁ COM", + "▁f ru", + "▁fr u", + "▁gen re", + "▁al pha", + "▁ alpha", + "▁ret irement", + "▁G on", + "▁Go n", + "ő l", + "cont ents", + "content s", + "▁he aling", + "▁heal ing", + "▁s ido", + "▁si do", + "▁sid o", + "incip al", + "Per mission", + "Perm ission", + "▁G ordon", + "▁Gor don", + "▁R ank", + "▁Ran k", + "▁ Rank", + "▁Aut om", + "▁Au tom", + "▁Auto m", + "▁ Autom", + "Con structor", + "Construct or", + "wi ki", + "wik i", + "w iki", + "▁concern ing", + "▁concer ning", + "riz ona", + "▁var iant", + "▁vari ant", + "▁ variant", + "▁arr anged", + "▁arrang ed", + "▁arrange d", + "BP ACK", + "B PACK", + "Tim estamp", + "re store", + "rest ore", + "aw are", + "awa re", + "a ware", + "▁Ob serv", + "▁ Observ", + "▁S V", + "▁ SV", + "▁Execut ive", + "▁col leg", + "▁coll eg", + "▁colle g", + "▁explicit ly", + "wr itten", + "writ ten", + "▁K ön", + "▁Kö n", + "ir us", + "i rus", + "▁H old", + "▁Hol d", + "▁Ho ld", + "▁P ract", + "▁Pr act", + "▁Pra ct", + "Char acter", + "▁red istribute", + "uer to", + "▁Stud ent", + "▁ Student", + "▁el der", + "▁D op", + "▁Do p", + "v p", + "▁H ub", + "▁Hu b", + "▁ Hub", + "▁sign als", + "▁sig nals", + "▁signal s", + "▁g ifts", + "▁gift s", + "▁streng then", + "▁strength en", + "▁L yn", + "▁Ly n", + "com mun", + "comm un", + "▁fin ance", + "▁financ e", + "no c", + "n oc", + "he lm", + "hel m", + "h elm", + "▁c uts", + "▁cut s", + "▁cu ts", + "▁advent ure", + "▁R ic", + "▁intellect ual", + "▁Out put", + "▁ Output", + "▁aw k", + "▁ awk", + "▁concentr ation", + "▁guid ance", + "Buf f", + "Bu ff", + "B uff", + "▁f illing", + "▁fil ling", + "▁fill ing", + "▁reg ul", + "▁del icious", + "([ ]", + "( []", + "▁ton s", + "▁ tons", + "act ivity", + "activ ity", + "G P", + "LO B", + "L OB", + "st adt", + "sta dt", + "stad t", + "ta l", + "t al", + "▁im g", + "▁i mg", + "▁ img", + "▁r ush", + "▁ru sh", + "▁rus h", + "att ice", + "atti ce", + "▁p ok", + "▁po k", + "st eps", + "ste ps", + "step s", + "▁l id", + "▁li d", + "▁D NA", + "B rowser", + "▁lad ies", + "▁an nées", + "▁ann ées", + "▁resc ue", + "av ity", + "avi ty", + "ro ck", + "roc k", + "r ock", + "▁glass es", + "▁B ey", + "▁Be y", + ")} $", + ") }$", + "de tail", + "det ail", + "▁d és", + "▁dé s", + "ta x", + "t ax", + "▁favour ite", + "▁prec ision", + "▁con oc", + "▁co noc", + "M s", + "▁Nat ive", + "▁ Native", + "▁P il", + "▁Pi l", + "Input Stream", + "or p", + "o rp", + "▁P ap", + "▁Pa p", + "▁p icking", + "▁pick ing", + "▁pic king", + "ip h", + "i ph", + "Load ing", + "Lo ading", + "▁pr iest", + "▁pri est", + "H ook", + "▁p ist", + "▁pi st", + "▁U ne", + "▁Un e", + "▁ Une", + "▁b il", + "▁bi l", + "▁ bil", + "▁conserv ative", + "ev al", + "eva l", + "e val", + "ik ing", + "iki ng", + "i king", + "'} ,", + "' },", + "▁sa uce", + "▁sau ce", + "as sen", + "ass en", + "asse n", + "▁occasion ally", + "▁occasional ly", + "un known", + "unk nown", + "DE D", + "D ED", + "▁dru m", + "▁d ub", + "▁du b", + "AT URE", + "us age", + "usa ge", + "get Type", + "re ply", + "rep ly", + "▁strateg ic", + "▁k ap", + "▁ka p", + "▁ kap", + "de sign", + "des ign", + "date time", + "dat etime", + "▁P rim", + "▁Pr im", + "▁Pri m", + "▁ Prim", + "Ma ster", + "M aster", + "▁T u", + "▁t ous", + "▁to us", + "▁tou s", + "▁c lar", + "▁cl ar", + "▁po em", + "al bum", + "] *", + "lo aded", + "load ed", + "▁travel ing", + "▁trav eling", + "▁F err", + "▁Fe rr", + "▁Fer r", + "▁p harm", + "▁ph arm", + "ab i", + "a bi", + "▁} \\", + "▁ }\\", + "col lect", + "coll ect", + "▁B our", + "▁Bo ur", + "▁Bou r", + "▁measure ments", + "▁measurement s", + "▁Profess ional", + "▁s ensor", + "▁sens or", + "▁sen sor", + "▁ sensor", + "ut sche", + "uts che", + "utsch e", + "▁dem anded", + "▁demand ed", + "▁p rend", + "▁pre nd", + "▁pr end", + "▁enc oding", + "▁ encoding", + "▁Gesch ichte", + "▁m ig", + "▁mi g", + "▁Re ich", + "▁m yster", + "▁my ster", + "▁myst er", + "▁M ock", + "▁Mo ck", + "▁ Mock", + "▁phys ically", + "▁physical ly", + "▁B au", + "▁Ba u", + "▁S ingle", + "▁Sing le", + "▁Sin gle", + "▁ Single", + "▁man aging", + "▁K il", + "▁Ki l", + "▁Temp le", + "▁l ev", + "▁le v", + "▁ lev", + "▁l í", + "CP U", + "C PU", + "▁G ive", + "▁Gi ve", + "ir i", + "i ri", + "N V", + "▁A I", + "▁ AI", + "▁f p", + "▁ fp", + "лекс анд", + "▁t ant", + "▁tan t", + "▁ta nt", + "▁f ot", + "▁fo t", + "Null able", + "▁gu ards", + "▁guard s", + "On ce", + "▁ch amber", + "▁cha mber", + "fil m", + "fi lm", + "▁b ias", + "▁bi as", + "▁ bias", + "▁Ta i", + "ins ic", + "insi c", + "▁m l", + "▁ ml", + "▁K a", + "▁S ER", + "▁SE R", + "▁ SER", + "▁Some one", + "}} _{", + "}}_ {", + "} }_{", + "Fix ed", + "F ixed", + "▁b ent", + "▁be nt", + "▁ben t", + "▁b id", + "▁bi d", + "▁ bid", + "▁fe wer", + "▁few er", + "▁l ugar", + "▁lug ar", + "▁lu gar", + "▁de serve", + "▁des erve", + "ss l", + "s sl", + "▁c fg", + "▁cf g", + "▁ cfg", + "re ck", + "rec k", + "▁st ability", + "▁stabil ity", + "▁stab ility", + "re size", + "res ize", + "▁assert That", + "Tr igger", + "pl ugins", + "plugin s", + "plug ins", + "▁l ets", + "▁le ts", + "▁let s", + "▁ lets", + "хі д", + "х ід", + "▁La ura", + "▁Lau ra", + "▁br ut", + "▁bru t", + "▁F I", + "▁ FI", + "is ons", + "ison s", + "iso ns", + "▁dy n", + "▁ dyn", + "ic her", + "ich er", + "iche r", + "i cher", + "ray ed", + "▁frequ ent", + "▁jed och", + "st rings", + "str ings", + "string s", + "▁U til", + "▁Ut il", + "▁ Util", + "▁b os", + "▁bo s", + "Mu s", + "M us", + "▁Portug al", + "Str ategy", + "▁sl ice", + "▁slic e", + "▁ slice", + "▁ins ight", + "▁w idget", + "▁wid get", + "▁ widget", + "▁gén éral", + "message s", + "m essages", + "▁requ irement", + "▁require ment", + "Si de", + "S ide", + "empl ates", + "emplate s", + "▁cer emony", + "▁ceremon y", + "▁phys ics", + "▁grad uate", + "▁gradu ate", + "▁ graduate", + "par a", + "pa ra", + "p ara", + "▁pre serv", + "▁pres erv", + "▁sh ops", + "▁shop s", + "▁ shops", + "ze k", + "z ek", + "▁u b", + "▁ ub", + "pre pare", + "▁O il", + "▁f ib", + "▁fi b", + "▁run time", + "▁ runtime", + "▁h ogy", + "▁ho gy", + "Warn ing", + "War ning", + "W arning", + "▁Con vert", + "▁ Convert", + "▁emer ged", + "▁emerge d", + "gu ard", + "ka l", + "k al", + "valid ation", + "ên cia", + "ê ncia", + "▁dr inks", + "▁drink s", + "the orem", + "H R", + "ie v", + "i ev", + "ploy ee", + "Us age", + "▁сп е", + "dis patch", + "disp atch", + "▁inst antly", + "▁instant ly", + "ob i", + "o bi", + "▁just ify", + "▁N ev", + "▁Ne v", + "ag ra", + "agr a", + "a gra", + "▁trans mission", + "▁transm ission", + "fl y", + "f ly", + "; ' ;", + "> ';", + "▁cou sin", + "▁cous in", + "create Element", + "Co uld", + "C ould", + "▁cap ac", + "▁p ause", + "▁pa use", + "▁paus e", + "▁ pause", + "Array List", + "kt e", + "k te", + "ord ered", + "order ed", + "▁sh aking", + "▁sha king", + "label s", + "lab els", + "▁redu cing", + "US ED", + "USE D", + "U SED", + "▁v oting", + "▁vo ting", + "▁vot ing", + "▁M ig", + "▁Mi g", + "▁C hen", + "▁Ch en", + "▁Che n", + "▁ac company", + "▁accompan y", + "▁accomp any", + "ul le", + "ull e", + "u lle", + "▁g a", + "▁ ga", + "▁equ ipped", + "▁equip ped", + "▁n un", + "▁nu n", + "Be t", + "B et", + "▁lic ensed", + "▁license d", + "AR CH", + "F N", + "▁s ter", + "▁st er", + "▁ste r", + "▁ ster", + "▁loc ale", + "▁local e", + "▁ locale", + "lin ks", + "link s", + "l inks", + "▁Cap ital", + "▁al ien", + "▁ali en", + "W r", + "р ъ", + "Car t", + "C art", + "▁Mark eting", + "▁Market ing", + "▁R T", + "▁ RT", + "File Name", + "▁t i", + "▁ ti", + "ij i", + "i ji", + "▁vers us", + "li ve", + "liv e", + "l ive", + "Sy m", + "S ym", + "ko r", + "k or", + "▁e mission", + "▁em ission", + "um m", + "u mm", + "yc z", + "y cz", + "▁clim bed", + "▁climb ed", + "▁plus ieurs", + "ya r", + "y ar", + "os ten", + "ost en", + "o sten", + "▁u sb", + "▁us b", + "▁ usb", + "▁cross ing", + "▁pol ynom", + "▁poly nom", + "▁rem oval", + "▁Ad ams", + "▁Adam s", + "▁i hre", + "▁ih re", + "▁ihr e", + "an den", + "and en", + "ande n", + "▁Ben j", + "▁P hill", + "▁Ph ill", + "▁Phil l", + "▁wound ed", + "bi ld", + "bil d", + "b ild", + "An notation", + "Process or", + "▁t in", + "▁ti n", + "fo lg", + "fol g", + "▁Stud ents", + "▁Student s", + "▁administr ative", + "IL ED", + "ILE D", + "I LED", + "▁con qu", + "▁che er", + "▁C es", + "▁Ce s", + "B ecause", + "▁J uni", + "▁Jun i", + "▁Ju ni", + "▁en contr", + "av i", + "a vi", + "ak u", + "a ku", + "▁T on", + "▁To n", + "▁sm oking", + "▁b ay", + "▁ba y", + "work s", + "wor ks", + "at tered", + "att ered", + "atter ed", + "atte red", + "▁Bo olean", + "▁ Boolean", + "▁Ba lt", + "de fer", + "def er", + "path y", + "pat hy", + "pa thy", + "A h", + "▁a kt", + "▁ak t", + "▁ akt", + "▁gover nor", + "P ad", + "▁si sters", + "▁sister s", + "▁sist ers", + "La t", + "L at", + "▁re vel", + "▁r evel", + "▁rev el", + "▁reve l", + "▁S Y", + "▁ SY", + "it os", + "ito s", + "i tos", + "▁fil ters", + "▁filter s", + "▁ filters", + "Ch unk", + "con sum", + "cons um", + "▁rem oving", + "▁H err", + "▁He rr", + "▁Her r", + "▁gener ator", + "▁ generator", + "▁C ra", + "▁Cr a", + "▁far mers", + "▁farm ers", + "▁farmer s", + "▁Mem bers", + "▁Member s", + "▁ Members", + "▁over come", + "▁C in", + "▁Ci n", + "ig keit", + "cri ptions", + "cription s", + "cript ions", + "Test s", + "Te sts", + "T ests", + "▁sh ake", + "▁sha ke", + "▁ shake", + "▁y y", + "▁ yy", + "pl acement", + "place ment", + "plac ement", + "▁Bl ood", + "▁Blo od", + "▁bul let", + "▁bull et", + "▁ bullet", + "▁v iene", + "▁vi ene", + "▁vie ne", + "▁Fin ancial", + "F uture", + "▁r ou", + "▁ro u", + "▁ rou", + "▁bi ologie", + "▁use State", + "ia ni", + "ian i", + "i ani", + "pie ce", + "p iece", + "▁spe aker", + "▁speak er", + "▁re fr", + "▁ref r", + "AR K", + "▁M IT", + "▁MI T", + "▁ MIT", + "▁T an", + "▁Ta n", + "▁B ased", + "▁Bas ed", + "▁Base d", + "▁Ba sed", + "▁ Based", + "▁cult iv", + "▁hung ry", + "▁A y", + "▁H ey", + "▁He y", + "▁ Hey", + "▁excit ement", + "ibr aries", + "Hi t", + "H it", + "▁E nde", + "▁En de", + "▁End e", + "N G", + "FI L", + "F IL", + ".\" )", + ". \")", + "F amily", + "in ery", + "ine ry", + "iner y", + "ne cess", + "ve lope", + "vel ope", + "velop e", + "▁B ot", + "▁Bo t", + "▁ Bot", + "port er", + "por ter", + "porte r", + "p orter", + "▁cl imb", + "▁clim b", + "▁E li", + "▁El i", + "ur ent", + "ure nt", + "uren t", + "u rent", + "▁mist akes", + "▁mistake s", + "áb an", + "á ban", + "mark s", + "mar ks", + "m arks", + "pk t", + "p kt", + "L ibrary", + "st ed", + "ste d", + "s ted", + "ublic e", + "ubl ice", + "▁Administr ation", + "▁Admin istration", + "▁sh apes", + "▁shape s", + "▁sha pes", + "Go d", + "G od", + "in nen", + "inn en", + "<< <<", + "ib e", + "i be", + "ê s", + "▁ Foreign", + "▁Marg aret", + "▁g ene", + "▁gen e", + "▁ge ne", + "▁dist urb", + "▁on Click", + "▁Engine ering", + "▁stop ping", + "▁sto pping", + "▁restr ictions", + "▁restrict ions", + "▁restriction s", + ", *", + "BU F", + "▁sh adows", + "▁shadow s", + "hc i", + "h ci", + "▁Christ ians", + "▁Christian s", + "▁f ence", + "▁fen ce", + "▁lux ury", + "co ord", + "▁invest igate", + "▁investig ate", + "▁convent ional", + "▁convention al", + "\" —", + "▁vis its", + "▁visit s", + "is é", + "▁S ac", + "▁Sa c", + "class Name", + "▁Psy ch", + "▁ref lected", + "▁reflect ed", + "▁V ice", + "▁Vi ce", + "▁Vic e", + "ła w", + "ł aw", + "▁Wol f", + "re nte", + "ren te", + "rent e", + "r ente", + "▁Ch ampion", + "▁sim ulation", + "es ota", + "eso ta", + "▁S oon", + "▁So on", + "▁C el", + "▁Ce l", + "▁the ories", + "▁S TR", + "▁ST R", + "▁ STR", + "▁collect ive", + "▁coord inate", + "query Selector", + "em ed", + "eme d", + "e med", + "B reak", + "▁g ef", + "▁ge f", + "▁electric ity", + "▁gather ing", + "ate rs", + "ex per", + "exp er", + "▁R oma", + "▁Rom a", + "▁Ro ma", + "▁Co oper", + "SY MBOL", + "v d", + "ain es", + "ai nes", + "aine s", + "a ines", + "▁G rad", + "▁Gr ad", + "▁Gra d", + "▁ Grad", + "wo h", + "w oh", + "▁con sequence", + "▁consequ ence", + "▁convers ations", + "▁conversation s", + "▁and ere", + "▁ander e", + "▁System s", + "▁mo ist", + "▁mois t", + "fl u", + "f lu", + "ці я", + "ни ш", + "▁r ode", + "▁ro de", + "▁rod e", + "▁p erd", + "▁per d", + "▁pe rd", + "▁s zer", + "▁sz er", + "▁in tim", + "▁int im", + "std err", + "▁ref lection", + "▁reflect ion", + "Sc an", + "S can", + "▁dis aster", + "ake spe", + "akes pe", + "▁In valid", + "▁ Invalid", + "▁hum or", + "▁Fried rich", + "▁suggest ions", + "▁suggestion s", + "uv ud", + "De lay", + "Del ay", + "br ief", + "b rief", + "gl ied", + "fa s", + "f as", + "▁S mart", + "▁Sm art", + "▁m edi", + "▁me di", + "▁med i", + "▁ medi", + "sd k", + "s dk", + "▁se us", + "▁seu s", + "▁A rizona", + "▁innoc ent", + "War n", + "W arn", + "ac ious", + "aci ous", + "acio us", + "▁c aps", + "▁cap s", + "▁ca ps", + "▁ caps", + "Dele gate", + "▁dram atic", + "bo oks", + "book s", + "▁sh ore", + "▁ shore", + "uk i", + "u ki", + "▁Russ ell", + "▁cor relation", + "▁corre lation", + "▁correl ation", + "He lp", + "Hel p", + "▁pub blic", + "zy m", + "z ym", + "com b", + "co mb", + "c omb", + "E Y", + "LEN GTH", + "▁M ün", + "▁_ .", + "▁ _.", + "▁f erm", + "▁fe rm", + "▁fer m", + "▁I an", + "▁St udio", + "▁aff airs", + "▁affair s", + "lo s", + "l os", + "Rule s", + "R ules", + "run ning", + "r unning", + "▁Post ed", + "▁Po sted", + "▁Pos ted", + "P ixel", + "▁d ancing", + "▁dan cing", + "▁agree ments", + "▁agre ements", + "▁agreement s", + "▁P ic", + "▁Pi c", + "an cia", + "anc ia", + "a ncia", + "▁m á", + "ation Token", + "des criptor", + "▁C arter", + "▁Car ter", + "▁Cart er", + "Re lease", + "Rele ase", + "**** ********", + "******** ****", + "****** ******", + "▁out standing", + "ch anges", + "change s", + "chan ges", + "AR RAY", + "▁Bar bara", + "▁Barb ara", + "▁nur se", + "▁nurs e", + "( \r", + "▁Dou glas", + "▁Doug las", + "▁nu cle", + "▁nuc le", + "o uri", + "▁St yle", + "▁ Style", + "av o", + "a vo", + "▁pain ful", + "▁s lic", + "▁sl ic", + "▁sein em", + "▁seine m", + "▁sei nem", + "SUP PORT", + "og ene", + "ogen e", + "oge ne", + "▁sat ell", + "ta gon", + "tag on", + "t agon", + "▁coll apse", + "▁ collapse", + "ve lle", + "vel le", + "v elle", + "MO N", + "M ON", + "augh ters", + "aught ers", + "aughter s", + "▁threat ened", + "▁Il legal", + "▁desper ate", + "st rict", + "str ict", + "stri ct", + "\\\" :", + "\\ \":", + "▁conf lic", + "down load", + "at os", + "ato s", + "a tos", + "▁Pos ition", + "▁ Position", + ".* ;", + ". *;", + "▁the ater", + "▁ple asant", + "▁C ette", + "he et", + "▁p ir", + "▁pi r", + "▁ac quis", + "▁acqu is", + "▁на зва", + "вер сите", + "▁res pective", + "▁respect ive", + "▁t unnel", + "▁tun nel", + "▁tunn el", + "▁De an", + "D u", + "▁un cle", + "▁unc le", + "▁off ensive", + "co lo", + "col o", + "c olo", + "▁Un like", + "se ries", + "ser ies", + "serie s", + "s eries", + "▁A rn", + "▁Ar n", + "min ute", + "▁des criptor", + "▁ descriptor", + "▁st ones", + "▁stone s", + "▁sto nes", + "IC ATION", + "▁P ad", + "▁Pa d", + "▁ Pad", + "e i", + "▁fant asy", + "\" }", + "▁or th", + "▁ orth", + "hal ten", + "halt en", + "de ep", + "▁K ay", + "▁Ka y", + "requ ency", + "▁dut ies", + "aw t", + "a wt", + "▁ne arest", + "▁near est", + "▁dis order", + "▁Ch ile", + "▁Chi le", + "▁s eq", + "▁se q", + "▁ seq", + "▁transport ation", + "O O", + "▁D ez", + "▁De z", + "ij u", + "i ju", + "▁Result s", + "▁ Results", + "je d", + "j ed", + "iv el", + "ive l", + "i vel", + "HO ST", + "H OST", + "▁ €", + "▁ Î", + "▁c hin", + "▁ch in", + "▁chi n", + "▁m att", + "▁mat t", + "▁ma tt", + "▁ge hör", + "▁s ue", + "▁su e", + "▁leg acy", + "в ся", + "SO URCE", + "W ORK", + "it is", + "iti s", + "▁$ |", + "▁n r", + "▁ nr", + "▁T amb", + "▁Ta mb", + "▁Tam b", + "▁sn ap", + "▁ snap", + "▁im pressed", + "▁imp ressed", + "▁impress ed", + "▁depos it", + "▁d ivid", + "▁di vid", + "▁div id", + "Seg ment", + "▁G as", + "▁Ga s", + "▁cr imes", + "▁crim es", + "▁crime s", + "▁cri mes", + "▁ins ult", + "▁H um", + "▁Hu m", + "▁bound ed", + "▁k icked", + "▁kick ed", + "▁| \\", + "▁ |\\", + "ad ded", + "add ed", + "Pro du", + "P rodu", + "▁. /", + "▁ ./", + "▁awk ward", + "▁ ї", + "▁CON TR", + "▁be im", + "▁bei m", + "▁place holder", + "▁ placeholder", + "sp i", + "s pi", + "▁B ei", + "▁Be i", + "▁P f", + "ient es", + "ien tes", + "iente s", + "i entes", + "dis k", + "di sk", + "d isk", + "bl k", + "ne o", + "it arian", + "ita rian", + "itar ian", + "▁c ogn", + "▁co gn", + "▁s out", + "▁so ut", + "▁sou t", + "▁tr ash", + "▁tra sh", + "▁tras h", + "▁R ab", + "▁Ra b", + "▁dec line", + "▁decl ine", + "ta t", + "t at", + "▁comb ine", + "▁T ot", + "▁To t", + "▁dr ops", + "▁dro ps", + "▁drop s", + "Time s", + "Tim es", + "T imes", + "ched uler", + "chedul er", + "▁govern ments", + "▁government s", + "Te x", + "T ex", + "▁U sed", + "▁Us ed", + "▁Use d", + "▁ Used", + "▁p d", + "▁ pd", + "▁&= &", + "▁N ag", + "▁Na g", + "▁Al ways", + "rt c", + "r tc", + "rupt ed", + "rup ted", + "▁man agers", + "▁manager s", + "▁manage rs", + "▁P itt", + "▁Pi tt", + "▁myst ery", + "▁myster y", + "ul se", + "uls e", + "cr oss", + "cro ss", + "c ross", + "quest ion", + "as ha", + "ash a", + "a sha", + "se ed", + "see d", + "s eed", + "ur able", + "ura ble", + "Fin al", + "Fi nal", + "F inal", + "++ ++", + "input s", + "▁back up", + "▁ backup", + "▁Le arning", + "▁Lear ning", + "▁Learn ing", + "▁* ,", + "▁ *,", + "lo go", + "log o", + "l ogo", + "▁se inen", + "▁sein en", + "▁seine n", + "▁sei nen", + "▁vulner able", + "direct ory", + "i ë", + "▁friend ship", + "▁friends hip", + "t u", + "▁V ec", + "▁Ve c", + "▁ Vec", + "rif ice", + "rific e", + "▁inv olve", + "▁invol ve", + "TO N", + "T ON", + "▁cor rid", + "se par", + "sep ar", + "Dest roy", + "▁j ul", + "▁ju l", + "▁inequ ality", + "▁a in", + "▁ai n", + "▁ ain", + "he x", + "h ex", + "▁w ider", + "▁wide r", + "▁wid er", + "▁j ack", + "▁ja ck", + "▁ jack", + "▁qu ot", + "▁ quot", + "▁G len", + "▁Gl en", + "▁Gle n", + "init ely", + "ih ood", + "i hood", + "▁wa ist", + "reg ular", + "▁( &", + "▁ (&", + "▁mass es", + "▁mas ses", + "▁DE FAULT", + "▁ DEFAULT", + "▁ch airs", + "▁chair s", + "▁cha irs", + "▁F ast", + "▁Fa st", + "▁ Fast", + "▁c itt", + "▁cit t", + "▁ci tt", + "_{ {\\", + "_ {{\\", + "o a", + "▁$ \\{", + "▁$\\ {", + "▁se eds", + "▁see ds", + "▁seed s", + "▁A ld", + "▁Al d", + "fa b", + "f ab", + "▁democr acy", + "DT O", + "D TO", + "▁H ij", + "▁Hi j", + "PT R", + "P TR", + "N a", + "▁Har vard", + "si d", + "s id", + "Pr ed", + "Pre d", + "P red", + "fer s", + "fe rs", + "f ers", + "▁s pare", + "▁sp are", + "AM P", + "A MP", + "▁g roupe", + "▁group e", + "▁s ender", + "▁se nder", + "▁send er", + "▁sen der", + "▁ sender", + "▁Christ opher", + "▁prisoner s", + "▁K er", + "▁Ke r", + "▁C rist", + "▁Cr ist", + "▁Cris t", + "▁A LL", + "▁AL L", + "▁ ALL", + "ri ce", + "ric e", + "r ice", + "▁an tes", + "▁ant es", + "▁ante s", + "▁ antes", + "nat ural", + "▁Su san", + "▁Sus an", + "▁J uli", + "▁Jul i", + "▁Ju li", + "▁di ab", + "▁dia b", + "ix on", + "ic ator", + "ica tor", + "▁flex ible", + "▁re serve", + "Cont ains", + "▁H il", + "▁Hi l", + "▁I sa", + "▁Is a", + "▁tow ns", + "G S", + "▁T rad", + "▁Tr ad", + "▁Tra d", + "▁L ock", + "▁Loc k", + "▁Lo ck", + "▁ Lock", + "▁G rund", + "▁Gr und", + "▁Gru nd", + "▁crit icism", + "▁c ă", + "▁polit ician", + "st able", + "sta ble", + "s table", + "Ac cept", + "Sum mary", + "▁tamb ém", + "▁també m", + "}^ {-", + "}^{ -", + "} ^{-", + "▁I M", + "▁ IM", + "id al", + "ida l", + "i dal", + "Bl ue", + "GRO UP", + "▁term inal", + "▁termin al", + "▁complex ity", + "▁loc ally", + "▁local ly", + "DO WN", + "▁N ear", + "▁Ne ar", + "Dep th", + "▁p ole", + "▁pol e", + "▁po le", + "▁e quality", + "▁equ ality", + "▁equal ity", + "Si te", + "S ite", + "▁is instance", + "Sp eed", + "Spe ed", + "S peed", + "ip pi", + "ipp i", + ", &", + "▁E nc", + "▁En c", + "▁ Enc", + "▁ma ter", + "▁mate r", + "▁sl aves", + "▁slave s", + "▁sla ves", + "AC TION", + "ACT ION", + "A CTION", + "usal em", + "usa lem", + "▁h az", + "▁ha z", + "▁Be at", + "▁w rest", + "▁wr est", + "▁l lam", + "▁ll am", + "In s", + "I ns", + "▁бу в", + "▁Fr ame", + "▁Fra me", + "▁ Frame", + "us hes", + "ush es", + "▁virtual ly", + "▁virt ually", + "▁P erm", + "▁Per m", + "▁Pe rm", + "▁ Perm", + "▁we ights", + "▁weight s", + "▁weigh ts", + "▁ weights", + "▁ll vm", + "▁ llvm", + "▁c ave", + "▁ca ve", + "▁cav e", + "st ates", + "state s", + "stat es", + "sta tes", + "DM A", + "D MA", + "el lt", + "ell t", + "if act", + "ifa ct", + "i fact", + "v endor", + "▁E mma", + "▁Em ma", + "Loc ale", + "Local e", + "▁S ET", + "▁SE T", + "▁ SET", + "▁ge ometry", + "▁ geometry", + "St yles", + "Style s", + "▁Ref eree", + "▁Refer ee", + "▁we it", + "fi ca", + "fic a", + "f ica", + "▁a ds", + "▁ad s", + "▁ ads", + "gr ay", + "gra y", + "g ray", + "▁B urg", + "▁Bur g", + "▁Bu rg", + "ion a", + "io na", + "i ona", + "dag ger", + "d agger", + "▁Jan uar", + "ister schaft", + "pp o", + "p po", + "oid s", + "oi ds", + "o ids", + "▁dé part", + "Sh ader", + "▁con straint", + "▁constr aint", + "▁ constraint", + "Se cret", + "Sec ret", + "▁P eters", + "▁Pe ters", + "▁Peter s", + "▁Pet ers", + "▁Pete rs", + "▁ey eb", + "▁eye b", + "▁m esh", + "▁me sh", + "▁mes h", + "▁ mesh", + "▁c ookie", + "▁cook ie", + "▁ cookie", + "▁P ick", + "▁Pic k", + "▁Pi ck", + "▁n ick", + "▁ni ck", + "▁nic k", + "▁ nick", + "by e", + "b ye", + "▁sav ings", + "▁saving s", + "Tr y", + "T ry", + "py thon", + "▁p atri", + "▁pat ri", + "▁pa tri", + "▁mul tip", + "▁ multip", + "▁k inda", + "▁kind a", + "▁kin da", + "▁' _", + "▁ '_", + "▁Fr anz", + "▁Fran z", + "▁cl oth", + "▁clo th", + "▁human ity", + "re sa", + "res a", + "r esa", + "bl ob", + "blo b", + "▁T X", + "▁ TX", + "▁B uch", + "▁Bu ch", + "▁Buc h", + "▁L ond", + "▁Lo nd", + "▁val ley", + "▁m urm", + "▁mur m", + "▁mu rm", + "▁T rade", + "▁Tr ade", + "▁Tra de", + "▁Trad e", + "line width", + "▁e special", + "▁espec ial", + "up per", + "upp er", + "▁h osp", + "▁ho sp", + "▁t anto", + "▁tan to", + "▁tant o", + "▁ol dest", + "▁R oose", + "▁Ro ose", + "▁h itting", + "▁hit ting", + "do g", + "d og", + "ov i", + "o vi", + "}, \r", + "} ,\r", + "▁compat ible", + "▁ compatible", + "▁We bsite", + "▁Web site", + "po ch", + "p och", + "▁B ag", + "▁Ba g", + "▁ Bag", + "▁accompl ish", + "▁accomp lish", + "Ch rist", + "as set", + "ass et", + "asse t", + "▁U ntil", + "▁Un til", + "▁ Until", + "▁g eld", + "▁ge ld", + "▁gel d", + "List en", + "Li sten", + "L isten", + "S B", + "Set up", + "ic ia", + "ici a", + "i cia", + "▁l um", + "▁lu m", + "▁jan vier", + "PA GE", + "P AGE", + "▁N u", + "/ \"", + "▁divor ce", + "Ex ecute", + "Execut e", + "Exec ute", + "De pend", + "Dep end", + "▁T s", + "ru ppe", + "rup pe", + "▁ref use", + "▁Ok tober", + "ij k", + "i jk", + "▁A my", + "▁Am y", + "▁di min", + "▁dim in", + "▁g ross", + "▁gr oss", + "▁gro ss", + "▁t rat", + "▁tr at", + "▁tra t", + "is ible", + "isi ble", + "mix er", + "m ixer", + "▁aut res", + "▁au tres", + "▁autre s", + "▁ autres", + "▁ne at", + "▁ot ros", + "▁otro s", + "Vo id", + "V oid", + "▁sc hol", + "▁Wal ker", + "▁Walk er", + "▁t ube", + "▁tu be", + "▁tub e", + "olog ists", + "ologist s", + "▁h aben", + "▁hab en", + "▁ha ben", + "ub er", + "ube r", + "u ber", + "ACT IVE", + "▁Att endance", + "▁bl ade", + "opl us", + "o plus", + "▁Or iginal", + "▁Origin al", + "▁ Original", + "▁manufact urer", + "as z", + "a sz", + "ât e", + "â te", + "re r", + "r er", + "▁J son", + "▁ Json", + "▁succeed ed", + "uff le", + "▁b acked", + "▁back ed", + "es ian", + "esi an", + "ti ck", + "t ick", + "Ex ternal", + "▁he arts", + "▁heart s", + "▁hear ts", + "ol u", + "o lu", + "VI CE", + "V ICE", + "ár io", + "á rio", + "▁fr aud", + "▁fra ud", + "ed u", + "e du", + "Pr imary", + "Prim ary", + "▁g aming", + "▁gam ing", + "▁ga ming", + "▁p lt", + "▁pl t", + "ig ator", + "iga tor", + "IE S", + "I ES", + "Comp iler", + "▁mon ument", + "ag em", + "age m", + "a gem", + "▁R ain", + "▁Ra in", + "▁mo ins", + "ok u", + "o ku", + "os ex", + "ose x", + "o sex", + "▁K ansas", + "▁gep ublice", + "▁J oy", + "▁Jo y", + "Sc ene", + "ri ces", + "ric es", + "rice s", + "r ices", + "▁ju in", + "▁uncomfort able", + "▁M oney", + "▁Mon ey", + "▁Mo ney", + "ob b", + "o bb", + "ex pl", + "exp l", + "str cmp", + "▁d read", + "▁dr ead", + "▁dre ad", + "rit ion", + "r ition", + "▁C hi", + "▁Ch i", + "▁demonstr ated", + "▁demonstrate d", + "▁vert ices", + "▁C ulture", + "▁ Culture", + "F X", + "D ictionary", + "▁D ru", + "▁Dr u", + "tr m", + "t rm", + "▁ex amine", + "▁exam ine", + "▁the rap", + "▁ther ap", + "i ème", + "▁produ ces", + "▁produce s", + "▁photograph s", + "▁thread s", + "▁ threads", + "▁M I", + "▁ MI", + "▁extraord inary", + "▁gepublice erd", + "▁guarante ed", + "▁guarantee d", + "R G", + "os c", + "o sc", + "err no", + "sc ience", + "if fs", + "iff s", + "▁Ta m", + "▁B eth", + "▁Be th", + "▁Bet h", + "▁Tr avel", + "▁Tra vel", + "▁trans late", + "▁transl ate", + "▁ translate", + "ch é", + "▁l ing", + "▁li ng", + "▁lin g", + "▁ ling", + "▁bel ongs", + "▁belong s", + "▁elect rical", + "▁electric al", + "en sk", + "ens k", + "▁Com pet", + "▁Comp et", + "c g", + "V C", + "to pic", + "top ic", + "t opic", + "▁pre sum", + "▁pres um", + "▁approxim ation", + "▁approx imation", + "▁g rim", + "▁gr im", + "▁gri m", + "_{ (", + "_ {(", + "uti on", + "ow ych", + "owy ch", + "å g", + "ster reich", + "▁character istic", + "om ing", + "omin g", + "omi ng", + "o ming", + "▁/* !", + "▁ /*!", + "▁pr ize", + "▁pri ze", + "▁Minn esota", + "▁O m", + "▁ Om", + "▁ind ices", + "▁indic es", + "▁ indices", + "▁s tem", + "▁st em", + "▁ste m", + "re gon", + "reg on", + "ни че", + "▁Sal v", + "▁Sa lv", + "és e", + "é se", + "▁a ged", + "▁ag ed", + "▁age d", + "▁ aged", + "▁P ast", + "▁Pa st", + "▁Pas t", + "▁intern ation", + "▁V ic", + "▁Vi c", + "▁res ume", + "▁ resume", + "akespe are", + "▁est ado", + "▁esta do", + "▁estad o", + "▁ab ilities", + "▁ abilities", + "▁b row", + "▁br ow", + "▁bro w", + "▁N FL", + "▁tr ends", + "▁trend s", + "▁tren ds", + "▁Aust in", + "▁L IMIT", + "▁LI MIT", + "▁ LIMIT", + "▁K or", + "▁Ko r", + "▁fol k", + "▁ folk", + "▁w ard", + "▁war d", + "▁wa rd", + "▁ ward", + "▁n est", + "▁ne st", + "▁Jun ior", + "▁Juni or", + "▁maint aining", + "▁maintain ing", + "P ub", + "OB JECT", + "▁blo ody", + "▁blood y", + "▁s j", + "▁d type", + "▁dt ype", + "▁ dtype", + "Pan e", + "P ane", + "▁b acter", + "▁grad ually", + "▁gradu ally", + "m r", + "Te am", + "▁ind icating", + "▁indic ating", + "▁decre ase", + "te k", + "t ek", + "▁Re present", + "▁Rep resent", + "▁develop ers", + "▁developer s", + "Gu id", + "Gui d", + "G uid", + "▁D iet", + "▁Die t", + "▁Di et", + "▁re tr", + "▁r etr", + "▁ret r", + "Nav igation", + "es i", + "e si", + "▁l azy", + "▁la zy", + "Stand ard", + "E r", + "A W", + "▁Ét ats", + "▁ass ured", + "▁assure d", + "Sa n", + "S an", + "▁Andr e", + "’ ,", + "fa ng", + "fan g", + "f ang", + "ér ation", + "▁indust ries", + "▁in con", + "▁inc on", + "Em it", + "E mit", + "▁ret riev", + "▁retr iev", + "en i", + "e ni", + "▁Tur key", + "▁Turk ey", + "iz ers", + "ize rs", + "izer s", + "An gle", + "Ang le", + "▁o c", + "▁ oc", + "▁pal m", + "▁pa lm", + "▁s tan", + "▁st an", + "▁sta n", + "▁ stan", + "▁C SS", + "▁CS S", + "▁ CSS", + "▁fr ances", + "▁franc es", + "▁g rin", + "▁gr in", + "▁gri n", + "▁tiem po", + "▁P rix", + "▁Pr ix", + "▁Pri x", + "]) .", + "] ).", + "▁de put", + "▁dep ut", + "▁P in", + "▁Pi n", + "▁ Pin", + "▁si xt", + "▁six t", + "▁predict ed", + "▁pred icted", + "az ure", + "azu re", + "▁Mo tor", + "▁Mot or", + "▁i hm", + "▁ih m", + "▁man us", + "ap os", + "a pos", + "▁instr uments", + "▁instrument s", + "▁co unts", + "▁coun ts", + "▁count s", + "▁aim ed", + "▁ai med", + "▁ aimed", + "pro fit", + "prof it", + "▁d ok", + "▁do k", + "▁e stud", + "▁est ud", + "ie sz", + "ies z", + "i esz", + "▁p iss", + "▁pi ss", + "▁in aug", + "▁vo ters", + "▁vote rs", + "▁vot ers", + "▁pack ages", + "▁package s", + "▁ packages", + "▁c ute", + "▁cut e", + "▁cu te", + "▁f itness", + "▁fit ness", + "▁l eurs", + "▁le urs", + "▁leur s", + "▁s orted", + "▁sort ed", + "▁sor ted", + "ph ant", + "pha nt", + "phan t", + "OP T", + "O PT", + "▁z ip", + "▁ zip", + "se ason", + "sea son", + "em i", + "e mi", + "enc oding", + "wo n", + "w on", + "el ect", + "ele ct", + "e lect", + "▁t ooth", + "▁to oth", + "▁too th", + "▁up coming", + "▁G raham", + "▁Gra ham", + "nu t", + "n ut", + "▁Ar k", + "äl t", + "ä lt", + "▁prec ious", + "ag le", + "a gle", + "né e", + "n ée", + "ar is", + "ari s", + "a ris", + "▁p ile", + "▁pi le", + "▁pil e", + "co le", + "col e", + "c ole", + "▁W ITH", + "▁WIT H", + "▁ WITH", + "rou ting", + "r outing", + "▁* **", + "▁** *", + "▁ ***", + "Appe arance", + "ll vm", + "▁O liver", + "▁Ol iver", + "▁P L", + "▁ PL", + "if ndef", + "et zt", + "etz t", + "sk iego", + "ski ego", + "▁p on", + "▁po n", + "▁ pon", + "AR GET", + "ARG ET", + "k ö", + "▁= \\", + "▁ =\\", + "su re", + "sur e", + "s ure", + "mat ches", + "match es", + "▁temper atures", + "▁temperature s", + "SE L", + "S EL", + "▁cl one", + "▁clo ne", + "▁ clone", + "▁el ler", + "▁elle r", + "▁ell er", + "▁ eller", + "er na", + "ern a", + "Man agement", + "comp any", + "▁l un", + "▁lu n", + "▁stre aming", + "▁stream ing", + "▁N i", + "▁s í", + "Cont act", + "▁C redit", + "▁Cr edit", + "▁Cre dit", + "▁O ak", + "▁пред став", + "rad ius", + "cl i", + "c li", + "IE NT", + "I ENT", + "▁Lu cy", + "▁Luc y", + "▁calcul ation", + "▁calc ulation", + "▁p ixel", + "▁ pixel", + "▁m ul", + "▁mu l", + "▁ mul", + "▁out comes", + "▁outcome s", + "▁cent ers", + "▁center s", + "▁resid ence", + "Con straint", + "▁pre serve", + "▁pres erve", + "▁preserv e", + "pe on", + "uf fix", + "uff ix", + "▁Rober ts", + "▁Robert s", + "▁Rob erts", + "▁pro mot", + "bal ance", + "▁dis g", + "▁di sg", + "PR INT", + "PRI NT", + "el fare", + "elf are", + "▁ret reat", + "Co st", + "C ost", + "al so", + "als o", + "▁F ür", + "▁Mär z", + "DI O", + "D IO", + "▁b ez", + "▁be z", + "▁ bez", + "AUT H", + "AU TH", + "De n", + "D en", + "▁a tom", + "▁at om", + "▁ atom", + "▁r oman", + "▁ro man", + "▁rom an", + "▁P el", + "▁Pe l", + "▁Roose velt", + "▁Pl ant", + "▁Plan t", + "Cont ents", + "Content s", + "▁cou pling", + "▁coup ling", + "str ucture", + "struct ure", + "▁Mar shall", + "▁Mars hall", + "▁Marshal l", + "▁Care er", + "▁Bur eau", + "▁poss ibilities", + "▁k or", + "▁ko r", + "▁ kor", + "){ \r", + ") {\r", + "mer o", + "me ro", + "m ero", + "mo v", + "m ov", + "анг л", + "AI N", + "A IN", + "mu nd", + "mun d", + "m und", + "let te", + "lett e", + "l ette", + "▁sum mar", + "▁describ ing", + "▁NA S", + "▁E mb", + "▁Em b", + "▁ Emb", + "Inst ruction", + "li est", + "lie st", + "l iest", + "▁S ig", + "▁Si g", + "▁ Sig", + "Bi ll", + "B ill", + "▁v erd", + "▁ver d", + "▁ve rd", + "pl ant", + "plan t", + "▁galax ies", + "\"] )", + "\" ])", + "▁Py Object", + "▁ PyObject", + "▁G y", + "▁m ě", + "▁organ isation", + "▁organis ation", + "He r", + "H er", + "Se p", + "S ep", + "oc om", + "oco m", + "o com", + "▁S ame", + "▁Sam e", + "▁Sa me", + "▁ Same", + "▁b ite", + "▁bit e", + "▁bi te", + "▁Se attle", + "Ob server", + "Observ er", + "’ .", + "▁m orph", + "▁mor ph", + "al ph", + "re ement", + "ree ment", + "con sin", + "cons in", + "^ -", + "▁d ann", + "▁da nn", + "▁dan n", + "trans late", + "transl ate", + "ви х", + "Re act", + "▁c ats", + "▁cat s", + "▁ca ts", + "▁b rew", + "▁br ew", + "▁bre w", + "▁ brew", + "▁d s", + "▁ ds", + "▁cir cles", + "▁circ les", + "▁circle s", + "▁d rift", + "▁dr ift", + "▁dri ft", + "ag ma", + "▁Val ent", + "PI N", + "P IN", + "AR M", + "A RM", + "▁sur viv", + "▁surv iv", + "al in", + "ali n", + "a lin", + "Pr ef", + "Pre f", + "P ref", + "friend ly", + "▁uncertain ty", + "▁f d", + "▁ fd", + "▁engine er", + "Be n", + "B en", + "ic ular", + "i cular", + "or est", + "ore st", + "ores t", + "o rest", + "▁hor izontal", + "▁horizon tal", + "▁ horizontal", + "UT C", + "U TC", + "text rm", + "tex trm", + "Li ve", + "L ive", + "Sc ore", + "S core", + "▁Germ ans", + "▁Ger mans", + "di stance", + "dist ance", + "d istance", + "ut i", + "u ti", + "▁é qu", + "▁ équ", + "▁numer ical", + "▁re ass", + "Act iv", + "▁c od", + "▁co d", + "▁ cod", + "bul let", + "en sing", + "ens ing", + "▁G em", + "▁Ge m", + "▁nav igation", + "▁navig ation", + "▁ navigation", + "add Class", + "▁simultane ously", + "▁йо го", + "▁й ого", + "▁H ö", + "▁har sh", + "prec ated", + "p recated", + "▁Equ ip", + "ad get", + "▁T YPE", + "▁ TYPE", + "▁m g", + "▁ mg", + "IG H", + "▁v in", + "▁vi n", + "▁ vin", + "▁fin dings", + "▁find ings", + "▁finding s", + "iv an", + "iva n", + "i van", + "▁pos session", + "▁poss ession", + "▁possess ion", + "▁т ого", + "▁par sed", + "▁parse d", + "▁ parsed", + "ri ors", + "rior s", + "rio rs", + "r iors", + "zeich net", + "Work er", + "▁en ables", + "▁enable s", + "▁( $\\", + "▁($ \\", + "▁C opy", + "▁Co py", + "▁Cop y", + "▁ Copy", + "▁orient ation", + "▁Ind ians", + "▁India ns", + "▁Indian s", + "▁G ary", + "▁Gar y", + "▁Ga ry", + "▁Ins urance", + "is an", + "isa n", + "i san", + "Ch at", + "C hat", + "▁com un", + "▁co mun", + "▁co ron", + "▁cor on", + "up dated", + "update d", + "The se", + "Th ese", + "SE C", + "S EC", + "▁boy friend", + "Di agnostics", + "Hi nt", + "H int", + "mu l", + "m ul", + "▁in ode", + "▁i node", + "▁ inode", + "x A", + "ef t", + "e ft", + "OP TION", + "OPT ION", + "un ct", + "unc t", + "an non", + "ann on", + "anno n", + "EN S", + "E NS", + "st rip", + "str ip", + "stri p", + "▁enthus i", + "▁W hit", + "au de", + "aud e", + "a ude", + "▁disag ree", + "▁sn apped", + "▁snap ped", + "Ph ys", + "▁S yn", + "▁Sy n", + "▁s our", + "▁so ur", + "▁sou r", + "▁L ux", + "▁Lu x", + "ug ar", + "uga r", + "u gar", + "til e", + "ti le", + "t ile", + "▁in fection", + "▁inf ection", + "▁infect ion", + "▁C hem", + "▁Ch em", + "▁Che m", + "data set", + "dat aset", + "ch ts", + "cht s", + "D ynamic", + "▁qu een", + "▁que en", + "work er", + "wor ker", + "sw ap", + "▁tim estamp", + "▁ timestamp", + "▁In tegr", + "▁Int egr", + "▁ Integr", + "▁inter views", + "▁interview s", + "su ch", + "s uch", + "▁l aughter", + "▁laugh ter", + "pro f", + "pr of", + "▁B ird", + "▁Bi rd", + "▁Bir d", + "( |", + "â n", + "▁ gra", + "& =", + "ze ns", + "zen s", + "z ens", + "get Message", + "▁O st", + "▁Os t", + "▁g ab", + "▁ga b", + "▁mort gage", + "mult icol", + "multi col", + "LE VEL", + "part ition", + "se en", + "see n", + "s een", + "▁dec lar", + "▁decl ar", + "A U", + "▁o x", + "▁ ox", + "▁l igger", + "▁lig ger", + "▁C arm", + "▁Car m", + "▁Ca rm", + "ge me", + "gem e", + "g eme", + "▁Ve gas", + "▁Veg as", + "▁E ug", + "▁Eu g", + "or us", + "o rus", + "▁b rick", + "▁br ick", + "▁as í", + "HasColumn Type", + "V R", + "lic her", + "li cher", + "lich er", + "liche r", + "l icher", + "▁F uture", + "▁Fut ure", + "▁ Future", + "▁J ug", + "▁Ju g", + "at tan", + "att an", + "atta n", + "con structor", + "construct or", + "V P", + "Comp arator", + "Compar ator", + "▁aut hentic", + "▁mon ster", + "▁trans formed", + "▁transform ed", + "▁firm s", + "▁fir ms", + "F W", + "▁c atalog", + "▁catal og", + "▁ catalog", + "bo ards", + "board s", + "▁dise ases", + "▁disease s", + "▁Benj amin", + "▁hor izon", + "▁Av ailable", + "▁ Available", + "M vc", + "St ud", + "▁l ord", + "▁lo rd", + "▁ lord", + "gen eral", + "gener al", + "▁cab inet", + "▁cabin et", + "▁Bas ic", + "▁ Basic", + "Test Case", + "an sk", + "ans k", + "▁S now", + "▁Sn ow", + "ier ten", + "iert en", + "ierte n", + "i erten", + "▁vo cal", + "Pad ding", + "P adding", + "ha lt", + "hal t", + "h alt", + "▁Alex and", + "▁Col omb", + "iv amente", + "iva mente", + "▁art ificial", + "▁Atl anta", + "▁m entre", + "▁men tre", + "▁ment re", + "▁est aba", + "▁estab a", + "▁esta ba", + "je kt", + "jek t", + "j ekt", + "▁sle pt", + "▁end less", + "▁endl ess", + "ér o", + "é ro", + "at tery", + "att ery", + "atter y", + "atte ry", + "uu r", + "u ur", + "▁weak ness", + "▁attempt ing", + "BY TE", + "▁fo under", + "▁fou nder", + "▁sa lv", + "▁sal v", + "▁Medic ine", + "ti d", + "t id", + "▁Sch we", + "▁Schw e", + "▁ ¿", + "cr ate", + "c rate", + "SER VER", + "▁comp ound", + "▁con ve", + "▁conv e", + "▁c af", + "▁ca f", + "▁hand ful", + "on ne", + "úblic a", + "▁def ensive", + "▁defens ive", + "Al ignment", + "Align ment", + "▁pr éc", + "▁pré c", + "▁signific ance", + "él é", + "é lé", + "ar ta", + "art a", + "Da m", + "D am", + "▁per pet", + "▁c aller", + "▁call er", + "▁cal ler", + "ic ients", + "ici ents", + "icient s", + "ce p", + "c ep", + "▁Mult i", + "▁Mul ti", + "▁ Multi", + "▁st olen", + "▁sto len", + "▁stole n", + "▁focus ing", + "em bed", + "emb ed", + "▁b ree", + "▁br ee", + "▁bre e", + "▁A B", + "▁ AB", + "▁occasion s", + "▁occas ions", + "se a", + "s ea", + "Pro v", + "Pr ov", + "P rov", + "▁C ategory", + "▁ Category", + "▁s q", + "▁ sq", + "V A", + "Di ff", + "D iff", + "Tr i", + "T ri", + "iss ement", + "isse ment", + "▁act ress", + "▁j ej", + "▁je j", + "▁tw isted", + "▁twist ed", + "▁N icol", + "▁Nic ol", + "▁Ni col", + "▁jun ior", + "▁junio r", + "▁juni or", + "So und", + "S ound", + "▁Bra sil", + "▁Bras il", + "▁ju ice", + "▁> >>", + "▁>> >", + "▁ >>>", + "▁A lb", + "▁soft ly", + "▁Mc K", + "▁G ren", + "▁Gr en", + "▁Gre n", + "▁ital iano", + "▁cre atures", + "▁creat ures", + "▁creature s", + "▁res idential", + "▁resident ial", + "▁resid ential", + "▁Inst agram", + "▁k iller", + "▁kill er", + "▁kil ler", + "▁John ny", + "▁enter prise", + "D to", + "ch estra", + "chestr a", + "▁T el", + "▁Te l", + "▁Act iv", + "▁ Activ", + "fa ctor", + "fac tor", + "fact or", + "f actor", + "ou st", + "ous t", + "o ust", + "▁vac uum", + "') ->", + "' )->", + "▁L eft", + "▁Le ft", + "▁ Left", + "▁de fect", + "▁def ect", + "▁defe ct", + "▁nine te", + "▁nin ete", + "fa re", + "far e", + "f are", + "▁reg ret", + "▁s har", + "▁sh ar", + "▁sha r", + "ctr ine", + "me sh", + "mes h", + "m esh", + "ci ty", + "cit y", + "c ity", + "ici t", + "i cit", + "▁F em", + "▁Fe m", + "lim ited", + "limit ed", + "ok a", + "o ka", + "!\\ !\\", + "Don ald", + "з но", + "▁pro vision", + "▁prov ision", + "▁discuss ions", + "▁discussion s", + "Dr ag", + "D rag", + "▁In cl", + "▁Inc l", + "Ex it", + "E xit", + "▁A bd", + "▁Ab d", + "st ory", + "sto ry", + "ie ve", + "iev e", + "i eve", + "▁by ł", + "ol ving", + "olv ing", + "woh ner", + "▁gu idelines", + "▁guide lines", + "▁guid elines", + "▁st raw", + "▁str aw", + "▁stra w", + "ü ss", + "▁бу ло", + "▁bur den", + "▁spat ial", + "▁stret ched", + "▁stretch ed", + "▁I nf", + "▁ Inf", + "▁type def", + "▁typed ef", + "▁ro bot", + "▁rob ot", + "▁D oc", + "▁Do c", + "▁ Doc", + "pl iers", + "plier s", + "wa l", + "w al", + "ca mp", + "cam p", + "c amp", + "▁dif fé", + "▁diff é", + "▁t el", + "▁te l", + "ar ette", + "aret te", + "▁sub sequently", + "▁h oney", + "▁hon ey", + "▁ho ney", + "FUN C", + "te sy", + "tes y", + "▁któ ry", + "▁F O", + "▁ FO", + "▁m p", + "▁ mp", + "Scal ar", + "▁Y an", + "▁Ya n", + "ck en", + "cke n", + "c ken", + "▁var iation", + "▁vari ation", + "i ą", + "op tim", + "opt im", + "az or", + "tu ple", + "t uple", + "▁gr avity", + "▁grav ity", + "▁con clude", + "▁concl ude", + "▁col lections", + "▁collection s", + "▁collect ions", + "▁colle ctions", + "és z", + "é sz", + "▁L iver", + "▁Li ver", + "▁Live r", + "▁Liv er", + "comp ile", + "▁p arl", + "▁par l", + "▁pa rl", + "Sur face", + "{ '", + "▁par agraph", + "▁para graph", + "▁ paragraph", + "pos ite", + "po site", + "ít ulo", + "ob a", + "o ba", + "bin ary", + "b inary", + "ro b", + "r ob", + "▁Pe dro", + "▁Ped ro", + "▁f is", + "▁fi s", + "▁Gr ande", + "▁Grand e", + "▁Gran de", + "▁Gra nde", + "odo x", + "▁pos ting", + "▁post ing", + "< !--", + "▁rac ial", + "CO M", + "C OM", + "▁A UT", + "▁AU T", + "▁ AUT", + "▁d ishes", + "▁dis hes", + "▁dish es", + "assert True", + "▁G row", + "▁Gr ow", + "▁Gro w", + "▁sl id", + "▁ju illet", + "Run ner", + "Sa l", + "S al", + "Sa me", + "Sam e", + "S ame", + "▁Stud y", + "▁Col onel", + "▁J oin", + "▁Jo in", + "▁ Join", + "ar ms", + "arm s", + "▁cur ves", + "▁curve s", + "▁curv es", + "He alth", + "▁M OD", + "▁MO D", + "▁ MOD", + "▁pr imo", + "▁prim o", + "▁pri mo", + "ock ets", + "ocket s", + "multi column", + "multicol umn", + "▁H unter", + "▁Hun ter", + "▁Hunt er", + "Custom er", + "ot hy", + "oth y", + "o thy", + "Des ign", + "De sign", + "ma ss", + "mas s", + "m ass", + "▁fam ille", + "▁famil le", + "▁fue ron", + "▁fu eron", + "▁fuer on", + "ä m", + "▁d ign", + "▁di gn", + "▁dig n", + "▁Ro bin", + "▁Rob in", + "▁me ets", + "▁meet s", + "▁so it", + ")\" );", + ") \");", + "▁w rapper", + "▁wrap per", + "▁ wrapper", + "▁theoret ical", + "▁u d", + "▁ ud", + "pl icity", + "plic ity", + "plicit y", + "▁w p", + "▁ wp", + "▁c amps", + "▁camp s", + "▁cam ps", + "▁A gency", + "▁Ag ency", + "g c", + "hu m", + "h um", + "AT T", + "A TT", + "B tn", + "C ent", + "▁H elen", + "▁He len", + "▁Hel en", + "▁am plit", + "▁ampl it", + "und ial", + "SH IFT", + "wi k", + "w ik", + "▁Lie utenant", + "VAL ID", + "▁B ath", + "▁Ba th", + "▁Bat h", + "▁Jeff erson", + "▁C ut", + "▁Cu t", + "▁ Cut", + "▁ser vers", + "▁serv ers", + "▁server s", + "▁serve rs", + "▁ servers", + "ly ph", + "▁CO PY", + "▁COP Y", + "▁comput ers", + "▁computer s", + "▁compute rs", + "const ruction", + "construct ion", + "▁P DF", + "▁PD F", + "▁ PDF", + "▁pro tagon", + "▁prot agon", + "▁fore head", + "custom er", + "Un is", + "U nis", + "▁sign ing", + "▁sig ning", + ". ’", + "F etch", + "▁S core", + "▁Sc ore", + "▁ Score", + "hu man", + "hum an", + "h uman", + "▁down town", + "▁downt own", + "In tern", + "Int ern", + "Inter n", + "▁bes ides", + "▁beside s", + "▁c c", + "▁ cc", + "▁D ebug", + "▁De bug", + "▁Deb ug", + "▁ Debug", + "▁Cl ose", + "▁ Close", + "el ihood", + "eli hood", + "▁al gorithms", + "▁algorithm s", + "▁H amb", + "▁Ham b", + "▁Ha mb", + "▁c ust", + "▁cu st", + "▁mo unted", + "▁mount ed", + "par en", + "pa ren", + "pare n", + "p aren", + "▁isol ated", + "▁A gr", + "▁Ag r", + "▁or bit", + "▁orb it", + "print k", + "▁t urb", + "▁tu rb", + "▁tur b", + "▁gru po", + "\"\" \"", + "\" \"\"", + "▁h ills", + "▁hill s", + "▁B od", + "▁Bo d", + "est one", + "esto ne", + "eston e", + "e stone", + "▁satisf ying", + "▁satisfy ing", + "▁I van", + "▁Iv an", + "▁associ ate", + "name d", + "na med", + "nam ed", + "n amed", + "oc cup", + "occ up", + "GP IO", + "G PIO", + "hi t", + "h it", + "▁dis tract", + "▁di stract", + "▁dist ract", + "▁bar rel", + "▁barr el", + "▁in variant", + "di d", + "d id", + "▁l ieu", + "▁li eu", + "▁lie u", + "sc ene", + "UN K", + "▁M ission", + "▁Miss ion", + "zi al", + "z ial", + "▁comp ete", + "▁compet e", + "▁cou ples", + "▁couple s", + "▁coup les", + "SH A", + "S HA", + "▁s ei", + "▁se i", + "▁m igration", + "▁migr ation", + "ac ked", + "ack ed", + "▁b arn", + "▁bar n", + "▁ba rn", + "hal f", + "h alf", + "▁neigh bour", + "▁neighb our", + "ft e", + "f te", + "▁od ds", + "▁odd s", + "▁optim ization", + "▁H end", + "▁He nd", + "▁Hen d", + "pay ment", + "M r", + "') :", + "' ):", + "vo ir", + "v oir", + "▁R ange", + "▁Rang e", + "▁Ran ge", + "▁ Range", + "▁polit icians", + "▁politician s", + "▁shel ter", + "▁tim ing", + "▁ti ming", + "Create d", + "Creat ed", + "C reated", + "▁sept embre", + "li t", + "l it", + "▁S hel", + "▁She l", + "▁Sh el", + "▁c ouch", + "▁co uch", + "▁cou ch", + "▁d är", + "ult ur", + "▁G iov", + "▁Gi ov", + "ô le", + "RE AM", + "▁M B", + "▁ MB", + "▁lie gt", + "▁o v", + "▁ ov", + "▁car pet", + "▁го дина", + "▁годи на", + "▁S ão", + "ab ling", + "abl ing", + "a bling", + "▁purs ue", + "▁Const itution", + "an j", + "▁F BI", + "▁ar row", + "▁arr ow", + "▁ arrow", + "ph ones", + "phone s", + "▁kn ocked", + "▁knock ed", + "▁de com", + "▁dec om", + "ie k", + "i ek", + "St rip", + "Str ip", + "▁V enez", + "▁Ven ez", + "▁Ve nez", + "▁p upp", + "▁pu pp", + "▁pup p", + "bi an", + "bia n", + "▁cot ton", + "h p", + "▁accept able", + "cuss ion", + "▁r ounds", + "▁round s", + "▁act ively", + "▁activ ely", + "▁active ly", + "▁among st", + "▁a bc", + "▁ab c", + "▁ abc", + "F M", + "Pop up", + "▁divers ity", + "us z", + "u sz", + "▁employ er", + "spec ially", + "special ly", + "▁sus pected", + "▁suspect ed", + "▁c rypt", + "▁cry pt", + "▁O scar", + "▁Os car", + "no r", + "n or", + "▁bab ies", + "▁m undo", + "▁li bert", + "▁lib ert", + "▁liber t", + "S G", + "ah ren", + "ahr en", + "a hren", + "▁magn itude", + "T M", + "' +", + "▁G ust", + "▁Gu st", + "▁gr ain", + "▁gra in", + "to Equal", + "▁m os", + "▁mo s", + "▁ mos", + "▁consist ently", + "▁consistent ly", + "▁domin ant", + "Con verter", + "Convert er", + "at able", + "ata ble", + "a table", + "▁J ag", + "▁Ja g", + "scri ptions", + "script ions", + "scription s", + "s criptions", + "x B", + "▁ ©", + "fol der", + "fold er", + "f older", + "▁sub stance", + "▁subst ance", + "L o", + "BU S", + "B US", + "bas ic", + "us sen", + "uss en", + "▁co ins", + "▁coin s", + ": -", + "▁N elson", + "▁Nel son", + "In ner", + "ograf ía", + "▁ex empl", + "▁exem pl", + "ch g", + "▁sy nd", + "▁syn d", + "dyn amic", + "d ynamic", + "ver ted", + "vert ed", + "▁EV ENT", + "▁ EVENT", + "se ek", + "see k", + "av ier", + "avi er", + "a vier", + "▁p rot", + "▁ prot", + "-- ----", + "---- --", + "--- ---", + "----- -", + "- -----", + "▁con vention", + "▁conv ention", + "▁convent ion", + "▁станов ника", + "gl ing", + "g ling", + "hor a", + "ho ra", + "h ora", + "▁wh ilst", + "ser ialize", + "serial ize", + "s erialize", + "▁R ing", + "([ '", + "( ['", + "▁c her", + "▁ch er", + "▁che r", + "▁ cher", + "сь кі", + "▁D anny", + "▁Dan ny", + "▁re aches", + "▁reach es", + "▁el igible", + "▁P arent", + "▁Par ent", + "▁Pa rent", + "▁ Parent", + "▁came ras", + "▁cam eras", + "▁camera s", + "▁discipl ine", + "▁s illy", + "▁sil ly", + "re ts", + "ret s", + "r ets", + "yt ics", + "▁Reg ional", + "▁Region al", + "▁B aby", + "▁Ba by", + "▁Bab y", + "te le", + "t ele", + "WAR NING", + "WARN ING", + "su pp", + "sup p", + "s upp", + "▁refer ring", + "▁merc h", + "ol ves", + "olve s", + "olv es", + "eme t", + "ck e", + "c ke", + "▁M unicip", + "▁Mun icip", + "Wh ite", + "▁ Ś", + "ri os", + "rio s", + "r ios", + "log ging", + "▁d x", + "▁ dx", + "ex ternal", + "▁Liber al", + "▁Lib eral", + "▁Init ialize", + "▁Initial ize", + "▁ Initialize", + "▁exhibit ion", + "▁ext ensions", + "▁extension s", + "▁extens ions", + "▁ extensions", + "ke eper", + "keep er", + "kee per", + "SY S", + "▁J ake", + "▁Ja ke", + "▁Jak e", + "fo oter", + "foot er", + "foo ter", + "▁ph ones", + "▁phone s", + "▁ phones", + "▁real m", + "▁contribut ed", + "▁contribute d", + "ME SS", + "▁For mat", + "▁Form at", + "▁ Format", + "Per iod", + "▁h id", + "▁hi d", + "▁ hid", + "▁me tres", + "▁D im", + "▁Di m", + "▁ Dim", + "ache lor", + "achel or", + "▁T ak", + "▁Ta k", + "▁g ram", + "▁gr am", + "▁gra m", + "▁ gram", + "▁M Y", + "▁ MY", + "on ders", + "ond ers", + "onder s", + "onde rs", + "'; \r", + "' ;\r", + "▁F ro", + "▁Fr o", + "▁advant ages", + "▁advantage s", + "io v", + "i ov", + "▁she ets", + "▁sheet s", + "ce mbre", + "c embre", + "ž e", + "] \r", + "▁D J", + "subset eq", + "UP DATE", + "▁b locked", + "▁bl ocked", + "▁block ed", + "▁pan els", + "▁pa nels", + "▁panel s", + "E A", + "nd e", + "n de", + "ê t", + "Bu l", + "B ul", + "▁m eters", + "▁me ters", + "▁met ers", + "▁meter s", + "jo ur", + "j our", + "▁rap port", + "▁rapp ort", + "▁J ak", + "▁Ja k", + "▁V AL", + "▁VA L", + "▁ VAL", + "▁pu p", + "▁k a", + "▁ ka", + "for ced", + "force d", + "ener gy", + "e nergy", + "▁V a", + "not es", + "no tes", + "note s", + "n otes", + "▁relax ed", + "C r", + "id ding", + "idd ing", + "▁def ines", + "▁define s", + "▁defin es", + "▁kiss ed", + "▁invas ion", + "▁sc reens", + "▁screen s", + "C trl", + "▁pass engers", + "▁passenger s", + "ation ship", + "ations hip", + "per cent", + "\\ }", + "▁be ating", + "▁beat ing", + "life ray", + "lifer ay", + "▁V M", + "▁ VM", + "▁Gab riel", + "▁g allery", + "▁gall ery", + "iv ot", + "ivo t", + "▁r ental", + "▁ren tal", + "▁rent al", + "▁sh ocked", + "▁shock ed", + "▁Ste in", + "Un e", + "U ne", + "▁kom mun", + "an ka", + "ank a", + "Re ady", + "Read y", + "tr ag", + "tra g", + "t rag", + "Al ign", + "Ali gn", + "▁ho sted", + "▁\\ (", + "▁S ession", + "▁ Session", + "ys k", + "y sk", + "Pen ding", + "P ending", + "elli gence", + "▁Never theless", + "bit ro", + "bitr o", + "ho lm", + "hol m", + "quir y", + "▁mechan ical", + "▁D é", + "an eous", + "ane ous", + "▁psych ological", + "▁a broad", + "▁ab road", + "▁a voir", + "▁av oir", + "▁separ ation", + "▁sep aration", + "▁Haw ai", + "iej sc", + "▁sub tle", + "bi rd", + "b ird", + "▁mark er", + "▁mar ker", + "▁ marker", + "▁Work ing", + "▁Wor king", + "▁h over", + "▁ho ver", + "▁ hover", + "%%%% %%%%", + "▁s oup", + "▁so up", + "▁sou p", + "Al ert", + "ch r", + "c hr", + "▁P CI", + "▁PC I", + "▁ PCI", + "▁m ús", + "ient ras", + "ien tras", + "▁St orage", + "▁Sto rage", + "▁ Storage", + "▁av ailability", + "▁op era", + "▁oper a", + "▁P roduction", + "▁Produ ction", + "▁Product ion", + "ia ne", + "ian e", + "i ane", + "▁Bet ter", + "▁B utton", + "▁But ton", + "▁ Button", + "▁Pe ace", + "▁Mor ris", + "▁s ib", + "▁si b", + "▁f iber", + "▁fi ber", + "▁fib er", + "Int ent", + "▁D esc", + "▁De sc", + "▁Des c", + "▁ Desc", + "ning en", + "n ingen", + "ze j", + "z ej", + "av an", + "ava n", + "a van", + "cover ed", + "cov ered", + "▁s yst", + "▁sy st", + "▁sys t", + "_ +", + "▁Re lig", + "▁Rel ig", + "▁s pite", + "▁sp ite", + "▁re prés", + "▁~ ~", + "▁ ~~", + "▁to xic", + "▁a pro", + "▁ap ro", + "▁apr o", + "X Y", + "▁tr ips", + "▁tri ps", + "▁trip s", + "▁pl aats", + "▁con vey", + "▁conv ey", + "▁conve y", + "Pr im", + "P rim", + "ok o", + "o ko", + "▁l obby", + "▁lob by", + "▁recommend ations", + "▁recommendation s", + "SP ACE", + "▁overwhel ming", + "ennes see", + "▁ac quire", + "▁acqu ire", + "w m", + "LOB AL", + "▁D EF", + "▁DE F", + "▁ DEF", + "je r", + "j er", + "▁re cur", + "▁rec ur", + "om men", + "omm en", + "▁j og", + "▁jo g", + "▁n ast", + "▁na st", + "▁nas t", + "▁L P", + "▁ LP", + "jo n", + "j on", + "▁w ishes", + "▁wish es", + "▁wis hes", + "▁N ancy", + "▁support ers", + "▁supp orters", + "^{ -\\", + "^{- \\", + "▁ Ä", + "▁disappoint ed", + "x D", + "li nt", + "lin t", + "l int", + "I p", + "än de", + "änd e", + "ä nde", + "end ment", + "dt ype", + "d type", + "▁di gest", + "▁dig est", + "▁Set tings", + "▁Setting s", + "▁ Settings", + "ér a", + "é ra", + "▁aggress ive", + "▁intellig ent", + "eder börd", + "ster dam", + "pc i", + "p ci", + "▁over flow", + "▁ overflow", + "re ach", + "rea ch", + "r each", + "cept or", + "cep tor", + "▁yield s", + "▁Se bast", + "▁ut ility", + "▁util ity", + "▁fac ulty", + "▁In ternal", + "▁Intern al", + "▁Inter nal", + "▁ Internal", + "▁attract ed", + "▁attra cted", + "рі в", + "р ів", + "▁mix ing", + "▁R uth", + "▁Ru th", + "▁esc aped", + "▁escape d", + "▁E asy", + "▁dr ain", + "▁r ings", + "▁ring s", + "▁ rings", + "qu ire", + "quir e", + "Av ailable", + "▁conv ince", + "▁convin ce", + "or sch", + "ors ch", + "ут бо", + "CP P", + "C PP", + "ч і", + "▁p rod", + "▁pro d", + "▁pr od", + "▁ prod", + "▁p ig", + "▁pi g", + "▁C atal", + "▁Cat al", + "▁Ca tal", + "▁al ias", + "▁ali as", + "▁ alias", + "▁че мпи", + "Pl ace", + "P lace", + "▁g orge", + "▁depend ence", + "▁cr uel", + "▁cru el", + "▁ther mal", + "▁therm al", + "ut down", + "ref resh", + "▁re sort", + "▁res ort", + "▁S HA", + "▁SH A", + "▁ SHA", + "fo od", + "foo d", + "f ood", + "▁N ad", + "▁Na d", + "▁pregn ancy", + "▁pro jection", + "▁project ion", + "▁pa ís", + "▁the mes", + "▁them es", + "▁theme s", + "▁fun eral", + "▁cas o", + "▁ca so", + "ле кт", + "лек т", + "Ex tra", + "Ext ra", + "▁t issue", + "▁dr agon", + "▁drag on", + "▁l ig", + "▁li g", + "▁ lig", + "▁n ei", + "▁ne i", + "▁come dy", + "▁comed y", + "▁pass enger", + "Cl one", + "i ção", + "yg on", + "y gon", + "▁H alf", + "▁Hal f", + "▁la bour", + "▁lab our", + "▁ві й", + "▁L isa", + "▁Li sa", + "▁Lis a", + "_ [", + "ba g", + "b ag", + "▁d iver", + "▁di ver", + "▁div er", + "▁dive r", + "▁M L", + "▁ ML", + "▁transl ated", + "▁translate d", + "▁per ò", + "ab ama", + "aba ma", + "▁ castle", + "* \\", + "▁reg ia", + "!! !!", + "!!! !", + "! !!!", + "*> (", + "* >(", + "▁Work s", + "▁Wor ks", + "▁N ature", + "▁Nat ure", + "▁Natur e", + "NE L", + "N EL", + "▁P om", + "▁Po m", + "tt a", + "t ta", + "▁Jam ie", + "▁p unch", + "▁pun ch", + "▁K rieg", + "▁Kr ieg", + "▁restr icted", + "▁restrict ed", + "mob ile", + "m obile", + "▁grand mother", + "Arg uments", + "Argument s", + "▁s inc", + "▁si nc", + "▁sin c", + "▁Mon th", + "▁Mont h", + "▁ Month", + "esc ape", + "e scape", + "▁opt ical", + "▁L ane", + "▁La ne", + "▁Lan e", + "▁Deutsch land", + "▁S aison", + "▁Sa ison", + "▁V irtual", + "▁ Virtual", + "pe z", + "p ez", + "In line", + "ow any", + "owa ny", + "rad io", + "r adio", + "ö ß", + "▁O thers", + "▁Other s", + "MA IN", + "M AIN", + "sc al", + "s cal", + "▁D allas", + "▁Dal las", + "▁an chor", + "▁anc hor", + "▁anch or", + "▁ anchor", + "en cias", + "enc ias", + "encia s", + "enci as", + "▁re porter", + "▁rep orter", + "▁report er", + "▁veget ables", + "▁enforce ment", + "▁Wis consin", + "▁con dem", + "▁cond em", + "▁e b", + "▁ eb", + "▁s its", + "▁sit s", + "▁si ts", + "▁calcul ations", + "▁calculation s", + "▁calc ulations", + "▁\" --", + "▁\"- -", + "ue lle", + "uel le", + "u elle", + "▁tip o", + "▁ti po", + "▁P AR", + "▁PA R", + "▁ PAR", + "co rd", + "cor d", + "c ord", + "▁ро ків", + "ph an", + "pha n", + "p han", + "▁kon nte", + "▁z ap", + "▁za p", + "wr iting", + "writ ing", + "en gu", + "eng u", + "▁pert urb", + "Fac e", + "F ace", + "ag og", + "ago g", + "▁De cl", + "▁Dec l", + "▁ Decl", + "est ly", + "▁War ren", + "▁H ills", + "▁Hill s", + "▁Hil ls", + "▁ref resh", + "▁refr esh", + "▁refres h", + "▁ refresh", + "▁fl ip", + "io p", + "i op", + "▁key board", + "is to", + "ist o", + "i sto", + "back s", + "ba cks", + "b acks", + "Enc oding", + "▁ ال", + "▁g min", + "▁follow ers", + "▁p epper", + "um ble", + "umb le", + "▁sp ray", + "▁spr ay", + "▁dr ives", + "▁dri ves", + "▁driv es", + "▁drive s", + "P ush", + "cook ie", + "c ookie", + "▁gel dig", + "▁geld ig", + "ig ung", + "igu ng", + "vis it", + "▁at omic", + "▁atom ic", + "▁ atomic", + "▁A thlet", + "▁Ath let", + "▁Or igin", + "▁Ori gin", + "▁ Origin", + "▁H appy", + "▁att ribut", + "▁n ost", + "▁no st", + "▁nos t", + "▁ nost", + "ur u", + "u ru", + "▁Ne ither", + "▁ma ar", + "ject ions", + "je ctions", + "jection s", + "▁re nov", + "▁ren ov", + "fin ity", + "f inity", + "gener ic", + "init ialize", + "initial ize", + "pgf set", + "▁hyp othes", + "▁ma cro", + "▁mac ro", + "ma ps", + "map s", + "m aps", + "▁f are", + "▁far e", + "▁fa re", + "▁ fare", + "Be st", + "B est", + "uch t", + "uc ht", + "u cht", + "co d", + "c od", + "▁h orm", + "▁hor m", + "▁ho rm", + "▁P oll", + "▁Pol l", + "▁Po ll", + "▁host ing", + "▁Re ading", + "▁Read ing", + "Cert ificate", + "▁и ма", + "▁им а", + "▁C ov", + "▁Co v", + "▁P red", + "▁Pr ed", + "▁Pre d", + "▁ Pred", + "re direct", + "red irect", + "▁l attice", + "▁port folio", + "▁o ven", + "▁ov en", + "▁ oven", + "ie len", + "iel en", + "iele n", + "i elen", + "sub scribe", + "foot note", + "▁mom ento", + "▁moment o", + "▁d ich", + "▁di ch", + "▁dic h", + "▁ent ert", + "▁enter t", + "▁g é", + "▁connect ing", + "▁n acional", + "▁o tt", + "▁ot t", + "▁ ott", + "ні в", + "н ів", + "▁rac ist", + "▁penal ty", + "ül t", + "ü lt", + "▁Israel i", + "▁( †", + "▁ос іб", + "▁b elly", + "▁bel ly", + "▁bell y", + "ні сть", + "▁encounter ed", + "T ip", + "▁gu ilt", + "▁d amp", + "▁da mp", + "▁dam p", + "ze ug", + "▁Mem ory", + "▁ Memory", + "Check ed", + "▁Sh akespeare", + "hi ll", + "h ill", + "▁w oke", + "▁wo ke", + "▁sal ary", + "eth eless", + "ethe less", + "e theless", + "er de", + "erd e", + "▁He in", + "▁g it", + "▁gi t", + "▁ git", + "=\" \"", + "= \"\"", + "ül l", + "ü ll", + "ge ben", + "geb en", + "g eben", + "Pr es", + "Pre s", + "P res", + "iev al", + "i eval", + "mark er", + "mar ker", + "▁oct obre", + "RO L", + "R OL", + "▁jan u", + "▁ja nu", + "▁) :", + "▁ ):", + "br anch", + "▁J erry", + "▁Jer ry", + "ke hr", + "▁contr acts", + "▁contract s", + "▁aff air", + "ja ck", + "j ack", + "AN G", + "A NG", + "▁dro pping", + "▁drop ping", + "▁d ic", + "▁di c", + "sch ool", + "▁Fin land", + "▁d ort", + "▁do rt", + "▁K ings", + "▁King s", + "▁Kin gs", + "▁Arg ument", + "▁ Argument", + "▁Sim ilarly", + "▁Similar ly", + "▁V erm", + "▁Ver m", + "▁Ve rm", + "▁pret end", + "! _", + "łu g", + "ł ug", + "же ння", + "жен ня", + "da ting", + "dat ing", + "d ating", + "cs v", + "c sv", + "▁dialog ue", + "▁dial ogue", + "STR U", + "▁public ly", + "wed ge", + "w edge", + "▁H och", + "▁Ho ch", + "▁spe aks", + "▁speak s", + "▁compens ation", + "an ca", + "anc a", + "text tt", + "▁Fil ter", + "▁ Filter", + "▁part ly", + "▁us eless", + "▁use less", + "▁d eter", + "▁de ter", + "▁det er", + "IE W", + "▁con secut", + "▁cons ecut", + "▁conse cut", + "▁h oly", + "▁hol y", + "▁ho ly", + "▁grad uated", + "▁graduate d", + "an dal", + "and al", + "anda l", + "ți e", + "ț ie", + "▁W ant", + "▁Wa nt", + "▁Aust ria", + "or den", + "ord en", + "fr ag", + "f rag", + "▁f oo", + "▁fo o", + "▁ foo", + "cl aimed", + "claim ed", + "▁no table", + "▁journal ist", + "▁M ail", + "▁Ma il", + "▁Mai l", + "▁ Mail", + "!( \"", + "! (\"", + "ps e", + "p se", + "▁C lay", + "▁Cl ay", + "iv i", + "i vi", + "▁sc ales", + "▁scale s", + "▁scal es", + "▁er ste", + "▁erst e", + "▁ers te", + "Data Type", + "▁D iam", + "▁Di am", + "í r", + "loc ale", + "local e", + "▁rel uct", + "ien st", + "iens t", + "ast ro", + "astr o", + "act ly", + "▁Vill age", + "▁Villa ge", + "▁Vil lage", + "▁d aughters", + "▁daughter s", + "▁manufact urers", + "▁manufacturer s", + "▁print ing", + "▁prin ting", + "Nd Ex", + "Ch anges", + "Change s", + "▁/ ******/", + "ver tex", + "vert ex", + "▁b rows", + "▁br ows", + "▁bro ws", + "▁brow s", + "▁K ö", + "not ations", + "notation s", + "▁i ls", + "▁il s", + "▁ ils", + "at el", + "ate l", + "C ir", + "▁meaning ful", + "q a", + "▁C old", + "▁Col d", + "▁Co ld", + "ue to", + "u eto", + "you r", + "yo ur", + "y our", + "m f", + "▁Ü ber", + "▁fam ilia", + "▁famil ia", + "▁ste ep", + "▁pres idential", + "▁president ial", + "▁presid ential", + "▁z á", + "▁ zá", + "▁w ars", + "▁war s", + "▁wa rs", + "▁C re", + "▁Cr e", + "▁after wards", + "▁afterward s", + "ha lb", + "hal b", + "▁strugg led", + "▁struggle d", + "Ch art", + "Char t", + "User Id", + "ac ular", + "a cular", + "iv ia", + "ivi a", + "i via", + "▁u gly", + "▁K unst", + "E s", + "▁Q String", + "▁C ow", + "▁Co w", + "Rad ius", + "▁Gr iff", + "▁V as", + "▁Va s", + "HA L", + "H AL", + "Mod ified", + "ra le", + "ral e", + "r ale", + "mem cpy", + "▁r s", + "▁ rs", + "▁h alt", + "▁ha lt", + "▁hal t", + "▁ halt", + "▁Miss iss", + "▁h uvud", + "ec a", + "e ca", + "▁Jahrhund ert", + "E urope", + "Sign ature", + "▁grand father", + "▁O regon", + "gu e", + "g ue", + "xy gen", + "fr ames", + "frame s", + "▁hab its", + "▁ha bits", + "▁habit s", + "Support ed", + "Supp orted", + "▁low ered", + "▁lower ed", + "▁rad iation", + "▁radi ation", + "ab en", + "abe n", + "a ben", + "▁Pro gress", + "▁ Progress", + "▁C osta", + "▁Co sta", + "▁Cost a", + "▁Cos ta", + "▁dev oted", + "▁gest ure", + "▁Dez ember", + "▁qu oted", + "▁quote d", + "▁quot ed", + "▁difficult ies", + "▁sustain able", + "▁d ense", + "▁den se", + "▁dens e", + "▁ih rer", + "▁ihr er", + "▁ihre r", + "▁firm ly", + "â t", + "om ent", + "ome nt", + "omen t", + "o ment", + "▁c out", + "▁co ut", + "▁cou t", + "▁ cout", + "▁p oi", + "▁po i", + "d jango", + "▁pro found", + "▁prof ound", + "▁Wil helm", + "▁fl ush", + "▁flu sh", + "▁ flush", + "▁av ril", + "LA B", + "L AB", + "▁B row", + "▁Br ow", + "▁Bro w", + "▁pro pose", + "▁prop ose", + "▁propos e", + "▁r anks", + "▁ran ks", + "▁rank s", + "WI D", + "W ID", + "▁mut ual", + "▁text s", + "▁tex ts", + "▁S ale", + "▁Sal e", + "▁Sa le", + "▁qu asi", + "▁n og", + "▁no g", + "▁ nog", + "▁nouve au", + "▁c v", + "▁ cv", + "▁no ble", + "▁nob le", + "▁dé cembre", + "▁déc embre", + "▁cl ever", + "▁cle ver", + "▁P ir", + "▁Pi r", + "▁graph ics", + "▁graphic s", + "▁ graphics", + "▁G R", + "▁ GR", + "▁s ag", + "▁sa g", + "ict ions", + "iction s", + "i ctions", + "na nt", + "nan t", + "n ant", + "▁th é", + "C G", + "▁Jac ques", + "W M", + "▁F inn", + "▁Fin n", + "▁Fi nn", + "▁dev ast", + "▁En tre", + "▁Ent re", + "▁fl uct", + "▁flu ct", + "▁Sc iences", + "▁Sci ences", + "▁Science s", + "path s", + "pat hs", + "▁sh orter", + "▁short er", + "▁suggest ion", + "ER Y", + "▁D ire", + "▁Di re", + "▁Dir e", + "at eurs", + "ate urs", + "ateur s", + "▁round ed", + "▁t art", + "▁tar t", + "▁ta rt", + "up er", + "u per", + "▁secret s", + "▁sec rets", + "▁secre ts", + "▁compan ion", + "▁K EY", + "▁ KEY", + "T ile", + "▁B ibli", + "x s", + "▁ang ular", + "▁ angular", + "pa g", + "p ag", + "er ness", + "ern ess", + "erne ss", + "▁S orry", + "▁Sor ry", + "▁ Sorry", + "▁pre diction", + "▁predict ion", + "▁pred iction", + "▁M aking", + "▁Ma king", + "▁Mak ing", + "ol are", + "ola re", + "olar e", + "rp c", + "r pc", + "▁t ens", + "▁te ns", + "▁ten s", + "en as", + "ena s", + "e nas", + "▁Re ally", + "▁Real ly", + "H I", + "port al", + "por tal", + "▁for me", + "▁form e", + "gan g", + "ga ng", + "g ang", + "▁l ane", + "▁la ne", + "▁lan e", + "▁ lane", + "▁s tag", + "▁st ag", + "▁sta g", + "▁Mar x", + "▁Ma rx", + "▁L LC", + "▁LL C", + "▁d are", + "▁da re", + "▁dar e", + "▁Olymp ic", + "▁p ant", + "▁pan t", + "▁pa nt", + "build ing", + "; ;", + "▁c ops", + "▁co ps", + "▁cop s", + "▁r ushed", + "▁rush ed", + "▁rus hed", + "▁L ot", + "▁Lo t", + "▁init iative", + "▁initi ative", + "▁inv ite", + "▁Saf ety", + "▁Safe ty", + "FA ILED", + "FAIL ED", + "▁habit ants", + "en sen", + "ens en", + "ense n", + "▁l ég", + "▁W elcome", + "▁Wel come", + "Valid ate", + "▁qu atre", + "▁G ray", + "▁Gr ay", + "▁Gra y", + "▁E ve", + "▁Ev e", + "▁C omb", + "▁Com b", + "▁Co mb", + "▁ Comb", + "▁p endant", + "a qu", + "con figure", + "config ure", + "▁A dm", + "▁Ad m", + "▁rif le", + "▁Exper ience", + "Decl aration", + "▁å r", + "▁ år", + "os pel", + "osp el", + "▁A rena", + "▁Ar ena", + "▁Are na", + "▁bo ards", + "▁board s", + "▁ boards", + "▁pur ple", + "▁p ills", + "▁pil ls", + "▁pill s", + "ueto oth", + "li que", + "l ique", + "▁pop ulations", + "▁population s", + "▁popul ations", + "▁acc ent", + "▁ac cent", + "▁r anges", + "▁range s", + "▁ran ges", + "▁rang es", + "▁Anal ysis", + "▁ Analysis", + "▁d ictionary", + "▁Dr agon", + "▁Drag on", + "re ction", + "rect ion", + "r ection", + "▁vis itor", + "▁visit or", + "seg ment", + "▁F uck", + "▁Fu ck", + "▁ident ification", + "Class Name", + "boot strap", + "▁sur faces", + "▁surface s", + "▁surf aces", + "▁scream ing", + "кт у", + "к ту", + "pl ain", + "sh adow", + "incl udes", + "include s", + "▁j azz", + "▁ja zz", + "▁á l", + "▁ ál", + "ri ka", + "rik a", + "r ika", + "ho p", + "h op", + "▁i on", + "▁io n", + "▁ ion", + "vr e", + "v re", + "▁newsp apers", + "▁newspaper s", + "▁i hn", + "▁ih n", + "▁P arse", + "▁Par se", + "▁Pars e", + "▁ Parse", + "▁strict ly", + "▁re covered", + "▁recover ed", + "▁U na", + "▁Un a", + "▁err e", + "▁er re", + "▁ erre", + "iss ues", + "issue s", + "▁exp ense", + "▁do nc", + "▁don c", + "Bi n", + "B in", + "▁Com ment", + "▁Comm ent", + "▁ Comment", + "▁sac rifice", + "▁sacrific e", + "T uple", + "() [", + "( )[", + "▁tra vers", + "▁trav ers", + "Im p", + "I mp", + "J e", + "▁Lin ux", + "▁P i", + "▁ Pi", + "▁cur ios", + "▁cu rios", + "▁r age", + "▁rag e", + "▁ra ge", + "▁ rage", + "▁e scal", + "▁es cal", + "▁esc al", + "▁al ignment", + "▁align ment", + "▁pent ru", + "▁cur r", + "▁cu rr", + "▁ curr", + "▁b este", + "▁be ste", + "▁best e", + "▁bes te", + "[] ,", + "[ ],", + "▁// !", + "H ub", + "Vis ibility", + "▁A sk", + "▁As k", + "ab ul", + "a bul", + "co lon", + "col on", + "colo n", + "▁D ays", + "▁Day s", + "▁Da ys", + "Aut hentication", + "ві т", + "▁l od", + "▁lo d", + "xF C", + "x FC", + "Look up", + "js ce", + "Al pha", + "▁harm ony", + "▁harmon y", + "▁W ard", + "▁War d", + "▁Wa rd", + "trans fer", + "▁H orn", + "▁Hor n", + "▁Ho rn", + "▁s d", + "▁ sd", + "so ap", + "▁z ich", + "▁Con sole", + "▁Cons ole", + "▁ Console", + "▁ко ли", + "▁Ph one", + "▁ Phone", + "pa per", + "p aper", + "▁z m", + "▁ zm", + "Do ne", + "Don e", + "D one", + "ph ase", + "pha se", + "phas e", + "▁Jul ia", + "▁Ju lia", + "▁Juli a", + "▁ed ited", + "▁edit ed", + "af fe", + "aff e", + "Sy ntax", + "yl l", + "y ll", + "▁Lu cas", + "▁Luc as", + "▁and eren", + "▁andere n", + "▁ander en", + "[ <", + "▁Data base", + "▁Dat abase", + "▁ Database", + "▁spect ral", + "▁spectra l", + "ass ador", + "ска та", + "с ката", + "▁import ante", + "▁important e", + "t z", + "▁s tere", + "▁st ere", + "▁ste re", + "▁ster e", + "▁m elt", + "▁me lt", + "▁mel t", + "▁C row", + "▁Cr ow", + "▁Cro w", + "it utes", + "itut es", + "itute s", + "itu tes", + "▁satisf ies", + "▁L iga", + "▁Li ga", + "▁t omb", + "▁to mb", + "▁tom b", + "▁f ühr", + "▁ führ", + "▁sol ely", + "▁sole ly", + "▁E ither", + "▁t ennis", + "▁ten nis", + "▁s igh", + "▁si gh", + "▁sig h", + "ser de", + "s erde", + "ub a", + "u ba", + "ę d", + "le z", + "l ez", + "Fac t", + "F act", + "▁sque ez", + "▁Thom pson", + "▁N L", + "▁ NL", + "▁P ara", + "▁Par a", + "▁Pa ra", + "▁? ?", + "▁ ??", + "She et", + "S heet", + "LIN K", + "L INK", + "▁l over", + "▁lo ver", + "▁love r", + "▁lov er", + "m achine", + "▁L esser", + "▁Les ser", + "▁Less er", + "▁pain tings", + "▁assum ptions", + "▁assumption s", + "▁mod ification", + "fr e", + "f re", + "▁U lt", + "▁Ul t", + "▁A F", + "▁ AF", + "R V", + "bin ding", + "bind ing", + "b inding", + "▁toile t", + "ra r", + "r ar", + "▁an ge", + "▁ang e", + "▁ ange", + "▁she ep", + "PRO TO", + "act ic", + "a ctic", + "▁S peed", + "▁Sp eed", + "▁Spe ed", + "▁ Speed", + "▁I ce", + "gn u", + "g nu", + "ow ned", + "own ed", + "Sub scription", + "yr ics", + "y rics", + "▁back ward", + ">\" .", + "> \".", + "pi t", + "p it", + "▁real istic", + "öff ent", + "az i", + "a zi", + "DE R", + "D ER", + "b ucket", + "én y", + "é ny", + "xF E", + "x FE", + "▁f ancy", + "▁fan cy", + "ex cept", + "▁S ul", + "▁Su l", + "▁l aser", + "▁la ser", + "▁las er", + "Mon itor", + "▁c omic", + "▁com ic", + "▁co mic", + "▁Arch itect", + "▁ex pr", + "▁exp r", + "▁ expr", + "ount ers", + "oun ters", + "ounter s", + "com plex", + "comp lex", + "'. $", + "' .$", + "omo t", + "o mot", + "▁M enu", + "▁Me nu", + "▁Men u", + "▁ Menu", + "astic search", + "▁ed iting", + "▁edit ing", + "Pre sent", + "Pres ent", + "P resent", + "op les", + "ople s", + "opl es", + "o ples", + "è ncia", + "gl ise", + "she et", + "s heet", + "▁he lic", + "▁hel ic", + "▁str anger", + "▁strange r", + "▁strang er", + "▁ exec", + "FE R", + "F ER", + "in ian", + "ini an", + "SET TING", + "▁M ix", + "▁Mi x", + "▁ Mix", + "▁com plain", + "▁compl ain", + "▁in crement", + "▁incre ment", + "CS S", + "C SS", + "mm a", + "m ma", + "sl ide", + "▁проти в", + "▁Lim ited", + "Con sole", + "Cons ole", + "▁eng aging", + "ul er", + "ule r", + "u ler", + "▁O ptions", + "▁Option s", + "▁Opt ions", + "▁ Options", + "▁l ens", + "▁le ns", + "▁len s", + "Ma il", + "M ail", + "▁bar rier", + "▁barr ier", + "trans port", + "▁c ups", + "▁cu ps", + "▁cup s", + "it err", + "ite rr", + "iter r", + "▁const ants", + "▁constant s", + "▁ constants", + "▁T ech", + "▁Te ch", + "iz io", + "izi o", + "▁Sw eden", + "at hon", + "ath on", + "a thon", + "▁M agn", + "▁Mag n", + "▁Ma gn", + "trans ition", + "es k", + "e sk", + "So ft", + "S oft", + "fun ctions", + "function s", + "ne a", + "n ea", + "Im plement", + "Impl ement", + "Imp lement", + "ev ery", + "ever y", + "eve ry", + "e very", + "▁Man ufact", + "▁improve ments", + "▁improvement s", + "▁Ind iana", + "▁India na", + "▁Indian a", + "▁host s", + "▁ho sts", + "C V", + "We st", + "W est", + "to wn", + "t own", + "can vas", + "▁Col umn", + "▁ Column", + "▁Par ker", + "▁Park er", + "▁es pa", + "▁esp a", + "▁Pub lish", + "av is", + "avi s", + "a vis", + "▁Z w", + "▁emphas is", + "ol v", + "o lv", + "▁re curs", + "▁rec urs", + "▁recur s", + "it aire", + "ita ire", + "▁Bi shop", + "▁Bis hop", + "ne ro", + "ner o", + "n ero", + "▁d eny", + "▁de ny", + "▁den y", + "peon ato", + "▁C ourse", + "▁Cour se", + "▁Que ens", + "▁Queen s", + "▁bl ur", + "el ed", + "ele d", + "e led", + "iz o", + "i zo", + "▁dé but", + "▁Mod ule", + "▁Mo dule", + "▁ Module", + "▁anx ious", + "▁st are", + "▁star e", + "▁sta re", + "▁Pro position", + "▁i c", + "▁ ic", + "Per cent", + "Qu ant", + "▁h ex", + "▁he x", + "▁ hex", + "ass oci", + "asso ci", + "▁arrang ement", + "▁arrange ment", + "▁bo ats", + "▁boat s", + "Un d", + "U nd", + "▁sl ots", + "▁slot s", + "necess ary", + "▁app earing", + "▁appe aring", + "▁appear ing", + "▁R ule", + "▁Ru le", + "▁ Rule", + "▁G T", + "▁ GT", + "For ce", + "et to", + "ett o", + "e tto", + "ze nia", + "zen ia", + "▁o uts", + "▁out s", + "▁ou ts", + "▁ outs", + "▁vari ations", + "▁variation s", + "▁wh ites", + "▁white s", + "▁g lo", + "▁gl o", + "▁B R", + "▁ BR", + "ic ky", + "ick y", + "▁j ury", + "▁ju ry", + "▁jur y", + "▁treat ments", + "▁treatment s", + "▁The ater", + "▁pro files", + "▁prof iles", + "▁profile s", + "▁con spir", + "▁class room", + "▁B ass", + "▁Bas s", + "▁Ba ss", + "▁law yers", + "▁lawyer s", + "v ue", + "▁A rc", + "▁Ar c", + "▁ Arc", + "▁s la", + "▁sl a", + "▁att ending", + "▁attend ing", + "n x", + "m x", + "TO P", + "T OP", + "▁b ored", + "▁bo red", + "▁bore d", + "▁bor ed", + "pre vious", + "prev ious", + "r w", + "pt ic", + "љ у", + "▁app ar", + "▁ap par", + "▁P ont", + "▁Po nt", + ": _", + "ii i", + "i ii", + "▁j erk", + "▁jer k", + "▁Pr ize", + "▁Pri ze", + "▁hand les", + "▁handle s", + "▁j ak", + "▁ja k", + "▁Afghan istan", + "▁b oring", + "▁bo ring", + "▁bor ing", + "if ik", + "ifi k", + "▁sh ade", + "▁sha de", + "air o", + "ai ro", + "a iro", + "od ay", + "oda y", + "o day", + "▁pl ates", + "▁plate s", + "▁plat es", + "▁Champion ships", + "▁che eks", + "▁cheek s", + "ri ke", + "rik e", + "r ike", + "▁kön nen", + "▁app le", + "▁ap ple", + "▁appl e", + "▁ apple", + "▁Ed die", + "▁Edd ie", + "▁s od", + "▁so d", + "pan ic", + "pa nic", + "▁Ad vent", + "▁Adv ent", + "ub re", + "u bre", + "▁d å", + "▁S ymbol", + "▁Sym bol", + "▁ Symbol", + "Sa m", + "S am", + "inher it", + "cam era", + "▁c ours", + "▁co urs", + "▁cour s", + "▁cou rs", + "▁make up", + "re gex", + "reg ex", + "▁U E", + "▁ UE", + "▁Det roit", + "▁W eight", + "▁We ight", + "▁ Weight", + "▁P iet", + "▁Pi et", + "▁a ria", + "▁ar ia", + "▁ aria", + "DI RECT", + "DIR ECT", + "ace ae", + "▁In fo", + "▁Inf o", + "▁ Info", + "an ya", + "any a", + "back end", + "▁T ennessee", + "pi cker", + "pic ker", + "pick er", + "p icker", + "▁Le o", + "▁P oss", + "▁Po ss", + "▁Pos s", + "pr ises", + "prise s", + "▁m ature", + "▁mat ure", + "сь ких", + "▁F ant", + "▁Fa nt", + "Re ason", + "▁m oy", + "▁mo y", + "▁B aker", + "▁Ba ker", + "▁Bak er", + "▁sub set", + "▁subs et", + "▁ subset", + "▁Stan ley", + "▁el even", + "▁ele ven", + "▁elev en", + "ol ate", + "ola te", + "o late", + "▁fort une", + "Status Code", + "▁ent ities", + "▁ entities", + "▁Ok ay", + "▁ Okay", + "an os", + "ano s", + "a nos", + "rel ative", + "▁order ing", + "▁ord ering", + "▁No body", + "▁Nob ody", + "▁str len", + "▁ strlen", + "▁r ope", + "▁ro pe", + "▁cig arette", + "hol ds", + "hold s", + "h olds", + "ir able", + "ira ble", + "value Of", + "St ub", + "▁phot ography", + "▁photograph y", + "es tra", + "est ra", + "estr a", + "e stra", + "▁cult ures", + "▁culture s", + "▁decl aration", + "▁declar ation", + "LI ED", + "au te", + "aut e", + "a ute", + "al ter", + "alt er", + "Sub mit", + "▁Mag ic", + "▁r hythm", + "Pay ment", + "ni h", + "n ih", + "▁inter section", + "l é", + "EN TRY", + "/ )", + "▁m og", + "▁mo g", + "ru st", + "rus t", + "r ust", + "▁threat s", + "ap or", + "a por", + "▁s igu", + "▁si gu", + "▁sig u", + "set minus", + "▁I ng", + "▁In g", + "st ation", + "stat ion", + "T ake", + "▁s hed", + "▁sh ed", + "▁she d", + "▁Fr ancia", + "▁Franc ia", + "▁Fra ncia", + "▁Fran cia", + "pos ts", + "po sts", + "post s", + "Mar ker", + "Mark er", + "Lower Case", + "▁be find", + "▁bef ind", + "▁Cz ech", + "ícul a", + "▁Per formance", + "▁W es", + "▁We s", + "▁L arry", + "▁Lar ry", + "▁o st", + "▁os t", + "▁ ost", + "▁em ails", + "▁email s", + "▁Re lease", + "▁ Release", + "▁ad apter", + "▁adapt er", + "▁ adapter", + "▁pad re", + "ac io", + "aci o", + "a cio", + "▁gen etic", + "▁ge netic", + "▁U nd", + "▁Un d", + "▁ Und", + "▁accept ance", + "▁Girl s", + "▁Gir ls", + "comp iler", + "compile r", + "su n", + "s un", + "▁whe els", + "▁wheel s", + "▁thorough ly", + "gr und", + "gru nd", + "g rund", + "unct ion", + "▁e lla", + "▁el la", + "▁ell a", + "▁ ella", + "X FF", + "ug s", + "u gs", + "ient os", + "ien tos", + "iento s", + "▁D M", + "▁ DM", + "▁polit ique", + "▁campaign s", + "▁Tok yo", + "KERN EL", + "pd ata", + "p data", + "▁lap top", + "▁lapt op", + "▁v ál", + "▁vá l", + "▁f ou", + "▁fo u", + "or b", + "o rb", + "▁T ower", + "▁To wer", + "▁Tow er", + "▁Get ting", + "▁cor ners", + "▁corner s", + "▁corn ers", + "pl ess", + "ple ss", + "ples s", + "p less", + "▁special ist", + "▁i v", + "▁ iv", + "Ui nt", + "U int", + "▁name ly", + "▁nam ely", + "▁sc aling", + "▁scal ing", + "Ext ensions", + "Extension s", + "▁cent ro", + "omorph ism", + "▁dé f", + "), \\", + ") ,\\", + "▁contr ary", + "▁contra ry", + "▁str iking", + "▁stri king", + "▁B ere", + "▁Be re", + "▁Ber e", + "▁fore cast", + "▁z ones", + "▁zone s", + "▁zo nes", + "sm art", + "s mart", + "as hi", + "ash i", + "ri n", + "r in", + "NE W", + "▁sim ulations", + "▁simulation s", + "▁R ather", + "▁Ra ther", + "▁Rat her", + "▁Writ ing", + "▁Wr iting", + "▁$ [", + "▁as sh", + "▁ass h", + "▁f ailing", + "▁fa iling", + "▁fail ing", + "▁man if", + "▁B og", + "▁Bo g", + "▁D ir", + "▁Di r", + "▁ Dir", + "conf irm", + "▁we igh", + "▁in ventory", + "▁invent ory", + "▁a pare", + "▁ap are", + "▁e u", + "▁ eu", + "char acter", + "io m", + "i om", + "▁o rb", + "▁or b", + "▁ orb", + "dev ices", + "device s", + "▁L ED", + "▁LE D", + "▁ LED", + "▁prop ortion", + "▁proport ion", + "▁Hon or", + "▁Ho nor", + "▁appro aching", + "▁approach ing", + "de leg", + "del eg", + "▁B B", + "▁ BB", + "hel pers", + "help ers", + "helper s", + "re pository", + "rep ository", + "▁inhab it", + "▁s ão", + "▁travel ed", + "▁trav eled", + "ne x", + "n ex", + "▁C lin", + "▁Cl in", + "CE PT", + "▁off ense", + "▁in cent", + "▁inc ent", + "ID S", + "I DS", + "▁coeff icients", + "▁coefficient s", + "▁l p", + "▁ lp", + "▁c d", + "▁ cd", + "mu st", + "mus t", + "m ust", + "▁soon er", + "ez e", + "e ze", + "C at", + "ma ker", + "make r", + "m aker", + "▁r anked", + "▁ran ked", + "ful ness", + "▁part ially", + "▁partial ly", + "▁parti ally", + "Pro m", + "Pr om", + "P rom", + "▁Pro bably", + "▁c ached", + "▁cache d", + "▁ca ched", + "▁ cached", + "▁bal anced", + "▁balance d", + "ah oma", + "aho ma", + "▁Mur ray", + "▁a li", + "▁al i", + "▁ ali", + "iv os", + "ivo s", + "▁b ark", + "▁bar k", + "IT EM", + "ITE M", + "▁Kir che", + "▁alloc ated", + "▁allocate d", + "Al t", + "A lt", + "▁am éric", + "íl ia", + "í lia", + "▁c ens", + "▁ce ns", + "▁lic enses", + "▁license s", + "▁ licenses", + "ac z", + "a cz", + "▁G ate", + "▁Ga te", + "▁ Gate", + "▁B L", + "▁ BL", + "▁re public", + "▁rep ublic", + "RO W", + "▁Fil ip", + "▁Ind ivid", + "▁tr ials", + "▁tri als", + "▁trial s", + "/* !", + "▁G P", + "▁ GP", + "ni ka", + "nik a", + "n ika", + "▁ex em", + "▁ad vers", + "▁adv ers", + "um ped", + "ump ed", + "▁Dev ice", + "▁ Device", + "wa ke", + "w ake", + "Ex ec", + "ar ding", + "ard ing", + "ardi ng", + "▁pobl ación", + "▁k een", + "▁ke en", + "▁b itch", + "▁bit ch", + "▁embed ded", + "▁B ond", + "▁Bo nd", + "▁Bon d", + "ri des", + "ride s", + "rid es", + "r ides", + "▁W oman", + "▁Wo man", + "ér é", + "é ré", + "▁Hash Map", + "▁ HashMap", + "▁co unting", + "▁coun ting", + "▁count ing", + "▁Init ial", + "▁ Initial", + "▁ver se", + "▁vers e", + "▁ verse", + "▁Vere in", + ">\" ,", + "> \",", + "▁an th", + "▁ant h", + "▁ anth", + "ci d", + "c id", + "▁h unt", + "▁hun t", + "ci es", + "cie s", + "c ies", + "Pi n", + "P in", + "▁# !", + "sn d", + "s nd", + "▁u k", + "▁ uk", + "▁sw ift", + "▁tempor ada", + "▁environment s", + "▁environ ments", + "claim er", + "eme tery", + "j är", + "Trans port", + "▁A rr", + "▁Ar r", + "▁ Arr", + "▁P aper", + "▁Pa per", + "▁Pap er", + "▁b ew", + "▁be w", + "▁ bew", + "▁har vest", + "▁- ----", + "▁-- ---", + "▁--- --", + "▁ -----", + "product s", + "ident ifier", + "RO OT", + "▁M ak", + "▁Ma k", + "▁App ro", + "▁Ap pro", + "▁ Appro", + "ie ri", + "ier i", + "i eri", + "▁F ly", + "▁Fl y", + "▁is set", + "▁iss et", + "▁ isset", + "▁determ ination", + "▁determin ation", + "Ge ometry", + "▁emer ging", + "sub scription", + "▁R ace", + "▁Ra ce", + "▁Config uration", + "▁ Configuration", + "▁Inter est", + "ist rz", + "istr z", + "▁S han", + "▁Sh an", + "▁Sha n", + "▁P ain", + "▁Pa in", + "CON NE", + "ma jor", + "m ajor", + "▁St ay", + "▁Sta y", + "▁bron ze", + "▁f itting", + "▁fit ting", + "▁J ar", + "▁Ja r", + "mg r", + "m gr", + "▁S har", + "▁Sh ar", + "▁Sha r", + "FL O", + "F LO", + "▁cont acts", + "▁contact s", + "▁f iring", + "▁fi ring", + "▁fir ing", + "▁prof es", + "sk é", + "s ké", + "=\" /", + "an dro", + "and ro", + "▁ens uring", + "iz en", + "ize n", + "i zen", + "ise cond", + "i second", + "ob il", + "obi l", + "o bil", + "▁re ck", + "▁rec k", + "▁ reck", + ")} (", + ") }(", + "bit map", + "▁B run", + "▁Br un", + "▁Bru n", + "▁Jer usalem", + "▁W o", + "▁Republic ans", + "▁Republican s", + "mat ic", + "m atic", + "▁d ock", + "▁do ck", + "▁doc k", + "▁M all", + "▁Mal l", + "▁Ma ll", + "k k", + "▁C OL", + "▁CO L", + "▁ COL", + "▁lat ach", + "UI nt", + "U Int", + "ци ональ", + "цион аль", + "циона ль", + "▁seg ments", + "▁segment s", + "▁re fund", + "▁ref und", + "fa c", + "f ac", + "▁Art icle", + "▁B orn", + "▁Bo rn", + "▁Bor n", + "² .", + "br and", + "bra nd", + "b rand", + "{$ \\", + "{ $\\", + "▁s s", + "▁ ss", + "▁Re sources", + "▁Res ources", + "▁Resource s", + "▁ Resources", + "▁re cycl", + "▁rec ycl", + "▁$ $\\", + "▁$$ \\", + "▁Conne ction", + "▁Connect ion", + "▁ Connection", + "▁imp erial", + "▁imper ial", + "▁pract ically", + "▁practical ly", + "▁– ,", + "▁Dis play", + "▁ Display", + "ier no", + "mo uth", + "m outh", + "ed es", + "ede s", + "e des", + "ba hn", + "b ahn", + "▁C atherine", + "▁high way", + "un ting", + "unt ing", + "▁Any way", + "Sp ell", + "Spe ll", + "▁L iste", + "▁List e", + "▁Li ste", + "▁Lis te", + "▁ret rieve", + "▁retr ieve", + "▁retriev e", + "▁z d", + "▁ zd", + "stra ße", + "▁dom inated", + "▁domin ated", + "to uch", + "t ouch", + "▁m b", + "▁ mb", + "LO NG", + "L ONG", + "as ures", + "asure s", + "TL S", + "T LS", + "▁accompl ished", + "▁accomp lished", + "▁accomplish ed", + "▁f ears", + "▁fe ars", + "▁fear s", + "▁seem ingly", + "▁d ag", + "▁da g", + "▁ dag", + "▁b ureau", + "▁bur eau", + "▁Gro ß", + "▁accord ance", + "ou x", + "o ux", + "▁col onial", + "▁colon ial", + "▁compass ion", + "th umb", + "▁s wo", + "▁sw o", + "on line", + "▁J i", + "▁work shop", + "▁works hop", + "▁l ub", + "▁lu b", + "év rier", + "ш і", + ">\" ;", + "> \";", + "▁gener ous", + "▁gene rous", + "ro us", + "rou s", + "r ous", + "av id", + "avi d", + "a vid", + "▁R aw", + "▁Ra w", + "▁ Raw", + "▁sw ap", + "▁ swap", + "h c", + "java script", + "jav ascript", + "Fact or", + "Fac tor", + "F actor", + "▁gar bage", + "▁Mi cro", + "co u", + "c ou", + "ü ber", + "▁f atal", + "▁fa tal", + "▁fat al", + "▁trans parent", + "▁b earing", + "▁be aring", + "▁bear ing", + "▁celebr ated", + "▁celebrate d", + "VI S", + "V IS", + "▁B M", + "▁ BM", + "▁pr ince", + "▁prin ce", + "to l", + "t ol", + "▁' ", + "\\ \">", + "▁du rant", + "▁dur ant", + "▁vent ure", + "▁F itz", + "▁Fi tz", + "▁C BD", + "▁CB D", + "▁b acking", + "▁back ing", + "▁w are", + "▁war e", + "▁wa re", + "▁ ware", + "ev e", + "e ve", + "O G", + "ed ish", + "edi sh", + "▁Giov anni", + "▁Sh are", + "▁Shar e", + "▁Sha re", + "▁ Share", + "▁rec ipes", + "▁recipe s", + "▁recip es", + "big g", + "bi gg", + "b igg", + "▁minor ity", + "▁na r", + "▁ nar", + "oll ary", + "ollar y", + "▁F E", + "▁ FE", + "sh irt", + "▁redu ces", + "▁reduce s", + "Ch e", + "C he", + "▁NOT E", + "▁NO TE", + "j query", + "▁F low", + "▁Fl ow", + "▁Flo w", + "▁ Flow", + "task s", + "pr event", + "pre vent", + "prev ent", + "it as", + "ita s", + "▁exam ined", + "▁examine d", + "ho n", + "h on", + "▁M ine", + "▁Min e", + "▁Mi ne", + "▁grad ient", + "▁V ien", + "▁Vi en", + "▁b eds", + "▁be ds", + "▁bed s", + "ET H", + "E TH", + "fl at", + "f lat", + "an son", + "ans on", + "▁in tu", + "▁int u", + "▁fl ows", + "▁flo ws", + "▁flow s", + "▁E ine", + "▁Ein e", + "▁aff ection", + "▁af fection", + "▁affect ion", + "▁p orts", + "▁por ts", + "▁port s", + "▁ ports", + "__ .", + "_ _.", + "re po", + "rep o", + "ail and", + "ai land", + "int age", + "inta ge", + "▁Prote ction", + "î t", + "▁[ {", + "▁l amp", + "▁la mp", + "▁benef icial", + "▁Станов ништво", + "▁l ined", + "▁li ned", + "▁line d", + "▁lin ed", + "▁ lined", + "▁Ex change", + "▁f itted", + "▁fit ted", + "▁v erk", + "▁ver k", + "▁focus es", + "vo d", + "v od", + "▁Car lo", + "▁Carl o", + "ain ted", + "aint ed", + "ainte d", + "a inted", + "▁r ape", + "▁rap e", + "▁ra pe", + "▁t ogg", + "▁to gg", + "ac ker", + "ack er", + "a cker", + "T w", + "ra h", + "r ah", + "trans l", + "▁je alous", + "▁re pository", + "▁rep ository", + "▁ repository", + "re marks", + "rem arks", + "remark s", + "▁i e", + "▁ ie", + "í d", + "▁sk ull", + "() ]", + "( )]", + "ri en", + "rie n", + "r ien", + "? (", + "▁K ids", + "▁Ki ds", + "▁Kid s", + "▁sw itched", + "▁switch ed", + "▁G ew", + "▁Ge w", + "▁be ef", + "▁Coll ins", + "▁V illa", + "▁Vill a", + "▁Vi lla", + "▁Vil la", + "▁z ona", + "▁zo na", + "▁n eu", + "▁ne u", + "▁х удо", + "▁oper ational", + "▁operation al", + "ON LY", + "▁h ockey", + "▁ś wi", + "ö k", + "Sl ice", + "Ref resh", + "▁n uts", + "▁nu ts", + "▁nut s", + "sa y", + "s ay", + "▁le aning", + "▁lean ing", + "▁H aus", + "▁Ha us", + "▁o ral", + "▁or al", + "▁ oral", + "▁ Ž", + "▁Sup pose", + "▁Supp ose", + "▁ess ence", + "EN TER", + "ENT ER", + "B ucket", + "▁C ant", + "▁Can t", + "▁Ca nt", + "▁N azi", + "▁Na zi", + "▁Naz i", + "ш ти", + "▁Vol ume", + "▁ Volume", + "▁wor thy", + "▁worth y", + "▁ worthy", + "B u", + "Ent ries", + "on ie", + "oni e", + "o nie", + "▁h ood", + "▁ho od", + "▁ hood", + "▁emp ire", + "▁dé velop", + "▁p robe", + "▁pro be", + "▁pr obe", + "▁prob e", + "▁ probe", + "▁K night", + "▁Kn ight", + "▁peace ful", + "hu b", + "h ub", + "▁ál bum", + "su it", + "s uit", + "▁sil k", + "+ =", + "▁p ione", + "▁pi one", + "' \"", + "▁N ull", + "▁Nu ll", + "▁ Null", + "Label s", + "au tres", + "aut res", + "autre s", + "to LowerCase", + "▁b uzz", + "▁bu zz", + "▁w ashed", + "▁was hed", + "▁wash ed", + "' *", + "itzer land", + "▁r amp", + "▁ra mp", + "▁ram p", + "▁k un", + "col ors", + "color s", + "colo rs", + "▁vacc ine", + "an imation", + "anim ation", + "▁Just in", + "mem set", + "▁cens us", + "in fl", + "inf l", + "▁statist ical", + "▁trop ical", + "Dis abled", + "Disable d", + "\r \r", + "▁Cra ig", + "Page s", + "Pag es", + "P ages", + "▁mag az", + "▁comput ing", + "▁flo ors", + "▁floor s", + "oin e", + "oi ne", + "o ine", + "▁tit olo", + "▁an ci", + "▁anc i", + "▁Indust ry", + "Bo ot", + "B oot", + "Cl ip", + "▁d v", + "▁ dv", + "▁met all", + "▁metal l", + "▁meta ll", + "▁Is abel", + "▁Isa bel", + "▁look up", + "▁ lookup", + "▁car ries", + "f u", + "tp l", + "t pl", + "pe rp", + "per p", + "▁St orm", + "▁Sto rm", + "eh icle", + "▁S even", + "▁Se ven", + "▁Sev en", + "љ а", + "▁l ut", + "▁lu t", + "th reshold", + "▁d ull", + "▁du ll", + "▁E ND", + "▁EN D", + "▁ END", + "▁O tto", + "▁Ot to", + "▁Ott o", + "▁there by", + "TE MP", + "T EMP", + "▁S cal", + "▁Sc al", + "▁ Scal", + "Com put", + "Comp ut", + "ip v", + "i pv", + "▁ins ane", + "▁myster ious", + "▁M is", + "▁Mi s", + "uch ar", + "uc har", + "u char", + "as ma", + "asm a", + "au ch", + "auc h", + "a uch", + "ne tt", + "net t", + "n ett", + "El em", + "E lem", + "de rive", + "der ive", + "▁murder ed", + "ak ten", + "akt en", + "akte n", + "▁a nos", + "▁an os", + "▁ano s", + "▁ anos", + "}} ^", + "} }^", + "▁F uß", + "▁Fu ß", + "▁S ister", + "▁Si ster", + "▁volunte er", + ":: _", + ": :_", + "er ta", + "ert a", + "og rá", + "▁Im Gui", + "sa me", + "sam e", + "s ame", + "Sh adow", + "▁re actions", + "▁reaction s", + "▁react ions", + "▁purch asing", + "PRE FIX", + "▁emb od", + "▁alt ogether", + "▁prom oting", + "▁promot ing", + "U V", + "▁ind uced", + "▁indu ced", + "▁eer ste", + "▁eerst e", + "Li fe", + "Lif e", + "L ife", + "hd d", + "h dd", + "ní ch", + "▁c hill", + "▁ch ill", + "▁chi ll", + "RG B", + "R GB", + "red uce", + "redu ce", + "FR OM", + "F ROM", + "dir name", + "▁t une", + "▁tu ne", + "▁tun e", + "▁r ay", + "▁ra y", + "▁ ray", + "T D", + "▁к ъ", + "▁Febru ar", + "▁suspend ed", + "▁susp ended", + "▁u pp", + "▁up p", + "▁ upp", + "er i", + "e ri", + "pr eter", + "pre ter", + "pret er", + "▁E R", + "▁ ER", + "▁c atal", + "▁cat al", + "▁ca tal", + "▁h iring", + "▁hi ring", + "▁п ів", + "▁пі в", + "▁Olymp ics", + "▁Olympic s", + "da le", + "dal e", + "d ale", + ":: {", + ": :{", + "▁expl oring", + "▁explo ring", + "▁univers ities", + "Class es", + "▁C ool", + "▁Co ol", + "th al", + "tha l", + "t hal", + "▁es crit", + "▁esc rit", + "▁cor ruption", + "▁corrupt ion", + "az ar", + "aza r", + "▁N eb", + "▁Ne b", + "▁Py thon", + "▁c him", + "▁ch im", + "▁chi m", + "▁cap ability", + "cy cl", + "c ycl", + "▁re try", + "▁r etry", + "▁ret ry", + "▁retr y", + "▁ retry", + "++ ]", + "▁t oy", + "▁to y", + "▁T erry", + "▁Ter ry", + "▁Terr y", + "View ById", + "▁v ine", + "▁vi ne", + "▁vin e", + "▁Kit chen", + "▁B iden", + "▁Bi den", + "Back end", + "gl ich", + "g lich", + "re lation", + "rel ation", + "▁rat ings", + "▁ra tings", + "▁rating s", + "Execut or", + "ibr ation", + ">( )", + "> ()", + "▁he al", + "if iable", + "ifi able", + "par k", + "p ark", + "▁P ete", + "▁Pe te", + "▁Pet e", + "▁tr aged", + "▁tra ged", + "▁trag ed", + "▁ch uck", + "▁wire less", + "▁wir eless", + "Re place", + "Rep lace", + "IR Q", + "i ß", + "▁j unto", + "▁jun to", + "Lo w", + "L ow", + "▁s id", + "▁si d", + "▁ sid", + "Tag Helpers", + "TagHelper s", + "▁comp aring", + "▁compar ing", + "▁c elle", + "▁cell e", + "▁ce lle", + "▁cel le", + "▁obt aining", + "▁obtain ing", + "▁qu ar", + "▁q uar", + "Br o", + "B ro", + "▁E C", + "▁ EC", + "in ea", + "ine a", + "i nea", + "▁F ue", + "▁Fu e", + "▁Prince ss", + "▁Prin cess", + "ij o", + "i jo", + "ge ns", + "gen s", + "g ens", + "PO L", + "P OL", + "è tres", + "▁h ind", + "▁hi nd", + "▁ hind", + "Var iant", + "Vari ant", + "▁rece ives", + "▁receive s", + "go d", + "g od", + "ik en", + "ike n", + "i ken", + "na il", + "n ail", + "▁amer ican", + "▁ american", + "br as", + "bra s", + "b ras", + "(' \\", + "( '\\", + "ie ce", + "if ference", + "iffer ence", + "iffe rence", + "▁b ubble", + "▁bub ble", + "▁B ear", + "▁Be ar", + "un ivers", + "uni vers", + "▁demand ing", + "sa ved", + "save d", + "s aved", + "▁cred entials", + "MS M", + "M SM", + "▁struct ural", + "Con s", + "Co ns", + "C ons", + "▁Way ne", + "▁blank et", + "▁re pet", + "▁rep et", + "▁repe t", + "Ne g", + "N eg", + "▁exclusive ly", + "▁exclus ively", + "IF I", + "I FI", + "▁arg uing", + "▁Re pub", + "▁Rep ub", + "▁f rowned", + "▁fr owned", + "Met ric", + "M etric", + "sk im", + "ski m", + "s kim", + "▁rele ases", + "▁release s", + "▁t ast", + "▁ta st", + "▁p reference", + "▁pre ference", + "▁prefer ence", + "▁S üd", + "▁Sü d", + "oc c", + "o cc", + "▁r x", + "▁ rx", + "activ ate", + "cl am", + "c lam", + "▁Sud denly", + "▁cr ushing", + "▁crush ing", + "▁L ower", + "▁Lo wer", + "▁Low er", + "▁ Lower", + "ei ng", + "e ing", + "wa lt", + "wal t", + "w alt", + "▁m ö", + "la gen", + "lag en", + "lage n", + "l agen", + "▁co aching", + "▁coach ing", + "▁bas ement", + "▁base ment", + "▁F IX", + "▁FI X", + "▁ FIX", + "Te le", + "T ele", + "With out", + "▁Com mons", + "▁Comm ons", + "▁Common s", + "h box", + "fl ash", + "▁por tal", + "▁port al", + "▁ portal", + "ot ype", + "o type", + "▁S or", + "▁So r", + "▁trou bles", + "▁trouble s", + "ar si", + "ars i", + "CA M", + "C AM", + "▁de notes", + "▁den otes", + "▁denote s", + "LA NG", + "LAN G", + "L ANG", + "▁Be yond", + "▁Bey ond", + "▁Bo wl", + "▁Bow l", + "▁import antly", + "▁important ly", + "▁W R", + "▁ WR", + "▁rel ating", + "▁a nder", + "▁and er", + "▁an der", + "▁ ander", + "▁gr inned", + "▁grin ned", + "▁D ak", + "▁Da k", + "▁Brook lyn", + "▁d p", + "▁ dp", + "▁P oly", + "▁Pol y", + "▁Po ly", + "▁ Poly", + "▁Sch ul", + "▁B uffer", + "▁Buff er", + "▁ Buffer", + "▁h older", + "▁hold er", + "▁hol der", + "▁ holder", + "IC AL", + "I CAL", + "▁tra iler", + "▁trail er", + "er ek", + "ere k", + "e rek", + "▁n ě", + "▁ ně", + "sh aped", + "shape d", + "sha ped", + ": `", + "▁de code", + "▁dec ode", + "▁ decode", + "▁co unted", + "▁coun ted", + "▁count ed", + "▁v amp", + "▁va mp", + "▁re late", + "▁rel ate", + "▁M ason", + "▁Ma son", + "▁Mas on", + "▁Kent ucky", + "▁Jenn ifer", + "▁mat rices", + "Cal endar", + "st s", + "s ts", + "Ass oci", + "▁f orum", + "▁for um", + "▁fo rum", + "▁s phere", + "▁sp here", + "▁spher e", + "▁S EO", + "▁SE O", + "pop up", + "▁Current ly", + "CL E", + "C LE", + "▁vol unt", + "▁stell ar", + "for all", + "Is s", + "I ss", + "im et", + "ime t", + "i met", + "q p", + "la test", + "lat est", + "late st", + "▁config ured", + "▁configure d", + "ab ol", + "a bol", + "ig ent", + "igen t", + "ige nt", + "i gent", + "▁delay ed", + "▁g ing", + "▁gi ng", + "▁ ging", + "▁s cent", + "▁sc ent", + "▁scen t", + "▁disg ust", + "▁disgu st", + "he sis", + "hes is", + "h esis", + "im en", + "ime n", + "i men", + "ul as", + "ula s", + "u las", + "um ing", + "umin g", + "umi ng", + "u ming", + "in nings", + "inn ings", + "Re nd", + "R end", + "id ity", + "idi ty", + "▁do zens", + "▁dozen s", + "wa rf", + "war f", + "▁Del hi", + "▁bi ological", + "▁corrid or", + "Vis ual", + "▁I z", + "▁s uits", + "▁su its", + "▁suit s", + "Py Object", + "ia go", + "i ago", + "▁div ide", + "▁divid e", + "pe nt", + "pen t", + "p ent", + "hel lo", + "hell o", + "h ello", + "▁b eta", + "▁be ta", + "▁bet a", + "▁ beta", + "▁ex terior", + "▁fin est", + "▁fine st", + "▁f reed", + "▁fr eed", + "▁free d", + "▁fre ed", + "Se m", + "S em", + "▁fr uits", + "▁fruit s", + "▁fru its", + "▁serv ants", + "▁servant s", + "▁pub lisher", + "▁publish er", + "▁cop per", + "ol ation", + "o lation", + "se p", + "s ep", + "ti k", + "t ik", + "▁m others", + "▁mother s", + "▁mo thers", + "A ug", + "▁je ans", + "[] )", + "[ ])", + "▁D ATA", + "▁DA TA", + "▁ DATA", + "▁reve als", + "▁reveal s", + "▁un conscious", + "▁h acer", + "▁ha cer", + "▁hace r", + "ric ulum", + "▁T ogether", + "or sz", + "ors z", + "▁c anal", + "▁can al", + "▁ca nal", + "ös t", + "ö st", + "▁equ als", + "▁equal s", + "▁eq uals", + "▁ equals", + "▁al location", + "▁all ocation", + "▁alloc ation", + "st änd", + "ac king", + "ack ing", + "▁motiv ation", + "▁R ole", + "▁Ro le", + "▁Rol e", + "▁ Role", + "App ly", + "Ap ply", + "ig es", + "ige s", + "i ges", + "* {", + "▁f ires", + "▁fire s", + "▁fi res", + "▁fir es", + "Us ed", + "Use d", + "U sed", + "▁he ute", + "sk iej", + "ski ej", + "▁Or leans", + "yl an", + "y lan", + "▁warm th", + "▁w elfare", + "▁wel fare", + "je m", + "j em", + "be z", + "b ez", + "ř e", + "ke e", + "k ee", + "▁segu ito", + "un ge", + "ung e", + "▁y oga", + "▁yo ga", + "▁d ug", + "▁du g", + "▁restore d", + "Dr oid", + "D roid", + "▁P ent", + "▁Pe nt", + "▁Pen t", + "▁ran king", + "▁rank ing", + "mo r", + "m or", + ".~ (\\", + "ograph ical", + "ographic al", + "▁p ian", + "▁pi an", + "▁g ates", + "▁gate s", + "▁ga tes", + "s quare", + "▁im plicit", + "▁impl icit", + "▁G ram", + "▁Gr am", + "▁Gra m", + "▁Apr ès", + "▁Ap rès", + "▁Ass istant", + "▁p ac", + "▁pa c", + "▁sc attering", + "▁scatter ing", + "стра тив", + "▁all ocate", + "▁alloc ate", + "▁Man hattan", + "▁inter rupted", + "▁interrupt ed", + "ér ieur", + "éri eur", + "érie ur", + "数 据", + "Sign al", + "Sig nal", + "▁Con tract", + "▁Cont ract", + "▁ Contract", + "ór ia", + "ó ria", + "WI TH", + "W ITH", + "Ag greg", + "A ggreg", + "cul es", + "cu les", + "cule s", + "c ules", + "J an", + "▁s to", + "▁st o", + "▁ sto", + "▁G PIO", + "▁GP IO", + "▁ GPIO", + "▁ident ifying", + "▁identify ing", + "▁p id", + "▁pi d", + "▁ pid", + "ę p", + "▁di git", + "▁dig it", + "el ia", + "eli a", + "e lia", + "inv oke", + "▁Fl oren", + "▁Flor en", + "▁Flo ren", + "▁sh allow", + "▁shall ow", + "get Class", + "getC lass", + "▁advert is", + "▁H R", + "▁ HR", + "ym an", + "y man", + "▁ CE", + "▁sec ured", + "▁secure d", + "▁secur ed", + "▁rel atives", + "▁relative s", + "▁relativ es", + "▁s ob", + "▁so b", + "▁s tab", + "▁st ab", + "▁sta b", + "Trans ition", + "▁w en", + "▁we n", + "▁ wen", + "sh ops", + "shop s", + "▁k ont", + "▁kon t", + "▁ko nt", + "▁h acia", + "▁ha cia", + "H y", + "sh ell", + "she ll", + "s hell", + "▁ant ib", + "▁anti b", + "env ironment", + "environ ment", + "um bs", + "umb s", + "Tr acker", + "Track er", + "Tra cker", + "en tr", + "ent r", + "▁Polit ical", + "ex tract", + "ext ract", + "extra ct", + "extr act", + "=\" {{", + "▁m erc", + "▁me rc", + "▁mer c", + "▁p oc", + "▁po c", + "▁Re set", + "▁Res et", + "▁ Reset", + "▁pur ely", + "▁pure ly", + "▁M ul", + "▁Mu l", + "▁gorge ous", + "▁Î n", + "ri ven", + "riv en", + "rive n", + "r iven", + "▁rom ance", + "▁roman ce", + "▁d av", + "▁da v", + "ér ica", + "éri ca", + "éric a", + "▁tra ject", + "▁a rise", + "▁ar ise", + "▁sw ung", + "▁p ockets", + "▁pocket s", + "▁trad itions", + "▁tradition s", + "▁re ver", + "▁r ever", + "▁rev er", + "▁reve r", + ">> >", + "> >>", + "▁n d", + "▁ nd", + "▁di vis", + "▁div is", + "▁bel oved", + "▁quant ities", + "▁é d", + "▁ éd", + "ien do", + "i endo", + "▁tal ented", + "▁talent ed", + "▁C ad", + "▁Ca d", + "▁imm igration", + "▁immigr ation", + "▁ju ris", + "▁jur is", + "▁a er", + "▁e aten", + "▁eat en", + "▁m iejsc", + "▁sum mon", + "pe ople", + "▁g ains", + "▁gain s", + "▁ga ins", + "▁restr iction", + "▁restrict ion", + "st ub", + "▁b out", + "▁bo ut", + "▁bou t", + "▁slave ry", + "▁sla very", + "▁comput ation", + "▁ar mor", + "▁arm or", + "▁e k", + "▁ ek", + "▁Muslim s", + "▁co operation", + "▁cooper ation", + "▁enh anced", + "▁enhance d", + "os lav", + "▁ab rupt", + "▁pod cast", + "▁hospital s", + "▁hosp itals", + "▁hot els", + "▁hotel s", + "▁Wik ipedia", + "G LOBAL", + "▁Commun ist", + "an gles", + "ang les", + "angle s", + "▁t high", + "▁th igh", + "▁K irk", + "▁Kir k", + "▁t ends", + "▁ten ds", + "▁tend s", + "▁M ode", + "▁Mod e", + "▁Mo de", + "▁ Mode", + "▁N atur", + "▁Nat ur", + "▁de let", + "▁del et", + "▁po pul", + "▁pop ul", + "▁Ch amber", + "▁Cha mber", + "▁Conserv ative", + "kr ieg", + "k rieg", + "▁Class ic", + "▁die sem", + "▁dies em", + "▁diese m", + "▁em power", + "▁emp ower", + "▁M es", + "▁Me s", + "▁de alt", + "▁deal t", + "▁e stad", + "▁est ad", + "▁esta d", + "▁Se it", + "▁cred its", + "▁credit s", + "sub subsection", + "Inv oke", + "▁phys ician", + "ás a", + "á sa", + "▁g ob", + "▁go b", + "▁R ug", + "▁Ru g", + "▁м іс", + "▁мі с", + "sh aller", + "shal ler", + "shall er", + "▁k ol", + "▁ko l", + "▁ kol", + "▁c ared", + "▁car ed", + "▁care d", + "▁ca red", + "▁of icial", + "no s", + "n os", + "▁j el", + "▁je l", + "▁ jel", + "null able", + "GU I", + "G UI", + "▁r app", + "▁rap p", + "▁ra pp", + "▁An nie", + "▁Ann ie", + "▁st ocks", + "▁stock s", + "▁sto cks", + "▁develop er", + "▁pl acement", + "▁place ment", + "▁plac ement", + "▁ placement", + "(\" <", + "▁l avor", + "▁la vor", + "▁lav or", + "▁acc us", + "Mar t", + "Ma rt", + "M art", + "amer ikan", + "▁sk etch", + "▁sent iment", + "An chor", + "Mer ge", + "Pe ople", + "▁rend ered", + "▁render ed", + "▁la und", + "▁n ons", + "▁no ns", + "▁non s", + "▁bl ew", + "▁ble w", + "k b", + "ate gor", + "ateg or", + "▁franç aise", + "▁français e", + "KE N", + "K EN", + "method s", + "▁Part icip", + "nost i", + "nos ti", + "n osti", + "▁com merce", + "▁commer ce", + "▁ commerce", + "▁d re", + "▁dr e", + "▁t win", + "▁tw in", + "▁ded ic", + "▁U TC", + "▁ UTC", + "We ek", + "▁differ ential", + "▁different ial", + "▁Ch oose", + "▁Cho ose", + "▁\" (", + "em ark", + "e mark", + "▁fe ared", + "▁fear ed", + "sk o", + "s ko", + "Br anch", + "▁in vention", + "▁inv ention", + "▁invent ion", + "er mine", + "erm ine", + "▁car act", + "▁ca ract", + "р ого", + "lo yd", + "▁del icate", + "Or gan", + "▁Im pro", + "▁Imp ro", + "▁r ip", + "▁ri p", + "▁ rip", + "Up dated", + "Update d", + "ul ent", + "ule nt", + "▁o bra", + "▁ob ra", + "s uspend", + "Line s", + "Lin es", + "Li nes", + "L ines", + "▁b anda", + "▁band a", + "▁ban da", + "ot ta", + "ott a", + "o tta", + "▁k ole", + "▁ko le", + "▁kol e", + "il io", + "ili o", + "i lio", + "▁output s", + "▁ outputs", + "est ro", + "estr o", + "AAAA AAAA", + "R UN", + "ne nt", + "nen t", + "n ent", + "▁d ated", + "▁da ted", + "▁dat ed", + "▁date d", + "▁ dated", + "▁s py", + "▁sp y", + "▁c rap", + "▁cr ap", + "▁in coming", + "▁inc oming", + "▁ф ев", + "▁фе в", + "PH Y", + "P HY", + "▁O range", + "▁Or ange", + "▁ob server", + "▁observ er", + "▁observe r", + "▁up stairs", + "ion ed", + "io ned", + "ione d", + "i oned", + "▁a tr", + "▁at r", + "▁ atr", + "igh bor", + "▁expect ation", + "Hi s", + "H is", + "im edia", + "i media", + "com put", + "comp ut", + "▁arg v", + "▁ argv", + "▁ear liest", + "ol len", + "oll en", + "ra ke", + "r ake", + "▁pat ience", + "▁bu yers", + "▁buy ers", + "▁buyer s", + "▁Conne ct", + "▁ Connect", + "▁Univers al", + "▁adjust ed", + "▁adj usted", + "im eq", + "ime q", + "el lers", + "ell ers", + "elle rs", + "eller s", + "▁ru in", + "▁Cr usher", + "▁Freder ick", + "ott age", + "otta ge", + "▁com prom", + "▁comp rom", + "▁compr om", + "ia sm", + "ias m", + "i asm", + "wa ve", + "w ave", + "▁encour aging", + "▁be ans", + "▁bean s", + "▁ beans", + "▁per ceived", + "… ]", + "▁gl obe", + "▁glob e", + "▁glo be", + "▁S F", + "▁ SF", + "he rent", + "her ent", + "here nt", + "▁a like", + "▁al ike", + "▁ali ke", + "▁hur ried", + "qu el", + "que l", + "q uel", + "▁mus icians", + "▁music ians", + "▁musician s", + "ar z", + "a rz", + "drop down", + "ac l", + "a cl", + "pre view", + "prev iew", + "p review", + "▁under neath", + "ze ś", + "list ener", + "listen er", + "▁C AN", + "▁CA N", + "▁ CAN", + "▁T ow", + "▁To w", + "▁pe ers", + "▁peer s", + "tl s", + "t ls", + "at ra", + "atr a", + "a tra", + "se nder", + "send er", + "sen der", + "s ender", + "TIME OUT", + "fu rt", + "fur t", + "f urt", + "▁Gu erra", + "{} )", + "{ })", + "▁D urch", + "▁Dur ch", + "▁s ki", + "▁sk i", + "▁ ski", + "il las", + "ill as", + "illa s", + "▁S of", + "▁So f", + "▁Organ ization", + "▁C leveland", + "▁b utt", + "▁but t", + "▁bu tt", + "▁sim ilarly", + "▁similar ly", + "▁assert True", + "▁ assertTrue", + "▁inev itable", + "ne ll", + "nel l", + "n ell", + "▁R af", + "▁Ra f", + "DIS ABLE", + "am ine", + "ami ne", + "amin e", + "a mine", + "▁Com plete", + "▁Comp lete", + "▁ Complete", + "▁be iden", + "▁bei den", + "▁Chall enge", + "Rad io", + "R adio", + "▁Not ice", + "He x", + "H ex", + "▁C uba", + "▁Cub a", + "▁Cu ba", + "▁aug ust", + "▁Philipp ines", + "Mar gin", + "M argin", + "ja l", + "j al", + "gener ator", + "▁t atto", + "▁ta tto", + "▁H em", + "▁He m", + "▁S alt", + "▁Sal t", + "▁Sa lt", + "un ately", + "unate ly", + "▁terr ain", + "▁terra in", + ",\\ ,", + ", \\,", + "▁c rop", + "▁cr op", + "▁cro p", + "Name d", + "Na med", + "N amed", + "▁W onder", + "▁Wo nder", + "▁Won der", + "es sen", + "ess en", + "esse n", + "▁f ist", + "▁fi st", + "▁fis t", + "▁z oom", + "▁zo om", + "▁ zoom", + "▁ru ling", + "▁rul ing", + "un likely", + "as sy", + "ass y", + "or ent", + "ore nt", + "oren t", + "o rent", + "▁g ibt", + "▁gi bt", + "▁A w", + "sim eq", + "s imeq", + "▁r aid", + "▁ra id", + "▁ raid", + "▁Com par", + "▁Comp ar", + "▁ Compar", + "▁free ly", + "▁fre ely", + "▁esp añ", + "▁espa ñ", + "▁py thon", + "▁ python", + "▁diagn osis", + "▁ch ips", + "▁chip s", + "▁chi ps", + "R azor", + "▁V ert", + "▁Ver t", + "▁Ve rt", + "▁ Vert", + "For ward", + "▁P é", + "▁compar able", + "▁anal ys", + "▁analy s", + "St d", + "S td", + "▁Franç ois", + "▁c ó", + "jo s", + "j os", + "▁p eg", + "▁pe g", + "▁ peg", + "CON ST", + "cl usive", + "▁voy age", + "▁Sch l", + "▁Sc hl", + "Group Layout", + "oi se", + "ois e", + "o ise", + "▁cr ush", + "▁cru sh", + "▁Die se", + "▁Di ese", + "▁Dies e", + "▁be kan", + "▁bek an", + "ci t", + "c it", + "▁Ein wohner", + "▁L an", + "▁La n", + "▁dress ing", + "▁s olved", + "▁sol ved", + "▁solve d", + "▁C hel", + "▁Ch el", + "▁Che l", + "par ed", + "pa red", + "pare d", + "p ared", + "▁se aled", + "▁sea led", + "▁seal ed", + "}) )", + "} ))", + "anc ouver", + "se h", + "s eh", + "ta bles", + "table s", + "tab les", + "t ables", + "▁red dit", + "▁redd it", + "▁ reddit", + "▁m our", + "▁mo ur", + "▁mou r", + "▁clean up", + "▁ cleanup", + "ov ić", + "ovi ć", + "▁Ur ban", + "oc t", + "o ct", + "▁Le gal", + "▁Leg al", + "▁J ur", + "▁Ju r", + "▁N as", + "▁Na s", + "C ity", + "▁un fortunately", + "▁unfortunate ly", + "▁P ER", + "▁PE R", + "▁ PER", + "ma kers", + "make rs", + "maker s", + "m akers", + "▁sig lo", + "▁k in", + "▁ki n", + "▁ kin", + "co des", + "code s", + "cod es", + "c odes", + "NI NG", + "N ING", + "▁C ec", + "▁Ce c", + "▁C T", + "▁ CT", + "▁R acing", + "▁Ra cing", + "da n", + "d an", + "▁He rz", + "▁Her z", + "▁gen ius", + "▁e urop", + "▁eu rop", + "serv let", + "ow ego", + "owe go", + "▁Im agine", + "▁Imp erial", + "▁Imper ial", + "Re gex", + "Reg ex", + "c é", + "HE D", + "H ED", + "det ect", + "io c", + "i oc", + "Anal ysis", + "Analy sis", + "▁* =", + "▁f ever", + "▁fe ver", + "▁Ob viously", + "F oot", + "Line ar", + "Lin ear", + "▁p ró", + "▁pr ó", + "▁satell ite", + "▁B eng", + "▁Be ng", + "▁Ben g", + "bound s", + "b ounds", + "▁J azz", + "▁Ja zz", + "▁C urt", + "▁Cur t", + "▁Cu rt", + "▁b ild", + "▁bi ld", + "▁bil d", + "▁ bild", + "▁\" \");", + "▁\"\" );", + "▁\"\") ;", + "▁gr asp", + "▁gra sp", + "▁gras p", + "▁d la", + "▁dl a", + "TR A", + "T RA", + "▁read ily", + "To r", + "T or", + "C ACHE", + "▁Const ruction", + "▁Construct ion", + "▁d ía", + "▁G rey", + "▁Gr ey", + "▁Gre y", + "run ner", + "le ading", + "▁co oked", + "▁cook ed", + "ro log", + "rol og", + "r olog", + "▁annoy ing", + "DE LETE", + "amer ican", + "▁Niger ia", + "▁d ai", + "▁da i", + "▁ dai", + "▁sac rific", + "▁serv ant", + "▁s kb", + "▁sk b", + "▁ skb", + "▁b arg", + "▁bar g", + "▁ba rg", + "pix el", + "p ixel", + "In ject", + "ca ched", + "cache d", + "c ached", + "▁cou pled", + "▁couple d", + "▁coup led", + "un gle", + "ung le", + "pro b", + "pr ob", + "p rob", + ">{ @", + "default s", + "▁por trait", + "▁port rait", + "▁d ental", + "▁den tal", + "▁dent al", + "▁d estro", + "▁dest ro", + "▁r ue", + "▁ru e", + "▁hy brid", + "▁CO MP", + "▁COM P", + "▁ COMP", + "▁B ent", + "▁Be nt", + "▁Ben t", + "Com pare", + "Comp are", + "Compar e", + "bo th", + "bot h", + "b oth", + "kl ahoma", + "ais er", + "ai ser", + "aise r", + "a iser", + "Su re", + "Sur e", + "S ure", + "▁s olving", + "▁sol ving", + "▁l ista", + "▁li sta", + "▁list a", + "▁ lista", + "▁Ev ans", + "▁Eva ns", + "▁f usion", + "▁fus ion", + "▁compl aint", + "▁complain t", + "He ap", + "al ways", + "M gr", + "▁ approx", + "display style", + "lo rd", + "lor d", + "l ord", + "in sn", + "ins n", + "▁Fe ature", + "▁ Feature", + "RP C", + "R PC", + "▁v et", + "▁ve t", + "▁ vet", + "▁kilom et", + "▁deliver ing", + "▁const itution", + "sh ine", + "▁prob able", + "▁run ner", + "▁ runner", + "hr en", + "hre n", + "h ren", + "▁N ep", + "▁Ne p", + "▁over night", + "pr ead", + "pre ad", + "p read", + "CL O", + "C LO", + "ie sa", + "ies a", + "i esa", + "▁object ives", + "▁objective s", + "con tract", + "cont ract", + "contr act", + "EX P", + "▁col ours", + "▁colour s", + "xi co", + "xic o", + "x ico", + "C lean", + "▁light ly", + "▁scen arios", + "▁scenario s", + "▁qu arters", + "▁quarter s", + "▁quart ers", + "▁quar ters", + "▁ quarters", + "▁D ear", + "▁De ar", + "▁l uc", + "▁lu c", + "▁app et", + "▁ap pet", + "▁appe t", + "▁de port", + "▁dep ort", + "Sa fe", + "▁me nos", + "▁men os", + "▁Paul o", + "▁Pa ulo", + "CI AL", + "C IAL", + "ці в", + "ц ів", + "▁R oc", + "▁Ro c", + "▁c aring", + "▁car ing", + "▁ca ring", + "▁elect ro", + "▁de cember", + "▁dec ember", + "▁dece mber", + "▁Phil osoph", + "▁col ored", + "▁color ed", + "▁ colored", + "it sch", + "its ch", + "os ti", + "ost i", + "▁N ut", + "▁Nu t", + "▁consecut ive", + "Pe er", + "ar ness", + "arn ess", + "▁ż e", + "▁ że", + "▁A round", + "▁Ar ound", + "af ka", + "▁d io", + "▁di o", + "ci p", + "c ip", + "▁to ys", + "▁toy s", + "cr o", + "c ro", + "▁m iser", + "▁mis er", + "▁mi ser", + "▁mise r", + "check box", + "▁F isher", + "▁Fish er", + "▁gover ned", + "▁govern ed", + "▁h á", + "▁En able", + "▁ Enable", + "▁t rivial", + "▁occup ation", + "ro rs", + "ror s", + "r ors", + "▁l av", + "▁la v", + "▁ lav", + "▁m ou", + "▁mo u", + "▁b ord", + "▁bo rd", + "▁bor d", + "ли ч", + "Ro om", + "R oom", + "') \r", + "' )\r", + "▁art ic", + "▁m ientras", + "ch air", + "cha ir", + "uation s", + "u ations", + "▁comm ented", + "▁comment ed", + "▁trigger ed", + "Can not", + "C annot", + "▁Marc us", + "▁p unct", + "▁pun ct", + "▁achie vement", + "▁achieve ment", + "ext ensions", + "extension s", + "ad ers", + "ade rs", + "ader s", + "a ders", + "jo urs", + "jour s", + "j ours", + "ir lines", + "irl ines", + "V IEW", + "▁Nap ole", + "Conf irm", + "▁por que", + "▁LI ABILITY", + "Wall et", + "W allet", + "Sub ject", + "al gorithm", + "▁tr iple", + "▁tri ple", + "▁trip le", + "ru b", + "r ub", + "▁se cur", + "▁sec ur", + "▁hand some", + "▁hands ome", + "▁d od", + "▁do d", + "r ès", + "ac ja", + "ch od", + "cho d", + "н ва", + "es ar", + "esa r", + "an chor", + "anc hor", + "anch or", + "▁Soph ie", + "▁Украї ни", + "Up per", + "am ous", + "amo us", + "Fe atures", + "Feature s", + "Supp ress", + "Sup press", + "▁kil om", + "▁Z u", + "▁belong ed", + "▁Red dit", + "▁pro ces", + "▁proc es", + "▁F est", + "▁Fe st", + "/ %", + "▁P am", + "▁Pa m", + "st orm", + "sto rm", + "W W", + "P aul", + "▁t ales", + "▁tal es", + "▁ta les", + "▁tale s", + "▁райо на", + "▁spread ing", + "▁ sched", + "le ased", + "lease d", + "Non Null", + "▁Re serve", + "▁Res erve", + "▁c ater", + "▁cat er", + "▁ca ter", + "▁t ire", + "▁ti re", + "▁tir e", + "▁por ch", + "qu ier", + "US A", + "U SA", + "▁Sw iss", + "▁ È", + "▁br ave", + "▁bra ve", + "▁explos ion", + "l r", + "▁class ified", + "Ab out", + "▁Pic t", + "▁Pi ct", + "▁Dub lin", + "▁separ ately", + "▁separate ly", + "▁bank ing", + "▁ban king", + "▁Christian ity", + "mi gr", + "m igr", + "Ro b", + "R ob", + "▁el f", + "▁ elf", + "▁employ ers", + "▁employer s", + "▁S low", + "▁Sl ow", + "▁j uli", + "▁ju li", + "▁jul i", + "west ern", + "w estern", + "▁anal yst", + "▁analy st", + "▁analys t", + "ob serv", + "obs erv", + "▁N ice", + "▁Nic e", + "▁Ni ce", + "▁G C", + "▁ GC", + "▁Let ter", + "▁ha rass", + "▁har ass", + "User name", + "▁A unt", + "▁Au nt", + "▁с ент", + "Su p", + "S up", + "IC ES", + "ICE S", + "RE NT", + "R ENT", + "rat io", + "r atio", + "▁an gles", + "▁ang les", + "▁angle s", + "▁angl es", + "▁ angles", + "▁l lev", + "▁ll ev", + "_ *", + "▁n it", + "▁ni t", + "▁ nit", + "▁w reck", + "▁pat rol", + "▁loyal ty", + "▁n ationale", + "▁nat ionale", + "▁national e", + "▁nation ale", + "go m", + "g om", + "}$ -", + "} $-", + "▁dis pute", + "▁disput e", + "▁disp ute", + "▁r us", + "▁ru s", + "▁ rus", + "▁П рез", + "▁Пре з", + "▁Indust rial", + "▁dem ocratic", + "▁democr atic", + "b w", + "li mp", + "lim p", + "l imp", + "ur bed", + "urb ed", + "▁mie jsce", + "▁miejsc e", + "ру д", + "▁t ex", + "▁te x", + "▁ tex", + "▁develop ments", + "▁development s", + "▁B right", + "▁Br ight", + "▁Brig ht", + "▁var ying", + "▁va rying", + "▁vary ing", + "fa ct", + "fac t", + "f act", + "▁Port al", + "▁Por tal", + "as is", + "asi s", + "a sis", + "▁cre ativity", + "▁creat ivity", + ")) ))", + "))) )", + ") )))", + ".\" ;", + ". \";", + "ie ux", + "ieu x", + "▁prov isions", + "▁provision s", + "uv e", + "u ve", + "La ng", + "L ang", + "miss ing", + "ph ony", + "▁out line", + "pa s", + "p as", + "el m", + "e lm", + "mon itor", + "TC P", + "T CP", + "ka t", + "k at", + "uc ed", + "uce d", + "u ced", + "\\\" ,", + "\\ \",", + "yn a", + "y na", + "oc ate", + "oca te", + "▁c ares", + "▁car es", + "▁care s", + "▁ca res", + "▁f ins", + "▁fin s", + "▁fi ns", + "▁he ap", + "▁ heap", + "▁small est", + "äch st", + "re cv", + "rec v", + "key word", + "▁at tra", + "▁att ra", + "▁attr a", + "▁sel bst", + "Un expected", + "Une xpected", + "Sm all", + "▁насе ље", + "▁H us", + "▁Hu s", + "Enc oder", + "Encode r", + "▁un set", + "▁uns et", + "▁home less", + "▁hom eless", + "▁Johann es", + "▁U RI", + "▁ URI", + "ant age", + "anta ge", + "▁in hib", + "▁appreci ated", + "▁appreciate d", + "ie lte", + "iel te", + "ielt e", + "i elte", + "▁st ays", + "▁stay s", + "▁sta ys", + "▁c oding", + "▁co ding", + "▁cod ing", + "▁tv å", + "pipe line", + "p ipeline", + "▁W or", + "▁Wo r", + "File Path", + "▁accept ing", + "▁Ex cell", + "▁L uther", + "▁Lu ther", + "▁Friend s", + "▁c urt", + "▁cur t", + "▁cu rt", + "▁' $", + "▁ '$", + "▁tight ly", + "▁cz ę", + "▁un necessary", + "▁F ed", + "▁Fe d", + "▁H P", + "▁ HP", + "▁String Builder", + "en burg", + "' (", + "vm a", + "v ma", + "▁Ab raham", + "W L", + "▁Re ference", + "▁Refer ence", + "▁ Reference", + "J o", + "Bl ob", + "Blo b", + "▁H ugh", + "▁Hug h", + "▁Hu gh", + "▁Bul gar", + "MESS AGE", + "▁avoid ed", + "▁po ems", + "▁poem s", + "▁O pp", + "▁Op p", + "av irus", + "avi rus", + "Pre view", + "Prev iew", + "P review", + "▁k er", + "▁ke r", + "▁ ker", + "ue va", + "u eva", + "fl ix", + "▁char ging", + "▁charg ing", + "▁motiv ated", + "▁O rd", + "▁Or d", + "▁ Ord", + "▁av eva", + "▁ave va", + "x l", + "▁flex ibility", + "ag na", + "agn a", + "▁rac ism", + "d h", + "▁b aking", + "▁ba king", + "F riend", + "ble r", + "bl er", + "b ler", + "▁Log ger", + "▁ Logger", + "Te n", + "T en", + "nav igation", + "▁att achment", + "▁attach ment", + "▁ attachment", + "▁b ajo", + "▁ba jo", + "▁pr icing", + "▁pri cing", + "▁T ip", + "▁Ti p", + "▁ Tip", + "da r", + "d ar", + "G G", + "To ols", + "Tool s", + "Too ls", + "T ools", + "vol ution", + "v olution", + "am as", + "ama s", + "a mas", + "▁b ibli", + "▁adapt ed", + "ox y", + "o xy", + "▁F reedom", + "▁Free dom", + "ri co", + "ric o", + "r ico", + "▁coll apsed", + "▁collapse d", + "z m", + "pl o", + "p lo", + "▁c ô", + "▁r t", + "▁ rt", + "än ger", + "äng er", + "änge r", + "▁D R", + "▁ DR", + "▁Bit coin", + "go w", + "g ow", + "▁ch ez", + "▁che z", + "▁ chez", + "▁ot ro", + "▁te il", + "▁ teil", + "▁St ars", + "▁Star s", + "▁Sta rs", + "▁invest ing", + "▁a board", + "▁ab oard", + "▁f lights", + "▁fl ights", + "▁flight s", + "▁genu inely", + "▁genuine ly", + "▁prom ising", + "Rot ation", + "O cc", + "▁su oi", + "▁suo i", + "string ify", + "ac ies", + "aci es", + "a cies", + "▁G round", + "▁Gr ound", + "▁Gro und", + "▁sequ ences", + "▁sequence s", + "▁c ure", + "▁cur e", + "▁cu re", + "out ine", + "▁! !", + "▁ !!", + "▁G ay", + "▁Ga y", + "▁garden s", + "▁gard ens", + "▁G las", + "▁Gl as", + "▁Tai wan", + "reg istry", + "▁# {", + "▁ #{", + "▁ins pection", + "▁insp ection", + "▁inspect ion", + "Te ll", + "T ell", + "▁` ${", + "p matrix", + "▁reg ulation", + "▁regul ation", + "fin ish", + "▁Ed ge", + "▁ Edge", + "Sp rite", + "S prite", + "▁immigr ants", + "▁elder ly", + "▁Quest ion", + "▁ Question", + "Gate way", + "fo ny", + "fon y", + "f ony", + "ît re", + "î tre", + "▁co sm", + "▁cos m", + "Ro und", + "R ound", + "▁ign oring", + "▁ignor ing", + "▁K i", + "▁sens itivity", + "âte au", + "ât eau", + "▁engine ers", + "▁engineer s", + "▁cor rel", + "▁corre l", + "ir teen", + "irt een", + "▁Sw itzerland", + "▁inher it", + "▁ inherit", + "wo r", + "w or", + "▁mid night", + "▁P un", + "▁Pu n", + "ak te", + "akt e", + "a kte", + "Dis able", + "▁es per", + "▁esp er", + "▁not ation", + "▁ notation", + "▁Univers idad", + "so l", + "s ol", + "de rn", + "der n", + "d ern", + "in ge", + "ing e", + "▁inv itation", + ")} }", + ") }}", + "▁ â", + "▁ess ays", + "▁essay s", + "ar med", + "arm ed", + "ch sel", + "chs el", + "▁confirm ation", + "unit y", + "uni ty", + "▁ Є", + "ni ce", + "nic e", + "n ice", + "▁S ue", + "▁Su e", + "▁t ray", + "▁tr ay", + "▁tra y", + "C ookie", + "▁Feder ation", + "IC T", + "I CT", + "▁p éri", + "stud ent", + "▁V ent", + "▁Ven t", + "▁Ve nt", + "K K", + "ST EM", + "aw k", + "▁re un", + "▁pe oples", + "▁people s", + "io res", + "ior es", + "iore s", + "i ores", + "ou bt", + "▁St age", + "▁Sta ge", + "▁ Stage", + "▁c harm", + "▁ch arm", + "▁char m", + "▁cha rm", + "ie ur", + "ieu r", + "i eur", + "▁util ize", + "▁utiliz e", + "▁d istribute", + "▁dist ribute", + "▁distribut e", + "▁g otta", + "▁go tta", + "▁got ta", + "▁block ing", + "H ot", + "br ew", + "bre w", + "b rew", + "▁b onds", + "▁bon ds", + "▁bond s", + "le af", + "Pro te", + "Pr ote", + "P rote", + "▁d ice", + "▁di ce", + "▁dic e", + "▁Nor man", + "▁Norm an", + "▁о кт", + "▁ок т", + "▁in spir", + "▁insp ir", + "Pr iv", + "P riv", + "▁P uerto", + "RS T", + "R ST", + "▁s f", + "▁ sf", + "▁qu ale", + "▁qual e", + "ni ck", + "nic k", + "n ick", + "▁sup press", + "▁supp ress", + "▁H ello", + "▁Hel lo", + "▁Hell o", + "▁ Hello", + "▁crow ded", + "▁crowd ed", + "hba r", + "h bar", + "▁lo ads", + "▁load s", + "▁ loads", + "▁cor rection", + "▁correct ion", + "▁corre ction", + "ad just", + "adj ust", + "▁E state", + "▁Est ate", + "▁Esta te", + "text sc", + "▁cool ing", + "iv eau", + "ive au", + "▁bet ting", + "==== ========", + "======== ====", + "re mark", + "rem ark", + "r emark", + "▁im plications", + "▁impl ications", + "▁p oz", + "▁po z", + "ün g", + "ü ng", + "▁reg ards", + "▁regard s", + "▁a mid", + "▁am id", + "▁habit antes", + "G I", + "▁F ou", + "▁Fo u", + "▁j ar", + "▁ja r", + "▁ jar", + "▁requ iring", + "▁D rupal", + "▁Dru pal", + "▁li ability", + "cz as", + "c zas", + "▁l yrics", + "▁ly rics", + "▁N ort", + "▁No rt", + "▁Nor t", + "si l", + "s il", + "▁M ey", + "▁Me y", + "UN IT", + "f uture", + "hi r", + "h ir", + "CA L", + "C AL", + "LAB EL", + "▁S weet", + "▁stat ue", + "bor ne", + "born e", + "b orne", + "Not ify", + "▁her itage", + "▁d orm", + "▁do rm", + "▁l ever", + "▁le ver", + "▁lev er", + "▁mut tered", + "} &", + "▁inter mediate", + "▁Wat son", + "▁view ing", + "▁vie wing", + "kt or", + "k tor", + "enti eth", + "xx x", + "x xx", + "at u", + "a tu", + "▁Inst all", + "▁ Install", + "Cont in", + "▁t oute", + "▁to ute", + "▁tou te", + "▁tout e", + "▁P T", + "▁ PT", + "▁u ri", + "▁ur i", + "▁ uri", + "Call ed", + "Cal led", + "C alled", + "▁O FF", + "▁OF F", + "▁ OFF", + "ig lia", + "ic hi", + "ich i", + "i chi", + "V o", + "▁exhib it", + "▁asym pt", + "▁G ulf", + "do min", + "dom in", + "d omin", + "▁départ ement", + "mi l", + "m il", + "▁B ez", + "▁Be z", + "▁l ately", + "▁late ly", + "▁lat ely", + "▁def ining", + "▁defin ing", + "▁E L", + "▁ EL", + "omorph ic", + "▁f ebru", + "▁fe bru", + "▁febr u", + "IS TER", + "IST ER", + "I STER", + "res olved", + "resolve d", + "▁S pect", + "▁Sp ect", + "▁Spec t", + "▁Spe ct", + "▁sem pre", + "▁Se pt", + "▁Sep t", + "▁cl earing", + "▁cle aring", + "▁clear ing", + "▁diam eter", + "in do", + "ind o", + "▁soc cer", + "▁D CHECK", + "▁DC HECK", + "vo te", + "v ote", + "▁nom in", + "Type d", + "Ty ped", + "Typ ed", + "Miss ing", + "W as", + "▁Cent ury", + "▁direct ors", + "▁dire ctors", + "▁director s", + "▁mode rate", + "▁moder ate", + "▁Ill uminate", + "▁ Illuminate", + "▁B apt", + "▁Ba pt", + "▁Qu ant", + "▁ Quant", + "▁tre ating", + "▁treat ing", + "ag i", + "a gi", + "Si l", + "S il", + "ring e", + "rin ge", + "r inge", + "ł ą", + "el lan", + "ell an", + "ella n", + "▁f ino", + "▁fin o", + "▁fi no", + "Capt ure", + "C apture", + "▁S ic", + "▁Si c", + "▁st amp", + "▁sta mp", + "▁stam p", + "▁B uen", + "▁Bu en", + "▁seg undo", + "▁in verse", + "▁d up", + "▁du p", + "▁ dup", + "▁br oker", + "▁bro ker", + "▁broke r", + "▁search ed", + "▁sear ched", + "be ans", + "bean s", + "▁AB C", + "is ha", + "ish a", + "i sha", + "▁Lin ked", + "▁Link ed", + "▁ Linked", + "▁Nich olas", + "▁Sw edish", + "he mal", + "hem al", + "▁E M", + "▁ EM", + "▁j ego", + "▁je go", + "lo t", + "l ot", + "▁dis cret", + "▁disc ret", + "▁discre t", + "▁E g", + "pi ck", + "pic k", + "p ick", + "am on", + "amo n", + "a mon", + "▁nav igate", + "▁navig ate", + "▁Comm ander", + "▁Command er", + "▁disappe ar", + "▁con gress", + "▁congr ess", + "▁graph ic", + "sp r", + "s pr", + "FLO AT", + "▁S erial", + "▁Se rial", + "▁Ser ial", + "▁ Serial", + "▁я нва", + "so cial", + "soc ial", + "s ocial", + "bu ch", + "b uch", + "▁se al", + "▁sea l", + "▁c ement", + "▁ce ment", + "▁Y e", + "ot ti", + "ott i", + "o tti", + "▁The od", + "remove Class", + "▁Jul ie", + "▁Ju lie", + "▁Juli e", + "▁gr öß", + "ST REAM", + "▁G B", + "▁ GB", + "▁Ben ef", + "▁Mat rix", + "▁ Matrix", + "▁ke ine", + "▁cont inent", + "▁contin ent", + "▁ja ar", + "DA I", + "D AI", + "▁S equ", + "▁Se qu", + "▁ Sequ", + "kre is", + "▁crow n", + "Init ialize", + "Initial ize", + "ax y", + "a xy", + "▁C IA", + "▁int end", + "▁inte nd", + "▁b ub", + "▁bu b", + "▁mask s", + "▁mas ks", + "▁sit uated", + "▁situ ated", + "▁E du", + "▁Ed u", + "▁particip ating", + "_{ -", + "_ {-", + "▁Tele vision", + "▁pre ferences", + "▁prefer ences", + "▁preference s", + "▁D rop", + "▁Dr op", + "▁ Drop", + "re view", + "rev iew", + "▁vi olation", + "▁viol ation", + "▁ch rist", + "▁chr ist", + "q q", + "▁M yst", + "▁My st", + "comm ands", + "command s", + "▁prim itive", + "ill ance", + "▁r anging", + "▁ran ging", + "▁rang ing", + "▁Adv anced", + ") &", + "▁sub str", + "▁subst r", + "▁subs tr", + "▁ substr", + "▁clos ure", + "▁clo sure", + "▁ closure", + "tw itter", + "ne z", + "n ez", + "▁pr zed", + "▁prz ed", + "▁prze d", + "▁mer ged", + "▁merge d", + "ur os", + "uro s", + "u ros", + "▁j er", + "▁je r", + "▁ jer", + "▁_ (", + "▁ _(", + "ar an", + "ara n", + "a ran", + "▁P atri", + "▁Pat ri", + "▁Pa tri", + "▁T un", + "▁Tu n", + "U K", + "il iation", + "ili ation", + "▁Ke ith", + "Own Property", + "op sis", + "ops is", + "Ma d", + "M ad", + "▁def ence", + "A ir", + "=$ {", + "= ${", + "cript ors", + "criptor s", + "So m", + "S om", + "▁ ±", + "▁HA VE", + "~~~~ ~~~~", + "▁be aten", + "▁beat en", + "▁int imate", + "▁intim ate", + "op ic", + "o pic", + "▁p řed", + "▁př ed", + "Sh op", + "S hop", + "Table s", + "Tab les", + "T ables", + "▁S I", + "▁ SI", + "re name", + "ren ame", + "rena me", + "r ename", + "▁product ive", + "rib ly", + "r ibly", + "▁L uck", + "▁Lu ck", + "▁Luc k", + "▁kl ub", + "}} ^{", + "}}^ {", + "} }^{", + "▁F ish", + "▁Fi sh", + "PR I", + "P RI", + "en ario", + "ena rio", + "▁pse ud", + "Or d", + "O rd", + "▁quel ques", + "▁D od", + "▁Do d", + "▁p unto", + "▁pun to", + "▁punt o", + "se nal", + "sen al", + "▁Br others", + "▁Bro thers", + "▁Brother s", + "▁diab etes", + "P aint", + "▁person as", + "▁persona s", + "в ър", + "▁n ep", + "▁ne p", + "▁El len", + "▁Ell en", + "▁Elle n", + "▁h ä", + "cr tc", + "c rtc", + "▁frustr ation", + ". ^{[", + "▁s printf", + "▁sprint f", + "▁ sprintf", + "+ -", + "En code", + "Enc ode", + "▁насе лення", + "Draw able", + "▁b ore", + "▁bo re", + "▁bor e", + "▁E ld", + "▁El d", + "T ick", + "ar ator", + "ara tor", + "▁Fin ance", + "▁agric ultural", + ")^ {-", + ")^{ -", + ") ^{-", + "may be", + "Sche dule", + "▁[ …]", + "et ection", + "ete ction", + "▁he els", + "▁En joy", + "Sy s", + "S ys", + "orsz ág", + "CONT ROL", + "cc cc", + "▁D ictionary", + "▁ Dictionary", + "Ne ed", + "N eed", + "▁He aven", + "▁vess els", + "▁vessel s", + "ec ycle", + "e cycle", + "ti es", + "▁e nde", + "▁en de", + "▁end e", + "▁ ende", + "SI NG", + "S ING", + "De scribe", + "Desc ribe", + "▁Pub lished", + "▁Publish ed", + "▁win ds", + "▁wind s", + "neh men", + "▁D ES", + "▁DE S", + "Hor izontal", + "▁L ost", + "▁Los t", + "▁Lo st", + "-- -----------", + "---- ---------", + "-------- -----", + "--- ----------", + "------------ -", + "----- --------", + "---------- ---", + "------ -------", + "--------- ----", + "------- ------", + "----------- --", + "- ------------", + "▁p x", + "▁ px", + "}( {\\", + "} ({\\", + "▁Hein rich", + "oms nitt", + "ho s", + "h os", + "Ro ll", + "R oll", + "tor ch", + "▁equ ity", + "▁eq uity", + "▁collect ing", + "▁l ifting", + "▁lif ting", + "▁lift ing", + "sub figure", + "Ne ver", + "N ever", + "▁L ength", + "▁Le ngth", + "▁ Length", + "▁w inners", + "▁win ners", + "▁winner s", + "▁U SD", + "▁US D", + "▁st esso", + "▁al tri", + "▁alt ri", + "▁produ cers", + "▁produce rs", + "▁producer s", + "mon s", + "mo ns", + "m ons", + "▁Pop ular", + "Com b", + "Co mb", + "C omb", + "ab lo", + "abl o", + "a blo", + "RE SET", + "RES ET", + "т ва", + "Over lay", + "▁id iot", + "▁idi ot", + "ex ist", + "Be havior", + "UB LE", + "ier re", + "i erre", + "mine craft", + "▁f os", + "▁fo s", + "▁encuent ra", + "▁scream ed", + "▁polynom ial", + "▁c one", + "▁con e", + "▁co ne", + "▁c ited", + "▁cit ed", + "▁ci ted", + "▁president e", + "▁presid ente", + "▁re sign", + "▁res ign", + "▁y elled", + "▁i k", + "▁ ik", + "Pl us", + "▁The me", + "▁Th eme", + "▁ Theme", + "▁re li", + "▁r eli", + "▁rel i", + "ne m", + "n em", + "▁a men", + "▁am en", + "▁ amen", + "▁ Ј", + "Th anks", + "Thank s", + "Than ks", + "▁al umin", + "▁sh elf", + "▁shel f", + "!\" );", + "! \");", + "append Child", + "▁l ogs", + "▁lo gs", + "▁log s", + "▁ logs", + "▁re gex", + "▁reg ex", + "▁ regex", + "▁p unk", + "▁pun k", + "CO RE", + "▁b orders", + "▁border s", + "▁bord ers", + "▁bor ders", + "▁Requ ired", + "▁ Required", + "▁f law", + "▁fl aw", + "▁cin ema", + "▁v í", + "▁ ví", + "▁ab ortion", + "▁abort ion", + "jour nal", + "j ournal", + "in itions", + "init ions", + "inition s", + "state ment", + "stat ement", + "▁o urs", + "▁our s", + "▁ou rs", + "▁ ours", + "ó t", + "▁Tur ner", + "▁Turn er", + "ev es", + "eve s", + "e ves", + "▁magazine s", + "▁magaz ines", + "… …", + "la ce", + "l ace", + "sl ider", + "slide r", + "▁l ocate", + "▁loc ate", + "▁des arroll", + "P an", + "To m", + "T om", + "▁Land es", + "▁Lan des", + "ol ia", + "oli a", + "o lia", + "▁u nm", + "▁un m", + "▁Sen ator", + "▁ad minister", + "▁admin ister", + "▁ко ји", + "▁' {", + "▁) {", + "▁ ){", + "▁G olf", + "▁Gol f", + "▁g ele", + "▁ge le", + "▁gel e", + "▁d rank", + "▁dr ank", + "pos ing", + "po sing", + "p osing", + "▁en semble", + "he ap", + "sign ature", + "scri ber", + "scr iber", + "scribe r", + "scrib er", + "▁ch amp", + "▁cha mp", + "ni o", + "n io", + "la yers", + "lay ers", + "layer s", + "▁tr ump", + "▁mod al", + "▁mo dal", + "▁ modal", + "on ces", + "once s", + "че ння", + "чен ня", + "▁C ort", + "▁Co rt", + "▁Cor t", + "▁sun light", + "▁M use", + "▁Mus e", + "▁Mu se", + "ém ent", + "é ment", + "▁curios ity", + "▁v r", + "▁ vr", + "O ct", + "yl on", + "y lon", + "▁rel ativ", + "st y", + "s ty", + "] /", + "az u", + "a zu", + "▁person a", + "▁pers ona", + "Me n", + "M en", + "▁w ides", + "▁wide s", + "▁wid es", + "▁K as", + "▁Ka s", + "ic ies", + "ici es", + "i cies", + "▁C off", + "▁Co ff", + "▁con solid", + "▁cons olid", + "▁inter active", + "▁interact ive", + "op ing", + "o ping", + "La nd", + "L and", + "▁energ ies", + "▁independ ently", + "▁independent ly", + "inner HTML", + "Requ ire", + "Re quire", + "▁abs urd", + "▁IN FO", + "▁ INFO", + "▁b und", + "▁bu nd", + "▁ bund", + "anz ös", + "▁G ent", + "▁Ge nt", + "▁Gen t", + "▁scholar s", + "▁C reated", + "▁Create d", + "▁Creat ed", + "▁Cre ated", + "▁ Created", + "▁mar ine", + "▁mari ne", + ".. .'", + "... '", + "EN V", + "E NV", + "ach te", + "acht e", + "a chte", + "am ents", + "ament s", + "amen ts", + "a ments", + "▁tr ucks", + "▁truck s", + "▁re wards", + "▁reward s", + "og s", + "o gs", + "Gr een", + "Gre en", + "G reen", + "▁n ä", + "▁inher ited", + "▁inherit ed", + "im ated", + "imate d", + "ima ted", + "imat ed", + "▁F REE", + "▁FR EE", + "▁ FREE", + "▁ext ens", + "da g", + "d ag", + "▁g low", + "▁gl ow", + "▁glo w", + "ar di", + "ard i", + "N F", + "▁evalu ated", + "▁evaluate d", + "▁eval uated", + "▁o ps", + "▁op s", + "▁ ops", + "▁cle aned", + "▁clean ed", + "▁Prov ince", + "▁Provinc e", + "ha bil", + "hab il", + "h abil", + "гра фі", + "▁T CP", + "▁ TCP", + "▁я кі", + "▁як і", + "▁de ce", + "▁dec e", + "▁cont empl", + "▁acquis ition", + "}) $.", + "})$ .", + "} )$.", + "=\" -", + "▁se ctors", + "▁sector s", + "▁sect ors", + ":: <", + "u ß", + "▁trab aj", + "th an", + "tha n", + "t han", + "▁S ta", + "▁St a", + "Mem bers", + "Member s", + "▁r v", + "▁ rv", + ")^ {\\", + ")^{ \\", + ") ^{\\", + "mit t", + "mi tt", + "m itt", + "▁W ang", + "▁Wa ng", + "▁W end", + "▁We nd", + "▁G lass", + "▁Gl ass", + "▁Glas s", + "▁t xt", + "▁tx t", + "▁ txt", + "▁Cam eron", + "ie ls", + "iel s", + "i els", + "▁im mer", + "▁imm er", + "▁ immer", + ".. . /", + "▁sophistic ated", + "▁R he", + "▁Rh e", + "us sy", + "uss y", + "▁Sy ria", + "▁Car oline", + "▁Carol ine", + "riter ion", + "ér c", + "é rc", + "Lo ve", + "L ove", + "▁cy cles", + "▁cycle s", + "▁cycl es", + "▁Ter ms", + "▁Term s", + "▁med ieval", + "▁medi eval", + "▁m issions", + "▁miss ions", + "▁mission s", + "Har d", + "Ha rd", + "H ard", + "▁rég ion", + "▁Ph oenix", + "De ep", + "▁sam pling", + "▁dismiss ed", + "prop ri", + "p ropri", + "▁jud ges", + "▁judge s", + "▁judg es", + "ał a", + "a ła", + "ul os", + "ulo s", + "u los", + "▁L ion", + "▁Li on", + "▁loc als", + "▁local s", + "neg ative", + "ogen eous", + "ogene ous", + "▁A pi", + "▁Ap i", + "▁ Api", + "▁d ici", + "▁di ci", + "▁dic i", + "▁author ized", + "▁ authorized", + "ze rw", + "zer w", + "▁p g", + "▁ pg", + "▁A WS", + "▁key word", + "▁ keyword", + "▁entrepre neur", + "▁п рое", + "▁про е", + "▁V ancouver", + "it ating", + "ita ting", + "itat ing", + "F ast", + "▁acknowled ged", + "▁acknowledge d", + "▁tour ist", + "▁tou rist", + "▁G rid", + "▁Gr id", + "▁ Grid", + "▁En try", + "▁Ent ry", + "▁ Entry", + "▁g ebru", + "▁ge bru", + "▁geb ru", + "sa t", + "s at", + "ber ger", + "berg er", + "▁T F", + "▁ TF", + "▁m t", + "▁ mt", + "▁Mar cel", + "▁Marc el", + "▁Tw enty", + "▁ ”", + "{} {", + "{ }{", + "hi nt", + "hin t", + "h int", + "▁an onymous", + "Cam p", + "C amp", + "▁** _", + "By Comparator", + "U C", + "▁t ö", + "Event Handler", + "▁t ours", + "▁to urs", + "▁tour s", + "▁tou rs", + "▁lon ely", + "▁Sum mary", + "▁ Summary", + "st ick", + "s tick", + "All owed", + "Allow ed", + "лі в", + "л ів", + "▁B rew", + "▁Br ew", + "▁Bre w", + "AME TER", + "▁review ed", + "ir at", + "ira t", + "i rat", + "▁n erve", + "▁nerv e", + "▁ner ve", + "▁L inda", + "▁Lin da", + "▁Lind a", + "▁dec is", + "▁sp okes", + "▁spoke s", + "▁spo kes", + "▁qu ed", + "▁que d", + "▁q ued", + "▁F T", + "▁ FT", + "▁в ін", + "▁ві н", + "ou sing", + "ous ing", + "o using", + "▁L arge", + "▁Lar ge", + "▁ Large", + "▁op ponents", + "▁oppon ents", + "▁opponent s", + "Found ation", + "EQ UAL", + "og g", + "o gg", + "Re try", + "Ret ry", + "R etry", + "CHAN NEL", + "▁i i", + "▁ ii", + "de ad", + "d ead", + "▁M ale", + "▁Mal e", + "▁Ma le", + "Com pleted", + "Comp leted", + "Complete d", + "ty p", + "t yp", + "▁Ty ler", + "Dis k", + "Di sk", + "D isk", + "Hi de", + "H ide", + "iju ana", + "▁public ations", + "▁publication s", + "fo x", + "f ox", + "vis ed", + "vi sed", + "v ised", + "Fore ign", + "Write Line", + "▁remain der", + "Pi cker", + "P icker", + "we alth", + "▁G or", + "▁Go r", + "sequ ently", + "▁coll ision", + "▁Harr ison", + "▁Harris on", + "▁work place", + "▁N ormal", + "▁Nor mal", + "▁Norm al", + "▁ Normal", + "▁B irth", + "▁Bir th", + "▁cons ume", + "▁consum e", + "Sh ift", + "▁avoid ing", + "▁C ha", + "▁Ch a", + "▁An ti", + "▁Ant i", + "▁ch arts", + "▁char ts", + "▁chart s", + "▁P av", + "▁Pa v", + "ual mente", + "an ed", + "ane d", + "a ned", + "▁A uch", + "▁Au ch", + "rd ev", + "r dev", + "▁she er", + "▁an gl", + "▁ang l", + "sub str", + "Gener ate", + "> =", + "▁B ev", + "▁Be v", + "▁camp o", + "▁cam po", + "▁lect ure", + "hy per", + "▁Balt imore", + "mi x", + "m ix", + "ke iten", + "keit en", + "▁l asted", + "▁la sted", + "▁last ed", + "▁las ted", + "▁discrim ination", + "ig te", + "igt e", + "ok al", + "oka l", + "o kal", + "Ph ase", + "▁T itel", + "▁Tit el", + "▁Fif th", + "▁di agnostic", + "su ng", + "sun g", + "s ung", + "▁giorn ata", + "os ta", + "ost a", + "o sta", + "is co", + "isc o", + "▁S ara", + "▁Sa ra", + "▁Sar a", + "m v", + "▁el ő", + "▁R osen", + "▁Ro sen", + "▁Ros en", + "▁Rose n", + "▁E SP", + "▁ES P", + "ph er", + "p her", + "▁a j", + "▁ aj", + "Path s", + "Pat hs", + "▁R alph", + "▁ž e", + "▁ že", + "▁Ag reement", + "▁Word Press", + "an try", + "▁p icks", + "▁pick s", + "▁pi cks", + "▁pic ks", + "▁N ur", + "▁Nu r", + "chedul ed", + "ki e", + "k ie", + "▁represent ations", + "▁representation s", + "++ ){", + "++) {", + "ess ment", + "▁count less", + "Block s", + "Bl ocks", + "Blo cks", + "ym e", + "y me", + "▁c lo", + "▁cl o", + "▁B ened", + "▁Be ned", + "▁Ben ed", + "ch ars", + "char s", + "cha rs", + "▁A gent", + "▁Ag ent", + "▁Age nt", + "▁ Agent", + "▁hist oria", + "▁histor ia", + "▁F loor", + "▁Fl oor", + "▁Flo or", + "▁ten ía", + "▁long est", + "▁lon gest", + "fr ica", + "▁b ef", + "▁be f", + "▁mechan isms", + "▁mechanism s", + "ла зи", + "▁h eter", + "▁he ter", + "▁het er", + "▁athlet es", + "▁period ic", + "▁V otes", + "▁Vo tes", + "▁n á", + "▁ ná", + "▁m aid", + "▁ma id", + "▁mai d", + "▁s wear", + "▁sw ear", + "▁swe ar", + "▁wip ed", + "▁graph s", + "▁grap hs", + "▁t hesis", + "▁the sis", + "▁th esis", + "▁sens ation", + "pers istence", + "▁V il", + "▁Vi l", + "ac s", + "a cs", + "▁de el", + "sc rib", + "scri b", + "scr ib", + "ie ro", + "ier o", + "i ero", + "▁dis cre", + "▁disc re", + "air y", + "ai ry", + "Data Source", + "q t", + "ic iones", + "ici ones", + "icio nes", + "icion es", + "▁res pected", + "▁respect ed", + "▁fra m", + "▁spec ialized", + "▁special ized", + "▁prés ent", + "▁pré sent", + "Tur n", + "T urn", + "▁compl aints", + "▁complain ts", + "▁complaint s", + "(\" ,", + "( \",", + "▁Rel ated", + "▁Set ting", + "▁ Setting", + "▁s ą", + "▁P le", + "▁Pl e", + "▁d isse", + "▁dis se", + "▁diss e", + "ca ps", + "cap s", + "c aps", + "▁C ash", + "▁Cas h", + "▁Ca sh", + "▁cons umed", + "▁consum ed", + "▁consume d", + "▁l b", + "▁ lb", + "Ad just", + "Ser ialize", + "Serial ize", + "S erialize", + "is y", + "i sy", + "▁pat ent", + "▁vis ibility", + "▁S ach", + "▁Sa ch", + "▁Sac h", + "ün st", + "▁cy ber", + "▁Bl ake", + "▁Bl oom", + "▁Blo om", + "▁Sh ah", + "▁Sha h", + "PO WER", + "▁in clusion", + "▁incl usion", + "se rie", + "ser ie", + "s erie", + "▁man era", + "sec onds", + "second s", + "is ches", + "isch es", + "ische s", + "isc hes", + "▁C andidate", + "W D", + "op ath", + "o path", + "▁про гра", + "▁efficient ly", + "ap ps", + "app s", + "tool bar", + "we nd", + "wen d", + "w end", + "▁Ne il", + "▁form ats", + "▁format s", + "▁forma ts", + "▁T emplate", + "▁Temp late", + "▁ Template", + "▁min istry", + "▁minist ry", + "▁Char acter", + "▁ Character", + "Un iform", + "▁fon ction", + "Wh ile", + "рі я", + "▁D L", + "▁ DL", + "▁L ayout", + "▁La yout", + "▁Lay out", + "▁ Layout", + "▁c aval", + "▁ca val", + "▁cav al", + "▁H ob", + "▁Ho b", + "SP I", + "S PI", + "▁h ely", + "▁he ly", + "▁hel y", + "Dest ination", + "), \r", + ") ,\r", + "▁ad mission", + "▁adm ission", + "▁c ss", + "▁cs s", + "▁ css", + "user Id", + "um bling", + "umb ling", + "▁bo oking", + "▁book ing", + "▁COPY RIGHT", + "▁b land", + "▁bl and", + "output s", + "▁sub mission", + "▁subm ission", + "ti t", + "t it", + "fe ctions", + "fect ions", + "fection s", + "fr agment", + "frag ment", + "▁fa ç", + "▁Through out", + "▁distingu ished", + "▁distinguish ed", + "▁ar range", + "▁arr ange", + "▁arrang e", + "ume ric", + "umer ic", + "xf e", + "x fe", + "ip age", + "ipa ge", + "i page", + "ер жа", + "▁C ars", + "▁Car s", + "▁Ca rs", + "▁P AGE", + "▁PA GE", + "▁ PAGE", + "▁a unque", + "▁insert ed", + "smith y", + "AL LOC", + "ALL OC", + "RE C", + "R EC", + "▁B ak", + "▁Ba k", + "▁Str ong", + "ac hen", + "ach en", + "ache n", + "a chen", + "▁Spec ific", + "w q", + "MO VE", + "▁mús ica", + "▁C ris", + "▁Cr is", + "ea u", + "e au", + "▁F orum", + "▁For um", + "▁Fo rum", + "li sted", + "list ed", + "l isted", + ")\\ \\", + ") \\\\", + "/ $", + "Be r", + "B er", + "▁tact ics", + "Form atter", + "Format ter", + "op ens", + "ope ns", + "open s", + "▁r h", + "▁ rh", + "▁t ram", + "▁tr am", + "▁tra m", + "V L", + "▁Pro file", + "▁Prof ile", + "▁ Profile", + "▁Ray mond", + "▁cont empor", + "▁Pl anning", + "▁Plan ning", + "▁A RM", + "▁AR M", + "▁ ARM", + "▁des ires", + "▁desire s", + "k v", + "O s", + "▁m iner", + "▁min er", + "▁mi ner", + "▁mine r", + "▁qual ify", + "ik u", + "i ku", + "▁der ni", + "ol óg", + "▁K id", + "▁Ki d", + "ane an", + "▁Hol land", + "▁Holl and", + "Aut om", + "Auto m", + "▁Hamilton ian", + "St ation", + "Stat ion", + "js p", + "j sp", + "▁YO UR", + "▁YOU R", + "▁Th ailand", + "effect ive", + "▁relie ved", + "▁O klahoma", + "▁Jul ian", + "▁Juli an", + "▁Julia n", + "▁ind ent", + "▁inde nt", + "▁ indent", + "if r", + "i fr", + "▁fl ame", + "on io", + "oni o", + "o nio", + "As sign", + "Ass ign", + "▁sh ifts", + "▁shift s", + "▁car acter", + "▁caract er", + "if icates", + "ific ates", + "ificate s", + "ifica tes", + "X R", + "▁G FP", + "▁GF P", + "FE ATURE", + "▁M aine", + "▁Ma ine", + "▁Main e", + "▁Mai ne", + "▁f rank", + "▁fr ank", + "▁al igned", + "▁align ed", + "▁ aligned", + "▁p ří", + "▁př í", + "Code Attribute", + "▁M AC", + "▁MA C", + "▁ MAC", + "▁R oot", + "▁Ro ot", + "▁ Root", + "▁F M", + "▁ FM", + "с лі", + "▁s hy", + "▁sh y", + "▁partic ul", + "▁parti cul", + "pl atz", + "▁hypothes is", + "at hol", + "ath ol", + "s With", + "J s", + "$ ^{-", + "▁#! /", + "▁l emon", + "▁le mon", + "▁a bol", + "▁ab ol", + "▁ abol", + "▁Mil an", + "▁Mi lan", + "an ten", + "ant en", + "ante n", + "a nten", + "▁s ia", + "▁si a", + "ri as", + "ria s", + "r ias", + "▁con sid", + "as so", + "ass o", + "ain ers", + "ai ners", + "ainer s", + "aine rs", + "▁cir ca", + "▁circ a", + "re try", + "ret ry", + "r etry", + "▁nue vo", + "const ants", + "constant s", + "▁Med iterr", + "ion en", + "io nen", + "ione n", + "i onen", + "c rypto", + "▁ev olved", + "▁\" ?", + "▁p úblic", + "▁comp rend", + "▁compre nd", + "▁compr end", + "al lo", + "all o", + "zo om", + "z oom", + "▁dat etime", + "▁date time", + "▁ datetime", + "▁mond iale", + "▁M ask", + "▁Ma sk", + "▁Mas k", + "▁ Mask", + "▁p row", + "▁pro w", + "▁pr ow", + "▁belong ing", + "+ '", + "OUT PUT", + "▁G rab", + "▁Gr ab", + "▁Gra b", + "M ir", + "▁accommod ate", + "▁$ ('#", + "▁ $('#", + "▁Lou ise", + "▁Louis e", + "▁da mit", + "▁dam it", + "}' ,", + "} ',", + "scri pts", + "script s", + "sn apshot", + "snap shot", + "▁sh itty", + "▁shit ty", + "▁y o", + "▁ yo", + "▁belie ving", + "▁inhabit ants", + "W P", + "▁Colomb ia", + "li sts", + "list s", + "l ists", + "▁Mur phy", + "Data set", + "Dat aset", + "▁(! $", + "▁tremend ous", + "▁se ñ", + "▁S ed", + "▁Se d", + "▁sw allowed", + "▁swallow ed", + "om p", + "o mp", + "▁L ate", + "▁La te", + "▁Lat e", + "▁an ys", + "▁any s", + "▁dead ly", + "fol low", + "f ollow", + "▁A nc", + "▁An c", + "▁h w", + "▁ hw", + "wik ipedia", + "ic ts", + "ict s", + "▁Al aska", + "▁sc ary", + "▁scar y", + "▁second o", + "▁sec ondo", + "▁her oes", + "▁hero es", + "▁veter an", + "▁behav iors", + "▁behavior s", + "▁behavi ors", + "- %", + "▁E z", + "▁с і", + "▁ сі", + "tik z", + "▁spect acular", + "▁Ch ron", + "▁( @", + "▁ (@", + "▁de mo", + "▁dem o", + "▁ demo", + "▁ser ialized", + "▁serial ized", + "▁In depend", + "▁Indep end", + "BU ILD", + "fail ure", + "▁P ORT", + "▁PO RT", + "▁ PORT", + "ю чи", + "▁med itation", + "sample s", + "sam ples", + "s amples", + "i ão", + "▁Tr uth", + "▁Tru th", + "▁co efficient", + "▁coeff icient", + "sl ug", + "ia o", + "i ao", + "de ck", + "dec k", + "▁ad oles", + "ar ius", + "ari us", + "▁H az", + "▁Ha z", + "▁Pro test", + "▁Prote st", + "ra de", + "rad e", + "r ade", + "▁cl ause", + "conne ctor", + "connect or", + "conn ector", + "RA TE", + "R ATE", + "ц ю", + "▁Conne cticut", + "V S", + "abul ary", + "HO W", + "▁d elen", + "▁de len", + "▁del en", + "▁su ited", + "▁suit ed", + "▁suite d", + "▁Sur vey", + "ze c", + "z ec", + "ți i", + "ț ii", + "▁b acks", + "▁back s", + "▁ba cks", + "▁ backs", + "com merce", + "▁And rea", + "▁Andre a", + "▁Andr ea", + "▁propag anda", + "iz ioni", + "izi oni", + "izio ni", + "▁B il", + "▁Bi l", + "▁In nov", + "▁Inn ov", + "▁forg ive", + "▁oper ates", + "▁operate s", + "▁opera tes", + "ч ний", + "▁l ingu", + "▁lin gu", + "▁ling u", + "▁c ollar", + "▁col lar", + "▁coll ar", + "сі й", + "zt en", + "zte n", + "z ten", + "im at", + "ima t", + "i mat", + "▁sh oe", + "ge nder", + "gen der", + "g ender", + "▁leg ally", + "▁legal ly", + "RO P", + "R OP", + "▁S leep", + "deleg ate", + "ID s", + "▁build s", + "▁qu er", + "▁que r", + "▁q uer", + "▁ quer", + "uls ion", + ". “", + "ri se", + "ris e", + "r ise", + "th ink", + "▁bacter ia", + "▁magn ific", + "▁prison er", + "Cl ock", + "C lock", + "R B", + "ú t", + "▁L iz", + "▁Li z", + "gr a", + "g ra", + "▁And ré", + "▁Andr é", + "▁D ennis", + "▁Den nis", + "▁sur ge", + "▁surg e", + "ex isting", + "exist ing", + "▁W ald", + "▁Wal d", + "▁Wa ld", + "▁S chema", + "▁Sch ema", + "▁Sche ma", + "▁ Schema", + "▁war nings", + "▁warn ings", + "▁warning s", + "▁qu adr", + "▁quad r", + "at te", + "att e", + "▁E ins", + "▁Ein s", + "▁ad option", + "▁adopt ion", + "▁w anna", + "▁de rive", + "▁der ive", + "▁deriv e", + "▁ derive", + "▁a rena", + "▁are na", + "▁ar ena", + "▁aren a", + "▁Den ver", + "▁F i", + "▁ Fi", + "▁Jess ica", + "acy j", + "R atio", + "▁Act ivity", + "▁Activ ity", + "▁ Activity", + "em u", + "e mu", + "▁St alin", + "▁Sta lin", + "ag gi", + "agg i", + "a ggi", + "▁f ün", + "▁f ils", + "▁fil s", + "▁fi ls", + "aj u", + "a ju", + "card s", + "car ds", + "c ards", + "▁att raction", + "▁attract ion", + "▁attr action", + "▁attra ction", + "od ot", + "odo t", + "o dot", + "F at", + "▁H aven", + "▁Ha ven", + "▁Have n", + "▁Hav en", + "▁nine teenth", + "▁ninete enth", + "▁* *\"", + "▁** \"", + "▁m aggio", + "▁mag gio", + "ma ny", + "man y", + "m any", + "win ning", + "▁G A", + "▁ GA", + "▁d ummy", + "▁ dummy", + "Un able", + "en ci", + "enc i", + "ère nt", + "è rent", + "Im g", + "I mg", + "▁t ob", + "▁to b", + "DI P", + "D IP", + "S ince", + "▁Sa fe", + "▁Saf e", + "▁ Safe", + "Gu ard", + "is ure", + "i sure", + "port e", + "por te", + "p orte", + "▁stad ium", + "in di", + "ind i", + "▁App arently", + "ug no", + "▁w olf", + "▁ne ces", + "▁overse as", + "of s", + "o fs", + "ar el", + "are l", + "a rel", + "▁F ine", + "▁Fin e", + "▁Fi ne", + "▁cor rupt", + "▁n ovember", + "▁nov ember", + "▁nove mber", + "▁interpret ed", + "ib ile", + "ibil e", + "▁w ages", + "▁wa ges", + "▁wage s", + "▁Pre tty", + "▁Her bert", + "▁reg istr", + "an swer", + "ans wer", + "▁m orte", + "▁mor te", + "▁mort e", + "▁com posite", + "▁compos ite", + "Tool bar", + "▁iter ator", + "▁ iterator", + "ant ine", + "anti ne", + "▁init ialized", + "▁initial ized", + "▁initialize d", + "▁ initialized", + "▁poor ly", + "Access or", + "▁Han nah", + "▁Hann ah", + "ol an", + "ola n", + "o lan", + "▁o tto", + "▁ot to", + "▁ott o", + "▁ otto", + "▁str ikes", + "▁stri kes", + "▁strike s", + "▁conflict s", + "▁conflic ts", + "▁su rg", + "▁historia n", + "wo man", + "w oman", + "▁l ibraries", + "be w", + "b ew", + ")- -(", + ")-- (", + "ga ther", + "g ather", + "▁L ip", + "▁Li p", + "▁f ict", + "▁fi ct", + "FIL TER", + "@ {", + "▁bl essed", + "▁bless ed", + "et ics", + "etic s", + "eti cs", + "▁f ork", + "▁for k", + "▁Me tal", + "▁Met al", + "▁Meta l", + "po lation", + "pol ation", + "p olation", + "▁negoti ations", + "▁gen us", + "▁genu s", + "▁cont rolling", + "▁control ling", + "VER T", + "VE RT", + "V ERT", + "▁P erry", + "▁Per ry", + "▁S PD", + "▁SP D", + "CA SE", + "C ASE", + "▁C rown", + "▁Cr own", + "▁Cro wn", + "▁Crow n", + "▁ind ul", + "▁indu l", + "▁e hemal", + "▁ampl itude", + "▁amplit ude", + "▁B ach", + "▁Ba ch", + "▁phot ographer", + "▁photograph er", + "n ý", + "▁inv ested", + "▁invest ed", + "▁P arte", + "▁Par te", + "▁Part e", + "▁pro long", + "C U", + "icht et", + "ichte t", + "res ume", + "▁c arb", + "▁car b", + "▁ca rb", + "ur st", + "urs t", + "▁N ixon", + "▁n eur", + "▁ne ur", + "▁neu r", + "▁ neur", + "▁corpor ations", + "▁corporation s", + "Op s", + "O ps", + "u u", + "l m", + "ap ple", + "app le", + "ch te", + "cht e", + "▁deliber ately", + "ber e", + "be re", + "b ere", + "▁fe br", + "▁provinc ia", + "▁provin cia", + "Over flow", + "▁E ight", + "▁ind ication", + "▁indic ation", + "▁pist ol", + "oc ial", + "oci al", + "o cial", + "▁r und", + "▁run d", + "▁ru nd", + "▁ rund", + "▁se hr", + "ok at", + "oka t", + "o kat", + "ül et", + "ü let", + "▁He at", + "IC S", + "I CS", + "ay e", + "a ye", + "▁eight een", + "▁t ug", + "▁tu g", + "LO T", + "L OT", + "▁L ar", + "▁La r", + "ning s", + "n ings", + "▁T odd", + "▁To dd", + "▁Tod d", + "▁organis ations", + "▁organisation s", + "▁g enes", + "▁gen es", + "▁ge nes", + "▁gene s", + "B ag", + "Ke ep", + "^{ +", + "Base d", + "Bas ed", + "B ased", + "sk in", + "ski n", + "s kin", + "▁to das", + "▁tod as", + "▁toda s", + "▁illustr ated", + "▁c f", + "▁ cf", + "▁ar riving", + "▁arriv ing", + "▁arr iving", + "▁excess ive", + "▁tra its", + "▁trait s", + "▁s ank", + "▁san k", + "▁Att ribute", + "▁ Attribute", + "▁G D", + "▁ GD", + "com par", + "comp ar", + "▁dent ro", + "br is", + "b ris", + "▁at oms", + "▁atom s", + "fr ed", + "fre d", + "f red", + "▁E val", + "▁Ev al", + "▁Eva l", + "▁ Eval", + "▁di stances", + "▁dist ances", + "▁distance s", + "st aw", + "sta w", + "краї н", + "vari ables", + "variable s", + "l c", + "wi j", + "w ij", + "▁Sim ilar", + "je k", + "j ek", + "Pe t", + "P et", + "=\" $", + "▁Ra ng", + "▁Ran g", + "ion ato", + "iona to", + "▁bek annt", + "▁bekan nt", + "! *", + "Li m", + "L im", + "▁concl usions", + "▁conclusion s", + "ain te", + "ai nte", + "aint e", + "a inte", + "▁g ł", + "▁pass ive", + "▁Ga ussian", + "▁stag ione", + "ME DI", + "MED I", + "it ol", + "ito l", + "i tol", + "▁Jer emy", + "View s", + "class List", + "▁desper ately", + "▁desperate ly", + "▁ver l", + "▁ve rl", + "br ace", + "bra ce", + "N P", + "▁c ob", + "▁co b", + "▁A rist", + "▁Ar ist", + "▁Ari st", + "da p", + "d ap", + "Fil ters", + "Filter s", + "'=> '", + "ul tan", + "ult an", + "▁F actory", + "▁ Factory", + "è le", + "▁l asting", + "▁last ing", + "▁las ting", + "▁element ary", + "▁C M", + "▁ CM", + "▁Louis iana", + "▁p ov", + "▁po v", + "PC I", + "P CI", + "è de", + "▁P ink", + "▁Pin k", + "▁Br uno", + "▁Bru no", + "▁Brun o", + "▁Y ellow", + "▁ev angel", + "▁lik elihood", + "WID TH", + "▁$ -", + "▁ $-", + "ni co", + "nic o", + "n ico", + "hu i", + "h ui", + "ak ter", + "akt er", + "akte r", + "ne urs", + "neur s", + "n eurs", + "▁bre eze", + "▁bree ze", + "▁He ader", + "▁Head er", + "▁ Header", + "om rå", + "▁D ylan", + "▁Dy lan", + "▁Bi ographie", + "▁Univers ität", + "on so", + "ons o", + "HAND LE", + "J ournal", + "ea st", + "e ast", + "▁sup pliers", + "▁supplier s", + "▁table t", + "▁tab let", + "LI C", + "L IC", + "PER TY", + "ї в", + "▁z aw", + "▁za w", + "▁su bm", + "▁sub m", + "▁Fern ando", + "▁nou velle", + "▁nouve lle", + "▁Point s", + "▁ Points", + "▁str angers", + "▁strange rs", + "▁stranger s", + "▁strang ers", + "Component Model", + "ist ro", + "istr o", + "au rus", + "aur us", + "▁san ct", + "vert ical", + "Sp ring", + "▁Har old", + "▁Back ground", + "▁ Background", + "Bal ance", + "Key word", + "~$ \\", + "~ $\\", + "mal loc", + "m alloc", + "ORM AL", + "Sk ip", + "▁Mu ham", + "▁back wards", + "▁backward s", + "c ów", + "▁back end", + "▁ backend", + "▁de emed", + "▁accur ately", + "▁accurate ly", + "▁trans c", + "▁Broad way", + "▁g rud", + "▁gr ud", + "▁gru d", + "▁N amen", + "▁Name n", + "▁Na men", + "▁Nam en", + "▁sh ifting", + "▁shift ing", + "▁ment ally", + "▁mental ly", + "▁cal ories", + "▁cons ensus", + "Perm issions", + "Permission s", + "▁ob jet", + "▁obj et", + "▁elabor ate", + "at ts", + "att s", + "▁sn ake", + "▁ref res", + "▁refr es", + "ar u", + "a ru", + "▁reflect s", + "oun ge", + "o unge", + "R ank", + "▁K urt", + "▁Kur t", + "▁Ku rt", + "▁p ied", + "▁pie d", + "▁pi ed", + "▁exped ition", + "V el", + "▁O wen", + "Le ad", + "L ead", + "▁utter ly", + "▁Ar be", + "▁bre asts", + "▁breast s", + "IP S", + "I PS", + "▁hung er", + "▁hun ger", + "at em", + "ate m", + "a tem", + "▁vers chied", + "▁versch ied", + "▁Cam era", + "▁ Camera", + "▁Mün chen", + "i vals", + "▁sp raw", + "▁spr aw", + "▁S ü", + "▁Was ser", + "▁mechan ics", + "Load ed", + "Lo aded", + "db c", + "d bc", + "▁re marks", + "▁rem arks", + "▁remark s", + "▁ remarks", + "▁} ).", + "▁}) .", + "▁ }).", + "▁pain ter", + "▁pa inter", + "▁paint er", + "▁h aut", + "▁ha ut", + "Mar shal", + "IS D", + "I SD", + "▁ve loc", + "▁vel oc", + "▁In cre", + "▁Inc re", + "W ar", + "▁com pte", + "▁comp te", + "▁compt e", + "ü g", + "▁Def inition", + "▁ Definition", + "▁G am", + "▁Ga m", + "▁H ir", + "▁Hi r", + "▁witness ed", + "▁g ren", + "▁gr en", + "▁gre n", + "▁ gren", + "▁hur ry", + "ch et", + "che t", + "c het", + "re verse", + "G F", + "▁Qu arter", + "▁s ar", + "▁sa r", + "sb urg", + "sbur g", + "s burg", + "▁D it", + "▁Di t", + "▁ Dit", + "▁Arn old", + "j k", + "▁l ambda", + "▁ lambda", + "è ge", + "▁o z", + "▁ oz", + "▁h ans", + "▁ha ns", + "▁han s", + "▁answ ering", + "▁answer ing", + "▁o live", + "▁ol ive", + "▁sp ont", + "▁spo nt", + "▁inter vals", + "▁interval s", + "> @", + "▁F ocus", + "▁ Focus", + "ч них", + "▁tri angle", + "▁r ally", + "▁P unk", + "▁Pun k", + "▁G and", + "▁Ga nd", + "se ctions", + "section s", + "sect ions", + "AC CESS", + "A CCESS", + "ha rm", + "har m", + "h arm", + "▁Sk ip", + "▁ Skip", + "▁D river", + "▁Dr iver", + "▁Drive r", + "▁ Driver", + "▁Sant iago", + "it ung", + "itu ng", + "▁B arr", + "▁Bar r", + "▁Ba rr", + "process or", + "▁real ised", + "▁realise d", + "ą z", + "le ave", + "▁C omo", + "▁Com o", + "▁Co mo", + "▁Re views", + "▁Review s", + "▁earn ings", + "▁ear nings", + "▁earning s", + "▁S creen", + "▁Sc reen", + "▁Scre en", + "▁ Screen", + "gr and", + "gra nd", + "g rand", + "▁ap ril", + "▁apr il", + "▁sil ently", + "▁silent ly", + "ed o", + "e do", + "ue st", + "ues t", + "u est", + "oo oo", + "MAGE S", + "MAG ES", + "▁Sing h", + "▁Sin gh", + "▁Per fect", + "▁revolution ary", + "▁н і", + "▁ ні", + "▁Sch ools", + "▁School s", + "R ich", + "▁ch rom", + "▁chr om", + "▁an terior", + "▁ante rior", + "▁Indones ia", + "Con straints", + "Constraint s", + "▁\" __", + "▁\"_ _", + "▁six teen", + "▁sixt een", + "ér e", + "é re", + "N il", + "je l", + "j el", + "▁thr one", + "▁thro ne", + "▁aud iences", + "▁audience s", + "▁i hren", + "▁ih ren", + "▁ihr en", + "▁ihre n", + "Qu ick", + "in burgh", + "fi co", + "fic o", + "f ico", + "▁kid n", + "▁ki dn", + "irm ingham", + "is le", + "isl e", + "iz ación", + "iza ción", + "▁Ch ampions", + "▁Champion s", + "ol er", + "ole r", + "o ler", + "▁z ak", + "▁za k", + "▁p lat", + "at ique", + "ati que", + "li ter", + "lit er", + "l iter", + "▁P rest", + "▁Pr est", + "▁Pres t", + "▁Pre st", + "in is", + "ini s", + "i nis", + "▁scient ist", + "▁m ån", + "▁må n", + "ke ley", + "kel ey", + "▁h yd", + "▁hy d", + "grad uate", + "of t", + "o ft", + "▁N GC", + "on gs", + "ong s", + "▁t ier", + "▁tie r", + "▁ti er", + "▁Sh aw", + "▁Sha w", + "un ächst", + "▁establish ing", + "▁ind icator", + "▁indic ator", + "▁Par ad", + "▁Pa rad", + "▁Para d", + "▁Tr ail", + "▁Tra il", + "UM N", + "▁sp ine", + "▁spin e", + "▁Vis ual", + "▁ Visual", + ":: $", + "▁t eles", + "▁te les", + "▁tele s", + "▁tel es", + "OP ER", + "O PER", + "▁pack aging", + "to ire", + "t oire", + "▁product ivity", + "A f", + "ні ї", + "▁de gener", + "▁deg ener", + "br it", + "b rit", + "U i", + "▁Y am", + "▁Ya m", + "▁d ough", + "▁do ugh", + "▁dou gh", + "os ph", + "osp h", + "▁cl ue", + "▁me ille", + "▁tend ency", + "▁re lay", + "▁rel ay", + "▁design ers", + "▁designer s", + "Sh are", + "▁b icy", + "▁bi cy", + "▁M asters", + "▁Ma sters", + "▁Mas ters", + "▁Master s", + "▁altern atives", + "▁alternative s", + "ет о", + "е то", + "▁coun tr", + "▁count r", + "▁W ow", + "▁Wo w", + "LO CAL", + "LOC AL", + "en ue", + "enu e", + "▁s lim", + "▁sl im", + "▁t ir", + "▁ti r", + "▁do it", + "lic a", + "li ca", + "l ica", + "ci pe", + "cip e", + "c ipe", + "iz ia", + "izi a", + "▁A ires", + "▁Air es", + "▁F alls", + "▁Fall s", + "▁Fal ls", + "▁concent rate", + "▁concentr ate", + "▁ne gl", + "▁neg l", + "▁Re in", + "? ,", + "▁G ott", + "▁Go tt", + "▁Got t", + "▁Ver ify", + "▁ Verify", + "$ ('#", + "ow ym", + "owy m", + "я в", + "Prim itive", + "▁tax i", + "▁ta xi", + "▁Com mercial", + "place holder", + "se au", + "sea u", + "s eau", + "cor rect", + "he imer", + "heim er", + "▁H of", + "▁Ho f", + "▁d ia", + "▁di a", + "▁i rr", + "▁ir r", + "▁ur ged", + "▁urg ed", + "▁urge d", + "▁a nom", + "▁an om", + "▁ano m", + "▁t arde", + "▁tar de", + "▁tard e", + "ur m", + "u rm", + "▁se ized", + "▁sei zed", + "▁seiz ed", + "DO T", + "D OT", + "op acity", + "St rings", + "String s", + "Str ings", + "▁dec iding", + "▁decid ing", + "▁listen ers", + "▁listener s", + "ár a", + "á ra", + "▁pl anted", + "▁plan ted", + "▁plant ed", + "▁é taient", + "▁ét aient", + "Z oom", + "st ví", + "ng th", + "ä ude", + "▁C av", + "▁Ca v", + "▁v endor", + "▁vend or", + "▁ vendor", + "▁ ż", + "▁meas uring", + "▁necess ity", + "▁r ivers", + "▁ri vers", + "▁river s", + "▁riv ers", + "▁labor atory", + "▁E ff", + "▁reprodu ce", + "▁S ak", + "▁Sa k", + "▁not ebook", + "▁note book", + "▁reason ably", + "isecond s", + "i seconds", + "▁Part ial", + "▁ Partial", + "GUI D", + "GU ID", + "G UID", + "▁Per iod", + "▁ Period", + "▁reve aling", + "▁reveal ing", + "▁conv iction", + "▁бу ли", + "▁altern ate", + "▁alter nate", + "cc iones", + "▁N AT", + "▁NA T", + "▁can onical", + "▁canon ical", + "mo z", + "m oz", + "▁Mé xico", + "M o", + "lim inary", + "f é", + "▁Ham burg", + "▁Hamb urg", + "▁influ ential", + "▁b olt", + "▁bo lt", + "▁bol t", + "az zo", + "azz o", + "PH P", + "P HP", + "▁Sa udi", + "▁Saud i", + "▁Sau di", + "▁r m", + "▁ rm", + "▁cer ca", + "▁decor ated", + "▁st aat", + "▁sta at", + "Lo u", + "L ou", + "▁compet itors", + "во ї", + "▁diam ond", + "▁dia mond", + "▁m obil", + "▁mo bil", + "▁mob il", + "Click Listener", + "set State", + "▁s üd", + "; \"", + "œ ur", + "▁Lud wig", + "▁clin ic", + "▁e go", + "▁eg o", + "▁ ego", + "Thread ing", + "▁f ract", + "▁fr act", + "▁fra ct", + "Ref lection", + "oss ip", + "\"] [\"", + "▁L ov", + "▁Lo v", + "Ex press", + "Exp ress", + "Expr ess", + "if acts", + "ifact s", + "▁O ften", + "▁Of ten", + "▁p ets", + "▁pe ts", + "▁pet s", + "▁address ing", + "▁m ens", + "▁me ns", + "▁men s", + "▁ED IT", + "▁ EDIT", + "ud der", + "udd er", + "Vert ical", + "Cap t", + "C apt", + "verb ose", + "UNK NOWN", + "un its", + "unit s", + "uni ts", + "per mission", + "perm ission", + "[ _", + "▁er sch", + "▁ers ch", + "▁comm unes", + "▁commun es", + "▁commune s", + "Un ityEngine", + "▁com mut", + "▁comm ut", + "kl ass", + "k lass", + "▁volt age", + "▁volta ge", + "re zent", + "rez ent", + "pe rf", + "per f", + "DR V", + "D RV", + "▁f ame", + "▁fam e", + "▁fa me", + "▁S pot", + "▁Sp ot", + "▁c asting", + "▁cas ting", + "▁cast ing", + "hi m", + "h im", + "▁en gl", + "▁eng l", + "▁intr o", + "Comp any", + "some thing", + "som ething", + "▁cl icking", + "▁click ing", + "жи ва", + "▁fl ames", + "▁flame s", + "▁random ly", + "ex tr", + "ext r", + "Equal To", + "an ners", + "ann ers", + "anner s", + "anne rs", + "▁p arks", + "▁par ks", + "▁park s", + "▁murm ured", + "▁reason ing", + "▁n er", + "▁ne r", + "▁ ner", + "▁é c", + "▁ éc", + "ow ners", + "own ers", + "owner s", + "▁me er", + "▁typ ing", + "▁ty ping", + "▁happ ily", + ".. ...", + "... ..", + ".... .", + ". ....", + "be cca", + "bec ca", + "▁P apers", + "▁Pa pers", + "▁Pap ers", + "▁Paper s", + "▁Or acle", + "▁equ ilibrium", + "man agement", + "Li te", + "L ite", + "▁des ktop", + "▁desk top", + "ă r", + "▁G ill", + "▁Gi ll", + "▁Gil l", + "do rf", + "d orf", + "i gg", + "▁qu esta", + "▁que sta", + "▁quest a", + "▁ questa", + "Warning s", + "Warn ings", + "War nings", + "over flow", + "▁V T", + "▁ VT", + "▁A bu", + "▁Ab u", + "v scale", + "J O", + "ah o", + "a ho", + "▁T ensor", + "▁Ten sor", + "▁ Tensor", + "▁hes itated", + "▁w enn", + "▁we nn", + "▁wen n", + "map sto", + "maps to", + "▁controvers ial", + "M F", + "▁l ac", + "▁la c", + "▁an ch", + "▁anc h", + "▁ anch", + "▁A A", + "▁ AA", + "it ta", + "itt a", + "i tta", + "ul in", + "uli n", + "u lin", + "▁c ler", + "▁cl er", + "▁cle r", + "▁D iana", + "▁Di ana", + "▁Fre ud", + "▁challeng ed", + "▁challenge d", + "▁se ated", + "▁sea ted", + "▁seat ed", + "▁sm iles", + "▁smile s", + "▁cr acked", + "▁crack ed", + "▁а ктив", + "ско ј", + "dict ion", + "di ction", + "d iction", + "ex press", + "exp ress", + "expr ess", + "▁im posed", + "▁imp osed", + "▁pro tests", + "▁prote sts", + "▁protest s", + "▁prot ests", + "▁w ounds", + "▁wound s", + "C ulture", + "N Y", + "prevent Default", + "ad io", + "adi o", + "▁NE W", + "▁ NEW", + "B attle", + "▁se colo", + "▁sec olo", + "▁A x", + "(\" -", + "▁ret ro", + "▁retr o", + "▁pot atoes", + "import ant", + "ie me", + "iem e", + "i eme", + "ys ide", + "y side", + "d ummy", + "▁t ilt", + "▁til t", + "▁ti lt", + "▁R ules", + "▁Ru les", + "▁Rule s", + "▁ Rules", + "▁un ters", + "▁unt ers", + "▁unter s", + "A ud", + "V ENDOR", + "ud ge", + "un al", + "una l", + "u nal", + "▁Ad ult", + "▁im pat", + "▁imp at", + "▁rep airs", + "▁repair s", + "▁F erd", + "▁Fe rd", + "▁Fer d", + "▁Az ure", + "▁ Azure", + ")) :", + ") ):", + "▁pag ina", + "▁E pisode", + "File name", + "Fil ename", + "▁j á", + "▁oblig ation", + "ig hed", + "igh ed", + "▁pers istent", + "Mus ic", + "▁C ele", + "▁Ce le", + "▁Cel e", + "▁r y", + "▁ ry", + "▁cert ification", + "ul d", + "u ld", + "▁T L", + "▁ TL", + "▁sk irt", + "▁ski rt", + "▁M ini", + "▁Min i", + "▁Mi ni", + "▁B ring", + "▁Br ing", + ">< ?", + "> %", + "▁P and", + "▁Pan d", + "▁Pa nd", + "▁S UB", + "▁SU B", + "▁ SUB", + "▁compan ions", + "▁companion s", + "▁RE AD", + "▁ READ", + "▁S olutions", + "▁Solution s", + "▁acc essed", + "▁access ed", + "▁p osto", + "▁pos to", + "▁po sto", + "▁post o", + "▁pur suit", + "▁purs uit", + "ow i", + "o wi", + "▁gro cery", + "Sp e", + "S pe", + "haus en", + "▁normal ized", + "▁tra uma", + "gg i", + "g gi", + "ie nia", + "ien ia", + "▁aut umn", + "▁so vere", + "▁sov ere", + "▁Men schen", + "▁Mens chen", + "▁D AG", + "▁DA G", + "▁S ort", + "▁So rt", + "▁Sor t", + "▁ Sort", + "| ---", + "▁l iver", + "▁li ver", + "▁live r", + "▁liv er", + "▁ liver", + "env iron", + "DE CL", + "DEC L", + "▁N ak", + "▁Na k", + "bet ween", + "▁gentle man", + "in ging", + "ing ing", + "▁su bur", + "▁sub ur", + "ST O", + "S TO", + "ace ut", + "\\ !", + "▁Fuß ball", + "na r", + "n ar", + "▁b og", + "▁bo g", + "Token s", + "Tok ens", + "▁cer emon", + "▁cere mon", + "DA Y", + "D AY", + "▁out fit", + "▁agric ulture", + "▁N in", + "▁Ni n", + "▁Sp rings", + "▁Spring s", + "▁Spr ings", + "▁Co ach", + "▁d jango", + "▁ django", + "▁C rim", + "▁Cr im", + "▁te cn", + "Th ree", + "em os", + "e mos", + "▁be an", + "▁ bean", + "pi eler", + "pie ler", + "p ieler", + "ri tz", + "rit z", + "r itz", + "ta bs", + "tab s", + "t abs", + "▁Pro blem", + "in and", + "ina nd", + "oc on", + "oco n", + "o con", + "њ и", + "▁bu yer", + "▁buy er", + "us ement", + "use ment", + "▁sett embre", + "pp e", + "p pe", + "▁D eg", + "▁De g", + "▁W a", + "▁w ives", + "▁fr anzös", + "▁mar ca", + "▁des cent", + "▁desc ent", + "▁S ha", + "▁Sh a", + "ver ts", + "vert s", + "v erts", + "▁Sh adow", + "▁ Shadow", + "▁Hug o", + "▁Hu go", + "▁A ppe", + "▁App e", + "▁Ap pe", + "▁ Appe", + "▁L ac", + "▁La c", + "al len", + "all en", + "alle n", + "os ity", + "osi ty", + "▁consult ation", + "▁T i", + "▁er ano", + "▁era no", + "▁eran o", + "▁lo vers", + "▁love rs", + "▁lov ers", + "▁lover s", + "▁уни версите", + "▁virt ue", + "▁view ers", + "M u", + "c ategories", + "▁over look", + "▁overl ook", + "▁Oper ations", + "▁Operation s", + "▁ Operations", + "è ve", + "- (", + "▁ Ż", + "je v", + "j ev", + "▁c rist", + "▁cr ist", + "▁cris t", + "▁cri st", + "product ion", + "produ ction", + "prod uction", + "p roduction", + "▁T all", + "▁Tal l", + "▁Ta ll", + "Requ ests", + "Request s", + "▁t iles", + "▁til es", + "▁tile s", + "▁ti les", + "ref lect", + "▁ar gc", + "▁arg c", + "▁ argc", + "▁t emplates", + "▁templ ates", + "▁template s", + "▁ templates", + "AR B", + "A RB", + "▁weiter e", + "▁weit ere", + ")? ;", + ") ?;", + "▁t oll", + "▁to ll", + "▁correspond ence", + "$ ;", + "L T", + "▁t am", + "▁ta m", + "de cess", + "dec ess", + "built in", + "da sh", + "das h", + "d ash", + "ze nie", + "zen ie", + "▁mole cular", + "▁chem icals", + "▁chemical s", + "▁rend ering", + "▁render ing", + "▁Sing les", + "▁Sin gles", + "▁Single s", + "Init ialized", + "Initial ized", + "Initialize d", + "▁Mar tha", + "▁Mart ha", + "ri ere", + "rie re", + "rier e", + "r iere", + "par agraph", + "para graph", + "as ters", + "ast ers", + "aster s", + "aste rs", + "a sters", + "▁dec ides", + "▁decide s", + "▁decid es", + "▁Flor ence", + "▁Flo rence", + "▁Floren ce", + "▁And ers", + "▁An ders", + "▁a pt", + "▁ap t", + "▁ apt", + "▁affili ate", + "ch el", + "che l", + "c hel", + "▁re vision", + "▁rev ision", + "Pat ch", + "P atch", + "▁fi scal", + "▁fis cal", + "wi ę", + "w ię", + "N ational", + "▁depend encies", + "TRAN S", + "TRA NS", + "▁r ack", + "▁rac k", + "▁ra ck", + "sel ling", + "s elling", + "na issance", + "c atalog", + "Sh ip", + "S hip", + "IM AGE", + "I MAGE", + "'] [", + "' ][", + "▁p rv", + "▁pr v", + "▁F en", + "▁Fe n", + "▁rad ar", + "▁ra dar", + "cond itions", + "condition s", + "▁Quest ions", + "▁Question s", + "▁v ivid", + "▁vi vid", + "▁viv id", + "op f", + "o pf", + "FA CE", + "F ACE", + "ry s", + "r ys", + "Ex tract", + "Ext ract", + "Extra ct", + "il ians", + "ili ans", + "ilia ns", + "pl ug", + "▁a té", + "▁at é", + "▁like wise", + "▁L il", + "▁Li l", + "▁Cam peonato", + "AUT O", + "AU TO", + "▁M eta", + "▁Me ta", + "▁Met a", + "▁ Meta", + "re no", + "ren o", + "r eno", + "▁Trans fer", + "▁ Transfer", + "▁Mich elle", + "▁Michel le", + "▁Miche lle", + "bi s", + "b is", + "ń st", + "▁C ultural", + "com pass", + "comp ass", + "▁my sql", + "▁ mysql", + "▁cancel led", + "▁cancell ed", + "▁ ’", + "to o", + "t oo", + "▁re bell", + "▁reb ell", + "▁rebel l", + "ég e", + "é ge", + "os z", + "o sz", + "▁com poser", + "▁comp oser", + "▁compos er", + "}\" )", + "} \")", + "▁des erves", + "▁deserve s", + "▁oh ne", + "▁J ed", + "▁Je d", + "K ernel", + "▁pract ition", + "▁in door", + "▁ind oor", + "▁config urations", + "▁configuration s", + "▁m eth", + "▁me th", + "▁met h", + "+ (", + "Quest ion", + "▁bl own", + "▁blo wn", + "▁blow n", + ") '", + "▁Ar gs", + "▁Arg s", + "▁ Args", + "F ake", + "▁d even", + "▁de ven", + "▁dev en", + "istrz ost", + "na io", + "▁\" {", + "▁L it", + "▁Li t", + "com ed", + "co med", + "come d", + "c omed", + "▁st am", + "▁sta m", + "▁pl ugins", + "▁plugin s", + "▁plug ins", + "▁ plugins", + "▁travel ling", + "▁trav elling", + "na ire", + "n aire", + "▁aut onom", + "▁auto nom", + "STRU CT", + "n h", + "né es", + "née s", + "n ées", + "▁consider ably", + "B G", + "▁lad der", + "▁h ast", + "▁has t", + "▁ha st", + "iz ado", + "iza do", + "▁s ele", + "▁se le", + "▁sel e", + "▁W ere", + "▁We re", + "▁Wer e", + "ar don", + "ard on", + "ardo n", + "B ank", + "bund le", + "b undle", + "▁anticip ated", + "▁C ot", + "▁Co t", + "▁else if", + "▁ elseif", + "▁Bl ues", + "▁Blue s", + "▁fil tered", + "▁filter ed", + "▁a uction", + "▁au ction", + "ed uc", + "edu c", + "e duc", + "▁Ex pression", + "▁Express ion", + "▁Exp ression", + "▁ Expression", + "in x", + "i nx", + "▁s ucks", + "▁su cks", + "▁suc ks", + "▁suck s", + "EL L", + "E LL", + "▁Hud son", + "it ä", + "▁fem me", + "in ho", + "▁e vt", + "▁ev t", + "▁ evt", + "istribut ions", + "istribution s", + "▁r uss", + "▁ru ss", + "▁rus s", + "▁pet ition", + "▁petit ion", + "Si g", + "S ig", + "▁T ut", + "▁Tu t", + "Part ial", + "Ent ities", + "▁b ears", + "▁be ars", + "▁bear s", + "▁h ollow", + "▁hol low", + "__ [\"", + "▁R is", + "ț ă", + "dim s", + "di ms", + "d ims", + "▁compl ained", + "▁complain ed", + "▁m apped", + "▁map ped", + "▁ma pped", + "▁initi atives", + "▁initiative s", + "▁own s", + "ch ez", + "che z", + "▁dis pon", + "▁disp on", + "▁m ush", + "▁mus h", + "▁mu sh", + "q s", + "▁er folg", + "▁Nor weg", + "▁c et", + "▁ce t", + "im ag", + "ima g", + "i mag", + "Un til", + "U ntil", + "▁s talk", + "▁st alk", + "uv o", + "u vo", + "ie rz", + "ier z", + "ri eben", + "rie ben", + "rieb en", + "X T", + "ic als", + "ical s", + "ica ls", + "std out", + "▁extra cted", + "▁extract ed", + "▁Im ages", + "▁Image s", + "▁ Images", + "un def", + "und ef", + "unde f", + "u ndef", + "▁L é", + "▁accommod ation", + "▁T ouch", + "▁To uch", + "▁ Touch", + "▁intent ions", + "▁intention s", + "▁concent rated", + "▁concentr ated", + "▁concentrate d", + "▁Насе ление", + "▁ut ilis", + "▁util is", + "li f", + "l if", + "▁comp ris", + "▁compr is", + "med ium", + "medi um", + "St ates", + "State s", + "Stat es", + "▁Би ография", + "▁Fa ith", + "U A", + "ADD RESS", + "▁r ated", + "▁rate d", + "▁rat ed", + "▁ra ted", + "▁ rated", + "▁R ena", + "▁Re na", + "▁Ren a", + "▁C ache", + "▁Ca che", + "▁ Cache", + "▁pe que", + "▁un used", + "▁unus ed", + "▁ unused", + "ni m", + "n im", + "ol ding", + "old ing", + "▁N r", + "R ay", + "ur ls", + "url s", + "▁em issions", + "▁emission s", + "I r", + "▁m å", + "be ar", + "b ear", + "▁L ub", + "▁Lu b", + "▁Out side", + "min ded", + "mind ed", + "▁PRO VID", + "▁s ó", + "▁civil ian", + "Find er", + "Fin der", + "Fi nder", + "F inder", + "▁achie ving", + "mod ified", + "la ne", + "lan e", + "l ane", + "Se nder", + "Send er", + "S ender", + "▁Cr ime", + "▁Crim e", + "REQ UI", + "▁open ly", + "▁Belg ium", + "ic ity", + "ici ty", + "icit y", + "i city", + "▁M az", + "▁Ma z", + "▁st agger", + "▁stag ger", + "}} $,", + "}}$ ,", + "} }$,", + "na te", + "nat e", + "n ate", + "'' '", + "' ''", + "▁Ge off", + "ll i", + "l li", + "Su ite", + "▁D istribution", + "▁я кий", + "Com bo", + "Comb o", + "ho oks", + "hook s", + "▁F ight", + "▁Fig ht", + "▁Fi ght", + "Set s", + "Se ts", + "S ets", + "▁m k", + "▁ mk", + "▁gu ides", + "▁guide s", + "▁guid es", + "▁princip ale", + "▁principal e", + "Pre ferences", + "ti ny", + "t iny", + "ap pen", + "app en", + "appe n", + "a ppen", + "▁ru ined", + "▁ruin ed", + "▁sl iding", + "▁slid ing", + "▁Z en", + "▁Ze n", + "▁oct ubre", + "pos er", + "po ser", + "pose r", + "p oser", + "▁F lag", + "▁Fl ag", + "▁ Flag", + "▁b oom", + "▁bo om", + "▁Det ect", + "▁activ ation", + "▁entertain ing", + "▁entert aining", + "▁protect ive", + "ál l", + "á ll", + "▁Fl ash", + "▁mid st", + "▁mi dst", + "▁Ph D", + "ij ing", + "iji ng", + "cl ub", + "get C", + "▁tro uve", + "▁trou ve", + "am bers", + "amb ers", + "amber s", + "▁g reed", + "▁gr eed", + "▁gre ed", + "am arin", + "ama rin", + "amar in", + "▁suspic ious", + "▁susp icious", + "▁dep uty", + "▁deput y", + "as per", + "asp er", + "▁fun ded", + "▁fund ed", + "al one", + "alo ne", + "▁t ract", + "▁tr act", + "▁tra ct", + "▁ tract", + "▁R ating", + "▁Ra ting", + "▁Rat ing", + "ad ays", + "ada ys", + "a days", + "▁st att", + "▁stat t", + "▁sta tt", + "▁Priv acy", + "▁_ _(", + "▁__ (", + "▁ __(", + "▁f ights", + "▁fight s", + "á j", + "\\ ]", + "or na", + "orn a", + "▁Diam ond", + "▁pro totype", + "▁proto type", + "▁prot otype", + "▁ prototype", + "▁Str ateg", + "ha do", + "had o", + "h ado", + "▁l ungs", + "▁lung s", + "▁lun gs", + "Pro totype", + "Proto type", + "ließ lich", + "▁d ive", + "▁di ve", + "▁div e", + "co v", + "c ov", + "▁M ist", + "▁Mi st", + "▁Mis t", + "▁T ypes", + "▁Type s", + "▁Ty pes", + "▁Typ es", + "▁ Types", + "▁di agonal", + "▁p review", + "▁pre view", + "▁prev iew", + "▁ preview", + "▁Cont ainer", + "▁ Container", + "DESC RIP", + "▁brit ann", + "▁C ord", + "▁Co rd", + "▁Cor d", + "ak ov", + "ako v", + "a kov", + "▁far ming", + "▁farm ing", + "▁p ère", + "▁k ills", + "▁kill s", + "▁kil ls", + "▁Car ib", + "▁Ca rib", + "ћ и", + "? ;", + "▁En sure", + "par sed", + "parse d", + "pars ed", + "än ge", + "äng e", + "▁D elta", + "▁Del ta", + "▁ Delta", + "▁g aining", + "▁gain ing", + "▁ga ining", + "▁n oting", + "▁not ing", + "▁no ting", + "▁B arb", + "▁Ba rb", + "▁фев ра", + "Em p", + "E mp", + "▁{ })", + "▁{} )", + "▁ {})", + "▁sy ntax", + "▁syn tax", + "▁synt ax", + "W alk", + "▁P ere", + "▁Per e", + "▁Pe re", + "Is Null", + "▁U V", + "▁ UV", + "▁ret val", + "▁ retval", + "▁sim plicity", + "▁simpl icity", + "▁rein force", + "Lin q", + "▁diff usion", + "▁dis orders", + "▁disorder s", + "ât re", + "â tre", + "ui ty", + "uit y", + "u ity", + "▁hel pless", + "▁help less", + "Me asure", + "▁com pression", + "▁comp ression", + "▁compr ession", + "▁compress ion", + "▁Co al", + "olut ely", + "olute ly", + "o gue", + "▁up ward", + "▁Block ly", + "▁b ride", + "▁br ide", + "parse Int", + "▁is olation", + "▁isol ation", + "▁regul atory", + "ș ti", + "ric ane", + "м б", + "▁sa lad", + "▁sal ad", + "we i", + "w ei", + "▁B asket", + "▁Bas ket", + "▁M ON", + "▁MO N", + "▁ MON", + "\"> &", + "\" >&", + "do ors", + "door s", + "▁K ill", + "▁Kil l", + "▁Ki ll", + "▁conspir acy", + "▁M iles", + "▁Mil es", + "▁Mi les", + "wa nt", + "wan t", + "w ant", + "Mod ifier", + "▁batter ies", + "▁batt eries", + "iv as", + "iva s", + "i vas", + "▁att endance", + "▁attend ance", + "▁AUT H", + "▁AU TH", + "▁ AUTH", + "▁с ві", + ".. .,", + "... ,", + "▁aggreg ate", + "▁de struct", + "▁dest ruct", + "▁four teen", + "▁both ered", + "▁bother ed", + "el te", + "elt e", + "e lte", + "▁m ism", + "▁mis m", + "▁mi sm", + "▁res ting", + "▁rest ing", + "▁P ars", + "▁Par s", + "▁Pa rs", + "▁ Pars", + "▁id le", + "▁ idle", + "▁d eren", + "▁de ren", + "▁der en", + "▁dere n", + "▁di ary", + "▁dia ry", + "▁v ague", + "▁va gue", + "▁vag ue", + "▁margin al", + "▁marg inal", + "Wr it", + "W rit", + "Bo t", + "B ot", + "▁Met ro", + "▁e arning", + "▁earn ing", + "▁ear ning", + "hist oire", + "his toire", + "▁end orse", + "▁be ard", + "▁bear d", + "▁Chair man", + "ie b", + "i eb", + "▁neut r", + "▁neu tr", + "▁am bit", + "▁amb it", + "▁Leon ard", + "ban ds", + "band s", + "b ands", + "▁D ale", + "▁Da le", + "▁Dal e", + "▁ver ified", + "Al gorithm", + "Enumer able", + "op code", + "cast le", + "cas tle", + "š e", + "▁Venez uela", + "▁de scriptions", + "▁des criptions", + "▁description s", + "▁value d", + "▁val ued", + "▁chapter s", + "▁chap ters", + "▁I ls", + "▁Il s", + "▁cl arity", + "▁clar ity", + "▁tour ists", + "▁tourist s", + "Da n", + "D an", + "▁t ribe", + "▁tr ibe", + "▁tri be", + "▁trib e", + "fol k", + "f olk", + "ac cur", + "acc ur", + "▁St ack", + "▁Sta ck", + "▁ Stack", + "▁adv ocate", + "▁advoc ate", + "▁G ene", + "▁Ge ne", + "▁Gen e", + "Im ages", + "Image s", + "▁rig id", + "▁con greg", + "▁congr eg", + "▁start up", + "▁dead line", + "co uld", + "cou ld", + "c ould", + "▁beg ann", + "▁began n", + "▁cal ci", + "▁calc i", + "▁Cir cle", + "▁Circ le", + "▁in cons", + "▁inc ons", + "▁incon s", + "aaaa aaaa", + "▁rub bed", + "ape ut", + "ua rio", + "uar io", + "u ario", + "worth y", + "wor thy", + "wort hy", + "▁fam ília", + "▁synchron ized", + "▁unf air", + "rs p", + "r sp", + "▁soc ieties", + "▁societ ies", + "bo at", + "gr o", + "g ro", + "▁k at", + "▁ka t", + "▁ kat", + "▁p oker", + "▁po ker", + "▁pok er", + "▁l ocks", + "▁loc ks", + "▁lo cks", + "▁lock s", + "▁G F", + "▁ GF", + "▁re conc", + "▁recon c", + "▁Maur ice", + "▁Mau rice", + "__( /*!", + "▁ble eding", + "äs ident", + "▁deriv ative", + "cc ió", + "c ció", + "▁cr ushed", + "▁crush ed", + "▁tempor arily", + "▁co aches", + "▁coach es", + "▁Mo vement", + "▁Move ment", + "▁Mov ement", + "}} $.", + "}}$ .", + "} }$.", + "▁K yle", + "▁Ky le", + "▁S ohn", + "▁So hn", + "▁cre ator", + "▁creat or", + "ind ust", + "▁E rik", + "▁Er ik", + "▁se iz", + "▁sei z", + "▁dim ensional", + "▁dimension al", + "▁ dimensional", + "▁I st", + "▁Is t", + "▁pre val", + "▁pr eval", + "▁prev al", + "he ads", + "head s", + "▁про ти", + "▁determ ines", + "▁determine s", + "▁determin es", + "eg y", + "e gy", + "▁U INT", + "▁UI NT", + "▁ UINT", + "▁V olk", + "▁Vol k", + "pa wn", + "p awn", + "Ph oto", + "▁C olin", + "▁Col in", + "▁Co lin", + "ap propri", + "app ropri", + "ort ion", + "st eller", + "stell er", + "É tat", + "▁im ply", + "▁imp ly", + "▁impl y", + "▁t outes", + "▁to utes", + "▁tou tes", + "▁tout es", + "▁toute s", + "VO L", + "V OL", + "an ing", + "ani ng", + "a ning", + "Tool tip", + "ig ious", + "igi ous", + "▁e ternal", + "▁etern al", + "▁P oz", + "▁Po z", + "▁bank rupt", + "▁fail ures", + "▁failure s", + "uer te", + "zu ng", + "z ung", + "▁t cp", + "▁tc p", + "▁ tcp", + "▁cont ainers", + "▁contain ers", + "▁container s", + "ou sel", + "ous el", + "ouse l", + "▁H IV", + "▁con ced", + "▁conc ed", + "▁conce d", + "▁sept iembre", + "gi rl", + "g irl", + "▁C ho", + "▁Ch o", + "▁f az", + "▁fa z", + "▁Up per", + "▁ Upper", + "▁For ces", + "▁Force s", + "äh lt", + "in ject", + "Re ceived", + "MA T", + "M AT", + "ag lia", + "ów nie", + "ówn ie", + "/ '", + "▁p ip", + "▁pi p", + "▁G est", + "▁Ge st", + "▁Ges t", + "▁l ado", + "▁la do", + "▁lad o", + "▁compat ibility", + "▁m are", + "▁mar e", + "▁ma re", + "▁ mare", + "▁Cle arly", + "▁Clear ly", + "vers ation", + "Ver s", + "V ers", + "▁ch ick", + "▁chi ck", + "▁organ ize", + "▁organiz e", + "▁econom ics", + "▁economic s", + "▁ancest ors", + "ME D", + "M ED", + "▁sc rub", + "▁scr ub", + "▁label ed", + "▁lab eled", + "▁S uz", + "▁Su z", + "▁A str", + "▁As tr", + "▁Ast r", + "allow een", + "allo ween", + "rh s", + "r hs", + "as ci", + "asc i", + "▁C ancer", + "▁Can cer", + "▁H unt", + "▁Hun t", + "▁Hu nt", + "▁switch ing", + "▁R idge", + "Se q", + "S eq", + "▁gi ugno", + "bus iness", + "▁char ming", + "▁charm ing", + "▁I o", + "▁ Io", + "▁prés ident", + "ek ing", + "e king", + "í l", + "en h", + "e nh", + "pr it", + "p rit", + "erc ise", + "án ak", + "á nak", + "▁b ugs", + "▁bu gs", + "▁bug s", + "▁light ning", + "▁never theless", + "▁length s", + "G U", + "H idden", + "Act or", + "Ac tor", + "A ctor", + "To pic", + "Top ic", + "T opic", + "▁H orse", + "▁Hor se", + "ћ е", + "el ines", + "eline s", + "eli nes", + "elin es", + "e lines", + "▁trag edy", + "▁traged y", + "int endo", + "▁abund ance", + "▁ev ac", + "it ably", + "+\\ _\\", + "▁rec ib", + "ua ted", + "uate d", + "u ated", + "рі ї", + "▁fool ish", + "▁foo lish", + "▁t m", + "▁ tm", + "▁des pair", + "▁desp air", + "TO KEN", + "▁comp romise", + "▁comprom ise", + "▁Person en", + "▁Pers onen", + "▁investig ated", + "▁investigate d", + "▁ex clude", + "▁excl ude", + "▁telev is", + "▁tele vis", + "▁pull s", + "▁pul ls", + "▁according ly", + "▁accord ingly", + "▁f ő", + "▁Le ave", + "▁ Leave", + "oper ations", + "operation s", + "cri m", + "cr im", + "c rim", + "▁r hs", + "▁rh s", + "▁ rhs", + "▁form ally", + "▁formal ly", + "▁L ily", + "▁Li ly", + "▁Lil y", + "▁Com ments", + "▁Comm ents", + "▁Comment s", + "▁se ptember", + "▁sept ember", + "ie fs", + "ief s", + "▁tre asure", + "Http Servlet", + "ді в", + "д ів", + "▁dis claimer", + "lu ss", + "l uss", + "▁ка о", + "ro gen", + "rog en", + "r ogen", + "▁Start ing", + "▁Star ting", + "▁d ém", + "▁dé m", + "▁select ing", + "▁ ↘", + "▁Pract ice", + "▁p orte", + "▁por te", + "▁port e", + "▁ porte", + "▁as sure", + "▁ass ure", + "▁frustr ated", + "S ink", + "▁esc ort", + "ais es", + "ai ses", + "aise s", + "a ises", + "▁b ush", + "▁bu sh", + "▁bus h", + "▁Se ine", + "▁F ill", + "▁Fil l", + "▁Fi ll", + "▁ Fill", + "▁S ull", + "▁Su ll", + "▁Sul l", + "Do t", + "D ot", + "vi l", + "v il", + "un ing", + "uni ng", + "u ning", + "Render ing", + "Rend ering", + "sh ake", + "sha ke", + "pt e", + "p te", + "▁b end", + "▁be nd", + "▁ben d", + "▁jewel ry", + "▁Stock holm", + "▁Hon estly", + "! [", + "▁array s", + "▁arr ays", + "▁War ner", + "▁sh aft", + "▁sha ft", + "▁C ann", + "▁Can n", + "▁Ca nn", + "▁Pitt sburgh", + "ir ical", + "iri cal", + "i rical", + "au tre", + "aut re", + "▁R ück", + "▁gen naio", + "an nte", + "ann te", + "annt e", + "ps hire", + "p shire", + "ét a", + "é ta", + "▁pr inter", + "▁print er", + "▁prin ter", + "▁dam ages", + "▁damage s", + "▁Isa ac", + "▁Famil ie", + "Code s", + "Co des", + "C odes", + "th rift", + "no b", + "n ob", + "▁c av", + "▁ca v", + "▁techn ically", + "▁technical ly", + "▁I mm", + "▁Im m", + "▁tr icks", + "▁tri cks", + "▁trick s", + "EA R", + "E AR", + "▁Sub ject", + "▁ Subject", + "▁ne eding", + "▁need ing", + "▁G ir", + "▁Gi r", + "Bo ard", + "B oard", + "▁re he", + "▁rem inder", + "▁remind er", + "▁sh iver", + "K it", + "▁strugg les", + "▁struggle s", + "▁gen om", + "▁ge nom", + "im il", + "imi l", + "i mil", + "Reg istration", + "▁gl oves", + "▁glo ves", + "▁Z ur", + "▁Zu r", + "▁B eg", + "▁Be g", + "▁in clusive", + "▁incl usive", + "og an", + "oga n", + "o gan", + "po que", + "cont rib", + "contr ib", + "▁M ama", + "▁Ma ma", + "▁Mam a", + "print s", + "▁re named", + "ють ся", + "ю ться", + "net dev", + "▁comp ile", + "▁ compile", + "▁ §", + "M UL", + "▁dr aws", + "▁draw s", + "co ck", + "c ock", + "▁M um", + "▁Mu m", + "sp ieler", + "spi eler", + "s pieler", + "▁n ail", + "▁na il", + "▁ nail", + "▁trans it", + "▁S aw", + "▁Sa w", + "▁com press", + "▁comp ress", + "▁compre ss", + "▁compr ess", + "▁ compress", + "▁purch ases", + "▁purchase s", + "▁per forms", + "▁perform s", + "▁dem ol", + "▁demo l", + "▁comm ence", + "▁C B", + "▁ CB", + "▁A ber", + "▁Ab er", + "▁c ush", + "▁cu sh", + "▁Muham mad", + "▁Net flix", + "▁Environment al", + "No rm", + "N orm", + "▁w ir", + "null ptr", + "▁refuge es", + "▁B irmingham", + "New s", + "Ne ws", + "Or ient", + "O rient", + "As sembly", + "▁introdu cing", + "fin der", + "find er", + "fi nder", + "f inder", + "▁scholar ship", + "▁scholars hip", + "if a", + "i fa", + "Si ng", + "S ing", + "ib lic", + "ibli c", + "i blic", + "istribut ed", + "istribute d", + "▁depart ments", + "▁department s", + "CR EF", + "CRE F", + "C REF", + "▁Malays ia", + "CO NF", + "CON F", + "▁Cl aud", + "▁Bu ilt", + "▁ Built", + "RAN GE", + "Re direct", + "Red irect", + "LE ASE", + "-- -------", + "---- -----", + "-------- -", + "--- ------", + "----- ----", + "------ ---", + "------- --", + "- --------", + "▁n umpy", + "▁num py", + "▁project ed", + "▁remind s", + "▁- *-", + "ib ling", + "ibli ng", + "i bling", + "▁s lower", + "▁sl ower", + "▁slow er", + "op p", + "o pp", + "ro pic", + "rop ic", + "r opic", + "▁Mont real", + "▁detect ive", + "TH READ", + "▁qu é", + "▁R osa", + "▁Ro sa", + "▁Ros a", + "▁seven th", + "▁sevent h", + "Col ors", + "Color s", + "de mo", + "dem o", + "▁E sta", + "▁Est a", + "▁Es ta", + "ff f", + "f ff", + "ick ets", + "icket s", + "Gr e", + "G re", + "á b", + "bo ost", + "▁Go ing", + "▁Su ite", + "▁ Suite", + "▁adapt ation", + "▁j ours", + "▁jour s", + "▁jo urs", + "▁jou rs", + "▁ jours", + "▁Or th", + "▁Ort h", + "х і", + "Fig ure", + "▁su pers", + "▁sup ers", + "▁super s", + "▁access ories", + "we ak", + "▁dist ress", + "fr ied", + "f ried", + "▁go og", + "▁far mer", + "▁farm er", + "it ational", + "itation al", + "itat ional", + "Go ld", + "G old", + "▁ass hole", + "▁assh ole", + "▁Cont roller", + "▁Control ler", + "▁ Controller", + "To o", + "T oo", + "▁mol to", + "▁p ropri", + "▁prop ri", + "▁ propri", + "▁al go", + "▁alg o", + "Af f", + "A ff", + "re sc", + "res c", + "r esc", + "▁D y", + "▁con gr", + "▁T es", + "▁Te s", + "▁W IN", + "▁ WIN", + "de serialize", + "des erialize", + "sy n", + "s yn", + "▁chem istry", + "m iddle", + "▁an imated", + "▁anim ated", + "▁K um", + "▁Ku m", + "file Name", + "Amer ica", + "▁dr ums", + "▁dru ms", + "▁drum s", + "▁program a", + "▁n ej", + "▁ne j", + "▁ nej", + "Read Only", + "-- -----", + "---- ---", + "--- ----", + "----- --", + "------ -", + "- ------", + "Mut ex", + "Mu tex", + "un ned", + "unn ed", + "ynam ics", + "ynamic s", + "co system", + "cos ystem", + "▁R ect", + "▁Re ct", + "▁Rec t", + "▁ Rect", + "▁an ime", + "▁anim e", + "▁need le", + "es ser", + "ess er", + "esse r", + "▁incl u", + "▁inc lu", + "Le an", + "tr aining", + "tra ining", + "train ing", + "▁b our", + "▁bo ur", + "▁bou r", + "▁ bour", + "ab ases", + "abase s", + "aba ses", + "▁tak że", + "wa rz", + "war z", + "w arz", + "▁ste pping", + "▁step ping", + "▁T IME", + "▁ TIME", + "▁Ein stein", + "▁Log in", + "▁Lo gin", + "▁ Login", + "pon ential", + "ponent ial", + "De ad", + "D ead", + "in str", + "ins tr", + "inst r", + "▁ne ural", + "▁neu ral", + "▁neur al", + "▁ub ic", + "▁Init ialized", + "▁Initialize d", + "▁Initial ized", + "▁ Initialized", + "▁facil itate", + "G D", + "}{ (", + "} {(", + "D ark", + "▁n ag", + "▁na g", + "min ipage", + "Size s", + "Si zes", + "S izes", + "▁w orm", + "▁wor m", + "▁wo rm", + "bi as", + "bia s", + "b ias", + "Su ch", + "S uch", + "wick lung", + "▁sp ouse", + "▁spo use", + "▁surviv ors", + "er st", + "ers t", + "at ype", + "aty pe", + "a type", + "}) $,", + "})$ ,", + "} )$,", + "▁n l", + "▁ nl", + "▁cogn itive", + "▁o nde", + "▁on de", + "▁ onde", + "▁en abling", + "▁soc iet", + "▁soci et", + "▁c lan", + "▁cl an", + "▁ex cluded", + "▁excl uded", + "▁exclude d", + "▁th under", + "▁ent ropy", + "▁entr opy", + "▁fast est", + "RE EN", + "REE N", + "▁Vien na", + "▁fl owing", + "▁flo wing", + "▁flow ing", + "▁aff irm", + "al om", + "alo m", + "▁h ips", + "▁hi ps", + "▁hip s", + "▁can nab", + "▁st icks", + "▁stick s", + "▁cur riculum", + "▁retain ed", + "▁ext ending", + "▁extend ing", + "ó z", + "he aded", + "head ed", + "ex c", + "e xc", + "▁je ho", + "▁for ests", + "▁fore sts", + "▁forest s", + "ma nia", + "man ia", + "m ania", + "▁C anal", + "▁Can al", + "▁Ca nal", + "▁S out", + "▁So ut", + "▁Sou t", + "▁B ahn", + "▁Ba hn", + "▁Bah n", + "▁T EXT", + "▁TE XT", + "▁ TEXT", + "▁др жа", + "▁User s", + "▁Us ers", + "▁Use rs", + "▁ Users", + "▁G EN", + "▁ GEN", + "sl ash", + "ben falls", + "Text Field", + "▁r av", + "▁ra v", + "▁ rav", + "▁continu ously", + "▁continuous ly", + "IT ER", + "ITE R", + "I TER", + "▁Jen ny", + "▁Jenn y", + "ch os", + "cho s", + "c hos", + "▁am big", + "▁amb ig", + "Aut ow", + "Auto w", + "▁V eter", + "▁Ve ter", + "▁dest in", + "H om", + "au ge", + "aug e", + "a uge", + "▁com mod", + "▁comm od", + "▁gar lic", + "< =", + "▁dram atically", + "▁dramatic ally", + "CA N", + "C AN", + "an cers", + "ance rs", + "anc ers", + "ancer s", + "() }", + "( )}", + "gh ai", + "▁tw ee", + "▁twe e", + "▁сент ября", + "GP U", + "G PU", + "▁B omb", + "▁Bo mb", + "▁young est", + "▁c age", + "▁ca ge", + "ok s", + "o ks", + "ic hes", + "ich es", + "iche s", + "i ches", + "▁T ests", + "▁Te sts", + "▁Test s", + "▁Tes ts", + "▁ Tests", + "sk ý", + "cur y", + "cu ry", + "c ury", + "na ls", + "nal s", + "n als", + "ț a", + "▁V oice", + "▁Vo ice", + "Depend ency", + "v f", + "e ous", + "▁Z a", + "▁am ateur", + "▁G host", + "▁Gh ost", + "▁dis ability", + "▁rev enge", + "▁reven ge", + "Trans lation", + "▁cour tesy", + "ски я", + "▁bl ob", + "▁blo b", + "▁ blob", + "ä ß", + "ó j", + "▁print s", + "▁prin ts", + "▁ prints", + "▁pro ves", + "▁pr oves", + "▁prov es", + "▁prove s", + ">? [<", + "▁ut ils", + "▁util s", + "▁ utils", + "ty pen", + "type n", + "typ en", + "▁t erra", + "▁ter ra", + "▁terr a", + "▁ terra", + "▁min eral", + "▁mine ral", + "▁miner al", + "▁war rior", + "▁D S", + "▁ DS", + "Em b", + "E mb", + "get Data", + "лич и", + "▁sa fer", + "▁saf er", + "▁safe r", + "▁com une", + "▁comun e", + "▁hier archy", + "Cred entials", + "res se", + "ress e", + "r esse", + "gr av", + "gra v", + "g rav", + "lo gs", + "log s", + "l ogs", + "br os", + "bro s", + "b ros", + "BUT TON", + "lit eral", + "liter al", + "l iteral", + "▁S r", + "an tal", + "ant al", + "anta l", + "▁mer cy", + "▁merc y", + "DA P", + "D AP", + "▁Mag gie", + "▁sust ained", + "▁sustain ed", + "N M", + "Re view", + "Rev iew", + "▁Buen os", + "▁de aler", + "▁deal er", + "▁file Name", + "▁ fileName", + "bb ra", + "b bra", + "Inst all", + "▁Mor ning", + "LE T", + "L ET", + "ip a", + "i pa", + "G a", + "▁Sche dule", + "▁ Schedule", + "▁rep orters", + "▁report ers", + "▁reporter s", + "▁pecul iar", + "▁sup plier", + ")$ -", + ") $-", + "ë l", + "▁roll s", + "▁né cess", + "▁p reg", + "▁pre g", + "▁pr eg", + "▁Re yn", + "▁sur render", + "▁contribut ing", + ")+ \\", + ") +\\", + "PRO P", + "PR OP", + "P ROP", + "▁dec imal", + "▁Town ship", + "gr p", + "g rp", + "▁terror ist", + "pt o", + "p to", + "on en", + "one n", + "o nen", + "▁Polit ics", + "▁Pe arl", + "▁Pear l", + "▁pil low", + "▁pill ow", + "▁gr ades", + "▁grad es", + "▁grade s", + "▁gra des", + "▁ grades", + "TH E", + "T HE", + "▁num ero", + "▁numer o", + "▁nu mero", + "i NdEx", + "M igration", + "PE ND", + "P END", + "ph oto", + "▁cent ered", + "▁center ed", + "▁r het", + "▁rh et", + "egr ünd", + "▁laund ry", + "get Node", + "▁est imation", + "▁estim ation", + "▁I v", + "▁wh oles", + "▁who les", + "▁whole s", + "▁const itutional", + "▁constitution al", + "am ination", + "amin ation", + "▁Municip al", + "ad t", + "a dt", + "th y", + "t hy", + "▁pub li", + "▁di cembre", + "▁dic embre", + "▁dice mbre", + "` )", + "▁Ch rome", + "ef e", + "e fe", + "con g", + "co ng", + "c ong", + "bre aking", + "break ing", + "es tr", + "est r", + "e str", + "▁i di", + "▁id i", + "▁ idi", + "VER Y", + "V ERY", + "▁app el", + "▁ap pel", + "▁appe l", + "▁Techn ical", + "tc x", + "t cx", + "DO UBLE", + "se k", + "s ek", + "hu ng", + "h ung", + "▁A ur", + "▁Au r", + "coll apse", + "▁adv ise", + "▁advis e", + "▁Pr imary", + "▁Pri mary", + "▁Prim ary", + "▁ Primary", + "ia z", + "i az", + "▁a nten", + "▁an ten", + "▁ant en", + "▁ante n", + "▁ anten", + "▁bro ader", + "▁broad er", + "▁ju nio", + "▁jun io", + "▁juni o", + "▁w ool", + "▁wo ol", + "▁hat red", + "▁ex agger", + "Con v", + "Co nv", + "kt ur", + "▁em peror", + "▁Pack age", + "▁ Package", + "TD M", + "T DM", + "\\{ \\", + "\\ {\\", + "whe el", + "▁fe as", + "▁js ou", + "", + "< ?>", + "INST ANCE", + "▁ch ant", + "▁cha nt", + "▁ chant", + "▁Re fer", + "▁Ref er", + "▁S hir", + "▁Sh ir", + "▁Me eting", + "▁Meet ing", + "▁n v", + "▁ nv", + "▁associ ations", + "▁association s", + "it ations", + "itation s", + "itat ions", + "or um", + "o rum", + "▁t ires", + "▁ti res", + "▁tire s", + "▁tir es", + "▁d ash", + "▁da sh", + "▁das h", + "▁ dash", + "▁} ));", + "▁}) );", + "ar to", + "art o", + "▁Ed inburgh", + "W T", + "▁inv ented", + "▁invent ed", + "ve h", + "v eh", + "▁Hind u", + "▁Насе лення", + "▁ur gent", + "▁urg ent", + "▁urge nt", + "text color", + "we rp", + "wer p", + "▁det ector", + "▁detect or", + "▁al tered", + "▁alt ered", + "▁alter ed", + "▁t b", + "▁ tb", + "▁Nav al", + "▁mem br", + "style sheet", + "styles heet", + "un ts", + "unt s", + "▁nut rition", + "▁S ylv", + "▁Sy lv", + "▁e numer", + "▁en umer", + "▁enum er", + "▁m ines", + "▁min es", + "▁mi nes", + "▁mine s", + "▁l itter", + "▁lit ter", + "▁litt er", + "ž í", + "con current", + "▁sw allow", + "Si r", + "S ir", + "tal k", + "t alk", + "▁de utschen", + "▁deutsch en", + "re peat", + "▁dom ains", + "▁domain s", + "▁Mc Donald", + "▁cand le", + "▁pl ural", + "▁sharp ly", + "▁shar ply", + "orig ine", + "origin e", + "▁c andy", + "▁can dy", + "▁cand y", + "▁kilomet res", + "▁power ed", + "▁pow ered", + "▁ powered", + "▁s ep", + "▁se p", + "▁ sep", + "▁S oci", + "▁So ci", + "▁Soc i", + "▁Ber nie", + "▁Bern ie", + "GE NER", + "GEN ER", + "Ex per", + "Exp er", + "▁Al low", + "▁All ow", + "▁ Allow", + "▁Ern st", + "▁Re becca", + "▁Cont ribut", + "ro utes", + "rou tes", + "route s", + "r outes", + "▁s uffix", + "▁suff ix", + "▁ju lio", + "▁jul io", + "▁juli o", + "▁provinc ial", + "▁provincia l", + "▁provin cial", + "▁appreci ation", + "Us ing", + "U sing", + "abs olute", + "▁cr icket", + "W ould", + "▁Equip ment", + "▁tort ure", + "ut ton", + "utt on", + "▁out break", + "▁prevent ing", + "▁mad re", + "end region", + "▁f ais", + "▁fa is", + "▁remember ing", + "▁Al ban", + "▁Alb an", + "▁a rist", + "▁ar ist", + "▁work out", + "▁u z", + "▁ uz", + "as to", + "ast o", + "a sto", + "fort unate", + "fortun ate", + "▁p aste", + "▁past e", + "▁pas te", + "▁pa ste", + "▁M R", + "▁ MR", + "▁o tra", + "▁ot ra", + "S v", + "an gen", + "ang en", + "ange n", + "▁S ierra", + "▁Si erra", + "▁n au", + "▁na u", + "▁s era", + "▁se ra", + "▁ser a", + "$ ~", + "▁cos ì", + ")( (", + ") ((", + "▁propos als", + "▁proposal s", + "▁P ero", + "▁Per o", + "▁Pe ro", + "▁te nant", + "▁ten ant", + "▁ tenant", + "Y P", + "▁Param eter", + "▁ Parameter", + "sp ell", + "spe ll", + "▁e merge", + "▁emer ge", + "▁g ek", + "▁ge k", + "ol ence", + "olen ce", + "ot os", + "oto s", + "o tos", + "▁witness es", + "▁watch es", + "▁wat ches", + "▁A ch", + "▁Ac h", + "Cr oss", + "C ross", + "; }", + "▁O NE", + "▁ON E", + "▁ ONE", + "▁care ers", + "▁career s", + "▁faith ful", + "▁J our", + "▁Jo ur", + "▁Gener ate", + "▁Gene rate", + "▁ Generate", + "▁recommend ation", + "w b", + "sk ich", + "ski ch", + "bold math", + "▁orig ins", + "▁origin s", + "▁spin ning", + "▁// \r", + "▁bomb s", + "▁bom bs", + "min ister", + "I o", + "öl ker", + "Autow ired", + "um per", + "ump er", + "ich ael", + "▁contribut ors", + "▁contributor s", + "▁n asty", + "▁na sty", + "▁nas ty", + "▁nast y", + "▁d rap", + "▁dr ap", + "▁Bud apest", + "ur ious", + "uri ous", + "hi d", + "h id", + "▁wel comed", + "▁welcome d", + "▁w agon", + "▁wa gon", + "▁embarrass ed", + "▁Har vey", + "Lo s", + "L os", + "▁S ter", + "▁St er", + "▁Ste r", + "▁enjoy able", + "ör t", + "ö rt", + "Mill is", + "-- )", + "- -)", + "▁d ashed", + "▁das hed", + "▁dash ed", + "\"> < ?", + "\" >' ,", + "> ',", + "▁all iance", + "ic ism", + "ici sm", + "▁NA SA", + "▁p ode", + "▁po de", + "▁pod e", + "č ní", + "▁respon ding", + "▁respond ing", + "▁bl owing", + "▁blo wing", + "▁blow ing", + "ic ké", + "ick é", + "▁H off", + "▁Ho ff", + "▁Hof f", + "MB ER", + "M BER", + "▁civil ization", + "ar ía", + "a ría", + "Un lock", + "ge ts", + "get s", + "g ets", + "no d", + "n od", + "▁S TE", + "▁ST E", + "▁con science", + "PE G", + "ch anging", + "chan ging", + "▁Rich mond", + "ling ton", + "l ington", + "ocr atic", + "▁trav és", + "▁up dating", + "process ing", + "Al ex", + "A lex", + "▁mil itar", + "▁milit ar", + "▁pse udo", + "▁pseud o", + "str len", + "▁be have", + "▁beh ave", + "▁behav e", + "▁distinct ive", + "▁E c", + "▁c x", + "▁ cx", + "▁journal ists", + "▁journalist s", + "vo lt", + "vol t", + "v olt", + "▁sp un", + "▁d urable", + "▁dur able", + "▁pro position", + "▁propos ition", + "▁ proposition", + "thread s", + "▁tw entieth", + "▁ф і", + "▁ фі", + "en son", + "ens on", + "enso n", + "▁self ish", + "▁sel fish", + "ar ium", + "ari um", + "a rium", + "▁de cid", + "▁dec id", + "▁psy chiat", + "▁psych iat", + "g d", + "Z Z", + "ug u", + "u gu", + "▁i ds", + "▁id s", + "▁ ids", + "Man aged", + "▁Leg isl", + "ancell ationToken", + "▁gr ants", + "▁gran ts", + "▁grant s", + "▁lie utenant", + "▁lieu tenant", + "▁Fle et", + "** /", + "* */", + "▁T ig", + "▁Ti g", + "▁accept s", + "▁system atic", + ", {\\", + "▁aus ge", + "▁dial ect", + "▁dia lect", + "st ri", + "str i", + "s tri", + "er me", + "erm e", + "▁B esch", + "▁Be sch", + "▁Bes ch", + "lo ve", + "lov e", + "l ove", + "S ensor", + "▁B IT", + "▁ BIT", + "▁mist aken", + "▁mistake n", + "p v", + "▁u tf", + "▁ut f", + "▁ utf", + "▁[ \\", + "▁ [\\", + "▁Geb iet", + "▁Mann schaft", + "PAR AMETER", + "▁u rb", + "▁ur b", + "▁ urb", + "▁R eed", + "▁Re ed", + "▁c ough", + "▁co ugh", + "▁cou gh", + "wa ld", + "wal d", + "w ald", + "▁L amb", + "▁La mb", + "▁Lam b", + "▁surv iving", + "▁surviv ing", + "▁s way", + "▁sw ay", + "WI SE", + "ä ger", + "f y", + "sk e", + "s ke", + "▁s og", + "▁so g", + "▁Im plement", + "▁Imp lement", + "▁ Implement", + "获 取", + "▁T ools", + "▁To ols", + "▁Tool s", + "▁Too ls", + "▁ Tools", + "▁ne wer", + "▁new er", + "▁exempl e", + "▁exem ple", + "▁l itt", + "▁li tt", + "▁lit t", + "▁у прав", + "Em itter", + "Emit ter", + "IS ING", + "I SING", + "▁М і", + "▁Ex amples", + "▁Example s", + "▁I con", + "▁ Icon", + "Get ter", + "▁L ay", + "▁La y", + "▁Col lect", + "▁Coll ect", + "▁ Collect", + "Sa int", + "S aint", + "or able", + "ora ble", + "▁f ick", + "▁fi ck", + "ik h", + "i kh", + "sl ave", + "▁c lay", + "▁cl ay", + "▁W A", + "▁ WA", + "Re po", + "Rep o", + "it r", + "i tr", + "pa id", + "p aid", + "▁home work", + "M iddleware", + "▁r éal", + "▁ré al", + "ê m", + "ès e", + "è se", + "▁W ells", + "▁Well s", + "▁Wel ls", + "▁e nero", + "▁en ero", + "▁ener o", + "emperature n", + "▁N aj", + "▁Na j", + "▁Re agan", + "▁comp elling", + "▁tri bes", + "▁trib es", + "▁tribe s", + "▁to String", + "▁ toString", + "pace s", + "pa ces", + "p aces", + "▁harm ful", + "▁Con se", + "▁Cons e", + "od io", + "odi o", + "▁m im", + "▁mi m", + "get Item", + "▁script s", + "▁ scripts", + "ra is", + "rai s", + "r ais", + "▁Ph ase", + "▁ Phase", + "▁An swer", + "▁$ |\\", + "▁$| \\", + "▁as sembled", + "el in", + "eli n", + "e lin", + "ph abet", + "pha bet", + "▁to ast", + "▁tut ti", + "▁tu tti", + "▁be zeichnet", + "Gre at", + "G reat", + "et tes", + "ett es", + "ette s", + "e ttes", + "F ULL", + "▁re gener", + "▁reg ener", + "▁któ re", + "is ce", + "isc e", + "▁t oda", + "▁to da", + "▁tod a", + "▁eth ical", + "i q", + "P t", + "ar in", + "ari n", + "a rin", + "ig os", + "igo s", + "i gos", + "▁work shops", + "▁workshop s", + "▁R oche", + "▁Ro che", + "▁Roc he", + "Get String", + "мини стратив", + "m ême", + "▁D aw", + "▁Da w", + "ar ians", + "ari ans", + "aria ns", + "arian s", + "▁imp acts", + "▁impact s", + "▁por table", + "▁port able", + ")- \\", + ") -\\", + "sh ots", + "shot s", + "▁re lev", + "▁rel ev", + "▁rele v", + "PR IV", + "PRI V", + "▁бу ла", + "ard less", + "ul ously", + "ulous ly", + "-- >", + "- ->", + "ol ent", + "ole nt", + "olen t", + "▁Gener ic", + "▁Gene ric", + "▁ Generic", + "▁* /,", + "▁*/ ,", + "▁comb inations", + "▁combination s", + "▁re jo", + "cap acity", + "▁tr aces", + "▁tra ces", + "▁trace s", + "▁op acity", + "▁ opacity", + "▁Off icial", + "ic ion", + "ici on", + "icio n", + "▁emotional ly", + "▁emotion ally", + "▁Jo el", + "▁Joe l", + "сько му", + "▁legend ary", + "▁p am", + "▁pa m", + "▁Tamb ién", + ". <", + "ib a", + "i ba", + "mi dt", + "mid t", + "▁en suite", + "Author ization", + "P ag", + "▁hel met", + "▁ter rito", + "▁terr ito", + "second ary", + "▁seg unda", + "▁W ire", + "▁Wi re", + "rec ated", + "▁inv oked", + "▁invoke d", + "▁Value Error", + "AL IGN", + "CUR RENT", + "\\ +\\_\\", + "▁comp ilation", + "æ r", + "▁Pal mar", + "▁Palm ar", + "▁influ ences", + "▁influence s", + "/ :", + "M ix", + "NO P", + "N OP", + "ec onom", + "e conom", + "▁t ucked", + "▁} );\r", + "▁}); \r", + "▁}) ;\r", + "▁ });\r", + "AN K", + "re ject", + "▁p ension", + "▁pens ion", + "▁gener ates", + "▁generate s", + "▁in cap", + "▁inc ap", + "▁cl icked", + "▁click ed", + "▁f us", + "▁fu s", + "our ses", + "ours es", + "ourse s", + "▁E aster", + "▁East er", + "% ;", + "zi n", + "z in", + "▁oblig ations", + "▁obligation s", + "▁T ips", + "▁Tip s", + "▁Ti ps", + "}; \r", + "} ;\r", + ".\" _", + "▁B SD", + "▁BS D", + "át ica", + "▁ex pose", + "▁exp ose", + "▁expos e", + "Par s", + "P ars", + "▁Am anda", + "▁gu essed", + "▁guess ed", + "ds i", + "d si", + "▁Le ip", + "Br oad", + "Bro ad", + "B road", + "▁Hug hes", + "▁Hugh es", + "i é", + "▁W ahl", + "▁Wa hl", + "▁former ly", + "Rel ative", + "▁Y u", + "▁Mount ains", + "▁Mountain s", + "▁E num", + "▁En um", + "▁ Enum", + "▁str ang", + "▁stra ng", + "_ -", + "re cht", + "rec ht", + "vi v", + "v iv", + "pa use", + "p ause", + "▁Lond res", + "▁el bow", + "▁Hawai i", + "▁Cas ino", + "Th reshold", + "Un its", + "Unit s", + "In clude", + "ит о", + "и то", + "as ury", + "▁ste ht", + "▁dam ned", + "▁damn ed", + "▁pack ets", + "▁packet s", + "▁W erk", + "▁Wer k", + "▁elev ator", + "ied ad", + "go vern", + "gov ern", + "g overn", + "▁CONTR ACT", + "ma ls", + "mal s", + "m als", + "▁re mem", + "▁rem em", + "▁ent onces", + "▁v as", + "▁va s", + "▁ vas", + "▁sym pathy", + "▁befind et", + "in cing", + "inc ing", + "Data Set", + "▁add itionally", + "▁addition ally", + "▁additional ly", + "▁mus ician", + "▁music ian", + "▁li stop", + "▁list op", + ">\" )", + "> \")", + "Print f", + "▁Fel ix", + "▁car ved", + "▁nice ly", + "▁nic ely", + "ch ap", + "cha p", + "▁N ieder", + "▁Ni eder", + "▁Nie der", + "▁L av", + "▁La v", + "▁mod ifications", + "▁modification s", + "mo ment", + "m oment", + "▁bal con", + "▁depend ency", + "CK ET", + "▁van ished", + "▁f ighters", + "▁fight ers", + "▁fighter s", + "▁z unächst", + "io ctl", + "ioc tl", + "▁def ens", + "▁defe ns", + "▁N em", + "▁Ne m", + "Util ity", + "Ut ility", + "▁cur v", + "▁cu rv", + "▁DA MAGES", + "▁Ro gers", + "▁Rog ers", + "▁Roger s", + "▁grat itude", + "▁Den mark", + "gr pc", + "grp c", + "g rpc", + "▁j uni", + "▁ju ni", + "▁jun i", + "▁окт ября", + "▁imm ense", + "▁prevent ed", + "▁prev ented", + "▁fo am", + "▁Ex tra", + "▁Ext ra", + "▁ Extra", + "ai med", + "aim ed", + "▁C riteria", + "▁Crit eria", + "▁ Criteria", + "▁Sim ply", + "box es", + "▁Leg end", + "▁P layers", + "▁Play ers", + "▁Player s", + "▁Mer cedes", + "▁Merc edes", + "▁Br anch", + "▁ Branch", + "TER N", + "T ERN", + "om ena", + "ome na", + "omen a", + "▁incorpor ate", + "con de", + "co nde", + "cond e", + "c onde", + "▁Est ado", + "▁Esta do", + "▁w asted", + "▁was ted", + "▁wa sted", + "▁waste d", + "▁compl aining", + "▁complain ing", + "▁war riors", + "▁warrior s", + "ot er", + "ote r", + "o ter", + "▁con ten", + "▁cont en", + "▁co nten", + "▁machine ry", + "▁mach inery", + "▁techn ological", + "▁T D", + "▁ TD", + "▁g ras", + "▁gr as", + "▁gra s", + "▁minim ize", + "▁D oor", + "▁Do or", + "▁b zw", + "▁p rac", + "▁pr ac", + "▁pra c", + "TR EE", + "T REE", + "▁W ing", + "▁Win g", + "▁Wi ng", + "▁Trans action", + "▁ Transaction", + "▁M VT", + "▁Kle in", + "com mons", + "comm ons", + "common s", + "▁} {", + "▁ }{", + "▁Her itage", + "▁f ade", + "▁fa de", + "set Value", + "▁Wal lace", + "▁Wall ace", + "M X", + "▁A CT", + "▁AC T", + "▁ ACT", + "▁foot age", + "▁ent stand", + "ar ga", + "arg a", + "▁n ails", + "▁na ils", + "▁nail s", + "▁capital ism", + "▁G arc", + "▁Gar c", + "▁Ga rc", + "▁susp ension", + "il is", + "ili s", + "uff led", + "uffle d", + "Ar c", + "A rc", + "▁Beaut iful", + "WA Y", + "W AY", + "Par allel", + "XX XX", + "di ag", + "▁D T", + "▁ DT", + "m q", + "Text View", + "ML E", + "M LE", + "en nen", + "enn en", + "enne n", + "▁infect ed", + "▁therap ist", + "IN GS", + "ING S", + "▁c idade", + "ъ н", + "▁p df", + "▁pd f", + "▁ pdf", + "▁b ump", + "▁bu mp", + "CT X", + "C TX", + "▁IN CLUDING", + "▁ INCLUDING", + "▁G ef", + "▁Ge f", + "ENT IAL", + "▁h andy", + "▁hand y", + "▁han dy", + "▁tempor al", + "▁temp oral", + "▁tempo ral", + "At A", + "IS H", + "I SH", + "▁Pat tern", + "▁ Pattern", + "▁l an", + "▁la n", + "▁ lan", + "ep endant", + "▁sh ining", + "id y", + "i dy", + "▁N T", + "▁ NT", + "▁Fr an", + "▁Fra n", + "▁nur ses", + "▁nurs es", + "▁nurse s", + "▁bet ray", + "▁sens ible", + "▁' [", + "▁th irteen", + ")} _{", + ") }_{", + "▁No ah", + "INS ERT", + "ist ically", + "istic ally", + "▁Append ix", + "▁re cher", + "▁rec her", + "Re ceiver", + "▁der nier", + "▁derni er", + "▁Part ido", + "▁max imal", + "▁maxim al", + "sn ap", + "ST OP", + "STO P", + "S TOP", + "▁ult ra", + "▁ul tra", + "▁dévelop p", + "▁t egen", + "▁te gen", + "LI B", + "L IB", + "▁bas eline", + "▁base line", + "re load", + "rel oad", + "▁Ar bitro", + "▁k all", + "▁ka ll", + "c apture", + "Ar m", + "A rm", + "qu in", + "im pse", + "imp se", + "za s", + "z as", + "▁C and", + "▁Can d", + "▁Ca nd", + "▁br ains", + "▁brain s", + "▁bra ins", + "▁host ile", + "▁mar ble", + "oo ns", + "oon s", + "o ons", + "▁L oss", + "▁Los s", + "▁Lo ss", + "Meta Data", + "▁Rep ública", + "▁and ra", + "▁ andra", + "od en", + "ode n", + "o den", + "▁document ed", + "▁M oses", + "▁Mo ses", + "▁Mos es", + "od d", + "o dd", + "▁w ax", + "▁wa x", + "us ch", + "usc h", + "u sch", + "▁diagn osed", + "in kle", + "ink le", + "▁X box", + "▁seven ty", + "▁sevent y", + "ci as", + "cia s", + "c ias", + "▁nov iembre", + "Com pute", + "Comp ute", + "Comput e", + "}) ;\r", + "}); \r", + "} );\r", + "▁Philip pe", + "▁Philipp e", + "▁F ör", + "Le ave", + "▁s age", + "▁sa ge", + "▁sag e", + "▁un pre", + "▁Fort unately", + "▁a post", + "▁ap ost", + "ent ities", + "enti ties", + "▁el los", + "▁ell os", + "author ized", + "GB T", + "G BT", + "▁ins ist", + "▁insp ire", + "▁inspir e", + "Ma ss", + "M ass", + "▁r ôle", + "fe e", + "f ee", + "ip art", + "ipa rt", + "i part", + "un ate", + "una te", + "u nate", + "▁C NN", + ": }", + "▁unh appy", + "▁import ed", + "▁imp orted", + "H IGH", + "ring s", + "rin gs", + "r ings", + "▁In stance", + "▁Inst ance", + "▁ Instance", + "B ay", + "ag les", + "agle s", + "a gles", + "me e", + "m ee", + "ber y", + "be ry", + "b ery", + "▁St ories", + "▁Sto ries", + "▁Ch ase", + "▁Cha se", + "▁car riage", + "▁mis under", + "▁imag in", + "p w", + "▁M eter", + "▁Me ter", + "▁Met er", + "▁crow ds", + "▁crowd s", + "▁F ame", + "▁Fa me", + "sk ill", + "ski ll", + "s kill", + "▁c omed", + "▁com ed", + "▁co med", + "▁come d", + "▁ comed", + "▁r anch", + "▁ran ch", + "▁l acking", + "▁lack ing", + "▁lac king", + "▁sub mar", + "▁subm ar", + "ia nte", + "ian te", + "iant e", + "i ante", + "▁l anz", + "▁lan z", + "-- ---------", + "---- -------", + "-------- ---", + "--- --------", + "----- ------", + "---------- -", + "------ -----", + "--------- --", + "------- ----", + "- ----------", + "▁ob ten", + "▁obt en", + "▁down stairs", + "Y N", + "rot ation", + "▁J esse", + "▁Jes se", + "▁Jess e", + "$ (\"#", + "▁p uls", + "▁pu ls", + "▁pul s", + "ir ling", + "irl ing", + "▁Sch aus", + "▁Sc haus", + "▁de ployed", + "▁deploy ed", + "▁{ }\",", + "▁{} \",", + "▁Mar vel", + "EN UM", + "E NUM", + "▁Mat hemat", + "▁Math emat", + "▁n n", + "▁ nn", + "com pet", + "comp et", + "k ów", + "bi l", + "b il", + "Wh ich", + "is ine", + "isi ne", + "▁r ude", + "▁ru de", + "▁n iveau", + "▁á rea", + "▁p rès", + "▁pr ès", + "at is", + "ati s", + "fu r", + "f ur", + "pack ed", + "p acked", + "м ене", + "script style", + "▁A th", + "▁At h", + "▁d esp", + "▁de sp", + "▁des p", + "elt emperaturen", + "▁tal ents", + "▁talent s", + "oc y", + "o cy", + "▁r aises", + "▁rais es", + "▁raise s", + "▁ra ises", + "LI MIT", + "L IMIT", + "▁editor ial", + "▁edit orial", + "▁An imal", + "▁Anim al", + "dr ive", + "d rive", + "bs s", + "b ss", + "▁S ev", + "▁Se v", + "ep och", + "e poch", + "▁R C", + "▁ RC", + "UN USED", + "▁mand atory", + "( ?:", + "▁B in", + "▁Bi n", + "▁ Bin", + "▁synt hetic", + "▁g own", + "▁go wn", + "▁D ob", + "▁Do b", + "ka p", + "k ap", + "▁har mon", + "▁harm on", + "▁liber ty", + "▁libert y", + "▁R ice", + "▁Ric e", + "▁pray ers", + "▁pra yers", + "▁prayer s", + "▁m ise", + "▁mis e", + "▁mi se", + "▁conf using", + "▁le ap", + "▁arriv es", + "▁arr ives", + "▁arrive s", + "ka mp", + "k amp", + "▁th ats", + "▁that s", + "AC C", + "A CC", + "▁Param eters", + "▁Parameter s", + "▁ Parameters", + "▁B io", + "▁Bi o", + "d ensity", + "▁gl impse", + "FO RE", + "FOR E", + "▁L isten", + "▁List en", + "▁Li sten", + "▁Liste n", + "▁Lis ten", + "▁ Listen", + "Pr ev", + "Pre v", + "P rev", + "}\\ ,\\", + "}\\, \\", + "} \\,\\", + "▁S EC", + "▁SE C", + "▁ SEC", + "▁expl ored", + "▁explore d", + "▁explo red", + "▁mean time", + "▁meant ime", + "AI L", + "A IL", + "▁W P", + "▁ WP", + "▁r aison", + "▁rais on", + "▁ra ison", + "▁ex iste", + "▁exist e", + "▁l esser", + "▁les ser", + "▁less er", + "▁Valid ate", + "▁ Validate", + "▁ca ution", + "▁caut ion", + "u sta", + "he ading", + "head ing", + "EF F", + "E FF", + ".' \"", + ". '\"", + "▁Gil bert", + "▁lim itation", + "▁limit ation", + "▁ret our", + "▁Common wealth", + "▁gew ann", + "▁miser able", + "▁net working", + "▁network ing", + "▁ott obre", + "▁otto bre", + "▁D ise", + "▁Dis e", + "▁Di se", + "ed ges", + "edge s", + "▁s ede", + "▁se de", + "▁sed e", + "un iform", + "uni form", + "ir os", + "iro s", + "i ros", + "▁d esen", + "▁de sen", + "▁des en", + "▁p arc", + "▁par c", + "▁pa rc", + "▁R ico", + "▁Ric o", + "N s", + "gu id", + "gui d", + "g uid", + "or io", + "ori o", + "o rio", + "ave length", + "avel ength", + "▁G le", + "▁Gl e", + "ince ton", + "inc eton", + "Am az", + "A maz", + "Con struct", + "Const ruct", + "▁m x", + "▁ mx", + "▁V ern", + "▁Ver n", + "▁Ve rn", + "▁Gener ation", + "▁ Generation", + "J ack", + "ro mag", + "rom ag", + "▁vi agra", + "▁via gra", + "▁P eg", + "▁Pe g", + "▁Up dated", + "▁Update d", + "▁ Updated", + "▁over lap", + "▁overl ap", + "Event Args", + "▁* «", + "▁quest ioned", + "▁question ed", + "So uth", + "S outh", + "not ice", + "▁perman ently", + "▁permanent ly", + "ls t", + "l st", + "fi cie", + "fic ie", + "▁qu ella", + "▁que lla", + "▁quel la", + "▁college s", + "▁colle ges", + "▁colleg es", + "▁disappoint ment", + "▁Lu ft", + "img ur", + "▁trans itions", + "▁transition s", + "▁transit ions", + "▁s eller", + "▁sell er", + "▁sel ler", + "▁O g", + "▁A DD", + "▁AD D", + "▁ ADD", + "▁P ays", + "▁Pa ys", + "▁Pay s", + "COMM AND", + "gr ades", + "grad es", + "grade s", + "gra des", + "▁fe bbra", + "▁C yr", + "▁Cy r", + "▁febbra io", + "et i", + "e ti", + "▁a rom", + "▁ar om", + "▁Cl aude", + "▁Claud e", + "▁UE FA", + "▁жи ве", + "▁Victor ian", + "▁Victoria n", + "ke eping", + "keep ing", + "kee ping", + "ê n", + "▁FIX ME", + "it ime", + "iti me", + "i time", + "ch estr", + "che str", + "ches tr", + "▁Sam sung", + "▁do ctrine", + "▁p ear", + "▁pe ar", + "▁Mediterr anean", + "▁Y a", + "▁v ault", + "▁va ult", + "▁Hist oric", + "▁Histor ic", + "▁se dan", + "▁sed an", + "▁he ated", + "▁heat ed", + "▁polít ica", + "Pro of", + ": {", + "fe m", + "f em", + "▁Frank furt", + "pect ives", + "pective s", + "M G", + "▁E ye", + "da i", + "d ai", + "▁res erves", + "▁reserv es", + "▁reserve s", + "NE R", + "N ER", + "▁tob acco", + "▁frag ments", + "▁fragment s", + "ic c", + "i cc", + "▁b ooth", + "▁bo oth", + "▁boot h", + "▁cru ise", + "▁Test ament", + "co la", + "col a", + "c ola", + "▁Le op", + "▁Leo p", + "▁n oon", + "▁no on", + "▁ noon", + "▁terr ified", + "v b", + "int el", + "inte l", + "al ie", + "ali e", + "a lie", + "▁ver ification", + "yst er", + "ys ter", + "y ster", + "AD ER", + "A DER", + "ch ied", + "chie d", + "chi ed", + "▁data sets", + "▁dat asets", + "▁dataset s", + "▁з і", + "▁ зі", + "▁m iem", + "▁mi em", + "▁mie m", + "ul ates", + "ula tes", + "ulate s", + "▁u uid", + "▁ uuid", + "▁Pict ures", + "▁Picture s", + "▁B rend", + "▁Br end", + "▁Bre nd", + "▁Bren d", + "Bill board", + "▁s tern", + "▁st ern", + "▁ste rn", + "▁ster n", + "▁de nom", + "▁den om", + "▁acc idents", + "▁accident s", + "▁p acking", + "▁pack ing", + "▁pac king", + "ци ја", + "ibli cal", + "iblic al", + "▁wh isk", + "▁whis k", + "▁l uego", + "▁lu ego", + "▁rect angle", + "▁ho oks", + "▁hook s", + "▁ hooks", + "▁neg lect", + "▁negl ect", + "▁s ober", + "▁so ber", + "▁sob er", + "pro position", + "Mult iple", + "Multi ple", + ":\" ,", + ": \",", + "▁b apt", + "▁ba pt", + "Par ts", + "Part s", + "P arts", + "▁S election", + "▁Se lection", + "▁Sel ection", + "▁Select ion", + "▁ Selection", + "▁Al pha", + "▁ Alpha", + "we ights", + "weight s", + "ha ll", + "hal l", + "h all", + "▁l ur", + "▁lu r", + "▁ép oca", + "▁re sted", + "▁r ested", + "▁res ted", + "▁rest ed", + "▁reste d", + "amb igu", + "▁taste s", + "▁tast es", + "amazon aws", + "▁conf ess", + "▁dic iembre", + "▁dici embre", + "im plement", + "impl ement", + "imp lement", + "▁absor ption", + "Ha l", + "H al", + "LE AN", + "▁Z ach", + "▁Za ch", + "▁free ze", + "▁fre eze", + "L BL", + "ST M", + "S TM", + "▁ca lc", + "▁ calc", + "={ ()", + "= */", + "▁b t", + "▁ bt", + "Re b", + "R eb", + "▁W ien", + "▁Wi en", + "an ska", + "ans ka", + "ansk a", + "▁s urn", + "▁su rn", + "▁sur n", + "iat ive", + "i ative", + "▁inv ån", + "C Y", + "▁l à", + "am ba", + "amb a", + "le en", + "lee n", + "l een", + "wa hl", + "w ahl", + "▁function ing", + "ți a", + "ț ia", + "get Context", + "ga rt", + "gar t", + "g art", + "Pe n", + "P en", + "vi k", + "v ik", + "Sl ider", + "▁Ac cept", + "▁ Accept", + "Ga p", + "G ap", + "▁J orge", + "SI G", + "S IG", + "▁period o", + "▁pat ches", + "▁patch es", + "ко ї", + "är e", + "ä re", + "eng ono", + "li sta", + "list a", + "l ista", + "hor n", + "ho rn", + "h orn", + "▁Com plex", + "▁Comp lex", + "▁ Complex", + "Se nt", + "S ent", + "tr fs", + "▁conv ex", + "▁conve x", + "Gener ation", + "▁міс це", + "com press", + "comp ress", + "▁S ax", + "▁Sa x", + "▁u id", + "▁ui d", + "▁ uid", + "▁Leb ens", + "▁Leben s", + "Com pletion", + "\\| _{", + "\\ |_{", + "in sky", + "ins ky", + "▁sc hon", + "▁sch on", + "▁m asters", + "▁ma sters", + "▁master s", + "▁mas ters", + "▁mast ers", + "in depend", + "inde pend", + "ne ys", + "ney s", + "▁l ied", + "▁li ed", + "▁lie d", + "▁a spir", + "▁asp ir", + "ч ні", + "▁break down", + "▁H arm", + "▁Har m", + "▁Ha rm", + "▁design ing", + "h f", + "▁Ang ela", + "▁Angel a", + "▁con fer", + "▁conf er", + "▁part ido", + "▁parti do", + "▁inter ference", + "ma o", + "m ao", + "▁absor bed", + "▁absorb ed", + "▁V all", + "▁Val l", + "▁Va ll", + "Error Code", + "▁Publish ing", + "va no", + "van o", + "v ano", + "BIT S", + "BI TS", + "B ITS", + "▁de er", + "▁Camp aign", + "▁g raz", + "▁gr az", + "▁gra z", + "CHAN GE", + "▁f eder", + "▁fe der", + "▁fed er", + "if fe", + "iff e", + "hand ed", + "han ded", + "h anded", + "c q", + "um bing", + "umb ing", + "▁un re", + "▁s iendo", + "▁si endo", + "▁sim pler", + "▁simple r", + "▁simpl er", + "wh y", + "w hy", + "ar ettes", + "are ttes", + "aret tes", + "arette s", + "an st", + "ans t", + "▁h ass", + "▁has s", + "▁ha ss", + "▁Enter prise", + "▁m ois", + "▁mo is", + "▁F o", + "ff en", + "f fen", + "▁MOD ULE", + "▁ MODULE", + "▁activ ated", + "▁activate d", + "▁intern acional", + "▁M ittel", + "deg ree", + "▁& (", + "get Property", + "is z", + "i sz", + "ced ure", + "▁en ters", + "▁ent ers", + "▁enter s", + "▁S ally", + "▁Sal ly", + "▁Tr ain", + "▁Tra in", + "▁lo gged", + "▁log ged", + "▁R av", + "▁Ra v", + "▁A void", + "▁Av oid", + "▁K aiser", + "▁Ka iser", + "▁ex pend", + "▁exp end", + "ap hor", + "aph or", + "▁b rass", + "▁br ass", + "▁bra ss", + "▁bras s", + "▁mel od", + "▁att itudes", + "▁attitude s", + "* \"", + "W all", + "▁o we", + "▁ owe", + "▁b amb", + "▁ba mb", + "sh ader", + "sha der", + "ce ster", + "ces ter", + "c ester", + "▁P P", + "▁ PP", + "▁migr ations", + "▁migration s", + "ent ric", + "entr ic", + "▁Set up", + "▁ Setup", + "▁Art ist", + "hr e", + "h re", + "▁pol ite", + "▁polit e", + "ah an", + "aha n", + "a han", + "▁lug lio", + "▁pre decess", + "▁S IG", + "▁SI G", + "▁ SIG", + "ті в", + "т ів", + "▁R F", + "▁ RF", + "▁D ry", + "▁Dr y", + "▁m aker", + "▁make r", + "▁ma ker", + "▁ maker", + "▁S ounds", + "▁Sound s", + "▁implement ing", + "▁a h", + "▁ ah", + "▁g ev", + "▁ge v", + "▁du plicate", + "▁L ogan", + "▁Log an", + "▁Lo gan", + "▁G rade", + "▁Gr ade", + "▁Grad e", + "▁Gra de", + "DU CT", + "ís es", + "í ses", + "ér t", + "é rt", + "▁nons ense", + "back up", + "Att achment", + "▁e cc", + "▁ec c", + "le arn", + "lear n", + "de precated", + "dep recated", + "▁A ub", + "▁Au b", + "▁G ol", + "▁Go l", + "▁over l", + "SER VICE", + "▁beautiful ly", + "RE L", + "R EL", + "▁G ian", + "▁Gi an", + "▁P apa", + "▁Pa pa", + "▁Pap a", + "respon d", + "resp ond", + "▁Carib bean", + "r n", + "C fg", + "ra i", + "r ai", + "▁sn iff", + "tt o", + "t to", + "▁r b", + "▁ rb", + "▁inc idents", + "▁incident s", + "▁d uck", + "▁du ck", + "▁PROVID ED", + "Source s", + "S ources", + "▁Chel sea", + "▁t ek", + "▁te k", + "▁ tek", + "▁на лази", + "▁pil ots", + "▁pilot s", + "▁tr aded", + "▁trad ed", + "▁tra ded", + "▁trade d", + "▁Be ijing", + "▁Greg ory", + "scal ar", + "▁incl ined", + "▁inc lined", + "▁K amp", + "▁Kam p", + "▁Ka mp", + "▁M arian", + "▁Mar ian", + "▁Ma rian", + "▁Maria n", + "▁fier ce", + "▁the ft", + "▁th eft", + "▁In to", + "▁Int o", + "▁ Into", + "con straint", + "parent Node", + "id ental", + "ident al", + "iden tal", + "▁gouver nement", + "▁S ND", + "▁SN D", + "▁Rub y", + "▁Ru by", + "▁mon aster", + "Rec ords", + "Record s", + "▁K ab", + "▁Ka b", + "▁Un iverse", + "▁Univers e", + "▁approxim ate", + "▁approx imate", + "W ater", + "▁Phys ical", + "ap pers", + "app ers", + "appe rs", + "oubt edly", + "▁tow el", + "▁sib lings", + "ic ios", + "ici os", + "icio s", + "▁out rage", + "▁tamb é", + "SR C", + "S RC", + "V i", + ".' );", + ". ');", + "L M", + "▁m itt", + "▁mit t", + "▁mi tt", + "▁ mitt", + "▁w eed", + "▁we ed", + "▁cr ops", + "▁cro ps", + "▁crop s", + "im an", + "ima n", + "i man", + "Cl aim", + "ins ula", + "▁( “", + "▁Ch anges", + "▁Change s", + "▁ Changes", + "▁invån are", + "ag ain", + "aga in", + "a gain", + "▁c nt", + "▁ cnt", + "▁G az", + "▁Ga z", + "▁a ustral", + "over lay", + "▁Me chan", + "▁sl ammed", + "▁tr ailing", + "▁tra iling", + "▁trail ing", + "▁Bi ography", + "▁appe aling", + "▁appeal ing", + "IV ER", + "IVE R", + "I VER", + "▁A ve", + "▁Av e", + "▁P lot", + "▁Pl ot", + "vo j", + "v oj", + "▁s ung", + "▁su ng", + "▁sun g", + "▁ sung", + "▁u nos", + "▁un os", + "▁uno s", + "Effect s", + "v v", + "co ok", + "c ook", + "But tons", + "Button s", + "▁trans m", + "ier to", + "iert o", + "CON TEXT", + "CONT EXT", + "▁dign ity", + "air ed", + "ai red", + "aire d", + "a ired", + "java x", + "jav ax", + "j avax", + "▁Albert o", + "▁Alber to", + "▁Rec ently", + "▁Recent ly", + "▁fac ial", + "▁fa cial", + "math op", + "mat hop", + "ał o", + "a ło", + "co tt", + "c ott", + "Vari ables", + "Variable s", + "▁R an", + "▁Ra n", + "▁b unk", + "am iliar", + "amil iar", + "CA ST", + "C AST", + "▁fr ü", + "VE D", + "V ED", + "▁NOT ICE", + "▁turn o", + "▁tur no", + "valid ator", + "▁question ing", + "}} )", + "} })", + "▁l ear", + "▁le ar", + "▁ lear", + "X amarin", + "▁dis adv", + "enc oded", + "encode d", + "▁K ot", + "▁Ko t", + "▁The ory", + "ci us", + "c ius", + "▁Dar win", + "ђ е", + "▁dé cl", + "▁déc l", + "▁mob ility", + "▁mobil ity", + "V F", + "un til", + "unt il", + "u ntil", + "▁bar riers", + "▁barrier s", + "▁barr iers", + "gi f", + "g if", + "▁R oh", + "▁Ro h", + "▁a ging", + "▁ag ing", + "▁ aging", + "▁W idget", + "▁ Widget", + "▁f arms", + "▁far ms", + "▁farm s", + "Check er", + "Che cker", + "Int roduction", + "▁Russ ians", + "▁Russian s", + "▁Russia ns", + "na ments", + "nam ents", + "nament s", + "n aments", + "▁In sert", + "▁Ins ert", + "▁ Insert", + "▁When ever", + "▁Whe never", + "er set", + "ers et", + "it ori", + "itor i", + "ito ri", + "▁D ort", + "▁Do rt", + "▁Dor t", + "▁cost ume", + "▁mathemat ical", + "▁B ast", + "▁Bas t", + "▁Ba st", + "▁nom inated", + "▁rest oration", + "pos al", + "po sal", + "▁un fortunate", + "P s", + "LI N", + "L IN", + "▁int act", + "▁prov oc", + "▁situ ée", + "▁но ября", + "er mo", + "erm o", + "▁f isher", + "▁fish er", + "▁fis her", + "▁con ting", + "▁cont ing", + "▁contin g", + "▁Do ug", + "▁Dou g", + "▁E va", + "▁Ev a", + "▁t ops", + "▁to ps", + "▁top s", + "▁Rem ote", + "▁ Remote", + "▁art work", + "qu ick", + "▁Arab ia", + "▁SD Value", + "▁Dak ota", + "ia ted", + "iat ed", + "iate d", + "i ated", + "▁Op tim", + "▁Opt im", + "but tons", + "button s", + "▁c ottage", + "▁where in", + "▁tut orial", + "▁S cre", + "▁Sc re", + "▁swe ep", + "▁Coff ee", + "}) }", + "} )}", + "host name", + "▁T emp", + "▁Te mp", + "▁Tem p", + "▁ Temp", + "▁F ut", + "▁Fu t", + "re spect", + "res pect", + "resp ect", + "oc z", + "o cz", + "▁pre domin", + "▁pred omin", + "Ind icator", + "en cial", + "enc ial", + "encia l", + "enci al", + "UM ENT", + "U MENT", + "▁SH ALL", + "▁SHA LL", + "▁comm anded", + "▁command ed", + "▁withdraw al", + "io ur", + "i our", + "REG ION", + "s printf", + "▁Pay ment", + "▁ Payment", + "▁A nim", + "▁An im", + "▁ Anim", + "pub lish", + "▁se eks", + "▁see ks", + "▁seek s", + "ou w", + "o uw", + "▁G M", + "▁ GM", + "ru gu", + "rug u", + "r ugu", + "us tain", + "ust ain", + "usta in", + "▁) )", + "▁ ))", + "▁consult ing", + "▁D ialog", + "▁ Dialog", + "▁L ars", + "▁La rs", + "▁Lar s", + "▁crit ique", + "▁circ ulation", + "▁circul ation", + "▁land sc", + "▁lands c", + "man aged", + "▁C raft", + "▁Cr aft", + "▁Cra ft", + "▁h erman", + "▁her man", + "af i", + "a fi", + "am y", + "a my", + "▁disc our", + "▁disco ur", + "<> (", + "< >(", + "▁St eph", + "▁Ste ph", + "▁Step h", + "▁toler ance", + "type name", + "typ ename", + "typen ame", + "vent ions", + "vention s", + "zi ał", + "z iał", + "▁st icking", + "▁stick ing", + "AS C", + "A SC", + "IS O", + "I SO", + "▁Sp encer", + "▁Di dn", + "▁Did n", + "gom ery", + "im iter", + "imit er", + "imi ter", + "dr u", + "d ru", + "Cl ause", + "▁sl ides", + "▁slide s", + "▁slid es", + "## #", + "# ##", + "▁S ugar", + "▁Su gar", + "H Y", + "▁Ed wards", + "▁Edward s", + "▁c ents", + "▁cent s", + "oy a", + "o ya", + "ser ts", + "sert s", + "s erts", + "▁H ass", + "▁Ha ss", + "▁Has s", + "▁in gen", + "▁ing en", + "▁ ingen", + "▁s addle", + "sol id", + "s olid", + "▁ch ampions", + "▁champion s", + "▁champ ions", + "- )", + "▁S lov", + "▁Sl ov", + "▁sh iny", + "▁* )&", + "▁*) &", + "▁Def ine", + "č e", + "▁scr ut", + "on den", + "ond en", + "onde n", + "'\" ,", + "' \",", + "uf fs", + "uff s", + "▁o lymp", + "id ential", + "ident ial", + "wa nd", + "wan d", + "w and", + "▁ann ually", + "▁annual ly", + "▁Ark ansas", + "▁s aint", + "▁sa int", + "▁gle ich", + "▁per fection", + "▁perfect ion", + "▁perf ection", + ") >", + "▁sh orts", + "▁short s", + "▁just ified", + "pe ated", + "peat ed", + "pack ages", + "package s", + "dr iven", + "drive n", + "d riven", + "▁Liber ty", + "▁str ipped", + "▁stri pped", + "▁strip ped", + "▁fün f", + "▁e cosystem", + "ix a", + "i xa", + "▁F resh", + "▁Fr esh", + "▁Fre sh", + "var t", + "va rt", + "v art", + "▁tre ats", + "▁treat s", + "▁st ance", + "▁stan ce", + "▁ stance", + "▁p ity", + "▁pi ty", + "▁pit y", + "ad ém", + "▁C hand", + "▁Ch and", + "▁Cha nd", + "in ski", + "ins ki", + "▁contin ually", + "▁continu ally", + "▁D addy", + "▁Dad dy", + "▁night mare", + "ic ional", + "ici onal", + "icio nal", + "icion al", + "▁e fect", + "ue blo", + "▁l anç", + "▁lan ç", + "▁Col lections", + "▁Collection s", + "▁Collect ions", + "▁ Collections", + "du e", + "d ue", + "am pton", + "amp ton", + "▁mem cpy", + "▁ memcpy", + "▁* *(", + "▁** (", + "is sent", + "iss ent", + "isse nt", + "issen t", + "▁In sp", + "▁Ins p", + "▁Glas gow", + "▁fur ono", + "▁kind ness", + "B i", + "▁comp eted", + "▁compet ed", + "▁compete d", + "▁o ak", + "L arge", + "▁dis gu", + "▁disg u", + "▁k ings", + "▁king s", + "▁kin gs", + "▁st uffed", + "▁stuff ed", + "▁h ilar", + "▁hi lar", + "pub lished", + "publish ed", + "▁st ressed", + "▁str essed", + "▁stress ed", + "▁Pe ak", + "▁lo ader", + "▁load er", + "▁ loader", + "Key board", + "▁re construction", + "▁v od", + "▁vo d", + "▁ vod", + "▁d un", + "▁du n", + "▁understand s", + "te nant", + "ten ant", + "▁ch aque", + "▁cha que", + "▁pre jud", + "ut at", + "uta t", + "u tat", + "▁u so", + "▁us o", + "▁ uso", + "▁He avy", + "▁cu atro", + "▁side walk", + "▁B ug", + "▁Bu g", + "▁mån aden", + "ge o", + "▁un ited", + "▁unit ed", + "▁F iles", + "▁Fil es", + "▁File s", + "▁Fi les", + "▁ Files", + "▁rug by", + "▁fin ancing", + "▁financ ing", + "▁com ply", + "▁comp ly", + "▁compl y", + "& #", + "▁r ushing", + "▁rush ing", + "▁rus hing", + "▁f en", + "▁fe n", + "▁ fen", + "mon g", + "mo ng", + "m ong", + "▁sp é", + "▁present ing", + "IN CLUDING", + "ě l", + "zeich nung", + "Back up", + "▁pe tit", + "▁pet it", + "▁all erg", + "▁alle rg", + "▁aller g", + "▁wor rying", + "▁worry ing", + "▁m amm", + "▁ma mm", + "▁oper and", + "▁opera nd", + ":%.* ]]", + "▁real ise", + "Comm ands", + "Command s", + "▁B ew", + "▁Be w", + "▁ass umes", + "▁assum es", + "▁assume s", + "▁Co vid", + "▁Cov id", + "▁qu and", + "ty ard", + "t yard", + "▁M ono", + "▁Mon o", + "▁Mo no", + "lin ked", + "link ed", + "M ARK", + "Es p", + "E sp", + "▁bless ing", + "▁eyeb rows", + "▁N V", + "▁ NV", + "▁mod eling", + "▁model ing", + "▁mode ling", + "▁gre eted", + "Work space", + "▁pe dest", + "▁ped est", + "lem agne", + "Stat istics", + "▁a ument", + "▁au ment", + "▁spe eds", + "▁speed s", + "▁synd rome", + "CONNE CT", + "za hl", + "z ahl", + "ver so", + "vers o", + "érc ito", + "▁astr onom", + "▁ap rile", + "▁apr ile", + "▁april e", + "že n", + "ž en", + "dr aft", + "d raft", + "▁g ioc", + "▁gi oc", + "▁com port", + "▁comp ort", + "▁var iance", + "▁vari ance", + "▁real izing", + "▁realiz ing", + "ED IT", + "оло ві", + "▁e star", + "▁est ar", + "▁es tar", + "▁esta r", + "▁s ost", + "▁so st", + "N ORMAL", + "▁ ó", + "▁And r", + "▁An dr", + "ATTR IB", + "▁re de", + "▁r ede", + "▁red e", + "▁t oes", + "▁to es", + "▁toe s", + "▁adv ances", + "▁advance s", + "▁Again st", + "TO M", + "T OM", + "rs s", + "r ss", + "MM MM", + "▁ne west", + "▁new est", + "▁V ER", + "▁ VER", + "▁phrase s", + "▁phr ases", + "an ter", + "ant er", + "ante r", + "La unch", + "▁c hr", + "▁ch r", + "▁ chr", + "▁manufact ured", + "$) ,", + "$ ),", + "roll ment", + "es ton", + "est on", + "esto n", + "e ston", + "▁pe int", + "” )", + "en det", + "end et", + "ende t", + "▁H air", + "▁Ha ir", + "▁up right", + "gr en", + "gre n", + "g ren", + "an ked", + "ank ed", + "wr ight", + "w right", + "▁m ast", + "▁ma st", + "▁mas t", + "▁on Change", + "▁de bris", + "▁deb ris", + "▁g rap", + "▁gr ap", + "▁gra p", + "et ry", + "etr y", + "e try", + "▁( __", + "▁(_ _", + "▁ (__", + "▁Com merce", + "BO X", + "T ax", + "▁о три", + "▁от ри", + "▁pre vention", + "▁prevent ion", + "▁prev ention", + "▁Fe el", + "▁ex otic", + "▁B ark", + "▁Bar k", + "▁S team", + "▁Ste am", + "fo n", + "f on", + "ol in", + "oli n", + "o lin", + "▁elim inated", + "▁eliminate d", + "▁b c", + "▁ bc", + "▁C ycl", + "▁Cy cl", + "▁$ (\"#", + "▁ $(\"#", + "▁P arl", + "▁Par l", + "▁Pa rl", + "man uel", + "os pher", + "osp her", + "osph er", + "W F", + "An aly", + "Anal y", + "▁nav ig", + "▁re nown", + "▁ren own", + "R x", + "▁W alt", + "▁Wal t", + "▁Wa lt", + "uf fed", + "uff ed", + "▁f oster", + "▁fo ster", + "▁fost er", + "▁fos ter", + "$ :", + "sh ore", + "Conne ctor", + "Conn ector", + "Connect or", + "▁real ization", + "▁realiz ation", + "L i", + "ct xt", + "ctx t", + "c txt", + "ah oo", + "aho o", + "▁mir acle", + "▁E T", + "▁ ET", + "▁G PS", + "▁GP S", + "▁Observ able", + "▁h f", + "▁ hf", + "▁magnific ent", + "BI N", + "B IN", + "▁D orf", + "▁Do rf", + "▁Dor f", + "ie ck", + "ve e", + "v ee", + "▁C raw", + "▁Cr aw", + "▁Cra w", + "/ #", + "▁p ci", + "▁pc i", + "▁ pci", + "ip pet", + "ipp et", + "▁Hill ary", + "▁g ir", + "▁gi r", + "▁r and", + "▁ran d", + "▁ra nd", + "▁ rand", + "▁la ying", + "▁lay ing", + "▁D ifferent", + "bo ys", + "boy s", + "vi rt", + "vir t", + "v irt", + "▁enc ryption", + "ás z", + "á sz", + "▁sm elled", + "▁smell ed", + "▁sus cept", + "cl uded", + "clude d", + "▁C arn", + "▁Car n", + "▁Ca rn", + "ig ten", + "igt en", + "igte n", + "▁Ch uck", + "▁Prov inc", + "▁per í", + "▁Mar shal", + "▁Mars hal", + "▁ Marshal", + "мо ж", + "g fx", + "os hi", + "osh i", + "▁W HE", + "▁WH E", + "▁relax ation", + ", .", + "we re", + "wer e", + "w ere", + "▁var ieties", + "▁W on", + "▁Wo n", + "▁g aps", + "▁gap s", + "▁ga ps", + "▁st ole", + "▁sto le", + "ig ua", + "igu a", + "▁Ham pshire", + "ph rase", + "▁pel ícula", + "Process ing", + "▁initial ization", + "oust ic", + "▁Jose f", + "▁Jos ef", + "ic ating", + "ica ting", + "▁good ness", + "TE S", + "T ES", + "▁c ope", + "▁co pe", + "▁cop e", + "▁ cope", + "▁ignor ance", + "▁B rist", + "▁Br ist", + "▁par as", + "▁para s", + "▁pa ras", + "▁accident ally", + "▁t and", + "▁tan d", + "▁ta nd", + "it test", + "itt est", + "itte st", + "▁sh ipped", + "▁ship ped", + "else if", + "▁u size", + "▁us ize", + "hor izontal", + "▁C arr", + "▁Car r", + "▁Ca rr", + "▁pre cip", + "▁prec ip", + "ro z", + "r oz", + "path etic", + "pat hetic", + "ri ved", + "riv ed", + "rive d", + "r ived", + "ro k", + "r ok", + "▁dig ging", + "▁M ull", + "▁Mu ll", + "▁Mul l", + "▁pe as", + "▁f oul", + "▁fo ul", + "▁fou l", + "▁travel s", + "▁trav els", + "▁N g", + "Mon t", + "Mo nt", + "M ont", + "ar de", + "ard e", + "▁Ste fan", + "^^ ^^", + "▁K iss", + "▁Ki ss", + "▁E k", + "▁ok tober", + "▁mem orable", + "▁memor able", + "') ).", + "')) .", + "' )).", + "▁V ision", + "▁Vis ion", + "▁N ina", + "▁Ni na", + "▁Nin a", + "▁S olar", + "▁So lar", + "▁Sol ar", + "▁highlight ed", + "▁me mo", + "▁mem o", + "me isterschaft", + "side bar", + "SE E", + "S EE", + "▁Nev ada", + "D a", + "▁draw er", + "ast ically", + "astic ally", + "el de", + "eld e", + "sc ribed", + "scri bed", + "scribe d", + "scrib ed", + "▁pri ests", + "▁priest s", + "▁hom mes", + "▁homme s", + "▁in structor", + "▁instruct or", + "▁sp ett", + "▁spe tt", + "\\ -", + "▁Look s", + "▁Lo oks", + "▁sle eve", + "▁strong est", + "▁t ête", + "▁Nic ole", + "▁Ni cole", + "▁Nicol e", + "im per", + "imp er", + "ip per", + "ipp er", + "▁in won", + "il ers", + "ile rs", + "iler s", + "i lers", + "▁Dep uty", + "og e", + "o ge", + "▁de pressed", + "▁dep ressed", + "▁depress ed", + "▁ar te", + "▁art e", + "▁ arte", + "▁comb ining", + "LA ST", + "L AST", + "in ted", + "int ed", + "inte d", + "▁A verage", + "▁Ave rage", + "▁poll ution", + "▁Phill ips", + "▁W M", + "▁ WM", + "}} }\\", + "}}} \\", + "} }}\\", + "Add ed", + "Ad ded", + "▁per ipher", + "Creat ion", + "C reation", + "▁ital ien", + "▁Ch oice", + "▁Cho ice", + "▁ Choice", + "▁EX PRESS", + "▁St ruct", + "▁Str uct", + "▁ Struct", + "ys z", + "y sz", + "Res ize", + "Re size", + "AR GS", + "ARG S", + "▁re po", + "▁rep o", + "▁ repo", + "▁p ref", + "▁pre f", + "▁pr ef", + "▁ pref", + "▁earth qu", + "▁F inale", + "▁Fin ale", + "▁Final e", + "▁h echo", + "▁he cho", + "requ ests", + "request s", + "C ut", + "▁des erved", + "▁deserve d", + "▁Re cent", + "▁Rec ent", + "▁ди визи", + "▁support ive", + "▁irre levant", + "' \r", + "▁c trl", + "▁ ctrl", + "▁De al", + "iz ada", + "iza da", + "u o", + "▁no rt", + "ge ometry", + "geo metry", + "▁Individ ual", + "er eg", + "ere g", + "e reg", + "cre f", + "cr ef", + "c ref", + "═ ═", + "▁com erc", + "▁come rc", + "= _", + "bu nd", + "b und", + "il en", + "ile n", + "i len", + "▁corpor ation", + "es z", + "e sz", + "▁= =>", + "▁== >", + "ab lish", + "abl ish", + "Ap r", + "A pr", + "▁r ipped", + "▁ri pped", + "▁rip ped", + "Var s", + "V ars", + "st ret", + "str et", + "stre t", + "▁Frances co", + "Na N", + "▁any time", + "▁autom ated", + "ost ream", + "o stream", + "▁draw ings", + "▁drawing s", + "▁enhance ment", + "ok rat", + "▁Iss ue", + "Cur rency", + "▁w yn", + "▁wy n", + "izar re", + "ét ico", + "mult iple", + "multi ple", + "multip le", + "▁R ate", + "▁Ra te", + "▁Rat e", + "▁ Rate", + "▁I ch", + "▁A uss", + "▁Aus s", + "▁Au ss", + "▁For mer", + "▁Form er", + "Cur ve", + "▁mar vel", + "att ro", + "attr o", + "▁с п", + "BO OL", + "go ld", + "g old", + "▁N intendo", + "▁Salv ador", + "▁S olution", + "▁Sol ution", + "AD C", + "A DC", + "▁Ben nett", + "▁F R", + "▁ FR", + "▁pu eden", + "▁pued en", + "▁puede n", + "pat ient", + "▁P G", + "▁ PG", + "▁J in", + "▁Ji n", + "▁cr ashed", + "▁crash ed", + "▁d enen", + "▁de nen", + "▁den en", + "▁S ample", + "▁Sam ple", + "▁ Sample", + "▁Que bec", + "it ories", + "itor ies", + "ito ries", + "itori es", + "▁b linked", + "▁blink ed", + "▁l ion", + "▁li on", + "▁vo ce", + "▁voc e", + "▁Imp act", + "▁M au", + "▁Ma u", + "▁N ie", + "▁Ni e", + "▁l ob", + "▁lo b", + "or neys", + "orney s", + "orne ys", + "▁coast al", + "▁s ensors", + "▁sens ors", + "▁sensor s", + "▁ill usion", + "oj i", + "o ji", + "▁I NC", + "▁IN C", + "▁Dun can", + "y k", + "▁affect ing", + "pu l", + "p ul", + "▁Napole on", + "▁com pt", + "▁comp t", + "▁prof itable", + "▁profit able", + "lo e", + "l oe", + "▁deux ième", + "▁W C", + "▁ WC", + "▁v iable", + "▁vi able", + "▁via ble", + "▁D rug", + "▁Dr ug", + "▁Dru g", + "Text Box", + "▁lum inos", + "au té", + "aut é", + "y c", + "št ě", + "▁affili ates", + "▁affiliate s", + "il da", + "ild a", + "con duct", + "cond uct", + "▁e benfalls", + "▁A MD", + "▁AM D", + "▁Mon itor", + "▁ Monitor", + "▁Compan ies", + "▁correct ed", + "▁corre cted", + "ä ck", + "SY STEM", + "other apy", + "▁п еред", + "▁bl ues", + "▁blue s", + "at isf", + "ati sf", + "atis f", + "al though", + "alth ough", + "ro st", + "ros t", + "r ost", + "SC AN", + "S CAN", + "▁R AM", + "ці ональ", + "▁vend ors", + "▁vendor s", + "▁custom s", + "▁cust oms", + "▁activ ate", + "▁ activate", + "▁b logs", + "▁bl ogs", + "▁blo gs", + "▁blog s", + "▁br ace", + "▁bra ce", + "▁ brace", + "▁st rat", + "▁str at", + "▁stra t", + "an je", + "anj e", + "▁t ide", + "▁tid e", + "▁ti de", + "get Operand", + "▁al iment", + "▁ali ment", + "▁achieve ments", + "▁achievement s", + "▁suspic ion", + "▁susp icion", + "▁touch down", + "br oad", + "bro ad", + "b road", + "io re", + "ior e", + "i ore", + "Compar ison", + "▁m um", + "▁mu m", + "Eng lish", + "▁P icture", + "▁Pict ure", + "▁M ouse", + "▁Mo use", + "▁ Mouse", + "am d", + "a md", + "▁[ `", + "▁den omin", + "▁denom in", + "▁Al eks", + "▁Ale ks", + "▁pr events", + "▁prevent s", + "▁prev ents", + "ó b", + "fe d", + "f ed", + "▁P ray", + "▁Pr ay", + "▁Pra y", + "▁sh ine", + "▁ shine", + "▁cl utch", + "mu x", + "m ux", + "App ro", + "Ap pro", + "ch io", + "chi o", + "na ge", + "n age", + "HA S", + "H AS", + "▁' )", + "▁ ')", + "▁M iche", + "▁Mich e", + "▁Mic he", + "▁Mi che", + "t g", + ":: ~", + "▁am ely", + "▁ro dz", + "▁rod z", + "z s", + "tr ait", + "tra it", + "t rait", + "▁k lass", + "▁kl ass", + "▁ klass", + "f ö", + "▁dest ac", + "▁Cl ara", + "▁Clar a", + "f requency", + "▁frequ encies", + "▁febr ero", + "▁st umbled", + "▁N ames", + "▁Name s", + "▁Na mes", + "▁Nam es", + "▁ Names", + "▁F light", + "▁Fl ight", + "▁p rey", + "▁pre y", + "▁pr ey", + "▁med io", + "▁medi o", + "▁V AR", + "▁VA R", + "▁ VAR", + "▁F loat", + "▁Flo at", + "▁ Float", + "▁Ern est", + "▁Marc atori", + "op ort", + "o port", + "▁cancel lation", + "▁cancell ation", + "▁Br yan", + "▁Bry an", + "—— ——", + "Lu c", + "L uc", + "▁li bre", + "▁lib re", + "▁t ítulo", + "* >", + "▁S andy", + "▁San dy", + "▁Sand y", + "▁Mar ina", + "Be en", + "B een", + "▁w al", + "▁wa l", + "▁ wal", + "▁K ultur", + "▁expl ode", + "▁explo de", + "▁lim iting", + "▁limit ing", + "▁presum ably", + "▁p b", + "▁ pb", + "▁M erc", + "▁Me rc", + "▁Mer c", + "le arning", + "lear ning", + "learn ing", + "C atalog", + "▁C ensus", + "lt e", + "l te", + "▁N ET", + "▁NE T", + "▁ NET", + "ra ising", + "rais ing", + "rai sing", + "сь ке", + "st aff", + "sta ff", + "▁Qu inn", + "▁mem orial", + "▁memor ial", + "▁memo rial", + "п ня", + "▁cu enta", + "lb l", + "l bl", + "▁v aries", + "▁var ies", + "▁vari es", + "▁va ries", + "▁fluct uations", + "▁осо би", + "▁ware house", + "How ever", + "▁correct ions", + "▁corre ctions", + "▁correction s", + "dh d", + "d hd", + "▁f als", + "▁fa ls", + "▁fal s", + "▁controvers y", + "▁cur se", + "▁t élé", + "▁té lé", + "ře d", + "ř ed", + "▁A U", + "▁ AU", + "▁cr ít", + "id an", + "ida n", + "i dan", + "ili ary", + "iliar y", + "ilia ry", + "▁P anel", + "▁Pan el", + "▁Pa nel", + "▁ Panel", + "cul e", + "cu le", + "c ule", + "▁P oor", + "▁Po or", + "▁B A", + "▁ BA", + "▁ignor ant", + "ème s", + "è mes", + "▁aest hetic", + "Link ed", + "Lin ked", + "get Int", + "Un icode", + "[ @", + "▁Z ent", + "▁Ze nt", + "▁Zen t", + "Man ifest", + "▁v ars", + "▁var s", + "▁va rs", + "▁ vars", + "P B", + "▁De scribe", + "▁Desc ribe", + "▁ Describe", + "▁Any thing", + "oi rs", + "oir s", + "o irs", + "▁s ocks", + "▁so cks", + "▁soc ks", + "▁sock s", + "▁im ped", + "▁imp ed", + "▁ne ue", + "▁neu e", + "▁dis pers", + "▁disp ers", + "Col lect", + "Coll ect", + "file r", + "fil er", + "fi ler", + "f iler", + "▁Fr au", + "▁Fra u", + "▁H ockey", + "▁te ens", + "▁teen s", + "▁Rober to", + "▁Robert o", + "la uf", + "l auf", + "ват ь", + "is Array", + "▁teen ager", + "Bu ilt", + "▁loud ly", + "Cap acity", + "▁advent ures", + "▁adventure s", + "▁M olly", + "▁Mol ly", + "rec ogn", + "bar s", + "ba rs", + "b ars", + "▁L or", + "▁Lo r", + "▁pu ò", + "▁m ong", + "▁mon g", + "▁mo ng", + "▁ mong", + "in ement", + "ine ment", + "i nement", + "Ass ignment", + "Assign ment", + "▁d iz", + "▁di z", + "less ness", + "▁H alloween", + "▁bit map", + "▁ bitmap", + "Ro m", + "R om", + "▁re bel", + "▁reb el", + "▁rad ial", + "▁radi al", + "me asure", + "ni t", + "n it", + "▁Ass ume", + "▁assign ments", + "▁assignment s", + "▁I sn", + "▁Is n", + "▁al tre", + "▁alt re", + "ße r", + "ß er", + "на ль", + "нал ь", + "н аль", + "▁fl ies", + "▁d roit", + "▁dro it", + "▁thick ness", + "▁en jo", + "▁d well", + "▁dw ell", + "▁hom osexual", + "▁e val", + "▁ev al", + "▁ eval", + "$_ {", + "$ _{", + "as ia", + "asi a", + "▁phil os", + "get Current", + "▁veter ans", + "▁veteran s", + "▁Ber keley", + "▁wild life", + "Co p", + "C op", + "ve rn", + "ver n", + "v ern", + "▁ Ú", + "to s", + "t os", + "▁L ed", + "▁Le d", + "▁key words", + "▁keyword s", + "▁med ications", + "▁medic ations", + "▁medication s", + "ne um", + "▁jam ais", + "▁B uc", + "▁Bu c", + "▁P D", + "▁ PD", + "▁State ment", + "▁Stat ement", + "▁ Statement", + "▁P I", + "▁ PI", + "▁Jack ie", + "▁Jac kie", + "▁ord in", + "▁k ör", + "▁kö r", + "en ze", + "enz e", + "▁util ized", + "▁utiliz ed", + "▁utilize d", + "á ct", + "az ed", + "aze d", + "a zed", + "▁sever ely", + "▁severe ly", + "▁ä ven", + "▁li bro", + "▁lib ro", + "▁E u", + "äs t", + "ä st", + "PAR T", + "PA RT", + "P ART", + "▁But ler", + "▁puzz le", + "F all", + "Count ry", + "C ountry", + "pf n", + "p fn", + "▁у країн", + "▁Or chestra", + "▁al to", + "▁alt o", + "▁anc ora", + "▁decom position", + "▁ م", + "▁appet ite", + "ad u", + "a du", + "▁TH AT", + "▁com enz", + "min a", + "mi na", + "m ina", + "▁init iated", + "▁initi ated", + "▁T at", + "▁Ta t", + "▁some time", + "▁som etime", + "▁somet ime", + "re k", + "r ek", + "br ead", + "bre ad", + "b read", + "▁Stat istics", + "▁ Statistics", + "▁C ob", + "▁Co b", + "F ollow", + "▁ge ometric", + "▁proceed ings", + "D lg", + "se ven", + "s even", + "▁[ -", + "▁ [-", + "▁Buff alo", + "▁bl acks", + "▁black s", + "▁s ov", + "▁so v", + "▁cust ody", + "▁r as", + "▁ra s", + "▁ ras", + "▁tatto o", + "öffent licht", + "Bl o", + "B lo", + "A ustral", + "▁rec uper", + "▁b em", + "▁be m", + "▁t hou", + "▁th ou", + "ori ented", + "orient ed", + "vi r", + "v ir", + "▁col ony", + "▁colon y", + "▁Stan ford", + "Abs olute", + "ad rat", + "adr at", + "▁S itu", + "▁Si tu", + "▁sou vent", + "EX EC", + "▁m ű", + "▁apart ments", + "▁apartment s", + "▁a no", + "▁an o", + "▁ ano", + "WIN DO", + "ac ci", + "acc i", + "▁L au", + "▁La u", + "co urt", + "cou rt", + "c ourt", + "▁manif old", + "▁coal ition", + "Att rib", + "Attr ib", + "asc ade", + "▁whe at", + "▁strength s", + "FR EE", + "F REE", + "EMP TY", + "▁h ey", + "▁he y", + "as cular", + "asc ular", + "▁pl asma", + "▁b ob", + "▁bo b", + "Sep arator", + "=\" ${", + "=\"$ {", + "▁Z ag", + "▁Za g", + "▁pro jet", + "▁smooth ly", + "SE QU", + "an aly", + "ana ly", + "anal y", + "att achment", + "attach ment", + "▁E S", + "▁ ES", + "▁po pped", + "▁pop ped", + "ő s", + "to m", + "t om", + "▁s ón", + "▁só n", + "▁r ott", + "▁ro tt", + "▁rot t", + "▁ rott", + "Util ities", + "Ut ilities", + "had oop", + "hado op", + "▁s otto", + "▁so tto", + "au tor", + "aut or", + "auto r", + "▁George s", + "▁Georg es", + "▁kter ý", + "▁gru ppo", + "▁instrument al", + "▁W riter", + "▁Write r", + "▁Writ er", + "▁Wr iter", + "▁ Writer", + "▁set Timeout", + "ik k", + "i kk", + "▁Do po", + "▁Dop o", + "]) ;\r", + "]); \r", + "] );\r", + "▁pract icing", + "▁Ron ald", + "▁ag rees", + "▁agree s", + "▁agre es", + "▁den oted", + "▁denote d", + "is miss", + "ism iss", + "▁interview ed", + "template s", + "t emplates", + "ř i", + "ad ministr", + "admin istr", + "▁B utter", + "▁But ter", + "▁position ed", + "▁posit ioned", + "▁Four th", + "▁overwhel med", + "▁Reg ular", + "▁rep rezent", + "▁expect s", + "Ind ices", + "▁mar ijuana", + "▁z aj", + "▁za j", + "▁B ren", + "▁Br en", + "▁Bre n", + "▁be gg", + "▁beg g", + "▁na hm", + "▁nah m", + "▁inter rog", + "▁B un", + "▁Bu n", + "▁с еред", + "▁се ред", + "▁shel ves", + "▁Fra uen", + "▁Frau en", + "▁Serge ant", + "mat ched", + "match ed", + "m atched", + "▁d onne", + "▁don ne", + "▁touch es", + "▁tou ches", + "ab ort", + "abor t", + "▁v ale", + "▁val e", + "▁va le", + "▁inst itutional", + "▁institut ional", + "▁institution al", + "▁M ons", + "▁Mon s", + "▁Mo ns", + "▁ambit ious", + "▁non etheless", + "▁none theless", + "j d", + "▁back pack", + "da o", + "d ao", + "▁surround ings", + "▁surrounding s", + "| _{", + "▁g egründ", + "dis p", + "di sp", + "d isp", + "▁moist ure", + "▁w yd", + "▁wy d", + "▁tr aders", + "▁trad ers", + "▁tra ders", + "▁trade rs", + "▁Er st", + "▁Gal axy", + "▁Per u", + "▁Pe ru", + "▁prior ities", + "▁pron ounced", + "▁C BS", + "▁CB S", + "▁Pal m", + "▁Pa lm", + "▁exp ans", + "▁ener get", + "▁energ et", + "▁Cond ition", + "▁ Condition", + "▁S ver", + "▁Sv er", + "ne sted", + "nes ted", + "n ested", + "he ro", + "her o", + "h ero", + "▁Fil ms", + "▁Film s", + "Bo n", + "B on", + "é al", + "ploy ed", + "tr ained", + "tra ined", + "train ed", + "▁els ő", + "▁l ust", + "▁lu st", + "ati num", + "atin um", + "oy le", + "o yle", + "▁J et", + "▁Je t", + "▁survey s", + "▁surve ys", + "be e", + "b ee", + "work ers", + "worker s", + "wor kers", + "rec ords", + "record s", + "cal endar", + "bb ing", + "b bing", + "reg ation", + "dash board", + "d ashboard", + "K ing", + "▁v ista", + "▁vis ta", + "▁vi sta", + "▁dep icted", + "▁occur ring", + "▁sand wich", + "rc u", + "r cu", + "ke rn", + "ker n", + "k ern", + "▁min ut", + "▁mi nut", + "▁t d", + "▁ td", + "so lete", + "sole te", + "sol ete", + "Com plex", + "Comp lex", + "▁t unn", + "▁tu nn", + "▁tun n", + "▁sc arc", + "▁scar c", + "st ead", + "ste ad", + "▁F ail", + "▁Fa il", + "▁ Fail", + "▁R s", + "▁tr ails", + "▁tra ils", + "▁trail s", + "ke m", + "k em", + "▁Rom ans", + "▁Ro mans", + "▁Roman s", + "▁Roma ns", + "at ivity", + "ativ ity", + "Pre vious", + "Prev ious", + "▁de press", + "▁dep ress", + "▁re signed", + "▁resign ed", + "get Default", + "▁Tib et", + "▁Ti bet", + "▁Fr anco", + "▁Franc o", + "▁Fran co", + "\") ));", + "\")) );", + "\" )));", + "▁in jection", + "▁inj ection", + "▁inject ion", + "rem oved", + "remove d", + "▁praise d", + "▁A sc", + "▁As c", + "er ase", + "era se", + "eras e", + "e rase", + "MA IL", + "M AIL", + "▁B oh", + "▁Bo h", + "Pol y", + "Po ly", + "P oly", + "▁cin q", + "▁Ab ove", + "▁Josh ua", + "ZE RO", + "Z ERO", + "▁sum mit", + "▁U rs", + "▁Ur s", + "▁c url", + "▁cur l", + "▁cu rl", + "▁v isa", + "▁vis a", + "▁vi sa", + "▁re sur", + "▁res ur", + "={ '", + "= {'", + "fe at", + "▁abs orb", + "▁absor b", + "▁plan ets", + "▁plane ts", + "▁planet s", + "▁prin cess", + "▁prince ss", + "▁Jahrhund erts", + "▁Jahrhundert s", + "x p", + "▁N BC", + "▁F UN", + "▁ FUN", + "▁ne uen", + "▁neu en", + "▁neue n", + "▁dé jà", + "▁O z", + "bb en", + "b ben", + "VID EO", + "▁ej empl", + "▁cons iders", + "▁consider s", + "▁consid ers", + "at ri", + "atr i", + "a tri", + "▁ar rog", + "▁arr og", + "io so", + "ios o", + "i oso", + "▁h ace", + "▁ha ce", + "▁contact ed", + "▁un ple", + "▁spons ored", + "▁tr ainer", + "▁tra iner", + "▁train er", + "sb i", + "s bi", + "C riterion", + "но то", + "sch eme", + "sche me", + "enn ial", + "per form", + "perf orm", + "▁fix ing", + "ar b", + "a rb", + "EX IT", + "▁ca fé", + "▁caf é", + "itut ed", + "itute d", + "itu ted", + "ri ages", + "ria ges", + "riage s", + "T ur", + "▁hab er", + "▁ha ber", + "el asticsearch", + "r h", + "▁v oll", + "▁vo ll", + "▁vol l", + "CL U", + "M il", + "▁mem bres", + "▁membr es", + "▁membre s", + "▁remark ed", + "=\" _", + "Le ss", + "Les s", + "L ess", + "(\" \");", + "▁Y ale", + "▁Ya le", + "ber ries", + "▁rele asing", + "▁im ports", + "▁import s", + "▁imp orts", + "id ea", + "ide a", + "▁( +", + "▁ar qu", + "ific ación", + "ifica ción", + "▁R angers", + "▁Range rs", + "▁Rang ers", + "▁Ran gers", + "M ic", + "▁n ederbörd", + "▁imag inary", + "▁imagin ary", + "▁special ists", + "▁specialist s", + "▁ho of", + "Mod ules", + "Module s", + "▁sad ly", + "ce il", + "Tab Index", + "at ionale", + "ation ale", + "ational e", + "▁Part ner", + "tb ody", + "t body", + "▁le verage", + "▁lever age", + "D N", + "▁P rec", + "▁Pr ec", + "▁Pre c", + "▁S é", + "▁M am", + "▁Ma m", + "▁a fin", + "▁af in", + "is Valid", + "Ps e", + "P se", + "▁cho pped", + "▁chop ped", + "▁Min or", + "▁Mi nor", + "▁d abei", + "Da vid", + "D avid", + "uss ia", + "▁дере вня", + "▁Id entity", + "▁Ident ity", + "▁ Identity", + "▁L GBT", + "ци је", + "▁Or ts", + "▁Ort s", + "▁part i", + "▁par ti", + "▁B achelor", + "ug a", + "u ga", + "▁O PT", + "▁OP T", + "▁ OPT", + "▁S eth", + "▁Se th", + "▁Set h", + "▁LI ABLE", + "▁inaug ur", + "▁Shan ghai", + "▁relax ing", + "\" %", + "▁o bey", + "▁ob ey", + "▁A irlines", + "▁Air lines", + "Link s", + "Lin ks", + "L inks", + "▁C elt", + "▁Ce lt", + "▁Cel t", + "▁Ad min", + "▁Adm in", + "▁ Admin", + "ag ation", + "▁wor ries", + "IN TE", + "INT E", + "ar ith", + "ari th", + "Fat alf", + "]] )", + "] ])", + "co lm", + "col m", + "▁arch ae", + "▁br ushed", + "▁brush ed", + "▁t ät", + "▁struct ured", + "▁structure d", + "▁home m", + "▁hom em", + "▁ho mem", + "[: ,", + "▁n avy", + "▁na vy", + "▁nav y", + "get Key", + "power ed", + "pow ered", + "▁s ucked", + "▁suc ked", + "▁suck ed", + "▁z omb", + "▁zo mb", + "iss ant", + "issa nt", + "▁M ight", + "▁Mi ght", + "▁Mig ht", + "▁P ull", + "▁Pu ll", + "▁Pul l", + "ri r", + "r ir", + "▁п і", + "▁ пі", + "▁se as", + "▁sea s", + "▁W rest", + "▁Wr est", + "▁t ense", + "▁ten se", + "▁tens e", + "▁a tm", + "▁at m", + "▁have t", + "▁ha vet", + "▁hav et", + "▁pier ws", + "▁trag ic", + "▁D iff", + "▁Di ff", + "▁ Diff", + "▁conf idential", + "▁confident ial", + "success ful", + "ę ż", + "▁Ch ain", + "▁Cha in", + "▁ Chain", + "▁Ken ya", + "Ch oice", + "oc ur", + "o cur", + "an iu", + "ani u", + "▁consult ant", + "▁Ad vis", + "▁Adv is", + "Li f", + "L if", + "▁L ors", + "▁Lo rs", + "▁Lor s", + "avor ite", + "avo rite", + "▁util izing", + "▁utiliz ing", + "▁v intage", + "Mat cher", + "Match er", + "▁m embre", + "▁me mbre", + "▁mem bre", + "▁membr e", + "▁Ex pect", + "▁Exp ect", + "▁ Expect", + "▁tr acing", + "▁tra cing", + "no g", + "n og", + "▁d ej", + "▁de j", + "▁lo ops", + "▁loop s", + "▁on click", + "▁G PU", + "▁GP U", + "▁ GPU", + "▁Album s", + "▁Alb ums", + "▁Arch ives", + "ва та", + "ват а", + "▁st ove", + "▁sto ve", + "an cies", + "anc ies", + "▁geme ente", + "mo b", + "m ob", + "PD F", + "P DF", + "es o", + "e so", + "▁v ég", + "▁vé g", + "Res olve", + "▁te aches", + "▁teach es", + "▁tea ches", + "▁f id", + "▁fi d", + "Some thing", + "Som ething", + "▁ne bo", + "▁Valent ine", + "row ning", + "rown ing", + "▁а ле", + "▁ал е", + "aw i", + "a wi", + "is hi", + "ish i", + "▁S PI", + "▁SP I", + "▁ SPI", + "▁s pel", + "▁sp el", + "▁spe l", + "▁б іль", + "▁бі ль", + "▁particip ant", + "▁N ed", + "▁Ne d", + "▁G ast", + "▁Ga st", + "▁Gas t", + "▁bl ond", + "▁blo nd", + "▁s aves", + "▁sa ves", + "▁save s", + "▁sav es", + "col ored", + "color ed", + "colo red", + "▁A CTION", + "▁AC TION", + "▁ACT ION", + "▁ ACTION", + "▁Polit iker", + "}$ )", + "} $)", + "▁D um", + "▁Du m", + "den try", + "d entry", + "Stud ent", + "▁~ =", + "lo ads", + "load s", + "▁F oster", + "▁Fo ster", + "一 个", + "▁P K", + "▁ PK", + "▁S B", + "▁ SB", + "▁H ern", + "▁He rn", + "▁Her n", + "▁Ex hib", + "Listener s", + "Listen ers", + "Su n", + "S un", + "pl ac", + "▁B ever", + "▁Be ver", + "▁Bev er", + "▁incl uy", + "▁inclu y", + "▁d c", + "▁ dc", + "ar gc", + "arg c", + "▁g ed", + "▁ge d", + "▁ ged", + "▁Form ula", + "▁em pt", + "▁emp t", + "▁ empt", + "un register", + "▁Queens land", + "ánd ez", + "ot ive", + "oti ve", + "▁al ley", + "▁all ey", + "▁alle y", + "▁Democr at", + "▁trav ail", + "▁$ ,", + "▁ $,", + "R P", + "pers onal", + "person al", + "▁péri ode", + "HO ME", + "om es", + "ome s", + "o mes", + "▁recogn ised", + "he ng", + "hen g", + "h eng", + "▁J ung", + "▁Jun g", + "▁Ju ng", + "▁Ro land", + "▁Rol and", + "▁conv icted", + "Loc ked", + "Lock ed", + "L ocked", + "▁m ari", + "▁mar i", + "▁ma ri", + "▁Lux em", + "refer to", + "De leted", + "Dele ted", + "Delete d", + "Del eted", + "int ent", + "inte nt", + "▁St aats", + "▁Sta ats", + "▁обла сті", + "▁са ве", + "▁Pro tocol", + "▁ Protocol", + "ają c", + "ch k", + "Type Info", + "▁p kt", + "▁ pkt", + "▁sc andal", + "▁scan dal", + "▁individ ually", + "▁individual ly", + "FM T", + "F MT", + "▁n j", + "ab ile", + "abil e", + "abi le", + "▁R ivers", + "▁River s", + "PRO PERTY", + "V B", + "wo rt", + "wor t", + "w ort", + "▁split ting", + "▁spl itting", + "ach ten", + "acht en", + "achte n", + "a chten", + "▁AR ISING", + "▁s ip", + "▁si p", + "▁f res", + "▁fr es", + "▁fre s", + "▁g room", + "▁gr oom", + "▁gro om", + "H ol", + "▁c anon", + "▁can on", + "▁ca non", + "▁abrupt ly", + "▁after ward", + "▁R unning", + "▁Run ning", + "▁ Running", + "▁j i", + "▁ ji", + "▁Palest inian", + "R W", + "pgf scope", + "▁country side", + "▁countr yside", + "▁fort unate", + "▁ fortunate", + "▁c él", + "▁Po inter", + "▁Point er", + "▁ Pointer", + "ens ors", + "ensor s", + "enso rs", + "ra ting", + "rat ing", + "r ating", + "▁buff ers", + "▁buffer s", + "▁buf fers", + "▁re mot", + "▁rem ot", + "▁Prop Types", + "▁N ah", + "▁Na h", + "al tern", + "alt ern", + "alter n", + "▁eas iest", + "▁in vas", + "▁inv as", + "▁cl k", + "▁ clk", + "copy right", + "c opyright", + "▁bl anc", + "SA MP", + "S AMP", + "▁Co hen", + "▁S hell", + "▁She ll", + "▁Sh ell", + "▁Shel l", + "▁ Shell", + "▁destroy ing", + "▁destro ying", + "▁Z el", + "▁Ze l", + "date r", + "da ter", + "dat er", + "d ater", + "če n", + "č en", + "▁f iling", + "▁fil ing", + "▁fi ling", + "▁integr ate", + "xi t", + "x it", + "▁R ET", + "▁RE T", + "▁ RET", + "le ne", + "len e", + "l ene", + "cal ls", + "call s", + "c alls", + "▁sl aughter", + "init ialized", + "initial ized", + "initialize d", + "un ches", + "unch es", + "unc hes", + "▁Tr ace", + "▁Tra ce", + "▁ Trace", + "eff icient", + "▁Wood s", + "▁long itud", + "G N", + "▁K ont", + "▁Kon t", + "▁Ko nt", + "▁chunk s", + "á ch", + "▁unem ployment", + "ac om", + "aco m", + "a com", + "▁sl owed", + "▁slow ed", + "▁out lined", + "▁outline d", + "xff ff", + "xf fff", + "x ffff", + "▁ik ke", + "▁work space", + "▁works pace", + "M c", + "▁k icking", + "▁kick ing", + "▁embed ding", + "ch nitt", + "chn itt", + "er ten", + "ert en", + "▁In terior", + "▁Inter ior", + "▁S ongs", + "▁Son gs", + "▁Song s", + "mm c", + "m mc", + "▁analy zed", + "▁analyze d", + "▁Cou pe", + "▁favor ites", + "▁favorite s", + "▁t t", + "▁ tt", + "R outing", + "▁Sil va", + "▁andere m", + "▁ander em", + "▁h onom", + "▁hon om", + "▁ho nom", + ".\" ]", + ". \"]", + "▁W u", + "le gt", + "leg t", + "▁s poon", + "▁sp oon", + "▁spo on", + "▁j ap", + "▁ja p", + "▁Ext ension", + "▁ Extension", + "er ne", + "ern e", + "▁v agy", + "▁va gy", + "▁vag y", + "▁ф унк", + "▁anal ytics", + "▁analyt ics", + "▁s ug", + "▁su g", + "▁A sync", + "▁As ync", + "▁ Async", + "▁pe aks", + "▁peak s", + "▁G ym", + "▁Gy m", + "▁law suit", + "▁laws uit", + "< >", + "ial is", + "i alis", + "et ric", + "etr ic", + "face d", + "fa ced", + "fac ed", + "f aced", + "▁dis rupt", + "▁f å", + "Input s", + "`) ;", + "` );", + "▁M end", + "▁Me nd", + "▁Men d", + "go n", + "g on", + "▁\" ,\"", + "▁\", \"", + "▁ \",\"", + "▁n erves", + "▁nerv es", + "▁nerve s", + "▁ner ves", + "▁doubt s", + "▁doub ts", + "sa p", + "s ap", + "▁s ow", + "▁so w", + ",\\ ,\\", + ",\\, \\", + ", \\,\\", + "▁B S", + "▁ BS", + "▁G lad", + "▁Gl ad", + "▁a ster", + "▁as ter", + "▁ast er", + "▁ aster", + "œuv re", + "▁Bang l", + "▁Ban gl", + "▁i Pad", + "use ppe", + "▁conduct ing", + "▁( {\\", + "▁({ \\", + "▁ ({\\", + "▁Har bor", + "ps z", + "p sz", + "▁FI FA", + "_* *", + "_ **", + "em or", + "e mor", + "▁ ▁", + "▁▁ ▁▁", + "▁▁▁ ▁", + "▁ ▁▁▁", + "▁▁ ▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁", + "▁▁▁▁▁ ▁▁▁", + "▁▁▁▁▁▁ ▁▁", + "▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁▁ ▁", + "▁ ▁▁▁▁▁▁▁", + "▁▁ ▁▁▁", + "▁▁▁▁ ▁", + "▁▁▁ ▁▁", + "▁ ▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁", + "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁", + "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁", + "▁▁ ▁▁▁▁", + "▁▁▁▁ ▁▁", + "▁▁▁▁▁ ▁", + "▁▁▁ ▁▁▁", + "▁ ▁▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁▁▁", + "▁▁▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁ ▁▁", + "▁▁▁ ▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁▁▁", + "▁▁▁▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁ ▁", + "▁ ▁▁▁▁▁▁▁▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁ ▁", + "▁▁▁▁▁▁▁▁▁▁ ▁▁▁", + "▁▁▁ ▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁▁▁▁", + "▁▁▁▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁ ▁▁", + "▁ ▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁", + "▁▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁", + "▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁", + "▁▁▁▁▁▁▁ ▁▁▁", + "▁ ▁▁▁▁▁▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁", + "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁", + "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁", + "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁ ▁", + "▁ ▁▁", + "▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁", + "▁▁▁▁▁ ▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁", + "▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁▁ ▁▁", + "▁ ▁▁▁▁▁▁▁▁", + "▁▁ ▁▁▁▁▁", + "▁▁▁▁ ▁▁▁", + "▁▁▁▁▁ ▁▁", + "▁▁▁▁▁▁ ▁", + "▁▁▁ ▁▁▁▁", + "▁ ▁▁▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁▁", + "▁▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁ ▁", + "▁▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁▁", + "▁▁▁▁▁▁▁ ▁▁▁▁", + "▁ ▁▁▁▁▁▁▁▁▁▁" + ] + } +} \ No newline at end of file diff --git a/checkpoint-10000/tokenizer_config.json b/checkpoint-10000/tokenizer_config.json new file mode 100644 index 0000000000000000000000000000000000000000..81730cd96b4768bd1a77a4bd8269c72ea708870b --- /dev/null +++ b/checkpoint-10000/tokenizer_config.json @@ -0,0 +1,42 @@ +{ + "add_bos_token": true, + "add_eos_token": false, + "added_tokens_decoder": { + "0": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "1": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "2": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + } + }, + "additional_special_tokens": [], + "bos_token": "", + "clean_up_tokenization_spaces": false, + "eos_token": "", + "legacy": true, + "model_max_length": 1000000000000000019884624838656, + "pad_token": null, + "sp_model_kwargs": {}, + "spaces_between_special_tokens": false, + "tokenizer_class": "LlamaTokenizer", + "unk_token": "", + "use_default_system_prompt": false +} diff --git a/checkpoint-10000/trainer_state.json b/checkpoint-10000/trainer_state.json new file mode 100644 index 0000000000000000000000000000000000000000..61af3e73b6c4aa7a1951af400e5386d054b7120d --- /dev/null +++ b/checkpoint-10000/trainer_state.json @@ -0,0 +1,6066 @@ +{ + "best_metric": null, + "best_model_checkpoint": null, + "epoch": 0.45320643553138457, + "eval_steps": 2000, + "global_step": 10000, + "is_hyper_param_search": false, + "is_local_process_zero": true, + "is_world_process_zero": true, + "log_history": [ + { + "epoch": 0.0, + "learning_rate": 2.0000000000000003e-06, + "loss": 6.5194, + "step": 10 + }, + { + "epoch": 0.0, + "learning_rate": 4.000000000000001e-06, + "loss": 6.4472, + "step": 20 + }, + { + "epoch": 0.0, + "learning_rate": 6e-06, + "loss": 6.313, + "step": 30 + }, + { + "epoch": 0.0, + "learning_rate": 8.000000000000001e-06, + "loss": 6.188, + "step": 40 + }, + { + "epoch": 0.0, + "learning_rate": 1e-05, + "loss": 6.0095, + "step": 50 + }, + { + "epoch": 0.0, + "learning_rate": 1.2e-05, + "loss": 5.8336, + "step": 60 + }, + { + "epoch": 0.0, + "learning_rate": 1.4e-05, + "loss": 5.4948, + "step": 70 + }, + { + "epoch": 0.0, + "learning_rate": 1.6000000000000003e-05, + "loss": 5.2933, + "step": 80 + }, + { + "epoch": 0.0, + "learning_rate": 1.8e-05, + "loss": 4.908, + "step": 90 + }, + { + "epoch": 0.0, + "learning_rate": 2e-05, + "loss": 4.6039, + "step": 100 + }, + { + "epoch": 0.0, + "learning_rate": 1.9999989771610435e-05, + "loss": 4.37, + "step": 110 + }, + { + "epoch": 0.01, + "learning_rate": 1.9999959086462666e-05, + "loss": 4.2062, + "step": 120 + }, + { + "epoch": 0.01, + "learning_rate": 1.999990794461946e-05, + "loss": 4.0018, + "step": 130 + }, + { + "epoch": 0.01, + "learning_rate": 1.999983634618544e-05, + "loss": 3.914, + "step": 140 + }, + { + "epoch": 0.01, + "learning_rate": 1.9999744291307077e-05, + "loss": 3.7417, + "step": 150 + }, + { + "epoch": 0.01, + "learning_rate": 1.9999631780172678e-05, + "loss": 3.652, + "step": 160 + }, + { + "epoch": 0.01, + "learning_rate": 1.999949881301241e-05, + "loss": 3.6293, + "step": 170 + }, + { + "epoch": 0.01, + "learning_rate": 1.9999345390098276e-05, + "loss": 3.5554, + "step": 180 + }, + { + "epoch": 0.01, + "learning_rate": 1.9999171511744134e-05, + "loss": 3.4717, + "step": 190 + }, + { + "epoch": 0.01, + "learning_rate": 1.9998977178305683e-05, + "loss": 3.3474, + "step": 200 + }, + { + "epoch": 0.01, + "learning_rate": 1.9998762390180467e-05, + "loss": 3.3879, + "step": 210 + }, + { + "epoch": 0.01, + "learning_rate": 1.999852714780787e-05, + "loss": 3.3087, + "step": 220 + }, + { + "epoch": 0.01, + "learning_rate": 1.9998271451669127e-05, + "loss": 3.2531, + "step": 230 + }, + { + "epoch": 0.01, + "learning_rate": 1.9997995302287306e-05, + "loss": 3.2259, + "step": 240 + }, + { + "epoch": 0.01, + "learning_rate": 1.999769870022732e-05, + "loss": 3.1982, + "step": 250 + }, + { + "epoch": 0.01, + "learning_rate": 1.9997381646095923e-05, + "loss": 3.2029, + "step": 260 + }, + { + "epoch": 0.01, + "learning_rate": 1.9997044140541704e-05, + "loss": 3.1327, + "step": 270 + }, + { + "epoch": 0.01, + "learning_rate": 1.9996686184255093e-05, + "loss": 3.1122, + "step": 280 + }, + { + "epoch": 0.01, + "learning_rate": 1.999630777796835e-05, + "loss": 3.0607, + "step": 290 + }, + { + "epoch": 0.01, + "learning_rate": 1.9995908922455574e-05, + "loss": 3.0865, + "step": 300 + }, + { + "epoch": 0.01, + "learning_rate": 1.9995489618532696e-05, + "loss": 3.0345, + "step": 310 + }, + { + "epoch": 0.01, + "learning_rate": 1.9995049867057475e-05, + "loss": 3.066, + "step": 320 + }, + { + "epoch": 0.01, + "learning_rate": 1.99945896689295e-05, + "loss": 3.0605, + "step": 330 + }, + { + "epoch": 0.02, + "learning_rate": 1.9994109025090193e-05, + "loss": 2.9867, + "step": 340 + }, + { + "epoch": 0.02, + "learning_rate": 1.9993607936522795e-05, + "loss": 2.9954, + "step": 350 + }, + { + "epoch": 0.02, + "learning_rate": 1.9993086404252368e-05, + "loss": 2.9902, + "step": 360 + }, + { + "epoch": 0.02, + "learning_rate": 1.99925444293458e-05, + "loss": 2.967, + "step": 370 + }, + { + "epoch": 0.02, + "learning_rate": 1.9991982012911796e-05, + "loss": 2.9373, + "step": 380 + }, + { + "epoch": 0.02, + "learning_rate": 1.9991399156100888e-05, + "loss": 2.9242, + "step": 390 + }, + { + "epoch": 0.02, + "learning_rate": 1.99907958601054e-05, + "loss": 2.8879, + "step": 400 + }, + { + "epoch": 0.02, + "learning_rate": 1.9990172126159493e-05, + "loss": 2.8951, + "step": 410 + }, + { + "epoch": 0.02, + "learning_rate": 1.9989527955539117e-05, + "loss": 2.9223, + "step": 420 + }, + { + "epoch": 0.02, + "learning_rate": 1.998886334956204e-05, + "loss": 2.9071, + "step": 430 + }, + { + "epoch": 0.02, + "learning_rate": 1.9988178309587834e-05, + "loss": 2.8767, + "step": 440 + }, + { + "epoch": 0.02, + "learning_rate": 1.9987472837017875e-05, + "loss": 2.8798, + "step": 450 + }, + { + "epoch": 0.02, + "learning_rate": 1.998674693329532e-05, + "loss": 2.8751, + "step": 460 + }, + { + "epoch": 0.02, + "learning_rate": 1.9986000599905144e-05, + "loss": 2.8694, + "step": 470 + }, + { + "epoch": 0.02, + "learning_rate": 1.9985233838374095e-05, + "loss": 2.8434, + "step": 480 + }, + { + "epoch": 0.02, + "learning_rate": 1.9984446650270735e-05, + "loss": 2.8669, + "step": 490 + }, + { + "epoch": 0.02, + "learning_rate": 1.9983639037205383e-05, + "loss": 2.8698, + "step": 500 + }, + { + "epoch": 0.02, + "learning_rate": 1.9982811000830168e-05, + "loss": 2.7942, + "step": 510 + }, + { + "epoch": 0.02, + "learning_rate": 1.9981962542838973e-05, + "loss": 2.8396, + "step": 520 + }, + { + "epoch": 0.02, + "learning_rate": 1.998109366496748e-05, + "loss": 2.8324, + "step": 530 + }, + { + "epoch": 0.02, + "learning_rate": 1.9980204368993125e-05, + "loss": 2.8112, + "step": 540 + }, + { + "epoch": 0.02, + "learning_rate": 1.9979294656735128e-05, + "loss": 2.789, + "step": 550 + }, + { + "epoch": 0.03, + "learning_rate": 1.9978364530054465e-05, + "loss": 2.7973, + "step": 560 + }, + { + "epoch": 0.03, + "learning_rate": 1.997741399085387e-05, + "loss": 2.7944, + "step": 570 + }, + { + "epoch": 0.03, + "learning_rate": 1.997644304107785e-05, + "loss": 2.8026, + "step": 580 + }, + { + "epoch": 0.03, + "learning_rate": 1.9975451682712653e-05, + "loss": 2.7717, + "step": 590 + }, + { + "epoch": 0.03, + "learning_rate": 1.997443991778627e-05, + "loss": 2.7765, + "step": 600 + }, + { + "epoch": 0.03, + "learning_rate": 1.9973407748368456e-05, + "loss": 2.7911, + "step": 610 + }, + { + "epoch": 0.03, + "learning_rate": 1.9972355176570695e-05, + "loss": 2.7744, + "step": 620 + }, + { + "epoch": 0.03, + "learning_rate": 1.9971282204546206e-05, + "loss": 2.7749, + "step": 630 + }, + { + "epoch": 0.03, + "learning_rate": 1.997018883448995e-05, + "loss": 2.7949, + "step": 640 + }, + { + "epoch": 0.03, + "learning_rate": 1.9969075068638603e-05, + "loss": 2.73, + "step": 650 + }, + { + "epoch": 0.03, + "learning_rate": 1.996794090927058e-05, + "loss": 2.7475, + "step": 660 + }, + { + "epoch": 0.03, + "learning_rate": 1.9966786358705997e-05, + "loss": 2.7215, + "step": 670 + }, + { + "epoch": 0.03, + "learning_rate": 1.9965611419306697e-05, + "loss": 2.7395, + "step": 680 + }, + { + "epoch": 0.03, + "learning_rate": 1.9964416093476227e-05, + "loss": 2.7544, + "step": 690 + }, + { + "epoch": 0.03, + "learning_rate": 1.996320038365984e-05, + "loss": 2.7504, + "step": 700 + }, + { + "epoch": 0.03, + "learning_rate": 1.9961964292344485e-05, + "loss": 2.7467, + "step": 710 + }, + { + "epoch": 0.03, + "learning_rate": 1.9960707822058807e-05, + "loss": 2.7522, + "step": 720 + }, + { + "epoch": 0.03, + "learning_rate": 1.995943097537314e-05, + "loss": 2.7601, + "step": 730 + }, + { + "epoch": 0.03, + "learning_rate": 1.99581337548995e-05, + "loss": 2.7437, + "step": 740 + }, + { + "epoch": 0.03, + "learning_rate": 1.9956816163291583e-05, + "loss": 2.7516, + "step": 750 + }, + { + "epoch": 0.03, + "learning_rate": 1.9955478203244758e-05, + "loss": 2.7282, + "step": 760 + }, + { + "epoch": 0.03, + "learning_rate": 1.9954119877496058e-05, + "loss": 2.7259, + "step": 770 + }, + { + "epoch": 0.04, + "learning_rate": 1.995274118882418e-05, + "loss": 2.7284, + "step": 780 + }, + { + "epoch": 0.04, + "learning_rate": 1.9951342140049483e-05, + "loss": 2.723, + "step": 790 + }, + { + "epoch": 0.04, + "learning_rate": 1.9949922734033958e-05, + "loss": 2.7367, + "step": 800 + }, + { + "epoch": 0.04, + "learning_rate": 1.9948482973681267e-05, + "loss": 2.7136, + "step": 810 + }, + { + "epoch": 0.04, + "learning_rate": 1.9947022861936686e-05, + "loss": 2.7344, + "step": 820 + }, + { + "epoch": 0.04, + "learning_rate": 1.9945542401787137e-05, + "loss": 2.7196, + "step": 830 + }, + { + "epoch": 0.04, + "learning_rate": 1.9944041596261162e-05, + "loss": 2.7228, + "step": 840 + }, + { + "epoch": 0.04, + "learning_rate": 1.994252044842893e-05, + "loss": 2.6978, + "step": 850 + }, + { + "epoch": 0.04, + "learning_rate": 1.9940978961402217e-05, + "loss": 2.7169, + "step": 860 + }, + { + "epoch": 0.04, + "learning_rate": 1.993941713833441e-05, + "loss": 2.7058, + "step": 870 + }, + { + "epoch": 0.04, + "learning_rate": 1.9937834982420492e-05, + "loss": 2.7083, + "step": 880 + }, + { + "epoch": 0.04, + "learning_rate": 1.993623249689705e-05, + "loss": 2.7348, + "step": 890 + }, + { + "epoch": 0.04, + "learning_rate": 1.9934609685042248e-05, + "loss": 2.7023, + "step": 900 + }, + { + "epoch": 0.04, + "learning_rate": 1.9932966550175842e-05, + "loss": 2.69, + "step": 910 + }, + { + "epoch": 0.04, + "learning_rate": 1.9931303095659153e-05, + "loss": 2.6818, + "step": 920 + }, + { + "epoch": 0.04, + "learning_rate": 1.9929619324895074e-05, + "loss": 2.724, + "step": 930 + }, + { + "epoch": 0.04, + "learning_rate": 1.9927915241328056e-05, + "loss": 2.6865, + "step": 940 + }, + { + "epoch": 0.04, + "learning_rate": 1.992619084844411e-05, + "loss": 2.6784, + "step": 950 + }, + { + "epoch": 0.04, + "learning_rate": 1.992444614977078e-05, + "loss": 2.6982, + "step": 960 + }, + { + "epoch": 0.04, + "learning_rate": 1.992268114887717e-05, + "loss": 2.698, + "step": 970 + }, + { + "epoch": 0.04, + "learning_rate": 1.992089584937389e-05, + "loss": 2.6747, + "step": 980 + }, + { + "epoch": 0.04, + "learning_rate": 1.9919090254913095e-05, + "loss": 2.6793, + "step": 990 + }, + { + "epoch": 0.05, + "learning_rate": 1.9917264369188453e-05, + "loss": 2.685, + "step": 1000 + }, + { + "epoch": 0.05, + "learning_rate": 1.9915418195935128e-05, + "loss": 2.6685, + "step": 1010 + }, + { + "epoch": 0.05, + "learning_rate": 1.9913551738929803e-05, + "loss": 2.672, + "step": 1020 + }, + { + "epoch": 0.05, + "learning_rate": 1.9911665001990648e-05, + "loss": 2.7005, + "step": 1030 + }, + { + "epoch": 0.05, + "learning_rate": 1.9909757988977315e-05, + "loss": 2.678, + "step": 1040 + }, + { + "epoch": 0.05, + "learning_rate": 1.9907830703790943e-05, + "loss": 2.6533, + "step": 1050 + }, + { + "epoch": 0.05, + "learning_rate": 1.9905883150374134e-05, + "loss": 2.6703, + "step": 1060 + }, + { + "epoch": 0.05, + "learning_rate": 1.9903915332710952e-05, + "loss": 2.6778, + "step": 1070 + }, + { + "epoch": 0.05, + "learning_rate": 1.990192725482693e-05, + "loss": 2.6672, + "step": 1080 + }, + { + "epoch": 0.05, + "learning_rate": 1.9899918920789017e-05, + "loss": 2.6442, + "step": 1090 + }, + { + "epoch": 0.05, + "learning_rate": 1.9897890334705636e-05, + "loss": 2.662, + "step": 1100 + }, + { + "epoch": 0.05, + "learning_rate": 1.9895841500726606e-05, + "loss": 2.6608, + "step": 1110 + }, + { + "epoch": 0.05, + "learning_rate": 1.9893772423043188e-05, + "loss": 2.6562, + "step": 1120 + }, + { + "epoch": 0.05, + "learning_rate": 1.9891683105888048e-05, + "loss": 2.6866, + "step": 1130 + }, + { + "epoch": 0.05, + "learning_rate": 1.9889573553535258e-05, + "loss": 2.6592, + "step": 1140 + }, + { + "epoch": 0.05, + "learning_rate": 1.988744377030028e-05, + "loss": 2.6526, + "step": 1150 + }, + { + "epoch": 0.05, + "learning_rate": 1.988529376053997e-05, + "loss": 2.644, + "step": 1160 + }, + { + "epoch": 0.05, + "learning_rate": 1.988312352865254e-05, + "loss": 2.6692, + "step": 1170 + }, + { + "epoch": 0.05, + "learning_rate": 1.9880933079077605e-05, + "loss": 2.663, + "step": 1180 + }, + { + "epoch": 0.05, + "learning_rate": 1.9878722416296104e-05, + "loss": 2.6357, + "step": 1190 + }, + { + "epoch": 0.05, + "learning_rate": 1.9876491544830352e-05, + "loss": 2.6277, + "step": 1200 + }, + { + "epoch": 0.05, + "learning_rate": 1.9874240469243987e-05, + "loss": 2.6691, + "step": 1210 + }, + { + "epoch": 0.06, + "learning_rate": 1.9871969194141985e-05, + "loss": 2.6788, + "step": 1220 + }, + { + "epoch": 0.06, + "learning_rate": 1.986967772417065e-05, + "loss": 2.6312, + "step": 1230 + }, + { + "epoch": 0.06, + "learning_rate": 1.9867366064017584e-05, + "loss": 2.6423, + "step": 1240 + }, + { + "epoch": 0.06, + "learning_rate": 1.9865034218411698e-05, + "loss": 2.6013, + "step": 1250 + }, + { + "epoch": 0.06, + "learning_rate": 1.9862682192123203e-05, + "loss": 2.6355, + "step": 1260 + }, + { + "epoch": 0.06, + "learning_rate": 1.9860309989963585e-05, + "loss": 2.6463, + "step": 1270 + }, + { + "epoch": 0.06, + "learning_rate": 1.9857917616785606e-05, + "loss": 2.6404, + "step": 1280 + }, + { + "epoch": 0.06, + "learning_rate": 1.9855505077483288e-05, + "loss": 2.6601, + "step": 1290 + }, + { + "epoch": 0.06, + "learning_rate": 1.9853072376991913e-05, + "loss": 2.6469, + "step": 1300 + }, + { + "epoch": 0.06, + "learning_rate": 1.9850619520288e-05, + "loss": 2.6393, + "step": 1310 + }, + { + "epoch": 0.06, + "learning_rate": 1.9848146512389305e-05, + "loss": 2.6231, + "step": 1320 + }, + { + "epoch": 0.06, + "learning_rate": 1.984565335835481e-05, + "loss": 2.6386, + "step": 1330 + }, + { + "epoch": 0.06, + "learning_rate": 1.9843140063284694e-05, + "loss": 2.6451, + "step": 1340 + }, + { + "epoch": 0.06, + "learning_rate": 1.9840606632320362e-05, + "loss": 2.6009, + "step": 1350 + }, + { + "epoch": 0.06, + "learning_rate": 1.9838053070644388e-05, + "loss": 2.621, + "step": 1360 + }, + { + "epoch": 0.06, + "learning_rate": 1.983547938348054e-05, + "loss": 2.633, + "step": 1370 + }, + { + "epoch": 0.06, + "learning_rate": 1.9832885576093755e-05, + "loss": 2.6157, + "step": 1380 + }, + { + "epoch": 0.06, + "learning_rate": 1.983027165379013e-05, + "loss": 2.6275, + "step": 1390 + }, + { + "epoch": 0.06, + "learning_rate": 1.9827637621916897e-05, + "loss": 2.6063, + "step": 1400 + }, + { + "epoch": 0.06, + "learning_rate": 1.9824983485862446e-05, + "loss": 2.6351, + "step": 1410 + }, + { + "epoch": 0.06, + "learning_rate": 1.9822309251056286e-05, + "loss": 2.6623, + "step": 1420 + }, + { + "epoch": 0.06, + "learning_rate": 1.981961492296903e-05, + "loss": 2.6489, + "step": 1430 + }, + { + "epoch": 0.07, + "learning_rate": 1.981690050711242e-05, + "loss": 2.6471, + "step": 1440 + }, + { + "epoch": 0.07, + "learning_rate": 1.9814166009039266e-05, + "loss": 2.6274, + "step": 1450 + }, + { + "epoch": 0.07, + "learning_rate": 1.9811411434343467e-05, + "loss": 2.633, + "step": 1460 + }, + { + "epoch": 0.07, + "learning_rate": 1.9808636788660008e-05, + "loss": 2.6094, + "step": 1470 + }, + { + "epoch": 0.07, + "learning_rate": 1.9805842077664913e-05, + "loss": 2.6053, + "step": 1480 + }, + { + "epoch": 0.07, + "learning_rate": 1.9803027307075258e-05, + "loss": 2.6303, + "step": 1490 + }, + { + "epoch": 0.07, + "learning_rate": 1.9800192482649164e-05, + "loss": 2.6214, + "step": 1500 + }, + { + "epoch": 0.07, + "learning_rate": 1.9797337610185763e-05, + "loss": 2.6238, + "step": 1510 + }, + { + "epoch": 0.07, + "learning_rate": 1.979446269552521e-05, + "loss": 2.6193, + "step": 1520 + }, + { + "epoch": 0.07, + "learning_rate": 1.9791567744548644e-05, + "loss": 2.6114, + "step": 1530 + }, + { + "epoch": 0.07, + "learning_rate": 1.9788652763178215e-05, + "loss": 2.6314, + "step": 1540 + }, + { + "epoch": 0.07, + "learning_rate": 1.9785717757377033e-05, + "loss": 2.6047, + "step": 1550 + }, + { + "epoch": 0.07, + "learning_rate": 1.9782762733149167e-05, + "loss": 2.6028, + "step": 1560 + }, + { + "epoch": 0.07, + "learning_rate": 1.977978769653965e-05, + "loss": 2.6117, + "step": 1570 + }, + { + "epoch": 0.07, + "learning_rate": 1.977679265363445e-05, + "loss": 2.603, + "step": 1580 + }, + { + "epoch": 0.07, + "learning_rate": 1.9773777610560458e-05, + "loss": 2.5901, + "step": 1590 + }, + { + "epoch": 0.07, + "learning_rate": 1.977074257348548e-05, + "loss": 2.6346, + "step": 1600 + }, + { + "epoch": 0.07, + "learning_rate": 1.9767687548618227e-05, + "loss": 2.5964, + "step": 1610 + }, + { + "epoch": 0.07, + "learning_rate": 1.9764612542208297e-05, + "loss": 2.6068, + "step": 1620 + }, + { + "epoch": 0.07, + "learning_rate": 1.976151756054616e-05, + "loss": 2.5897, + "step": 1630 + }, + { + "epoch": 0.07, + "learning_rate": 1.975840260996315e-05, + "loss": 2.6059, + "step": 1640 + }, + { + "epoch": 0.07, + "learning_rate": 1.9755267696831454e-05, + "loss": 2.6095, + "step": 1650 + }, + { + "epoch": 0.08, + "learning_rate": 1.9752112827564098e-05, + "loss": 2.6109, + "step": 1660 + }, + { + "epoch": 0.08, + "learning_rate": 1.9748938008614925e-05, + "loss": 2.6161, + "step": 1670 + }, + { + "epoch": 0.08, + "learning_rate": 1.974574324647859e-05, + "loss": 2.6231, + "step": 1680 + }, + { + "epoch": 0.08, + "learning_rate": 1.9742528547690554e-05, + "loss": 2.6016, + "step": 1690 + }, + { + "epoch": 0.08, + "learning_rate": 1.9739293918827047e-05, + "loss": 2.5802, + "step": 1700 + }, + { + "epoch": 0.08, + "learning_rate": 1.9736039366505087e-05, + "loss": 2.5746, + "step": 1710 + }, + { + "epoch": 0.08, + "learning_rate": 1.973276489738243e-05, + "loss": 2.6299, + "step": 1720 + }, + { + "epoch": 0.08, + "learning_rate": 1.9729470518157595e-05, + "loss": 2.5615, + "step": 1730 + }, + { + "epoch": 0.08, + "learning_rate": 1.972615623556981e-05, + "loss": 2.6017, + "step": 1740 + }, + { + "epoch": 0.08, + "learning_rate": 1.972282205639904e-05, + "loss": 2.5797, + "step": 1750 + }, + { + "epoch": 0.08, + "learning_rate": 1.9719467987465934e-05, + "loss": 2.5667, + "step": 1760 + }, + { + "epoch": 0.08, + "learning_rate": 1.9716094035631843e-05, + "loss": 2.5938, + "step": 1770 + }, + { + "epoch": 0.08, + "learning_rate": 1.9712700207798783e-05, + "loss": 2.5997, + "step": 1780 + }, + { + "epoch": 0.08, + "learning_rate": 1.970928651090943e-05, + "loss": 2.6088, + "step": 1790 + }, + { + "epoch": 0.08, + "learning_rate": 1.9705852951947115e-05, + "loss": 2.5769, + "step": 1800 + }, + { + "epoch": 0.08, + "learning_rate": 1.9702399537935785e-05, + "loss": 2.5784, + "step": 1810 + }, + { + "epoch": 0.08, + "learning_rate": 1.9698926275940017e-05, + "loss": 2.6015, + "step": 1820 + }, + { + "epoch": 0.08, + "learning_rate": 1.9695433173064987e-05, + "loss": 2.5902, + "step": 1830 + }, + { + "epoch": 0.08, + "learning_rate": 1.9691920236456462e-05, + "loss": 2.5692, + "step": 1840 + }, + { + "epoch": 0.08, + "learning_rate": 1.968838747330077e-05, + "loss": 2.6207, + "step": 1850 + }, + { + "epoch": 0.08, + "learning_rate": 1.9684834890824813e-05, + "loss": 2.5922, + "step": 1860 + }, + { + "epoch": 0.08, + "learning_rate": 1.9681262496296028e-05, + "loss": 2.5989, + "step": 1870 + }, + { + "epoch": 0.09, + "learning_rate": 1.9677670297022383e-05, + "loss": 2.5859, + "step": 1880 + }, + { + "epoch": 0.09, + "learning_rate": 1.9674058300352364e-05, + "loss": 2.5726, + "step": 1890 + }, + { + "epoch": 0.09, + "learning_rate": 1.9670426513674954e-05, + "loss": 2.6198, + "step": 1900 + }, + { + "epoch": 0.09, + "learning_rate": 1.9666774944419613e-05, + "loss": 2.5914, + "step": 1910 + }, + { + "epoch": 0.09, + "learning_rate": 1.9663103600056276e-05, + "loss": 2.6187, + "step": 1920 + }, + { + "epoch": 0.09, + "learning_rate": 1.965941248809534e-05, + "loss": 2.5771, + "step": 1930 + }, + { + "epoch": 0.09, + "learning_rate": 1.965570161608762e-05, + "loss": 2.5923, + "step": 1940 + }, + { + "epoch": 0.09, + "learning_rate": 1.965197099162437e-05, + "loss": 2.6079, + "step": 1950 + }, + { + "epoch": 0.09, + "learning_rate": 1.9648220622337245e-05, + "loss": 2.6138, + "step": 1960 + }, + { + "epoch": 0.09, + "learning_rate": 1.9644450515898293e-05, + "loss": 2.5875, + "step": 1970 + }, + { + "epoch": 0.09, + "learning_rate": 1.9640660680019938e-05, + "loss": 2.5786, + "step": 1980 + }, + { + "epoch": 0.09, + "learning_rate": 1.9636851122454965e-05, + "loss": 2.5824, + "step": 1990 + }, + { + "epoch": 0.09, + "learning_rate": 1.9633021850996496e-05, + "loss": 2.6021, + "step": 2000 + }, + { + "epoch": 0.09, + "eval_accuracy": 0.5305171973647798, + "eval_loss": 2.3284668922424316, + "eval_runtime": 9.9238, + "eval_samples_per_second": 137.749, + "eval_steps_per_second": 1.108, + "step": 2000 + }, + { + "epoch": 0.09, + "learning_rate": 1.9629172873477995e-05, + "loss": 2.5867, + "step": 2010 + }, + { + "epoch": 0.09, + "learning_rate": 1.9625304197773226e-05, + "loss": 2.5904, + "step": 2020 + }, + { + "epoch": 0.09, + "learning_rate": 1.962141583179625e-05, + "loss": 2.571, + "step": 2030 + }, + { + "epoch": 0.09, + "learning_rate": 1.9617507783501416e-05, + "loss": 2.5682, + "step": 2040 + }, + { + "epoch": 0.09, + "learning_rate": 1.9613580060883336e-05, + "loss": 2.5904, + "step": 2050 + }, + { + "epoch": 0.09, + "learning_rate": 1.960963267197686e-05, + "loss": 2.5614, + "step": 2060 + }, + { + "epoch": 0.09, + "learning_rate": 1.960566562485707e-05, + "loss": 2.5949, + "step": 2070 + }, + { + "epoch": 0.09, + "learning_rate": 1.9601678927639275e-05, + "loss": 2.555, + "step": 2080 + }, + { + "epoch": 0.09, + "learning_rate": 1.959767258847897e-05, + "loss": 2.5861, + "step": 2090 + }, + { + "epoch": 0.1, + "learning_rate": 1.9593646615571834e-05, + "loss": 2.5877, + "step": 2100 + }, + { + "epoch": 0.1, + "learning_rate": 1.958960101715371e-05, + "loss": 2.5815, + "step": 2110 + }, + { + "epoch": 0.1, + "learning_rate": 1.9585535801500593e-05, + "loss": 2.5512, + "step": 2120 + }, + { + "epoch": 0.1, + "learning_rate": 1.9581450976928603e-05, + "loss": 2.5319, + "step": 2130 + }, + { + "epoch": 0.1, + "learning_rate": 1.957734655179397e-05, + "loss": 2.5692, + "step": 2140 + }, + { + "epoch": 0.1, + "learning_rate": 1.9573222534493034e-05, + "loss": 2.5709, + "step": 2150 + }, + { + "epoch": 0.1, + "learning_rate": 1.9569078933462206e-05, + "loss": 2.5987, + "step": 2160 + }, + { + "epoch": 0.1, + "learning_rate": 1.9564915757177955e-05, + "loss": 2.5647, + "step": 2170 + }, + { + "epoch": 0.1, + "learning_rate": 1.9560733014156798e-05, + "loss": 2.5883, + "step": 2180 + }, + { + "epoch": 0.1, + "learning_rate": 1.9556530712955282e-05, + "loss": 2.5858, + "step": 2190 + }, + { + "epoch": 0.1, + "learning_rate": 1.9552308862169962e-05, + "loss": 2.5903, + "step": 2200 + }, + { + "epoch": 0.1, + "learning_rate": 1.9548067470437386e-05, + "loss": 2.5687, + "step": 2210 + }, + { + "epoch": 0.1, + "learning_rate": 1.9543806546434074e-05, + "loss": 2.5815, + "step": 2220 + }, + { + "epoch": 0.1, + "learning_rate": 1.95395260988765e-05, + "loss": 2.5657, + "step": 2230 + }, + { + "epoch": 0.1, + "learning_rate": 1.9535226136521088e-05, + "loss": 2.5691, + "step": 2240 + }, + { + "epoch": 0.1, + "learning_rate": 1.9530906668164172e-05, + "loss": 2.5632, + "step": 2250 + }, + { + "epoch": 0.1, + "learning_rate": 1.9526567702642e-05, + "loss": 2.5308, + "step": 2260 + }, + { + "epoch": 0.1, + "learning_rate": 1.9522209248830686e-05, + "loss": 2.564, + "step": 2270 + }, + { + "epoch": 0.1, + "learning_rate": 1.951783131564623e-05, + "loss": 2.5459, + "step": 2280 + }, + { + "epoch": 0.1, + "learning_rate": 1.9513433912044473e-05, + "loss": 2.587, + "step": 2290 + }, + { + "epoch": 0.1, + "learning_rate": 1.9509017047021085e-05, + "loss": 2.5739, + "step": 2300 + }, + { + "epoch": 0.1, + "learning_rate": 1.950458072961155e-05, + "loss": 2.5777, + "step": 2310 + }, + { + "epoch": 0.11, + "learning_rate": 1.950012496889114e-05, + "loss": 2.5725, + "step": 2320 + }, + { + "epoch": 0.11, + "learning_rate": 1.9495649773974913e-05, + "loss": 2.5745, + "step": 2330 + }, + { + "epoch": 0.11, + "learning_rate": 1.9491155154017675e-05, + "loss": 2.5686, + "step": 2340 + }, + { + "epoch": 0.11, + "learning_rate": 1.948664111821397e-05, + "loss": 2.5904, + "step": 2350 + }, + { + "epoch": 0.11, + "learning_rate": 1.948210767579806e-05, + "loss": 2.5503, + "step": 2360 + }, + { + "epoch": 0.11, + "learning_rate": 1.9477554836043907e-05, + "loss": 2.5743, + "step": 2370 + }, + { + "epoch": 0.11, + "learning_rate": 1.947298260826516e-05, + "loss": 2.5746, + "step": 2380 + }, + { + "epoch": 0.11, + "learning_rate": 1.946839100181512e-05, + "loss": 2.5761, + "step": 2390 + }, + { + "epoch": 0.11, + "learning_rate": 1.9463780026086735e-05, + "loss": 2.5883, + "step": 2400 + }, + { + "epoch": 0.11, + "learning_rate": 1.945914969051258e-05, + "loss": 2.5673, + "step": 2410 + }, + { + "epoch": 0.11, + "learning_rate": 1.9454500004564825e-05, + "loss": 2.5564, + "step": 2420 + }, + { + "epoch": 0.11, + "learning_rate": 1.9449830977755234e-05, + "loss": 2.5568, + "step": 2430 + }, + { + "epoch": 0.11, + "learning_rate": 1.9445142619635127e-05, + "loss": 2.5582, + "step": 2440 + }, + { + "epoch": 0.11, + "learning_rate": 1.9440434939795382e-05, + "loss": 2.5595, + "step": 2450 + }, + { + "epoch": 0.11, + "learning_rate": 1.943570794786639e-05, + "loss": 2.5521, + "step": 2460 + }, + { + "epoch": 0.11, + "learning_rate": 1.9430961653518056e-05, + "loss": 2.5493, + "step": 2470 + }, + { + "epoch": 0.11, + "learning_rate": 1.9426196066459766e-05, + "loss": 2.5564, + "step": 2480 + }, + { + "epoch": 0.11, + "learning_rate": 1.942141119644038e-05, + "loss": 2.5652, + "step": 2490 + }, + { + "epoch": 0.11, + "learning_rate": 1.9416607053248203e-05, + "loss": 2.5486, + "step": 2500 + }, + { + "epoch": 0.11, + "learning_rate": 1.941178364671096e-05, + "loss": 2.5633, + "step": 2510 + }, + { + "epoch": 0.11, + "learning_rate": 1.940694098669579e-05, + "loss": 2.5736, + "step": 2520 + }, + { + "epoch": 0.11, + "learning_rate": 1.9402079083109217e-05, + "loss": 2.5312, + "step": 2530 + }, + { + "epoch": 0.12, + "learning_rate": 1.939719794589712e-05, + "loss": 2.5523, + "step": 2540 + }, + { + "epoch": 0.12, + "learning_rate": 1.9392297585044748e-05, + "loss": 2.5435, + "step": 2550 + }, + { + "epoch": 0.12, + "learning_rate": 1.9387378010576653e-05, + "loss": 2.5447, + "step": 2560 + }, + { + "epoch": 0.12, + "learning_rate": 1.9382439232556696e-05, + "loss": 2.5613, + "step": 2570 + }, + { + "epoch": 0.12, + "learning_rate": 1.9377481261088036e-05, + "loss": 2.5827, + "step": 2580 + }, + { + "epoch": 0.12, + "learning_rate": 1.937250410631308e-05, + "loss": 2.5472, + "step": 2590 + }, + { + "epoch": 0.12, + "learning_rate": 1.9367507778413483e-05, + "loss": 2.5242, + "step": 2600 + }, + { + "epoch": 0.12, + "learning_rate": 1.9362492287610126e-05, + "loss": 2.5497, + "step": 2610 + }, + { + "epoch": 0.12, + "learning_rate": 1.9357457644163086e-05, + "loss": 2.5683, + "step": 2620 + }, + { + "epoch": 0.12, + "learning_rate": 1.9352403858371618e-05, + "loss": 2.5524, + "step": 2630 + }, + { + "epoch": 0.12, + "learning_rate": 1.9347330940574145e-05, + "loss": 2.5521, + "step": 2640 + }, + { + "epoch": 0.12, + "learning_rate": 1.9342238901148222e-05, + "loss": 2.5512, + "step": 2650 + }, + { + "epoch": 0.12, + "learning_rate": 1.933712775051052e-05, + "loss": 2.5571, + "step": 2660 + }, + { + "epoch": 0.12, + "learning_rate": 1.933199749911681e-05, + "loss": 2.5624, + "step": 2670 + }, + { + "epoch": 0.12, + "learning_rate": 1.932684815746193e-05, + "loss": 2.5375, + "step": 2680 + }, + { + "epoch": 0.12, + "learning_rate": 1.9321679736079777e-05, + "loss": 2.5468, + "step": 2690 + }, + { + "epoch": 0.12, + "learning_rate": 1.9316492245543276e-05, + "loss": 2.5677, + "step": 2700 + }, + { + "epoch": 0.12, + "learning_rate": 1.9311285696464362e-05, + "loss": 2.5439, + "step": 2710 + }, + { + "epoch": 0.12, + "learning_rate": 1.9306060099493956e-05, + "loss": 2.5453, + "step": 2720 + }, + { + "epoch": 0.12, + "learning_rate": 1.930081546532195e-05, + "loss": 2.5596, + "step": 2730 + }, + { + "epoch": 0.12, + "learning_rate": 1.929555180467717e-05, + "loss": 2.5487, + "step": 2740 + }, + { + "epoch": 0.12, + "learning_rate": 1.9290269128327374e-05, + "loss": 2.567, + "step": 2750 + }, + { + "epoch": 0.13, + "learning_rate": 1.9284967447079218e-05, + "loss": 2.5375, + "step": 2760 + }, + { + "epoch": 0.13, + "learning_rate": 1.9279646771778234e-05, + "loss": 2.5614, + "step": 2770 + }, + { + "epoch": 0.13, + "learning_rate": 1.927430711330881e-05, + "loss": 2.5561, + "step": 2780 + }, + { + "epoch": 0.13, + "learning_rate": 1.926894848259416e-05, + "loss": 2.557, + "step": 2790 + }, + { + "epoch": 0.13, + "learning_rate": 1.9263570890596327e-05, + "loss": 2.5625, + "step": 2800 + }, + { + "epoch": 0.13, + "learning_rate": 1.9258174348316126e-05, + "loss": 2.514, + "step": 2810 + }, + { + "epoch": 0.13, + "learning_rate": 1.925275886679315e-05, + "loss": 2.5545, + "step": 2820 + }, + { + "epoch": 0.13, + "learning_rate": 1.924732445710572e-05, + "loss": 2.5612, + "step": 2830 + }, + { + "epoch": 0.13, + "learning_rate": 1.92418711303709e-05, + "loss": 2.5577, + "step": 2840 + }, + { + "epoch": 0.13, + "learning_rate": 1.923639889774443e-05, + "loss": 2.516, + "step": 2850 + }, + { + "epoch": 0.13, + "learning_rate": 1.9230907770420737e-05, + "loss": 2.536, + "step": 2860 + }, + { + "epoch": 0.13, + "learning_rate": 1.9225397759632905e-05, + "loss": 2.5547, + "step": 2870 + }, + { + "epoch": 0.13, + "learning_rate": 1.9219868876652637e-05, + "loss": 2.5592, + "step": 2880 + }, + { + "epoch": 0.13, + "learning_rate": 1.9214321132790247e-05, + "loss": 2.5764, + "step": 2890 + }, + { + "epoch": 0.13, + "learning_rate": 1.9208754539394632e-05, + "loss": 2.537, + "step": 2900 + }, + { + "epoch": 0.13, + "learning_rate": 1.920316910785325e-05, + "loss": 2.5297, + "step": 2910 + }, + { + "epoch": 0.13, + "learning_rate": 1.9197564849592093e-05, + "loss": 2.5446, + "step": 2920 + }, + { + "epoch": 0.13, + "learning_rate": 1.919194177607567e-05, + "loss": 2.5511, + "step": 2930 + }, + { + "epoch": 0.13, + "learning_rate": 1.9186299898806983e-05, + "loss": 2.5469, + "step": 2940 + }, + { + "epoch": 0.13, + "learning_rate": 1.9180639229327483e-05, + "loss": 2.5429, + "step": 2950 + }, + { + "epoch": 0.13, + "learning_rate": 1.9174959779217087e-05, + "loss": 2.5394, + "step": 2960 + }, + { + "epoch": 0.13, + "learning_rate": 1.9169261560094122e-05, + "loss": 2.5503, + "step": 2970 + }, + { + "epoch": 0.14, + "learning_rate": 1.9163544583615303e-05, + "loss": 2.5425, + "step": 2980 + }, + { + "epoch": 0.14, + "learning_rate": 1.9157808861475723e-05, + "loss": 2.5261, + "step": 2990 + }, + { + "epoch": 0.14, + "learning_rate": 1.9152054405408823e-05, + "loss": 2.5452, + "step": 3000 + }, + { + "epoch": 0.14, + "learning_rate": 1.914628122718637e-05, + "loss": 2.5342, + "step": 3010 + }, + { + "epoch": 0.14, + "learning_rate": 1.9140489338618423e-05, + "loss": 2.5413, + "step": 3020 + }, + { + "epoch": 0.14, + "learning_rate": 1.9134678751553325e-05, + "loss": 2.5623, + "step": 3030 + }, + { + "epoch": 0.14, + "learning_rate": 1.912884947787766e-05, + "loss": 2.5459, + "step": 3040 + }, + { + "epoch": 0.14, + "learning_rate": 1.9123001529516246e-05, + "loss": 2.524, + "step": 3050 + }, + { + "epoch": 0.14, + "learning_rate": 1.9117134918432106e-05, + "loss": 2.5516, + "step": 3060 + }, + { + "epoch": 0.14, + "learning_rate": 1.911124965662643e-05, + "loss": 2.5663, + "step": 3070 + }, + { + "epoch": 0.14, + "learning_rate": 1.9105345756138575e-05, + "loss": 2.5605, + "step": 3080 + }, + { + "epoch": 0.14, + "learning_rate": 1.9099423229046015e-05, + "loss": 2.5279, + "step": 3090 + }, + { + "epoch": 0.14, + "learning_rate": 1.909348208746433e-05, + "loss": 2.5512, + "step": 3100 + }, + { + "epoch": 0.14, + "learning_rate": 1.9087522343547195e-05, + "loss": 2.523, + "step": 3110 + }, + { + "epoch": 0.14, + "learning_rate": 1.9081544009486316e-05, + "loss": 2.5283, + "step": 3120 + }, + { + "epoch": 0.14, + "learning_rate": 1.9075547097511435e-05, + "loss": 2.5236, + "step": 3130 + }, + { + "epoch": 0.14, + "learning_rate": 1.9069531619890314e-05, + "loss": 2.5417, + "step": 3140 + }, + { + "epoch": 0.14, + "learning_rate": 1.9063497588928676e-05, + "loss": 2.5548, + "step": 3150 + }, + { + "epoch": 0.14, + "learning_rate": 1.90574450169702e-05, + "loss": 2.5413, + "step": 3160 + }, + { + "epoch": 0.14, + "learning_rate": 1.905137391639651e-05, + "loss": 2.5521, + "step": 3170 + }, + { + "epoch": 0.14, + "learning_rate": 1.904528429962712e-05, + "loss": 2.5547, + "step": 3180 + }, + { + "epoch": 0.14, + "learning_rate": 1.9039176179119418e-05, + "loss": 2.528, + "step": 3190 + }, + { + "epoch": 0.15, + "learning_rate": 1.9033049567368655e-05, + "loss": 2.5322, + "step": 3200 + }, + { + "epoch": 0.15, + "learning_rate": 1.90269044769079e-05, + "loss": 2.533, + "step": 3210 + }, + { + "epoch": 0.15, + "learning_rate": 1.902074092030804e-05, + "loss": 2.5438, + "step": 3220 + }, + { + "epoch": 0.15, + "learning_rate": 1.901455891017772e-05, + "loss": 2.5053, + "step": 3230 + }, + { + "epoch": 0.15, + "learning_rate": 1.900835845916334e-05, + "loss": 2.5348, + "step": 3240 + }, + { + "epoch": 0.15, + "learning_rate": 1.900213957994903e-05, + "loss": 2.5244, + "step": 3250 + }, + { + "epoch": 0.15, + "learning_rate": 1.899590228525661e-05, + "loss": 2.5434, + "step": 3260 + }, + { + "epoch": 0.15, + "learning_rate": 1.898964658784558e-05, + "loss": 2.5258, + "step": 3270 + }, + { + "epoch": 0.15, + "learning_rate": 1.8983372500513075e-05, + "loss": 2.5363, + "step": 3280 + }, + { + "epoch": 0.15, + "learning_rate": 1.8977080036093863e-05, + "loss": 2.5525, + "step": 3290 + }, + { + "epoch": 0.15, + "learning_rate": 1.89707692074603e-05, + "loss": 2.5336, + "step": 3300 + }, + { + "epoch": 0.15, + "learning_rate": 1.8964440027522306e-05, + "loss": 2.5109, + "step": 3310 + }, + { + "epoch": 0.15, + "learning_rate": 1.8958092509227347e-05, + "loss": 2.5359, + "step": 3320 + }, + { + "epoch": 0.15, + "learning_rate": 1.8951726665560395e-05, + "loss": 2.536, + "step": 3330 + }, + { + "epoch": 0.15, + "learning_rate": 1.8945342509543923e-05, + "loss": 2.5076, + "step": 3340 + }, + { + "epoch": 0.15, + "learning_rate": 1.8938940054237856e-05, + "loss": 2.5351, + "step": 3350 + }, + { + "epoch": 0.15, + "learning_rate": 1.8932519312739554e-05, + "loss": 2.5101, + "step": 3360 + }, + { + "epoch": 0.15, + "learning_rate": 1.8926080298183784e-05, + "loss": 2.5267, + "step": 3370 + }, + { + "epoch": 0.15, + "learning_rate": 1.89196230237427e-05, + "loss": 2.5512, + "step": 3380 + }, + { + "epoch": 0.15, + "learning_rate": 1.8913147502625802e-05, + "loss": 2.5042, + "step": 3390 + }, + { + "epoch": 0.15, + "learning_rate": 1.8906653748079927e-05, + "loss": 2.5479, + "step": 3400 + }, + { + "epoch": 0.15, + "learning_rate": 1.89001417733892e-05, + "loss": 2.5267, + "step": 3410 + }, + { + "epoch": 0.15, + "learning_rate": 1.889361159187502e-05, + "loss": 2.5475, + "step": 3420 + }, + { + "epoch": 0.16, + "learning_rate": 1.8887063216896043e-05, + "loss": 2.5353, + "step": 3430 + }, + { + "epoch": 0.16, + "learning_rate": 1.8880496661848132e-05, + "loss": 2.551, + "step": 3440 + }, + { + "epoch": 0.16, + "learning_rate": 1.8873911940164344e-05, + "loss": 2.5408, + "step": 3450 + }, + { + "epoch": 0.16, + "learning_rate": 1.88673090653149e-05, + "loss": 2.528, + "step": 3460 + }, + { + "epoch": 0.16, + "learning_rate": 1.886068805080715e-05, + "loss": 2.5241, + "step": 3470 + }, + { + "epoch": 0.16, + "learning_rate": 1.885404891018556e-05, + "loss": 2.5586, + "step": 3480 + }, + { + "epoch": 0.16, + "learning_rate": 1.8847391657031674e-05, + "loss": 2.5153, + "step": 3490 + }, + { + "epoch": 0.16, + "learning_rate": 1.884071630496409e-05, + "loss": 2.5022, + "step": 3500 + }, + { + "epoch": 0.16, + "learning_rate": 1.8834022867638423e-05, + "loss": 2.527, + "step": 3510 + }, + { + "epoch": 0.16, + "learning_rate": 1.8827311358747295e-05, + "loss": 2.512, + "step": 3520 + }, + { + "epoch": 0.16, + "learning_rate": 1.882058179202029e-05, + "loss": 2.5374, + "step": 3530 + }, + { + "epoch": 0.16, + "learning_rate": 1.8813834181223935e-05, + "loss": 2.5514, + "step": 3540 + }, + { + "epoch": 0.16, + "learning_rate": 1.880706854016166e-05, + "loss": 2.5169, + "step": 3550 + }, + { + "epoch": 0.16, + "learning_rate": 1.88002848826738e-05, + "loss": 2.4966, + "step": 3560 + }, + { + "epoch": 0.16, + "learning_rate": 1.8793483222637524e-05, + "loss": 2.5155, + "step": 3570 + }, + { + "epoch": 0.16, + "learning_rate": 1.8786663573966845e-05, + "loss": 2.509, + "step": 3580 + }, + { + "epoch": 0.16, + "learning_rate": 1.877982595061256e-05, + "loss": 2.5304, + "step": 3590 + }, + { + "epoch": 0.16, + "learning_rate": 1.877297036656225e-05, + "loss": 2.5268, + "step": 3600 + }, + { + "epoch": 0.16, + "learning_rate": 1.8766096835840226e-05, + "loss": 2.5605, + "step": 3610 + }, + { + "epoch": 0.16, + "learning_rate": 1.8759205372507528e-05, + "loss": 2.5112, + "step": 3620 + }, + { + "epoch": 0.16, + "learning_rate": 1.8752295990661857e-05, + "loss": 2.5627, + "step": 3630 + }, + { + "epoch": 0.16, + "learning_rate": 1.8745368704437594e-05, + "loss": 2.5212, + "step": 3640 + }, + { + "epoch": 0.17, + "learning_rate": 1.8738423528005733e-05, + "loss": 2.5379, + "step": 3650 + }, + { + "epoch": 0.17, + "learning_rate": 1.8731460475573864e-05, + "loss": 2.5574, + "step": 3660 + }, + { + "epoch": 0.17, + "learning_rate": 1.8724479561386152e-05, + "loss": 2.5381, + "step": 3670 + }, + { + "epoch": 0.17, + "learning_rate": 1.87174807997233e-05, + "loss": 2.5339, + "step": 3680 + }, + { + "epoch": 0.17, + "learning_rate": 1.871046420490252e-05, + "loss": 2.5476, + "step": 3690 + }, + { + "epoch": 0.17, + "learning_rate": 1.8703429791277502e-05, + "loss": 2.5304, + "step": 3700 + }, + { + "epoch": 0.17, + "learning_rate": 1.8696377573238393e-05, + "loss": 2.5252, + "step": 3710 + }, + { + "epoch": 0.17, + "learning_rate": 1.8689307565211757e-05, + "loss": 2.5276, + "step": 3720 + }, + { + "epoch": 0.17, + "learning_rate": 1.868221978166056e-05, + "loss": 2.5171, + "step": 3730 + }, + { + "epoch": 0.17, + "learning_rate": 1.8675114237084117e-05, + "loss": 2.5023, + "step": 3740 + }, + { + "epoch": 0.17, + "learning_rate": 1.8667990946018086e-05, + "loss": 2.5093, + "step": 3750 + }, + { + "epoch": 0.17, + "learning_rate": 1.866084992303443e-05, + "loss": 2.5555, + "step": 3760 + }, + { + "epoch": 0.17, + "learning_rate": 1.8653691182741374e-05, + "loss": 2.5282, + "step": 3770 + }, + { + "epoch": 0.17, + "learning_rate": 1.8646514739783404e-05, + "loss": 2.5215, + "step": 3780 + }, + { + "epoch": 0.17, + "learning_rate": 1.863932060884121e-05, + "loss": 2.5001, + "step": 3790 + }, + { + "epoch": 0.17, + "learning_rate": 1.8632108804631653e-05, + "loss": 2.4973, + "step": 3800 + }, + { + "epoch": 0.17, + "learning_rate": 1.862487934190778e-05, + "loss": 2.5067, + "step": 3810 + }, + { + "epoch": 0.17, + "learning_rate": 1.861763223545873e-05, + "loss": 2.517, + "step": 3820 + }, + { + "epoch": 0.17, + "learning_rate": 1.8610367500109757e-05, + "loss": 2.529, + "step": 3830 + }, + { + "epoch": 0.17, + "learning_rate": 1.8603085150722165e-05, + "loss": 2.5225, + "step": 3840 + }, + { + "epoch": 0.17, + "learning_rate": 1.8595785202193295e-05, + "loss": 2.5309, + "step": 3850 + }, + { + "epoch": 0.17, + "learning_rate": 1.8588467669456494e-05, + "loss": 2.5283, + "step": 3860 + }, + { + "epoch": 0.18, + "learning_rate": 1.8581132567481075e-05, + "loss": 2.5573, + "step": 3870 + }, + { + "epoch": 0.18, + "learning_rate": 1.8573779911272293e-05, + "loss": 2.5339, + "step": 3880 + }, + { + "epoch": 0.18, + "learning_rate": 1.856640971587132e-05, + "loss": 2.5111, + "step": 3890 + }, + { + "epoch": 0.18, + "learning_rate": 1.855902199635519e-05, + "loss": 2.5247, + "step": 3900 + }, + { + "epoch": 0.18, + "learning_rate": 1.855161676783681e-05, + "loss": 2.529, + "step": 3910 + }, + { + "epoch": 0.18, + "learning_rate": 1.8544194045464888e-05, + "loss": 2.5396, + "step": 3920 + }, + { + "epoch": 0.18, + "learning_rate": 1.8536753844423923e-05, + "loss": 2.5122, + "step": 3930 + }, + { + "epoch": 0.18, + "learning_rate": 1.8529296179934167e-05, + "loss": 2.5119, + "step": 3940 + }, + { + "epoch": 0.18, + "learning_rate": 1.8521821067251604e-05, + "loss": 2.5135, + "step": 3950 + }, + { + "epoch": 0.18, + "learning_rate": 1.8514328521667904e-05, + "loss": 2.5477, + "step": 3960 + }, + { + "epoch": 0.18, + "learning_rate": 1.8506818558510404e-05, + "loss": 2.5173, + "step": 3970 + }, + { + "epoch": 0.18, + "learning_rate": 1.8499291193142072e-05, + "loss": 2.5303, + "step": 3980 + }, + { + "epoch": 0.18, + "learning_rate": 1.8491746440961463e-05, + "loss": 2.5448, + "step": 3990 + }, + { + "epoch": 0.18, + "learning_rate": 1.8484184317402725e-05, + "loss": 2.5355, + "step": 4000 + }, + { + "epoch": 0.18, + "eval_accuracy": 0.5364902773874621, + "eval_loss": 2.274355888366699, + "eval_runtime": 9.8852, + "eval_samples_per_second": 138.288, + "eval_steps_per_second": 1.113, + "step": 4000 + }, + { + "epoch": 0.18, + "learning_rate": 1.8476604837935515e-05, + "loss": 2.5192, + "step": 4010 + }, + { + "epoch": 0.18, + "learning_rate": 1.846900801806501e-05, + "loss": 2.5216, + "step": 4020 + }, + { + "epoch": 0.18, + "learning_rate": 1.846139387333186e-05, + "loss": 2.5109, + "step": 4030 + }, + { + "epoch": 0.18, + "learning_rate": 1.845376241931215e-05, + "loss": 2.492, + "step": 4040 + }, + { + "epoch": 0.18, + "learning_rate": 1.8446113671617376e-05, + "loss": 2.4837, + "step": 4050 + }, + { + "epoch": 0.18, + "learning_rate": 1.843844764589441e-05, + "loss": 2.5299, + "step": 4060 + }, + { + "epoch": 0.18, + "learning_rate": 1.8430764357825482e-05, + "loss": 2.5008, + "step": 4070 + }, + { + "epoch": 0.18, + "learning_rate": 1.842306382312811e-05, + "loss": 2.4974, + "step": 4080 + }, + { + "epoch": 0.19, + "learning_rate": 1.8415346057555122e-05, + "loss": 2.5336, + "step": 4090 + }, + { + "epoch": 0.19, + "learning_rate": 1.8407611076894572e-05, + "loss": 2.524, + "step": 4100 + }, + { + "epoch": 0.19, + "learning_rate": 1.839985889696974e-05, + "loss": 2.5193, + "step": 4110 + }, + { + "epoch": 0.19, + "learning_rate": 1.839208953363909e-05, + "loss": 2.4849, + "step": 4120 + }, + { + "epoch": 0.19, + "learning_rate": 1.8384303002796236e-05, + "loss": 2.5555, + "step": 4130 + }, + { + "epoch": 0.19, + "learning_rate": 1.8376499320369917e-05, + "loss": 2.5041, + "step": 4140 + }, + { + "epoch": 0.19, + "learning_rate": 1.8368678502323947e-05, + "loss": 2.4856, + "step": 4150 + }, + { + "epoch": 0.19, + "learning_rate": 1.8360840564657202e-05, + "loss": 2.5083, + "step": 4160 + }, + { + "epoch": 0.19, + "learning_rate": 1.8352985523403584e-05, + "loss": 2.5207, + "step": 4170 + }, + { + "epoch": 0.19, + "learning_rate": 1.8345113394631973e-05, + "loss": 2.5169, + "step": 4180 + }, + { + "epoch": 0.19, + "learning_rate": 1.8337224194446205e-05, + "loss": 2.5269, + "step": 4190 + }, + { + "epoch": 0.19, + "learning_rate": 1.8329317938985052e-05, + "loss": 2.5056, + "step": 4200 + }, + { + "epoch": 0.19, + "learning_rate": 1.8321394644422155e-05, + "loss": 2.5142, + "step": 4210 + }, + { + "epoch": 0.19, + "learning_rate": 1.8313454326966035e-05, + "loss": 2.5418, + "step": 4220 + }, + { + "epoch": 0.19, + "learning_rate": 1.8305497002860015e-05, + "loss": 2.5119, + "step": 4230 + }, + { + "epoch": 0.19, + "learning_rate": 1.829752268838222e-05, + "loss": 2.5243, + "step": 4240 + }, + { + "epoch": 0.19, + "learning_rate": 1.8289531399845528e-05, + "loss": 2.4917, + "step": 4250 + }, + { + "epoch": 0.19, + "learning_rate": 1.8281523153597543e-05, + "loss": 2.4768, + "step": 4260 + }, + { + "epoch": 0.19, + "learning_rate": 1.8273497966020553e-05, + "loss": 2.4815, + "step": 4270 + }, + { + "epoch": 0.19, + "learning_rate": 1.8265455853531516e-05, + "loss": 2.5219, + "step": 4280 + }, + { + "epoch": 0.19, + "learning_rate": 1.8257396832581997e-05, + "loss": 2.4825, + "step": 4290 + }, + { + "epoch": 0.19, + "learning_rate": 1.8249320919658158e-05, + "loss": 2.5093, + "step": 4300 + }, + { + "epoch": 0.2, + "learning_rate": 1.8241228131280716e-05, + "loss": 2.5584, + "step": 4310 + }, + { + "epoch": 0.2, + "learning_rate": 1.823311848400491e-05, + "loss": 2.5098, + "step": 4320 + }, + { + "epoch": 0.2, + "learning_rate": 1.8224991994420466e-05, + "loss": 2.5519, + "step": 4330 + }, + { + "epoch": 0.2, + "learning_rate": 1.8216848679151565e-05, + "loss": 2.4879, + "step": 4340 + }, + { + "epoch": 0.2, + "learning_rate": 1.820868855485681e-05, + "loss": 2.5185, + "step": 4350 + }, + { + "epoch": 0.2, + "learning_rate": 1.8200511638229178e-05, + "loss": 2.5258, + "step": 4360 + }, + { + "epoch": 0.2, + "learning_rate": 1.8192317945996016e-05, + "loss": 2.5009, + "step": 4370 + }, + { + "epoch": 0.2, + "learning_rate": 1.8184107494918976e-05, + "loss": 2.517, + "step": 4380 + }, + { + "epoch": 0.2, + "learning_rate": 1.8175880301793995e-05, + "loss": 2.4987, + "step": 4390 + }, + { + "epoch": 0.2, + "learning_rate": 1.816763638345126e-05, + "loss": 2.498, + "step": 4400 + }, + { + "epoch": 0.2, + "learning_rate": 1.815937575675518e-05, + "loss": 2.5115, + "step": 4410 + }, + { + "epoch": 0.2, + "learning_rate": 1.8151098438604323e-05, + "loss": 2.5069, + "step": 4420 + }, + { + "epoch": 0.2, + "learning_rate": 1.8142804445931425e-05, + "loss": 2.5153, + "step": 4430 + }, + { + "epoch": 0.2, + "learning_rate": 1.8134493795703325e-05, + "loss": 2.5119, + "step": 4440 + }, + { + "epoch": 0.2, + "learning_rate": 1.812616650492093e-05, + "loss": 2.5026, + "step": 4450 + }, + { + "epoch": 0.2, + "learning_rate": 1.81178225906192e-05, + "loss": 2.5119, + "step": 4460 + }, + { + "epoch": 0.2, + "learning_rate": 1.81094620698671e-05, + "loss": 2.5089, + "step": 4470 + }, + { + "epoch": 0.2, + "learning_rate": 1.810108495976755e-05, + "loss": 2.527, + "step": 4480 + }, + { + "epoch": 0.2, + "learning_rate": 1.8092691277457432e-05, + "loss": 2.4969, + "step": 4490 + }, + { + "epoch": 0.2, + "learning_rate": 1.8084281040107505e-05, + "loss": 2.5204, + "step": 4500 + }, + { + "epoch": 0.2, + "learning_rate": 1.8075854264922417e-05, + "loss": 2.5072, + "step": 4510 + }, + { + "epoch": 0.2, + "learning_rate": 1.8067410969140627e-05, + "loss": 2.524, + "step": 4520 + }, + { + "epoch": 0.21, + "learning_rate": 1.8058951170034407e-05, + "loss": 2.5161, + "step": 4530 + }, + { + "epoch": 0.21, + "learning_rate": 1.8050474884909772e-05, + "loss": 2.5365, + "step": 4540 + }, + { + "epoch": 0.21, + "learning_rate": 1.804198213110648e-05, + "loss": 2.4983, + "step": 4550 + }, + { + "epoch": 0.21, + "learning_rate": 1.8033472925997963e-05, + "loss": 2.498, + "step": 4560 + }, + { + "epoch": 0.21, + "learning_rate": 1.8024947286991316e-05, + "loss": 2.4998, + "step": 4570 + }, + { + "epoch": 0.21, + "learning_rate": 1.8016405231527253e-05, + "loss": 2.4966, + "step": 4580 + }, + { + "epoch": 0.21, + "learning_rate": 1.8007846777080064e-05, + "loss": 2.5147, + "step": 4590 + }, + { + "epoch": 0.21, + "learning_rate": 1.7999271941157596e-05, + "loss": 2.5035, + "step": 4600 + }, + { + "epoch": 0.21, + "learning_rate": 1.7990680741301195e-05, + "loss": 2.499, + "step": 4610 + }, + { + "epoch": 0.21, + "learning_rate": 1.7982073195085692e-05, + "loss": 2.4885, + "step": 4620 + }, + { + "epoch": 0.21, + "learning_rate": 1.7973449320119355e-05, + "loss": 2.5061, + "step": 4630 + }, + { + "epoch": 0.21, + "learning_rate": 1.796480913404385e-05, + "loss": 2.4925, + "step": 4640 + }, + { + "epoch": 0.21, + "learning_rate": 1.795615265453422e-05, + "loss": 2.4839, + "step": 4650 + }, + { + "epoch": 0.21, + "learning_rate": 1.7947479899298837e-05, + "loss": 2.5002, + "step": 4660 + }, + { + "epoch": 0.21, + "learning_rate": 1.7938790886079355e-05, + "loss": 2.5347, + "step": 4670 + }, + { + "epoch": 0.21, + "learning_rate": 1.7930085632650706e-05, + "loss": 2.5222, + "step": 4680 + }, + { + "epoch": 0.21, + "learning_rate": 1.7921364156821024e-05, + "loss": 2.5128, + "step": 4690 + }, + { + "epoch": 0.21, + "learning_rate": 1.7912626476431648e-05, + "loss": 2.5115, + "step": 4700 + }, + { + "epoch": 0.21, + "learning_rate": 1.7903872609357057e-05, + "loss": 2.5147, + "step": 4710 + }, + { + "epoch": 0.21, + "learning_rate": 1.7895102573504843e-05, + "loss": 2.5246, + "step": 4720 + }, + { + "epoch": 0.21, + "learning_rate": 1.788631638681567e-05, + "loss": 2.5282, + "step": 4730 + }, + { + "epoch": 0.21, + "learning_rate": 1.787751406726325e-05, + "loss": 2.4971, + "step": 4740 + }, + { + "epoch": 0.22, + "learning_rate": 1.7868695632854294e-05, + "loss": 2.4834, + "step": 4750 + }, + { + "epoch": 0.22, + "learning_rate": 1.785986110162848e-05, + "loss": 2.4973, + "step": 4760 + }, + { + "epoch": 0.22, + "learning_rate": 1.785101049165841e-05, + "loss": 2.5288, + "step": 4770 + }, + { + "epoch": 0.22, + "learning_rate": 1.784214382104958e-05, + "loss": 2.4988, + "step": 4780 + }, + { + "epoch": 0.22, + "learning_rate": 1.7833261107940347e-05, + "loss": 2.4955, + "step": 4790 + }, + { + "epoch": 0.22, + "learning_rate": 1.782436237050188e-05, + "loss": 2.5097, + "step": 4800 + }, + { + "epoch": 0.22, + "learning_rate": 1.7815447626938125e-05, + "loss": 2.5047, + "step": 4810 + }, + { + "epoch": 0.22, + "learning_rate": 1.780651689548578e-05, + "loss": 2.512, + "step": 4820 + }, + { + "epoch": 0.22, + "learning_rate": 1.7797570194414246e-05, + "loss": 2.4946, + "step": 4830 + }, + { + "epoch": 0.22, + "learning_rate": 1.7788607542025592e-05, + "loss": 2.476, + "step": 4840 + }, + { + "epoch": 0.22, + "learning_rate": 1.7779628956654513e-05, + "loss": 2.5146, + "step": 4850 + }, + { + "epoch": 0.22, + "learning_rate": 1.777063445666831e-05, + "loss": 2.5086, + "step": 4860 + }, + { + "epoch": 0.22, + "learning_rate": 1.7761624060466824e-05, + "loss": 2.4862, + "step": 4870 + }, + { + "epoch": 0.22, + "learning_rate": 1.775259778648243e-05, + "loss": 2.5173, + "step": 4880 + }, + { + "epoch": 0.22, + "learning_rate": 1.7743555653179978e-05, + "loss": 2.5241, + "step": 4890 + }, + { + "epoch": 0.22, + "learning_rate": 1.773449767905676e-05, + "loss": 2.5003, + "step": 4900 + }, + { + "epoch": 0.22, + "learning_rate": 1.7725423882642467e-05, + "loss": 2.5295, + "step": 4910 + }, + { + "epoch": 0.22, + "learning_rate": 1.771633428249917e-05, + "loss": 2.4967, + "step": 4920 + }, + { + "epoch": 0.22, + "learning_rate": 1.770722889722126e-05, + "loss": 2.5178, + "step": 4930 + }, + { + "epoch": 0.22, + "learning_rate": 1.769810774543543e-05, + "loss": 2.4951, + "step": 4940 + }, + { + "epoch": 0.22, + "learning_rate": 1.768897084580061e-05, + "loss": 2.4986, + "step": 4950 + }, + { + "epoch": 0.22, + "learning_rate": 1.767981821700796e-05, + "loss": 2.5109, + "step": 4960 + }, + { + "epoch": 0.23, + "learning_rate": 1.7670649877780803e-05, + "loss": 2.5234, + "step": 4970 + }, + { + "epoch": 0.23, + "learning_rate": 1.7661465846874618e-05, + "loss": 2.5029, + "step": 4980 + }, + { + "epoch": 0.23, + "learning_rate": 1.7652266143076964e-05, + "loss": 2.5181, + "step": 4990 + }, + { + "epoch": 0.23, + "learning_rate": 1.7643050785207478e-05, + "loss": 2.5092, + "step": 5000 + }, + { + "epoch": 0.23, + "learning_rate": 1.7633819792117815e-05, + "loss": 2.5061, + "step": 5010 + }, + { + "epoch": 0.23, + "learning_rate": 1.762457318269161e-05, + "loss": 2.5022, + "step": 5020 + }, + { + "epoch": 0.23, + "learning_rate": 1.7615310975844447e-05, + "loss": 2.5213, + "step": 5030 + }, + { + "epoch": 0.23, + "learning_rate": 1.7606033190523823e-05, + "loss": 2.507, + "step": 5040 + }, + { + "epoch": 0.23, + "learning_rate": 1.7596739845709096e-05, + "loss": 2.519, + "step": 5050 + }, + { + "epoch": 0.23, + "learning_rate": 1.7587430960411454e-05, + "loss": 2.5171, + "step": 5060 + }, + { + "epoch": 0.23, + "learning_rate": 1.757810655367388e-05, + "loss": 2.5059, + "step": 5070 + }, + { + "epoch": 0.23, + "learning_rate": 1.7568766644571108e-05, + "loss": 2.5114, + "step": 5080 + }, + { + "epoch": 0.23, + "learning_rate": 1.7559411252209583e-05, + "loss": 2.5041, + "step": 5090 + }, + { + "epoch": 0.23, + "learning_rate": 1.7550040395727422e-05, + "loss": 2.4847, + "step": 5100 + }, + { + "epoch": 0.23, + "learning_rate": 1.754065409429438e-05, + "loss": 2.5067, + "step": 5110 + }, + { + "epoch": 0.23, + "learning_rate": 1.7531252367111812e-05, + "loss": 2.4977, + "step": 5120 + }, + { + "epoch": 0.23, + "learning_rate": 1.752183523341262e-05, + "loss": 2.4925, + "step": 5130 + }, + { + "epoch": 0.23, + "learning_rate": 1.7512402712461222e-05, + "loss": 2.5229, + "step": 5140 + }, + { + "epoch": 0.23, + "learning_rate": 1.7502954823553522e-05, + "loss": 2.4954, + "step": 5150 + }, + { + "epoch": 0.23, + "learning_rate": 1.749349158601686e-05, + "loss": 2.4876, + "step": 5160 + }, + { + "epoch": 0.23, + "learning_rate": 1.7484013019209968e-05, + "loss": 2.4912, + "step": 5170 + }, + { + "epoch": 0.23, + "learning_rate": 1.7474519142522938e-05, + "loss": 2.5208, + "step": 5180 + }, + { + "epoch": 0.24, + "learning_rate": 1.7465009975377193e-05, + "loss": 2.4989, + "step": 5190 + }, + { + "epoch": 0.24, + "learning_rate": 1.745548553722542e-05, + "loss": 2.5165, + "step": 5200 + }, + { + "epoch": 0.24, + "learning_rate": 1.7445945847551553e-05, + "loss": 2.4886, + "step": 5210 + }, + { + "epoch": 0.24, + "learning_rate": 1.7436390925870722e-05, + "loss": 2.4798, + "step": 5220 + }, + { + "epoch": 0.24, + "learning_rate": 1.7426820791729223e-05, + "loss": 2.5086, + "step": 5230 + }, + { + "epoch": 0.24, + "learning_rate": 1.741723546470447e-05, + "loss": 2.4916, + "step": 5240 + }, + { + "epoch": 0.24, + "learning_rate": 1.740763496440495e-05, + "loss": 2.4957, + "step": 5250 + }, + { + "epoch": 0.24, + "learning_rate": 1.739801931047019e-05, + "loss": 2.5054, + "step": 5260 + }, + { + "epoch": 0.24, + "learning_rate": 1.7388388522570734e-05, + "loss": 2.4975, + "step": 5270 + }, + { + "epoch": 0.24, + "learning_rate": 1.737874262040806e-05, + "loss": 2.4723, + "step": 5280 + }, + { + "epoch": 0.24, + "learning_rate": 1.7369081623714582e-05, + "loss": 2.4917, + "step": 5290 + }, + { + "epoch": 0.24, + "learning_rate": 1.735940555225359e-05, + "loss": 2.5188, + "step": 5300 + }, + { + "epoch": 0.24, + "learning_rate": 1.7349714425819203e-05, + "loss": 2.5201, + "step": 5310 + }, + { + "epoch": 0.24, + "learning_rate": 1.7340008264236355e-05, + "loss": 2.4911, + "step": 5320 + }, + { + "epoch": 0.24, + "learning_rate": 1.7330287087360712e-05, + "loss": 2.5128, + "step": 5330 + }, + { + "epoch": 0.24, + "learning_rate": 1.7320550915078683e-05, + "loss": 2.4931, + "step": 5340 + }, + { + "epoch": 0.24, + "learning_rate": 1.7310799767307337e-05, + "loss": 2.4939, + "step": 5350 + }, + { + "epoch": 0.24, + "learning_rate": 1.730103366399438e-05, + "loss": 2.5136, + "step": 5360 + }, + { + "epoch": 0.24, + "learning_rate": 1.729125262511811e-05, + "loss": 2.5051, + "step": 5370 + }, + { + "epoch": 0.24, + "learning_rate": 1.728145667068739e-05, + "loss": 2.5114, + "step": 5380 + }, + { + "epoch": 0.24, + "learning_rate": 1.7271645820741586e-05, + "loss": 2.466, + "step": 5390 + }, + { + "epoch": 0.24, + "learning_rate": 1.7261820095350535e-05, + "loss": 2.5067, + "step": 5400 + }, + { + "epoch": 0.25, + "learning_rate": 1.7251979514614504e-05, + "loss": 2.514, + "step": 5410 + }, + { + "epoch": 0.25, + "learning_rate": 1.7242124098664157e-05, + "loss": 2.4983, + "step": 5420 + }, + { + "epoch": 0.25, + "learning_rate": 1.72322538676605e-05, + "loss": 2.4783, + "step": 5430 + }, + { + "epoch": 0.25, + "learning_rate": 1.722236884179484e-05, + "loss": 2.4695, + "step": 5440 + }, + { + "epoch": 0.25, + "learning_rate": 1.7212469041288763e-05, + "loss": 2.4844, + "step": 5450 + }, + { + "epoch": 0.25, + "learning_rate": 1.7202554486394068e-05, + "loss": 2.475, + "step": 5460 + }, + { + "epoch": 0.25, + "learning_rate": 1.7192625197392745e-05, + "loss": 2.5036, + "step": 5470 + }, + { + "epoch": 0.25, + "learning_rate": 1.718268119459692e-05, + "loss": 2.534, + "step": 5480 + }, + { + "epoch": 0.25, + "learning_rate": 1.717272249834882e-05, + "loss": 2.475, + "step": 5490 + }, + { + "epoch": 0.25, + "learning_rate": 1.7162749129020728e-05, + "loss": 2.4817, + "step": 5500 + }, + { + "epoch": 0.25, + "learning_rate": 1.7152761107014945e-05, + "loss": 2.5154, + "step": 5510 + }, + { + "epoch": 0.25, + "learning_rate": 1.714275845276375e-05, + "loss": 2.4787, + "step": 5520 + }, + { + "epoch": 0.25, + "learning_rate": 1.7132741186729347e-05, + "loss": 2.5196, + "step": 5530 + }, + { + "epoch": 0.25, + "learning_rate": 1.7122709329403845e-05, + "loss": 2.5128, + "step": 5540 + }, + { + "epoch": 0.25, + "learning_rate": 1.711266290130918e-05, + "loss": 2.5025, + "step": 5550 + }, + { + "epoch": 0.25, + "learning_rate": 1.7102601922997122e-05, + "loss": 2.5246, + "step": 5560 + }, + { + "epoch": 0.25, + "learning_rate": 1.709252641504918e-05, + "loss": 2.4984, + "step": 5570 + }, + { + "epoch": 0.25, + "learning_rate": 1.7082436398076608e-05, + "loss": 2.4903, + "step": 5580 + }, + { + "epoch": 0.25, + "learning_rate": 1.7072331892720323e-05, + "loss": 2.4873, + "step": 5590 + }, + { + "epoch": 0.25, + "learning_rate": 1.7062212919650895e-05, + "loss": 2.4894, + "step": 5600 + }, + { + "epoch": 0.25, + "learning_rate": 1.7052079499568477e-05, + "loss": 2.4858, + "step": 5610 + }, + { + "epoch": 0.25, + "learning_rate": 1.7041931653202788e-05, + "loss": 2.5158, + "step": 5620 + }, + { + "epoch": 0.26, + "learning_rate": 1.703176940131305e-05, + "loss": 2.4952, + "step": 5630 + }, + { + "epoch": 0.26, + "learning_rate": 1.702159276468796e-05, + "loss": 2.504, + "step": 5640 + }, + { + "epoch": 0.26, + "learning_rate": 1.7011401764145637e-05, + "loss": 2.4712, + "step": 5650 + }, + { + "epoch": 0.26, + "learning_rate": 1.7001196420533584e-05, + "loss": 2.503, + "step": 5660 + }, + { + "epoch": 0.26, + "learning_rate": 1.699097675472865e-05, + "loss": 2.4978, + "step": 5670 + }, + { + "epoch": 0.26, + "learning_rate": 1.6980742787636977e-05, + "loss": 2.5121, + "step": 5680 + }, + { + "epoch": 0.26, + "learning_rate": 1.697049454019397e-05, + "loss": 2.5233, + "step": 5690 + }, + { + "epoch": 0.26, + "learning_rate": 1.696023203336424e-05, + "loss": 2.5124, + "step": 5700 + }, + { + "epoch": 0.26, + "learning_rate": 1.6949955288141566e-05, + "loss": 2.5144, + "step": 5710 + }, + { + "epoch": 0.26, + "learning_rate": 1.6939664325548868e-05, + "loss": 2.4903, + "step": 5720 + }, + { + "epoch": 0.26, + "learning_rate": 1.6929359166638132e-05, + "loss": 2.4857, + "step": 5730 + }, + { + "epoch": 0.26, + "learning_rate": 1.69190398324904e-05, + "loss": 2.5045, + "step": 5740 + }, + { + "epoch": 0.26, + "learning_rate": 1.69087063442157e-05, + "loss": 2.4727, + "step": 5750 + }, + { + "epoch": 0.26, + "learning_rate": 1.6898358722953028e-05, + "loss": 2.4956, + "step": 5760 + }, + { + "epoch": 0.26, + "learning_rate": 1.688799698987028e-05, + "loss": 2.4701, + "step": 5770 + }, + { + "epoch": 0.26, + "learning_rate": 1.6877621166164222e-05, + "loss": 2.5074, + "step": 5780 + }, + { + "epoch": 0.26, + "learning_rate": 1.6867231273060452e-05, + "loss": 2.4902, + "step": 5790 + }, + { + "epoch": 0.26, + "learning_rate": 1.6856827331813344e-05, + "loss": 2.5153, + "step": 5800 + }, + { + "epoch": 0.26, + "learning_rate": 1.684640936370601e-05, + "loss": 2.5026, + "step": 5810 + }, + { + "epoch": 0.26, + "learning_rate": 1.6835977390050256e-05, + "loss": 2.4931, + "step": 5820 + }, + { + "epoch": 0.26, + "learning_rate": 1.6825531432186545e-05, + "loss": 2.5182, + "step": 5830 + }, + { + "epoch": 0.26, + "learning_rate": 1.6815071511483933e-05, + "loss": 2.4823, + "step": 5840 + }, + { + "epoch": 0.27, + "learning_rate": 1.680459764934006e-05, + "loss": 2.5198, + "step": 5850 + }, + { + "epoch": 0.27, + "learning_rate": 1.6794109867181066e-05, + "loss": 2.4722, + "step": 5860 + }, + { + "epoch": 0.27, + "learning_rate": 1.6783608186461576e-05, + "loss": 2.4904, + "step": 5870 + }, + { + "epoch": 0.27, + "learning_rate": 1.6773092628664654e-05, + "loss": 2.4845, + "step": 5880 + }, + { + "epoch": 0.27, + "learning_rate": 1.6762563215301735e-05, + "loss": 2.5111, + "step": 5890 + }, + { + "epoch": 0.27, + "learning_rate": 1.6752019967912613e-05, + "loss": 2.4876, + "step": 5900 + }, + { + "epoch": 0.27, + "learning_rate": 1.6741462908065373e-05, + "loss": 2.5221, + "step": 5910 + }, + { + "epoch": 0.27, + "learning_rate": 1.6730892057356363e-05, + "loss": 2.518, + "step": 5920 + }, + { + "epoch": 0.27, + "learning_rate": 1.6720307437410134e-05, + "loss": 2.4853, + "step": 5930 + }, + { + "epoch": 0.27, + "learning_rate": 1.6709709069879413e-05, + "loss": 2.5022, + "step": 5940 + }, + { + "epoch": 0.27, + "learning_rate": 1.6699096976445046e-05, + "loss": 2.5092, + "step": 5950 + }, + { + "epoch": 0.27, + "learning_rate": 1.668847117881596e-05, + "loss": 2.4856, + "step": 5960 + }, + { + "epoch": 0.27, + "learning_rate": 1.6677831698729106e-05, + "loss": 2.5005, + "step": 5970 + }, + { + "epoch": 0.27, + "learning_rate": 1.666717855794944e-05, + "loss": 2.5036, + "step": 5980 + }, + { + "epoch": 0.27, + "learning_rate": 1.6656511778269856e-05, + "loss": 2.4962, + "step": 5990 + }, + { + "epoch": 0.27, + "learning_rate": 1.664583138151115e-05, + "loss": 2.5063, + "step": 6000 + }, + { + "epoch": 0.27, + "eval_accuracy": 0.539072438522612, + "eval_loss": 2.253763437271118, + "eval_runtime": 9.8813, + "eval_samples_per_second": 138.342, + "eval_steps_per_second": 1.113, + "step": 6000 + }, + { + "epoch": 0.27, + "learning_rate": 1.663513738952198e-05, + "loss": 2.4694, + "step": 6010 + }, + { + "epoch": 0.27, + "learning_rate": 1.6624429824178794e-05, + "loss": 2.4673, + "step": 6020 + }, + { + "epoch": 0.27, + "learning_rate": 1.6613708707385832e-05, + "loss": 2.4789, + "step": 6030 + }, + { + "epoch": 0.27, + "learning_rate": 1.660297406107505e-05, + "loss": 2.495, + "step": 6040 + }, + { + "epoch": 0.27, + "learning_rate": 1.6592225907206065e-05, + "loss": 2.4933, + "step": 6050 + }, + { + "epoch": 0.27, + "learning_rate": 1.6581464267766144e-05, + "loss": 2.4915, + "step": 6060 + }, + { + "epoch": 0.28, + "learning_rate": 1.6570689164770138e-05, + "loss": 2.5032, + "step": 6070 + }, + { + "epoch": 0.28, + "learning_rate": 1.6559900620260435e-05, + "loss": 2.4912, + "step": 6080 + }, + { + "epoch": 0.28, + "learning_rate": 1.654909865630692e-05, + "loss": 2.5178, + "step": 6090 + }, + { + "epoch": 0.28, + "learning_rate": 1.6538283295006933e-05, + "loss": 2.4834, + "step": 6100 + }, + { + "epoch": 0.28, + "learning_rate": 1.6527454558485222e-05, + "loss": 2.4941, + "step": 6110 + }, + { + "epoch": 0.28, + "learning_rate": 1.6516612468893892e-05, + "loss": 2.5131, + "step": 6120 + }, + { + "epoch": 0.28, + "learning_rate": 1.650575704841237e-05, + "loss": 2.485, + "step": 6130 + }, + { + "epoch": 0.28, + "learning_rate": 1.6494888319247345e-05, + "loss": 2.5086, + "step": 6140 + }, + { + "epoch": 0.28, + "learning_rate": 1.648400630363274e-05, + "loss": 2.4829, + "step": 6150 + }, + { + "epoch": 0.28, + "learning_rate": 1.6473111023829646e-05, + "loss": 2.5099, + "step": 6160 + }, + { + "epoch": 0.28, + "learning_rate": 1.6462202502126307e-05, + "loss": 2.4983, + "step": 6170 + }, + { + "epoch": 0.28, + "learning_rate": 1.6451280760838036e-05, + "loss": 2.4665, + "step": 6180 + }, + { + "epoch": 0.28, + "learning_rate": 1.6440345822307204e-05, + "loss": 2.5018, + "step": 6190 + }, + { + "epoch": 0.28, + "learning_rate": 1.6429397708903172e-05, + "loss": 2.5068, + "step": 6200 + }, + { + "epoch": 0.28, + "learning_rate": 1.6418436443022254e-05, + "loss": 2.5092, + "step": 6210 + }, + { + "epoch": 0.28, + "learning_rate": 1.6407462047087667e-05, + "loss": 2.5059, + "step": 6220 + }, + { + "epoch": 0.28, + "learning_rate": 1.639647454354949e-05, + "loss": 2.4755, + "step": 6230 + }, + { + "epoch": 0.28, + "learning_rate": 1.638547395488462e-05, + "loss": 2.5195, + "step": 6240 + }, + { + "epoch": 0.28, + "learning_rate": 1.6374460303596718e-05, + "loss": 2.5125, + "step": 6250 + }, + { + "epoch": 0.28, + "learning_rate": 1.6363433612216163e-05, + "loss": 2.4828, + "step": 6260 + }, + { + "epoch": 0.28, + "learning_rate": 1.635239390330002e-05, + "loss": 2.4812, + "step": 6270 + }, + { + "epoch": 0.28, + "learning_rate": 1.6341341199431974e-05, + "loss": 2.5017, + "step": 6280 + }, + { + "epoch": 0.29, + "learning_rate": 1.6330275523222294e-05, + "loss": 2.5011, + "step": 6290 + }, + { + "epoch": 0.29, + "learning_rate": 1.6319196897307795e-05, + "loss": 2.4904, + "step": 6300 + }, + { + "epoch": 0.29, + "learning_rate": 1.6308105344351776e-05, + "loss": 2.4735, + "step": 6310 + }, + { + "epoch": 0.29, + "learning_rate": 1.6297000887043978e-05, + "loss": 2.5133, + "step": 6320 + }, + { + "epoch": 0.29, + "learning_rate": 1.6285883548100552e-05, + "loss": 2.4806, + "step": 6330 + }, + { + "epoch": 0.29, + "learning_rate": 1.6274753350263987e-05, + "loss": 2.4784, + "step": 6340 + }, + { + "epoch": 0.29, + "learning_rate": 1.6263610316303084e-05, + "loss": 2.4876, + "step": 6350 + }, + { + "epoch": 0.29, + "learning_rate": 1.62524544690129e-05, + "loss": 2.4851, + "step": 6360 + }, + { + "epoch": 0.29, + "learning_rate": 1.6241285831214707e-05, + "loss": 2.4619, + "step": 6370 + }, + { + "epoch": 0.29, + "learning_rate": 1.623010442575594e-05, + "loss": 2.4809, + "step": 6380 + }, + { + "epoch": 0.29, + "learning_rate": 1.621891027551015e-05, + "loss": 2.5083, + "step": 6390 + }, + { + "epoch": 0.29, + "learning_rate": 1.6207703403376973e-05, + "loss": 2.4874, + "step": 6400 + }, + { + "epoch": 0.29, + "learning_rate": 1.619648383228205e-05, + "loss": 2.489, + "step": 6410 + }, + { + "epoch": 0.29, + "learning_rate": 1.6185251585177013e-05, + "loss": 2.4943, + "step": 6420 + }, + { + "epoch": 0.29, + "learning_rate": 1.6174006685039425e-05, + "loss": 2.505, + "step": 6430 + }, + { + "epoch": 0.29, + "learning_rate": 1.6162749154872725e-05, + "loss": 2.4801, + "step": 6440 + }, + { + "epoch": 0.29, + "learning_rate": 1.6151479017706192e-05, + "loss": 2.5019, + "step": 6450 + }, + { + "epoch": 0.29, + "learning_rate": 1.6140196296594903e-05, + "loss": 2.508, + "step": 6460 + }, + { + "epoch": 0.29, + "learning_rate": 1.612890101461967e-05, + "loss": 2.4834, + "step": 6470 + }, + { + "epoch": 0.29, + "learning_rate": 1.6117593194886998e-05, + "loss": 2.4867, + "step": 6480 + }, + { + "epoch": 0.29, + "learning_rate": 1.6106272860529047e-05, + "loss": 2.5108, + "step": 6490 + }, + { + "epoch": 0.29, + "learning_rate": 1.6094940034703577e-05, + "loss": 2.4923, + "step": 6500 + }, + { + "epoch": 0.3, + "learning_rate": 1.6083594740593896e-05, + "loss": 2.5038, + "step": 6510 + }, + { + "epoch": 0.3, + "learning_rate": 1.6072237001408822e-05, + "loss": 2.5141, + "step": 6520 + }, + { + "epoch": 0.3, + "learning_rate": 1.6060866840382632e-05, + "loss": 2.5012, + "step": 6530 + }, + { + "epoch": 0.3, + "learning_rate": 1.6049484280775012e-05, + "loss": 2.4999, + "step": 6540 + }, + { + "epoch": 0.3, + "learning_rate": 1.6038089345871015e-05, + "loss": 2.4975, + "step": 6550 + }, + { + "epoch": 0.3, + "learning_rate": 1.6026682058981006e-05, + "loss": 2.5073, + "step": 6560 + }, + { + "epoch": 0.3, + "learning_rate": 1.6015262443440618e-05, + "loss": 2.4875, + "step": 6570 + }, + { + "epoch": 0.3, + "learning_rate": 1.6003830522610712e-05, + "loss": 2.5146, + "step": 6580 + }, + { + "epoch": 0.3, + "learning_rate": 1.599238631987731e-05, + "loss": 2.4881, + "step": 6590 + }, + { + "epoch": 0.3, + "learning_rate": 1.598092985865157e-05, + "loss": 2.481, + "step": 6600 + }, + { + "epoch": 0.3, + "learning_rate": 1.5969461162369718e-05, + "loss": 2.4918, + "step": 6610 + }, + { + "epoch": 0.3, + "learning_rate": 1.595798025449301e-05, + "loss": 2.4875, + "step": 6620 + }, + { + "epoch": 0.3, + "learning_rate": 1.5946487158507693e-05, + "loss": 2.4693, + "step": 6630 + }, + { + "epoch": 0.3, + "learning_rate": 1.5934981897924937e-05, + "loss": 2.5047, + "step": 6640 + }, + { + "epoch": 0.3, + "learning_rate": 1.5923464496280797e-05, + "loss": 2.5147, + "step": 6650 + }, + { + "epoch": 0.3, + "learning_rate": 1.5911934977136167e-05, + "loss": 2.4647, + "step": 6660 + }, + { + "epoch": 0.3, + "learning_rate": 1.5900393364076735e-05, + "loss": 2.4744, + "step": 6670 + }, + { + "epoch": 0.3, + "learning_rate": 1.5888839680712918e-05, + "loss": 2.4781, + "step": 6680 + }, + { + "epoch": 0.3, + "learning_rate": 1.587727395067983e-05, + "loss": 2.5232, + "step": 6690 + }, + { + "epoch": 0.3, + "learning_rate": 1.5865696197637234e-05, + "loss": 2.4996, + "step": 6700 + }, + { + "epoch": 0.3, + "learning_rate": 1.5854106445269483e-05, + "loss": 2.4779, + "step": 6710 + }, + { + "epoch": 0.3, + "learning_rate": 1.584250471728548e-05, + "loss": 2.5024, + "step": 6720 + }, + { + "epoch": 0.31, + "learning_rate": 1.5830891037418615e-05, + "loss": 2.4704, + "step": 6730 + }, + { + "epoch": 0.31, + "learning_rate": 1.5819265429426748e-05, + "loss": 2.5011, + "step": 6740 + }, + { + "epoch": 0.31, + "learning_rate": 1.5807627917092118e-05, + "loss": 2.4715, + "step": 6750 + }, + { + "epoch": 0.31, + "learning_rate": 1.579597852422133e-05, + "loss": 2.5069, + "step": 6760 + }, + { + "epoch": 0.31, + "learning_rate": 1.5784317274645294e-05, + "loss": 2.4801, + "step": 6770 + }, + { + "epoch": 0.31, + "learning_rate": 1.5772644192219164e-05, + "loss": 2.4633, + "step": 6780 + }, + { + "epoch": 0.31, + "learning_rate": 1.5760959300822313e-05, + "loss": 2.4838, + "step": 6790 + }, + { + "epoch": 0.31, + "learning_rate": 1.574926262435826e-05, + "loss": 2.4959, + "step": 6800 + }, + { + "epoch": 0.31, + "learning_rate": 1.573755418675464e-05, + "loss": 2.4952, + "step": 6810 + }, + { + "epoch": 0.31, + "learning_rate": 1.572583401196315e-05, + "loss": 2.4767, + "step": 6820 + }, + { + "epoch": 0.31, + "learning_rate": 1.5714102123959485e-05, + "loss": 2.4918, + "step": 6830 + }, + { + "epoch": 0.31, + "learning_rate": 1.5702358546743314e-05, + "loss": 2.5085, + "step": 6840 + }, + { + "epoch": 0.31, + "learning_rate": 1.569060330433821e-05, + "loss": 2.5108, + "step": 6850 + }, + { + "epoch": 0.31, + "learning_rate": 1.5678836420791618e-05, + "loss": 2.5056, + "step": 6860 + }, + { + "epoch": 0.31, + "learning_rate": 1.5667057920174785e-05, + "loss": 2.4979, + "step": 6870 + }, + { + "epoch": 0.31, + "learning_rate": 1.565526782658273e-05, + "loss": 2.5092, + "step": 6880 + }, + { + "epoch": 0.31, + "learning_rate": 1.5643466164134196e-05, + "loss": 2.4869, + "step": 6890 + }, + { + "epoch": 0.31, + "learning_rate": 1.5631652956971576e-05, + "loss": 2.4805, + "step": 6900 + }, + { + "epoch": 0.31, + "learning_rate": 1.561982822926089e-05, + "loss": 2.4754, + "step": 6910 + }, + { + "epoch": 0.31, + "learning_rate": 1.5607992005191717e-05, + "loss": 2.5099, + "step": 6920 + }, + { + "epoch": 0.31, + "learning_rate": 1.5596144308977167e-05, + "loss": 2.476, + "step": 6930 + }, + { + "epoch": 0.31, + "learning_rate": 1.5584285164853802e-05, + "loss": 2.5084, + "step": 6940 + }, + { + "epoch": 0.31, + "learning_rate": 1.5572414597081617e-05, + "loss": 2.4775, + "step": 6950 + }, + { + "epoch": 0.32, + "learning_rate": 1.5560532629943968e-05, + "loss": 2.4663, + "step": 6960 + }, + { + "epoch": 0.32, + "learning_rate": 1.5548639287747537e-05, + "loss": 2.4791, + "step": 6970 + }, + { + "epoch": 0.32, + "learning_rate": 1.5536734594822266e-05, + "loss": 2.4713, + "step": 6980 + }, + { + "epoch": 0.32, + "learning_rate": 1.552481857552132e-05, + "loss": 2.4699, + "step": 6990 + }, + { + "epoch": 0.32, + "learning_rate": 1.5512891254221046e-05, + "loss": 2.4678, + "step": 7000 + }, + { + "epoch": 0.32, + "learning_rate": 1.5500952655320892e-05, + "loss": 2.4733, + "step": 7010 + }, + { + "epoch": 0.32, + "learning_rate": 1.5489002803243396e-05, + "loss": 2.5095, + "step": 7020 + }, + { + "epoch": 0.32, + "learning_rate": 1.5477041722434096e-05, + "loss": 2.4851, + "step": 7030 + }, + { + "epoch": 0.32, + "learning_rate": 1.5465069437361516e-05, + "loss": 2.4988, + "step": 7040 + }, + { + "epoch": 0.32, + "learning_rate": 1.54530859725171e-05, + "loss": 2.4799, + "step": 7050 + }, + { + "epoch": 0.32, + "learning_rate": 1.5441091352415148e-05, + "loss": 2.4921, + "step": 7060 + }, + { + "epoch": 0.32, + "learning_rate": 1.5429085601592794e-05, + "loss": 2.5083, + "step": 7070 + }, + { + "epoch": 0.32, + "learning_rate": 1.541706874460994e-05, + "loss": 2.466, + "step": 7080 + }, + { + "epoch": 0.32, + "learning_rate": 1.5405040806049202e-05, + "loss": 2.4906, + "step": 7090 + }, + { + "epoch": 0.32, + "learning_rate": 1.5393001810515865e-05, + "loss": 2.4883, + "step": 7100 + }, + { + "epoch": 0.32, + "learning_rate": 1.538095178263784e-05, + "loss": 2.4842, + "step": 7110 + }, + { + "epoch": 0.32, + "learning_rate": 1.5368890747065604e-05, + "loss": 2.4967, + "step": 7120 + }, + { + "epoch": 0.32, + "learning_rate": 1.535681872847215e-05, + "loss": 2.4957, + "step": 7130 + }, + { + "epoch": 0.32, + "learning_rate": 1.5344735751552935e-05, + "loss": 2.5003, + "step": 7140 + }, + { + "epoch": 0.32, + "learning_rate": 1.533264184102585e-05, + "loss": 2.4989, + "step": 7150 + }, + { + "epoch": 0.32, + "learning_rate": 1.5320537021631126e-05, + "loss": 2.4865, + "step": 7160 + }, + { + "epoch": 0.32, + "learning_rate": 1.5308421318131333e-05, + "loss": 2.4966, + "step": 7170 + }, + { + "epoch": 0.33, + "learning_rate": 1.5296294755311295e-05, + "loss": 2.4821, + "step": 7180 + }, + { + "epoch": 0.33, + "learning_rate": 1.528415735797806e-05, + "loss": 2.4826, + "step": 7190 + }, + { + "epoch": 0.33, + "learning_rate": 1.5272009150960828e-05, + "loss": 2.4998, + "step": 7200 + }, + { + "epoch": 0.33, + "learning_rate": 1.5259850159110917e-05, + "loss": 2.4705, + "step": 7210 + }, + { + "epoch": 0.33, + "learning_rate": 1.5247680407301708e-05, + "loss": 2.4692, + "step": 7220 + }, + { + "epoch": 0.33, + "learning_rate": 1.52354999204286e-05, + "loss": 2.4782, + "step": 7230 + }, + { + "epoch": 0.33, + "learning_rate": 1.5223308723408936e-05, + "loss": 2.5029, + "step": 7240 + }, + { + "epoch": 0.33, + "learning_rate": 1.5211106841181988e-05, + "loss": 2.5012, + "step": 7250 + }, + { + "epoch": 0.33, + "learning_rate": 1.519889429870887e-05, + "loss": 2.4967, + "step": 7260 + }, + { + "epoch": 0.33, + "learning_rate": 1.5186671120972514e-05, + "loss": 2.469, + "step": 7270 + }, + { + "epoch": 0.33, + "learning_rate": 1.5174437332977606e-05, + "loss": 2.4666, + "step": 7280 + }, + { + "epoch": 0.33, + "learning_rate": 1.5162192959750532e-05, + "loss": 2.5038, + "step": 7290 + }, + { + "epoch": 0.33, + "learning_rate": 1.5149938026339341e-05, + "loss": 2.4995, + "step": 7300 + }, + { + "epoch": 0.33, + "learning_rate": 1.5137672557813672e-05, + "loss": 2.485, + "step": 7310 + }, + { + "epoch": 0.33, + "learning_rate": 1.5125396579264728e-05, + "loss": 2.4878, + "step": 7320 + }, + { + "epoch": 0.33, + "learning_rate": 1.5113110115805208e-05, + "loss": 2.5114, + "step": 7330 + }, + { + "epoch": 0.33, + "learning_rate": 1.5100813192569254e-05, + "loss": 2.4687, + "step": 7340 + }, + { + "epoch": 0.33, + "learning_rate": 1.5088505834712414e-05, + "loss": 2.521, + "step": 7350 + }, + { + "epoch": 0.33, + "learning_rate": 1.5076188067411582e-05, + "loss": 2.4765, + "step": 7360 + }, + { + "epoch": 0.33, + "learning_rate": 1.5063859915864936e-05, + "loss": 2.4709, + "step": 7370 + }, + { + "epoch": 0.33, + "learning_rate": 1.5051521405291905e-05, + "loss": 2.5008, + "step": 7380 + }, + { + "epoch": 0.33, + "learning_rate": 1.5039172560933109e-05, + "loss": 2.4881, + "step": 7390 + }, + { + "epoch": 0.34, + "learning_rate": 1.5026813408050305e-05, + "loss": 2.4938, + "step": 7400 + }, + { + "epoch": 0.34, + "learning_rate": 1.5014443971926338e-05, + "loss": 2.4877, + "step": 7410 + }, + { + "epoch": 0.34, + "learning_rate": 1.5002064277865094e-05, + "loss": 2.4864, + "step": 7420 + }, + { + "epoch": 0.34, + "learning_rate": 1.4989674351191436e-05, + "loss": 2.4753, + "step": 7430 + }, + { + "epoch": 0.34, + "learning_rate": 1.4977274217251166e-05, + "loss": 2.5124, + "step": 7440 + }, + { + "epoch": 0.34, + "learning_rate": 1.4964863901410962e-05, + "loss": 2.493, + "step": 7450 + }, + { + "epoch": 0.34, + "learning_rate": 1.4952443429058334e-05, + "loss": 2.4917, + "step": 7460 + }, + { + "epoch": 0.34, + "learning_rate": 1.4940012825601569e-05, + "loss": 2.4878, + "step": 7470 + }, + { + "epoch": 0.34, + "learning_rate": 1.4927572116469672e-05, + "loss": 2.4643, + "step": 7480 + }, + { + "epoch": 0.34, + "learning_rate": 1.4915121327112338e-05, + "loss": 2.4884, + "step": 7490 + }, + { + "epoch": 0.34, + "learning_rate": 1.4902660482999865e-05, + "loss": 2.4961, + "step": 7500 + }, + { + "epoch": 0.34, + "learning_rate": 1.4890189609623122e-05, + "loss": 2.4694, + "step": 7510 + }, + { + "epoch": 0.34, + "learning_rate": 1.4877708732493508e-05, + "loss": 2.471, + "step": 7520 + }, + { + "epoch": 0.34, + "learning_rate": 1.4865217877142872e-05, + "loss": 2.4625, + "step": 7530 + }, + { + "epoch": 0.34, + "learning_rate": 1.4852717069123483e-05, + "loss": 2.4878, + "step": 7540 + }, + { + "epoch": 0.34, + "learning_rate": 1.484020633400797e-05, + "loss": 2.4999, + "step": 7550 + }, + { + "epoch": 0.34, + "learning_rate": 1.4827685697389265e-05, + "loss": 2.4931, + "step": 7560 + }, + { + "epoch": 0.34, + "learning_rate": 1.4815155184880557e-05, + "loss": 2.4862, + "step": 7570 + }, + { + "epoch": 0.34, + "learning_rate": 1.4802614822115235e-05, + "loss": 2.496, + "step": 7580 + }, + { + "epoch": 0.34, + "learning_rate": 1.479006463474685e-05, + "loss": 2.4618, + "step": 7590 + }, + { + "epoch": 0.34, + "learning_rate": 1.4777504648449044e-05, + "loss": 2.4749, + "step": 7600 + }, + { + "epoch": 0.34, + "learning_rate": 1.4764934888915494e-05, + "loss": 2.4874, + "step": 7610 + }, + { + "epoch": 0.35, + "learning_rate": 1.4752355381859888e-05, + "loss": 2.4869, + "step": 7620 + }, + { + "epoch": 0.35, + "learning_rate": 1.4739766153015842e-05, + "loss": 2.473, + "step": 7630 + }, + { + "epoch": 0.35, + "learning_rate": 1.4727167228136862e-05, + "loss": 2.4901, + "step": 7640 + }, + { + "epoch": 0.35, + "learning_rate": 1.4714558632996297e-05, + "loss": 2.4881, + "step": 7650 + }, + { + "epoch": 0.35, + "learning_rate": 1.4701940393387264e-05, + "loss": 2.4849, + "step": 7660 + }, + { + "epoch": 0.35, + "learning_rate": 1.468931253512262e-05, + "loss": 2.4872, + "step": 7670 + }, + { + "epoch": 0.35, + "learning_rate": 1.4676675084034897e-05, + "loss": 2.4706, + "step": 7680 + }, + { + "epoch": 0.35, + "learning_rate": 1.4664028065976245e-05, + "loss": 2.4929, + "step": 7690 + }, + { + "epoch": 0.35, + "learning_rate": 1.4651371506818395e-05, + "loss": 2.5027, + "step": 7700 + }, + { + "epoch": 0.35, + "learning_rate": 1.463870543245259e-05, + "loss": 2.4725, + "step": 7710 + }, + { + "epoch": 0.35, + "learning_rate": 1.4626029868789535e-05, + "loss": 2.4946, + "step": 7720 + }, + { + "epoch": 0.35, + "learning_rate": 1.4613344841759354e-05, + "loss": 2.465, + "step": 7730 + }, + { + "epoch": 0.35, + "learning_rate": 1.4600650377311523e-05, + "loss": 2.4928, + "step": 7740 + }, + { + "epoch": 0.35, + "learning_rate": 1.4587946501414832e-05, + "loss": 2.4926, + "step": 7750 + }, + { + "epoch": 0.35, + "learning_rate": 1.4575233240057314e-05, + "loss": 2.4775, + "step": 7760 + }, + { + "epoch": 0.35, + "learning_rate": 1.4562510619246213e-05, + "loss": 2.4851, + "step": 7770 + }, + { + "epoch": 0.35, + "learning_rate": 1.454977866500791e-05, + "loss": 2.4875, + "step": 7780 + }, + { + "epoch": 0.35, + "learning_rate": 1.4537037403387882e-05, + "loss": 2.4923, + "step": 7790 + }, + { + "epoch": 0.35, + "learning_rate": 1.4524286860450646e-05, + "loss": 2.5041, + "step": 7800 + }, + { + "epoch": 0.35, + "learning_rate": 1.451152706227971e-05, + "loss": 2.4803, + "step": 7810 + }, + { + "epoch": 0.35, + "learning_rate": 1.4498758034977507e-05, + "loss": 2.4748, + "step": 7820 + }, + { + "epoch": 0.35, + "learning_rate": 1.4485979804665358e-05, + "loss": 2.473, + "step": 7830 + }, + { + "epoch": 0.36, + "learning_rate": 1.4473192397483403e-05, + "loss": 2.4936, + "step": 7840 + }, + { + "epoch": 0.36, + "learning_rate": 1.4460395839590563e-05, + "loss": 2.501, + "step": 7850 + }, + { + "epoch": 0.36, + "learning_rate": 1.4447590157164466e-05, + "loss": 2.5057, + "step": 7860 + }, + { + "epoch": 0.36, + "learning_rate": 1.4434775376401424e-05, + "loss": 2.4603, + "step": 7870 + }, + { + "epoch": 0.36, + "learning_rate": 1.442195152351634e-05, + "loss": 2.4675, + "step": 7880 + }, + { + "epoch": 0.36, + "learning_rate": 1.4409118624742696e-05, + "loss": 2.507, + "step": 7890 + }, + { + "epoch": 0.36, + "learning_rate": 1.4396276706332461e-05, + "loss": 2.4854, + "step": 7900 + }, + { + "epoch": 0.36, + "learning_rate": 1.4383425794556072e-05, + "loss": 2.4905, + "step": 7910 + }, + { + "epoch": 0.36, + "learning_rate": 1.437056591570235e-05, + "loss": 2.4925, + "step": 7920 + }, + { + "epoch": 0.36, + "learning_rate": 1.435769709607847e-05, + "loss": 2.4565, + "step": 7930 + }, + { + "epoch": 0.36, + "learning_rate": 1.4344819362009885e-05, + "loss": 2.4914, + "step": 7940 + }, + { + "epoch": 0.36, + "learning_rate": 1.4331932739840298e-05, + "loss": 2.4601, + "step": 7950 + }, + { + "epoch": 0.36, + "learning_rate": 1.4319037255931582e-05, + "loss": 2.4923, + "step": 7960 + }, + { + "epoch": 0.36, + "learning_rate": 1.4306132936663749e-05, + "loss": 2.4638, + "step": 7970 + }, + { + "epoch": 0.36, + "learning_rate": 1.4293219808434875e-05, + "loss": 2.4854, + "step": 7980 + }, + { + "epoch": 0.36, + "learning_rate": 1.4280297897661063e-05, + "loss": 2.5125, + "step": 7990 + }, + { + "epoch": 0.36, + "learning_rate": 1.4267367230776383e-05, + "loss": 2.4939, + "step": 8000 + }, + { + "epoch": 0.36, + "eval_accuracy": 0.5401815307188504, + "eval_loss": 2.244050979614258, + "eval_runtime": 9.925, + "eval_samples_per_second": 137.733, + "eval_steps_per_second": 1.108, + "step": 8000 + }, + { + "epoch": 0.36, + "learning_rate": 1.4254427834232811e-05, + "loss": 2.4725, + "step": 8010 + }, + { + "epoch": 0.36, + "learning_rate": 1.4241479734500187e-05, + "loss": 2.4881, + "step": 8020 + }, + { + "epoch": 0.36, + "learning_rate": 1.422852295806615e-05, + "loss": 2.4651, + "step": 8030 + }, + { + "epoch": 0.36, + "learning_rate": 1.4215557531436095e-05, + "loss": 2.5104, + "step": 8040 + }, + { + "epoch": 0.36, + "learning_rate": 1.4202583481133107e-05, + "loss": 2.4719, + "step": 8050 + }, + { + "epoch": 0.37, + "learning_rate": 1.418960083369791e-05, + "loss": 2.4504, + "step": 8060 + }, + { + "epoch": 0.37, + "learning_rate": 1.417660961568883e-05, + "loss": 2.4851, + "step": 8070 + }, + { + "epoch": 0.37, + "learning_rate": 1.4163609853681704e-05, + "loss": 2.4842, + "step": 8080 + }, + { + "epoch": 0.37, + "learning_rate": 1.4150601574269862e-05, + "loss": 2.4873, + "step": 8090 + }, + { + "epoch": 0.37, + "learning_rate": 1.4137584804064055e-05, + "loss": 2.4766, + "step": 8100 + }, + { + "epoch": 0.37, + "learning_rate": 1.41245595696924e-05, + "loss": 2.492, + "step": 8110 + }, + { + "epoch": 0.37, + "learning_rate": 1.4111525897800333e-05, + "loss": 2.4844, + "step": 8120 + }, + { + "epoch": 0.37, + "learning_rate": 1.4098483815050548e-05, + "loss": 2.4887, + "step": 8130 + }, + { + "epoch": 0.37, + "learning_rate": 1.4085433348122946e-05, + "loss": 2.4792, + "step": 8140 + }, + { + "epoch": 0.37, + "learning_rate": 1.4072374523714577e-05, + "loss": 2.4944, + "step": 8150 + }, + { + "epoch": 0.37, + "learning_rate": 1.4059307368539594e-05, + "loss": 2.4783, + "step": 8160 + }, + { + "epoch": 0.37, + "learning_rate": 1.4046231909329184e-05, + "loss": 2.4608, + "step": 8170 + }, + { + "epoch": 0.37, + "learning_rate": 1.4033148172831526e-05, + "loss": 2.4837, + "step": 8180 + }, + { + "epoch": 0.37, + "learning_rate": 1.402005618581173e-05, + "loss": 2.477, + "step": 8190 + }, + { + "epoch": 0.37, + "learning_rate": 1.4006955975051788e-05, + "loss": 2.4932, + "step": 8200 + }, + { + "epoch": 0.37, + "learning_rate": 1.399384756735051e-05, + "loss": 2.489, + "step": 8210 + }, + { + "epoch": 0.37, + "learning_rate": 1.3980730989523473e-05, + "loss": 2.4782, + "step": 8220 + }, + { + "epoch": 0.37, + "learning_rate": 1.3967606268402975e-05, + "loss": 2.4819, + "step": 8230 + }, + { + "epoch": 0.37, + "learning_rate": 1.3954473430837965e-05, + "loss": 2.4772, + "step": 8240 + }, + { + "epoch": 0.37, + "learning_rate": 1.3941332503694001e-05, + "loss": 2.4997, + "step": 8250 + }, + { + "epoch": 0.37, + "learning_rate": 1.3928183513853188e-05, + "loss": 2.4828, + "step": 8260 + }, + { + "epoch": 0.37, + "learning_rate": 1.3915026488214118e-05, + "loss": 2.5103, + "step": 8270 + }, + { + "epoch": 0.38, + "learning_rate": 1.3901861453691834e-05, + "loss": 2.503, + "step": 8280 + }, + { + "epoch": 0.38, + "learning_rate": 1.3888688437217757e-05, + "loss": 2.4911, + "step": 8290 + }, + { + "epoch": 0.38, + "learning_rate": 1.3875507465739633e-05, + "loss": 2.4989, + "step": 8300 + }, + { + "epoch": 0.38, + "learning_rate": 1.3862318566221481e-05, + "loss": 2.4716, + "step": 8310 + }, + { + "epoch": 0.38, + "learning_rate": 1.3849121765643549e-05, + "loss": 2.5075, + "step": 8320 + }, + { + "epoch": 0.38, + "learning_rate": 1.3835917091002236e-05, + "loss": 2.5114, + "step": 8330 + }, + { + "epoch": 0.38, + "learning_rate": 1.3822704569310053e-05, + "loss": 2.4933, + "step": 8340 + }, + { + "epoch": 0.38, + "learning_rate": 1.3809484227595564e-05, + "loss": 2.4884, + "step": 8350 + }, + { + "epoch": 0.38, + "learning_rate": 1.3796256092903333e-05, + "loss": 2.4812, + "step": 8360 + }, + { + "epoch": 0.38, + "learning_rate": 1.3783020192293858e-05, + "loss": 2.4746, + "step": 8370 + }, + { + "epoch": 0.38, + "learning_rate": 1.3769776552843532e-05, + "loss": 2.4646, + "step": 8380 + }, + { + "epoch": 0.38, + "learning_rate": 1.3756525201644577e-05, + "loss": 2.5032, + "step": 8390 + }, + { + "epoch": 0.38, + "learning_rate": 1.3743266165804983e-05, + "loss": 2.4692, + "step": 8400 + }, + { + "epoch": 0.38, + "learning_rate": 1.3729999472448474e-05, + "loss": 2.4748, + "step": 8410 + }, + { + "epoch": 0.38, + "learning_rate": 1.3716725148714429e-05, + "loss": 2.465, + "step": 8420 + }, + { + "epoch": 0.38, + "learning_rate": 1.3703443221757838e-05, + "loss": 2.4649, + "step": 8430 + }, + { + "epoch": 0.38, + "learning_rate": 1.3690153718749248e-05, + "loss": 2.4688, + "step": 8440 + }, + { + "epoch": 0.38, + "learning_rate": 1.36768566668747e-05, + "loss": 2.4741, + "step": 8450 + }, + { + "epoch": 0.38, + "learning_rate": 1.3663552093335676e-05, + "loss": 2.4869, + "step": 8460 + }, + { + "epoch": 0.38, + "learning_rate": 1.3650240025349055e-05, + "loss": 2.4578, + "step": 8470 + }, + { + "epoch": 0.38, + "learning_rate": 1.3636920490147034e-05, + "loss": 2.4768, + "step": 8480 + }, + { + "epoch": 0.38, + "learning_rate": 1.3623593514977098e-05, + "loss": 2.5064, + "step": 8490 + }, + { + "epoch": 0.39, + "learning_rate": 1.361025912710194e-05, + "loss": 2.4767, + "step": 8500 + }, + { + "epoch": 0.39, + "learning_rate": 1.3596917353799426e-05, + "loss": 2.475, + "step": 8510 + }, + { + "epoch": 0.39, + "learning_rate": 1.3583568222362526e-05, + "loss": 2.4926, + "step": 8520 + }, + { + "epoch": 0.39, + "learning_rate": 1.3570211760099265e-05, + "loss": 2.4748, + "step": 8530 + }, + { + "epoch": 0.39, + "learning_rate": 1.3556847994332662e-05, + "loss": 2.507, + "step": 8540 + }, + { + "epoch": 0.39, + "learning_rate": 1.3543476952400676e-05, + "loss": 2.491, + "step": 8550 + }, + { + "epoch": 0.39, + "learning_rate": 1.3530098661656155e-05, + "loss": 2.468, + "step": 8560 + }, + { + "epoch": 0.39, + "learning_rate": 1.351671314946677e-05, + "loss": 2.5024, + "step": 8570 + }, + { + "epoch": 0.39, + "learning_rate": 1.3503320443214968e-05, + "loss": 2.4747, + "step": 8580 + }, + { + "epoch": 0.39, + "learning_rate": 1.3489920570297916e-05, + "loss": 2.4857, + "step": 8590 + }, + { + "epoch": 0.39, + "learning_rate": 1.3476513558127433e-05, + "loss": 2.4804, + "step": 8600 + }, + { + "epoch": 0.39, + "learning_rate": 1.346309943412995e-05, + "loss": 2.4737, + "step": 8610 + }, + { + "epoch": 0.39, + "learning_rate": 1.3449678225746445e-05, + "loss": 2.4841, + "step": 8620 + }, + { + "epoch": 0.39, + "learning_rate": 1.3436249960432386e-05, + "loss": 2.4936, + "step": 8630 + }, + { + "epoch": 0.39, + "learning_rate": 1.3422814665657677e-05, + "loss": 2.5065, + "step": 8640 + }, + { + "epoch": 0.39, + "learning_rate": 1.340937236890661e-05, + "loss": 2.4979, + "step": 8650 + }, + { + "epoch": 0.39, + "learning_rate": 1.339592309767779e-05, + "loss": 2.4755, + "step": 8660 + }, + { + "epoch": 0.39, + "learning_rate": 1.3382466879484092e-05, + "loss": 2.4979, + "step": 8670 + }, + { + "epoch": 0.39, + "learning_rate": 1.336900374185261e-05, + "loss": 2.4854, + "step": 8680 + }, + { + "epoch": 0.39, + "learning_rate": 1.3355533712324586e-05, + "loss": 2.4722, + "step": 8690 + }, + { + "epoch": 0.39, + "learning_rate": 1.3342056818455359e-05, + "loss": 2.4854, + "step": 8700 + }, + { + "epoch": 0.39, + "learning_rate": 1.3328573087814314e-05, + "loss": 2.4955, + "step": 8710 + }, + { + "epoch": 0.4, + "learning_rate": 1.3315082547984819e-05, + "loss": 2.4944, + "step": 8720 + }, + { + "epoch": 0.4, + "learning_rate": 1.330158522656418e-05, + "loss": 2.5024, + "step": 8730 + }, + { + "epoch": 0.4, + "learning_rate": 1.328808115116356e-05, + "loss": 2.4808, + "step": 8740 + }, + { + "epoch": 0.4, + "learning_rate": 1.3274570349407956e-05, + "loss": 2.4916, + "step": 8750 + }, + { + "epoch": 0.4, + "learning_rate": 1.3261052848936116e-05, + "loss": 2.4632, + "step": 8760 + }, + { + "epoch": 0.4, + "learning_rate": 1.3247528677400486e-05, + "loss": 2.4657, + "step": 8770 + }, + { + "epoch": 0.4, + "learning_rate": 1.3233997862467169e-05, + "loss": 2.4718, + "step": 8780 + }, + { + "epoch": 0.4, + "learning_rate": 1.3220460431815859e-05, + "loss": 2.478, + "step": 8790 + }, + { + "epoch": 0.4, + "learning_rate": 1.320691641313977e-05, + "loss": 2.4887, + "step": 8800 + }, + { + "epoch": 0.4, + "learning_rate": 1.3193365834145606e-05, + "loss": 2.4611, + "step": 8810 + }, + { + "epoch": 0.4, + "learning_rate": 1.3179808722553486e-05, + "loss": 2.469, + "step": 8820 + }, + { + "epoch": 0.4, + "learning_rate": 1.31662451060969e-05, + "loss": 2.4403, + "step": 8830 + }, + { + "epoch": 0.4, + "learning_rate": 1.3152675012522629e-05, + "loss": 2.4769, + "step": 8840 + }, + { + "epoch": 0.4, + "learning_rate": 1.3139098469590716e-05, + "loss": 2.4568, + "step": 8850 + }, + { + "epoch": 0.4, + "learning_rate": 1.31255155050744e-05, + "loss": 2.4885, + "step": 8860 + }, + { + "epoch": 0.4, + "learning_rate": 1.3111926146760047e-05, + "loss": 2.4722, + "step": 8870 + }, + { + "epoch": 0.4, + "learning_rate": 1.309833042244711e-05, + "loss": 2.4638, + "step": 8880 + }, + { + "epoch": 0.4, + "learning_rate": 1.308472835994806e-05, + "loss": 2.4892, + "step": 8890 + }, + { + "epoch": 0.4, + "learning_rate": 1.3071119987088339e-05, + "loss": 2.4763, + "step": 8900 + }, + { + "epoch": 0.4, + "learning_rate": 1.3057505331706288e-05, + "loss": 2.494, + "step": 8910 + }, + { + "epoch": 0.4, + "learning_rate": 1.3043884421653115e-05, + "loss": 2.4811, + "step": 8920 + }, + { + "epoch": 0.4, + "learning_rate": 1.303025728479281e-05, + "loss": 2.4878, + "step": 8930 + }, + { + "epoch": 0.41, + "learning_rate": 1.3016623949002104e-05, + "loss": 2.4671, + "step": 8940 + }, + { + "epoch": 0.41, + "learning_rate": 1.3002984442170416e-05, + "loss": 2.4678, + "step": 8950 + }, + { + "epoch": 0.41, + "learning_rate": 1.2989338792199782e-05, + "loss": 2.4962, + "step": 8960 + }, + { + "epoch": 0.41, + "learning_rate": 1.2975687027004804e-05, + "loss": 2.4836, + "step": 8970 + }, + { + "epoch": 0.41, + "learning_rate": 1.29620291745126e-05, + "loss": 2.5108, + "step": 8980 + }, + { + "epoch": 0.41, + "learning_rate": 1.2948365262662734e-05, + "loss": 2.4853, + "step": 8990 + }, + { + "epoch": 0.41, + "learning_rate": 1.2934695319407176e-05, + "loss": 2.463, + "step": 9000 + }, + { + "epoch": 0.41, + "learning_rate": 1.2921019372710217e-05, + "loss": 2.4847, + "step": 9010 + }, + { + "epoch": 0.41, + "learning_rate": 1.2907337450548446e-05, + "loss": 2.4742, + "step": 9020 + }, + { + "epoch": 0.41, + "learning_rate": 1.289364958091067e-05, + "loss": 2.4816, + "step": 9030 + }, + { + "epoch": 0.41, + "learning_rate": 1.2879955791797853e-05, + "loss": 2.4556, + "step": 9040 + }, + { + "epoch": 0.41, + "learning_rate": 1.2866256111223085e-05, + "loss": 2.4868, + "step": 9050 + }, + { + "epoch": 0.41, + "learning_rate": 1.2852550567211498e-05, + "loss": 2.4913, + "step": 9060 + }, + { + "epoch": 0.41, + "learning_rate": 1.2838839187800218e-05, + "loss": 2.4818, + "step": 9070 + }, + { + "epoch": 0.41, + "learning_rate": 1.282512200103831e-05, + "loss": 2.5155, + "step": 9080 + }, + { + "epoch": 0.41, + "learning_rate": 1.2811399034986726e-05, + "loss": 2.4636, + "step": 9090 + }, + { + "epoch": 0.41, + "learning_rate": 1.2797670317718234e-05, + "loss": 2.47, + "step": 9100 + }, + { + "epoch": 0.41, + "learning_rate": 1.2783935877317362e-05, + "loss": 2.4984, + "step": 9110 + }, + { + "epoch": 0.41, + "learning_rate": 1.2770195741880356e-05, + "loss": 2.4898, + "step": 9120 + }, + { + "epoch": 0.41, + "learning_rate": 1.2756449939515107e-05, + "loss": 2.4708, + "step": 9130 + }, + { + "epoch": 0.41, + "learning_rate": 1.2742698498341098e-05, + "loss": 2.4779, + "step": 9140 + }, + { + "epoch": 0.41, + "learning_rate": 1.2728941446489347e-05, + "loss": 2.47, + "step": 9150 + }, + { + "epoch": 0.42, + "learning_rate": 1.2715178812102353e-05, + "loss": 2.4753, + "step": 9160 + }, + { + "epoch": 0.42, + "learning_rate": 1.2701410623334037e-05, + "loss": 2.5039, + "step": 9170 + }, + { + "epoch": 0.42, + "learning_rate": 1.2687636908349671e-05, + "loss": 2.4783, + "step": 9180 + }, + { + "epoch": 0.42, + "learning_rate": 1.2673857695325846e-05, + "loss": 2.4995, + "step": 9190 + }, + { + "epoch": 0.42, + "learning_rate": 1.2660073012450389e-05, + "loss": 2.4753, + "step": 9200 + }, + { + "epoch": 0.42, + "learning_rate": 1.2646282887922325e-05, + "loss": 2.4616, + "step": 9210 + }, + { + "epoch": 0.42, + "learning_rate": 1.2632487349951805e-05, + "loss": 2.4776, + "step": 9220 + }, + { + "epoch": 0.42, + "learning_rate": 1.2618686426760058e-05, + "loss": 2.4758, + "step": 9230 + }, + { + "epoch": 0.42, + "learning_rate": 1.2604880146579326e-05, + "loss": 2.4691, + "step": 9240 + }, + { + "epoch": 0.42, + "learning_rate": 1.2591068537652813e-05, + "loss": 2.4921, + "step": 9250 + }, + { + "epoch": 0.42, + "learning_rate": 1.257725162823462e-05, + "loss": 2.4803, + "step": 9260 + }, + { + "epoch": 0.42, + "learning_rate": 1.2563429446589695e-05, + "loss": 2.4763, + "step": 9270 + }, + { + "epoch": 0.42, + "learning_rate": 1.2549602020993769e-05, + "loss": 2.4785, + "step": 9280 + }, + { + "epoch": 0.42, + "learning_rate": 1.2535769379733305e-05, + "loss": 2.5066, + "step": 9290 + }, + { + "epoch": 0.42, + "learning_rate": 1.2521931551105427e-05, + "loss": 2.4683, + "step": 9300 + }, + { + "epoch": 0.42, + "learning_rate": 1.2508088563417875e-05, + "loss": 2.4796, + "step": 9310 + }, + { + "epoch": 0.42, + "learning_rate": 1.2494240444988943e-05, + "loss": 2.4638, + "step": 9320 + }, + { + "epoch": 0.42, + "learning_rate": 1.2480387224147426e-05, + "loss": 2.4631, + "step": 9330 + }, + { + "epoch": 0.42, + "learning_rate": 1.2466528929232548e-05, + "loss": 2.4953, + "step": 9340 + }, + { + "epoch": 0.42, + "learning_rate": 1.245266558859392e-05, + "loss": 2.4954, + "step": 9350 + }, + { + "epoch": 0.42, + "learning_rate": 1.2438797230591468e-05, + "loss": 2.481, + "step": 9360 + }, + { + "epoch": 0.42, + "learning_rate": 1.2424923883595389e-05, + "loss": 2.4852, + "step": 9370 + }, + { + "epoch": 0.43, + "learning_rate": 1.2411045575986079e-05, + "loss": 2.4744, + "step": 9380 + }, + { + "epoch": 0.43, + "learning_rate": 1.2397162336154085e-05, + "loss": 2.4688, + "step": 9390 + }, + { + "epoch": 0.43, + "learning_rate": 1.2383274192500048e-05, + "loss": 2.4656, + "step": 9400 + }, + { + "epoch": 0.43, + "learning_rate": 1.2369381173434636e-05, + "loss": 2.4552, + "step": 9410 + }, + { + "epoch": 0.43, + "learning_rate": 1.235548330737849e-05, + "loss": 2.4615, + "step": 9420 + }, + { + "epoch": 0.43, + "learning_rate": 1.2341580622762164e-05, + "loss": 2.4731, + "step": 9430 + }, + { + "epoch": 0.43, + "learning_rate": 1.2327673148026079e-05, + "loss": 2.4722, + "step": 9440 + }, + { + "epoch": 0.43, + "learning_rate": 1.2313760911620447e-05, + "loss": 2.4791, + "step": 9450 + }, + { + "epoch": 0.43, + "learning_rate": 1.229984394200522e-05, + "loss": 2.4814, + "step": 9460 + }, + { + "epoch": 0.43, + "learning_rate": 1.2285922267650038e-05, + "loss": 2.4528, + "step": 9470 + }, + { + "epoch": 0.43, + "learning_rate": 1.2271995917034166e-05, + "loss": 2.4879, + "step": 9480 + }, + { + "epoch": 0.43, + "learning_rate": 1.2258064918646424e-05, + "loss": 2.4689, + "step": 9490 + }, + { + "epoch": 0.43, + "learning_rate": 1.2244129300985153e-05, + "loss": 2.4963, + "step": 9500 + }, + { + "epoch": 0.43, + "learning_rate": 1.2230189092558138e-05, + "loss": 2.4701, + "step": 9510 + }, + { + "epoch": 0.43, + "learning_rate": 1.2216244321882553e-05, + "loss": 2.4841, + "step": 9520 + }, + { + "epoch": 0.43, + "learning_rate": 1.2202295017484911e-05, + "loss": 2.4951, + "step": 9530 + }, + { + "epoch": 0.43, + "learning_rate": 1.2188341207900991e-05, + "loss": 2.4291, + "step": 9540 + }, + { + "epoch": 0.43, + "learning_rate": 1.2174382921675799e-05, + "loss": 2.4742, + "step": 9550 + }, + { + "epoch": 0.43, + "learning_rate": 1.2160420187363484e-05, + "loss": 2.4867, + "step": 9560 + }, + { + "epoch": 0.43, + "learning_rate": 1.2146453033527315e-05, + "loss": 2.4603, + "step": 9570 + }, + { + "epoch": 0.43, + "learning_rate": 1.213248148873958e-05, + "loss": 2.4703, + "step": 9580 + }, + { + "epoch": 0.43, + "learning_rate": 1.2118505581581568e-05, + "loss": 2.4585, + "step": 9590 + }, + { + "epoch": 0.44, + "learning_rate": 1.2104525340643479e-05, + "loss": 2.4888, + "step": 9600 + }, + { + "epoch": 0.44, + "learning_rate": 1.2090540794524382e-05, + "loss": 2.4635, + "step": 9610 + }, + { + "epoch": 0.44, + "learning_rate": 1.2076551971832154e-05, + "loss": 2.4772, + "step": 9620 + }, + { + "epoch": 0.44, + "learning_rate": 1.2062558901183422e-05, + "loss": 2.4872, + "step": 9630 + }, + { + "epoch": 0.44, + "learning_rate": 1.2048561611203501e-05, + "loss": 2.4838, + "step": 9640 + }, + { + "epoch": 0.44, + "learning_rate": 1.2034560130526341e-05, + "loss": 2.4642, + "step": 9650 + }, + { + "epoch": 0.44, + "learning_rate": 1.2020554487794455e-05, + "loss": 2.5052, + "step": 9660 + }, + { + "epoch": 0.44, + "learning_rate": 1.2006544711658884e-05, + "loss": 2.4885, + "step": 9670 + }, + { + "epoch": 0.44, + "learning_rate": 1.1992530830779116e-05, + "loss": 2.4674, + "step": 9680 + }, + { + "epoch": 0.44, + "learning_rate": 1.1978512873823036e-05, + "loss": 2.4788, + "step": 9690 + }, + { + "epoch": 0.44, + "learning_rate": 1.1964490869466869e-05, + "loss": 2.4905, + "step": 9700 + }, + { + "epoch": 0.44, + "learning_rate": 1.1950464846395123e-05, + "loss": 2.5041, + "step": 9710 + }, + { + "epoch": 0.44, + "learning_rate": 1.1936434833300517e-05, + "loss": 2.4659, + "step": 9720 + }, + { + "epoch": 0.44, + "learning_rate": 1.1922400858883942e-05, + "loss": 2.4741, + "step": 9730 + }, + { + "epoch": 0.44, + "learning_rate": 1.1908362951854393e-05, + "loss": 2.4725, + "step": 9740 + }, + { + "epoch": 0.44, + "learning_rate": 1.1894321140928901e-05, + "loss": 2.478, + "step": 9750 + }, + { + "epoch": 0.44, + "learning_rate": 1.1880275454832493e-05, + "loss": 2.47, + "step": 9760 + }, + { + "epoch": 0.44, + "learning_rate": 1.1866225922298116e-05, + "loss": 2.474, + "step": 9770 + }, + { + "epoch": 0.44, + "learning_rate": 1.185217257206659e-05, + "loss": 2.4519, + "step": 9780 + }, + { + "epoch": 0.44, + "learning_rate": 1.183811543288654e-05, + "loss": 2.4818, + "step": 9790 + }, + { + "epoch": 0.44, + "learning_rate": 1.1824054533514349e-05, + "loss": 2.4663, + "step": 9800 + }, + { + "epoch": 0.44, + "learning_rate": 1.1809989902714085e-05, + "loss": 2.4877, + "step": 9810 + }, + { + "epoch": 0.45, + "learning_rate": 1.1795921569257456e-05, + "loss": 2.4713, + "step": 9820 + }, + { + "epoch": 0.45, + "learning_rate": 1.178184956192374e-05, + "loss": 2.4738, + "step": 9830 + }, + { + "epoch": 0.45, + "learning_rate": 1.1767773909499729e-05, + "loss": 2.457, + "step": 9840 + }, + { + "epoch": 0.45, + "learning_rate": 1.1753694640779677e-05, + "loss": 2.4695, + "step": 9850 + }, + { + "epoch": 0.45, + "learning_rate": 1.1739611784565232e-05, + "loss": 2.4408, + "step": 9860 + }, + { + "epoch": 0.45, + "learning_rate": 1.1725525369665383e-05, + "loss": 2.4893, + "step": 9870 + }, + { + "epoch": 0.45, + "learning_rate": 1.1711435424896395e-05, + "loss": 2.4603, + "step": 9880 + }, + { + "epoch": 0.45, + "learning_rate": 1.169734197908176e-05, + "loss": 2.4992, + "step": 9890 + }, + { + "epoch": 0.45, + "learning_rate": 1.1683245061052126e-05, + "loss": 2.4855, + "step": 9900 + }, + { + "epoch": 0.45, + "learning_rate": 1.1669144699645249e-05, + "loss": 2.4751, + "step": 9910 + }, + { + "epoch": 0.45, + "learning_rate": 1.1655040923705926e-05, + "loss": 2.4548, + "step": 9920 + }, + { + "epoch": 0.45, + "learning_rate": 1.1640933762085943e-05, + "loss": 2.4694, + "step": 9930 + }, + { + "epoch": 0.45, + "learning_rate": 1.1626823243644006e-05, + "loss": 2.469, + "step": 9940 + }, + { + "epoch": 0.45, + "learning_rate": 1.161270939724569e-05, + "loss": 2.5118, + "step": 9950 + }, + { + "epoch": 0.45, + "learning_rate": 1.1598592251763378e-05, + "loss": 2.4749, + "step": 9960 + }, + { + "epoch": 0.45, + "learning_rate": 1.1584471836076208e-05, + "loss": 2.4817, + "step": 9970 + }, + { + "epoch": 0.45, + "learning_rate": 1.1570348179069998e-05, + "loss": 2.4811, + "step": 9980 + }, + { + "epoch": 0.45, + "learning_rate": 1.1556221309637204e-05, + "loss": 2.4543, + "step": 9990 + }, + { + "epoch": 0.45, + "learning_rate": 1.1542091256676846e-05, + "loss": 2.463, + "step": 10000 + }, + { + "epoch": 0.45, + "eval_accuracy": 0.5409716963389947, + "eval_loss": 2.238548755645752, + "eval_runtime": 9.8782, + "eval_samples_per_second": 138.385, + "eval_steps_per_second": 1.114, + "step": 10000 + } + ], + "logging_steps": 10, + "max_steps": 22065, + "num_input_tokens_seen": 0, + "num_train_epochs": 1, + "save_steps": 10000, + "total_flos": 5.66719860965376e+19, + "train_batch_size": 4, + "trial_name": null, + "trial_params": null +} diff --git a/checkpoint-10000/training_args.bin b/checkpoint-10000/training_args.bin new file mode 100644 index 0000000000000000000000000000000000000000..4793ec6dee2eae23d1f3821508b7907ed56716bb --- /dev/null +++ b/checkpoint-10000/training_args.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:96b8baeb7fe2c3b0d6996a0ed15501705ce8aa377ed7c36383783f4e6a77263b +size 4856 diff --git a/checkpoint-20000/config.json b/checkpoint-20000/config.json new file mode 100644 index 0000000000000000000000000000000000000000..dd89ae776fae9251e8e17d6f521eec4cac48b559 --- /dev/null +++ b/checkpoint-20000/config.json @@ -0,0 +1,26 @@ +{ + "_name_or_path": "RefalMachine/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_mean_init_03_07_24", + "architectures": [ + "MistralForCausalLM" + ], + "attention_dropout": 0.0, + "bos_token_id": 1, + "eos_token_id": 2, + "hidden_act": "silu", + "hidden_size": 4096, + "initializer_range": 0.02, + "intermediate_size": 14336, + "max_position_embeddings": 32768, + "model_type": "mistral", + "num_attention_heads": 32, + "num_hidden_layers": 32, + "num_key_value_heads": 8, + "rms_norm_eps": 1e-05, + "rope_theta": 10000.0, + "sliding_window": 4096, + "tie_word_embeddings": false, + "torch_dtype": "bfloat16", + "transformers_version": "4.37.2", + "use_cache": true, + "vocab_size": 55329 +} diff --git a/checkpoint-20000/generation_config.json b/checkpoint-20000/generation_config.json new file mode 100644 index 0000000000000000000000000000000000000000..69b7806611a4865cd48c3e991dbd7d8312e0c5d3 --- /dev/null +++ b/checkpoint-20000/generation_config.json @@ -0,0 +1,6 @@ +{ + "_from_model_config": true, + "bos_token_id": 1, + "eos_token_id": 2, + "transformers_version": "4.37.2" +} diff --git a/checkpoint-20000/model-00001-of-00004.safetensors b/checkpoint-20000/model-00001-of-00004.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..875fb559391c30bbfdfcfc50d84b8d8b6eec45ea --- /dev/null +++ b/checkpoint-20000/model-00001-of-00004.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:08da60f082552a6596666ccd75e6840a6fc005cbba1e8d1a919da12db09b9551 +size 4899392256 diff --git a/checkpoint-20000/model-00002-of-00004.safetensors b/checkpoint-20000/model-00002-of-00004.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..76d7978efb90d266fda5d12049d76dcfaf157faf --- /dev/null +++ b/checkpoint-20000/model-00002-of-00004.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:322b3610f2907b12b178a329ce2e57a6c136f5a434cbdd3b19a8e8811aefac96 +size 4915916184 diff --git a/checkpoint-20000/model-00003-of-00004.safetensors b/checkpoint-20000/model-00003-of-00004.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..eabe9cb81d8e76f0e357d59e902e6f30b37aa8d7 --- /dev/null +++ b/checkpoint-20000/model-00003-of-00004.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:dd6eeda49cd19fe02f9272ba0fa246d028400625bf468bca3c3a0954184845a8 +size 4597156656 diff --git a/checkpoint-20000/model-00004-of-00004.safetensors b/checkpoint-20000/model-00004-of-00004.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..10a658f0d2597593bbea1207c7f3617f556cba76 --- /dev/null +++ b/checkpoint-20000/model-00004-of-00004.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:ea1b88d90eba4fec0983b43cf0f1e0b8410dc93330c7912d39c15945920ee467 +size 453255296 diff --git a/checkpoint-20000/model.safetensors.index.json b/checkpoint-20000/model.safetensors.index.json new file mode 100644 index 0000000000000000000000000000000000000000..17d44b033b8f228dfa9606b8610839369e6f3a75 --- /dev/null +++ b/checkpoint-20000/model.safetensors.index.json @@ -0,0 +1,298 @@ +{ + "metadata": { + "total_size": 14865686528 + }, + "weight_map": { + "lm_head.weight": "model-00004-of-00004.safetensors", + "model.embed_tokens.weight": "model-00001-of-00004.safetensors", + "model.layers.0.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.0.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.0.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.1.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.1.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.10.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.10.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.10.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.10.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.10.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.10.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.10.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.10.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.10.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.11.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.11.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.11.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.12.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.12.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.13.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.13.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.14.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.14.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.15.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.15.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.16.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.16.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.17.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.17.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.18.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.18.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.19.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.19.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.2.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.2.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.2.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.20.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.20.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.20.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.21.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.21.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.21.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.21.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.21.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.21.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.21.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.21.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.21.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.22.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.22.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.22.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.23.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.23.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.24.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.24.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.25.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.25.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.26.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.26.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.27.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.27.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.28.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.28.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.29.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.29.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.3.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.3.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.3.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.30.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.30.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.30.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.31.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.31.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.4.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.4.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.4.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.5.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.5.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.6.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.6.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.7.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.7.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.8.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.8.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.9.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.9.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.norm.weight": "model-00003-of-00004.safetensors" + } +} diff --git a/checkpoint-20000/optimizer.pt b/checkpoint-20000/optimizer.pt new file mode 100644 index 0000000000000000000000000000000000000000..26d27cbb7e0b2eee22d82a269cf1957f6f399118 --- /dev/null +++ b/checkpoint-20000/optimizer.pt @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:073f34270d970e2c182983e83f8ef9c1d67b233acc153875bbf977776733a01e +size 1813023580 diff --git a/checkpoint-20000/rng_state_0.pth b/checkpoint-20000/rng_state_0.pth new file mode 100644 index 0000000000000000000000000000000000000000..e31a2394e12bf431ae13288c3d90fe4727f07fa7 --- /dev/null +++ b/checkpoint-20000/rng_state_0.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:feb6462d333dbc5bb5e497ea9b0adb960f7616f79e6eea63222de6d5bd559516 +size 15984 diff --git a/checkpoint-20000/rng_state_1.pth b/checkpoint-20000/rng_state_1.pth new file mode 100644 index 0000000000000000000000000000000000000000..d1db0a0f44aa3ac1d82c3bf8dc2d8968eeba4ce7 --- /dev/null +++ b/checkpoint-20000/rng_state_1.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:b045e1bfa728f51c8b51ab0faa20b128a4fbd350da006b9b39a19e24abdf5a74 +size 15984 diff --git a/checkpoint-20000/rng_state_10.pth b/checkpoint-20000/rng_state_10.pth new file mode 100644 index 0000000000000000000000000000000000000000..c7b45cfc2156720d8980a778a733e5d3bd14faa6 --- /dev/null +++ b/checkpoint-20000/rng_state_10.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:049fbb0e2552d0232246eb11767ce42b99709cd2fc820f199ec88c6a8be5f292 +size 15997 diff --git a/checkpoint-20000/rng_state_11.pth b/checkpoint-20000/rng_state_11.pth new file mode 100644 index 0000000000000000000000000000000000000000..85cde22ba8a59003b3a2fbda9c3d2f54c58ba7eb --- /dev/null +++ b/checkpoint-20000/rng_state_11.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:110bedd1ff656e14c5b35d118e17b877a65923e15112b174ce00c10d04e795d1 +size 15997 diff --git a/checkpoint-20000/rng_state_12.pth b/checkpoint-20000/rng_state_12.pth new file mode 100644 index 0000000000000000000000000000000000000000..856a009750e030fbba31ceaca1ac85efbd811f7f --- /dev/null +++ b/checkpoint-20000/rng_state_12.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:d067264f370078e955d12406b9d013afe9b277f089df4372066bda7902328451 +size 15997 diff --git a/checkpoint-20000/rng_state_13.pth b/checkpoint-20000/rng_state_13.pth new file mode 100644 index 0000000000000000000000000000000000000000..9e320ec6d4d22d1e7399c34a447b540f9be40d08 --- /dev/null +++ b/checkpoint-20000/rng_state_13.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:cdc08928fa5fe2b3632430ba6fbdccf579c1f54996a6fea135c37a7de974ce03 +size 15997 diff --git a/checkpoint-20000/rng_state_14.pth b/checkpoint-20000/rng_state_14.pth new file mode 100644 index 0000000000000000000000000000000000000000..fa14b93952ce51224b44f91614844e77a4009eb2 --- /dev/null +++ b/checkpoint-20000/rng_state_14.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:fa5560ec46ee7c25e3ecc59a156b9c445f143ba0e69e0fbad19a44d04ee2e252 +size 15997 diff --git a/checkpoint-20000/rng_state_15.pth b/checkpoint-20000/rng_state_15.pth new file mode 100644 index 0000000000000000000000000000000000000000..bc234f9e59e5ec2f91a9d7ec354a0850a3855cc1 --- /dev/null +++ b/checkpoint-20000/rng_state_15.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:a5c93098943ce2a63cb6b1222e7a045d354a1cc316c9787cc9eb4583a3e27c02 +size 15997 diff --git a/checkpoint-20000/rng_state_16.pth b/checkpoint-20000/rng_state_16.pth new file mode 100644 index 0000000000000000000000000000000000000000..1b6b5dace8392420694b4c96ded4f6590982ab43 --- /dev/null +++ b/checkpoint-20000/rng_state_16.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:b4e5b642289cab42d90d22d6f8efa33135cebeb8343d02e0ad91ce7ef4347918 +size 15997 diff --git a/checkpoint-20000/rng_state_17.pth b/checkpoint-20000/rng_state_17.pth new file mode 100644 index 0000000000000000000000000000000000000000..609e8bc6fff793c758f6e37556e810208819c50e --- /dev/null +++ b/checkpoint-20000/rng_state_17.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:17ecdd8111599b22c173bd1387dd5c25fd82de9bdc230968e70ff926eaae7a78 +size 15997 diff --git a/checkpoint-20000/rng_state_18.pth b/checkpoint-20000/rng_state_18.pth new file mode 100644 index 0000000000000000000000000000000000000000..a662b1add979e14439402e50e9b0c89a3e23297a --- /dev/null +++ b/checkpoint-20000/rng_state_18.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:9e71b89538e59410772b4d55f6b044e18502de3838e5736cf9cf77311376cad6 +size 15997 diff --git a/checkpoint-20000/rng_state_19.pth b/checkpoint-20000/rng_state_19.pth new file mode 100644 index 0000000000000000000000000000000000000000..874b1f949986f6faf12fc4efbd74b154360c7bff --- /dev/null +++ b/checkpoint-20000/rng_state_19.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:17d0f95ea836f8356aa04d89a3850054171e720fe09d5d6917565ec90bb8c91b +size 15997 diff --git a/checkpoint-20000/rng_state_2.pth b/checkpoint-20000/rng_state_2.pth new file mode 100644 index 0000000000000000000000000000000000000000..75de18f57a056bd6a5f89df1abd045678f3f919e --- /dev/null +++ b/checkpoint-20000/rng_state_2.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:f76a3d058d2628a61848c2441d313f251278bd8f74ce43dc44d8cd8ad3e619a8 +size 15984 diff --git a/checkpoint-20000/rng_state_20.pth b/checkpoint-20000/rng_state_20.pth new file mode 100644 index 0000000000000000000000000000000000000000..e475a37b8ce4846557d4f85dba58fa1aa18247ee --- /dev/null +++ b/checkpoint-20000/rng_state_20.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:19b3f607760d07f07896e4eff41c488868b434660a12b6f6da8af30fddab80c1 +size 15997 diff --git a/checkpoint-20000/rng_state_21.pth b/checkpoint-20000/rng_state_21.pth new file mode 100644 index 0000000000000000000000000000000000000000..dea64bf4a0a2fea54bba4d13e5c0d3a8e4091f65 --- /dev/null +++ b/checkpoint-20000/rng_state_21.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:3f87787db67d24fe3f0046ab563d5aaa18ca78fd2bf7829f40b6d95e91c3d918 +size 15997 diff --git a/checkpoint-20000/rng_state_22.pth b/checkpoint-20000/rng_state_22.pth new file mode 100644 index 0000000000000000000000000000000000000000..4fc2bcbdfede7ca3618658c9b2bafea84febd297 --- /dev/null +++ b/checkpoint-20000/rng_state_22.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:dde60d9c16dede4bccfc5c1d460ecdc71f722c48b49400f1b919e459d59f0ad9 +size 15997 diff --git a/checkpoint-20000/rng_state_23.pth b/checkpoint-20000/rng_state_23.pth new file mode 100644 index 0000000000000000000000000000000000000000..731743d4ac654fde3f0868f095695aaf9449db81 --- /dev/null +++ b/checkpoint-20000/rng_state_23.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:081e2484953198ecf9bb5083b9a8dc6d9ac10842ef96f4b4c1dee9661ab9534c +size 15997 diff --git a/checkpoint-20000/rng_state_24.pth b/checkpoint-20000/rng_state_24.pth new file mode 100644 index 0000000000000000000000000000000000000000..62dcd45467b6a7c5db797c0ecc3740ca34c40609 --- /dev/null +++ b/checkpoint-20000/rng_state_24.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:747343409921c23552fc3b86d4374f2dcf613a7b2b88fd9b5aeac0dcbbf46188 +size 15997 diff --git a/checkpoint-20000/rng_state_25.pth b/checkpoint-20000/rng_state_25.pth new file mode 100644 index 0000000000000000000000000000000000000000..45606e31efb8adfbb4b44897738fd529b22e32fd --- /dev/null +++ b/checkpoint-20000/rng_state_25.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:8afab1ca1e3a5276559ce221c1be39710f024bb3a52f9c5bf9c3de79197ab3f1 +size 15997 diff --git a/checkpoint-20000/rng_state_26.pth b/checkpoint-20000/rng_state_26.pth new file mode 100644 index 0000000000000000000000000000000000000000..118874a68472c2ddf88e533ff464148a1c79cead --- /dev/null +++ b/checkpoint-20000/rng_state_26.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:585aab44949562fa33c8e010325a42910557d5186352ea4a4f98f64e97db77d5 +size 15997 diff --git a/checkpoint-20000/rng_state_27.pth b/checkpoint-20000/rng_state_27.pth new file mode 100644 index 0000000000000000000000000000000000000000..7cd8007148f66d9510d571ab2f6b83f7c41893ed --- /dev/null +++ b/checkpoint-20000/rng_state_27.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:5305023683d171ea9da4682fa9473b0fab4b5fac55de3092a4d4e2a2774a2bf8 +size 15997 diff --git a/checkpoint-20000/rng_state_28.pth b/checkpoint-20000/rng_state_28.pth new file mode 100644 index 0000000000000000000000000000000000000000..fea2e9af3afee2d48fd2aa8233ff6e57a230155a --- /dev/null +++ b/checkpoint-20000/rng_state_28.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:3944d82ac219a28107a2fb0bf24d45d9edaf681362a2b3bc8ddd694662a6df37 +size 15997 diff --git a/checkpoint-20000/rng_state_29.pth b/checkpoint-20000/rng_state_29.pth new file mode 100644 index 0000000000000000000000000000000000000000..7e635381bbe5cc90ac8c610d04218af4e0cdfc51 --- /dev/null +++ b/checkpoint-20000/rng_state_29.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:b30b0051cbde0fea8f5895dac7813201c3896aa39477e35c2f2e5ef02a244e52 +size 15997 diff --git a/checkpoint-20000/rng_state_3.pth b/checkpoint-20000/rng_state_3.pth new file mode 100644 index 0000000000000000000000000000000000000000..2fd100693bc9f3267d044ce4a16e702502dc03ec --- /dev/null +++ b/checkpoint-20000/rng_state_3.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:b7f72fc498e6eaa671cdc0e8a627a668b8ef607063a22ddb4edbc05e791be830 +size 15984 diff --git a/checkpoint-20000/rng_state_30.pth b/checkpoint-20000/rng_state_30.pth new file mode 100644 index 0000000000000000000000000000000000000000..b3a3600480e9f42bab3b0d9e82192dcbc0273772 --- /dev/null +++ b/checkpoint-20000/rng_state_30.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:ac18dbbfbff4a5dcbd5a87f0e5b3fd4796bd54004792c398768a0b10e3c112e4 +size 15997 diff --git a/checkpoint-20000/rng_state_31.pth b/checkpoint-20000/rng_state_31.pth new file mode 100644 index 0000000000000000000000000000000000000000..87a141c1c47bbe6a984559588acc982b79921f10 --- /dev/null +++ b/checkpoint-20000/rng_state_31.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:252a4431920794bff74999f18fc6521903924e8e5f6080565bd4c395606a92be +size 15997 diff --git a/checkpoint-20000/rng_state_4.pth b/checkpoint-20000/rng_state_4.pth new file mode 100644 index 0000000000000000000000000000000000000000..5aeeabfe119f1cb0c8c804f1b9a4d3049f478d69 --- /dev/null +++ b/checkpoint-20000/rng_state_4.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:12889af98e175b734a788f4c5b8c4da91dd61ff3a05aaf61b9d4c66aa3dd8ad6 +size 15984 diff --git a/checkpoint-20000/rng_state_5.pth b/checkpoint-20000/rng_state_5.pth new file mode 100644 index 0000000000000000000000000000000000000000..91fe0f42382ab06f4d26d753745a914c9e46100e --- /dev/null +++ b/checkpoint-20000/rng_state_5.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:fe21a86abfceeac2cf2f48afd61a9a506cf61a287f3403f1adf391bb2ffa5a83 +size 15984 diff --git a/checkpoint-20000/rng_state_6.pth b/checkpoint-20000/rng_state_6.pth new file mode 100644 index 0000000000000000000000000000000000000000..5830ca6bd04645962b6e56a00a91cd8349ca449c --- /dev/null +++ b/checkpoint-20000/rng_state_6.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:73488bec91f9dee6d8105d06f99edaf4d27b6b064250d4c7023f33285b2f3132 +size 15984 diff --git a/checkpoint-20000/rng_state_7.pth b/checkpoint-20000/rng_state_7.pth new file mode 100644 index 0000000000000000000000000000000000000000..343d1c0475f0dc64100dc67b09195e047f1a7bcf --- /dev/null +++ b/checkpoint-20000/rng_state_7.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:edf6ee1cc2e1325b428a21172ec4e61b7220c5489751ea11c06bb66c77a0cd08 +size 15984 diff --git a/checkpoint-20000/rng_state_8.pth b/checkpoint-20000/rng_state_8.pth new file mode 100644 index 0000000000000000000000000000000000000000..1a915d48f66b76d8000acad847e014ef45e2bc97 --- /dev/null +++ b/checkpoint-20000/rng_state_8.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:69e31b293817790e3c2523e33e9b7675abb4331ed41db16292aa51816bbe5f84 +size 15984 diff --git a/checkpoint-20000/rng_state_9.pth b/checkpoint-20000/rng_state_9.pth new file mode 100644 index 0000000000000000000000000000000000000000..e2cb7b52d858367a4ad28c3dbcc7047c8a7944b7 --- /dev/null +++ b/checkpoint-20000/rng_state_9.pth @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:193f0f5d978b030893d9dcbcae908c515bfed3ac715ba1895e9f77c7870d6b3e +size 15984 diff --git a/checkpoint-20000/scheduler.pt b/checkpoint-20000/scheduler.pt new file mode 100644 index 0000000000000000000000000000000000000000..f4508cc96eba94142a9641614e528d37a27d063c --- /dev/null +++ b/checkpoint-20000/scheduler.pt @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:c0ebcd1849558037dcfe1808a37187d1e0c35ad20221f04cdb1b0f9856437374 +size 1064 diff --git a/checkpoint-20000/special_tokens_map.json b/checkpoint-20000/special_tokens_map.json new file mode 100644 index 0000000000000000000000000000000000000000..451134b2ddc2e78555d1e857518c54b4bdc2e87d --- /dev/null +++ b/checkpoint-20000/special_tokens_map.json @@ -0,0 +1,23 @@ +{ + "bos_token": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false + }, + "eos_token": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false + }, + "unk_token": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false + } +} diff --git a/checkpoint-20000/tokenizer.json b/checkpoint-20000/tokenizer.json new file mode 100644 index 0000000000000000000000000000000000000000..d67a3c1e77b4b0b203b73618cf801758ad026268 --- /dev/null +++ b/checkpoint-20000/tokenizer.json @@ -0,0 +1,158022 @@ +{ + "version": "1.0", + "truncation": null, + "padding": null, + "added_tokens": [ + { + "id": 0, + "content": "", + "single_word": false, + "lstrip": false, + "rstrip": false, + "normalized": false, + "special": true + }, + { + "id": 1, + "content": "", + "single_word": false, + "lstrip": false, + "rstrip": false, + "normalized": false, + "special": true + }, + { + "id": 2, + "content": "", + "single_word": false, + "lstrip": false, + "rstrip": false, + "normalized": false, + "special": true + } + ], + "normalizer": { + "type": "Sequence", + "normalizers": [ + { + "type": "Prepend", + "prepend": "▁" + }, + { + "type": "Replace", + "pattern": { + "String": " " + }, + "content": "▁" + } + ] + }, + "pre_tokenizer": null, + "post_processor": { + "type": "TemplateProcessing", + "single": [ + { + "SpecialToken": { + "id": "", + "type_id": 0 + } + }, + { + "Sequence": { + "id": "A", + "type_id": 0 + } + } + ], + "pair": [ + { + "SpecialToken": { + "id": "", + "type_id": 0 + } + }, + { + "Sequence": { + "id": "A", + "type_id": 0 + } + }, + { + "SpecialToken": { + "id": "", + "type_id": 1 + } + }, + { + "Sequence": { + "id": "B", + "type_id": 1 + } + } + ], + "special_tokens": { + "": { + "id": "", + "ids": [ + 1 + ], + "tokens": [ + "" + ] + } + } + }, + "decoder": { + "type": "Sequence", + "decoders": [ + { + "type": "Replace", + "pattern": { + "String": "▁" + }, + "content": " " + }, + { + "type": "ByteFallback" + }, + { + "type": "Fuse" + }, + { + "type": "Strip", + "content": " ", + "start": 1, + "stop": 0 + } + ] + }, + "model": { + "type": "BPE", + "dropout": null, + "unk_token": "", + "continuing_subword_prefix": null, + "end_of_word_suffix": null, + "fuse_unk": true, + "byte_fallback": true, + "vocab": { + "": 0, + "": 1, + "": 2, + "<0x00>": 3, + "<0x01>": 4, + "<0x02>": 5, + "<0x03>": 6, + "<0x04>": 7, + "<0x05>": 8, + "<0x06>": 9, + "<0x07>": 10, + "<0x08>": 11, + "<0x09>": 12, + "<0x0A>": 13, + "<0x0B>": 14, + "<0x0C>": 15, + "<0x0D>": 16, + "<0x0E>": 17, + "<0x0F>": 18, + "<0x10>": 19, + "<0x11>": 20, + "<0x12>": 21, + "<0x13>": 22, + "<0x14>": 23, + "<0x15>": 24, + "<0x16>": 25, + "<0x17>": 26, + "<0x18>": 27, + "<0x19>": 28, + "<0x1A>": 29, + "<0x1B>": 30, + "<0x1C>": 31, + "<0x1D>": 32, + "<0x1E>": 33, + "<0x1F>": 34, + "<0x20>": 35, + "<0x21>": 36, + "<0x22>": 37, + "<0x23>": 38, + "<0x24>": 39, + "<0x25>": 40, + "<0x26>": 41, + "<0x27>": 42, + "<0x28>": 43, + "<0x29>": 44, + "<0x2A>": 45, + "<0x2B>": 46, + "<0x2C>": 47, + "<0x2D>": 48, + "<0x2E>": 49, + "<0x2F>": 50, + "<0x30>": 51, + "<0x31>": 52, + "<0x32>": 53, + "<0x33>": 54, + "<0x34>": 55, + "<0x35>": 56, + "<0x36>": 57, + "<0x37>": 58, + "<0x38>": 59, + "<0x39>": 60, + "<0x3A>": 61, + "<0x3B>": 62, + "<0x3C>": 63, + "<0x3D>": 64, + "<0x3E>": 65, + "<0x3F>": 66, + "<0x40>": 67, + "<0x41>": 68, + "<0x42>": 69, + "<0x43>": 70, + "<0x44>": 71, + "<0x45>": 72, + "<0x46>": 73, + "<0x47>": 74, + "<0x48>": 75, + "<0x49>": 76, + "<0x4A>": 77, + "<0x4B>": 78, + "<0x4C>": 79, + "<0x4D>": 80, + "<0x4E>": 81, + "<0x4F>": 82, + "<0x50>": 83, + "<0x51>": 84, + "<0x52>": 85, + "<0x53>": 86, + "<0x54>": 87, + "<0x55>": 88, + "<0x56>": 89, + "<0x57>": 90, + "<0x58>": 91, + "<0x59>": 92, + "<0x5A>": 93, + "<0x5B>": 94, + "<0x5C>": 95, + "<0x5D>": 96, + "<0x5E>": 97, + "<0x5F>": 98, + "<0x60>": 99, + "<0x61>": 100, + "<0x62>": 101, + "<0x63>": 102, + "<0x64>": 103, + "<0x65>": 104, + "<0x66>": 105, + "<0x67>": 106, + "<0x68>": 107, + "<0x69>": 108, + "<0x6A>": 109, + "<0x6B>": 110, + "<0x6C>": 111, + "<0x6D>": 112, + "<0x6E>": 113, + "<0x6F>": 114, + "<0x70>": 115, + "<0x71>": 116, + "<0x72>": 117, + "<0x73>": 118, + "<0x74>": 119, + "<0x75>": 120, + "<0x76>": 121, + "<0x77>": 122, + "<0x78>": 123, + "<0x79>": 124, + "<0x7A>": 125, + "<0x7B>": 126, + "<0x7C>": 127, + "<0x7D>": 128, + "<0x7E>": 129, + "<0x7F>": 130, + "<0x80>": 131, + "<0x81>": 132, + "<0x82>": 133, + "<0x83>": 134, + "<0x84>": 135, + "<0x85>": 136, + "<0x86>": 137, + "<0x87>": 138, + "<0x88>": 139, + "<0x89>": 140, + "<0x8A>": 141, + "<0x8B>": 142, + "<0x8C>": 143, + "<0x8D>": 144, + "<0x8E>": 145, + "<0x8F>": 146, + "<0x90>": 147, + "<0x91>": 148, + "<0x92>": 149, + "<0x93>": 150, + "<0x94>": 151, + "<0x95>": 152, + "<0x96>": 153, + "<0x97>": 154, + "<0x98>": 155, + "<0x99>": 156, + "<0x9A>": 157, + "<0x9B>": 158, + "<0x9C>": 159, + "<0x9D>": 160, + "<0x9E>": 161, + "<0x9F>": 162, + "<0xA0>": 163, + "<0xA1>": 164, + "<0xA2>": 165, + "<0xA3>": 166, + "<0xA4>": 167, + "<0xA5>": 168, + "<0xA6>": 169, + "<0xA7>": 170, + "<0xA8>": 171, + "<0xA9>": 172, + "<0xAA>": 173, + "<0xAB>": 174, + "<0xAC>": 175, + "<0xAD>": 176, + "<0xAE>": 177, + "<0xAF>": 178, + "<0xB0>": 179, + "<0xB1>": 180, + "<0xB2>": 181, + "<0xB3>": 182, + "<0xB4>": 183, + "<0xB5>": 184, + "<0xB6>": 185, + "<0xB7>": 186, + "<0xB8>": 187, + "<0xB9>": 188, + "<0xBA>": 189, + "<0xBB>": 190, + "<0xBC>": 191, + "<0xBD>": 192, + "<0xBE>": 193, + "<0xBF>": 194, + "<0xC0>": 195, + "<0xC1>": 196, + "<0xC2>": 197, + "<0xC3>": 198, + "<0xC4>": 199, + "<0xC5>": 200, + "<0xC6>": 201, + "<0xC7>": 202, + "<0xC8>": 203, + "<0xC9>": 204, + "<0xCA>": 205, + "<0xCB>": 206, + "<0xCC>": 207, + "<0xCD>": 208, + "<0xCE>": 209, + "<0xCF>": 210, + "<0xD0>": 211, + "<0xD1>": 212, + "<0xD2>": 213, + "<0xD3>": 214, + "<0xD4>": 215, + "<0xD5>": 216, + "<0xD6>": 217, + "<0xD7>": 218, + "<0xD8>": 219, + "<0xD9>": 220, + "<0xDA>": 221, + "<0xDB>": 222, + "<0xDC>": 223, + "<0xDD>": 224, + "<0xDE>": 225, + "<0xDF>": 226, + "<0xE0>": 227, + "<0xE1>": 228, + "<0xE2>": 229, + "<0xE3>": 230, + "<0xE4>": 231, + "<0xE5>": 232, + "<0xE6>": 233, + "<0xE7>": 234, + "<0xE8>": 235, + "<0xE9>": 236, + "<0xEA>": 237, + "<0xEB>": 238, + "<0xEC>": 239, + "<0xED>": 240, + "<0xEE>": 241, + "<0xEF>": 242, + "<0xF0>": 243, + "<0xF1>": 244, + "<0xF2>": 245, + "<0xF3>": 246, + "<0xF4>": 247, + "<0xF5>": 248, + "<0xF6>": 249, + "<0xF7>": 250, + "<0xF8>": 251, + "<0xF9>": 252, + "<0xFA>": 253, + "<0xFB>": 254, + "<0xFC>": 255, + "<0xFD>": 256, + "<0xFE>": 257, + "<0xFF>": 258, + "▁▁": 259, + "▁▁▁▁": 260, + "▁t": 261, + "in": 262, + "er": 263, + "▁a": 264, + "he": 265, + "on": 266, + "re": 267, + "▁s": 268, + "en": 269, + "at": 270, + "or": 271, + "▁the": 272, + "▁▁▁▁▁▁▁▁": 273, + "es": 274, + "▁w": 275, + "an": 276, + "▁c": 277, + "is": 278, + "it": 279, + "ou": 280, + "▁d": 281, + "al": 282, + "ar": 283, + "▁p": 284, + "▁f": 285, + "ed": 286, + "▁b": 287, + "ing": 288, + "▁o": 289, + "▁m": 290, + "le": 291, + "nd": 292, + "as": 293, + "ic": 294, + "▁h": 295, + "ion": 296, + "▁in": 297, + "▁to": 298, + "et": 299, + "om": 300, + "el": 301, + "▁of": 302, + "st": 303, + "▁and": 304, + "▁l": 305, + "▁th": 306, + "▁n": 307, + "ent": 308, + "il": 309, + "ct": 310, + "ro": 311, + "▁re": 312, + "id": 313, + "am": 314, + "▁I": 315, + "ad": 316, + "▁e": 317, + "▁S": 318, + "▁g": 319, + "▁T": 320, + "im": 321, + "ot": 322, + "ac": 323, + "ur": 324, + "▁(": 325, + "ig": 326, + "▁=": 327, + "ol": 328, + "ut": 329, + "▁A": 330, + "se": 331, + "▁u": 332, + "ve": 333, + "▁C": 334, + "if": 335, + "ow": 336, + "▁y": 337, + "ch": 338, + "ay": 339, + "▁de": 340, + "▁st": 341, + "▁|": 342, + "ver": 343, + ");": 344, + "▁\"": 345, + "ly": 346, + "▁be": 347, + "**": 348, + "▁is": 349, + "od": 350, + "▁M": 351, + "ation": 352, + "ul": 353, + "▁for": 354, + "▁▁▁▁▁": 355, + "▁on": 356, + "ag": 357, + "ce": 358, + "▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁": 359, + "ter": 360, + "ir": 361, + "th": 362, + "▁v": 363, + "qu": 364, + "▁B": 365, + "em": 366, + "▁P": 367, + "▁you": 368, + "▁that": 369, + "un": 370, + "▁{": 371, + "ith": 372, + "ri": 373, + "est": 374, + "ab": 375, + "--": 376, + "ap": 377, + "▁it": 378, + "▁con": 379, + "ate": 380, + "us": 381, + "▁H": 382, + "um": 383, + "▁D": 384, + "os": 385, + "pe": 386, + "▁-": 387, + "▁wh": 388, + "▁al": 389, + "▁as": 390, + "and": 391, + "ist": 392, + "▁L": 393, + "▁W": 394, + "▁with": 395, + "▁an": 396, + "ere": 397, + "▁*": 398, + "▁R": 399, + "▁he": 400, + "▁F": 401, + "oc": 402, + "▁was": 403, + "ers": 404, + "ke": 405, + "out": 406, + "ht": 407, + "▁r": 408, + "ess": 409, + "op": 410, + "res": 411, + "ie": 412, + "▁E": 413, + "▁\\": 414, + "▁The": 415, + "end": 416, + "ld": 417, + "▁N": 418, + "ort": 419, + "▁G": 420, + "//": 421, + "▁#": 422, + "our": 423, + "te": 424, + "ill": 425, + "ain": 426, + "▁se": 427, + "▁▁▁▁▁▁": 428, + "▁$": 429, + "▁pro": 430, + "ore": 431, + "▁com": 432, + "ame": 433, + "tr": 434, + "▁ne": 435, + "rom": 436, + "ub": 437, + "▁at": 438, + "▁ex": 439, + "ant": 440, + "ue": 441, + "▁or": 442, + "▁}": 443, + "art": 444, + "ction": 445, + "▁k": 446, + "pt": 447, + "nt": 448, + "iv": 449, + "de": 450, + "▁O": 451, + "pl": 452, + "urn": 453, + "ight": 454, + "all": 455, + "▁this": 456, + "ser": 457, + "ave": 458, + "▁not": 459, + "▁are": 460, + "▁j": 461, + "▁le": 462, + "iz": 463, + "▁'": 464, + "age": 465, + "ment": 466, + "▁tr": 467, + "ack": 468, + "ust": 469, + "()": 470, + "->": 471, + "ity": 472, + "ine": 473, + "ould": 474, + "▁J": 475, + "og": 476, + "▁from": 477, + "▁we": 478, + "ell": 479, + "▁sh": 480, + "▁en": 481, + "ure": 482, + "port": 483, + "▁ch": 484, + "ne": 485, + "▁by": 486, + "per": 487, + "ard": 488, + "ass": 489, + "ge": 490, + "ak": 491, + "are": 492, + "ok": 493, + "av": 494, + "ive": 495, + "ff": 496, + "ies": 497, + "ath": 498, + "turn": 499, + "▁U": 500, + "int": 501, + "----": 502, + "▁im": 503, + "ost": 504, + "ial": 505, + "▁have": 506, + "ind": 507, + "ip": 508, + "ans": 509, + "xt": 510, + "▁do": 511, + "cl": 512, + "▁if": 513, + "con": 514, + "ia": 515, + "▁his": 516, + "ult": 517, + "rou": 518, + "▁su": 519, + "ra": 520, + "▁un": 521, + "able": 522, + "▁<": 523, + "▁K": 524, + "ome": 525, + "▁qu": 526, + "get": 527, + "▁me": 528, + "ast": 529, + "ect": 530, + "▁##": 531, + "to": 532, + "▁cl": 533, + "▁ab": 534, + "ice": 535, + "ire": 536, + "ber": 537, + "one": 538, + "ich": 539, + "hen": 540, + "▁can": 541, + "▁Th": 542, + "▁la": 543, + "▁all": 544, + "ime": 545, + "ile": 546, + "ide": 547, + "\",": 548, + "▁pl": 549, + "▁V": 550, + "ru": 551, + "orm": 552, + "▁had": 553, + "ud": 554, + "ase": 555, + "ord": 556, + "),": 557, + "▁▁▁▁▁▁▁▁▁▁▁▁": 558, + "▁her": 559, + "▁In": 560, + "ace": 561, + "▁but": 562, + "ata": 563, + "::": 564, + "****": 565, + "ong": 566, + "▁&": 567, + "..": 568, + "▁▁▁▁▁▁▁▁▁▁▁▁▁": 569, + "ite": 570, + "ype": 571, + "act": 572, + "ode": 573, + "▁your": 574, + "▁out": 575, + "▁go": 576, + "lic": 577, + "ally": 578, + "▁so": 579, + "ork": 580, + "au": 581, + "▁up": 582, + "▁_": 583, + "ll": 584, + "==": 585, + "▁my": 586, + "pp": 587, + "cc": 588, + "▁//": 589, + "▁they": 590, + "gh": 591, + "▁us": 592, + "ib": 593, + "ions": 594, + "ach": 595, + "ens": 596, + "▁ar": 597, + "ob": 598, + "elf": 599, + "ook": 600, + "ated": 601, + "ang": 602, + "ign": 603, + "▁return": 604, + "▁res": 605, + "ck": 606, + "ous": 607, + "ст": 608, + ").": 609, + "▁п": 610, + ".\"": 611, + "на": 612, + "▁i": 613, + "ail": 614, + "ep": 615, + "▁ad": 616, + "ance": 617, + "(\"": 618, + "▁**": 619, + "ther": 620, + "ake": 621, + "▁will": 622, + "▁comp": 623, + "▁one": 624, + "▁get": 625, + "ov": 626, + "▁Y": 627, + "ary": 628, + "ock": 629, + "▁she": 630, + "che": 631, + "ft": 632, + "▁new": 633, + "▁des": 634, + "▁li": 635, + "ence": 636, + "▁sa": 637, + "ress": 638, + "▁el": 639, + "▁und": 640, + "eg": 641, + "fer": 642, + "ry": 643, + "ear": 644, + "ose": 645, + "very": 646, + "',": 647, + "▁+": 648, + "▁в": 649, + "▁He": 650, + "ublic": 651, + "▁their": 652, + "ize": 653, + "▁were": 654, + "ink": 655, + "own": 656, + "In": 657, + "{\\": 658, + "▁has": 659, + "▁per": 660, + "▁It": 661, + "▁St": 662, + "her": 663, + "ject": 664, + "ра": 665, + "ild": 666, + "so": 667, + "▁sp": 668, + "ни": 669, + "du": 670, + "row": 671, + "alue": 672, + "set": 673, + "form": 674, + "com": 675, + "▁man": 676, + "ont": 677, + "ull": 678, + "▁cont": 679, + "▁more": 680, + "ick": 681, + "▁would": 682, + "▁ev": 683, + "▁about": 684, + "ition": 685, + "▁z": 686, + "ound": 687, + "ree": 688, + "▁Ch": 689, + "▁which": 690, + "io": 691, + "();": 692, + "▁who": 693, + "err": 694, + "ory": 695, + "ount": 696, + "ations": 697, + "▁с": 698, + "ring": 699, + "": 876, + "▁em": 877, + "▁$\\": 878, + "▁year": 879, + "wn": 880, + "},": 881, + "▁del": 882, + "ale": 883, + "ty": 884, + "fig": 885, + "sp": 886, + "hed": 887, + "round": 888, + "ew": 889, + "▁di": 890, + "▁der": 891, + "ри": 892, + "red": 893, + "this": 894, + "let": 895, + "RE": 896, + "ax": 897, + "fr": 898, + "essage": 899, + "ough": 900, + "▁comm": 901, + "fo": 902, + "uch": 903, + "oy": 904, + "▁people": 905, + "ystem": 906, + "▁first": 907, + "▁function": 908, + "ange": 909, + "▁how": 910, + "▁et": 911, + "ah": 912, + "▁look": 913, + "то": 914, + "und": 915, + "▁under": 916, + "ка": 917, + "▁!": 918, + "ray": 919, + "ST": 920, + "ific": 921, + "ли": 922, + "read": 923, + "▁bet": 924, + "ious": 925, + "arg": 926, + "▁need": 927, + "math": 928, + "▁на": 929, + "ert": 930, + "▁op": 931, + "▁acc": 932, + "Pro": 933, + "▁est": 934, + "▁Un": 935, + "▁ent": 936, + "▁rec": 937, + "▁use": 938, + "ен": 939, + "▁par": 940, + "az": 941, + "▁д": 942, + "▁Wh": 943, + "self": 944, + "▁ke": 945, + "та": 946, + "▁want": 947, + "▁end": 948, + "▁don": 949, + "ek": 950, + "ren": 951, + "Name": 952, + "▁=>": 953, + "▁app": 954, + "▁que": 955, + "igh": 956, + "▁bu": 957, + "equ": 958, + "vel": 959, + "▁act": 960, + "cre": 961, + "AT": 962, + "▁var": 963, + "cess": 964, + "====": 965, + "Ex": 966, + "▁add": 967, + "▁mod": 968, + "ung": 969, + "▁where": 970, + "ning": 971, + "▁fl": 972, + "als": 973, + "tern": 974, + "}}": 975, + "▁Al": 976, + "▁pos": 977, + "ank": 978, + "▁ap": 979, + "eng": 980, + "▁“": 981, + "ble": 982, + "▁reg": 983, + "^{": 984, + "▁She": 985, + "▁*/": 986, + "ude": 987, + "add": 988, + "▁two": 989, + "▁col": 990, + "▁sm": 991, + "air": 992, + "▁may": 993, + "fore": 994, + "▁You": 995, + "rough": 996, + "▁che": 997, + "▁att": 998, + "oth": 999, + "ла": 1000, + "▁co": 1001, + "ates": 1002, + "▁rem": 1003, + "ood": 1004, + "Type": 1005, + "led": 1006, + "ful": 1007, + "▁self": 1008, + "of": 1009, + "▁Ar": 1010, + "que": 1011, + "▁every": 1012, + "ref": 1013, + "The": 1014, + "▁And": 1015, + "▁rel": 1016, + "OR": 1017, + "Id": 1018, + "▁even": 1019, + "EN": 1020, + "▁hand": 1021, + "ait": 1022, + "▁should": 1023, + "▁after": 1024, + "▁dif": 1025, + "ght": 1026, + "ife": 1027, + "ator": 1028, + "ash": 1029, + "ribut": 1030, + "umber": 1031, + "▁see": 1032, + "ms": 1033, + "▁call": 1034, + "yn": 1035, + "dd": 1036, + "▁es": 1037, + "▁make": 1038, + "other": 1039, + "▁—": 1040, + "\");": 1041, + "str": 1042, + "▁long": 1043, + "lement": 1044, + "▁wor": 1045, + "its": 1046, + "▁If": 1047, + "alse": 1048, + "ль": 1049, + "ward": 1050, + "▁по": 1051, + "val": 1052, + "ons": 1053, + "▁Z": 1054, + "▁now": 1055, + "data": 1056, + "amp": 1057, + "ense": 1058, + "▁through": 1059, + "▁down": 1060, + "att": 1061, + "▁static": 1062, + "ics": 1063, + "##": 1064, + "pos": 1065, + "▁void": 1066, + "aw": 1067, + "oun": 1068, + "▁way": 1069, + "ible": 1070, + "vent": 1071, + "ower": 1072, + "▁think": 1073, + "ts": 1074, + "*/": 1075, + "▁again": 1076, + "ating": 1077, + "те": 1078, + "ner": 1079, + "▁most": 1080, + "line": 1081, + "ym": 1082, + "▁sub": 1083, + "erson": 1084, + "▁requ": 1085, + "AL": 1086, + "AR": 1087, + "abel": 1088, + "ond": 1089, + "));": 1090, + "▁Se": 1091, + "▁But": 1092, + "alk": 1093, + "▁An": 1094, + "new": 1095, + "▁because": 1096, + "ger": 1097, + "ular": 1098, + "roup": 1099, + "ta": 1100, + "...": 1101, + "▁cons": 1102, + "▁right": 1103, + "▁fr": 1104, + "be": 1105, + "ily": 1106, + "ки": 1107, + "▁ph": 1108, + "ead": 1109, + "?\"": 1110, + "▁gu": 1111, + "▁else": 1112, + "▁som": 1113, + "rent": 1114, + "co": 1115, + "ement": 1116, + "▁str": 1117, + "ault": 1118, + "▁з": 1119, + "ло": 1120, + "sert": 1121, + "var": 1122, + "type": 1123, + "▁Com": 1124, + "ле": 1125, + "ins": 1126, + "me": 1127, + "way": 1128, + "ident": 1129, + "▁prov": 1130, + "▁м": 1131, + "▁true": 1132, + "▁Pro": 1133, + "fl": 1134, + "▁sl": 1135, + "▁As": 1136, + "}\\": 1137, + "ID": 1138, + "ues": 1139, + "▁inst": 1140, + "▁name": 1141, + "ox": 1142, + "▁)": 1143, + "li": 1144, + "ames": 1145, + "Res": 1146, + "▁sur": 1147, + "param": 1148, + "▁start": 1149, + "aj": 1150, + "SE": 1151, + "ask": 1152, + "IT": 1153, + "String": 1154, + "▁ass": 1155, + "▁play": 1156, + "ting": 1157, + "ton": 1158, + "▁before": 1159, + "▁pol": 1160, + "arch": 1161, + "▁well": 1162, + "Com": 1163, + "any": 1164, + "olog": 1165, + "▁err": 1166, + "▁these": 1167, + "ars": 1168, + "eb": 1169, + "▁br": 1170, + "▁incl": 1171, + "▁hel": 1172, + "ern": 1173, + "ody": 1174, + "во": 1175, + "▁ind": 1176, + "----------------": 1177, + "▁data": 1178, + "▁good": 1179, + "LE": 1180, + "],": 1181, + "▁av": 1182, + "▁ac": 1183, + "ider": 1184, + "не": 1185, + "▁Q": 1186, + "▁min": 1187, + "▁much": 1188, + "ci": 1189, + "els": 1190, + "▁cur": 1191, + "▁value": 1192, + "ery": 1193, + "uf": 1194, + "▁loc": 1195, + "reak": 1196, + "ative": 1197, + "imes": 1198, + "Cl": 1199, + "▁,": 1200, + "▁ser": 1201, + "▁die": 1202, + "▁trans": 1203, + "▁result": 1204, + "ext": 1205, + "▁aut": 1206, + "land": 1207, + "▁&&": 1208, + "Ch": 1209, + "ten": 1210, + "}$": 1211, + "▁type": 1212, + "cond": 1213, + "ices": 1214, + "▁very": 1215, + "▁own": 1216, + "▁fil": 1217, + "ities": 1218, + "▁produ": 1219, + "▁read": 1220, + "▁form": 1221, + "▁case": 1222, + "ather": 1223, + "ти": 1224, + "да": 1225, + "ер": 1226, + "Th": 1227, + "aut": 1228, + "▁spec": 1229, + "ij": 1230, + "bl": 1231, + "ility": 1232, + "▁é": 1233, + "▁er": 1234, + "▁does": 1235, + "▁here": 1236, + "the": 1237, + "ures": 1238, + "▁%": 1239, + "min": 1240, + "▁null": 1241, + "rap": 1242, + "\")": 1243, + "rr": 1244, + "List": 1245, + "right": 1246, + "▁User": 1247, + "UL": 1248, + "ational": 1249, + "▁being": 1250, + "AN": 1251, + "sk": 1252, + "▁car": 1253, + "ole": 1254, + "▁dist": 1255, + "plic": 1256, + "ollow": 1257, + "▁pres": 1258, + "▁such": 1259, + "ream": 1260, + "ince": 1261, + "gan": 1262, + "▁For": 1263, + "\":": 1264, + "son": 1265, + "rivate": 1266, + "▁years": 1267, + "▁serv": 1268, + "▁made": 1269, + "def": 1270, + ";\r": 1271, + "▁gl": 1272, + "▁bel": 1273, + "▁list": 1274, + "▁cor": 1275, + "▁det": 1276, + "ception": 1277, + "egin": 1278, + "▁б": 1279, + "▁char": 1280, + "trans": 1281, + "▁fam": 1282, + "▁!=": 1283, + "ouse": 1284, + "▁dec": 1285, + "ica": 1286, + "▁many": 1287, + "aking": 1288, + "▁à": 1289, + "▁sim": 1290, + "ages": 1291, + "uff": 1292, + "ased": 1293, + "man": 1294, + "▁Sh": 1295, + "iet": 1296, + "irect": 1297, + "▁Re": 1298, + "▁differ": 1299, + "▁find": 1300, + "ethod": 1301, + "▁\r": 1302, + "ines": 1303, + "▁inv": 1304, + "▁point": 1305, + "▁They": 1306, + "▁used": 1307, + "ctions": 1308, + "▁still": 1309, + "ió": 1310, + "ined": 1311, + "▁while": 1312, + "It": 1313, + "ember": 1314, + "▁say": 1315, + "▁help": 1316, + "▁cre": 1317, + "▁x": 1318, + "▁Tr": 1319, + "ument": 1320, + "▁sk": 1321, + "ought": 1322, + "ually": 1323, + "message": 1324, + "▁Con": 1325, + "▁mon": 1326, + "ared": 1327, + "work": 1328, + "):": 1329, + "ister": 1330, + "arn": 1331, + "ized": 1332, + "Data": 1333, + "orn": 1334, + "▁head": 1335, + "DE": 1336, + "▁Le": 1337, + "▁person": 1338, + "ments": 1339, + "ength": 1340, + "▁false": 1341, + "▁med": 1342, + "▁De": 1343, + "ache": 1344, + "ited": 1345, + "▁let": 1346, + "▁show": 1347, + "▁same": 1348, + "uss": 1349, + "▁gener": 1350, + "▁у": 1351, + "cur": 1352, + "▁real": 1353, + "ced": 1354, + "\">": 1355, + "struct": 1356, + "begin": 1357, + "cept": 1358, + "▁bo": 1359, + "ired": 1360, + "▁Fr": 1361, + "▁stud": 1362, + "dev": 1363, + "Ar": 1364, + "(\\": 1365, + "▁Cl": 1366, + "ween": 1367, + "▁too": 1368, + "▁test": 1369, + "▁day": 1370, + "oh": 1371, + "▁follow": 1372, + "ature": 1373, + "ze": 1374, + "ien": 1375, + "reg": 1376, + "ces": 1377, + "uring": 1378, + "amb": 1379, + "ina": 1380, + "cri": 1381, + "▁ed": 1382, + "SS": 1383, + "uck": 1384, + "▁/*": 1385, + "CT": 1386, + "▁There": 1387, + "▁take": 1388, + "par": 1389, + "ule": 1390, + "cal": 1391, + "for": 1392, + "****************": 1393, + "source": 1394, + "▁those": 1395, + "col": 1396, + "▁eff": 1397, + "mod": 1398, + "cont": 1399, + "}{": 1400, + "▁around": 1401, + "press": 1402, + "by": 1403, + "▁going": 1404, + "ponse": 1405, + "▁С": 1406, + "▁line": 1407, + "date": 1408, + "code": 1409, + "['": 1410, + "▁life": 1411, + "ason": 1412, + "▁using": 1413, + "▁val": 1414, + "▁du": 1415, + "yp": 1416, + "▁▁▁▁▁▁▁▁▁▁▁▁▁▁": 1417, + "▁On": 1418, + "▁found": 1419, + "olut": 1420, + "']": 1421, + "arent": 1422, + "▁string": 1423, + "▁met": 1424, + "▁wr": 1425, + "ush": 1426, + "string": 1427, + "size": 1428, + "▁ver": 1429, + "▁each": 1430, + "value": 1431, + "▁last": 1432, + "▁got": 1433, + "ven": 1434, + "back": 1435, + "Set": 1436, + "ey": 1437, + "rol": 1438, + "▁cr": 1439, + "thing": 1440, + "ret": 1441, + "és": 1442, + "ism": 1443, + "▁between": 1444, + "Ob": 1445, + "ething": 1446, + "mp": 1447, + "▁lo": 1448, + "ats": 1449, + "▁New": 1450, + "ви": 1451, + "ado": 1452, + "dex": 1453, + "ди": 1454, + "▁pass": 1455, + "wh": 1456, + "▁den": 1457, + "Get": 1458, + "apt": 1459, + "▁ask": 1460, + "▁sup": 1461, + "Value": 1462, + "ны": 1463, + "▁try": 1464, + "lation": 1465, + "day": 1466, + "ness": 1467, + "ets": 1468, + "▁exper": 1469, + "Tr": 1470, + "▁Mar": 1471, + "serv": 1472, + "br": 1473, + "▁number": 1474, + "inal": 1475, + "cent": 1476, + "/*": 1477, + "not": 1478, + "ional": 1479, + "▁final": 1480, + "')": 1481, + "▁run": 1482, + "over": 1483, + "▁never": 1484, + "uc": 1485, + "▁high": 1486, + "yle": 1487, + "▁ins": 1488, + "▁best": 1489, + "ittle": 1490, + "ric": 1491, + "▁sign": 1492, + "▁dem": 1493, + "iness": 1494, + "gy": 1495, + "▁war": 1496, + "ished": 1497, + "▁giv": 1498, + "key": 1499, + "▁X": 1500, + "($": 1501, + "▁child": 1502, + "less": 1503, + "ways": 1504, + "incl": 1505, + "rop": 1506, + "raw": 1507, + "://": 1508, + "▁«": 1509, + "no": 1510, + "indow": 1511, + "fe": 1512, + "riend": 1513, + "▁les": 1514, + "▁los": 1515, + "file": 1516, + "formation": 1517, + "ccess": 1518, + "▁В": 1519, + "na": 1520, + "▁il": 1521, + "ision": 1522, + "ler": 1523, + "▁art": 1524, + "Cont": 1525, + "▁world": 1526, + "▁turn": 1527, + "▁really": 1528, + "▁Ex": 1529, + "ма": 1530, + "▁П": 1531, + "ters": 1532, + "arget": 1533, + "Err": 1534, + "▁happ": 1535, + "time": 1536, + "▁So": 1537, + "div": 1538, + "▁didn": 1539, + "ada": 1540, + "oot": 1541, + "})": 1542, + "▁sch": 1543, + "▁cle": 1544, + "▁something": 1545, + "().": 1546, + "▁cour": 1547, + "ever": 1548, + "ants": 1549, + "▁?": 1550, + "To": 1551, + "▁`": 1552, + "try": 1553, + "ux": 1554, + "ais": 1555, + "ross": 1556, + "hip": 1557, + "▁rep": 1558, + "label": 1559, + "▁both": 1560, + "*,": 1561, + "ott": 1562, + "ми": 1563, + "ane": 1564, + "▁open": 1565, + "ww": 1566, + "▁come": 1567, + "▁ext": 1568, + "rem": 1569, + "_{\\": 1570, + "▁old": 1571, + "ched": 1572, + "._": 1573, + "ME": 1574, + "ify": 1575, + "gg": 1576, + "Col": 1577, + "view": 1578, + "▁bus": 1579, + "▁must": 1580, + "▁different": 1581, + "log": 1582, + "ists": 1583, + "roll": 1584, + "ai": 1585, + "▁за": 1586, + "▁system": 1587, + "ivers": 1588, + "atus": 1589, + "ote": 1590, + "med": 1591, + "].": 1592, + "akes": 1593, + "RO": 1594, + "▁cent": 1595, + "gram": 1596, + "▁private": 1597, + "▁great": 1598, + "\";": 1599, + "opy": 1600, + "▁feel": 1601, + "▁How": 1602, + "////": 1603, + "IC": 1604, + "▁dr": 1605, + "ains": 1606, + "lock": 1607, + "En": 1608, + "▁Sch": 1609, + "▁mat": 1610, + "▁home": 1611, + "perty": 1612, + "test": 1613, + "loc": 1614, + "▁wom": 1615, + "sw": 1616, + "arly": 1617, + "▁En": 1618, + "▁ко": 1619, + "den": 1620, + "ста": 1621, + "▁а": 1622, + "eter": 1623, + "▁includ": 1624, + "ULL": 1625, + "▁mem": 1626, + "▁po": 1627, + "▁little": 1628, + "▁arg": 1629, + "▁},": 1630, + "include": 1631, + "eta": 1632, + "▁place": 1633, + "idth": 1634, + "ustom": 1635, + "▁||": 1636, + "▁tem": 1637, + "ried": 1638, + "▁fact": 1639, + "ience": 1640, + "▁Pl": 1641, + "opt": 1642, + "ele": 1643, + "go": 1644, + "AC": 1645, + "inter": 1646, + "========": 1647, + "(),": 1648, + "ots": 1649, + "ral": 1650, + "ique": 1651, + "aving": 1652, + "ml": 1653, + "▁thought": 1654, + "frac": 1655, + "▁care": 1656, + "());": 1657, + "▁put": 1658, + "▁might": 1659, + "▁Amer": 1660, + "▁(!": 1661, + "ample": 1662, + "alth": 1663, + "▁few": 1664, + "▁state": 1665, + "sub": 1666, + "▁Or": 1667, + "];": 1668, + "▁size": 1669, + "▁Sp": 1670, + "▁without": 1671, + "▁poss": 1672, + "eq": 1673, + "play": 1674, + "▁expect": 1675, + "▁second": 1676, + "▁String": 1677, + "uild": 1678, + "▁next": 1679, + "++": 1680, + "requ": 1681, + "▁All": 1682, + "▁men": 1683, + "▁When": 1684, + "iter": 1685, + "ament": 1686, + "net": 1687, + "▁К": 1688, + "ron": 1689, + "aint": 1690, + "▁Is": 1691, + "ве": 1692, + "pend": 1693, + "translation": 1694, + "▁го": 1695, + "че": 1696, + "▁van": 1697, + "▁another": 1698, + "▁ret": 1699, + "▁La": 1700, + "Mod": 1701, + "ION": 1702, + "list": 1703, + "▁post": 1704, + "da": 1705, + "ware": 1706, + "▁word": 1707, + "Error": 1708, + "▁seem": 1709, + "▁contin": 1710, + "atic": 1711, + "▁three": 1712, + "Object": 1713, + "▁partic": 1714, + "$.": 1715, + "▁mark": 1716, + "▁vis": 1717, + "rc": 1718, + "▁sw": 1719, + "ptions": 1720, + "▁break": 1721, + "▁things": 1722, + "ute": 1723, + "ui": 1724, + "▁That": 1725, + "urs": 1726, + "gl": 1727, + "ру": 1728, + "▁file": 1729, + "use": 1730, + "igned": 1731, + "part": 1732, + "Un": 1733, + "▁equ": 1734, + "(&": 1735, + "▁lead": 1736, + "rm": 1737, + "ained": 1738, + "▁Be": 1739, + "path": 1740, + "▁small": 1741, + "ager": 1742, + "▁always": 1743, + "▁El": 1744, + "▁order": 1745, + "▁ey": 1746, + "▁won": 1747, + "ape": 1748, + "▁left": 1749, + "ava": 1750, + "item": 1751, + "hor": 1752, + "▁away": 1753, + "bb": 1754, + "fun": 1755, + "▁Ind": 1756, + "mb": 1757, + "▁struct": 1758, + "▁process": 1759, + "▁support": 1760, + ");\r": 1761, + "ión": 1762, + "LO": 1763, + "▁oper": 1764, + "UT": 1765, + "▁·": 1766, + "PE": 1767, + "load": 1768, + "off": 1769, + "▁No": 1770, + "ives": 1771, + "ican": 1772, + "▁ve": 1773, + "action": 1774, + "';": 1775, + "▁vo": 1776, + "$,": 1777, + "▁Gr": 1778, + "pre": 1779, + "ny": 1780, + "aining": 1781, + "ior": 1782, + "init": 1783, + "lection": 1784, + "arm": 1785, + "umn": 1786, + "ags": 1787, + "ци": 1788, + "ско": 1789, + "version": 1790, + "▁To": 1791, + "▁ref": 1792, + "stand": 1793, + "▁At": 1794, + "ift": 1795, + "▁ein": 1796, + "face": 1797, + "bo": 1798, + "ified": 1799, + "ved": 1800, + "sum": 1801, + "une": 1802, + "ital": 1803, + "ump": 1804, + "comm": 1805, + "▁mov": 1806, + "elt": 1807, + "▁von": 1808, + "velop": 1809, + "ctor": 1810, + "head": 1811, + "cle": 1812, + "▁build": 1813, + "inc": 1814, + ".'": 1815, + "bs": 1816, + "info": 1817, + "chn": 1818, + "▁week": 1819, + "▁book": 1820, + "HE": 1821, + "bar": 1822, + "icense": 1823, + "▁What": 1824, + "▁quest": 1825, + "urch": 1826, + "ato": 1827, + "left": 1828, + "▁mar": 1829, + "▁top": 1830, + "FF": 1831, + "▁friend": 1832, + "▁beh": 1833, + "▁field": 1834, + "▁against": 1835, + "ract": 1836, + "ization": 1837, + "user": 1838, + "chen": 1839, + "▁keep": 1840, + "AD": 1841, + "itor": 1842, + "▁non": 1843, + "ird": 1844, + "ope": 1845, + "▁rest": 1846, + "▁dev": 1847, + "▁__": 1848, + "▁una": 1849, + "▁term": 1850, + "IS": 1851, + "▁pop": 1852, + "rist": 1853, + "▁since": 1854, + "ves": 1855, + "▁hard": 1856, + "pi": 1857, + "util": 1858, + "▁soc": 1859, + "ene": 1860, + "Exception": 1861, + "▁local": 1862, + "▁direct": 1863, + "▁sure": 1864, + "▁bro": 1865, + "▁da": 1866, + "▁": 2370, + "aim": 2371, + "▁service": 2372, + "▁within": 2373, + "angu": 2374, + "▁Д": 2375, + "uffer": 2376, + "AG": 2377, + "▁Do": 2378, + "▁incre": 2379, + "▁understand": 2380, + "}^": 2381, + "▁looked": 2382, + "gen": 2383, + "ailed": 2384, + "▁е": 2385, + "ayer": 2386, + "▁One": 2387, + "▁bas": 2388, + "▁job": 2389, + "mu": 2390, + "but": 2391, + "elta": 2392, + "▁Christ": 2393, + "uration": 2394, + "▁record": 2395, + "▁Univers": 2396, + "ivid": 2397, + "valid": 2398, + "▁Р": 2399, + "▁hold": 2400, + "▁table": 2401, + "ones": 2402, + "link": 2403, + "▁Ge": 2404, + "▁offer": 2405, + "ster": 2406, + "Form": 2407, + "={": 2408, + "▁не": 2409, + "stance": 2410, + "▁govern": 2411, + "▁techn": 2412, + "▁prim": 2413, + "*.": 2414, + "cho": 2415, + "max": 2416, + "▁fore": 2417, + "▁Can": 2418, + "▁polit": 2419, + "ories": 2420, + "▁times": 2421, + "▁dans": 2422, + "▁air": 2423, + "▁anything": 2424, + "▁sever": 2425, + "acy": 2426, + "}_": 2427, + "He": 2428, + "▁least": 2429, + "ips": 2430, + "ENT": 2431, + "do": 2432, + "▁от": 2433, + "▁cost": 2434, + ".”": 2435, + "▁children": 2436, + "ability": 2437, + "But": 2438, + "▁path": 2439, + "result": 2440, + "acter": 2441, + "▁element": 2442, + "ee": 2443, + "▁wait": 2444, + "▁money": 2445, + "Map": 2446, + "td": 2447, + "oin": 2448, + "iving": 2449, + "icht": 2450, + "icy": 2451, + "sch": 2452, + "ste": 2453, + "ду": 2454, + "ored": 2455, + "oud": 2456, + "ille": 2457, + "ised": 2458, + "plication": 2459, + "▁custom": 2460, + "▁having": 2461, + "ponent": 2462, + "▁By": 2463, + "ules": 2464, + "ued": 2465, + "atter": 2466, + "And": 2467, + "itive": 2468, + "Def": 2469, + "▁moment": 2470, + "aterial": 2471, + "Class": 2472, + "ograph": 2473, + "ike": 2474, + "▁large": 2475, + "▁####": 2476, + "▁either": 2477, + "duct": 2478, + "▁Then": 2479, + "▁Gu": 2480, + "olean": 2481, + "pert": 2482, + "▁Get": 2483, + "▁Ab": 2484, + "▁short": 2485, + "On": 2486, + "iment": 2487, + "▁project": 2488, + "cript": 2489, + "▁including": 2490, + "ния": 2491, + "▁making": 2492, + "▁someone": 2493, + "▁Fl": 2494, + "▁sat": 2495, + "▁company": 2496, + "ocus": 2497, + "pu": 2498, + "▁God": 2499, + "ification": 2500, + "No": 2501, + "▁sn": 2502, + "ano": 2503, + "ga": 2504, + "▁au": 2505, + "▁cou": 2506, + "ás": 2507, + "ended": 2508, + "ту": 2509, + "ober": 2510, + "▁nothing": 2511, + "▁net": 2512, + "▁pot": 2513, + "▁typ": 2514, + "▁item": 2515, + "rew": 2516, + "Att": 2517, + "▁young": 2518, + "}\r": 2519, + "nder": 2520, + "start": 2521, + "▁Sc": 2522, + "*)": 2523, + "▁enc": 2524, + "▁women": 2525, + "▁looking": 2526, + "▁ро": 2527, + "▁health": 2528, + "Path": 2529, + "▁After": 2530, + "▁mult": 2531, + "▁{\\": 2532, + "▁land": 2533, + "orld": 2534, + "▁Des": 2535, + "▁eng": 2536, + "input": 2537, + "▁Pol": 2538, + "\"\"": 2539, + "Code": 2540, + "▁supp": 2541, + "ainer": 2542, + "heck": 2543, + "▁mor": 2544, + "▁mill": 2545, + "▁aw": 2546, + "fs": 2547, + "▁doing": 2548, + "tings": 2549, + "ades": 2550, + "▁toget": 2551, + "▁certain": 2552, + "▁together": 2553, + "CE": 2554, + "ideo": 2555, + "▁American": 2556, + "ony": 2557, + "idd": 2558, + "II": 2559, + "ged": 2560, + "ables": 2561, + "▁ident": 2562, + "iod": 2563, + "▁parent": 2564, + "For": 2565, + "ambda": 2566, + "ando": 2567, + "=\\": 2568, + "aged": 2569, + "ending": 2570, + "Int": 2571, + "▁possible": 2572, + "▁со": 2573, + "ivity": 2574, + "num": 2575, + "rt": 2576, + "ajor": 2577, + "create": 2578, + "ride": 2579, + "▁knew": 2580, + "bit": 2581, + "itional": 2582, + "▁lik": 2583, + "▁Her": 2584, + "ension": 2585, + "\".": 2586, + "oto": 2587, + "▁exist": 2588, + "aken": 2589, + "▁actually": 2590, + "ca": 2591, + "▁Г": 2592, + "хо": 2593, + "inn": 2594, + "All": 2595, + "buf": 2596, + "▁Me": 2597, + "▁seen": 2598, + "ops": 2599, + "▁▁▁▁▁▁▁▁▁": 2600, + "Not": 2601, + "▁control": 2602, + "▁respon": 2603, + "};": 2604, + "ilt": 2605, + "isk": 2606, + "▁bad": 2607, + "▁often": 2608, + "▁past": 2609, + "aper": 2610, + "▁reason": 2611, + "eters": 2612, + "▁wanted": 2613, + "ura": 2614, + "table": 2615, + "ormal": 2616, + "width": 2617, + "га": 2618, + "ptr": 2619, + "▁dest": 2620, + "▁design": 2621, + "▁sound": 2622, + "▁plan": 2623, + "▁base": 2624, + "hand": 2625, + "gs": 2626, + "▁says": 2627, + "function": 2628, + "▁tri": 2629, + "mt": 2630, + "▁invest": 2631, + "▁available": 2632, + "ayout": 2633, + "▁och": 2634, + "▁las": 2635, + "illed": 2636, + "Val": 2637, + "▁ф": 2638, + "iety": 2639, + "mon": 2640, + "Hand": 2641, + "Fr": 2642, + "iam": 2643, + "pace": 2644, + "▁Ob": 2645, + "▁para": 2646, + "▁meet": 2647, + "▁sum": 2648, + "Message": 2649, + "ici": 2650, + "▁known": 2651, + "▁gen": 2652, + "amma": 2653, + "arr": 2654, + "▁tre": 2655, + "oke": 2656, + "uth": 2657, + "~\\": 2658, + "▁experience": 2659, + "icle": 2660, + "▁Il": 2661, + "▁sent": 2662, + "▁others": 2663, + "▁soft": 2664, + "IP": 2665, + "▁max": 2666, + "ball": 2667, + "▁market": 2668, + "▁pour": 2669, + "pression": 2670, + "eps": 2671, + "▁saw": 2672, + "▁across": 2673, + "▁Su": 2674, + "Over": 2675, + "ние": 2676, + "ulation": 2677, + "▁Reg": 2678, + "▁+=": 2679, + "body": 2680, + ")\\": 2681, + "▁print": 2682, + "▁при": 2683, + "db": 2684, + "ources": 2685, + "wards": 2686, + "▁black": 2687, + "со": 2688, + "ili": 2689, + "▁Ed": 2690, + "▁complet": 2691, + "▁single": 2692, + "▁IN": 2693, + "ached": 2694, + "bt": 2695, + "▁code": 2696, + "▁bool": 2697, + "▁area": 2698, + "▁require": 2699, + "▁problem": 2700, + "aced": 2701, + "Equ": 2702, + "▁config": 2703, + "vec": 2704, + "ney": 2705, + "cy": 2706, + "Al": 2707, + "▁account": 2708, + "ymbol": 2709, + "▁ste": 2710, + "ges": 2711, + "Array": 2712, + "empl": 2713, + "context": 2714, + "Des": 2715, + "Result": 2716, + "ecut": 2717, + "▁target": 2718, + "▁getting": 2719, + "\"/>": 2720, + "ogle": 2721, + "▁himself": 2722, + "▁wasn": 2723, + "▁block": 2724, + "▁ant": 2725, + "▁York": 2726, + "▁become": 2727, + "iff": 2728, + "ports": 2729, + "reate": 2730, + "='": 2731, + "cd": 2732, + "location": 2733, + "ет": 2734, + "▁access": 2735, + "gress": 2736, + "ros": 2737, + "Up": 2738, + "▁working": 2739, + "▁Am": 2740, + "iqu": 2741, + "cer": 2742, + "▁((": 2743, + "▁Per": 2744, + "▁func": 2745, + "▁girl": 2746, + "▁above": 2747, + "pen": 2748, + "пи": 2749, + "ido": 2750, + "▁version": 2751, + "TY": 2752, + "▁;": 2753, + "mary": 2754, + "abled": 2755, + "annel": 2756, + "▁example": 2757, + "▁context": 2758, + "OP": 2759, + "▁red": 2760, + "▁cir": 2761, + "sm": 2762, + "Log": 2763, + "▁space": 2764, + "▁fut": 2765, + "▁Gener": 2766, + "ills": 2767, + "▁dri": 2768, + "_.": 2769, + "▁felt": 2770, + "▁offic": 2771, + "▁===": 2772, + "ii": 2773, + "▁started": 2774, + "▁Т": 2775, + "▁});": 2776, + "js": 2777, + "▁front": 2778, + "▁almost": 2779, + "irm": 2780, + "!\"": 2781, + "signed": 2782, + "▁yet": 2783, + "▁trad": 2784, + "ients": 2785, + "ama": 2786, + "▁input": 2787, + "lim": 2788, + "па": 2789, + "▁ка": 2790, + "▁camp": 2791, + "ibr": 2792, + "fect": 2793, + "unt": 2794, + "▁half": 2795, + "▁cover": 2796, + "anguage": 2797, + "▁ben": 2798, + "ha": 2799, + "▁diff": 2800, + "_\\": 2801, + "▁об": 2802, + "])": 2803, + "odes": 2804, + "hel": 2805, + "ios": 2806, + "▁О": 2807, + "▁mot": 2808, + "▁social": 2809, + "////////": 2810, + "▁stre": 2811, + "ground": 2812, + "ів": 2813, + "object": 2814, + "ples": 2815, + "reed": 2816, + "▁een": 2817, + "▁based": 2818, + "▁range": 2819, + "An": 2820, + "urg": 2821, + "▁learn": 2822, + "▁exc": 2823, + "▁imp": 2824, + "▁means": 2825, + "▁wur": 2826, + "ends": 2827, + "void": 2828, + "▁std": 2829, + "▁particular": 2830, + "ja": 2831, + "▁source": 2832, + "default": 2833, + "py": 2834, + "▁als": 2835, + "scri": 2836, + "status": 2837, + "▁story": 2838, + "▁begin": 2839, + "▁position": 2840, + "▁special": 2841, + "php": 2842, + "▁bar": 2843, + "▁pract": 2844, + "call": 2845, + "▁das": 2846, + "▁rad": 2847, + "▁close": 2848, + "www": 2849, + "ере": 2850, + "gu": 2851, + "▁Er": 2852, + "▁dom": 2853, + "AM": 2854, + "▁bed": 2855, + "▁several": 2856, + "aul": 2857, + "box": 2858, + "▁low": 2859, + "pack": 2860, + "Reg": 2861, + "Of": 2862, + "atures": 2863, + "én": 2864, + "eder": 2865, + "uilder": 2866, + "cast": 2867, + "conom": 2868, + "raft": 2869, + "▁makes": 2870, + "Loc": 2871, + "http": 2872, + "▁abs": 2873, + "resh": 2874, + "▁Will": 2875, + "break": 2876, + "▁options": 2877, + "fort": 2878, + "▁из": 2879, + "▁anal": 2880, + "▁env": 2881, + "({": 2882, + "event": 2883, + "▁page": 2884, + "ternal": 2885, + "▁distribut": 2886, + "▁food": 2887, + "check": 2888, + "CK": 2889, + "▁во": 2890, + "assert": 2891, + "án": 2892, + "base": 2893, + "▁whole": 2894, + "ación": 2895, + "OD": 2896, + "▁turned": 2897, + "igma": 2898, + "▁response": 2899, + "▁University": 2900, + "▁div": 2901, + "apter": 2902, + "▁results": 2903, + "▁represent": 2904, + "▁everything": 2905, + "▁Cent": 2906, + "utes": 2907, + "rix": 2908, + "▁Some": 2909, + "▁behind": 2910, + "▁creat": 2911, + "place": 2912, + "su": 2913, + "▁Part": 2914, + "umb": 2915, + "mathbb": 2916, + "ping": 2917, + "▁match": 2918, + "Out": 2919, + "dom": 2920, + "▁situ": 2921, + "dr": 2922, + "ara": 2923, + "▁window": 2924, + "ns": 2925, + "lished": 2926, + "▁Ver": 2927, + "▁message": 2928, + "▁Em": 2929, + "▁human": 2930, + "perties": 2931, + "лу": 2932, + "lem": 2933, + "ORT": 2934, + "▁early": 2935, + "▁quick": 2936, + "▁та": 2937, + "roid": 2938, + "▁country": 2939, + "▁due": 2940, + "▁Die": 2941, + "▁trying": 2942, + "▁live": 2943, + "▁press": 2944, + "INT": 2945, + "With": 2946, + "oved": 2947, + "▁specific": 2948, + "▁fall": 2949, + "uk": 2950, + "yl": 2951, + "▁general": 2952, + "му": 2953, + "ну": 2954, + "▁names": 2955, + "where": 2956, + "▁These": 2957, + "▁sil": 2958, + "ét": 2959, + "▁ener": 2960, + "▁Now": 2961, + "▁address": 2962, + "Response": 2963, + "▁Mr": 2964, + "▁answ": 2965, + "▁film": 2966, + "▁strong": 2967, + "▁bring": 2968, + "▁United": 2969, + "▁ge": 2970, + "▁woman": 2971, + "New": 2972, + "ett": 2973, + ".)": 2974, + "ename": 2975, + "▁AN": 2976, + "▁describ": 2977, + "за": 2978, + "ising": 2979, + "EL": 2980, + "ql": 2981, + "▁fur": 2982, + "ying": 2983, + "▁Cal": 2984, + "▁Dr": 2985, + "ERR": 2986, + "▁\\\\": 2987, + "angle": 2988, + "urope": 2989, + "▁city": 2990, + "▁index": 2991, + "▁action": 2992, + "▁However": 2993, + "▁fig": 2994, + "ias": 2995, + "▁question": 2996, + "▁Jan": 2997, + "▁Med": 2998, + "▁Cont": 2999, + "amed": 3000, + "Call": 3001, + "plied": 3002, + "tty": 3003, + "▁individ": 3004, + "page": 3005, + "▁comb": 3006, + "section": 3007, + "▁Comm": 3008, + "uel": 3009, + "▁het": 3010, + "▁Bar": 3011, + "agement": 3012, + "fin": 3013, + "▁major": 3014, + "oper": 3015, + "api": 3016, + "room": 3017, + "▁„": 3018, + "▁hab": 3019, + "зи": 3020, + "▁auf": 3021, + "current": 3022, + "ni": 3023, + "▁include": 3024, + "▁qui": 3025, + "va": 3026, + "UE": 3027, + "▁idea": 3028, + ",'": 3029, + "▁required": 3030, + "▁heart": 3031, + "ibility": 3032, + "iction": 3033, + "Model": 3034, + "write": 3035, + "▁content": 3036, + "▁wer": 3037, + "▁hands": 3038, + "zen": 3039, + "char": 3040, + "}^{": 3041, + "▁mass": 3042, + "ply": 3043, + "▁nat": 3044, + "rel": 3045, + "▁dat": 3046, + "================": 3047, + "imal": 3048, + "▁probably": 3049, + "unch": 3050, + "▁mer": 3051, + "ilar": 3052, + "ires": 3053, + "▁watch": 3054, + "SI": 3055, + "▁cult": 3056, + "▁mother": 3057, + "▁government": 3058, + "ording": 3059, + "▁()": 3060, + "▁pri": 3061, + "▁link": 3062, + "group": 3063, + "OL": 3064, + "▁near": 3065, + "▁Ser": 3066, + "Ser": 3067, + "ito": 3068, + "▁values": 3069, + "▁java": 3070, + "fully": 3071, + "Count": 3072, + "++)": 3073, + "▁vi": 3074, + "▁white": 3075, + "mat": 3076, + "ctx": 3077, + "▁conc": 3078, + "▁stay": 3079, + "ging": 3080, + "▁clear": 3081, + "▁copy": 3082, + "selves": 3083, + "▁provide": 3084, + "▁words": 3085, + "comp": 3086, + "args": 3087, + "▁pick": 3088, + "uly": 3089, + "▁vari": 3090, + "▁believe": 3091, + "▁Co": 3092, + "Property": 3093, + "Group": 3094, + "▁ten": 3095, + "ischen": 3096, + "eturn": 3097, + "ival": 3098, + "System": 3099, + "CL": 3100, + "bed": 3101, + "▁total": 3102, + "▁ist": 3103, + "Input": 3104, + "uments": 3105, + "Manager": 3106, + "ши": 3107, + "▁win": 3108, + "leep": 3109, + "PI": 3110, + "ного": 3111, + "ruction": 3112, + "▁inte": 3113, + "App": 3114, + "avor": 3115, + "▁respect": 3116, + "ators": 3117, + "▁como": 3118, + "▁cut": 3119, + "FA": 3120, + "▁sus": 3121, + "▁App": 3122, + "rect": 3123, + "FI": 3124, + "▁began": 3125, + "oph": 3126, + "▁sort": 3127, + "though": 3128, + "је": 3129, + "icro": 3130, + "Trans": 3131, + "лі": 3132, + "▁Inst": 3133, + "request": 3134, + "ор": 3135, + "▁relations": 3136, + "-\\": 3137, + "Status": 3138, + "жи": 3139, + "▁father": 3140, + "cs": 3141, + "▁sex": 3142, + "isch": 3143, + "vo": 3144, + "}_{": 3145, + "aven": 3146, + "▁Ne": 3147, + "ATE": 3148, + "itten": 3149, + "▁ess": 3150, + "TH": 3151, + "ights": 3152, + "▁hom": 3153, + "▁today": 3154, + "▁zu": 3155, + "ita": 3156, + "▁isn": 3157, + "▁opt": 3158, + "ogn": 3159, + "ér": 3160, + "▁whether": 3161, + "ixed": 3162, + "phi": 3163, + "idence": 3164, + "ald": 3165, + "Client": 3166, + "At": 3167, + "▁death": 3168, + "▁Let": 3169, + "ius": 3170, + "ги": 3171, + "▁ре": 3172, + "ben": 3173, + ")\r": 3174, + "ba": 3175, + ">": 3193, + "▁Just": 3194, + "What": 3195, + "atal": 3196, + "▁Min": 3197, + "▁Cor": 3198, + "▁dark": 3199, + "rl": 3200, + "▁larg": 3201, + "ding": 3202, + "ón": 3203, + "ouch": 3204, + "▁um": 3205, + "▁elect": 3206, + "▁dam": 3207, + "▁needs": 3208, + "▁matter": 3209, + "▁rather": 3210, + "from": 3211, + "ram": 3212, + "▁і": 3213, + "▁taken": 3214, + "▁deal": 3215, + "▁period": 3216, + "▁Mon": 3217, + "▁Л": 3218, + "▁Aug": 3219, + "run": 3220, + "mm": 3221, + "elle": 3222, + "▁export": 3223, + "Sc": 3224, + "vis": 3225, + "abor": 3226, + "▁author": 3227, + "ère": 3228, + "▁remember": 3229, + "▁redu": 3230, + "▁List": 3231, + "▁focus": 3232, + "▁character": 3233, + "Table": 3234, + "▁individual": 3235, + "▁needed": 3236, + "bum": 3237, + "▁style": 3238, + "inary": 3239, + "ersion": 3240, + "oute": 3241, + "▁Pe": 3242, + "▁hon": 3243, + "mut": 3244, + "see": 3245, + "▁became": 3246, + "▁dire": 3247, + "▁document": 3248, + "sec": 3249, + "ening": 3250, + "▁visit": 3251, + "▁fac": 3252, + "tx": 3253, + "down": 3254, + "plit": 3255, + "▁phys": 3256, + "itting": 3257, + "joy": 3258, + "▁hig": 3259, + "This": 3260, + "Ad": 3261, + "▁Brit": 3262, + "▁employ": 3263, + "▁ré": 3264, + "▁т": 3265, + "lambda": 3266, + "▁impro": 3267, + "▁Bo": 3268, + "iding": 3269, + "▁online": 3270, + "mem": 3271, + "atform": 3272, + "▁War": 3273, + "▁cas": 3274, + "asure": 3275, + "▁pur": 3276, + "medi": 3277, + "Dis": 3278, + "▁Germ": 3279, + "pc": 3280, + "са": 3281, + "▁friends": 3282, + "▁Mc": 3283, + "DI": 3284, + "▁plus": 3285, + "▁Set": 3286, + "iddle": 3287, + "itut": 3288, + "▁depend": 3289, + "rest": 3290, + "▁Je": 3291, + "▁hor": 3292, + "▁entire": 3293, + "Query": 3294, + "▁refer": 3295, + "▁hot": 3296, + "▁Aust": 3297, + "▁common": 3298, + "ці": 3299, + "▁pull": 3300, + "▁Add": 3301, + "▁season": 3302, + "▁invol": 3303, + "▁World": 3304, + "client": 3305, + "now": 3306, + "true": 3307, + "append": 3308, + "itted": 3309, + "empt": 3310, + "){": 3311, + "///": 3312, + "▁prop": 3313, + "imate": 3314, + "SC": 3315, + "▁hours": 3316, + "▁hope": 3317, + "andom": 3318, + "ід": 3319, + "istic": 3320, + "▁property": 3321, + "sg": 3322, + ">(": 3323, + "▁write": 3324, + "mark": 3325, + "find": 3326, + "▁personal": 3327, + "][": 3328, + "rown": 3329, + "Ph": 3330, + "▁foot": 3331, + "▁research": 3332, + "ironment": 3333, + "▁nom": 3334, + "▁instance": 3335, + "▁held": 3336, + "De": 3337, + "▁members": 3338, + "▁fire": 3339, + "▁history": 3340, + "▁map": 3341, + "▁discuss": 3342, + "▁espec": 3343, + "▁taking": 3344, + "▁services": 3345, + "▁indust": 3346, + "igen": 3347, + "▁Ass": 3348, + "▁expected": 3349, + "▁wurde": 3350, + "dir": 3351, + "▁among": 3352, + "▁sugg": 3353, + "rec": 3354, + "Inter": 3355, + "block": 3356, + "▁Rep": 3357, + "▁pain": 3358, + "▁five": 3359, + "▁fund": 3360, + "rid": 3361, + "arrow": 3362, + "▁treat": 3363, + "▁heard": 3364, + "▁determ": 3365, + "icult": 3366, + "▁sense": 3367, + "ese": 3368, + "Fun": 3369, + "▁months": 3370, + "json": 3371, + ",”": 3372, + "TI": 3373, + "orage": 3374, + "▁У": 3375, + "▁everyone": 3376, + "▁clos": 3377, + "iers": 3378, + "airs": 3379, + "define": 3380, + "If": 3381, + "osp": 3382, + "▁wonder": 3383, + "NA": 3384, + "query": 3385, + "pg": 3386, + "ites": 3387, + "▁material": 3388, + "yd": 3389, + "Read": 3390, + "html": 3391, + "TE": 3392, + "Pr": 3393, + "^{\\": 3394, + "▁gave": 3395, + "▁IS": 3396, + "▁suggest": 3397, + "Override": 3398, + "rodu": 3399, + "From": 3400, + "▁Europe": 3401, + "PO": 3402, + "▁soon": 3403, + "host": 3404, + "▁Ber": 3405, + "....": 3406, + "▁Har": 3407, + "▁energy": 3408, + "><": 3409, + "aves": 3410, + "▁easy": 3411, + "▁bre": 3412, + "frame": 3413, + "▁ground": 3414, + "with": 3415, + "▁inside": 3416, + "ief": 3417, + "▁mo": 3418, + "pm": 3419, + "pan": 3420, + "igr": 3421, + "▁om": 3422, + "next": 3423, + "omet": 3424, + "▁status": 3425, + "▁}\r": 3426, + "▁music": 3427, + "ora": 3428, + "iles": 3429, + "ki": 3430, + "▁esc": 3431, + "▁bes": 3432, + "▁Dis": 3433, + "▁host": 3434, + "▁comes": 3435, + "used": 3436, + "▁future": 3437, + "lick": 3438, + "aid": 3439, + "▁compet": 3440, + "▁voice": 3441, + "▁load": 3442, + "evel": 3443, + "▁neg": 3444, + "▁command": 3445, + "▁für": 3446, + "▁pie": 3447, + "▁quite": 3448, + "▁blo": 3449, + "agn": 3450, + "ilon": 3451, + "▁claim": 3452, + "▁teach": 3453, + "▁previous": 3454, + "▁site": 3455, + "color": 3456, + "attr": 3457, + "▁accept": 3458, + "▁exact": 3459, + ")}": 3460, + "aft": 3461, + "roller": 3462, + "он": 3463, + "oo": 3464, + "Date": 3465, + "▁ou": 3466, + "sy": 3467, + "▁pretty": 3468, + "▁image": 3469, + "BU": 3470, + "▁terms": 3471, + "▁search": 3472, + "▁è": 3473, + "▁Val": 3474, + "▁‘": 3475, + "▁Dav": 3476, + "MS": 3477, + "src": 3478, + "mar": 3479, + "incip": 3480, + "▁couldn": 3481, + "ados": 3482, + "▁dro": 3483, + "beta": 3484, + "imum": 3485, + "▁minutes": 3486, + "▁grand": 3487, + "▁»": 3488, + "▁Our": 3489, + "Str": 3490, + "VER": 3491, + "maz": 3492, + "▁original": 3493, + "ini": 3494, + "▁coll": 3495, + "loat": 3496, + "▁os": 3497, + "});": 3498, + "summary": 3499, + "▁wall": 3500, + "Color": 3501, + "▁vers": 3502, + "▁della": 3503, + "▁\"\"\"": 3504, + "mathbf": 3505, + "zer": 3506, + "aur": 3507, + "▁track": 3508, + "▁associ": 3509, + "▁suff": 3510, + "▁inde": 3511, + "ague": 3512, + "▁Apr": 3513, + "Le": 3514, + "roups": 3515, + "board": 3516, + "▁attack": 3517, + "▁series": 3518, + "▁instead": 3519, + "ham": 3520, + "book": 3521, + "▁six": 3522, + "▁Rec": 3523, + "▁coming": 3524, + "urt": 3525, + "▁global": 3526, + "▁necess": 3527, + "lege": 3528, + "Pos": 3529, + "▁leave": 3530, + "▁pod": 3531, + "ategory": 3532, + "uz": 3533, + "▁deep": 3534, + "▁km": 3535, + "▁outside": 3536, + "has": 3537, + "options": 3538, + "▁Sm": 3539, + "Sub": 3540, + "rows": 3541, + "▁ви": 3542, + "▁States": 3543, + "▁wrong": 3544, + "▁however": 3545, + "▁sem": 3546, + "▁catch": 3547, + "\"),": 3548, + "model": 3549, + "▁http": 3550, + "▁option": 3551, + "rie": 3552, + "▁ста": 3553, + "▁är": 3554, + "▁enjoy": 3555, + "nu": 3556, + "▁pas": 3557, + "▁amount": 3558, + "▁respons": 3559, + "▁Intern": 3560, + "▁myself": 3561, + "▁opp": 3562, + "▁Sim": 3563, + "▁sens": 3564, + "Ed": 3565, + "▁(\\": 3566, + "▁students": 3567, + "нов": 3568, + "▁points": 3569, + "arning": 3570, + "UP": 3571, + "elling": 3572, + "▁cannot": 3573, + "Be": 3574, + "▁length": 3575, + "null": 3576, + "uint": 3577, + "wise": 3578, + "▁double": 3579, + "ige": 3580, + "ista": 3581, + "▁estab": 3582, + "anch": 3583, + "▁ago": 3584, + "▁bound": 3585, + "▁fa": 3586, + "▁clean": 3587, + "▁simple": 3588, + "mi": 3589, + "########": 3590, + "ifier": 3591, + "▁General": 3592, + "▁seemed": 3593, + "ena": 3594, + "▁age": 3595, + "ной": 3596, + "endif": 3597, + "AA": 3598, + "▁caus": 3599, + "▁educ": 3600, + "▁cell": 3601, + "Gener": 3602, + "space": 3603, + "▁Your": 3604, + "▁beaut": 3605, + "gt": 3606, + "▁limit": 3607, + "▁date": 3608, + "Util": 3609, + "▁National": 3610, + "ows": 3611, + "pat": 3612, + "quad": 3613, + "▁ok": 3614, + "▁И": 3615, + "arth": 3616, + "hat": 3617, + "▁community": 3618, + "oul": 3619, + "▁econom": 3620, + "Component": 3621, + "bor": 3622, + "usion": 3623, + "▁below": 3624, + "earch": 3625, + "ores": 3626, + "ban": 3627, + "▁August": 3628, + "▁further": 3629, + "sigma": 3630, + "▁ha": 3631, + "ji": 3632, + "▁comput": 3633, + "гра": 3634, + "▁None": 3635, + "▁ter": 3636, + "▁anyone": 3637, + "▁task": 3638, + "ente": 3639, + "position": 3640, + "pped": 3641, + "▁aus": 3642, + "Attribute": 3643, + "req": 3644, + "addr": 3645, + "light": 3646, + "ше": 3647, + "▁arm": 3648, + "cover": 3649, + "upport": 3650, + "▁Gl": 3651, + "▁San": 3652, + "▁writing": 3653, + "▁lost": 3654, + "▁Mark": 3655, + "▁gre": 3656, + "TYPE": 3657, + "▁South": 3658, + "▁perfect": 3659, + "▁package": 3660, + "▁infl": 3661, + "haps": 3662, + "▁Ang": 3663, + "respon": 3664, + "ris": 3665, + "ptember": 3666, + "▁building": 3667, + "VAL": 3668, + "free": 3669, + "▁ce": 3670, + "HT": 3671, + "▁From": 3672, + "ds": 3673, + "roy": 3674, + "achine": 3675, + "nown": 3676, + "▁saying": 3677, + "▁бы": 3678, + "oe": 3679, + "Ref": 3680, + "▁network": 3681, + "parent": 3682, + "uge": 3683, + "▁similar": 3684, + ">\r": 3685, + "Builder": 3686, + "▁living": 3687, + "▁continue": 3688, + "anger": 3689, + "▁Red": 3690, + "▁hair": 3691, + "anced": 3692, + "ians": 3693, + "▁dead": 3694, + "▁boolean": 3695, + "ication": 3696, + "▁де": 3697, + "▁client": 3698, + "uct": 3699, + "▁•": 3700, + "SP": 3701, + "older": 3702, + "пе": 3703, + "udio": 3704, + "▁deg": 3705, + "asing": 3706, + "▁step": 3707, + "▁pers": 3708, + "ção": 3709, + "obj": 3710, + "oz": 3711, + "ula": 3712, + "▁round": 3713, + "▁upon": 3714, + "▁resource": 3715, + "▁valid": 3716, + "▁II": 3717, + "bug": 3718, + "std": 3719, + "▁ang": 3720, + "span": 3721, + "pol": 3722, + "ialog": 3723, + "▁phot": 3724, + "?'": 3725, + "DB": 3726, + "▁Fin": 3727, + "VE": 3728, + "Em": 3729, + "▁cam": 3730, + "target": 3731, + "pected": 3732, + "Hel": 3733, + "▁ut": 3734, + "▁Test": 3735, + "▁town": 3736, + "align": 3737, + "▁webs": 3738, + "inner": 3739, + "augh": 3740, + "▁except": 3741, + "▁initial": 3742, + "enty": 3743, + "lich": 3744, + "▁Aut": 3745, + "top": 3746, + "▁fail": 3747, + "ona": 3748, + "▁benef": 3749, + "anks": 3750, + "ische": 3751, + ".*": 3752, + "▁signific": 3753, + "▁contact": 3754, + "Rec": 3755, + "ario": 3756, + "ottom": 3757, + "▁relationship": 3758, + "]);": 3759, + "▁На": 3760, + "Head": 3761, + "format": 3762, + "▁ét": 3763, + "▁More": 3764, + "actory": 3765, + "portun": 3766, + "+\\": 3767, + "▁simply": 3768, + "▁ep": 3769, + "▁Russ": 3770, + "ní": 3771, + "ua": 3772, + "erc": 3773, + "▁longer": 3774, + "inition": 3775, + "ector": 3776, + "aption": 3777, + "▁profess": 3778, + "▁Mus": 3779, + "ilities": 3780, + "ès": 3781, + "▁Act": 3782, + "offset": 3783, + "▁ill": 3784, + "band": 3785, + "▁Ag": 3786, + "▁По": 3787, + "би": 3788, + "content": 3789, + "icon": 3790, + "▁works": 3791, + "ynam": 3792, + "plement": 3793, + "Resource": 3794, + "Action": 3795, + "▁difficult": 3796, + "▁West": 3797, + "▁video": 3798, + "▁THE": 3799, + "▁decl": 3800, + "ondon": 3801, + "ded": 3802, + "}{\\": 3803, + "ocr": 3804, + "▁City": 3805, + "▁я": 3806, + "uer": 3807, + "cz": 3808, + "▁imag": 3809, + "cr": 3810, + "ete": 3811, + "idget": 3812, + "▁Mod": 3813, + "▁forward": 3814, + "▁pict": 3815, + "orge": 3816, + "▁subject": 3817, + "update": 3818, + "attle": 3819, + "sa": 3820, + "▁Ant": 3821, + "▁running": 3822, + "▁sal": 3823, + "conne": 3824, + "▁output": 3825, + "adata": 3826, + "ML": 3827, + "Check": 3828, + "ledge": 3829, + "▁paper": 3830, + "params": 3831, + "avy": 3832, + "▁af": 3833, + "▁eine": 3834, + "▁jour": 3835, + "AY": 3836, + "▁itself": 3837, + "▁Str": 3838, + "style": 3839, + "That": 3840, + "▁million": 3841, + "▁language": 3842, + "OS": 3843, + "ving": 3844, + "▁ма": 3845, + "▁то": 3846, + ")(": 3847, + "▁buy": 3848, + "./": 3849, + "▁...": 3850, + "▁tried": 3851, + "▁compl": 3852, + "▁activ": 3853, + "apped": 3854, + "Button": 3855, + "Token": 3856, + "▁provided": 3857, + "iber": 3858, + "▁created": 3859, + "curity": 3860, + "End": 3861, + "ał": 3862, + "uster": 3863, + "izing": 3864, + "omb": 3865, + "▁sich": 3866, + "▁compon": 3867, + "▁See": 3868, + "▁uint": 3869, + "▁label": 3870, + "vol": 3871, + "ów": 3872, + "ocol": 3873, + "▁received": 3874, + "▁intern": 3875, + "це": 3876, + "Run": 3877, + "▁road": 3878, + "▁Oct": 3879, + "▁Comp": 3880, + "▁study": 3881, + "▁те": 3882, + "Act": 3883, + "▁tour": 3884, + "▁State": 3885, + "▁added": 3886, + "https": 3887, + "stream": 3888, + "▁lower": 3889, + "▁box": 3890, + "▁Sk": 3891, + "▁themselves": 3892, + "▁cross": 3893, + "▁echo": 3894, + "▁device": 3895, + "pose": 3896, + "▁games": 3897, + "PL": 3898, + "Window": 3899, + "ises": 3900, + "title": 3901, + "Stream": 3902, + "zt": 3903, + "▁Sw": 3904, + "▁role": 3905, + "iant": 3906, + "ku": 3907, + "sequ": 3908, + "▁late": 3909, + "▁sold": 3910, + "ря": 3911, + "Comm": 3912, + "▁entre": 3913, + "▁dog": 3914, + "device": 3915, + "Par": 3916, + "▁likely": 3917, + "^{-": 3918, + "▁len": 3919, + "▁Paul": 3920, + "▁tool": 3921, + "Off": 3922, + "▁famil": 3923, + "▁draw": 3924, + "apping": 3925, + "▁events": 3926, + "cret": 3927, + "rought": 3928, + "Content": 3929, + "▁software": 3930, + "ria": 3931, + "msg": 3932, + "gamma": 3933, + "▁hear": 3934, + "Oper": 3935, + "▁yourself": 3936, + "▁liter": 3937, + "emp": 3938, + "▁separ": 3939, + "▁З": 3940, + "▁title": 3941, + "Method": 3942, + "mathrm": 3943, + "▁slow": 3944, + "▁Rom": 3945, + "!!": 3946, + "▁tax": 3947, + "ска": 3948, + "emplate": 3949, + "oi": 3950, + "▁Art": 3951, + "false": 3952, + "astic": 3953, + "сть": 3954, + "ocket": 3955, + "▁ens": 3956, + "TO": 3957, + "amente": 3958, + "local": 3959, + "chie": 3960, + "▁pan": 3961, + "ний": 3962, + "chema": 3963, + "▁North": 3964, + "зо": 3965, + "▁>=": 3966, + "Aut": 3967, + "▁dig": 3968, + "▁seems": 3969, + "▁morning": 3970, + "sole": 3971, + "umer": 3972, + "delta": 3973, + "ité": 3974, + "abase": 3975, + "raf": 3976, + "▁observ": 3977, + "▁Est": 3978, + "▁seg": 3979, + "▁[]": 3980, + "▁Pres": 3981, + "iful": 3982, + "push": 3983, + "▁Off": 3984, + "ipe": 3985, + "ati": 3986, + "▁dim": 3987, + "ceed": 3988, + "Ent": 3989, + "____": 3990, + "entry": 3991, + "▁fight": 3992, + "▁cred": 3993, + "▁OR": 3994, + "▁Dep": 3995, + "${": 3996, + "лен": 3997, + "Create": 3998, + "▁April": 3999, + "ministr": 4000, + "FL": 4001, + "▁Ap": 4002, + "▁Here": 4003, + "private": 4004, + "Instance": 4005, + "iem": 4006, + "▁office": 4007, + "▁third": 4008, + "▁update": 4009, + "Line": 4010, + "tag": 4011, + "▁especially": 4012, + "▁года": 4013, + "▁cu": 4014, + "▁kill": 4015, + "aught": 4016, + "▁swe": 4017, + "Options": 4018, + "IM": 4019, + "CC": 4020, + "▁compan": 4021, + "just": 4022, + "▁While": 4023, + "izer": 4024, + "▁мо": 4025, + "ке": 4026, + "▁auto": 4027, + "▁band": 4028, + "мен": 4029, + "iques": 4030, + "▁ple": 4031, + "NO": 4032, + "▁OF": 4033, + "▁song": 4034, + "▁Acc": 4035, + "EXT": 4036, + "ensor": 4037, + "ining": 4038, + "▁lat": 4039, + "big": 4040, + "▁King": 4041, + "och": 4042, + "si": 4043, + "▁Hist": 4044, + "▁quality": 4045, + "mode": 4046, + "▁opportun": 4047, + "▁wouldn": 4048, + ":**": 4049, + "output": 4050, + "▁feet": 4051, + "▁mis": 4052, + "df": 4053, + "aging": 4054, + "▁ме": 4055, + "▁tro": 4056, + "▁defined": 4057, + "▁review": 4058, + "▁Fil": 4059, + ">>": 4060, + "▁princip": 4061, + "Base": 4062, + "dict": 4063, + "verage": 4064, + "icient": 4065, + "IF": 4066, + "▁hit": 4067, + "Page": 4068, + "▁perm": 4069, + "cel": 4070, + "ít": 4071, + "▁express": 4072, + "▁indic": 4073, + "▁September": 4074, + "image": 4075, + "▁products": 4076, + "▁media": 4077, + "change": 4078, + "igger": 4079, + "▁send": 4080, + "last": 4081, + "ming": 4082, + "pa": 4083, + "uary": 4084, + "▁speak": 4085, + "ный": 4086, + "ще": 4087, + "ysis": 4088, + "lying": 4089, + "▁ч": 4090, + "like": 4091, + "ры": 4092, + "ві": 4093, + "▁Mich": 4094, + "MO": 4095, + "▁Jah": 4096, + "ensive": 4097, + "▁share": 4098, + "▁development": 4099, + "CP": 4100, + "spec": 4101, + "▁fast": 4102, + "het": 4103, + "HO": 4104, + "▁particip": 4105, + "Block": 4106, + "▁viol": 4107, + "▁frame": 4108, + "▁qual": 4109, + "tre": 4110, + "▁Ф": 4111, + "▁toward": 4112, + "fg": 4113, + "Box": 4114, + "Column": 4115, + "▁milit": 4116, + "▁March": 4117, + "▁various": 4118, + "pass": 4119, + "▁Park": 4120, + "▁Ben": 4121, + "Frame": 4122, + "▁normal": 4123, + "open": 4124, + "px": 4125, + "▁phone": 4126, + "▁Even": 4127, + "▁ma": 4128, + "ibrary": 4129, + "Start": 4130, + "idden": 4131, + "rho": 4132, + "graph": 4133, + "acing": 4134, + "'.": 4135, + "arter": 4136, + "mes": 4137, + "inst": 4138, + "▁ir": 4139, + "active": 4140, + "▁fem": 4141, + "▁moved": 4142, + "▁store": 4143, + "▁price": 4144, + "\").": 4145, + "berg": 4146, + "▁nov": 4147, + "▁card": 4148, + "ellow": 4149, + "▁party": 4150, + "▁Mor": 4151, + "ael": 4152, + "▁percent": 4153, + "▁training": 4154, + "▁ing": 4155, + "imer": 4156, + "▁Sam": 4157, + "Default": 4158, + "▁fuck": 4159, + "▁complete": 4160, + "uid": 4161, + "▁details": 4162, + "▁led": 4163, + "Point": 4164, + "▁Count": 4165, + "▁regard": 4166, + "zo": 4167, + "▁Bro": 4168, + "▁recogn": 4169, + "▁Hol": 4170, + "UM": 4171, + "element": 4172, + "Mode": 4173, + "▁exam": 4174, + "▁EX": 4175, + "Image": 4176, + "verse": 4177, + "riter": 4178, + "soft": 4179, + "▁introdu": 4180, + "▁surpr": 4181, + "Buffer": 4182, + "lector": 4183, + "aren": 4184, + "anged": 4185, + "▁Pat": 4186, + "▁Pal": 4187, + "▁contr": 4188, + "Handler": 4189, + "▁features": 4190, + "iple": 4191, + "▁CON": 4192, + "Fil": 4193, + "▁Port": 4194, + "▁thinking": 4195, + "doc": 4196, + "wer": 4197, + "▁worked": 4198, + "PC": 4199, + "cm": 4200, + "dat": 4201, + "PRO": 4202, + "▁Every": 4203, + "▁era": 4204, + "▁First": 4205, + "gn": 4206, + "▁immedi": 4207, + "ovember": 4208, + "apan": 4209, + "▁extra": 4210, + "▁section": 4211, + "▁June": 4212, + "▁via": 4213, + "▁gone": 4214, + "come": 4215, + "▁stri": 4216, + "^\\": 4217, + "antly": 4218, + "▁arch": 4219, + "Source": 4220, + "▁conv": 4221, + "▁London": 4222, + "Number": 4223, + "▁questions": 4224, + "andid": 4225, + "▁played": 4226, + "env": 4227, + "▁School": 4228, + "▁natural": 4229, + "can": 4230, + "▁news": 4231, + "DR": 4232, + "▁chall": 4233, + "▁Soc": 4234, + "▁э": 4235, + "▁attempt": 4236, + "*}": 4237, + "Null": 4238, + "rote": 4239, + "▁bi": 4240, + "▁written": 4241, + "▁blood": 4242, + "▁happened": 4243, + "▁cause": 4244, + "ashing": 4245, + "▁William": 4246, + "adem": 4247, + "▁brought": 4248, + "▁display": 4249, + "ima": 4250, + "▁finally": 4251, + "tab": 4252, + "▁returned": 4253, + "ных": 4254, + "nie": 4255, + "▁q": 4256, + "▁hers": 4257, + "▁Pre": 4258, + "▁dou": 4259, + "buffer": 4260, + "▁effort": 4261, + "aine": 4262, + "xy": 4263, + "▁histor": 4264, + "enu": 4265, + "▁arriv": 4266, + "▁Dem": 4267, + "▁favor": 4268, + "▁handle": 4269, + "SET": 4270, + "▁Public": 4271, + "rupt": 4272, + "▁ur": 4273, + "▁force": 4274, + "▁és": 4275, + "ube": 4276, + "Pre": 4277, + "рі": 4278, + "iny": 4279, + "theta": 4280, + "isf": 4281, + "▁national": 4282, + "Equal": 4283, + "rench": 4284, + "▁wife": 4285, + "▁capt": 4286, + "▁Inter": 4287, + "tau": 4288, + "▁sleep": 4289, + "../../": 4290, + "▁issue": 4291, + "▁member": 4292, + "▁await": 4293, + "▁Dan": 4294, + "zi": 4295, + "inate": 4296, + "▁sym": 4297, + "chan": 4298, + "▁Jack": 4299, + "▁English": 4300, + "▁sz": 4301, + "ributes": 4302, + "▁ign": 4303, + "ál": 4304, + "▁appear": 4305, + "rad": 4306, + "idge": 4307, + "▁couple": 4308, + "▁ship": 4309, + "lig": 4310, + "web": 4311, + "▁usually": 4312, + "▁ready": 4313, + "▁vill": 4314, + "▁Why": 4315, + "ebru": 4316, + "▁grad": 4317, + "ords": 4318, + "▁inf": 4319, + "▁loss": 4320, + "▁od": 4321, + "▁Phil": 4322, + "server": 4323, + "▁Up": 4324, + "▁buff": 4325, + "▁filename": 4326, + "ABLE": 4327, + "iting": 4328, + "efore": 4329, + "()->": 4330, + "▁conditions": 4331, + "vm": 4332, + "eld": 4333, + "itz": 4334, + "▁Trans": 4335, + "▁weight": 4336, + "▁higher": 4337, + "▁rate": 4338, + "▁accom": 4339, + "vider": 4340, + "OM": 4341, + "▁ways": 4342, + "coming": 4343, + "▁lock": 4344, + "▁etc": 4345, + "▁avec": 4346, + "▁takes": 4347, + "▁Char": 4348, + "▁November": 4349, + "method": 4350, + "▁Austral": 4351, + "▁America": 4352, + "long": 4353, + "cember": 4354, + "▁political": 4355, + "flow": 4356, + "▁maybe": 4357, + "▁amb": 4358, + "Layout": 4359, + "iled": 4360, + "omen": 4361, + "ola": 4362, + "icip": 4363, + "partial": 4364, + "True": 4365, + "▁floor": 4366, + "▁Def": 4367, + "▁concern": 4368, + "yr": 4369, + "▁shows": 4370, + "ih": 4371, + "▁answer": 4372, + "acc": 4373, + "▁ball": 4374, + "▁Rev": 4375, + "▁sun": 4376, + "▁quickly": 4377, + "▁somet": 4378, + "mente": 4379, + "▁Mal": 4380, + "undred": 4381, + "▁issues": 4382, + "ecause": 4383, + "pes": 4384, + "▁player": 4385, + "▁parents": 4386, + "▁popular": 4387, + "▁mode": 4388, + "▁mention": 4389, + "NE": 4390, + "Load": 4391, + "▁regular": 4392, + "aved": 4393, + "?:": 4394, + "year": 4395, + "func": 4396, + "▁performance": 4397, + "▁July": 4398, + "thern": 4399, + "▁website": 4400, + "ford": 4401, + "PR": 4402, + "ela": 4403, + "level": 4404, + "uit": 4405, + "flags": 4406, + "▁worth": 4407, + "▁correspon": 4408, + "▁British": 4409, + "sim": 4410, + "▁alone": 4411, + "▁har": 4412, + "▁ones": 4413, + "obile": 4414, + "▁dru": 4415, + "chi": 4416, + "▁David": 4417, + "▁problems": 4418, + "▁column": 4419, + "();\r": 4420, + "ZE": 4421, + "▁relig": 4422, + "ological": 4423, + "▁region": 4424, + "ady": 4425, + "IO": 4426, + "ander": 4427, + "Net": 4428, + "▁built": 4429, + "▁install": 4430, + "▁approach": 4431, + "Cur": 4432, + "▁fine": 4433, + "▁talking": 4434, + "▁changes": 4435, + "Style": 4436, + "▁Mart": 4437, + "лю": 4438, + "response": 4439, + "teger": 4440, + "{\r": 4441, + "irit": 4442, + "▁protected": 4443, + "▁rele": 4444, + "ership": 4445, + "тель": 4446, + "unsigned": 4447, + "ialize": 4448, + "▁https": 4449, + "Tag": 4450, + "▁$(": 4451, + "more": 4452, + "ypes": 4453, + "▁stream": 4454, + "etch": 4455, + "▁engine": 4456, + "KE": 4457, + "cmd": 4458, + "script": 4459, + "ttp": 4460, + "▁avoid": 4461, + "▁terr": 4462, + "▁rock": 4463, + "▁ful": 4464, + "Update": 4465, + "▁environment": 4466, + "▁prec": 4467, + "▁са": 4468, + "▁cases": 4469, + "▁offset": 4470, + "▁rais": 4471, + "lib": 4472, + "ées": 4473, + "aa": 4474, + "yt": 4475, + "▁arr": 4476, + "opyright": 4477, + "first": 4478, + "▁util": 4479, + "▁feature": 4480, + "posed": 4481, + "ffect": 4482, + "жа": 4483, + "itude": 4484, + "ements": 4485, + "asc": 4486, + "ador": 4487, + "lections": 4488, + "▁club": 4489, + "]{": 4490, + "▁*)": 4491, + "ство": 4492, + "▁imm": 4493, + "▁former": 4494, + "▁rights": 4495, + "▁decided": 4496, + "▁rev": 4497, + "▁ment": 4498, + "ani": 4499, + "▁stru": 4500, + "▁attention": 4501, + "artment": 4502, + "▁Ital": 4503, + "alle": 4504, + "▁bis": 4505, + "gener": 4506, + "▁integr": 4507, + "ello": 4508, + "rypt": 4509, + "▁achie": 4510, + "nes": 4511, + "▁stra": 4512, + "sb": 4513, + "▁types": 4514, + "▁RE": 4515, + "Init": 4516, + "▁comment": 4517, + "▁addition": 4518, + "▁ID": 4519, + "ART": 4520, + "FO": 4521, + "щи": 4522, + "Conne": 4523, + "▁squ": 4524, + "▁considered": 4525, + "idad": 4526, + "▁October": 4527, + "cial": 4528, + "▁Of": 4529, + "▁travel": 4530, + "▁boy": 4531, + "').": 4532, + "uy": 4533, + "illa": 4534, + "istry": 4535, + "▁va": 4536, + "▁Che": 4537, + "ERT": 4538, + "ende": 4539, + "ungen": 4540, + "aby": 4541, + "▁Rober": 4542, + "▁playing": 4543, + "ils": 4544, + "▁sam": 4545, + "▁execut": 4546, + "▁Us": 4547, + "▁mut": 4548, + "▁bal": 4549, + "asse": 4550, + "▁kids": 4551, + "▁financ": 4552, + "gor": 4553, + "▁Sec": 4554, + "bert": 4555, + "▁High": 4556, + "▁је": 4557, + "▁kept": 4558, + "button": 4559, + "itory": 4560, + "▁Rem": 4561, + "▁DE": 4562, + "▁reach": 4563, + "▁bur": 4564, + "Label": 4565, + "át": 4566, + "ago": 4567, + "▁passed": 4568, + "▁behav": 4569, + "xFF": 4570, + "▁Return": 4571, + "STR": 4572, + "▁Les": 4573, + "▁ord": 4574, + "ala": 4575, + "inger": 4576, + "▁Since": 4577, + "▁experi": 4578, + "▁shall": 4579, + "▁star": 4580, + "non": 4581, + "▁gun": 4582, + "▁Bel": 4583, + "▁obj": 4584, + "ares": 4585, + "rs": 4586, + "▁weeks": 4587, + "nen": 4588, + "▁Stre": 4589, + "oring": 4590, + "▁î": 4591, + "▁serious": 4592, + "times": 4593, + "▁House": 4594, + "▁roll": 4595, + "▁register": 4596, + "▁module": 4597, + "▁applic": 4598, + "IR": 4599, + "▁cook": 4600, + "aux": 4601, + "▁save": 4602, + "▁Cr": 4603, + ",\r": 4604, + "▁states": 4605, + "▁empty": 4606, + "▁autom": 4607, + "figure": 4608, + "iance": 4609, + "▁happy": 4610, + "▁fn": 4611, + "▁jud": 4612, + "▁hat": 4613, + "ACK": 4614, + "▁Fe": 4615, + "$-": 4616, + "ivil": 4617, + "oted": 4618, + "▁sizeof": 4619, + "▁situation": 4620, + "▁lives": 4621, + "▁feeling": 4622, + "▁risk": 4623, + "▁January": 4624, + "▁Object": 4625, + "▁recomm": 4626, + "▁вы": 4627, + "▁potential": 4628, + "eah": 4629, + "▁complex": 4630, + "printf": 4631, + "istance": 4632, + "irth": 4633, + "lik": 4634, + "aste": 4635, + "▁whose": 4636, + "Arg": 4637, + "▁modern": 4638, + "iones": 4639, + "▁че": 4640, + "▁sett": 4641, + "▁Mag": 4642, + "ae": 4643, + "▁condition": 4644, + "Length": 4645, + "▁fit": 4646, + "ounds": 4647, + "▁changed": 4648, + "▁guy": 4649, + "filter": 4650, + "atever": 4651, + "éd": 4652, + "remove": 4653, + "▁hop": 4654, + "▁Out": 4655, + "▁Rich": 4656, + "child": 4657, + "▁included": 4658, + "$\\": 4659, + "▁Tom": 4660, + "eline": 4661, + "▁sometimes": 4662, + "▁drink": 4663, + "▁quant": 4664, + "▁please": 4665, + "▁Int": 4666, + "rief": 4667, + "▁exactly": 4668, + "cing": 4669, + "▁allowed": 4670, + "build": 4671, + "▁beautiful": 4672, + "▁Well": 4673, + "▁looks": 4674, + "▁ü": 4675, + "▁chance": 4676, + "▁wrote": 4677, + "▁nor": 4678, + "▁failed": 4679, + "Met": 4680, + "▁prior": 4681, + "▁hundred": 4682, + "ской": 4683, + "oria": 4684, + "▁cy": 4685, + "▁web": 4686, + "▁mess": 4687, + "leq": 4688, + "dy": 4689, + "tex": 4690, + "▁anim": 4691, + "atur": 4692, + "▁structure": 4693, + "option": 4694, + "▁actual": 4695, + "▁Franc": 4696, + "enced": 4697, + ".": 4884, + "▁production": 4885, + "iger": 4886, + "▁ст": 4887, + "show": 4888, + "▁population": 4889, + "▁park": 4890, + "▁Ze": 4891, + "▁necessary": 4892, + "▁trust": 4893, + "▁shown": 4894, + "module": 4895, + "GE": 4896, + "▁lay": 4897, + "▁announ": 4898, + "▁className": 4899, + "▁calcul": 4900, + "Function": 4901, + "▁Sal": 4902, + "OK": 4903, + "TP": 4904, + "▁entry": 4905, + "▁Stud": 4906, + "▁items": 4907, + "▁security": 4908, + "Entry": 4909, + "float": 4910, + "ls": 4911, + "ibly": 4912, + "▁contribut": 4913, + "▁Check": 4914, + "MD": 4915, + "▁improve": 4916, + "Part": 4917, + "▁systems": 4918, + "Bl": 4919, + "▁policy": 4920, + "▁screen": 4921, + "▁Any": 4922, + "▁opened": 4923, + "alloc": 4924, + "▁December": 4925, + "▁É": 4926, + "▁email": 4927, + "ader": 4928, + "=>": 4929, + "▁Hen": 4930, + "▁info": 4931, + "▁float": 4932, + "▁switch": 4933, + "ран": 4934, + "urance": 4935, + "▁assum": 4936, + "ustr": 4937, + "▁groups": 4938, + "▁Read": 4939, + "▁wat": 4940, + "Sp": 4941, + "вер": 4942, + "RAN": 4943, + "hib": 4944, + "ALL": 4945, + "▁hus": 4946, + "Spec": 4947, + "\"))": 4948, + "▁French": 4949, + "▁Class": 4950, + "▁president": 4951, + "▁definit": 4952, + "▁Nor": 4953, + "▁Thom": 4954, + "aign": 4955, + "Width": 4956, + "Do": 4957, + "▁{@": 4958, + "agon": 4959, + "▁Lu": 4960, + "▁followed": 4961, + "MM": 4962, + "asons": 4963, + "tmp": 4964, + "▁throws": 4965, + "ITY": 4966, + "ном": 4967, + "▁fair": 4968, + "▁pen": 4969, + "ég": 4970, + "▁interface": 4971, + "▁saf": 4972, + "oon": 4973, + "Back": 4974, + "▁speed": 4975, + "▁extends": 4976, + "empty": 4977, + "▁пере": 4978, + "▁proper": 4979, + "▁driv": 4980, + "фи": 4981, + "▁center": 4982, + "header": 4983, + "▁})": 4984, + "wa": 4985, + "▁middle": 4986, + "▁choose": 4987, + "▁Stad": 4988, + "SO": 4989, + "Factory": 4990, + "Dev": 4991, + "icles": 4992, + "▁application": 4993, + "▁models": 4994, + "pite": 4995, + "cap": 4996, + "xi": 4997, + "ospital": 4998, + "▁dream": 4999, + "END": 5000, + "▁contract": 5001, + "icrosoft": 5002, + "▁thous": 5003, + "izes": 5004, + "▁да": 5005, + "▁CO": 5006, + "▁direction": 5007, + "▁``": 5008, + "▁drive": 5009, + "Max": 5010, + "cia": 5011, + "▁continu": 5012, + "▁Alex": 5013, + "▁gold": 5014, + "▁prep": 5015, + "▁origin": 5016, + "▁rap": 5017, + "Op": 5018, + "ously": 5019, + "▁areas": 5020, + "PORT": 5021, + "она": 5022, + "▁safe": 5023, + "▁professional": 5024, + "apache": 5025, + "▁temper": 5026, + "sz": 5027, + "▁unit": 5028, + "▁cop": 5029, + "eqn": 5030, + "Listener": 5031, + "▁format": 5032, + "select": 5033, + "▁comfort": 5034, + "▁meant": 5035, + "iday": 5036, + "eme": 5037, + "▁active": 5038, + "▁note": 5039, + "▁Mil": 5040, + "only": 5041, + "▁<=": 5042, + "▁neigh": 5043, + "ao": 5044, + "▁blue": 5045, + "▁TV": 5046, + "Child": 5047, + "▁reached": 5048, + "Address": 5049, + "ств": 5050, + "▁closed": 5051, + "inder": 5052, + "olo": 5053, + "▁alt": 5054, + "▁adm": 5055, + "Format": 5056, + "UI": 5057, + "▁Ham": 5058, + "▁frequ": 5059, + "▁independ": 5060, + "▁easily": 5061, + "▁Land": 5062, + "▁tor": 5063, + "ography": 5064, + "infty": 5065, + "▁Work": 5066, + "iven": 5067, + "▁County": 5068, + "▁src": 5069, + "}$,": 5070, + "parse": 5071, + "CD": 5072, + "▁Cour": 5073, + "▁fol": 5074, + "Entity": 5075, + "pgf": 5076, + "▁China": 5077, + "▁Sub": 5078, + "hood": 5079, + "▁fields": 5080, + "▁yes": 5081, + "rend": 5082, + "▁towards": 5083, + "▁staff": 5084, + "▁Air": 5085, + "▁station": 5086, + "atives": 5087, + "▁impact": 5088, + "вы": 5089, + "▁directly": 5090, + "issions": 5091, + "iva": 5092, + "|\\": 5093, + "Ptr": 5094, + "▁Sant": 5095, + "Pol": 5096, + "▁progress": 5097, + "itar": 5098, + "▁parts": 5099, + "▁plant": 5100, + "▁absolut": 5101, + "▁guess": 5102, + "eqref": 5103, + "▁tim": 5104, + "▁Lou": 5105, + "▁cool": 5106, + "alu": 5107, + "▁mouth": 5108, + "них": 5109, + "▁height": 5110, + "gest": 5111, + "▁Post": 5112, + "▁board": 5113, + "▁tit": 5114, + "▁hour": 5115, + "▁server": 5116, + "▁players": 5117, + "rier": 5118, + "Link": 5119, + "▁President": 5120, + "](": 5121, + "▁construct": 5122, + "handle": 5123, + "}$.": 5124, + "rying": 5125, + "▁shop": 5126, + "iana": 5127, + "exp": 5128, + "Helper": 5129, + "Offset": 5130, + "aches": 5131, + "▁connection": 5132, + "▁difference": 5133, + "service": 5134, + "▁gas": 5135, + "▁priv": 5136, + "▁univers": 5137, + "▁wish": 5138, + "Rem": 5139, + "Url": 5140, + "geb": 5141, + "So": 5142, + "ensions": 5143, + "Module": 5144, + "SIZE": 5145, + "▁prem": 5146, + "window": 5147, + "▁dies": 5148, + "del": 5149, + "▁row": 5150, + "▁average": 5151, + "xim": 5152, + "▁pu": 5153, + "anç": 5154, + "Det": 5155, + "ker": 5156, + "ya": 5157, + "▁Det": 5158, + "▁på": 5159, + "▁named": 5160, + "▁decision": 5161, + "win": 5162, + "▁George": 5163, + "arily": 5164, + "▁solution": 5165, + "▁multiple": 5166, + "ategy": 5167, + "▁learning": 5168, + "▁secret": 5169, + "DO": 5170, + "▁nice": 5171, + "////////////////": 5172, + "Su": 5173, + "itation": 5174, + "▁join": 5175, + "▁elements": 5176, + "▁emer": 5177, + "tilde": 5178, + "▁dep": 5179, + "▁shot": 5180, + "▁platform": 5181, + "othing": 5182, + "My": 5183, + "edia": 5184, + "oms": 5185, + "aily": 5186, + "([": 5187, + "▁dress": 5188, + "▁official": 5189, + "estern": 5190, + "▁discover": 5191, + "▁mi": 5192, + "ные": 5193, + "CA": 5194, + "oding": 5195, + "▁Found": 5196, + "▁affect": 5197, + "Vis": 5198, + "stract": 5199, + "iced": 5200, + "debug": 5201, + "▁related": 5202, + "▁spect": 5203, + "ushed": 5204, + "сько": 5205, + "▁bank": 5206, + "▁cele": 5207, + "AND": 5208, + "olf": 5209, + "ем": 5210, + "▁fill": 5211, + "▁gives": 5212, + "▁бу": 5213, + "aron": 5214, + "▁Jes": 5215, + "REG": 5216, + "▁sudd": 5217, + "dated": 5218, + "vi": 5219, + "▁gi": 5220, + "send": 5221, + "cpp": 5222, + "▁spent": 5223, + "ande": 5224, + "▁operation": 5225, + "process": 5226, + "▁inform": 5227, + "▁Free": 5228, + "yond": 5229, + "▁perhaps": 5230, + "▁surv": 5231, + "▁Loc": 5232, + "▁concl": 5233, + "▁раз": 5234, + "▁Over": 5235, + "hol": 5236, + "raz": 5237, + "Write": 5238, + "▁giving": 5239, + "rd": 5240, + "instance": 5241, + "▁released": 5242, + "▁Ro": 5243, + "RA": 5244, + "▁practice": 5245, + "▁graph": 5246, + "▁increase": 5247, + "▁figure": 5248, + "Filter": 5249, + "HECK": 5250, + "idx": 5251, + "▁glass": 5252, + "ski": 5253, + "comes": 5254, + "▁cat": 5255, + "▁cold": 5256, + "goto": 5257, + "ufact": 5258, + "▁Copyright": 5259, + "}}\\": 5260, + "▁streng": 5261, + "▁dir": 5262, + "token": 5263, + "▁occur": 5264, + "arlier": 5265, + "▁measure": 5266, + "▁sec": 5267, + "▁más": 5268, + "▁Net": 5269, + "▁argument": 5270, + "▁sou": 5271, + "▁moving": 5272, + "▁prefer": 5273, + "mask": 5274, + "<<": 5275, + "▁breath": 5276, + "▁physical": 5277, + "▁positive": 5278, + "▁sor": 5279, + "▁depart": 5280, + "▁remove": 5281, + "▁kit": 5282, + "▁meeting": 5283, + "▁Data": 5284, + "ograf": 5285, + "actions": 5286, + "▁parameters": 5287, + "▁Att": 5288, + "esch": 5289, + "▁involved": 5290, + "ät": 5291, + "LL": 5292, + "Bar": 5293, + "▁си": 5294, + "ech": 5295, + "GET": 5296, + "▁prevent": 5297, + "▁beyond": 5298, + "▁Other": 5299, + "än": 5300, + "byte": 5301, + "▁sudden": 5302, + "olve": 5303, + "▁но": 5304, + "LOG": 5305, + "unit": 5306, + "▁truth": 5307, + "rat": 5308, + "SD": 5309, + "▁eat": 5310, + "▁Mad": 5311, + "▁provides": 5312, + "▁session": 5313, + "Dele": 5314, + "▁convers": 5315, + "center": 5316, + "▁continued": 5317, + "otion": 5318, + "cache": 5319, + "display": 5320, + "▁protect": 5321, + "ams": 5322, + "▁pow": 5323, + "CTION": 5324, + "▁Mac": 5325, + "mo": 5326, + "ха": 5327, + "▁distance": 5328, + "▁Time": 5329, + "gi": 5330, + "▁sequ": 5331, + "Target": 5332, + "сле": 5333, + "Server": 5334, + "▁wide": 5335, + "close": 5336, + "▁cru": 5337, + "Ext": 5338, + "▁select": 5339, + "▁pattern": 5340, + "\"));": 5341, + "Provider": 5342, + "URL": 5343, + "▁green": 5344, + "▁waiting": 5345, + "proto": 5346, + "▁immediately": 5347, + "common": 5348, + "azione": 5349, + "river": 5350, + "▁sen": 5351, + "▁!==": 5352, + "▁February": 5353, + "urb": 5354, + "▁Sen": 5355, + "dest": 5356, + ">": 6122, + "command": 6123, + "atz": 6124, + "▁mal": 6125, + "став": 6126, + "▁Press": 6127, + "▁characters": 6128, + "▁zero": 6129, + "AGE": 6130, + "rapper": 6131, + "▁kitchen": 6132, + "aming": 6133, + "▁restr": 6134, + "XX": 6135, + "▁College": 6136, + "▁Array": 6137, + "▁fresh": 6138, + "▁shift": 6139, + "▁specified": 6140, + "plete": 6141, + "ITE": 6142, + "▁Camp": 6143, + "rial": 6144, + "cb": 6145, + "▁TH": 6146, + "IB": 6147, + "osen": 6148, + "▁ú": 6149, + "▁params": 6150, + "ignment": 6151, + "adding": 6152, + "▁degree": 6153, + "Local": 6154, + "Oh": 6155, + "▁zur": 6156, + "▁levels": 6157, + "CS": 6158, + "finished": 6159, + "Case": 6160, + "riage": 6161, + "Vector": 6162, + "▁sea": 6163, + "antic": 6164, + "▁League": 6165, + "▁therefore": 6166, + "One": 6167, + "Return": 6168, + "Access": 6169, + "vas": 6170, + "▁ос": 6171, + "▁rat": 6172, + "Big": 6173, + "▁behavior": 6174, + "kr": 6175, + "▁undefined": 6176, + "▁Es": 6177, + "▁appeared": 6178, + "eles": 6179, + "▁WAR": 6180, + "Stat": 6181, + "▁Google": 6182, + "▁credit": 6183, + "▁File": 6184, + "anging": 6185, + "house": 6186, + "romise": 6187, + "gent": 6188, + "▁habit": 6189, + "▁society": 6190, + "▁encour": 6191, + "▁paint": 6192, + "pet": 6193, + "▁UK": 6194, + "aws": 6195, + "onom": 6196, + "Gl": 6197, + "}_{\\": 6198, + "eless": 6199, + "emy": 6200, + "▁Cong": 6201, + "▁developed": 6202, + "▁images": 6203, + "▁ö": 6204, + "▁font": 6205, + "clear": 6206, + "gin": 6207, + "▁Lord": 6208, + "▁transport": 6209, + "▁::": 6210, + "▁cup": 6211, + "ulate": 6212, + "▁During": 6213, + "priv": 6214, + "▁extrem": 6215, + "▁Di": 6216, + "▁doubt": 6217, + "Py": 6218, + "ifying": 6219, + "split": 6220, + "ego": 6221, + "github": 6222, + "▁),": 6223, + "ROM": 6224, + "▁chair": 6225, + "▁trade": 6226, + "▁nicht": 6227, + "Top": 6228, + "Store": 6229, + "▁parte": 6230, + "project": 6231, + "nia": 6232, + "▁від": 6233, + "war": 6234, + "▁Prof": 6235, + "▁caught": 6236, + "Thread": 6237, + "ства": 6238, + "author": 6239, + "▁doll": 6240, + "▁harm": 6241, + "▁Gen": 6242, + "tree": 6243, + "etime": 6244, + "cfg": 6245, + "▁guys": 6246, + "▁California": 6247, + "▁Green": 6248, + "▁movement": 6249, + "iej": 6250, + "▁statement": 6251, + "▁seeing": 6252, + "▁haven": 6253, + "vention": 6254, + "SL": 6255, + "chedul": 6256, + "iert": 6257, + "▁primary": 6258, + "▁civil": 6259, + "rian": 6260, + "▁button": 6261, + "▁lived": 6262, + "Pass": 6263, + "sor": 6264, + "▁watching": 6265, + "▁skills": 6266, + "tee": 6267, + "Level": 6268, + "▁scient": 6269, + "hs": 6270, + "▁agre": 6271, + "cat": 6272, + "▁tend": 6273, + "▁Mill": 6274, + "▁Cap": 6275, + "ORD": 6276, + "gle": 6277, + "▁сво": 6278, + "»,": 6279, + "▁ahead": 6280, + "vest": 6281, + "▁Jose": 6282, + "ischer": 6283, + "și": 6284, + "▁leaving": 6285, + "▁для": 6286, + "▁south": 6287, + "▁consum": 6288, + "Range": 6289, + "▁activities": 6290, + "Sec": 6291, + "▁sales": 6292, + "▁fix": 6293, + "▁jed": 6294, + "rum": 6295, + "vector": 6296, + "▁spot": 6297, + "▁manufact": 6298, + "кт": 6299, + "orrow": 6300, + "sign": 6301, + "▁college": 6302, + "▁driver": 6303, + "▁definitely": 6304, + "▁spend": 6305, + "mission": 6306, + "зу": 6307, + "atively": 6308, + "bi": 6309, + "Callback": 6310, + "▁particularly": 6311, + "▁hell": 6312, + "▁pool": 6313, + "PRE": 6314, + "▁clearly": 6315, + "PT": 6316, + "othes": 6317, + "▁Id": 6318, + "Location": 6319, + "▁Run": 6320, + "▁fixed": 6321, + "▁Hand": 6322, + "bal": 6323, + "double": 6324, + "Can": 6325, + "Omega": 6326, + "▁challeng": 6327, + "▁standing": 6328, + "iten": 6329, + "▁mechan": 6330, + "▁durch": 6331, + "▁dell": 6332, + "▁raised": 6333, + "▁weak": 6334, + "▁Du": 6335, + "grad": 6336, + "▁scene": 6337, + "poss": 6338, + "▁ton": 6339, + "▁earth": 6340, + "ulations": 6341, + "▁strength": 6342, + "aked": 6343, + "▁remain": 6344, + "▁Bi": 6345, + "▁customer": 6346, + "range": 6347, + "▁interested": 6348, + "ONE": 6349, + "▁coff": 6350, + "require": 6351, + "▁Only": 6352, + "▁Web": 6353, + "▁farm": 6354, + "▁activity": 6355, + "▁rout": 6356, + "bling": 6357, + "SY": 6358, + "▁Richard": 6359, + "▁Ref": 6360, + "▁кон": 6361, + "▁jun": 6362, + "born": 6363, + "ijn": 6364, + "Configuration": 6365, + "uman": 6366, + "EE": 6367, + "▁married": 6368, + "▁За": 6369, + "▁fat": 6370, + "▁kid": 6371, + "▁Tur": 6372, + "▁offered": 6373, + "nic": 6374, + "▁Big": 6375, + "Gamma": 6376, + "▁Health": 6377, + "▁TR": 6378, + "▁się": 6379, + "▁construction": 6380, + "▁Church": 6381, + "▁Bet": 6382, + "bus": 6383, + "▁earn": 6384, + "rict": 6385, + "▁пра": 6386, + "▁brain": 6387, + "▁fra": 6388, + "▁Op": 6389, + "FIG": 6390, + "ema": 6391, + "▁European": 6392, + "▁Saint": 6393, + "ARE": 6394, + "uri": 6395, + "▁River": 6396, + "{}": 6397, + "▁sitting": 6398, + "▁understanding": 6399, + "▁plans": 6400, + "ropri": 6401, + "▁older": 6402, + "▁pressure": 6403, + "Impl": 6404, + "▁peace": 6405, + "Connection": 6406, + "▁fi": 6407, + "rich": 6408, + "▁shut": 6409, + "apers": 6410, + "Port": 6411, + "▁Look": 6412, + "rim": 6413, + "auth": 6414, + "auto": 6415, + "▁highly": 6416, + "▁unless": 6417, + "▁Wal": 6418, + "▁ren": 6419, + "ws": 6420, + "▁core": 6421, + "(-": 6422, + "▁clim": 6423, + "ruit": 6424, + "▁callback": 6425, + "hest": 6426, + "▁Charles": 6427, + "▁Long": 6428, + "}=": 6429, + "ър": 6430, + "▁shared": 6431, + "ulated": 6432, + "gorithm": 6433, + "▁Home": 6434, + "▁village": 6435, + "ees": 6436, + "sv": 6437, + "▁restaur": 6438, + "rey": 6439, + "▁Cast": 6440, + "▁Person": 6441, + "кий": 6442, + "▁organiz": 6443, + "▁Rad": 6444, + "ponents": 6445, + "▁werden": 6446, + "▁bow": 6447, + "sen": 6448, + "ami": 6449, + "Interface": 6450, + "▁basis": 6451, + "▁Company": 6452, + "ernel": 6453, + "itu": 6454, + "Hash": 6455, + "▁aan": 6456, + "▁х": 6457, + "▁smile": 6458, + "xml": 6459, + "▁scen": 6460, + "amm": 6461, + "tool": 6462, + "aria": 6463, + "▁accur": 6464, + "settings": 6465, + "▁Jesus": 6466, + "acement": 6467, + "power": 6468, + "(!": 6469, + "▁calls": 6470, + "▁basic": 6471, + "▁settings": 6472, + "ript": 6473, + "pool": 6474, + "ctors": 6475, + "▁Foundation": 6476, + "▁weap": 6477, + "KEY": 6478, + "foot": 6479, + "▁radio": 6480, + "▁helped": 6481, + "mann": 6482, + "▁jump": 6483, + "▁tick": 6484, + "▁growing": 6485, + "aten": 6486, + "real": 6487, + "▁increasing": 6488, + "Device": 6489, + "varepsilon": 6490, + "▁sets": 6491, + "▁advant": 6492, + "Open": 6493, + "▁reasons": 6494, + "▁supposed": 6495, + "oes": 6496, + "ede": 6497, + "teen": 6498, + "ifdef": 6499, + "▁delete": 6500, + "▁&=": 6501, + "▁Bill": 6502, + "▁aim": 6503, + "▁Ok": 6504, + "▁Av": 6505, + "reci": 6506, + "acks": 6507, + "iste": 6508, + "Properties": 6509, + "▁tmp": 6510, + "▁dei": 6511, + "PER": 6512, + "DC": 6513, + "sta": 6514, + "нии": 6515, + "▁limited": 6516, + "▁greater": 6517, + "description": 6518, + "ori": 6519, + "aints": 6520, + "▁hy": 6521, + "▁Mel": 6522, + "▁CH": 6523, + "cons": 6524, + "▁surround": 6525, + "▁Who": 6526, + "arc": 6527, + "▁telev": 6528, + "itution": 6529, + "▁equal": 6530, + "кі": 6531, + "▁Israel": 6532, + "äh": 6533, + "▁Caption": 6534, + "▁exerc": 6535, + "empor": 6536, + "▁++": 6537, + "▁lib": 6538, + "make": 6539, + "▁MA": 6540, + "copy": 6541, + "friend": 6542, + "▁кото": 6543, + "▁damage": 6544, + "▁\\,": 6545, + "oded": 6546, + "▁none": 6547, + "▁evalu": 6548, + "ston": 6549, + ">,": 6550, + "FOR": 6551, + "▁norm": 6552, + "appe": 6553, + "Session": 6554, + "▁adult": 6555, + "▁hospital": 6556, + "▁recommend": 6557, + "property": 6558, + "stein": 6559, + "final": 6560, + "▁nu": 6561, + "second": 6562, + "▁aspect": 6563, + "\")]": 6564, + "жен": 6565, + "amento": 6566, + "▁rac": 6567, + "save": 6568, + "▁football": 6569, + "Ab": 6570, + "ungs": 6571, + "abil": 6572, + "▁Arch": 6573, + "system": 6574, + "hist": 6575, + "▁luck": 6576, + "render": 6577, + "▁sein": 6578, + "ioni": 6579, + "▁rot": 6580, + "▁corner": 6581, + "▁appropri": 6582, + "▁Software": 6583, + "▁tele": 6584, + "Delete": 6585, + "▁According": 6586, + "▁prison": 6587, + "▁lic": 6588, + "▁ми": 6589, + "term": 6590, + "sets": 6591, + "▁vel": 6592, + "▁rank": 6593, + "▁existing": 6594, + "▁Vir": 6595, + "▁trip": 6596, + "▁му": 6597, + "avax": 6598, + "▁ris": 6599, + "▁define": 6600, + "▁heat": 6601, + "car": 6602, + "▁convert": 6603, + "email": 6604, + "▁Under": 6605, + "▁Ш": 6606, + "▁Grand": 6607, + "▁exists": 6608, + "sys": 6609, + "eff": 6610, + "▁Top": 6611, + "▁č": 6612, + "▁tempor": 6613, + "▁arguments": 6614, + "▁supported": 6615, + "ensed": 6616, + "▁Francis": 6617, + "▁coord": 6618, + "▁achieve": 6619, + "▁Name": 6620, + "▁Jahr": 6621, + "▁Gi": 6622, + "she": 6623, + "▁Dev": 6624, + "▁alla": 6625, + "▁WIT": 6626, + "agment": 6627, + "custom": 6628, + "alls": 6629, + "&&": 6630, + "WE": 6631, + "▁holding": 6632, + "prototype": 6633, + "▁fing": 6634, + "▁bag": 6635, + "▁Party": 6636, + "stack": 6637, + "▁economic": 6638, + "▁Gal": 6639, + "idents": 6640, + "▁Jun": 6641, + "▁showed": 6642, + "osh": 6643, + "▁Bay": 6644, + "mail": 6645, + "▁SO": 6646, + "▁\"<": 6647, + "graphics": 6648, + "▁fu": 6649, + "click": 6650, + "▁battle": 6651, + "{{": 6652, + "▁Event": 6653, + "rior": 6654, + "chaft": 6655, + "▁favorite": 6656, + "usive": 6657, + "support": 6658, + "bm": 6659, + "Kind": 6660, + "▁safety": 6661, + "▁Ent": 6662, + "cup": 6663, + "▁Australia": 6664, + "▁destroy": 6665, + "▁organization": 6666, + "iden": 6667, + "################": 6668, + "dec": 6669, + "▁za": 6670, + "▁seven": 6671, + "arely": 6672, + "▁flag": 6673, + "Dir": 6674, + "▁Carl": 6675, + "▁doctor": 6676, + "▁variety": 6677, + "▁Lin": 6678, + "▁tom": 6679, + "^{(": 6680, + "Bo": 6681, + "antes": 6682, + "▁mine": 6683, + "▁Mit": 6684, + "▁describe": 6685, + "Args": 6686, + "LS": 6687, + "API": 6688, + "▁Luc": 6689, + "phone": 6690, + "▁science": 6691, + "▁Oper": 6692, + "Next": 6693, + "▁investig": 6694, + "▁demonstr": 6695, + "▁Govern": 6696, + "▁objects": 6697, + "▁Louis": 6698, + "▁Returns": 6699, + "▁han": 6700, + "nam": 6701, + "▁comme": 6702, + "▁presence": 6703, + "▁pel": 6704, + "▁detect": 6705, + ")=": 6706, + "▁Chinese": 6707, + "▁rich": 6708, + "▁classes": 6709, + "▁expand": 6710, + "▁Dom": 6711, + "▁Dec": 6712, + "sn": 6713, + "peed": 6714, + "▁Jim": 6715, + "should": 6716, + "▁Smith": 6717, + "▁pages": 6718, + "▁Jean": 6719, + "rics": 6720, + "▁Sund": 6721, + "ads": 6722, + "▁Their": 6723, + "unicip": 6724, + "ву": 6725, + "▁download": 6726, + "▁stress": 6727, + "▁Pet": 6728, + "menu": 6729, + "reme": 6730, + "▁compared": 6731, + "Ste": 6732, + "IND": 6733, + "container": 6734, + "▁Indian": 6735, + "oren": 6736, + "▁ses": 6737, + "▁Whe": 6738, + "▁roku": 6739, + "▁established": 6740, + "▁generally": 6741, + "▁fle": 6742, + "__(": 6743, + "=\"+": 6744, + "Var": 6745, + "▁Make": 6746, + "▁removed": 6747, + "zz": 6748, + "ün": 6749, + "▁mix": 6750, + "erk": 6751, + "iation": 6752, + "outer": 6753, + "SK": 6754, + "▁becomes": 6755, + "▁Hall": 6756, + "scious": 6757, + "▁watched": 6758, + "▁gather": 6759, + "▁Result": 6760, + "proof": 6761, + "pay": 6762, + "▁produced": 6763, + "▁|=": 6764, + "▁border": 6765, + "▁din": 6766, + "▁script": 6767, + "▁actions": 6768, + "▁mas": 6769, + "ща": 6770, + "ooth": 6771, + "▁Techn": 6772, + "Json": 6773, + "▁filled": 6774, + "ден": 6775, + "undle": 6776, + "сту": 6777, + "Tool": 6778, + "▁king": 6779, + "▁ven": 6780, + "stra": 6781, + "▁predict": 6782, + "▁lui": 6783, + "▁WARRAN": 6784, + "▁Fun": 6785, + "Script": 6786, + "▁powerful": 6787, + "▁lose": 6788, + "atically": 6789, + "▁daily": 6790, + "▁ring": 6791, + "▁arrived": 6792, + "Stack": 6793, + "scope": 6794, + "▁Back": 6795, + "elij": 6796, + "▁ze": 6797, + "keys": 6798, + "{\"": 6799, + "VID": 6800, + "▁license": 6801, + "what": 6802, + "▁proced": 6803, + "rant": 6804, + "estival": 6805, + "agram": 6806, + "▁LO": 6807, + "▁Henry": 6808, + "▁flags": 6809, + "Down": 6810, + "scription": 6811, + "▁families": 6812, + "isse": 6813, + "bour": 6814, + "▁Bur": 6815, + "—\"": 6816, + "▁brief": 6817, + "▁creating": 6818, + "▁clients": 6819, + "rangle": 6820, + "▁amazing": 6821, + "▁sind": 6822, + "▁covered": 6823, + "Well": 6824, + "сте": 6825, + "тор": 6826, + "▁Bas": 6827, + "total": 6828, + "▁Init": 6829, + "▁sand": 6830, + "Unit": 6831, + "▁murder": 6832, + "▁bright": 6833, + "▁trav": 6834, + "icans": 6835, + "▁attribute": 6836, + "fc": 6837, + "▁placed": 6838, + "EST": 6839, + "Vari": 6840, + "▁cos": 6841, + "▁attract": 6842, + "anel": 6843, + "}).": 6844, + "bytes": 6845, + "▁parse": 6846, + "▁belong": 6847, + "BN": 6848, + "▁Sol": 6849, + "Po": 6850, + "`,": 6851, + "▁calling": 6852, + "▁?>": 6853, + "▁iter": 6854, + "▁url": 6855, + "▁evening": 6856, + "reek": 6857, + "▁honest": 6858, + "▁director": 6859, + "RC": 6860, + "▁solid": 6861, + "▁phil": 6862, + "iene": 6863, + "FAULT": 6864, + "cope": 6865, + "▁History": 6866, + "▁Team": 6867, + "reedom": 6868, + "▁ru": 6869, + "UB": 6870, + "▁worse": 6871, + "imo": 6872, + "Mat": 6873, + "▁Mex": 6874, + "actor": 6875, + "▁vor": 6876, + "ться": 6877, + "▁experiment": 6878, + "▁Play": 6879, + "▁Another": 6880, + "▁happens": 6881, + "uan": 6882, + "▁patients": 6883, + "▁rend": 6884, + "▁Mo": 6885, + "▁Tex": 6886, + "▁wed": 6887, + "tn": 6888, + "insert": 6889, + "▁па": 6890, + "▁anti": 6891, + "Match": 6892, + "ampionship": 6893, + "▁forces": 6894, + "▁Hot": 6895, + "▁phase": 6896, + "▁template": 6897, + "stop": 6898, + "icated": 6899, + "▁managed": 6900, + "wait": 6901, + "▁*(": 6902, + "GB": 6903, + "▁appoint": 6904, + "ła": 6905, + "▁stick": 6906, + "▁FOR": 6907, + "▁Vis": 6908, + "tor": 6909, + "▁př": 6910, + "quest": 6911, + "uses": 6912, + "\");\r": 6913, + "▁suddenly": 6914, + "éc": 6915, + "ND": 6916, + "urop": 6917, + "ред": 6918, + "▁insurance": 6919, + "access": 6920, + "unfinished": 6921, + "▁tamb": 6922, + "▁sac": 6923, + "▁Court": 6924, + "▁missing": 6925, + "▁Where": 6926, + "▁Sum": 6927, + "}^{\\": 6928, + "▁sua": 6929, + "_,": 6930, + "▁thick": 6931, + "▁Trump": 6932, + "▁operations": 6933, + "FS": 6934, + "▁deux": 6935, + "dz": 6936, + "Template": 6937, + "▁\"/": 6938, + "▁odd": 6939, + "▁reality": 6940, + "▁teams": 6941, + "▁cer": 6942, + "oma": 6943, + "▁și": 6944, + "▁cloud": 6945, + "▁Department": 6946, + "Ne": 6947, + "▁requires": 6948, + "items": 6949, + "▁III": 6950, + "rightarrow": 6951, + ")->": 6952, + "▁writer": 6953, + "replace": 6954, + "▁thr": 6955, + "jen": 6956, + "▁ot": 6957, + "▁occup": 6958, + "▁eventually": 6959, + "▁Math": 6960, + "▁conserv": 6961, + "amer": 6962, + "▁Fort": 6963, + "▁dry": 6964, + "▁sexual": 6965, + "▁costs": 6966, + "▁forms": 6967, + "▁Vict": 6968, + "PAR": 6969, + "framework": 6970, + "▁ди": 6971, + "Operation": 6972, + "зна": 6973, + "which": 6974, + "▁tight": 6975, + "Invalid": 6976, + "▁partner": 6977, + "▁пред": 6978, + "▁thank": 6979, + "▁guard": 6980, + "hem": 6981, + "Body": 6982, + "▁emot": 6983, + "IX": 6984, + "fast": 6985, + "що": 6986, + "ño": 6987, + "night": 6988, + "▁Sci": 6989, + "ника": 6990, + "▁TO": 6991, + "▁individuals": 6992, + "сси": 6993, + "}),": 6994, + "False": 6995, + "(\"%": 6996, + "▁optim": 6997, + "▁-->": 6998, + "▁factor": 6999, + "▁smaller": 7000, + "▁contain": 7001, + "spect": 7002, + "Engine": 7003, + "▁announced": 7004, + "▁Democr": 7005, + "▁rob": 7006, + "▁flat": 7007, + "osoph": 7008, + "Search": 7009, + "ahl": 7010, + "▁Exception": 7011, + "▁Ol": 7012, + "equals": 7013, + "▁unter": 7014, + "shape": 7015, + "NS": 7016, + "Obj": 7017, + "▁species": 7018, + "weight": 7019, + "you": 7020, + "▁este": 7021, + "▁View": 7022, + "▁mission": 7023, + "▁journal": 7024, + "Values": 7025, + "▁einem": 7026, + "ismo": 7027, + "▁projects": 7028, + "▁Das": 7029, + "rible": 7030, + "▁serve": 7031, + "▁opening": 7032, + "▁hur": 7033, + "▁programs": 7034, + "▁USA": 7035, + "iliar": 7036, + "idos": 7037, + "Br": 7038, + "estamp": 7039, + "▁tools": 7040, + "anner": 7041, + "RT": 7042, + "▁Start": 7043, + "▁bath": 7044, + "▁coffee": 7045, + "orter": 7046, + "internal": 7047, + "files": 7048, + "INVAL": 7049, + "ako": 7050, + "dt": 7051, + "▁Second": 7052, + "▁alloc": 7053, + "▁ended": 7054, + "acional": 7055, + "▁manager": 7056, + "▁Sun": 7057, + "agg": 7058, + "▁leader": 7059, + "olved": 7060, + "▁что": 7061, + "▁traditional": 7062, + "shot": 7063, + "rup": 7064, + "CF": 7065, + "▁Each": 7066, + "wr": 7067, + "▁Som": 7068, + "▁materials": 7069, + "▁msg": 7070, + "▁syn": 7071, + "▁produce": 7072, + "▁storage": 7073, + "subsection": 7074, + "▁Sie": 7075, + "▁IP": 7076, + "CESS": 7077, + "▁wa": 7078, + "Record": 7079, + "▁marketing": 7080, + "plet": 7081, + "Dialog": 7082, + "▁mentioned": 7083, + "▁Na": 7084, + "▁Union": 7085, + "▁API": 7086, + "▁negative": 7087, + "txt": 7088, + "▁easier": 7089, + "legal": 7090, + "Dep": 7091, + "▁novel": 7092, + "eur": 7093, + "ació": 7094, + "▁Bud": 7095, + "▁carry": 7096, + "schaft": 7097, + "▁broken": 7098, + "▁trees": 7099, + ">();": 7100, + "▁emb": 7101, + "ieder": 7102, + "▁route": 7103, + "ikel": 7104, + "▁listen": 7105, + "ashion": 7106, + "▁Mrs": 7107, + "▁equipment": 7108, + "agger": 7109, + "▁Thus": 7110, + "▁matrix": 7111, + "alla": 7112, + "▁Tour": 7113, + "▁conversation": 7114, + "Mon": 7115, + "ournal": 7116, + "▁minute": 7117, + "Am": 7118, + "Api": 7119, + "▁forget": 7120, + "Me": 7121, + "levant": 7122, + "temp": 7123, + "▁telling": 7124, + "move": 7125, + "▁independent": 7126, + "toString": 7127, + "edit": 7128, + "▁Jac": 7129, + "azz": 7130, + "react": 7131, + "▁cin": 7132, + "▁Prov": 7133, + "isted": 7134, + "▁hash": 7135, + "onna": 7136, + "iki": 7137, + "▁generated": 7138, + "Render": 7139, + "▁psych": 7140, + "nav": 7141, + "▁entr": 7142, + "пра": 7143, + "rx": 7144, + "ATH": 7145, + "▁assume": 7146, + "Tree": 7147, + "sembly": 7148, + "▁Matt": 7149, + "caption": 7150, + "▁solutions": 7151, + "▁faith": 7152, + "▁digital": 7153, + "▁excell": 7154, + "▁Version": 7155, + "Debug": 7156, + "▁жи": 7157, + "▁carried": 7158, + "reset": 7159, + "▁slowly": 7160, + "ancing": 7161, + "▁owner": 7162, + "▁Ter": 7163, + "▁Did": 7164, + "▁gest": 7165, + "▁été": 7166, + "▁proof": 7167, + "Font": 7168, + "▁nob": 7169, + "Co": 7170, + "▁GNU": 7171, + "▁liber": 7172, + "itness": 7173, + "▁hij": 7174, + "▁vert": 7175, + "ша": 7176, + "FLAG": 7177, + "MENT": 7178, + "▁Son": 7179, + "Mult": 7180, + "▁district": 7181, + "connect": 7182, + "jection": 7183, + "lymp": 7184, + "▁realized": 7185, + "mos": 7186, + "ye": 7187, + "▁render": 7188, + "rio": 7189, + "▁interpret": 7190, + "▁slightly": 7191, + "fix": 7192, + "▁studies": 7193, + "▁rid": 7194, + "atre": 7195, + "▁benefits": 7196, + "▁Face": 7197, + "ivery": 7198, + "рия": 7199, + "document": 7200, + "▁asking": 7201, + "Last": 7202, + "arante": 7203, + "▁Martin": 7204, + "▁Ell": 7205, + "▁vector": 7206, + "▁forced": 7207, + "оло": 7208, + "PH": 7209, + "WR": 7210, + "▁Kl": 7211, + "▁sky": 7212, + "▁strategy": 7213, + "ocked": 7214, + "▁neck": 7215, + "ści": 7216, + "OUT": 7217, + ")),": 7218, + "Custom": 7219, + "▁wie": 7220, + "▁sweet": 7221, + "▁temp": 7222, + "▁foreign": 7223, + "▁hall": 7224, + "astr": 7225, + "Ass": 7226, + "MODE": 7227, + "▁maximum": 7228, + "annels": 7229, + "▁tip": 7230, + "▁seconds": 7231, + "▁stack": 7232, + "iga": 7233, + "▁raise": 7234, + "enable": 7235, + "oir": 7236, + "▁soul": 7237, + "Ke": 7238, + ")$.": 7239, + "▁Tim": 7240, + "ALSE": 7241, + "iser": 7242, + "contin": 7243, + "bel": 7244, + "▁mad": 7245, + "lichen": 7246, + "abe": 7247, + "safe": 7248, + "▁concent": 7249, + "bound": 7250, + "▁Requ": 7251, + "switch": 7252, + "▁stone": 7253, + "▁transl": 7254, + "▁vac": 7255, + "andon": 7256, + "▁Fore": 7257, + "▁sounds": 7258, + "▁Pop": 7259, + "▁HT": 7260, + "lia": 7261, + "enter": 7262, + "▁helps": 7263, + "edy": 7264, + "ствен": 7265, + "anted": 7266, + "▁Its": 7267, + "▁Step": 7268, + "Icon": 7269, + "▁EXPECT": 7270, + "ialized": 7271, + "Post": 7272, + "aze": 7273, + "▁Carol": 7274, + "▁req": 7275, + "▁critical": 7276, + "DS": 7277, + "▁seat": 7278, + "aped": 7279, + "▁upper": 7280, + "▁Sy": 7281, + "▁explain": 7282, + "▁'./": 7283, + "utils": 7284, + "possible": 7285, + "▁dont": 7286, + "Host": 7287, + "▁approxim": 7288, + "Async": 7289, + "▁grab": 7290, + "▁sources": 7291, + "▁Mos": 7292, + "▁Germany": 7293, + "▁rub": 7294, + "CHAN": 7295, + "▁rain": 7296, + "▁truly": 7297, + "▁joined": 7298, + "▁": 8276, + "agnost": 8277, + "▁proposed": 8278, + "▁Game": 8279, + "▁efforts": 8280, + "вя": 8281, + "tc": 8282, + "ск": 8283, + "▁intent": 8284, + "▁Bre": 8285, + "isc": 8286, + "▁protest": 8287, + "▁holds": 8288, + "ometry": 8289, + "▁Have": 8290, + "▁detail": 8291, + "▁WITHOUT": 8292, + "yer": 8293, + "▁Kon": 8294, + "▁noticed": 8295, + "▁requirements": 8296, + "DEBUG": 8297, + "kins": 8298, + "▁Span": 8299, + "▁cars": 8300, + "meta": 8301, + "▁kil": 8302, + "▁Bron": 8303, + "▁experienced": 8304, + "▁remind": 8305, + "ourse": 8306, + "▁Western": 8307, + "tered": 8308, + "▁devices": 8309, + "▁pictures": 8310, + "▁tut": 8311, + "\"`": 8312, + "▁impossible": 8313, + "▁rail": 8314, + "▁feels": 8315, + "icas": 8316, + "illing": 8317, + "▁accident": 8318, + "▁'@": 8319, + "________": 8320, + "▁notes": 8321, + "oman": 8322, + "Parser": 8323, + "▁discovered": 8324, + "▁Roman": 8325, + "▁budget": 8326, + "▁guide": 8327, + "king": 8328, + "▁incred": 8329, + "olar": 8330, + "enden": 8331, + "Desc": 8332, + "▁wave": 8333, + "бли": 8334, + "igt": 8335, + "▁restrict": 8336, + "▁Ret": 8337, + "▁mac": 8338, + "ур": 8339, + "BS": 8340, + "ís": 8341, + "▁generation": 8342, + "dem": 8343, + "alo": 8344, + "бра": 8345, + "▁ordered": 8346, + "drop": 8347, + "▁pp": 8348, + "▁Review": 8349, + "▁literally": 8350, + "▁Sir": 8351, + "▁Yeah": 8352, + "▁density": 8353, + "riz": 8354, + "inde": 8355, + "▁gain": 8356, + "▁panel": 8357, + "jet": 8358, + "▁Times": 8359, + "▁nella": 8360, + "▁previously": 8361, + "points": 8362, + "Send": 8363, + "▁Brown": 8364, + "each": 8365, + "▁trigger": 8366, + "ometimes": 8367, + "icos": 8368, + "GR": 8369, + "Panel": 8370, + "ogen": 8371, + "▁cm": 8372, + "ructions": 8373, + "▁kiss": 8374, + "▁solo": 8375, + "▁famous": 8376, + "ran": 8377, + "про": 8378, + "▁thro": 8379, + "Graph": 8380, + "imit": 8381, + "▁Value": 8382, + "▁starts": 8383, + "ipeline": 8384, + "hd": 8385, + "TC": 8386, + "▁discussion": 8387, + "▁truck": 8388, + "aka": 8389, + "Only": 8390, + "▁Equ": 8391, + "▁kö": 8392, + "▁Bes": 8393, + "▁critic": 8394, + "▁propos": 8395, + "▁batt": 8396, + "▁Section": 8397, + "Show": 8398, + "gp": 8399, + "STATE": 8400, + "POST": 8401, + "▁Nord": 8402, + "▁innov": 8403, + "▁crim": 8404, + "axis": 8405, + "▁Turn": 8406, + "conn": 8407, + "Runtime": 8408, + "▁remaining": 8409, + "oston": 8410, + "▁Э": 8411, + "▁windows": 8412, + "▁Royal": 8413, + "▁vide": 8414, + "PP": 8415, + "chron": 8416, + "▁san": 8417, + "▁rise": 8418, + "▁delle": 8419, + "▁Dur": 8420, + "▁rapid": 8421, + "cert": 8422, + "LA": 8423, + "edge": 8424, + "▁\\]": 8425, + "▁entered": 8426, + "▁laws": 8427, + "▁photo": 8428, + "▁applications": 8429, + "▁Berlin": 8430, + "▁arrest": 8431, + "▁federal": 8432, + "▁Russia": 8433, + "▁usual": 8434, + "▁raw": 8435, + "▁più": 8436, + "être": 8437, + "JSON": 8438, + "SION": 8439, + "xture": 8440, + "istent": 8441, + "▁Power": 8442, + "Bit": 8443, + "▁capacity": 8444, + "▁cards": 8445, + "UID": 8446, + "iments": 8447, + "▁dar": 8448, + "▁Chicago": 8449, + "▁comfortable": 8450, + "tip": 8451, + "bas": 8452, + "▁mu": 8453, + "▁enemy": 8454, + "yan": 8455, + "▁фи": 8456, + "▁updated": 8457, + "ango": 8458, + "Ev": 8459, + "Effect": 8460, + "osing": 8461, + "rence": 8462, + "▁Congress": 8463, + "▁defe": 8464, + "▁ip": 8465, + "▁tout": 8466, + "▁freedom": 8467, + "▁ao": 8468, + "▁Therefore": 8469, + "Edit": 8470, + "▁Virgin": 8471, + "REE": 8472, + "argo": 8473, + "▁Dam": 8474, + "▁traffic": 8475, + "ños": 8476, + "▁alle": 8477, + "▁depth": 8478, + "Now": 8479, + "▁sides": 8480, + "▁годи": 8481, + "Descriptor": 8482, + "▁artikel": 8483, + "▁narrow": 8484, + "___": 8485, + "kw": 8486, + "uto": 8487, + "▁Facebook": 8488, + "tegr": 8489, + "boolean": 8490, + "nik": 8491, + "bd": 8492, + "Track": 8493, + "▁gran": 8494, + "reshold": 8495, + "вет": 8496, + "wrap": 8497, + "▁noise": 8498, + "igu": 8499, + "▁Bon": 8500, + "▁wy": 8501, + "linux": 8502, + "cks": 8503, + "▁fans": 8504, + "▁mach": 8505, + "▁prices": 8506, + "év": 8507, + "outs": 8508, + "standing": 8509, + "▁categ": 8510, + ";\\": 8511, + "▁decre": 8512, + "▁Saturday": 8513, + "▁menu": 8514, + "▁Nov": 8515, + "▁Yet": 8516, + "▁так": 8517, + "liche": 8518, + "▁Academ": 8519, + "▁communication": 8520, + "using": 8521, + "▁Society": 8522, + "▁nuc": 8523, + "pective": 8524, + "orial": 8525, + "▁afraid": 8526, + "▁animal": 8527, + "▁turning": 8528, + "dst": 8529, + "mathfrak": 8530, + "lers": 8531, + "▁lots": 8532, + "▁á": 8533, + "▁Tra": 8534, + "np": 8535, + "▁rose": 8536, + "▁GL": 8537, + "▁helping": 8538, + "▁winter": 8539, + "▁ком": 8540, + "Mock": 8541, + "▁investment": 8542, + "Use": 8543, + "▁Canad": 8544, + "нд": 8545, + "Copy": 8546, + "▁fly": 8547, + "SER": 8548, + "▁Far": 8549, + "▁Ros": 8550, + "amil": 8551, + "▁fighting": 8552, + "▁religious": 8553, + "super": 8554, + "screen": 8555, + "▁furn": 8556, + "▁surprised": 8557, + "▁replied": 8558, + "Activity": 8559, + "▁Down": 8560, + "▁insert": 8561, + "▁Olymp": 8562, + "▁pointed": 8563, + "▁Card": 8564, + "driver": 8565, + "▁Da": 8566, + "!--": 8567, + "roud": 8568, + "undo": 8569, + "▁messages": 8570, + "▁Point": 8571, + "VM": 8572, + "▁plane": 8573, + "xc": 8574, + "▁television": 8575, + "ён": 8576, + "▁thousands": 8577, + "▁cris": 8578, + "▁delay": 8579, + "▁Next": 8580, + "▁nombre": 8581, + "▁tu": 8582, + "▁skip": 8583, + "road": 8584, + "istration": 8585, + "▁tur": 8586, + "▁Develop": 8587, + "▁Па": 8588, + "▁дру": 8589, + "▁wonderful": 8590, + ">&": 8591, + "▁Liber": 8592, + "▁scope": 8593, + "▁manage": 8594, + "▁dass": 8595, + "▁recall": 8596, + "PM": 8597, + "▁relevant": 8598, + "▁Earth": 8599, + "▁как": 8600, + "▁apr": 8601, + "▁ASS": 8602, + "ién": 8603, + "▁SH": 8604, + "oom": 8605, + "itet": 8606, + "none": 8607, + "asi": 8608, + "▁motor": 8609, + "▁Show": 8610, + "nb": 8611, + "▁factors": 8612, + "▁forest": 8613, + "▁вре": 8614, + "thm": 8615, + "▁municip": 8616, + "▁turns": 8617, + "▁Division": 8618, + "EC": 8619, + "▁disappe": 8620, + "structor": 8621, + "▁somewhere": 8622, + "▁African": 8623, + "▁Institute": 8624, + "Grid": 8625, + "▁teacher": 8626, + "uries": 8627, + "▁respectively": 8628, + "▁SD": 8629, + "▁alive": 8630, + "▁pou": 8631, + "▁Water": 8632, + "фе": 8633, + "▁changing": 8634, + "▁afternoon": 8635, + "▁orders": 8636, + "Ret": 8637, + "Pointer": 8638, + "▁sav": 8639, + "erg": 8640, + "oked": 8641, + "essions": 8642, + "▁Fire": 8643, + "aret": 8644, + "imm": 8645, + "▁desire": 8646, + "▁що": 8647, + "▁Design": 8648, + "uture": 8649, + "▁Office": 8650, + "▁cmd": 8651, + "▁eating": 8652, + "Network": 8653, + "▁rough": 8654, + "operator": 8655, + "IGN": 8656, + "▁sports": 8657, + "▁weren": 8658, + "▁noted": 8659, + "▁twice": 8660, + "III": 8661, + "▁anx": 8662, + "▁elim": 8663, + "▁ав": 8664, + "▁io": 8665, + "▁speech": 8666, + "▁condu": 8667, + "elles": 8668, + "idade": 8669, + "▁advance": 8670, + "RI": 8671, + "oca": 8672, + "/\\": 8673, + "apshot": 8674, + "▁tail": 8675, + "models": 8676, + "ogy": 8677, + "▁Jeff": 8678, + "iration": 8679, + "▁Kore": 8680, + "▁leads": 8681, + "bat": 8682, + "Adapter": 8683, + "category": 8684, + "angular": 8685, + "▁saved": 8686, + "▁uniform": 8687, + "▁né": 8688, + "▁businesses": 8689, + "Hist": 8690, + "▁ар": 8691, + "domain": 8692, + "▁Si": 8693, + "raise": 8694, + "▁warn": 8695, + "hetic": 8696, + "▁Gro": 8697, + ")).": 8698, + "}>": 8699, + "зе": 8700, + "▁Amazon": 8701, + "▁Organ": 8702, + "▁Lake": 8703, + "▁agreement": 8704, + "xa": 8705, + "▁perman": 8706, + "▁containing": 8707, + "▁strange": 8708, + "сті": 8709, + "▁stupid": 8710, + "▁speaking": 8711, + "▁Internet": 8712, + "prefix": 8713, + "esc": 8714, + "Assert": 8715, + "prote": 8716, + "▁manner": 8717, + "▁Sz": 8718, + "unte": 8719, + "iot": 8720, + "Profile": 8721, + "oven": 8722, + "▁formed": 8723, + "▁lit": 8724, + "▁economy": 8725, + "▁cz": 8726, + "wid": 8727, + "REQ": 8728, + "▁chosen": 8729, + "▁Produ": 8730, + "oster": 8731, + "stances": 8732, + "awa": 8733, + "▁Ren": 8734, + "▁confirm": 8735, + "▁Бо": 8736, + "▁billion": 8737, + "▁déc": 8738, + "ých": 8739, + "▁illustr": 8740, + "TIES": 8741, + "▁Pub": 8742, + "▁ban": 8743, + "aded": 8744, + "ahn": 8745, + "▁Cath": 8746, + "nonumber": 8747, + "▁worst": 8748, + "▁Ме": 8749, + "▁suggested": 8750, + "stats": 8751, + "▁cant": 8752, + "▁align": 8753, + "kappa": 8754, + "▁hen": 8755, + "▁initi": 8756, + "'])": 8757, + "BI": 8758, + "▁garden": 8759, + "▁secure": 8760, + "▁\\[": 8761, + "handler": 8762, + "elli": 8763, + "ldots": 8764, + "secut": 8765, + "▁extended": 8766, + "}-": 8767, + "anie": 8768, + "▁Find": 8769, + "▁Museum": 8770, + "▁Conne": 8771, + "yy": 8772, + "▁passion": 8773, + "akers": 8774, + "ahr": 8775, + "ologies": 8776, + "▁equation": 8777, + "▁occasion": 8778, + "Let": 8779, + "']['": 8780, + "Print": 8781, + "anes": 8782, + "iente": 8783, + "▁Today": 8784, + "LECT": 8785, + "▁Af": 8786, + ",,": 8787, + "▁Та": 8788, + "▁```": 8789, + "even": 8790, + "sin": 8791, + "urer": 8792, + "▁°": 8793, + "otimes": 8794, + "▁IO": 8795, + "▁poet": 8796, + "()));": 8797, + "▁−": 8798, + "▁adopt": 8799, + "phere": 8800, + "#[": 8801, + "▁centre": 8802, + "oves": 8803, + "▁ans": 8804, + "dp": 8805, + "▁Kir": 8806, + "▁applicable": 8807, + "fp": 8808, + "▁visual": 8809, + "▁okay": 8810, + "oro": 8811, + "▁opportunities": 8812, + "Repository": 8813, + "▁ll": 8814, + "▁Rod": 8815, + "▁shel": 8816, + "▁launch": 8817, + "▁conven": 8818, + "▁Spe": 8819, + "Amer": 8820, + "▁cette": 8821, + "Cond": 8822, + "dep": 8823, + "Own": 8824, + "▁hook": 8825, + "▁dict": 8826, + "▁Those": 8827, + "▁fellow": 8828, + "▁philosoph": 8829, + "vin": 8830, + "ferences": 8831, + "hav": 8832, + "▁adding": 8833, + "iverse": 8834, + "game": 8835, + "▁Blue": 8836, + "▁clin": 8837, + "note": 8838, + "▁Ram": 8839, + "мер": 8840, + "covery": 8841, + "ña": 8842, + "▁би": 8843, + "▁fashion": 8844, + "▁broke": 8845, + "▁'\\": 8846, + "▁reader": 8847, + "ное": 8848, + "ности": 8849, + "▁payment": 8850, + "▁Lic": 8851, + "▁lips": 8852, + "▁academ": 8853, + "▁Mot": 8854, + "ells": 8855, + "CHECK": 8856, + "▁ру": 8857, + "▁MS": 8858, + "Editor": 8859, + "▁zone": 8860, + "iture": 8861, + "▁IT": 8862, + "runtime": 8863, + "▁proceed": 8864, + "лов": 8865, + "▁Maria": 8866, + "olver": 8867, + "▁Thanks": 8868, + "▁shouldn": 8869, + "▁Joh": 8870, + "▁Model": 8871, + "▁Sov": 8872, + "!'": 8873, + "Di": 8874, + "▁cancer": 8875, + "Ident": 8876, + "▁exchange": 8877, + "iller": 8878, + "inf": 8879, + "LEN": 8880, + "(){": 8881, + "aga": 8882, + "\"],": 8883, + "uh": 8884, + "▁Ken": 8885, + "▁photos": 8886, + "▁tiny": 8887, + "▁gent": 8888, + "ül": 8889, + "▁Take": 8890, + "idel": 8891, + "outing": 8892, + "Internal": 8893, + "▁cells": 8894, + "ним": 8895, + "hard": 8896, + "▁Town": 8897, + "obe": 8898, + "plex": 8899, + "тер": 8900, + "tons": 8901, + "▁concentr": 8902, + "mock": 8903, + "vc": 8904, + "áz": 8905, + "▁Championship": 8906, + "▁бе": 8907, + "??": 8908, + "éri": 8909, + "aly": 8910, + "▁Ц": 8911, + "ierte": 8912, + "▁totally": 8913, + "▁Auf": 8914, + "▁ourselves": 8915, + "▁Self": 8916, + "Forms": 8917, + "ighter": 8918, + "▁island": 8919, + "fmt": 8920, + "▁rc": 8921, + "▁tells": 8922, + "BB": 8923, + "dit": 8924, + "▁variables": 8925, + "▁intended": 8926, + "izont": 8927, + "▁plays": 8928, + "dam": 8929, + "seq": 8930, + "▁Sup": 8931, + "▁cultural": 8932, + "▁scream": 8933, + "__,": 8934, + "cipl": 8935, + "Timeout": 8936, + "▁ж": 8937, + "orte": 8938, + "▁replaced": 8939, + "EM": 8940, + "▁abandon": 8941, + "▁Special": 8942, + "ellen": 8943, + "▁Bru": 8944, + "irmed": 8945, + "Te": 8946, + "olt": 8947, + "ju": 8948, + "Argument": 8949, + "▁neut": 8950, + "scape": 8951, + "▁Ray": 8952, + "▁Polit": 8953, + "▁crowd": 8954, + "▁Windows": 8955, + "iego": 8956, + "▁escape": 8957, + "▁Apache": 8958, + "sync": 8959, + "eben": 8960, + "ifies": 8961, + "ether": 8962, + "Meta": 8963, + "▁biggest": 8964, + "Game": 8965, + "▁transaction": 8966, + "Env": 8967, + "▁Мо": 8968, + "▁plenty": 8969, + "▁mel": 8970, + "пре": 8971, + "▁motiv": 8972, + "▁ор": 8973, + "organ": 8974, + "▁mock": 8975, + "▁$_": 8976, + "ене": 8977, + "▁Number": 8978, + "cknow": 8979, + "▁Update": 8980, + "zero": 8981, + "▁surprise": 8982, + "cean": 8983, + "pdf": 8984, + "Global": 8985, + "▁attend": 8986, + "▁fond": 8987, + "▁understood": 8988, + "Nav": 8989, + "▁Mic": 8990, + "=$": 8991, + "oking": 8992, + "▁Stadium": 8993, + "Close": 8994, + "▁competition": 8995, + "▁soldiers": 8996, + "▁OP": 8997, + "agne": 8998, + "▁Anton": 8999, + "Main": 9000, + "ák": 9001, + "▁#[": 9002, + "▁Commit": 9003, + "pyx": 9004, + "▁east": 9005, + "▁Order": 9006, + "Float": 9007, + "▁accepted": 9008, + "▁monitor": 9009, + "▁pad": 9010, + "onic": 9011, + "▁pushed": 9012, + "▁replace": 9013, + "CRE": 9014, + "▁ride": 9015, + "found": 9016, + "=%": 9017, + "вой": 9018, + "▁matches": 9019, + "▁Lie": 9020, + "▁experiences": 9021, + "Pool": 9022, + "ups": 9023, + "AV": 9024, + "▁existence": 9025, + "▁thin": 9026, + "▁magn": 9027, + "COMP": 9028, + "home": 9029, + "▁ni": 9030, + "▁wurden": 9031, + "лав": 9032, + "▁teeth": 9033, + "▁Stan": 9034, + "appro": 9035, + "anny": 9036, + "ifts": 9037, + "▁unknown": 9038, + "▁homes": 9039, + "▁entity": 9040, + "cie": 9041, + "ление": 9042, + "iar": 9043, + "▁compliance": 9044, + "▁focused": 9045, + "uzz": 9046, + "=\\\"": 9047, + "components": 9048, + "Attr": 9049, + "allery": 9050, + "▁identify": 9051, + "Ok": 9052, + "pie": 9053, + "▁Still": 9054, + "▁offering": 9055, + "▁busy": 9056, + "ctl": 9057, + "itors": 9058, + "▁concerned": 9059, + "▁brown": 9060, + "clk": 9061, + "Selected": 9062, + "▁Block": 9063, + "▁egy": 9064, + "icing": 9065, + "▁URL": 9066, + "▁topic": 9067, + "▁Product": 9068, + "▁чи": 9069, + "▁trial": 9070, + "▁weekend": 9071, + "lu": 9072, + "▁IV": 9073, + "▁Egy": 9074, + "xC": 9075, + "▁nove": 9076, + "▁lett": 9077, + "enne": 9078, + "()).": 9079, + ".**": 9080, + "▁promise": 9081, + "election": 9082, + "Auth": 9083, + "rv": 9084, + "ril": 9085, + "▁conduct": 9086, + "▁maintain": 9087, + "▁boat": 9088, + "▁opposite": 9089, + "spin": 9090, + "webpack": 9091, + "anta": 9092, + "▁orient": 9093, + "▁suc": 9094, + "▁exercise": 9095, + "▁efficient": 9096, + "▁tradition": 9097, + "▁zw": 9098, + "▁Sud": 9099, + "going": 9100, + "▁Pier": 9101, + "inv": 9102, + "ipes": 9103, + "ensuremath": 9104, + "▁conver": 9105, + "creen": 9106, + "▁terror": 9107, + "▁Dou": 9108, + "▁invalid": 9109, + "ceived": 9110, + "▁Arab": 9111, + "▁wire": 9112, + "application": 9113, + "shift": 9114, + "Generic": 9115, + "▁Plan": 9116, + "▁Wall": 9117, + "▁directory": 9118, + "▁egg": 9119, + "▁wealth": 9120, + "random": 9121, + "attribute": 9122, + "▁hide": 9123, + "Serial": 9124, + "cam": 9125, + "▁ital": 9126, + "▁Line": 9127, + "▁CHECK": 9128, + "ployment": 9129, + "▁massive": 9130, + "▁extract": 9131, + "chain": 9132, + "Rest": 9133, + "▁Las": 9134, + "▁bear": 9135, + "▁links": 9136, + "▁newsp": 9137, + "▁FC": 9138, + "Card": 9139, + "aks": 9140, + "▁visible": 9141, + "▁Marc": 9142, + "▁Boston": 9143, + "▁reserved": 9144, + "▁roof": 9145, + "licenses": 9146, + "dc": 9147, + "▁Information": 9148, + "▁witness": 9149, + "Sk": 9150, + "*),": 9151, + "Scope": 9152, + "'];": 9153, + "▁Mir": 9154, + "uding": 9155, + "▁trend": 9156, + "rep": 9157, + "▁musical": 9158, + "▁neither": 9159, + "▁Creat": 9160, + "▁positions": 9161, + "LC": 9162, + "ridge": 9163, + "▁officers": 9164, + "▁violence": 9165, + "▁Tem": 9166, + "▁Sus": 9167, + "▁Way": 9168, + "After": 9169, + "acket": 9170, + "▁Sou": 9171, + "acer": 9172, + "||": 9173, + "▁remark": 9174, + "water": 9175, + "ně": 9176, + "▁Са": 9177, + "▁sed": 9178, + "Each": 9179, + "▁photograph": 9180, + "▁letters": 9181, + "▁invent": 9182, + "▁Mas": 9183, + "▁songs": 9184, + "ól": 9185, + "kind": 9186, + "▁Non": 9187, + "▁dust": 9188, + "**:": 9189, + "nabla": 9190, + ".\",": 9191, + "Lock": 9192, + "▁До": 9193, + "▁cluster": 9194, + "loss": 9195, + "▁ASSERT": 9196, + "fall": 9197, + "▁reject": 9198, + "▁Spring": 9199, + "▁wedding": 9200, + "▁grav": 9201, + "ression": 9202, + "limit": 9203, + "RES": 9204, + "]}": 9205, + "▁listed": 9206, + "▁Tele": 9207, + "hline": 9208, + "▁chief": 9209, + "MEM": 9210, + "дар": 9211, + "▁expensive": 9212, + "trace": 9213, + "▁Rog": 9214, + "▁Coll": 9215, + "▁Author": 9216, + "▁Board": 9217, + "▁Capt": 9218, + "TEXT": 9219, + "▁recon": 9220, + "esta": 9221, + "▁properly": 9222, + "▁&\\": 9223, + "leton": 9224, + "iker": 9225, + "Gu": 9226, + "▁Kom": 9227, + "oco": 9228, + "▁anymore": 9229, + "▁taste": 9230, + "▁Santa": 9231, + "gex": 9232, + "▁Secret": 9233, + "▁talent": 9234, + "▁moments": 9235, + "▁Ba": 9236, + "▁extr": 9237, + "▁Commission": 9238, + "▁modify": 9239, + "▁Figure": 9240, + "▁domin": 9241, + "▁plot": 9242, + "enger": 9243, + "utch": 9244, + "▁cities": 9245, + "▁nut": 9246, + "profile": 9247, + "▁Stat": 9248, + "▁nodes": 9249, + "▁ns": 9250, + "essages": 9251, + "impl": 9252, + "icker": 9253, + "▁examples": 9254, + "abeth": 9255, + "▁stated": 9256, + "fire": 9257, + "bul": 9258, + "▁dangerous": 9259, + "▁Pay": 9260, + "▁Gre": 9261, + "▁Monday": 9262, + "esome": 9263, + "igan": 9264, + "rund": 9265, + "prise": 9266, + "fail": 9267, + "▁Never": 9268, + "Av": 9269, + "▁linear": 9270, + "▁ul": 9271, + "WAR": 9272, + "рен": 9273, + "▁AT": 9274, + "▁dop": 9275, + "▁nou": 9276, + "Dest": 9277, + "▁claims": 9278, + "enda": 9279, + "▁crazy": 9280, + "gel": 9281, + "oggle": 9282, + "▁representation": 9283, + "inen": 9284, + "▁alternative": 9285, + "DM": 9286, + "ABILITY": 9287, + "faces": 9288, + "▁doors": 9289, + "ativ": 9290, + "Look": 9291, + "▁JSON": 9292, + "▁appearance": 9293, + "бря": 9294, + "SQL": 9295, + "▁silence": 9296, + "udo": 9297, + "▁Director": 9298, + "Statement": 9299, + "selected": 9300, + "high": 9301, + "prime": 9302, + "▁ignore": 9303, + "▁colors": 9304, + "ushing": 9305, + "▁virt": 9306, + "manager": 9307, + "▁remote": 9308, + "ło": 9309, + "small": 9310, + "▁crime": 9311, + "rb": 9312, + "▁creation": 9313, + "▁flight": 9314, + "▁Sign": 9315, + "ILE": 9316, + "▁DO": 9317, + "comment": 9318, + "▁Cost": 9319, + ".__": 9320, + "▁Cop": 9321, + "▁vom": 9322, + "▁Science": 9323, + "ления": 9324, + "oop": 9325, + "interface": 9326, + "▁WARRANTIES": 9327, + "▁Page": 9328, + "******": 9329, + "ском": 9330, + "TRUE": 9331, + "▁repeated": 9332, + "▁его": 9333, + "шо": 9334, + "▁roz": 9335, + "Pe": 9336, + "▁ISBN": 9337, + "irts": 9338, + "poses": 9339, + "})$": 9340, + "▁І": 9341, + "children": 9342, + "bles": 9343, + "ECT": 9344, + "▁iz": 9345, + "▁builder": 9346, + "▁Media": 9347, + "iat": 9348, + "▁contrast": 9349, + "”,": 9350, + "▁Link": 9351, + "▁Education": 9352, + "▁joint": 9353, + "▁external": 9354, + "▁роз": 9355, + "▁bits": 9356, + "FORM": 9357, + "erman": 9358, + "wp": 9359, + "▁Mike": 9360, + "▁Master": 9361, + "▁senior": 9362, + "▁Nav": 9363, + "▁recorded": 9364, + "eling": 9365, + "esh": 9366, + "fx": 9367, + "кан": 9368, + "▁tall": 9369, + "▁Johnson": 9370, + "▁sono": 9371, + "▁anche": 9372, + "icken": 9373, + "loop": 9374, + "iciency": 9375, + "emporary": 9376, + "▁Does": 9377, + "▁relation": 9378, + "мы": 9379, + "was": 9380, + "low": 9381, + "ichte": 9382, + "▁Jones": 9383, + "▁bedroom": 9384, + "DIS": 9385, + "▁magnet": 9386, + "▁Engine": 9387, + "▁feelings": 9388, + "GC": 9389, + "▁torn": 9390, + "▁relationships": 9391, + "▁Ре": 9392, + "▁proud": 9393, + "▁twe": 9394, + "oval": 9395, + "▁waste": 9396, + "▁reduced": 9397, + "ilton": 9398, + "BP": 9399, + "▁forgot": 9400, + "▁bodies": 9401, + "▁Haw": 9402, + "lag": 9403, + "▁www": 9404, + "door": 9405, + "▁sufficient": 9406, + "▁dollars": 9407, + "Len": 9408, + "▁talked": 9409, + "▁bond": 9410, + "▁Bor": 9411, + "}}{": 9412, + "rod": 9413, + "Password": 9414, + "quare": 9415, + "▁lights": 9416, + "eren": 9417, + "▁thirty": 9418, + "NC": 9419, + "▁TODO": 9420, + "▁respond": 9421, + "ких": 9422, + "direct": 9423, + "ação": 9424, + "▁heav": 9425, + "Media": 9426, + "exit": 9427, + "License": 9428, + "`.": 9429, + "▁mixed": 9430, + "▁desk": 9431, + "▁teaching": 9432, + "▁maj": 9433, + "▁nerv": 9434, + "inations": 9435, + "typeof": 9436, + "▁coast": 9437, + "▁же": 9438, + "▁beside": 9439, + "ummy": 9440, + "Doc": 9441, + "▁schedule": 9442, + "▁recover": 9443, + "▁Further": 9444, + "▁steel": 9445, + "boot": 9446, + "▁Perhaps": 9447, + "▁съ": 9448, + "▁Os": 9449, + "rick": 9450, + "▁Ви": 9451, + "Support": 9452, + "▁(_": 9453, + "nil": 9454, + "pis": 9455, + "xpected": 9456, + "▁processing": 9457, + "Build": 9458, + "arian": 9459, + "▁icon": 9460, + "▁CA": 9461, + "wick": 9462, + "=(": 9463, + "▁algorithm": 9464, + "▁Young": 9465, + "▁Management": 9466, + "▁ancient": 9467, + "ность": 9468, + "oti": 9469, + "▁combination": 9470, + "world": 9471, + "nn": 9472, + "▁dram": 9473, + "enabled": 9474, + "Ac": 9475, + "CCESS": 9476, + "aration": 9477, + "▁blocks": 9478, + "▁Angeles": 9479, + "▁Qual": 9480, + "▁succeed": 9481, + "network": 9482, + "▁oblig": 9483, + "springframework": 9484, + "▁Tre": 9485, + "okes": 9486, + "mun": 9487, + "▁Network": 9488, + "Del": 9489, + "▁estate": 9490, + "▁liqu": 9491, + "▁pob": 9492, + "▁dad": 9493, + "▁distinct": 9494, + "▁Tit": 9495, + "▁Lear": 9496, + "ferred": 9497, + "android": 9498, + "▁subsequ": 9499, + "▁Florida": 9500, + "subset": 9501, + "▁whisper": 9502, + "Vol": 9503, + "ulous": 9504, + "▁crew": 9505, + "▁lug": 9506, + "pid": 9507, + "ocity": 9508, + "skb": 9509, + "▁tea": 9510, + "ун": 9511, + "▁honor": 9512, + "▁Ins": 9513, + "▁gew": 9514, + "Details": 9515, + "eneath": 9516, + "atar": 9517, + "▁_{": 9518, + "amen": 9519, + "▁setup": 9520, + "Transaction": 9521, + "▁blank": 9522, + "Failed": 9523, + "job": 9524, + "▁pret": 9525, + "ße": 9526, + "loor": 9527, + "ří": 9528, + "ncia": 9529, + "▁anywhere": 9530, + "▁Light": 9531, + "▁Ak": 9532, + "BD": 9533, + "▁excited": 9534, + "agers": 9535, + "▁warning": 9536, + "▁processes": 9537, + "hu": 9538, + "▁youth": 9539, + "▁dogs": 9540, + "▁oct": 9541, + "▁nine": 9542, + "Writer": 9543, + "grid": 9544, + "▁importance": 9545, + "estic": 9546, + "▁carefully": 9547, + "master": 9548, + "▁decisions": 9549, + "▁pin": 9550, + "▁crack": 9551, + "TEST": 9552, + "▁Local": 9553, + "▁Right": 9554, + "▁vast": 9555, + "▁faster": 9556, + "▁institut": 9557, + "▁annual": 9558, + "LAN": 9559, + "▁episode": 9560, + "▁XV": 9561, + "▁delivery": 9562, + "tl": 9563, + "FP": 9564, + "circ": 9565, + "▁typically": 9566, + "igo": 9567, + "▁intel": 9568, + "nat": 9569, + "xb": 9570, + "стро": 9571, + ")-": 9572, + "▁Bal": 9573, + "▁Jos": 9574, + "▁gonna": 9575, + "▁Rest": 9576, + "jor": 9577, + "onia": 9578, + "orship": 9579, + "overy": 9580, + "LINE": 9581, + "]:": 9582, + "Queue": 9583, + "▁compare": 9584, + "▁apartment": 9585, + "▁rul": 9586, + "Dr": 9587, + "gency": 9588, + "▁obviously": 9589, + "zie": 9590, + "ycl": 9591, + "fortunately": 9592, + "▁stepped": 9593, + "▁Seg": 9594, + "▁Which": 9595, + "▁PC": 9596, + "▁ast": 9597, + "endor": 9598, + "▁permission": 9599, + "COL": 9600, + "▁TEST": 9601, + "Pay": 9602, + "ères": 9603, + "▁studied": 9604, + "▁accompl": 9605, + "role": 9606, + "Where": 9607, + "protobuf": 9608, + "metadata": 9609, + "Job": 9610, + "▁Four": 9611, + "plements": 9612, + "disable": 9613, + "▁loud": 9614, + "▁happening": 9615, + "▁Using": 9616, + "rog": 9617, + "▁depends": 9618, + "ím": 9619, + "'\\": 9620, + "▁taught": 9621, + "shared": 9622, + "▁attributes": 9623, + "▁Action": 9624, + "▁dess": 9625, + "▁houses": 9626, + "▁reset": 9627, + "▁bien": 9628, + "▁explicit": 9629, + "LOW": 9630, + "->_": 9631, + "▁PM": 9632, + "Category": 9633, + "oice": 9634, + "into": 9635, + "▁mail": 9636, + "▁authority": 9637, + "▁unable": 9638, + "filename": 9639, + "ék": 9640, + "лей": 9641, + "▁sector": 9642, + "appoint": 9643, + "▁hang": 9644, + "▁cel": 9645, + "related": 9646, + "itate": 9647, + "▁'<": 9648, + "amber": 9649, + "▁cheap": 9650, + "▁enabled": 9651, + "▁division": 9652, + "Any": 9653, + "▁hier": 9654, + "▁Head": 9655, + "ntax": 9656, + "uda": 9657, + "▁limitations": 9658, + "▁studio": 9659, + "media": 9660, + "▁circle": 9661, + "нова": 9662, + "▁laug": 9663, + "acts": 9664, + "▁Во": 9665, + "ód": 9666, + "pled": 9667, + "LOC": 9668, + "Expr": 9669, + ">:": 9670, + "▁prés": 9671, + "▁laughed": 9672, + "▁Three": 9673, + "лы": 9674, + "▁ends": 9675, + "▁fundament": 9676, + "▁inher": 9677, + "▁liv": 9678, + "bid": 9679, + "▁responsibility": 9680, + "▁checked": 9681, + "▁Pac": 9682, + "▁fault": 9683, + "▁yellow": 9684, + "▁salt": 9685, + "▁Francisco": 9686, + "▁^": 9687, + "▁ON": 9688, + "▁beauty": 9689, + "yg": 9690, + "▁Aff": 9691, + "▁Eq": 9692, + "▁magic": 9693, + "▁handler": 9694, + "xE": 9695, + "▁numerous": 9696, + "▁hole": 9697, + "▁rooms": 9698, + "cción": 9699, + "▁Arm": 9700, + "person": 9701, + "▁buildings": 9702, + "▁plate": 9703, + "bled": 9704, + "errors": 9705, + "▁Again": 9706, + "▁Default": 9707, + "▁Hard": 9708, + "tó": 9709, + "hus": 9710, + "▁dimension": 9711, + "iale": 9712, + "▁Mult": 9713, + "▁Government": 9714, + "Func": 9715, + "▁blow": 9716, + "▁rect": 9717, + "erra": 9718, + "connection": 9719, + "▁passing": 9720, + "ßen": 9721, + "phas": 9722, + "ensional": 9723, + "record": 9724, + "cohol": 9725, + "▁Harry": 9726, + "izontal": 9727, + "▁finger": 9728, + "▁younger": 9729, + "▁SC": 9730, + "operation": 9731, + "BY": 9732, + "heim": 9733, + "▁Bad": 9734, + "▁storm": 9735, + "▁Nat": 9736, + "▁buying": 9737, + "▁Sometimes": 9738, + "▁Ста": 9739, + "essed": 9740, + "▁damn": 9741, + "▁meg": 9742, + "umes": 9743, + "ünd": 9744, + "тра": 9745, + "▁silver": 9746, + "wd": 9747, + "hidden": 9748, + "ardo": 9749, + "▁communities": 9750, + "▁diet": 9751, + "otted": 9752, + "▁bat": 9753, + "ancer": 9754, + "▁fmt": 9755, + "▁Pen": 9756, + "▁til": 9757, + "Enum": 9758, + "PATH": 9759, + "▁matters": 9760, + "timeout": 9761, + "------------": 9762, + "kan": 9763, + "▁Corpor": 9764, + "=\"../../": 9765, + "▁Ale": 9766, + "hentication": 9767, + "▁complic": 9768, + "▁Security": 9769, + "OFF": 9770, + "Rad": 9771, + "apse": 9772, + "▁dance": 9773, + "▁permissions": 9774, + "▁warrant": 9775, + "▁lad": 9776, + "▁isol": 9777, + "dl": 9778, + "▁Au": 9779, + "yes": 9780, + "▁tv": 9781, + "▁provider": 9782, + "▁terrible": 9783, + "▁department": 9784, + "eral": 9785, + "▁implementation": 9786, + "SR": 9787, + "▁hearing": 9788, + "▁Kn": 9789, + "FR": 9790, + "tv": 9791, + "▁diss": 9792, + "FUN": 9793, + "▁durante": 9794, + "osis": 9795, + "▁tasks": 9796, + "▁Blo": 9797, + "вод": 9798, + "▁branch": 9799, + "▁politics": 9800, + "▁Elle": 9801, + "▁leadership": 9802, + "expr": 9803, + "▁techniques": 9804, + "prec": 9805, + "Sigma": 9806, + "imately": 9807, + "tk": 9808, + "achment": 9809, + "▁Enter": 9810, + "▁creative": 9811, + "▁зна": 9812, + "appy": 9813, + "unched": 9814, + "▁'',": 9815, + "onder": 9816, + "{-": 9817, + "NUM": 9818, + "▁narr": 9819, + "Memory": 9820, + "▁winning": 9821, + "▁Follow": 9822, + "*/\r": 9823, + "vision": 9824, + "resents": 9825, + "zione": 9826, + "▁latter": 9827, + "▁requests": 9828, + "▁margin": 9829, + "▁{\"": 9830, + "video": 9831, + "cn": 9832, + "▁Image": 9833, + "Tim": 9834, + "CONFIG": 9835, + "▁allowing": 9836, + "▁combined": 9837, + "PUT": 9838, + "▁instanceof": 9839, + "igin": 9840, + "▁pero": 9841, + "▁''": 9842, + "▁confidence": 9843, + "▁equivalent": 9844, + "pad": 9845, + "effect": 9846, + "RX": 9847, + "▁lang": 9848, + "strong": 9849, + "▁bridge": 9850, + "aya": 9851, + "▁treated": 9852, + "▁forth": 9853, + "SW": 9854, + "▁accounts": 9855, + "▁PO": 9856, + "▁listening": 9857, + "Route": 9858, + "()))": 9859, + "cpy": 9860, + "▁reform": 9861, + "▁gate": 9862, + "▁Walk": 9863, + "▁somehow": 9864, + "tf": 9865, + "▁layout": 9866, + "umin": 9867, + "▁considering": 9868, + "▁premi": 9869, + "▁Mom": 9870, + "athan": 9871, + "Gen": 9872, + "▁planet": 9873, + "amples": 9874, + "▁MO": 9875, + "shop": 9876, + "▁premier": 9877, + "▁simpl": 9878, + "▁segu": 9879, + "LY": 9880, + "Sum": 9881, + "▁tables": 9882, + "ska": 9883, + "▁ž": 9884, + "pd": 9885, + "▁sous": 9886, + "▁conference": 9887, + "▁Dat": 9888, + "Scroll": 9889, + "▁standards": 9890, + "▁гру": 9891, + "esse": 9892, + "▁citizens": 9893, + "▁occurred": 9894, + "▁democr": 9895, + "▁elev": 9896, + "▁Sem": 9897, + "ensus": 9898, + "headers": 9899, + "▁Chris": 9900, + "imento": 9901, + "kom": 9902, + "Cor": 9903, + "MIN": 9904, + "usher": 9905, + "Database": 9906, + "▁formal": 9907, + "igne": 9908, + "▁organizations": 9909, + "▁Ire": 9910, + "Xml": 9911, + "из": 9912, + "▁pray": 9913, + "▁bomb": 9914, + "▁mand": 9915, + "erts": 9916, + "▁clock": 9917, + "▁buck": 9918, + "вали": 9919, + "ensch": 9920, + "▁volt": 9921, + "▁films": 9922, + "▁plants": 9923, + "inode": 9924, + "Boolean": 9925, + "▁restaurant": 9926, + "ían": 9927, + "▁debut": 9928, + "pages": 9929, + "▁wordt": 9930, + "▁Ба": 9931, + "▁greatest": 9932, + "(\"/": 9933, + "▁copyright": 9934, + "▁rit": 9935, + "sizeof": 9936, + "Trace": 9937, + "uent": 9938, + "тур": 9939, + "▁ko": 9940, + ":\\": 9941, + "▁bigger": 9942, + "▁perfectly": 9943, + "tenance": 9944, + "MASK": 9945, + "ré": 9946, + "▁ett": 9947, + "▁nose": 9948, + "▁craft": 9949, + "iteral": 9950, + "▁discussed": 9951, + "▁Jewish": 9952, + "Cap": 9953, + "▁Unless": 9954, + "▁Jackson": 9955, + "Attributes": 9956, + "▁lunch": 9957, + "öl": 9958, + "atr": 9959, + "▁paying": 9960, + "Parse": 9961, + "()\r": 9962, + "lad": 9963, + "▁rare": 9964, + "▁[];": 9965, + "stone": 9966, + "▁unc": 9967, + "▁defense": 9968, + "}+": 9969, + "▁Global": 9970, + "▁Soviet": 9971, + "▁Australian": 9972, + "▁gli": 9973, + "variant": 9974, + "▁Ron": 9975, + "▁loan": 9976, + "Step": 9977, + "member": 9978, + "Sch": 9979, + "▁Committee": 9980, + "▁spending": 9981, + "▁Tri": 9982, + "▁Journal": 9983, + "▁sugar": 9984, + "elly": 9985, + "HTML": 9986, + "▁advent": 9987, + "wing": 9988, + "▁Whether": 9989, + "oration": 9990, + "▁NE": 9991, + "iveness": 9992, + "▁hav": 9993, + "▁conscious": 9994, + "een": 9995, + "Symbol": 9996, + "▁ку": 9997, + "Logger": 9998, + "▁Little": 9999, + "widet": 10000, + "ocation": 10001, + "pin": 10002, + "▁symmet": 10003, + "▁AD": 10004, + "▁posts": 10005, + "shal": 10006, + "▁Conf": 10007, + "▁chose": 10008, + "mal": 10009, + "ulo": 10010, + "▁Method": 10011, + "▁missed": 10012, + "Remove": 10013, + "Auto": 10014, + "VALUE": 10015, + "thlet": 10016, + "▁Force": 10017, + "pf": 10018, + "▁Я": 10019, + "late": 10020, + "▁pul": 10021, + "Pop": 10022, + "▁advanced": 10023, + "aires": 10024, + "ressed": 10025, + "AME": 10026, + "bell": 10027, + "aching": 10028, + "ić": 10029, + "echo": 10030, + "HS": 10031, + "▁funny": 10032, + "рии": 10033, + "▁eer": 10034, + "▁veget": 10035, + "▁fourth": 10036, + "cf": 10037, + "transform": 10038, + "▁grown": 10039, + "▁McC": 10040, + "site": 10041, + "▁beneath": 10042, + "▁shell": 10043, + "xd": 10044, + "Play": 10045, + "short": 10046, + "Role": 10047, + "▁religion": 10048, + "inator": 10049, + "}<": 10123, + "asp": 10124, + "ajo": 10125, + "exports": 10126, + "▁Node": 10127, + "▁jako": 10128, + "▁ya": 10129, + "▁successfully": 10130, + "▁friendly": 10131, + "buff": 10132, + "DEFAULT": 10133, + "▁pregn": 10134, + "Required": 10135, + "▁binary": 10136, + "isting": 10137, + "▁stared": 10138, + "▁circumstances": 10139, + "▁хо": 10140, + "rei": 10141, + "▁Го": 10142, + "Transform": 10143, + "cnt": 10144, + "▁Ext": 10145, + "report": 10146, + "VERSION": 10147, + "▁analy": 10148, + "▁Marg": 10149, + "▁alleg": 10150, + "builder": 10151, + "ToString": 10152, + "Layer": 10153, + "íst": 10154, + "Prop": 10155, + "▁Emp": 10156, + "}]": 10157, + "▁selling": 10158, + "▁queue": 10159, + "▁seriously": 10160, + "▁Lead": 10161, + "textit": 10162, + "testing": 10163, + "▁Пре": 10164, + "security": 10165, + "iał": 10166, + "ún": 10167, + "chip": 10168, + "▁candidate": 10169, + "▁minister": 10170, + "eria": 10171, + "▁Het": 10172, + "дин": 10173, + "▁Britain": 10174, + "▁barely": 10175, + "▁sty": 10176, + "▁Spanish": 10177, + "▁Ven": 10178, + "timer": 10179, + "ків": 10180, + "▁documents": 10181, + "('.": 10182, + "▁debug": 10183, + "▁contro": 10184, + "стоя": 10185, + "▁joy": 10186, + "Sn": 10187, + "Inv": 10188, + "▁protocol": 10189, + "▁faces": 10190, + "▁Despite": 10191, + "sed": 10192, + "Conf": 10193, + "ARG": 10194, + "▁evolution": 10195, + "▁tod": 10196, + "▁Promise": 10197, + "▁posted": 10198, + "Perm": 10199, + "bet": 10200, + "Ang": 10201, + "Just": 10202, + "▁rum": 10203, + "layer": 10204, + "▁behavi": 10205, + "ipping": 10206, + "▁dynam": 10207, + "▁scheme": 10208, + "▁proto": 10209, + ")/": 10210, + "Collections": 10211, + "riev": 10212, + "▁Click": 10213, + "▁uns": 10214, + "widetilde": 10215, + "▁remembered": 10216, + "гі": 10217, + "inates": 10218, + "▁incorpor": 10219, + "▁Description": 10220, + "▁prepare": 10221, + "▁Final": 10222, + "uation": 10223, + "▁Queen": 10224, + ">;": 10225, + "▁automatically": 10226, + "▁sharp": 10227, + "▁meat": 10228, + "ateur": 10229, + "astern": 10230, + "▁stuck": 10231, + "ASSERT": 10232, + "▁planned": 10233, + "dots": 10234, + "ookie": 10235, + "▁Histor": 10236, + "▁reviews": 10237, + "IMP": 10238, + "▁answered": 10239, + "Total": 10240, + "▁sau": 10241, + "▁Mexico": 10242, + "continue": 10243, + "▁Apple": 10244, + "likely": 10245, + "зва": 10246, + "users": 10247, + "▁identified": 10248, + "▁Lev": 10249, + "▁mol": 10250, + "▁Islam": 10251, + "▁committed": 10252, + "writ": 10253, + "бер": 10254, + "rift": 10255, + "▁interrupt": 10256, + "▁readonly": 10257, + "schema": 10258, + "Sm": 10259, + "Double": 10260, + "aza": 10261, + "▁Hal": 10262, + "Move": 10263, + "▁Series": 10264, + "inline": 10265, + "▁которы": 10266, + "soc": 10267, + "▁tent": 10268, + "▁amer": 10269, + "aki": 10270, + "▁lady": 10271, + "▁tired": 10272, + "ifi": 10273, + "▁même": 10274, + "ouver": 10275, + "▁aside": 10276, + "Did": 10277, + "',\r": 10278, + "▁bringing": 10279, + "Drawing": 10280, + "aro": 10281, + "▁Rh": 10282, + "▁Naz": 10283, + "esso": 10284, + "▁reaction": 10285, + "mitted": 10286, + "▁absolute": 10287, + "haust": 10288, + "(()": 10289, + "▁Task": 10290, + "ERS": 10291, + "▁^{": 10292, + "VD": 10293, + "▁tone": 10294, + "dist": 10295, + "vs": 10296, + "▁wheel": 10297, + "▁administration": 10298, + "▁interests": 10299, + "▁pointer": 10300, + "▁encounter": 10301, + "aver": 10302, + "▁nord": 10303, + "ket": 10304, + "▁beach": 10305, + "▁enjoyed": 10306, + "contains": 10307, + "▁append": 10308, + "Wait": 10309, + "▁squad": 10310, + "zel": 10311, + "▁medium": 10312, + "▁sending": 10313, + "▁Lady": 10314, + "ções": 10315, + "▁destination": 10316, + "nych": 10317, + "▁conflict": 10318, + "▁Ly": 10319, + "▁vul": 10320, + "▁basically": 10321, + "reated": 10322, + "black": 10323, + "ugins": 10324, + "▁calm": 10325, + "érie": 10326, + "har": 10327, + "лан": 10328, + "▁Се": 10329, + "watch": 10330, + "▁Put": 10331, + "▁dump": 10332, + "acher": 10333, + "scroll": 10334, + "▁claimed": 10335, + "▁Control": 10336, + "▁blind": 10337, + "enti": 10338, + "▁Keep": 10339, + "▁Development": 10340, + "images": 10341, + "▁tough": 10342, + "gebra": 10343, + "▁sept": 10344, + "hew": 10345, + "▁skill": 10346, + "▁Tay": 10347, + "▁któ": 10348, + "owner": 10349, + "pare": 10350, + "▁fee": 10351, + "▁continues": 10352, + "▁kan": 10353, + "bes": 10354, + "▁cha": 10355, + "ovo": 10356, + "▁Night": 10357, + "icture": 10358, + "shire": 10359, + "▁essay": 10360, + "▁suppose": 10361, + "etic": 10362, + "Art": 10363, + "acon": 10364, + "lla": 10365, + "words": 10366, + "▁comparison": 10367, + "▁BE": 10368, + "▁challenges": 10369, + "▁ol": 10370, + "citep": 10371, + "▁Foot": 10372, + "▁Such": 10373, + "▁papers": 10374, + "activ": 10375, + "quer": 10376, + "тя": 10377, + "▁То": 10378, + "ський": 10379, + "thur": 10380, + "done": 10381, + "▁shock": 10382, + "▁dedicated": 10383, + "▁correspond": 10384, + "Second": 10385, + "▁bull": 10386, + "life": 10387, + "indent": 10388, + "▁figures": 10389, + "▁Andrew": 10390, + "isp": 10391, + "▁favour": 10392, + "зда": 10393, + "▁Elect": 10394, + "Full": 10395, + "▁nearby": 10396, + "▁Register": 10397, + "Scale": 10398, + "ications": 10399, + "ин": 10400, + "▁AM": 10401, + "pair": 10402, + "▁perspective": 10403, + "▁nos": 10404, + "apa": 10405, + "ostał": 10406, + "▁Pers": 10407, + "icer": 10408, + "▁plastic": 10409, + "дов": 10410, + "ciples": 10411, + "zą": 10412, + "clos": 10413, + "▁уча": 10414, + "▁Á": 10415, + "plugin": 10416, + "▁angle": 10417, + "▁commission": 10418, + "▁funds": 10419, + "▁indu": 10420, + "▁drawn": 10421, + "ám": 10422, + "▁developing": 10423, + "▁segment": 10424, + "isme": 10425, + "scr": 10426, + "▁lies": 10427, + "▁IL": 10428, + "▁api": 10429, + "Extension": 10430, + "▁scal": 10431, + "install": 10432, + "▁Week": 10433, + "▁gentle": 10434, + "▁Canadian": 10435, + "▁dialog": 10436, + "▁articles": 10437, + "Theme": 10438, + "SM": 10439, + "▁Bul": 10440, + "▁leur": 10441, + "▁stom": 10442, + "Plugin": 10443, + "▁после": 10444, + "▁stead": 10445, + "▁ś": 10446, + "ipher": 10447, + "▁prze": 10448, + "▁draft": 10449, + "bottom": 10450, + "▁{};": 10451, + "▁stayed": 10452, + "feature": 10453, + "▁vot": 10454, + "▁fabric": 10455, + "ça": 10456, + "('#": 10457, + "rea": 10458, + "▁reput": 10459, + "▁Cir": 10460, + "▁AL": 10461, + "▁assertEquals": 10462, + "results": 10463, + "▁Cross": 10464, + "ursday": 10465, + "▁audio": 10466, + "▁gap": 10467, + "▁streets": 10468, + "▁scientific": 10469, + "platform": 10470, + "▁auss": 10471, + "▁Cro": 10472, + "▁partial": 10473, + "unc": 10474, + "▁choices": 10475, + "▁или": 10476, + "pred": 10477, + "▁heads": 10478, + "terday": 10479, + "▁Nick": 10480, + "▁weird": 10481, + "asant": 10482, + "▁represented": 10483, + "▁пи": 10484, + "DP": 10485, + "orders": 10486, + "clock": 10487, + "▁Ho": 10488, + "arters": 10489, + "Cmd": 10490, + "oga": 10491, + "Keys": 10492, + "Report": 10493, + "▁Vill": 10494, + "▁Mu": 10495, + "▁owned": 10496, + "SUCCESS": 10497, + "▁typeof": 10498, + "hdr": 10499, + "uable": 10500, + "▁neighborhood": 10501, + "▁AP": 10502, + "▁resulting": 10503, + "▁shadow": 10504, + "STRING": 10505, + "▁videos": 10506, + "лення": 10507, + "expect": 10508, + "▁Valley": 10509, + "▁goto": 10510, + "▁Sher": 10511, + "frastr": 10512, + "▁operating": 10513, + "▁это": 10514, + "▁Licensed": 10515, + "Variable": 10516, + "▁PR": 10517, + "▁Hans": 10518, + "clone": 10519, + "▁Gesch": 10520, + "▁Band": 10521, + "........": 10522, + "uing": 10523, + "▁hundreds": 10524, + "▁ок": 10525, + "▁emotional": 10526, + "▁Indust": 10527, + ")+": 10528, + "▁Egypt": 10529, + "▁franç": 10530, + "▁š": 10531, + "▁fasc": 10532, + "onto": 10533, + "▁Adam": 10534, + "▁laid": 10535, + "▁rig": 10536, + "▁detailed": 10537, + "▁implements": 10538, + "▁university": 10539, + "▁Hy": 10540, + "▁grid": 10541, + "▁regions": 10542, + "Stop": 10543, + "▁slot": 10544, + "▁angry": 10545, + "▁-=": 10546, + "▁waited": 10547, + "Vert": 10548, + "\":\"": 10549, + "▁elem": 10550, + "▁rég": 10551, + "owed": 10552, + "Member": 10553, + "▁ratio": 10554, + "isen": 10555, + "▁Lem": 10556, + "gery": 10557, + "▁cream": 10558, + "▁était": 10559, + "▁geb": 10560, + "unique": 10561, + "▁Deb": 10562, + "▁factory": 10563, + "że": 10564, + "dialog": 10565, + "▁Config": 10566, + "Sync": 10567, + "angers": 10568, + "▁governing": 10569, + "▁Hun": 10570, + "Space": 10571, + "▁jest": 10572, + "icious": 10573, + "▁emphas": 10574, + "umps": 10575, + "▁Esp": 10576, + "▁sul": 10577, + "▁historical": 10578, + "ija": 10579, + "▁lying": 10580, + "▁Steve": 10581, + "▁measures": 10582, + "osto": 10583, + "?”": 10584, + "▁pocket": 10585, + "▁Sat": 10586, + "▁pitch": 10587, + "▁natur": 10588, + "▁humans": 10589, + "▁Simon": 10590, + "adores": 10591, + "(\"\\": 10592, + "inking": 10593, + "▁expos": 10594, + "material": 10595, + "▁apparently": 10596, + "▁Camb": 10597, + "▁Box": 10598, + "▁spaces": 10599, + "exists": 10600, + "▁acting": 10601, + "ORY": 10602, + "зова": 10603, + "Good": 10604, + "ienne": 10605, + "▁Williams": 10606, + "▁fruit": 10607, + "iera": 10608, + "▁Lim": 10609, + "▁trait": 10610, + "▁artists": 10611, + "▁absor": 10612, + "rait": 10613, + "LOAD": 10614, + "▁movies": 10615, + "▁dynamic": 10616, + "asts": 10617, + "▁Integer": 10618, + "▁smoke": 10619, + "пі": 10620, + "angel": 10621, + ">(\"": 10622, + "▁instrument": 10623, + "▁fuel": 10624, + "ної": 10625, + "atalogue": 10626, + "▁serial": 10627, + "Files": 10628, + "▁bathroom": 10629, + "ilo": 10630, + "esto": 10631, + "▁pm": 10632, + "entials": 10633, + "▁Online": 10634, + "white": 10635, + "▁tips": 10636, + "▁capable": 10637, + "Fig": 10638, + "TV": 10639, + "▁он": 10640, + "ké": 10641, + "bitr": 10642, + "Mapping": 10643, + "▁tak": 10644, + "ющи": 10645, + "вля": 10646, + ")\",": 10647, + "▁Karl": 10648, + "▁Human": 10649, + "▁Pot": 10650, + "▁represents": 10651, + "▁consistent": 10652, + "_(": 10653, + "wen": 10654, + "▁Rose": 10655, + "law": 10656, + "▁FROM": 10657, + "▁begins": 10658, + "▁edit": 10659, + "▁mountain": 10660, + "▁chapter": 10661, + "▁wondered": 10662, + "▁industrial": 10663, + "▁Major": 10664, + "▁ges": 10665, + "▁directed": 10666, + "eros": 10667, + "▁Wild": 10668, + "liament": 10669, + "Book": 10670, + "username": 10671, + "hot": 10672, + "▁nam": 10673, + "▁league": 10674, + "bra": 10675, + "кон": 10676, + "▁Tal": 10677, + "▁Ва": 10678, + "▁exports": 10679, + "(@": 10680, + "▁sharing": 10681, + "▁Tro": 10682, + "ść": 10683, + "uesday": 10684, + "ylv": 10685, + "▁guitar": 10686, + "elen": 10687, + "Selection": 10688, + "▁confident": 10689, + "rypto": 10690, + "▁hors": 10691, + "editor": 10692, + "▁shoulders": 10693, + "getName": 10694, + "encing": 10695, + "SELECT": 10696, + "вши": 10697, + "▁kinds": 10698, + "▁Wel": 10699, + "▁purposes": 10700, + "Matrix": 10701, + "invalid": 10702, + "▁owners": 10703, + "▁Records": 10704, + "▁Process": 10705, + "▁chat": 10706, + "▁Dor": 10707, + "▁bin": 10708, + "redit": 10709, + "oire": 10710, + "▁Total": 10711, + "▁Family": 10712, + "ARY": 10713, + "▁bread": 10714, + "▁compre": 10715, + "▁shoes": 10716, + "▁raz": 10717, + "▁trace": 10718, + "nej": 10719, + "orted": 10720, + "hn": 10721, + "▁procedure": 10722, + "properties": 10723, + "plier": 10724, + "▁hero": 10725, + "panel": 10726, + "▁marked": 10727, + "▁worried": 10728, + "\\|": 10729, + "pts": 10730, + "▁Support": 10731, + "▁serving": 10732, + "Fail": 10733, + "▁disappoint": 10734, + "▁Scot": 10735, + "▁pleasure": 10736, + "▁judge": 10737, + "zeich": 10738, + "▁forever": 10739, + "▁Zeit": 10740, + "uous": 10741, + "inent": 10742, + "▁dw": 10743, + "▁waren": 10744, + "▁flash": 10745, + "▁troops": 10746, + "▁drugs": 10747, + "▁diam": 10748, + ".~": 10749, + "imp": 10750, + "inned": 10751, + "▁EV": 10752, + "Struct": 10753, + "▁justice": 10754, + "▁officials": 10755, + "ffff": 10756, + "▁Common": 10757, + "▁Cat": 10758, + "▁tomorrow": 10759, + "▁él": 10760, + "Texture": 10761, + "qpoint": 10762, + "▁Fried": 10763, + "▁Term": 10764, + "pgfqpoint": 10765, + "▁nem": 10766, + "norm": 10767, + "▁hardly": 10768, + "oda": 10769, + "zeta": 10770, + "emic": 10771, + "▁полу": 10772, + "▁loaded": 10773, + "kes": 10774, + "ció": 10775, + "▁fool": 10776, + "▁trick": 10777, + "▁dst": 10778, + "Find": 10779, + "▁все": 10780, + "}},": 10781, + "▁framework": 10782, + "▁merely": 10783, + "▁union": 10784, + "▁Edward": 10785, + "rif": 10786, + "Flag": 10787, + "▁crisis": 10788, + "▁finite": 10789, + "▁lol": 10790, + "▁Kim": 10791, + "ната": 10792, + "since": 10793, + "▁compat": 10794, + "▁pert": 10795, + "ibilities": 10796, + "▁también": 10797, + "ibli": 10798, + "▁teen": 10799, + "▁sympt": 10800, + "oral": 10801, + "ders": 10802, + "otte": 10803, + "при": 10804, + "▁Jane": 10805, + "▁originally": 10806, + "▁throat": 10807, + "mag": 10808, + "sup": 10809, + "uni": 10810, + "$$": 10811, + "▁Library": 10812, + "▁attacks": 10813, + "ingen": 10814, + "('/": 10815, + "▁hes": 10816, + "coin": 10817, + "ounce": 10818, + "▁Academy": 10819, + "MODULE": 10820, + "isms": 10821, + "▁Adv": 10822, + "▁Bol": 10823, + "▁incident": 10824, + ")^{": 10825, + "▁bij": 10826, + "▁Rome": 10827, + "▁Italy": 10828, + "events": 10829, + "▁Fern": 10830, + "▁ber": 10831, + "▁silent": 10832, + "▁pier": 10833, + "▁YO": 10834, + "▁plain": 10835, + "Bas": 10836, + "▁pill": 10837, + "rase": 10838, + "▁carrying": 10839, + "▁resp": 10840, + "ную": 10841, + "▁typical": 10842, + "Wrapper": 10843, + "▁gau": 10844, + "▁chemical": 10845, + "▁hal": 10846, + "throw": 10847, + "Cluster": 10848, + "▁Gab": 10849, + "▁Girl": 10850, + "quir": 10851, + "▁Arg": 10852, + "▁relief": 10853, + "▁Ве": 10854, + "dm": 10855, + "▁frustr": 10856, + "\\%": 10857, + "▁stores": 10858, + "▁bottle": 10859, + "▁Lew": 10860, + "two": 10861, + "stad": 10862, + "▁cheek": 10863, + "▁concerns": 10864, + "▁helpful": 10865, + "▁coverage": 10866, + "isi": 10867, + "ADD": 10868, + "async": 10869, + "▁approximately": 10870, + "iffer": 10871, + "hook": 10872, + "▁enum": 10873, + "ová": 10874, + "▁evil": 10875, + "▁constantly": 10876, + "apply": 10877, + "▁siè": 10878, + "▁practices": 10879, + "▁teachers": 10880, + "▁Sn": 10881, + "▁Awards": 10882, + "▁substant": 10883, + "▁$.": 10884, + "dk": 10885, + "▁mob": 10886, + "▁ingred": 10887, + "vere": 10888, + "Multi": 10889, + "пер": 10890, + "stal": 10891, + "yard": 10892, + "required": 10893, + "vement": 10894, + "▁intelligence": 10895, + "▁thinks": 10896, + "▁personally": 10897, + "▁trained": 10898, + "orney": 10899, + ")\\": 11266, + "anal": 11267, + "Section": 11268, + "plus": 11269, + "üt": 11270, + "▁embed": 11271, + "▁strings": 11272, + "Before": 11273, + "proc": 11274, + "▁спо": 11275, + "trl": 11276, + "vr": 11277, + "Background": 11278, + "logger": 11279, + "agraph": 11280, + "iest": 11281, + "▁goods": 11282, + "batch": 11283, + "▁optional": 11284, + "▁Taylor": 11285, + "▁recognize": 11286, + "walk": 11287, + "▁Hit": 11288, + "▁Elizabeth": 11289, + "}:": 11290, + "▁careful": 11291, + "краї": 11292, + "▁locations": 11293, + "▁structures": 11294, + "▁disk": 11295, + "▁ships": 11296, + "▁suo": 11297, + "▁sowie": 11298, + "▁Ess": 11299, + "▁Hash": 11300, + "▁reasonable": 11301, + "▁Moreover": 11302, + "▁formula": 11303, + "▁Centre": 11304, + "▁residents": 11305, + "RS": 11306, + "Ids": 11307, + "▁Know": 11308, + "▁trib": 11309, + "▁rés": 11310, + "▁stable": 11311, + "▁Would": 11312, + "▁breaking": 11313, + "▁meal": 11314, + "▁phen": 11315, + "▁fel": 11316, + "▁Fred": 11317, + "Author": 11318, + "▁capture": 11319, + "opts": 11320, + "▁everywhere": 11321, + "▁sque": 11322, + "▁moder": 11323, + "setup": 11324, + "▁Supp": 11325, + "▁whenever": 11326, + "{(": 11327, + "wart": 11328, + "▁toe": 11329, + "Prefix": 11330, + "hou": 11331, + "gage": 11332, + ">\"": 11333, + "▁frag": 11334, + "▁Theorem": 11335, + "memory": 11336, + "▁contents": 11337, + "docs": 11338, + "}'": 11339, + "▁Irish": 11340, + "Then": 11341, + "aats": 11342, + "Save": 11343, + "▁agency": 11344, + "▁име": 11345, + "дова": 11346, + "▁Function": 11347, + "NN": 11348, + "destroy": 11349, + "▁Message": 11350, + "▁cancel": 11351, + "▁superior": 11352, + "▁ec": 11353, + "▁literature": 11354, + "▁PART": 11355, + "Il": 11356, + "▁Cab": 11357, + "engine": 11358, + "▁basket": 11359, + "worth": 11360, + "▁Sel": 11361, + "fetch": 11362, + "▁Stadt": 11363, + "▁Ки": 11364, + "▁conj": 11365, + "▁seiner": 11366, + "▁confirmed": 11367, + "▁Argent": 11368, + "amar": 11369, + "pgfpath": 11370, + "▁struggle": 11371, + "Pattern": 11372, + "▁Middle": 11373, + "itan": 11374, + "▁moon": 11375, + "orough": 11376, + "▁Catholic": 11377, + "▁struck": 11378, + "]->": 11379, + "▁weapon": 11380, + "▁subst": 11381, + "▁instructions": 11382, + "▁occas": 11383, + "protected": 11384, + "▁Less": 11385, + "▁batch": 11386, + "▁contra": 11387, + "▁deck": 11388, + "▁ignored": 11389, + "▁refused": 11390, + "trigger": 11391, + "▁criminal": 11392, + "GA": 11393, + "olly": 11394, + "▁Bell": 11395, + "▁Ю": 11396, + "forward": 11397, + "▁prefix": 11398, + "▁immediate": 11399, + "▁assigned": 11400, + "▁elected": 11401, + "▁tonight": 11402, + "▁Dies": 11403, + "▁Beach": 11404, + "▁preced": 11405, + "ował": 11406, + "▁galax": 11407, + "▁logic": 11408, + "enza": 11409, + "▁Captain": 11410, + "▁Hay": 11411, + "▁facts": 11412, + "▁ни": 11413, + "té": 11414, + "▁sb": 11415, + "oped": 11416, + "▁combat": 11417, + "▁explore": 11418, + "▁(-": 11419, + "Loader": 11420, + "▁Wilson": 11421, + "▁locked": 11422, + ":)": 12970, + "▁quel": 12971, + "▁Га": 12972, + "Ty": 12973, + "▁temps": 12974, + "▁ghost": 12975, + "Material": 12976, + "ERCHANT": 12977, + "pointer": 12978, + "жда": 12979, + "aha": 12980, + "ulf": 12981, + "▁supplement": 12982, + "▁dismiss": 12983, + "▁closing": 12984, + "▁vulner": 12985, + "▁après": 12986, + "▁overwhel": 12987, + "ское": 12988, + "▁disag": 12989, + "acia": 12990, + "oured": 12991, + "ruption": 12992, + "▁PS": 12993, + "Endpoint": 12994, + "Real": 12995, + "▁Tag": 12996, + "▁stairs": 12997, + "lyn": 12998, + "▁eleg": 12999, + "▁veter": 13000, + "factory": 13001, + "anne": 13002, + "▁Bat": 13003, + "▁franc": 13004, + "lung": 13005, + "▁\"'": 13006, + ".',": 13007, + "▁Country": 13008, + "^{[": 13009, + "▁yours": 13010, + "ailability": 13011, + "Clear": 13012, + "ätt": 13013, + "пис": 13014, + "▁joke": 13015, + "▁annoy": 13016, + "▁rag": 13017, + "vari": 13018, + "лекс": 13019, + "▁Psy": 13020, + "ilty": 13021, + "mount": 13022, + "▁cual": 13023, + "▁solar": 13024, + "}^{(": 13025, + "Short": 13026, + "▁taxes": 13027, + "Append": 13028, + "Win": 13029, + "estyle": 13030, + "▁facil": 13031, + "вро": 13032, + "▁sought": 13033, + "▁bare": 13034, + "▁react": 13035, + "jar": 13036, + "MAC": 13037, + "lov": 13038, + "warn": 13039, + "▁crucial": 13040, + "▁museum": 13041, + "ниц": 13042, + "▁Kent": 13043, + "Maybe": 13044, + "▁bike": 13045, + "▁Address": 13046, + "XML": 13047, + "▁admitted": 13048, + "▁$(\\": 13049, + "▁spell": 13050, + "▁vic": 13051, + "gre": 13052, + "▁proc": 13053, + "theless": 13054, + "▁Nom": 13055, + "▁Rail": 13056, + "▁acceler": 13057, + "▁convin": 13058, + "▁Property": 13059, + "▁DA": 13060, + "▁clip": 13061, + "▁plugin": 13062, + "Limit": 13063, + "views": 13064, + "bru": 13065, + "▁pra": 13066, + "▁ak": 13067, + "▁ej": 13068, + "▁opts": 13069, + "▁slip": 13070, + "▁gang": 13071, + "asted": 13072, + "uals": 13073, + "▁dying": 13074, + "Coll": 13075, + "ammen": 13076, + "▁Policy": 13077, + "ERCHANTABILITY": 13078, + "▁Collection": 13079, + "▁vec": 13080, + "▁Dick": 13081, + "stud": 13082, + "▁layers": 13083, + "▁tied": 13084, + "}\\\\": 13085, + "▁alors": 13086, + "▁jou": 13087, + "▁chicken": 13088, + "▁permanent": 13089, + "▁Everything": 13090, + "▁Low": 13091, + "▁Cook": 13092, + "▁peak": 13093, + "▁PARTICULAR": 13094, + "▁dear": 13095, + "ič": 13096, + "▁introduce": 13097, + "▁causing": 13098, + "писа": 13099, + "Bound": 13100, + "hund": 13101, + "multi": 13102, + "▁pare": 13103, + "annt": 13104, + "▁breat": 13105, + "▁commitment": 13106, + "▁increasingly": 13107, + "кой": 13108, + "▁Friend": 13109, + "▁statistics": 13110, + "▁Manager": 13111, + "plicate": 13112, + "Cloud": 13113, + "aci": 13114, + "▁Conference": 13115, + "Span": 13116, + "▁CEO": 13117, + "▁Wait": 13118, + "▁Ober": 13119, + "ifting": 13120, + "imiento": 13121, + "getElement": 13122, + "▁gle": 13123, + "лия": 13124, + "▁wieder": 13125, + "▁instruction": 13126, + "gly": 13127, + "▁blame": 13128, + "▁listade": 13129, + "▁aapt": 13130, + "▁Lewis": 13131, + "Fragment": 13132, + "▁gear": 13133, + "mill": 13134, + "prod": 13135, + "▁burning": 13136, + "ється": 13137, + "▁mé": 13138, + "ène": 13139, + "▁complicated": 13140, + "bh": 13141, + "▁Justice": 13142, + "▁tested": 13143, + "▁staring": 13144, + "▁survive": 13145, + "▁cous": 13146, + "▁rib": 13147, + "aml": 13148, + "▁Trust": 13149, + "▁cad": 13150, + "▁Terr": 13151, + "▁mapping": 13152, + "▁twelve": 13153, + "▁grant": 13154, + "▁thorough": 13155, + "▁Ü": 13156, + "▁folks": 13157, + "▁Content": 13158, + "▁childhood": 13159, + "cker": 13160, + "сно": 13161, + "RECT": 13162, + "▁finale": 13163, + "▁shower": 13164, + "éric": 13165, + "▁spat": 13166, + "odge": 13167, + "рь": 13168, + "▁pes": 13169, + "eda": 13170, + "Db": 13171, + "▁Antonio": 13172, + "▁engaged": 13173, + "▁vess": 13174, + "vals": 13175, + "▁electronic": 13176, + "lemma": 13177, + "▁Wy": 13178, + "mad": 13179, + "merge": 13180, + "apon": 13181, + "▁privile": 13182, + "▁novembre": 13183, + "▁Sports": 13184, + "will": 13185, + "▁controls": 13186, + "▁categories": 13187, + "▁Georgia": 13188, + "ipedia": 13189, + "▁AV": 13190, + "atori": 13191, + "▁___": 13192, + "▁À": 13193, + "▁Ryan": 13194, + "▁Charlie": 13195, + "▁исто": 13196, + "▁emotion": 13197, + "▁cooking": 13198, + "▁attempts": 13199, + "▁FITNESS": 13200, + "äter": 13201, + "Enable": 13202, + "DT": 13203, + "▁Change": 13204, + "AspNet": 13205, + "▁га": 13206, + "▁ordinary": 13207, + "▁SQL": 13208, + "plane": 13209, + "%.": 13210, + "▁Summer": 13211, + "▁avait": 13212, + "upp": 13213, + "▁illness": 13214, + "UINT": 13215, + ">{": 13216, + "▁zwischen": 13217, + "▁hardware": 13218, + "▁sounded": 13219, + "equiv": 13220, + "▁piano": 13221, + "uset": 13222, + "kn": 13223, + "TRY": 13224, + "▁bab": 13225, + "нен": 13226, + "▁reliable": 13227, + "▁Bronnen": 13228, + "▁Store": 13229, + "Az": 13230, + "▁»,": 13231, + "Static": 13232, + "dw": 13233, + "green": 13234, + "▁'';": 13235, + "lij": 13236, + "eva": 13237, + "ній": 13238, + "▁Syd": 13239, + "inois": 13240, + "convert": 13241, + "▁declare": 13242, + "bres": 13243, + "INK": 13244, + "itled": 13245, + "▁accord": 13246, + "▁mars": 13247, + "Sequence": 13248, + "zip": 13249, + "▁Brazil": 13250, + "▁meetings": 13251, + "▁accuracy": 13252, + "▁Machine": 13253, + "▁autor": 13254, + "▁ainsi": 13255, + "Simple": 13256, + "Resources": 13257, + "каза": 13258, + "▁MP": 13259, + "they": 13260, + "▁Bang": 13261, + "▁eing": 13262, + "ateful": 13263, + "▁Something": 13264, + "▁upset": 13265, + "History": 13266, + "dimensional": 13267, + "▁explanation": 13268, + "▁civ": 13269, + "▁conce": 13270, + "▁köz": 13271, + "▁promised": 13272, + "жду": 13273, + "wed": 13274, + "Fore": 13275, + "Amount": 13276, + "abb": 13277, + "▁clothing": 13278, + "лись": 13279, + "oen": 13280, + "▁Print": 13281, + "▁sizes": 13282, + "▁banks": 13283, + "ribed": 13284, + "▁'../": 13285, + "FIX": 13286, + "▁Hug": 13287, + "▁zn": 13288, + "▁INT": 13289, + "▁instances": 13290, + "▁alongside": 13291, + "Namespace": 13292, + "▁renew": 13293, + "▁asc": 13294, + "▁waves": 13295, + "▁pom": 13296, + "Duration": 13297, + "days": 13298, + "$(": 13299, + "▁grabbed": 13300, + "▁surgery": 13301, + "▁restore": 13302, + "Normal": 13303, + "▁Leb": 13304, + "▁analyt": 13305, + "Literal": 13306, + "HA": 13307, + "▁shares": 13308, + "illet": 13309, + "ols": 13310, + "▁Dog": 13311, + "orno": 13312, + "▁manip": 13313, + "jav": 13314, + "▁essentially": 13315, + "▁casual": 13316, + "opl": 13317, + "▁р": 13318, + "▁SU": 13319, + "▁engineering": 13320, + "▁Prime": 13321, + "▁SW": 13322, + "▁reaching": 13323, + "▁вла": 13324, + "▁Росси": 13325, + "▁Kre": 13326, + "erry": 13327, + "▁oppon": 13328, + "program": 13329, + "emper": 13330, + "isEmpty": 13331, + "▁Unit": 13332, + "INTER": 13333, + "ethe": 13334, + "zd": 13335, + "CUR": 13336, + "▁vm": 13337, + "conv": 13338, + "ropol": 13339, + "▁Coast": 13340, + "▁Select": 13341, + "▁была": 13342, + "▁Ve": 13343, + "owy": 13344, + "▁myth": 13345, + "ceptions": 13346, + "classes": 13347, + "▁worden": 13348, + "▁assault": 13349, + "▁dual": 13350, + "ORK": 13351, + "▁inches": 13352, + "▁FA": 13353, + "▁Station": 13354, + "▁personality": 13355, + "▁scar": 13356, + "▁regime": 13357, + "▁noten": 13358, + "▁rural": 13359, + "iza": 13360, + "Audio": 13361, + "▁disput": 13362, + "▁aver": 13363, + "▁obst": 13364, + "▁Region": 13365, + "utf": 13366, + "▁Cass": 13367, + "hspace": 13368, + "▁shipping": 13369, + "iko": 13370, + "icked": 13371, + "numer": 13372, + "дна": 13373, + "riel": 13374, + "disabled": 13375, + "opol": 13376, + "looking": 13377, + "▁classical": 13378, + "▁constructed": 13379, + "▁referenties": 13380, + "]+": 13381, + "▁captured": 13382, + "▁minimal": 13383, + "▁sock": 13384, + "father": 13385, + "isión": 13386, + "▁equally": 13387, + "▁reduction": 13388, + "Ant": 13389, + "aison": 13390, + "▁argue": 13391, + "circle": 13392, + "▁toler": 13393, + "}\",": 13394, + "▁primarily": 13395, + "usal": 13396, + "▁algebra": 13397, + "▁gathered": 13398, + "▁Remember": 13399, + "_);": 13400, + "UTE": 13401, + "▁Kit": 13402, + "Sy": 13403, + "HEAD": 13404, + "▁recipe": 13405, + "▁scenario": 13406, + "▁Following": 13407, + "VAR": 13408, + "▁yard": 13409, + "▁stad": 13410, + "*(": 13411, + "▁validate": 13412, + "DEX": 13413, + "▁committee": 13414, + "▁temporary": 13415, + "▁consequences": 13416, + "▁également": 13417, + "ктив": 13418, + "▁ra": 13419, + "▁displ": 13420, + "▁apps": 13421, + "▁Teil": 13422, + "▁».": 13423, + "▁adopted": 13424, + "tensor": 13425, + "▁femin": 13426, + "▁мар": 13427, + "логи": 13428, + "tech": 13429, + "▁Rot": 13430, + "▁knees": 13431, + "phys": 13432, + "owej": 13433, + "▁Oxford": 13434, + "анд": 13435, + "hell": 13436, + "ografia": 13437, + "▁exposed": 13438, + "ktop": 13439, + "oby": 13440, + "lower": 13441, + "▁Senate": 13442, + "▁sword": 13443, + "Flow": 13444, + "▁Unfortunately": 13445, + "▁boxes": 13446, + "▁cuando": 13447, + "▁pilot": 13448, + "▁Album": 13449, + "Bal": 13450, + "Sort": 13451, + "FIELD": 13452, + "▁desert": 13453, + "COMM": 13454, + "rons": 13455, + "adows": 13456, + "▁loyal": 13457, + "▁asset": 13458, + "▁mud": 13459, + "фа": 13460, + "▁secondary": 13461, + "▁Ар": 13462, + "▁cul": 13463, + "▁Asian": 13464, + "▁staying": 13465, + "▁dataset": 13466, + "▁USE": 13467, + "▁loves": 13468, + "▁velocity": 13469, + "áv": 13470, + "▁purchased": 13471, + "SOC": 13472, + "▁competitive": 13473, + "▁Football": 13474, + "iska": 13475, + "▁knock": 13476, + "stairs": 13477, + "azy": 13478, + "▁vend": 13479, + "▁arts": 13480, + "▁Bras": 13481, + "uela": 13482, + "кто": 13483, + "trim": 13484, + "▁dirty": 13485, + "▁websites": 13486, + "▁Indep": 13487, + "▁стра": 13488, + "sr": 13489, + "▁ticket": 13490, + "atile": 13491, + "▁implemented": 13492, + "▁время": 13493, + "▁bowl": 13494, + "DATE": 13495, + "▁alter": 13496, + "▁Space": 13497, + "▁accompan": 13498, + "ordon": 13499, + "▁doctors": 13500, + "istas": 13501, + "Cast": 13502, + "дом": 13503, + "CTL": 13504, + "urers": 13505, + "▁ingredients": 13506, + "▁calculated": 13507, + "▁leather": 13508, + "▁sensitive": 13509, + "▁suspic": 13510, + "stan": 13511, + "▁anni": 13512, + "await": 13513, + "▁Franç": 13514, + "▁abort": 13515, + "▁Spirit": 13516, + "▁Walter": 13517, + "unkt": 13518, + "▁vertical": 13519, + "ORS": 13520, + "best": 13521, + "▁Client": 13522, + "itated": 13523, + "▁ва": 13524, + "▁Č": 13525, + "▁ville": 13526, + "▁diplom": 13527, + "orne": 13528, + "▁bars": 13529, + "Uri": 13530, + "APTER": 13531, + "pons": 13532, + "utz": 13533, + "Proto": 13534, + "▁stir": 13535, + "▁це": 13536, + "▁primer": 13537, + "igible": 13538, + "extra": 13539, + "▁Books": 13540, + "▁Bos": 13541, + "▁Et": 13542, + "▁Welt": 13543, + "▁Korea": 13544, + "рито": 13545, + "▁vibr": 13546, + "Self": 13547, + "linear": 13548, + "об": 13549, + "▁Lang": 13550, + "▁deeper": 13551, + "▁termin": 13552, + "enschaft": 13553, + "▁році": 13554, + "ammed": 13555, + "visible": 13556, + "▁IOException": 13557, + "▁Wind": 13558, + "usqu": 13559, + "▁Stop": 13560, + "▁орга": 13561, + "INVALID": 13562, + "▁cub": 13563, + "▁jew": 13564, + "▁captain": 13565, + "зі": 13566, + "chunk": 13567, + "apture": 13568, + "ashboard": 13569, + "▁divided": 13570, + "▁extensive": 13571, + "▁suffer": 13572, + "▁heading": 13573, + "created": 13574, + "▁quietly": 13575, + "▁ny": 13576, + "▁пол": 13577, + "\"+": 13578, + "ikan": 13579, + "▁designs": 13580, + "zu": 13581, + "}+\\": 13582, + "Operator": 13583, + "▁Lemma": 13584, + "▁нау": 13585, + "acji": 13586, + "лове": 13587, + "Servlet": 13588, + "▁Kevin": 13589, + "stage": 13590, + "bn": 13591, + "textwidth": 13592, + "failed": 13593, + "▁Staff": 13594, + "▁enem": 13595, + "unde": 13596, + "ень": 13597, + "Packet": 13598, + "▁Als": 13599, + "kar": 13600, + "]['": 13601, + "ked": 13602, + "Pers": 13603, + ">::": 13604, + "▁arc": 13605, + "▁synt": 13606, + "SPE": 13607, + "▁Да": 13608, + "▁Mi": 13609, + "▁Moh": 13610, + "▁Death": 13611, + "browser": 13612, + "▁Dave": 13613, + "▁succ": 13614, + "toggle": 13615, + "▁tack": 13616, + "Comment": 13617, + "eron": 13618, + "▁awareness": 13619, + "▁hug": 13620, + "▁contemporary": 13621, + "ulating": 13622, + "▁Title": 13623, + "▁THIS": 13624, + "havior": 13625, + "rank": 13626, + "▁dozen": 13627, + "▁cheese": 13628, + "coln": 13629, + "▁radius": 13630, + "▁dimensions": 13631, + "roduction": 13632, + "▁adds": 13633, + "▁household": 13634, + "▁Davis": 13635, + "pkg": 13636, + "{$": 13637, + "▁casino": 13638, + "▁Pierre": 13639, + "▁objective": 13640, + "train": 13641, + "▁Michigan": 13642, + "payload": 13643, + "▁rug": 13644, + "▁severe": 13645, + "mean": 13646, + "▁toss": 13647, + "▁embarrass": 13648, + "▁Very": 13649, + "▁appeal": 13650, + "▁Comput": 13651, + "▁forgotten": 13652, + "▁kernel": 13653, + "▁carbon": 13654, + "fw": 13655, + "▁Су": 13656, + "▁Empire": 13657, + "▁quote": 13658, + "etz": 13659, + "▁mini": 13660, + "▁pipe": 13661, + "▁nous": 13662, + "▁Move": 13663, + "▁ду": 13664, + "▁nervous": 13665, + "▁Мар": 13666, + "*\r": 13667, + "▁Bush": 13668, + "▁peer": 13669, + "▁Writ": 13670, + "▁satisfied": 13671, + "▁pulling": 13672, + "▁Pur": 13673, + "▁Miller": 13674, + "▁FL": 13675, + "amaz": 13676, + "▁mile": 13677, + "▁Need": 13678, + "▁supplies": 13679, + "▁año": 13680, + "▁pace": 13681, + "▁Victoria": 13682, + "▁ought": 13683, + "▁Player": 13684, + "agnostic": 13685, + "▁viv": 13686, + "▁Patrick": 13687, + "▁Š": 13688, + "▁Story": 13689, + "aca": 13690, + "▁mountains": 13691, + "CLASS": 13692, + "▁fragment": 13693, + "▁settlement": 13694, + "▁Furthermore": 13695, + "▁drivers": 13696, + "▁Ju": 13697, + "▁были": 13698, + "Rows": 13699, + "▁impression": 13700, + "▁infer": 13701, + "▁Expl": 13702, + "olute": 13703, + "ovan": 13704, + "arance": 13705, + "CAP": 13706, + "▁enforce": 13707, + "▁Burn": 13708, + "Reset": 13709, + "mother": 13710, + "▁Battle": 13711, + "padding": 13712, + "iate": 13713, + "▁cried": 13714, + "AK": 13715, + "uns": 13716, + "▁siècle": 13717, + "▁Contin": 13718, + "bank": 13719, + "junit": 13720, + "objects": 13721, + "Rot": 13722, + "issa": 13723, + "▁begun": 13724, + "*-": 13725, + "▁visiting": 13726, + "жде": 13727, + "▁targets": 13728, + "▁Latin": 13729, + "ут": 13730, + "▁Esc": 13731, + "*;": 13732, + "ång": 13733, + "▁({": 13734, + "▁diagram": 13735, + "Models": 13736, + "▁partnership": 13737, + "▁från": 13738, + "ulty": 13739, + "Pod": 13740, + "CALL": 13741, + "modal": 13742, + "sig": 13743, + "itzer": 13744, + "itel": 13745, + "▁convinced": 13746, + "abl": 13747, + "стве": 13748, + "▁cot": 13749, + "▁repeat": 13750, + "▁lists": 13751, + "sound": 13752, + "▁royal": 13753, + "▁grace": 13754, + "▁oraz": 13755, + "Notification": 13756, + "prite": 13757, + "▁arrival": 13758, + "ancell": 13759, + "hentic": 13760, + "decode": 13761, + "▁fantastic": 13762, + "progress": 13763, + "proxy": 13764, + "ző": 13765, + "kel": 13766, + "▁convenient": 13767, + "aque": 13768, + "riet": 13769, + "▁Digital": 13770, + "iors": 13771, + "▁Budd": 13772, + "andra": 13773, + "addy": 13774, + "▁overs": 13775, + "▁consumers": 13776, + "pn": 13777, + "mouse": 13778, + "▁BC": 13779, + "deg": 13780, + "perm": 13781, + "ités": 13782, + "▁испо": 13783, + "heast": 13784, + "hour": 13785, + "PARAM": 13786, + "conscious": 13787, + "▁wing": 13788, + "▁atmosphere": 13789, + "▁gig": 13790, + "▁contre": 13791, + "▁drama": 13792, + "ят": 13793, + "▁Front": 13794, + "▁philosophy": 13795, + "▁Hart": 13796, + "▁nurs": 13797, + "uras": 13798, + "▁Tru": 13799, + "▁sud": 13800, + "▁performing": 13801, + "пы": 13802, + "▁confused": 13803, + "▁checks": 13804, + "amt": 13805, + "Make": 13806, + "▁RO": 13807, + "▁df": 13808, + "izations": 13809, + "▁degli": 13810, + "▁architecture": 13811, + "Renderer": 13812, + "▁Ла": 13813, + "▁ptr": 13814, + "▁dieser": 13815, + "submit": 13816, + "▁topics": 13817, + "▁principles": 13818, + "vars": 13819, + "sock": 13820, + "▁tongue": 13821, + "▁percentage": 13822, + "▁SS": 13823, + "▁dol": 13824, + "▁rice": 13825, + "ío": 13826, + "▁Eastern": 13827, + "▁recognition": 13828, + "▁Ern": 13829, + "▁Ut": 13830, + "▁caut": 13831, + "▁Cloud": 13832, + "▁conversion": 13833, + "▁Ohio": 13834, + "▁ME": 13835, + "▁surely": 13836, + "▁gard": 13837, + "puis": 13838, + "▁urg": 13839, + "imi": 13840, + "▁absence": 13841, + "▁winner": 13842, + "Language": 13843, + "▁HTTP": 13844, + "wt": 13845, + "▁translation": 13846, + "сс": 13847, + "▁Kind": 13848, + "Two": 13849, + "▁Revolution": 13850, + "Insert": 13851, + "Every": 13852, + "orient": 13853, + "▁тра": 13854, + "▁emotions": 13855, + "details": 13856, + "▁flu": 13857, + "▁operate": 13858, + "Ag": 13859, + "unning": 13860, + "▁partie": 13861, + "tri": 13862, + "▁golden": 13863, + "▁Би": 13864, + "▁foundation": 13865, + "isten": 13866, + "▁Carlos": 13867, + "Children": 13868, + "▁neighb": 13869, + "▁Cart": 13870, + "Begin": 13871, + "гда": 13872, + "▁scheduled": 13873, + "'>": 13874, + "▁observations": 13875, + "▁producer": 13876, + "athers": 13877, + "ному": 13878, + "▁expectations": 13879, + "oso": 13880, + "zh": 13881, + "mutable": 13882, + "▁writes": 13883, + "▁pushing": 13884, + "▁seats": 13885, + "▁breast": 13886, + "aping": 13887, + "▁Simple": 13888, + "▁socket": 13889, + "▁slave": 13890, + "iley": 13891, + "▁assistant": 13892, + "▁trim": 13893, + "▁landscape": 13894, + "▁association": 13895, + "quant": 13896, + "▁Palest": 13897, + "▁sweat": 13898, + "engers": 13899, + "?_": 13900, + "ép": 13901, + ">.": 13902, + "▁curious": 13903, + "▁Component": 13904, + "▁replacement": 13905, + "раль": 13906, + "▁Track": 13907, + "▁Remove": 13908, + "▁Size": 13909, + "peror": 13910, + "▁calculate": 13911, + "▁sessions": 13912, + "▁typed": 13913, + "▁submit": 13914, + "!!!": 13915, + "▁partition": 13916, + "eding": 13917, + "-----": 13918, + "azioni": 13919, + "ließ": 13920, + "onal": 13921, + "▁shru": 13922, + "▁REG": 13923, + "▁Fac": 13924, + "configuration": 13925, + "▁было": 13926, + "▁Among": 13927, + "__);": 13928, + "▁Server": 13929, + "▁LOG": 13930, + "▁cand": 13931, + "']);": 13932, + "gov": 13933, + "▁Six": 13934, + "undefined": 13935, + "▁ty": 13936, + "asa": 13937, + "▁particles": 13938, + "▁фор": 13939, + "``": 13940, + "Tube": 13941, + "eland": 13942, + "fold": 13943, + "ogo": 13944, + "▁approaches": 13945, + "onda": 13946, + "agr": 13947, + ",$": 13948, + "▁{{": 13949, + "▁Modern": 13950, + "▁Winter": 13951, + "available": 13952, + "▁Lud": 13953, + "▁casa": 13954, + "▁Could": 13955, + "▁fifteen": 13956, + "▁potentially": 13957, + "^^": 13958, + "▁seit": 13959, + "Animation": 13960, + "кого": 13961, + "Zone": 13962, + "elif": 13963, + "▁acknowled": 13964, + "▁ownership": 13965, + "▁describes": 13966, + "▁reverse": 13967, + "▁contest": 13968, + "▁scored": 13969, + "▁opposed": 13970, + "flex": 13971, + "kre": 13972, + "▁merge": 13973, + "▁covering": 13974, + "▁honestly": 13975, + "▁Mess": 13976, + "▁rarely": 13977, + "▁incredible": 13978, + "itage": 13979, + "▁victims": 13980, + "ными": 13981, + "wl": 13982, + "izza": 13983, + "dn": 13984, + "onde": 13985, + "▁przy": 13986, + "▁HTML": 13987, + "▁payload": 13988, + "Bus": 13989, + "usb": 13990, + "Fn": 13991, + "▁displayed": 13992, + "▁ocean": 13993, + "▁Avenue": 13994, + "acion": 13995, + "ghan": 13996, + "metric": 13997, + "ieties": 13998, + "▁attractive": 13999, + "▁fö": 14000, + "Creat": 14001, + "verter": 14002, + "▁Alice": 14003, + "пол": 14004, + "▁fraction": 14005, + "▁behaviour": 14006, + "▁Jersey": 14007, + "▁revenue": 14008, + "▁tres": 14009, + "ILD": 14010, + "▁Ét": 14011, + "▁sync": 14012, + "wich": 14013, + "▁ancest": 14014, + "ът": 14015, + "omo": 14016, + "▁Ide": 14017, + "▁gained": 14018, + "▁momentum": 14019, + "▁Ko": 14020, + "ieu": 14021, + "ielt": 14022, + "▁bonus": 14023, + "▁texture": 14024, + "Modal": 14025, + "NEXT": 14026, + "▁године": 14027, + "▁languages": 14028, + "vt": 14029, + "▁representing": 14030, + "▁Dream": 14031, + "curr": 14032, + "qual": 14033, + "▁js": 14034, + "burn": 14035, + "▁contributions": 14036, + "▁ric": 14037, + "}-\\": 14038, + "={{": 14039, + "cart": 14040, + "FB": 14041, + "jud": 14042, + "esp": 14043, + "▁electron": 14044, + "▁ell": 14045, + "▁Runtime": 14046, + "achel": 14047, + "\\_": 14048, + "week": 14049, + "packet": 14050, + "▁Secretary": 14051, + "▁Jahrhund": 14052, + "▁threshold": 14053, + "bage": 14054, + "▁concer": 14055, + "▁bone": 14056, + "▁Hollywood": 14057, + "Cursor": 14058, + "▁awarded": 14059, + "▁summary": 14060, + "aggio": 14061, + "▁stell": 14062, + "▁flesh": 14063, + "Pair": 14064, + "▁Age": 14065, + "ington": 14066, + "▁'.": 14067, + "aser": 14068, + "кова": 14069, + "▁quart": 14070, + "ryption": 14071, + "Alloc": 14072, + "ften": 14073, + "Operand": 14074, + "▁indicated": 14075, + "($_": 14076, + "getString": 14077, + "▁listener": 14078, + "spir": 14079, + ")_": 14080, + "vens": 14081, + "▁foods": 14082, + "anza": 14083, + "teil": 14084, + "DESC": 14085, + "▁notion": 14086, + "▁employment": 14087, + "▁swing": 14088, + "nbsp": 14089, + "▁pounds": 14090, + "tools": 14091, + "▁participate": 14092, + "▁Tax": 14093, + "▁скла": 14094, + "apol": 14095, + "▁fost": 14096, + "compat": 14097, + "▁publication": 14098, + "▁rapidly": 14099, + "▁Wis": 14100, + "EventListener": 14101, + "▁première": 14102, + "uso": 14103, + "extend": 14104, + "▁MERCHANTABILITY": 14105, + "UTF": 14106, + "▁experiments": 14107, + "single": 14108, + "zk": 14109, + "▁naj": 14110, + "}}}": 14111, + "Lin": 14112, + "▁interact": 14113, + "▁cms": 14114, + "▁Roger": 14115, + "▁Ру": 14116, + ">'": 14117, + "commit": 14118, + "лось": 14119, + "▁outcome": 14120, + "▁hits": 14121, + "▁им": 14122, + "▁spark": 14123, + "console": 14124, + "▁verw": 14125, + "▁като": 14126, + "agnostics": 14127, + "▁soci": 14128, + "▁dining": 14129, + "▁tech": 14130, + "št": 14131, + "folio": 14132, + "ultane": 14133, + "ктор": 14134, + "▁Brand": 14135, + "Join": 14136, + "▁ию": 14137, + "▁pros": 14138, + "▁posit": 14139, + "Public": 14140, + "AspNetCore": 14141, + "▁Shop": 14142, + "▁coinc": 14143, + "нием": 14144, + "▁references": 14145, + "about": 14146, + "namespace": 14147, + "DL": 14148, + "▁IR": 14149, + "▁cada": 14150, + "▁Jordan": 14151, + "▁gep": 14152, + "▁bron": 14153, + "andidate": 14154, + "EXPECT": 14155, + "amo": 14156, + "▁Deutsch": 14157, + "auc": 14158, + "▁райо": 14159, + "▁Labor": 14160, + "▁surrounded": 14161, + "тро": 14162, + "▁nome": 14163, + "▁underlying": 14164, + "▁educational": 14165, + "RIGHT": 14166, + "COUNT": 14167, + "inch": 14168, + "Typ": 14169, + "umph": 14170, + "four": 14171, + "Controls": 14172, + "▁cp": 14173, + "cost": 14174, + "▁mechanism": 14175, + "eness": 14176, + "équ": 14177, + "▁acquired": 14178, + "▁falls": 14179, + "▁Hou": 14180, + "▁LE": 14181, + "forEach": 14182, + "▁vertex": 14183, + "▁IF": 14184, + "curs": 14185, + "'=>": 14186, + "тери": 14187, + "▁SA": 14188, + "riers": 14189, + "▁uw": 14190, + "▁marks": 14191, + "▁energ": 14192, + "hof": 14193, + "ylvania": 14194, + "▁Allen": 14195, + "umpy": 14196, + "ого": 14197, + "ству": 14198, + "voice": 14199, + "▁engage": 14200, + "▁mant": 14201, + "orse": 14202, + "===": 14203, + "▁improvement": 14204, + "Opt": 14205, + "▁arrested": 14206, + "тия": 14207, + "▁сле": 14208, + "itched": 14209, + "socket": 14210, + "▁cycl": 14211, + "▁SM": 14212, + "▁Sex": 14213, + "▁neutral": 14214, + "вав": 14215, + "▁Jess": 14216, + "▁dip": 14217, + "▁opposition": 14218, + "▁borrow": 14219, + "спе": 14220, + "▁avant": 14221, + "кола": 14222, + "▁ta": 14223, + "Anim": 14224, + "▁Gall": 14225, + "rgb": 14226, + "▁guilty": 14227, + "▁buried": 14228, + "▁gy": 14229, + "Initial": 14230, + "▁accomp": 14231, + "▁breathing": 14232, + "berry": 14233, + "GRO": 14234, + "▁subsequent": 14235, + "roupe": 14236, + "ulpt": 14237, + "tb": 14238, + "▁ä": 14239, + "Pi": 14240, + "argv": 14241, + "▁Must": 14242, + ":'": 14243, + "svg": 14244, + "oup": 14245, + "▁precisely": 14246, + "▁Ta": 14247, + "rena": 14248, + "▁folder": 14249, + "▁Channel": 14250, + "▁revol": 14251, + "Miss": 14252, + "лом": 14253, + "reddit": 14254, + "adelph": 14255, + "▁discrim": 14256, + "▁ave": 14257, + "pleted": 14258, + "▁gently": 14259, + "FFFF": 14260, + "ropy": 14261, + "▁dial": 14262, + "NotFound": 14263, + "▁\"[": 14264, + "Home": 14265, + "onte": 14266, + "▁relie": 14267, + "▁Context": 14268, + "▁stats": 14269, + "▁Energy": 14270, + "ounced": 14271, + "▁grave": 14272, + "▁recip": 14273, + "лин": 14274, + "blog": 14275, + "▁naam": 14276, + "▁wo": 14277, + "▁directions": 14278, + "▁Lincoln": 14279, + "!)": 14280, + "unci": 14281, + "neq": 14282, + "Tags": 14283, + "▁tum": 14284, + "▁saving": 14285, + "aille": 14286, + "itemize": 14287, + "▁Famil": 14288, + "msm": 14289, + "news": 14290, + "FFER": 14291, + "▁Dead": 14292, + "▁territory": 14293, + "▁Kat": 14294, + "ocker": 14295, + "integer": 14296, + "▁sne": 14297, + "▁fails": 14298, + "▁français": 14299, + "▁introduction": 14300, + "▁Grant": 14301, + "ycle": 14302, + "'].": 14303, + "▁vier": 14304, + "native": 14305, + "▁Kle": 14306, + "quote": 14307, + "Users": 14308, + "▁advis": 14309, + "▁gym": 14310, + "▁protein": 14311, + "ال": 14312, + "▁Mai": 14313, + "▁providers": 14314, + "▁soil": 14315, + "gui": 14316, + "▁Nation": 14317, + "reation": 14318, + "▁Tab": 14319, + "ensis": 14320, + "inas": 14321, + "▁Scotland": 14322, + "▁dispatch": 14323, + "union": 14324, + "▁bere": 14325, + "▁Pow": 14326, + "▁Hig": 14327, + "▁studying": 14328, + "REF": 14329, + "SSL": 14330, + "▁fright": 14331, + "▁SORT": 14332, + "▁compr": 14333, + "▁Madrid": 14334, + "rowned": 14335, + "opes": 14336, + "pdev": 14337, + "▁wash": 14338, + "▁'../../": 14339, + "}}_": 14340, + "▁accum": 14341, + "rolling": 14342, + "▁NC": 14343, + "▁fiction": 14344, + "ipt": 14345, + "connected": 14346, + "limits": 14347, + "▁lap": 14348, + "▁whereas": 14349, + "prom": 14350, + "▁appointment": 14351, + "Program": 14352, + "▁Пер": 14353, + "nah": 14354, + "Validation": 14355, + "icons": 14356, + "äll": 14357, + "▁radical": 14358, + "▁exclusive": 14359, + "emony": 14360, + "▁challenging": 14361, + "▁ms": 14362, + "▁Private": 14363, + "▁vida": 14364, + "▁други": 14365, + "▁campus": 14366, + "forms": 14367, + "дно": 14368, + "plaat": 14369, + "bst": 14370, + "ATED": 14371, + "▁Abstract": 14372, + "▁intense": 14373, + "▁Ltd": 14374, + "▁controvers": 14375, + "óg": 14376, + "▁să": 14377, + "▁landing": 14378, + "!=": 14379, + "▁scenes": 14380, + "▁Chap": 14381, + "▁spoken": 14382, + "cred": 14383, + "▁pride": 14384, + "quet": 14385, + "▁meter": 14386, + "▁deutsch": 14387, + "uum": 14388, + "▁bless": 14389, + "▁Hann": 14390, + "▁inputs": 14391, + "▁Row": 14392, + "▁withdraw": 14393, + "Pal": 14394, + "acles": 14395, + "assets": 14396, + "▁vl": 14397, + "веде": 14398, + "▁Got": 14399, + "▁airport": 14400, + "wind": 14401, + "▁Columbia": 14402, + "▁chocolate": 14403, + "▁hö": 14404, + "▁alarm": 14405, + "FTWARE": 14406, + "▁Jay": 14407, + "▁sake": 14408, + "▁registration": 14409, + "vid": 14410, + "▁lake": 14411, + "▁username": 14412, + "▁hack": 14413, + "indexOf": 14414, + "cx": 14415, + "▁festival": 14416, + "▁clubs": 14417, + "cases": 14418, + "CTRL": 14419, + "];\r": 14420, + "▁Aud": 14421, + "▁primera": 14422, + "ват": 14423, + "▁brilliant": 14424, + "uther": 14425, + "▁difficulty": 14426, + "itals": 14427, + "▁scores": 14428, + "▁polít": 14429, + "database": 14430, + "aska": 14431, + "▁######": 14432, + "▁acid": 14433, + "aton": 14434, + "atomic": 14435, + "freq": 14436, + "▁WARRANTY": 14437, + "▁reporting": 14438, + ".),": 14439, + "▁nights": 14440, + "▁programme": 14441, + ")}{": 14442, + "xic": 14443, + "▁spo": 14444, + "lined": 14445, + "quarters": 14446, + "eree": 14447, + "mers": 14448, + "▁serves": 14449, + "cow": 14450, + "лько": 14451, + "enso": 14452, + "▁environ": 14453, + "Like": 14454, + "anche": 14455, + "▁crash": 14456, + "▁Kap": 14457, + "noindent": 14458, + "Conn": 14459, + "▁авто": 14460, + "▁infrastructure": 14461, + "IME": 14462, + "▁Room": 14463, + "need": 14464, + "orer": 14465, + "▁Dest": 14466, + "▁Domin": 14467, + "atherine": 14468, + "▁Sydney": 14469, + "▁gauge": 14470, + "▁jet": 14471, + "bably": 14472, + "▁commonly": 14473, + "▁stations": 14474, + "iah": 14475, + "nl": 14476, + "жу": 14477, + "eten": 14478, + "_)": 14479, + "iac": 14480, + "amos": 14481, + "nement": 14482, + "kon": 14483, + "Interval": 14484, + "▁cabin": 14485, + "▁eg": 14486, + "▁shots": 14487, + "▁Area": 14488, + "smith": 14489, + "parameter": 14490, + "'}": 14491, + "▁hem": 14492, + "▁singing": 14493, + "▁accessible": 14494, + "▁Prin": 14495, + "optional": 14496, + "ancial": 14497, + "ships": 14498, + "▁canvas": 14499, + "spe": 14500, + "▁addresses": 14501, + "▁xml": 14502, + "▁'\"": 14503, + "▁kar": 14504, + "öff": 14505, + "▁ages": 14506, + "ёр": 14507, + "zing": 14508, + "▁över": 14509, + "▁Clean": 14510, + "▁Silver": 14511, + "▁осо": 14512, + "health": 14513, + "Ali": 14514, + "▁ts": 14515, + "atern": 14516, + "▁choosing": 14517, + "▁burned": 14518, + "brid": 14519, + "rooms": 14520, + "ött": 14521, + "KERN": 14522, + "▁dish": 14523, + "Sa": 14524, + "Detail": 14525, + "▁Hind": 14526, + "▁Dans": 14527, + "ię": 14528, + "▁Jahren": 14529, + "extension": 14530, + "allas": 14531, + "▁Billy": 14532, + "usammen": 14533, + "itud": 14534, + "geon": 14535, + "Temp": 14536, + "Leg": 14537, + "ittel": 14538, + "addle": 14539, + "▁muscle": 14540, + "▁scared": 14541, + "sson": 14542, + "▁denote": 14543, + "ieurs": 14544, + "▁orange": 14545, + "▁hub": 14546, + "▁reb": 14547, + "edi": 14548, + "▁voices": 14549, + "Folder": 14550, + "▁suspend": 14551, + "▁Heart": 14552, + "▁scrap": 14553, + "▁aggreg": 14554, + "▁Guide": 14555, + "transaction": 14556, + "▁riding": 14557, + "▁vá": 14558, + "▁breed": 14559, + "▁concert": 14560, + "approx": 14561, + "▁chances": 14562, + "Tok": 14563, + "Eq": 14564, + "parts": 14565, + "▁scholar": 14566, + "offs": 14567, + "flush": 14568, + "!”": 14569, + "▁login": 14570, + "▁soort": 14571, + "▁Mand": 14572, + "▁functional": 14573, + "▁Bou": 14574, + "▁subjects": 14575, + "mys": 14576, + "▁extraord": 14577, + "▁Building": 14578, + "ikt": 14579, + "Bad": 14580, + "iami": 14581, + "Driver": 14582, + "ête": 14583, + "▁kv": 14584, + "▁timer": 14585, + "itionally": 14586, + "▁athlet": 14587, + "▁\");": 14588, + "wy": 14589, + "CFG": 14590, + "▁heaven": 14591, + "ов": 14592, + "▁experimental": 14593, + "▁bounds": 14594, + "ICK": 14595, + "▁excit": 14596, + "▁quit": 14597, + "▁universal": 14598, + "дь": 14599, + "▁SP": 14600, + "▁stub": 14601, + "▁kle": 14602, + "▁Bart": 14603, + "▁\"@": 14604, + "pel": 14605, + "▁(!(": 14606, + "▁selector": 14607, + "EB": 14608, + "▁coc": 14609, + "eted": 14610, + "ють": 14611, + "▁possess": 14612, + "▁Rick": 14613, + "▁unusual": 14614, + "termin": 14615, + "▁bags": 14616, + "▁loading": 14617, + "▁tf": 14618, + "▁)\r": 14619, + "provider": 14620, + "pletion": 14621, + "▁cursor": 14622, + "▁paused": 14623, + "им": 14624, + "▁counsel": 14625, + "]<": 14626, + "zech": 14627, + "▁tie": 14628, + "▁Moon": 14629, + "▁armed": 14630, + "▁observe": 14631, + "▁permet": 14632, + "▁Job": 14633, + "för": 14634, + "argument": 14635, + "▁eggs": 14636, + "ást": 14637, + "▁incredibly": 14638, + "werken": 14639, + "izard": 14640, + "▁painted": 14641, + "▁Vietnam": 14642, + "▁violent": 14643, + "Est": 14644, + "ierra": 14645, + "reader": 14646, + "weise": 14647, + "▁Josh": 14648, + "▁Him": 14649, + "ashes": 14650, + "origin": 14651, + "▁spir": 14652, + "▁Tree": 14653, + "▁niet": 14654, + "WIN": 14655, + "margin": 14656, + "▁involves": 14657, + "▁organis": 14658, + "▁Nacional": 14659, + "bara": 14660, + "▁depuis": 14661, + "pio": 14662, + "features": 14663, + "stru": 14664, + "▁Disney": 14665, + "▁restaurants": 14666, + "Mill": 14667, + "))\r": 14668, + "сла": 14669, + "remote": 14670, + "▁Third": 14671, + "▁baseball": 14672, + "▁algun": 14673, + "]$": 14674, + "▁employed": 14675, + "pot": 14676, + "▁UnityEngine": 14677, + "▁integration": 14678, + "▁risks": 14679, + "▁stro": 14680, + "▁agosto": 14681, + "including": 14682, + "▁Mind": 14683, + "▁stroke": 14684, + "▁deals": 14685, + "ajax": 14686, + "ёт": 14687, + "▁\\|": 14688, + "tar": 14689, + "adelphia": 14690, + "▁sab": 14691, + "pur": 14692, + "▁screw": 14693, + "▁inev": 14694, + "▁\\;": 14695, + "▁Donald": 14696, + "öd": 14697, + "cca": 14698, + "esis": 14699, + "▁separated": 14700, + "DBG": 14701, + "agent": 14702, + "▁packed": 14703, + "ння": 14704, + "intern": 14705, + "▁Monte": 14706, + "▁province": 14707, + "▁expanded": 14708, + "▁approached": 14709, + "▁Ep": 14710, + "CLK": 14711, + "▁ore": 14712, + "Batch": 14713, + "▁impressive": 14714, + "RM": 14715, + "▁Location": 14716, + "▁shame": 14717, + "wrapper": 14718, + "unwrap": 14719, + "peer": 14720, + "Bits": 14721, + "▁SN": 14722, + "scar": 14723, + "Come": 14724, + "▁council": 14725, + "▁shouted": 14726, + "making": 14727, + "▁Maur": 14728, + "▁wis": 14729, + "LETE": 14730, + "▁fs": 14731, + "▁dz": 14732, + "unque": 14733, + "uego": 14734, + "Random": 14735, + "Html": 14736, + "zem": 14737, + "▁Dutch": 14738, + "▁Golden": 14739, + "▁Tar": 14740, + "▁Herm": 14741, + "▁stretch": 14742, + "vard": 14743, + "▁tries": 14744, + "WI": 14745, + "▁disappeared": 14746, + "▁crusher": 14747, + "▁Kan": 14748, + "Mag": 14749, + "ør": 14750, + "▁Cambridge": 14751, + "▁dopo": 14752, + "atura": 14753, + "heart": 14754, + "▁Spiel": 14755, + "/**\r": 14756, + "Direction": 14757, + "atting": 14758, + "wig": 14759, + "▁codes": 14760, + "▁powder": 14761, + "alert": 14762, + "sembl": 14763, + "▁ye": 14764, + "Star": 14765, + "▁roots": 14766, + "▁Holl": 14767, + "Rele": 14768, + "▁constitu": 14769, + "nc": 14770, + "“.": 14771, + "reference": 14772, + "ificial": 14773, + "closure": 14774, + "▁figured": 14775, + "▁assumption": 14776, + "getElementById": 14777, + "▁AG": 14778, + "oses": 14779, + "▁_\"": 14780, + "epper": 14781, + "obre": 14782, + "enumerate": 14783, + "ографи": 14784, + "▁lessons": 14785, + "▁qualified": 14786, + "Person": 14787, + "anse": 14788, + "▁Mort": 14789, + "sylvania": 14790, + "▁cré": 14791, + "Binding": 14792, + "іс": 14793, + "▁Vari": 14794, + "▁reminded": 14795, + "▁membership": 14796, + "iper": 14797, + "zte": 14798, + "▁cref": 14799, + "▁PA": 14800, + "plaatst": 14801, + "▁Environment": 14802, + "boy": 14803, + "▁phrase": 14804, + "rivial": 14805, + "rag": 14806, + "води": 14807, + "▁pse": 14808, + "▁tournament": 14809, + ")},": 14810, + "▁Sound": 14811, + "▁Vel": 14812, + "▁Berg": 14813, + "elson": 14814, + "▁refuge": 14815, + "▁elsewhere": 14816, + "quality": 14817, + "▁abandoned": 14818, + "▁Flo": 14819, + "ibil": 14820, + "UAL": 14821, + "▁Platz": 14822, + "▁delta": 14823, + "▁Buy": 14824, + "rière": 14825, + "▁flour": 14826, + "▁laughing": 14827, + "▁Looking": 14828, + "Agent": 14829, + "▁wx": 14830, + "▁Wales": 14831, + "Ctx": 14832, + "▁cake": 14833, + "▁crate": 14834, + "▁кла": 14835, + "anga": 14836, + "Zero": 14837, + "▁amounts": 14838, + "Tra": 14839, + "ometric": 14840, + "▁constraints": 14841, + "▁temple": 14842, + "▁installation": 14843, + "stroke": 14844, + "▁Neder": 14845, + "ți": 14846, + "▁Ibid": 14847, + "▁obs": 14848, + "entries": 14849, + "▁jusqu": 14850, + "ORM": 14851, + "▁Sky": 14852, + "ikes": 14853, + "nak": 14854, + "▁modes": 14855, + "▁Hitler": 14856, + "▁belt": 14857, + "▁pointing": 14858, + "▁Ban": 14859, + "ignore": 14860, + "▁persu": 14861, + "▁Besides": 14862, + "ynom": 14863, + "▁legis": 14864, + "▁CPU": 14865, + "anded": 14866, + "uis": 14867, + "bsite": 14868, + "▁Euro": 14869, + "▁utter": 14870, + "eclipse": 14871, + "▁irre": 14872, + "▁Document": 14873, + "▁Meanwhile": 14874, + "▁familie": 14875, + "verify": 14876, + "▁Jason": 14877, + "▁Ort": 14878, + "▁ciudad": 14879, + "▁technologies": 14880, + "▁части": 14881, + "nica": 14882, + "cancel": 14883, + "Virtual": 14884, + "▁evident": 14885, + "aman": 14886, + "▁Supreme": 14887, + "atoes": 14888, + "▁steady": 14889, + "▁monthly": 14890, + "▁SOFTWARE": 14891, + "Die": 14892, + "▁applying": 14893, + "Dig": 14894, + "vier": 14895, + "▁горо": 14896, + "▁WH": 14897, + "▁minds": 14898, + "▁kam": 14899, + "▁expertise": 14900, + "▁notification": 14901, + ".-": 14902, + "▁deliber": 14903, + "▁HE": 14904, + "▁resist": 14905, + "outes": 14906, + "▁Howard": 14907, + "special": 14908, + "▁presentation": 14909, + "▁YouTube": 14910, + "mir": 14911, + "▁rust": 14912, + "▁nations": 14913, + "▁Gets": 14914, + "▁responses": 14915, + "arded": 14916, + "immer": 14917, + "▁reveal": 14918, + "▁Meg": 14919, + "▁todos": 14920, + "▁ade": 14921, + "ategories": 14922, + "▁payments": 14923, + "ôt": 14924, + "Enumer": 14925, + "▁platforms": 14926, + "▁lifetime": 14927, + "Complete": 14928, + "Quest": 14929, + "enders": 14930, + "▁cum": 14931, + "pler": 14932, + "▁appl": 14933, + "ährend": 14934, + "зь": 14935, + "enez": 14936, + "overty": 14937, + "ynchron": 14938, + "▁argued": 14939, + "▁Kath": 14940, + "▁synchron": 14941, + "▁Builder": 14942, + "Border": 14943, + "Plan": 14944, + "rieb": 14945, + "nm": 14946, + "FORMAT": 14947, + "usk": 14948, + "▁jumped": 14949, + "charg": 14950, + "▁contribute": 14951, + "Mesh": 14952, + "Univers": 14953, + "rell": 14954, + "▁polar": 14955, + "▁trois": 14956, + "icio": 14957, + "Groups": 14958, + "▁(%": 14959, + "Loop": 14960, + "▁gaz": 14961, + "dbg": 14962, + "LAY": 14963, + "John": 14964, + "blocks": 14965, + "▁lung": 14966, + "▁kön": 14967, + "through": 14968, + "▁fifth": 14969, + "lisher": 14970, + "▁involving": 14971, + "▁Deep": 14972, + "▁области": 14973, + "▁sull": 14974, + "Export": 14975, + "▁Kate": 14976, + "period": 14977, + "charge": 14978, + "GT": 14979, + "\">\r": 14980, + "тин": 14981, + "▁Ott": 14982, + "▁interactions": 14983, + "▁Toronto": 14984, + "TRACE": 14985, + "▁difer": 14986, + "▁liberal": 14987, + "▁particle": 14988, + "▁surve": 14989, + "alous": 14990, + "reason": 14991, + "▁depression": 14992, + "ал": 14993, + "▁flower": 14994, + "▁waar": 14995, + "▁hade": 14996, + "▁centuries": 14997, + "uty": 14998, + "party": 14999, + "▁approval": 15000, + "generate": 15001, + "▁Barn": 15002, + "▁marg": 15003, + "▁monde": 15004, + "▁ook": 15005, + "▁Clark": 15006, + "▁theoret": 15007, + "viously": 15008, + "?)": 15009, + "▁Rud": 15010, + "stmt": 15011, + "inction": 15012, + "▁tun": 15013, + "▁roads": 15014, + "▁rotation": 15015, + "ppen": 15016, + "sensor": 15017, + "▁Kol": 15018, + "idelines": 15019, + "▁є": 15020, + "▁composed": 15021, + "▁virus": 15022, + "'$": 15023, + "SN": 15024, + "▁Von": 15025, + "mont": 15026, + "lar": 15027, + "▁opinions": 15028, + "uction": 15029, + "rupal": 15030, + "underline": 15031, + "▁horror": 15032, + "Must": 15033, + "otto": 15034, + "Should": 15035, + "▁statist": 15036, + "▁gem": 15037, + "▁secre": 15038, + "▁strip": 15039, + "▁dirt": 15040, + "amazon": 15041, + "▁Round": 15042, + "▁discovery": 15043, + "▁GO": 15044, + "▁substantial": 15045, + "ibt": 15046, + "▁demands": 15047, + "▁everyday": 15048, + "▁besch": 15049, + "▁Bridge": 15050, + "▁HD": 15051, + "▁Dol": 15052, + "▁très": 15053, + "anni": 15054, + "roit": 15055, + "());\r": 15056, + "far": 15057, + "timestamp": 15058, + "▁bulk": 15059, + "Black": 15060, + "▁gan": 15061, + "setting": 15062, + "retval": 15063, + "ване": 15064, + "nung": 15065, + "▁talks": 15066, + "▁scientists": 15067, + "▁vig": 15068, + "▁quantity": 15069, + "▁Gard": 15070, + "▁movements": 15071, + "ähr": 15072, + "lings": 15073, + "▁Те": 15074, + "team": 15075, + "rito": 15076, + "▁assembly": 15077, + "ilst": 15078, + "▁happiness": 15079, + "▁leaf": 15080, + "▁assessment": 15081, + "Coord": 15082, + "irs": 15083, + "sam": 15084, + "▁attorney": 15085, + "▁geme": 15086, + "IDE": 15087, + "▁Vere": 15088, + "▁Anthony": 15089, + "amiento": 15090, + "▁Ast": 15091, + "▁circul": 15092, + "▁Frances": 15093, + "▁pent": 15094, + "▁mate": 15095, + "▁Transport": 15096, + "owo": 15097, + "чу": 15098, + "istes": 15099, + "TRAN": 15100, + "IMPORT": 15101, + "▁Break": 15102, + "▁sons": 15103, + "▁investors": 15104, + "▁Philipp": 15105, + "THOD": 15106, + "▁panic": 15107, + "▁:)": 15108, + "▁detection": 15109, + "▁simultane": 15110, + "nte": 15111, + "▁listened": 15112, + "кре": 15113, + "▁Brig": 15114, + "Optional": 15115, + "▁abund": 15116, + "▁criteria": 15117, + "▁chip": 15118, + "▁окру": 15119, + "▁Constant": 15120, + "▁mining": 15121, + "тал": 15122, + "mates": 15123, + "▁worship": 15124, + "router": 15125, + "CN": 15126, + "▁Match": 15127, + "▁Cole": 15128, + "▁downt": 15129, + "▁holes": 15130, + "▁grateful": 15131, + "RESULT": 15132, + "▁Europa": 15133, + "▁consent": 15134, + "lä": 15135, + "opter": 15136, + "▁colleagues": 15137, + "orous": 15138, + "▁enemies": 15139, + "hang": 15140, + "actual": 15141, + "Objects": 15142, + "▁як": 15143, + "▁fluid": 15144, + "fixed": 15145, + "▁Graph": 15146, + "▁scratch": 15147, + "cers": 15148, + "ribu": 15149, + "▁validation": 15150, + "▁completion": 15151, + "▁Begin": 15152, + "endpoint": 15153, + "rient": 15154, + "CM": 15155, + "▁Site": 15156, + "▁explains": 15157, + "tres": 15158, + "▁anybody": 15159, + "foreach": 15160, + "lon": 15161, + "Chain": 15162, + "▁Buff": 15163, + "ocal": 15164, + "▁Morgan": 15165, + "▁sang": 15166, + "▁passes": 15167, + "@@": 15168, + "ijd": 15169, + "Word": 15170, + "▁Hung": 15171, + "▁Fer": 15172, + "▁vý": 15173, + "bast": 15174, + "▁entertainment": 15175, + "hin": 15176, + "▁grat": 15177, + "▁Member": 15178, + "▁Minn": 15179, + "▁printed": 15180, + "▁Franklin": 15181, + "▁Imp": 15182, + "Machine": 15183, + "columns": 15184, + "▁deleted": 15185, + "▁manufacturing": 15186, + "▁rely": 15187, + "▁conse": 15188, + "▁fishing": 15189, + "blo": 15190, + "-$": 15191, + "▁.\"": 15192, + "▁clinical": 15193, + "▁Studies": 15194, + "▁Бу": 15195, + "definition": 15196, + "▁evaluation": 15197, + "▁attacked": 15198, + "▁frozen": 15199, + "zent": 15200, + "▁últ": 15201, + "▁rational": 15202, + "othe": 15203, + "Cancel": 15204, + "history": 15205, + "setText": 15206, + "▁alc": 15207, + "▁hydro": 15208, + "▁Theatre": 15209, + "▁Material": 15210, + "IOException": 15211, + "******/": 15212, + "spl": 15213, + "NODE": 15214, + "attrs": 15215, + "▁mie": 15216, + "▁offices": 15217, + "ró": 15218, + "▁jam": 15219, + "▁Ident": 15220, + "vé": 15221, + "Setting": 15222, + "▁Several": 15223, + "▁decay": 15224, + "Android": 15225, + "▁Save": 15226, + "unted": 15227, + "▁Mountain": 15228, + "usc": 15229, + "▁marzo": 15230, + "▁asleep": 15231, + "▁soldier": 15232, + "▁Double": 15233, + "PK": 15234, + "▁contrad": 15235, + "▁wins": 15236, + "ceiver": 15237, + "▁seasons": 15238, + "▁Chall": 15239, + "▁healthcare": 15240, + "ład": 15241, + "от": 15242, + "▁Five": 15243, + "▁Hell": 15244, + "▁worldwide": 15245, + "▁',": 15246, + "ян": 15247, + "made": 15248, + "▁responded": 15249, + "▁ay": 15250, + "▁procedures": 15251, + "тера": 15252, + "▁cleared": 15253, + "\"].": 15254, + "▁Target": 15255, + "▁Side": 15256, + "omin": 15257, + "▁deploy": 15258, + "▁Tell": 15259, + "▁ongoing": 15260, + "floor": 15261, + "▁bones": 15262, + "▁Delete": 15263, + "▁shrugged": 15264, + "Our": 15265, + "Der": 15266, + "▁initialize": 15267, + "▁Ted": 15268, + "MAGE": 15269, + "▁hire": 15270, + "▁tracking": 15271, + "▁ash": 15272, + "▁ceiling": 15273, + "ках": 15274, + "etti": 15275, + "▁courage": 15276, + "enschapp": 15277, + "ются": 15278, + "More": 15279, + "▁folg": 15280, + "▁Grace": 15281, + "▁Kelly": 15282, + "▁reven": 15283, + "▁Ali": 15284, + "▁disp": 15285, + "▁defeat": 15286, + "▁creature": 15287, + "▁Kennedy": 15288, + "▁Diego": 15289, + "EMP": 15290, + "▁steam": 15291, + "endance": 15292, + "rig": 15293, + "▁ignor": 15294, + "emen": 15295, + "▁Gru": 15296, + "▁proposal": 15297, + "▁weiter": 15298, + "▁лі": 15299, + "ibles": 15300, + "▁consideration": 15301, + "▁believes": 15302, + "▁Soph": 15303, + "“,": 15304, + "▁Matthew": 15305, + "▁circuit": 15306, + "▁singer": 15307, + "▁Square": 15308, + "ço": 15309, + "Edge": 15310, + "▁astr": 15311, + "▁representative": 15312, + "▁comprehensive": 15313, + "liga": 15314, + "▁mere": 15315, + "tbl": 15316, + "▁continuing": 15317, + "ographer": 15318, + "LED": 15319, + "▁/***/": 15320, + "▁sear": 15321, + "▁enormous": 15322, + "izi": 15323, + "Dit": 15324, + "there": 15325, + "ін": 15326, + "сите": 15327, + "▁guerra": 15328, + "▁endpoint": 15329, + "▁lesson": 15330, + "zon": 15331, + "variable": 15332, + "ис": 15333, + "▁researchers": 15334, + "▁attempted": 15335, + "▁enf": 15336, + "тура": 15337, + "▁defin": 15338, + "вест": 15339, + "▁awful": 15340, + "▁lowest": 15341, + "rules": 15342, + "▁unlike": 15343, + "interval": 15344, + "▁producing": 15345, + "▁Kam": 15346, + "▁IMP": 15347, + "General": 15348, + "▁faire": 15349, + "▁maxim": 15350, + "assemb": 15351, + "acent": 15352, + "?>": 15353, + "plica": 15354, + "▁ram": 15355, + "mate": 15356, + "цу": 15357, + "mn": 15358, + "▁Hi": 15359, + "▁stages": 15360, + "▁Editor": 15361, + "▁tang": 15362, + "RD": 15363, + "▁ich": 15364, + "▁dependent": 15365, + "lifer": 15366, + "ascript": 15367, + "▁exposure": 15368, + "рез": 15369, + "▁mart": 15370, + "▁Barcel": 15371, + "xspace": 15372, + "SESSION": 15373, + "▁prest": 15374, + "URCE": 15375, + "-.": 15376, + "▁село": 15377, + "have": 15378, + "▁observation": 15379, + "▁commands": 15380, + "▁eager": 15381, + "▁outdoor": 15382, + "▁DEBUG": 15383, + "▁hr": 15384, + "AX": 15385, + "▁puzz": 15386, + "blank": 15387, + "бур": 15388, + "▁kennis": 15389, + "▁regarded": 15390, + "▁}),": 15391, + "volume": 15392, + "▁произ": 15393, + "▁Training": 15394, + "añ": 15395, + "▁fois": 15396, + "▁три": 15397, + "вня": 15398, + "▁optimal": 15399, + "▁subscription": 15400, + "bridge": 15401, + "imental": 15402, + "▁Think": 15403, + "▁\";": 15404, + "▁legisl": 15405, + "▁Hop": 15406, + "▁branches": 15407, + "▁Veg": 15408, + "▁sprint": 15409, + "▁flux": 15410, + "▁Freder": 15411, + "sis": 15412, + "notify": 15413, + "▁Фран": 15414, + "som": 15415, + "nym": 15416, + "▁Ré": 15417, + "lett": 15418, + "ingham": 15419, + "▁Farm": 15420, + "DOM": 15421, + "▁shield": 15422, + "Here": 15423, + "▁Treat": 15424, + "▁Luke": 15425, + "▁unsafe": 15426, + "anton": 15427, + "▁Imper": 15428, + "▁telephone": 15429, + "▁unlock": 15430, + "Owner": 15431, + "collection": 15432, + "▁snd": 15433, + "▁suiv": 15434, + "▁entering": 15435, + "шен": 15436, + "▁Label": 15437, + "selector": 15438, + "▁GET": 15439, + "▁quando": 15440, + "▁fed": 15441, + "jQuery": 15442, + "Origin": 15443, + "▁Alan": 15444, + "mathscr": 15445, + "▁pregnant": 15446, + "Expect": 15447, + "resources": 15448, + "▁ersten": 15449, + "alia": 15450, + "▁retired": 15451, + "ût": 15452, + "Cred": 15453, + "▁méd": 15454, + "▁erh": 15455, + "Framework": 15456, + "Slot": 15457, + "duration": 15458, + "sal": 15459, + "▁composition": 15460, + "article": 15461, + "gpu": 15462, + "▁permitted": 15463, + "▁Font": 15464, + "▁Much": 15465, + "▁pending": 15466, + "▁agencies": 15467, + "Columns": 15468, + "▁klik": 15469, + "▁rating": 15470, + "mind": 15471, + "▁Pennsylvania": 15472, + "Java": 15473, + "abstract": 15474, + "▁dumb": 15475, + "▁VI": 15476, + "usa": 15477, + "Remote": 15478, + "▁YOU": 15479, + "▁Creek": 15480, + "мати": 15481, + "Bottom": 15482, + "▁rolling": 15483, + "▁bundle": 15484, + "▁golf": 15485, + "gpio": 15486, + "▁Chair": 15487, + "▁cls": 15488, + "$}": 15489, + "▁Parliament": 15490, + "führ": 15491, + "Many": 15492, + "▁Sep": 15493, + "▁badly": 15494, + "igi": 15495, + "▁Gemeinde": 15496, + "Ill": 15497, + "▁Ан": 15498, + "uart": 15499, + "itempty": 15500, + "▁Niger": 15501, + "▁immigr": 15502, + "Super": 15503, + "vá": 15504, + "istribute": 15505, + "Helpers": 15506, + "▁waters": 15507, + "▁joining": 15508, + "omitempty": 15509, + "▁Otherwise": 15510, + "▁Host": 15511, + "▁redd": 15512, + "▁dy": 15513, + "▁converted": 15514, + "▁prayer": 15515, + "▁Украї": 15516, + "▁elections": 15517, + "reb": 15518, + "erie": 15519, + "▁свя": 15520, + "Abs": 15521, + "iembre": 15522, + "holders": 15523, + "▁Rol": 15524, + "utschen": 15525, + "▁Gh": 15526, + "tery": 15527, + "анг": 15528, + "▁narrative": 15529, + "minus": 15530, + "▁Iron": 15531, + "=\"#": 15532, + "▁wand": 15533, + "▁wished": 15534, + "icode": 15535, + "orr": 15536, + "[[": 15537, + "▁detected": 15538, + "▁municipal": 15539, + "▁Pour": 15540, + "▁Serv": 15541, + "citet": 15542, + "▁grey": 15543, + "▁Rap": 15544, + "▁voy": 15545, + "▁lleg": 15546, + "▁currency": 15547, + "▁Script": 15548, + "strument": 15549, + "▁expecting": 15550, + "▁tickets": 15551, + "▁bucket": 15552, + "egr": 15553, + "▁jacket": 15554, + "drv": 15555, + "▁loans": 15556, + "▁kann": 15557, + "▁integral": 15558, + "▁characteristics": 15559, + "(\".": 15560, + "▁manual": 15561, + "▁dynamics": 15562, + ":*": 15563, + "sha": 15564, + "reens": 15565, + "onical": 15566, + "▁toile": 15567, + "aña": 15568, + "▁distant": 15569, + "▁handled": 15570, + "Bool": 15571, + "▁penal": 15572, + "▁Things": 15573, + "▁prominent": 15574, + "▁exped": 15575, + "▁Help": 15576, + "▁asp": 15577, + "lap": 15578, + "▁Auth": 15579, + "Basic": 15580, + "achuset": 15581, + "▁Bild": 15582, + "▁entitled": 15583, + "▁jag": 15584, + "▁rejected": 15585, + "▁memor": 15586, + "orts": 15587, + "▁applies": 15588, + "▁Language": 15589, + "specific": 15590, + "achusetts": 15591, + "HAND": 15592, + "▁Route": 15593, + "market": 15594, + "▁Ky": 15595, + "▁pose": 15596, + "ACHE": 15597, + "poll": 15598, + "▁rocks": 15599, + "bone": 15600, + "▁DIS": 15601, + "Watch": 15602, + "▁smiling": 15603, + "рио": 15604, + "Month": 15605, + "▁efter": 15606, + "construct": 15607, + "▁bands": 15608, + "▁collaboration": 15609, + "ними": 15610, + "glas": 15611, + "▁vy": 15612, + "▁engagement": 15613, + "__)": 15614, + "▁wings": 15615, + "ким": 15616, + "netje": 15617, + "ativa": 15618, + "▁Duke": 15619, + "лее": 15620, + "▁Within": 15621, + "▁dove": 15622, + "▁cb": 15623, + "yers": 15624, + "pow": 15625, + "[(": 15626, + "▁evaluate": 15627, + "Points": 15628, + "▁рі": 15629, + "odigd": 15630, + "onomy": 15631, + "▁Illinois": 15632, + "▁Typ": 15633, + "▁coordinates": 15634, + "pisode": 15635, + "ucked": 15636, + "▁flav": 15637, + "▁brands": 15638, + "▁calendar": 15639, + "Lib": 15640, + "▁uitgen": 15641, + "▁tale": 15642, + "▁briefly": 15643, + "▁mic": 15644, + "RESS": 15645, + "▁später": 15646, + "▁integrated": 15647, + "▁cookies": 15648, + "▁uitgenodigd": 15649, + "▁Priv": 15650, + "▁phenomen": 15651, + "▁voegen": 15652, + "Supp": 15653, + "▁refers": 15654, + "пад": 15655, + "▁Clinton": 15656, + "▁assignment": 15657, + "inals": 15658, + "▁asym": 15659, + "cycle": 15660, + "▁Anderson": 15661, + "▁binding": 15662, + "rique": 15663, + "hind": 15664, + "▁behalf": 15665, + "▁Fle": 15666, + "▁breaks": 15667, + "▁soap": 15668, + "вар": 15669, + "▁vä": 15670, + "▁crying": 15671, + "▁→": 15672, + "▁msm": 15673, + "▁boots": 15674, + "owing": 15675, + "▁bell": 15676, + "suite": 15677, + "▁Bundes": 15678, + "Year": 15679, + "ndef": 15680, + "Other": 15681, + "▁google": 15682, + "ENCE": 15683, + "WER": 15684, + "Les": 15685, + "Shared": 15686, + "▁ED": 15687, + "IFT": 15688, + "▁floating": 15689, + "ým": 15690, + "{},": 15691, + "Binary": 15692, + "▁roce": 15693, + "raj": 15694, + "▁bewerken": 15695, + "BF": 15696, + "▁Hur": 15697, + "cen": 15698, + "▁ere": 15699, + "▁camb": 15700, + "▁Pakistan": 15701, + "▁greatly": 15702, + "▁logging": 15703, + "/.": 15704, + "Tensor": 15705, + "▁opens": 15706, + "▁Rio": 15707, + "▁klikken": 15708, + "▁sculpt": 15709, + "apore": 15710, + "wx": 15711, + "▁Nich": 15712, + "nan": 15713, + "▁injured": 15714, + "compare": 15715, + "tha": 15716, + "Sample": 15717, + "Shell": 15718, + "▁commander": 15719, + "▁receiver": 15720, + "▁hopes": 15721, + "▁byl": 15722, + "▁proxy": 15723, + "▁gall": 15724, + "getId": 15725, + "▁Bab": 15726, + "feld": 15727, + "▁\"_": 15728, + "▁Hab": 15729, + "simple": 15730, + "▁executed": 15731, + "▁ate": 15732, + "▁animation": 15733, + "▁inhab": 15734, + "▁боль": 15735, + "▁router": 15736, + "▁glob": 15737, + "Geplaatst": 15738, + "▁beginnetje": 15739, + "▁Kur": 15740, + "▁Ха": 15741, + "aligned": 15742, + "▁certificate": 15743, + "▁Å": 15744, + ".).": 15745, + "▁soll": 15746, + "▁Import": 15747, + "реди": 15748, + "▁pandemic": 15749, + "▁nic": 15750, + "vä": 15751, + "▁Gree": 15752, + "▁Say": 15753, + "▁ді": 15754, + "▁Num": 15755, + "▁roughly": 15756, + "▁después": 15757, + "▁​": 15758, + "▁specify": 15759, + "Mapper": 15760, + "licht": 15761, + "▁thumb": 15762, + "wie": 15763, + "▁unlikely": 15764, + "▁Edd": 15765, + "Hey": 15766, + "▁Opt": 15767, + "BLOCK": 15768, + "вор": 15769, + "▁×": 15770, + "▁ba": 15771, + "▁periods": 15772, + "▁titles": 15773, + "Med": 15774, + "▁fon": 15775, + "▁bast": 15776, + "▁Forest": 15777, + "▁№": 15778, + "onds": 15779, + "▁fal": 15780, + "▁gesch": 15781, + "direction": 15782, + "IFY": 15783, + "▁LA": 15784, + "▁(((": 15785, + "GTH": 15786, + "itudes": 15787, + "▁destruction": 15788, + "▁Ja": 15789, + "▁stake": 15790, + "ifferent": 15791, + "▁identical": 15792, + "▁fog": 15793, + "▁Reb": 15794, + "ские": 15795, + "ступ": 15796, + "jax": 15797, + "▁Mars": 15798, + "▁historic": 15799, + "▁Vo": 15800, + "▁entrepre": 15801, + "▁tension": 15802, + "▁WHERE": 15803, + "▁Philadelphia": 15804, + "Counter": 15805, + "▁frames": 15806, + "▁muy": 15807, + "ej": 15808, + "öt": 15809, + "eu": 15810, + "▁челове": 15811, + "PROC": 15812, + "▁resolved": 15813, + "▁tape": 15814, + "цион": 15815, + "▁singular": 15816, + "▁personnel": 15817, + "▁Mun": 15818, + "▁Occ": 15819, + "▁scalar": 15820, + "dess": 15821, + "▁cable": 15822, + "being": 15823, + "▁Jenn": 15824, + "▁erst": 15825, + "Actions": 15826, + "Environment": 15827, + "via": 15828, + "▁struggling": 15829, + "▁DVD": 15830, + "whe": 15831, + "▁throwing": 15832, + "Bounds": 15833, + "▁MD": 15834, + "▁\"../": 15835, + "▁satisfy": 15836, + "▁Colorado": 15837, + "▁Active": 15838, + "Tasks": 15839, + "<>();": 15840, + "▁slipped": 15841, + "▁poison": 15842, + "zb": 15843, + "Dispatch": 15844, + "warning": 15845, + "▁ultimate": 15846, + "picture": 15847, + "expression": 15848, + "▁Talk": 15849, + "▁flick": 15850, + "▁raising": 15851, + "▁transactions": 15852, + "▁glance": 15853, + "▁gri": 15854, + "▁през": 15855, + "selection": 15856, + "ња": 15857, + "endl": 15858, + "▁Abb": 15859, + "▁bold": 15860, + "▁maintained": 15861, + "Exists": 15862, + "▁encouraged": 15863, + "Qual": 15864, + "▁essere": 15865, + "▁hired": 15866, + "letter": 15867, + "itches": 15868, + "others": 15869, + "▁woj": 15870, + "▁injuries": 15871, + "▁dil": 15872, + "execut": 15873, + "▁Steel": 15874, + "▁Garden": 15875, + "зя": 15876, + "\\,\\": 15877, + "▁Angel": 15878, + "prim": 15879, + ">:]<": 15880, + "gb": 15881, + "peat": 15882, + "inte": 15883, + "▁apolog": 15884, + "▁regulations": 15885, + "Src": 15886, + "kh": 15887, + "Upload": 15888, + "mapping": 15889, + "▁presents": 15890, + "▁poetry": 15891, + "▁stops": 15892, + "▁Tol": 15893, + "▁tower": 15894, + "▁OUT": 15895, + "Thank": 15896, + "▁organic": 15897, + "▁drei": 15898, + "▁pound": 15899, + "century": 15900, + "▁modules": 15901, + "▁дере": 15902, + "▁worn": 15903, + "▁parad": 15904, + "▁Cos": 15905, + "fic": 15906, + "▁без": 15907, + "▁Jimmy": 15908, + "▁lands": 15909, + "▁minist": 15910, + "vspace": 15911, + "▁lighting": 15912, + "▁naked": 15913, + "▁designer": 15914, + "▁Stream": 15915, + "TMP": 15916, + "Center": 15917, + "resentation": 15918, + "ONT": 15919, + "▁ers": 15920, + "▁measurement": 15921, + "▁muscles": 15922, + "▁Ign": 15923, + "▁COM": 15924, + "▁fru": 15925, + "▁genre": 15926, + "▁alpha": 15927, + "▁retirement": 15928, + "▁Gon": 15929, + "ől": 15930, + "contents": 15931, + "▁healing": 15932, + "▁sido": 15933, + "incipal": 15934, + "Permission": 15935, + "рак": 15936, + "▁Gordon": 15937, + "▁Rank": 15938, + "▁Autom": 15939, + "Constructor": 15940, + "wiki": 15941, + "▁concerning": 15942, + "rizona": 15943, + "▁variant": 15944, + "▁arranged": 15945, + "▁Spr": 15946, + "BPACK": 15947, + "Timestamp": 15948, + "restore": 15949, + "aware": 15950, + "▁Observ": 15951, + "▁SV": 15952, + "ipp": 15953, + "▁Executive": 15954, + "▁colleg": 15955, + "▁explicitly": 15956, + "written": 15957, + "▁Kön": 15958, + "irus": 15959, + "▁Hold": 15960, + "▁Pract": 15961, + "Character": 15962, + "▁redistribute": 15963, + "uerto": 15964, + "▁Student": 15965, + "▁elder": 15966, + "▁Dop": 15967, + "vp": 15968, + "▁Hub": 15969, + "▁grounds": 15970, + "▁Ry": 15971, + "▁signals": 15972, + "▁gifts": 15973, + "▁strengthen": 15974, + "▁Lyn": 15975, + "commun": 15976, + "▁най": 15977, + "▁finance": 15978, + "noc": 15979, + "helm": 15980, + "▁cuts": 15981, + "▁adventure": 15982, + "▁Ric": 15983, + "▁intellectual": 15984, + "▁Output": 15985, + "▁awk": 15986, + "▁concentration": 15987, + "▁guidance": 15988, + "Buff": 15989, + "▁filling": 15990, + "▁regul": 15991, + "▁delicious": 15992, + "([]": 15993, + "ших": 15994, + "▁tons": 15995, + "activity": 15996, + "GP": 15997, + "LOB": 15998, + "stadt": 15999, + "tal": 16000, + "▁img": 16001, + "▁rush": 16002, + "attice": 16003, + "▁pok": 16004, + "steps": 16005, + "▁lid": 16006, + "▁DNA": 16007, + "Browser": 16008, + "▁ladies": 16009, + "▁années": 16010, + "▁rescue": 16011, + "avity": 16012, + "rock": 16013, + "▁glasses": 16014, + "▁Bey": 16015, + ")}$": 16016, + "detail": 16017, + "▁dés": 16018, + "tax": 16019, + "▁favourite": 16020, + "▁precision": 16021, + "▁conoc": 16022, + "Ms": 16023, + "▁Native": 16024, + "▁Pil": 16025, + "InputStream": 16026, + "orp": 16027, + "▁Pap": 16028, + "▁picking": 16029, + "iph": 16030, + "Loading": 16031, + "▁priest": 16032, + "Hook": 16033, + "▁pist": 16034, + "▁Une": 16035, + "%,": 16036, + "▁bil": 16037, + "▁conservative": 16038, + "eval": 16039, + "iking": 16040, + "'},": 16041, + "▁sauce": 16042, + "▁Due": 16043, + "assen": 16044, + "▁occasionally": 16045, + "▁Дж": 16046, + "unknown": 16047, + "DED": 16048, + "▁drum": 16049, + "▁dub": 16050, + "ATURE": 16051, + "usage": 16052, + "getType": 16053, + "reply": 16054, + "▁strategic": 16055, + "▁kap": 16056, + "design": 16057, + "datetime": 16058, + "▁Prim": 16059, + "Master": 16060, + "▁Corps": 16061, + "▁considerable": 16062, + "▁Tu": 16063, + "▁ла": 16064, + "▁tous": 16065, + "▁clar": 16066, + "▁poem": 16067, + "album": 16068, + "]*": 16069, + "loaded": 16070, + "▁traveling": 16071, + "вые": 16072, + "▁Ferr": 16073, + "▁pharm": 16074, + "abi": 16075, + "▁}\\": 16076, + "collect": 16077, + "▁Bour": 16078, + "OC": 16079, + "▁measurements": 16080, + "▁Professional": 16081, + "▁sensor": 16082, + "utsche": 16083, + "▁demanded": 16084, + "▁accompanied": 16085, + "▁prend": 16086, + "▁encoding": 16087, + "▁Geschichte": 16088, + "▁mig": 16089, + "▁Gib": 16090, + "▁Reich": 16091, + "▁myster": 16092, + "▁Mock": 16093, + "▁physically": 16094, + "▁Bau": 16095, + "▁Single": 16096, + "▁managing": 16097, + "▁Kil": 16098, + "▁Temple": 16099, + "▁lev": 16100, + "▁lí": 16101, + "CPU": 16102, + "▁Premier": 16103, + "▁Give": 16104, + "iri": 16105, + "NV": 16106, + "▁AI": 16107, + "▁fp": 16108, + "лександ": 16109, + "▁tant": 16110, + "▁fot": 16111, + "Nullable": 16112, + "▁guards": 16113, + "Once": 16114, + "▁chamber": 16115, + "film": 16116, + "▁bias": 16117, + "▁Tai": 16118, + "insic": 16119, + "▁ml": 16120, + "▁Ka": 16121, + "вал": 16122, + "▁SER": 16123, + "▁Someone": 16124, + "}}_{": 16125, + "Fixed": 16126, + "▁bent": 16127, + "▁prohib": 16128, + "▁bid": 16129, + "▁fewer": 16130, + "кры": 16131, + "▁lugar": 16132, + "▁deserve": 16133, + "ssl": 16134, + "▁cfg": 16135, + "reck": 16136, + "▁stability": 16137, + "resize": 16138, + "▁assertThat": 16139, + "Trigger": 16140, + "▁станов": 16141, + "plugins": 16142, + "▁lets": 16143, + "хід": 16144, + "▁Laura": 16145, + "нер": 16146, + "▁brut": 16147, + "▁FI": 16148, + "isons": 16149, + "▁dyn": 16150, + "icher": 16151, + "rayed": 16152, + "▁frequent": 16153, + "▁jedoch": 16154, + "▁Marine": 16155, + "strings": 16156, + "▁Util": 16157, + "▁bos": 16158, + "Mus": 16159, + "▁Portugal": 16160, + "Strategy": 16161, + "▁посе": 16162, + "▁slice": 16163, + "▁insight": 16164, + "▁widget": 16165, + "▁général": 16166, + "messages": 16167, + "▁Hu": 16168, + "▁requirement": 16169, + "Side": 16170, + "emplates": 16171, + "▁ceremony": 16172, + "▁physics": 16173, + "▁graduate": 16174, + "para": 16175, + "▁preserv": 16176, + "▁shops": 16177, + "zek": 16178, + "▁ub": 16179, + "prepare": 16180, + "▁Oil": 16181, + "▁fib": 16182, + "▁runtime": 16183, + "▁hogy": 16184, + "Warning": 16185, + "▁Convert": 16186, + "bourne": 16187, + "▁emerged": 16188, + "▁Ди": 16189, + "ighth": 16190, + "guard": 16191, + "kal": 16192, + "validation": 16193, + "ência": 16194, + "▁drinks": 16195, + "theorem": 16196, + "HR": 16197, + "iev": 16198, + "ployee": 16199, + "Usage": 16200, + "▁спе": 16201, + "dispatch": 16202, + "▁instantly": 16203, + "obi": 16204, + "▁justify": 16205, + "▁Nev": 16206, + "▁явля": 16207, + "agra": 16208, + "▁transmission": 16209, + "fly": 16210, + ";';": 17021, + "▁cousin": 17022, + "createElement": 17023, + "Could": 17024, + "▁capac": 17025, + "▁pause": 17026, + "ArrayList": 17027, + "kte": 17028, + "ordered": 17029, + "▁shaking": 17030, + "labels": 17031, + "▁reducing": 17032, + "вых": 17033, + "USED": 17034, + "▁voting": 17035, + "▁Ministry": 17036, + "▁Mig": 17037, + "▁Chen": 17038, + "▁accompany": 17039, + "ulle": 17040, + "▁ga": 17041, + "▁equipped": 17042, + "▁nun": 17043, + "Bet": 17044, + "▁licensed": 17045, + "ARCH": 17046, + "FN": 17047, + "▁engines": 17048, + "▁ster": 17049, + "▁locale": 17050, + "▁въ": 17051, + "links": 17052, + "▁Capital": 17053, + "▁alien": 17054, + "Wr": 17055, + "ръ": 17056, + "Cart": 17057, + "▁Marketing": 17058, + "▁RT": 17059, + "FileName": 17060, + "▁ti": 17061, + "iji": 17062, + "▁versus": 17063, + "live": 17064, + "Sym": 17065, + "kor": 17066, + "▁emission": 17067, + "umm": 17068, + "ycz": 17069, + "▁climbed": 17070, + "▁plusieurs": 17071, + "кри": 17072, + "yar": 17073, + "osten": 17074, + "▁usb": 17075, + "▁crossing": 17076, + "▁polynom": 17077, + "▁removal": 17078, + "▁Adams": 17079, + "▁ihre": 17080, + "anden": 17081, + "▁Benj": 17082, + "▁Phill": 17083, + "▁wounded": 17084, + "▁Castle": 17085, + "bild": 17086, + "Annotation": 17087, + "Processor": 17088, + "▁tin": 17089, + "folg": 17090, + "▁Students": 17091, + "▁Mexican": 17092, + "▁administrative": 17093, + "ILED": 17094, + "▁conqu": 17095, + "▁cheer": 17096, + "▁Ces": 17097, + "Because": 17098, + "▁Juni": 17099, + "▁encontr": 17100, + "avi": 17101, + "VI": 17102, + "aku": 17103, + "▁Ton": 17104, + "▁smoking": 17105, + "▁bay": 17106, + "works": 17107, + "ат": 17108, + "attered": 17109, + "▁Boolean": 17110, + "▁Balt": 17111, + "defer": 17112, + "pathy": 17113, + "Ah": 17114, + "▁akt": 17115, + "▁governor": 17116, + "Pad": 17117, + "▁sisters": 17118, + "Lat": 17119, + "▁revel": 17120, + "▁SY": 17121, + "itos": 17122, + "▁filters": 17123, + "Chunk": 17124, + "consum": 17125, + "▁removing": 17126, + "▁Herr": 17127, + "▁generator": 17128, + "▁Cra": 17129, + "▁farmers": 17130, + "▁Members": 17131, + "▁overcome": 17132, + "▁Cin": 17133, + "igkeit": 17134, + "criptions": 17135, + "Tests": 17136, + "▁клу": 17137, + "▁shake": 17138, + "▁yy": 17139, + "placement": 17140, + "▁awards": 17141, + "▁episodes": 17142, + "▁Blood": 17143, + "▁bullet": 17144, + "▁viene": 17145, + "▁Financial": 17146, + "Future": 17147, + "▁rou": 17148, + "▁biologie": 17149, + "▁useState": 17150, + "iani": 17151, + "piece": 17152, + "▁speaker": 17153, + "▁refr": 17154, + "ARK": 17155, + "▁MIT": 17156, + "▁Tan": 17157, + "▁Based": 17158, + "▁cultiv": 17159, + "▁hungry": 17160, + "▁Ay": 17161, + "▁Hey": 17162, + "▁excitement": 17163, + "ibraries": 17164, + "Hit": 17165, + "▁Ende": 17166, + "NG": 17167, + "FIL": 17168, + ".\")": 17169, + "Family": 17170, + "inery": 17171, + "necess": 17172, + "velope": 17173, + "▁Bot": 17174, + "porter": 17175, + "▁climb": 17176, + "▁Eli": 17177, + "urent": 17178, + "▁mistakes": 17179, + "ában": 17180, + "marks": 17181, + "pkt": 17182, + "Library": 17183, + "sted": 17184, + "ublice": 17185, + "▁Administration": 17186, + "▁shapes": 17187, + "публи": 17188, + "God": 17189, + "innen": 17190, + "коло": 17191, + "<<<<": 17192, + "ibe": 17193, + "ês": 17194, + "▁США": 17195, + "▁Foreign": 17196, + "▁Margaret": 17197, + "▁gene": 17198, + "▁disturb": 17199, + "▁тер": 17200, + "▁onClick": 17201, + "▁Engineering": 17202, + "▁stopping": 17203, + "▁restrictions": 17204, + ",*": 17205, + "BUF": 17206, + "▁shadows": 17207, + "hci": 17208, + "▁Christians": 17209, + "▁fence": 17210, + "▁luxury": 17211, + "akh": 17212, + "coord": 17213, + "▁investigate": 17214, + "▁conventional": 17215, + "\"—": 17216, + "▁visits": 17217, + "isé": 17218, + "▁Sac": 17219, + "className": 17220, + "▁Psych": 17221, + "▁reflected": 17222, + "▁пло": 17223, + "▁Vice": 17224, + "ław": 17225, + "________________": 17226, + "▁Wolf": 17227, + "rente": 17228, + "▁Champion": 17229, + "▁simulation": 17230, + "esota": 17231, + "▁Soon": 17232, + "▁Cel": 17233, + "▁theories": 17234, + "▁STR": 17235, + "▁collective": 17236, + "▁coordinate": 17237, + "querySelector": 17238, + "emed": 17239, + "Break": 17240, + "▁gef": 17241, + "▁electricity": 17242, + "▁gathering": 17243, + "aters": 17244, + "exper": 17245, + "▁Roma": 17246, + "▁Cooper": 17247, + "SYMBOL": 17248, + "vd": 17249, + "iversary": 17250, + "aines": 17251, + "▁Grad": 17252, + "▁independence": 17253, + "woh": 17254, + "▁consequence": 17255, + "▁conversations": 17256, + "▁Rou": 17257, + "▁andere": 17258, + "▁Systems": 17259, + "гар": 17260, + "▁moist": 17261, + "flu": 17262, + "ція": 17263, + "ниш": 17264, + "▁rode": 17265, + "▁perd": 17266, + "▁szer": 17267, + "▁flood": 17268, + "▁intim": 17269, + "stderr": 17270, + "▁reflection": 17271, + "Scan": 17272, + "▁disaster": 17273, + "akespe": 17274, + "▁Invalid": 17275, + "▁humor": 17276, + "▁Friedrich": 17277, + "▁suggestions": 17278, + "uvud": 17279, + "Delay": 17280, + "brief": 17281, + "▁ис": 17282, + "glied": 17283, + "fas": 17284, + "▁Smart": 17285, + "▁medi": 17286, + "sdk": 17287, + "▁seus": 17288, + "▁Arizona": 17289, + "▁innocent": 17290, + "Warn": 17291, + "acious": 17292, + "▁Moscow": 17293, + "▁caps": 17294, + "Delegate": 17295, + "▁dramatic": 17296, + "books": 17297, + "▁shore": 17298, + "uki": 17299, + "▁Russell": 17300, + "▁correlation": 17301, + "Help": 17302, + "▁pubblic": 17303, + "zym": 17304, + "comb": 17305, + "EY": 17306, + "LENGTH": 17307, + "▁Mün": 17308, + "▁_.": 17309, + "▁ferm": 17310, + "▁Ian": 17311, + "▁Studio": 17312, + "▁affairs": 17313, + "los": 17314, + "Rules": 17315, + "running": 17316, + "▁Posted": 17317, + "Pixel": 17318, + "▁dancing": 17319, + "▁agreements": 17320, + "▁Pic": 17321, + "ancia": 17322, + "▁má": 17323, + "ationToken": 17324, + "descriptor": 17325, + "▁Carter": 17326, + "Release": 17327, + "************": 17328, + "▁outstanding": 17329, + "changes": 17330, + "ARRAY": 17331, + "▁Barbara": 17332, + "▁nurse": 17333, + "(\r": 17334, + "▁Douglas": 17335, + "▁nucle": 17336, + "ouri": 17337, + "▁Style": 17338, + "avo": 17339, + "▁painful": 17340, + "▁slic": 17341, + "▁seinem": 17342, + "SUPPORT": 17343, + "ogene": 17344, + "▁satell": 17345, + "tagon": 17346, + "▁collapse": 17347, + "velle": 17348, + "MON": 17349, + "aughters": 17350, + "▁threatened": 17351, + "▁Illegal": 17352, + "▁desperate": 17353, + "strict": 17354, + "rus": 17355, + "ститу": 17356, + "\\\":": 17357, + "▁conflic": 17358, + "download": 17359, + "atos": 17360, + "▁Position": 17361, + ".*;": 17362, + "▁theater": 17363, + "▁pleasant": 17364, + "▁Cette": 17365, + "▁Singapore": 17366, + "heet": 17367, + "▁pir": 17368, + "▁acquis": 17369, + "▁назва": 17370, + "теля": 17371, + "▁recru": 17372, + "жения": 17373, + "ёл": 17374, + "версите": 17375, + "▁respective": 17376, + "▁tunnel": 17377, + "▁Dean": 17378, + "Du": 17379, + "▁uncle": 17380, + "▁offensive": 17381, + "colo": 17382, + "▁Unlike": 17383, + "series": 17384, + "▁Arn": 17385, + "minute": 17386, + "▁descriptor": 17387, + "▁stones": 17388, + "ICATION": 17389, + "▁Pad": 17390, + "▁iPhone": 17391, + "ei": 17392, + "▁fantasy": 17393, + "▁Korean": 17394, + "\"}": 17395, + "▁orth": 17396, + "halten": 17397, + "deep": 17398, + "▁Kay": 17399, + "requency": 17400, + "▁duties": 17401, + "awt": 17402, + "▁nearest": 17403, + "▁disorder": 17404, + "стру": 17405, + "▁Chile": 17406, + "▁seq": 17407, + "▁transportation": 17408, + "OO": 17409, + "▁Dez": 17410, + "iju": 17411, + "▁Results": 17412, + "jed": 17413, + "ivel": 17414, + "HOST": 17415, + "▁€": 17416, + "▁Î": 17417, + "▁chin": 17418, + "▁matt": 17419, + "▁voted": 17420, + "▁gehör": 17421, + "▁▁▁▁▁▁▁▁▁▁▁": 17422, + "▁sue": 17423, + "▁legacy": 17424, + "вся": 17425, + "SOURCE": 17426, + "WORK": 17427, + "itis": 17428, + "▁$|": 17429, + "▁обо": 17430, + "▁nr": 17431, + "▁Tamb": 17432, + "▁snap": 17433, + "▁impressed": 17434, + "▁deposit": 17435, + "▁divid": 17436, + "Segment": 17437, + "▁кар": 17438, + "▁Gas": 17439, + "▁crimes": 17440, + "▁insult": 17441, + "▁Hum": 17442, + "▁bounded": 17443, + "▁kicked": 17444, + "▁Му": 17445, + "▁|\\": 17446, + "added": 17447, + "Produ": 17448, + "▁./": 17449, + "▁awkward": 17450, + "▁Кра": 17451, + "▁ї": 17452, + "▁CONTR": 17453, + "▁beim": 17454, + "▁placeholder": 17455, + "spi": 17456, + "▁Bei": 17457, + "▁Pf": 17458, + "ientes": 17459, + "disk": 17460, + "blk": 17461, + "neo": 17462, + "itarian": 17463, + "▁cogn": 17464, + "▁sout": 17465, + "▁trash": 17466, + "▁Rab": 17467, + "▁decline": 17468, + "tat": 17469, + "▁combine": 17470, + "▁Tot": 17471, + "▁drops": 17472, + "Times": 17473, + "cheduler": 17474, + "▁governments": 17475, + "Tex": 17476, + "▁Used": 17477, + "зан": 17478, + "▁pd": 17479, + "мет": 17480, + "▁&=&": 17481, + "▁Nag": 17482, + "▁дол": 17483, + "▁Always": 17484, + "rtc": 17485, + "ске": 17486, + "▁performances": 17487, + "rupted": 17488, + "▁два": 17489, + "▁managers": 17490, + "▁Pitt": 17491, + "▁mystery": 17492, + "▁settle": 17493, + "ulse": 17494, + "cross": 17495, + "question": 17496, + "asha": 17497, + "seed": 17498, + "urable": 17499, + "Final": 17500, + "++++": 17501, + "inputs": 17502, + "▁backup": 17503, + "▁Learning": 17504, + "▁*,": 17505, + "logo": 17506, + "▁seinen": 17507, + "▁vulnerable": 17508, + "directory": 17509, + "ië": 17510, + "▁friendship": 17511, + "tu": 17512, + "▁Vec": 17513, + "rifice": 17514, + "▁бра": 17515, + "▁involve": 17516, + "TON": 17517, + "▁corrid": 17518, + "separ": 17519, + "Destroy": 17520, + "▁jul": 17521, + "▁inequality": 17522, + "▁ain": 17523, + "hex": 17524, + "▁wider": 17525, + "тели": 17526, + "▁jack": 17527, + "▁quot": 17528, + "▁Glen": 17529, + "initely": 17530, + "ihood": 17531, + "▁waist": 17532, + "▁Manchester": 17533, + "regular": 17534, + "▁(&": 17535, + "▁masses": 17536, + "▁DEFAULT": 17537, + "▁chairs": 17538, + "▁Fast": 17539, + "▁citt": 17540, + "_{{\\": 17541, + "oa": 17542, + "▁$\\{": 17543, + "▁seeds": 17544, + "▁Ald": 17545, + "▁Batt": 17546, + "fab": 17547, + "▁democracy": 17548, + "DTO": 17549, + "▁Hij": 17550, + "PTR": 17551, + "Na": 17552, + "▁Harvard": 17553, + "sid": 17554, + "Pred": 17555, + "fers": 17556, + "▁spare": 17557, + "AMP": 17558, + "▁groupe": 17559, + "▁sender": 17560, + "▁Christopher": 17561, + "▁prisoners": 17562, + "▁Ker": 17563, + "▁Crist": 17564, + "▁ALL": 17565, + "rice": 17566, + "▁antes": 17567, + "natural": 17568, + "▁Susan": 17569, + "▁Juli": 17570, + "▁diab": 17571, + "ixon": 17572, + "icator": 17573, + "▁flexible": 17574, + "▁reserve": 17575, + "Contains": 17576, + "▁Hil": 17577, + "▁Isa": 17578, + "▁towns": 17579, + "GS": 17580, + "▁Trad": 17581, + "▁Lock": 17582, + "▁Grund": 17583, + "▁criticism": 17584, + "ню": 17585, + "▁că": 17586, + "▁politician": 17587, + "stable": 17588, + "Accept": 17589, + "Summary": 17590, + "▁também": 17591, + "}^{-": 17592, + "▁IM": 17593, + "idal": 17594, + "мор": 17595, + "Blue": 17596, + "GROUP": 17597, + "▁terminal": 17598, + "▁complexity": 17599, + "▁locally": 17600, + "DOWN": 17601, + "▁Near": 17602, + "Depth": 17603, + "▁pole": 17604, + "▁equality": 17605, + "Site": 17606, + "▁isinstance": 17607, + "Speed": 17608, + "ippi": 17609, + ",&": 17610, + "▁Enc": 17611, + "щен": 17612, + "▁mater": 17613, + "▁slaves": 17614, + "ACTION": 17615, + "usalem": 17616, + "▁haz": 17617, + "▁Beat": 17618, + "▁wrest": 17619, + "▁llam": 17620, + "Ins": 17621, + "мина": 17622, + "▁був": 17623, + "▁Frame": 17624, + "ushes": 17625, + "▁virtually": 17626, + "▁Perm": 17627, + "▁weights": 17628, + "▁llvm": 17629, + "▁cave": 17630, + "states": 17631, + "DMA": 17632, + "ellt": 17633, + "ifact": 17634, + "vendor": 17635, + "▁Emma": 17636, + "Locale": 17637, + "▁SET": 17638, + "▁geometry": 17639, + "Styles": 17640, + "▁Referee": 17641, + "▁weit": 17642, + "fica": 17643, + "▁ads": 17644, + "gray": 17645, + "▁Burg": 17646, + "iona": 17647, + "dagger": 17648, + "▁Januar": 17649, + "дей": 17650, + "isterschaft": 17651, + "ppo": 17652, + "oids": 17653, + "▁départ": 17654, + "Shader": 17655, + "▁constraint": 17656, + "Secret": 17657, + "▁Peters": 17658, + "▁eyeb": 17659, + "▁mesh": 17660, + "▁cookie": 17661, + "▁Pick": 17662, + "▁nick": 17663, + "bye": 17664, + "▁savings": 17665, + "Try": 17666, + "python": 17667, + "▁patri": 17668, + "▁multip": 17669, + "▁kinda": 17670, + "▁'_": 17671, + "▁Franz": 17672, + "▁cloth": 17673, + "зульта": 17674, + "▁fleet": 17675, + "▁humanity": 17676, + "resa": 17677, + "blob": 17678, + "▁TX": 17679, + "▁Buch": 17680, + "▁Lond": 17681, + "▁valley": 17682, + "▁murm": 17683, + "▁Trade": 17684, + "linewidth": 17685, + "▁especial": 17686, + "upper": 17687, + "▁hosp": 17688, + "▁tanto": 17689, + "▁oldest": 17690, + "▁Roose": 17691, + "▁hitting": 17692, + "dog": 17693, + "ovi": 17694, + "},\r": 17695, + "▁compatible": 17696, + "▁Website": 17697, + "poch": 17698, + "▁Bag": 17699, + "▁accomplish": 17700, + "Christ": 17701, + "asset": 17702, + "▁Until": 17703, + "▁geld": 17704, + "Listen": 17705, + "SB": 17706, + "Setup": 17707, + "icia": 17708, + "▁lum": 17709, + "▁janvier": 17710, + "PAGE": 17711, + "▁Nu": 17712, + "/\"": 17713, + "▁divorce": 17714, + "Execute": 17715, + "Depend": 17716, + "▁Scottish": 17717, + "▁Ts": 17718, + "ruppe": 17719, + "▁refuse": 17720, + "▁Oktober": 17721, + "ijk": 17722, + "▁Amy": 17723, + "▁dimin": 17724, + "▁gross": 17725, + "▁trat": 17726, + "isible": 17727, + "mixer": 17728, + "▁autres": 17729, + "▁neat": 17730, + "▁otros": 17731, + "Void": 17732, + "▁schol": 17733, + "▁Walker": 17734, + "▁tube": 17735, + "ologists": 17736, + "▁груп": 17737, + "▁haben": 17738, + "uber": 17739, + "ACTIVE": 17740, + "▁Attendance": 17741, + "▁оп": 17742, + "▁blade": 17743, + "oplus": 17744, + "▁Original": 17745, + "▁manufacturer": 17746, + "asz": 17747, + "âte": 17748, + "rer": 17749, + "▁Json": 17750, + "▁succeeded": 17751, + "uffle": 17752, + "▁backed": 17753, + "esian": 17754, + "tick": 17755, + "External": 17756, + "▁XIX": 17757, + "▁hearts": 17758, + "▁После": 17759, + "olu": 17760, + "▁лет": 17761, + "VICE": 17762, + "ário": 17763, + "▁fraud": 17764, + "edu": 17765, + "Primary": 17766, + "▁gaming": 17767, + "▁plt": 17768, + "igator": 17769, + "IES": 17770, + "Compiler": 17771, + "▁monument": 17772, + "agem": 17773, + "▁Rain": 17774, + "▁moins": 17775, + "oku": 17776, + "osex": 17777, + "▁Kansas": 17778, + "▁gepublice": 17779, + "▁Joy": 17780, + "Scene": 17781, + "▁kingdom": 17782, + "rices": 17783, + "▁juin": 17784, + "▁uncomfortable": 17785, + "▁Money": 17786, + "obb": 17787, + "expl": 17788, + "strcmp": 17789, + "▁dread": 17790, + "rition": 17791, + "▁Chi": 17792, + "▁demonstrated": 17793, + "▁vertices": 17794, + "чо": 17795, + "▁Culture": 17796, + "FX": 17797, + "Dictionary": 17798, + "▁Dru": 17799, + "trm": 17800, + "▁examine": 17801, + "▁therap": 17802, + "ième": 17803, + "мини": 17804, + "▁produces": 17805, + "▁photographs": 17806, + "▁threads": 17807, + "▁MI": 17808, + "▁extraordinary": 17809, + "ским": 17810, + "▁gepubliceerd": 17811, + "▁Poland": 17812, + "▁guaranteed": 17813, + "RG": 17814, + "osc": 17815, + "али": 17816, + "▁тех": 17817, + "errno": 17818, + "science": 17819, + "iffs": 17820, + "▁Tam": 17821, + "▁Beth": 17822, + "▁Travel": 17823, + "▁translate": 17824, + "ché": 17825, + "▁ling": 17826, + "▁belongs": 17827, + "▁electrical": 17828, + "ensk": 17829, + "▁Compet": 17830, + "cg": 17831, + "VC": 17832, + "topic": 17833, + "▁presum": 17834, + "вета": 17835, + "▁approximation": 17836, + "▁grim": 17837, + "▁Из": 17838, + "_{(": 17839, + "вин": 17840, + "ution": 17841, + "owych": 17842, + "åg": 17843, + "sterreich": 17844, + "▁characteristic": 17845, + "oming": 17846, + "▁/*!": 17847, + "▁prize": 17848, + "▁Minnesota": 17849, + "ted": 17850, + "цы": 17851, + "▁Om": 17852, + "▁indices": 17853, + "▁stem": 17854, + "regon": 17855, + "ниче": 17856, + "▁Salv": 17857, + "ése": 17858, + "▁aged": 17859, + "▁Past": 17860, + "▁internation": 17861, + "▁Vic": 17862, + "▁resume": 17863, + "akespeare": 17864, + "▁estado": 17865, + "▁abilities": 17866, + "▁brow": 17867, + "▁NFL": 17868, + "▁trends": 17869, + "▁Austin": 17870, + "▁LIMIT": 17871, + "▁Kor": 17872, + "▁folk": 17873, + "▁ward": 17874, + "▁nest": 17875, + "▁Junior": 17876, + "▁maintaining": 17877, + "Pub": 17878, + "OBJECT": 17879, + "▁bloody": 17880, + "▁sj": 17881, + "▁dtype": 17882, + "Pane": 17883, + "▁bacter": 17884, + "▁gradually": 17885, + "mr": 17886, + "Team": 17887, + "▁indicating": 17888, + "▁decrease": 17889, + "tek": 17890, + "▁Represent": 17891, + "▁developers": 17892, + "Guid": 17893, + "▁Diet": 17894, + "▁retr": 17895, + "Navigation": 17896, + "esi": 17897, + "▁lazy": 17898, + "Standard": 17899, + "Er": 17900, + "AW": 17901, + "▁États": 17902, + "▁assured": 17903, + "San": 17904, + "▁Andre": 17905, + "’,": 17906, + "fang": 17907, + "ération": 17908, + "▁industries": 17909, + "▁incon": 17910, + "Emit": 17911, + "▁где": 17912, + "▁retriev": 17913, + "eni": 17914, + "▁Turkey": 17915, + "izers": 17916, + "Angle": 17917, + "▁oc": 17918, + "▁palm": 17919, + "▁stan": 17920, + "льно": 17921, + "▁CSS": 17922, + "▁frances": 17923, + "▁grin": 17924, + "▁tiempo": 17925, + "▁Prix": 17926, + "]).": 17927, + "▁deput": 17928, + "▁Pin": 17929, + "▁sixt": 17930, + "▁predicted": 17931, + "azure": 17932, + "▁Motor": 17933, + "▁ihm": 17934, + "▁manus": 17935, + "apos": 17936, + "▁instruments": 17937, + "▁counts": 17938, + "▁aimed": 17939, + "profit": 17940, + "▁dok": 17941, + "обра": 17942, + "▁estud": 17943, + "iesz": 17944, + "▁piss": 17945, + "▁inaug": 17946, + "▁voters": 17947, + "▁packages": 17948, + "▁cute": 17949, + "▁fitness": 17950, + "▁leurs": 17951, + "▁sorted": 17952, + "phant": 17953, + "OPT": 17954, + "▁zip": 17955, + "season": 17956, + "emi": 17957, + "encoding": 17958, + "won": 17959, + "elect": 17960, + "▁tooth": 17961, + "▁upcoming": 17962, + "▁Graham": 17963, + "nut": 17964, + "▁Ark": 17965, + "ält": 17966, + "▁precious": 17967, + "agle": 17968, + "née": 17969, + "ница": 17970, + "aris": 17971, + "▁pile": 17972, + "cole": 17973, + "▁WITH": 17974, + "routing": 17975, + "▁***": 17976, + "Appearance": 17977, + "llvm": 17978, + "▁Oliver": 17979, + "▁PL": 17980, + "ifndef": 17981, + "etzt": 17982, + "skiego": 17983, + "▁pon": 17984, + "ARGET": 17985, + "kö": 17986, + "alled": 17987, + "▁=\\": 17988, + "sure": 17989, + "matches": 17990, + "▁temperatures": 17991, + "SEL": 17992, + "▁clone": 17993, + "▁eller": 17994, + "erna": 17995, + "▁поло": 17996, + "Management": 17997, + "company": 17998, + "▁lun": 17999, + "▁streaming": 18000, + "▁Ni": 18001, + "▁sí": 18002, + "Contact": 18003, + "▁Credit": 18004, + "▁Oak": 18005, + "▁представ": 18006, + "radius": 18007, + "cli": 18008, + "IENT": 18009, + "▁Lucy": 18010, + "▁calculation": 18011, + "▁pixel": 18012, + "▁mul": 18013, + "▁outcomes": 18014, + "▁centers": 18015, + "▁residence": 18016, + "Constraint": 18017, + "▁preserve": 18018, + "peon": 18019, + "uffix": 18020, + "▁Roberts": 18021, + "▁promot": 18022, + "?!": 18023, + "balance": 18024, + "▁courts": 18025, + "▁disg": 18026, + "PRINT": 18027, + "▁их": 18028, + "elfare": 18029, + "▁retreat": 18030, + "▁Ав": 18031, + "Cost": 18032, + "also": 18033, + "▁Für": 18034, + "▁März": 18035, + "DIO": 18036, + "▁bez": 18037, + "AUTH": 18038, + "Den": 18039, + "▁atom": 18040, + "▁roman": 18041, + "▁Pel": 18042, + "▁Roosevelt": 18043, + "▁Plant": 18044, + "Contents": 18045, + "▁Between": 18046, + "▁coupling": 18047, + "structure": 18048, + "▁Marshall": 18049, + "▁Career": 18050, + "▁railway": 18051, + "▁Bureau": 18052, + "▁possibilities": 18053, + "▁kor": 18054, + "){\r": 18055, + "mero": 18056, + "mov": 18057, + "англ": 18058, + "AIN": 18059, + "mund": 18060, + "lette": 18061, + "▁summar": 18062, + "▁describing": 18063, + "▁NAS": 18064, + "▁Emb": 18065, + "Instruction": 18066, + "liest": 18067, + "▁Sig": 18068, + "Bill": 18069, + "▁verd": 18070, + "plant": 18071, + "▁galaxies": 18072, + "\"])": 18073, + "▁PyObject": 18074, + "▁Gy": 18075, + "▁mě": 18076, + "▁organisation": 18077, + "Her": 18078, + "Sep": 18079, + "ocom": 18080, + "▁Same": 18081, + "▁bite": 18082, + "▁Seattle": 18083, + "зыва": 18084, + "Observer": 18085, + "’.": 18086, + "▁morph": 18087, + "urches": 18088, + "alph": 18089, + "reement": 18090, + "consin": 18091, + "^-": 18092, + "▁dann": 18093, + "translate": 18094, + "вих": 18095, + "React": 18096, + "▁cats": 18097, + "▁brew": 18098, + "▁ds": 18099, + "▁circles": 18100, + "▁drift": 18101, + "agma": 18102, + "▁Valent": 18103, + "PIN": 18104, + "ARM": 18105, + "▁surviv": 18106, + "alin": 18107, + "Pref": 18108, + "friendly": 18109, + "▁uncertainty": 18110, + "▁fd": 18111, + "▁engineer": 18112, + "Ben": 18113, + "icular": 18114, + "orest": 18115, + "▁horizontal": 18116, + "UTC": 18117, + "textrm": 18118, + "Live": 18119, + "Score": 18120, + "▁Germans": 18121, + "distance": 18122, + "uti": 18123, + "▁équ": 18124, + "▁numerical": 18125, + "▁reass": 18126, + "Activ": 18127, + "▁cod": 18128, + "bullet": 18129, + "ensing": 18130, + "▁Gem": 18131, + "▁navigation": 18132, + "addClass": 18133, + "▁simultaneously": 18134, + "вий": 18135, + "▁його": 18136, + "▁Hö": 18137, + "▁harsh": 18138, + "precated": 18139, + "ССР": 18140, + "▁Equip": 18141, + "adget": 18142, + "▁TYPE": 18143, + "▁mg": 18144, + "IGH": 18145, + "▁vin": 18146, + "▁findings": 18147, + "ivan": 18148, + "▁possession": 18149, + "▁того": 18150, + "▁parsed": 18151, + "riors": 18152, + "zeichnet": 18153, + "ников": 18154, + "Worker": 18155, + "▁enables": 18156, + "▁($\\": 18157, + "▁Copy": 18158, + "▁orientation": 18159, + "стре": 18160, + "▁Indians": 18161, + "▁Gary": 18162, + "▁Insurance": 18163, + "isan": 18164, + "Chat": 18165, + "▁comun": 18166, + "▁coron": 18167, + "ография": 18168, + "updated": 18169, + "▁Ин": 18170, + "These": 18171, + "SEC": 18172, + "▁boyfriend": 18173, + "Diagnostics": 18174, + "Hint": 18175, + "mul": 18176, + "▁inode": 18177, + "xA": 18178, + "eft": 18179, + "OPTION": 18180, + "unct": 18181, + "annon": 18182, + "ENS": 18183, + "strip": 18184, + "▁enthusi": 18185, + "▁Whit": 18186, + "▁Фи": 18187, + "aude": 18188, + "▁disagree": 18189, + "▁snapped": 18190, + "Phys": 18191, + "▁Syn": 18192, + "▁sour": 18193, + "▁Lux": 18194, + "ugar": 18195, + "tile": 18196, + "▁infection": 18197, + "▁Feb": 18198, + "▁Chem": 18199, + "dataset": 18200, + "chts": 18201, + "Dynamic": 18202, + "▁сред": 18203, + "▁queen": 18204, + "worker": 18205, + "swap": 18206, + "▁timestamp": 18207, + "▁Integr": 18208, + "▁interviews": 18209, + "such": 18210, + "▁laughter": 18211, + "prof": 18212, + "▁Bird": 18213, + "(|": 18214, + "ân": 18215, + "▁gra": 18216, + "&=": 18217, + "zens": 18218, + "getMessage": 18219, + "▁Ost": 18220, + "▁gab": 18221, + "▁mortgage": 18222, + "multicol": 18223, + "LEVEL": 18224, + "partition": 18225, + "seen": 18226, + "▁declar": 18227, + "AU": 18228, + "▁ox": 18229, + "▁ligger": 18230, + "▁Carm": 18231, + "geme": 18232, + "▁Vegas": 18233, + "▁Eug": 18234, + "orus": 18235, + "▁brick": 18236, + "▁así": 18237, + "▁Magazine": 18238, + "HasColumnType": 18239, + "VR": 18240, + "licher": 18241, + "▁Future": 18242, + "▁Jug": 18243, + "attan": 18244, + "constructor": 18245, + "VP": 18246, + "▁тур": 18247, + "чина": 18248, + "Comparator": 18249, + "▁authentic": 18250, + "▁monster": 18251, + "▁transformed": 18252, + "▁firms": 18253, + "FW": 18254, + "▁catalog": 18255, + "boards": 18256, + "▁diseases": 18257, + "▁Benjamin": 18258, + "▁horizon": 18259, + "▁Available": 18260, + "Mvc": 18261, + "Stud": 18262, + "▁lord": 18263, + "general": 18264, + "пар": 18265, + "▁cabinet": 18266, + "▁Basic": 18267, + "TestCase": 18268, + "ansk": 18269, + "▁Snow": 18270, + "ierten": 18271, + "▁vocal": 18272, + "Padding": 18273, + "halt": 18274, + "▁Alexand": 18275, + "▁Colomb": 18276, + "ivamente": 18277, + "▁artificial": 18278, + "▁Atlanta": 18279, + "▁mentre": 18280, + "▁estaba": 18281, + "jekt": 18282, + "▁slept": 18283, + "▁endless": 18284, + "éro": 18285, + "attery": 18286, + "uur": 18287, + "▁weakness": 18288, + "▁attempting": 18289, + "BYTE": 18290, + "▁founder": 18291, + "▁salv": 18292, + "▁Medicine": 18293, + "tid": 18294, + "▁Schwe": 18295, + "raction": 18296, + "▁¿": 18297, + "crate": 18298, + "SERVER": 18299, + "▁compound": 18300, + "▁conve": 18301, + "▁caf": 18302, + "▁handful": 18303, + "onne": 18304, + "ública": 18305, + "▁defensive": 18306, + "Alignment": 18307, + "▁préc": 18308, + "▁significance": 18309, + "élé": 18310, + "arta": 18311, + "Dam": 18312, + "▁perpet": 18313, + "▁caller": 18314, + "icients": 18315, + "cep": 18316, + "▁Multi": 18317, + "▁stolen": 18318, + "▁focusing": 18319, + "embed": 18320, + "▁bree": 18321, + "▁AB": 18322, + "▁occasions": 18323, + "sea": 18324, + "Prov": 18325, + "чение": 18326, + "▁Category": 18327, + "▁sq": 18328, + "▁Фе": 18329, + "VA": 18330, + "Diff": 18331, + "Tri": 18332, + "issement": 18333, + "▁actress": 18334, + "▁Пе": 18335, + "▁jej": 18336, + "▁twisted": 18337, + "▁Nicol": 18338, + "▁junior": 18339, + "Sound": 18340, + "▁Brasil": 18341, + "▁juice": 18342, + "▁>>>": 18343, + "▁Alb": 18344, + "▁softly": 18345, + "▁McK": 18346, + "▁Gren": 18347, + "▁italiano": 18348, + "▁creatures": 18349, + "▁residential": 18350, + "▁Instagram": 18351, + "ucks": 18352, + "▁killer": 18353, + "▁Johnny": 18354, + "▁enterprise": 18355, + "Dto": 18356, + "chestra": 18357, + "▁Tel": 18358, + "▁Activ": 18359, + "factor": 18360, + "oust": 18361, + "▁vacuum": 18362, + "рал": 18363, + "')->": 18364, + "▁Left": 18365, + "▁defect": 18366, + "▁ninete": 18367, + "fare": 18368, + "▁regret": 18369, + "▁shar": 18370, + "ctrine": 18371, + "mesh": 18372, + "city": 18373, + "icit": 18374, + "▁Fem": 18375, + "limited": 18376, + "oka": 18377, + "!\\!\\": 18378, + "Donald": 18379, + "зно": 18380, + "▁provision": 18381, + "▁discussions": 18382, + "Drag": 18383, + "▁Incl": 18384, + "Exit": 18385, + "▁Abd": 18386, + "story": 18387, + "ieve": 18388, + "▁był": 18389, + "olving": 18390, + "wohner": 18391, + "▁guidelines": 18392, + "▁straw": 18393, + "üss": 18394, + "▁було": 18395, + "▁burden": 18396, + "▁spatial": 18397, + "▁stretched": 18398, + "▁Inf": 18399, + "▁typedef": 18400, + "▁robot": 18401, + "▁Doc": 18402, + "pliers": 18403, + "wal": 18404, + "camp": 18405, + "▁diffé": 18406, + "▁McG": 18407, + "▁tel": 18408, + "arette": 18409, + "▁subsequently": 18410, + "▁honey": 18411, + "FUNC": 18412, + "▁establishment": 18413, + "tesy": 18414, + "▁który": 18415, + "▁сель": 18416, + "▁FO": 18417, + "▁Islands": 18418, + "▁mp": 18419, + "Scalar": 18420, + "▁Yan": 18421, + "cken": 18422, + "▁variation": 18423, + "ią": 18424, + "optim": 18425, + "azor": 18426, + "tuple": 18427, + "▁gravity": 18428, + "▁conclude": 18429, + "▁collections": 18430, + "ész": 18431, + "▁Liver": 18432, + "▁ethnic": 18433, + "compile": 18434, + "▁parl": 18435, + "Surface": 18436, + "{'": 18437, + "▁paragraph": 18438, + "posite": 18439, + "ítulo": 18440, + "oba": 18441, + "binary": 18442, + "rob": 18443, + "▁Pedro": 18444, + "▁fis": 18445, + "▁Grande": 18446, + "odox": 18447, + "▁posting": 18448, + "": 26345, + "olent": 26346, + "▁этого": 26347, + "▁Generic": 26348, + "▁*/,": 26349, + "▁combinations": 26350, + "▁rejo": 26351, + "спубли": 26352, + "capacity": 26353, + "▁traces": 26354, + "▁opacity": 26355, + "▁Official": 26356, + "icion": 26357, + "▁emotionally": 26358, + "▁Joel": 26359, + "ському": 26360, + "▁legendary": 26361, + "▁pam": 26362, + "▁También": 26363, + ".<": 26364, + "iba": 26365, + "midt": 26366, + "бом": 26367, + "▁ensuite": 26368, + "Authorization": 26369, + "Pag": 26370, + "▁helmet": 26371, + "▁territo": 26372, + "secondary": 26373, + "▁segunda": 26374, + "▁Wire": 26375, + "recated": 26376, + "▁invoked": 26377, + "▁ValueError": 26378, + "▁фо": 26379, + "ALIGN": 26380, + "CURRENT": 26381, + "\\+\\_\\": 26382, + "▁compilation": 26383, + "ær": 26384, + "▁Palmar": 26385, + "▁influences": 26386, + "/:": 26387, + "Mix": 26388, + "NOP": 26389, + "econom": 26390, + "▁tucked": 26391, + "▁});\r": 26392, + "ANK": 26393, + "reject": 26394, + "▁pension": 26395, + "▁generates": 26396, + "чё": 26397, + "▁incap": 26398, + "▁clicked": 26399, + "▁fus": 26400, + "ourses": 26401, + "▁Easter": 26402, + "%;": 26403, + "zin": 26404, + "▁obligations": 26405, + "▁Tips": 26406, + "};\r": 26407, + ".\"_": 26408, + "▁BSD": 26409, + "ática": 26410, + "▁expose": 26411, + "Pars": 26412, + "▁Amanda": 26413, + "куп": 26414, + "▁guessed": 26415, + "dsi": 26416, + "▁Leip": 26417, + "Broad": 26418, + "▁Hughes": 26419, + "ié": 26420, + "▁Wahl": 26421, + "▁formerly": 26422, + "Relative": 26423, + "▁Yu": 26424, + "▁Mountains": 26425, + "▁Enum": 26426, + "▁strang": 26427, + "_-": 26428, + "recht": 26429, + "viv": 26430, + "pause": 26431, + "▁Londres": 26432, + "▁elbow": 26433, + "▁Hawaii": 26434, + "▁Casino": 26435, + "Threshold": 26436, + "Units": 26437, + "Include": 26438, + "ито": 26439, + "asury": 26440, + "▁steht": 26441, + "▁damned": 26442, + "▁packets": 26443, + "▁Werk": 26444, + "▁elevator": 26445, + "iedad": 26446, + "govern": 26447, + "▁CONTRACT": 26448, + "mals": 26449, + "▁remem": 26450, + "▁entonces": 26451, + "▁vas": 26452, + "▁sympathy": 26453, + "▁befindet": 26454, + "incing": 26455, + "DataSet": 26456, + "▁additionally": 26457, + "▁musician": 26458, + "шего": 26459, + "▁listop": 26460, + ">\")": 26461, + "Printf": 26462, + "▁Felix": 26463, + "▁carved": 26464, + "▁nicely": 26465, + "гом": 26466, + "chap": 26467, + "▁Nieder": 26468, + "▁Lav": 26469, + "▁modifications": 26470, + "moment": 26471, + "▁balcon": 26472, + "▁dependency": 26473, + "CKET": 26474, + "▁vanished": 26475, + "▁fighters": 26476, + "▁zunächst": 26477, + "ioctl": 26478, + "▁defens": 26479, + "▁Nem": 26480, + "Utility": 26481, + "▁curv": 26482, + "▁DAMAGES": 26483, + "▁Rogers": 26484, + "▁gratitude": 26485, + "▁Denmark": 26486, + "рая": 26487, + "grpc": 26488, + "▁juni": 26489, + "▁октября": 26490, + "▁immense": 26491, + "▁prevented": 26492, + "▁foam": 26493, + "▁Extra": 26494, + "aimed": 26495, + "▁Criteria": 26496, + "▁Simply": 26497, + "boxes": 26498, + "▁Legend": 26499, + "▁Players": 26500, + "▁Mercedes": 26501, + "▁Branch": 26502, + "TERN": 26503, + "omena": 26504, + "▁incorporate": 26505, + "conde": 26506, + "▁Estado": 26507, + "▁wasted": 26508, + "▁complaining": 26509, + "▁warriors": 26510, + "oter": 26511, + "▁этом": 26512, + "▁conten": 26513, + "▁machinery": 26514, + "▁technological": 26515, + "▁TD": 26516, + "▁gras": 26517, + "▁minimize": 26518, + "▁Door": 26519, + "▁bzw": 26520, + "▁prac": 26521, + "TREE": 26522, + "▁Wing": 26523, + "▁Transaction": 26524, + "▁MVT": 26525, + "▁Klein": 26526, + "commons": 26527, + "▁}{": 26528, + "▁Heritage": 26529, + "▁fade": 26530, + "рок": 26531, + "setValue": 26532, + "▁Wallace": 26533, + "MX": 26534, + "▁ACT": 26535, + "▁footage": 26536, + "▁entstand": 26537, + "arga": 26538, + "▁nails": 26539, + "▁capitalism": 26540, + "▁Garc": 26541, + "▁suspension": 26542, + "ilis": 26543, + "▁Mov": 26544, + "uffled": 26545, + "Arc": 26546, + "▁Beautiful": 26547, + "WAY": 26548, + "Parallel": 26549, + "XXXX": 26550, + "diag": 26551, + "▁DT": 26552, + "mq": 26553, + "TextView": 26554, + "MLE": 26555, + "ennen": 26556, + "▁infected": 26557, + "▁therapist": 26558, + "INGS": 26559, + "▁cidade": 26560, + "ън": 26561, + "▁pdf": 26562, + "▁bump": 26563, + "CTX": 26564, + "▁INCLUDING": 26565, + "▁Gef": 26566, + "ENTIAL": 26567, + "▁handy": 26568, + "▁temporal": 26569, + "AtA": 26570, + "ISH": 26571, + "▁Pattern": 26572, + "▁lan": 26573, + "ependant": 26574, + "▁shining": 26575, + "idy": 26576, + "▁NT": 26577, + "▁Fran": 26578, + "▁nurses": 26579, + "▁betray": 26580, + "▁sensible": 26581, + "▁апреля": 26582, + "▁'[": 26583, + "▁thirteen": 26584, + ")}_{": 26585, + "▁Noah": 26586, + "INSERT": 26587, + "istically": 26588, + "▁Appendix": 26589, + "▁recher": 26590, + "Receiver": 26591, + "▁dernier": 26592, + "лла": 26593, + "лиза": 26594, + "▁Partido": 26595, + "▁maximal": 26596, + "snap": 26597, + "▁часть": 26598, + "STOP": 26599, + "▁ultra": 26600, + "▁développ": 26601, + "▁tegen": 26602, + "▁Чи": 26603, + "LIB": 26604, + "▁baseline": 26605, + "reload": 26606, + "▁Arbitro": 26607, + "▁kall": 26608, + "capture": 26609, + "Arm": 26610, + "quin": 26611, + "impse": 26612, + "zas": 26613, + "▁Cand": 26614, + "▁brains": 26615, + "▁hostile": 26616, + "▁marble": 26617, + "oons": 26618, + "▁Loss": 26619, + "MetaData": 26620, + "▁República": 26621, + "▁andra": 26622, + "oden": 26623, + "▁documented": 26624, + "▁Moses": 26625, + "odd": 26626, + "▁wax": 26627, + "usch": 26628, + "▁diagnosed": 26629, + "inkle": 26630, + "▁Xbox": 26631, + "▁seventy": 26632, + "cias": 26633, + "▁noviembre": 26634, + "Compute": 26635, + "});\r": 26636, + "▁Philippe": 26637, + "▁För": 26638, + "Leave": 26639, + "▁sage": 26640, + "▁unpre": 26641, + "▁Fortunately": 26642, + "▁apost": 26643, + "entities": 26644, + "▁ellos": 26645, + "authorized": 26646, + "GBT": 26647, + "▁insist": 26648, + "▁inspire": 26649, + "Mass": 26650, + "▁rôle": 26651, + "fee": 26652, + "ipart": 26653, + "цер": 26654, + "unate": 26655, + "▁CNN": 26656, + ":}": 26657, + "▁unhappy": 26658, + "▁imported": 26659, + "HIGH": 26660, + "rings": 26661, + "▁Instance": 26662, + "Bay": 26663, + "agles": 26664, + "mee": 26665, + "bery": 26666, + "▁Stories": 26667, + "▁Chase": 26668, + "▁carriage": 26669, + "▁misunder": 26670, + "▁imagin": 26671, + "pw": 26672, + "▁Meter": 26673, + "▁crowds": 26674, + "▁Fame": 26675, + "skill": 26676, + "▁comed": 26677, + "▁ranch": 26678, + "▁lacking": 26679, + "▁submar": 26680, + "iante": 26681, + "▁lanz": 26682, + "▁служ": 26683, + "-----------": 26684, + "▁obten": 26685, + "▁downstairs": 26686, + "YN": 26687, + "rotation": 26688, + "▁Jesse": 26689, + "$(\"#": 26690, + "▁puls": 26691, + "irling": 26692, + "▁Schaus": 26693, + "▁deployed": 26694, + "▁{}\",": 26695, + "▁Marvel": 26696, + "ENUM": 26697, + "▁Mathemat": 26698, + "▁nn": 26699, + "compet": 26700, + "ków": 26701, + "bil": 26702, + "Which": 26703, + "isine": 26704, + "▁rude": 26705, + "▁niveau": 26706, + "▁área": 26707, + "▁près": 26708, + "atis": 26709, + "▁[...]": 26710, + "fur": 26711, + "omm": 26712, + "packed": 26713, + "мене": 26714, + "scriptstyle": 26715, + "▁Ath": 26716, + "▁desp": 26717, + "eltemperaturen": 26718, + "▁talents": 26719, + "ocy": 26720, + "▁raises": 26721, + "LIMIT": 26722, + "▁editorial": 26723, + "▁Animal": 26724, + "drive": 26725, + "▁работа": 26726, + "bss": 26727, + "▁Sev": 26728, + "epoch": 26729, + "▁RC": 26730, + "UNUSED": 26731, + "▁mandatory": 26732, + "(?:": 26733, + "▁Bin": 26734, + "▁synthetic": 26735, + "▁gown": 26736, + "▁Dob": 26737, + "kap": 26738, + "▁harmon": 26739, + "▁liberty": 26740, + "▁Rice": 26741, + "▁prayers": 26742, + "▁mise": 26743, + "▁confusing": 26744, + "▁leap": 26745, + "▁arrives": 26746, + "kamp": 26747, + "▁thats": 26748, + "ACC": 26749, + "▁Parameters": 26750, + "▁одно": 26751, + "▁Bio": 26752, + "density": 26753, + "▁glimpse": 26754, + "FORE": 26755, + "▁Listen": 26756, + "Prev": 26757, + "}\\,\\": 26758, + "куль": 26759, + "▁SEC": 26760, + "▁explored": 26761, + "▁meantime": 26762, + "AIL": 26763, + "▁WP": 26764, + "▁raison": 26765, + "▁existe": 26766, + "▁lesser": 26767, + "▁Validate": 26768, + "▁caution": 26769, + "usta": 26770, + "heading": 26771, + "EFF": 26772, + ".'\"": 26773, + "▁Gilbert": 26774, + "▁limitation": 26775, + "▁retour": 26776, + "▁Commonwealth": 26777, + "▁gewann": 26778, + "▁miserable": 26779, + "▁networking": 26780, + "▁ottobre": 26781, + "▁Dise": 26782, + "edges": 26783, + "▁sede": 26784, + "вича": 26785, + "uniform": 26786, + "▁деятель": 26787, + "iros": 26788, + "▁desen": 26789, + "▁parc": 26790, + "▁Rico": 26791, + "Ns": 26792, + "guid": 26793, + "orio": 26794, + "avelength": 26795, + "▁Gle": 26796, + "inceton": 26797, + "Amaz": 26798, + "Construct": 26799, + "▁mx": 26800, + "▁Vern": 26801, + "▁Generation": 26802, + "Jack": 26803, + "romag": 26804, + "▁viagra": 26805, + "▁Peg": 26806, + "▁Updated": 26807, + "▁overlap": 26808, + "EventArgs": 26809, + "кро": 26810, + "▁*«": 26811, + "▁questioned": 26812, + "South": 26813, + "notice": 26814, + "▁permanently": 26815, + "lst": 26816, + "ficie": 26817, + "▁quella": 26818, + "▁colleges": 26819, + "▁disappointment": 26820, + "▁Luft": 26821, + "imgur": 26822, + "▁transitions": 26823, + "▁seller": 26824, + "▁июня": 26825, + "▁Og": 26826, + "▁ADD": 26827, + "▁Pays": 26828, + "COMMAND": 26829, + "grades": 26830, + "▁febbra": 26831, + "▁Cyr": 26832, + "▁febbraio": 26833, + "eti": 26834, + "▁arom": 26835, + "▁Claude": 26836, + "▁UEFA": 26837, + "▁живе": 26838, + "▁Victorian": 26839, + "keeping": 26840, + "ên": 26841, + "▁FIXME": 26842, + "itime": 26843, + "chestr": 26844, + "▁Samsung": 26845, + "▁doctrine": 26846, + "▁pear": 26847, + "▁Mediterranean": 26848, + "▁Ya": 26849, + "▁vault": 26850, + "▁Historic": 26851, + "▁sedan": 26852, + "▁heated": 26853, + "▁política": 26854, + "Proof": 26855, + ":{": 26856, + "fem": 26857, + "▁Frankfurt": 26858, + "pectives": 26859, + "MG": 26860, + "▁Eye": 26861, + "dai": 26862, + "▁reserves": 26863, + "NER": 26864, + "▁tobacco": 26865, + "▁fragments": 26866, + "icc": 26867, + "▁booth": 26868, + "▁cruise": 26869, + "▁Testament": 26870, + "cola": 26871, + "▁Leop": 26872, + "▁noon": 26873, + "▁terrified": 26874, + "vb": 26875, + "intel": 26876, + "alie": 26877, + "▁verification": 26878, + "yster": 26879, + "ADER": 26880, + "chied": 26881, + "▁datasets": 26882, + "▁зі": 26883, + "▁miem": 26884, + "ulates": 26885, + "▁uuid": 26886, + "▁Pictures": 26887, + "▁Brend": 26888, + "Billboard": 26889, + "▁stern": 26890, + "▁denom": 26891, + "▁accidents": 26892, + "сня": 26893, + "▁packing": 26894, + "ција": 26895, + "iblical": 26896, + "▁Так": 26897, + "▁whisk": 26898, + "▁luego": 26899, + "▁rectangle": 26900, + "▁hooks": 26901, + "▁neglect": 26902, + "▁sober": 26903, + "proposition": 26904, + "Multiple": 26905, + ":\",": 26906, + "▁bapt": 26907, + "Parts": 26908, + "▁Selection": 26909, + "▁Alpha": 26910, + "weights": 26911, + "hall": 26912, + "соб": 26913, + "▁lur": 26914, + "▁época": 26915, + "▁rested": 26916, + "ambigu": 26917, + "▁tastes": 26918, + "amazonaws": 26919, + "▁confess": 26920, + "▁diciembre": 26921, + "implement": 26922, + "▁absorption": 26923, + "Hal": 26924, + "LEAN": 26925, + "▁Zach": 26926, + "▁freeze": 26927, + "LBL": 26928, + "STM": 26929, + "▁calc": 26930, + "={()": 26931, + "=*/": 26932, + "▁bt": 26933, + "Reb": 26934, + "▁Wien": 26935, + "anska": 26936, + "▁surn": 26937, + "iative": 26938, + "▁invån": 26939, + "CY": 26940, + "▁là": 26941, + "amba": 26942, + "leen": 26943, + "wahl": 26944, + "▁functioning": 26945, + "ția": 26946, + "getContext": 26947, + "gart": 26948, + "▁обе": 26949, + "Pen": 26950, + "vik": 26951, + "Slider": 26952, + "▁Accept": 26953, + "Gap": 26954, + "▁Jorge": 26955, + "SIG": 26956, + "▁вос": 26957, + "▁голо": 26958, + "▁periodo": 26959, + "шта": 26960, + "▁patches": 26961, + "кої": 26962, + "äre": 26963, + "engono": 26964, + "lista": 26965, + "horn": 26966, + "▁Complex": 26967, + "Sent": 26968, + "trfs": 26969, + "▁convex": 26970, + "Generation": 26971, + "▁місце": 26972, + "compress": 26973, + "▁Sax": 26974, + "▁uid": 26975, + "▁Lebens": 26976, + "Completion": 26977, + "\\|_{": 26978, + "insky": 26979, + "▁schon": 26980, + "▁masters": 26981, + "independ": 26982, + "neys": 26983, + "▁lied": 26984, + "▁aspir": 26985, + "чні": 26986, + "▁breakdown": 26987, + "▁Harm": 26988, + "▁designing": 26989, + "hf": 26990, + "▁Angela": 26991, + "▁confer": 26992, + "▁partido": 26993, + "▁interference": 26994, + "mao": 26995, + "▁absorbed": 26996, + "▁Vall": 26997, + "ErrorCode": 26998, + "▁Publishing": 26999, + "vano": 27000, + "BITS": 27001, + "▁deer": 27002, + "▁Campaign": 27003, + "▁graz": 27004, + "CHANGE": 27005, + "▁feder": 27006, + "iffe": 27007, + "handed": 27008, + "cq": 27009, + "umbing": 27010, + "▁unre": 27011, + "▁siendo": 27012, + "▁simpler": 27013, + "why": 27014, + "arettes": 27015, + "anst": 27016, + "▁hass": 27017, + "▁Enterprise": 27018, + "▁mois": 27019, + "▁Fo": 27020, + "▁участ": 27021, + "ffen": 27022, + "▁MODULE": 27023, + "▁activated": 27024, + "▁internacional": 27025, + "▁Mittel": 27026, + "degree": 27027, + "▁откры": 27028, + "▁&(": 27029, + "getProperty": 27030, + "isz": 27031, + "cedure": 27032, + "▁enters": 27033, + "▁Sally": 27034, + "▁Train": 27035, + "▁logged": 27036, + "▁Rav": 27037, + "▁Avoid": 27038, + "▁Kaiser": 27039, + "▁expend": 27040, + "aphor": 27041, + "▁brass": 27042, + "▁melod": 27043, + "▁attitudes": 27044, + "*\"": 27045, + "Wall": 27046, + "▁owe": 27047, + "▁bamb": 27048, + "shader": 27049, + "cester": 27050, + "▁PP": 27051, + "▁migrations": 27052, + "entric": 27053, + "▁Setup": 27054, + "▁Artist": 27055, + "hre": 27056, + "▁polite": 27057, + "ahan": 27058, + "▁luglio": 27059, + "▁predecess": 27060, + "▁SIG": 27061, + "тів": 27062, + "▁RF": 27063, + "▁Dry": 27064, + "▁maker": 27065, + "шим": 27066, + "▁Sounds": 27067, + "▁implementing": 27068, + "▁ah": 27069, + "▁gev": 27070, + "▁duplicate": 27071, + "▁Logan": 27072, + "▁Grade": 27073, + "DUCT": 27074, + "íses": 27075, + "ért": 27076, + "▁nonsense": 27077, + "backup": 27078, + "Attachment": 27079, + "▁ecc": 27080, + "▁Squadron": 27081, + "learn": 27082, + "deprecated": 27083, + "▁Aub": 27084, + "▁Gol": 27085, + "▁overl": 27086, + "SERVICE": 27087, + "▁beautifully": 27088, + "REL": 27089, + "▁Gian": 27090, + "▁Papa": 27091, + "respond": 27092, + "▁Caribbean": 27093, + "rn": 27094, + "▁худож": 27095, + "Cfg": 27096, + "rai": 27097, + "▁sniff": 27098, + "tto": 27099, + "ологи": 27100, + "▁rb": 27101, + "▁incidents": 27102, + "▁duck": 27103, + "▁PROVIDED": 27104, + "Sources": 27105, + "▁Chelsea": 27106, + "▁tek": 27107, + "▁налази": 27108, + "▁pilots": 27109, + "тки": 27110, + "▁traded": 27111, + "▁Beijing": 27112, + "▁Gregory": 27113, + "scalar": 27114, + "▁inclined": 27115, + "▁Kamp": 27116, + "▁Marian": 27117, + "▁fierce": 27118, + "▁theft": 27119, + "ющих": 27120, + "▁Into": 27121, + "constraint": 27122, + "parentNode": 27123, + "idental": 27124, + "▁gouvernement": 27125, + "▁SND": 27126, + "▁Ruby": 27127, + "▁monaster": 27128, + "Records": 27129, + "▁Kab": 27130, + "▁Universe": 27131, + "▁approximate": 27132, + "Water": 27133, + "▁Physical": 27134, + "appers": 27135, + "oubtedly": 27136, + "ложен": 27137, + "▁towel": 27138, + "▁siblings": 27139, + "eph": 27140, + "icios": 27141, + "рами": 27142, + "▁outrage": 27143, + "▁també": 27144, + "SRC": 27145, + "телем": 27146, + "Vi": 27147, + ".');": 27148, + "LM": 27149, + "▁mitt": 27150, + "▁weed": 27151, + "▁crops": 27152, + "iman": 27153, + "Claim": 27154, + "insula": 27155, + "▁(“": 27156, + "▁Changes": 27157, + "▁invånare": 27158, + "again": 27159, + "▁cnt": 27160, + "▁Gaz": 27161, + "▁austral": 27162, + "overlay": 27163, + "▁Mechan": 27164, + "▁slammed": 27165, + "▁trailing": 27166, + "▁Biography": 27167, + "▁appealing": 27168, + "IVER": 27169, + "▁Ave": 27170, + "▁Plot": 27171, + "voj": 27172, + "▁sung": 27173, + "▁unos": 27174, + "Effects": 27175, + "vv": 27176, + "cook": 27177, + "Buttons": 27178, + "▁transm": 27179, + "ierto": 27180, + "CONTEXT": 27181, + "▁dignity": 27182, + "aired": 27183, + "javax": 27184, + "▁Alberto": 27185, + "▁Recently": 27186, + "▁facial": 27187, + "mathop": 27188, + "ało": 27189, + "вид": 27190, + "cott": 27191, + "Variables": 27192, + "▁Ran": 27193, + "▁bunk": 27194, + "amiliar": 27195, + "CAST": 27196, + "▁frü": 27197, + "VED": 27198, + "▁NOTICE": 27199, + "▁turno": 27200, + "validator": 27201, + "▁Portuguese": 27202, + "▁questioning": 27203, + "}})": 27204, + "▁lear": 27205, + "Xamarin": 27206, + "▁disadv": 27207, + "encoded": 27208, + "▁Kot": 27209, + "rated": 27210, + "▁Theory": 27211, + "cius": 27212, + "▁Darwin": 27213, + "ђе": 27214, + "▁décl": 27215, + "▁область": 27216, + "рович": 27217, + "▁mobility": 27218, + "VF": 27219, + "▁хи": 27220, + "until": 27221, + "▁barriers": 27222, + "gif": 27223, + "▁Roh": 27224, + "▁aging": 27225, + "▁Widget": 27226, + "olk": 27227, + "▁farms": 27228, + "Checker": 27229, + "Introduction": 27230, + "смо": 27231, + "▁Russians": 27232, + "naments": 27233, + "▁Insert": 27234, + "▁Whenever": 27235, + "erset": 27236, + "itori": 27237, + "▁Dort": 27238, + "▁costume": 27239, + "▁mathematical": 27240, + "▁Bast": 27241, + "▁nominated": 27242, + "▁restoration": 27243, + "posal": 27244, + "▁unfortunate": 27245, + "Ps": 27246, + "LIN": 27247, + "▁intact": 27248, + "▁provoc": 27249, + "▁située": 27250, + "▁ноября": 27251, + "ermo": 27252, + "▁fisher": 27253, + "гля": 27254, + "▁conting": 27255, + "▁Doug": 27256, + "\"?": 27257, + "▁Eva": 27258, + "▁tops": 27259, + "▁Remote": 27260, + "▁artwork": 27261, + "▁artillery": 27262, + "quick": 27263, + "▁Arabia": 27264, + "▁SDValue": 27265, + "▁Dakota": 27266, + "iated": 27267, + "▁Optim": 27268, + "buttons": 27269, + "▁cottage": 27270, + "▁wherein": 27271, + "▁tutorial": 27272, + "▁Scre": 27273, + "▁sweep": 27274, + "▁Coffee": 27275, + "})}": 27276, + "▁музы": 27277, + "hostname": 27278, + "▁Temp": 27279, + "▁Fut": 27280, + "respect": 27281, + "ocz": 27282, + "▁predomin": 27283, + "Indicator": 27284, + "encial": 27285, + "UMENT": 27286, + "▁SHALL": 27287, + "▁commanded": 27288, + "▁withdrawal": 27289, + "iour": 27290, + "REGION": 27291, + "sprintf": 27292, + "▁вме": 27293, + "▁Payment": 27294, + "▁Anim": 27295, + "publish": 27296, + "▁seeks": 27297, + "ouw": 27298, + "▁GM": 27299, + "rugu": 27300, + "ustain": 27301, + "▁))": 27302, + "▁consulting": 27303, + "▁Dialog": 27304, + "▁Lars": 27305, + "▁critique": 27306, + "▁circulation": 27307, + "▁landsc": 27308, + "managed": 27309, + "▁Craft": 27310, + "▁herman": 27311, + "afi": 27312, + "amy": 27313, + "▁discour": 27314, + "<>(": 27315, + "▁Steph": 27316, + "▁tolerance": 27317, + "typename": 27318, + "ventions": 27319, + "ział": 27320, + "стов": 27321, + "▁sticking": 27322, + "ASC": 27323, + "ISO": 27324, + "▁Spencer": 27325, + "▁Didn": 27326, + "gomery": 27327, + "imiter": 27328, + "dru": 27329, + "Clause": 27330, + "▁slides": 27331, + "###": 27332, + "▁Sugar": 27333, + "HY": 27334, + "▁эти": 27335, + "▁Edwards": 27336, + "▁cents": 27337, + "oya": 27338, + "serts": 27339, + "▁Hass": 27340, + "▁ingen": 27341, + "стри": 27342, + "▁saddle": 27343, + "solid": 27344, + "▁champions": 27345, + "-)": 27346, + "▁Slov": 27347, + "▁shiny": 27348, + "▁*)&": 27349, + "▁Define": 27350, + "če": 27351, + "▁scrut": 27352, + "onden": 27353, + "'\",": 27354, + "uffs": 27355, + "▁olymp": 27356, + "idential": 27357, + "wand": 27358, + "▁annually": 27359, + "▁Arkansas": 27360, + "▁saint": 27361, + "▁gleich": 27362, + "▁perfection": 27363, + ")>": 27364, + "▁shorts": 27365, + "▁justified": 27366, + "peated": 27367, + "packages": 27368, + "driven": 27369, + "▁Liberty": 27370, + "▁stripped": 27371, + "шение": 27372, + "▁fünf": 27373, + "▁ecosystem": 27374, + "ixa": 27375, + "▁Fresh": 27376, + "vart": 27377, + "▁treats": 27378, + "▁stance": 27379, + "чёт": 27380, + "▁pity": 27381, + "adém": 27382, + "▁окон": 27383, + "▁Chand": 27384, + "rab": 27385, + "вший": 27386, + "inski": 27387, + "▁continually": 27388, + "▁Daddy": 27389, + "▁nightmare": 27390, + "icional": 27391, + "▁efect": 27392, + "ueblo": 27393, + "▁lanç": 27394, + "▁Collections": 27395, + "due": 27396, + "ampton": 27397, + "▁memcpy": 27398, + "▁**(": 27399, + "issent": 27400, + "▁Insp": 27401, + "▁Glasgow": 27402, + "▁furono": 27403, + "▁kindness": 27404, + "Bi": 27405, + "▁competed": 27406, + "▁oak": 27407, + "Large": 27408, + "▁disgu": 27409, + "▁kings": 27410, + "тами": 27411, + "▁stuffed": 27412, + "▁hilar": 27413, + "published": 27414, + "▁stressed": 27415, + "▁Peak": 27416, + "▁loader": 27417, + "Keyboard": 27418, + "▁reconstruction": 27419, + "▁vod": 27420, + "▁dun": 27421, + "▁understands": 27422, + "tenant": 27423, + "▁chaque": 27424, + "▁prejud": 27425, + "utat": 27426, + "▁uso": 27427, + "▁Heavy": 27428, + "▁cuatro": 27429, + "▁sidewalk": 27430, + "▁Bug": 27431, + "▁månaden": 27432, + "geo": 27433, + "▁united": 27434, + "▁Files": 27435, + "▁Аль": 27436, + "▁rugby": 27437, + "▁financing": 27438, + "▁comply": 27439, + "&#": 27440, + "▁rushing": 27441, + "▁fen": 27442, + "mong": 27443, + "▁spé": 27444, + "▁presenting": 27445, + "INCLUDING": 27446, + "ěl": 27447, + "zeichnung": 27448, + "Backup": 27449, + "▁petit": 27450, + "▁allerg": 27451, + "нут": 27452, + "▁worrying": 27453, + "▁mamm": 27454, + "▁operand": 27455, + ":%.*]]": 27456, + "▁realise": 27457, + "Commands": 27458, + "▁Bew": 27459, + "▁assumes": 27460, + "▁Covid": 27461, + "▁quand": 27462, + "tyard": 27463, + "▁Mono": 27464, + "linked": 27465, + "MARK": 27466, + "Esp": 27467, + "▁blessing": 27468, + "▁eyebrows": 27469, + "▁NV": 27470, + "▁стру": 27471, + "▁modeling": 27472, + "▁greeted": 27473, + "Workspace": 27474, + "▁pedest": 27475, + "▁неза": 27476, + "lemagne": 27477, + "Statistics": 27478, + "▁aument": 27479, + "▁speeds": 27480, + "▁syndrome": 27481, + "CONNECT": 27482, + "zahl": 27483, + "verso": 27484, + "ército": 27485, + "▁astronom": 27486, + "▁aprile": 27487, + "žen": 27488, + "веро": 27489, + "draft": 27490, + "▁gioc": 27491, + "▁comport": 27492, + "▁variance": 27493, + "▁realizing": 27494, + "EDIT": 27495, + "олові": 27496, + "▁estar": 27497, + "▁sost": 27498, + "NORMAL": 27499, + "▁ó": 27500, + "▁Andr": 27501, + "ATTRIB": 27502, + "▁rede": 27503, + "▁toes": 27504, + "▁advances": 27505, + "▁Against": 27506, + "TOM": 27507, + "rss": 27508, + "MMMM": 27509, + "▁newest": 27510, + "▁VER": 27511, + "▁phrases": 27512, + "anter": 27513, + "Launch": 27514, + "▁chr": 27515, + "▁manufactured": 27516, + "$),": 27517, + "rollment": 27518, + "eston": 27519, + "▁peint": 27520, + "”)": 27521, + "endet": 27522, + "▁Hair": 27523, + "ivalent": 27524, + "▁upright": 27525, + "gren": 27526, + "anked": 27527, + "wright": 27528, + "▁mast": 27529, + "▁onChange": 27530, + "▁debris": 27531, + "▁grap": 27532, + "etry": 27533, + "▁(__": 27534, + "▁Commerce": 27535, + "BOX": 27536, + "Tax": 27537, + "▁отри": 27538, + "▁prevention": 27539, + "▁Feel": 27540, + "▁exotic": 27541, + "▁Bark": 27542, + "▁Steam": 27543, + "fon": 27544, + "olin": 27545, + "▁eliminated": 27546, + "▁bc": 27547, + "▁Cycl": 27548, + "▁$(\"#": 27549, + "▁Parl": 27550, + "manuel": 27551, + "ospher": 27552, + "WF": 27553, + "Analy": 27554, + "▁navig": 27555, + "▁renown": 27556, + "Rx": 27557, + "▁Walt": 27558, + "uffed": 27559, + "▁foster": 27560, + "$:": 27561, + "shore": 27562, + "Connector": 27563, + "фика": 27564, + "▁realization": 27565, + "Li": 27566, + "ctxt": 27567, + "ahoo": 27568, + "▁miracle": 27569, + "▁ET": 27570, + "▁GPS": 27571, + "▁Observable": 27572, + "▁hf": 27573, + "▁magnificent": 27574, + "него": 27575, + "BIN": 27576, + "▁Dorf": 27577, + "ieck": 27578, + "vee": 27579, + "▁Craw": 27580, + "/#": 27581, + "▁pci": 27582, + "ippet": 27583, + "▁Hillary": 27584, + "▁gir": 27585, + "▁rand": 27586, + "▁laying": 27587, + "▁Different": 27588, + "boys": 27589, + "virt": 27590, + "▁encryption": 27591, + "ász": 27592, + "пор": 27593, + "▁smelled": 27594, + "▁suscept": 27595, + "cluded": 27596, + "▁Carn": 27597, + "igten": 27598, + "▁Chuck": 27599, + "▁Provinc": 27600, + "▁perí": 27601, + "▁Marshal": 27602, + "мож": 27603, + "gfx": 27604, + "oshi": 27605, + "▁WHE": 27606, + "▁relaxation": 27607, + ",.": 27608, + "were": 27609, + "▁varieties": 27610, + "▁Won": 27611, + "▁gaps": 27612, + "▁stole": 27613, + "igua": 27614, + "ющие": 27615, + "▁Hampshire": 27616, + "phrase": 27617, + "▁película": 27618, + "Processing": 27619, + "▁initialization": 27620, + "oustic": 27621, + "▁Josef": 27622, + "icating": 27623, + "▁goodness": 27624, + "TES": 27625, + "▁cope": 27626, + "▁ignorance": 27627, + "▁Brist": 27628, + "▁paras": 27629, + "▁accidentally": 27630, + "▁tand": 27631, + "ittest": 27632, + "▁ули": 27633, + "▁shipped": 27634, + "▁ост": 27635, + "elseif": 27636, + "▁usize": 27637, + "horizontal": 27638, + "▁Carr": 27639, + "▁precip": 27640, + "roz": 27641, + "pathetic": 27642, + "rived": 27643, + "rok": 27644, + "▁digging": 27645, + "мом": 27646, + "▁Mull": 27647, + "▁XIII": 27648, + "▁peas": 27649, + "▁foul": 27650, + "▁travels": 27651, + "▁Ng": 27652, + "▁составе": 27653, + "Mont": 27654, + "arde": 27655, + "▁Stefan": 27656, + "^^^^": 27657, + "▁Kiss": 27658, + "▁Ek": 27659, + "▁oktober": 27660, + "▁memorable": 27661, + "')).": 27662, + "▁Vision": 27663, + "▁Nina": 27664, + "▁Solar": 27665, + "▁highlighted": 27666, + "▁memo": 27667, + "meisterschaft": 27668, + "sidebar": 27669, + "SEE": 27670, + "▁Nevada": 27671, + "Da": 27672, + "▁drawer": 27673, + "astically": 27674, + "elde": 27675, + "scribed": 27676, + "▁priests": 27677, + "▁hommes": 27678, + "▁instructor": 27679, + "клад": 27680, + "▁spett": 27681, + "\\-": 27682, + "▁мира": 27683, + "▁Looks": 27684, + "▁sleeve": 27685, + "▁strongest": 27686, + "▁tête": 27687, + "▁Nicole": 27688, + "imper": 27689, + "нача": 27690, + "ipper": 27691, + "▁inwon": 27692, + "ilers": 27693, + "▁Deputy": 27694, + "oge": 27695, + "▁depressed": 27696, + "▁arte": 27697, + "▁combining": 27698, + "LAST": 27699, + "inted": 27700, + "▁Average": 27701, + "▁pollution": 27702, + "▁Phillips": 27703, + "▁WM": 27704, + "}}}\\": 27705, + "Added": 27706, + "▁peripher": 27707, + "Creation": 27708, + "▁italien": 27709, + "▁Choice": 27710, + "▁EXPRESS": 27711, + "▁Struct": 27712, + "ysz": 27713, + "Resize": 27714, + "ARGS": 27715, + "▁repo": 27716, + "▁чтобы": 27717, + "▁pref": 27718, + "▁earthqu": 27719, + "▁Мекси": 27720, + "▁Finale": 27721, + "▁hecho": 27722, + "requests": 27723, + "Cut": 27724, + "▁deserved": 27725, + "гово": 27726, + "▁Recent": 27727, + "▁дивизи": 27728, + "▁supportive": 27729, + "прави": 27730, + "▁irrelevant": 27731, + "'\r": 27732, + "▁ctrl": 27733, + "▁Deal": 27734, + "izada": 27735, + "uo": 27736, + "▁nort": 27737, + "geometry": 27738, + "▁Individual": 27739, + "ereg": 27740, + "▁приня": 27741, + "cref": 27742, + "══": 27743, + "▁comerc": 27744, + "=_": 27745, + "bund": 27746, + "тах": 27747, + "ilen": 27748, + "чита": 27749, + "▁corporation": 27750, + "esz": 27751, + "▁==>": 27752, + "ablish": 27753, + "Apr": 27754, + "▁ripped": 27755, + "Vars": 27756, + "stret": 27757, + "▁Francesco": 27758, + "NaN": 27759, + "▁anytime": 27760, + "▁automated": 27761, + "ostream": 27762, + "▁drawings": 27763, + "▁enhancement": 27764, + "okrat": 27765, + "▁Issue": 27766, + "вра": 27767, + "Currency": 27768, + "▁wyn": 27769, + "izarre": 27770, + "ético": 27771, + "multiple": 27772, + "▁Rate": 27773, + "▁Ich": 27774, + "▁Auss": 27775, + "▁Former": 27776, + "Curve": 27777, + "▁marvel": 27778, + "attro": 27779, + "▁сп": 27780, + "BOOL": 27781, + "сия": 27782, + "gold": 27783, + "▁Nintendo": 27784, + "▁Salvador": 27785, + "▁Solution": 27786, + "ADC": 27787, + "бора": 27788, + "▁Bennett": 27789, + "▁FR": 27790, + "▁pueden": 27791, + "patient": 27792, + "▁PG": 27793, + "▁Jin": 27794, + "▁crashed": 27795, + "▁denen": 27796, + "▁Sample": 27797, + "▁Quebec": 27798, + "itories": 27799, + "▁blinked": 27800, + "▁lion": 27801, + "▁voce": 27802, + "▁Impact": 27803, + "▁Mau": 27804, + "▁Nie": 27805, + "▁lob": 27806, + "▁две": 27807, + "orneys": 27808, + "▁coastal": 27809, + "▁sensors": 27810, + "▁XII": 27811, + "▁illusion": 27812, + "oji": 27813, + "▁INC": 27814, + "▁Duncan": 27815, + "yk": 27816, + "▁affecting": 27817, + "pul": 27818, + "▁Napoleon": 27819, + "▁акаде": 27820, + "▁compt": 27821, + "▁profitable": 27822, + "loe": 27823, + "▁deuxième": 27824, + "▁WC": 27825, + "▁viable": 27826, + "▁Drug": 27827, + "TextBox": 27828, + "▁luminos": 27829, + "auté": 27830, + "yc": 27831, + "ště": 27832, + "▁affiliates": 27833, + "ilda": 27834, + "conduct": 27835, + "▁ebenfalls": 27836, + "▁AMD": 27837, + "▁Monitor": 27838, + "▁Companies": 27839, + "▁corrected": 27840, + "äck": 27841, + "SYSTEM": 27842, + "otherapy": 27843, + "▁перед": 27844, + "▁blues": 27845, + "atisf": 27846, + "although": 27847, + "rost": 27848, + "SCAN": 27849, + "▁RAM": 27850, + "ціональ": 27851, + "▁vendors": 27852, + "▁customs": 27853, + "▁activate": 27854, + "▁blogs": 27855, + "▁brace": 27856, + "▁strat": 27857, + "anje": 27858, + "щё": 27859, + "▁tide": 27860, + "▁Brigade": 27861, + "getOperand": 27862, + "▁aliment": 27863, + "▁achievements": 27864, + "▁suspicion": 27865, + "▁touchdown": 27866, + "broad": 27867, + "iore": 27868, + "Comparison": 27869, + "▁mum": 27870, + "English": 27871, + "▁Picture": 27872, + "▁Mouse": 27873, + "amd": 27874, + "▁[`": 27875, + "▁denomin": 27876, + "▁Aleks": 27877, + "▁prevents": 27878, + "ób": 27879, + "fed": 27880, + "▁Pray": 27881, + "▁shine": 27882, + "▁clutch": 27883, + "mux": 27884, + "Appro": 27885, + "▁notably": 27886, + "chio": 27887, + "nage": 27888, + "HAS": 27889, + "▁')": 27890, + "▁Miche": 27891, + "tg": 27892, + "::~": 27893, + "▁amely": 27894, + "▁rodz": 27895, + "zs": 27896, + "trait": 27897, + "▁klass": 27898, + "fö": 27899, + "▁destac": 27900, + "▁Clara": 27901, + "frequency": 27902, + "▁Git": 27903, + "▁поль": 27904, + "▁frequencies": 27905, + "▁febrero": 27906, + "▁stumbled": 27907, + "кою": 27908, + "▁Names": 27909, + "▁Flight": 27910, + "▁prey": 27911, + "▁medio": 27912, + "▁VAR": 27913, + "▁Float": 27914, + "▁Ernest": 27915, + "▁Marcatori": 27916, + "oport": 27917, + "▁cancellation": 27918, + "▁Bryan": 27919, + "————": 27920, + "Luc": 27921, + "▁libre": 27922, + "▁título": 27923, + "*>": 27924, + "▁Sandy": 27925, + "▁Marina": 27926, + "Been": 27927, + "▁wal": 27928, + "▁Kultur": 27929, + "▁explode": 27930, + "▁limiting": 27931, + "▁presumably": 27932, + "▁pb": 27933, + "▁Merc": 27934, + "▁реки": 27935, + "learning": 27936, + "Catalog": 27937, + "▁Census": 27938, + "lte": 27939, + "▁NET": 27940, + "raising": 27941, + "ське": 27942, + "staff": 27943, + "▁Quinn": 27944, + "▁memorial": 27945, + "пня": 27946, + "▁cuenta": 27947, + "▁XI": 27948, + "lbl": 27949, + "▁varies": 27950, + "▁fluctuations": 27951, + "▁долж": 27952, + "▁особи": 27953, + "▁warehouse": 27954, + "However": 27955, + "▁corrections": 27956, + "dhd": 27957, + "▁fals": 27958, + "▁controversy": 27959, + "▁curse": 27960, + "▁télé": 27961, + "řed": 27962, + "▁AU": 27963, + "▁тор": 27964, + "▁crít": 27965, + "idan": 27966, + "iliary": 27967, + "▁Panel": 27968, + "cule": 27969, + "▁Poor": 27970, + "▁BA": 27971, + "▁ignorant": 27972, + "èmes": 27973, + "▁aesthetic": 27974, + "Linked": 27975, + "getInt": 27976, + "Unicode": 27977, + "[@": 27978, + "▁Zent": 27979, + "Manifest": 27980, + "▁vars": 27981, + "PB": 27982, + "▁ву": 27983, + "▁Describe": 27984, + "▁Anything": 27985, + "oirs": 27986, + "▁socks": 27987, + "▁imped": 27988, + "▁neue": 27989, + "▁dispers": 27990, + "Collect": 27991, + "filer": 27992, + "▁Frau": 27993, + "▁Hockey": 27994, + "▁teens": 27995, + "▁Roberto": 27996, + "lauf": 27997, + "вать": 27998, + "▁ско": 27999, + "isArray": 28000, + "▁teenager": 28001, + "Built": 28002, + "▁loudly": 28003, + "Capacity": 28004, + "▁adventures": 28005, + "▁Molly": 28006, + "recogn": 28007, + "bars": 28008, + "▁Lor": 28009, + "▁può": 28010, + "▁mong": 28011, + "inement": 28012, + "Assignment": 28013, + "▁diz": 28014, + "lessness": 28015, + "▁Halloween": 28016, + "▁bitmap": 28017, + "Rom": 28018, + "нар": 28019, + "▁rebel": 28020, + "▁radial": 28021, + "measure": 28022, + "nit": 28023, + "▁Assume": 28024, + "▁assignments": 28025, + "▁Isn": 28026, + "▁altre": 28027, + "ßer": 28028, + "наль": 28029, + "▁flies": 28030, + "▁droit": 28031, + "▁thickness": 28032, + "▁enjo": 28033, + "▁dwell": 28034, + "▁homosexual": 28035, + "▁eval": 28036, + "$_{": 28037, + "asia": 28038, + "▁philos": 28039, + "getCurrent": 28040, + "▁veterans": 28041, + "▁Berkeley": 28042, + "▁wildlife": 28043, + "Cop": 28044, + "vern": 28045, + "▁Ú": 28046, + "tos": 28047, + "▁Led": 28048, + "▁keywords": 28049, + "▁medications": 28050, + "neum": 28051, + "▁jamais": 28052, + "▁Buc": 28053, + "▁PD": 28054, + "▁Statement": 28055, + "▁PI": 28056, + "▁Jackie": 28057, + "▁ordin": 28058, + "▁kör": 28059, + "enze": 28060, + "▁utilized": 28061, + "áct": 28062, + "azed": 28063, + "▁severely": 28064, + "▁även": 28065, + "▁libro": 28066, + "▁Eu": 28067, + "äst": 28068, + "PART": 28069, + "▁Butler": 28070, + "▁puzzle": 28071, + "Fall": 28072, + "Country": 28073, + "pfn": 28074, + "▁україн": 28075, + "▁Orchestra": 28076, + "▁alto": 28077, + "▁ancora": 28078, + "▁decomposition": 28079, + "▁م": 28080, + "▁appetite": 28081, + "adu": 28082, + "▁THAT": 28083, + "▁comenz": 28084, + "mina": 28085, + "▁initiated": 28086, + "▁Tat": 28087, + "▁sometime": 28088, + "rek": 28089, + "bread": 28090, + "▁Statistics": 28091, + "▁Cob": 28092, + "Follow": 28093, + "▁geometric": 28094, + "шла": 28095, + "▁proceedings": 28096, + "Dlg": 28097, + "seven": 28098, + "▁[-": 28099, + "▁Buffalo": 28100, + "▁blacks": 28101, + "▁sov": 28102, + "▁custody": 28103, + "▁ras": 28104, + "▁tattoo": 28105, + "öffentlicht": 28106, + "Blo": 28107, + "Austral": 28108, + "▁recuper": 28109, + "лев": 28110, + "▁bem": 28111, + "▁thou": 28112, + "oriented": 28113, + "vir": 28114, + "▁colony": 28115, + "▁Stanford": 28116, + "Absolute": 28117, + "adrat": 28118, + "▁Situ": 28119, + "▁souvent": 28120, + "EXEC": 28121, + "▁mű": 28122, + "▁apartments": 28123, + "▁случа": 28124, + "▁ano": 28125, + "WINDO": 28126, + "acci": 28127, + "▁Lau": 28128, + "court": 28129, + "▁manifold": 28130, + "▁coalition": 28131, + "▁XIV": 28132, + "Attrib": 28133, + "ascade": 28134, + "▁wheat": 28135, + "▁strengths": 28136, + "FREE": 28137, + "EMPTY": 28138, + "▁hey": 28139, + "ascular": 28140, + "▁plasma": 28141, + "▁bob": 28142, + "Separator": 28143, + "=\"${": 28144, + "▁Zag": 28145, + "▁projet": 28146, + "▁smoothly": 28147, + "SEQU": 28148, + "analy": 28149, + "attachment": 28150, + "▁ES": 28151, + "▁popped": 28152, + "ős": 28153, + "tom": 28154, + "▁són": 28155, + "▁rott": 28156, + "Utilities": 28157, + "hadoop": 28158, + "▁sotto": 28159, + "autor": 28160, + "▁Georges": 28161, + "▁který": 28162, + "▁gruppo": 28163, + "▁когда": 28164, + "▁меда": 28165, + "▁instrumental": 28166, + "▁Writer": 28167, + "▁setTimeout": 28168, + "ikk": 28169, + "▁Dopo": 28170, + "]);\r": 28171, + "▁practicing": 28172, + "▁Ronald": 28173, + "▁уби": 28174, + "▁agrees": 28175, + "▁denoted": 28176, + "ismiss": 28177, + "▁interviewed": 28178, + "templates": 28179, + "ři": 28180, + "administr": 28181, + "▁Butter": 28182, + "▁XVII": 28183, + "▁positioned": 28184, + "▁Fourth": 28185, + "▁overwhelmed": 28186, + "▁Regular": 28187, + "▁reprezent": 28188, + "кономи": 28189, + "▁expects": 28190, + "Indices": 28191, + "▁marijuana": 28192, + "▁zaj": 28193, + "▁Bren": 28194, + "▁begg": 28195, + "▁nahm": 28196, + "▁interrog": 28197, + "тие": 28198, + "▁Bun": 28199, + "▁серед": 28200, + "▁shelves": 28201, + "▁которых": 28202, + "▁Frauen": 28203, + "▁Sergeant": 28204, + "▁успе": 28205, + "matched": 28206, + "▁donne": 28207, + "▁touches": 28208, + "abort": 28209, + "▁vale": 28210, + "▁institutional": 28211, + "▁Mons": 28212, + "▁ambitious": 28213, + "▁nonetheless": 28214, + "jd": 28215, + "пей": 28216, + "▁backpack": 28217, + "dao": 28218, + "вия": 28219, + "▁surroundings": 28220, + "|_{": 28221, + "▁gegründ": 28222, + "disp": 28223, + "▁moisture": 28224, + "▁wyd": 28225, + "▁traders": 28226, + "▁Erst": 28227, + "▁Galaxy": 28228, + "▁воло": 28229, + "▁Peru": 28230, + "▁priorities": 28231, + "▁pronounced": 28232, + "▁CBS": 28233, + "▁Palm": 28234, + "▁expans": 28235, + "▁energet": 28236, + "▁Condition": 28237, + "▁Sver": 28238, + "nested": 28239, + "▁февраля": 28240, + "hero": 28241, + "▁коло": 28242, + "▁Films": 28243, + "Bon": 28244, + "éal": 28245, + "ployed": 28246, + "trained": 28247, + "▁első": 28248, + "▁lust": 28249, + "atinum": 28250, + "oyle": 28251, + "▁Jet": 28252, + "ждения": 28253, + "▁surveys": 28254, + "bee": 28255, + "workers": 28256, + "records": 28257, + "calendar": 28258, + "bbing": 28259, + "regation": 28260, + "dashboard": 28261, + "King": 28262, + "▁vista": 28263, + "▁depicted": 28264, + "▁occurring": 28265, + "▁офи": 28266, + "▁sandwich": 28267, + "rcu": 28268, + "kern": 28269, + "▁minut": 28270, + "▁смер": 28271, + "▁td": 28272, + "solete": 28273, + "Complex": 28274, + "▁tunn": 28275, + "▁scarc": 28276, + "stead": 28277, + "▁Fail": 28278, + "▁Rs": 28279, + "▁trails": 28280, + "kem": 28281, + "▁Romans": 28282, + "ativity": 28283, + "Previous": 28284, + "▁depress": 28285, + "▁resigned": 28286, + "getDefault": 28287, + "▁Tibet": 28288, + "▁Franco": 28289, + "\")));": 28290, + "▁injection": 28291, + "removed": 28292, + "▁praised": 28293, + "▁Asc": 28294, + "erase": 28295, + "▁commissioned": 28296, + "MAIL": 28297, + "▁Boh": 28298, + "Poly": 28299, + "▁cinq": 28300, + "▁Above": 28301, + "▁Joshua": 28302, + "ZERO": 28303, + "▁summit": 28304, + "▁Urs": 28305, + "▁curl": 28306, + "▁visa": 28307, + "▁resur": 28308, + "={'": 28309, + "feat": 28310, + "▁absorb": 28311, + "▁planets": 28312, + "▁princess": 28313, + "▁Jahrhunderts": 28314, + "xp": 28315, + "▁NBC": 28316, + "▁коми": 28317, + "▁FUN": 28318, + "▁neuen": 28319, + "▁déjà": 28320, + "▁Oz": 28321, + "bben": 28322, + "VIDEO": 28323, + "▁ejempl": 28324, + "▁considers": 28325, + "atri": 28326, + "▁arrog": 28327, + "ioso": 28328, + "▁hace": 28329, + "▁contacted": 28330, + "▁unple": 28331, + "▁sponsored": 28332, + "▁trainer": 28333, + "sbi": 28334, + "▁занима": 28335, + "Criterion": 28336, + "ното": 28337, + "scheme": 28338, + "ennial": 28339, + "perform": 28340, + "▁fixing": 28341, + "▁постро": 28342, + "arb": 28343, + "EXIT": 28344, + "▁café": 28345, + "ituted": 28346, + "riages": 28347, + "Tur": 28348, + "▁haber": 28349, + "elasticsearch": 28350, + "▁ал": 28351, + "rh": 28352, + "▁voll": 28353, + "CLU": 28354, + "Mil": 28355, + "▁membres": 28356, + "▁remarked": 28357, + "вана": 28358, + "=\"_": 28359, + "Less": 28360, + "(\"\");": 28361, + "▁Yale": 28362, + "berries": 28363, + "▁releasing": 28364, + "▁imports": 28365, + "idea": 28366, + "▁(+": 28367, + "▁arqu": 28368, + "ificación": 28369, + "▁пара": 28370, + "▁Rangers": 28371, + "Mic": 28372, + "▁nederbörd": 28373, + "▁imaginary": 28374, + "▁specialists": 28375, + "▁hoof": 28376, + "Modules": 28377, + "▁sadly": 28378, + "ceil": 28379, + "TabIndex": 28380, + "ationale": 28381, + "▁Partner": 28382, + "tbody": 28383, + "▁leverage": 28384, + "DN": 28385, + "▁Prec": 28386, + "▁Sé": 28387, + "▁Mam": 28388, + "▁afin": 28389, + "isValid": 28390, + "Pse": 28391, + "▁сторо": 28392, + "▁chopped": 28393, + "▁Minor": 28394, + "▁dabei": 28395, + "David": 28396, + "ussia": 28397, + "▁деревня": 28398, + "▁Identity": 28399, + "▁LGBT": 28400, + "ције": 28401, + "▁Orts": 28402, + "▁parti": 28403, + "▁Bachelor": 28404, + "uga": 28405, + "▁OPT": 28406, + "▁Seth": 28407, + "▁LIABLE": 28408, + "▁inaugur": 28409, + "▁Shanghai": 28410, + "▁relaxing": 28411, + "циона": 28412, + "\"%": 28413, + "▁obey": 28414, + "▁Airlines": 28415, + "Links": 28416, + "▁Celt": 28417, + "▁Admin": 28418, + "agation": 28419, + "▁worries": 28420, + "INTE": 28421, + "arith": 28422, + "Fatalf": 28423, + "]])": 28424, + "colm": 28425, + "▁archae": 28426, + "▁brushed": 28427, + "▁tät": 28428, + "▁structured": 28429, + "тии": 28430, + "▁homem": 28431, + "[:,": 28432, + "▁navy": 28433, + "getKey": 28434, + "powered": 28435, + "▁sucked": 28436, + "▁zomb": 28437, + "issant": 28438, + "▁Might": 28439, + "▁Pull": 28440, + "rir": 28441, + "▁пі": 28442, + "▁seas": 28443, + "▁Wrest": 28444, + "▁tense": 28445, + "▁atm": 28446, + "▁havet": 28447, + "▁pierws": 28448, + "▁tragic": 28449, + "▁Diff": 28450, + "▁confidential": 28451, + "successful": 28452, + "ęż": 28453, + "▁Chain": 28454, + "▁Kenya": 28455, + "Choice": 28456, + "ocur": 28457, + "aniu": 28458, + "▁consultant": 28459, + "▁Advis": 28460, + "Lif": 28461, + "▁Lors": 28462, + "avorite": 28463, + "▁utilizing": 28464, + "▁vintage": 28465, + "Matcher": 28466, + "▁membre": 28467, + "▁Expect": 28468, + "▁tracing": 28469, + "nog": 28470, + "▁dej": 28471, + "▁уче": 28472, + "▁loops": 28473, + "▁onclick": 28474, + "▁GPU": 28475, + "▁Albums": 28476, + "▁Archives": 28477, + "вата": 28478, + "▁stove": 28479, + "шли": 28480, + "ancies": 28481, + "▁gemeente": 28482, + "mob": 28483, + "PDF": 28484, + "eso": 28485, + "▁vég": 28486, + "Resolve": 28487, + "▁teaches": 28488, + "ложе": 28489, + "▁ство": 28490, + "▁Одна": 28491, + "▁fid": 28492, + "Something": 28493, + "▁nebo": 28494, + "▁Valentine": 28495, + "rowning": 28496, + "▁але": 28497, + "awi": 28498, + "ishi": 28499, + "▁SPI": 28500, + "▁spel": 28501, + "▁біль": 28502, + "▁participant": 28503, + "▁Ned": 28504, + "▁Gast": 28505, + "▁blond": 28506, + "▁saves": 28507, + "colored": 28508, + "▁ACTION": 28509, + "▁Politiker": 28510, + "}$)": 28511, + "▁Dum": 28512, + "dentry": 28513, + "Student": 28514, + "▁~=": 28515, + "loads": 28516, + "▁Foster": 28517, + "一个": 28518, + "▁PK": 28519, + "▁SB": 28520, + "▁Hern": 28521, + "▁Exhib": 28522, + "Listeners": 28523, + "Sun": 28524, + "plac": 28525, + "▁Bever": 28526, + "▁incluy": 28527, + "▁dc": 28528, + "argc": 28529, + "▁ged": 28530, + "спа": 28531, + "▁Formula": 28532, + "▁сем": 28533, + "▁empt": 28534, + "unregister": 28535, + "▁Queensland": 28536, + "ández": 28537, + "otive": 28538, + "▁alley": 28539, + "▁Democrat": 28540, + "▁travail": 28541, + "▁$,": 28542, + "RP": 28543, + "рое": 28544, + "personal": 28545, + "▁période": 28546, + "HOME": 28547, + "omes": 28548, + "▁recognised": 28549, + "heng": 28550, + "▁Jung": 28551, + "▁Roland": 28552, + "▁convicted": 28553, + "Locked": 28554, + "▁mari": 28555, + "▁Luxem": 28556, + "referto": 28557, + "Deleted": 28558, + "intent": 28559, + "▁Staats": 28560, + "▁області": 28561, + "ит": 28562, + "▁саве": 28563, + "▁Protocol": 28564, + "ając": 28565, + "chk": 28566, + "TypeInfo": 28567, + "▁pkt": 28568, + "▁scandal": 28569, + "▁individually": 28570, + "FMT": 28571, + "▁nj": 28572, + "abile": 28573, + "▁Rivers": 28574, + "PROPERTY": 28575, + "VB": 28576, + "wort": 28577, + "▁splitting": 28578, + "achten": 28579, + "▁ARISING": 28580, + "▁sip": 28581, + "▁fres": 28582, + "▁groom": 28583, + "Hol": 28584, + "▁canon": 28585, + "▁abruptly": 28586, + "▁afterward": 28587, + "▁Running": 28588, + "▁ji": 28589, + "▁%,": 28590, + "▁Palestinian": 28591, + "RW": 28592, + "pgfscope": 28593, + "▁countryside": 28594, + "▁fortunate": 28595, + "▁cél": 28596, + "▁Pointer": 28597, + "ensors": 28598, + "rating": 28599, + "▁buffers": 28600, + "▁remot": 28601, + "▁PropTypes": 28602, + "▁Nah": 28603, + "altern": 28604, + "▁easiest": 28605, + "▁invas": 28606, + "▁clk": 28607, + "copyright": 28608, + "▁blanc": 28609, + "SAMP": 28610, + "▁Cohen": 28611, + "▁Shell": 28612, + "▁destroying": 28613, + "▁Zel": 28614, + "dater": 28615, + "čen": 28616, + "▁filing": 28617, + "▁integrate": 28618, + "xit": 28619, + "▁RET": 28620, + "lene": 28621, + "calls": 28622, + "▁slaughter": 28623, + "initialized": 28624, + "unches": 28625, + "▁Trace": 28626, + "efficient": 28627, + "▁Woods": 28628, + "▁longitud": 28629, + "GN": 28630, + "▁Kont": 28631, + "▁chunks": 28632, + "ách": 28633, + "▁unemployment": 28634, + "acom": 28635, + "▁slowed": 28636, + "▁outlined": 28637, + "xffff": 28638, + "▁ikke": 28639, + "▁workspace": 28640, + "Mc": 28641, + "▁kicking": 28642, + "▁embedding": 28643, + "chnitt": 28644, + "erten": 28645, + "▁Interior": 28646, + "▁Songs": 28647, + "mmc": 28648, + "▁analyzed": 28649, + "▁Coupe": 28650, + "▁favorites": 28651, + "▁tt": 28652, + "▁той": 28653, + "Routing": 28654, + "▁Silva": 28655, + "▁anderem": 28656, + "▁honom": 28657, + "▁использова": 28658, + ".\"]": 28659, + "▁Wu": 28660, + "legt": 28661, + "▁spoon": 28662, + "▁jap": 28663, + "▁Extension": 28664, + "erne": 28665, + "▁vagy": 28666, + "▁села": 28667, + "▁функ": 28668, + "▁analytics": 28669, + "▁sug": 28670, + "▁Async": 28671, + "▁peaks": 28672, + "▁Gym": 28673, + "▁lawsuit": 28674, + "<>": 28675, + "ialis": 28676, + "etric": 28677, + "faced": 28678, + "▁disrupt": 28679, + "▁få": 28680, + "Inputs": 28681, + "`);": 28682, + "▁Mend": 28683, + "gon": 28684, + "▁\",\"": 28685, + "▁nerves": 28686, + "▁doubts": 28687, + "sap": 28688, + "▁sow": 28689, + ",\\,\\": 28690, + "▁BS": 28691, + "▁Glad": 28692, + "▁aster": 28693, + "œuvre": 28694, + "▁Bangl": 28695, + "▁iPad": 28696, + "useppe": 28697, + "▁conducting": 28698, + "▁({\\": 28699, + "▁Harbor": 28700, + "psz": 28701, + "▁FIFA": 28702, + "_**": 28703, + "emor": 28704, + "▁": 28705, + "e": 28706, + "t": 28707, + "a": 28708, + "o": 28709, + "i": 28710, + "n": 28711, + "r": 28712, + "s": 28713, + "l": 28714, + "d": 28715, + "h": 28716, + "c": 28717, + "u": 28718, + "m": 28719, + "p": 28720, + "g": 28721, + "f": 28722, + ".": 28723, + "y": 28724, + ",": 28725, + "b": 28726, + "w": 28727, + "v": 28728, + "k": 28729, + "_": 28730, + ")": 28731, + "(": 28732, + "-": 28733, + "0": 28734, + "S": 28735, + "*": 28736, + "I": 28737, + "T": 28738, + "\"": 28739, + "1": 28740, + "A": 28741, + "'": 28742, + "C": 28743, + "x": 28744, + ";": 28745, + "=": 28746, + ":": 28747, + "/": 28748, + "E": 28749, + "2": 28750, + "{": 28751, + "}": 28752, + "P": 28753, + "R": 28754, + "M": 28755, + "\\": 28756, + "D": 28757, + "L": 28758, + "N": 28759, + "B": 28760, + "о": 28761, + "O": 28762, + "а": 28763, + "z": 28764, + "F": 28765, + "|": 28766, + ">": 28767, + "j": 28768, + "H": 28769, + "3": 28770, + "#": 28771, + "и": 28772, + "е": 28773, + "9": 28774, + "q": 28775, + "$": 28776, + "G": 28777, + "н": 28778, + "U": 28779, + "W": 28780, + "4": 28781, + "5": 28782, + "8": 28783, + "6": 28784, + "р": 28785, + "т": 28786, + "7": 28787, + "с": 28788, + "<": 28789, + "V": 28790, + "в": 28791, + "[": 28792, + "]": 28793, + "л": 28794, + "к": 28795, + "K": 28796, + "é": 28797, + "J": 28798, + "д": 28799, + "&": 28800, + "\r": 28801, + "Y": 28802, + "м": 28803, + "?": 28804, + "у": 28805, + "+": 28806, + "п": 28807, + "!": 28808, + "’": 28809, + "г": 28810, + "я": 28811, + "з": 28812, + "і": 28813, + "X": 28814, + "^": 28815, + "–": 28816, + "б": 28817, + "@": 28818, + "й": 28819, + "á": 28820, + "—": 28821, + "ь": 28822, + "%": 28823, + "Q": 28824, + "ó": 28825, + "ч": 28826, + "í": 28827, + "Z": 28828, + "ы": 28829, + "ä": 28830, + "х": 28831, + "`": 28832, + "ц": 28833, + "ö": 28834, + "“": 28835, + "ж": 28836, + "ü": 28837, + "”": 28838, + "à": 28839, + "è": 28840, + "ш": 28841, + "ю": 28842, + "ł": 28843, + "С": 28844, + "~": 28845, + "ф": 28846, + "П": 28847, + "»": 28848, + "В": 28849, + "«": 28850, + "å": 28851, + "К": 28852, + "щ": 28853, + "·": 28854, + "ј": 28855, + "М": 28856, + "ç": 28857, + "А": 28858, + "Н": 28859, + "Р": 28860, + "Б": 28861, + "č": 28862, + "ú": 28863, + "ę": 28864, + "ã": 28865, + "ą": 28866, + "ă": 28867, + "Д": 28868, + "ї": 28869, + "ъ": 28870, + "ě": 28871, + "Г": 28872, + "š": 28873, + "О": 28874, + "Т": 28875, + "ê": 28876, + "ñ": 28877, + "…": 28878, + "ž": 28879, + "ß": 28880, + "ё": 28881, + "ż": 28882, + "ř": 28883, + "ś": 28884, + "Л": 28885, + "ő": 28886, + "„": 28887, + "э": 28888, + "ý": 28889, + "У": 28890, + "â": 28891, + "И": 28892, + "є": 28893, + "‘": 28894, + "î": 28895, + "З": 28896, + "Ф": 28897, + "ò": 28898, + "•": 28899, + "ć": 28900, + "É": 28901, + "°": 28902, + "ș": 28903, + "Х": 28904, + "ț": 28905, + "ô": 28906, + "Е": 28907, + "ń": 28908, + "Ч": 28909, + "Ш": 28910, + "ø": 28911, + "ù": 28912, + "ů": 28913, + "的": 28914, + "ا": 28915, + "æ": 28916, + "њ": 28917, + "љ": 28918, + "ë": 28919, + "ï": 28920, + "Э": 28921, + "£": 28922, + "−": 28923, + ",": 28924, + "õ": 28925, + "ћ": 28926, + "­": 28927, + "Ц": 28928, + "І": 28929, + "ā": 28930, + "ű": 28931, + "†": 28932, + "ل": 28933, + "ō": 28934, + "​": 28935, + "º": 28936, + "Я": 28937, + "′": 28938, + "Á": 28939, + "Ö": 28940, + "²": 28941, + "Ж": 28942, + "ì": 28943, + "。": 28944, + "数": 28945, + "×": 28946, + "ر": 28947, + "α": 28948, + "́": 28949, + "Ю": 28950, + "û": 28951, + "œ": 28952, + "ı": 28953, + "م": 28954, + "ن": 28955, + "ª": 28956, + "ź": 28957, + "ο": 28958, + "″": 28959, + "€": 28960, + "Ü": 28961, + "و": 28962, + "用": 28963, + "À": 28964, + "Č": 28965, + "Š": 28966, + "ت": 28967, + "د": 28968, + "一": 28969, + "¿": 28970, + "是": 28971, + "ي": 28972, + "ђ": 28973, + "®": 28974, + "ی": 28975, + "ν": 28976, + "đ": 28977, + "τ": 28978, + "─": 28979, + "ι": 28980, + "ε": 28981, + "→": 28982, + "ب": 28983, + "Å": 28984, + "ū": 28985, + "№": 28986, + "ş": 28987, + "不": 28988, + "џ": 28989, + "ー": 28990, + "中": 28991, + "Î": 28992, + "の": 28993, + ":": 28994, + "个": 28995, + "Й": 28996, + "ρ": 28997, + "有": 28998, + "Ä": 28999, + " ": 29000, + "ī": 29001, + "©": 29002, + "为": 29003, + "ه": 29004, + "י": 29005, + "ו": 29006, + "时": 29007, + "س": 29008, + "Ś": 29009, + "在": 29010, + "件": 29011, + "取": 29012, + "ς": 29013, + "™": 29014, + "이": 29015, + "σ": 29016, + "μ": 29017, + "定": 29018, + "文": 29019, + "据": 29020, + "置": 29021, + "Ž": 29022, + "±": 29023, + "表": 29024, + "成": 29025, + "ň": 29026, + "λ": 29027, + "¡": 29028, + "È": 29029, + "π": 29030, + "字": 29031, + "│": 29032, + "Ј": 29033, + "回": 29034, + "Є": 29035, + "到": 29036, + "行": 29037, + "§": 29038, + "½": 29039, + "ع": 29040, + "、": 29041, + "Ł": 29042, + "다": 29043, + "ン": 29044, + "κ": 29045, + "名": 29046, + "ה": 29047, + "入": 29048, + "η": 29049, + "大": 29050, + "对": 29051, + "可": 29052, + "Â": 29053, + "上": 29054, + "█": 29055, + "新": 29056, + "ف": 29057, + "加": 29058, + "要": 29059, + "Ż": 29060, + "下": 29061, + "分": 29062, + "值": 29063, + "ת": 29064, + "出": 29065, + "类": 29066, + "请": 29067, + "’": 29068, + "息": 29069, + "Ú": 29070, + "υ": 29071, + "获": 29072, + "示": 29073, + "以": 29074, + "ר": 29075, + "接": 29076, + "ל": 29077, + "を": 29078, + "存": 29079, + "信": 29080, + "设": 29081, + "方": 29082, + "ش": 29083, + "能": 29084, + "点": 29085, + "人": 29086, + "前": 29087, + "ğ": 29088, + "作": 29089, + "═": 29090, + "↘": 29091, + "ð": 29092, + "理": 29093, + "■": 29094, + "法": 29095, + "️": 29096, + "ˈ": 29097, + "果": 29098, + "发": 29099, + "ح": 29100, + "γ": 29101, + "ɵ": 29102, + "า": 29103, + "َ": 29104, + "了": 29105, + "户": 29106, + "Í": 29107, + "ə": 29108, + "ス": 29109, + "查": 29110, + "し": 29111, + "מ": 29112, + "单": 29113, + "ť": 29114, + "ق": 29115, + "る": 29116, + "间": 29117, + "如": 29118, + "本": 29119, + "后": 29120, + "ί": 29121, + "式": 29122, + "ト": 29123, + "Щ": 29124, + "Ó": 29125, + "す": 29126, + "א": 29127, + "生": 29128, + "动": 29129, + "ک": 29130, + "和": 29131, + "い": 29132, + "€": 29133, + "ა": 29134, + "가": 29135, + "하": 29136, + "�": 29137, + "小": 29138, + "返": 29139, + "否": 29140, + "ة": 29141, + "日": 29142, + "로": 29143, + "标": 29144, + "码": 29145, + "地": 29146, + "位": 29147, + "에": 29148, + " ": 29149, + "列": 29150, + "수": 29151, + "β": 29152, + "除": 29153, + "使": 29154, + "ש": 29155, + "ج": 29156, + "イ": 29157, + "δ": 29158, + "自": 29159, + "于": 29160, + "지": 29161, + "当": 29162, + "所": 29163, + "기": 29164, + "ი": 29165, + "ב": 29166, + "ร": 29167, + "★": 29168, + "子": 29169, + "号": 29170, + "ك": 29171, + "参": 29172, + "型": 29173, + "に": 29174, + "는": 29175, + "这": 29176, + "开": 29177, + "น": 29178, + "会": 29179, + "器": 29180, + "面": 29181, + "ル": 29182, + "图": 29183, + "度": 29184, + ")": 29185, + "(": 29186, + "의": 29187, + "内": 29188, + "을": 29189, + "最": 29190, + "”": 29191, + "化": 29192, + "建": 29193, + "니": 29194, + "量": 29195, + "😂": 29196, + "始": 29197, + "ē": 29198, + "خ": 29199, + "를": 29200, + "ά": 29201, + "过": 29202, + "³": 29203, + "´": 29204, + "组": 29205, + "功": 29206, + "‎": 29207, + "Ÿ": 29208, + "区": 29209, + "ز": 29210, + "ґ": 29211, + "ό": 29212, + "ッ": 29213, + "ω": 29214, + "Ç": 29215, + "选": 29216, + "通": 29217, + "结": 29218, + "录": 29219, + "改": 29220, + "ク": 29221, + "目": 29222, + "指": 29223, + "务": 29224, + "๐": 29225, + "输": 29226, + "た": 29227, + "อ": 29228, + "关": 29229, + "で": 29230, + "调": 29231, + "ा": 29232, + "정": 29233, + "合": 29234, + "已": 29235, + "시": 29236, + "部": 29237, + "页": 29238, + "━": 29239, + "ː": 29240, + "ま": 29241, + "我": 29242, + "求": 29243, + "市": 29244, + "次": 29245, + "נ": 29246, + "实": 29247, + "将": 29248, + "重": 29249, + "更": 29250, + "制": 29251, + "符": 29252, + "配": 29253, + "象": 29254, + "θ": 29255, + "ก": 29256, + "て": 29257, + "进": 29258, + "需": 29259, + "Đ": 29260, + "性": 29261, + "认": 29262, + "来": 29263, + "题": 29264, + "程": 29265, + "模": 29266, + "!": 29267, + "失": 29268, + "口": 29269, + "な": 29270, + "έ": 29271, + "": 29272, + "空": 29273, + "‍": 29274, + "期": 29275, + "者": 29276, + "は": 29277, + "Ђ": 29278, + "提": 29279, + "ή": 29280, + "ラ": 29281, + "한": 29282, + "态": 29283, + "复": 29284, + "ง": 29285, + "ე": 29286, + "Ø": 29287, + "리": 29288, + "修": 29289, + "‚": 29290, + "得": 29291, + "多": 29292, + "格": 29293, + "자": 29294, + "ע": 29295, + "่": 29296, + "函": 29297, + "应": 29298, + "↗": 29299, + "्": 29300, + "เ": 29301, + "正": 29302, + "注": 29303, + "스": 29304, + "서": 29305, + "リ": 29306, + "φ": 29307, + "ص": 29308, + "が": 29309, + "则": 29310, + "消": 29311, + "节": 29312, + "序": 29313, + "代": 29314, + "사": 29315, + "と": 29316, + "ד": 29317, + "้": 29318, + "र": 29319, + "此": 29320, + "保": 29321, + "ア": 29322, + "ư": 29323, + "인": 29324, + "ė": 29325, + "处": 29326, + "删": 29327, + "ɛ": 29328, + "容": 29329, + "ط": 29330, + "“": 29331, + "之": 29332, + "包": 29333, + "状": 29334, + "ド": 29335, + "İ": 29336, + "体": 29337, + "同": 29338, + "事": 29339, + "🙂": 29340, + "タ": 29341, + "χ": 29342, + "ʿ": 29343, + "Ș": 29344, + "主": 29345, + "品": 29346, + "ק": 29347, + "询": 29348, + "创": 29349, + "该": 29350, + " ": 29351, + "元": 29352, + "第": 29353, + "天": 29354, + "或": 29355, + "年": 29356, + "转": 29357, + "ח": 29358, + "传": 29359, + "ţ": 29360, + "路": 29361, + "例": 29362, + "机": 29363, + "Ã": 29364, + "ď": 29365, + "高": 29366, + "相": 29367, + "โ": 29368, + "片": 29369, + "―": 29370, + "操": 29371, + "ա": 29372, + "ม": 29373, + "全": 29374, + "无": 29375, + "月": 29376, + "称": 29377, + "ั": 29378, + "就": 29379, + "™": 29380, + "明": 29381, + "计": 29382, + "你": 29383, + "败": 29384, + "密": 29385, + "解": 29386, + "れ": 29387, + "أ": 29388, + "变": 29389, + "段": 29390, + "条": 29391, + "默": 29392, + "●": 29393, + "ล": 29394, + "色": 29395, + "断": 29396, + "商": 29397, + "ם": 29398, + "か": 29399, + "里": 29400, + "系": 29401, + "编": 29402, + "错": 29403, + "트": 29404, + "只": 29405, + "县": 29406, + "ს": 29407, + "常": 29408, + "初": 29409, + "ɔ": 29410, + "Α": 29411, + "フ": 29412, + "►": 29413, + "等": 29414, + "일": 29415, + "・": 29416, + "Ō": 29417, + "情": 29418, + "现": 29419, + "Ř": 29420, + "ِ": 29421, + "さ": 29422, + "ạ": 29423, + "용": 29424, + "证": 29425, + "해": 29426, + "手": 29427, + "支": 29428, + "입": 29429, + "服": 29430, + "்": 29431, + "道": 29432, + "어": 29433, + "送": 29434, + "载": 29435, + "限": 29436, + "线": 29437, + "属": 29438, + "—": 29439, + "他": 29440, + "放": 29441, + "记": 29442, + "公": 29443, + "没": 29444, + "添": 29445, + "显": 29446, + "บ": 29447, + "ย": 29448, + "რ": 29449, + "其": 29450, + "集": 29451, + "金": 29452, + "国": 29453, + "任": 29454, + "ە": 29455, + "话": 29456, + "并": 29457, + "被": 29458, + "ύ": 29459, + "都": 29460, + "گ": 29461, + "意": 29462, + "כ": 29463, + "经": 29464, + "성": 29465, + "看": 29466, + "פ": 29467, + "址": 29468, + "ס": 29469, + "드": 29470, + "交": 29471, + "¼": 29472, + "Џ": 29473, + "完": 29474, + "Δ": 29475, + "义": 29476, + "보": 29477, + "向": 29478, + "换": 29479, + "山": 29480, + "算": 29481, + "二": 29482, + "پ": 29483, + "⁄": 29484, + "判": 29485, + "级": 29486, + "工": 29487, + "ด": 29488, + "⠀": 29489, + "家": 29490, + "レ": 29491, + "三": 29492, + "原": 29493, + "】": 29494, + "长": 29495, + "া": 29496, + "管": 29497, + "ѝ": 29498, + "क": 29499, + "学": 29500, + "ロ": 29501, + "验": 29502, + "写": 29503, + "Œ": 29504, + "从": 29505, + "【": 29506, + "收": 29507, + "ả": 29508, + "未": 29509, + "登": 29510, + "고": 29511, + "源": 29512, + "每": 29513, + "µ": 29514, + "误": 29515, + "り": 29516, + "요": 29517, + "按": 29518, + "ว": 29519, + "权": 29520, + "根": 29521, + "プ": 29522, + "串": 29523, + "ส": 29524, + "›": 29525, + "제": 29526, + "シ": 29527, + "Ş": 29528, + "确": 29529, + "好": 29530, + "统": 29531, + "效": 29532, + "网": 29533, + "\u0001": 29534, + "物": 29535, + "아": 29536, + "也": 29537, + "은": 29538, + "ệ": 29539, + "न": 29540, + "项": 29541, + "资": 29542, + "こ": 29543, + "引": 29544, + "ジ": 29545, + "ค": 29546, + "版": 29547, + "ท": 29548, + "平": 29549, + "们": 29550, + "与": 29551, + "き": 29552, + "移": 29553, + "ि": 29554, + "素": 29555, + "执": 29556, + "주": 29557, + "‐": 29558, + "Ґ": 29559, + "ี": 29560, + "板": 29561, + "问": 29562, + "Ε": 29563, + "安": 29564, + "면": 29565, + "소": 29566, + "ต": 29567, + "ิ": 29568, + "持": 29569, + "습": 29570, + "Σ": 29571, + "ら": 29572, + "コ": 29573, + "心": 29574, + "Π": 29575, + "打": 29576, + "」": 29577, + "상": 29578, + "「": 29579, + "检": 29580, + "库": 29581, + "÷": 29582, + "으": 29583, + "测": 29584, + "ん": 29585, + "े": 29586, + "ُ": 29587, + "力": 29588, + "直": 29589, + "由": 29590, + "ى": 29591, + "试": 29592, + "必": 29593, + "端": 29594, + "ʻ": 29595, + "先": 29596, + "↑": 29597, + "命": 29598, + "도": 29599, + "전": 29600, + "ห": 29601, + "员": 29602, + "ɪ": 29603, + "있": 29604, + "比": 29605, + "ṣ": 29606, + "時": 29607, + "择": 29608, + "ذ": 29609, + "テ": 29610, + "‌": 29611, + "构": 29612, + "备": 29613, + "그": 29614, + "链": 29615, + "说": 29616, + "ლ": 29617, + "ן": 29618, + "签": 29619, + "う": 29620, + "غ": 29621, + "ế": 29622, + "ض": 29623, + "ḥ": 29624, + "启": 29625, + "력": 29626, + "ო": 29627, + "付": 29628, + "მ": 29629, + "索": 29630, + "特": 29631, + "ג": 29632, + "西": 29633, + "대": 29634, + "├": 29635, + "–": 29636, + "Ž": 29637, + "外": 29638, + "צ": 29639, + "头": 29640, + "连": 29641, + "流": 29642, + "◄": 29643, + "デ": 29644, + "カ": 29645, + "র": 29646, + "오": 29647, + "找": 29648, + "清": 29649, + "🤣": 29650, + "去": 29651, + "₹": 29652, + "경": 29653, + "グ": 29654, + "ْ": 29655, + "¢": 29656, + "因": 29657, + "": 29658, + "Κ": 29659, + "增": 29660, + "知": 29661, + "¶": 29662, + "像": 29663, + "♥": 29664, + "터": 29665, + "く": 29666, + "ậ": 29667, + "メ": 29668, + "Æ": 29669, + "省": 29670, + "स": 29671, + "म": 29672, + "❤": 29673, + "あ": 29674, + "样": 29675, + "起": 29676, + "台": 29677, + "读": 29678, + "角": 29679, + "南": 29680, + "整": 29681, + "订": 29682, + "\f": 29683, + "ט": 29684, + "マ": 29685, + "্": 29686, + "우": 29687, + "ն": 29688, + "您": 29689, + "ئ": 29690, + "基": 29691, + "水": 29692, + "생": 29693, + "‑": 29694, + "나": 29695, + "画": 29696, + "描": 29697, + "击": 29698, + "っ": 29699, + "라": 29700, + "ნ": 29701, + "ր": 29702, + "业": 29703, + "ბ": 29704, + "别": 29705, + "♦": 29706, + "ィ": 29707, + "त": 29708, + "给": 29709, + "문": 29710, + "形": 29711, + "控": 29712, + "然": 29713, + "동": 29714, + "Њ": 29715, + "⁠": 29716, + "东": 29717, + "ป": 29718, + "州": 29719, + "排": 29720, + "세": 29721, + "装": 29722, + "할": 29723, + "Ć": 29724, + "∞": 29725, + "海": 29726, + "城": 29727, + "键": 29728, + "径": 29729, + "호": 29730, + "화": 29731, + "្": 29732, + "料": 29733, + "ơ": 29734, + "ी": 29735, + "ウ": 29736, + "具": 29737, + "ブ": 29738, + "块": 29739, + "再": 29740, + "ố": 29741, + "电": 29742, + ";": 29743, + "위": 29744, + "两": 29745, + "而": 29746, + "장": 29747, + "آ": 29748, + "Ț": 29749, + "バ": 29750, + "还": 29751, + "令": 29752, + "キ": 29753, + "ّ": 29754, + "값": 29755, + "번": 29756, + "만": 29757, + "总": 29758, + "ल": 29759, + "▲": 29760, + "异": 29761, + "光": 29762, + "客": 29763, + "非": 29764, + "ị": 29765, + "": 29766, + "þ": 29767, + "設": 29768, + "述": 29769, + "합": 29770, + "?": 29771, + "✔": 29772, + "导": 29773, + "ṇ": 29774, + "부": 29775, + "˙": 29776, + "Τ": 29777, + "も": 29778, + "구": 29779, + "镇": 29780, + "작": 29781, + "░": 29782, + "步": 29783, + "ộ": 29784, + "活": 29785, + "พ": 29786, + "←": 29787, + "ǎ": 29788, + "จ": 29789, + "束": 29790, + "ـ": 29791, + "‘": 29792, + "那": 29793, + "प": 29794, + "エ": 29795, + "志": 29796, + "么": 29797, + "运": 29798, + "北": 29799, + "超": 29800, + "་": 29801, + "布": 29802, + "ώ": 29803, + "͡": 29804, + "少": 29805, + "파": 29806, + "ʃ": 29807, + "ム": 29808, + "•": 29809, + "卡": 29810, + "ন": 29811, + "Μ": 29812, + "ɑ": 29813, + "😉": 29814, + "辑": 29815, + "원": 29816, + "美": 29817, + "产": 29818, + "利": 29819, + "모": 29820, + "联": 29821, + "界": 29822, + "체": 29823, + "种": 29824, + "王": 29825, + "ľ": 29826, + "여": 29827, + "메": 29828, + "域": 29829, + "ვ": 29830, + "立": 29831, + "록": 29832, + "게": 29833, + "إ": 29834, + "ṭ": 29835, + "神": 29836, + "ո": 29837, + "音": 29838, + "☆": 29839, + "Ñ": 29840, + "조": 29841, + "動": 29842, + "缓": 29843, + "과": 29844, + "报": 29845, + "ʼ": 29846, + "ា": 29847, + "되": 29848, + "ե": 29849, + "视": 29850, + "ช": 29851, + "详": 29852, + "แ": 29853, + "¦": 29854, + "把": 29855, + "க": 29856, + "ি": 29857, + "출": 29858, + "비": 29859, + "边": 29860, + "框": 29861, + "व": 29862, + "サ": 29863, + "Ι": 29864, + "Ο": 29865, + "オ": 29866, + "¾": 29867, + "历": 29868, + "ŏ": 29869, + "门": 29870, + "ข": 29871, + "含": 29872, + "¬": 29873, + "周": 29874, + "填": 29875, + "待": 29876, + "ะ": 29877, + "დ": 29878, + "Ї": 29879, + "额": 29880, + "음": 29881, + "四": 29882, + "だ": 29883, + "회": 29884, + "止": 29885, + "率": 29886, + "环": 29887, + "パ": 29888, + "래": 29889, + "闭": 29890, + "̀": 29891, + "语": 29892, + "개": 29893, + "身": 29894, + "藏": 29895, + "य": 29896, + "된": 29897, + "即": 29898, + "拉": 29899, + "선": 29900, + "변": 29901, + "≥": 29902, + "ุ": 29903, + "些": 29904, + "🤷": 29905, + "せ": 29906, + "左": 29907, + "ợ": 29908, + "右": 29909, + "ể": 29910, + "내": 29911, + "ּ": 29912, + "ז": 29913, + "ে": 29914, + "告": 29915, + "ấ": 29916, + "白": 29917, + "账": 29918, + "费": 29919, + "江": 29920, + "み": 29921, + "‹": 29922, + "์": 29923, + "‡": 29924, + "造": 29925, + "但": 29926, + "十": 29927, + "它": 29928, + "ं": 29929, + "ŋ": 29930, + "ў": 29931, + "セ": 29932, + "女": 29933, + "⣿": 29934, + "ի": 29935, + "京": 29936, + "触": 29937, + "함": 29938, + "들": 29939, + "Ā": 29940, + "˜": 29941, + "石": 29942, + "よ": 29943, + "田": 29944, + "易": 29945, + "规": 29946, + "展": 29947, + "¯": 29948, + "做": 29949, + "星": 29950, + "უ": 29951, + "✓": 29952, + "თ": 29953, + "供": 29954, + "명": 29955, + "ξ": 29956, + "己": 29957, + "且": 29958, + "插": 29959, + "景": 29960, + "切": 29961, + "ไ": 29962, + "없": 29963, + "ョ": 29964, + "及": 29965, + "Ν": 29966, + "미": 29967, + "ث": 29968, + "데": 29969, + "价": 29970, + "乡": 29971, + "ह": 29972, + "チ": 29973, + "真": 29974, + "太": 29975, + "ู": 29976, + "ダ": 29977, + "局": 29978, + "♂": 29979, + "退": 29980, + "ு": 29981, + "ক": 29982, + "ி": 29983, + "何": 29984, + "😭": 29985, + "¥": 29986, + "": 29987, + "≈": 29988, + "司": 29989, + "层": 29990, + "실": 29991, + "站": 29992, + "首": 29993, + "款": 29994, + "រ": 29995, + "間": 29996, + "ָ": 29997, + "저": 29998, + "监": 29999, + "ァ": 30000, + "册": 30001, + "案": 30002, + "ो": 30003, + "反": 30004, + "听": 30005, + "族": 30006, + "析": 30007, + "ื": 30008, + "秒": 30009, + "공": 30010, + "œ": 30011, + "🚀": 30012, + "거": 30013, + "재": 30014, + "‚": 30015, + "場": 30016, + "广": 30017, + "播": 30018, + "║": 30019, + "⋅": 30020, + "技": 30021, + "贴": 30022, + "想": 30023, + "ʁ": 30024, + "ớ": 30025, + "ャ": 30026, + "중": 30027, + "》": 30028, + "速": 30029, + "频": 30030, + "队": 30031, + "ำ": 30032, + "け": 30033, + "ु": 30034, + "≤": 30035, + "↓": 30036, + "须": 30037, + "菜": 30038, + "̃": 30039, + "剪": 30040, + "버": 30041, + "ェ": 30042, + "Λ": 30043, + "细": 30044, + "選": 30045, + "द": 30046, + "¹": 30047, + "许": 30048, + "ầ": 30049, + "世": 30050, + "ュ": 30051, + "ء": 30052, + "‡": 30053, + "候": 30054, + "共": 30055, + "크": 30056, + "ธ": 30057, + "설": 30058, + "快": 30059, + "友": 30060, + "ְ": 30061, + "车": 30062, + "推": 30063, + "花": 30064, + "言": 30065, + "چ": 30066, + "至": 30067, + "開": 30068, + "校": 30069, + "個": 30070, + "村": 30071, + "つ": 30072, + "▌": 30073, + "ப": 30074, + "결": 30075, + "ņ": 30076, + "优": 30077, + "ន": 30078, + "达": 30079, + "核": 30080, + "ナ": 30081, + "场": 30082, + "影": 30083, + "🏻": 30084, + "钮": 30085, + "ظ": 30086, + "Þ": 30087, + "▼": 30088, + "お": 30089, + "份": 30090, + "微": 30091, + "ờ": 30092, + "识": 30093, + "행": 30094, + "《": 30095, + "ใ": 30096, + "ọ": 30097, + "预": 30098, + "ব": 30099, + "த": 30100, + "": 30101, + "ų": 30102, + "마": 30103, + "않": 30104, + "ɡ": 30105, + "계": 30106, + "연": 30107, + "五": 30108, + "Ź": 30109, + "め": 30110, + "很": 30111, + "간": 30112, + "無": 30113, + "ប": 30114, + "社": 30115, + "Ê": 30116, + "书": 30117, + "顶": 30118, + "ტ": 30119, + "才": 30120, + "云": 30121, + "└": 30122, + "ζ": 30123, + "،": 30124, + "搜": 30125, + "신": 30126, + "유": 30127, + "‏": 30128, + "✅": 30129, + "⭐": 30130, + "照": 30131, + "短": 30132, + "川": 30133, + "後": 30134, + "范": 30135, + "民": 30136, + "治": 30137, + "章": 30138, + "ề": 30139, + "바": 30140, + "ә": 30141, + "⚭": 30142, + "河": 30143, + "论": 30144, + "え": 30145, + "Ω": 30146, + "√": 30147, + "Ă": 30148, + "Γ": 30149, + "坐": 30150, + "적": 30151, + "停": 30152, + "추": 30153, + "受": 30154, + "♀": 30155, + "ʾ": 30156, + "树": 30157, + "林": 30158, + "치": 30159, + "fi": 30160, + "▒": 30161, + "张": 30162, + "着": 30163, + "访": 30164, + "考": 30165, + "教": 30166, + "ग": 30167, + "准": 30168, + "印": 30169, + "精": 30170, + "窗": 30171, + "宝": 30172, + "ち": 30173, + "围": 30174, + "ַ": 30175, + "致": 30176, + "モ": 30177, + "때": 30178, + "随": 30179, + "储": 30180, + "况": 30181, + "邮": 30182, + "武": 30183, + "⛔": 30184, + "维": 30185, + "ү": 30186, + "跳": 30187, + "ब": 30188, + "投": 30189, + "ủ": 30190, + "표": 30191, + "반": 30192, + "英": 30193, + "ʰ": 30194, + "👍": 30195, + "ज": 30196, + "带": 30197, + "為": 30198, + "续": 30199, + "ɨ": 30200, + "처": 30201, + "₂": 30202, + "클": 30203, + "群": 30204, + "현": 30205, + "风": 30206, + "购": 30207, + "ក": 30208, + "老": 30209, + "留": 30210, + "球": 30211, + "프": 30212, + "▄": 30213, + "史": 30214, + "Љ": 30215, + "⟩": 30216, + "분": 30217, + "გ": 30218, + "店": 30219, + "审": 30220, + "료": 30221, + "목": 30222, + "略": 30223, + "관": 30224, + "ִ": 30225, + "科": 30226, + "货": 30227, + "ம": 30228, + "络": 30229, + "阳": 30230, + "Ḥ": 30231, + "資": 30232, + "若": 30233, + "স": 30234, + "ہ": 30235, + "宽": 30236, + "见": 30237, + "ズ": 30238, + "游": 30239, + "방": 30240, + "ồ": 30241, + "ɾ": 30242, + "열": 30243, + "러": 30244, + "ך": 30245, + "\u001b": 30246, + "်": 30247, + "余": 30248, + "响": 30249, + "缩": 30250, + "ட": 30251, + "评": 30252, + "允": 30253, + "离": 30254, + "🤔": 30255, + "Ё": 30256, + "ʊ": 30257, + "黑": 30258, + "马": 30259, + "⟨": 30260, + "値": 30261, + "箱": 30262, + "야": 30263, + "ម": 30264, + "Ő": 30265, + "感": 30266, + "ツ": 30267, + "ụ": 30268, + "ポ": 30269, + "확": 30270, + "声": 30271, + "战": 30272, + "ѕ": 30273, + "変": 30274, + "와": 30275, + "父": 30276, + "ベ": 30277, + "助": 30278, + "업": 30279, + "ʲ": 30280, + "ÿ": 30281, + "充": 30282, + "强": 30283, + "博": 30284, + "ミ": 30285, + "销": 30286, + "당": 30287, + "記": 30288, + "什": 30289, + "匹": 30290, + "ւ": 30291, + "そ": 30292, + "코": 30293, + "ল": 30294, + "ŭ": 30295, + "午": 30296, + "ニ": 30297, + "\u0012": 30298, + "ʒ": 30299, + "შ": 30300, + "某": 30301, + "ォ": 30302, + "足": 30303, + "타": 30304, + "Ð": 30305, + "ხ": 30306, + "름": 30307, + "木": 30308, + "楼": 30309, + "최": 30310, + "红": 30311, + "¨": 30312, + "古": 30313, + "\u0006": 30314, + "단": 30315, + "今": 30316, + "ʔ": 30317, + "ट": 30318, + "ম": 30319, + "斯": 30320, + "語": 30321, + "Ÿ": 30322, + "🙄": 30323, + "牌": 30324, + "안": 30325, + "ស": 30326, + "颜": 30327, + "~": 30328, + "克": 30329, + "深": 30330, + "금": 30331, + "會": 30332, + "尔": 30333, + "释": 30334, + "批": 30335, + "산": 30336, + "野": 30337, + "防": 30338, + "Η": 30339, + "ө": 30340, + "ψ": 30341, + "ボ": 30342, + "š": 30343, + "各": 30344, + "진": 30345, + "追": 30346, + "句": 30347, + "警": 30348, + "Φ": 30349, + "ѣ": 30350, + "ḍ": 30351, + "词": 30352, + "男": 30353, + "글": 30354, + "식": 30355, + "隐": 30356, + "복": 30357, + "盘": 30358, + "Ì": 30359, + "申": 30360, + "议": 30361, + "ザ": 30362, + "近": 30363, + "능": 30364, + "য": 30365, + "東": 30366, + "這": 30367, + "ர": 30368, + "距": 30369, + "院": 30370, + "德": 30371, + "ǐ": 30372, + "针": 30373, + "▀": 30374, + "↔": 30375, + "房": 30376, + "青": 30377, + "政": 30378, + "😅": 30379, + "递": 30380, + "প": 30381, + "波": 30382, + "ソ": 30383, + "绑": 30384, + "ビ": 30385, + "ễ": 30386, + "포": 30387, + "\u0010": 30388, + "ử": 30389, + "등": 30390, + "환": 30391, + "士": 30392, + "ত": 30393, + "Θ": 30394, + "초": 30395, + "境": 30396, + "差": 30397, + "采": 30398, + "디": 30399, + "ĩ": 30400, + "升": 30401, + "背": 30402, + "배": 30403, + "龙": 30404, + "街": 30405, + "್": 30406, + "ṛ": 30407, + "ু": 30408, + "弹": 30409, + "魔": 30410, + "객": 30411, + "‰": 30412, + "⌁": 30413, + "ἐ": 30414, + "禁": 30415, + "ผ": 30416, + "қ": 30417, + "島": 30418, + "ா": 30419, + "♭": 30420, + "百": 30421, + "ứ": 30422, + "ネ": 30423, + "专": 30424, + "來": 30425, + "刷": 30426, + "필": 30427, + "յ": 30428, + "ắ": 30429, + "华": 30430, + "Β": 30431, + "श": 30432, + "¸": 30433, + "屏": 30434, + "死": 30435, + "遍": 30436, + "검": 30437, + "Χ": 30438, + "것": 30439, + "八": 30440, + "览": 30441, + "택": 30442, + "唯": 30443, + "∙": 30444, + "¤": 30445, + "페": 30446, + "让": 30447, + "锁": 30448, + "무": 30449, + "思": 30450, + "隔": 30451, + "Ô": 30452, + "\u0013": 30453, + "ṃ": 30454, + "ワ": 30455, + "低": 30456, + "션": 30457, + "半": 30458, + "较": 30459, + "ត": 30460, + "享": 30461, + "积": 30462, + "ˆ": 30463, + "😊": 30464, + "典": 30465, + "ǔ": 30466, + "六": 30467, + "便": 30468, + "ɐ": 30469, + "简": 30470, + "继": 30471, + "仅": 30472, + "尾": 30473, + "‹": 30474, + "வ": 30475, + "կ": 30476, + "ƒ": 30477, + "영": 30478, + "火": 30479, + "湖": 30480, + "書": 30481, + "발": 30482, + "ハ": 30483, + "循": 30484, + "术": 30485, + "結": 30486, + "ļ": 30487, + "乐": 30488, + "滤": 30489, + "종": 30490, + "ถ": 30491, + "ὶ": 30492, + "满": 30493, + "╝": 30494, + "わ": 30495, + "ど": 30496, + "็": 30497, + "형": 30498, + "國": 30499, + "ự": 30500, + "線": 30501, + "블": 30502, + "封": 30503, + "確": 30504, + "依": 30505, + "ս": 30506, + "永": 30507, + "색": 30508, + "歌": 30509, + "數": 30510, + "福": 30511, + "삭": 30512, + "実": 30513, + "레": 30514, + "ſ": 30515, + "千": 30516, + "\u000e": 30517, + "母": 30518, + "더": 30519, + "임": 30520, + "տ": 30521, + "ے": 30522, + "几": 30523, + "双": 30524, + "노": 30525, + "ณ": 30526, + "掉": 30527, + "Ρ": 30528, + "ἀ": 30529, + "標": 30530, + "長": 30531, + "档": 30532, + "태": 30533, + "ペ": 30534, + "본": 30535, + "Œ": 30536, + "底": 30537, + "终": 30538, + "請": 30539, + "კ": 30540, + "̯": 30541, + "예": 30542, + "▬": 30543, + "報": 30544, + "ピ": 30545, + "๏": 30546, + "暂": 30547, + "李": 30548, + "Υ": 30549, + "\u0005": 30550, + "\u0002": 30551, + "替": 30552, + "운": 30553, + "射": 30554, + "\u0018": 30555, + "매": 30556, + "\u0011": 30557, + "🏼": 30558, + "票": 30559, + "附": 30560, + "ノ": 30561, + "ũ": 30562, + "压": 30563, + "阿": 30564, + "Ò": 30565, + "테": 30566, + "∼": 30567, + "万": 30568, + "մ": 30569, + "후": 30570, + "普": 30571, + "截": 30572, + "속": 30573, + "括": 30574, + "😀": 30575, + "ை": 30576, + "▶": 30577, + "까": 30578, + "ট": 30579, + "曲": 30580, + "师": 30581, + "钱": 30582, + "栏": 30583, + "Ы": 30584, + "走": 30585, + "ữ": 30586, + "‬": 30587, + "归": 30588, + "점": 30589, + "🔥": 30590, + "었": 30591, + "連": 30592, + "私": 30593, + "청": 30594, + "刘": 30595, + "免": 30596, + "": 30597, + "奖": 30598, + "見": 30599, + "ֹ": 30600, + "☺": 30601, + "ケ": 30602, + "역": 30603, + "际": 30604, + "받": 30605, + "望": 30606, + "帝": 30607, + "减": 30608, + "두": 30609, + "领": 30610, + "„": 30611, + "钟": 30612, + "ガ": 30613, + "架": 30614, + "든": 30615, + "ல": 30616, + "松": 30617, + "□": 30618, + "越": 30619, + "答": 30620, + "ɕ": 30621, + "ῦ": 30622, + "染": 30623, + "": 30624, + "质": 30625, + "顺": 30626, + "气": 30627, + "╗": 30628, + "計": 30629, + "ქ": 30630, + "亮": 30631, + "🤦": 30632, + "̂": 30633, + "ٹ": 30634, + "座": 30635, + "ˌ": 30636, + "均": 30637, + "\u000b": 30638, + "官": 30639, + "适": 30640, + "护": 30641, + "久": 30642, + "春": 30643, + "曹": 30644, + "皇": 30645, + "脚": 30646, + "池": 30647, + "延": 30648, + "키": 30649, + "품": 30650, + "現": 30651, + "檔": 30652, + "ば": 30653, + "ⴰ": 30654, + "希": 30655, + "玩": 30656, + "固": 30657, + "黄": 30658, + "": 30659, + "☽": 30660, + "银": 30661, + "\u0003": 30662, + "┃": 30663, + "👏": 30664, + "불": 30665, + "攻": 30666, + "へ": 30667, + "决": 30668, + "⊙": 30669, + "宁": 30670, + "च": 30671, + "機": 30672, + "義": 30673, + "ɲ": 30674, + "\u0015": 30675, + "했": 30676, + "ẩ": 30677, + "愛": 30678, + "矩": 30679, + "패": 30680, + "ặ": 30681, + "郎": 30682, + "Ь": 30683, + "绘": 30684, + "负": 30685, + "ổ": 30686, + "ய": 30687, + "汉": 30688, + "編": 30689, + "ێ": 30690, + "്": 30691, + "じ": 30692, + "카": 30693, + "似": 30694, + "ں": 30695, + "や": 30696, + "認": 30697, + "\u000f": 30698, + "過": 30699, + "통": 30700, + "▪": 30701, + "约": 30702, + "香": 30703, + "买": 30704, + "住": 30705, + "╚": 30706, + "😁": 30707, + "扩": 30708, + "静": 30709, + "려": 30710, + "학": 30711, + "钥": 30712, + "증": 30713, + "ỉ": 30714, + "她": 30715, + "食": 30716, + "往": 30717, + "點": 30718, + "偏": 30719, + "康": 30720, + "\u0014": 30721, + "į": 30722, + "준": 30723, + "\u0004": 30724, + "ฟ": 30725, + "♣": 30726, + "戏": 30727, + "ʂ": 30728, + "井": 30729, + "军": 30730, + "爱": 30731, + "ٱ": 30732, + "七": 30733, + "차": 30734, + "币": 30735, + "♠": 30736, + "哈": 30737, + "阅": 30738, + "介": 30739, + "观": 30740, + "區": 30741, + "˜": 30742, + "ً": 30743, + "又": 30744, + "冲": 30745, + "朝": 30746, + "姓": 30747, + "课": 30748, + "龍": 30749, + "각": 30750, + "∈": 30751, + "米": 30752, + "ƒ": 30753, + "喜": 30754, + "夜": 30755, + "团": 30756, + "⇒": 30757, + "远": 30758, + "\u001a": 30759, + "ὐ": 30760, + "承": 30761, + "ಿ": 30762, + "室": 30763, + "ʀ": 30764, + "ង": 30765, + "अ": 30766, + "罗": 30767, + "🙏": 30768, + "软": 30769, + "🟡": 30770, + "건": 30771, + "؟": 30772, + "း": 30773, + "ᴇ": 30774, + "ユ": 30775, + "토": 30776, + "策": 30777, + "̄": 30778, + "국": 30779, + "ֶ": 30780, + "协": 30781, + "营": 30782, + "関": 30783, + "吉": 30784, + "💀": 30785, + "奇": 30786, + "滚": 30787, + "轴": 30788, + "処": 30789, + "土": 30790, + "划": 30791, + "ड": 30792, + "临": 30793, + "ֵ": 30794, + "航": 30795, + "浏": 30796, + "ゴ": 30797, + "別": 30798, + "寺": 30799, + "於": 30800, + "進": 30801, + "ὸ": 30802, + "風": 30803, + "ன": 30804, + "班": 30805, + "◼": 30806, + "九": 30807, + "̥": 30808, + "號": 30809, + "류": 30810, + "础": 30811, + "般": 30812, + "︙": 30813, + "̈": 30814, + "番": 30815, + "✨": 30816, + "😎": 30817, + "ো": 30818, + "😍": 30819, + "單": 30820, + "帧": 30821, + "授": 30822, + "赋": 30823, + "巴": 30824, + "占": 30825, + "假": 30826, + "ṅ": 30827, + "透": 30828, + "項": 30829, + "ħ": 30830, + "馬": 30831, + "🟢": 30832, + "Ľ": 30833, + "լ": 30834, + "券": 30835, + "같": 30836, + "類": 30837, + "對": 30838, + "월": 30839, + "激": 30840, + "\u0017": 30841, + "戦": 30842, + "独": 30843, + "訊": 30844, + "ិ": 30845, + "套": 30846, + "ʷ": 30847, + "跟": 30848, + "ở": 30849, + "渲": 30850, + "顯": 30851, + "降": 30852, + "ာ": 30853, + "尼": 30854, + "血": 30855, + "언": 30856, + "牛": 30857, + "將": 30858, + "ศ": 30859, + "拍": 30860, + "刻": 30861, + "ზ": 30862, + "╔": 30863, + "藤": 30864, + "్": 30865, + "ῶ": 30866, + "🟠": 30867, + "良": 30868, + "김": 30869, + "দ": 30870, + "Ṣ": 30871, + "録": 30872, + "伊": 30873, + "落": 30874, + "雄": 30875, + "雪": 30876, + "映": 30877, + "著": 30878, + "른": 30879, + "ფ": 30880, + "対": 30881, + "智": 30882, + "译": 30883, + "┬": 30884, + "抽": 30885, + "ῖ": 30886, + "酒": 30887, + "Ћ": 30888, + "股": 30889, + "់": 30890, + "순": 30891, + "직": 30892, + "भ": 30893, + "谷": 30894, + "물": 30895, + "ǒ": 30896, + "⠄": 30897, + "热": 30898, + "終": 30899, + "夹": 30900, + "干": 30901, + "彩": 30902, + "敗": 30903, + "ќ": 30904, + "♯": 30905, + "̣": 30906, + "վ": 30907, + "轮": 30908, + "阵": 30909, + "夏": 30910, + "幕": 30911, + "吧": 30912, + "港": 30913, + "益": 30914, + "儿": 30915, + "액": 30916, + "售": 30917, + "兵": 30918, + "惠": 30919, + "欢": 30920, + "›": 30921, + "零": 30922, + "學": 30923, + "ž": 30924, + "員": 30925, + "ỗ": 30926, + "玉": 30927, + "逻": 30928, + "᥀": 30929, + "吗": 30930, + "沒": 30931, + "≠": 30932, + "너": 30933, + "ச": 30934, + "\u0016": 30935, + "夫": 30936, + "წ": 30937, + "堂": 30938, + "電": 30939, + "≡": 30940, + "陆": 30941, + "져": 30942, + "研": 30943, + "荐": 30944, + "健": 30945, + "碼": 30946, + "练": 30947, + "検": 30948, + "송": 30949, + "ै": 30950, + "哪": 30951, + "圆": 30952, + "Ա": 30953, + "↩": 30954, + "托": 30955, + "̪": 30956, + "ू": 30957, + "缀": 30958, + "네": 30959, + "沙": 30960, + "兴": 30961, + "病": 30962, + "\u0007": 30963, + "ល": 30964, + "ừ": 30965, + "Ἀ": 30966, + "강": 30967, + "항": 30968, + "\u0019": 30969, + "換": 30970, + "温": 30971, + "帖": 30972, + "ទ": 30973, + "込": 30974, + "削": 30975, + "알": 30976, + "征": 30977, + "习": 30978, + "법": 30979, + "栈": 30980, + "绝": 30981, + "": 30982, + "ڕ": 30983, + "圖": 30984, + "苏": 30985, + "発": 30986, + "ု": 30987, + "町": 30988, + "互": 30989, + "়": 30990, + "ც": 30991, + "守": 30992, + "새": 30993, + "侧": 30994, + "草": 30995, + "ས": 30996, + "扫": 30997, + "‒": 30998, + "恢": 30999, + "ң": 31000, + "ण": 31001, + "ற": 31002, + "째": 31003, + "්": 31004, + "拟": 31005, + "派": 31006, + "🏽": 31007, + "呼": 31008, + "Š": 31009, + "演": 31010, + "究": 31011, + "교": 31012, + "ɣ": 31013, + "ए": 31014, + "ី": 31015, + "ף": 31016, + "富": 31017, + "駅": 31018, + "ず": 31019, + "♪": 31020, + "😆": 31021, + "접": 31022, + "ғ": 31023, + "▓": 31024, + "존": 31025, + "ಾ": 31026, + "旋": 31027, + "ゃ": 31028, + "补": 31029, + "ץ": 31030, + "門": 31031, + "ច": 31032, + "날": 31033, + "ภ": 31034, + "ག": 31035, + "傳": 31036, + "∆": 31037, + "†": 31038, + "ׁ": 31039, + "缺": 31040, + "頭": 31041, + "怪": 31042, + "組": 31043, + "별": 31044, + "Ъ": 31045, + "發": 31046, + "雷": 31047, + "ರ": 31048, + "ซ": 31049, + "び": 31050, + "翻": 31051, + "ھ": 31052, + "პ": 31053, + "題": 31054, + "居": 31055, + "집": 31056, + "🌍": 31057, + "˚": 31058, + "避": 31059, + "줄": 31060, + "ុ": 31061, + "滑": 31062, + "故": 31063, + "ญ": 31064, + "〜": 31065, + "ನ": 31066, + "양": 31067, + "완": 31068, + "ள": 31069, + "倍": 31070, + "宗": 31071, + "択": 31072, + "브": 31073, + "ɴ": 31074, + "効": 31075, + "尺": 31076, + "視": 31077, + "ẽ": 31078, + "覆": 31079, + "ध": 31080, + "骨": 31081, + "달": 31082, + "ᴛ": 31083, + "蓝": 31084, + "關": 31085, + "額": 31086, + "Õ": 31087, + "∗": 31088, + "卷": 31089, + "갑": 31090, + "르": 31091, + "众": 31092, + "ᴀ": 31093, + "態": 31094, + "ٰ": 31095, + "暗": 31096, + "君": 31097, + "錯": 31098, + "ɒ": 31099, + "យ": 31100, + "ḫ": 31101, + "ῆ": 31102, + "亚": 31103, + "♡": 31104, + "割": 31105, + "鼠": 31106, + "̶": 31107, + "Ë": 31108, + "読": 31109, + "격": 31110, + "ゲ": 31111, + "眼": 31112, + "Ý": 31113, + "ژ": 31114, + "雨": 31115, + "宮": 31116, + "쪽": 31117, + "ष": 31118, + "複": 31119, + "剩": 31120, + "早": 31121, + "杂": 31122, + "焦": 31123, + "贝": 31124, + "突": 31125, + "워": 31126, + "另": 31127, + "摄": 31128, + "\b": 31129, + "‭": 31130, + "府": 31131, + "외": 31132, + "盖": 31133, + "\u001c": 31134, + "ษ": 31135, + "佛": 31136, + "概": 31137, + "與": 31138, + "經": 31139, + "-": 31140, + "һ": 31141, + "問": 31142, + "ು": 31143, + "ἰ": 31144, + "話": 31145, + "倒": 31146, + "葛": 31147, + "べ": 31148, + "ろ": 31149, + "\u001e": 31150, + "।": 31151, + "ေ": 31152, + "ᴏ": 31153, + "训": 31154, + "體": 31155, + "👌": 31156, + "內": 31157, + "က": 31158, + "企": 31159, + "약": 31160, + "찾": 31161, + "ོ": 31162, + "破": 31163, + "輸": 31164, + "림": 31165, + "塔": 31166, + "턴": 31167, + "杀": 31168, + "』": 31169, + "味": 31170, + "浮": 31171, + "┆": 31172, + "ġ": 31173, + "郡": 31174, + "┐": 31175, + "『": 31176, + "阶": 31177, + "雅": 31178, + "┈": 31179, + "园": 31180, + ".": 31181, + "吃": 31182, + "남": 31183, + " ": 31184, + "ར": 31185, + "帮": 31186, + "毛": 31187, + "耗": 31188, + "举": 31189, + "ర": 31190, + "拿": 31191, + "밀": 31192, + "ご": 31193, + "够": 31194, + "礼": 31195, + "ព": 31196, + "ね": 31197, + "‰": 31198, + "兰": 31199, + "❌": 31200, + "折": 31201, + "십": 31202, + "💎": 31203, + "業": 31204, + "诸": 31205, + "孙": 31206, + "བ": 31207, + "😳": 31208, + "種": 31209, + "Ï": 31210, + "ึ": 31211, + "⁣": 31212, + "医": 31213, + "拼": 31214, + "↵": 31215, + "⅓": 31216, + "\u001f": 31217, + "မ": 31218, + "叫": 31219, + "জ": 31220, + "予": 31221, + "寸": 31222, + "梅": 31223, + "醒": 31224, + "津": 31225, + "န": 31226, + "ి": 31227, + "厂": 31228, + "屋": 31229, + "ख": 31230, + "師": 31231, + "👀": 31232, + "ỏ": 31233, + "ヤ": 31234, + "ὰ": 31235, + "\u001d": 31236, + "◆": 31237, + "ដ": 31238, + "材": 31239, + "ホ": 31240, + "張": 31241, + "洞": 31242, + "餐": 31243, + "천": 31244, + "হ": 31245, + "達": 31246, + "們": 31247, + "斗": 31248, + "横": 31249, + "백": 31250, + "ំ": 31251, + "ۆ": 31252, + "말": 31253, + "গ": 31254, + "佳": 31255, + "랜": 31256, + "仁": 31257, + "陈": 31258, + "飞": 31259, + "极": 31260, + "": 31261, + "및": 31262, + "仓": 31263, + "⬛": 31264, + "昌": 31265, + "錢": 31266, + "殊": 31267, + "┴": 31268, + "○": 31269, + "길": 31270, + "泉": 31271, + "甲": 31272, + "활": 31273, + "ひ": 31274, + "শ": 31275, + "ን": 31276, + "Ť": 31277, + "ღ": 31278, + "皮": 31279, + "強": 31280, + "赛": 31281, + "ా": 31282, + "預": 31283, + "င": 31284, + "튼": 31285, + "플": 31286, + "ყ": 31287, + "⋆": 31288, + "ք": 31289, + "ા": 31290, + "尚": 31291, + "또": 31292, + "բ": 31293, + "┌": 31294, + "節": 31295, + "森": 31296, + "आ": 31297, + "办": 31298, + "園": 31299, + "牙": 31300, + "庆": 31301, + "隆": 31302, + "😔": 31303, + "叉": 31304, + "գ": 31305, + "피": 31306, + "ギ": 31307, + "啊": 31308, + "続": 31309, + "灵": 31310, + "ヒ": 31311, + "忽": 31312, + "ʌ": 31313, + "량": 31314, + "油": 31315, + "讯": 31316, + "ⵉ": 31317, + "릭": 31318, + "刚": 31319, + "氏": 31320, + "ိ": 31321, + "Ī": 31322, + "誤": 31323, + "齐": 31324, + "末": 31325, + "🙌": 31326, + "̞": 31327, + "圈": 31328, + "念": 31329, + "숫": 31330, + "毫": 31331, + "當": 31332, + "規": 31333, + "판": 31334, + "ు": 31335, + "旧": 31336, + "卖": 31337, + "ฉ": 31338, + "幸": 31339, + "署": 31340, + "근": 31341, + "ই": 31342, + "岛": 31343, + "դ": 31344, + "觉": 31345, + "害": 31346, + "毕": 31347, + "ฐ": 31348, + "威": 31349, + "育": 31350, + "呢": 31351, + "峰": 31352, + "职": 31353, + "陽": 31354, + "ි": 31355, + "亞": 31356, + "ұ": 31357, + "₃": 31358, + "따": 31359, + "施": 31360, + "泰": 31361, + "載": 31362, + "…": 31363, + "笑": 31364, + "華": 31365, + "迎": 31366, + "됩": 31367, + "豆": 31368, + "嘉": 31369, + "🤡": 31370, + "ĕ": 31371, + "庄": 31372, + "級": 31373, + "Ψ": 31374, + "ི": 31375, + "気": 31376, + "责": 31377, + "հ": 31378, + "អ": 31379, + "乱": 31380, + "休": 31381, + "約": 31382, + "ฆ": 31383, + "∑": 31384, + "察": 31385, + "온": 31386, + "😬": 31387, + "ড": 31388, + "乘": 31389, + "람": 31390, + "इ": 31391, + "Ά": 31392, + "ந": 31393, + "ើ": 31394, + "亲": 31395, + "េ": 31396, + "委": 31397, + "赤": 31398, + "됨": 31399, + "勝": 31400, + "怎": 31401, + "감": 31402, + "宋": 31403, + "調": 31404, + "짜": 31405, + "ী": 31406, + "难": 31407, + "못": 31408, + "티": 31409, + "備": 31410, + "塞": 31411, + "វ": 31412, + "险": 31413, + "旅": 31414, + "虚": 31415, + "↳": 31416, + "笔": 31417, + "馆": 31418, + "Қ": 31419, + "⚡": 31420, + "ೆ": 31421, + "※": 31422, + "唐": 31423, + "律": 31424, + "稍": 31425, + "散": 31426, + "ર": 31427, + "ヴ": 31428, + "副": 31429, + "尽": 31430, + "挂": 31431, + "県": 31432, + "⚠": 31433, + "洋": 31434, + "鬼": 31435, + "암": 31436, + "孩": 31437, + "℃": 31438, + "並": 31439, + "ց": 31440, + "ូ": 31441, + "ℓ": 31442, + "ⵏ": 31443, + "扣": 31444, + "铁": 31445, + "闻": 31446, + "ˆ": 31447, + "戳": 31448, + "む": 31449, + "秀": 31450, + "細": 31451, + "ပ": 31452, + "御": 31453, + "拖": 31454, + "좌": 31455, + "ؤ": 31456, + "绍": 31457, + "ỹ": 31458, + "참": 31459, + "향": 31460, + "Ď": 31461, + "끝": 31462, + "민": 31463, + "ძ": 31464, + "贵": 31465, + "纪": 31466, + "秋": 31467, + "ಕ": 31468, + "ӏ": 31469, + "網": 31470, + "铺": 31471, + "恋": 31472, + "fl": 31473, + "兼": 31474, + "羽": 31475, + "창": 31476, + "啟": 31477, + "弟": 31478, + "년": 31479, + "慢": 31480, + "효": 31481, + "許": 31482, + "硬": 31483, + "잘": 31484, + "템": 31485, + "્": 31486, + "න": 31487, + "術": 31488, + "ڈ": 31489, + "溪": 31490, + "": 31491, + "暴": 31492, + "混": 31493, + "夢": 31494, + "랑": 31495, + "আ": 31496, + "還": 31497, + "探": 31498, + "祖": 31499, + "织": 31500, + "軍": 31501, + "թ": 31502, + "務": 31503, + "艺": 31504, + "ད": 31505, + "ት": 31506, + "ṁ": 31507, + "應": 31508, + "擇": 31509, + "🥰": 31510, + "ķ": 31511, + "渡": 31512, + "葉": 31513, + "령": 31514, + "決": 31515, + "刀": 31516, + "從": 31517, + "變": 31518, + "올": 31519, + "💪": 31520, + "灣": 31521, + "ር": 31522, + "평": 31523, + "衣": 31524, + "😄": 31525, + "ി": 31526, + "ჩ": 31527, + "ὁ": 31528, + "ほ": 31529, + "Û": 31530, + "চ": 31531, + "ර": 31532, + "製": 31533, + "隊": 31534, + "₱": 31535, + "纳": 31536, + "赖": 31537, + "农": 31538, + "桥": 31539, + "ỳ": 31540, + "🏾": 31541, + "阻": 31542, + "ជ": 31543, + "秘": 31544, + "박": 31545, + "伤": 31546, + "稿": 31547, + "ం": 31548, + "拦": 31549, + "넣": 31550, + "💕": 31551, + "₁": 31552, + "宿": 31553, + "錄": 31554, + "镜": 31555, + "채": 31556, + "Ə": 31557, + "ང": 31558, + "⇔": 31559, + "☼": 31560, + "ུ": 31561, + "党": 31562, + "급": 31563, + "洲": 31564, + "ղ": 31565, + "說": 31566, + "ĭ": 31567, + "尝": 31568, + "담": 31569, + "फ": 31570, + "哥": 31571, + "圣": 31572, + "萨": 31573, + "😏": 31574, + "ʏ": 31575, + "ெ": 31576, + "丁": 31577, + "虎": 31578, + "권": 31579, + "善": 31580, + "岩": 31581, + "커": 31582, + "◦": 31583, + "抛": 31584, + "석": 31585, + "Έ": 31586, + "宣": 31587, + "拳": 31588, + "팅": 31589, + "枚": 31590, + "洛": 31591, + "証": 31592, + "陵": 31593, + "佐": 31594, + "館": 31595, + "누": 31596, + "돌": 31597, + "₄": 31598, + "稱": 31599, + "聊": 31600, + "車": 31601, + "루": 31602, + "״": 31603, + "ಠ": 31604, + "庫": 31605, + "མ": 31606, + "統": 31607, + "련": 31608, + "़": 31609, + "ṯ": 31610, + "ക": 31611, + "旗": 31612, + "励": 31613, + "紀": 31614, + "忠": 31615, + "າ": 31616, + "杨": 31617, + "丹": 31618, + "Ù": 31619, + "ฝ": 31620, + "却": 31621, + "舞": 31622, + "轉": 31623, + "တ": 31624, + "丽": 31625, + "借": 31626, + "ා": 31627, + "ょ": 31628, + "옵": 31629, + "편": 31630, + "蒙": 31631, + "衡": 31632, + "ʋ": 31633, + "叶": 31634, + "̇": 31635, + "⬜": 31636, + "🇺": 31637, + "Հ": 31638, + "谢": 31639, + "Ą": 31640, + "ே": 31641, + "ằ": 31642, + "既": 31643, + "济": 31644, + "≯": 31645, + "準": 31646, + "답": 31647, + "ಲ": 31648, + "残": 31649, + "虑": 31650, + "̆": 31651, + "┘": 31652, + "急": 31653, + "招": 31654, + "막": 31655, + "≮": 31656, + "產": 31657, + "Ṭ": 31658, + "😢": 31659, + "垂": 31660, + "親": 31661, + "ģ": 31662, + "־": 31663, + "猫": 31664, + "ʟ": 31665, + "☃": 31666, + "✪": 31667, + "刪": 31668, + "胡": 31669, + "☉": 31670, + "晚": 31671, + "군": 31672, + "승": 31673, + "న": 31674, + "ὴ": 31675, + "曾": 31676, + "論": 31677, + "ɯ": 31678, + "త": 31679, + "戰": 31680, + "鱼": 31681, + "ǧ": 31682, + "寶": 31683, + "특": 31684, + "💯": 31685, + "崎": 31686, + "甘": 31687, + "該": 31688, + "링": 31689, + "😡": 31690, + "उ": 31691, + "ែ": 31692, + "頁": 31693, + "큰": 31694, + "➤": 31695, + "총": 31696, + "💰": 31697, + "∂": 31698, + "毁": 31699, + "聖": 31700, + "麻": 31701, + "ʐ": 31702, + "敏": 31703, + "運": 31704, + "될": 31705, + "쓰": 31706, + "ಸ": 31707, + "စ": 31708, + "✦": 31709, + "젝": 31710, + "復": 31711, + "寻": 31712, + "茶": 31713, + "ਾ": 31714, + "竹": 31715, + "遇": 31716, + "順": 31717, + "며": 31718, + "累": 31719, + "ĝ": 31720, + "ˇ": 31721, + "覧": 31722, + "এ": 31723, + "株": 31724, + "취": 31725, + "ስ": 31726, + "争": 31727, + "势": 31728, + "宇": 31729, + "橋": 31730, + "Ӏ": 31731, + "堆": 31732, + "ⵙ": 31733, + "丶": 31734, + "棋": 31735, + "肉": 31736, + "የ": 31737, + "": 31738, + "❶": 31739, + "季": 31740, + "ል": 31741, + "殿": 31742, + "優": 31743, + "試": 31744, + "첫": 31745, + "Ό": 31746, + "戶": 31747, + "ண": 31748, + "羅": 31749, + "桃": 31750, + "립": 31751, + "浪": 31752, + "脑": 31753, + "😛": 31754, + "弃": 31755, + "炮": 31756, + "轻": 31757, + "울": 31758, + "": 31759, + "ヘ": 31760, + "奥": 31761, + "💜": 31762, + "忘": 31763, + "遠": 31764, + "飛": 31765, + "魏": 31766, + "Ē": 31767, + "汇": 31768, + "央": 31769, + "逆": 31770, + "露": 31771, + "須": 31772, + "ѐ": 31773, + "ḷ": 31774, + "ದ": 31775, + "✭": 31776, + "寄": 31777, + "盟": 31778, + "财": 31779, + "際": 31780, + "ἔ": 31781, + "ǫ": 31782, + "थ": 31783, + "ാ": 31784, + "宫": 31785, + "巨": 31786, + "途": 31787, + "ʹ": 31788, + "ಗ": 31789, + "帐": 31790, + "‪": 31791, + "拒": 31792, + "药": 31793, + "🙃": 31794, + "ŕ": 31795, + "亡": 31796, + "壁": 31797, + "ም": 31798, + "參": 31799, + "😩": 31800, + "շ": 31801, + "ವ": 31802, + "ណ": 31803, + "丰": 31804, + "獲": 31805, + "莉": 31806, + "좋": 31807, + "ရ": 31808, + "₦": 31809, + "겠": 31810, + "👉": 31811, + "吴": 31812, + "岡": 31813, + "诉": 31814, + "읽": 31815, + "🥺": 31816, + "爆": 31817, + "🇸": 31818, + "ভ": 31819, + "迭": 31820, + "엔": 31821, + "ἄ": 31822, + "捷": 31823, + "納": 31824, + "邀": 31825, + "ಯ": 31826, + "爾": 31827, + "船": 31828, + "赞": 31829, + "胜": 31830, + "므": 31831, + "သ": 31832, + "構": 31833, + "磁": 31834, + "冰": 31835, + "딩": 31836, + "ે": 31837, + "媒": 31838, + "繁": 31839, + "☠": 31840, + "❒": 31841, + "仪": 31842, + "렬": 31843, + "昭": 31844, + "珠": 31845, + "離": 31846, + "ན": 31847, + "ల": 31848, + "ತ": 31849, + "拷": 31850, + "粉": 31851, + "벤": 31852, + "⇽": 31853, + "乌": 31854, + "拥": 31855, + "ҳ": 31856, + "ය": 31857, + "ེ": 31858, + "仙": 31859, + "塊": 31860, + "幅": 31861, + "🎉": 31862, + "Մ": 31863, + "跨": 31864, + "ٔ": 31865, + "恩": 31866, + "损": 31867, + "养": 31868, + "奈": 31869, + "ǀ": 31870, + "严": 31871, + "卫": 31872, + "迟": 31873, + "様": 31874, + "裡": 31875, + "난": 31876, + "았": 31877, + "͜": 31878, + "Ζ": 31879, + "ਰ": 31880, + "պ": 31881, + "ং": 31882, + "丢": 31883, + "伝": 31884, + "컨": 31885, + "ව": 31886, + "ြ": 31887, + "冷": 31888, + "遗": 31889, + "銀": 31890, + "̌": 31891, + "ᴜ": 31892, + "瑞": 31893, + "ฌ": 31894, + "❍": 31895, + "ふ": 31896, + "聚": 31897, + "碎": 31898, + "衛": 31899, + "অ": 31900, + "ញ": 31901, + "퍼": 31902, + "Ս": 31903, + "ນ": 31904, + "ẓ": 31905, + "✌": 31906, + "孝": 31907, + "陳": 31908, + "히": 31909, + "ක": 31910, + "黒": 31911, + "💖": 31912, + "ḩ": 31913, + "応": 31914, + "饰": 31915, + "∪": 31916, + "宜": 31917, + "樂": 31918, + "則": 31919, + "勇": 31920, + "徐": 31921, + "ⵓ": 31922, + "權": 31923, + "鲁": 31924, + "‟": 31925, + "庭": 31926, + "苗": 31927, + "🔴": 31928, + "闲": 31929, + "독": 31930, + "ɹ": 31931, + "ҽ": 31932, + "ថ": 31933, + "宏": 31934, + "尊": 31935, + "總": 31936, + "裝": 31937, + "ම": 31938, + "▸": 31939, + "測": 31940, + "ಮ": 31941, + "አ": 31942, + "轩": 31943, + "兄": 31944, + "剑": 31945, + "ન": 31946, + "朱": 31947, + "ǝ": 31948, + "Ḩ": 31949, + "担": 31950, + "灰": 31951, + "讲": 31952, + "롤": 31953, + "︎": 31954, + "😤": 31955, + "ោ": 31956, + "애": 31957, + "였": 31958, + "질": 31959, + "振": 31960, + "灯": 31961, + "ĉ": 31962, + "ස": 31963, + "閉": 31964, + "램": 31965, + "ಂ": 31966, + "げ": 31967, + "̧": 31968, + "狂": 31969, + "融": 31970, + "仍": 31971, + "實": 31972, + "楽": 31973, + "範": 31974, + "ٌ": 31975, + "వ": 31976, + "嵌": 31977, + "摩": 31978, + "袁": 31979, + "ষ": 31980, + "乎": 31981, + "규": 31982, + "岗": 31983, + "糊": 31984, + "క": 31985, + "雲": 31986, + "심": 31987, + "ई": 31988, + "འ": 31989, + "ἡ": 31990, + "丝": 31991, + "Ħ": 31992, + "ٍ": 31993, + "ٓ": 31994, + "အ": 31995, + "執": 31996, + "벨": 31997, + "ゼ": 31998, + "梦": 31999, + "вле": 32000, + "ак": 32001, + "▁мы": 32002, + "ек": 32003, + "дет": 32004, + "жет": 32005, + "вто": 32006, + "шь": 32007, + "▁уже": 32008, + "▁жиз": 32009, + "▁ее": 32010, + "нных": 32011, + "бя": 32012, + "▁может": 32013, + "▁еще": 32014, + "▁если": 32015, + "▁предста": 32016, + "▁Это": 32017, + "вори": 32018, + "кую": 32019, + "▁мне": 32020, + "▁быть": 32021, + "енно": 32022, + "еня": 32023, + "▁ты": 32024, + "нные": 32025, + "▁можно": 32026, + "▁есть": 32027, + "тически": 32028, + "тому": 32029, + "чень": 32030, + "кие": 32031, + "вления": 32032, + "▁ак": 32033, + "▁меня": 32034, + "▁будет": 32035, + "вает": 32036, + "нако": 32037, + "▁свое": 32038, + "▁чу": 32039, + "можно": 32040, + "вно": 32041, + "▁дела": 32042, + "▁даже": 32043, + "▁которо": 32044, + "▁очень": 32045, + "▁ну": 32046, + "ез": 32047, + "▁поз": 32048, + "▁себя": 32049, + "чь": 32050, + "▁ему": 32051, + "▁сказа": 32052, + "▁прои": 32053, + "▁действи": 32054, + "нк": 32055, + "нный": 32056, + "▁каж": 32057, + "▁эк": 32058, + "менно": 32059, + "рта": 32060, + "бой": 32061, + "торы": 32062, + "▁говори": 32063, + "▁суще": 32064, + "▁цен": 32065, + "льной": 32066, + "▁опреде": 32067, + "▁следу": 32068, + "▁всех": 32069, + "бле": 32070, + "▁уста": 32071, + "▁инте": 32072, + "▁нас": 32073, + "СС": 32074, + "кое": 32075, + "▁друго": 32076, + "йте": 32077, + "▁всего": 32078, + "ностью": 32079, + "▁буду": 32080, + "▁Од": 32081, + "▁сдела": 32082, + "▁жизни": 32083, + "чных": 32084, + "доб": 32085, + "▁стро": 32086, + "▁Если": 32087, + "▁вопро": 32088, + "▁этой": 32089, + "нера": 32090, + "вание": 32091, + "▁больше": 32092, + "▁вз": 32093, + "▁возможно": 32094, + "▁могу": 32095, + "вление": 32096, + "▁день": 32097, + "▁этот": 32098, + "▁соб": 32099, + "▁уда": 32100, + "▁фу": 32101, + "▁сооб": 32102, + "стей": 32103, + "▁просто": 32104, + "▁Как": 32105, + "ваться": 32106, + "ственно": 32107, + "▁своей": 32108, + "держа": 32109, + "▁несколько": 32110, + "лез": 32111, + "обходи": 32112, + "▁наз": 32113, + "▁неко": 32114, + "▁поч": 32115, + "кая": 32116, + "▁вс": 32117, + "▁нет": 32118, + "▁счита": 32119, + "вается": 32120, + "▁самы": 32121, + "казыва": 32122, + "▁себе": 32123, + "▁совер": 32124, + "нти": 32125, + "▁кто": 32126, + "▁необходи": 32127, + "рук": 32128, + "десь": 32129, + "льных": 32130, + "зации": 32131, + "▁мог": 32132, + "яс": 32133, + "▁упра": 32134, + "ети": 32135, + "дели": 32136, + "льный": 32137, + "шел": 32138, + "▁поэ": 32139, + "▁смо": 32140, + "▁чет": 32141, + "▁напра": 32142, + "грам": 32143, + "вить": 32144, + "▁Алек": 32145, + "▁слова": 32146, + "▁лишь": 32147, + "▁хоро": 32148, + "щая": 32149, + "▁вне": 32150, + "чет": 32151, + "▁встре": 32152, + "▁которая": 32153, + "влен": 32154, + "▁времени": 32155, + "▁вну": 32156, + "стя": 32157, + "▁человека": 32158, + "бира": 32159, + "йти": 32160, + "▁благо": 32161, + "чего": 32162, + "▁соот": 32163, + "вают": 32164, + "воз": 32165, + "чные": 32166, + "▁зада": 32167, + "личе": 32168, + "▁нем": 32169, + "ровать": 32170, + "нить": 32171, + "▁обы": 32172, + "▁способ": 32173, + "▁свою": 32174, + "▁каче": 32175, + "▁луч": 32176, + "пример": 32177, + "▁которой": 32178, + "▁людей": 32179, + "▁других": 32180, + "дой": 32181, + "▁продол": 32182, + "▁ры": 32183, + "▁стре": 32184, + "▁своих": 32185, + "▁позво": 32186, + "нт": 32187, + "▁значи": 32188, + "туры": 32189, + "▁эта": 32190, + "меча": 32191, + "руг": 32192, + "перь": 32193, + "слови": 32194, + "льные": 32195, + "пас": 32196, + "▁проис": 32197, + "▁поста": 32198, + "▁поня": 32199, + "▁матери": 32200, + "▁многи": 32201, + "▁свой": 32202, + "▁образом": 32203, + "вших": 32204, + "щения": 32205, + "▁Однако": 32206, + "▁вра": 32207, + "▁называ": 32208, + "ствует": 32209, + "▁там": 32210, + "▁виде": 32211, + "тру": 32212, + "▁Что": 32213, + "▁могут": 32214, + "ять": 32215, + "ключа": 32216, + "▁соответ": 32217, + "▁ху": 32218, + "вести": 32219, + "тельства": 32220, + "▁ответ": 32221, + "▁интере": 32222, + "чем": 32223, + "▁Для": 32224, + "▁нам": 32225, + "▁расска": 32226, + "ружи": 32227, + "нной": 32228, + "▁доста": 32229, + "▁этих": 32230, + "▁доро": 32231, + "▁оказа": 32232, + "▁нео": 32233, + "хва": 32234, + "▁пробле": 32235, + "нец": 32236, + "год": 32237, + "▁уве": 32238, + "▁ней": 32239, + "▁своего": 32240, + "кус": 32241, + "▁оче": 32242, + "щих": 32243, + "▁согла": 32244, + "▁случае": 32245, + "чный": 32246, + "вляет": 32247, + "▁двух": 32248, + "нет": 32249, + "▁чув": 32250, + "рения": 32251, + "▁иде": 32252, + "▁особ": 32253, + "ствие": 32254, + "тиво": 32255, + "нди": 32256, + "строй": 32257, + "ложи": 32258, + "зма": 32259, + "роме": 32260, + "▁выпол": 32261, + "▁разли": 32262, + "▁помощ": 32263, + "▁показа": 32264, + "▁Мы": 32265, + "▁глу": 32266, + "верх": 32267, + "▁некоторы": 32268, + "▁хотя": 32269, + "вую": 32270, + "▁всегда": 32271, + "нуть": 32272, + "▁тот": 32273, + "▁информа": 32274, + "▁вот": 32275, + "шие": 32276, + "час": 32277, + "▁потому": 32278, + "держи": 32279, + "тября": 32280, + "▁проек": 32281, + "ведения": 32282, + "▁тогда": 32283, + "сут": 32284, + "▁фак": 32285, + "▁выра": 32286, + "вшие": 32287, + "▁тя": 32288, + "▁жизнь": 32289, + "▁работы": 32290, + "виси": 32291, + "фф": 32292, + "ческая": 32293, + "стью": 32294, + "▁ог": 32295, + "▁которого": 32296, + "▁сам": 32297, + "ющей": 32298, + "▁здесь": 32299, + "виде": 32300, + "▁переда": 32301, + "скому": 32302, + "пита": 32303, + "мости": 32304, + "прия": 32305, + "ющего": 32306, + "зии": 32307, + "▁услови": 32308, + "что": 32309, + "шло": 32310, + "▁стать": 32311, + "▁програм": 32312, + "▁сла": 32313, + "▁пока": 32314, + "▁уров": 32315, + "стран": 32316, + "▁конце": 32317, + "боль": 32318, + "▁сра": 32319, + "волю": 32320, + "▁сме": 32321, + "щение": 32322, + "воря": 32323, + "вари": 32324, + "▁исследова": 32325, + "санд": 32326, + "clud": 32327, + "▁пор": 32328, + "▁женщи": 32329, + "▁вся": 32330, + "▁собой": 32331, + "ете": 32332, + "▁большо": 32333, + "▁защи": 32334, + "жении": 32335, + "▁дости": 32336, + "▁пря": 32337, + "цией": 32338, + "▁жа": 32339, + "▁ше": 32340, + "▁Когда": 32341, + "▁сист": 32342, + "ственного": 32343, + "▁реши": 32344, + "блю": 32345, + "вил": 32346, + "щий": 32347, + "дра": 32348, + "зиден": 32349, + "▁понима": 32350, + "▁недо": 32351, + "▁одной": 32352, + "▁именно": 32353, + "▁упо": 32354, + "▁Они": 32355, + "▁спи": 32356, + "циали": 32357, + "ствия": 32358, + "тных": 32359, + "▁ря": 32360, + "тельной": 32361, + "▁количе": 32362, + "рую": 32363, + "туа": 32364, + "▁ним": 32365, + "тельство": 32366, + "▁наи": 32367, + "нно": 32368, + "▁нужно": 32369, + "▁элек": 32370, + "тр": 32371, + "ющим": 32372, + "▁часто": 32373, + "▁внима": 32374, + "▁стороны": 32375, + "▁ино": 32376, + "▁такой": 32377, + "▁должно": 32378, + "ору": 32379, + "▁почти": 32380, + "▁тыся": 32381, + "▁противо": 32382, + "▁вместе": 32383, + "кам": 32384, + "▁обя": 32385, + "ческое": 32386, + "нци": 32387, + "▁даль": 32388, + "▁любо": 32389, + "тельных": 32390, + "▁изме": 32391, + "▁пы": 32392, + "▁дерев": 32393, + "жды": 32394, + "▁использу": 32395, + "стой": 32396, + "▁люди": 32397, + "▁непо": 32398, + "▁объек": 32399, + "▁ска": 32400, + "▁затем": 32401, + "лии": 32402, + "▁надо": 32403, + "дви": 32404, + "▁сказал": 32405, + "▁осу": 32406, + "▁начина": 32407, + "▁заня": 32408, + "▁свобо": 32409, + "щей": 32410, + "▁предпо": 32411, + "▁круп": 32412, + "▁дело": 32413, + "сем": 32414, + "ственных": 32415, + "▁должен": 32416, + "грани": 32417, + "зм": 32418, + "рах": 32419, + "пуска": 32420, + "▁лег": 32421, + "▁потом": 32422, + "▁другие": 32423, + "▁имеет": 32424, + "▁взя": 32425, + "▁искус": 32426, + "▁настоя": 32427, + "▁ничего": 32428, + "▁должны": 32429, + "нечно": 32430, + "▁весь": 32431, + "▁сохра": 32432, + "▁написа": 32433, + "▁чего": 32434, + "труд": 32435, + "щие": 32436, + "трен": 32437, + "▁генера": 32438, + "▁пси": 32439, + "тельные": 32440, + "▁экономи": 32441, + "▁современ": 32442, + "лн": 32443, + "▁гор": 32444, + "тить": 32445, + "ствии": 32446, + "ерт": 32447, + "чер": 32448, + "▁наро": 32449, + "▁сей": 32450, + "▁другой": 32451, + "чей": 32452, + "▁вам": 32453, + "нул": 32454, + "нес": 32455, + "сколь": 32456, + "явля": 32457, + "▁тоже": 32458, + "▁жу": 32459, + "рования": 32460, + "▁неме": 32461, + "ственный": 32462, + "еха": 32463, + "▁числе": 32464, + "▁отпра": 32465, + "▁производ": 32466, + "▁сен": 32467, + "▁теперь": 32468, + "мыш": 32469, + "▁ника": 32470, + "▁испол": 32471, + "пусти": 32472, + "имо": 32473, + "▁получа": 32474, + "▁обеспе": 32475, + "шем": 32476, + "▁литера": 32477, + "вшего": 32478, + "▁мето": 32479, + "▁муж": 32480, + "ницы": 32481, + "▁жела": 32482, + "▁которое": 32483, + "▁уг": 32484, + "льное": 32485, + "ждение": 32486, + "шее": 32487, + "▁мину": 32488, + "чему": 32489, + "пере": 32490, + "▁одного": 32491, + "▁отноше": 32492, + "▁вас": 32493, + "емо": 32494, + "▁подоб": 32495, + "тельный": 32496, + "▁Она": 32497, + "виа": 32498, + "гото": 32499, + "▁физи": 32500, + "▁мини": 32501, + "▁меся": 32502, + "тый": 32503, + "▁продолжа": 32504, + "▁зако": 32505, + "жида": 32506, + "щего": 32507, + "шую": 32508, + "▁важ": 32509, + "▁представи": 32510, + "нской": 32511, + "▁дума": 32512, + "тельного": 32513, + "▁связи": 32514, + "няя": 32515, + "▁бое": 32516, + "▁разрабо": 32517, + "щее": 32518, + "или": 32519, + "▁четы": 32520, + "льная": 32521, + "▁обна": 32522, + "▁деся": 32523, + "▁подо": 32524, + "▁однако": 32525, + "▁относи": 32526, + "▁будут": 32527, + "▁постоя": 32528, + "▁Его": 32529, + "▁менее": 32530, + "▁истории": 32531, + "меня": 32532, + "годня": 32533, + "ществ": 32534, + "▁россий": 32535, + "вили": 32536, + "там": 32537, + "пыт": 32538, + "▁качестве": 32539, + "зов": 32540, + "струк": 32541, + "▁сим": 32542, + "▁среди": 32543, + "▁расс": 32544, + "чить": 32545, + "▁всем": 32546, + "▁гражда": 32547, + "▁пример": 32548, + "тря": 32549, + "йской": 32550, + "▁памя": 32551, + "▁проду": 32552, + "дить": 32553, + "доро": 32554, + "▁необходимо": 32555, + "скольку": 32556, + "хода": 32557, + "▁потре": 32558, + "жден": 32559, + "▁национа": 32560, + "▁утвер": 32561, + "▁назна": 32562, + "▁тому": 32563, + "▁годы": 32564, + "▁дли": 32565, + "▁мир": 32566, + "▁спа": 32567, + "седа": 32568, + "▁нико": 32569, + "цов": 32570, + "▁неу": 32571, + "▁например": 32572, + "точно": 32573, + "воль": 32574, + "▁связа": 32575, + "▁хозя": 32576, + "нского": 32577, + "вался": 32578, + "▁содержа": 32579, + "ффек": 32580, + "▁принима": 32581, + "обще": 32582, + "▁кру": 32583, + "пыта": 32584, + "▁поме": 32585, + "▁существо": 32586, + "тая": 32587, + "▁места": 32588, + "▁прекра": 32589, + "▁интер": 32590, + "▁ян": 32591, + "▁тео": 32592, + "тых": 32593, + "жной": 32594, + "▁приме": 32595, + "▁смы": 32596, + "▁бан": 32597, + "▁стали": 32598, + "▁кли": 32599, + "лой": 32600, + "▁какой": 32601, + "▁маши": 32602, + "▁наде": 32603, + "▁ситуа": 32604, + "▁скоро": 32605, + "▁чле": 32606, + "▁Под": 32607, + "ить": 32608, + "чил": 32609, + "нам": 32610, + "▁нор": 32611, + "вались": 32612, + "▁сли": 32613, + "▁еди": 32614, + "ющее": 32615, + "▁эту": 32616, + "▁возду": 32617, + "▁особенно": 32618, + "нев": 32619, + "лого": 32620, + "▁котором": 32621, + "чным": 32622, + "▁люби": 32623, + "▁кажды": 32624, + "▁тут": 32625, + "пря": 32626, + "▁отде": 32627, + "▁наблю": 32628, + "▁обу": 32629, + "▁изу": 32630, + "деть": 32631, + "▁универ": 32632, + "▁этим": 32633, + "▁разме": 32634, + "ляет": 32635, + "кими": 32636, + "▁причи": 32637, + "▁своим": 32638, + "▁пле": 32639, + "▁влия": 32640, + "так": 32641, + "▁отра": 32642, + "смотре": 32643, + "▁социаль": 32644, + "▁возра": 32645, + "▁специаль": 32646, + "▁хорошо": 32647, + "более": 32648, + "▁энер": 32649, + "▁доку": 32650, + "▁Вот": 32651, + "док": 32652, + "гии": 32653, + "▁спра": 32654, + "▁дет": 32655, + "▁поле": 32656, + "гру": 32657, + "льным": 32658, + "строе": 32659, + "▁системы": 32660, + "▁сейчас": 32661, + "▁Бы": 32662, + "▁эле": 32663, + "▁гре": 32664, + "вшись": 32665, + "их": 32666, + "сил": 32667, + "ваются": 32668, + "▁страны": 32669, + "▁собы": 32670, + "▁внутрен": 32671, + "щую": 32672, + "▁реаль": 32673, + "▁стран": 32674, + "▁отли": 32675, + "▁распро": 32676, + "chool": 32677, + "▁ещё": 32678, + "▁дер": 32679, + "жать": 32680, + "▁ей": 32681, + "▁прав": 32682, + "▁пись": 32683, + "▁сотруд": 32684, + "▁кора": 32685, + "▁тан": 32686, + "сили": 32687, + "выми": 32688, + "▁диа": 32689, + "▁кол": 32690, + "▁всё": 32691, + "▁оно": 32692, + "диви": 32693, + "вобо": 32694, + "▁первый": 32695, + "▁требо": 32696, + "▁таких": 32697, + "▁появи": 32698, + "▁бес": 32699, + "▁нару": 32700, + "матри": 32701, + "▁широ": 32702, + "министра": 32703, + "▁уго": 32704, + "▁электро": 32705, + "жных": 32706, + "▁тол": 32707, + "▁возвра": 32708, + "▁глаза": 32709, + "еры": 32710, + "зовать": 32711, + "▁предо": 32712, + "▁сделать": 32713, + "▁убе": 32714, + "▁объяс": 32715, + "▁уч": 32716, + "▁результате": 32717, + "▁Ну": 32718, + "шенно": 32719, + "пли": 32720, + "▁прода": 32721, + "жем": 32722, + "▁Раз": 32723, + "▁Гла": 32724, + "▁вопрос": 32725, + "ющая": 32726, + "▁власти": 32727, + "▁борь": 32728, + "нил": 32729, + "сной": 32730, + "▁течение": 32731, + "чная": 32732, + "лый": 32733, + "тые": 32734, + "▁авиа": 32735, + "мена": 32736, + "▁изобра": 32737, + "▁Пере": 32738, + "дит": 32739, + "▁момент": 32740, + "▁армии": 32741, + "рот": 32742, + "лосо": 32743, + "пара": 32744, + "дца": 32745, + "▁закон": 32746, + "будь": 32747, + "лки": 32748, + "▁друг": 32749, + "▁собствен": 32750, + "обре": 32751, + "мая": 32752, + "▁деле": 32753, + "чное": 32754, + "ями": 32755, + "дро": 32756, + "▁принци": 32757, + "▁удо": 32758, + "▁тек": 32759, + "нять": 32760, + "▁сразу": 32761, + "▁поэтому": 32762, + "▁немец": 32763, + "▁которую": 32764, + "▁собра": 32765, + "▁безо": 32766, + "▁строи": 32767, + "▁чита": 32768, + "ссии": 32769, + "▁ноя": 32770, + "▁неболь": 32771, + "▁свет": 32772, + "▁пози": 32773, + "▁вза": 32774, + "скими": 32775, + "▁указа": 32776, + "▁устано": 32777, + "▁доба": 32778, + "▁сами": 32779, + "тельное": 32780, + "▁Украи": 32781, + "рить": 32782, + "▁миро": 32783, + "мышлен": 32784, + "▁publ": 32785, + "▁восста": 32786, + "чай": 32787, + "▁помощью": 32788, + "ешь": 32789, + "ческую": 32790, + "менты": 32791, + "▁похо": 32792, + "▁такие": 32793, + "рд": 32794, + "▁мя": 32795, + "▁президен": 32796, + "▁представля": 32797, + "▁внеш": 32798, + "▁мень": 32799, + "вало": 32800, + "▁следует": 32801, + "▁никогда": 32802, + "▁отдель": 32803, + "▁револю": 32804, + "▁материа": 32805, + "▁эффек": 32806, + "▁Поэ": 32807, + "евра": 32808, + "▁род": 32809, + "▁теа": 32810, + "▁францу": 32811, + "жит": 32812, + "▁сказать": 32813, + "вли": 32814, + "▁выше": 32815, + "знача": 32816, + "▁исклю": 32817, + "▁вол": 32818, + "ум": 32819, + "▁очеред": 32820, + "▁диви": 32821, + "числе": 32822, + "циа": 32823, + "рует": 32824, + "▁фрон": 32825, + "▁кня": 32826, + "нице": 32827, + "▁древ": 32828, + "▁лучше": 32829, + "тной": 32830, + "жей": 32831, + "▁территории": 32832, + "▁контро": 32833, + "▁включа": 32834, + "▁забо": 32835, + "▁получил": 32836, + "▁кро": 32837, + "▁начала": 32838, + "▁пора": 32839, + "▁Ива": 32840, + "все": 32841, + "лых": 32842, + "нибудь": 32843, + "▁продук": 32844, + "▁заклю": 32845, + "▁Совет": 32846, + "▁заме": 32847, + "лда": 32848, + "▁ограни": 32849, + "▁мало": 32850, + "емых": 32851, + "ческим": 32852, + "▁начале": 32853, + "вре": 32854, + "держ": 32855, + "rans": 32856, + "▁распростра": 32857, + "сона": 32858, + "▁дня": 32859, + "риан": 32860, + "▁период": 32861, + "▁центра": 32862, + "▁един": 32863, + "▁произо": 32864, + "▁возможность": 32865, + "▁быстро": 32866, + "▁встреча": 32867, + "бля": 32868, + "сить": 32869, + "▁четыре": 32870, + "лью": 32871, + "цами": 32872, + "▁сере": 32873, + "ям": 32874, + "влении": 32875, + "вшей": 32876, + "▁либо": 32877, + "▁определен": 32878, + "▁зе": 32879, + "вода": 32880, + "▁площа": 32881, + "▁милли": 32882, + "▁экс": 32883, + "лень": 32884, + "тай": 32885, + "ровал": 32886, + "▁началь": 32887, + "ствовать": 32888, + "▁самом": 32889, + "▁приро": 32890, + "▁говоря": 32891, + "ческом": 32892, + "нулся": 32893, + "▁пя": 32894, + "▁второй": 32895, + "▁восто": 32896, + "полне": 32897, + "▁работу": 32898, + "писы": 32899, + "▁каза": 32900, + "▁осуществ": 32901, + "▁бога": 32902, + "▁каждый": 32903, + "ствуют": 32904, + "▁Боль": 32905, + "ясь": 32906, + "▁срав": 32907, + "шком": 32908, + "▁меди": 32909, + "▁вообще": 32910, + "▁таким": 32911, + "вольно": 32912, + "▁пове": 32913, + "▁замет": 32914, + "▁кры": 32915, + "чности": 32916, + "ментов": 32917, + "▁говорит": 32918, + "лые": 32919, + "юз": 32920, + "▁работ": 32921, + "▁поскольку": 32922, + "▁уме": 32923, + "▁дра": 32924, + "еру": 32925, + "▁группы": 32926, + "дума": 32927, + "▁взгля": 32928, + "нский": 32929, + "гна": 32930, + "▁роль": 32931, + "▁тяже": 32932, + "▁развития": 32933, + "блей": 32934, + "▁кур": 32935, + "жо": 32936, + "рави": 32937, + "▁край": 32938, + "▁зависи": 32939, + "▁пыта": 32940, + "▁реали": 32941, + "шать": 32942, + "▁Поэтому": 32943, + "▁узна": 32944, + "▁анти": 32945, + "▁стала": 32946, + "пени": 32947, + "тербур": 32948, + "▁источ": 32949, + "рию": 32950, + "▁стало": 32951, + "тических": 32952, + "▁Герма": 32953, + "▁ск": 32954, + "лета": 32955, + "▁сегодня": 32956, + "част": 32957, + "дать": 32958, + "роя": 32959, + "▁РФ": 32960, + "▁психо": 32961, + "▁пользова": 32962, + "▁обяза": 32963, + "▁гото": 32964, + "рование": 32965, + "▁созна": 32966, + "▁такое": 32967, + "▁совершенно": 32968, + "муще": 32969, + "тельным": 32970, + "образ": 32971, + "водя": 32972, + "meric": 32973, + "ходят": 32974, + "▁находится": 32975, + "▁выступа": 32976, + "даря": 32977, + "▁зву": 32978, + "надле": 32979, + "▁описа": 32980, + "▁отношения": 32981, + "▁тро": 32982, + "▁достаточно": 32983, + "▁большин": 32984, + "▁тради": 32985, + "дения": 32986, + "▁неиз": 32987, + "льзя": 32988, + "▁огром": 32989, + "▁детей": 32990, + "они": 32991, + "▁этому": 32992, + "▁проводи": 32993, + "▁укра": 32994, + "▁многие": 32995, + "▁нее": 32996, + "▁рели": 32997, + "тек": 32998, + "▁месте": 32999, + "▁деятельности": 33000, + "▁публи": 33001, + "▁Кроме": 33002, + "онов": 33003, + "▁отве": 33004, + "▁поро": 33005, + "▁меха": 33006, + "ствовал": 33007, + "▁выс": 33008, + "▁компании": 33009, + "▁оборо": 33010, + "стом": 33011, + "ilm": 33012, + "▁тысяч": 33013, + "▁права": 33014, + "▁приве": 33015, + "▁всей": 33016, + "▁характер": 33017, + "▁конечно": 33018, + "▁смерти": 33019, + "▁каждо": 33020, + "тельности": 33021, + "▁снова": 33022, + "оз": 33023, + "▁ведь": 33024, + "чик": 33025, + "▁сце": 33026, + "▁оконча": 33027, + "▁многих": 33028, + "зем": 33029, + "мах": 33030, + "лит": 33031, + "▁самого": 33032, + "▁долго": 33033, + "▁пунк": 33034, + "лка": 33035, + "гер": 33036, + "рение": 33037, + "▁сопро": 33038, + "▁струк": 33039, + "▁принадле": 33040, + "говор": 33041, + "чку": 33042, + "▁хоте": 33043, + "▁Воз": 33044, + "пом": 33045, + "никами": 33046, + "▁требу": 33047, + "▁внимание": 33048, + "▁наиболее": 33049, + "щает": 33050, + "▁аб": 33051, + "лить": 33052, + "▁одним": 33053, + "▁конф": 33054, + "либо": 33055, + "гие": 33056, + "чества": 33057, + "щим": 33058, + "сок": 33059, + "лами": 33060, + "▁могли": 33061, + "ственные": 33062, + "▁сообщи": 33063, + "риа": 33064, + "▁заяви": 33065, + "тные": 33066, + "▁оши": 33067, + "моби": 33068, + "▁производи": 33069, + "▁мона": 33070, + "▁организации": 33071, + "▁техни": 33072, + "юсь": 33073, + "жные": 33074, + "▁хозяй": 33075, + "дут": 33076, + "дки": 33077, + "▁приходи": 33078, + "▁количество": 33079, + "▁близ": 33080, + "нного": 33081, + "▁руковод": 33082, + "▁всю": 33083, + "смотря": 33084, + "зад": 33085, + "▁прове": 33086, + "▁руководи": 33087, + "▁возник": 33088, + "▁превра": 33089, + "▁войска": 33090, + "▁администра": 33091, + "▁нашей": 33092, + "▁являются": 33093, + "▁стоя": 33094, + "ведение": 33095, + "▁делать": 33096, + "▁дней": 33097, + "зей": 33098, + "▁совсем": 33099, + "▁фото": 33100, + "тил": 33101, + "▁анали": 33102, + "▁степени": 33103, + "тный": 33104, + "▁несколь": 33105, + "▁пои": 33106, + "телями": 33107, + "жал": 33108, + "чном": 33109, + "▁Пред": 33110, + "▁почему": 33111, + "▁Americ": 33112, + "ложения": 33113, + "▁прямо": 33114, + "тка": 33115, + "▁Федера": 33116, + "▁соеди": 33117, + "▁имени": 33118, + "нений": 33119, + "▁которым": 33120, + "▁случай": 33121, + "▁разре": 33122, + "жить": 33123, + "▁выз": 33124, + "конец": 33125, + "▁отсут": 33126, + "рус": 33127, + "▁француз": 33128, + "▁филосо": 33129, + "▁преду": 33130, + "▁действия": 33131, + "▁практи": 33132, + "▁институ": 33133, + "нта": 33134, + "еты": 33135, + "▁завер": 33136, + "▁силы": 33137, + "▁сни": 33138, + "валось": 33139, + "▁обычно": 33140, + "личие": 33141, + "▁преступ": 33142, + "▁прежде": 33143, + "▁вид": 33144, + "▁повы": 33145, + "тере": 33146, + "шно": 33147, + "▁цар": 33148, + "бен": 33149, + "стно": 33150, + "▁назад": 33151, + "рам": 33152, + "ТА": 33153, + "▁друга": 33154, + "▁должна": 33155, + "▁види": 33156, + "мень": 33157, + "вь": 33158, + "▁некоторые": 33159, + "▁гер": 33160, + "▁твор": 33161, + "▁семь": 33162, + "▁зда": 33163, + "▁образ": 33164, + "пле": 33165, + "▁команди": 33166, + "▁мире": 33167, + "▁суб": 33168, + "▁поряд": 33169, + "деля": 33170, + "▁участие": 33171, + "тного": 33172, + "▁экспе": 33173, + "▁Ис": 33174, + "туре": 33175, + "▁равно": 33176, + "скоре": 33177, + "▁комму": 33178, + "▁международ": 33179, + "▁свиде": 33180, + "▁допол": 33181, + "нина": 33182, + "▁финан": 33183, + "▁двига": 33184, + "▁решение": 33185, + "▁ап": 33186, + "▁большой": 33187, + "▁золо": 33188, + "вок": 33189, + "лик": 33190, + "ссы": 33191, + "ложение": 33192, + "▁арти": 33193, + "▁прибы": 33194, + "емые": 33195, + "вей": 33196, + "лим": 33197, + "▁управления": 33198, + "▁капита": 33199, + "▁полностью": 33200, + "▁отмет": 33201, + "надца": 33202, + "owever": 33203, + "первые": 33204, + "торов": 33205, + "клады": 33206, + "ливо": 33207, + "хом": 33208, + "▁судь": 33209, + "дел": 33210, + "▁коле": 33211, + "▁форма": 33212, + "▁пово": 33213, + "ева": 33214, + "▁зве": 33215, + "▁данных": 33216, + "▁вспо": 33217, + "▁комплек": 33218, + "▁слишком": 33219, + "▁мере": 33220, + "▁попа": 33221, + "▁нес": 33222, + "▁серь": 33223, + "▁оби": 33224, + "▁вок": 33225, + "▁гг": 33226, + "▁сре": 33227, + "▁происходит": 33228, + "▁собира": 33229, + "▁спу": 33230, + "▁облада": 33231, + "▁тон": 33232, + "дами": 33233, + "stem": 33234, + "▁типа": 33235, + "▁поко": 33236, + "пасности": 33237, + "вшая": 33238, + "мых": 33239, + "▁освобо": 33240, + "▁такого": 33241, + "▁ними": 33242, + "ременно": 33243, + "чную": 33244, + "▁стоит": 33245, + "▁использовать": 33246, + "▁вариан": 33247, + "▁кино": 33248, + "льном": 33249, + "▁простран": 33250, + "▁государства": 33251, + "▁воору": 33252, + "▁повто": 33253, + "▁спро": 33254, + "▁поверх": 33255, + "ниях": 33256, + "▁специали": 33257, + "готов": 33258, + "▁уви": 33259, + "▁первой": 33260, + "▁Эти": 33261, + "▁захва": 33262, + "▁оте": 33263, + "▁находя": 33264, + "▁отда": 33265, + "▁попу": 33266, + "▁сна": 33267, + "▁пути": 33268, + "▁официаль": 33269, + "▁воды": 33270, + "▁глубо": 33271, + "▁стол": 33272, + "▁взаимо": 33273, + "▁мощ": 33274, + "▁треть": 33275, + "▁карти": 33276, + "мые": 33277, + "▁нельзя": 33278, + "▁желез": 33279, + "его": 33280, + "▁кам": 33281, + "▁общества": 33282, + "тельность": 33283, + "▁заста": 33284, + "▁англий": 33285, + "чать": 33286, + "ктора": 33287, + "▁имя": 33288, + "▁легко": 33289, + "▁буд": 33290, + "▁движения": 33291, + "▁болез": 33292, + "▁тебя": 33293, + "длен": 33294, + "▁множе": 33295, + "▁ды": 33296, + "▁выда": 33297, + "▁оружи": 33298, + "▁закры": 33299, + "теря": 33300, + "▁механи": 33301, + "езд": 33302, + "▁годов": 33303, + "мана": 33304, + "вов": 33305, + "новь": 33306, + "▁промышлен": 33307, + "▁дире": 33308, + "▁объеди": 33309, + "носи": 33310, + "▁наме": 33311, + "жением": 33312, + "▁средства": 33313, + "▁начал": 33314, + "▁есте": 33315, + "▁импера": 33316, + "тические": 33317, + "▁удалось": 33318, + "▁технологи": 33319, + "▁духов": 33320, + "▁тыс": 33321, + "лях": 33322, + "▁оказыва": 33323, + "ственным": 33324, + "▁руки": 33325, + "льную": 33326, + "▁ана": 33327, + "▁полови": 33328, + "▁тай": 33329, + "▁значение": 33330, + "тельная": 33331, + "жил": 33332, + "▁интерес": 33333, + "▁корпу": 33334, + "▁наши": 33335, + "ственное": 33336, + "пута": 33337, + "▁пожа": 33338, + "▁поги": 33339, + "жный": 33340, + "▁запа": 33341, + "▁Зем": 33342, + "нили": 33343, + "▁сил": 33344, + "ницу": 33345, + "▁ожида": 33346, + "▁иногда": 33347, + "▁обнаружи": 33348, + "рё": 33349, + "▁Мак": 33350, + "нка": 33351, + "▁ито": 33352, + "дко": 33353, + "рыв": 33354, + "хот": 33355, + "▁ощу": 33356, + "▁сум": 33357, + "▁предприя": 33358, + "▁верси": 33359, + "▁дене": 33360, + "▁различных": 33361, + "▁партии": 33362, + "влены": 33363, + "▁оди": 33364, + "▁поддерж": 33365, + "▁малень": 33366, + "▁секре": 33367, + "▁мой": 33368, + "▁пес": 33369, + "▁уничто": 33370, + "▁л": 33371, + "ступил": 33372, + "леко": 33373, + "рее": 33374, + "▁городе": 33375, + "▁название": 33376, + "▁устрой": 33377, + "дий": 33378, + "▁отлича": 33379, + "▁гро": 33380, + "▁автомоби": 33381, + "▁недоста": 33382, + "стоит": 33383, + "▁самых": 33384, + "▁новые": 33385, + "▁какие": 33386, + "шёл": 33387, + "▁невоз": 33388, + "▁система": 33389, + "▁своем": 33390, + "гами": 33391, + "▁число": 33392, + "▁поку": 33393, + "тым": 33394, + "сред": 33395, + "▁весьма": 33396, + "▁евро": 33397, + "▁вполне": 33398, + "▁становится": 33399, + "ныне": 33400, + "меть": 33401, + "рем": 33402, + "рко": 33403, + "▁симво": 33404, + "▁запад": 33405, + "▁работе": 33406, + "▁Москве": 33407, + "ющими": 33408, + "влека": 33409, + "тбо": 33410, + "▁исти": 33411, + "▁солда": 33412, + "форми": 33413, + "джа": 33414, + "▁трех": 33415, + "▁некоторых": 33416, + "нки": 33417, + "▁сю": 33418, + "лья": 33419, + "баты": 33420, + "чении": 33421, + "▁новых": 33422, + "шает": 33423, + "▁журна": 33424, + "вшим": 33425, + "▁пять": 33426, + "юза": 33427, + "▁приобре": 33428, + "навли": 33429, + "▁рез": 33430, + "▁норма": 33431, + "ссиона": 33432, + "▁отказа": 33433, + "щается": 33434, + "▁соба": 33435, + "▁имеют": 33436, + "▁предоста": 33437, + "дил": 33438, + "▁прак": 33439, + "дем": 33440, + "▁куда": 33441, + "валась": 33442, + "таки": 33443, + "чением": 33444, + "▁низ": 33445, + "▁ото": 33446, + "▁добро": 33447, + "▁Восто": 33448, + "▁аре": 33449, + "нении": 33450, + "▁рассказа": 33451, + "сей": 33452, + "новременно": 33453, + "▁разных": 33454, + "рит": 33455, + "▁действительно": 33456, + "▁кого": 33457, + "▁возможности": 33458, + "▁реше": 33459, + "▁довольно": 33460, + "принима": 33461, + "▁Этот": 33462, + "▁вновь": 33463, + "▁рабочи": 33464, + "▁информации": 33465, + "▁дальней": 33466, + "▁крити": 33467, + "влением": 33468, + "▁реак": 33469, + "чек": 33470, + "▁кроме": 33471, + "arri": 33472, + "▁форми": 33473, + "▁регу": 33474, + "▁ран": 33475, + "фици": 33476, + "▁мысли": 33477, + "строен": 33478, + "дах": 33479, + "▁фло": 33480, + "▁рав": 33481, + "щем": 33482, + "▁цели": 33483, + "▁радио": 33484, + "▁возмо": 33485, + "▁вызыва": 33486, + "▁возника": 33487, + "бран": 33488, + "▁наблюда": 33489, + "▁самым": 33490, + "▁спосо": 33491, + "▁Российской": 33492, + "нное": 33493, + "мар": 33494, + "▁зо": 33495, + "▁ори": 33496, + "жного": 33497, + "▁зая": 33498, + "гли": 33499, + "сят": 33500, + "▁обви": 33501, + "▁ца": 33502, + "рис": 33503, + "жений": 33504, + "iversity": 33505, + "гну": 33506, + "поли": 33507, + "нению": 33508, + "▁присут": 33509, + "стями": 33510, + "под": 33511, + "шему": 33512, + "деле": 33513, + "пись": 33514, + "▁зрения": 33515, + "чность": 33516, + "▁подтвер": 33517, + "сами": 33518, + "▁одном": 33519, + "▁транспо": 33520, + "начала": 33521, + "▁основе": 33522, + "▁холо": 33523, + "нная": 33524, + "▁соответству": 33525, + "нос": 33526, + "▁культуры": 33527, + "емый": 33528, + "▁конца": 33529, + "тать": 33530, + "▁нового": 33531, + "▁часов": 33532, + "бов": 33533, + "тию": 33534, + "тили": 33535, + "эн": 33536, + "▁рода": 33537, + "чными": 33538, + "▁тебе": 33539, + "▁расши": 33540, + "▁самой": 33541, + "шить": 33542, + "▁рассматри": 33543, + "мую": 33544, + "били": 33545, + "▁решения": 33546, + "ходить": 33547, + "▁означа": 33548, + "рос": 33549, + "логии": 33550, + "▁форму": 33551, + "▁деньги": 33552, + "overnment": 33553, + "▁новый": 33554, + "доров": 33555, + "читы": 33556, + "▁геро": 33557, + "▁вет": 33558, + "▁книги": 33559, + "нович": 33560, + "▁дом": 33561, + "▁Москов": 33562, + "▁запре": 33563, + "▁приз": 33564, + "▁коллек": 33565, + "шед": 33566, + "жете": 33567, + "▁помощи": 33568, + "▁Тем": 33569, + "▁посвя": 33570, + "▁слово": 33571, + "стья": 33572, + "▁Александр": 33573, + "▁реко": 33574, + "▁бю": 33575, + "▁нескольких": 33576, + "▁лица": 33577, + "мин": 33578, + "▁точки": 33579, + "▁персона": 33580, + "▁уси": 33581, + "рил": 33582, + "▁лицо": 33583, + "сед": 33584, + "▁уз": 33585, + "▁Теперь": 33586, + "СК": 33587, + "▁церков": 33588, + "няет": 33589, + "▁Свя": 33590, + "сам": 33591, + "▁никто": 33592, + "▁вокруг": 33593, + "▁утвержда": 33594, + "▁губер": 33595, + "▁последова": 33596, + "▁боя": 33597, + "▁определя": 33598, + "▁независи": 33599, + "мым": 33600, + "▁перво": 33601, + "▁найти": 33602, + "▁Здесь": 33603, + "▁Таким": 33604, + "бере": 33605, + "▁беспо": 33606, + "▁эпо": 33607, + "▁условиях": 33608, + "▁север": 33609, + "▁Украины": 33610, + "▁работать": 33611, + "лыша": 33612, + "езда": 33613, + "служи": 33614, + "▁совме": 33615, + "▁сторону": 33616, + "tend": 33617, + "▁напо": 33618, + "чета": 33619, + "няется": 33620, + "варти": 33621, + "▁напря": 33622, + "ссу": 33623, + "креп": 33624, + "▁одну": 33625, + "нику": 33626, + "▁\\-": 33627, + "жд": 33628, + "зация": 33629, + "▁религи": 33630, + "▁Цен": 33631, + "▁бло": 33632, + "лам": 33633, + "▁попро": 33634, + "▁идет": 33635, + "лению": 33636, + "шет": 33637, + "▁разру": 33638, + "▁наших": 33639, + "ерен": 33640, + "▁выбо": 33641, + "нюю": 33642, + "▁граждан": 33643, + "▁Анг": 33644, + "цем": 33645, + "▁очередь": 33646, + "лах": 33647, + "▁Зна": 33648, + "гой": 33649, + "▁меньше": 33650, + "шлось": 33651, + "ента": 33652, + "▁эпи": 33653, + "гает": 33654, + "жай": 33655, + "▁каса": 33656, + "▁медици": 33657, + "степ": 33658, + "▁ум": 33659, + "тья": 33660, + "стр": 33661, + "ристиан": 33662, + "▁ус": 33663, + "▁первого": 33664, + "▁потеря": 33665, + "▁Оте": 33666, + "▁минут": 33667, + "▁скры": 33668, + "▁цвет": 33669, + "руется": 33670, + "▁бом": 33671, + "▁характери": 33672, + "▁Затем": 33673, + "▁см": 33674, + "печат": 33675, + "▁практически": 33676, + "▁класси": 33677, + "▁рам": 33678, + "тром": 33679, + "▁иска": 33680, + "фу": 33681, + "▁вд": 33682, + "▁конку": 33683, + "▁впервые": 33684, + "▁значит": 33685, + "▁измени": 33686, + "зор": 33687, + "▁мол": 33688, + "▁самое": 33689, + "▁оде": 33690, + "▁путь": 33691, + "▁умер": 33692, + "▁внутри": 33693, + "▁иностран": 33694, + "ъек": 33695, + "вшихся": 33696, + "мокра": 33697, + "ющую": 33698, + "▁ходе": 33699, + "▁сом": 33700, + "▁рядом": 33701, + "▁подготов": 33702, + "ндии": 33703, + "▁столь": 33704, + "▁Север": 33705, + "▁улица": 33706, + "▁семей": 33707, + "▁труд": 33708, + "ционной": 33709, + "зывать": 33710, + "▁поддержи": 33711, + "зия": 33712, + "▁Вто": 33713, + "▁Например": 33714, + "▁немного": 33715, + "сю": 33716, + "▁ново": 33717, + "оте": 33718, + "▁частности": 33719, + "▁аэ": 33720, + "мый": 33721, + "жным": 33722, + "лье": 33723, + "▁кана": 33724, + "▁данным": 33725, + "▁поя": 33726, + "кну": 33727, + "нным": 33728, + "спублики": 33729, + "▁войск": 33730, + "▁серьез": 33731, + "▁своими": 33732, + "▁забы": 33733, + "▁обсу": 33734, + "сколько": 33735, + "▁мужчи": 33736, + "▁конкре": 33737, + "чит": 33738, + "кет": 33739, + "▁темпера": 33740, + "гах": 33741, + "▁вдо": 33742, + "▁плане": 33743, + "ходил": 33744, + "▁предлага": 33745, + "▁тела": 33746, + "▁пом": 33747, + "▁постоянно": 33748, + "▁эффектив": 33749, + "▁земли": 33750, + "▁прошло": 33751, + "▁млн": 33752, + "▁Также": 33753, + "▁замеча": 33754, + "▁деву": 33755, + "inu": 33756, + "луч": 33757, + "▁Германии": 33758, + "сах": 33759, + "▁процесс": 33760, + "▁отношении": 33761, + "▁словам": 33762, + "▁сильно": 33763, + "туаль": 33764, + "▁Между": 33765, + "жает": 33766, + "циях": 33767, + "▁проблемы": 33768, + "▁появля": 33769, + "иль": 33770, + "▁группа": 33771, + "▁свобод": 33772, + "тический": 33773, + "▁рублей": 33774, + "▁Ком": 33775, + "бло": 33776, + "▁Франции": 33777, + "▁позволя": 33778, + "▁Гор": 33779, + "восто": 33780, + "вки": 33781, + "▁средств": 33782, + "▁силу": 33783, + "▁проте": 33784, + "▁готов": 33785, + "▁благодаря": 33786, + "▁комна": 33787, + "▁столи": 33788, + "пет": 33789, + "стях": 33790, + "чал": 33791, + "▁счет": 33792, + "▁Эта": 33793, + "▁Сле": 33794, + "гам": 33795, + "▁уж": 33796, + "▁дополни": 33797, + "▁расположен": 33798, + "▁разно": 33799, + "чены": 33800, + "ОВ": 33801, + "▁кос": 33802, + "рец": 33803, + "тчи": 33804, + "НИ": 33805, + "▁Ленин": 33806, + "лимпи": 33807, + "▁писал": 33808, + "▁нему": 33809, + "емого": 33810, + "▁генерал": 33811, + "▁профессиона": 33812, + "▁говорить": 33813, + "▁работал": 33814, + "▁стране": 33815, + "ходили": 33816, + "роде": 33817, + "рица": 33818, + "▁осуществля": 33819, + "▁оцен": 33820, + "▁шу": 33821, + "▁сек": 33822, + "▁остро": 33823, + "▁Дру": 33824, + "щении": 33825, + "▁тю": 33826, + "▁опыт": 33827, + "▁отмеча": 33828, + "ственная": 33829, + "▁сторон": 33830, + "▁Ты": 33831, + "▁аген": 33832, + "▁клю": 33833, + "город": 33834, + "лении": 33835, + "▁Федерации": 33836, + "▁доступ": 33837, + "тика": 33838, + "▁ряд": 33839, + "▁непре": 33840, + "▁доказа": 33841, + "телям": 33842, + "туру": 33843, + "▁иметь": 33844, + "▁индиви": 33845, + "▁Глав": 33846, + "▁игро": 33847, + "▁примерно": 33848, + "кин": 33849, + "влено": 33850, + "▁Примеча": 33851, + "▁обстоя": 33852, + "▁выну": 33853, + "▁позна": 33854, + "лад": 33855, + "▁художе": 33856, + "▁Ио": 33857, + "▁следова": 33858, + "▁оце": 33859, + "ческими": 33860, + "▁составляет": 33861, + "ковой": 33862, + "▁верну": 33863, + "шой": 33864, + "▁непри": 33865, + "▁пользу": 33866, + "ровали": 33867, + "йт": 33868, + "▁полно": 33869, + "▁кате": 33870, + "▁воспо": 33871, + "▁биз": 33872, + "▁инстру": 33873, + "▁сколько": 33874, + "тельную": 33875, + "▁Гри": 33876, + "лог": 33877, + "▁применя": 33878, + "▁известно": 33879, + "▁печа": 33880, + "▁увеличи": 33881, + "нял": 33882, + "▁получить": 33883, + "▁аппара": 33884, + "▁жерт": 33885, + "▁непосред": 33886, + "▁Амери": 33887, + "▁моря": 33888, + "▁comple": 33889, + "гани": 33890, + "▁водо": 33891, + "ционных": 33892, + "▁еже": 33893, + "цей": 33894, + "▁будто": 33895, + "▁ребен": 33896, + "▁контра": 33897, + "▁положение": 33898, + "дам": 33899, + "▁посла": 33900, + "▁реда": 33901, + "▁другим": 33902, + "влена": 33903, + "говори": 33904, + "емой": 33905, + "▁Чере": 33906, + "вел": 33907, + "дали": 33908, + "рес": 33909, + "▁зло": 33910, + "▁приводи": 33911, + "▁ат": 33912, + "▁хва": 33913, + "лер": 33914, + "вшиеся": 33915, + "тета": 33916, + "▁кажется": 33917, + "▁точно": 33918, + "рых": 33919, + "▁конструк": 33920, + "▁командова": 33921, + "▁ныне": 33922, + "▁позд": 33923, + "▁противника": 33924, + "▁импе": 33925, + "▁пяти": 33926, + "жали": 33927, + "▁долла": 33928, + "▁Тогда": 33929, + "нит": 33930, + "▁каждого": 33931, + "▁председа": 33932, + "▁неда": 33933, + "бар": 33934, + "тором": 33935, + "▁бума": 33936, + "▁моз": 33937, + "▁Кор": 33938, + "▁новой": 33939, + "▁госпо": 33940, + "▁заболе": 33941, + "▁награ": 33942, + "▁протя": 33943, + "▁другими": 33944, + "▁Там": 33945, + "▁нашего": 33946, + "▁говорил": 33947, + "бка": 33948, + "▁согласи": 33949, + "▁показыва": 33950, + "митри": 33951, + "▁подчи": 33952, + "фри": 33953, + "▁угро": 33954, + "ссия": 33955, + "▁первых": 33956, + "▁мыс": 33957, + "▁убий": 33958, + "▁изменения": 33959, + "▁расте": 33960, + "▁Сто": 33961, + "▁рассказыва": 33962, + "солю": 33963, + "мость": 33964, + "▁церкви": 33965, + "▁автор": 33966, + "▁вместо": 33967, + "▁вече": 33968, + "▁торго": 33969, + "ниями": 33970, + "нда": 33971, + "▁заявил": 33972, + "фон": 33973, + "▁Нет": 33974, + "▁целью": 33975, + "▁пото": 33976, + "роятно": 33977, + "спек": 33978, + "кому": 33979, + "▁Ско": 33980, + "▁прибли": 33981, + "анта": 33982, + "вшийся": 33983, + "▁позволяет": 33984, + "▁мыш": 33985, + "▁Чтобы": 33986, + "чено": 33987, + "▁знако": 33988, + "нике": 33989, + "кли": 33990, + "▁плани": 33991, + "▁газ": 33992, + "▁колле": 33993, + "▁привы": 33994, + "▁провер": 33995, + "мое": 33996, + "▁ката": 33997, + "▁суд": 33998, + "▁ранее": 33999, + "сур": 34000, + "▁опубли": 34001, + "ющихся": 34002, + "▁производства": 34003, + "▁команды": 34004, + "▁компью": 34005, + "▁кило": 34006, + "одо": 34007, + "▁игры": 34008, + "▁Рас": 34009, + "▁предполага": 34010, + "жности": 34011, + "▁обеспечи": 34012, + "никам": 34013, + "▁безопасности": 34014, + "▁наконец": 34015, + "▁действий": 34016, + "▁испыта": 34017, + "наче": 34018, + "▁данные": 34019, + "▁установи": 34020, + "▁существует": 34021, + "рина": 34022, + "▁фигу": 34023, + "▁орде": 34024, + "▁выска": 34025, + "тивных": 34026, + "▁одновременно": 34027, + "ехал": 34028, + "вос": 34029, + "гло": 34030, + "чув": 34031, + "сного": 34032, + "АТ": 34033, + "▁дальше": 34034, + "▁особен": 34035, + "сный": 34036, + "Со": 34037, + "▁Каза": 34038, + "лым": 34039, + "▁преи": 34040, + "▁Государ": 34041, + "▁массо": 34042, + "сад": 34043, + "▁Только": 34044, + "▁земле": 34045, + "ньше": 34046, + "▁мате": 34047, + "▁состоянии": 34048, + "▁четвер": 34049, + "тех": 34050, + "▁союз": 34051, + "▁трудно": 34052, + "шку": 34053, + "рый": 34054, + "▁празд": 34055, + "▁обязан": 34056, + "▁самоле": 34057, + "▁наш": 34058, + "гей": 34059, + "▁основном": 34060, + "▁Владимир": 34061, + "▁предложи": 34062, + "▁формы": 34063, + "▁Европы": 34064, + "Пе": 34065, + "▁разу": 34066, + "▁мета": 34067, + "Во": 34068, + "▁Поль": 34069, + "▁невозможно": 34070, + "▁правило": 34071, + "вели": 34072, + "руют": 34073, + "▁театра": 34074, + "▁Мне": 34075, + "▁катего": 34076, + "лая": 34077, + "▁речь": 34078, + "рёх": 34079, + "▁тво": 34080, + "дение": 34081, + "▁музыка": 34082, + "нему": 34083, + "▁законо": 34084, + "зре": 34085, + "▁события": 34086, + "▁заключа": 34087, + "СТ": 34088, + "▁микро": 34089, + "▁другу": 34090, + "▁сро": 34091, + "▁Пари": 34092, + "гать": 34093, + "поло": 34094, + "▁культур": 34095, + "▁выгля": 34096, + "способ": 34097, + "зин": 34098, + "вла": 34099, + "▁мнению": 34100, + "▁подвер": 34101, + "▁команду": 34102, + "Не": 34103, + "▁знаю": 34104, + "▁самый": 34105, + "щества": 34106, + "▁догово": 34107, + "▁раньше": 34108, + "▁доби": 34109, + "▁середи": 34110, + "▁логи": 34111, + "▁ибо": 34112, + "▁пой": 34113, + "▁студен": 34114, + "▁роли": 34115, + "вился": 34116, + "▁Чу": 34117, + "▁утра": 34118, + "▁пита": 34119, + "▁спор": 34120, + "▁поки": 34121, + "обо": 34122, + "▁стату": 34123, + "▁народа": 34124, + "▁вопросы": 34125, + "ьер": 34126, + "▁Примечания": 34127, + "лений": 34128, + "▁шо": 34129, + "▁управля": 34130, + "▁Согла": 34131, + "▁состоит": 34132, + "▁времен": 34133, + "▁Же": 34134, + "куда": 34135, + "чению": 34136, + "▁мировой": 34137, + "зирова": 34138, + "послед": 34139, + "▁учеб": 34140, + "стьян": 34141, + "▁море": 34142, + "▁опас": 34143, + "▁ау": 34144, + "▁Ново": 34145, + "▁любой": 34146, + "ющем": 34147, + "▁глуби": 34148, + "гия": 34149, + "▁профессо": 34150, + "▁представляет": 34151, + "▁кварти": 34152, + "▁арми": 34153, + "▁решил": 34154, + "▁линии": 34155, + "телю": 34156, + "льными": 34157, + "▁другом": 34158, + "▁Фа": 34159, + "эй": 34160, + "▁понять": 34161, + "▁корот": 34162, + "▁пригла": 34163, + "тива": 34164, + "▁популяр": 34165, + "▁впере": 34166, + "лег": 34167, + "▁региона": 34168, + "▁язык": 34169, + "▁Тур": 34170, + "▁пришлось": 34171, + "▁Кры": 34172, + "▁покры": 34173, + "▁поля": 34174, + "▁бой": 34175, + "▁имел": 34176, + "▁своему": 34177, + "▁некото": 34178, + "тации": 34179, + "▁скло": 34180, + "▁военно": 34181, + "▁которому": 34182, + "ила": 34183, + "дленно": 34184, + "▁случаях": 34185, + "тое": 34186, + "▁окружа": 34187, + "▁ссы": 34188, + "рудова": 34189, + "▁разо": 34190, + "▁школы": 34191, + "лл": 34192, + "▁насто": 34193, + "▁верх": 34194, + "▁потреб": 34195, + "▁экспери": 34196, + "▁Ев": 34197, + "▁вста": 34198, + "▁развитие": 34199, + "влет": 34200, + "поль": 34201, + "▁учре": 34202, + "▁инже": 34203, + "дят": 34204, + "▁христиан": 34205, + "ОН": 34206, + "▁подписа": 34207, + "▁образования": 34208, + "теше": 34209, + "раздо": 34210, + "влению": 34211, + "▁искусства": 34212, + "▁стара": 34213, + "чке": 34214, + "гры": 34215, + "▁Тре": 34216, + "▁воздей": 34217, + "▁товари": 34218, + "▁настоящее": 34219, + "▁самостоя": 34220, + "слов": 34221, + "гина": 34222, + "▁макси": 34223, + "▁перево": 34224, + "▁полез": 34225, + "▁меч": 34226, + "тивно": 34227, + "тирова": 34228, + "▁расстоя": 34229, + "дили": 34230, + "ствовали": 34231, + "▁первые": 34232, + "▁стреми": 34233, + "▁сыгра": 34234, + "▁изо": 34235, + "▁деятельность": 34236, + "ЕР": 34237, + "▁подроб": 34238, + "дже": 34239, + "▁устра": 34240, + "▁пору": 34241, + "▁выи": 34242, + "▁фай": 34243, + "▁фра": 34244, + "вании": 34245, + "▁языка": 34246, + "шими": 34247, + "вит": 34248, + "▁власть": 34249, + "▁ситуации": 34250, + "нке": 34251, + "▁Ху": 34252, + "тни": 34253, + "▁хотел": 34254, + "тивной": 34255, + "▁нуж": 34256, + "▁пост": 34257, + "▁прожи": 34258, + "▁пти": 34259, + "▁финансо": 34260, + "▁правительства": 34261, + "▁паль": 34262, + "▁посо": 34263, + "▁Через": 34264, + "нден": 34265, + "▁Ген": 34266, + "ровки": 34267, + "▁Среди": 34268, + "▁ими": 34269, + "тное": 34270, + "▁ква": 34271, + "▁Дмитри": 34272, + "▁прос": 34273, + "▁япо": 34274, + "вай": 34275, + "▁уверен": 34276, + "зья": 34277, + "▁библи": 34278, + "▁сын": 34279, + "▁скорее": 34280, + "деб": 34281, + "▁Еще": 34282, + "▁первую": 34283, + "ступления": 34284, + "соеди": 34285, + "▁препо": 34286, + "тона": 34287, + "▁заве": 34288, + "ностей": 34289, + "▁высоко": 34290, + "▁давно": 34291, + "▁располага": 34292, + "Ро": 34293, + "тябре": 34294, + "▁ого": 34295, + "ционного": 34296, + "ющиеся": 34297, + "влений": 34298, + "▁соответствии": 34299, + "▁моей": 34300, + "которы": 34301, + "▁охра": 34302, + "▁сокра": 34303, + "тической": 34304, + "▁переме": 34305, + "▁Именно": 34306, + "шек": 34307, + "▁исче": 34308, + "▁знамени": 34309, + "образова": 34310, + "тился": 34311, + "▁опять": 34312, + "▁ата": 34313, + "пят": 34314, + "▁выбра": 34315, + "ссив": 34316, + "рик": 34317, + "▁впечат": 34318, + "▁безу": 34319, + "▁Хотя": 34320, + "тиви": 34321, + "чиво": 34322, + "▁метров": 34323, + "▁ужа": 34324, + "тник": 34325, + "▁Основ": 34326, + "▁исследования": 34327, + "▁целом": 34328, + "▁Роди": 34329, + "▁радо": 34330, + "▁труда": 34331, + "▁преда": 34332, + "▁чуть": 34333, + "последствии": 34334, + "▁особо": 34335, + "▁вдруг": 34336, + "▁дел": 34337, + "прочем": 34338, + "пании": 34339, + "▁работает": 34340, + "тием": 34341, + "▁сайте": 34342, + "▁состояние": 34343, + "кса": 34344, + "жная": 34345, + "щать": 34346, + "дор": 34347, + "▁первым": 34348, + "зить": 34349, + "▁абсолю": 34350, + "бки": 34351, + "▁веду": 34352, + "▁удоб": 34353, + "тики": 34354, + "несе": 34355, + "гель": 34356, + "▁индивиду": 34357, + "цам": 34358, + "▁досто": 34359, + "▁сф": 34360, + "▁двумя": 34361, + "▁мага": 34362, + "▁рамках": 34363, + "▁главным": 34364, + "▁ору": 34365, + "▁сви": 34366, + "жению": 34367, + "▁упомина": 34368, + "▁положи": 34369, + "▁бед": 34370, + "дите": 34371, + "▁сопрово": 34372, + "Ра": 34373, + "▁преимуще": 34374, + "▁держа": 34375, + "▁образу": 34376, + "▁сама": 34377, + "▁Ги": 34378, + "▁карь": 34379, + "▁Совета": 34380, + "duced": 34381, + "▁уровня": 34382, + "▁сверх": 34383, + "▁жить": 34384, + "▁такая": 34385, + "нести": 34386, + "▁услу": 34387, + "▁артилле": 34388, + "▁монасты": 34389, + "▁депута": 34390, + "▁форме": 34391, + "пить": 34392, + "стати": 34393, + "▁жителей": 34394, + "▁людя": 34395, + "▁несмотря": 34396, + "пру": 34397, + "▁серд": 34398, + "▁Гра": 34399, + "▁Коро": 34400, + "▁указыва": 34401, + "▁спокой": 34402, + "Мо": 34403, + "▁ль": 34404, + "▁Их": 34405, + "▁наук": 34406, + "нены": 34407, + "▁гораздо": 34408, + "▁Авто": 34409, + "▁украин": 34410, + "▁инф": 34411, + "▁предме": 34412, + "▁совершен": 34413, + "▁Сте": 34414, + "▁Бар": 34415, + "сных": 34416, + "▁полага": 34417, + "сит": 34418, + "▁другого": 34419, + "▁замести": 34420, + "▁нена": 34421, + "▁сделал": 34422, + "▁голову": 34423, + "▁Им": 34424, + "▁позже": 34425, + "▁зара": 34426, + "▁тело": 34427, + "▁раза": 34428, + "жки": 34429, + "▁говорят": 34430, + "▁установ": 34431, + "▁правитель": 34432, + "▁Ведь": 34433, + "▁религиоз": 34434, + "▁создания": 34435, + "▁останови": 34436, + "▁Рабо": 34437, + "шил": 34438, + "▁знает": 34439, + "▁плохо": 34440, + "▁неф": 34441, + "циями": 34442, + "сные": 34443, + "емся": 34444, + "два": 34445, + "▁умень": 34446, + "▁чрез": 34447, + "сф": 34448, + "▁помощь": 34449, + "▁возгла": 34450, + "станти": 34451, + "ую": 34452, + "▁брига": 34453, + "▁яр": 34454, + "лением": 34455, + "▁слов": 34456, + "▁роман": 34457, + "вайте": 34458, + "тным": 34459, + "▁журнали": 34460, + "▁здоров": 34461, + "▁уровне": 34462, + "▁центр": 34463, + "▁ниже": 34464, + "▁молоды": 34465, + "тке": 34466, + "сова": 34467, + "ждении": 34468, + "▁последние": 34469, + "стить": 34470, + "ус": 34471, + "▁каким": 34472, + "груз": 34473, + "тербург": 34474, + "метров": 34475, + "▁подня": 34476, + "чена": 34477, + "▁Союза": 34478, + "тина": 34479, + "▁исключи": 34480, + "▁множество": 34481, + "▁систем": 34482, + "▁знал": 34483, + "ждать": 34484, + "▁ресур": 34485, + "бви": 34486, + "вка": 34487, + "▁далеко": 34488, + "писко": 34489, + "ствием": 34490, + "▁Тру": 34491, + "▁начали": 34492, + "▁дать": 34493, + "▁пропа": 34494, + "▁пережи": 34495, + "▁значения": 34496, + "▁движение": 34497, + "▁теории": 34498, + "▁назначен": 34499, + "мого": 34500, + "▁сначала": 34501, + "ственности": 34502, + "▁программы": 34503, + "▁развед": 34504, + "▁русской": 34505, + "▁лиц": 34506, + "▁канди": 34507, + "бай": 34508, + "▁Япо": 34509, + "спи": 34510, + "▁федера": 34511, + "реза": 34512, + "▁десяти": 34513, + "▁дни": 34514, + "тивного": 34515, + "▁женщин": 34516, + "▁употре": 34517, + "степенно": 34518, + "дной": 34519, + "▁долларов": 34520, + "▁относительно": 34521, + "нией": 34522, + "▁[/": 34523, + "▁Чем": 34524, + "чика": 34525, + "тивный": 34526, + "▁относя": 34527, + "жность": 34528, + "▁смотре": 34529, + "▁европей": 34530, + "сл": 34531, + "▁Москвы": 34532, + "▁рекомен": 34533, + "гро": 34534, + "ллю": 34535, + "▁главе": 34536, + "▁прото": 34537, + "▁прид": 34538, + "▁кандида": 34539, + "▁мастер": 34540, + "▁Це": 34541, + "▁горя": 34542, + "▁маль": 34543, + "▁Запад": 34544, + "▁операции": 34545, + "чая": 34546, + "▁бур": 34547, + "▁эмо": 34548, + "▁психи": 34549, + "▁документа": 34550, + "▁осно": 34551, + "▁Один": 34552, + "арь": 34553, + "▁ид": 34554, + "▁мел": 34555, + "▁отец": 34556, + "АН": 34557, + "▁животных": 34558, + "▁нами": 34559, + "▁самые": 34560, + "жены": 34561, + "▁страте": 34562, + "▁пишет": 34563, + "▁ще": 34564, + "▁фильм": 34565, + "▁страда": 34566, + "▁женщины": 34567, + "▁краси": 34568, + "▁Ши": 34569, + "▁погиб": 34570, + "▁вскоре": 34571, + "▁Гре": 34572, + "ствова": 34573, + "чью": 34574, + "▁литератур": 34575, + "тальян": 34576, + "тивные": 34577, + "▁процесса": 34578, + "▁Центра": 34579, + "▁Ана": 34580, + "▁месяцев": 34581, + "▁Согласно": 34582, + "▁денег": 34583, + "това": 34584, + "тает": 34585, + "▁доме": 34586, + "▁история": 34587, + "▁нер": 34588, + "▁пересе": 34589, + "▁сих": 34590, + "▁стандар": 34591, + "▁ночь": 34592, + "нте": 34593, + "бил": 34594, + "▁Россия": 34595, + "голь": 34596, + "▁истре": 34597, + "вшее": 34598, + "▁исполни": 34599, + "▁уто": 34600, + "▁турни": 34601, + "▁процен": 34602, + "▁юри": 34603, + "▁двор": 34604, + "▁Рус": 34605, + "▁фир": 34606, + "шев": 34607, + "▁отрица": 34608, + "ченных": 34609, + "тыми": 34610, + "▁испы": 34611, + "▁могла": 34612, + "▁построе": 34613, + "▁начало": 34614, + "▁разве": 34615, + "▁хоть": 34616, + "ссов": 34617, + "▁бле": 34618, + "▁иначе": 34619, + "ваясь": 34620, + "гни": 34621, + "чественной": 34622, + "▁социали": 34623, + "▁отца": 34624, + "▁чаще": 34625, + "▁языке": 34626, + "▁семьи": 34627, + "▁автома": 34628, + "▁революции": 34629, + "▁смерть": 34630, + "зен": 34631, + "▁большинство": 34632, + "▁русских": 34633, + "▁означает": 34634, + "▁парт": 34635, + "пя": 34636, + "▁выяс": 34637, + "тная": 34638, + "джи": 34639, + "▁улуч": 34640, + "ковых": 34641, + "▁оборудова": 34642, + "▁происхо": 34643, + "▁ини": 34644, + "embers": 34645, + "коми": 34646, + "▁Мини": 34647, + "▁смысле": 34648, + "▁сове": 34649, + "▁Сей": 34650, + "ногие": 34651, + "▁удовлет": 34652, + "▁путеше": 34653, + "▁многочисле": 34654, + "рыва": 34655, + "▁семье": 34656, + "▁крестьян": 34657, + "▁паро": 34658, + "▁организова": 34659, + "▁сигна": 34660, + "▁дивизии": 34661, + "▁любви": 34662, + "▁зависимости": 34663, + "▁чисто": 34664, + "▁тепло": 34665, + "▁мои": 34666, + "▁берегу": 34667, + "▁числа": 34668, + "▁отвер": 34669, + "ternational": 34670, + "▁напомина": 34671, + "▁последу": 34672, + "▁двадца": 34673, + "даль": 34674, + "▁согласно": 34675, + "▁видео": 34676, + "▁систему": 34677, + "▁сне": 34678, + "произ": 34679, + "▁делает": 34680, + "ина": 34681, + "▁компози": 34682, + "▁провин": 34683, + "▁Вме": 34684, + "▁избе": 34685, + "▁можете": 34686, + "▁отличие": 34687, + "▁подчер": 34688, + "▁субъек": 34689, + "▁зу": 34690, + "ждений": 34691, + "тку": 34692, + "▁Нью": 34693, + "▁значительно": 34694, + "тую": 34695, + "▁попада": 34696, + "▁уро": 34697, + "мимо": 34698, + "▁туда": 34699, + "▁Константи": 34700, + "▁содержи": 34701, + "стами": 34702, + "▁Конечно": 34703, + "▁упа": 34704, + "▁проекта": 34705, + "▁крепо": 34706, + "стров": 34707, + "нских": 34708, + "▁частью": 34709, + "▁мм": 34710, + "ченные": 34711, + "▁честь": 34712, + "хар": 34713, + "▁памяти": 34714, + "ложить": 34715, + "▁Фо": 34716, + "▁charact": 34717, + "▁взаимодей": 34718, + "▁проблема": 34719, + "бю": 34720, + "▁хле": 34721, + "бить": 34722, + "▁сет": 34723, + "зоваться": 34724, + "▁кисло": 34725, + "▁Верхов": 34726, + "▁проект": 34727, + "▁университета": 34728, + "фы": 34729, + "▁Ке": 34730, + "▁хими": 34731, + "▁законода": 34732, + "▁цвета": 34733, + "тите": 34734, + "▁модели": 34735, + "▁науки": 34736, + "ллек": 34737, + "питан": 34738, + "сшта": 34739, + "которые": 34740, + "▁проблем": 34741, + "ступление": 34742, + "ляции": 34743, + "стной": 34744, + "▁дис": 34745, + "брь": 34746, + "▁класса": 34747, + "менова": 34748, + "▁неизвест": 34749, + "льд": 34750, + "▁Жи": 34751, + "▁зам": 34752, + "ционные": 34753, + "▁какое": 34754, + "▁отря": 34755, + "▁расположе": 34756, + "титься": 34757, + "дови": 34758, + "▁каждой": 34759, + "▁Даже": 34760, + "щик": 34761, + "▁всеми": 34762, + "▁уровень": 34763, + "▁Вол": 34764, + "▁произошло": 34765, + "▁ев": 34766, + "▁лично": 34767, + "▁евре": 34768, + "▁рим": 34769, + "▁видов": 34770, + "вила": 34771, + "гал": 34772, + "▁предмет": 34773, + "▁можем": 34774, + "▁рекла": 34775, + "▁оказался": 34776, + "▁Пла": 34777, + "▁прош": 34778, + "рите": 34779, + "▁пят": 34780, + "▁напа": 34781, + "летия": 34782, + "pril": 34783, + "ленных": 34784, + "▁ниж": 34785, + "пой": 34786, + "▁Есть": 34787, + "▁заво": 34788, + "стые": 34789, + "лимпий": 34790, + "▁Кто": 34791, + "дьми": 34792, + "▁случи": 34793, + "▁завое": 34794, + "▁первом": 34795, + "▁объяви": 34796, + "▁дети": 34797, + "дный": 34798, + "цкий": 34799, + "▁никаких": 34800, + "луа": 34801, + "циони": 34802, + "▁британ": 34803, + "▁свидетель": 34804, + "▁коне": 34805, + "чает": 34806, + "▁существу": 34807, + "ОР": 34808, + "▁Бело": 34809, + "▁влияние": 34810, + "▁Пар": 34811, + "▁Сред": 34812, + "▁итоге": 34813, + "▁службы": 34814, + "Но": 34815, + "▁полка": 34816, + "довать": 34817, + "▁бор": 34818, + "женный": 34819, + "▁член": 34820, + "▁жена": 34821, + "▁президент": 34822, + "▁произведения": 34823, + "жё": 34824, + "▁вышел": 34825, + "▁острова": 34826, + "▁зри": 34827, + "▁Ше": 34828, + "▁видел": 34829, + "▁сня": 34830, + "▁предна": 34831, + "▁дороги": 34832, + "ланд": 34833, + "▁препода": 34834, + "понен": 34835, + "▁получили": 34836, + "▁настолько": 34837, + "эр": 34838, + "ётся": 34839, + "▁принял": 34840, + "▁различные": 34841, + "мера": 34842, + "▁Можно": 34843, + "▁обнару": 34844, + "▁сохрани": 34845, + "▁твер": 34846, + "щал": 34847, + "▁библиоте": 34848, + "тельными": 34849, + "нением": 34850, + "ционный": 34851, + "цом": 34852, + "▁зер": 34853, + "шается": 34854, + "чений": 34855, + "▁дает": 34856, + "▁Май": 34857, + "▁функции": 34858, + "▁демон": 34859, + "▁мл": 34860, + "чий": 34861, + "▁северо": 34862, + "▁солдат": 34863, + "КА": 34864, + "▁сцена": 34865, + "▁живу": 34866, + "ственность": 34867, + "вере": 34868, + "▁метал": 34869, + "▁объя": 34870, + "▁Николай": 34871, + "▁следующий": 34872, + "ленной": 34873, + "▁оке": 34874, + "▁создать": 34875, + "▁каких": 34876, + "ходы": 34877, + "нтов": 34878, + "лив": 34879, + "рачи": 34880, + "▁машины": 34881, + "▁Лон": 34882, + "▁establ": 34883, + "см": 34884, + "▁Мин": 34885, + "▁Пол": 34886, + "▁ребенка": 34887, + "▁войне": 34888, + "▁правительство": 34889, + "▁священ": 34890, + "▁электри": 34891, + "▁мной": 34892, + "▁хочет": 34893, + "▁прочи": 34894, + "▁проя": 34895, + "▁свер": 34896, + "▁подгото": 34897, + "▁воздуш": 34898, + "низ": 34899, + "▁опы": 34900, + "▁сча": 34901, + "▁сообщил": 34902, + "▁каби": 34903, + "▁Шу": 34904, + "▁мое": 34905, + "▁событий": 34906, + "▁суда": 34907, + "дыду": 34908, + "ниципа": 34909, + "▁сотрудни": 34910, + "▁Андре": 34911, + "▁противоре": 34912, + "▁присоеди": 34913, + "▁фронта": 34914, + "▁гар": 34915, + "▁большое": 34916, + "▁военных": 34917, + "вью": 34918, + "▁корре": 34919, + "▁вещи": 34920, + "▁удар": 34921, + "▁психологи": 34922, + "▁бит": 34923, + "виться": 34924, + "кру": 34925, + "щиков": 34926, + "▁план": 34927, + "▁небе": 34928, + "▁Мон": 34929, + "▁неожида": 34930, + "▁добы": 34931, + "▁разные": 34932, + "▁усили": 34933, + "▁путем": 34934, + "стных": 34935, + "▁преж": 34936, + "тории": 34937, + "кипа": 34938, + "▁гвар": 34939, + "▁предела": 34940, + "▁человеком": 34941, + "жат": 34942, + "▁демокра": 34943, + "▁взгляд": 34944, + "▁циф": 34945, + "тельном": 34946, + "тков": 34947, + "▁книге": 34948, + "щаться": 34949, + "тит": 34950, + "▁членов": 34951, + "▁Джон": 34952, + "▁важно": 34953, + "▁которыми": 34954, + "▁компания": 34955, + "луй": 34956, + "оны": 34957, + "▁максима": 34958, + "▁Сергей": 34959, + "строи": 34960, + "шке": 34961, + "▁сочи": 34962, + "▁учё": 34963, + "верь": 34964, + "щими": 34965, + "▁распоря": 34966, + "▁историю": 34967, + "▁людьми": 34968, + "▁использования": 34969, + "ходов": 34970, + "веден": 34971, + "▁подраз": 34972, + "▁описы": 34973, + "▁опа": 34974, + "▁ближай": 34975, + "▁статьи": 34976, + "▁поводу": 34977, + "▁русского": 34978, + "▁имели": 34979, + "бок": 34980, + "▁написал": 34981, + "▁вести": 34982, + "▁изгото": 34983, + "▁переста": 34984, + "▁ува": 34985, + "▁сопроти": 34986, + "▁виду": 34987, + "▁рассмотре": 34988, + "▁процессе": 34989, + "▁вовсе": 34990, + "▁покупа": 34991, + "▁Европе": 34992, + "▁борьбы": 34993, + "жное": 34994, + "ходе": 34995, + "▁всему": 34996, + "▁юго": 34997, + "▁фотографи": 34998, + "▁спустя": 34999, + "▁отношений": 35000, + "▁москов": 35001, + "▁кому": 35002, + "▁позиции": 35003, + "лями": 35004, + "▁условия": 35005, + "▁индивидуаль": 35006, + "▁другое": 35007, + "▁системе": 35008, + "▁солн": 35009, + "▁секу": 35010, + "▁выход": 35011, + "▁газе": 35012, + "▁запро": 35013, + "▁начинает": 35014, + "ческому": 35015, + "стики": 35016, + "▁Иван": 35017, + "разу": 35018, + "лять": 35019, + "▁мать": 35020, + "▁людям": 35021, + "▁необы": 35022, + "дал": 35023, + "ВА": 35024, + "ственном": 35025, + "▁президента": 35026, + "лон": 35027, + "кали": 35028, + "ведений": 35029, + "▁экспер": 35030, + "▁вен": 35031, + "▁обороны": 35032, + "парта": 35033, + "▁концеп": 35034, + "бель": 35035, + "▁моя": 35036, + "▁знать": 35037, + "ТАСС": 35038, + "▁увиде": 35039, + "▁веро": 35040, + "влять": 35041, + "сив": 35042, + "ждая": 35043, + "▁столько": 35044, + "▁Почему": 35045, + "▁принять": 35046, + "▁станции": 35047, + "▁постепенно": 35048, + "▁Ад": 35049, + "▁временем": 35050, + "чиков": 35051, + "бир": 35052, + "▁последний": 35053, + "▁требования": 35054, + "▁предыду": 35055, + "▁Республики": 35056, + "▁причем": 35057, + "▁философи": 35058, + "▁задачи": 35059, + "▁проявля": 35060, + "▁обрабо": 35061, + "▁осозна": 35062, + "▁Сталин": 35063, + "▁хро": 35064, + "▁брат": 35065, + "▁остается": 35066, + "фикации": 35067, + "филь": 35068, + "нули": 35069, + "▁удиви": 35070, + "▁общем": 35071, + "▁коммуни": 35072, + "▁заслу": 35073, + "▁цве": 35074, + "форм": 35075, + "ницей": 35076, + "▁чувство": 35077, + "▁кле": 35078, + "▁Ита": 35079, + "▁кров": 35080, + "▁величи": 35081, + "ссажи": 35082, + "▁неве": 35083, + "▁сосед": 35084, + "▁перегово": 35085, + "▁Великой": 35086, + "▁связь": 35087, + "▁фильма": 35088, + "дка": 35089, + "▁голов": 35090, + "вале": 35091, + "▁пого": 35092, + "ваний": 35093, + "▁Госпо": 35094, + "▁вроде": 35095, + "▁особы": 35096, + "▁большую": 35097, + "даго": 35098, + "бина": 35099, + "▁итальян": 35100, + "▁таком": 35101, + "▁наслед": 35102, + "▁воспита": 35103, + "нную": 35104, + "▁фанта": 35105, + "▁клуб": 35106, + "▁энергии": 35107, + "женных": 35108, + "▁возбу": 35109, + "тю": 35110, + "пень": 35111, + "▁архитек": 35112, + "гий": 35113, + "▁девя": 35114, + "суль": 35115, + "▁ясно": 35116, + "▁зи": 35117, + "жела": 35118, + "▁информацию": 35119, + "сток": 35120, + "▁тка": 35121, + "Ве": 35122, + "▁Оста": 35123, + "стых": 35124, + "▁запи": 35125, + "▁поднима": 35126, + "ственную": 35127, + "▁Пушки": 35128, + "▁будем": 35129, + "ново": 35130, + "▁наше": 35131, + "лку": 35132, + "▁Велико": 35133, + "▁одино": 35134, + "▁Потом": 35135, + "▁фина": 35136, + "▁попыт": 35137, + "плуа": 35138, + "▁выво": 35139, + "▁вернулся": 35140, + "меется": 35141, + "▁сына": 35142, + "▁полков": 35143, + "вленные": 35144, + "лое": 35145, + "ненных": 35146, + "рхи": 35147, + "ждён": 35148, + "▁китай": 35149, + "▁восстано": 35150, + "рые": 35151, + "▁КП": 35152, + "гно": 35153, + "▁Благо": 35154, + "катери": 35155, + "▁потен": 35156, + "▁империи": 35157, + "бин": 35158, + "▁общей": 35159, + "риаль": 35160, + "▁станет": 35161, + "▁навер": 35162, + "▁необходимости": 35163, + "Бо": 35164, + "▁факт": 35165, + "▁парла": 35166, + "▁наказа": 35167, + "види": 35168, + "▁сердце": 35169, + "▁Второй": 35170, + "▁режисс": 35171, + "▁стен": 35172, + "▁поверхности": 35173, + "поста": 35174, + "▁дове": 35175, + "▁имуще": 35176, + "шении": 35177, + "▁Первый": 35178, + "▁муниципа": 35179, + "▁Национа": 35180, + "стного": 35181, + "▁офице": 35182, + "▁души": 35183, + "▁еврей": 35184, + "▁Послед": 35185, + "▁мысль": 35186, + "стической": 35187, + "▁рома": 35188, + "▁пье": 35189, + "▁Кри": 35190, + "▁материаль": 35191, + "▁дал": 35192, + "ваем": 35193, + "лне": 35194, + "▁Некоторые": 35195, + "видно": 35196, + "▁обре": 35197, + "зды": 35198, + "шал": 35199, + "▁органов": 35200, + "▁выигра": 35201, + "▁сети": 35202, + "▁опо": 35203, + "▁писатель": 35204, + "ration": 35205, + "▁уди": 35206, + "начально": 35207, + "▁отношение": 35208, + "▁прис": 35209, + "▁руку": 35210, + "рода": 35211, + "▁спек": 35212, + "▁устанавли": 35213, + "▁уголов": 35214, + "▁опро": 35215, + "▁сос": 35216, + "▁используется": 35217, + "▁круг": 35218, + "нется": 35219, + "нье": 35220, + "емая": 35221, + "▁косми": 35222, + "▁подума": 35223, + "жь": 35224, + "▁Отечественной": 35225, + "▁Александра": 35226, + "▁озе": 35227, + "▁времена": 35228, + "▁природы": 35229, + "бль": 35230, + "▁направлении": 35231, + "▁выпуска": 35232, + "▁баталь": 35233, + "нился": 35234, + "▁воск": 35235, + "вляется": 35236, + "▁сборной": 35237, + "чев": 35238, + "▁месяца": 35239, + "Са": 35240, + "▁руках": 35241, + "▁крови": 35242, + "▁домой": 35243, + "▁шесть": 35244, + "ront": 35245, + "ниям": 35246, + "▁суме": 35247, + "▁судеб": 35248, + "▁кафе": 35249, + "▁партий": 35250, + "▁включая": 35251, + "▁качества": 35252, + "▁оба": 35253, + "▁проз": 35254, + "▁чувства": 35255, + "▁словами": 35256, + "▁сравни": 35257, + "ждает": 35258, + "долго": 35259, + "▁личности": 35260, + "▁внимания": 35261, + "▁относится": 35262, + "дных": 35263, + "▁раскры": 35264, + "▁Стра": 35265, + "▁идеи": 35266, + "вшую": 35267, + "reet": 35268, + "ЕН": 35269, + "▁космо": 35270, + "▁распреде": 35271, + "▁акт": 35272, + "стям": 35273, + "▁совета": 35274, + "меры": 35275, + "кции": 35276, + "▁привле": 35277, + "▁хочу": 35278, + "▁странах": 35279, + "▁отме": 35280, + "надцать": 35281, + "▁любовь": 35282, + "редо": 35283, + "ктором": 35284, + "▁находятся": 35285, + "тим": 35286, + "▁приказа": 35287, + "▁жили": 35288, + "вычай": 35289, + "▁касается": 35290, + "МИ": 35291, + "▁причина": 35292, + "кров": 35293, + "▁вое": 35294, + "▁возраста": 35295, + "▁заседа": 35296, + "▁приходится": 35297, + "▁слы": 35298, + "▁действу": 35299, + "▁землю": 35300, + "\\.": 35301, + "▁письмо": 35302, + "▁вероятно": 35303, + "чили": 35304, + "▁Сейчас": 35305, + "▁вперед": 35306, + "сная": 35307, + "▁рису": 35308, + "дре": 35309, + "нными": 35310, + "▁большим": 35311, + "▁срок": 35312, + "▁Несмотря": 35313, + "йдет": 35314, + "▁Тро": 35315, + "▁смысл": 35316, + "вшейся": 35317, + "бами": 35318, + "▁сообщает": 35319, + "▁русский": 35320, + "▁подви": 35321, + "▁женщина": 35322, + "▁предприятия": 35323, + "▁истреби": 35324, + "▁ам": 35325, + "▁зави": 35326, + "▁запо": 35327, + "▁превы": 35328, + "▁пала": 35329, + "тического": 35330, + "▁ТА": 35331, + "нность": 35332, + "сторон": 35333, + "▁карто": 35334, + "▁Лит": 35335, + "▁Санкт": 35336, + "Да": 35337, + "▁момента": 35338, + "▁домаш": 35339, + "пки": 35340, + "▁академи": 35341, + "сыпа": 35342, + "▁посред": 35343, + "ос": 35344, + "щихся": 35345, + "▁названием": 35346, + "▁Алексе": 35347, + "▁порядке": 35348, + "▁действие": 35349, + "▁Сам": 35350, + "▁вслед": 35351, + "▁широко": 35352, + "рядок": 35353, + "водят": 35354, + "▁беско": 35355, + "▁середине": 35356, + "▁трак": 35357, + "втра": 35358, + "▁секрета": 35359, + "arried": 35360, + "▁Англии": 35361, + "▁трудо": 35362, + "▁Ман": 35363, + "нейших": 35364, + "▁лоша": 35365, + "До": 35366, + "суаль": 35367, + "▁позволи": 35368, + "щены": 35369, + "▁видеть": 35370, + "▁каз": 35371, + "▁протяжении": 35372, + "▁Михай": 35373, + "▁зво": 35374, + "▁стороне": 35375, + "▁инициа": 35376, + "стана": 35377, + "интере": 35378, + "▁связан": 35379, + "ВД": 35380, + "▁пресс": 35381, + "▁моно": 35382, + "▁неуда": 35383, + "днев": 35384, + "▁Может": 35385, + "роприя": 35386, + "▁результат": 35387, + "▁далее": 35388, + "▁захо": 35389, + "▁сда": 35390, + "дру": 35391, + "▁дипло": 35392, + "ходила": 35393, + "нена": 35394, + "▁находился": 35395, + "▁речи": 35396, + "▁получила": 35397, + "ченный": 35398, + "лете": 35399, + "▁масшта": 35400, + "ющийся": 35401, + "▁сущ": 35402, + "▁очи": 35403, + "▁новое": 35404, + "▁общего": 35405, + "▁бывает": 35406, + "новения": 35407, + "▁задача": 35408, + "▁друзья": 35409, + "▁Геор": 35410, + "стического": 35411, + "пустить": 35412, + "▁гри": 35413, + "▁республи": 35414, + "▁любы": 35415, + "▁зависит": 35416, + "▁мора": 35417, + "▁транс": 35418, + "▁стихи": 35419, + "вшегося": 35420, + "▁меж": 35421, + "▁жесто": 35422, + "▁центре": 35423, + "нодоро": 35424, + "▁поступа": 35425, + "товой": 35426, + "кает": 35427, + "пно": 35428, + "кана": 35429, + "стье": 35430, + "▁концов": 35431, + "▁рабочих": 35432, + "▁транспорт": 35433, + "▁площадь": 35434, + "▁конфлик": 35435, + "ruary": 35436, + "ологии": 35437, + "▁посмотре": 35438, + "ждается": 35439, + "гая": 35440, + "▁воду": 35441, + "uthor": 35442, + "▁Екатери": 35443, + "мену": 35444, + "▁Серге": 35445, + "▁нема": 35446, + "▁миллионов": 35447, + "тиру": 35448, + "▁кг": 35449, + "▁округа": 35450, + "▁Многие": 35451, + "▁охо": 35452, + "▁терро": 35453, + "▁испыты": 35454, + "енси": 35455, + "▁Дан": 35456, + "▁осве": 35457, + "▁версии": 35458, + "▁Джо": 35459, + "▁Наи": 35460, + "жется": 35461, + "▁весе": 35462, + "фей": 35463, + "▁гря": 35464, + "▁клет": 35465, + "▁родился": 35466, + "▁правда": 35467, + "▁оказалось": 35468, + "▁света": 35469, + "▁подъ": 35470, + "поле": 35471, + "гали": 35472, + "дные": 35473, + "бий": 35474, + "▁положения": 35475, + "▁избира": 35476, + "ИН": 35477, + "барди": 35478, + "▁отдельных": 35479, + "▁возрасте": 35480, + "▁Кла": 35481, + "▁глаз": 35482, + "▁реша": 35483, + "жается": 35484, + "▁справед": 35485, + "▁Кур": 35486, + "▁литературы": 35487, + "▁доче": 35488, + "▁manag": 35489, + "▁Или": 35490, + "▁Полу": 35491, + "зой": 35492, + "▁повторя": 35493, + "тения": 35494, + "▁предупре": 35495, + "▁пехо": 35496, + "▁Обра": 35497, + "▁марш": 35498, + "сторо": 35499, + "▁моего": 35500, + "▁приводит": 35501, + "▁эксплуа": 35502, + "дного": 35503, + "хан": 35504, + "▁улы": 35505, + "▁считать": 35506, + "▁машин": 35507, + "стую": 35508, + "новен": 35509, + "▁улице": 35510, + "▁большие": 35511, + "▁впоследствии": 35512, + "▁считает": 35513, + "▁учили": 35514, + "▁веке": 35515, + "▁музе": 35516, + "ваю": 35517, + "▁экипа": 35518, + "лист": 35519, + "▁основных": 35520, + "брита": 35521, + "▁взять": 35522, + "▁брать": 35523, + "чали": 35524, + "АР": 35525, + "ступить": 35526, + "ково": 35527, + "рово": 35528, + "▁яко": 35529, + "▁цель": 35530, + "▁магази": 35531, + "▁защиты": 35532, + "▁должность": 35533, + "▁доб": 35534, + "▁страш": 35535, + "▁игру": 35536, + "горь": 35537, + "люби": 35538, + "оборот": 35539, + "зяй": 35540, + "▁тысячи": 35541, + "▁глава": 35542, + "▁красо": 35543, + "▁программ": 35544, + "▁корпуса": 35545, + "няют": 35546, + "▁часа": 35547, + "▁ока": 35548, + "лены": 35549, + "▁Ино": 35550, + "▁редко": 35551, + "▁поддержа": 35552, + "▁Возможно": 35553, + "▁пригото": 35554, + "▁трёх": 35555, + "▁прида": 35556, + "вленных": 35557, + "▁Бога": 35558, + "вшими": 35559, + "▁Фу": 35560, + "ревнова": 35561, + "▁окра": 35562, + "▁война": 35563, + "▁математи": 35564, + "▁исчез": 35565, + "▁буква": 35566, + "▁мероприя": 35567, + "▁политики": 35568, + "▁могло": 35569, + "▁прем": 35570, + "▁снима": 35571, + "▁клуба": 35572, + "▁частей": 35573, + "▁сочета": 35574, + "▁Сы": 35575, + "▁результаты": 35576, + "▁сожа": 35577, + "пора": 35578, + "▁список": 35579, + "▁привлека": 35580, + "▁раство": 35581, + "лую": 35582, + "▁пассажи": 35583, + "рги": 35584, + "▁теоре": 35585, + "▁клиен": 35586, + "▁сведения": 35587, + "кура": 35588, + "▁бар": 35589, + "▁Дей": 35590, + "▁опублико": 35591, + "▁казалось": 35592, + "▁воспринима": 35593, + "▁Аб": 35594, + "ОЛ": 35595, + "печа": 35596, + "▁называется": 35597, + "▁советский": 35598, + "▁атмо": 35599, + "тельств": 35600, + "лга": 35601, + "▁предпринима": 35602, + "▁зад": 35603, + "▁противополо": 35604, + "щество": 35605, + "▁агре": 35606, + "▁патри": 35607, + "▁главное": 35608, + "дыха": 35609, + "▁вспомина": 35610, + "▁соору": 35611, + "▁народов": 35612, + "▁тюрь": 35613, + "▁гости": 35614, + "▁Пав": 35615, + "емое": 35616, + "дио": 35617, + "▁словно": 35618, + "▁Более": 35619, + "рией": 35620, + "▁длин": 35621, + "▁память": 35622, + "▁местах": 35623, + "▁изобре": 35624, + "▁направления": 35625, + "▁интеллек": 35626, + "▁Три": 35627, + "▁завод": 35628, + "▁Михаил": 35629, + "дли": 35630, + "▁ску": 35631, + "▁ассо": 35632, + "▁цивили": 35633, + "▁Уже": 35634, + "мок": 35635, + "ризо": 35636, + "▁вида": 35637, + "▁попыта": 35638, + "▁военной": 35639, + "▁штур": 35640, + "▁кризи": 35641, + "Про": 35642, + "▁Нор": 35643, + "нё": 35644, + "▁незна": 35645, + "мель": 35646, + "ема": 35647, + "равда": 35648, + "▁Гит": 35649, + "▁философ": 35650, + "▁копи": 35651, + "▁гло": 35652, + "▁плат": 35653, + "▁аэро": 35654, + "▁оружия": 35655, + "▁точ": 35656, + "▁юриди": 35657, + "мани": 35658, + "▁непосредственно": 35659, + "▁мер": 35660, + "▁бизнес": 35661, + "▁вспом": 35662, + "▁разде": 35663, + "неве": 35664, + "▁рей": 35665, + "▁месяц": 35666, + "стные": 35667, + "▁Великобрита": 35668, + "▁второго": 35669, + "цеп": 35670, + "▁общи": 35671, + "вии": 35672, + "ера": 35673, + "▁такую": 35674, + "▁Итак": 35675, + "жала": 35676, + "▁церковь": 35677, + "▁Гру": 35678, + "обла": 35679, + "ненно": 35680, + "▁слабо": 35681, + "▁Советского": 35682, + "▁опла": 35683, + "▁ответил": 35684, + "▁новую": 35685, + "▁Даль": 35686, + "▁выбор": 35687, + "▁состояния": 35688, + "▁скорость": 35689, + "▁табли": 35690, + "▁борьбе": 35691, + "▁торгов": 35692, + "▁одинако": 35693, + "▁Кали": 35694, + "▁прием": 35695, + "стая": 35696, + "▁большей": 35697, + "tended": 35698, + "▁посети": 35699, + "ятся": 35700, + "▁установлен": 35701, + "▁большая": 35702, + "чики": 35703, + "▁победи": 35704, + "тесь": 35705, + "ковые": 35706, + "▁чере": 35707, + "▁разгово": 35708, + "▁агент": 35709, + "щена": 35710, + "▁паци": 35711, + "▁больших": 35712, + "вера": 35713, + "блен": 35714, + "▁чинов": 35715, + "▁самоу": 35716, + "тение": 35717, + "служ": 35718, + "как": 35719, + "вку": 35720, + "леку": 35721, + "Па": 35722, + "▁чрезвычай": 35723, + "▁жан": 35724, + "смотри": 35725, + "рота": 35726, + "▁Доб": 35727, + "▁обязательно": 35728, + "▁мг": 35729, + "urther": 35730, + "▁десять": 35731, + "▁техники": 35732, + "цкого": 35733, + "▁продви": 35734, + "сила": 35735, + "▁Дон": 35736, + "▁человеку": 35737, + "▁нач": 35738, + "▁школе": 35739, + "▁превос": 35740, + "▁ред": 35741, + "▁Москву": 35742, + "▁графи": 35743, + "▁теря": 35744, + "▁руководством": 35745, + "лича": 35746, + "Го": 35747, + "▁королев": 35748, + "▁опти": 35749, + "лович": 35750, + "▁серви": 35751, + "▁Прави": 35752, + "ходило": 35753, + "пто": 35754, + "▁регуляр": 35755, + "inning": 35756, + "йна": 35757, + "▁обстанов": 35758, + "▁избран": 35759, + "▁аналоги": 35760, + "▁лагер": 35761, + "▁силь": 35762, + "▁войну": 35763, + "▁аресто": 35764, + "▁прогре": 35765, + "▁Красно": 35766, + "▁предназна": 35767, + "▁мяг": 35768, + "▁ноги": 35769, + "мол": 35770, + "▁оказались": 35771, + "▁называют": 35772, + "щений": 35773, + "▁смог": 35774, + "▁прово": 35775, + "▁Мор": 35776, + "▁удоволь": 35777, + "▁астро": 35778, + "▁энерги": 35779, + "▁эпизо": 35780, + "▁модель": 35781, + "риста": 35782, + "▁вес": 35783, + "▁педаго": 35784, + "свя": 35785, + "▁основной": 35786, + "бера": 35787, + "▁желе": 35788, + "▁выдви": 35789, + "ума": 35790, + "▁пару": 35791, + "▁расти": 35792, + "▁супру": 35793, + "▁государственной": 35794, + "▁Geor": 35795, + "▁Фор": 35796, + "▁фами": 35797, + "▁образование": 35798, + "гут": 35799, + "ждый": 35800, + "жную": 35801, + "▁боевых": 35802, + "гают": 35803, + "▁ЦК": 35804, + "роз": 35805, + "▁дево": 35806, + "stit": 35807, + "един": 35808, + "▁резко": 35809, + "▁преодо": 35810, + "▁стрелко": 35811, + "▁иллю": 35812, + "▁мнение": 35813, + "▁книгу": 35814, + "▁отношению": 35815, + "▁свойства": 35816, + "▁дочь": 35817, + "▁прось": 35818, + "▁Тол": 35819, + "▁требует": 35820, + "нула": 35821, + "▁серии": 35822, + "▁Вар": 35823, + "▁первое": 35824, + "пля": 35825, + "▁огонь": 35826, + "▁счаст": 35827, + "▁площади": 35828, + "аз": 35829, + "кер": 35830, + "редото": 35831, + "▁крайней": 35832, + "ковского": 35833, + "щают": 35834, + "▁Впрочем": 35835, + "рованных": 35836, + "терпе": 35837, + "▁построен": 35838, + "▁короля": 35839, + "шений": 35840, + "▁герман": 35841, + "тную": 35842, + "▁экра": 35843, + "гети": 35844, + "▁видно": 35845, + "▁общество": 35846, + "▁сезона": 35847, + "▁зеле": 35848, + "снова": 35849, + "▁оправ": 35850, + "Ми": 35851, + "▁жало": 35852, + "жая": 35853, + "жели": 35854, + "▁какая": 35855, + "▁брон": 35856, + "▁Коми": 35857, + "▁шести": 35858, + "▁говорится": 35859, + "▁Смо": 35860, + "▁гео": 35861, + "▁письма": 35862, + "тическим": 35863, + "▁РС": 35864, + "▁компонен": 35865, + "против": 35866, + "▁экспеди": 35867, + "▁Международ": 35868, + "▁идти": 35869, + "▁нынеш": 35870, + "▁маршру": 35871, + "▁какого": 35872, + "▁попы": 35873, + "▁экспо": 35874, + "▁военного": 35875, + "▁воспомина": 35876, + "▁Испо": 35877, + "▁оказывается": 35878, + "▁состава": 35879, + "▁Италии": 35880, + "лыми": 35881, + "▁думаю": 35882, + "▁Ленина": 35883, + "▁предвари": 35884, + "▁оригина": 35885, + "▁пояс": 35886, + "▁главный": 35887, + "ченко": 35888, + "▁помочь": 35889, + "▁эми": 35890, + "▁говорили": 35891, + "▁плен": 35892, + "▁коль": 35893, + "▁Бог": 35894, + "▁схе": 35895, + "рика": 35896, + "▁собственно": 35897, + "▁промышленности": 35898, + "▁зато": 35899, + "▁стек": 35900, + "▁крайне": 35901, + "▁четырех": 35902, + "▁спраши": 35903, + "uted": 35904, + "▁едва": 35905, + "▁настрое": 35906, + "никах": 35907, + "▁увидеть": 35908, + "▁создание": 35909, + "▁стрем": 35910, + "▁чемпионата": 35911, + "▁теку": 35912, + "▁леген": 35913, + "▁убеди": 35914, + "▁ВВ": 35915, + "▁представления": 35916, + "▁Фили": 35917, + "▁продолжи": 35918, + "▁объектов": 35919, + "▁Был": 35920, + "▁края": 35921, + "▁наступа": 35922, + "вив": 35923, + "няли": 35924, + "▁следующие": 35925, + "пти": 35926, + "▁своё": 35927, + "хозяй": 35928, + "▁парти": 35929, + "▁Сов": 35930, + "▁вариант": 35931, + "▁корабля": 35932, + "▁исключительно": 35933, + "▁Челове": 35934, + "▁Афри": 35935, + "рили": 35936, + "▁Кре": 35937, + "▁никакого": 35938, + "зил": 35939, + "▁эска": 35940, + "▁элемента": 35941, + "▁креп": 35942, + "ровка": 35943, + "▁Цер": 35944, + "ствий": 35945, + "▁Зе": 35946, + "ждены": 35947, + "жено": 35948, + "▁кара": 35949, + "льности": 35950, + "▁Ры": 35951, + "тельством": 35952, + "▁какую": 35953, + "▁соревнова": 35954, + "▁Тут": 35955, + "▁железнодоро": 35956, + "мысле": 35957, + "▁Слу": 35958, + "▁проходит": 35959, + "▁втор": 35960, + "▁вероят": 35961, + "техни": 35962, + "ъя": 35963, + "▁нарко": 35964, + "шению": 35965, + "▁успеш": 35966, + "▁Бри": 35967, + "▁Гар": 35968, + "▁участников": 35969, + "▁Ря": 35970, + "вляют": 35971, + "▁жил": 35972, + "▁неде": 35973, + "▁резер": 35974, + "▁проведе": 35975, + "менить": 35976, + "▁данном": 35977, + "сел": 35978, + "▁ке": 35979, + "▁крупных": 35980, + "▁особенности": 35981, + "▁Сегодня": 35982, + "▁писать": 35983, + "▁пласти": 35984, + "▁затра": 35985, + "вёл": 35986, + "терна": 35987, + "▁первая": 35988, + "▁выделя": 35989, + "▁элементов": 35990, + "▁трав": 35991, + "▁увидел": 35992, + "дует": 35993, + "рованы": 35994, + "ковский": 35995, + "▁некоторое": 35996, + "▁понял": 35997, + "▁эволю": 35998, + "жена": 35999, + "▁порядка": 36000, + "кле": 36001, + "▁сказала": 36002, + "щему": 36003, + "▁Генера": 36004, + "▁природ": 36005, + "▁отметил": 36006, + "▁жел": 36007, + "▁возникает": 36008, + "▁Тер": 36009, + "поте": 36010, + "▁Моло": 36011, + "▁устройства": 36012, + "шением": 36013, + "▁сложи": 36014, + "лке": 36015, + "чиная": 36016, + "▁чемпионате": 36017, + "▁позднее": 36018, + "серва": 36019, + "▁млрд": 36020, + "▁команда": 36021, + "▁селе": 36022, + "▁спорт": 36023, + "▁разум": 36024, + "▁свободы": 36025, + "▁еписко": 36026, + "▁Перед": 36027, + "▁сельского": 36028, + "▁зака": 36029, + "полу": 36030, + "▁чему": 36031, + "тились": 36032, + "▁наста": 36033, + "▁пребы": 36034, + "коль": 36035, + "части": 36036, + "▁пришел": 36037, + "вол": 36038, + "РА": 36039, + "▁болезни": 36040, + "▁млад": 36041, + "лло": 36042, + "▁конец": 36043, + "▁поиска": 36044, + "тана": 36045, + "вленный": 36046, + "евского": 36047, + "йтесь": 36048, + "▁рассу": 36049, + "вёр": 36050, + "нном": 36051, + "▁поведения": 36052, + "▁откуда": 36053, + "НО": 36054, + "▁количества": 36055, + "▁учиты": 36056, + "▁нечто": 36057, + "▁рождения": 36058, + "▁исследований": 36059, + "тье": 36060, + "▁сформи": 36061, + "▁службу": 36062, + "тябрь": 36063, + "▁полной": 36064, + "сное": 36065, + "▁производство": 36066, + "сыла": 36067, + "коле": 36068, + "▁Роб": 36069, + "▁водой": 36070, + "стера": 36071, + "▁ряда": 36072, + "▁Изра": 36073, + "▁молодо": 36074, + "роваться": 36075, + "▁пусть": 36076, + "▁должности": 36077, + "▁конкурен": 36078, + "цио": 36079, + "лож": 36080, + "сюда": 36081, + "▁недели": 36082, + "▁книг": 36083, + "мит": 36084, + "▁развер": 36085, + "▁книга": 36086, + "▁окончания": 36087, + "▁памят": 36088, + "▁отдела": 36089, + "▁ТАСС": 36090, + "▁тща": 36091, + "▁пет": 36092, + "▁ох": 36093, + "▁Поз": 36094, + "ань": 36095, + "▁деревя": 36096, + "▁Правда": 36097, + "нета": 36098, + "пил": 36099, + "▁Василь": 36100, + "▁начальник": 36101, + "▁характера": 36102, + "▁несо": 36103, + "▁Макси": 36104, + "▁метод": 36105, + "▁пусты": 36106, + "▁слыша": 36107, + "▁титу": 36108, + "▁задержа": 36109, + "чился": 36110, + "▁Кара": 36111, + "▁гаран": 36112, + "ьев": 36113, + "\"[": 36114, + "рень": 36115, + "думы": 36116, + "▁стати": 36117, + "ниться": 36118, + "▁бомбарди": 36119, + "новение": 36120, + "▁пило": 36121, + "мому": 36122, + "▁нака": 36123, + "▁вось": 36124, + "▁запу": 36125, + "ванию": 36126, + "женные": 36127, + "▁случаев": 36128, + "▁спросил": 36129, + "▁полк": 36130, + "▁обозна": 36131, + "дете": 36132, + "▁наша": 36133, + "▁публика": 36134, + "▁решили": 36135, + "▁государство": 36136, + "честве": 36137, + "▁преобразова": 36138, + "▁представителей": 36139, + "стен": 36140, + "говари": 36141, + "▁восем": 36142, + "▁регули": 36143, + "нями": 36144, + "▁никак": 36145, + "▁порядок": 36146, + "▁укреп": 36147, + "личия": 36148, + "▁обстоятельства": 36149, + "Та": 36150, + "мато": 36151, + "дим": 36152, + "дея": 36153, + "▁текст": 36154, + "ЕЛ": 36155, + "Йор": 36156, + "сения": 36157, + "▁начинается": 36158, + "▁периода": 36159, + "жают": 36160, + "стры": 36161, + "▁слуша": 36162, + "емым": 36163, + "▁явно": 36164, + "лера": 36165, + "душ": 36166, + "▁факуль": 36167, + "▁Хи": 36168, + "▁выбира": 36169, + "рабаты": 36170, + "словно": 36171, + "▁принято": 36172, + "▁одному": 36173, + "▁реа": 36174, + "▁Эр": 36175, + "Си": 36176, + "▁Андрей": 36177, + "▁Ир": 36178, + "▁Особ": 36179, + "ющему": 36180, + "вец": 36181, + "▁знаком": 36182, + "▁сосредото": 36183, + "зме": 36184, + "▁прин": 36185, + "чется": 36186, + "конча": 36187, + "▁Земли": 36188, + "шина": 36189, + "▁законом": 36190, + "▁нрави": 36191, + "▁штаба": 36192, + "▁непро": 36193, + "▁данной": 36194, + "▁клад": 36195, + "▁каждом": 36196, + "чие": 36197, + "▁соблю": 36198, + "▁иностранных": 36199, + "▁подвод": 36200, + "▁политической": 36201, + "▁Поскольку": 36202, + "▁дре": 36203, + "▁появились": 36204, + "▁иной": 36205, + "мули": 36206, + "▁насколько": 36207, + "▁баш": 36208, + "▁конкур": 36209, + "гри": 36210, + "кратно": 36211, + "▁армия": 36212, + "рно": 36213, + "стройки": 36214, + "жном": 36215, + "▁конферен": 36216, + "▁матче": 36217, + "▁опу": 36218, + "▁Кан": 36219, + "▁Каждый": 36220, + "▁торже": 36221, + "плы": 36222, + "▁Рей": 36223, + "▁разби": 36224, + "льному": 36225, + "▁жест": 36226, + "сным": 36227, + "чник": 36228, + "зать": 36229, + "читься": 36230, + "▁флота": 36231, + "▁родствен": 36232, + "▁дворя": 36233, + "няются": 36234, + "тила": 36235, + "▁рубе": 36236, + "▁Иногда": 36237, + "▁горе": 36238, + "▁ракет": 36239, + "▁данный": 36240, + "▁Рим": 36241, + "▁современной": 36242, + "▁коммента": 36243, + "▁небольшой": 36244, + "▁земля": 36245, + "▁гос": 36246, + "eneral": 36247, + "змом": 36248, + "▁камен": 36249, + "▁маги": 36250, + "▁направлен": 36251, + "май": 36252, + "▁гим": 36253, + "лови": 36254, + "▁института": 36255, + "ствовала": 36256, + "▁Вен": 36257, + "▁повре": 36258, + "▁шах": 36259, + "▁иск": 36260, + "Ме": 36261, + "▁взял": 36262, + "толи": 36263, + "Мы": 36264, + "ourn": 36265, + "▁дальнейшем": 36266, + "▁класс": 36267, + "▁неодно": 36268, + "▁ядер": 36269, + "ванием": 36270, + "▁завода": 36271, + "нете": 36272, + "фициаль": 36273, + "▁вку": 36274, + "▁обслужи": 36275, + "▁игр": 36276, + "▁Нача": 36277, + "▁получения": 36278, + "зиру": 36279, + "юр": 36280, + "▁води": 36281, + "▁исход": 36282, + "▁меры": 36283, + "▁зарабо": 36284, + "▁голос": 36285, + "зами": 36286, + "▁Иванович": 36287, + "▁членом": 36288, + "эль": 36289, + "штей": 36290, + "▁доли": 36291, + "чера": 36292, + "жка": 36293, + "воен": 36294, + "сии": 36295, + "бенок": 36296, + "ссер": 36297, + "▁основании": 36298, + "циям": 36299, + "▁хозяйства": 36300, + "▁вами": 36301, + "▁активно": 36302, + "▁представить": 36303, + "▁проведения": 36304, + "▁перевод": 36305, + "▁хло": 36306, + "▁Министер": 36307, + "жим": 36308, + "▁записа": 36309, + "▁собственной": 36310, + "▁предложил": 36311, + "indows": 36312, + "▁Джей": 36313, + "бку": 36314, + "▁стихот": 36315, + "нская": 36316, + "▁школу": 36317, + "▁нерв": 36318, + "▁входит": 36319, + "▁оз": 36320, + "благо": 36321, + "щением": 36322, + "▁использование": 36323, + "▁считают": 36324, + "▁претен": 36325, + "▁мед": 36326, + "▁Москва": 36327, + "▁границы": 36328, + "▁задач": 36329, + "▁Пока": 36330, + "▁трени": 36331, + "▁Еги": 36332, + "▁советских": 36333, + "При": 36334, + "▁адре": 36335, + "жье": 36336, + "▁заключается": 36337, + "дю": 36338, + "▁Иль": 36339, + "берг": 36340, + "льность": 36341, + "▁достоин": 36342, + "▁Акаде": 36343, + "▁Поли": 36344, + "▁наоборот": 36345, + "▁Азии": 36346, + "рас": 36347, + "▁вынужден": 36348, + "▁вдоль": 36349, + "▁боро": 36350, + "кнул": 36351, + "▁охва": 36352, + "▁вру": 36353, + "▁сознания": 36354, + "▁вверх": 36355, + "▁неё": 36356, + "▁масса": 36357, + "▁Ак": 36358, + "кал": 36359, + "▁Ок": 36360, + "▁моих": 36361, + "Ба": 36362, + "▁Шта": 36363, + "▁собо": 36364, + "▁придется": 36365, + "▁автора": 36366, + "▁изба": 36367, + "▁МО": 36368, + "▁главного": 36369, + "чами": 36370, + "▁научно": 36371, + "ментом": 36372, + "▁предше": 36373, + "▁большеви": 36374, + "вё": 36375, + "дры": 36376, + "твор": 36377, + "чив": 36378, + "ouncil": 36379, + "Бе": 36380, + "▁специ": 36381, + "▁относятся": 36382, + "▁выстав": 36383, + "▁губернии": 36384, + "канчи": 36385, + "▁бассе": 36386, + "сё": 36387, + "▁Оно": 36388, + "▁сексуаль": 36389, + "▁Очень": 36390, + "бели": 36391, + "▁ликви": 36392, + "▁достижения": 36393, + "▁советской": 36394, + "крови": 36395, + "▁православ": 36396, + "нности": 36397, + "▁герои": 36398, + "▁профессор": 36399, + "irc": 36400, + "▁Президен": 36401, + "▁отсутствие": 36402, + "вились": 36403, + "ченной": 36404, + "▁дороге": 36405, + "▁Afric": 36406, + "▁комитета": 36407, + "▁царя": 36408, + "▁горизо": 36409, + "▁налого": 36410, + "нила": 36411, + "▁Вскоре": 36412, + "▁деревни": 36413, + "▁командир": 36414, + "▁русские": 36415, + "▁инду": 36416, + "▁сравнению": 36417, + "кл": 36418, + "▁Спи": 36419, + "▁воин": 36420, + "▁дыха": 36421, + "▁побере": 36422, + "▁другую": 36423, + "▁высокой": 36424, + "чков": 36425, + "▁увели": 36426, + "▁поселения": 36427, + "дает": 36428, + "▁считается": 36429, + "▁напи": 36430, + "▁неделю": 36431, + "▁Высо": 36432, + "тировал": 36433, + "▁сухо": 36434, + "▁Генри": 36435, + "▁соответственно": 36436, + "надцати": 36437, + "▁стратеги": 36438, + "▁городов": 36439, + "вига": 36440, + "ждению": 36441, + "▁атмосф": 36442, + "стым": 36443, + "▁базе": 36444, + "▁правильно": 36445, + "▁обратно": 36446, + "▁лабора": 36447, + "ственными": 36448, + "▁Наконец": 36449, + "езде": 36450, + "▁здания": 36451, + "▁оружие": 36452, + "▁статье": 36453, + "стам": 36454, + "▁ПО": 36455, + "▁портре": 36456, + "▁сельсо": 36457, + "▁Эн": 36458, + "▁управление": 36459, + "▁лице": 36460, + "имость": 36461, + "▁номер": 36462, + "▁идея": 36463, + "▁выста": 36464, + "▁успешно": 36465, + "▁компьютер": 36466, + "▁считал": 36467, + "▁недавно": 36468, + "▁участвовал": 36469, + "▁Глава": 36470, + "щики": 36471, + "▁преде": 36472, + "стный": 36473, + "▁Жу": 36474, + "▁ночью": 36475, + "▁перемен": 36476, + "▁окончил": 36477, + "▁Алексей": 36478, + "центра": 36479, + "▁ненави": 36480, + "▁Красной": 36481, + "▁бесс": 36482, + "forman": 36483, + "▁СП": 36484, + "ненные": 36485, + "▁население": 36486, + "сля": 36487, + "▁удосто": 36488, + "шкой": 36489, + "▁повер": 36490, + "мыми": 36491, + "▁знания": 36492, + "▁обучения": 36493, + "▁добра": 36494, + "чкой": 36495, + "▁начать": 36496, + "▁Сла": 36497, + "▁стои": 36498, + "ВО": 36499, + "▁Коман": 36500, + "▁Пло": 36501, + "▁трево": 36502, + "▁поведение": 36503, + "▁сче": 36504, + "▁строительства": 36505, + "фов": 36506, + "▁процеду": 36507, + "▁закона": 36508, + "▁постра": 36509, + "▁песни": 36510, + "денти": 36511, + "▁вышла": 36512, + "▁высказыва": 36513, + "▁Россию": 36514, + "бая": 36515, + "▁воздуха": 36516, + "щика": 36517, + "▁Олимпий": 36518, + "ряду": 36519, + "▁символи": 36520, + "▁впло": 36521, + "стических": 36522, + "▁вещества": 36523, + "▁остальные": 36524, + "ровой": 36525, + "▁Кли": 36526, + "прос": 36527, + "купа": 36528, + "▁принимать": 36529, + "кового": 36530, + "▁сай": 36531, + "▁поо": 36532, + "ступили": 36533, + "▁Верховного": 36534, + "кость": 36535, + "нга": 36536, + "▁Дело": 36537, + "Се": 36538, + "стый": 36539, + "▁существования": 36540, + "▁потребо": 36541, + "▁сообщения": 36542, + "▁отчет": 36543, + "▁последних": 36544, + "etwork": 36545, + "мм": 36546, + "▁катастро": 36547, + "▁прика": 36548, + "▁фла": 36549, + "▁оса": 36550, + "▁рост": 36551, + "▁завтра": 36552, + "▁носи": 36553, + "▁большого": 36554, + "▁сила": 36555, + "РО": 36556, + "▁господ": 36557, + "джет": 36558, + "щено": 36559, + "▁оказалась": 36560, + "▁снаря": 36561, + "рной": 36562, + "зербай": 36563, + "▁гром": 36564, + "▁Анто": 36565, + "▁ориен": 36566, + "Ре": 36567, + "зербайджа": 36568, + "▁определить": 36569, + "▁названия": 36570, + "▁заму": 36571, + "▁кем": 36572, + "▁основные": 36573, + "несен": 36574, + "▁сопровожда": 36575, + "▁сожалению": 36576, + "▁фер": 36577, + "право": 36578, + "▁внеза": 36579, + "▁Солн": 36580, + "▁силой": 36581, + "▁вниз": 36582, + "стика": 36583, + "▁заниматься": 36584, + "▁Японии": 36585, + "▁газеты": 36586, + "▁Сло": 36587, + "щаются": 36588, + "▁семи": 36589, + "▁мужчина": 36590, + "▁условий": 36591, + "▁Петербур": 36592, + "▁препят": 36593, + "▁владель": 36594, + "бах": 36595, + "▁мае": 36596, + "▁инженер": 36597, + "тном": 36598, + "▁паралле": 36599, + "▁имеется": 36600, + "деления": 36601, + "▁rese": 36602, + "▁оско": 36603, + "нью": 36604, + "▁подозре": 36605, + "▁боже": 36606, + "▁директор": 36607, + "▁поза": 36608, + "▁вопросов": 36609, + "▁Спа": 36610, + "нья": 36611, + "турой": 36612, + "▁реализации": 36613, + "▁внутренних": 36614, + "спонден": 36615, + "▁вообра": 36616, + "зок": 36617, + "шили": 36618, + "▁нако": 36619, + "стю": 36620, + "▁Ее": 36621, + "▁Ему": 36622, + "▁смотри": 36623, + "▁моду": 36624, + "ividual": 36625, + "▁Филип": 36626, + "ехали": 36627, + "▁Интер": 36628, + "▁яй": 36629, + "▁отре": 36630, + "▁Обы": 36631, + "▁мужчин": 36632, + "▁коммер": 36633, + "йского": 36634, + "зировать": 36635, + "▁контроли": 36636, + "лива": 36637, + "мами": 36638, + "▁прошлом": 36639, + "▁двой": 36640, + "▁связано": 36641, + "▁динами": 36642, + "ковым": 36643, + "▁парамет": 36644, + "▁обеспечения": 36645, + "▁Ст": 36646, + "▁император": 36647, + "▁пожалуй": 36648, + "▁желание": 36649, + "доне": 36650, + "▁ограничи": 36651, + "делить": 36652, + "▁запла": 36653, + "▁Петро": 36654, + "щер": 36655, + "▁доктор": 36656, + "▁Надо": 36657, + "▁понятия": 36658, + "зацию": 36659, + "▁российский": 36660, + "▁сфере": 36661, + "▁применения": 36662, + "▁Вам": 36663, + "▁каком": 36664, + "▁идей": 36665, + "▁чтоб": 36666, + "▁бата": 36667, + "▁неприя": 36668, + "▁искать": 36669, + "▁приходилось": 36670, + "носит": 36671, + "▁эксперимента": 36672, + "▁делу": 36673, + "▁экономики": 36674, + "▁строго": 36675, + "▁эпохи": 36676, + "вому": 36677, + "▁вечер": 36678, + "▁появился": 36679, + "▁играть": 36680, + "▁Суще": 36681, + "▁столк": 36682, + "▁Вене": 36683, + "▁инвести": 36684, + "▁правила": 36685, + "▁содержание": 36686, + "▁улицы": 36687, + "▁спектак": 36688, + "▁сердца": 36689, + "▁оцени": 36690, + "▁нашем": 36691, + "▁остался": 36692, + "▁телефон": 36693, + "▁основы": 36694, + "▁сва": 36695, + "▁главы": 36696, + "▁воде": 36697, + "▁рук": 36698, + "тивное": 36699, + "▁начальника": 36700, + "▁упраж": 36701, + "влял": 36702, + "лости": 36703, + "▁Фри": 36704, + "первых": 36705, + "▁заинтере": 36706, + "нено": 36707, + "▁скорости": 36708, + "▁ситуация": 36709, + "▁креди": 36710, + "▁университет": 36711, + "▁бук": 36712, + "вказ": 36713, + "▁Спе": 36714, + "▁потреби": 36715, + "▁естественно": 36716, + "мум": 36717, + "▁восприя": 36718, + "кол": 36719, + "рных": 36720, + "▁провести": 36721, + "▁Вместе": 36722, + "эт": 36723, + "▁роста": 36724, + "▁хол": 36725, + "▁эн": 36726, + "▁Ах": 36727, + "▁фаши": 36728, + "▁руководство": 36729, + "▁делают": 36730, + "▁герцо": 36731, + "▁абсолютно": 36732, + "▁Хоро": 36733, + "▁дета": 36734, + "▁нрав": 36735, + "летний": 36736, + "▁встречи": 36737, + "▁верто": 36738, + "▁устой": 36739, + "▁сезоне": 36740, + "▁Оль": 36741, + "▁марте": 36742, + "▁Дол": 36743, + "щён": 36744, + "▁степень": 36745, + "товых": 36746, + "▁ордена": 36747, + "▁Ци": 36748, + "▁славя": 36749, + "epend": 36750, + "тность": 36751, + "▁искусство": 36752, + "▁целей": 36753, + "▁рассказал": 36754, + "▁контак": 36755, + "▁мозга": 36756, + "тяну": 36757, + "▁бело": 36758, + "▁губерна": 36759, + "▁друзей": 36760, + "▁интен": 36761, + "▁подготовки": 36762, + "▁отста": 36763, + "▁капитали": 36764, + "▁Народ": 36765, + "▁успеха": 36766, + "▁прошлого": 36767, + "▁текста": 36768, + "шены": 36769, + "▁топли": 36770, + "льского": 36771, + "▁заболевания": 36772, + "▁юно": 36773, + "довой": 36774, + "▁бого": 36775, + "▁Казах": 36776, + "▁нём": 36777, + "▁бесе": 36778, + "▁институт": 36779, + "▁масло": 36780, + "gether": 36781, + "▁впечатление": 36782, + "▁фактически": 36783, + "▁Дэ": 36784, + "▁автомати": 36785, + "▁молодой": 36786, + "▁полиции": 36787, + "▁национальной": 36788, + "▁немедленно": 36789, + "дание": 36790, + "▁представители": 36791, + "▁деревне": 36792, + "дне": 36793, + "▁появляется": 36794, + "▁Без": 36795, + "▁последнее": 36796, + "▁групп": 36797, + "▁элементы": 36798, + "▁лето": 36799, + "▁преступления": 36800, + "▁тип": 36801, + "порт": 36802, + "▁неред": 36803, + "▁langu": 36804, + "ордина": 36805, + "зал": 36806, + "▁объекта": 36807, + "▁будучи": 36808, + "ровании": 36809, + "▁код": 36810, + "енье": 36811, + "▁проник": 36812, + "▁тему": 36813, + "ложений": 36814, + "▁матча": 36815, + "паде": 36816, + "▁головы": 36817, + "▁очевид": 36818, + "▁Родился": 36819, + "▁хотелось": 36820, + "кульп": 36821, + "▁данного": 36822, + "▁узнать": 36823, + "веря": 36824, + "▁гне": 36825, + "лега": 36826, + "▁дро": 36827, + "▁Джа": 36828, + "▁раздра": 36829, + "новой": 36830, + "менять": 36831, + "боро": 36832, + "эм": 36833, + "▁соли": 36834, + "ьи": 36835, + "▁прио": 36836, + "▁Побе": 36837, + "▁вызывает": 36838, + "▁привести": 36839, + "▁дверь": 36840, + "▁здание": 36841, + "прият": 36842, + "жнему": 36843, + "▁мело": 36844, + "реги": 36845, + "▁шел": 36846, + "▁био": 36847, + "например": 36848, + "▁строительство": 36849, + "тировать": 36850, + "▁крат": 36851, + "ИТ": 36852, + "▁ваш": 36853, + "▁концу": 36854, + "рные": 36855, + "▁километров": 36856, + "▁Евге": 36857, + "▁Ль": 36858, + "россий": 36859, + "▁организаций": 36860, + "▁Кана": 36861, + "оном": 36862, + "▁Бори": 36863, + "▁Ленинград": 36864, + "станции": 36865, + "рана": 36866, + "ложил": 36867, + "▁последнего": 36868, + "▁познакоми": 36869, + "▁Воро": 36870, + "▁Дмитрий": 36871, + "▁этими": 36872, + "возь": 36873, + "▁вопло": 36874, + "ционная": 36875, + "чок": 36876, + "ехать": 36877, + "▁январе": 36878, + "▁осталось": 36879, + "▁специально": 36880, + "▁сентябре": 36881, + "▁Хар": 36882, + "▁пришли": 36883, + "няться": 36884, + "▁самолета": 36885, + "тивным": 36886, + "▁тридца": 36887, + "▁ума": 36888, + "▁мерт": 36889, + "▁академии": 36890, + "▁сюда": 36891, + "▁августе": 36892, + "ФСР": 36893, + "ЕТ": 36894, + "▁декабре": 36895, + "▁будущем": 36896, + "вшем": 36897, + "нском": 36898, + "▁кладби": 36899, + "▁положении": 36900, + "▁серебря": 36901, + "▁российских": 36902, + "рована": 36903, + "▁новым": 36904, + "сме": 36905, + "нант": 36906, + "▁схва": 36907, + "▁вода": 36908, + "▁вои": 36909, + "▁видели": 36910, + "▁Иоан": 36911, + "▁сты": 36912, + "▁служи": 36913, + "нях": 36914, + "енью": 36915, + "стской": 36916, + "▁уника": 36917, + "▁школа": 36918, + "▁самолет": 36919, + "шко": 36920, + "▁драма": 36921, + "▁комиссии": 36922, + "▁броса": 36923, + "▁Воло": 36924, + "▁именем": 36925, + "▁буржу": 36926, + "ципли": 36927, + "▁огне": 36928, + "▁здоро": 36929, + "исто": 36930, + "тивная": 36931, + "▁случайно": 36932, + "▁семья": 36933, + "оти": 36934, + "▁выпла": 36935, + "▁лекар": 36936, + "▁богат": 36937, + "рай": 36938, + "▁материалов": 36939, + "ционно": 36940, + "вшаяся": 36941, + "брать": 36942, + "▁среды": 36943, + "жными": 36944, + "бую": 36945, + "тивы": 36946, + "▁анализа": 36947, + "гнуть": 36948, + "▁информация": 36949, + "▁поэт": 36950, + "▁голу": 36951, + "▁форм": 36952, + "▁солне": 36953, + "▁моги": 36954, + "▁самому": 36955, + "▁шли": 36956, + "▁шла": 36957, + "▁изображения": 36958, + "▁сор": 36959, + "▁РСФСР": 36960, + "▁половине": 36961, + "▁втором": 36962, + "▁Сем": 36963, + "▁находились": 36964, + "▁мили": 36965, + "▁такими": 36966, + "pecial": 36967, + "▁допуска": 36968, + "пания": 36969, + "▁знали": 36970, + "зию": 36971, + "▁победу": 36972, + "▁сможет": 36973, + "льник": 36974, + "▁справедливо": 36975, + "▁Упра": 36976, + "▁глазами": 36977, + "▁Петра": 36978, + "▁группе": 36979, + "граф": 36980, + "▁явления": 36981, + "▁эмоциона": 36982, + "▁социальной": 36983, + "жён": 36984, + "▁кан": 36985, + "жие": 36986, + "▁осла": 36987, + "▁корпора": 36988, + "▁думать": 36989, + "ведён": 36990, + "▁глазах": 36991, + "▁показывает": 36992, + "▁поса": 36993, + "▁растений": 36994, + "▁постано": 36995, + "▁Само": 36996, + "▁сотрудников": 36997, + "▁выхода": 36998, + "▁эко": 36999, + "▁гидро": 37000, + "▁сделали": 37001, + "▁установить": 37002, + "▁усилия": 37003, + "▁утром": 37004, + "рованные": 37005, + "▁обществе": 37006, + "▁неизбе": 37007, + "следования": 37008, + "цар": 37009, + "▁лиш": 37010, + "▁старо": 37011, + "▁иденти": 37012, + "▁почув": 37013, + "▁способность": 37014, + "▁кно": 37015, + "▁Иванов": 37016, + "менте": 37017, + "▁бол": 37018, + "хам": 37019, + "пси": 37020, + "▁сути": 37021, + "▁картин": 37022, + "▁вино": 37023, + "ллер": 37024, + "кторов": 37025, + "▁блю": 37026, + "▁Фин": 37027, + "▁рассе": 37028, + "▁министер": 37029, + "ходом": 37030, + "▁организма": 37031, + "▁прикры": 37032, + "▁наси": 37033, + "рованного": 37034, + "▁философии": 37035, + "▁обита": 37036, + "▁небо": 37037, + "▁нередко": 37038, + "▁кори": 37039, + "▁восполь": 37040, + "▁целе": 37041, + "▁появилась": 37042, + "стрее": 37043, + "▁категории": 37044, + "▁performan": 37045, + "▁вещей": 37046, + "Ле": 37047, + "▁новая": 37048, + "тности": 37049, + "▁картины": 37050, + "ьет": 37051, + "дох": 37052, + "▁Ат": 37053, + "Вы": 37054, + "▁двадцать": 37055, + "физи": 37056, + "лога": 37057, + "▁поддержку": 37058, + "▁партия": 37059, + "▁группи": 37060, + "▁лежит": 37061, + "бят": 37062, + "вяз": 37063, + "То": 37064, + "▁очевидно": 37065, + "▁сайт": 37066, + "rain": 37067, + "▁записи": 37068, + "▁Виль": 37069, + "▁стихотво": 37070, + "▁группу": 37071, + "▁известный": 37072, + "деся": 37073, + "▁заметил": 37074, + "выше": 37075, + "▁выполнения": 37076, + "▁лучших": 37077, + "▁республики": 37078, + "▁послу": 37079, + "▁князя": 37080, + "▁прояви": 37081, + "стого": 37082, + "шают": 37083, + "▁подобных": 37084, + "▁силами": 37085, + "▁связыва": 37086, + "жащих": 37087, + "страи": 37088, + "▁миру": 37089, + "мети": 37090, + "▁Наиболее": 37091, + "▁Всего": 37092, + "▁отка": 37093, + "▁разнообраз": 37094, + "▁Институ": 37095, + "▁Великобритании": 37096, + "▁используют": 37097, + "▁уточ": 37098, + "▁виды": 37099, + "▁намере": 37100, + "ЛА": 37101, + "▁Созда": 37102, + "ющейся": 37103, + "тик": 37104, + "▁Рис": 37105, + "▁Северной": 37106, + "▁приблизи": 37107, + "ленные": 37108, + "▁однажды": 37109, + "нилось": 37110, + "щали": 37111, + "тацию": 37112, + "стка": 37113, + "▁взрос": 37114, + "льт": 37115, + "▁Нов": 37116, + "▁остров": 37117, + "▁традиции": 37118, + "страции": 37119, + "▁представитель": 37120, + "▁современных": 37121, + "▁опи": 37122, + "тяги": 37123, + "▁тенден": 37124, + "▁погру": 37125, + "нские": 37126, + "▁технологии": 37127, + "▁проме": 37128, + "пах": 37129, + "iol": 37130, + "рованный": 37131, + "▁Бор": 37132, + "▁получает": 37133, + "льский": 37134, + "▁авиации": 37135, + "евский": 37136, + "▁Далее": 37137, + "▁Америки": 37138, + "▁причине": 37139, + "▁нашу": 37140, + "▁едино": 37141, + "▁конфи": 37142, + "▁ребенок": 37143, + "▁Зи": 37144, + "формы": 37145, + "▁переход": 37146, + "▁представление": 37147, + "▁мра": 37148, + "▁документов": 37149, + "▁стрель": 37150, + "ступила": 37151, + "▁самая": 37152, + "▁размер": 37153, + "чками": 37154, + "охра": 37155, + "мона": 37156, + "▁пространства": 37157, + "дится": 37158, + "▁октябре": 37159, + "▁глубоко": 37160, + "▁содержит": 37161, + "▁покло": 37162, + "вающих": 37163, + "▁оппози": 37164, + "лант": 37165, + "ссию": 37166, + "▁фоне": 37167, + "▁никакой": 37168, + "▁переу": 37169, + "!..": 37170, + "▁документы": 37171, + "▁выстре": 37172, + "▁ведом": 37173, + "▁привет": 37174, + "▁пище": 37175, + "вило": 37176, + "▁вследствие": 37177, + "▁отстав": 37178, + "▁горы": 37179, + "▁Извест": 37180, + "▁вечером": 37181, + "▁невы": 37182, + "▁вернуться": 37183, + "▁участия": 37184, + "▁небольшо": 37185, + "▁генерала": 37186, + "нуться": 37187, + "▁безопас": 37188, + "▁научных": 37189, + "▁самолетов": 37190, + "гант": 37191, + "▁гвардей": 37192, + "кос": 37193, + "тными": 37194, + "▁реф": 37195, + "▁ВВС": 37196, + "▁члены": 37197, + "▁испра": 37198, + "пку": 37199, + "▁продукции": 37200, + "▁строе": 37201, + "мию": 37202, + "▁опыта": 37203, + "прежнему": 37204, + "▁Кита": 37205, + "▁обши": 37206, + "▁контроль": 37207, + "▁сма": 37208, + "рный": 37209, + "▁литературе": 37210, + "▁предложения": 37211, + "дё": 37212, + "▁одер": 37213, + "▁началась": 37214, + "дации": 37215, + "▁упомя": 37216, + "лию": 37217, + "вами": 37218, + "▁сосу": 37219, + "▁природе": 37220, + "чила": 37221, + "жом": 37222, + "▁Автор": 37223, + "▁имела": 37224, + "▁спец": 37225, + "▁разговор": 37226, + "▁разработчи": 37227, + "стром": 37228, + "вшему": 37229, + "▁квали": 37230, + "▁методы": 37231, + "рье": 37232, + "▁газо": 37233, + "цвет": 37234, + "▁министр": 37235, + "▁Ска": 37236, + "▁рукой": 37237, + "▁преимущественно": 37238, + "▁якобы": 37239, + "фом": 37240, + "▁будущего": 37241, + "▁фабри": 37242, + "▁сопер": 37243, + "▁руб": 37244, + "▁лейте": 37245, + "▁требуется": 37246, + "жья": 37247, + "зму": 37248, + "▁мужчины": 37249, + "▁плю": 37250, + "▁скульп": 37251, + "нились": 37252, + "▁Было": 37253, + "▁медленно": 37254, + "▁структуры": 37255, + "▁строй": 37256, + "▁разъ": 37257, + "▁обли": 37258, + "▁основания": 37259, + "▁стари": 37260, + "бан": 37261, + "Об": 37262, + "пуль": 37263, + "▁хво": 37264, + "▁существование": 37265, + "▁зару": 37266, + "▁биологи": 37267, + "кости": 37268, + "▁принадлежит": 37269, + "евна": 37270, + "▁передачи": 37271, + "пок": 37272, + "▁душе": 37273, + "▁знаем": 37274, + "▁артиллерий": 37275, + "тес": 37276, + "▁спорта": 37277, + "▁аэрод": 37278, + "▁верши": 37279, + "▁Много": 37280, + "▁обык": 37281, + "▁третий": 37282, + "несли": 37283, + "▁театр": 37284, + "▁гимна": 37285, + "▁руками": 37286, + "▁предложение": 37287, + "▁окончательно": 37288, + "гон": 37289, + "ИК": 37290, + "▁пенси": 37291, + "▁грамо": 37292, + "пии": 37293, + "▁ключе": 37294, + "▁броне": 37295, + "▁ассоциа": 37296, + "▁ситуацию": 37297, + "▁прими": 37298, + "▁местных": 37299, + "органи": 37300, + "▁провинции": 37301, + "▁Фер": 37302, + "▁правил": 37303, + "▁Нау": 37304, + "▁ночи": 37305, + "▁оформ": 37306, + "▁лицом": 37307, + "▁специфи": 37308, + "дие": 37309, + "ждением": 37310, + "▁фильме": 37311, + "▁устраи": 37312, + "кора": 37313, + "▁зага": 37314, + "▁замы": 37315, + "▁углу": 37316, + "▁сюжет": 37317, + "▁князь": 37318, + "▁назвать": 37319, + "дая": 37320, + "▁снаб": 37321, + "▁Эй": 37322, + "▁дели": 37323, + "▁заказ": 37324, + "▁прия": 37325, + "▁любого": 37326, + "▁договор": 37327, + "▁опер": 37328, + "рет": 37329, + "▁ауди": 37330, + "▁характеризу": 37331, + "▁апреле": 37332, + "▁министра": 37333, + "▁романа": 37334, + "▁интервью": 37335, + "▁обез": 37336, + "пр": 37337, + "▁выступал": 37338, + "▁лета": 37339, + "жима": 37340, + "▁энергети": 37341, + "▁вплоть": 37342, + "▁уско": 37343, + "▁отметить": 37344, + "▁Али": 37345, + "зне": 37346, + "▁пункт": 37347, + "запад": 37348, + "▁летом": 37349, + "лакти": 37350, + "▁зре": 37351, + "тори": 37352, + "▁занимает": 37353, + "▁знак": 37354, + "мян": 37355, + "▁пры": 37356, + "▁примеру": 37357, + "▁объект": 37358, + "▁контроля": 37359, + "▁попытки": 37360, + "▁главных": 37361, + "▁чай": 37362, + "▁Соб": 37363, + "▁стоял": 37364, + "сек": 37365, + "▁видит": 37366, + "▁Владими": 37367, + "сна": 37368, + "▁заканчи": 37369, + "логия": 37370, + "бет": 37371, + "▁нега": 37372, + "▁препара": 37373, + "▁Два": 37374, + "▁добавить": 37375, + "▁колхо": 37376, + "падает": 37377, + "▁вез": 37378, + "▁июне": 37379, + "Как": 37380, + "▁полицей": 37381, + "▁звание": 37382, + "▁восемь": 37383, + "▁телеви": 37384, + "▁государств": 37385, + "шинство": 37386, + "▁обусло": 37387, + "▁государственный": 37388, + "кке": 37389, + "▁политических": 37390, + "▁рассчиты": 37391, + "▁чувству": 37392, + "льской": 37393, + "зве": 37394, + "▁функциона": 37395, + "▁возвы": 37396, + "графии": 37397, + "▁шан": 37398, + "ствования": 37399, + "сматри": 37400, + "▁играл": 37401, + "▁родителей": 37402, + "▁победы": 37403, + "гене": 37404, + "▁шаг": 37405, + "▁консу": 37406, + "коман": 37407, + "▁молоде": 37408, + "▁вклад": 37409, + "ису": 37410, + "пта": 37411, + "▁июле": 37412, + "рк": 37413, + "тическая": 37414, + "гин": 37415, + "▁отказыва": 37416, + "▁днев": 37417, + "▁стены": 37418, + "▁Тор": 37419, + "▁Украине": 37420, + "▁Бал": 37421, + "▁курс": 37422, + "▁включает": 37423, + "▁музей": 37424, + "▁король": 37425, + "вающие": 37426, + "стано": 37427, + "▁способности": 37428, + "▁происхождения": 37429, + "▁пытался": 37430, + "▁программа": 37431, + "Это": 37432, + "▁Потому": 37433, + "▁пан": 37434, + "▁становятся": 37435, + "▁организация": 37436, + "▁изменя": 37437, + "ношения": 37438, + "чия": 37439, + "▁ван": 37440, + "мно": 37441, + "▁мимо": 37442, + "лай": 37443, + "▁моби": 37444, + "▁употребля": 37445, + "▁отличи": 37446, + "тинен": 37447, + "▁квадра": 37448, + "Ли": 37449, + "тропо": 37450, + "стное": 37451, + "▁заместитель": 37452, + "жий": 37453, + "▁необходимость": 37454, + "▁наличие": 37455, + "▁используются": 37456, + "горе": 37457, + "▁приложения": 37458, + "раста": 37459, + "▁бывший": 37460, + "▁свете": 37461, + "▁работают": 37462, + "мас": 37463, + "НК": 37464, + "ально": 37465, + "тельстве": 37466, + "▁миллиар": 37467, + "▁преподава": 37468, + "▁игре": 37469, + "щались": 37470, + "▁сознание": 37471, + "nect": 37472, + "▁Бли": 37473, + "▁Юго": 37474, + "▁прису": 37475, + "▁Где": 37476, + "▁граф": 37477, + "▁прекрасно": 37478, + "▁мин": 37479, + "▁Луч": 37480, + "▁Бан": 37481, + "▁команд": 37482, + "▁выйти": 37483, + "ченного": 37484, + "▁пространство": 37485, + "пуск": 37486, + "▁облег": 37487, + "жало": 37488, + "▁вопросам": 37489, + "▁показать": 37490, + "▁бесконе": 37491, + "▁герой": 37492, + "▁отдельные": 37493, + "▁кораблей": 37494, + "▁рынке": 37495, + "▁достато": 37496, + "▁программи": 37497, + "▁колон": 37498, + "▁посвящен": 37499, + "▁Джор": 37500, + "▁веру": 37501, + "▁Орден": 37502, + "▁гля": 37503, + "▁отличается": 37504, + "зит": 37505, + "▁евреев": 37506, + "чают": 37507, + "▁процессов": 37508, + "▁корабль": 37509, + "женной": 37510, + "▁Пара": 37511, + "▁бизне": 37512, + "щиеся": 37513, + "тров": 37514, + "чеб": 37515, + "рского": 37516, + "▁посту": 37517, + "▁географи": 37518, + "▁Ники": 37519, + "▁вдох": 37520, + "▁дают": 37521, + "▁другая": 37522, + "лил": 37523, + "▁штаб": 37524, + "▁самостоятельно": 37525, + "▁военные": 37526, + "▁подле": 37527, + "▁успех": 37528, + "▁Индии": 37529, + "▁ССР": 37530, + "▁премьер": 37531, + "▁этапе": 37532, + "▁\"...": 37533, + "▁ноябре": 37534, + "мся": 37535, + "▁спокойно": 37536, + "▁куп": 37537, + "щению": 37538, + "▁заранее": 37539, + "▁цело": 37540, + "▁нагруз": 37541, + "▁брата": 37542, + "пустил": 37543, + "▁Сталина": 37544, + "▁сму": 37545, + "▁корпус": 37546, + "▁всеоб": 37547, + "▁разработки": 37548, + "▁умира": 37549, + "▁крестья": 37550, + "щался": 37551, + "▁жены": 37552, + "▁городского": 37553, + "▁говор": 37554, + "▁понятие": 37555, + "▁боевой": 37556, + "неров": 37557, + "нулась": 37558, + "защи": 37559, + "▁назвал": 37560, + "зий": 37561, + "совой": 37562, + "▁коме": 37563, + "▁счастли": 37564, + "спекти": 37565, + "▁государственных": 37566, + "▁товаров": 37567, + "▁пон": 37568, + "▁капитан": 37569, + "вершен": 37570, + "сев": 37571, + "▁сход": 37572, + "▁молодых": 37573, + "▁органы": 37574, + "нулись": 37575, + "▁председатель": 37576, + "▁создании": 37577, + "▁императора": 37578, + "▁Париже": 37579, + "▁Подоб": 37580, + "логов": 37581, + "▁здра": 37582, + "▁сериа": 37583, + "▁Бре": 37584, + "▁Бен": 37585, + "кала": 37586, + "▁диза": 37587, + "▁сложно": 37588, + "▁рассказ": 37589, + "ровала": 37590, + "▁выпуск": 37591, + "▁излу": 37592, + "▁щи": 37593, + "▁героя": 37594, + "▁владе": 37595, + "▁опубликова": 37596, + "▁объяснить": 37597, + "▁Московской": 37598, + "▁массы": 37599, + "▁синте": 37600, + "▁сообщили": 37601, + "▁головой": 37602, + "▁хочется": 37603, + "риф": 37604, + "ционе": 37605, + "зоб": 37606, + "▁буквально": 37607, + "▁будущее": 37608, + "▁аргу": 37609, + "эк": 37610, + "▁феврале": 37611, + "▁стади": 37612, + "▁компаний": 37613, + "▁домов": 37614, + "▁отдыха": 37615, + "▁Помимо": 37616, + "▁чрезвычайно": 37617, + "▁главной": 37618, + "▁достой": 37619, + "▁обеспечить": 37620, + "яз": 37621, + "▁грузо": 37622, + "▁Фло": 37623, + "доби": 37624, + "▁Тот": 37625, + "▁услыша": 37626, + "▁поезд": 37627, + "Ин": 37628, + "▁дали": 37629, + "▁Испании": 37630, + "туда": 37631, + "▁обоих": 37632, + "▁началось": 37633, + "▁потери": 37634, + "▁голове": 37635, + "▁приказ": 37636, + "▁связаны": 37637, + "▁исключением": 37638, + "▁войсками": 37639, + "▁разда": 37640, + "▁блоки": 37641, + "▁вашей": 37642, + "▁Хе": 37643, + "экономи": 37644, + "пред": 37645, + "▁продолжал": 37646, + "ющегося": 37647, + "▁нашли": 37648, + "созна": 37649, + "▁возро": 37650, + "▁простой": 37651, + "хоро": 37652, + "жин": 37653, + "▁нарушения": 37654, + "ровано": 37655, + "шена": 37656, + "▁приняли": 37657, + "▁жидко": 37658, + "ждали": 37659, + "▁армию": 37660, + "пь": 37661, + "▁Люди": 37662, + "▁беспла": 37663, + "▁существуют": 37664, + "сор": 37665, + "▁чуде": 37666, + "чти": 37667, + "стива": 37668, + "▁англича": 37669, + "▁отобра": 37670, + "▁обладает": 37671, + "hern": 37672, + "фак": 37673, + "▁порта": 37674, + "етесь": 37675, + "десят": 37676, + "лено": 37677, + "ведены": 37678, + "▁любом": 37679, + "▁правления": 37680, + "▁практике": 37681, + "▁возле": 37682, + "▁ваши": 37683, + "▁прочита": 37684, + "стным": 37685, + "▁Владимира": 37686, + "▁СМИ": 37687, + "▁Чемпи": 37688, + "сную": 37689, + "▁пожи": 37690, + "▁зачем": 37691, + "▁расстре": 37692, + "▁начинают": 37693, + "вят": 37694, + "▁гипоте": 37695, + "▁концер": 37696, + "▁Предста": 37697, + "▁окре": 37698, + "▁причин": 37699, + "▁воспроиз": 37700, + "▁знают": 37701, + "▁откло": 37702, + "▁последней": 37703, + "▁Особенно": 37704, + "▁хуже": 37705, + "▁дале": 37706, + "▁avail": 37707, + "ьми": 37708, + "▁предска": 37709, + "▁добиться": 37710, + "▁престо": 37711, + "▁питания": 37712, + "▁Кам": 37713, + "▁НА": 37714, + "▁Первая": 37715, + "ваку": 37716, + "▁дисципли": 37717, + "сибо": 37718, + "лкой": 37719, + "ждал": 37720, + "▁переи": 37721, + "▁поступ": 37722, + "леты": 37723, + "▁Пор": 37724, + "▁сотни": 37725, + "▁поставить": 37726, + "▁самолё": 37727, + "гих": 37728, + "▁воздух": 37729, + "▁Василий": 37730, + "▁отделения": 37731, + "▁восстанови": 37732, + "▁темно": 37733, + "дешь": 37734, + "▁страну": 37735, + "▁причиной": 37736, + "▁фунда": 37737, + "▁рынка": 37738, + "▁удовлетво": 37739, + "▁осторо": 37740, + "нивер": 37741, + "▁последствия": 37742, + "вторых": 37743, + "▁пошел": 37744, + "▁показал": 37745, + "лел": 37746, + "▁спаса": 37747, + "▁отправился": 37748, + "▁поддержки": 37749, + "▁представляют": 37750, + "Петербур": 37751, + "гора": 37752, + "тилась": 37753, + "▁журнала": 37754, + "▁жители": 37755, + "видимому": 37756, + "▁премии": 37757, + "чается": 37758, + "▁дочери": 37759, + "рие": 37760, + "▁служил": 37761, + "▁начиная": 37762, + "▁Армии": 37763, + "▁метро": 37764, + "дерни": 37765, + "▁Киев": 37766, + "▁ров": 37767, + "▁столе": 37768, + "levision": 37769, + "▁смогли": 37770, + "▁диск": 37771, + "▁предпри": 37772, + "▁видим": 37773, + "▁предстоя": 37774, + "центри": 37775, + "▁нужны": 37776, + "нером": 37777, + "рка": 37778, + "Ку": 37779, + "▁Пом": 37780, + "где": 37781, + "▁установки": 37782, + "▁хотели": 37783, + "▁подробно": 37784, + "рона": 37785, + "▁навы": 37786, + "▁приходит": 37787, + "дку": 37788, + "▁сот": 37789, + "жество": 37790, + "▁быстрее": 37791, + "▁попал": 37792, + "сан": 37793, + "▁подклю": 37794, + "вока": 37795, + "▁Нам": 37796, + "▁запол": 37797, + "▁занимался": 37798, + "▁скри": 37799, + "▁полномо": 37800, + "▁продуктов": 37801, + "шено": 37802, + "▁машину": 37803, + "руются": 37804, + "▁контр": 37805, + "фера": 37806, + "▁овла": 37807, + "▁договора": 37808, + "жку": 37809, + "▁Мария": 37810, + "Де": 37811, + "▁большинстве": 37812, + "▁склады": 37813, + "▁ведет": 37814, + "носить": 37815, + "рованной": 37816, + "водить": 37817, + "▁Том": 37818, + "диться": 37819, + "реи": 37820, + "▁вырази": 37821, + "▁колеба": 37822, + "▁ава": 37823, + "щина": 37824, + "▁Южной": 37825, + "▁подобные": 37826, + "▁Яро": 37827, + "возгла": 37828, + "ленный": 37829, + "горит": 37830, + "▁уезда": 37831, + "▁выглядит": 37832, + "▁жизнью": 37833, + "▁АН": 37834, + "ад": 37835, + "теров": 37836, + "▁сообра": 37837, + "▁подда": 37838, + "▁Человек": 37839, + "▁подход": 37840, + "бит": 37841, + "▁материалы": 37842, + "▁мен": 37843, + "годно": 37844, + "▁учреждения": 37845, + "▁режим": 37846, + "▁читать": 37847, + "▁комплекс": 37848, + "▁нашел": 37849, + "рони": 37850, + "▁американский": 37851, + "▁чёр": 37852, + "▁Исполь": 37853, + "▁большинства": 37854, + "ченным": 37855, + "▁лидер": 37856, + "без": 37857, + "▁смотреть": 37858, + "стети": 37859, + "▁архе": 37860, + "▁следующем": 37861, + "▁автобу": 37862, + "▁иных": 37863, + "▁хотят": 37864, + "летов": 37865, + "▁расстоянии": 37866, + "▁ски": 37867, + "▁занял": 37868, + "▁секун": 37869, + "▁напротив": 37870, + "▁поступил": 37871, + "▁раско": 37872, + "▁мужа": 37873, + "вающий": 37874, + "лица": 37875, + "вокуп": 37876, + "▁ближе": 37877, + "▁вице": 37878, + "▁видимо": 37879, + "▁арен": 37880, + "▁художник": 37881, + "▁думал": 37882, + "ведении": 37883, + "▁пределах": 37884, + "▁Оде": 37885, + "▁Бого": 37886, + "ковы": 37887, + "▁контек": 37888, + "▁целях": 37889, + "▁ответственность": 37890, + "вляя": 37891, + "▁Крым": 37892, + "▁офицеров": 37893, + "зиди": 37894, + "глу": 37895, + "▁ног": 37896, + "▁тури": 37897, + "▁лес": 37898, + "▁остались": 37899, + "▁мусуль": 37900, + "▁поез": 37901, + "▁дорогу": 37902, + "▁пошли": 37903, + "монт": 37904, + "▁лё": 37905, + "▁изменений": 37906, + "▁приста": 37907, + "▁выходит": 37908, + "кут": 37909, + "стрий": 37910, + "▁сегодняш": 37911, + "▁Ай": 37912, + "▁машина": 37913, + "▁Иису": 37914, + "▁человеческого": 37915, + "▁веществ": 37916, + "▁известных": 37917, + "кина": 37918, + "диа": 37919, + "▁развитии": 37920, + "рпи": 37921, + "▁Ян": 37922, + "▁профи": 37923, + "щет": 37924, + "▁поэта": 37925, + "▁глоба": 37926, + "ждена": 37927, + "▁кавале": 37928, + "▁самим": 37929, + "▁Сначала": 37930, + "▁Такие": 37931, + "▁конститу": 37932, + "▁посмотреть": 37933, + "кен": 37934, + "▁еха": 37935, + "▁ада": 37936, + "▁социальных": 37937, + "груп": 37938, + "▁река": 37939, + "ландии": 37940, + "▁Сиби": 37941, + "кать": 37942, + "ёз": 37943, + "▁источник": 37944, + "▁подру": 37945, + "▁Благодаря": 37946, + "▁неправи": 37947, + "▁Ваши": 37948, + "▁Париж": 37949, + "▁случилось": 37950, + "От": 37951, + "outher": 37952, + "▁университете": 37953, + "▁запуска": 37954, + "▁причины": 37955, + "▁сбо": 37956, + "▁собе": 37957, + "▁процентов": 37958, + "▁контракт": 37959, + "▁крово": 37960, + "▁средней": 37961, + "▁мене": 37962, + "▁служит": 37963, + "голов": 37964, + "▁подлин": 37965, + "▁номе": 37966, + "следование": 37967, + "▁наличи": 37968, + "▁Григо": 37969, + "▁современного": 37970, + "▁искрен": 37971, + "▁минима": 37972, + "▁произведений": 37973, + "▁способом": 37974, + "кома": 37975, + "▁Официаль": 37976, + "нув": 37977, + "кур": 37978, + "еремо": 37979, + "порта": 37980, + "▁решений": 37981, + "▁крупные": 37982, + "▁яв": 37983, + "▁ход": 37984, + "▁определения": 37985, + "чны": 37986, + "▁бюро": 37987, + "дная": 37988, + "▁порт": 37989, + "руя": 37990, + "Лу": 37991, + "▁диплома": 37992, + "▁результатов": 37993, + "▁вывод": 37994, + "▁пишу": 37995, + "▁ярко": 37996, + "▁успо": 37997, + "льф": 37998, + "▁рука": 37999, + "Ви": 38000, + "▁молит": 38001, + "orthern": 38002, + "▁Объ": 38003, + "лева": 38004, + "▁совместно": 38005, + "▁Ура": 38006, + "▁пытается": 38007, + "куро": 38008, + "▁статус": 38009, + "▁анализ": 38010, + "▁действовать": 38011, + "▁боли": 38012, + "лейте": 38013, + "▁алкого": 38014, + "▁Ниж": 38015, + "челове": 38016, + "цах": 38017, + "РИ": 38018, + "▁тщательно": 38019, + "жны": 38020, + "▁живет": 38021, + "▁готовы": 38022, + "▁любов": 38023, + "▁мою": 38024, + "бление": 38025, + "▁кровь": 38026, + "▁страхо": 38027, + "▁немало": 38028, + "▁вашего": 38029, + "▁пале": 38030, + "▁реке": 38031, + "▁связанные": 38032, + "эта": 38033, + "▁писателя": 38034, + "▁архите": 38035, + "▁одни": 38036, + "eum": 38037, + "нят": 38038, + "Ни": 38039, + "▁километ": 38040, + "▁царь": 38041, + "▁высоте": 38042, + "новенно": 38043, + "▁испа": 38044, + "▁соответствует": 38045, + "▁прият": 38046, + "▁промежу": 38047, + "▁свыше": 38048, + "рма": 38049, + "жите": 38050, + "hod": 38051, + "хой": 38052, + "▁обоснова": 38053, + "нав": 38054, + "▁хотите": 38055, + "анали": 38056, + "бления": 38057, + "▁изменить": 38058, + "▁зале": 38059, + "▁похоро": 38060, + "outhern": 38061, + "уре": 38062, + "чом": 38063, + "▁охот": 38064, + "▁командира": 38065, + "▁пуле": 38066, + "▁материал": 38067, + "▁дав": 38068, + "▁взаим": 38069, + "▁Павел": 38070, + "▁атом": 38071, + "мс": 38072, + "▁повсе": 38073, + "▁затруд": 38074, + "жешь": 38075, + "▁веков": 38076, + "▁человечества": 38077, + "новых": 38078, + "▁педагоги": 38079, + "▁Николая": 38080, + "▁Кубка": 38081, + "▁Гали": 38082, + "вшимся": 38083, + "▁дух": 38084, + "▁Сим": 38085, + "▁остальных": 38086, + "юре": 38087, + "гляды": 38088, + "▁стоимость": 38089, + "▁направление": 38090, + "▁целый": 38091, + "ай": 38092, + "ницах": 38093, + "града": 38094, + "▁операций": 38095, + "▁душа": 38096, + "▁коммуника": 38097, + "▁вопроса": 38098, + "▁консерва": 38099, + "стки": 38100, + "хождения": 38101, + "▁Яко": 38102, + "тео": 38103, + "▁нашим": 38104, + "▁постанов": 38105, + "▁разобра": 38106, + "▁принцип": 38107, + "доволь": 38108, + "▁понятно": 38109, + "▁реальности": 38110, + "ьера": 38111, + "зион": 38112, + "▁поколения": 38113, + "▁наблюдения": 38114, + "▁письмен": 38115, + "▁телефо": 38116, + "Те": 38117, + "кови": 38118, + "▁огня": 38119, + "▁Шо": 38120, + "▁Ван": 38121, + "▁посредством": 38122, + "рым": 38123, + "▁услуг": 38124, + "▁играет": 38125, + "▁обма": 38126, + "minist": 38127, + "▁обязанности": 38128, + "▁талант": 38129, + "▁ано": 38130, + "рядо": 38131, + "▁местного": 38132, + "▁создан": 38133, + "слей": 38134, + "ковая": 38135, + "▁насчиты": 38136, + "жаться": 38137, + "▁задачу": 38138, + "водит": 38139, + "▁лечения": 38140, + "▁привя": 38141, + "▁ошибки": 38142, + "брасы": 38143, + "зах": 38144, + "hers": 38145, + "▁бак": 38146, + "▁похоже": 38147, + "НА": 38148, + "▁живут": 38149, + "▁красно": 38150, + "▁неожиданно": 38151, + "▁laun": 38152, + "▁разбира": 38153, + "▁дина": 38154, + "▁ничто": 38155, + "няка": 38156, + "чне": 38157, + "▁координа": 38158, + "▁объем": 38159, + "▁ответственности": 38160, + "▁терми": 38161, + "язы": 38162, + "▁создал": 38163, + "▁сыграл": 38164, + "ится": 38165, + "▁останавли": 38166, + "▁скан": 38167, + "▁Австра": 38168, + "руссии": 38169, + "▁специалистов": 38170, + "▁говорю": 38171, + "ект": 38172, + "▁Инди": 38173, + "▁Петр": 38174, + "▁бюджет": 38175, + "▁финанси": 38176, + "▁следующее": 38177, + "▁кое": 38178, + "▁ез": 38179, + "▁Име": 38180, + "▁мани": 38181, + "▁вспы": 38182, + "рэ": 38183, + "блу": 38184, + "▁приез": 38185, + "▁сообщение": 38186, + "▁центром": 38187, + "▁предприятий": 38188, + "▁Эд": 38189, + "▁Израи": 38190, + "сро": 38191, + "▁своём": 38192, + "▁неоднократно": 38193, + "▁избежать": 38194, + "▁молеку": 38195, + "▁команде": 38196, + "▁написать": 38197, + "▁наверное": 38198, + "▁Олимпийских": 38199, + "▁служить": 38200, + "▁программу": 38201, + "дующий": 38202, + "▁гармо": 38203, + "▁озера": 38204, + "▁определяется": 38205, + "▁оценки": 38206, + "ваемых": 38207, + "▁играх": 38208, + "близи": 38209, + "▁укре": 38210, + "дика": 38211, + "дила": 38212, + "▁ею": 38213, + "▁внутренней": 38214, + "лился": 38215, + "числи": 38216, + "▁Большо": 38217, + "▁словом": 38218, + "▁карьеру": 38219, + "▁помимо": 38220, + "кона": 38221, + "▁типи": 38222, + "▁Джу": 38223, + "▁дебю": 38224, + "▁противостоя": 38225, + "▁связанных": 38226, + "▁медаль": 38227, + "▁структур": 38228, + "▁Мер": 38229, + "▁смысла": 38230, + "жнее": 38231, + "▁вертика": 38232, + "▁суть": 38233, + "▁нужен": 38234, + "▁закончи": 38235, + "▁магни": 38236, + "жан": 38237, + "ремя": 38238, + "▁Позже": 38239, + "▁функциони": 38240, + "▁осуществляется": 38241, + "▁вышли": 38242, + "ыска": 38243, + "▁помогает": 38244, + "всегда": 38245, + "грации": 38246, + "▁отношениях": 38247, + "▁заря": 38248, + "▁идут": 38249, + "▁адрес": 38250, + "тари": 38251, + "▁Юрий": 38252, + "▁прину": 38253, + "дным": 38254, + "тельностью": 38255, + "▁провёл": 38256, + "▁пройти": 38257, + "▁Мэ": 38258, + "▁Рай": 38259, + "▁предусмотре": 38260, + "▁Бере": 38261, + "▁городской": 38262, + "▁тема": 38263, + "▁посёл": 38264, + "▁средневе": 38265, + "щь": 38266, + "ллиген": 38267, + "шали": 38268, + "▁зача": 38269, + "фер": 38270, + "▁желу": 38271, + "дум": 38272, + "▁сумму": 38273, + "▁траге": 38274, + "▁опере": 38275, + "▁сеть": 38276, + "▁рациона": 38277, + "▁устройство": 38278, + "▁исте": 38279, + "▁чел": 38280, + "▁двери": 38281, + "▁прогно": 38282, + "▁голосо": 38283, + "▁актри": 38284, + "▁обеща": 38285, + "▁российской": 38286, + "ненный": 38287, + "▁угле": 38288, + "▁заба": 38289, + "▁комбина": 38290, + "▁городах": 38291, + "▁сказ": 38292, + "▁линей": 38293, + "▁газет": 38294, + "слова": 38295, + "ответ": 38296, + "емом": 38297, + "лектро": 38298, + "дания": 38299, + "▁бара": 38300, + "▁рынок": 38301, + "▁ато": 38302, + "▁Большинство": 38303, + "▁понимать": 38304, + "муни": 38305, + "▁инструк": 38306, + "ЛИ": 38307, + "▁фар": 38308, + "ществи": 38309, + "▁получается": 38310, + "▁периоди": 38311, + "торами": 38312, + "▁устро": 38313, + "▁демонстри": 38314, + "▁несом": 38315, + "рного": 38316, + "▁пона": 38317, + "▁Зо": 38318, + "▁принимает": 38319, + "▁бывшего": 38320, + "▁активи": 38321, + "▁внешней": 38322, + "▁тера": 38323, + "▁следовательно": 38324, + "▁предпочита": 38325, + "▁здоровья": 38326, + "метри": 38327, + "▁эфи": 38328, + "▁полном": 38329, + "▁орби": 38330, + "▁скром": 38331, + "▁зим": 38332, + "нх": 38333, + "▁нужда": 38334, + "▁апо": 38335, + "▁Вся": 38336, + "viron": 38337, + "▁сохранить": 38338, + "▁Однажды": 38339, + "▁Тай": 38340, + "▁военный": 38341, + "мец": 38342, + "▁мон": 38343, + "▁подобно": 38344, + "спорт": 38345, + "▁занятия": 38346, + "▁качество": 38347, + "▁зай": 38348, + "▁работников": 38349, + "▁Разу": 38350, + "▁насле": 38351, + "▁бабу": 38352, + "▁номина": 38353, + "▁Республи": 38354, + "▁понрави": 38355, + "▁музыки": 38356, + "▁вошли": 38357, + "ждено": 38358, + "▁статей": 38359, + "▁администрации": 38360, + "▁Шве": 38361, + "▁материала": 38362, + "▁собственности": 38363, + "▁earl": 38364, + "▁следующим": 38365, + "▁диску": 38366, + "▁старший": 38367, + "▁леса": 38368, + "▁Московского": 38369, + "▁обознача": 38370, + "▁человеческой": 38371, + "▁солнце": 38372, + "▁единственный": 38373, + "▁костю": 38374, + "▁интенсив": 38375, + "▁пользователей": 38376, + "▁валю": 38377, + "шель": 38378, + "ненной": 38379, + "▁идеологи": 38380, + "▁foc": 38381, + "скохозяй": 38382, + "змы": 38383, + "ЕНИ": 38384, + "нится": 38385, + "▁рак": 38386, + "▁вырабо": 38387, + "леть": 38388, + "▁соединения": 38389, + "▁век": 38390, + "▁заверши": 38391, + "▁характеристи": 38392, + "декс": 38393, + "▁теория": 38394, + "▁интересно": 38395, + "▁законы": 38396, + "ляется": 38397, + "▁разделе": 38398, + "▁Виктор": 38399, + "▁реакции": 38400, + "водятся": 38401, + "▁отказался": 38402, + "жих": 38403, + "тило": 38404, + "▁эм": 38405, + "▁зарубе": 38406, + "▁упро": 38407, + "▁contrib": 38408, + "▁ученые": 38409, + "▁Америке": 38410, + "▁минуту": 38411, + "▁трудом": 38412, + "▁советского": 38413, + "▁официально": 38414, + "тят": 38415, + "гром": 38416, + "▁узнал": 38417, + "▁потенциаль": 38418, + "ковь": 38419, + "▁диамет": 38420, + "▁влияния": 38421, + "▁санк": 38422, + "▁кожи": 38423, + "▁началом": 38424, + "▁американских": 38425, + "▁двое": 38426, + "▁becom": 38427, + "лость": 38428, + "▁Меня": 38429, + "▁призыва": 38430, + "рея": 38431, + "▁бла": 38432, + "▁многое": 38433, + "рены": 38434, + "▁прибыли": 38435, + "▁турец": 38436, + "занти": 38437, + "▁собственного": 38438, + "▁Воен": 38439, + "▁недель": 38440, + "▁территорию": 38441, + "▁Кстати": 38442, + "▁сквозь": 38443, + "▁востор": 38444, + "▁ценно": 38445, + "▁открытия": 38446, + "вах": 38447, + "щины": 38448, + "гка": 38449, + "▁черты": 38450, + "▁восьми": 38451, + "▁воздухе": 38452, + "ющимся": 38453, + "▁Брю": 38454, + "▁Анато": 38455, + "▁дважды": 38456, + "ловой": 38457, + "ваны": 38458, + "▁чемпион": 38459, + "▁возоб": 38460, + "▁врага": 38461, + "▁молча": 38462, + "▁ущер": 38463, + "▁Руси": 38464, + "▁танков": 38465, + "▁Обычно": 38466, + "▁кот": 38467, + "▁эпоху": 38468, + "▁всякого": 38469, + "регистри": 38470, + "дке": 38471, + "рский": 38472, + "▁музыкан": 38473, + "▁экзем": 38474, + "▁бух": 38475, + "▁местности": 38476, + "▁Соеди": 38477, + "▁НК": 38478, + "▁совокуп": 38479, + "▁вступа": 38480, + "▁око": 38481, + "сант": 38482, + "▁зал": 38483, + "▁участок": 38484, + "сован": 38485, + "▁выступает": 38486, + "▁международных": 38487, + "▁сосе": 38488, + "▁российского": 38489, + "▁знаете": 38490, + "▁бою": 38491, + "▁металли": 38492, + "▁собственных": 38493, + "▁слабы": 38494, + "▁Бур": 38495, + "▁своеобраз": 38496, + "▁продолжает": 38497, + "▁великого": 38498, + "▁каждая": 38499, + "▁проводить": 38500, + "др": 38501, + "▁назначения": 38502, + "▁Герой": 38503, + "▁дя": 38504, + "▁источников": 38505, + "▁спут": 38506, + "▁либера": 38507, + "клопе": 38508, + "▁общественного": 38509, + "▁окна": 38510, + "АО": 38511, + "▁знаний": 38512, + "▁увле": 38513, + "▁католи": 38514, + "▁минуты": 38515, + "▁происходя": 38516, + "ам": 38517, + "▁перспекти": 38518, + "ровая": 38519, + "тиве": 38520, + "лков": 38521, + "▁приба": 38522, + "▁подверга": 38523, + "лизова": 38524, + "▁храм": 38525, + "▁Кни": 38526, + "кнуть": 38527, + "▁стадии": 38528, + "▁придума": 38529, + "▁КПСС": 38530, + "▁оставить": 38531, + "▁достиг": 38532, + "▁девушка": 38533, + "▁страх": 38534, + "▁вир": 38535, + "▁погре": 38536, + "мога": 38537, + "▁лест": 38538, + "▁крова": 38539, + "▁содержания": 38540, + "▁несчаст": 38541, + "▁описание": 38542, + "▁ООН": 38543, + "▁выборах": 38544, + "▁рассказывает": 38545, + "дию": 38546, + "▁использованием": 38547, + "▁ресурсов": 38548, + "▁Californ": 38549, + "▁тяжело": 38550, + "▁достигну": 38551, + "жна": 38552, + "▁половины": 38553, + "▁Лей": 38554, + "тологи": 38555, + "▁отряд": 38556, + "циал": 38557, + "▁судов": 38558, + "▁карты": 38559, + "▁кладбище": 38560, + "▁угодно": 38561, + "пами": 38562, + "▁свободу": 38563, + "▁ука": 38564, + "дора": 38565, + "▁общее": 38566, + "юзе": 38567, + "▁Перво": 38568, + "▁сцене": 38569, + "рена": 38570, + "▁Мари": 38571, + "лат": 38572, + "▁неприят": 38573, + "▁развитию": 38574, + "▁сомнения": 38575, + "хова": 38576, + "ниаль": 38577, + "теле": 38578, + "вшееся": 38579, + "▁применение": 38580, + "ликт": 38581, + "▁темы": 38582, + "▁офицер": 38583, + "▁немецких": 38584, + "▁Стро": 38585, + "нциклопе": 38586, + "▁Несколько": 38587, + "кля": 38588, + "▁пришла": 38589, + "ствующих": 38590, + "▁инфра": 38591, + "зли": 38592, + "▁национального": 38593, + "▁Вас": 38594, + "▁запас": 38595, + "▁страна": 38596, + "▁одоб": 38597, + "▁марки": 38598, + "▁бригады": 38599, + "▁эффект": 38600, + "▁дож": 38601, + "▁провозгла": 38602, + "▁Китай": 38603, + "▁стой": 38604, + "▁наступление": 38605, + "▁нужна": 38606, + "▁тормо": 38607, + "сет": 38608, + "▁частично": 38609, + "▁Наз": 38610, + "▁процессы": 38611, + "▁осмо": 38612, + "женного": 38613, + "нат": 38614, + "▁Сво": 38615, + "▁озна": 38616, + "еве": 38617, + "▁вв": 38618, + "▁Первой": 38619, + "шит": 38620, + "▁интерфей": 38621, + "▁Пусть": 38622, + "▁проблему": 38623, + "▁почита": 38624, + "▁легче": 38625, + "▁называли": 38626, + "▁вижу": 38627, + "▁расста": 38628, + "▁Первые": 38629, + "▁Азербайджа": 38630, + "▁творчества": 38631, + "▁духа": 38632, + "пка": 38633, + "нау": 38634, + "▁решить": 38635, + "▁будете": 38636, + "▁араб": 38637, + "▁вле": 38638, + "▁среднем": 38639, + "▁родители": 38640, + "▁интернет": 38641, + "▁пак": 38642, + "ТО": 38643, + "чиком": 38644, + "Кор": 38645, + "зили": 38646, + "▁стаби": 38647, + "▁фронт": 38648, + "недель": 38649, + "▁полю": 38650, + "цуз": 38651, + "дился": 38652, + "▁Вале": 38653, + "конструк": 38654, + "▁прошли": 38655, + "▁напол": 38656, + "РУ": 38657, + "▁Наполе": 38658, + "хими": 38659, + "▁выполнять": 38660, + "сим": 38661, + "пин": 38662, + "▁основу": 38663, + "▁предусматри": 38664, + "▁Борис": 38665, + "▁выде": 38666, + "▁сильнее": 38667, + "▁прямой": 38668, + "▁полуо": 38669, + "разуме": 38670, + "▁Мат": 38671, + "неры": 38672, + "▁душу": 38673, + "змов": 38674, + "йдя": 38675, + "▁фраг": 38676, + "▁проигра": 38677, + "▁потря": 38678, + "▁ресто": 38679, + "▁гли": 38680, + "▁оча": 38681, + "йский": 38682, + "ковый": 38683, + "зри": 38684, + "▁Такое": 38685, + "▁спло": 38686, + "▁серде": 38687, + "твра": 38688, + "▁полный": 38689, + "гим": 38690, + "▁удержа": 38691, + "▁насла": 38692, + "▁Николаевич": 38693, + "селение": 38694, + "▁проро": 38695, + "▁режима": 38696, + "▁выступления": 38697, + "бке": 38698, + "▁Распо": 38699, + "ittee": 38700, + "▁аспек": 38701, + "▁буты": 38702, + "▁социально": 38703, + "рованию": 38704, + "▁позицию": 38705, + "▁рит": 38706, + "▁Эк": 38707, + "▁базы": 38708, + "▁помню": 38709, + "тору": 38710, + "вилась": 38711, + "▁сверху": 38712, + "▁функций": 38713, + "▁процессо": 38714, + "▁встречается": 38715, + "▁Такой": 38716, + "чён": 38717, + "▁привело": 38718, + "▁среде": 38719, + "номо": 38720, + "водство": 38721, + "▁сказано": 38722, + "▁влиянием": 38723, + "пили": 38724, + "▁древне": 38725, + "РЕ": 38726, + "▁изучения": 38727, + "▁являлся": 38728, + "▁поверхность": 38729, + "▁шту": 38730, + "▁встречаются": 38731, + "▁директора": 38732, + "▁крупней": 38733, + "▁рейти": 38734, + "НР": 38735, + "▁кух": 38736, + "▁Тра": 38737, + "▁друж": 38738, + "▁Святого": 38739, + "▁Древ": 38740, + "Петербург": 38741, + "▁Петербург": 38742, + "▁пут": 38743, + "стические": 38744, + "▁повышен": 38745, + "▁среднего": 38746, + "▁товар": 38747, + "▁фено": 38748, + "▁Бай": 38749, + "▁тихо": 38750, + "▁делам": 38751, + "вится": 38752, + "▁руководитель": 38753, + "atural": 38754, + "▁отвечает": 38755, + "▁Стре": 38756, + "▁благодар": 38757, + "вина": 38758, + "стрии": 38759, + "▁Пример": 38760, + "▁присвое": 38761, + "дук": 38762, + "▁художника": 38763, + "▁железной": 38764, + "▁МОСК": 38765, + "▁япон": 38766, + "жества": 38767, + "▁Сара": 38768, + "▁училище": 38769, + "▁газа": 38770, + "▁выя": 38771, + "▁осна": 38772, + "товые": 38773, + "▁испан": 38774, + "▁делом": 38775, + "▁пациен": 38776, + "▁существенно": 38777, + "▁первонача": 38778, + "▁плате": 38779, + "▁принимал": 38780, + "▁народного": 38781, + "голо": 38782, + "▁Откры": 38783, + "▁поражения": 38784, + "опера": 38785, + "▁цены": 38786, + "▁сельскохозяй": 38787, + "ционное": 38788, + "зовы": 38789, + "▁Карл": 38790, + "рья": 38791, + "▁населё": 38792, + "▁делега": 38793, + "▁\"«": 38794, + "▁дога": 38795, + "образи": 38796, + "▁конструкции": 38797, + "▁сказали": 38798, + "▁разрабаты": 38799, + "▁фирмы": 38800, + "▁любит": 38801, + "▁переговоры": 38802, + "▁вкус": 38803, + "▁действует": 38804, + "ходу": 38805, + "зирован": 38806, + "▁древних": 38807, + "▁острове": 38808, + "▁лам": 38809, + "▁церемо": 38810, + "▁нев": 38811, + "▁правом": 38812, + "▁телевиде": 38813, + "▁торговли": 38814, + "вленной": 38815, + "▁детали": 38816, + "▁тонн": 38817, + "▁взрыв": 38818, + "▁борьбу": 38819, + "▁пространстве": 38820, + "»;": 38821, + "▁высокого": 38822, + "▁рабочего": 38823, + "▁Любо": 38824, + "Что": 38825, + "нив": 38826, + "▁банков": 38827, + "▁Зве": 38828, + "▁объявил": 38829, + "▁хокке": 38830, + "▁высшей": 38831, + "▁борьба": 38832, + "▁вторая": 38833, + "▁выражение": 38834, + "▁лиде": 38835, + "▁ученых": 38836, + "▁благополу": 38837, + "▁писателей": 38838, + "авто": 38839, + "▁покой": 38840, + "▁многом": 38841, + "▁предотвра": 38842, + "фона": 38843, + "стная": 38844, + "▁орке": 38845, + "дное": 38846, + "▁нравится": 38847, + "▁способен": 38848, + "▁четырёх": 38849, + "▁Гон": 38850, + "▁фронте": 38851, + "▁мель": 38852, + "▁оптими": 38853, + "▁масла": 38854, + "стар": 38855, + "▁режиме": 38856, + "▁картина": 38857, + "тало": 38858, + "▁часы": 38859, + "пел": 38860, + "▁намного": 38861, + "▁рыба": 38862, + "для": 38863, + "▁печати": 38864, + "▁пья": 38865, + "КП": 38866, + "тическое": 38867, + "ровку": 38868, + "▁набор": 38869, + "▁делал": 38870, + "▁полное": 38871, + "▁Харь": 38872, + "▁самих": 38873, + "вляли": 38874, + "▁слегка": 38875, + "▁обно": 38876, + "▁шири": 38877, + "▁Спо": 38878, + "▁Сен": 38879, + "чее": 38880, + "такт": 38881, + "▁проектов": 38882, + "▁пери": 38883, + "▁Ам": 38884, + "▁совеща": 38885, + "▁русском": 38886, + "▁алгорит": 38887, + "▁Тихо": 38888, + "▁штра": 38889, + "▁вере": 38890, + "▁методов": 38891, + "▁подро": 38892, + "▁Осо": 38893, + "▁принадлежа": 38894, + "▁шпи": 38895, + "▁оборудования": 38896, + "▁эваку": 38897, + "▁принципи": 38898, + "▁ощущение": 38899, + "▁Китая": 38900, + "▁каждому": 38901, + "▁Эль": 38902, + "▁опасности": 38903, + "▁собственные": 38904, + "▁районах": 38905, + "▁интеллиген": 38906, + "▁Наде": 38907, + "бь": 38908, + "▁планеты": 38909, + "▁интересы": 38910, + "▁астроно": 38911, + "▁работой": 38912, + "▁теми": 38913, + "▁Город": 38914, + "▁морской": 38915, + "▁посте": 38916, + "▁бал": 38917, + "мысли": 38918, + "▁дивизия": 38919, + "▁госпита": 38920, + "▁МОСКВА": 38921, + "▁немцев": 38922, + "▁дорога": 38923, + "ГУ": 38924, + "муля": 38925, + "▁переписи": 38926, + "▁входят": 38927, + "▁Петров": 38928, + "▁Универ": 38929, + "▁подчерки": 38930, + "▁дворе": 38931, + "▁председателя": 38932, + "▁осуществи": 38933, + "▁интересов": 38934, + "▁изображение": 38935, + "▁рано": 38936, + "▁миллиона": 38937, + "▁интерпре": 38938, + "▁идеаль": 38939, + "▁стиле": 38940, + "▁приказал": 38941, + "союз": 38942, + "ёра": 38943, + "ционным": 38944, + "револю": 38945, + "ненного": 38946, + "гули": 38947, + "▁выступил": 38948, + "это": 38949, + "▁возможностей": 38950, + "ехала": 38951, + "Если": 38952, + "▁Христа": 38953, + "▁независимо": 38954, + "▁интересу": 38955, + "▁берега": 38956, + "мут": 38957, + "▁Прежде": 38958, + "ане": 38959, + "▁настаи": 38960, + "▁провел": 38961, + "▁имена": 38962, + "▁картину": 38963, + "мова": 38964, + "тером": 38965, + "жеб": 38966, + "▁пропо": 38967, + "нуне": 38968, + "▁блестя": 38969, + "▁руководства": 38970, + "▁женой": 38971, + "▁Дар": 38972, + "▁оскор": 38973, + "▁формирования": 38974, + "▁супер": 38975, + "ённых": 38976, + "▁Академии": 38977, + "▁ответа": 38978, + "▁автори": 38979, + "▁резо": 38980, + "раясь": 38981, + "▁программе": 38982, + "▁размыш": 38983, + "▁воздействия": 38984, + "▁мужи": 38985, + "▁строя": 38986, + "▁тренер": 38987, + "ждают": 38988, + "▁Просто": 38989, + "▁открыто": 38990, + "▁Оба": 38991, + "▁вторы": 38992, + "erous": 38993, + "▁Дне": 38994, + "▁саха": 38995, + "▁еги": 38996, + "сомо": 38997, + "▁оболо": 38998, + "▁имеются": 38999, + "▁бег": 39000, + "▁ген": 39001, + "▁интеллектуаль": 39002, + "▁известен": 39003, + "▁Горь": 39004, + "▁французский": 39005, + "нты": 39006, + "▁температура": 39007, + "▁звезды": 39008, + "▁Анти": 39009, + "▁универса": 39010, + "▁транспор": 39011, + "▁бронзо": 39012, + "ствовало": 39013, + "▁другому": 39014, + "▁Западной": 39015, + "▁брю": 39016, + "ИД": 39017, + "кончался": 39018, + "граде": 39019, + "▁добавил": 39020, + "▁депутатов": 39021, + "ткой": 39022, + "стане": 39023, + "▁Един": 39024, + "брал": 39025, + "▁ожи": 39026, + "▁всякий": 39027, + "▁храма": 39028, + "леров": 39029, + "▁создавать": 39030, + "▁грани": 39031, + "тиков": 39032, + "▁Wash": 39033, + "▁итогам": 39034, + "▁никого": 39035, + "ЭС": 39036, + "▁сущности": 39037, + "▁Импера": 39038, + "▁тяжё": 39039, + "дёт": 39040, + "дыва": 39041, + "энер": 39042, + "▁считали": 39043, + "▁Свет": 39044, + "Ар": 39045, + "▁хлеб": 39046, + "▁Фё": 39047, + "▁идею": 39048, + "▁помещения": 39049, + "▁проде": 39050, + "нялись": 39051, + "виков": 39052, + "лят": 39053, + "▁конференции": 39054, + "▁партизан": 39055, + "▁прибо": 39056, + "▁оставил": 39057, + "▁оттуда": 39058, + "▁Анна": 39059, + "пель": 39060, + "▁разумеется": 39061, + "▁наиболь": 39062, + "▁produc": 39063, + "vironment": 39064, + "нис": 39065, + "▁передать": 39066, + "шала": 39067, + "теры": 39068, + "▁лока": 39069, + "▁тести": 39070, + "тран": 39071, + "летнего": 39072, + "anish": 39073, + "▁вряд": 39074, + "▁уте": 39075, + "▁континен": 39076, + "▁зарегистри": 39077, + "шеб": 39078, + "▁слове": 39079, + "▁ждать": 39080, + "▁воли": 39081, + "менту": 39082, + "▁Мен": 39083, + "▁недостаточно": 39084, + "▁Уо": 39085, + "▁английский": 39086, + "▁участник": 39087, + "нося": 39088, + "▁составляют": 39089, + "зю": 39090, + "▁языков": 39091, + "▁семейства": 39092, + "▁иду": 39093, + "▁вмеша": 39094, + "▁полного": 39095, + "▁явление": 39096, + "▁смеша": 39097, + "▁поражение": 39098, + "▁научной": 39099, + "▁судьба": 39100, + "манов": 39101, + "правед": 39102, + "▁Новый": 39103, + "▁выро": 39104, + "cis": 39105, + "▁никому": 39106, + "довал": 39107, + "▁рекоменду": 39108, + "Ва": 39109, + "▁любил": 39110, + "▁подс": 39111, + "▁открыл": 39112, + "▁очередной": 39113, + "▁накло": 39114, + "▁боях": 39115, + "▁Ган": 39116, + "чко": 39117, + "▁состоянию": 39118, + "гона": 39119, + "▁удержи": 39120, + "▁Дю": 39121, + "▁минера": 39122, + "▁гибели": 39123, + "полков": 39124, + "гере": 39125, + "▁лёг": 39126, + "лине": 39127, + "▁переименова": 39128, + "▁патро": 39129, + "▁эстети": 39130, + "▁медали": 39131, + "▁длиной": 39132, + "▁используя": 39133, + "▁прие": 39134, + "таны": 39135, + "дона": 39136, + "▁технологий": 39137, + "▁разделя": 39138, + "▁орденом": 39139, + "▁находилась": 39140, + "▁изде": 39141, + "▁топо": 39142, + "▁комнате": 39143, + "▁днем": 39144, + "▁сахар": 39145, + "Бу": 39146, + "▁Чар": 39147, + "▁многочисленные": 39148, + "▁Неу": 39149, + "емую": 39150, + "▁великоле": 39151, + "▁героев": 39152, + "льти": 39153, + "▁зоны": 39154, + "▁вчера": 39155, + "американ": 39156, + "зора": 39157, + "▁Ответ": 39158, + "▁подходя": 39159, + "▁кварта": 39160, + "▁перешёл": 39161, + "▁династи": 39162, + "стет": 39163, + "▁Причем": 39164, + "▁собаки": 39165, + "рении": 39166, + "чала": 39167, + "▁пау": 39168, + "года": 39169, + "▁Жен": 39170, + "▁потерпе": 39171, + "▁альтерна": 39172, + "▁Марии": 39173, + "▁округ": 39174, + "вете": 39175, + "▁религии": 39176, + "воды": 39177, + "▁криста": 39178, + "▁зар": 39179, + "▁плана": 39180, + "бии": 39181, + "▁Жан": 39182, + "щенный": 39183, + "▁Интере": 39184, + "▁благород": 39185, + "национа": 39186, + "▁визи": 39187, + "▁восхи": 39188, + "рений": 39189, + "тала": 39190, + "▁минимум": 39191, + "stitute": 39192, + "leb": 39193, + "▁Ивана": 39194, + "ДР": 39195, + "сий": 39196, + "▁успел": 39197, + "следу": 39198, + "▁конечном": 39199, + "демокра": 39200, + "▁Мек": 39201, + "инг": 39202, + "▁средство": 39203, + "▁Золо": 39204, + "▁ваше": 39205, + "▁работали": 39206, + "Су": 39207, + "фт": 39208, + "▁Вместо": 39209, + "▁Дума": 39210, + "▁Вя": 39211, + "▁объекты": 39212, + "▁Дер": 39213, + "▁порой": 39214, + "▁побу": 39215, + "▁подразделения": 39216, + "▁незначи": 39217, + "▁террори": 39218, + "тельству": 39219, + "нку": 39220, + "▁демо": 39221, + "▁Крем": 39222, + "sych": 39223, + "▁Вну": 39224, + "▁Королев": 39225, + "▁мотива": 39226, + "▁изменение": 39227, + "▁твердо": 39228, + "▁Пан": 39229, + "▁Конститу": 39230, + "▁концентра": 39231, + "▁общий": 39232, + "▁отверсти": 39233, + "▁будь": 39234, + "тическими": 39235, + "▁моди": 39236, + "▁Хан": 39237, + "▁пользоваться": 39238, + "▁пунктов": 39239, + "туга": 39240, + "хии": 39241, + "▁патриар": 39242, + "▁законов": 39243, + "▁гран": 39244, + "▁союза": 39245, + "▁Отец": 39246, + "▁гумани": 39247, + "▁театре": 39248, + "зидиума": 39249, + "щенных": 39250, + "▁волны": 39251, + "▁Ву": 39252, + "▁Йо": 39253, + "▁Вален": 39254, + "▁кода": 39255, + "▁навсегда": 39256, + "довых": 39257, + "▁способны": 39258, + "▁Аф": 39259, + "▁СС": 39260, + "▁прибе": 39261, + "▁вопросу": 39262, + "▁поздно": 39263, + "▁напада": 39264, + "▁департа": 39265, + "▁поход": 39266, + "▁Досто": 39267, + "▁методи": 39268, + "▁nec": 39269, + "▁став": 39270, + "мирал": 39271, + "тками": 39272, + "▁мама": 39273, + "▁немцы": 39274, + "▁пости": 39275, + "начале": 39276, + "▁рис": 39277, + "▁боло": 39278, + "▁чувстви": 39279, + "▁Союз": 39280, + "▁комплекса": 39281, + "мили": 39282, + "▁винов": 39283, + "▁корабли": 39284, + "шься": 39285, + "▁Леони": 39286, + "▁гиб": 39287, + "▁Вне": 39288, + "▁Право": 39289, + "▁Позд": 39290, + "▁Финля": 39291, + "▁побы": 39292, + "ГБ": 39293, + "ьте": 39294, + "▁воскрес": 39295, + "ждую": 39296, + "▁рыб": 39297, + "тент": 39298, + "▁Лан": 39299, + "▁взаимодействия": 39300, + "▁высоты": 39301, + "▁продукты": 39302, + "ГО": 39303, + "▁Выс": 39304, + "▁реаги": 39305, + "▁выбора": 39306, + "сками": 39307, + "▁адвока": 39308, + "▁иные": 39309, + "▁купить": 39310, + "▁выжи": 39311, + "▁Американ": 39312, + "▁промы": 39313, + "▁назван": 39314, + "▁использует": 39315, + "▁имея": 39316, + "▁уровнем": 39317, + "▁указывает": 39318, + "▁бомбардиров": 39319, + "pecially": 39320, + "тельны": 39321, + "▁авторов": 39322, + "▁иско": 39323, + "провод": 39324, + "пев": 39325, + "кета": 39326, + "ани": 39327, + "▁всяком": 39328, + "▁Христо": 39329, + "▁обру": 39330, + "тт": 39331, + "▁деше": 39332, + "сне": 39333, + "▁враже": 39334, + "▁появления": 39335, + "Хо": 39336, + "▁поэзии": 39337, + "▁Мед": 39338, + "▁американской": 39339, + "▁Окон": 39340, + "▁второе": 39341, + "▁плоско": 39342, + "▁воро": 39343, + "▁общественных": 39344, + "щийся": 39345, + "▁тамо": 39346, + "▁Мои": 39347, + "▁общения": 39348, + "▁признать": 39349, + "▁экономической": 39350, + "▁Гос": 39351, + "▁клетки": 39352, + "▁получать": 39353, + "▁модерни": 39354, + "тится": 39355, + "▁серьёз": 39356, + "степен": 39357, + "уго": 39358, + "▁песен": 39359, + "▁блок": 39360, + "▁Часть": 39361, + "▁лицен": 39362, + "▁нераз": 39363, + "▁Член": 39364, + "▁суток": 39365, + "зву": 39366, + "▁необходимые": 39367, + "▁планы": 39368, + "▁состоялась": 39369, + "▁политика": 39370, + "▁шка": 39371, + "бек": 39372, + "▁пола": 39373, + "▁комисса": 39374, + "▁Нем": 39375, + "ченное": 39376, + "мета": 39377, + "ёлок": 39378, + "▁расчет": 39379, + "▁Нико": 39380, + "чины": 39381, + "▁моим": 39382, + "ведена": 39383, + "▁съе": 39384, + "▁молодё": 39385, + "▁зали": 39386, + "лум": 39387, + "▁мясо": 39388, + "льше": 39389, + "▁докла": 39390, + "▁бизнеса": 39391, + "▁Северо": 39392, + "▁нали": 39393, + "▁появляются": 39394, + "▁мероприятия": 39395, + "▁импуль": 39396, + "▁титул": 39397, + "▁Вашинг": 39398, + "▁нежели": 39399, + "мить": 39400, + "▁возму": 39401, + "▁сезон": 39402, + "пали": 39403, + "▁студентов": 39404, + "дении": 39405, + "▁атаки": 39406, + "Пу": 39407, + "слава": 39408, + "жского": 39409, + "▁крае": 39410, + "▁средствами": 39411, + "▁Предпо": 39412, + "▁связана": 39413, + "▁версия": 39414, + "риях": 39415, + "▁позволяют": 39416, + "▁внезапно": 39417, + "▁симпто": 39418, + "▁гале": 39419, + "ТАР": 39420, + "▁масте": 39421, + "грамма": 39422, + "▁Пушкина": 39423, + "▁выборов": 39424, + "▁точку": 39425, + "▁экза": 39426, + "верен": 39427, + "▁сон": 39428, + "Ки": 39429, + "▁Всё": 39430, + "мма": 39431, + "▁живых": 39432, + "▁посёлок": 39433, + "ъем": 39434, + "▁искусств": 39435, + "виду": 39436, + "ющаяся": 39437, + "▁отказаться": 39438, + "▁Швей": 39439, + "▁граду": 39440, + "▁разведки": 39441, + "▁сложности": 39442, + "▁пробу": 39443, + "▁убийства": 39444, + "▁исследователь": 39445, + "▁юге": 39446, + "▁Библи": 39447, + "плек": 39448, + "▁счёт": 39449, + "▁предметы": 39450, + "▁биографи": 39451, + "▁командованием": 39452, + "Все": 39453, + "▁траги": 39454, + "▁бессо": 39455, + "▁понимаю": 39456, + "▁Органи": 39457, + "▁бумаги": 39458, + "▁разво": 39459, + "бл": 39460, + "utive": 39461, + "▁Верх": 39462, + "▁камер": 39463, + "▁птиц": 39464, + "бей": 39465, + "▁крей": 39466, + "тивов": 39467, + "▁МВД": 39468, + "▁войско": 39469, + "▁ребя": 39470, + "▁орудий": 39471, + "▁Ранее": 39472, + "▁гигант": 39473, + "▁расположены": 39474, + "▁гражданской": 39475, + "▁блока": 39476, + "▁погло": 39477, + "худ": 39478, + "▁замуж": 39479, + "жек": 39480, + "▁Одно": 39481, + "▁Вин": 39482, + "КС": 39483, + "▁бен": 39484, + "▁типов": 39485, + "зыв": 39486, + "шите": 39487, + "▁вступил": 39488, + "МА": 39489, + "лян": 39490, + "▁совершил": 39491, + "щенные": 39492, + "▁издания": 39493, + "▁Впервые": 39494, + "▁конфликт": 39495, + "▁проверки": 39496, + "торе": 39497, + "цкой": 39498, + "▁основным": 39499, + "▁показали": 39500, + "▁ово": 39501, + "▁неот": 39502, + "пал": 39503, + "▁термин": 39504, + "▁воле": 39505, + "▁врач": 39506, + "▁Ника": 39507, + "▁везде": 39508, + "▁бер": 39509, + "▁системой": 39510, + "▁реб": 39511, + "▁мифо": 39512, + "▁немецкий": 39513, + "шками": 39514, + "▁полковник": 39515, + "▁давать": 39516, + "▁известны": 39517, + "▁огра": 39518, + "▁сх": 39519, + "▁прибыл": 39520, + "▁зао": 39521, + "▁вход": 39522, + "▁Фон": 39523, + "▁элемент": 39524, + "▁зерка": 39525, + "▁монастыря": 39526, + "▁ветер": 39527, + "▁журнал": 39528, + "▁охла": 39529, + "▁Результа": 39530, + "▁банка": 39531, + "гура": 39532, + "уса": 39533, + "▁прошел": 39534, + "льда": 39535, + "▁запись": 39536, + "▁балан": 39537, + "▁сцен": 39538, + "ЛО": 39539, + "тивную": 39540, + "рки": 39541, + "фина": 39542, + "▁группой": 39543, + "▁таин": 39544, + "▁диссер": 39545, + "ваи": 39546, + "▁Ear": 39547, + "▁существа": 39548, + "сот": 39549, + "тация": 39550, + "▁Мой": 39551, + "▁Украин": 39552, + "шенных": 39553, + "▁приви": 39554, + "▁сопротивление": 39555, + "чешь": 39556, + "▁услуги": 39557, + "дают": 39558, + "▁структура": 39559, + "▁новом": 39560, + "▁голова": 39561, + "▁недостато": 39562, + "▁погибли": 39563, + "▁прости": 39564, + "▁сутки": 39565, + "▁огромное": 39566, + "▁внед": 39567, + "▁международного": 39568, + "тирован": 39569, + "▁веща": 39570, + "▁боги": 39571, + "▁парламент": 39572, + "▁предлагает": 39573, + "▁пытались": 39574, + "фикси": 39575, + "▁общественной": 39576, + "▁Маль": 39577, + "▁заключения": 39578, + "▁сборную": 39579, + "литься": 39580, + "▁проф": 39581, + "шенко": 39582, + "▁корреспонден": 39583, + "▁термина": 39584, + "▁лежа": 39585, + "▁пусто": 39586, + "▁великий": 39587, + "тория": 39588, + "▁настоящий": 39589, + "▁предметов": 39590, + "▁сталки": 39591, + "▁Жиз": 39592, + "▁станция": 39593, + "▁Ира": 39594, + "скры": 39595, + "▁секретарь": 39596, + "честву": 39597, + "▁свободно": 39598, + "▁посоль": 39599, + "▁атаку": 39600, + "▁Земле": 39601, + "▁транспорта": 39602, + "▁«\"": 39603, + "▁жив": 39604, + "▁ВС": 39605, + "ционную": 39606, + "севдо": 39607, + "туи": 39608, + "▁подве": 39609, + "▁натура": 39610, + "utions": 39611, + "▁состоялся": 39612, + "▁бог": 39613, + "пления": 39614, + "▁непоня": 39615, + "▁преобла": 39616, + "сение": 39617, + "▁имущества": 39618, + "ёв": 39619, + "поля": 39620, + "▁сумел": 39621, + "тры": 39622, + "▁радика": 39623, + "▁инструмента": 39624, + "▁давление": 39625, + "ficult": 39626, + "▁Архи": 39627, + "▁зоне": 39628, + "▁растения": 39629, + "вим": 39630, + "▁ске": 39631, + "▁бюдже": 39632, + "▁швед": 39633, + "▁принципе": 39634, + "стический": 39635, + "▁орден": 39636, + "шер": 39637, + "▁сообща": 39638, + "▁нейтра": 39639, + "▁впрочем": 39640, + "▁чувств": 39641, + "▁делали": 39642, + "цвета": 39643, + "▁разговари": 39644, + "▁масси": 39645, + "▁рассказать": 39646, + "▁разрешения": 39647, + "▁базо": 39648, + "Из": 39649, + "▁забил": 39650, + "▁Основные": 39651, + "▁скоростью": 39652, + "▁Вой": 39653, + "▁Большой": 39654, + "▁обучение": 39655, + "▁утро": 39656, + "гности": 39657, + "▁голоса": 39658, + "▁Мю": 39659, + "чнее": 39660, + "▁хватает": 39661, + "▁единственным": 39662, + "▁аван": 39663, + "▁национали": 39664, + "▁наци": 39665, + "▁сомне": 39666, + "рим": 39667, + "▁писто": 39668, + "▁содей": 39669, + "▁Зак": 39670, + "▁обмен": 39671, + "жаются": 39672, + "▁статья": 39673, + "▁прошед": 39674, + "▁придержи": 39675, + "▁День": 39676, + "▁секунд": 39677, + "▁защиту": 39678, + "▁отва": 39679, + "нюдь": 39680, + "▁останов": 39681, + "фикация": 39682, + "▁собесед": 39683, + "▁хода": 39684, + "▁фикси": 39685, + "▁пищи": 39686, + "▁робо": 39687, + "▁бре": 39688, + "▁обработки": 39689, + "▁напом": 39690, + "▁Одним": 39691, + "▁зажи": 39692, + "▁допусти": 39693, + "КО": 39694, + "▁утверждает": 39695, + "фек": 39696, + "▁груди": 39697, + "▁личность": 39698, + "▁заку": 39699, + "▁механизм": 39700, + "дового": 39701, + "▁вод": 39702, + "▁оза": 39703, + "▁температуры": 39704, + "▁Игорь": 39705, + "▁выбрать": 39706, + "▁прошла": 39707, + "▁подряд": 39708, + "▁буль": 39709, + "▁уса": 39710, + "▁скажем": 39711, + "▁plann": 39712, + "▁наве": 39713, + "▁стояли": 39714, + "▁альбо": 39715, + "▁старых": 39716, + "ИЙ": 39717, + "▁шум": 39718, + "▁оставался": 39719, + "чивость": 39720, + "▁правой": 39721, + "ИА": 39722, + "▁ракеты": 39723, + "▁конц": 39724, + "▁цивилизации": 39725, + "▁Иоси": 39726, + "▁смени": 39727, + "▁спасти": 39728, + "говой": 39729, + "▁определение": 39730, + "▁письме": 39731, + "дена": 39732, + "ненным": 39733, + "▁культура": 39734, + "▁экспедиции": 39735, + "▁Мир": 39736, + "▁Администра": 39737, + "▁рассматривать": 39738, + "▁крепости": 39739, + "сель": 39740, + "мора": 39741, + "▁Сере": 39742, + "▁ценности": 39743, + "▁границу": 39744, + "▁кине": 39745, + "▁автоном": 39746, + "▁зарпла": 39747, + "▁курса": 39748, + "▁рассчита": 39749, + "▁Жа": 39750, + "▁получают": 39751, + "▁столетия": 39752, + "никова": 39753, + "▁мышления": 39754, + "▁ране": 39755, + "ющееся": 39756, + "▁хиру": 39757, + "вьте": 39758, + "▁выражения": 39759, + "▁серий": 39760, + "▁севере": 39761, + "▁непло": 39762, + "▁пострада": 39763, + "▁газета": 39764, + "чника": 39765, + "▁охраны": 39766, + "нек": 39767, + "▁соль": 39768, + "▁декора": 39769, + "▁пригово": 39770, + "▁пожела": 39771, + "▁детьми": 39772, + "▁опасность": 39773, + "▁собрания": 39774, + "▁кали": 39775, + "бия": 39776, + "цева": 39777, + "▁желания": 39778, + "▁американского": 39779, + "▁настой": 39780, + "▁музея": 39781, + "▁учитель": 39782, + "▁этно": 39783, + "▁окно": 39784, + "▁кано": 39785, + "▁среду": 39786, + "▁Кру": 39787, + "oviet": 39788, + "▁Шар": 39789, + "▁поток": 39790, + "▁центральной": 39791, + "испо": 39792, + "▁возникают": 39793, + "▁звезд": 39794, + "▁подобного": 39795, + "▁надея": 39796, + "▁миром": 39797, + "▁расстояние": 39798, + "▁редак": 39799, + "▁упразд": 39800, + "▁службе": 39801, + "▁хре": 39802, + "▁австрий": 39803, + "чим": 39804, + "▁обер": 39805, + "▁урав": 39806, + "▁первен": 39807, + "бое": 39808, + "▁яро": 39809, + "лд": 39810, + "▁сена": 39811, + "▁ходу": 39812, + "▁Оче": 39813, + "совет": 39814, + "▁матч": 39815, + "▁заявление": 39816, + "ляли": 39817, + "▁Греции": 39818, + "▁обратился": 39819, + "▁расту": 39820, + "▁третьего": 39821, + "▁откров": 39822, + "▁визу": 39823, + "▁иное": 39824, + "▁комнату": 39825, + "вшуюся": 39826, + "▁отделение": 39827, + "▁языком": 39828, + "▁незакон": 39829, + "ковать": 39830, + "лям": 39831, + "вут": 39832, + "▁диалек": 39833, + "▁Первое": 39834, + "▁превосход": 39835, + "лона": 39836, + "▁Советской": 39837, + "лланд": 39838, + "▁стоят": 39839, + "щаясь": 39840, + "тарь": 39841, + "▁симпа": 39842, + "пия": 39843, + "▁стоимости": 39844, + "▁судьбы": 39845, + "▁индей": 39846, + "▁испытания": 39847, + "дется": 39848, + "▁сторона": 39849, + "▁уйти": 39850, + "ченная": 39851, + "жской": 39852, + "▁флот": 39853, + "▁Гражда": 39854, + "Кра": 39855, + "▁хороший": 39856, + "▁идеа": 39857, + "▁мото": 39858, + "смотрим": 39859, + "▁наличии": 39860, + "▁поможет": 39861, + "▁Александрович": 39862, + "хождение": 39863, + "ведением": 39864, + "▁инфраструк": 39865, + "▁поговори": 39866, + "▁уво": 39867, + "▁Писа": 39868, + "▁фотографии": 39869, + "▁перехода": 39870, + "▁исследование": 39871, + "▁стремление": 39872, + "носят": 39873, + "▁определяет": 39874, + "▁столицы": 39875, + "▁приехал": 39876, + "стор": 39877, + "▁Красного": 39878, + "▁ура": 39879, + "▁выдержа": 39880, + "▁Рича": 39881, + "▁боле": 39882, + "▁Лондоне": 39883, + "▁приспособ": 39884, + "▁вещь": 39885, + "▁Коло": 39886, + "▁вызвать": 39887, + "▁размере": 39888, + "▁здоровье": 39889, + "▁друже": 39890, + "▁проще": 39891, + "▁опе": 39892, + "▁непрерыв": 39893, + "▁понимает": 39894, + "▁статью": 39895, + "▁защит": 39896, + "▁мнения": 39897, + "тового": 39898, + "▁несу": 39899, + "▁социального": 39900, + "▁посыла": 39901, + "▁наряду": 39902, + "▁определён": 39903, + "▁теп": 39904, + "▁встрече": 39905, + "▁ВМ": 39906, + "▁пони": 39907, + "▁невер": 39908, + "▁база": 39909, + "▁Такая": 39910, + "▁благоприят": 39911, + "▁образа": 39912, + "▁каждое": 39913, + "▁настоящего": 39914, + "▁Сю": 39915, + "сид": 39916, + "потре": 39917, + "▁сде": 39918, + "▁инфек": 39919, + "▁иного": 39920, + "▁этап": 39921, + "▁выполнить": 39922, + "▁создает": 39923, + "пети": 39924, + "▁равен": 39925, + "▁Дом": 39926, + "раиль": 39927, + "▁значительной": 39928, + "▁консульта": 39929, + "▁случаи": 39930, + "▁штата": 39931, + "▁сельсовета": 39932, + "▁черно": 39933, + "рила": 39934, + "▁Игра": 39935, + "▁Богу": 39936, + "▁следующих": 39937, + "▁сцены": 39938, + "уголь": 39939, + "▁каждым": 39940, + "▁Китае": 39941, + "ешься": 39942, + "▁стиль": 39943, + "шне": 39944, + "▁увеличе": 39945, + "▁пропаган": 39946, + "▁Кол": 39947, + "▁Произ": 39948, + "▁обеих": 39949, + "▁акций": 39950, + "жник": 39951, + "хло": 39952, + "▁стремя": 39953, + "▁земель": 39954, + "▁доход": 39955, + "▁гарни": 39956, + "▁кстати": 39957, + "▁мусульман": 39958, + "▁попросил": 39959, + "▁кампании": 39960, + "▁Участ": 39961, + "▁верно": 39962, + "duction": 39963, + "▁близко": 39964, + "▁записы": 39965, + "чному": 39966, + "▁госу": 39967, + "clus": 39968, + "Пи": 39969, + "▁количестве": 39970, + "▁напоминает": 39971, + "номер": 39972, + "мать": 39973, + "ленная": 39974, + "▁оказаться": 39975, + "▁памятник": 39976, + "▁берег": 39977, + "arliam": 39978, + "▁мудро": 39979, + "Рус": 39980, + "▁специальных": 39981, + "кои": 39982, + "?..": 39983, + "хин": 39984, + "▁Буду": 39985, + "нической": 39986, + "дзе": 39987, + "вляются": 39988, + "ода": 39989, + "еруса": 39990, + "▁понимание": 39991, + "▁Руко": 39992, + "▁соци": 39993, + "▁использовали": 39994, + "син": 39995, + "▁впереди": 39996, + "▁дерева": 39997, + "гне": 39998, + "ложении": 39999, + "▁высоких": 40000, + "▁исключа": 40001, + "▁прочих": 40002, + "▁Польши": 40003, + "твори": 40004, + "шенные": 40005, + "▁Кэ": 40006, + "емости": 40007, + "▁Михайлович": 40008, + "▁заметить": 40009, + "▁похи": 40010, + "▁Разве": 40011, + "▁поми": 40012, + "▁скажу": 40013, + "▁ограничения": 40014, + "▁Бель": 40015, + "новский": 40016, + "▁тобой": 40017, + "▁Нужно": 40018, + "▁горизонта": 40019, + "кабу": 40020, + "▁учения": 40021, + "лёт": 40022, + "▁создана": 40023, + "▁поставил": 40024, + "▁фундамента": 40025, + "▁батальона": 40026, + "▁Другие": 40027, + "▁Современ": 40028, + "▁соч": 40029, + "несла": 40030, + "▁Часто": 40031, + "▁отчая": 40032, + "▁Октябрь": 40033, + "▁насы": 40034, + "▁выступ": 40035, + "тике": 40036, + "▁найден": 40037, + "▁Лин": 40038, + "▁рот": 40039, + "▁высокий": 40040, + "лили": 40041, + "▁достовер": 40042, + "▁исторических": 40043, + "▁Обла": 40044, + "▁понимания": 40045, + "▁абстра": 40046, + "▁каждую": 40047, + "▁любое": 40048, + "▁акции": 40049, + "▁отмечает": 40050, + "нувшись": 40051, + "▁отнюдь": 40052, + "▁невозмо": 40053, + "▁фестива": 40054, + "▁выве": 40055, + "▁выса": 40056, + "▁учился": 40057, + "▁предложе": 40058, + "▁обнаружил": 40059, + "▁зла": 40060, + "▁душев": 40061, + "мур": 40062, + "ляция": 40063, + "▁давления": 40064, + "▁счастье": 40065, + "▁проверя": 40066, + "таясь": 40067, + "гря": 40068, + "▁отече": 40069, + "▁важных": 40070, + "▁реме": 40071, + "▁объединения": 40072, + "юри": 40073, + "▁образе": 40074, + "▁издание": 40075, + "стическая": 40076, + "▁Михаила": 40077, + "▁Вз": 40078, + "фан": 40079, + "▁бывают": 40080, + "ilies": 40081, + "▁обоб": 40082, + "▁мною": 40083, + "▁регулярно": 40084, + "▁районов": 40085, + "▁оре": 40086, + "▁оставаться": 40087, + "▁командование": 40088, + "arliament": 40089, + "ИЯ": 40090, + "женным": 40091, + "▁подходит": 40092, + "▁различными": 40093, + "▁дорог": 40094, + "▁гипер": 40095, + "▁дерево": 40096, + "▁организм": 40097, + "▁Социали": 40098, + "▁Кро": 40099, + "▁банки": 40100, + "▁вина": 40101, + "праши": 40102, + "▁оставалось": 40103, + "▁сестра": 40104, + "▁remov": 40105, + "▁конфликта": 40106, + "▁Стани": 40107, + "▁читал": 40108, + "▁Ещё": 40109, + "▁начались": 40110, + "́н": 40111, + "нейшие": 40112, + "▁Тех": 40113, + "▁улыб": 40114, + "▁банк": 40115, + "▁Над": 40116, + "Ан": 40117, + "▁Белоруссии": 40118, + "вик": 40119, + "▁шоссе": 40120, + "▁служеб": 40121, + "▁Хорошо": 40122, + "петь": 40123, + "▁вернуть": 40124, + "▁причинам": 40125, + "ДА": 40126, + "▁Время": 40127, + "▁Петербурге": 40128, + "▁камень": 40129, + "▁веб": 40130, + "▁контакт": 40131, + "▁Спу": 40132, + "▁видом": 40133, + "▁фильмов": 40134, + "рева": 40135, + "▁ладо": 40136, + "▁факты": 40137, + "▁веры": 40138, + "▁соглашения": 40139, + "▁лучший": 40140, + "▁выполнение": 40141, + "▁Больше": 40142, + "▁девушки": 40143, + "▁св": 40144, + "▁кван": 40145, + "▁важным": 40146, + "▁замени": 40147, + "жке": 40148, + "▁занимал": 40149, + "▁позволит": 40150, + "▁несомненно": 40151, + "▁Роберт": 40152, + "▁обстре": 40153, + "▁См": 40154, + "люблен": 40155, + "пуга": 40156, + "▁остаются": 40157, + "▁закре": 40158, + "▁левой": 40159, + "▁administ": 40160, + "▁Лишь": 40161, + "▁клиентов": 40162, + "▁объе": 40163, + "Ла": 40164, + "▁Иса": 40165, + "▁учетом": 40166, + "▁пределы": 40167, + "бал": 40168, + "▁распространение": 40169, + "▁работо": 40170, + "слом": 40171, + "▁диапа": 40172, + "▁матчей": 40173, + "▁Необходи": 40174, + "зло": 40175, + "▁работала": 40176, + "▁Министерства": 40177, + "▁Одновременно": 40178, + "▁страха": 40179, + "▁прока": 40180, + "▁звё": 40181, + "▁старый": 40182, + "▁представлен": 40183, + "▁океана": 40184, + "▁музыку": 40185, + "▁больных": 40186, + "▁окончании": 40187, + "▁нарушение": 40188, + "▁Васильевич": 40189, + "пры": 40190, + "АС": 40191, + "▁сотрудники": 40192, + "▁двигателя": 40193, + "▁свидетельствует": 40194, + "▁Евгений": 40195, + "▁регионе": 40196, + "▁моде": 40197, + "▁культуре": 40198, + "▁взяли": 40199, + "слуши": 40200, + "▁продолжать": 40201, + "▁парламента": 40202, + "▁выбро": 40203, + "стили": 40204, + "▁избра": 40205, + "▁нере": 40206, + "чностью": 40207, + "▁вар": 40208, + "▁результатом": 40209, + "▁Вопрос": 40210, + "▁примени": 40211, + "шенный": 40212, + "▁наука": 40213, + "▁наименова": 40214, + "▁дорого": 40215, + "▁политике": 40216, + "▁штат": 40217, + "▁зачастую": 40218, + "▁Президиума": 40219, + "стема": 40220, + "▁пови": 40221, + "Кон": 40222, + "▁входя": 40223, + "▁детям": 40224, + "▁связей": 40225, + "питы": 40226, + "сках": 40227, + "Му": 40228, + "▁кофе": 40229, + "тному": 40230, + "▁ябло": 40231, + "▁разы": 40232, + "▁задума": 40233, + "overnor": 40234, + "▁физики": 40235, + "уме": 40236, + "▁типо": 40237, + "новича": 40238, + "▁появление": 40239, + "▁изначально": 40240, + "▁болезнь": 40241, + "▁функция": 40242, + "▁дифф": 40243, + "▁европейских": 40244, + "▁вечера": 40245, + "▁держать": 40246, + "▁обращения": 40247, + "▁окружающей": 40248, + "▁Поня": 40249, + "▁любые": 40250, + "▁попол": 40251, + "\"...": 40252, + "▁кирпи": 40253, + "▁услов": 40254, + "▁заявля": 40255, + "▁Обо": 40256, + "▁личного": 40257, + "тивными": 40258, + "моно": 40259, + "▁ряде": 40260, + "▁рев": 40261, + "▁убы": 40262, + "▁целиком": 40263, + "▁рецеп": 40264, + "▁взры": 40265, + "▁собрать": 40266, + "вающей": 40267, + "ляют": 40268, + "▁детства": 40269, + "▁зафикси": 40270, + "▁иу": 40271, + "▁заводе": 40272, + "▁ушел": 40273, + "▁особого": 40274, + "▁живой": 40275, + "▁вело": 40276, + "тащи": 40277, + "▁Гей": 40278, + "▁асси": 40279, + "▁президентом": 40280, + "веси": 40281, + "▁насеко": 40282, + "▁полета": 40283, + "▁заблу": 40284, + "▁сделано": 40285, + "▁месту": 40286, + "▁изли": 40287, + "▁крыла": 40288, + "▁занимается": 40289, + "▁Варша": 40290, + "▁эксплуатации": 40291, + "▁лед": 40292, + "▁Тан": 40293, + "▁собак": 40294, + "▁самую": 40295, + "▁попасть": 40296, + "▁отряда": 40297, + "▁принятия": 40298, + "▁Сама": 40299, + "▁графа": 40300, + "▁проведен": 40301, + "▁выру": 40302, + "▁десятки": 40303, + "рва": 40304, + "▁фили": 40305, + "▁политику": 40306, + "▁народу": 40307, + "ЕВ": 40308, + "▁борту": 40309, + "▁сидя": 40310, + "дневно": 40311, + "▁устойчи": 40312, + "▁Длина": 40313, + "▁Лев": 40314, + "стыми": 40315, + "▁Значит": 40316, + "▁физической": 40317, + "тины": 40318, + "▁нормы": 40319, + "▁верхов": 40320, + "▁факторов": 40321, + "фана": 40322, + "▁экстре": 40323, + "мея": 40324, + "если": 40325, + "▁внутреннего": 40326, + "▁беремен": 40327, + "▁подписал": 40328, + "▁Луи": 40329, + "▁люблю": 40330, + "▁проверить": 40331, + "стон": 40332, + "▁драго": 40333, + "▁Основа": 40334, + "▁пойти": 40335, + "▁мони": 40336, + "зываться": 40337, + "емыми": 40338, + "▁созданию": 40339, + "пова": 40340, + "Че": 40341, + "▁пру": 40342, + "▁исчеза": 40343, + "▁Стар": 40344, + "▁лов": 40345, + "▁обуча": 40346, + "водится": 40347, + "вляться": 40348, + "▁прокуро": 40349, + "▁написано": 40350, + "▁твое": 40351, + "рожден": 40352, + "ренный": 40353, + "АЗ": 40354, + "▁линия": 40355, + "▁ответить": 40356, + "▁потер": 40357, + "▁немно": 40358, + "женная": 40359, + "▁дворян": 40360, + "▁первич": 40361, + "▁островов": 40362, + "▁отличаются": 40363, + "▁использовании": 40364, + "▁сидел": 40365, + "ерархи": 40366, + "▁открыть": 40367, + "▁смогут": 40368, + "▁устре": 40369, + "▁экземпля": 40370, + "▁ткани": 40371, + "стских": 40372, + "▁внимательно": 40373, + "▁турнира": 40374, + "▁опубликован": 40375, + "▁вражде": 40376, + "▁раб": 40377, + "стинк": 40378, + "▁стер": 40379, + "▁строки": 40380, + "▁аппарата": 40381, + "шной": 40382, + "▁проявления": 40383, + "ствующие": 40384, + "▁французского": 40385, + "жутся": 40386, + "▁прозра": 40387, + "▁перейти": 40388, + "▁собою": 40389, + "▁двадцати": 40390, + "▁меньшей": 40391, + "▁волости": 40392, + "▁instit": 40393, + "зина": 40394, + "▁Вообще": 40395, + "льци": 40396, + "▁Россией": 40397, + "▁ворота": 40398, + "▁экипажа": 40399, + "▁актуаль": 40400, + "▁доступа": 40401, + "▁Син": 40402, + "леб": 40403, + "▁укры": 40404, + "ranch": 40405, + "▁понимал": 40406, + "▁исполнения": 40407, + "▁выполня": 40408, + "▁ошибок": 40409, + "▁шер": 40410, + "▁дебютировал": 40411, + "▁фору": 40412, + "▁мозг": 40413, + "яр": 40414, + "▁Восточной": 40415, + "▁надпись": 40416, + "▁ваших": 40417, + "▁Были": 40418, + "гается": 40419, + "фрикан": 40420, + "▁расширя": 40421, + "▁Никто": 40422, + "▁Смолен": 40423, + "▁сравнительно": 40424, + "▁пределами": 40425, + "▁Степа": 40426, + "терии": 40427, + "▁армией": 40428, + "▁оси": 40429, + "линд": 40430, + "▁подзем": 40431, + "▁выбран": 40432, + "▁пограни": 40433, + "▁преу": 40434, + "ваемые": 40435, + "▁наступления": 40436, + "▁местные": 40437, + "зости": 40438, + "▁ухуд": 40439, + "ровке": 40440, + "дкой": 40441, + "▁боевые": 40442, + "▁переговоров": 40443, + "▁верхней": 40444, + "шок": 40445, + "▁bene": 40446, + "деква": 40447, + "▁Ильи": 40448, + "зиат": 40449, + "лайн": 40450, + "▁согласился": 40451, + "штейн": 40452, + "▁бытия": 40453, + "▁автоматически": 40454, + "▁сыном": 40455, + "▁Свер": 40456, + "ведь": 40457, + "▁Список": 40458, + "эф": 40459, + "▁Весь": 40460, + "▁принципы": 40461, + "▁начальником": 40462, + "▁происходило": 40463, + "▁порази": 40464, + "▁линию": 40465, + "чём": 40466, + "▁земе": 40467, + "▁экономического": 40468, + "хожу": 40469, + "▁Тимо": 40470, + "▁осталась": 40471, + "тирует": 40472, + "▁западной": 40473, + "▁военнослу": 40474, + "▁английского": 40475, + "▁каме": 40476, + "▁получилось": 40477, + "▁профессора": 40478, + "джер": 40479, + "▁подразуме": 40480, + "ИИ": 40481, + "Га": 40482, + "▁Сибири": 40483, + "льм": 40484, + "▁Расска": 40485, + "▁телекана": 40486, + "думан": 40487, + "▁метода": 40488, + "▁психологии": 40489, + "следователь": 40490, + "▁общих": 40491, + "кии": 40492, + "▁предполагает": 40493, + "нели": 40494, + "ильям": 40495, + "▁воспри": 40496, + "▁автомобиля": 40497, + "▁леги": 40498, + "новым": 40499, + "▁отъ": 40500, + "▁буржуаз": 40501, + "▁Гитлер": 40502, + "▁следовало": 40503, + "▁журнале": 40504, + "▁участники": 40505, + "▁подготовке": 40506, + "▁немецкой": 40507, + "▁прице": 40508, + "тинг": 40509, + "ergy": 40510, + "ланти": 40511, + "▁заро": 40512, + "▁труп": 40513, + "▁постав": 40514, + "ленного": 40515, + "▁девять": 40516, + "ровского": 40517, + "▁Турции": 40518, + "АТО": 40519, + "▁известного": 40520, + "▁кости": 40521, + "▁стр": 40522, + "▁приго": 40523, + "▁машине": 40524, + "▁разработке": 40525, + "▁тяго": 40526, + "▁Следова": 40527, + "▁суббо": 40528, + "▁подобное": 40529, + "▁маленький": 40530, + "▁ходить": 40531, + "Ло": 40532, + "▁просла": 40533, + "▁врагов": 40534, + "▁середины": 40535, + "▁Роман": 40536, + "цени": 40537, + "▁отдельно": 40538, + "▁Обе": 40539, + "▁тира": 40540, + "▁эволюции": 40541, + "▁напеча": 40542, + "▁звезда": 40543, + "▁точка": 40544, + "▁солдаты": 40545, + "гала": 40546, + "▁черта": 40547, + "▁терпе": 40548, + "бие": 40549, + "ровался": 40550, + "▁расположена": 40551, + "▁кусо": 40552, + "▁предпоч": 40553, + "▁некоторым": 40554, + "▁максимально": 40555, + "▁доказыва": 40556, + "▁автомобиль": 40557, + "▁исходя": 40558, + "▁пушки": 40559, + "▁движении": 40560, + "▁Вселенной": 40561, + "▁взрыва": 40562, + "▁собака": 40563, + "▁достичь": 40564, + "ствование": 40565, + "ристокра": 40566, + "▁Елиза": 40567, + "▁Президент": 40568, + "ллы": 40569, + "▁властей": 40570, + "▁комитет": 40571, + "▁спря": 40572, + "▁обнаружили": 40573, + "лес": 40574, + "▁лучшим": 40575, + "▁одежды": 40576, + "▁Кер": 40577, + "▁советские": 40578, + "▁результатам": 40579, + "мед": 40580, + "▁кло": 40581, + "▁высшего": 40582, + "▁Матери": 40583, + "▁оли": 40584, + "▁обеспечивает": 40585, + "вица": 40586, + "▁уступа": 40587, + "▁пункта": 40588, + "▁продоволь": 40589, + "▁Дере": 40590, + "...>": 40591, + "рока": 40592, + "▁Оп": 40593, + "▁Нар": 40594, + "▁событие": 40595, + "▁выиграл": 40596, + "▁критери": 40597, + "▁Алла": 40598, + "▁многочисленных": 40599, + "▁характеристики": 40600, + "▁Университе": 40601, + "▁продукт": 40602, + "▁художников": 40603, + "▁Тар": 40604, + "▁символ": 40605, + "▁лы": 40606, + "▁важное": 40607, + "▁ваго": 40608, + "▁карте": 40609, + "▁разоча": 40610, + "ОО": 40611, + "▁лесу": 40612, + "▁обыкновен": 40613, + "▁риск": 40614, + "▁волосы": 40615, + "▁ЕС": 40616, + "▁ремон": 40617, + "▁броси": 40618, + "ливый": 40619, + "▁представляется": 40620, + "меся": 40621, + "ренных": 40622, + "▁реклам": 40623, + "▁необ": 40624, + "▁источники": 40625, + "▁здраво": 40626, + "чах": 40627, + "▁Сирии": 40628, + "стере": 40629, + "▁газете": 40630, + "▁Впоследствии": 40631, + "еписко": 40632, + "купи": 40633, + "▁Позднее": 40634, + "▁ведут": 40635, + "▁футболист": 40636, + "▁двер": 40637, + "▁драматур": 40638, + "ксу": 40639, + "▁заби": 40640, + "▁массу": 40641, + "▁четко": 40642, + "десяти": 40643, + "▁глубине": 40644, + "▁актёр": 40645, + "сец": 40646, + "▁орудия": 40647, + "▁границе": 40648, + "▁грома": 40649, + "▁специальные": 40650, + "▁Путин": 40651, + "▁говорилось": 40652, + "▁использовал": 40653, + "▁виртуаль": 40654, + "▁магистра": 40655, + "▁нефти": 40656, + "▁моем": 40657, + "▁сад": 40658, + "нгви": 40659, + "▁расче": 40660, + "▁ир": 40661, + "чках": 40662, + "▁проби": 40663, + "лизации": 40664, + "▁тремя": 40665, + "▁взаимоот": 40666, + "▁признаки": 40667, + "уэ": 40668, + "личество": 40669, + "▁звания": 40670, + "резать": 40671, + "▁участием": 40672, + "тивном": 40673, + "сена": 40674, + "▁розы": 40675, + "▁Сын": 40676, + "▁Россий": 40677, + "▁молодого": 40678, + "чева": 40679, + "внокоман": 40680, + "▁политические": 40681, + "▁общим": 40682, + "▁листь": 40683, + "▁Тю": 40684, + "▁документ": 40685, + "МО": 40686, + "Ти": 40687, + "вный": 40688, + "лец": 40689, + "▁старые": 40690, + "▁перспек": 40691, + "мите": 40692, + "▁клеток": 40693, + "нилась": 40694, + "▁Константин": 40695, + "▁Джона": 40696, + "▁освобождения": 40697, + "▁реку": 40698, + "▁посад": 40699, + "▁рее": 40700, + "лично": 40701, + "▁начался": 40702, + "▁Существует": 40703, + "▁Сева": 40704, + "стояние": 40705, + "▁заслужи": 40706, + "pire": 40707, + "▁весной": 40708, + "▁деятельностью": 40709, + "▁ора": 40710, + "▁изви": 40711, + "▁извле": 40712, + "▁Воору": 40713, + "▁закономер": 40714, + "▁делается": 40715, + "монстри": 40716, + "▁высокие": 40717, + "▁требований": 40718, + "зрения": 40719, + "▁беру": 40720, + "▁классов": 40721, + "▁расстрой": 40722, + "▁золото": 40723, + "день": 40724, + "▁нав": 40725, + "▁Зу": 40726, + "▁Летом": 40727, + "▁репре": 40728, + "драв": 40729, + "▁составил": 40730, + "▁технических": 40731, + "▁ощущения": 40732, + "ключения": 40733, + "щенной": 40734, + "▁отсюда": 40735, + "▁пользователя": 40736, + "▁хлеба": 40737, + "▁размеров": 40738, + "▁поддерживать": 40739, + "▁спортсме": 40740, + "▁ворот": 40741, + "зуется": 40742, + "▁трибу": 40743, + "▁сби": 40744, + "▁активности": 40745, + "▁Сти": 40746, + "▁прогу": 40747, + "▁поддержке": 40748, + "▁Действи": 40749, + "▁разными": 40750, + "▁успехом": 40751, + "чих": 40752, + "▁папа": 40753, + "▁Иеруса": 40754, + "вершенно": 40755, + "▁осенью": 40756, + "нны": 40757, + "▁мяте": 40758, + "▁Мака": 40759, + "▁уходит": 40760, + "▁Разумеется": 40761, + "подоб": 40762, + "совершен": 40763, + "▁зуб": 40764, + "▁русским": 40765, + "▁произведение": 40766, + "▁расходы": 40767, + "уз": 40768, + "▁гордо": 40769, + "▁ошиб": 40770, + "тека": 40771, + "▁имело": 40772, + "Йорк": 40773, + "▁перевоз": 40774, + "фель": 40775, + "▁клима": 40776, + "▁семина": 40777, + "▁аппарат": 40778, + "▁политический": 40779, + "Исто": 40780, + "▁заказа": 40781, + "▁служа": 40782, + "▁размера": 40783, + "▁потерял": 40784, + "▁происше": 40785, + "▁псевдо": 40786, + "▁артиллерии": 40787, + "▁французской": 40788, + "▁резиден": 40789, + "▁повлия": 40790, + "▁Уз": 40791, + "▁построить": 40792, + "▁вел": 40793, + "▁ваша": 40794, + "▁сбро": 40795, + "▁заслуги": 40796, + "▁любопыт": 40797, + "▁Кен": 40798, + "▁мост": 40799, + "▁медлен": 40800, + "▁канала": 40801, + "дений": 40802, + "▁рекорд": 40803, + "▁ничем": 40804, + "▁сколь": 40805, + "риться": 40806, + "▁файл": 40807, + "вной": 40808, + "Он": 40809, + "▁квартире": 40810, + "▁какими": 40811, + "▁остаться": 40812, + "▁targ": 40813, + "▁ов": 40814, + "▁Нео": 40815, + "▁звук": 40816, + "▁повседнев": 40817, + "пать": 40818, + "▁Тео": 40819, + "▁старого": 40820, + "▁Памя": 40821, + "▁Боб": 40822, + "▁носит": 40823, + "▁враждеб": 40824, + "рку": 40825, + "стах": 40826, + "▁чужо": 40827, + "▁сдви": 40828, + "▁опаса": 40829, + "▁третьей": 40830, + "▁свето": 40831, + "▁соглашение": 40832, + "ровались": 40833, + "▁Лат": 40834, + "▁Церкви": 40835, + "▁конгре": 40836, + "▁пля": 40837, + "здо": 40838, + "вето": 40839, + "▁угол": 40840, + "▁тридцать": 40841, + "Мар": 40842, + "▁уезд": 40843, + "вне": 40844, + "ъю": 40845, + "▁слышал": 40846, + "▁взро": 40847, + "▁яи": 40848, + "циан": 40849, + "лял": 40850, + "▁волшеб": 40851, + "▁роско": 40852, + "талки": 40853, + "▁приблизительно": 40854, + "▁принес": 40855, + "▁страницы": 40856, + "▁орган": 40857, + "▁источником": 40858, + "▁потребу": 40859, + "Ди": 40860, + "воро": 40861, + "ённый": 40862, + "нному": 40863, + "▁Кей": 40864, + "▁следующего": 40865, + "▁оружием": 40866, + "▁покрови": 40867, + "▁шар": 40868, + "▁концепции": 40869, + "▁Отсюда": 40870, + "▁вынуждены": 40871, + "▁напряжения": 40872, + "▁солнца": 40873, + "▁хранения": 40874, + "▁тысяче": 40875, + "▁Мало": 40876, + "▁участке": 40877, + "▁реализова": 40878, + "▁подска": 40879, + "▁мелко": 40880, + "▁снять": 40881, + "▁скор": 40882, + "▁Сар": 40883, + "▁пользователь": 40884, + "▁заметно": 40885, + "▁обвинения": 40886, + "▁загру": 40887, + "▁издели": 40888, + "воло": 40889, + "▁приготовления": 40890, + "▁Солнца": 40891, + "▁старой": 40892, + "▁путём": 40893, + "▁моему": 40894, + "сибир": 40895, + "▁находит": 40896, + "▁талан": 40897, + "▁науке": 40898, + "трибу": 40899, + "стся": 40900, + "нков": 40901, + "АК": 40902, + "▁отвра": 40903, + "▁нападения": 40904, + "▁выводу": 40905, + "▁Новгород": 40906, + "берт": 40907, + "казом": 40908, + "▁спать": 40909, + "▁вспомнить": 40910, + "▁зная": 40911, + "▁adop": 40912, + "▁привели": 40913, + "▁штурмо": 40914, + "▁израиль": 40915, + "лите": 40916, + "▁пары": 40917, + "▁несколькими": 40918, + "▁рыбы": 40919, + "▁представлены": 40920, + "▁Уильям": 40921, + "▁монастырь": 40922, + "лот": 40923, + "▁просве": 40924, + "▁семью": 40925, + "▁взор": 40926, + "▁функцию": 40927, + "»:": 40928, + "▁территориаль": 40929, + "▁Уэ": 40930, + "▁Глу": 40931, + "▁distrib": 40932, + "▁немецкого": 40933, + "рывно": 40934, + "▁сюже": 40935, + "▁позиций": 40936, + "▁Григорь": 40937, + "▁архитектуры": 40938, + "▁засе": 40939, + "▁тен": 40940, + "▁началу": 40941, + "▁цветов": 40942, + "▁знание": 40943, + "▁врача": 40944, + "▁коде": 40945, + "▁останется": 40946, + "▁передает": 40947, + "стил": 40948, + "▁экологи": 40949, + "▁обладают": 40950, + "▁специалисты": 40951, + "▁упомяну": 40952, + "▁рабочие": 40953, + "▁вож": 40954, + "▁Худо": 40955, + "▁восстания": 40956, + "▁величай": 40957, + "▁аку": 40958, + "▁народных": 40959, + "▁небольшие": 40960, + "▁Авгу": 40961, + "ренно": 40962, + "▁жар": 40963, + "▁устройств": 40964, + "▁дополнительные": 40965, + "▁попытка": 40966, + "▁Бела": 40967, + "▁фаль": 40968, + "▁Диа": 40969, + "▁вызва": 40970, + "▁удара": 40971, + "▁спуска": 40972, + "▁мла": 40973, + "▁Востока": 40974, + "▁подумал": 40975, + "ченными": 40976, + "▁лейтенант": 40977, + "ношение": 40978, + "▁явлений": 40979, + "▁Цар": 40980, + "▁определенные": 40981, + "▁командой": 40982, + "▁измерения": 40983, + "▁наказания": 40984, + "рисо": 40985, + "▁лагере": 40986, + "▁структуру": 40987, + "▁тесно": 40988, + "▁понадоби": 40989, + "▁избы": 40990, + "▁компанией": 40991, + "▁лучшие": 40992, + "▁celeb": 40993, + "▁управлять": 40994, + "▁Есте": 40995, + "▁Австралии": 40996, + "▁решением": 40997, + "▁ремонт": 40998, + "▁Берлин": 40999, + "▁проходил": 41000, + "▁моне": 41001, + "▁воздействие": 41002, + "▁приема": 41003, + "▁технику": 41004, + "рист": 41005, + "▁пребывания": 41006, + "▁политического": 41007, + "▁извести": 41008, + "мали": 41009, + "▁энергию": 41010, + "рованием": 41011, + "▁нра": 41012, + "ванге": 41013, + "▁пари": 41014, + "хим": 41015, + "▁вблизи": 41016, + "▁Груп": 41017, + "▁арестован": 41018, + "▁вя": 41019, + "▁Патри": 41020, + "▁постара": 41021, + "пке": 41022, + "▁мелких": 41023, + "▁инстинк": 41024, + "▁Счита": 41025, + "формули": 41026, + "▁авторы": 41027, + "▁деревья": 41028, + "▁гряз": 41029, + "▁известные": 41030, + "спор": 41031, + "▁огромный": 41032, + "▁игроков": 41033, + "▁Доро": 41034, + "▁Петрович": 41035, + "▁гон": 41036, + "кове": 41037, + "▁дья": 41038, + "▁заключение": 41039, + "▁Вос": 41040, + "▁Государственной": 41041, + "▁Гро": 41042, + "жок": 41043, + "▁наре": 41044, + "▁появилось": 41045, + "бовать": 41046, + "дир": 41047, + "Ком": 41048, + "▁недалеко": 41049, + "▁охваты": 41050, + "▁свадь": 41051, + "емость": 41052, + "▁городом": 41053, + "преки": 41054, + "▁брак": 41055, + "▁яйца": 41056, + "▁обыча": 41057, + "▁собрание": 41058, + "▁владения": 41059, + "▁кредит": 41060, + "▁поспе": 41061, + "▁зимой": 41062, + "▁Хру": 41063, + "сообраз": 41064, + "▁выго": 41065, + "▁пришло": 41066, + "▁Арме": 41067, + "▁приложение": 41068, + "▁Первым": 41069, + "▁Пробле": 41070, + "▁братьев": 41071, + "гиба": 41072, + "▁способы": 41073, + "▁определенной": 41074, + "▁рассказывал": 41075, + "▁долю": 41076, + "▁магазин": 41077, + "▁странно": 41078, + "▁Европей": 41079, + "вероят": 41080, + "▁открыт": 41081, + "▁Великого": 41082, + "▁разработан": 41083, + "▁внешне": 41084, + "▁властью": 41085, + "onse": 41086, + "▁возможных": 41087, + "▁награждён": 41088, + "▁раска": 41089, + "▁карта": 41090, + "▁голосов": 41091, + "Лю": 41092, + "▁озеро": 41093, + "▁маркси": 41094, + "▁Пушкин": 41095, + "▁поры": 41096, + "нических": 41097, + "тику": 41098, + "▁Ца": 41099, + "сном": 41100, + "▁путей": 41101, + "▁Знамени": 41102, + "arriage": 41103, + "▁уез": 41104, + "▁Зато": 41105, + "▁попере": 41106, + "▁Бел": 41107, + "▁следующей": 41108, + "▁неблаго": 41109, + "▁серьезно": 41110, + "ственному": 41111, + "▁Швейца": 41112, + "▁счё": 41113, + "▁открытие": 41114, + "▁свидетельство": 41115, + "▁территория": 41116, + "▁Олег": 41117, + "▁<...>": 41118, + "▁проч": 41119, + "▁задачей": 41120, + "▁повести": 41121, + "▁лиги": 41122, + "ворить": 41123, + "тара": 41124, + "▁Уи": 41125, + "▁Церковь": 41126, + "▁constit": 41127, + "▁Болга": 41128, + "▁морских": 41129, + "▁реальность": 41130, + "▁прокура": 41131, + "▁Муж": 41132, + "▁фоль": 41133, + "▁увлека": 41134, + "изм": 41135, + "▁потра": 41136, + "пала": 41137, + "▁автором": 41138, + "пейской": 41139, + "▁подверг": 41140, + "▁Почти": 41141, + "▁деревьев": 41142, + "дт": 41143, + "▁констру": 41144, + "▁термо": 41145, + "▁выяснилось": 41146, + "▁количеством": 41147, + "▁персонажей": 41148, + "ровский": 41149, + "▁провод": 41150, + "▁Chic": 41151, + "▁продемонстри": 41152, + "▁состоял": 41153, + "▁пей": 41154, + "▁Продол": 41155, + "▁определенных": 41156, + "porary": 41157, + "▁учителя": 41158, + "▁Кня": 41159, + "▁очереди": 41160, + "▁Венг": 41161, + "▁верить": 41162, + "эффици": 41163, + "▁поселение": 41164, + "вален": 41165, + "▁собственный": 41166, + "рят": 41167, + "▁отказ": 41168, + "▁закреп": 41169, + "нялся": 41170, + "▁Слова": 41171, + "▁беспокой": 41172, + "▁кален": 41173, + "цена": 41174, + "лизма": 41175, + "ферен": 41176, + "Золо": 41177, + "лизм": 41178, + "▁пое": 41179, + "класс": 41180, + "▁полную": 41181, + "стин": 41182, + "сными": 41183, + "▁усилий": 41184, + "▁срока": 41185, + "▁читатель": 41186, + "▁множества": 41187, + "▁крест": 41188, + "▁иерархи": 41189, + "▁Фрей": 41190, + "▁нейро": 41191, + "▁республикан": 41192, + "▁Фридри": 41193, + "▁сильный": 41194, + "▁сложных": 41195, + "▁судо": 41196, + "▁отцом": 41197, + "ими": 41198, + "▁Закон": 41199, + "▁пирами": 41200, + "жались": 41201, + "▁Хор": 41202, + "▁заставить": 41203, + "▁оборудование": 41204, + "сюду": 41205, + "blockquote": 41206, + "▁Соло": 41207, + "▁сигнал": 41208, + "▁повышения": 41209, + "▁Яковле": 41210, + "▁институте": 41211, + "▁столице": 41212, + "▁четвёр": 41213, + "▁практики": 41214, + "▁сервер": 41215, + "▁возвращается": 41216, + "▁разнови": 41217, + "▁описания": 41218, + "люб": 41219, + "▁месторо": 41220, + "▁детстве": 41221, + "▁истины": 41222, + "▁Squ": 41223, + "▁поу": 41224, + "owers": 41225, + "▁испытаний": 41226, + "▁идёт": 41227, + "▁многим": 41228, + "▁называть": 41229, + "сист": 41230, + "▁Сколько": 41231, + "теро": 41232, + "▁пробе": 41233, + "▁квартиру": 41234, + "▁годами": 41235, + "ации": 41236, + "чивать": 41237, + "▁кад": 41238, + "▁народной": 41239, + "▁цикла": 41240, + "▁сообщила": 41241, + "▁достигает": 41242, + "▁самолеты": 41243, + "▁считаю": 41244, + "▁нашему": 41245, + "▁покинул": 41246, + "▁упор": 41247, + "▁молодые": 41248, + "▁областях": 41249, + "▁богов": 41250, + "▁проходят": 41251, + "мину": 41252, + "▁грудь": 41253, + "▁присла": 41254, + "▁выборы": 41255, + "▁набо": 41256, + "▁Афи": 41257, + "▁армий": 41258, + "▁Пле": 41259, + "▁договори": 41260, + "▁известной": 41261, + "▁собран": 41262, + "▁Умер": 41263, + "▁личной": 41264, + "чел": 41265, + "▁пропор": 41266, + "▁лири": 41267, + "▁мечта": 41268, + "▁руке": 41269, + "▁Её": 41270, + "▁северной": 41271, + "хах": 41272, + "▁одних": 41273, + "▁формули": 41274, + "дность": 41275, + "▁Теле": 41276, + "слежи": 41277, + "▁коп": 41278, + "вард": 41279, + "▁улицу": 41280, + "▁посу": 41281, + "▁подра": 41282, + "▁Ничего": 41283, + "▁воспользоваться": 41284, + "▁Работа": 41285, + "▁кризиса": 41286, + "рда": 41287, + "▁втори": 41288, + "▁реконструк": 41289, + "▁библиотеки": 41290, + "▁живописи": 41291, + "▁цена": 41292, + "▁находиться": 41293, + "▁Брази": 41294, + "▁провели": 41295, + "▁кула": 41296, + "▁комнаты": 41297, + "▁крыль": 41298, + "▁национальных": 41299, + "▁откро": 41300, + "ционном": 41301, + "тивность": 41302, + "форд": 41303, + "сой": 41304, + "▁нефте": 41305, + "лаз": 41306, + "рением": 41307, + "гана": 41308, + "▁потребности": 41309, + "▁участвовать": 41310, + "▁Bec": 41311, + "дис": 41312, + "▁Хай": 41313, + "новского": 41314, + "лимпиа": 41315, + "▁возможным": 41316, + "▁подпо": 41317, + "▁точек": 41318, + "▁Пожа": 41319, + "▁шабло": 41320, + "▁чудови": 41321, + "▁слой": 41322, + "ционер": 41323, + "▁Расс": 41324, + "▁сопоста": 41325, + "зам": 41326, + "▁армей": 41327, + "ходится": 41328, + "▁перечисле": 41329, + "▁сумма": 41330, + "Ру": 41331, + "▁особой": 41332, + "чивости": 41333, + "▁радость": 41334, + "хами": 41335, + "▁Британ": 41336, + "▁рабочий": 41337, + "▁собор": 41338, + "▁убить": 41339, + "СП": 41340, + "▁зданий": 41341, + "▁короле": 41342, + "▁руководителей": 41343, + "▁строить": 41344, + "▁трудности": 41345, + "▁поиск": 41346, + "▁накануне": 41347, + "нического": 41348, + "▁собственную": 41349, + "▁побережье": 41350, + "▁доказательства": 41351, + "▁канал": 41352, + "▁птицы": 41353, + "▁доктора": 41354, + "▁латин": 41355, + "▁лидера": 41356, + "▁местом": 41357, + "▁крупнейших": 41358, + "▁аристокра": 41359, + "yth": 41360, + "▁смя": 41361, + "ведено": 41362, + "дача": 41363, + "▁возникновения": 41364, + "▁Официальный": 41365, + "▁языках": 41366, + "▁перео": 41367, + "тью": 41368, + "заи": 41369, + "▁отчасти": 41370, + "▁изгна": 41371, + "▁проника": 41372, + "▁territ": 41373, + "тельному": 41374, + "▁Чемпиона": 41375, + "▁высших": 41376, + "▁турнире": 41377, + "доль": 41378, + "водства": 41379, + "▁возникла": 41380, + "▁возраст": 41381, + "▁следы": 41382, + "▁следствие": 41383, + "▁называет": 41384, + "▁батальон": 41385, + "▁исторической": 41386, + "нину": 41387, + "▁чудо": 41388, + "настоя": 41389, + "▁Зачем": 41390, + "▁опира": 41391, + "▁Фото": 41392, + "▁решила": 41393, + "изе": 41394, + "ваете": 41395, + "▁подели": 41396, + "дых": 41397, + "▁отставку": 41398, + "▁соответствующие": 41399, + "▁эскадри": 41400, + "▁всяких": 41401, + "ёром": 41402, + "▁заседании": 41403, + "чести": 41404, + "▁топлива": 41405, + "вики": 41406, + "зацией": 41407, + "▁Черно": 41408, + "фия": 41409, + "ксе": 41410, + "▁выгод": 41411, + "▁надежды": 41412, + "▁суммы": 41413, + "▁долгое": 41414, + "▁запом": 41415, + "чились": 41416, + "мане": 41417, + "▁пуль": 41418, + "▁Около": 41419, + "▁председателем": 41420, + "пит": 41421, + "▁вооружение": 41422, + "▁мане": 41423, + "▁Окончил": 41424, + "праве": 41425, + "▁опровер": 41426, + "▁самоубий": 41427, + "▁автомобилей": 41428, + "▁смертью": 41429, + "▁продажи": 41430, + "▁Татья": 41431, + "низу": 41432, + "usband": 41433, + "▁лодки": 41434, + "▁первоначально": 41435, + "жев": 41436, + "цова": 41437, + "▁Круп": 41438, + "▁побо": 41439, + "▁пролета": 41440, + "ОД": 41441, + "РГ": 41442, + "▁возглавил": 41443, + "▁хотим": 41444, + "чеством": 41445, + "▁положить": 41446, + "пустили": 41447, + "▁неопреде": 41448, + "▁мило": 41449, + "▁Валь": 41450, + "▁отсутствия": 41451, + "▁осе": 41452, + "▁неизвестно": 41453, + "▁последним": 41454, + "▁грам": 41455, + "▁позволило": 41456, + "▁гит": 41457, + "▁ул": 41458, + "▁городу": 41459, + "истори": 41460, + "▁обеспечение": 41461, + "Пер": 41462, + "▁армя": 41463, + "▁Какие": 41464, + "▁высказа": 41465, + "▁Викто": 41466, + "▁изучение": 41467, + "▁татар": 41468, + "▁реально": 41469, + "▁недоволь": 41470, + "дец": 41471, + "▁сражения": 41472, + "▁литература": 41473, + "тиву": 41474, + "▁схо": 41475, + "▁Встре": 41476, + "▁драгоцен": 41477, + "▁интересо": 41478, + "▁операция": 41479, + "▁ущерб": 41480, + "тури": 41481, + "▁действиях": 41482, + "▁подхода": 41483, + "▁факультет": 41484, + "▁особое": 41485, + "▁Следует": 41486, + "▁ориенти": 41487, + "▁Германия": 41488, + "ничество": 41489, + "▁различия": 41490, + "▁зон": 41491, + "▁рассла": 41492, + "▁внут": 41493, + "лита": 41494, + "▁составляла": 41495, + "ренной": 41496, + "енса": 41497, + "нио": 41498, + "▁предъ": 41499, + "▁принят": 41500, + "▁юг": 41501, + "▁Вторая": 41502, + "▁шоу": 41503, + "▁отры": 41504, + "▁рек": 41505, + "▁приведен": 41506, + "▁соверша": 41507, + "▁духовной": 41508, + "▁вариантов": 41509, + "▁применяется": 41510, + "▁укло": 41511, + "▁квартиры": 41512, + "фра": 41513, + "▁пуска": 41514, + "▁белых": 41515, + "▁любят": 41516, + "хослова": 41517, + "▁танки": 41518, + "▁преследова": 41519, + "▁получив": 41520, + "▁наверняка": 41521, + "нический": 41522, + "▁нечего": 41523, + "▁передви": 41524, + "▁экономических": 41525, + "▁страшно": 41526, + "▁Ниже": 41527, + "▁Норве": 41528, + "ствию": 41529, + "▁романе": 41530, + "▁эс": 41531, + "казывается": 41532, + "круг": 41533, + "нель": 41534, + "▁важные": 41535, + "скри": 41536, + "▁лист": 41537, + "рованная": 41538, + "дев": 41539, + "▁большими": 41540, + "▁Гитлера": 41541, + "▁заявления": 41542, + "▁огромные": 41543, + "▁пассажиров": 41544, + "▁олимпий": 41545, + "▁руководителя": 41546, + "▁гвардии": 41547, + "▁недав": 41548, + "▁независимости": 41549, + "▁нож": 41550, + "▁бороться": 41551, + "▁Эду": 41552, + "▁тяж": 41553, + "нические": 41554, + "▁императри": 41555, + "вятся": 41556, + "▁пункты": 41557, + "▁Председа": 41558, + "▁уделя": 41559, + "▁сжа": 41560, + "▁Нидер": 41561, + "▁кури": 41562, + "▁нижней": 41563, + "Ну": 41564, + "▁капитала": 41565, + "хие": 41566, + "▁Африки": 41567, + "▁выигры": 41568, + "▁сообщества": 41569, + "летней": 41570, + "фии": 41571, + "теру": 41572, + "▁Долго": 41573, + "▁дворец": 41574, + "▁упоминается": 41575, + "вяза": 41576, + "▁противопоста": 41577, + "нто": 41578, + "▁номера": 41579, + "▁преем": 41580, + "▁обмена": 41581, + "▁Вспо": 41582, + "▁десятков": 41583, + "▁обстоятельств": 41584, + "щиком": 41585, + "▁духе": 41586, + "▁Земля": 41587, + "▁решать": 41588, + "▁епар": 41589, + "▁спла": 41590, + "▁плодо": 41591, + "сны": 41592, + "́ть": 41593, + "▁злоу": 41594, + "▁числу": 41595, + "▁вторую": 41596, + "▁южной": 41597, + "▁международной": 41598, + "олог": 41599, + "▁сферы": 41600, + "▁бир": 41601, + "▁проявляется": 41602, + "▁мастера": 41603, + "▁дю": 41604, + "хая": 41605, + "▁достоинства": 41606, + "▁человеке": 41607, + "ИС": 41608, + "мович": 41609, + "▁золотой": 41610, + "▁Дра": 41611, + "▁большее": 41612, + "вида": 41613, + "▁дорогой": 41614, + "▁Император": 41615, + "▁двора": 41616, + "▁подчеркнул": 41617, + "▁Востоке": 41618, + "▁сопротивления": 41619, + "▁округе": 41620, + "▁дикта": 41621, + "▁Героя": 41622, + "ненное": 41623, + "▁трое": 41624, + "▁хорошие": 41625, + "чья": 41626, + "▁сроки": 41627, + "▁историк": 41628, + "▁доказать": 41629, + "▁спас": 41630, + "▁древней": 41631, + "циден": 41632, + "▁лопа": 41633, + "▁Севасто": 41634, + "ренные": 41635, + "▁скончался": 41636, + "▁бюджета": 41637, + "▁ассоциации": 41638, + "припа": 41639, + "▁дат": 41640, + "▁поисках": 41641, + "нён": 41642, + "▁Главное": 41643, + "▁различи": 41644, + "▁Название": 41645, + "▁Отно": 41646, + "▁приписы": 41647, + "▁Риме": 41648, + "Фран": 41649, + "▁Киеве": 41650, + "▁природа": 41651, + "▁Трои": 41652, + "возмо": 41653, + "▁Сергея": 41654, + "▁Афгани": 41655, + "▁забро": 41656, + "▁Сове": 41657, + "▁ежедневно": 41658, + "▁вошел": 41659, + "ровых": 41660, + "▁матер": 41661, + "▁рези": 41662, + "▁хозяйство": 41663, + "▁примере": 41664, + "▁Румы": 41665, + "▁Неда": 41666, + "▁инструмент": 41667, + "▁убит": 41668, + "▁лагеря": 41669, + "▁производстве": 41670, + "▁малей": 41671, + "▁УК": 41672, + "▁подар": 41673, + "▁удовольствие": 41674, + "▁пьесы": 41675, + "зона": 41676, + "ненная": 41677, + "▁годом": 41678, + "▁проекты": 41679, + "▁бассей": 41680, + "▁возвращения": 41681, + "▁нала": 41682, + "▁небольших": 41683, + "▁вор": 41684, + "▁предположить": 41685, + "спект": 41686, + "▁жену": 41687, + "▁сул": 41688, + "▁вопросом": 41689, + "▁моро": 41690, + "▁критики": 41691, + "▁рефлек": 41692, + "▁реформы": 41693, + "тельна": 41694, + "▁умо": 41695, + "▁Грузии": 41696, + "▁стремится": 41697, + "▁остатки": 41698, + "▁физических": 41699, + "матери": 41700, + "▁Божи": 41701, + "▁принципа": 41702, + "нёс": 41703, + "ничества": 41704, + "▁произошла": 41705, + "Ха": 41706, + "▁беспре": 41707, + "▁грави": 41708, + "▁сел": 41709, + "▁Всем": 41710, + "менной": 41711, + "зование": 41712, + "Пре": 41713, + "АП": 41714, + "▁Большая": 41715, + "▁упла": 41716, + "берга": 41717, + "▁свойств": 41718, + "ющимися": 41719, + "вающая": 41720, + "▁имеем": 41721, + "▁сформули": 41722, + "▁основан": 41723, + "▁публикации": 41724, + "▁чувствовал": 41725, + "▁Крыма": 41726, + "жерт": 41727, + "▁решению": 41728, + "▁прошлое": 41729, + "вке": 41730, + "▁ежегодно": 41731, + "▁заболеваний": 41732, + "▁торо": 41733, + "▁радости": 41734, + "▁Карла": 41735, + "гера": 41736, + "▁неизбежно": 41737, + "▁тропи": 41738, + "▁оценить": 41739, + "▁выяви": 41740, + "▁призёр": 41741, + "▁Тран": 41742, + "▁стере": 41743, + "тельница": 41744, + "рием": 41745, + "▁фона": 41746, + "мощ": 41747, + "дала": 41748, + "▁падения": 41749, + "▁частиц": 41750, + "▁мальчик": 41751, + "▁оккупа": 41752, + "▁твой": 41753, + "▁союзников": 41754, + "▁учиться": 41755, + "▁инструментов": 41756, + "▁дабы": 41757, + "виль": 41758, + "▁проводится": 41759, + "▁школ": 41760, + "▁зас": 41761, + "▁обращение": 41762, + "▁длина": 41763, + "▁Марк": 41764, + "▁РК": 41765, + "▁песня": 41766, + "▁установлены": 41767, + "▁суде": 41768, + "слуша": 41769, + "▁лагерь": 41770, + "▁основного": 41771, + "▁варианты": 41772, + "▁Пау": 41773, + "▁созданы": 41774, + "стройка": 41775, + "▁подразделе": 41776, + "пут": 41777, + "▁жизне": 41778, + "▁прой": 41779, + "▁библиотека": 41780, + "графия": 41781, + "▁услы": 41782, + "▁смотря": 41783, + "чников": 41784, + "▁упражнения": 41785, + "▁сайта": 41786, + "дились": 41787, + "▁обратиться": 41788, + "вленного": 41789, + "правления": 41790, + "▁белорус": 41791, + "▁гостей": 41792, + "▁точнее": 41793, + "▁Всемир": 41794, + "▁раздели": 41795, + "▁существовать": 41796, + "▁заменить": 41797, + "ровской": 41798, + "▁большом": 41799, + "▁энергия": 41800, + "▁теорию": 41801, + "▁пищу": 41802, + "▁Михайлов": 41803, + "▁регистрации": 41804, + "▁ослож": 41805, + "▁Гран": 41806, + "▁любых": 41807, + "▁Спустя": 41808, + "▁ликвиди": 41809, + "▁Действительно": 41810, + "▁энциклопе": 41811, + "▁уга": 41812, + "вес": 41813, + "мара": 41814, + "ровок": 41815, + "телен": 41816, + "▁партию": 41817, + "▁увидели": 41818, + "президен": 41819, + "▁применять": 41820, + "▁наблюдать": 41821, + "▁швей": 41822, + "▁разведыва": 41823, + "▁западных": 41824, + "▁восприятия": 41825, + "▁знаешь": 41826, + "▁хочешь": 41827, + "▁ядра": 41828, + "▁счастью": 41829, + "▁Главный": 41830, + "▁границ": 41831, + "▁освое": 41832, + "▁опуска": 41833, + "▁внутрь": 41834, + "▁бои": 41835, + "▁теме": 41836, + "зирует": 41837, + "▁временно": 41838, + "▁Бру": 41839, + "▁Говоря": 41840, + "▁индий": 41841, + "▁Казан": 41842, + "гнали": 41843, + "▁военную": 41844, + "▁товарища": 41845, + "церы": 41846, + "▁показывают": 41847, + "▁развивается": 41848, + "▁сотрудник": 41849, + "▁распространения": 41850, + "▁рабочей": 41851, + "▁соответствующих": 41852, + "▁ля": 41853, + "дности": 41854, + "▁Другой": 41855, + "нома": 41856, + "▁Голо": 41857, + "▁сотрудничества": 41858, + "▁династии": 41859, + "▁Саха": 41860, + "▁всякой": 41861, + "▁Пя": 41862, + "́й": 41863, + "▁реальной": 41864, + "▁Донец": 41865, + "▁отлично": 41866, + "▁искусстве": 41867, + "▁винова": 41868, + "▁учреждений": 41869, + "▁Навер": 41870, + "▁чём": 41871, + "▁половину": 41872, + "▁источника": 41873, + "▁Вороне": 41874, + "▁парень": 41875, + "▁возь": 41876, + "▁требуют": 41877, + "▁проходили": 41878, + "▁замок": 41879, + "зависи": 41880, + "▁Пен": 41881, + "▁здравоохра": 41882, + "льников": 41883, + "▁раду": 41884, + "▁стояла": 41885, + "▁связ": 41886, + "веди": 41887, + "▁окажется": 41888, + "▁защите": 41889, + "▁убийство": 41890, + "▁энерго": 41891, + "▁понедель": 41892, + "граммы": 41893, + "▁фонда": 41894, + "▁проведение": 41895, + "▁списке": 41896, + "▁ср": 41897, + "▁назем": 41898, + "▁Дани": 41899, + "писание": 41900, + "▁размеры": 41901, + "щадь": 41902, + "▁внешних": 41903, + "шень": 41904, + "▁вторым": 41905, + "▁масштаб": 41906, + "▁флаг": 41907, + "▁анге": 41908, + "▁взгляды": 41909, + "лк": 41910, + "▁епископ": 41911, + "▁наблюдается": 41912, + "▁пить": 41913, + "▁Эдуар": 41914, + "▁способов": 41915, + "tained": 41916, + "▁Сек": 41917, + "▁организацию": 41918, + "▁великолеп": 41919, + "orning": 41920, + "▁прися": 41921, + "ИЧ": 41922, + "▁архитектур": 41923, + "▁хищ": 41924, + "▁персонажа": 41925, + "АЛ": 41926, + "▁мероприятий": 41927, + "▁пытаются": 41928, + "евича": 41929, + "▁полным": 41930, + "▁отвечал": 41931, + "▁Але": 41932, + "▁рос": 41933, + "▁кише": 41934, + "чники": 41935, + "▁улыба": 41936, + "▁масс": 41937, + "▁поверхно": 41938, + "▁мэ": 41939, + "▁капитана": 41940, + "▁массив": 41941, + "▁направля": 41942, + "стречу": 41943, + "▁смотрит": 41944, + "▁случая": 41945, + "▁Гай": 41946, + "▁сия": 41947, + "▁второ": 41948, + "▁увеличение": 41949, + "▁teac": 41950, + "▁раздел": 41951, + "нару": 41952, + "▁разря": 41953, + "▁невероят": 41954, + "ченную": 41955, + "▁сож": 41956, + "▁тря": 41957, + "няла": 41958, + "rast": 41959, + "▁перерабо": 41960, + "▁Француз": 41961, + "тира": 41962, + "рующих": 41963, + "▁тракта": 41964, + "▁премия": 41965, + "шков": 41966, + "тости": 41967, + "▁попытался": 41968, + "онер": 41969, + "▁безусловно": 41970, + "извест": 41971, + "стского": 41972, + "▁сидит": 41973, + "началу": 41974, + "▁жду": 41975, + "▁Рома": 41976, + "▁судить": 41977, + "▁боеприпа": 41978, + "▁востоке": 41979, + "▁Бон": 41980, + "▁мелкие": 41981, + "▁мисси": 41982, + "▁найде": 41983, + "женность": 41984, + "▁Шек": 41985, + "▁трам": 41986, + "▁повышение": 41987, + "▁Израиля": 41988, + "лились": 41989, + "бла": 41990, + "▁рисо": 41991, + "▁перепи": 41992, + "▁вошла": 41993, + "нское": 41994, + "времен": 41995, + "▁обрабаты": 41996, + "▁единого": 41997, + "▁уничтожить": 41998, + "▁ценностей": 41999, + "язви": 42000, + "▁волю": 42001, + "▁общие": 42002, + "▁чемпионат": 42003, + "▁Следу": 42004, + "стности": 42005, + "вные": 42006, + "новые": 42007, + "▁агентства": 42008, + "▁удастся": 42009, + "▁разрешение": 42010, + "довые": 42011, + "▁Опера": 42012, + "ённые": 42013, + "▁тени": 42014, + "▁инциден": 42015, + "▁глупо": 42016, + "▁Бро": 42017, + "▁пузы": 42018, + "▁силах": 42019, + "▁разгро": 42020, + "▁конфигура": 42021, + "▁силе": 42022, + "▁некогда": 42023, + "▁отдать": 42024, + "▁продолжали": 42025, + "▁восстановить": 42026, + "▁утверждал": 42027, + "▁прийти": 42028, + "▁архиеписко": 42029, + "мского": 42030, + "▁гол": 42031, + "▁человеческих": 42032, + "▁дворов": 42033, + "время": 42034, + "reland": 42035, + "ваемый": 42036, + "▁вооружения": 42037, + "Запад": 42038, + "▁хотела": 42039, + "Корр": 42040, + "уна": 42041, + "▁заим": 42042, + "▁удается": 42043, + "▁стимули": 42044, + "▁Медаль": 42045, + "▁высоту": 42046, + "▁золота": 42047, + "▁доброволь": 42048, + "▁Харак": 42049, + "▁признаков": 42050, + "▁Сту": 42051, + "▁познания": 42052, + "▁режиссёр": 42053, + "▁некий": 42054, + "▁вероятность": 42055, + "сылки": 42056, + "▁зрителей": 42057, + "▁присвоено": 42058, + "▁белый": 42059, + "▁концерт": 42060, + "▁Дании": 42061, + "▁ие": 42062, + "вающего": 42063, + "мести": 42064, + "▁растя": 42065, + "▁мн": 42066, + "▁Ара": 42067, + "▁ногу": 42068, + "зрение": 42069, + "▁новыми": 42070, + "▁серти": 42071, + "Ри": 42072, + "▁играют": 42073, + "▁полтора": 42074, + "рованным": 42075, + "вети": 42076, + "логом": 42077, + "▁создали": 42078, + "▁имущество": 42079, + "▁Кле": 42080, + "▁научного": 42081, + "▁группо": 42082, + "▁ценность": 42083, + "▁передал": 42084, + "▁метра": 42085, + "▁современные": 42086, + "шний": 42087, + "▁племян": 42088, + "▁представлял": 42089, + "▁сорок": 42090, + "▁Робер": 42091, + "▁нагре": 42092, + "▁Пале": 42093, + "▁игрок": 42094, + "▁фрак": 42095, + "▁некое": 42096, + "▁Боже": 42097, + "▁приу": 42098, + "▁стиля": 42099, + "▁угла": 42100, + "▁ученый": 42101, + "▁кап": 42102, + "мал": 42103, + "▁областей": 42104, + "дятся": 42105, + "▁товары": 42106, + "▁Меди": 42107, + "▁праздник": 42108, + "▁лаборатории": 42109, + "▁святого": 42110, + "▁горь": 42111, + "▁ногами": 42112, + "▁учеников": 42113, + "▁производится": 42114, + "лежа": 42115, + "верху": 42116, + "нейший": 42117, + "▁родилась": 42118, + "ьез": 42119, + "стике": 42120, + "▁тел": 42121, + "жур": 42122, + "▁командиром": 42123, + "▁Эсто": 42124, + "▁гитлеров": 42125, + "▁лошадей": 42126, + "▁Андрея": 42127, + "▁побережья": 42128, + "▁заместителем": 42129, + "менов": 42130, + "станови": 42131, + "▁сведений": 42132, + "▁моменты": 42133, + "риев": 42134, + "▁археологи": 42135, + "▁египет": 42136, + "ального": 42137, + "▁продукта": 42138, + "▁зона": 42139, + "▁справа": 42140, + "▁родной": 42141, + "▁Швеции": 42142, + "кварти": 42143, + "лана": 42144, + "▁взрослых": 42145, + "▁сохранения": 42146, + "движи": 42147, + "▁диагности": 42148, + "▁счастья": 42149, + "▁кандидат": 42150, + "гота": 42151, + "▁участка": 42152, + "▁численность": 42153, + "нори": 42154, + "▁Жизнь": 42155, + "▁заставляет": 42156, + "див": 42157, + "▁отрасли": 42158, + "▁директором": 42159, + "СКА": 42160, + "жников": 42161, + "▁депутат": 42162, + "следовать": 42163, + "▁произошел": 42164, + "▁составляло": 42165, + "▁Франция": 42166, + "доста": 42167, + "▁мирового": 42168, + "ложили": 42169, + "▁послал": 42170, + "▁Жо": 42171, + "▁сми": 42172, + "валь": 42173, + "▁старше": 42174, + "▁Последний": 42175, + "▁Прем": 42176, + "▁отвле": 42177, + "шенной": 42178, + "▁любую": 42179, + "▁платить": 42180, + "▁смотрел": 42181, + "бурга": 42182, + "▁смесь": 42183, + "▁велико": 42184, + "▁Тя": 42185, + "▁промышленность": 42186, + "тав": 42187, + "ваемого": 42188, + "тизма": 42189, + "▁инве": 42190, + "▁Давайте": 42191, + "бам": 42192, + "▁близких": 42193, + "▁осад": 42194, + "▁учение": 42195, + "▁НАТО": 42196, + "▁монархи": 42197, + "культур": 42198, + "бурге": 42199, + "делать": 42200, + "▁кризис": 42201, + "▁приняла": 42202, + "▁делах": 42203, + "▁лей": 42204, + "▁чрезмер": 42205, + "▁завершения": 42206, + "▁экстра": 42207, + "▁похода": 42208, + "▁нос": 42209, + "ОС": 42210, + "▁предстоит": 42211, + "▁очков": 42212, + "▁лиши": 42213, + "▁сило": 42214, + "▁изобрета": 42215, + "торию": 42216, + "▁Код": 42217, + "▁маг": 42218, + "▁независимость": 42219, + "▁Стали": 42220, + "▁мощности": 42221, + "▁Ростов": 42222, + "▁одо": 42223, + "графа": 42224, + "▁Ус": 42225, + "стине": 42226, + "▁Каре": 42227, + "▁отдел": 42228, + "Ге": 42229, + "▁огнем": 42230, + "ровую": 42231, + "▁исполнение": 42232, + "длов": 42233, + "▁Миро": 42234, + "берна": 42235, + "хангель": 42236, + "▁отвеча": 42237, + "▁входили": 42238, + "▁метео": 42239, + "ону": 42240, + "датель": 42241, + "▁Военно": 42242, + "▁Центральной": 42243, + "▁высоким": 42244, + "небре": 42245, + "▁командования": 42246, + "▁Калифор": 42247, + "комо": 42248, + "▁цита": 42249, + "бова": 42250, + "зади": 42251, + "▁иску": 42252, + "▁неба": 42253, + "ано": 42254, + "▁установлено": 42255, + "▁просил": 42256, + "▁предложен": 42257, + "▁Проце": 42258, + "▁сно": 42259, + "▁Следовательно": 42260, + "▁безна": 42261, + "тическую": 42262, + "▁воинов": 42263, + "▁третье": 42264, + "ЕМ": 42265, + "▁деталей": 42266, + "▁простых": 42267, + "▁разным": 42268, + "▁дому": 42269, + "вис": 42270, + "▁вечно": 42271, + "▁Мол": 42272, + "ул": 42273, + "▁Константино": 42274, + "▁сочинения": 42275, + "▁антропо": 42276, + "ложена": 42277, + "▁животные": 42278, + "▁составляли": 42279, + "▁необходимых": 42280, + "▁агрессив": 42281, + "▁фигуры": 42282, + "▁брака": 42283, + "▁Буд": 42284, + "▁здании": 42285, + "▁друзьями": 42286, + "▁Тома": 42287, + "летел": 42288, + "▁ресурсы": 42289, + "ватель": 42290, + "▁Фак": 42291, + "▁занять": 42292, + "▁битвы": 42293, + "▁разобраться": 42294, + "стря": 42295, + "▁битве": 42296, + "Анд": 42297, + "▁феода": 42298, + "▁виру": 42299, + "▁адап": 42300, + "▁военным": 42301, + "▁половина": 42302, + "▁собирается": 42303, + "▁Новой": 42304, + "▁водоро": 42305, + "▁карьеры": 42306, + "▁Русской": 42307, + "▁активность": 42308, + "▁манипу": 42309, + "товый": 42310, + "▁столо": 42311, + "гряз": 42312, + "▁языки": 42313, + "▁Ада": 42314, + "▁частных": 42315, + "сипе": 42316, + "▁старшего": 42317, + "зиа": 42318, + "▁решает": 42319, + "▁столкну": 42320, + "ждо": 42321, + "▁происхождение": 42322, + "Петербурге": 42323, + "▁карту": 42324, + "▁кинемато": 42325, + "▁станут": 42326, + "▁просит": 42327, + "▁заняла": 42328, + "▁образы": 42329, + "▁собора": 42330, + "моро": 42331, + "▁готовности": 42332, + "пте": 42333, + "▁обсужда": 42334, + "луб": 42335, + "зывает": 42336, + "▁благода": 42337, + "▁цикл": 42338, + "▁распозна": 42339, + "▁подпи": 42340, + "▁Павла": 42341, + "▁декла": 42342, + "▁построена": 42343, + "▁органа": 42344, + "тину": 42345, + "▁многими": 42346, + "▁сете": 42347, + "▁знала": 42348, + "▁манев": 42349, + "▁смогла": 42350, + "▁отсутствии": 42351, + "▁ОБ": 42352, + "▁отсутствует": 42353, + "▁пошла": 42354, + "▁выступать": 42355, + "ффи": 42356, + "ок": 42357, + "▁сбли": 42358, + "▁предшествен": 42359, + "гай": 42360, + "▁происходят": 42361, + "▁ошибо": 42362, + "▁крепость": 42363, + "▁ведения": 42364, + "нём": 42365, + "исследователь": 42366, + "▁коры": 42367, + "▁Господь": 42368, + "▁крупный": 42369, + "▁организовать": 42370, + "▁мобили": 42371, + "▁подготовку": 42372, + "▁Мей": 42373, + "▁напряжение": 42374, + "▁Вильгель": 42375, + "▁выделе": 42376, + "▁Статья": 42377, + "щенного": 42378, + "▁обезья": 42379, + "▁ждет": 42380, + "▁Клю": 42381, + "▁танка": 42382, + "▁умол": 42383, + "▁увеличить": 42384, + "▁белые": 42385, + "▁голланд": 42386, + "▁лошади": 42387, + "▁иным": 42388, + "▁коэффици": 42389, + "▁Скоро": 42390, + "ОМ": 42391, + "▁общая": 42392, + "▁долг": 42393, + "▁домини": 42394, + "тино": 42395, + "▁мышцы": 42396, + "▁природу": 42397, + "дную": 42398, + "▁грана": 42399, + "▁пройдет": 42400, + "суди": 42401, + "▁регистра": 42402, + "Би": 42403, + "жался": 42404, + "▁слева": 42405, + "▁революция": 42406, + "▁меняется": 42407, + "Ста": 42408, + "▁прочие": 42409, + "▁базу": 42410, + "▁привиле": 42411, + "▁восстановления": 42412, + "▁доля": 42413, + "▁расходов": 42414, + "▁репута": 42415, + "▁мемо": 42416, + "▁нормально": 42417, + "▁оборони": 42418, + "чилась": 42419, + "▁вышло": 42420, + "▁компанию": 42421, + "▁Елена": 42422, + "▁Уче": 42423, + "▁правду": 42424, + "тивности": 42425, + "▁неподви": 42426, + "▁судьбу": 42427, + "▁перевода": 42428, + "▁мыслей": 42429, + "▁Наталь": 42430, + "inux": 42431, + "▁бывших": 42432, + "▁выдели": 42433, + "проек": 42434, + "Ты": 42435, + "▁выпи": 42436, + "▁Новая": 42437, + "шкин": 42438, + "▁дири": 42439, + "▁формирование": 42440, + "▁правительством": 42441, + "▁преобра": 42442, + "▁комфор": 42443, + "▁реакция": 42444, + "кают": 42445, + "спира": 42446, + "▁ложки": 42447, + "▁Этим": 42448, + "▁акцен": 42449, + "▁ориента": 42450, + "щенно": 42451, + "▁ввести": 42452, + "▁покинуть": 42453, + "▁животного": 42454, + "чье": 42455, + "▁торпе": 42456, + "▁клиента": 42457, + "▁стола": 42458, + "▁принимают": 42459, + "образие": 42460, + "▁тесто": 42461, + "▁решительно": 42462, + "▁новому": 42463, + "▁вычисли": 42464, + "▁компенса": 42465, + "▁комите": 42466, + "▁волну": 42467, + "▁командовал": 42468, + "мита": 42469, + "▁сознании": 42470, + "▁судно": 42471, + "▁больного": 42472, + "рели": 42473, + "▁общины": 42474, + "▁маркет": 42475, + "ЕК": 42476, + "▁душ": 42477, + "▁государством": 42478, + "▁ико": 42479, + "▁Ага": 42480, + "▁частях": 42481, + "▁поняли": 42482, + "▁нагля": 42483, + "▁потребность": 42484, + "чам": 42485, + "▁редактор": 42486, + "▁обойти": 42487, + "▁практику": 42488, + "▁предприятие": 42489, + "▁Лав": 42490, + "чаются": 42491, + "▁Запада": 42492, + "нуло": 42493, + "▁описывает": 42494, + "▁кожу": 42495, + "▁читателя": 42496, + "▁доклад": 42497, + "▁Речь": 42498, + "▁протеста": 42499, + "▁получится": 42500, + "▁коллеги": 42501, + "▁чтения": 42502, + "бат": 42503, + "▁кожа": 42504, + "▁Нидерлан": 42505, + "рная": 42506, + "▁флан": 42507, + "▁ведущих": 42508, + "мам": 42509, + "▁лидеров": 42510, + "▁главная": 42511, + "▁способствует": 42512, + "▁переводе": 42513, + "\".[": 42514, + "▁возме": 42515, + "▁Профе": 42516, + "▁ГУ": 42517, + "▁ехать": 42518, + "логических": 42519, + "▁тотчас": 42520, + "гр": 42521, + "▁голосом": 42522, + "▁воспоминания": 42523, + "▁эго": 42524, + "новей": 42525, + "▁механизма": 42526, + "▁исторического": 42527, + "полномо": 42528, + "▁сильным": 42529, + "▁высота": 42530, + "▁демонстра": 42531, + "▁приговор": 42532, + "фран": 42533, + "▁Ольга": 42534, + "▁поклон": 42535, + "▁войн": 42536, + "шни": 42537, + "▁меню": 42538, + "▁списка": 42539, + "▁компе": 42540, + "▁Джек": 42541, + "▁сделала": 42542, + "▁способно": 42543, + "▁дала": 42544, + "▁массовой": 42545, + "скре": 42546, + "▁Была": 42547, + "вленная": 42548, + "▁полноцен": 42549, + "▁двигаться": 42550, + "нора": 42551, + "▁жертв": 42552, + "▁дне": 42553, + "▁обстоятельствах": 42554, + "▁Австрии": 42555, + "был": 42556, + "▁берет": 42557, + "созда": 42558, + "▁прочим": 42559, + "▁дополнительных": 42560, + "▁работах": 42561, + "гнать": 42562, + "▁общую": 42563, + "кову": 42564, + "▁атрибу": 42565, + "▁восточной": 42566, + "изо": 42567, + "▁звуки": 42568, + "сило": 42569, + "кори": 42570, + "нор": 42571, + "▁движений": 42572, + "▁почет": 42573, + "▁изя": 42574, + "▁лечение": 42575, + "зента": 42576, + "муа": 42577, + "▁продю": 42578, + "▁вырос": 42579, + "▁сильное": 42580, + "ренного": 42581, + "вному": 42582, + "▁англо": 42583, + "тип": 42584, + "▁распа": 42585, + "меха": 42586, + "▁лихо": 42587, + "вных": 42588, + "▁Новосибир": 42589, + "▁рыно": 42590, + "пление": 42591, + "▁захваты": 42592, + "▁просьбой": 42593, + "шины": 42594, + "▁поезда": 42595, + "▁бессозна": 42596, + "жер": 42597, + "▁изъя": 42598, + "▁прод": 42599, + "▁признание": 42600, + "▁тока": 42601, + "▁действием": 42602, + "▁особый": 42603, + "▁сани": 42604, + "▁Стан": 42605, + "▁дистан": 42606, + "реть": 42607, + "▁судна": 42608, + "▁попали": 42609, + "▁цилинд": 42610, + "▁Види": 42611, + "▁внешнего": 42612, + "▁непол": 42613, + "▁клиент": 42614, + "▁женщину": 42615, + "сериа": 42616, + "▁парк": 42617, + "▁русская": 42618, + "▁Соответ": 42619, + "▁исследователи": 42620, + "▁сущность": 42621, + "▁членами": 42622, + "▁лек": 42623, + "ЕЙ": 42624, + "▁составила": 42625, + "▁принимали": 42626, + "▁вышед": 42627, + "мены": 42628, + "▁министерства": 42629, + "дзи": 42630, + "▁хорошего": 42631, + "▁поощ": 42632, + "веду": 42633, + "▁известным": 42634, + "зыка": 42635, + "▁Анатолий": 42636, + "▁распада": 42637, + "▁дизай": 42638, + "вее": 42639, + "битра": 42640, + "▁закону": 42641, + "▁считая": 42642, + "▁Уча": 42643, + "▁пиро": 42644, + "▁эксперти": 42645, + "▁реже": 42646, + "▁Бара": 42647, + "▁пога": 42648, + "▁дата": 42649, + "▁просмо": 42650, + "▁даст": 42651, + "▁Нельзя": 42652, + "▁телевизион": 42653, + "▁confl": 42654, + "▁изделия": 42655, + "жина": 42656, + "▁корабле": 42657, + "рек": 42658, + "ueen": 42659, + "▁отдал": 42660, + "▁понимают": 42661, + "▁эффективности": 42662, + "▁каль": 42663, + "▁быст": 42664, + "▁американские": 42665, + "▁важную": 42666, + "▁единиц": 42667, + "▁допу": 42668, + "▁мальчи": 42669, + "оба": 42670, + "несения": 42671, + "▁Белару": 42672, + "▁компьютера": 42673, + "▁получение": 42674, + "жённых": 42675, + "КИ": 42676, + "▁развитием": 42677, + "▁алле": 42678, + "маном": 42679, + "▁куби": 42680, + "▁гомо": 42681, + "▁Института": 42682, + "▁схемы": 42683, + "ап": 42684, + "▁седь": 42685, + "женное": 42686, + "▁Дона": 42687, + "▁депре": 42688, + "▁Входит": 42689, + "▁выделить": 42690, + "▁подрост": 42691, + "▁социальные": 42692, + "▁христи": 42693, + "▁воспитания": 42694, + "охрани": 42695, + "▁великих": 42696, + "▁обря": 42697, + "▁вызван": 42698, + "▁одежду": 42699, + "▁ветра": 42700, + "строить": 42701, + "▁аккура": 42702, + "зис": 42703, + "▁районы": 42704, + "▁градусов": 42705, + "▁возна": 42706, + "мерть": 42707, + "рное": 42708, + "▁полё": 42709, + "▁загадо": 42710, + "▁склад": 42711, + "▁немецкие": 42712, + "▁недвижи": 42713, + "левой": 42714, + "▁пойдет": 42715, + "▁обнаружить": 42716, + "▁предметом": 42717, + "▁разума": 42718, + "▁кардина": 42719, + "▁arran": 42720, + "▁промежуто": 42721, + "▁поднять": 42722, + "▁оптима": 42723, + "▁сахара": 42724, + "▁Колум": 42725, + "ТИ": 42726, + "▁оже": 42727, + "▁проекту": 42728, + "▁женился": 42729, + "▁основой": 42730, + "▁Великий": 42731, + "▁использовались": 42732, + "деление": 42733, + "▁Естественно": 42734, + "▁давали": 42735, + "▁даёт": 42736, + "▁бессмысле": 42737, + "▁ключ": 42738, + "▁родо": 42739, + "▁учебных": 42740, + "▁Ярослав": 42741, + "▁линий": 42742, + "▁туман": 42743, + "льтра": 42744, + "▁осторожно": 42745, + "▁ожидать": 42746, + "▁Лондон": 42747, + "ПК": 42748, + "▁Прак": 42749, + "дик": 42750, + "▁навстречу": 42751, + "▁моделей": 42752, + "▁земной": 42753, + "▁конвер": 42754, + "рующие": 42755, + "альной": 42756, + "▁сочув": 42757, + "▁Берлине": 42758, + "▁изд": 42759, + "▁дворца": 42760, + "▁упал": 42761, + "▁поддерживает": 42762, + "сал": 42763, + "▁Георгий": 42764, + "▁бежать": 42765, + "▁выр": 42766, + "▁говорила": 42767, + "▁альбом": 42768, + "▁двигатель": 42769, + "▁непременно": 42770, + "▁писем": 42771, + "▁бактери": 42772, + "▁творчество": 42773, + "▁зени": 42774, + "▁пренебре": 42775, + "▁самыми": 42776, + "▁спер": 42777, + "▁соверши": 42778, + "▁пейза": 42779, + "▁Истори": 42780, + "▁училища": 42781, + "▁звучит": 42782, + "▁авторите": 42783, + "▁Опреде": 42784, + "▁горах": 42785, + "▁башни": 42786, + "▁версию": 42787, + "▁роты": 42788, + "▁этни": 42789, + "▁Мур": 42790, + "склю": 42791, + "▁выводы": 42792, + "▁опытом": 42793, + "▁оставались": 42794, + "лис": 42795, + "▁интуи": 42796, + "▁нефтя": 42797, + "▁краю": 42798, + "▁Заслу": 42799, + "чком": 42800, + "тератур": 42801, + "▁заменя": 42802, + "▁приложений": 42803, + "▁футболи": 42804, + "▁необходимым": 42805, + "▁послан": 42806, + "▁десятилетия": 42807, + "▁Ельци": 42808, + "▁круга": 42809, + "▁ссыла": 42810, + "▁пожалуйста": 42811, + "▁размно": 42812, + "▁доволь": 42813, + "▁Африке": 42814, + "▁пытаясь": 42815, + "▁Вероятно": 42816, + "▁погибших": 42817, + "▁Иоанна": 42818, + "▁дохода": 42819, + "▁сложные": 42820, + "▁съем": 42821, + "▁перехва": 42822, + "▁ведомства": 42823, + "▁Труда": 42824, + "▁тюрем": 42825, + "мий": 42826, + "вичем": 42827, + "▁доми": 42828, + "▁оправда": 42829, + "▁продолжил": 42830, + "▁Очевидно": 42831, + "ровалось": 42832, + "▁Финляндии": 42833, + "▁занятий": 42834, + "▁ребён": 42835, + "▁Известно": 42836, + "▁мяса": 42837, + "▁док": 42838, + "мбу": 42839, + "▁точке": 42840, + "▁двум": 42841, + "▁вытес": 42842, + "▁НКВД": 42843, + "▁проспек": 42844, + "▁Мая": 42845, + "▁драмати": 42846, + "▁обстановке": 42847, + "меи": 42848, + "▁престол": 42849, + "держки": 42850, + "▁неле": 42851, + "строва": 42852, + "дня": 42853, + "▁сыновей": 42854, + "жертво": 42855, + "▁Атланти": 42856, + "▁Ум": 42857, + "▁контей": 42858, + "▁белого": 42859, + "манской": 42860, + "▁малых": 42861, + "▁сег": 42862, + "атра": 42863, + "вшемся": 42864, + "кера": 42865, + "▁Принима": 42866, + "▁дово": 42867, + "ricult": 42868, + "▁служба": 42869, + "вилось": 42870, + "▁последнем": 42871, + "▁Анны": 42872, + "▁Твер": 42873, + "▁русско": 42874, + "полковник": 42875, + "▁последовательно": 42876, + "▁Польше": 42877, + "▁продав": 42878, + "Дина": 42879, + "ЕД": 42880, + "▁литов": 42881, + "▁настроение": 42882, + "▁фамилии": 42883, + "▁Григорий": 42884, + "▁коали": 42885, + "▁преимущества": 42886, + "▁оценку": 42887, + "▁серы": 42888, + "дило": 42889, + "тилось": 42890, + "▁Мето": 42891, + "контро": 42892, + "▁лауре": 42893, + "▁остановить": 42894, + "словия": 42895, + "востоке": 42896, + "▁лоб": 42897, + "▁думает": 42898, + "ционеров": 42899, + "вои": 42900, + "зией": 42901, + "▁апосто": 42902, + "▁Святой": 42903, + "тком": 42904, + "▁любовью": 42905, + "▁черт": 42906, + "▁товара": 42907, + "▁обычных": 42908, + "́р": 42909, + "▁фактов": 42910, + "▁основная": 42911, + "▁набира": 42912, + "▁состоялось": 42913, + "льи": 42914, + "▁столом": 42915, + "▁стабили": 42916, + "▁сфе": 42917, + "▁опубликовал": 42918, + "▁наказание": 42919, + "▁Чет": 42920, + "ссор": 42921, + "▁члена": 42922, + "▁замкну": 42923, + "равни": 42924, + "тизм": 42925, + "▁пехоты": 42926, + "▁обога": 42927, + "▁учитывать": 42928, + "▁действуют": 42929, + "зира": 42930, + "треть": 42931, + "ствуя": 42932, + "▁этапа": 42933, + "▁противник": 42934, + "▁сдержа": 42935, + "▁участки": 42936, + "ллера": 42937, + "▁Оказа": 42938, + "▁министров": 42939, + "колов": 42940, + "▁партнера": 42941, + "▁годам": 42942, + "▁проле": 42943, + "дному": 42944, + "▁шля": 42945, + "▁Гам": 42946, + "▁ритуа": 42947, + "▁внутренние": 42948, + "▁собственным": 42949, + "▁важный": 42950, + "▁встретил": 42951, + "▁одинаково": 42952, + "▁звуча": 42953, + "▁уехал": 42954, + "▁объё": 42955, + "тс": 42956, + "▁ранних": 42957, + "▁вред": 42958, + "▁фре": 42959, + "▁дар": 42960, + "▁Марга": 42961, + "▁примеры": 42962, + "атр": 42963, + "зел": 42964, + "▁разъяс": 42965, + "▁Западе": 42966, + "▁особенностей": 42967, + "▁вычисле": 42968, + "▁актер": 42969, + "▁премию": 42970, + "▁параш": 42971, + "▁вызо": 42972, + "▁окрестно": 42973, + "дением": 42974, + "нейшим": 42975, + "▁фило": 42976, + "▁Напом": 42977, + "▁стене": 42978, + "▁братья": 42979, + "женности": 42980, + "▁отсе": 42981, + "▁километрах": 42982, + "▁переходит": 42983, + "▁Ибо": 42984, + "▁студии": 42985, + "▁худ": 42986, + "▁норм": 42987, + "▁усовершен": 42988, + "илл": 42989, + "▁несправед": 42990, + "ленным": 42991, + "▁противоречи": 42992, + "▁фолькло": 42993, + "▁последующие": 42994, + "▁сига": 42995, + "▁особых": 42996, + "Кар": 42997, + "нинград": 42998, + "▁Аристо": 42999, + "▁Стив": 43000, + "▁инициативе": 43001, + "дино": 43002, + "▁подошел": 43003, + "▁Какой": 43004, + "▁причём": 43005, + "▁проблемой": 43006, + "панию": 43007, + "▁содержится": 43008, + "▁сапо": 43009, + "▁Средизем": 43010, + "ционными": 43011, + "▁Югосла": 43012, + "▁Хол": 43013, + "▁вскры": 43014, + "▁обсуждения": 43015, + "▁песню": 43016, + "дьба": 43017, + "▁Изо": 43018, + "фре": 43019, + "▁установлена": 43020, + "сье": 43021, + "▁еды": 43022, + "▁ребята": 43023, + "▁давал": 43024, + "▁растет": 43025, + "эффек": 43026, + "▁сможете": 43027, + "тоне": 43028, + "▁операцию": 43029, + "▁артист": 43030, + "▁матчах": 43031, + "▁служат": 43032, + "▁Рожде": 43033, + "▁местной": 43034, + "скать": 43035, + "ренко": 43036, + "▁высотой": 43037, + "▁камеры": 43038, + "▁вывода": 43039, + "ковое": 43040, + "▁Две": 43041, + "вем": 43042, + "поро": 43043, + "▁вначале": 43044, + "▁Свято": 43045, + "▁запах": 43046, + "▁доходов": 43047, + "▁Дви": 43048, + "Аль": 43049, + "▁сельское": 43050, + "▁оку": 43051, + "▁участвовали": 43052, + "▁классо": 43053, + "▁читателей": 43054, + "▁Мать": 43055, + "▁обвиня": 43056, + "лио": 43057, + "▁наход": 43058, + "▁видите": 43059, + "▁Екатерина": 43060, + "▁Спасибо": 43061, + "▁объяснения": 43062, + "▁менять": 43063, + "тают": 43064, + "▁использоваться": 43065, + "▁уха": 43066, + "▁перекры": 43067, + "щейся": 43068, + "▁Арка": 43069, + "ковской": 43070, + "▁можешь": 43071, + "▁Павлов": 43072, + "▁младен": 43073, + "▁данными": 43074, + "▁Дома": 43075, + "▁осуществления": 43076, + "▁Указом": 43077, + "плю": 43078, + "▁актриса": 43079, + "нутся": 43080, + "▁решено": 43081, + "▁окраи": 43082, + "▁отдельный": 43083, + "▁утверждение": 43084, + "▁четверть": 43085, + "▁игнори": 43086, + "▁прошу": 43087, + "тол": 43088, + "▁известна": 43089, + "▁нежела": 43090, + "▁главные": 43091, + "▁государственные": 43092, + "▁кадров": 43093, + "▁винтов": 43094, + "скет": 43095, + "▁руководил": 43096, + "бр": 43097, + "лоне": 43098, + "▁прибыль": 43099, + "ллин": 43100, + "телях": 43101, + "хотя": 43102, + "▁крем": 43103, + "гими": 43104, + "▁удовлетворя": 43105, + "евро": 43106, + "▁плюс": 43107, + "щегося": 43108, + "▁Способ": 43109, + "▁помнить": 43110, + "▁задания": 43111, + "▁требованиям": 43112, + "▁хватало": 43113, + "▁состояла": 43114, + "▁соединений": 43115, + "▁ООО": 43116, + "▁сооружения": 43117, + "▁эмигра": 43118, + "▁Сме": 43119, + "▁стихов": 43120, + "ссен": 43121, + "▁конкретных": 43122, + "▁улиц": 43123, + "стными": 43124, + "регули": 43125, + "▁фана": 43126, + "▁пропуска": 43127, + "▁длины": 43128, + "▁Св": 43129, + "▁разница": 43130, + "▁проходя": 43131, + "▁бессмер": 43132, + "сскую": 43133, + "▁такому": 43134, + "▁вулка": 43135, + "▁целое": 43136, + "▁перено": 43137, + "грузки": 43138, + "▁лёт": 43139, + "▁поездки": 43140, + "▁бухгал": 43141, + "▁Сразу": 43142, + "▁Приме": 43143, + "дитель": 43144, + "embly": 43145, + "▁десятиле": 43146, + "жах": 43147, + "зар": 43148, + "вицы": 43149, + "▁велосипе": 43150, + "▁Людови": 43151, + "▁возглавлял": 43152, + "▁вернулись": 43153, + "▁личных": 43154, + "▁лесо": 43155, + "▁рестора": 43156, + "▁пород": 43157, + "берта": 43158, + "▁имеющих": 43159, + "▁поте": 43160, + "щалась": 43161, + "▁высокую": 43162, + "▁присутствии": 43163, + "▁Фильм": 43164, + "▁сан": 43165, + "▁правилам": 43166, + "▁подумать": 43167, + "▁строительстве": 43168, + "▁последняя": 43169, + "▁взо": 43170, + "▁обязаны": 43171, + "▁эли": 43172, + "женными": 43173, + "▁присутствует": 43174, + "▁лечеб": 43175, + "▁Оси": 43176, + "▁всевозмо": 43177, + "▁Европу": 43178, + "▁притя": 43179, + "▁отпу": 43180, + "тчик": 43181, + "▁opport": 43182, + "ету": 43183, + "▁Площадь": 43184, + "▁ОС": 43185, + "▁океан": 43186, + "▁неудоб": 43187, + "▁игрока": 43188, + "▁Поля": 43189, + "готавли": 43190, + "майор": 43191, + "▁сцену": 43192, + "▁собственное": 43193, + "▁лицу": 43194, + "▁Собра": 43195, + "▁мошен": 43196, + "▁чьи": 43197, + "шные": 43198, + "▁СО": 43199, + "▁следствия": 43200, + "▁стратегии": 43201, + "▁крю": 43202, + "▁великой": 43203, + "▁сержа": 43204, + "▁переулок": 43205, + "кедо": 43206, + "▁восток": 43207, + "▁камни": 43208, + "▁входа": 43209, + "▁муниципального": 43210, + "▁высокая": 43211, + "▁проводит": 43212, + "▁послужи": 43213, + "▁руба": 43214, + "ходим": 43215, + "erem": 43216, + "▁прокля": 43217, + "▁консо": 43218, + "▁адеква": 43219, + "▁писали": 43220, + "▁юноше": 43221, + "▁Северного": 43222, + "▁условии": 43223, + "▁ставит": 43224, + "▁городских": 43225, + "▁Бей": 43226, + "хай": 43227, + "▁сынов": 43228, + "▁занимались": 43229, + "▁будешь": 43230, + "▁страниц": 43231, + "▁объясняется": 43232, + "▁упре": 43233, + "▁находилось": 43234, + "▁лингви": 43235, + "нологии": 43236, + "▁бригада": 43237, + "кас": 43238, + "▁жертвы": 43239, + "▁врачей": 43240, + "▁прорабо": 43241, + "▁продолжение": 43242, + "▁комиссия": 43243, + "▁секунду": 43244, + "▁объектом": 43245, + "▁журналист": 43246, + "▁доброде": 43247, + "▁восстание": 43248, + "▁ряду": 43249, + "▁краса": 43250, + "▁принципов": 43251, + "▁охран": 43252, + "▁полет": 43253, + "▁Разви": 43254, + "▁коопера": 43255, + "▁снег": 43256, + "▁впечатления": 43257, + "▁ИТАР": 43258, + "министр": 43259, + "▁портрет": 43260, + "▁посты": 43261, + "▁Изда": 43262, + "▁Георги": 43263, + "туро": 43264, + "рью": 43265, + "пча": 43266, + "▁тюрьмы": 43267, + "▁Вра": 43268, + "ляются": 43269, + "▁последнюю": 43270, + "▁параметров": 43271, + "▁лейтенан": 43272, + "▁отор": 43273, + "▁российские": 43274, + "сера": 43275, + "▁плав": 43276, + "▁кримина": 43277, + "▁туа": 43278, + "▁осужден": 43279, + "▁КГБ": 43280, + "▁придвор": 43281, + "▁Разрабо": 43282, + "▁сестры": 43283, + "Йорке": 43284, + "▁металлу": 43285, + "▁помог": 43286, + "▁отступа": 43287, + "▁совпада": 43288, + "▁Дела": 43289, + "▁сообщении": 43290, + "▁космонав": 43291, + "морского": 43292, + "риали": 43293, + "▁водя": 43294, + "▁убежден": 43295, + "▁вызвал": 43296, + "▁внезап": 43297, + "▁Баку": 43298, + "▁превращается": 43299, + "▁родину": 43300, + "▁чувствует": 43301, + "▁утверждения": 43302, + "▁полку": 43303, + "вшимися": 43304, + "тельской": 43305, + "▁дура": 43306, + "▁Рима": 43307, + "▁герцог": 43308, + "▁понедельник": 43309, + "▁всемир": 43310, + "▁вспомога": 43311, + "▁животное": 43312, + "▁избавиться": 43313, + "йся": 43314, + "▁имеющие": 43315, + "делец": 43316, + "▁органами": 43317, + "▁чте": 43318, + "▁воскресенье": 43319, + "▁однозна": 43320, + "блоки": 43321, + "▁рыбо": 43322, + "▁вправе": 43323, + "▁практика": 43324, + "▁ровно": 43325, + "▁сбе": 43326, + "▁тюрьме": 43327, + "▁художественной": 43328, + "▁величины": 43329, + "▁эффективность": 43330, + "▁снижение": 43331, + "▁Казахстана": 43332, + "▁оперы": 43333, + "ровалась": 43334, + "числя": 43335, + "▁Шот": 43336, + "▁холодной": 43337, + "▁матерью": 43338, + "ступило": 43339, + "▁заплани": 43340, + "ПУ": 43341, + "Зе": 43342, + "▁моста": 43343, + "рази": 43344, + "▁ансам": 43345, + "▁распла": 43346, + "▁играли": 43347, + "▁жила": 43348, + "▁ть": 43349, + "▁западе": 43350, + "▁напрямую": 43351, + "трополи": 43352, + "▁кабинет": 43353, + "▁изоли": 43354, + "▁победа": 43355, + "▁родов": 43356, + "▁опор": 43357, + "▁специалист": 43358, + "▁звёзд": 43359, + "▁клубе": 43360, + "▁колхоз": 43361, + "▁параметры": 43362, + "▁совершить": 43363, + "▁признал": 43364, + "▁Казалось": 43365, + "▁падает": 43366, + "▁попадает": 43367, + "▁незамет": 43368, + "▁буржуа": 43369, + "▁решении": 43370, + "▁изделий": 43371, + "▁согласия": 43372, + "▁ряды": 43373, + "▁Булга": 43374, + "▁растер": 43375, + "▁Первоначально": 43376, + "▁уши": 43377, + "▁финале": 43378, + "▁превышает": 43379, + "▁постоянной": 43380, + "рун": 43381, + "▁свободного": 43382, + "ТР": 43383, + "ом": 43384, + "нностью": 43385, + "▁представителями": 43386, + "▁спортс": 43387, + "▁давайте": 43388, + "▁комсомо": 43389, + "▁похожи": 43390, + "▁специальной": 43391, + "миль": 43392, + "▁воспиты": 43393, + "▁ВО": 43394, + "▁цепо": 43395, + "тли": 43396, + "▁старался": 43397, + "▁исключения": 43398, + "▁агентство": 43399, + "генера": 43400, + "▁коммуна": 43401, + "▁Ау": 43402, + "▁обязанностей": 43403, + "▁структуре": 43404, + "▁огромной": 43405, + "▁набра": 43406, + "стое": 43407, + "▁допро": 43408, + "▁экране": 43409, + "▁рассказы": 43410, + "▁Моро": 43411, + "▁постройки": 43412, + "▁преступлений": 43413, + "▁учет": 43414, + "▁сильные": 43415, + "▁камня": 43416, + "▁Хер": 43417, + "▁схема": 43418, + "▁греб": 43419, + "▁СК": 43420, + "▁Горба": 43421, + "▁племен": 43422, + "▁основана": 43423, + "стном": 43424, + "▁словах": 43425, + "▁ежегод": 43426, + "ладель": 43427, + "▁буквы": 43428, + "▁инвесто": 43429, + "▁фонд": 43430, + "▁сельсовет": 43431, + "▁хорошее": 43432, + "▁Иисуса": 43433, + "▁Желез": 43434, + "▁физиологи": 43435, + "чуть": 43436, + "▁неис": 43437, + "мино": 43438, + "▁Представи": 43439, + "дана": 43440, + "▁впа": 43441, + "▁выращи": 43442, + "▁оценке": 43443, + "ливость": 43444, + "▁капу": 43445, + "▁бесполез": 43446, + "▁научные": 43447, + "носится": 43448, + "▁длину": 43449, + "▁отрабо": 43450, + "▁путешествие": 43451, + "▁гроб": 43452, + "службе": 43453, + "▁ближ": 43454, + "▁увеличения": 43455, + "▁видят": 43456, + "коро": 43457, + "▁Кирил": 43458, + "▁муже": 43459, + "▁исчер": 43460, + "▁ставить": 43461, + "▁Гроз": 43462, + "▁Солнце": 43463, + "▁примеров": 43464, + "ИЛ": 43465, + "руем": 43466, + "▁обычной": 43467, + "oura": 43468, + "▁гроз": 43469, + "мён": 43470, + "▁курсы": 43471, + "▁выяснить": 43472, + "хта": 43473, + "▁древние": 43474, + "▁Коль": 43475, + "▁отправил": 43476, + "▁Джордж": 43477, + "▁целого": 43478, + "▁красный": 43479, + "▁древности": 43480, + "▁встал": 43481, + "▁редакции": 43482, + "▁Обще": 43483, + "бюро": 43484, + "кации": 43485, + "ньи": 43486, + "▁имму": 43487, + "жский": 43488, + "adium": 43489, + "▁матри": 43490, + "▁РАН": 43491, + "▁цепи": 43492, + "▁Доба": 43493, + "▁Необходимо": 43494, + "кович": 43495, + "▁Поло": 43496, + "▁приятно": 43497, + "▁инде": 43498, + "лагается": 43499, + "▁стрелковой": 43500, + "тизации": 43501, + "▁дель": 43502, + "москов": 43503, + "▁Алексея": 43504, + "▁Думаю": 43505, + "▁самоо": 43506, + "▁ны": 43507, + "▁колонии": 43508, + "▁оценка": 43509, + "ФА": 43510, + "тони": 43511, + "электро": 43512, + "▁последствий": 43513, + "▁византи": 43514, + "слы": 43515, + "▁категори": 43516, + "▁народы": 43517, + "▁техника": 43518, + "рита": 43519, + "▁синх": 43520, + "▁путешествия": 43521, + "▁прим": 43522, + "▁встречу": 43523, + "▁Стоит": 43524, + "▁невиди": 43525, + "бн": 43526, + "▁евреи": 43527, + "▁умеет": 43528, + "▁явился": 43529, + "▁Занима": 43530, + "▁свидетельства": 43531, + "▁тём": 43532, + "▁партнер": 43533, + "▁инструменты": 43534, + "▁честно": 43535, + "▁маленькие": 43536, + "▁пятницу": 43537, + "▁кита": 43538, + "▁Кузне": 43539, + "женно": 43540, + "▁Балтий": 43541, + "гур": 43542, + "ТС": 43543, + "▁предварительно": 43544, + "ternet": 43545, + "▁СПб": 43546, + "▁лозу": 43547, + "ровые": 43548, + "▁нации": 43549, + "▁Наши": 43550, + "▁содержат": 43551, + "▁отмечается": 43552, + "тена": 43553, + "▁парадок": 43554, + "▁казни": 43555, + "▁вознагра": 43556, + "▁третьем": 43557, + "▁Кавказ": 43558, + "▁целесообраз": 43559, + "▁перешли": 43560, + "стическое": 43561, + "▁цари": 43562, + "▁Эту": 43563, + "▁продолжается": 43564, + "▁движением": 43565, + "▁лин": 43566, + "▁переехал": 43567, + "нятся": 43568, + "▁совету": 43569, + "▁Пси": 43570, + "▁пли": 43571, + "▁замер": 43572, + "▁первыми": 43573, + "▁разруши": 43574, + "▁рок": 43575, + "▁Гого": 43576, + "▁платфор": 43577, + "▁имен": 43578, + "▁опол": 43579, + "зания": 43580, + "▁лука": 43581, + "эл": 43582, + "▁кандидатов": 43583, + "▁соединение": 43584, + "▁назвали": 43585, + "▁платы": 43586, + "▁окружающих": 43587, + "способности": 43588, + "ндия": 43589, + "▁Самое": 43590, + "фта": 43591, + "вам": 43592, + "▁прили": 43593, + "эро": 43594, + "▁правоохрани": 43595, + "▁лук": 43596, + "▁пече": 43597, + "▁куро": 43598, + "▁губернатора": 43599, + "▁призван": 43600, + "швили": 43601, + "▁судьбе": 43602, + "▁здравоохранения": 43603, + "▁развле": 43604, + "▁телом": 43605, + "▁глаго": 43606, + "▁племени": 43607, + "▁сотен": 43608, + "▁специального": 43609, + "▁называемые": 43610, + "стную": 43611, + "▁течения": 43612, + "▁ДНК": 43613, + "Чер": 43614, + "▁Рез": 43615, + "▁соло": 43616, + "▁парка": 43617, + "▁значительное": 43618, + "▁дыхание": 43619, + "▁хозяин": 43620, + "▁французских": 43621, + "рмо": 43622, + "ака": 43623, + "магни": 43624, + "▁принце": 43625, + "▁Чай": 43626, + "▁Нас": 43627, + "▁намерения": 43628, + "▁славы": 43629, + "▁слушать": 43630, + "вского": 43631, + "▁границей": 43632, + "ленд": 43633, + "▁вызывают": 43634, + "stitution": 43635, + "▁Кай": 43636, + "▁жертву": 43637, + "▁Израиль": 43638, + "poration": 43639, + "▁сборник": 43640, + "ковыми": 43641, + "▁вооруженных": 43642, + "▁утверждают": 43643, + "▁протекает": 43644, + "гена": 43645, + "▁тексте": 43646, + "▁НЕ": 43647, + "▁Мя": 43648, + "ала": 43649, + "▁серия": 43650, + "▁мучи": 43651, + "▁болезней": 43652, + "ведению": 43653, + "▁успели": 43654, + "▁странами": 43655, + "нде": 43656, + "▁Советский": 43657, + "тках": 43658, + "▁отпуска": 43659, + "▁ликвидации": 43660, + "▁оборону": 43661, + "▁населённых": 43662, + "▁Президента": 43663, + "▁милиции": 43664, + "▁Архангель": 43665, + "▁получали": 43666, + "▁Подо": 43667, + "▁разговора": 43668, + "▁чемпионом": 43669, + "▁заведения": 43670, + "▁вокза": 43671, + "▁ПВО": 43672, + "▁настоящей": 43673, + "▁листья": 43674, + "▁черный": 43675, + "▁оппозиции": 43676, + "▁тогдаш": 43677, + "▁гуманитар": 43678, + "▁специальный": 43679, + "▁странице": 43680, + "▁удобно": 43681, + "▁услышал": 43682, + "▁дев": 43683, + "▁методом": 43684, + "▁Система": 43685, + "▁устрем": 43686, + "▁Интересно": 43687, + "▁предмета": 43688, + "▁соу": 43689, + "шись": 43690, + "вский": 43691, + "▁компро": 43692, + "▁ем": 43693, + "▁породы": 43694, + "ваемой": 43695, + "▁насилия": 43696, + "▁оборот": 43697, + "▁матро": 43698, + "альных": 43699, + "▁вошёл": 43700, + "▁суста": 43701, + "▁ужас": 43702, + "▁формой": 43703, + "cend": 43704, + "▁сценарий": 43705, + "▁пакет": 43706, + "▁обязательства": 43707, + "▁стано": 43708, + "▁образуют": 43709, + "▁Свердлов": 43710, + "шат": 43711, + "▁Наш": 43712, + "▁продолжают": 43713, + "▁привел": 43714, + "▁Доста": 43715, + "ётр": 43716, + "▁английском": 43717, + "ставьте": 43718, + "▁простым": 43719, + "▁сообщений": 43720, + "психо": 43721, + "▁гет": 43722, + "▁европейской": 43723, + "▁построения": 43724, + "▁рамки": 43725, + "▁входил": 43726, + "▁полосы": 43727, + "▁заявила": 43728, + "▁Новго": 43729, + "▁существовало": 43730, + "▁возглавля": 43731, + "▁вызов": 43732, + "дорович": 43733, + "ганди": 43734, + "слан": 43735, + "▁ранга": 43736, + "▁Александров": 43737, + "▁принадлежат": 43738, + "▁мощность": 43739, + "▁изуча": 43740, + "▁шлю": 43741, + "▁Бю": 43742, + "▁несча": 43743, + "▁обратить": 43744, + "товая": 43745, + "▁Пру": 43746, + "чук": 43747, + "▁машино": 43748, + "▁голода": 43749, + "▁хитро": 43750, + "▁позволить": 43751, + "▁товарищ": 43752, + "▁уголовного": 43753, + "▁рожда": 43754, + "▁аварий": 43755, + "риата": 43756, + "▁домо": 43757, + "▁публику": 43758, + "▁поворачи": 43759, + "▁обстоятельство": 43760, + "▁навод": 43761, + "▁финансовых": 43762, + "▁кислоты": 43763, + "хт": 43764, + "▁назначение": 43765, + "▁переживания": 43766, + "▁мино": 43767, + "▁привлечь": 43768, + "▁ОК": 43769, + "▁развали": 43770, + "▁энту": 43771, + "▁указать": 43772, + "▁экран": 43773, + "ссией": 43774, + "▁объясняет": 43775, + "▁выле": 43776, + "▁проведении": 43777, + "▁Толстого": 43778, + "▁сбора": 43779, + "▁Центр": 43780, + "▁незнако": 43781, + "▁загово": 43782, + "▁таба": 43783, + "▁Сочи": 43784, + "▁моменту": 43785, + "▁личный": 43786, + "▁проекте": 43787, + "▁Максима": 43788, + "▁средством": 43789, + "▁капи": 43790, + "▁интересах": 43791, + "тна": 43792, + "▁существова": 43793, + "слож": 43794, + "▁исполня": 43795, + "▁угрозы": 43796, + "▁partn": 43797, + "дья": 43798, + "▁вашу": 43799, + "▁готова": 43800, + "▁трой": 43801, + "▁дано": 43802, + "▁экипаж": 43803, + "▁дам": 43804, + "▁онлайн": 43805, + "▁сино": 43806, + "щенко": 43807, + "▁классе": 43808, + "ляя": 43809, + "▁одноим": 43810, + "▁православной": 43811, + "▁петербург": 43812, + "пец": 43813, + "лика": 43814, + "▁удивительно": 43815, + "▁проводил": 43816, + "стность": 43817, + "пина": 43818, + "▁Петербурга": 43819, + "▁бассейна": 43820, + "▁нерав": 43821, + "рованное": 43822, + "▁задание": 43823, + "▁Олимпиа": 43824, + "▁средних": 43825, + "пью": 43826, + "▁яс": 43827, + "▁Генерал": 43828, + "▁миссии": 43829, + "▁молока": 43830, + "duce": 43831, + "вель": 43832, + "▁борт": 43833, + "▁волос": 43834, + "альные": 43835, + "маты": 43836, + "рению": 43837, + "▁называемый": 43838, + "▁Египта": 43839, + "▁группировки": 43840, + "▁прор": 43841, + "▁отправля": 43842, + "▁уязви": 43843, + "▁кровью": 43844, + "▁путешествен": 43845, + "▁релье": 43846, + "▁легких": 43847, + "▁современном": 43848, + "▁Джеймс": 43849, + "▁информацией": 43850, + "▁Ричард": 43851, + "штейна": 43852, + "▁измен": 43853, + "▁Книга": 43854, + "▁опасно": 43855, + "сай": 43856, + "▁справедливости": 43857, + "▁безопасность": 43858, + "▁заняли": 43859, + "!\".": 43860, + "костью": 43861, + "шало": 43862, + "способность": 43863, + "ренным": 43864, + "▁ОАО": 43865, + "▁инвали": 43866, + "▁мировоз": 43867, + "киды": 43868, + "▁выполняет": 43869, + "▁Ала": 43870, + "▁переве": 43871, + "▁военное": 43872, + "▁жидкости": 43873, + "▁преодолеть": 43874, + "зет": 43875, + "▁отцу": 43876, + "нским": 43877, + "▁левом": 43878, + "▁Выбор": 43879, + "▁живопи": 43880, + "▁придет": 43881, + "▁спон": 43882, + "▁Свобо": 43883, + "▁оставив": 43884, + "Динамо": 43885, + "▁изну": 43886, + "▁ВКП": 43887, + "▁жене": 43888, + "▁заново": 43889, + "вного": 43890, + "▁МИД": 43891, + "▁расширения": 43892, + "▁несет": 43893, + "▁Сол": 43894, + "▁офицеры": 43895, + "▁чувствовать": 43896, + "▁сокрови": 43897, + "▁поздра": 43898, + "▁красоты": 43899, + "▁Пала": 43900, + "▁зарабаты": 43901, + "▁численности": 43902, + "▁мальчика": 43903, + "▁постоянного": 43904, + "вающим": 43905, + "▁Цеза": 43906, + "▁рыца": 43907, + "▁принципу": 43908, + "▁непода": 43909, + "▁яз": 43910, + "▁поедин": 43911, + "▁войти": 43912, + "▁молодежи": 43913, + "▁повод": 43914, + "▁духо": 43915, + "комен": 43916, + "▁демократии": 43917, + "▁Сви": 43918, + "▁ток": 43919, + "най": 43920, + "женцев": 43921, + "▁финансов": 43922, + "Ша": 43923, + "Восто": 43924, + "▁конкурса": 43925, + "▁восстанавли": 43926, + "▁преодоле": 43927, + "▁Лер": 43928, + "▁регионов": 43929, + "▁дальнейшего": 43930, + "▁участии": 43931, + "▁Мэри": 43932, + "душе": 43933, + "▁медицинской": 43934, + "▁шиф": 43935, + "▁расстояния": 43936, + "рг": 43937, + "▁интегра": 43938, + "▁трагедии": 43939, + "▁установка": 43940, + "▁пишут": 43941, + "целе": 43942, + "▁иннова": 43943, + "▁имею": 43944, + "▁Украина": 43945, + "▁Джи": 43946, + "▁РИА": 43947, + "▁Медведе": 43948, + "▁собственность": 43949, + "изма": 43950, + "▁африкан": 43951, + "▁Белорус": 43952, + "▁ссылкой": 43953, + "томи": 43954, + "▁дистанции": 43955, + "▁вызвало": 43956, + "▁позиция": 43957, + "▁Большого": 43958, + "▁позвоно": 43959, + "▁задумы": 43960, + "▁факультета": 43961, + "▁Богом": 43962, + "▁лекции": 43963, + "вязыва": 43964, + "▁трансформа": 43965, + "▁медицины": 43966, + "▁отнести": 43967, + "▁отвечать": 43968, + "▁Swed": 43969, + "▁параллельно": 43970, + "▁нар": 43971, + "настоящему": 43972, + "ранже": 43973, + "▁Луны": 43974, + "▁приходят": 43975, + "▁телефону": 43976, + "▁пообе": 43977, + "▁последующих": 43978, + "евской": 43979, + "пари": 43980, + "▁определенного": 43981, + "▁удостоен": 43982, + "▁Мухам": 43983, + "▁имену": 43984, + "▁крупного": 43985, + "▁исследователей": 43986, + "▁противодей": 43987, + "▁Профиль": 43988, + "▁девочка": 43989, + "▁ссылки": 43990, + "▁пулемет": 43991, + "▁Ля": 43992, + "▁простые": 43993, + "▁канад": 43994, + "▁контексте": 43995, + "беки": 43996, + "▁таре": 43997, + "▁Пы": 43998, + "цина": 43999, + "пира": 44000, + "▁санти": 44001, + "▁отцов": 44002, + "▁потока": 44003, + "▁Самый": 44004, + "▁производить": 44005, + "▁лен": 44006, + "▁популя": 44007, + "▁взаимосвя": 44008, + "▁физического": 44009, + "Сер": 44010, + "▁Остров": 44011, + "▁эпизод": 44012, + "▁знаки": 44013, + "▁Дет": 44014, + "▁религиозных": 44015, + "▁кипя": 44016, + "▁каран": 44017, + "ковал": 44018, + "▁скон": 44019, + "скур": 44020, + "▁ищу": 44021, + "▁нервной": 44022, + "корре": 44023, + "▁расположение": 44024, + "▁организме": 44025, + "▁печать": 44026, + "▁братом": 44027, + "▁свобода": 44028, + "дак": 44029, + "дрой": 44030, + "▁моче": 44031, + "▁мышц": 44032, + "▁умерла": 44033, + "▁субъекта": 44034, + "▁югу": 44035, + "▁Моя": 44036, + "▁святых": 44037, + "▁стрелкового": 44038, + "▁шло": 44039, + "▁схеме": 44040, + "▁движу": 44041, + "▁хреб": 44042, + "▁ПРО": 44043, + "вленным": 44044, + "вленное": 44045, + "вие": 44046, + "четы": 44047, + "▁прито": 44048, + "▁церк": 44049, + "▁получал": 44050, + "▁Слово": 44051, + "▁сыну": 44052, + "▁представлена": 44053, + "▁маски": 44054, + "▁свойство": 44055, + "▁результата": 44056, + "▁знаменитый": 44057, + "▁вспоминал": 44058, + "▁нигде": 44059, + "▁следовать": 44060, + "▁Похоро": 44061, + "▁tourn": 44062, + "▁фрук": 44063, + "▁прести": 44064, + "▁возникли": 44065, + "совых": 44066, + "▁тренера": 44067, + "домо": 44068, + "▁административно": 44069, + "▁оккупи": 44070, + "▁компонентов": 44071, + "▁соревнованиях": 44072, + "▁оки": 44073, + "▁оказываются": 44074, + "▁ошибка": 44075, + "восток": 44076, + "Так": 44077, + "▁авиаком": 44078, + "▁новей": 44079, + "▁ограничен": 44080, + "довая": 44081, + "▁помещение": 44082, + "▁прозви": 44083, + "правля": 44084, + "ненными": 44085, + "▁разры": 44086, + "▁покон": 44087, + "тирования": 44088, + "▁продаж": 44089, + "▁расположено": 44090, + "▁значений": 44091, + "офи": 44092, + "▁размером": 44093, + "▁серию": 44094, + "▁ислам": 44095, + "▁закончил": 44096, + "▁рубежом": 44097, + "ложены": 44098, + "▁поиски": 44099, + "▁низко": 44100, + "▁кр": 44101, + "ринга": 44102, + "▁точности": 44103, + "▁сбы": 44104, + "Когда": 44105, + "▁представителя": 44106, + "▁спасения": 44107, + "▁кругу": 44108, + "тость": 44109, + "▁людях": 44110, + "▁поднялся": 44111, + "фора": 44112, + "хла": 44113, + "товым": 44114, + "▁ответы": 44115, + "▁пато": 44116, + "комплек": 44117, + "▁посёлка": 44118, + "▁называл": 44119, + "▁судом": 44120, + "▁небольшое": 44121, + "▁заявили": 44122, + "▁испуга": 44123, + "само": 44124, + "чую": 44125, + "секре": 44126, + "▁дете": 44127, + "▁являлись": 44128, + "СКО": 44129, + "▁скре": 44130, + "откры": 44131, + "▁творчестве": 44132, + "▁невро": 44133, + "зует": 44134, + "▁твори": 44135, + "▁реформа": 44136, + "▁классической": 44137, + "▁судя": 44138, + "▁благотвори": 44139, + "▁прер": 44140, + "▁руководя": 44141, + "▁Всероссий": 44142, + "▁открытым": 44143, + "▁зала": 44144, + "▁укрепления": 44145, + "▁гастро": 44146, + "▁цы": 44147, + "▁внутренний": 44148, + "▁СН": 44149, + "▁Нового": 44150, + "лово": 44151, + "▁разор": 44152, + "▁нашими": 44153, + "▁интри": 44154, + "Петербурга": 44155, + "▁сним": 44156, + "▁выходе": 44157, + "▁Армении": 44158, + "нге": 44159, + "▁композиции": 44160, + "▁Будучи": 44161, + "пт": 44162, + "▁процвета": 44163, + "▁распоряжение": 44164, + "▁Лучше": 44165, + "▁уважа": 44166, + "▁растение": 44167, + "чивает": 44168, + "▁частицы": 44169, + "▁Общая": 44170, + "▁эффективно": 44171, + "▁почувствовал": 44172, + "▁попытку": 44173, + "▁остальное": 44174, + "▁вопреки": 44175, + "етра": 44176, + "▁вовремя": 44177, + "▁присутствие": 44178, + "▁секретаря": 44179, + "▁ударов": 44180, + "▁Цель": 44181, + "▁съезда": 44182, + "▁дивизий": 44183, + "▁примет": 44184, + "▁руководителем": 44185, + "▁узнали": 44186, + "▁захватить": 44187, + "▁спиной": 44188, + "▁текстов": 44189, + "▁главную": 44190, + "тельнее": 44191, + "▁материи": 44192, + "vania": 44193, + "▁батареи": 44194, + "радо": 44195, + "▁залива": 44196, + "вения": 44197, + "▁нево": 44198, + "▁индустри": 44199, + "▁заместителя": 44200, + "▁шт": 44201, + "▁известность": 44202, + "▁могуще": 44203, + "▁трудя": 44204, + "▁наступ": 44205, + "▁Василия": 44206, + "▁Успе": 44207, + "▁толщи": 44208, + "паду": 44209, + "▁воспользова": 44210, + "▁кавалерий": 44211, + "▁гражданского": 44212, + "▁желая": 44213, + "▁химии": 44214, + "▁Шан": 44215, + "▁департамента": 44216, + "▁грубо": 44217, + "▁Толстой": 44218, + "▁организацией": 44219, + "▁представлений": 44220, + "▁доказательств": 44221, + "▁свидетельствуют": 44222, + "▁Новости": 44223, + "▁ввиду": 44224, + "грамм": 44225, + "▁укрепле": 44226, + "фио": 44227, + "▁знакомых": 44228, + "▁защищать": 44229, + "▁равни": 44230, + "▁хозяина": 44231, + "пром": 44232, + "БУ": 44233, + "▁воспитан": 44234, + "кладывать": 44235, + "риториаль": 44236, + "gypt": 44237, + "друг": 44238, + "▁уволь": 44239, + "▁галакти": 44240, + "▁допустить": 44241, + "лицы": 44242, + "▁труды": 44243, + "▁управлении": 44244, + "▁дефици": 44245, + "▁пев": 44246, + "▁понятий": 44247, + "▁карт": 44248, + "зированных": 44249, + "▁осуществить": 44250, + "▁смарт": 44251, + "▁хорошим": 44252, + "▁объема": 44253, + "▁правах": 44254, + "▁сок": 44255, + "ттер": 44256, + "летря": 44257, + "▁митрополи": 44258, + "▁определенный": 44259, + "▁привер": 44260, + "▁степ": 44261, + "▁счете": 44262, + "лея": 44263, + "▁майор": 44264, + "edd": 44265, + "▁розо": 44266, + "▁платформы": 44267, + "▁террористи": 44268, + "▁инспе": 44269, + "▁сего": 44270, + "еренци": 44271, + "кипе": 44272, + "▁Помо": 44273, + "▁Участник": 44274, + "▁устрои": 44275, + "▁полиция": 44276, + "▁учреди": 44277, + "▁системати": 44278, + "▁Лет": 44279, + "▁серьезные": 44280, + "альный": 44281, + "▁удовольствием": 44282, + "▁слад": 44283, + "urban": 44284, + "▁граница": 44285, + "▁прива": 44286, + "▁привела": 44287, + "▁ушли": 44288, + "рился": 44289, + "чится": 44290, + "▁стрельбы": 44291, + "бери": 44292, + "▁фильмы": 44293, + "бые": 44294, + "▁сати": 44295, + "▁отряды": 44296, + "▁единственной": 44297, + "▁Бразилии": 44298, + "▁музее": 44299, + "хий": 44300, + "льна": 44301, + "▁Село": 44302, + "▁недолго": 44303, + "▁а́": 44304, + "▁хорошей": 44305, + "▁участков": 44306, + "лятор": 44307, + "▁убедить": 44308, + "горя": 44309, + "▁цифры": 44310, + "▁зак": 44311, + "▁сохранились": 44312, + "▁Иркут": 44313, + "▁Бол": 44314, + "▁сл": 44315, + "▁Лен": 44316, + "▁разработку": 44317, + "зера": 44318, + "▁геологи": 44319, + "▁ультра": 44320, + "Ман": 44321, + "▁собрал": 44322, + "▁объяснение": 44323, + "▁федерального": 44324, + "зывы": 44325, + "тями": 44326, + "▁штраф": 44327, + "▁Револю": 44328, + "▁Абра": 44329, + "дном": 44330, + "▁Германию": 44331, + "▁Лебе": 44332, + "диоз": 44333, + "▁оттен": 44334, + "▁духовного": 44335, + "▁средняя": 44336, + "▁установления": 44337, + "▁похва": 44338, + "▁мужем": 44339, + "▁Швейцарии": 44340, + "ида": 44341, + "▁необычай": 44342, + "▁рецен": 44343, + "▁сторонников": 44344, + "▁кн": 44345, + "▁Вяче": 44346, + "▁северу": 44347, + "▁показалось": 44348, + "▁сдержи": 44349, + "▁железа": 44350, + "▁широкой": 44351, + "▁зелё": 44352, + "▁выходить": 44353, + "вот": 44354, + "▁прилага": 44355, + "люми": 44356, + "▁возобнови": 44357, + "зав": 44358, + "▁ранен": 44359, + "▁раздела": 44360, + "rugg": 44361, + "▁повстан": 44362, + "▁установили": 44363, + "мской": 44364, + "▁беседы": 44365, + "▁эмоции": 44366, + "▁удары": 44367, + "Зна": 44368, + "▁применяют": 44369, + "▁контрак": 44370, + "▁Тере": 44371, + "▁четверг": 44372, + "▁Леонид": 44373, + "▁числи": 44374, + "енья": 44375, + "▁сложной": 44376, + "▁бюрокра": 44377, + "зерца": 44378, + "▁цену": 44379, + "▁данное": 44380, + "▁подготовка": 44381, + "ступит": 44382, + "▁влияет": 44383, + "▁болгар": 44384, + "▁значительные": 44385, + "▁десант": 44386, + "▁взаимодействие": 44387, + "ппи": 44388, + "шён": 44389, + "▁небольшая": 44390, + "▁позади": 44391, + "▁австра": 44392, + "▁периодически": 44393, + "лока": 44394, + "▁носить": 44395, + "▁черте": 44396, + "▁железо": 44397, + "говорил": 44398, + "▁бази": 44399, + "тическом": 44400, + "рным": 44401, + "▁малы": 44402, + "тчиков": 44403, + "▁дождь": 44404, + "▁удавалось": 44405, + "лками": 44406, + "▁некоторыми": 44407, + "▁берегов": 44408, + "▁появится": 44409, + "▁вера": 44410, + "завод": 44411, + "▁Ей": 44412, + "▁полковника": 44413, + "▁маленьких": 44414, + "▁глубины": 44415, + "▁охотно": 44416, + "▁Вьет": 44417, + "▁средний": 44418, + "▁чиновников": 44419, + "ЕНИЕ": 44420, + "▁Чехослова": 44421, + "жили": 44422, + "▁составили": 44423, + "▁регла": 44424, + "Пере": 44425, + "▁тяжелые": 44426, + "▁повреждения": 44427, + "▁поляр": 44428, + "▁обслуживания": 44429, + "▁располагается": 44430, + "▁Пря": 44431, + "▁единой": 44432, + "▁разработчиков": 44433, + "гент": 44434, + "▁единство": 44435, + "▁палу": 44436, + "▁пше": 44437, + "▁оснований": 44438, + "▁предыдущих": 44439, + "▁Рядом": 44440, + "▁Пётр": 44441, + "ведя": 44442, + "чле": 44443, + "▁отстра": 44444, + "▁человечество": 44445, + "ъе": 44446, + "▁поворот": 44447, + "▁уполномо": 44448, + "▁Информа": 44449, + "▁делами": 44450, + "▁главнокоман": 44451, + "мила": 44452, + "▁поддержка": 44453, + "▁подразделений": 44454, + "хина": 44455, + "▁тексты": 44456, + "▁юби": 44457, + "веты": 44458, + "скар": 44459, + "▁Сау": 44460, + "▁примеча": 44461, + "▁континента": 44462, + "▁государственном": 44463, + "▁файла": 44464, + "ipl": 44465, + "▁шанс": 44466, + "▁медицинских": 44467, + "▁забыл": 44468, + "▁перешел": 44469, + "лейтенант": 44470, + "▁тяжелых": 44471, + "щев": 44472, + "rison": 44473, + "▁Тара": 44474, + "▁Солов": 44475, + "▁интереса": 44476, + "ceeded": 44477, + "▁звука": 44478, + "▁проез": 44479, + "▁бросил": 44480, + "▁святой": 44481, + "косно": 44482, + "▁изготовления": 44483, + "▁файлов": 44484, + "▁занимают": 44485, + "▁купил": 44486, + "▁Сбор": 44487, + "писать": 44488, + "▁Поро": 44489, + "▁громко": 44490, + "▁половиной": 44491, + "▁двигателей": 44492, + "▁цене": 44493, + "▁стоять": 44494, + "▁АССР": 44495, + "▁Антон": 44496, + "▁пользуются": 44497, + "▁проводят": 44498, + "▁подарок": 44499, + "▁танк": 44500, + "edom": 44501, + "цет": 44502, + "ложено": 44503, + "▁бомбы": 44504, + "▁иди": 44505, + "▁родственников": 44506, + "▁шагом": 44507, + "маны": 44508, + "▁предков": 44509, + "▁Ната": 44510, + "▁Венгрии": 44511, + "▁ланд": 44512, + "▁излучения": 44513, + "БР": 44514, + "▁полная": 44515, + "▁горных": 44516, + "▁прошёл": 44517, + "▁стакан": 44518, + "▁согласо": 44519, + "фаши": 44520, + "▁ере": 44521, + "▁основание": 44522, + "▁шай": 44523, + "▁успехи": 44524, + "▁упря": 44525, + "монов": 44526, + "▁миллиардов": 44527, + "▁любить": 44528, + "▁величе": 44529, + "▁открыли": 44530, + "золо": 44531, + "чером": 44532, + "▁жё": 44533, + "▁различным": 44534, + "▁кусок": 44535, + "▁воздушных": 44536, + "кисло": 44537, + "▁Жена": 44538, + "ждой": 44539, + "▁женщиной": 44540, + "коном": 44541, + "▁недостатки": 44542, + "▁предположи": 44543, + "хранили": 44544, + "▁зубы": 44545, + "водитель": 44546, + "шева": 44547, + "кау": 44548, + "▁условиям": 44549, + "▁запрос": 44550, + "▁ухода": 44551, + "▁платье": 44552, + "фро": 44553, + "▁синд": 44554, + "▁Каждая": 44555, + "▁произво": 44556, + "▁похож": 44557, + "Россия": 44558, + "▁Болгарии": 44559, + "▁аги": 44560, + "▁субботу": 44561, + "▁Илья": 44562, + "▁рад": 44563, + "сль": 44564, + "▁личные": 44565, + "▁ошибку": 44566, + "ваюсь": 44567, + "▁народом": 44568, + "▁требование": 44569, + "▁зависимость": 44570, + "▁выставки": 44571, + "▁центров": 44572, + "▁изыска": 44573, + "▁вывести": 44574, + "▁отказались": 44575, + "зти": 44576, + "▁Изу": 44577, + "зеле": 44578, + "▁адреса": 44579, + "▁местами": 44580, + "▁авторитет": 44581, + "▁Хра": 44582, + "щенная": 44583, + "▁слия": 44584, + "▁умолча": 44585, + "шах": 44586, + "▁сидеть": 44587, + "▁старта": 44588, + "▁маслом": 44589, + "▁подавля": 44590, + "▁загряз": 44591, + "кеан": 44592, + "▁опусти": 44593, + "емому": 44594, + "▁Ны": 44595, + "▁богатства": 44596, + "▁развива": 44597, + "▁следить": 44598, + "делы": 44599, + "▁какому": 44600, + "▁летних": 44601, + "▁оле": 44602, + "▁навига": 44603, + "▁Компания": 44604, + "▁contem": 44605, + "▁английской": 44606, + "▁Сай": 44607, + "▁поставили": 44608, + "▁счета": 44609, + "▁бай": 44610, + "▁законам": 44611, + "▁сирий": 44612, + "▁созыва": 44613, + "риса": 44614, + "▁настоящим": 44615, + "▁тридцати": 44616, + "▁поиско": 44617, + "▁талантли": 44618, + "летняя": 44619, + "▁врачи": 44620, + "▁испор": 44621, + "▁корне": 44622, + "ковую": 44623, + "▁обнаружены": 44624, + "нового": 44625, + "▁стару": 44626, + "▁причаст": 44627, + "▁венгер": 44628, + "▁режиссёра": 44629, + "▁секунды": 44630, + "▁Фре": 44631, + "▁оставили": 44632, + "▁территорий": 44633, + "▁собирался": 44634, + "▁типы": 44635, + "▁остаётся": 44636, + "▁распростран": 44637, + "▁внешний": 44638, + "▁бойцов": 44639, + "syl": 44640, + "▁лицами": 44641, + "▁южно": 44642, + "▁выража": 44643, + "▁Орлов": 44644, + "▁широкое": 44645, + "▁публици": 44646, + "▁уверены": 44647, + "▁поворо": 44648, + "▁забыть": 44649, + "▁Основной": 44650, + "▁Вслед": 44651, + "водил": 44652, + "▁показано": 44653, + "хих": 44654, + "мил": 44655, + "▁Московский": 44656, + "▁помогают": 44657, + "▁сегодняшний": 44658, + "▁элли": 44659, + "сию": 44660, + "▁столицу": 44661, + "▁деревню": 44662, + "няк": 44663, + "▁прекратить": 44664, + "храни": 44665, + "▁Награ": 44666, + "▁соображения": 44667, + "моло": 44668, + "бют": 44669, + "▁предположение": 44670, + "▁матема": 44671, + "ёд": 44672, + "▁Коммуни": 44673, + "▁камней": 44674, + "▁недостаток": 44675, + "▁патру": 44676, + "▁товарищей": 44677, + "▁Точно": 44678, + "▁широкий": 44679, + "▁полей": 44680, + "▁правя": 44681, + "▁необык": 44682, + "ющуюся": 44683, + "▁процедуры": 44684, + "изме": 44685, + "▁предоставить": 44686, + "▁Иначе": 44687, + "▁возвращении": 44688, + "▁Куль": 44689, + "▁чести": 44690, + "▁учета": 44691, + "▁научный": 44692, + "▁молоко": 44693, + "▁жид": 44694, + "фай": 44695, + "▁Герман": 44696, + "евой": 44697, + "честь": 44698, + "▁помощник": 44699, + "▁способа": 44700, + "▁композитор": 44701, + "▁ара": 44702, + "▁отправить": 44703, + "тского": 44704, + "▁уверенность": 44705, + "▁коллег": 44706, + "▁оставалась": 44707, + "лни": 44708, + "▁девяти": 44709, + "▁установил": 44710, + "йора": 44711, + "▁длинные": 44712, + "▁Жур": 44713, + "▁заряд": 44714, + "▁Род": 44715, + "▁ков": 44716, + "▁почёт": 44717, + "rative": 44718, + "▁Выступа": 44719, + "дению": 44720, + "▁примера": 44721, + "▁Вей": 44722, + "▁лиге": 44723, + "▁посы": 44724, + "▁водитель": 44725, + "ворот": 44726, + "▁неплохо": 44727, + "▁ожесто": 44728, + "льника": 44729, + "▁отбро": 44730, + "▁главой": 44731, + "льская": 44732, + "▁примером": 44733, + "▁Челя": 44734, + "▁цветы": 44735, + "▁муки": 44736, + "▁вторник": 44737, + "▁слухи": 44738, + "▁внизу": 44739, + "▁мгновенно": 44740, + "▁торговле": 44741, + "▁составить": 44742, + "▁сою": 44743, + "▁Арген": 44744, + "ленную": 44745, + "▁скажет": 44746, + "новая": 44747, + "▁стекло": 44748, + "▁приказу": 44749, + "▁рекомендуется": 44750, + "▁образов": 44751, + "жится": 44752, + "▁задей": 44753, + "▁пожертво": 44754, + "▁изящ": 44755, + "носили": 44756, + "нс": 44757, + "▁телефона": 44758, + "опа": 44759, + "▁плоскости": 44760, + "▁посчита": 44761, + "▁довер": 44762, + "риен": 44763, + "▁перец": 44764, + "▁сервис": 44765, + "лак": 44766, + "ставра": 44767, + "▁научиться": 44768, + "▁температуре": 44769, + "▁риско": 44770, + "▁изучать": 44771, + "хоз": 44772, + "▁спасибо": 44773, + "▁контролировать": 44774, + "▁случаю": 44775, + "▁мешает": 44776, + "▁обруши": 44777, + "▁молодым": 44778, + "шаются": 44779, + "▁брау": 44780, + "????": 44781, + "▁остановился": 44782, + "▁поднял": 44783, + "▁сзади": 44784, + "▁ищет": 44785, + "▁Исла": 44786, + "▁выдержи": 44787, + "больше": 44788, + "▁лучшее": 44789, + "▁победил": 44790, + "▁реального": 44791, + "целя": 44792, + "▁дожде": 44793, + "▁ходил": 44794, + "gend": 44795, + "▁измер": 44796, + "▁улучшения": 44797, + "нялась": 44798, + "йс": 44799, + "▁планируется": 44800, + "▁стакана": 44801, + "▁потеряли": 44802, + "▁Эйн": 44803, + "▁убил": 44804, + "▁темати": 44805, + "▁предъя": 44806, + "pri": 44807, + "▁расследования": 44808, + "▁вовле": 44809, + "новремен": 44810, + "▁веса": 44811, + "нимание": 44812, + "▁планов": 44813, + "▁Куда": 44814, + "▁математики": 44815, + "▁пассажир": 44816, + "▁преимущество": 44817, + "менный": 44818, + "▁режиссе": 44819, + "▁деятелей": 44820, + "▁кресто": 44821, + "▁влады": 44822, + "▁указал": 44823, + "▁экви": 44824, + "▁белой": 44825, + "▁экономике": 44826, + "новый": 44827, + "▁тюрьму": 44828, + "▁официальный": 44829, + "▁торговых": 44830, + "чилось": 44831, + "▁Добро": 44832, + "▁нужды": 44833, + "▁сопри": 44834, + "▁посторон": 44835, + "ас": 44836, + "▁Доктор": 44837, + "▁распоряжении": 44838, + "▁Попро": 44839, + "▁бана": 44840, + "неди": 44841, + "▁доктри": 44842, + "становка": 44843, + "дело": 44844, + "▁проли": 44845, + "немся": 44846, + "▁Широ": 44847, + "▁нагрузки": 44848, + "▁губернатор": 44849, + "▁побли": 44850, + "▁чисел": 44851, + "▁природных": 44852, + "▁женщине": 44853, + "▁нену": 44854, + "▁Египет": 44855, + "▁попробовать": 44856, + "хана": 44857, + "▁слову": 44858, + "▁исполнении": 44859, + "▁катастрофы": 44860, + "ёров": 44861, + "▁проходи": 44862, + "▁частями": 44863, + "▁кандидата": 44864, + "▁тё": 44865, + "▁Нек": 44866, + "▁абстракт": 44867, + "▁Иу": 44868, + "▁Феодо": 44869, + "▁Франк": 44870, + "▁указания": 44871, + "▁отклю": 44872, + "▁художественного": 44873, + "▁настав": 44874, + "▁швейцар": 44875, + "▁полгода": 44876, + "▁враг": 44877, + "▁Бах": 44878, + "стские": 44879, + "▁предложить": 44880, + "▁выходя": 44881, + "▁жре": 44882, + "▁ГК": 44883, + "▁предложили": 44884, + "▁безраз": 44885, + "▁симфо": 44886, + "муд": 44887, + "▁отражение": 44888, + "говых": 44889, + "▁послевоен": 44890, + "▁прихода": 44891, + "▁посмотрел": 44892, + "▁Францию": 44893, + "▁кафедры": 44894, + "▁насили": 44895, + "▁Начина": 44896, + "▁мысле": 44897, + "низм": 44898, + "▁треуголь": 44899, + "urrent": 44900, + "▁американцы": 44901, + "▁Сак": 44902, + "▁саму": 44903, + "▁находясь": 44904, + "▁Питер": 44905, + "лектри": 44906, + "▁ребенком": 44907, + "▁глубокой": 44908, + "▁событиях": 44909, + "▁акку": 44910, + "▁наступает": 44911, + "вным": 44912, + "разному": 44913, + "▁изучению": 44914, + "▁перепра": 44915, + "СА": 44916, + "▁кольцо": 44917, + "▁убор": 44918, + "▁СУ": 44919, + "▁клави": 44920, + "▁сидели": 44921, + "▁процессу": 44922, + "▁Сергеевич": 44923, + "▁тепла": 44924, + "▁фигура": 44925, + "▁характеризуется": 44926, + "энь": 44927, + "▁утверждать": 44928, + "вленную": 44929, + "крат": 44930, + "вушка": 44931, + "ounded": 44932, + "▁духовен": 44933, + "▁планет": 44934, + "▁эмиграции": 44935, + "▁управлением": 44936, + "▁верху": 44937, + "▁сериала": 44938, + "полни": 44939, + "динами": 44940, + "▁самоуправления": 44941, + "▁Леон": 44942, + "▁попала": 44943, + "▁тренером": 44944, + "Сан": 44945, + "▁порабо": 44946, + "зак": 44947, + "строения": 44948, + "▁повсюду": 44949, + "▁Непо": 44950, + "▁фамилия": 44951, + "ленное": 44952, + "▁Землю": 44953, + "▁американцев": 44954, + "▁военача": 44955, + "▁отби": 44956, + "▁металла": 44957, + "▁простого": 44958, + "▁Чемпионат": 44959, + "▁Ск": 44960, + "▁Использу": 44961, + "▁числом": 44962, + "▁маркетин": 44963, + "▁палаты": 44964, + "▁велел": 44965, + "лятся": 44966, + "▁объявля": 44967, + "▁применяются": 44968, + "▁познакомился": 44969, + "▁выбирать": 44970, + "▁освя": 44971, + "▁встретить": 44972, + "▁продолжить": 44973, + "▁корруп": 44974, + "▁снего": 44975, + "▁конструктор": 44976, + "▁зате": 44977, + "▁Последние": 44978, + "▁Дмитрия": 44979, + "вела": 44980, + "▁электроэнер": 44981, + "СКИЙ": 44982, + "ктору": 44983, + "▁входила": 44984, + "▁Федо": 44985, + "▁плы": 44986, + "▁журналистов": 44987, + "▁Молда": 44988, + "▁поколение": 44989, + "▁оказывает": 44990, + "▁рекомендации": 44991, + "▁новости": 44992, + "енты": 44993, + "▁космических": 44994, + "▁листьев": 44995, + "ствующий": 44996, + "▁Станислав": 44997, + "Ис": 44998, + "▁разного": 44999, + "▁symb": 45000, + "щала": 45001, + "вная": 45002, + "▁потенциа": 45003, + "▁средне": 45004, + "▁стиму": 45005, + "шный": 45006, + "фикацию": 45007, + "▁звез": 45008, + "▁лежат": 45009, + "isters": 45010, + "ровым": 45011, + "▁легендар": 45012, + "государ": 45013, + "▁Наверное": 45014, + "живать": 45015, + "▁заинтересован": 45016, + "▁гражданин": 45017, + "таря": 45018, + "▁вернулась": 45019, + "▁заканчивается": 45020, + "ИЗ": 45021, + "▁выразил": 45022, + "▁слава": 45023, + "▁режиссер": 45024, + "ология": 45025, + "▁миль": 45026, + "чаян": 45027, + "Фи": 45028, + "▁объединение": 45029, + "▁областного": 45030, + "▁смену": 45031, + "▁чувством": 45032, + "▁Основная": 45033, + "▁произошед": 45034, + "▁представляли": 45035, + "▁фунтов": 45036, + "▁Екатерин": 45037, + "▁рассмотреть": 45038, + "▁лучшего": 45039, + "▁Заслуженный": 45040, + "▁Скорее": 45041, + "пп": 45042, + "▁Центрального": 45043, + "▁вкусу": 45044, + "нева": 45045, + "▁Ур": 45046, + "▁любая": 45047, + "ссоциа": 45048, + "▁песча": 45049, + "тский": 45050, + "▁черепа": 45051, + "▁адмира": 45052, + "▁чистой": 45053, + "▁землей": 45054, + "▁создают": 45055, + "▁больнице": 45056, + "▁еду": 45057, + "▁оказать": 45058, + "▁субъектов": 45059, + "▁приносит": 45060, + "ьем": 45061, + "▁получит": 45062, + "▁эквивален": 45063, + "▁настроен": 45064, + "▁представлять": 45065, + "▁приобрете": 45066, + "▁запомина": 45067, + "▁Режи": 45068, + "▁зрели": 45069, + "▁принципиально": 45070, + "▁короткий": 45071, + "▁картине": 45072, + "плом": 45073, + "▁единицы": 45074, + "▁домашних": 45075, + "логические": 45076, + "▁захоро": 45077, + "▁шей": 45078, + "▁обед": 45079, + "▁разворачи": 45080, + "▁реальных": 45081, + "▁условно": 45082, + "▁мяч": 45083, + "▁Национальной": 45084, + "лаг": 45085, + "проце": 45086, + "▁возникло": 45087, + "▁своя": 45088, + "▁профессии": 45089, + "▁угрозу": 45090, + "▁обращаться": 45091, + "ёй": 45092, + "▁Мама": 45093, + "▁Примерно": 45094, + "XV": 45095, + "▁сочинений": 45096, + "▁Парижа": 45097, + "▁господин": 45098, + "▁факторы": 45099, + "▁занимаются": 45100, + "▁грандиоз": 45101, + "тта": 45102, + "▁труб": 45103, + "▁Абу": 45104, + "▁Национального": 45105, + "▁велика": 45106, + "струи": 45107, + "▁квалифици": 45108, + "▁общение": 45109, + "▁рекламы": 45110, + "▁пропаганди": 45111, + "дые": 45112, + "БА": 45113, + "нило": 45114, + "▁глядя": 45115, + "▁магазина": 45116, + "▁перебро": 45117, + "▁Мона": 45118, + "▁passeng": 45119, + "▁исторический": 45120, + "линского": 45121, + "▁вырабаты": 45122, + "▁поправ": 45123, + "бже": 45124, + "▁Вит": 45125, + "▁способна": 45126, + "▁добле": 45127, + "▁Источник": 45128, + "▁непрерывно": 45129, + "Раз": 45130, + "▁освобождение": 45131, + "▁завоевал": 45132, + "▁отстаи": 45133, + "▁МиГ": 45134, + "водов": 45135, + "▁полученные": 45136, + "▁книгах": 45137, + "▁транзи": 45138, + "▁примы": 45139, + "▁эры": 45140, + "▁Бой": 45141, + "▁способами": 45142, + "цело": 45143, + "▁приступа": 45144, + "▁небольшим": 45145, + "▁горно": 45146, + "ковом": 45147, + "▁варианта": 45148, + "▁хан": 45149, + "▁Видимо": 45150, + "дование": 45151, + "атри": 45152, + "▁несов": 45153, + "▁ссо": 45154, + "▁показатели": 45155, + "▁Вита": 45156, + "▁спецслуж": 45157, + "▁Оле": 45158, + "▁крестьяне": 45159, + "рад": 45160, + "▁морского": 45161, + "▁Соединенных": 45162, + "▁заведу": 45163, + "▁генерального": 45164, + "▁находят": 45165, + "▁пациента": 45166, + "▁тетра": 45167, + "серви": 45168, + "▁взглядом": 45169, + "▁Специаль": 45170, + "▁означало": 45171, + "▁гек": 45172, + "▁кустар": 45173, + "▁относиться": 45174, + "▁эпиде": 45175, + "▁видя": 45176, + "▁московского": 45177, + "▁Эл": 45178, + "▁великим": 45179, + "ринг": 45180, + "▁conclud": 45181, + "▁сотрудничество": 45182, + "▁набе": 45183, + "▁раке": 45184, + "▁знаков": 45185, + "продук": 45186, + "▁оплаты": 45187, + "▁нараста": 45188, + "▁Ней": 45189, + "▁счету": 45190, + "▁больницы": 45191, + "▁Канады": 45192, + "▁Начиная": 45193, + "▁брен": 45194, + "▁девушек": 45195, + "▁ветера": 45196, + "рики": 45197, + "▁строк": 45198, + "▁ожидания": 45199, + "▁видела": 45200, + "▁показания": 45201, + "гнул": 45202, + "▁будди": 45203, + "▁культурного": 45204, + "▁взглядов": 45205, + "промышлен": 45206, + "сновы": 45207, + "▁волн": 45208, + "▁разработка": 45209, + "▁действиями": 45210, + "▁церемонии": 45211, + "▁приобрести": 45212, + "ТУ": 45213, + "▁Павлович": 45214, + "▁рекоменда": 45215, + "▁всякое": 45216, + "▁налогов": 45217, + "▁Музей": 45218, + "▁районного": 45219, + "▁заинтересова": 45220, + "свое": 45221, + "▁задержи": 45222, + "гард": 45223, + "▁ступень": 45224, + "▁являлась": 45225, + "▁плоды": 45226, + "зеф": 45227, + "льны": 45228, + "▁счётом": 45229, + "▁глубину": 45230, + "▁проигры": 45231, + "▁кону": 45232, + "▁сделки": 45233, + "▁Напомним": 45234, + "▁сухопу": 45235, + "▁культуру": 45236, + "▁снови": 45237, + "ersey": 45238, + "▁игроком": 45239, + "▁Дерев": 45240, + "▁реализовать": 45241, + "▁сообщалось": 45242, + "▁объяснил": 45243, + "▁справо": 45244, + "▁ситуациях": 45245, + "▁пассив": 45246, + "каи": 45247, + "ссель": 45248, + "▁Путина": 45249, + "▁существовании": 45250, + "стическим": 45251, + "белев": 45252, + "perial": 45253, + "рировать": 45254, + "▁окружения": 45255, + "▁выразить": 45256, + "хал": 45257, + "▁корни": 45258, + "▁увеличивается": 45259, + "▁Победы": 45260, + "рующий": 45261, + "▁Zh": 45262, + "ливости": 45263, + "▁теряет": 45264, + "▁подкреп": 45265, + "смотрен": 45266, + "▁специальности": 45267, + "▁дольше": 45268, + "▁хватит": 45269, + "▁Смир": 45270, + "▁приклю": 45271, + "▁поэтов": 45272, + "взо": 45273, + "▁Донба": 45274, + "▁альбома": 45275, + "▁аудитории": 45276, + "ево": 45277, + "▁сумас": 45278, + "▁жилищ": 45279, + "▁преступление": 45280, + "▁Утром": 45281, + "▁гнев": 45282, + "▁младший": 45283, + "▁выступление": 45284, + "▁РККА": 45285, + "»\"": 45286, + "▁марок": 45287, + "▁отожде": 45288, + "▁Любовь": 45289, + "▁Возвра": 45290, + "▁руководству": 45291, + "ненко": 45292, + "▁Куба": 45293, + "▁лежал": 45294, + "▁СА": 45295, + "▁называются": 45296, + "▁технического": 45297, + "летних": 45298, + "▁финансовой": 45299, + "милли": 45300, + "rance": 45301, + "▁Валерий": 45302, + "▁выглядеть": 45303, + "▁сложнее": 45304, + "зра": 45305, + "▁официальном": 45306, + "▁граждане": 45307, + "▁монта": 45308, + "▁обращается": 45309, + "▁Дальше": 45310, + "▁больной": 45311, + "▁царство": 45312, + "▁хранили": 45313, + "▁бежал": 45314, + "▁справедли": 45315, + "▁Германией": 45316, + "▁дивер": 45317, + "▁тяжести": 45318, + "▁страной": 45319, + "▁Дем": 45320, + "▁Энгель": 45321, + "▁отоз": 45322, + "▁эро": 45323, + "▁открывает": 45324, + "▁лай": 45325, + "▁вела": 45326, + "чивый": 45327, + "▁умение": 45328, + "▁Кло": 45329, + "▁высшее": 45330, + "▁помогать": 45331, + "кия": 45332, + "▁целые": 45333, + "▁раннего": 45334, + "▁страницах": 45335, + "▁завеща": 45336, + "пири": 45337, + "▁Даге": 45338, + "▁обычного": 45339, + "▁съез": 45340, + "▁воспа": 45341, + "▁умы": 45342, + "▁заняться": 45343, + "▁зама": 45344, + "▁стили": 45345, + "▁эвакуи": 45346, + "▁угля": 45347, + "▁заинтересо": 45348, + "рыз": 45349, + "▁таблицы": 45350, + "▁Татьяна": 45351, + "нист": 45352, + "▁мотор": 45353, + "▁экзо": 45354, + "▁Суво": 45355, + "▁благополучно": 45356, + "▁бесконечно": 45357, + "▁смяг": 45358, + "гаться": 45359, + "ковали": 45360, + "суа": 45361, + "▁футболу": 45362, + "▁военнослужащих": 45363, + "▁единица": 45364, + "▁Кристи": 45365, + "▁пошло": 45366, + "▁Старо": 45367, + "▁исторические": 45368, + "▁Взя": 45369, + "▁менедже": 45370, + "▁орденами": 45371, + "▁попра": 45372, + "▁обычный": 45373, + "Моск": 45374, + "све": 45375, + "линский": 45376, + "▁расширение": 45377, + "▁своев": 45378, + "торий": 45379, + "▁Чарль": 45380, + "▁мульти": 45381, + "▁горю": 45382, + "▁княже": 45383, + "▁неи": 45384, + "▁осуществлять": 45385, + "▁отдельной": 45386, + "▁выпа": 45387, + "хран": 45388, + "▁отправились": 45389, + "▁дог": 45390, + "▁выби": 45391, + "▁кнопку": 45392, + "▁достигли": 45393, + "▁непод": 45394, + "▁нера": 45395, + "▁землетря": 45396, + "▁Абду": 45397, + "▁судей": 45398, + "▁Язы": 45399, + "метрии": 45400, + "▁Богда": 45401, + "▁командующего": 45402, + "▁памятника": 45403, + "▁Еванге": 45404, + "▁разрушения": 45405, + "▁Яку": 45406, + "▁бывшей": 45407, + "▁большевиков": 45408, + "▁приё": 45409, + "▁румы": 45410, + "▁признания": 45411, + "▁мульт": 45412, + "▁миллионы": 45413, + "▁Лос": 45414, + "▁взы": 45415, + "▁убеждения": 45416, + "▁Лео": 45417, + "▁правительству": 45418, + "нову": 45419, + "▁Решение": 45420, + "▁Дэвид": 45421, + "ношений": 45422, + "▁рыча": 45423, + "▁пальцев": 45424, + "▁ЗА": 45425, + "▁Лиги": 45426, + "▁активное": 45427, + "стику": 45428, + "▁выполнении": 45429, + "▁крепко": 45430, + "▁изъ": 45431, + "▁смея": 45432, + "гите": 45433, + "▁вещество": 45434, + "▁Против": 45435, + "▁детских": 45436, + "▁услож": 45437, + "▁развиваться": 45438, + "▁Пись": 45439, + "▁отража": 45440, + "▁маленькой": 45441, + "хоже": 45442, + "▁убедиться": 45443, + "Нет": 45444, + "▁Хей": 45445, + "▁видимости": 45446, + "▁пятьдесят": 45447, + "▁вон": 45448, + "▁технике": 45449, + "▁историей": 45450, + "▁популярность": 45451, + "▁приобретает": 45452, + "▁выходят": 45453, + "▁единства": 45454, + "▁безум": 45455, + "▁вспоминает": 45456, + "▁помещении": 45457, + "ляцию": 45458, + "▁Воль": 45459, + "▁печата": 45460, + "▁Максим": 45461, + "▁Вспом": 45462, + "▁патрио": 45463, + "гун": 45464, + "▁герцога": 45465, + "▁спрашивает": 45466, + "нейшее": 45467, + "▁ежеднев": 45468, + "▁боевого": 45469, + "▁Лука": 45470, + "▁награды": 45471, + "▁разобла": 45472, + "▁крупным": 45473, + "▁воо": 45474, + "беди": 45475, + "вара": 45476, + "▁волей": 45477, + "▁следствием": 45478, + "▁Тек": 45479, + "▁красного": 45480, + "▁дым": 45481, + "▁волна": 45482, + "▁Зака": 45483, + "▁гениаль": 45484, + "▁истребителей": 45485, + "▁сомнений": 45486, + "▁колони": 45487, + "▁пользовался": 45488, + "село": 45489, + "▁некоторой": 45490, + "рской": 45491, + "▁вымы": 45492, + "▁говорим": 45493, + "▁диссертацию": 45494, + "▁получило": 45495, + "▁советская": 45496, + "▁необходимое": 45497, + "▁ценных": 45498, + "▁уничтожения": 45499, + "▁умолчанию": 45500, + "▁Комитета": 45501, + "▁больницу": 45502, + "▁потребления": 45503, + "▁настройки": 45504, + "чьи": 45505, + "▁подводных": 45506, + "▁лошадь": 45507, + "▁губ": 45508, + "▁Главного": 45509, + "▁потерь": 45510, + "▁толпы": 45511, + "▁пальцы": 45512, + "клу": 45513, + "▁Анали": 45514, + "▁наследия": 45515, + "ману": 45516, + "ппо": 45517, + "▁общ": 45518, + "▁референ": 45519, + "▁совести": 45520, + "смотрите": 45521, + "▁частной": 45522, + "хоза": 45523, + "▁пациентов": 45524, + "▁товарищи": 45525, + "веща": 45526, + "▁надеюсь": 45527, + "гова": 45528, + "▁собаку": 45529, + "жига": 45530, + "▁Интернет": 45531, + "▁балет": 45532, + "▁потребуется": 45533, + "▁проща": 45534, + "▁Третья": 45535, + "Воз": 45536, + "▁процента": 45537, + "▁челю": 45538, + "▁изум": 45539, + "includ": 45540, + "▁зовут": 45541, + "▁Каль": 45542, + "▁мощностью": 45543, + "▁бесплатно": 45544, + "▁Уил": 45545, + "дными": 45546, + "▁Гю": 45547, + "▁взяла": 45548, + "куру": 45549, + "▁свеже": 45550, + "▁Крыму": 45551, + "▁подробности": 45552, + "▁ждал": 45553, + "▁фельд": 45554, + "▁производству": 45555, + "лэ": 45556, + "▁рога": 45557, + "▁Византи": 45558, + "нче": 45559, + "▁сыновья": 45560, + "▁отражает": 45561, + "▁убежи": 45562, + "ловский": 45563, + "▁попыток": 45564, + "линей": 45565, + "▁пожало": 45566, + "▁нашла": 45567, + "стник": 45568, + "▁португа": 45569, + "тской": 45570, + "▁шаги": 45571, + "▁фактор": 45572, + "▁Бориса": 45573, + "▁понимали": 45574, + "▁стороной": 45575, + "▁государстве": 45576, + "▁обозначения": 45577, + "единён": 45578, + "▁МА": 45579, + "▁веж": 45580, + "▁защитить": 45581, + "рыми": 45582, + "▁витами": 45583, + "нтер": 45584, + "▁Шев": 45585, + "▁передо": 45586, + "донос": 45587, + "Americ": 45588, + "▁материали": 45589, + "▁Супер": 45590, + "▁Иоанн": 45591, + "словие": 45592, + "▁показатель": 45593, + "▁черной": 45594, + "▁равна": 45595, + "▁бота": 45596, + "▁лекси": 45597, + "▁карьере": 45598, + "▁постели": 45599, + "виз": 45600, + "шников": 45601, + "▁нею": 45602, + "▁социал": 45603, + "ец": 45604, + "▁работник": 45605, + "▁царства": 45606, + "Ду": 45607, + "▁опухо": 45608, + "▁твои": 45609, + "▁поколений": 45610, + "▁количеству": 45611, + "▁Баль": 45612, + "▁отрази": 45613, + "▁раун": 45614, + "▁потенциал": 45615, + "ГА": 45616, + "▁реакцию": 45617, + "▁аспи": 45618, + "▁епископа": 45619, + "▁свободной": 45620, + "▁нуждается": 45621, + "▁открыта": 45622, + "▁собирать": 45623, + "▁аэропор": 45624, + "▁ближайшие": 45625, + "▁министром": 45626, + "▁памятников": 45627, + "▁Ил": 45628, + "▁единственная": 45629, + "▁адресу": 45630, + "▁недоступ": 45631, + "▁создано": 45632, + "▁агрега": 45633, + "▁Проект": 45634, + "▁определё": 45635, + "▁стремился": 45636, + "▁считалось": 45637, + "▁углом": 45638, + "▁клубом": 45639, + "▁площадью": 45640, + "▁проводились": 45641, + "▁Дети": 45642, + "▁предстояло": 45643, + "▁направлений": 45644, + "▁умно": 45645, + "▁совмести": 45646, + "▁Азербайджана": 45647, + "▁справиться": 45648, + "▁Принци": 45649, + "▁Томас": 45650, + "местно": 45651, + "▁монар": 45652, + "▁направлены": 45653, + "▁Белого": 45654, + "▁ростом": 45655, + "▁Лермон": 45656, + "▁произведен": 45657, + "▁электронной": 45658, + "▁национальный": 45659, + "дилась": 45660, + "▁позволили": 45661, + "▁войной": 45662, + "▁мемуа": 45663, + "▁Португа": 45664, + "шенная": 45665, + "▁добился": 45666, + "▁фигур": 45667, + "▁желает": 45668, + "▁разделить": 45669, + "▁месяцы": 45670, + "▁лжи": 45671, + "▁капиту": 45672, + "▁капитал": 45673, + "воя": 45674, + "шай": 45675, + "▁продать": 45676, + "▁вашем": 45677, + "ieuten": 45678, + "▁прекрасный": 45679, + "▁одноимён": 45680, + "inem": 45681, + "▁почвы": 45682, + "▁Является": 45683, + "▁офицера": 45684, + "▁шагов": 45685, + "▁персонаж": 45686, + "▁идеали": 45687, + "ЧС": 45688, + "ссам": 45689, + "▁репли": 45690, + "▁ребенку": 45691, + "ХЛ": 45692, + "▁ближайшее": 45693, + "▁носил": 45694, + "▁регионах": 45695, + "essor": 45696, + "▁узлов": 45697, + "▁Шер": 45698, + "▁Хэ": 45699, + "▁критику": 45700, + "Луч": 45701, + "▁грузи": 45702, + "вающее": 45703, + "▁танковой": 45704, + "▁будущих": 45705, + "▁Характер": 45706, + "▁голосования": 45707, + "Андже": 45708, + "▁озву": 45709, + "▁металлов": 45710, + "▁Оказалось": 45711, + "́ль": 45712, + "▁Наша": 45713, + "▁забра": 45714, + "▁страсти": 45715, + "▁Управление": 45716, + "когда": 45717, + "▁взаимоотношения": 45718, + "▁заговор": 45719, + "▁Чемпион": 45720, + "▁сигнала": 45721, + "▁русскими": 45722, + "▁резолю": 45723, + "▁заметили": 45724, + "▁провали": 45725, + "▁важнейших": 45726, + "▁привязан": 45727, + "▁стекла": 45728, + "▁пружи": 45729, + "▁князей": 45730, + "▁пользовались": 45731, + "альное": 45732, + "нги": 45733, + "▁поту": 45734, + "ступив": 45735, + "▁поговорить": 45736, + "▁сборная": 45737, + "▁номером": 45738, + "▁Октябрьской": 45739, + "▁откровен": 45740, + "▁социализма": 45741, + "▁Най": 45742, + "▁лом": 45743, + "▁каждые": 45744, + "рать": 45745, + "проект": 45746, + "вуд": 45747, + "▁журналистам": 45748, + "▁столкновения": 45749, + "▁проживало": 45750, + "▁долга": 45751, + "▁преры": 45752, + "▁обман": 45753, + "▁транспортных": 45754, + "тельских": 45755, + "новка": 45756, + "▁смеси": 45757, + "▁Геро": 45758, + "▁вдвое": 45759, + "▁ознакоми": 45760, + "▁зону": 45761, + "▁догада": 45762, + "▁Арави": 45763, + "▁приводят": 45764, + "альная": 45765, + "лией": 45766, + "▁представил": 45767, + "▁чеш": 45768, + "▁особенность": 45769, + "▁становились": 45770, + "▁Ран": 45771, + "▁воскре": 45772, + "▁противником": 45773, + "вардей": 45774, + "▁балла": 45775, + "ционера": 45776, + "▁Улица": 45777, + "▁Группа": 45778, + "▁груз": 45779, + "▁мигра": 45780, + "▁символов": 45781, + "▁надежда": 45782, + "стическую": 45783, + "▁чудовищ": 45784, + "▁проволо": 45785, + "▁английских": 45786, + "▁крупной": 45787, + "▁произвести": 45788, + "алы": 45789, + "▁зря": 45790, + "Под": 45791, + "▁печат": 45792, + "▁подобной": 45793, + "▁Югославии": 45794, + "▁Пожалуй": 45795, + "▁настроения": 45796, + "▁генеральный": 45797, + "▁денежных": 45798, + "▁набере": 45799, + "▁Экс": 45800, + "▁показаться": 45801, + "▁корм": 45802, + "▁согласие": 45803, + "▁равнове": 45804, + "rong": 45805, + "▁сетей": 45806, + "▁полки": 45807, + "некдо": 45808, + "▁отдельного": 45809, + "▁малой": 45810, + "▁лодок": 45811, + "▁Татар": 45812, + "▁чине": 45813, + "точных": 45814, + "▁Силь": 45815, + "ив": 45816, + "▁полученных": 45817, + "▁снизу": 45818, + "▁требовалось": 45819, + "▁назначил": 45820, + "▁вопросе": 45821, + "территориаль": 45822, + "▁соревнований": 45823, + "лава": 45824, + "▁спусти": 45825, + "▁Узбеки": 45826, + "▁официальной": 45827, + "▁Министерство": 45828, + "Интер": 45829, + "▁Вет": 45830, + "ковод": 45831, + "▁академик": 45832, + "▁Оре": 45833, + "▁Киева": 45834, + "▁Христос": 45835, + "▁существ": 45836, + "▁значении": 45837, + "▁мужество": 45838, + "▁конкретного": 45839, + "▁ориентирова": 45840, + "▁обратил": 45841, + "▁сооружений": 45842, + "просы": 45843, + "▁встроен": 45844, + "▁замка": 45845, + "▁сообщить": 45846, + "дачи": 45847, + "▁Работал": 45848, + "▁Латвии": 45849, + "▁праздни": 45850, + "▁производит": 45851, + "▁agricult": 45852, + "жами": 45853, + "ОП": 45854, + "▁Масса": 45855, + "▁слоя": 45856, + "▁одея": 45857, + "ёте": 45858, + "▁защита": 45859, + "ническая": 45860, + "▁писала": 45861, + "стал": 45862, + "▁Афана": 45863, + "▁комедии": 45864, + "▁Генрих": 45865, + "▁Генна": 45866, + "▁норве": 45867, + "▁военном": 45868, + "развед": 45869, + "▁отправиться": 45870, + "▁думали": 45871, + "фото": 45872, + "игра": 45873, + "женную": 45874, + "трю": 45875, + "▁учитывая": 45876, + "▁рассказывать": 45877, + "гию": 45878, + "ндо": 45879, + "▁описал": 45880, + "▁Чёр": 45881, + "▁Апол": 45882, + "ренности": 45883, + "▁небы": 45884, + "▁облик": 45885, + "▁усы": 45886, + "▁потребителей": 45887, + "▁размещения": 45888, + "довали": 45889, + "метр": 45890, + "Вели": 45891, + "▁Алексеевич": 45892, + "▁финал": 45893, + "▁дно": 45894, + "▁возвраща": 45895, + "▁достижение": 45896, + "unior": 45897, + "лекопита": 45898, + "▁обещал": 45899, + "▁тайны": 45900, + "▁нанести": 45901, + "▁экскур": 45902, + "▁восприятие": 45903, + "▁девушку": 45904, + "▁сильных": 45905, + "▁стихотворения": 45906, + "▁сравнения": 45907, + "▁статуса": 45908, + "▁инженера": 45909, + "▁Говори": 45910, + "▁называемых": 45911, + "▁спину": 45912, + "▁вреда": 45913, + "▁Саратов": 45914, + "жоу": 45915, + "▁перешла": 45916, + "▁Аналоги": 45917, + "▁оправды": 45918, + "▁передаче": 45919, + "▁Брат": 45920, + "▁полезно": 45921, + "▁смеши": 45922, + "▁слизи": 45923, + "▁неправильно": 45924, + "́,": 45925, + "▁всер": 45926, + "▁тканей": 45927, + "цкая": 45928, + "▁баскет": 45929, + "▁аэропорта": 45930, + "▁контролем": 45931, + "▁образец": 45932, + "▁персид": 45933, + "▁каба": 45934, + "▁покоя": 45935, + "чиками": 45936, + "▁командующий": 45937, + "▁рубля": 45938, + "▁прочего": 45939, + "▁Майкл": 45940, + "▁Люби": 45941, + "▁фрей": 45942, + "▁вожде": 45943, + "▁планете": 45944, + "▁урегули": 45945, + "▁единственное": 45946, + "▁Конгре": 45947, + "▁Николаев": 45948, + "▁травмы": 45949, + "нскую": 45950, + "▁штате": 45951, + "▁произнес": 45952, + "ректор": 45953, + "▁заседания": 45954, + "▁Георгия": 45955, + "ловича": 45956, + "▁доходы": 45957, + "▁праве": 45958, + "▁настрой": 45959, + "щиками": 45960, + "иска": 45961, + "▁указанных": 45962, + "▁составлял": 45963, + "▁основное": 45964, + "▁выступают": 45965, + "▁усер": 45966, + "▁диапазо": 45967, + "шедший": 45968, + "скопи": 45969, + "▁гвоз": 45970, + "▁воля": 45971, + "▁латы": 45972, + "▁совокупность": 45973, + "▁коллекции": 45974, + "▁привык": 45975, + "дивительно": 45976, + "▁ископа": 45977, + "▁гибель": 45978, + "▁ходили": 45979, + "щимся": 45980, + "▁населением": 45981, + "НЕ": 45982, + "▁Ахма": 45983, + "торам": 45984, + "▁бумаг": 45985, + "▁комен": 45986, + "▁дыхания": 45987, + "▁твёр": 45988, + "нинг": 45989, + "▁Результаты": 45990, + "▁подно": 45991, + "▁травы": 45992, + "▁носят": 45993, + "▁лицам": 45994, + "▁советы": 45995, + "▁славу": 45996, + "▁стекля": 45997, + "метов": 45998, + "▁Господа": 45999, + "▁гражданских": 46000, + "рокко": 46001, + "▁эксплуатацию": 46002, + "▁старей": 46003, + "▁всякие": 46004, + "▁рассказов": 46005, + "▁срочно": 46006, + "▁группами": 46007, + "▁ячей": 46008, + "▁образуется": 46009, + "▁Проблема": 46010, + "▁бель": 46011, + "▁Государственный": 46012, + "▁давлением": 46013, + "совые": 46014, + "▁ветви": 46015, + "харак": 46016, + "▁наилуч": 46017, + "▁типу": 46018, + "▁произойдет": 46019, + "жут": 46020, + "▁трубы": 46021, + ".#": 46022, + "▁девочки": 46023, + "▁пало": 46024, + "▁разма": 46025, + "▁Дай": 46026, + "▁Вера": 46027, + "▁массой": 46028, + "▁коллектива": 46029, + "▁шест": 46030, + "▁основал": 46031, + "▁никуда": 46032, + "▁элементами": 46033, + "▁полномочий": 46034, + "▁гипо": 46035, + "▁находящихся": 46036, + "дес": 46037, + "кио": 46038, + "тема": 46039, + "ляться": 46040, + "▁уголовное": 46041, + "ьева": 46042, + "▁Горького": 46043, + "чьих": 46044, + "▁действовали": 46045, + "▁Сент": 46046, + "▁прого": 46047, + "▁вызвали": 46048, + "▁описать": 46049, + "▁злоупотре": 46050, + "▁Начало": 46051, + "▁потребностей": 46052, + "▁взросло": 46053, + "вкой": 46054, + "▁беспоряд": 46055, + "▁Ломоно": 46056, + "▁распределения": 46057, + "▁нале": 46058, + "▁Порт": 46059, + "▁Буха": 46060, + "▁Неужели": 46061, + "▁дай": 46062, + "▁патриарха": 46063, + "▁сливо": 46064, + "▁сделает": 46065, + "▁считаться": 46066, + "▁официальных": 46067, + "▁критика": 46068, + "▁признан": 46069, + "Ор": 46070, + "тчики": 46071, + "▁столкнове": 46072, + "▁Бэ": 46073, + "▁гл": 46074, + "▁cerem": 46075, + "▁посетил": 46076, + "▁корректи": 46077, + "▁отмечал": 46078, + "▁сильной": 46079, + "лама": 46080, + "▁хвост": 46081, + "▁необходимы": 46082, + "▁вашим": 46083, + "▁низкой": 46084, + "▁ограничений": 46085, + "▁умереть": 46086, + "▁лишения": 46087, + "бини": 46088, + "▁подтвердил": 46089, + "Фа": 46090, + "▁забира": 46091, + "рассу": 46092, + "▁подать": 46093, + "▁удовольствия": 46094, + "товал": 46095, + "▁духом": 46096, + "▁подал": 46097, + "cious": 46098, + "▁подозри": 46099, + "ёрт": 46100, + "▁пригласил": 46101, + "дями": 46102, + "▁Постоя": 46103, + "щаяся": 46104, + "▁хорошая": 46105, + "▁смело": 46106, + "▁снизи": 46107, + "▁картофе": 46108, + "▁становился": 46109, + "▁Норвегии": 46110, + "люсь": 46111, + "▁Богороди": 46112, + "▁современный": 46113, + "▁побед": 46114, + "▁плотно": 46115, + "▁Строи": 46116, + "▁саду": 46117, + "вение": 46118, + "▁Леона": 46119, + "▁бь": 46120, + "ждаться": 46121, + "▁восстановление": 46122, + "▁даты": 46123, + "разви": 46124, + "▁твоей": 46125, + "шенного": 46126, + "▁потребовал": 46127, + "▁Гарри": 46128, + "динг": 46129, + "жав": 46130, + "▁различие": 46131, + "▁заключи": 46132, + "▁Астра": 46133, + "▁построены": 46134, + "▁небольшую": 46135, + "▁Иде": 46136, + "▁беспоко": 46137, + "мотри": 46138, + "▁Кубок": 46139, + "▁вину": 46140, + "▁переза": 46141, + "▁ждали": 46142, + "!\",": 46143, + "!»": 46144, + "▁сомни": 46145, + "▁эше": 46146, + "▁Запа": 46147, + "▁призем": 46148, + "▁Ник": 46149, + "▁аварии": 46150, + "СЯ": 46151, + "▁содержанием": 46152, + "▁общественный": 46153, + "▁сильного": 46154, + "▁выбрал": 46155, + "▁печени": 46156, + "▁банди": 46157, + "▁такси": 46158, + "рога": 46159, + "▁Конституции": 46160, + "западе": 46161, + "▁сюр": 46162, + "станция": 46163, + "▁перекре": 46164, + "▁принести": 46165, + "низма": 46166, + "ieutenant": 46167, + "▁попробу": 46168, + "▁фини": 46169, + "▁ждут": 46170, + "▁бесси": 46171, + "▁промышленных": 46172, + "Вот": 46173, + "мем": 46174, + "▁турнир": 46175, + "▁перспективы": 46176, + "▁удовлетвори": 46177, + "▁политическую": 46178, + "▁супруга": 46179, + "▁выпусти": 46180, + "▁осново": 46181, + "▁деньгами": 46182, + "▁огромную": 46183, + "ждала": 46184, + "▁искренне": 46185, + "▁целую": 46186, + "▁расположенных": 46187, + "Спарта": 46188, + "▁жёл": 46189, + "▁ушла": 46190, + "▁выйдет": 46191, + "▁вспомнил": 46192, + "▁двенадцать": 46193, + "▁тяжелой": 46194, + "▁полуша": 46195, + "▁ОТ": 46196, + "▁пробо": 46197, + "▁проблемами": 46198, + "▁dang": 46199, + "конферен": 46200, + "▁Кора": 46201, + "служба": 46202, + "▁файлы": 46203, + "▁сертифика": 46204, + "▁неизмен": 46205, + "▁Бала": 46206, + "▁захватили": 46207, + "▁дифференци": 46208, + "воздуш": 46209, + "▁диска": 46210, + "▁попытке": 46211, + "▁образца": 46212, + "▁Иисус": 46213, + "▁существовали": 46214, + "▁разбой": 46215, + "тыся": 46216, + "▁окрестностях": 46217, + "́т": 46218, + "▁снял": 46219, + "▁приво": 46220, + "▁Адам": 46221, + "▁успехов": 46222, + "рованную": 46223, + "▁Македо": 46224, + "▁факульте": 46225, + "▁покупать": 46226, + "▁Количество": 46227, + "▁круго": 46228, + "▁Русь": 46229, + "▁засу": 46230, + "▁связя": 46231, + "кель": 46232, + "▁начинать": 46233, + "▁Наполеона": 46234, + "▁этаже": 46235, + "▁подсозна": 46236, + "▁расположенный": 46237, + "чёта": 46238, + "совест": 46239, + "▁советское": 46240, + "▁ступени": 46241, + "▁Значи": 46242, + "▁скота": 46243, + "хле": 46244, + "▁профсо": 46245, + "▁надоб": 46246, + "▁Никогда": 46247, + "▁финала": 46248, + "унд": 46249, + "▁применением": 46250, + "▁условие": 46251, + "▁страдания": 46252, + "шных": 46253, + "шлись": 46254, + "▁Англию": 46255, + "▁приоб": 46256, + "тонов": 46257, + "▁плац": 46258, + "▁сорока": 46259, + "▁Ленинграде": 46260, + "вна": 46261, + "ням": 46262, + "льском": 46263, + "▁макро": 46264, + "чивается": 46265, + "▁главу": 46266, + "▁наружу": 46267, + "▁утили": 46268, + "▁приемы": 46269, + "▁Владимирович": 46270, + "▁всад": 46271, + "▁кольца": 46272, + "обе": 46273, + "▁зарубежных": 46274, + "▁Ката": 46275, + "▁Национальный": 46276, + "▁ведо": 46277, + "▁первому": 46278, + "▁яго": 46279, + "▁доверя": 46280, + "▁курсе": 46281, + "▁христианства": 46282, + "▁механизмы": 46283, + "▁развивать": 46284, + "логе": 46285, + "▁американская": 46286, + "▁значительную": 46287, + "▁Калу": 46288, + "▁отче": 46289, + "тятся": 46290, + "▁Итали": 46291, + "▁собирались": 46292, + "▁формально": 46293, + "▁музыке": 46294, + "▁колосса": 46295, + "▁Опять": 46296, + "▁весен": 46297, + "▁древнего": 46298, + "▁полуострова": 46299, + "▁сознательно": 46300, + "▁противников": 46301, + "▁Международного": 46302, + "▁построй": 46303, + "▁проблеме": 46304, + "▁пожар": 46305, + "льских": 46306, + "▁молодости": 46307, + "zil": 46308, + "▁Трам": 46309, + "▁объём": 46310, + "▁библей": 46311, + "▁госуда": 46312, + "чиной": 46313, + "▁Сдела": 46314, + "▁алюми": 46315, + "▁Брита": 46316, + "▁написана": 46317, + "чан": 46318, + "▁австралий": 46319, + "▁определяют": 46320, + "▁тупи": 46321, + "СБ": 46322, + "скоп": 46323, + "▁маленькая": 46324, + "▁Важно": 46325, + "▁чь": 46326, + "▁мгновение": 46327, + "▁формах": 46328, + "ленно": 46329, + "▁слышать": 46330, + "клы": 46331, + "несены": 46332, + "▁насекомых": 46333, + "▁почве": 46334, + "▁компоненты": 46335, + "▁Четы": 46336, + "▁конь": 46337, + "▁мастеров": 46338, + "▁рассмотрения": 46339, + "▁миллион": 46340, + "▁небольшого": 46341, + "▁эксперимент": 46342, + "▁Чаще": 46343, + "▁dra": 46344, + "дни": 46345, + "▁островах": 46346, + "▁захвата": 46347, + "хма": 46348, + "▁римля": 46349, + "▁черного": 46350, + "▁перевер": 46351, + "▁женского": 46352, + "▁будущей": 46353, + "▁мону": 46354, + "▁сказки": 46355, + "▁введения": 46356, + "▁Лег": 46357, + "▁технические": 46358, + "телось": 46359, + "▁символом": 46360, + "ОК": 46361, + "▁споры": 46362, + "▁костей": 46363, + "▁проводятся": 46364, + "зали": 46365, + "odies": 46366, + "▁нагру": 46367, + "▁календар": 46368, + "▁сержант": 46369, + "▁образован": 46370, + "▁засыпа": 46371, + "▁вины": 46372, + "▁сочетании": 46373, + "функ": 46374, + "▁Кав": 46375, + "▁политическая": 46376, + "вери": 46377, + "▁диагно": 46378, + "▁шот": 46379, + "▁спине": 46380, + "▁ценой": 46381, + "▁Институт": 46382, + "▁посовето": 46383, + "▁РА": 46384, + "шна": 46385, + "▁образцы": 46386, + "▁Сказа": 46387, + "▁называемой": 46388, + "▁анима": 46389, + "читывая": 46390, + "▁рю": 46391, + "▁третья": 46392, + "uting": 46393, + "▁навыки": 46394, + "▁старшим": 46395, + "▁механизмов": 46396, + "▁запрет": 46397, + "▁млекопита": 46398, + "▁токси": 46399, + "▁пользуется": 46400, + "▁форси": 46401, + "▁Флорен": 46402, + "▁наименование": 46403, + "сар": 46404, + "▁образует": 46405, + "▁преле": 46406, + "▁чужой": 46407, + "▁свободе": 46408, + "▁литературу": 46409, + "▁реоргани": 46410, + "фильм": 46411, + "▁ню": 46412, + "▁тенденции": 46413, + "▁шле": 46414, + "▁рыбу": 46415, + "▁ремесле": 46416, + "дием": 46417, + "▁Улья": 46418, + "▁происшествия": 46419, + "▁поступать": 46420, + "▁Кот": 46421, + "ocated": 46422, + "▁зат": 46423, + "бота": 46424, + "▁санитар": 46425, + "▁расследова": 46426, + "▁Ирландии": 46427, + "▁коричне": 46428, + "▁показала": 46429, + "▁казаков": 46430, + "▁женской": 46431, + "▁рент": 46432, + "▁азо": 46433, + "▁автодоро": 46434, + "▁Вечером": 46435, + "▁большего": 46436, + "▁выступлений": 46437, + "▁улицах": 46438, + "ровкой": 46439, + "▁брони": 46440, + "▁презента": 46441, + "▁Постано": 46442, + "▁выставке": 46443, + "rowd": 46444, + "▁думают": 46445, + "Бы": 46446, + "▁империали": 46447, + "тово": 46448, + "▁концепция": 46449, + "ниса": 46450, + "▁общаться": 46451, + "▁Ближ": 46452, + "▁фразы": 46453, + "▁сделан": 46454, + "снаб": 46455, + "▁подъем": 46456, + "▁Наталья": 46457, + "▁повест": 46458, + "▁продаже": 46459, + "▁директоров": 46460, + "заны": 46461, + "▁Зай": 46462, + "▁встретиться": 46463, + "▁Осенью": 46464, + "▁позволил": 46465, + "▁судьи": 46466, + "▁юности": 46467, + "▁атмосферу": 46468, + "▁Кир": 46469, + "ленными": 46470, + "▁дивизиона": 46471, + "ГИ": 46472, + "квизи": 46473, + "▁стоило": 46474, + "вите": 46475, + "ванных": 46476, + "юзеля": 46477, + "▁спектра": 46478, + "▁политическим": 46479, + "▁наблюдений": 46480, + "▁возможные": 46481, + "▁приклад": 46482, + "▁Уол": 46483, + "▁разногла": 46484, + "вани": 46485, + "▁возникнове": 46486, + "знание": 46487, + "▁атмосферы": 46488, + "▁философия": 46489, + "▁затрат": 46490, + "▁плечи": 46491, + "▁использовался": 46492, + "мса": 46493, + "▁национально": 46494, + "▁откровенно": 46495, + "▁падение": 46496, + "▁направлению": 46497, + "ваешь": 46498, + "»\".": 46499, + "▁митин": 46500, + "зовая": 46501, + "чатки": 46502, + "▁Собственно": 46503, + "▁диаметром": 46504, + "▁запасы": 46505, + "▁очер": 46506, + "▁экспертов": 46507, + "▁нелег": 46508, + "▁пыль": 46509, + "▁обычные": 46510, + "▁содержать": 46511, + "▁одежда": 46512, + "Боль": 46513, + "▁ТВ": 46514, + "▁дворце": 46515, + "▁гипно": 46516, + "▁океа": 46517, + "▁Эли": 46518, + "▁нелега": 46519, + "▁спросить": 46520, + "▁локали": 46521, + "▁пожара": 46522, + "▁открытой": 46523, + "кнула": 46524, + "сели": 46525, + "▁повезло": 46526, + "▁парази": 46527, + "▁веще": 46528, + "▁причину": 46529, + "▁сеан": 46530, + "▁начнет": 46531, + "▁чтение": 46532, + "носил": 46533, + "свет": 46534, + "▁Хри": 46535, + "▁расто": 46536, + "▁существующих": 46537, + "▁выборе": 46538, + "▁светло": 46539, + "▁разговоры": 46540, + "наго": 46541, + "ОВА": 46542, + "▁включают": 46543, + "ython": 46544, + "кладывают": 46545, + "▁сообщается": 46546, + "хау": 46547, + "▁химических": 46548, + "рованными": 46549, + "▁Имя": 46550, + "▁детской": 46551, + "▁контакты": 46552, + "▁расследование": 46553, + "▁Бак": 46554, + "▁оты": 46555, + "▁разверты": 46556, + "▁неви": 46557, + "▁консуль": 46558, + "▁мотивы": 46559, + "▁перебра": 46560, + "▁твоя": 46561, + "▁замечает": 46562, + "▁Сибир": 46563, + "стина": 46564, + "▁Учи": 46565, + "▁добраться": 46566, + "▁принуди": 46567, + "▁погу": 46568, + "▁свободное": 46569, + "▁начинал": 46570, + "▁важной": 46571, + "▁реформ": 46572, + "тиками": 46573, + "▁целых": 46574, + "▁храме": 46575, + "▁малого": 46576, + "▁Идея": 46577, + "▁нефть": 46578, + "▁доверие": 46579, + "▁Цвет": 46580, + "▁знаменитого": 46581, + "чались": 46582, + "▁реабили": 46583, + "коп": 46584, + "▁архитектор": 46585, + "▁репети": 46586, + "▁забывать": 46587, + "ТП": 46588, + "▁бывало": 46589, + "▁создается": 46590, + "▁мыше": 46591, + "ир": 46592, + "турах": 46593, + "▁фильмах": 46594, + "▁ареста": 46595, + "▁вызывать": 46596, + "пав": 46597, + "▁живого": 46598, + "▁Ради": 46599, + "пила": 46600, + "чался": 46601, + "▁рту": 46602, + "▁сражении": 46603, + "▁ходатай": 46604, + "▁применить": 46605, + "▁идеологии": 46606, + "▁Солне": 46607, + "▁перечень": 46608, + "▁считался": 46609, + "▁перифе": 46610, + "▁открытый": 46611, + "▁угрозой": 46612, + "▁плот": 46613, + "▁Импе": 46614, + "▁четверо": 46615, + "▁Кала": 46616, + "▁квалификации": 46617, + "ая": 46618, + "▁поступает": 46619, + "ЖД": 46620, + "устрой": 46621, + "▁лету": 46622, + "▁созре": 46623, + "▁парке": 46624, + "дент": 46625, + "жание": 46626, + "губерна": 46627, + "▁сюжета": 46628, + "смотреть": 46629, + "▁Полит": 46630, + "▁мужской": 46631, + "▁черные": 46632, + "▁Румынии": 46633, + "дишь": 46634, + "▁венти": 46635, + "▁весом": 46636, + "затор": 46637, + "▁Вдруг": 46638, + "▁приорите": 46639, + "ид": 46640, + "реали": 46641, + "▁сервера": 46642, + "▁кругом": 46643, + "▁афи": 46644, + "▁изображений": 46645, + "▁Правительство": 46646, + "▁Проис": 46647, + "▁предписа": 46648, + "▁приспо": 46649, + "▁свин": 46650, + "▁празднова": 46651, + "▁севера": 46652, + "жники": 46653, + "▁цензу": 46654, + "тине": 46655, + "мигра": 46656, + "лософ": 46657, + "▁жёст": 46658, + "▁храбро": 46659, + "▁добычи": 46660, + "▁отправили": 46661, + "▁пришёл": 46662, + "▁безрабо": 46663, + "▁Новые": 46664, + "▁Кин": 46665, + "сион": 46666, + "▁Ирана": 46667, + "▁монет": 46668, + "▁чечен": 46669, + "▁разработа": 46670, + "▁мифологии": 46671, + "▁глубже": 46672, + "▁персонала": 46673, + "▁экономические": 46674, + "▁соответствующей": 46675, + "irds": 46676, + "численные": 46677, + "▁топ": 46678, + "▁вопросами": 46679, + "▁шасси": 46680, + "▁достигла": 46681, + "▁прогрессив": 46682, + "▁украинский": 46683, + "▁мусо": 46684, + "▁отождеств": 46685, + "▁компроми": 46686, + "▁актов": 46687, + "▁Правительства": 46688, + "▁Волго": 46689, + "▁периоды": 46690, + "▁просить": 46691, + "▁переиз": 46692, + "▁эффекта": 46693, + "колы": 46694, + "▁варианте": 46695, + "▁слезы": 46696, + "▁Весной": 46697, + "▁видны": 46698, + "слове": 46699, + "▁поды": 46700, + "▁рассуждения": 46701, + "▁Экономи": 46702, + "вика": 46703, + "▁Остальные": 46704, + "▁коммуникации": 46705, + "▁хру": 46706, + "▁особые": 46707, + "▁требовал": 46708, + "▁Ким": 46709, + "▁Всесоюз": 46710, + "шенным": 46711, + "▁долине": 46712, + "чьего": 46713, + "▁передней": 46714, + "меров": 46715, + "ровало": 46716, + "▁продолжала": 46717, + "▁Саль": 46718, + "▁Фар": 46719, + "▁чувствую": 46720, + "▁Соответственно": 46721, + "шами": 46722, + "шаться": 46723, + "▁качеств": 46724, + "▁станций": 46725, + "▁Восток": 46726, + "ненную": 46727, + "▁подой": 46728, + "▁боев": 46729, + "ственностью": 46730, + "▁сделаны": 46731, + "грамму": 46732, + "▁ученого": 46733, + "▁художественный": 46734, + "▁КА": 46735, + "▁берут": 46736, + "▁уверенно": 46737, + "нгу": 46738, + "▁традиционно": 46739, + "▁огор": 46740, + "▁кв": 46741, + "▁массового": 46742, + "▁школах": 46743, + "▁Достаточно": 46744, + "▁рассматривается": 46745, + "▁освободить": 46746, + "▁смотрели": 46747, + "▁идее": 46748, + "▁кабине": 46749, + "▁ледя": 46750, + "▁инфраструктуры": 46751, + "пс": 46752, + "▁Юрия": 46753, + "▁полномочия": 46754, + "▁фальши": 46755, + "▁ядро": 46756, + "▁системах": 46757, + "пот": 46758, + "▁бросить": 46759, + "▁услышать": 46760, + "▁коммен": 46761, + "▁характерно": 46762, + "▁свойствами": 46763, + "▁мотоци": 46764, + "▁обраща": 46765, + "▁Почёт": 46766, + "▁измери": 46767, + "тируется": 46768, + "▁преобразования": 46769, + "▁движется": 46770, + "▁съём": 46771, + "шня": 46772, + "дара": 46773, + "▁российская": 46774, + "▁Бир": 46775, + "▁рассея": 46776, + "броса": 46777, + "▁Моги": 46778, + "▁Львов": 46779, + "ликов": 46780, + "▁Иерусали": 46781, + "вской": 46782, + "▁утрен": 46783, + "▁левый": 46784, + "▁поверить": 46785, + "шё": 46786, + "био": 46787, + "звез": 46788, + "▁судья": 46789, + "▁руководители": 46790, + "▁воссозда": 46791, + "▁Похоронен": 46792, + "▁знач": 46793, + "▁воздушного": 46794, + "лиги": 46795, + "▁Каждо": 46796, + "▁думаете": 46797, + "▁долгосро": 46798, + "▁отзыва": 46799, + "▁соответствуют": 46800, + "▁Чего": 46801, + "▁стремительно": 46802, + "▁Екатерины": 46803, + "▁Хью": 46804, + "▁включить": 46805, + "▁стихотворение": 46806, + "▁организовал": 46807, + "▁стоян": 46808, + "▁вершины": 46809, + "▁собрались": 46810, + "▁космического": 46811, + "гс": 46812, + "▁кабинете": 46813, + "▁Электро": 46814, + "▁bey": 46815, + "▁гармони": 46816, + "▁иран": 46817, + "▁объявили": 46818, + "▁отмечают": 46819, + "▁поехал": 46820, + "▁листа": 46821, + "▁Будь": 46822, + "▁Эстонии": 46823, + "мовой": 46824, + "вою": 46825, + "▁прямого": 46826, + "▁Апо": 46827, + "▁лез": 46828, + "таться": 46829, + "▁обстановки": 46830, + "▁упорно": 46831, + "▁поначалу": 46832, + "▁тексту": 46833, + "веров": 46834, + "▁чесно": 46835, + "▁природой": 46836, + "логический": 46837, + "▁МГУ": 46838, + "▁перевести": 46839, + "▁Карло": 46840, + "▁командиров": 46841, + "▁вероятности": 46842, + "▁трети": 46843, + "обы": 46844, + "▁методами": 46845, + "▁украинских": 46846, + "ура": 46847, + "▁технической": 46848, + "▁прибре": 46849, + "▁XXI": 46850, + "▁времён": 46851, + "▁Советов": 46852, + "▁Фра": 46853, + "▁carri": 46854, + "▁органах": 46855, + "ганской": 46856, + "тары": 46857, + "▁проста": 46858, + "▁пятнадцать": 46859, + "▁Египте": 46860, + "▁Соч": 46861, + "▁акта": 46862, + "▁Льво": 46863, + "▁носили": 46864, + "▁Доку": 46865, + "ппе": 46866, + "▁поддержать": 46867, + "▁трубку": 46868, + "▁приведет": 46869, + "знания": 46870, + "▁учёный": 46871, + "▁След": 46872, + "▁Двор": 46873, + "▁Лы": 46874, + "высо": 46875, + "▁страница": 46876, + "▁неизменно": 46877, + "▁китайской": 46878, + "стерои": 46879, + "эле": 46880, + "чёр": 46881, + "▁положил": 46882, + "нько": 46883, + "▁Псков": 46884, + "▁медицинского": 46885, + "▁мышление": 46886, + "▁Показа": 46887, + "▁Ирина": 46888, + "▁нарушений": 46889, + "нуты": 46890, + "▁Росто": 46891, + "ванный": 46892, + "▁стену": 46893, + "▁Америку": 46894, + "▁эмоций": 46895, + "▁трю": 46896, + "▁пресе": 46897, + "▁редакти": 46898, + "▁готовность": 46899, + "▁подтвержда": 46900, + "▁вене": 46901, + "▁рисунок": 46902, + "▁народный": 46903, + "▁снижения": 46904, + "▁определенное": 46905, + "сина": 46906, + "▁расположи": 46907, + "▁служили": 46908, + "▁методо": 46909, + "знь": 46910, + "пкой": 46911, + "тинской": 46912, + "точные": 46913, + "▁Гражданской": 46914, + "▁войскам": 46915, + "▁комментарии": 46916, + "▁Кем": 46917, + "Бар": 46918, + "▁пикабу": 46919, + "ИМ": 46920, + "деш": 46921, + "▁известная": 46922, + "▁аэродром": 46923, + "▁простое": 46924, + "▁КО": 46925, + "▁азербайджа": 46926, + "▁Внутрен": 46927, + "▁тома": 46928, + "▁корпорации": 46929, + "▁королю": 46930, + "▁хозяева": 46931, + "▁тысячу": 46932, + "▁фаса": 46933, + "▁диалог": 46934, + "зированные": 46935, + "Вт": 46936, + "▁шириной": 46937, + "▁аккумуля": 46938, + "▁вселенной": 46939, + "▁поняла": 46940, + "▁неделе": 46941, + "▁уведом": 46942, + "▁экспорт": 46943, + "▁направлениях": 46944, + "▁изобрази": 46945, + "▁Эпи": 46946, + "Север": 46947, + "▁уна": 46948, + "▁Уда": 46949, + "▁совпа": 46950, + "▁колоколь": 46951, + "▁категория": 46952, + "▁Публи": 46953, + "▁естественным": 46954, + "▁самолёт": 46955, + "▁пояснил": 46956, + "▁Colon": 46957, + "▁итого": 46958, + "▁Объеди": 46959, + "фте": 46960, + "▁отк": 46961, + "шники": 46962, + "▁лат": 46963, + "▁открытом": 46964, + "▁предоставля": 46965, + "▁чая": 46966, + "▁трудов": 46967, + "хнул": 46968, + "▁увидела": 46969, + "▁сканда": 46970, + "▁Нере": 46971, + "▁посреди": 46972, + "бого": 46973, + "▁изучал": 46974, + "мба": 46975, + "▁предлагают": 46976, + "▁отдох": 46977, + "▁словарь": 46978, + "▁пулем": 46979, + "▁Мель": 46980, + "▁уменьши": 46981, + "▁хоккей": 46982, + "▁физические": 46983, + "▁хватило": 46984, + "▁Третий": 46985, + "▁мировых": 46986, + "▁ствола": 46987, + "ПО": 46988, + "▁стихий": 46989, + "uilding": 46990, + "невосто": 46991, + "▁Треть": 46992, + "мели": 46993, + "▁поду": 46994, + "монти": 46995, + "▁попе": 46996, + "▁заключил": 46997, + "▁Узна": 46998, + "▁Монте": 46999, + "▁бараба": 47000, + "▁гражданина": 47001, + "▁автомобили": 47002, + "▁реставра": 47003, + "▁открытых": 47004, + "мие": 47005, + "▁терапев": 47006, + "▁оставляет": 47007, + "▁свали": 47008, + "ходятся": 47009, + "▁прогресса": 47010, + "переди": 47011, + "▁Твор": 47012, + "▁Наполеон": 47013, + "▁Гера": 47014, + "▁колебаний": 47015, + "вости": 47016, + "▁нести": 47017, + "▁менедж": 47018, + "дую": 47019, + "▁МЧС": 47020, + "▁залож": 47021, + "▁стенах": 47022, + "▁приход": 47023, + "▁перестал": 47024, + "▁граммати": 47025, + "▁коридо": 47026, + "▁тона": 47027, + "▁Генерального": 47028, + "▁публики": 47029, + "▁внешние": 47030, + "▁Говорят": 47031, + "Фе": 47032, + "▁насиль": 47033, + "▁Какая": 47034, + "▁узел": 47035, + "▁Федор": 47036, + "▁почер": 47037, + "▁огла": 47038, + "▁Бет": 47039, + "Ай": 47040, + "▁близости": 47041, + "куля": 47042, + "▁возникнуть": 47043, + "▁важнее": 47044, + "тко": 47045, + "▁требовать": 47046, + "▁считаются": 47047, + "▁необходима": 47048, + "водили": 47049, + "сми": 47050, + "жины": 47051, + "ровый": 47052, + "щенное": 47053, + "▁обороне": 47054, + "▁туристов": 47055, + "▁энергией": 47056, + "▁Уор": 47057, + "▁ответила": 47058, + "▁Психо": 47059, + "▁французов": 47060, + "▁экспози": 47061, + "▁стереоти": 47062, + "▁конфе": 47063, + "▁двенадцати": 47064, + "цин": 47065, + "▁конкретной": 47066, + "▁состоят": 47067, + "нус": 47068, + "▁Заха": 47069, + "▁аспиран": 47070, + "▁ландша": 47071, + "▁колеса": 47072, + "ппа": 47073, + "серов": 47074, + "▁Подроб": 47075, + "▁сценария": 47076, + "▁вторжения": 47077, + "▁пригод": 47078, + "вказе": 47079, + "▁остановиться": 47080, + "▁крым": 47081, + "▁постановление": 47082, + "▁Мартин": 47083, + "▁деду": 47084, + "▁предназнача": 47085, + "▁джа": 47086, + "▁баскетбо": 47087, + "▁отсутствуют": 47088, + "▁фос": 47089, + "▁заводов": 47090, + "мией": 47091, + "▁триум": 47092, + "▁накры": 47093, + "▁АК": 47094, + "▁частоты": 47095, + "▁взгляда": 47096, + "ренбург": 47097, + "кино": 47098, + "логической": 47099, + "▁князья": 47100, + "▁общественно": 47101, + "▁затраты": 47102, + "▁шотланд": 47103, + "▁рассказала": 47104, + "▁помещений": 47105, + "аньше": 47106, + "▁попытаться": 47107, + "▁чемпионов": 47108, + "▁сотрудника": 47109, + "▁загля": 47110, + "▁открывается": 47111, + "▁фраза": 47112, + "▁заложен": 47113, + "▁штор": 47114, + "▁весело": 47115, + "▁маршрут": 47116, + "▁отпеча": 47117, + "▁Пикабу": 47118, + "▁поче": 47119, + "▁культурных": 47120, + "▁арбитра": 47121, + "▁работода": 47122, + "▁коров": 47123, + "▁критике": 47124, + "▁актера": 47125, + "▁железы": 47126, + "двига": 47127, + "▁затраги": 47128, + "▁рассмотрим": 47129, + "гласно": 47130, + "▁призыв": 47131, + "▁воспитание": 47132, + "стивале": 47133, + "шедших": 47134, + "▁понимании": 47135, + "▁кислорода": 47136, + "▁вступить": 47137, + "стская": 47138, + "▁миниат": 47139, + "стерна": 47140, + "▁Штатов": 47141, + "▁плей": 47142, + "▁площадке": 47143, + "чкам": 47144, + "▁родине": 47145, + "▁патологи": 47146, + "▁головного": 47147, + "▁экземпляров": 47148, + "▁снарядов": 47149, + "▁концентри": 47150, + "▁собираются": 47151, + "▁уд": 47152, + "▁государству": 47153, + "▁морали": 47154, + "▁юсти": 47155, + "▁способностей": 47156, + "▁симпати": 47157, + "довлет": 47158, + "▁Еди": 47159, + "▁классификации": 47160, + "▁хранить": 47161, + "▁колес": 47162, + "▁гимназии": 47163, + "▁Русский": 47164, + "отече": 47165, + "морской": 47166, + "▁произошли": 47167, + "▁вытяну": 47168, + "▁оператор": 47169, + "▁короткие": 47170, + "ука": 47171, + "▁посольства": 47172, + "▁Таш": 47173, + "▁домом": 47174, + "льщиков": 47175, + "▁Серебря": 47176, + "▁повесть": 47177, + "▁ошиба": 47178, + "норма": 47179, + "▁Ныне": 47180, + "▁слоев": 47181, + "▁подпись": 47182, + "▁четверти": 47183, + "▁осле": 47184, + "▁вопросах": 47185, + "зовый": 47186, + "ченность": 47187, + "▁платформа": 47188, + "▁соблаз": 47189, + "▁аренду": 47190, + "ровича": 47191, + "▁деклара": 47192, + "метим": 47193, + "▁форте": 47194, + "▁образованием": 47195, + "▁Моисе": 47196, + "▁именова": 47197, + "▁сменя": 47198, + "▁общепри": 47199, + "▁запечат": 47200, + "▁искал": 47201, + "▁женат": 47202, + "▁Fam": 47203, + "ссиян": 47204, + "▁Кузь": 47205, + "щенным": 47206, + "▁найдены": 47207, + "▁Филипп": 47208, + "▁созерца": 47209, + "▁приехали": 47210, + "▁добровольно": 47211, + "ффе": 47212, + "▁упорядо": 47213, + "несение": 47214, + "деев": 47215, + "▁путе": 47216, + "▁царю": 47217, + "▁ранения": 47218, + "▁выез": 47219, + "жному": 47220, + "▁правый": 47221, + "▁внешним": 47222, + "▁тень": 47223, + "▁детский": 47224, + "чевой": 47225, + "▁построил": 47226, + "▁спросила": 47227, + "▁убира": 47228, + "▁проходила": 47229, + "▁губы": 47230, + "жкой": 47231, + "▁почте": 47232, + "герман": 47233, + "▁ужаса": 47234, + "▁метафизи": 47235, + "▁введен": 47236, + "▁отметили": 47237, + "нейшей": 47238, + "▁факту": 47239, + "▁военная": 47240, + "▁заседание": 47241, + "...\".": 47242, + "▁обнаружения": 47243, + "▁Сил": 47244, + "▁сала": 47245, + "▁коди": 47246, + "▁действующих": 47247, + "тян": 47248, + "▁драмы": 47249, + "▁указывают": 47250, + "▁отслежи": 47251, + "\"».": 47252, + "▁милости": 47253, + "▁насме": 47254, + "▁Времен": 47255, + "▁Бек": 47256, + "мете": 47257, + "кусство": 47258, + "▁спектакль": 47259, + "▁эста": 47260, + "▁принесли": 47261, + "▁сохранять": 47262, + "▁сохранение": 47263, + "▁противотан": 47264, + "▁старались": 47265, + "▁психотера": 47266, + "рено": 47267, + "▁участвует": 47268, + "▁льго": 47269, + "▁англичан": 47270, + "генов": 47271, + "▁блага": 47272, + "▁ремонта": 47273, + "▁удержать": 47274, + "дович": 47275, + "▁юридических": 47276, + "▁анекдо": 47277, + "▁Международной": 47278, + "▁дало": 47279, + "▁следующую": 47280, + "▁родителями": 47281, + "▁инер": 47282, + "▁Особен": 47283, + "▁птица": 47284, + "▁ассоции": 47285, + "▁застре": 47286, + "▁постепен": 47287, + "▁просьбе": 47288, + "▁столб": 47289, + "тившись": 47290, + "▁популярных": 47291, + "▁усадь": 47292, + "ствующего": 47293, + "▁сражение": 47294, + "▁провела": 47295, + "▁Папа": 47296, + "виц": 47297, + "▁листо": 47298, + "▁левого": 47299, + "▁монастыре": 47300, + "▁мыши": 47301, + "▁колонны": 47302, + "▁держит": 47303, + "▁риска": 47304, + "▁измель": 47305, + "мура": 47306, + "▁соревнования": 47307, + "▁блу": 47308, + "▁Понятно": 47309, + "▁плацдар": 47310, + "▁епархии": 47311, + "▁домах": 47312, + "▁сходство": 47313, + "строение": 47314, + "востоку": 47315, + "▁артери": 47316, + "▁ситуаций": 47317, + "▁основную": 47318, + "▁суп": 47319, + "▁славян": 47320, + "утбу": 47321, + "ИР": 47322, + "нешь": 47323, + "▁Черни": 47324, + "▁импер": 47325, + "▁противном": 47326, + "еву": 47327, + "▁студенты": 47328, + "▁коммунистов": 47329, + "▁пропорциона": 47330, + "гори": 47331, + "▁выступали": 47332, + "чику": 47333, + "▁творческой": 47334, + "▁богатство": 47335, + "▁удовлетворения": 47336, + "▁мощный": 47337, + "▁всячески": 47338, + "каче": 47339, + "возможно": 47340, + "▁собственном": 47341, + "▁бок": 47342, + "▁распу": 47343, + "▁фирма": 47344, + "▁реконструкции": 47345, + "▁гей": 47346, + "▁учителей": 47347, + "▁Опыт": 47348, + "▁спортсменов": 47349, + "▁течении": 47350, + "▁устанавливается": 47351, + "ЕСТ": 47352, + "▁Самар": 47353, + "\"!": 47354, + "▁осмысле": 47355, + "зла": 47356, + "▁лучи": 47357, + "▁плохой": 47358, + "▁отбы": 47359, + "▁Постепенно": 47360, + "▁вкла": 47361, + "сфера": 47362, + "▁вытащи": 47363, + "▁праву": 47364, + "▁Напротив": 47365, + "▁закрыть": 47366, + "▁коем": 47367, + "▁зоо": 47368, + "▁Семё": 47369, + "▁греческого": 47370, + "▁Мах": 47371, + "▁совершать": 47372, + "часа": 47373, + "▁международный": 47374, + "▁дока": 47375, + "▁депутатом": 47376, + "▁внесе": 47377, + "▁писатели": 47378, + "▁наличия": 47379, + "▁улучшить": 47380, + "▁обычным": 47381, + "▁Премьер": 47382, + "менами": 47383, + "енко": 47384, + "▁оккупации": 47385, + "▁Лаза": 47386, + "▁плену": 47387, + "▁предложений": 47388, + "▁самолёта": 47389, + "черед": 47390, + "▁существовала": 47391, + "▁холоди": 47392, + "▁высказал": 47393, + "▁говорите": 47394, + "▁сигналы": 47395, + "▁соц": 47396, + "▁собрании": 47397, + "▁строения": 47398, + "▁мяс": 47399, + "▁доверия": 47400, + "▁Виктора": 47401, + "перёд": 47402, + "▁Судя": 47403, + "▁особым": 47404, + "▁направил": 47405, + "▁насчет": 47406, + "гнал": 47407, + "рующей": 47408, + "▁Евгения": 47409, + "менные": 47410, + "ренное": 47411, + "▁ребёнка": 47412, + "стский": 47413, + "▁Изнача": 47414, + "▁насо": 47415, + "▁царе": 47416, + "▁глаг": 47417, + "▁приём": 47418, + "▁приток": 47419, + "▁Бря": 47420, + "▁Библии": 47421, + "▁деталь": 47422, + "тьев": 47423, + "▁любез": 47424, + "▁профилакти": 47425, + "▁исследовании": 47426, + "Вер": 47427, + "▁длинный": 47428, + "отечествен": 47429, + "▁устья": 47430, + "жков": 47431, + "▁политик": 47432, + "Три": 47433, + "венно": 47434, + "▁мечты": 47435, + "▁Ама": 47436, + "дования": 47437, + "жью": 47438, + "▁льда": 47439, + "▁прихо": 47440, + "▁съезд": 47441, + "▁признак": 47442, + "орк": 47443, + "дай": 47444, + "▁правонару": 47445, + "▁активных": 47446, + "▁властями": 47447, + "▁дивизион": 47448, + "▁проход": 47449, + "▁равномер": 47450, + "▁паре": 47451, + "▁Украину": 47452, + "▁согласиться": 47453, + "▁интеллигенции": 47454, + "▁магазине": 47455, + "▁Оказывается": 47456, + "▁правды": 47457, + "▁пеще": 47458, + "▁хирур": 47459, + "▁физически": 47460, + "куси": 47461, + "▁киноте": 47462, + "несса": 47463, + "▁ФРГ": 47464, + "роны": 47465, + "▁уй": 47466, + "▁инвестиций": 47467, + "▁квар": 47468, + "▁митропо": 47469, + "гау": 47470, + "▁каст": 47471, + "▁предоставляет": 47472, + "▁естественных": 47473, + "▁поддержкой": 47474, + "▁Достоевского": 47475, + "▁щу": 47476, + "ванной": 47477, + "▁обществом": 47478, + "биться": 47479, + "зной": 47480, + "▁медиа": 47481, + "▁собственными": 47482, + "ленко": 47483, + "▁отыска": 47484, + "▁богатых": 47485, + "▁выу": 47486, + "▁оппонен": 47487, + "▁Брон": 47488, + "▁соотношение": 47489, + "распо": 47490, + "▁уверя": 47491, + "▁геометри": 47492, + "рьмя": 47493, + "▁обладал": 47494, + "▁измеря": 47495, + "▁попросту": 47496, + "▁действовал": 47497, + "▁регионального": 47498, + "▁участках": 47499, + "▁Федерального": 47500, + "▁Царь": 47501, + "▁Есе": 47502, + "▁убили": 47503, + "▁фестиваля": 47504, + "▁Существуют": 47505, + "▁алфа": 47506, + "▁Гоголя": 47507, + "▁изображением": 47508, + "▁питание": 47509, + "▁возможностью": 47510, + "▁факта": 47511, + "▁фразу": 47512, + "блении": 47513, + ".);": 47514, + "▁показателей": 47515, + "▁заповед": 47516, + "▁Славы": 47517, + "номет": 47518, + "▁рассчитывать": 47519, + "▁гомосек": 47520, + "▁характеристик": 47521, + "▁Суд": 47522, + "▁плотность": 47523, + "▁Сино": 47524, + "▁Фридрих": 47525, + "▁Зим": 47526, + "▁Ом": 47527, + "▁потряса": 47528, + "▁противоречия": 47529, + "▁долгие": 47530, + "▁железных": 47531, + "▁литературного": 47532, + "▁Кажется": 47533, + "▁старик": 47534, + "▁шпа": 47535, + "юрер": 47536, + "▁Яр": 47537, + "▁беременности": 47538, + "▁прототи": 47539, + "▁появлением": 47540, + "▁встреч": 47541, + "▁дальнейшее": 47542, + "▁образованию": 47543, + "▁распределение": 47544, + "рять": 47545, + "▁инструкции": 47546, + "▁обнов": 47547, + "▁технология": 47548, + "▁отличия": 47549, + "▁нович": 47550, + "▁Музыка": 47551, + "▁посол": 47552, + "▁ЦРУ": 47553, + "▁соответствующий": 47554, + "▁накопи": 47555, + "▁легкой": 47556, + "▁психоанали": 47557, + "▁Сал": 47558, + "▁построено": 47559, + "▁дочерью": 47560, + "ада": 47561, + "анти": 47562, + "краин": 47563, + "▁кош": 47564, + "дене": 47565, + "▁награду": 47566, + "▁озабо": 47567, + "▁Гви": 47568, + "нян": 47569, + "▁погиба": 47570, + "▁Большое": 47571, + "▁Ниц": 47572, + "▁трижды": 47573, + "топ": 47574, + "▁вернее": 47575, + "▁паке": 47576, + "▁Офи": 47577, + "▁интегри": 47578, + "▁Поле": 47579, + "▁наград": 47580, + "▁тексто": 47581, + "▁уровней": 47582, + "▁пче": 47583, + "▁аэропорт": 47584, + "тельского": 47585, + "▁проводили": 47586, + "▁обзор": 47587, + "технического": 47588, + "▁шриф": 47589, + "▁полоса": 47590, + "моему": 47591, + "▁одновремен": 47592, + "ностями": 47593, + "▁созданный": 47594, + "явление": 47595, + "▁покупки": 47596, + "▁согласен": 47597, + "▁воспоминаний": 47598, + "бус": 47599, + "▁присоединился": 47600, + "▁восточных": 47601, + "▁увидим": 47602, + "▁проблемам": 47603, + "нита": 47604, + "▁расстройства": 47605, + "▁сохраняется": 47606, + "лером": 47607, + "▁пиво": 47608, + "▁единый": 47609, + "▁надое": 47610, + "текает": 47611, + "▁расположения": 47612, + "сского": 47613, + "▁осадков": 47614, + "берку": 47615, + "▁полях": 47616, + "▁сочетание": 47617, + "▁пасту": 47618, + "▁гиль": 47619, + "▁схему": 47620, + "▁Сохра": 47621, + "▁Казахстан": 47622, + "друго": 47623, + "зость": 47624, + "▁колени": 47625, + "▁сравнении": 47626, + "▁точностью": 47627, + "▁ведущий": 47628, + "зору": 47629, + "▁помощником": 47630, + "▁посетителей": 47631, + "▁огромным": 47632, + "тники": 47633, + "▁КНР": 47634, + "▁рукопи": 47635, + "▁ненависть": 47636, + "вр": 47637, + "▁Функ": 47638, + "▁прибор": 47639, + "▁оформи": 47640, + "▁Каро": 47641, + "▁Прин": 47642, + "▁Король": 47643, + "▁зерна": 47644, + "▁незаметно": 47645, + "▁амби": 47646, + "▁притом": 47647, + "▁логики": 47648, + "▁совместной": 47649, + "▁нехва": 47650, + "▁Чита": 47651, + "▁Физи": 47652, + "▁конкретные": 47653, + "▁соседей": 47654, + "ндию": 47655, + "▁компенси": 47656, + "родный": 47657, + "▁ногах": 47658, + "арьи": 47659, + "▁источниках": 47660, + "▁отправлен": 47661, + "▁Процесс": 47662, + "▁Англия": 47663, + "▁красной": 47664, + "▁припод": 47665, + "▁Казани": 47666, + "▁полузащи": 47667, + "▁заре": 47668, + "▁указ": 47669, + "▁терапии": 47670, + "▁отс": 47671, + "держка": 47672, + "▁проб": 47673, + "Пар": 47674, + "▁Холо": 47675, + "▁Рязан": 47676, + "▁способностью": 47677, + "▁Калинин": 47678, + "▁высе": 47679, + "корреспонден": 47680, + "▁Смит": 47681, + "▁хороших": 47682, + "▁душой": 47683, + "▁приборов": 47684, + "океан": 47685, + "▁проходить": 47686, + "▁изве": 47687, + "▁Изме": 47688, + "▁площадки": 47689, + "▁формате": 47690, + "▁подли": 47691, + "▁проститу": 47692, + "чьей": 47693, + "▁жилья": 47694, + "▁решет": 47695, + "уа": 47696, + "▁звон": 47697, + "страсти": 47698, + "▁экрана": 47699, + "▁востоку": 47700, + "▁боится": 47701, + "▁Уч": 47702, + "▁предотвратить": 47703, + "▁религиозной": 47704, + "▁серб": 47705, + "▁христианской": 47706, + "зопасности": 47707, + "▁неподалеку": 47708, + "▁регулирования": 47709, + "▁простей": 47710, + "▁лекарства": 47711, + "▁терак": 47712, + "▁сложный": 47713, + "▁чёт": 47714, + "▁итальянский": 47715, + "▁гвардейской": 47716, + "▁личным": 47717, + "▁всюду": 47718, + "▁корень": 47719, + "бари": 47720, + "▁отказывается": 47721, + "▁Кавказа": 47722, + "▁дефек": 47723, + "▁дополнительно": 47724, + "▁процент": 47725, + "▁отчетливо": 47726, + "▁лидером": 47727, + "▁Иосиф": 47728, + "▁пап": 47729, + "▁литературных": 47730, + "▁произведениях": 47731, + "скор": 47732, + "▁пик": 47733, + "▁конфликтов": 47734, + "▁миф": 47735, + "▁Настоя": 47736, + "▁Бельгии": 47737, + "рэн": 47738, + "▁смены": 47739, + "▁ы": 47740, + "▁образцов": 47741, + "▁невольно": 47742, + "▁больно": 47743, + "▁сыграла": 47744, + "говые": 47745, + "▁компакт": 47746, + "▁высоком": 47747, + "▁федерации": 47748, + "чите": 47749, + "▁Люд": 47750, + "▁сокру": 47751, + "▁украшения": 47752, + "▁лесов": 47753, + "ссом": 47754, + "▁цепь": 47755, + "▁петру": 47756, + "▁семьей": 47757, + "▁таблице": 47758, + "▁повысить": 47759, + "ствующей": 47760, + "▁принадлежности": 47761, + "rane": 47762, + "▁активной": 47763, + "▁облака": 47764, + "▁произойти": 47765, + "▁относились": 47766, + "спорта": 47767, + "▁устроить": 47768, + "▁документах": 47769, + "▁папы": 47770, + "▁историко": 47771, + "▁рабочим": 47772, + "▁Место": 47773, + "▁состо": 47774, + "▁неприятно": 47775, + "▁обязательств": 47776, + "▁высокое": 47777, + "▁общественные": 47778, + "кторе": 47779, + "тирование": 47780, + "▁уважение": 47781, + "▁лучшей": 47782, + "денса": 47783, + "▁Америка": 47784, + "▁превратился": 47785, + "▁Средней": 47786, + "силь": 47787, + "точной": 47788, + "▁требовали": 47789, + "жденный": 47790, + "▁англичане": 47791, + "▁энтузиа": 47792, + "▁соотечествен": 47793, + "▁дипломати": 47794, + "лие": 47795, + "▁Стивен": 47796, + "▁жилых": 47797, + "▁принадлежал": 47798, + "ъютан": 47799, + "▁Гиль": 47800, + "▁украинского": 47801, + "▁устроен": 47802, + "мик": 47803, + "▁стес": 47804, + "аппара": 47805, + "▁проверка": 47806, + "▁Тей": 47807, + "бс": 47808, + "▁полковод": 47809, + "▁разрыв": 47810, + "▁обстановка": 47811, + "▁железнодорожной": 47812, + "аги": 47813, + "оп": 47814, + "▁антен": 47815, + "▁разнообразных": 47816, + "▁собственному": 47817, + "▁Ие": 47818, + "дией": 47819, + "славя": 47820, + "▁Повто": 47821, + "▁ходит": 47822, + "▁испытывает": 47823, + "ренность": 47824, + "нейшая": 47825, + "▁помога": 47826, + "▁исчезает": 47827, + "▁прочитать": 47828, + "шная": 47829, + "манд": 47830, + "фин": 47831, + "▁Аре": 47832, + "▁короткое": 47833, + "▁раненых": 47834, + "▁лестнице": 47835, + "▁интерфейс": 47836, + "▁похоронен": 47837, + "▁задней": 47838, + "▁надолго": 47839, + "наме": 47840, + "▁равных": 47841, + "▁Оби": 47842, + "▁сухой": 47843, + "▁трубо": 47844, + "▁Андреевич": 47845, + "▁человеческий": 47846, + "▁внести": 47847, + "▁верил": 47848, + "▁фигури": 47849, + "▁Ори": 47850, + "▁зау": 47851, + "уд": 47852, + "▁наблюдение": 47853, + "▁Одной": 47854, + "▁экспре": 47855, + "линг": 47856, + "▁продавать": 47857, + "▁Председатель": 47858, + "писал": 47859, + "▁оказывать": 47860, + "▁участниками": 47861, + "▁водохранили": 47862, + "шного": 47863, + "▁вашему": 47864, + "зако": 47865, + "▁Жела": 47866, + "▁отпуск": 47867, + "▁всём": 47868, + "▁встретился": 47869, + "▁мотиви": 47870, + "▁возвращение": 47871, + "Чи": 47872, + "▁суждения": 47873, + "▁применении": 47874, + "▁рта": 47875, + "▁предполагалось": 47876, + "▁иными": 47877, + "▁заданий": 47878, + "фик": 47879, + "▁каранда": 47880, + "▁указано": 47881, + "▁относился": 47882, + "стик": 47883, + "НАЯ": 47884, + "▁коллектив": 47885, + "▁работники": 47886, + "фами": 47887, + "▁концентрации": 47888, + "▁жанра": 47889, + "▁Хаба": 47890, + "▁информи": 47891, + "▁заслуженный": 47892, + "▁лесах": 47893, + "▁Dani": 47894, + "▁агентов": 47895, + "ол": 47896, + "▁отсутствием": 47897, + "▁подачи": 47898, + "▁разга": 47899, + "тень": 47900, + "▁любым": 47901, + "▁историки": 47902, + "западу": 47903, + "▁муд": 47904, + "▁лучшую": 47905, + "▁купо": 47906, + "▁прохо": 47907, + "▁трудящихся": 47908, + "▁держал": 47909, + ".»": 47910, + "▁подобный": 47911, + "вичи": 47912, + "▁Раньше": 47913, + "чатые": 47914, + "▁Мино": 47915, + "▁слух": 47916, + "▁авиационной": 47917, + "▁толпа": 47918, + "боре": 47919, + "▁поистине": 47920, + "▁человеческие": 47921, + "▁изменилось": 47922, + "▁умел": 47923, + "добро": 47924, + "городской": 47925, + "▁мурав": 47926, + "тис": 47927, + "▁Звезды": 47928, + "туали": 47929, + "стила": 47930, + "▁названа": 47931, + "▁учесть": 47932, + "▁постоянное": 47933, + "▁стри": 47934, + "▁отрядов": 47935, + "▁совершения": 47936, + "▁уксу": 47937, + "дву": 47938, + "▁Чув": 47939, + "▁литературной": 47940, + "▁сперва": 47941, + "▁правого": 47942, + "▁надежду": 47943, + "▁Бес": 47944, + "пуляр": 47945, + "▁загла": 47946, + "▁написаны": 47947, + "▁ребят": 47948, + "▁народе": 47949, + "▁художественных": 47950, + "▁личное": 47951, + "▁Ваш": 47952, + "▁реальные": 47953, + "▁керами": 47954, + "▁съезде": 47955, + "▁участника": 47956, + "▁россиян": 47957, + "▁убийстве": 47958, + "▁грузов": 47959, + "▁всерьез": 47960, + "выс": 47961, + "▁ранней": 47962, + "icine": 47963, + "▁роду": 47964, + "▁ширина": 47965, + "теб": 47966, + "чни": 47967, + "▁эски": 47968, + "▁эскадрильи": 47969, + "▁увидев": 47970, + "▁репер": 47971, + "▁Одни": 47972, + "▁сторонам": 47973, + "цких": 47974, + "моз": 47975, + "▁Брай": 47976, + "▁Брод": 47977, + "▁облом": 47978, + "Газ": 47979, + "▁выходил": 47980, + "▁положено": 47981, + "▁объявлено": 47982, + "▁заголов": 47983, + "коне": 47984, + "▁поставки": 47985, + "▁деревен": 47986, + "▁поставлен": 47987, + "нялось": 47988, + "▁выбрасы": 47989, + "▁светом": 47990, + "▁ядови": 47991, + "▁заключить": 47992, + "▁священник": 47993, + "▁подписы": 47994, + "▁Внутри": 47995, + "▁уроки": 47996, + "▁запрещено": 47997, + "тента": 47998, + "европей": 47999, + "▁золотые": 48000, + "▁вершине": 48001, + "▁колониаль": 48002, + "польского": 48003, + "логического": 48004, + "▁балета": 48005, + "▁куски": 48006, + "▁руд": 48007, + "шках": 48008, + "▁станцию": 48009, + "▁иконо": 48010, + "▁приняты": 48011, + "▁вариа": 48012, + "▁ода": 48013, + "▁заводы": 48014, + "тивом": 48015, + "кратный": 48016, + "▁центрального": 48017, + "▁пира": 48018, + "▁продажу": 48019, + "▁хозяи": 48020, + "▁каналов": 48021, + "▁представителем": 48022, + "▁общественности": 48023, + "▁первобы": 48024, + "▁астрономи": 48025, + "▁средние": 48026, + "сис": 48027, + "▁традиций": 48028, + "▁Выпол": 48029, + "▁санкции": 48030, + "▁выпущен": 48031, + "▁радостью": 48032, + "Фон": 48033, + "▁Деревня": 48034, + "▁хозяйстве": 48035, + "около": 48036, + "нтом": 48037, + "▁сыграть": 48038, + "страда": 48039, + "нулось": 48040, + "рового": 48041, + "▁сервиса": 48042, + "▁занятие": 48043, + "▁быстрого": 48044, + "▁крупными": 48045, + "▁выступили": 48046, + "▁осуществляет": 48047, + "товского": 48048, + "▁кабе": 48049, + "▁Возь": 48050, + "▁анархи": 48051, + "▁стремятся": 48052, + "нута": 48053, + "▁стациона": 48054, + "▁Ды": 48055, + "менем": 48056, + "▁корона": 48057, + "▁арт": 48058, + "▁неблагоприят": 48059, + "точного": 48060, + "▁мужского": 48061, + "▁бага": 48062, + "▁сумели": 48063, + "▁Трудно": 48064, + "▁камеру": 48065, + "▁опыте": 48066, + "мостью": 48067, + "▁сибир": 48068, + "▁Стран": 48069, + "▁невысо": 48070, + "▁траек": 48071, + "▁жертво": 48072, + "▁Прекра": 48073, + "▁получаем": 48074, + "▁аэродро": 48075, + "▁заты": 48076, + "▁шам": 48077, + "▁Средняя": 48078, + "онеров": 48079, + "▁записей": 48080, + "▁засты": 48081, + "▁аф": 48082, + "▁сырья": 48083, + "▁пыли": 48084, + "▁Монго": 48085, + "▁профессором": 48086, + "▁привыкли": 48087, + "▁современным": 48088, + "▁изнутри": 48089, + "▁поднимается": 48090, + "▁продела": 48091, + "▁Государственная": 48092, + "▁Думы": 48093, + "▁План": 48094, + "▁приемле": 48095, + "▁сигналов": 48096, + "ист": 48097, + "▁ного": 48098, + "▁Эри": 48099, + "фори": 48100, + "▁владелец": 48101, + "▁нечи": 48102, + "▁миллиарда": 48103, + "ворец": 48104, + "▁прикреп": 48105, + "▁знакомый": 48106, + "▁набора": 48107, + "▁монеты": 48108, + "▁предприня": 48109, + "▁принятие": 48110, + "чину": 48111, + "▁играла": 48112, + "▁представляла": 48113, + "шан": 48114, + "▁пальцами": 48115, + "▁экспериментов": 48116, + "▁введение": 48117, + "▁состояний": 48118, + "▁радиоак": 48119, + "▁премьера": 48120, + "▁браке": 48121, + "▁разгром": 48122, + "щалось": 48123, + "▁неком": 48124, + "ходите": 48125, + "▁московских": 48126, + "▁участвовала": 48127, + "▁Использование": 48128, + "▁самолётов": 48129, + "рали": 48130, + "▁осени": 48131, + "Жи": 48132, + "▁использованы": 48133, + "▁антисе": 48134, + "▁листов": 48135, + "▁академию": 48136, + "▁финансовые": 48137, + "ражение": 48138, + "▁Управления": 48139, + "▁прови": 48140, + "▁Мастер": 48141, + "▁предыдущего": 48142, + "▁республик": 48143, + "▁капитализма": 48144, + "пило": 48145, + "▁увен": 48146, + "геля": 48147, + "EG": 48148, + "Москва": 48149, + "▁определенным": 48150, + "▁океане": 48151, + "▁коня": 48152, + "ловского": 48153, + "▁слышали": 48154, + "▁биографии": 48155, + "▁конкретно": 48156, + "▁симптомы": 48157, + "▁одержал": 48158, + "ТВ": 48159, + "▁Сотруд": 48160, + "▁предположения": 48161, + "▁Дву": 48162, + "▁ВМФ": 48163, + "▁советник": 48164, + "▁четырьмя": 48165, + "▁позвонил": 48166, + "▁шахма": 48167, + "▁лодка": 48168, + "▁усиления": 48169, + "▁ударом": 48170, + "▁пас": 48171, + "▁внутреннее": 48172, + "Ги": 48173, + "▁отбор": 48174, + "▁наруши": 48175, + "▁Обу": 48176, + "▁финансирования": 48177, + "нду": 48178, + "▁синта": 48179, + "▁рабов": 48180, + "▁Международный": 48181, + "▁соседних": 48182, + "▁отрыв": 48183, + "▁японской": 48184, + "▁направить": 48185, + "▁особую": 48186, + "▁заключении": 48187, + "▁рукописи": 48188, + "дравству": 48189, + "▁отечественной": 48190, + "сутствие": 48191, + "▁нейтро": 48192, + "ины": 48193, + "▁лени": 48194, + "рдо": 48195, + "▁происходили": 48196, + "▁разнообразные": 48197, + "▁вступления": 48198, + "▁мари": 48199, + "▁гряду": 48200, + "▁массовых": 48201, + "шедшие": 48202, + "▁просматри": 48203, + "▁ходом": 48204, + "▁проанали": 48205, + "рель": 48206, + "▁выступить": 48207, + "▁рады": 48208, + "▁Бран": 48209, + "▁прост": 48210, + "эля": 48211, + "щами": 48212, + "▁японских": 48213, + "▁объеме": 48214, + "▁заведующий": 48215, + "▁довести": 48216, + "▁чей": 48217, + "▁гено": 48218, + "▁Эм": 48219, + "▁сферу": 48220, + "▁храни": 48221, + "▁аудио": 48222, + "История": 48223, + "бак": 48224, + "▁недоуме": 48225, + "нутые": 48226, + "▁люд": 48227, + "▁отнес": 48228, + "меди": 48229, + "дольф": 48230, + "▁брази": 48231, + "▁Шотландии": 48232, + "▁хирурги": 48233, + "тоном": 48234, + "▁ирланд": 48235, + "▁бабушка": 48236, + "технологи": 48237, + "▁обойтись": 48238, + "▁физико": 48239, + "▁Наряду": 48240, + "строена": 48241, + "▁теста": 48242, + "▁готовить": 48243, + "▁британской": 48244, + "▁впада": 48245, + "▁бокс": 48246, + "▁Наиболь": 48247, + "▁основанием": 48248, + "▁врагом": 48249, + "▁военноп": 48250, + "две": 48251, + "▁работника": 48252, + "▁Ассоциа": 48253, + "▁фут": 48254, + "▁чья": 48255, + "▁Голла": 48256, + "▁Европа": 48257, + "▁Уж": 48258, + "вавших": 48259, + "▁дебют": 48260, + "▁аспекты": 48261, + "▁шара": 48262, + "▁преподавал": 48263, + "▁калибра": 48264, + "▁слабость": 48265, + "нон": 48266, + "▁русскую": 48267, + "▁Голу": 48268, + "▁Бит": 48269, + "▁эмпири": 48270, + "▁закончилась": 48271, + "▁ИТ": 48272, + "рудно": 48273, + "▁Грин": 48274, + "▁умирает": 48275, + "ологов": 48276, + "▁космос": 48277, + "▁отправляется": 48278, + "ритет": 48279, + "▁великое": 48280, + "тался": 48281, + "▁безы": 48282, + "▁тайно": 48283, + "▁юга": 48284, + "▁Заклю": 48285, + "▁прямым": 48286, + "▁отвлека": 48287, + "▁проси": 48288, + "▁ноутбу": 48289, + "▁защитил": 48290, + "▁атмосфере": 48291, + "▁международном": 48292, + "внове": 48293, + "▁Возро": 48294, + "▁Ленинграда": 48295, + "▁являлось": 48296, + "▁поэмы": 48297, + "▁данная": 48298, + "▁пен": 48299, + "▁однород": 48300, + "▁огромного": 48301, + "▁сказо": 48302, + "▁необходимой": 48303, + "воить": 48304, + "▁Як": 48305, + "Цен": 48306, + "▁дна": 48307, + "▁необходим": 48308, + "▁Всеволо": 48309, + "▁владельца": 48310, + "каго": 48311, + "▁семан": 48312, + "▁публично": 48313, + "▁Жуков": 48314, + "▁купе": 48315, + "▁пох": 48316, + "▁написания": 48317, + "▁тестирования": 48318, + "▁цирку": 48319, + "▁истину": 48320, + "▁проверку": 48321, + "део": 48322, + "вавший": 48323, + "▁зависят": 48324, + "▁подобным": 48325, + "▁сокращения": 48326, + "лком": 48327, + "деры": 48328, + "▁сельский": 48329, + "▁любому": 48330, + "ксо": 48331, + "ПС": 48332, + "гг": 48333, + "▁муниципальных": 48334, + "▁выбе": 48335, + "▁превратить": 48336, + "▁ставят": 48337, + "▁обнаружено": 48338, + "▁Анаста": 48339, + "ращи": 48340, + "▁включены": 48341, + "▁желательно": 48342, + "вляем": 48343, + "▁охране": 48344, + "▁критик": 48345, + "дым": 48346, + "▁Политбюро": 48347, + "▁старин": 48348, + "▁иро": 48349, + "▁высказывания": 48350, + "▁Токио": 48351, + "хен": 48352, + "▁поделиться": 48353, + "▁игрой": 48354, + "▁реализу": 48355, + "▁НИИ": 48356, + "▁одеты": 48357, + "▁появляться": 48358, + "▁лега": 48359, + "точный": 48360, + "сштаб": 48361, + "▁блюдо": 48362, + "рований": 48363, + "▁обратной": 48364, + "▁незаме": 48365, + "▁звали": 48366, + "▁тест": 48367, + "▁индекс": 48368, + "чон": 48369, + "зает": 48370, + "▁версий": 48371, + "▁Форма": 48372, + "▁всплы": 48373, + "джу": 48374, + "▁Откуда": 48375, + "▁подняться": 48376, + "▁кабинета": 48377, + "▁восклик": 48378, + "▁глю": 48379, + "▁Считается": 48380, + "нках": 48381, + "▁пова": 48382, + "▁воздушной": 48383, + "▁атле": 48384, + "хнет": 48385, + "▁отро": 48386, + "▁Вашингтон": 48387, + "▁преподаватель": 48388, + "▁адмирал": 48389, + "кладывает": 48390, + "▁юстиции": 48391, + "▁фюзеля": 48392, + "▁виноград": 48393, + "сеть": 48394, + "▁Паки": 48395, + "▁слои": 48396, + "▁Защи": 48397, + "▁Таджи": 48398, + "▁Михаи": 48399, + "▁Южного": 48400, + "▁Черного": 48401, + "▁иллюстра": 48402, + "▁идеей": 48403, + "▁полезных": 48404, + "▁дед": 48405, + "▁поведении": 48406, + "▁Наблю": 48407, + "▁отверстие": 48408, + "▁Ставро": 48409, + "▁вращения": 48410, + "▁желанию": 48411, + "▁Инг": 48412, + "▁верит": 48413, + "▁сопут": 48414, + "▁телевидения": 48415, + "ПА": 48416, + "▁планирует": 48417, + "ой": 48418, + "▁современников": 48419, + "▁педагог": 48420, + "▁желании": 48421, + "▁растут": 48422, + "▁риску": 48423, + "▁уничтожение": 48424, + "ifically": 48425, + "хема": 48426, + "▁возвращаться": 48427, + "▁максимум": 48428, + "▁доступны": 48429, + "▁eld": 48430, + "▁имеющий": 48431, + "▁стака": 48432, + "лялись": 48433, + "▁ввода": 48434, + "▁Википе": 48435, + "▁принца": 48436, + "▁супруги": 48437, + "▁Московском": 48438, + "ВАТ": 48439, + "▁скот": 48440, + "▁красные": 48441, + "туация": 48442, + "▁нареза": 48443, + "▁Ленинградской": 48444, + "▁прус": 48445, + "▁очки": 48446, + "▁препятствия": 48447, + "летию": 48448, + "▁проезд": 48449, + "▁серьезных": 48450, + "▁победить": 48451, + "менко": 48452, + "▁полчаса": 48453, + "▁препаратов": 48454, + "▁Римской": 48455, + "▁желудо": 48456, + "ervative": 48457, + "▁Черчил": 48458, + "иде": 48459, + "▁потерять": 48460, + "евском": 48461, + "▁внес": 48462, + "▁повторить": 48463, + "▁выиграла": 48464, + "▁соединя": 48465, + "▁нетерпе": 48466, + "▁русское": 48467, + "▁доказательство": 48468, + "▁носа": 48469, + "▁ведется": 48470, + "▁россия": 48471, + "хать": 48472, + "▁богослу": 48473, + "▁участником": 48474, + "ял": 48475, + "▁посёлке": 48476, + "▁еврейского": 48477, + "спери": 48478, + "▁Сооб": 48479, + "▁вступи": 48480, + "▁Задача": 48481, + "▁полагают": 48482, + "▁соблюдать": 48483, + "▁традиционных": 48484, + "▁сё": 48485, + "▁перенос": 48486, + "▁учителем": 48487, + "▁раунде": 48488, + "Ту": 48489, + "▁огромная": 48490, + "▁сравнить": 48491, + "чивая": 48492, + "Мне": 48493, + "▁текущего": 48494, + "▁четыр": 48495, + "ренная": 48496, + "▁Чан": 48497, + "▁живым": 48498, + "▁Джен": 48499, + "▁увы": 48500, + "▁толку": 48501, + "▁колебания": 48502, + "▁пистолет": 48503, + "▁Участвовал": 48504, + "▁ролей": 48505, + "▁предъявля": 48506, + "▁делаем": 48507, + "▁фара": 48508, + "▁Мет": 48509, + "▁украинской": 48510, + "▁государственным": 48511, + "▁минуте": 48512, + "▁переходе": 48513, + "▁изобража": 48514, + "▁категорий": 48515, + "банк": 48516, + "▁несут": 48517, + "▁обращении": 48518, + "▁открыты": 48519, + "▁победитель": 48520, + "Мак": 48521, + "▁раздражи": 48522, + "▁Боро": 48523, + "▁Главная": 48524, + "▁советским": 48525, + "▁Уилья": 48526, + "▁бегу": 48527, + "▁Какое": 48528, + "▁изготавли": 48529, + "леп": 48530, + "стите": 48531, + "▁Изначально": 48532, + "несло": 48533, + "▁тенни": 48534, + "▁прессе": 48535, + "благода": 48536, + "▁захватил": 48537, + "▁интересные": 48538, + "▁племена": 48539, + "ино": 48540, + "▁составит": 48541, + "▁посадки": 48542, + "▁дороже": 48543, + "▁набро": 48544, + "▁Иоган": 48545, + "▁передачу": 48546, + "▁Противо": 48547, + "▁желудка": 48548, + "▁Юпи": 48549, + "▁Маркс": 48550, + "▁свободных": 48551, + "▁дизе": 48552, + "▁ПРИ": 48553, + "▁унаследова": 48554, + "▁голод": 48555, + "▁читателю": 48556, + "правда": 48557, + "▁манифе": 48558, + "▁Кубке": 48559, + "прода": 48560, + "▁проры": 48561, + "▁древеси": 48562, + "▁воздействием": 48563, + "▁близкие": 48564, + "▁Маха": 48565, + "▁великие": 48566, + "▁официального": 48567, + "▁общественное": 48568, + "▁пользователи": 48569, + "▁договору": 48570, + "▁снаружи": 48571, + "▁множеством": 48572, + "▁традиционной": 48573, + "▁отличался": 48574, + "▁затро": 48575, + "▁жертвой": 48576, + "▁северных": 48577, + "▁полит": 48578, + "▁integ": 48579, + "▁Плю": 48580, + "▁опусто": 48581, + "▁излага": 48582, + "▁прогресс": 48583, + "▁аппаратов": 48584, + "▁величина": 48585, + "▁Число": 48586, + "▁выпустил": 48587, + "▁шве": 48588, + "▁дорабо": 48589, + "▁наби": 48590, + "▁постановления": 48591, + "▁крыло": 48592, + "▁Сайт": 48593, + "▁спортсмен": 48594, + "▁правительстве": 48595, + "тум": 48596, + "▁пленных": 48597, + "шался": 48598, + "▁Крон": 48599, + "▁кровати": 48600, + "▁просле": 48601, + "▁attrib": 48602, + "▁Расположен": 48603, + "▁небольшими": 48604, + "▁вручную": 48605, + "▁западу": 48606, + "▁подло": 48607, + "▁купа": 48608, + "▁тура": 48609, + "▁устаре": 48610, + "тус": 48611, + "▁условиями": 48612, + "▁обыкновенно": 48613, + "▁Иерусалим": 48614, + "▁хорошую": 48615, + "▁беда": 48616, + "▁поступить": 48617, + "▁компетен": 48618, + "▁снимать": 48619, + "▁Кирги": 48620, + "▁палец": 48621, + "▁наг": 48622, + "▁княжества": 48623, + "nce": 48624, + "пур": 48625, + "▁такова": 48626, + "▁трудовой": 48627, + "ленность": 48628, + "стическом": 48629, + "▁Командир": 48630, + "▁духовных": 48631, + "▁нападение": 48632, + "▁сектора": 48633, + "▁плану": 48634, + "▁Кавказе": 48635, + "▁вак": 48636, + "▁посвящён": 48637, + "▁канцеля": 48638, + "▁Фактически": 48639, + "▁Безу": 48640, + "udget": 48641, + "ненном": 48642, + "▁заса": 48643, + "▁Англий": 48644, + "▁загра": 48645, + "▁Еже": 48646, + "режи": 48647, + "▁судебного": 48648, + "▁Ефи": 48649, + "▁отчаян": 48650, + "Для": 48651, + "▁выполнил": 48652, + "▁экономика": 48653, + "▁Белый": 48654, + "▁музыкальных": 48655, + "▁дядя": 48656, + "▁становилось": 48657, + "asketball": 48658, + "▁арх": 48659, + "▁золотом": 48660, + "▁религия": 48661, + "ttps": 48662, + "▁прежних": 48663, + "▁финансового": 48664, + "▁изучить": 48665, + "▁провинциаль": 48666, + "▁делая": 48667, + "▁очистить": 48668, + "▁передача": 48669, + "▁Давид": 48670, + "особ": 48671, + "▁бывшие": 48672, + "▁олицет": 48673, + "▁выполняется": 48674, + "▁Главным": 48675, + "теть": 48676, + "▁данному": 48677, + "▁шею": 48678, + "▁избегать": 48679, + "▁изданий": 48680, + "▁отчего": 48681, + "▁залив": 48682, + "▁искусству": 48683, + "нином": 48684, + "▁стараясь": 48685, + "▁успокаи": 48686, + "вывать": 48687, + "▁бассейн": 48688, + "▁пропаганды": 48689, + "▁определенную": 48690, + "▁Пуга": 48691, + "▁помогли": 48692, + "▁прочно": 48693, + "▁прохождения": 48694, + "▁действиям": 48695, + "▁счетом": 48696, + "▁Гага": 48697, + "▁волок": 48698, + "Кто": 48699, + "дта": 48700, + "▁муче": 48701, + "▁Православ": 48702, + "▁весны": 48703, + "▁провока": 48704, + "йки": 48705, + "▁темноте": 48706, + "▁СНГ": 48707, + "▁изоби": 48708, + "пая": 48709, + "ченности": 48710, + "▁пеше": 48711, + "▁уще": 48712, + "▁сана": 48713, + "▁компи": 48714, + "питься": 48715, + "▁рассмотрение": 48716, + "▁атмосфер": 48717, + "▁перерыва": 48718, + "▁ученик": 48719, + "▁наря": 48720, + "▁помогут": 48721, + "▁Коз": 48722, + "▁основными": 48723, + "▁грех": 48724, + "▁соборе": 48725, + "▁призра": 48726, + "дельные": 48727, + "ставка": 48728, + "▁официальным": 48729, + "шным": 48730, + "▁дополнение": 48731, + "▁атомов": 48732, + "товом": 48733, + "▁рассматривает": 48734, + "зированной": 48735, + "▁проявление": 48736, + "▁наса": 48737, + "▁установок": 48738, + "нкер": 48739, + "▁приближа": 48740, + "▁конкурс": 48741, + "гнут": 48742, + "▁прозву": 48743, + "▁персо": 48744, + "▁отбора": 48745, + "▁длительного": 48746, + "▁обсуждение": 48747, + "▁исследу": 48748, + "▁исправить": 48749, + "▁спирт": 48750, + "▁объявила": 48751, + "▁едини": 48752, + "▁Находится": 48753, + "▁избирателей": 48754, + "▁ложь": 48755, + "тологии": 48756, + "▁узнав": 48757, + "▁труднее": 48758, + "юль": 48759, + "▁надеяться": 48760, + "▁проектом": 48761, + "тико": 48762, + "▁подключа": 48763, + "▁созданием": 48764, + "▁батарей": 48765, + "▁Сли": 48766, + "▁дизайн": 48767, + "▁культурной": 48768, + "▁Сами": 48769, + "▁церквей": 48770, + "▁полеми": 48771, + "▁областной": 48772, + "▁Данный": 48773, + "▁приемов": 48774, + "▁Вино": 48775, + "▁угроза": 48776, + "▁образовании": 48777, + "новому": 48778, + "▁перело": 48779, + "▁разработал": 48780, + "сово": 48781, + "▁букв": 48782, + "душно": 48783, + "▁состоится": 48784, + "▁Све": 48785, + "udden": 48786, + "▁казах": 48787, + "▁определять": 48788, + "▁достоинство": 48789, + "▁снега": 48790, + "▁широкого": 48791, + "дини": 48792, + "▁анома": 48793, + "▁происходить": 48794, + "▁монахи": 48795, + "▁ключевых": 48796, + "▁основано": 48797, + "▁человеческое": 48798, + "▁Кал": 48799, + "▁американским": 48800, + "▁недовольство": 48801, + "▁безнаде": 48802, + "▁окружении": 48803, + "▁кай": 48804, + "▁Патриар": 48805, + "▁поступки": 48806, + "▁космической": 48807, + "▁Андер": 48808, + "▁документации": 48809, + "▁приобрел": 48810, + "▁Прошло": 48811, + "▁победителем": 48812, + "ховой": 48813, + "▁плату": 48814, + "▁интернете": 48815, + "▁религиозные": 48816, + "▁ДСС": 48817, + "помина": 48818, + "дце": 48819, + "гоне": 48820, + "▁разработчики": 48821, + "носцев": 48822, + "▁Offic": 48823, + "▁кибер": 48824, + "▁развлека": 48825, + "ое": 48826, + "мари": 48827, + "ваемся": 48828, + "▁королевы": 48829, + "▁аккуратно": 48830, + "▁магазинов": 48831, + "ганов": 48832, + "пий": 48833, + "▁Константина": 48834, + "▁думы": 48835, + "▁широкие": 48836, + "лины": 48837, + "▁нажа": 48838, + "▁накапли": 48839, + "▁Николь": 48840, + "▁Демокра": 48841, + "▁плато": 48842, + "жностью": 48843, + "▁медицине": 48844, + "▁Покров": 48845, + "Нью": 48846, + "▁Общества": 48847, + "▁каре": 48848, + "▁водного": 48849, + "▁ПЕР": 48850, + "ствиях": 48851, + "▁посыпа": 48852, + "▁обстановку": 48853, + "▁Короче": 48854, + "▁колю": 48855, + "▁Сэ": 48856, + "▁ХХ": 48857, + "▁алма": 48858, + "▁медалью": 48859, + "▁Специали": 48860, + "▁копии": 48861, + "▁неуме": 48862, + "▁уко": 48863, + "▁Чехова": 48864, + "▁огромных": 48865, + "▁христианство": 48866, + "▁фактором": 48867, + "▁страсть": 48868, + "тут": 48869, + "▁Марина": 48870, + "▁сигаре": 48871, + "лём": 48872, + "▁Гоголь": 48873, + "▁случается": 48874, + "▁жестоко": 48875, + "биографи": 48876, + "▁удачно": 48877, + "▁фантазии": 48878, + "▁Бос": 48879, + "▁Пои": 48880, + "▁Петроград": 48881, + "▁Поста": 48882, + "▁Иванова": 48883, + "▁изна": 48884, + "▁музыкальной": 48885, + "таски": 48886, + "▁спект": 48887, + "▁манда": 48888, + "▁сорта": 48889, + "▁охоты": 48890, + "▁наце": 48891, + "▁критиков": 48892, + "▁Федоров": 48893, + "менных": 48894, + "▁науку": 48895, + "теран": 48896, + "▁ласко": 48897, + "▁распространены": 48898, + "ложением": 48899, + "▁соответствие": 48900, + "▁родителям": 48901, + "risis": 48902, + "своему": 48903, + "▁вызвала": 48904, + "▁существовал": 48905, + "жую": 48906, + "▁учебного": 48907, + "▁прозаи": 48908, + "редка": 48909, + "uters": 48910, + "▁вылета": 48911, + "▁инженеров": 48912, + "ряет": 48913, + "▁молодая": 48914, + "▁печень": 48915, + "▁Стру": 48916, + "gment": 48917, + "▁ведёт": 48918, + "▁подчеркнуть": 48919, + "Гу": 48920, + "▁уважения": 48921, + "▁кинофе": 48922, + "▁кастрю": 48923, + "▁огля": 48924, + "▁оттого": 48925, + "▁Астраха": 48926, + "▁Привет": 48927, + "ллей": 48928, + "▁вмешательства": 48929, + "▁лучшем": 48930, + "▁верю": 48931, + "ссион": 48932, + "▁маленького": 48933, + "▁старая": 48934, + "▁намерен": 48935, + "боры": 48936, + "яза": 48937, + "▁Макс": 48938, + "▁оболочки": 48939, + "▁замо": 48940, + "▁рядах": 48941, + "▁ось": 48942, + "зета": 48943, + "▁Соф": 48944, + "▁защитник": 48945, + "▁удалить": 48946, + "группы": 48947, + "▁сообщество": 48948, + "Же": 48949, + "▁уны": 48950, + "ederation": 48951, + "▁земного": 48952, + "▁сотрудничестве": 48953, + "▁ваку": 48954, + "ссон": 48955, + "▁миниму": 48956, + "▁клят": 48957, + "▁панели": 48958, + "▁взят": 48959, + "▁занят": 48960, + "▁выглядят": 48961, + "▁муску": 48962, + "трица": 48963, + "пода": 48964, + "▁монголь": 48965, + "▁Женщина": 48966, + "▁погода": 48967, + "▁призы": 48968, + "▁эвакуации": 48969, + "▁Война": 48970, + "▁победе": 48971, + "▁Лондона": 48972, + "▁постоянным": 48973, + "▁посвящена": 48974, + "▁будущий": 48975, + "▁Беларусь": 48976, + "▁сможем": 48977, + "▁заключенных": 48978, + "▁романов": 48979, + "▁Тон": 48980, + "▁Проко": 48981, + "▁языку": 48982, + "▁небольшом": 48983, + "▁видами": 48984, + "▁сердцем": 48985, + "▁газов": 48986, + "▁прилега": 48987, + "▁объявления": 48988, + "▁отчу": 48989, + "шнего": 48990, + "▁понимаете": 48991, + "▁журналов": 48992, + "▁спортивной": 48993, + "▁Генриха": 48994, + "▁положением": 48995, + "сио": 48996, + "▁летчиков": 48997, + "▁мемориаль": 48998, + "▁Перу": 48999, + "▁столу": 49000, + "▁переданы": 49001, + "▁заставил": 49002, + "▁пушек": 49003, + "▁encoura": 49004, + "▁категорически": 49005, + "▁подошли": 49006, + "скочил": 49007, + "▁обществ": 49008, + "▁зиму": 49009, + "рею": 49010, + "▁физике": 49011, + "▁Год": 49012, + "▁сдел": 49013, + "ственны": 49014, + "▁Тради": 49015, + "▁предсказа": 49016, + "▁состя": 49017, + "▁точкой": 49018, + "▁Марка": 49019, + "▁experien": 49020, + "▁Союзе": 49021, + "▁Быть": 49022, + "▁карман": 49023, + "▁деревень": 49024, + "▁нынешнего": 49025, + "▁подтверждение": 49026, + "▁немногих": 49027, + "▁вмеши": 49028, + "▁воображение": 49029, + "▁нарезать": 49030, + "▁Маркса": 49031, + "ьях": 49032, + "ИЕ": 49033, + "▁Высота": 49034, + "▁рассказали": 49035, + "▁передавать": 49036, + "читать": 49037, + "рную": 49038, + "▁наем": 49039, + "▁насчитывалось": 49040, + "▁толко": 49041, + "▁центры": 49042, + "▁Немец": 49043, + "вию": 49044, + "рив": 49045, + "▁кипят": 49046, + "▁правди": 49047, + "▁живот": 49048, + "▁обновления": 49049, + "▁местным": 49050, + "▁обеда": 49051, + "▁Создание": 49052, + "▁УССР": 49053, + "▁значительный": 49054, + "▁женщинам": 49055, + "▁Свое": 49056, + "▁одежде": 49057, + "▁понадобится": 49058, + "Ранее": 49059, + "▁главнокоманду": 49060, + "▁стремились": 49061, + "▁гору": 49062, + "ОГ": 49063, + "бол": 49064, + "▁Ивановича": 49065, + "Челове": 49066, + "▁планах": 49067, + "▁выявля": 49068, + "▁лома": 49069, + "▁блоков": 49070, + "▁ухо": 49071, + "▁погребе": 49072, + "▁конкуренции": 49073, + "?\".": 49074, + "▁основатель": 49075, + "▁друзьям": 49076, + "▁отдельным": 49077, + "▁британского": 49078, + "дцать": 49079, + "▁лучей": 49080, + "щева": 49081, + "▁участвуют": 49082, + "▁органом": 49083, + "▁бумаге": 49084, + "▁навыков": 49085, + "▁предлагал": 49086, + "▁уменьшить": 49087, + "▁нажи": 49088, + "▁сумме": 49089, + "▁замену": 49090, + "евым": 49091, + "▁боялся": 49092, + "▁уло": 49093, + "▁долгов": 49094, + "▁совокупности": 49095, + "▁настоящая": 49096, + "▁быта": 49097, + "▁экономический": 49098, + "▁выполняют": 49099, + "▁мега": 49100, + "лиса": 49101, + "▁перевозки": 49102, + "циоз": 49103, + "▁Суда": 49104, + "▁залить": 49105, + "▁заболевание": 49106, + "▁Шекспира": 49107, + "▁Григорьевич": 49108, + "▁ткань": 49109, + "▁радиа": 49110, + "кат": 49111, + "▁предыдущей": 49112, + "▁заявляет": 49113, + "кай": 49114, + "▁выиграть": 49115, + "▁красиво": 49116, + "▁немецким": 49117, + "горо": 49118, + "менее": 49119, + "▁организмов": 49120, + "▁роде": 49121, + "uccess": 49122, + "▁информационных": 49123, + "▁смотрят": 49124, + "▁освободи": 49125, + "▁осмотре": 49126, + "▁частные": 49127, + "▁Вчера": 49128, + "простра": 49129, + "▁законами": 49130, + "▁личи": 49131, + "▁условием": 49132, + "▁солдата": 49133, + "▁второстепен": 49134, + "▁проведена": 49135, + "▁демонстрации": 49136, + "точки": 49137, + "▁суше": 49138, + "▁стя": 49139, + "▁плавания": 49140, + "▁реализация": 49141, + "жками": 49142, + "▁налога": 49143, + "▁яиц": 49144, + "▁Друго": 49145, + "▁ходят": 49146, + "▁убивает": 49147, + "▁температур": 49148, + "▁зв": 49149, + "гиб": 49150, + "▁материальных": 49151, + "▁владение": 49152, + "▁хлоп": 49153, + "▁срабо": 49154, + "▁оранже": 49155, + "▁производителей": 49156, + "▁надписью": 49157, + "▁глад": 49158, + "▁преди": 49159, + "▁Анге": 49160, + "тела": 49161, + "▁определяются": 49162, + "▁ложи": 49163, + "▁расписа": 49164, + "▁понимая": 49165, + "▁СВ": 49166, + "▁польского": 49167, + "шались": 49168, + "▁просвещения": 49169, + "зором": 49170, + "маль": 49171, + "▁твоего": 49172, + "▁оставшиеся": 49173, + "▁расскажу": 49174, + "▁лок": 49175, + "▁русскому": 49176, + "нутый": 49177, + "номи": 49178, + "▁КН": 49179, + "▁лепе": 49180, + "▁ВМС": 49181, + "▁опло": 49182, + "жденных": 49183, + "дье": 49184, + "▁Япония": 49185, + "▁читает": 49186, + "▁ненависти": 49187, + "▁лову": 49188, + "▁забу": 49189, + "▁бухгалтер": 49190, + "▁новостей": 49191, + "▁туристи": 49192, + "▁кухне": 49193, + "▁снизить": 49194, + "▁царской": 49195, + "▁несовершенно": 49196, + "▁священника": 49197, + "▁делится": 49198, + "▁трапе": 49199, + "▁вперёд": 49200, + "▁атомной": 49201, + "▁наблюдал": 49202, + "спомина": 49203, + "мейстер": 49204, + "▁проиграл": 49205, + "▁уми": 49206, + "▁пиани": 49207, + "цизма": 49208, + "▁лихора": 49209, + "▁парашю": 49210, + "▁жидкость": 49211, + "▁portray": 49212, + "▁Четыре": 49213, + "▁обжа": 49214, + "▁нея": 49215, + "▁враща": 49216, + "▁подбира": 49217, + "▁задол": 49218, + "▁успокои": 49219, + "▁фабрики": 49220, + "▁встретились": 49221, + "ара": 49222, + "ваемая": 49223, + "▁правление": 49224, + "худо": 49225, + "▁государя": 49226, + "ствующим": 49227, + "▁золотых": 49228, + "ристы": 49229, + "▁пилота": 49230, + "▁коротко": 49231, + "▁уступ": 49232, + "ленности": 49233, + "▁королевства": 49234, + "▁включать": 49235, + "▁тенденция": 49236, + "живает": 49237, + "▁сбрасы": 49238, + "▁обществу": 49239, + "банка": 49240, + "▁обсерва": 49241, + "▁художники": 49242, + "▁встречались": 49243, + "▁гусе": 49244, + "▁дисциплины": 49245, + "руемых": 49246, + "▁контактов": 49247, + "кей": 49248, + "▁Италию": 49249, + "▁сохранилось": 49250, + "▁дискуссии": 49251, + "влялся": 49252, + "▁принята": 49253, + "▁выражается": 49254, + "▁Насколько": 49255, + "▁Солда": 49256, + "▁секрет": 49257, + "▁страницу": 49258, + "метра": 49259, + "вну": 49260, + "▁указание": 49261, + "▁Деся": 49262, + "▁библиотеке": 49263, + "▁гора": 49264, + "соном": 49265, + "▁размышления": 49266, + "торо": 49267, + "▁Этого": 49268, + "▁ПК": 49269, + "рном": 49270, + "▁направлена": 49271, + "▁максимальной": 49272, + "▁Памятник": 49273, + "▁заключалась": 49274, + "▁разговоре": 49275, + "▁Ред": 49276, + "▁морем": 49277, + "фет": 49278, + "▁полагает": 49279, + "▁переми": 49280, + "▁дежу": 49281, + "валер": 49282, + "▁Борисо": 49283, + "▁Данные": 49284, + "▁присутствуют": 49285, + "жел": 49286, + "▁прямоуго": 49287, + "▁гау": 49288, + "▁Йе": 49289, + "▁табле": 49290, + "рог": 49291, + "ште": 49292, + "▁Cult": 49293, + "azon": 49294, + "▁родственники": 49295, + "▁еврейской": 49296, + "другому": 49297, + "▁десятилетий": 49298, + "▁арома": 49299, + "кара": 49300, + "мерика": 49301, + "▁миг": 49302, + "▁Русские": 49303, + "▁широком": 49304, + "сях": 49305, + "довым": 49306, + "ДС": 49307, + "▁рубеже": 49308, + "▁консоли": 49309, + "▁Берлина": 49310, + "▁сопровождении": 49311, + "ведем": 49312, + "▁Помните": 49313, + "▁Камен": 49314, + "▁Причина": 49315, + "▁дальнейшей": 49316, + "▁Турк": 49317, + "▁веках": 49318, + "стрия": 49319, + "бороны": 49320, + "ксикан": 49321, + "▁интересное": 49322, + "▁сессии": 49323, + "▁пнев": 49324, + "▁футбола": 49325, + "▁запустить": 49326, + "▁Браун": 49327, + "▁намест": 49328, + "▁тратить": 49329, + "▁правую": 49330, + "▁Второе": 49331, + "▁долины": 49332, + "▁совпадает": 49333, + "сений": 49334, + "▁перенести": 49335, + "▁Рассмотри": 49336, + "▁Uk": 49337, + "▁местность": 49338, + "тяне": 49339, + "ловину": 49340, + "▁повышенной": 49341, + "▁шансы": 49342, + "▁тари": 49343, + "▁игровой": 49344, + "▁капель": 49345, + "▁передан": 49346, + "▁тулови": 49347, + "▁глубокий": 49348, + "▁нормальной": 49349, + "▁выступала": 49350, + "▁сры": 49351, + "▁рейх": 49352, + "▁Другими": 49353, + "▁серебра": 49354, + "▁Уста": 49355, + "сфаль": 49356, + "сями": 49357, + "▁аноним": 49358, + "▁отте": 49359, + "▁списки": 49360, + "▁выделения": 49361, + "▁молитвы": 49362, + "бон": 49363, + "зируется": 49364, + "▁магнит": 49365, + "▁незадолго": 49366, + "▁фамилию": 49367, + "▁боеприпасов": 49368, + "▁сока": 49369, + "▁Лорен": 49370, + "▁передвига": 49371, + "▁лазер": 49372, + "oln": 49373, + "▁меняет": 49374, + "▁жал": 49375, + "▁состоянием": 49376, + "▁разрешить": 49377, + "▁illust": 49378, + "чивания": 49379, + "▁ставки": 49380, + "▁реви": 49381, + "pir": 49382, + "▁иллюстри": 49383, + "▁уку": 49384, + "▁обле": 49385, + "▁мем": 49386, + "▁канале": 49387, + "▁враги": 49388, + "▁упаков": 49389, + "▁прямых": 49390, + "▁препараты": 49391, + "пон": 49392, + "▁занимали": 49393, + "▁иеро": 49394, + "▁изобрете": 49395, + "▁Прибал": 49396, + "▁забыли": 49397, + "▁спасе": 49398, + "пился": 49399, + "▁занималась": 49400, + "▁морские": 49401, + "▁княги": 49402, + "iary": 49403, + "▁взвода": 49404, + "▁банкро": 49405, + "▁Кы": 49406, + "▁борта": 49407, + "▁обл": 49408, + "▁научным": 49409, + "▁Кари": 49410, + "▁корей": 49411, + "▁меру": 49412, + "дины": 49413, + "▁пенсию": 49414, + "▁Набо": 49415, + "▁Подобные": 49416, + "▁лейтенанта": 49417, + "uled": 49418, + "▁тылу": 49419, + "▁охраня": 49420, + "хаи": 49421, + "▁Немного": 49422, + "▁принц": 49423, + "▁заняты": 49424, + "▁обвинение": 49425, + "▁ужасно": 49426, + "ванные": 49427, + "▁ковар": 49428, + "▁хромо": 49429, + "▁милосер": 49430, + "▁слоем": 49431, + "меда": 49432, + "сового": 49433, + "▁живые": 49434, + "▁учреждение": 49435, + "▁Сток": 49436, + "▁перестали": 49437, + "▁Гол": 49438, + "▁классы": 49439, + "▁госте": 49440, + "▁недово": 49441, + "▁деления": 49442, + "▁сада": 49443, + "нология": 49444, + "▁коробки": 49445, + "▁учащихся": 49446, + "▁Республике": 49447, + "▁полуфина": 49448, + "▁сведениям": 49449, + "▁Капитан": 49450, + "▁Всегда": 49451, + "▁Надеюсь": 49452, + "▁Краснодар": 49453, + "фицировать": 49454, + "тировали": 49455, + "ueens": 49456, + "▁сотрудниками": 49457, + "▁пальцем": 49458, + "армей": 49459, + "▁клубов": 49460, + "ИБ": 49461, + "▁поп": 49462, + "памя": 49463, + "часто": 49464, + "▁историков": 49465, + "дках": 49466, + "▁добрый": 49467, + "Гер": 49468, + "▁вождя": 49469, + "▁выходили": 49470, + "▁телу": 49471, + "тано": 49472, + "▁протокол": 49473, + "▁подготовить": 49474, + "оса": 49475, + "▁границах": 49476, + "▁традиция": 49477, + "испыта": 49478, + "▁конкурсе": 49479, + "▁конди": 49480, + "▁Петер": 49481, + "▁монопо": 49482, + "▁охотни": 49483, + "▁французские": 49484, + "▁Лар": 49485, + "▁повреди": 49486, + "▁советско": 49487, + "▁короче": 49488, + "▁попадают": 49489, + "▁Вокруг": 49490, + "▁подтверждает": 49491, + "▁кнопки": 49492, + "вола": 49493, + "▁Нака": 49494, + "▁Смотри": 49495, + "▁эксперты": 49496, + "ллиан": 49497, + "▁неяс": 49498, + "▁актива": 49499, + "▁течению": 49500, + "▁беженцев": 49501, + "бот": 49502, + "француз": 49503, + "▁медалями": 49504, + "▁интеллекта": 49505, + "▁Самые": 49506, + "▁укро": 49507, + "▁цвету": 49508, + "▁флага": 49509, + "▁Сербии": 49510, + "▁любим": 49511, + "▁искусством": 49512, + "кономии": 49513, + "деров": 49514, + "▁Край": 49515, + "льники": 49516, + "▁Кири": 49517, + "▁штам": 49518, + "каса": 49519, + "▁необходимостью": 49520, + "▁морю": 49521, + "▁Литвы": 49522, + "▁округу": 49523, + "▁предельно": 49524, + "кине": 49525, + "▁невероятно": 49526, + "▁оркестра": 49527, + "▁звер": 49528, + "пеней": 49529, + "▁Абсолю": 49530, + "▁номинации": 49531, + "бес": 49532, + "▁написала": 49533, + "▁костюм": 49534, + "▁Иными": 49535, + "▁юрис": 49536, + "▁клавиа": 49537, + "▁Сав": 49538, + "▁росту": 49539, + "▁вправо": 49540, + "▁полосе": 49541, + "губ": 49542, + "▁синтакси": 49543, + "▁римского": 49544, + "▁Недавно": 49545, + "▁отделом": 49546, + "еть": 49547, + "▁урожай": 49548, + "вело": 49549, + "▁лим": 49550, + "▁хранится": 49551, + "троп": 49552, + "▁Ману": 49553, + "социали": 49554, + "▁благослове": 49555, + "▁плу": 49556, + "▁переименован": 49557, + "▁агрессии": 49558, + "▁революцию": 49559, + "женицы": 49560, + "▁Москвой": 49561, + "лилась": 49562, + "держание": 49563, + "▁продли": 49564, + "▁сомнение": 49565, + "▁успоко": 49566, + "▁созвез": 49567, + "▁отличались": 49568, + "▁разделение": 49569, + "▁доволен": 49570, + "▁шты": 49571, + "▁окружи": 49572, + "▁контракта": 49573, + "▁знакомства": 49574, + "писки": 49575, + "▁тонко": 49576, + "▁преследу": 49577, + "▁Гло": 49578, + "▁попо": 49579, + "▁живёт": 49580, + "▁поменя": 49581, + "ework": 49582, + "▁детского": 49583, + "▁государь": 49584, + "▁остановки": 49585, + "▁старается": 49586, + "▁работающих": 49587, + "▁спектакля": 49588, + "▁сельских": 49589, + "▁воров": 49590, + "тянуть": 49591, + "▁Верховный": 49592, + "▁Нач": 49593, + "партий": 49594, + "▁немцами": 49595, + "▁ящик": 49596, + "▁Яков": 49597, + "плин": 49598, + "▁замед": 49599, + "▁Куй": 49600, + "▁сообще": 49601, + "▁механики": 49602, + "▁гласит": 49603, + "▁монито": 49604, + "▁правосла": 49605, + "▁баллов": 49606, + "▁красных": 49607, + "Союз": 49608, + "▁обостре": 49609, + "кладки": 49610, + "▁вирус": 49611, + "▁приле": 49612, + "фессиона": 49613, + "орт": 49614, + "▁великому": 49615, + "▁пыталась": 49616, + "▁произведён": 49617, + "чивают": 49618, + "▁итоги": 49619, + "▁Храм": 49620, + "▁Юрь": 49621, + "▁сиро": 49622, + "▁астерои": 49623, + "▁ибн": 49624, + "плены": 49625, + "▁Эле": 49626, + "вропей": 49627, + "▁сувере": 49628, + "▁французы": 49629, + "мода": 49630, + "▁военнослужа": 49631, + "▁Черны": 49632, + "▁Свой": 49633, + "▁богаты": 49634, + "кается": 49635, + "иды": 49636, + "тельский": 49637, + "▁многократно": 49638, + "шкина": 49639, + "▁непонятно": 49640, + "вань": 49641, + "рующего": 49642, + "▁дерз": 49643, + "▁возьми": 49644, + "▁ущерба": 49645, + "вшемуся": 49646, + "▁британский": 49647, + "▁Штаты": 49648, + "▁исце": 49649, + "▁осен": 49650, + "▁коменда": 49651, + "▁блюда": 49652, + "тихо": 49653, + "▁мягко": 49654, + "Вла": 49655, + "стона": 49656, + "▁односторон": 49657, + "▁южных": 49658, + "ЛЯ": 49659, + "▁недопусти": 49660, + "Гра": 49661, + "▁меньшин": 49662, + "▁возрастает": 49663, + "▁туберку": 49664, + "▁употребления": 49665, + "▁Хен": 49666, + "▁мио": 49667, + "левский": 49668, + "▁Тебе": 49669, + "▁интересует": 49670, + "▁глубокое": 49671, + "жденные": 49672, + "заций": 49673, + "▁Министров": 49674, + "▁беспри": 49675, + "▁императором": 49676, + "▁определению": 49677, + "▁мощь": 49678, + "▁шире": 49679, + "▁пьесе": 49680, + "ейс": 49681, + "президент": 49682, + "▁грубы": 49683, + "▁сопровождается": 49684, + "▁ставший": 49685, + "▁Сици": 49686, + "▁перес": 49687, + "▁легенды": 49688, + "ряется": 49689, + "▁пятидесяти": 49690, + "▁российским": 49691, + "льца": 49692, + "▁ступ": 49693, + "▁помощника": 49694, + "?»": 49695, + "▁переворота": 49696, + "комму": 49697, + "▁поведением": 49698, + "свобо": 49699, + "▁Хорва": 49700, + "▁праздника": 49701, + "▁свидетелей": 49702, + "▁распространён": 49703, + "▁признает": 49704, + "▁азиат": 49705, + "▁третьим": 49706, + "доры": 49707, + "▁регистри": 49708, + "▁Пода": 49709, + "▁Пой": 49710, + "▁бабо": 49711, + "▁Мура": 49712, + "▁планирования": 49713, + "▁предъяви": 49714, + "ваемое": 49715, + "▁тожде": 49716, + "▁живопись": 49717, + "▁брату": 49718, + "▁Роберта": 49719, + "▁перемены": 49720, + "▁аро": 49721, + "величи": 49722, + "▁оставшихся": 49723, + "новской": 49724, + "▁индика": 49725, + "▁Огром": 49726, + "▁призвал": 49727, + "▁исполнительной": 49728, + "▁обратились": 49729, + "няясь": 49730, + "▁институтов": 49731, + "▁безот": 49732, + "▁Пути": 49733, + "▁легкие": 49734, + "▁присутствия": 49735, + "▁соответствовать": 49736, + "▁мудрости": 49737, + "▁входило": 49738, + "▁прекращения": 49739, + "▁эстра": 49740, + "▁грузин": 49741, + "▁горячей": 49742, + "▁следов": 49743, + "▁Нобелев": 49744, + "▁знака": 49745, + "▁боевиков": 49746, + "▁немедлен": 49747, + "▁содержанию": 49748, + "шней": 49749, + "▁обладать": 49750, + "▁интим": 49751, + "▁выражает": 49752, + "▁игроки": 49753, + "льфа": 49754, + "зывают": 49755, + "▁использованию": 49756, + "▁уходят": 49757, + "Москов": 49758, + "▁Веро": 49759, + "▁правед": 49760, + "ссёр": 49761, + "▁полетов": 49762, + "▁формируется": 49763, + "▁полутора": 49764, + "▁торговля": 49765, + "▁настоящие": 49766, + "▁звонок": 49767, + "бита": 49768, + "▁краски": 49769, + "▁обратном": 49770, + "ницами": 49771, + "▁истина": 49772, + "́ться": 49773, + "гую": 49774, + "▁Помню": 49775, + "▁просу": 49776, + "▁глубина": 49777, + "▁пустой": 49778, + "▁штабе": 49779, + "▁гал": 49780, + "▁отверстия": 49781, + "▁обманы": 49782, + "▁Учитывая": 49783, + "uties": 49784, + "▁отталки": 49785, + "▁разделения": 49786, + "▁предусматривает": 49787, + "влялись": 49788, + "▁греческой": 49789, + "▁клей": 49790, + "▁агра": 49791, + "▁любя": 49792, + "▁конструкция": 49793, + "▁ед": 49794, + "исти": 49795, + "дину": 49796, + "▁осуществление": 49797, + "▁дружбы": 49798, + "ЕС": 49799, + "▁эксперименты": 49800, + "▁постоянных": 49801, + "▁землях": 49802, + "▁Роза": 49803, + "▁греков": 49804, + "▁шокола": 49805, + "▁резонан": 49806, + "▁Относи": 49807, + "▁Снова": 49808, + "▁поддержания": 49809, + "ился": 49810, + "▁выставка": 49811, + "▁Чехословакии": 49812, + "▁внутреннюю": 49813, + "▁месторождения": 49814, + "▁неустой": 49815, + "ванного": 49816, + "▁конвен": 49817, + "▁беспомощ": 49818, + "struction": 49819, + "▁Мно": 49820, + "Совет": 49821, + "▁мск": 49822, + "▁интересам": 49823, + "▁телесериа": 49824, + "▁информационной": 49825, + "▁равной": 49826, + "▁необыкновен": 49827, + "льси": 49828, + "▁изменении": 49829, + "▁черных": 49830, + "▁обязанность": 49831, + "Моло": 49832, + "▁контрреволю": 49833, + "вость": 49834, + "▁подхва": 49835, + "▁крейсер": 49836, + "▁мудре": 49837, + "щимися": 49838, + "▁разной": 49839, + "УР": 49840, + "▁Эрик": 49841, + "▁уметь": 49842, + "▁воспринимать": 49843, + "▁сидят": 49844, + "нцев": 49845, + "▁упражнений": 49846, + "▁риф": 49847, + "▁Команда": 49848, + "▁перемещения": 49849, + "▁жалобы": 49850, + "▁дату": 49851, + "тир": 49852, + "▁южнее": 49853, + "▁Петру": 49854, + "▁безуспе": 49855, + "▁Образ": 49856, + "▁приходили": 49857, + "▁коре": 49858, + "▁интересных": 49859, + "тны": 49860, + "▁поддерживал": 49861, + "▁совершили": 49862, + "▁атак": 49863, + "▁формат": 49864, + "▁процессом": 49865, + "▁сокращение": 49866, + "▁нуля": 49867, + "▁пещ": 49868, + "▁международным": 49869, + "▁Четвер": 49870, + "▁фри": 49871, + "кки": 49872, + "▁щедро": 49873, + "▁плечо": 49874, + "Ал": 49875, + "веда": 49876, + "фельд": 49877, + "▁китайских": 49878, + "▁единственно": 49879, + "iang": 49880, + "▁Санта": 49881, + "▁сократить": 49882, + "▁полицейских": 49883, + "▁Профессор": 49884, + "▁иконы": 49885, + "▁национальные": 49886, + "▁переключа": 49887, + "дря": 49888, + "▁узнает": 49889, + "▁газетах": 49890, + "▁пада": 49891, + "▁взыска": 49892, + "сма": 49893, + "▁Последнее": 49894, + "▁Класси": 49895, + "▁биологии": 49896, + "▁оперативно": 49897, + "▁кажутся": 49898, + "грамо": 49899, + "▁конституции": 49900, + "▁consec": 49901, + "тивному": 49902, + "▁Советская": 49903, + "▁Стэн": 49904, + "▁НЛО": 49905, + "ллинг": 49906, + "▁ожидал": 49907, + "дитесь": 49908, + "▁половой": 49909, + "▁соле": 49910, + "Пра": 49911, + "шов": 49912, + "дельный": 49913, + "▁среднее": 49914, + "▁Возник": 49915, + "▁рекор": 49916, + "ристов": 49917, + "▁видишь": 49918, + "▁Мали": 49919, + "▁уверенности": 49920, + "▁двусторон": 49921, + "▁бру": 49922, + "▁полости": 49923, + "▁переведен": 49924, + "▁белым": 49925, + "▁Семи": 49926, + "▁Marsh": 49927, + "▁лидеры": 49928, + "жор": 49929, + "хро": 49930, + "▁Бое": 49931, + "▁логика": 49932, + "▁среда": 49933, + "▁общему": 49934, + "▁расформи": 49935, + "ИНА": 49936, + "дира": 49937, + "добы": 49938, + "▁Ап": 49939, + "▁покинули": 49940, + "▁массе": 49941, + "▁толщиной": 49942, + "▁поре": 49943, + "▁автору": 49944, + "▁Эми": 49945, + "▁рота": 49946, + "▁включения": 49947, + "▁электромагни": 49948, + "▁прочь": 49949, + "▁Addition": 49950, + "бара": 49951, + "▁влюблен": 49952, + "▁взве": 49953, + "▁значительных": 49954, + "име": 49955, + "▁простая": 49956, + "▁сжи": 49957, + "▁рейтинг": 49958, + "▁октябрь": 49959, + "▁организациями": 49960, + "▁отрез": 49961, + "▁Лай": 49962, + "▁забе": 49963, + "▁военными": 49964, + "миная": 49965, + "жском": 49966, + "▁ограничение": 49967, + "▁князем": 49968, + "страя": 49969, + "▁регион": 49970, + "▁Рассмотрим": 49971, + "▁извлека": 49972, + "▁Развитие": 49973, + "▁сообщают": 49974, + "▁замены": 49975, + "▁сбере": 49976, + "▁потеряла": 49977, + "▁спортивных": 49978, + "▁торговые": 49979, + "▁называлась": 49980, + "▁естественного": 49981, + "сской": 49982, + "▁характере": 49983, + "▁Вячеслав": 49984, + "▁коже": 49985, + "▁Клин": 49986, + "ксов": 49987, + "▁Orig": 49988, + "▁живое": 49989, + "▁аренды": 49990, + "▁чиновники": 49991, + "▁престола": 49992, + "▁Ата": 49993, + "▁оценкам": 49994, + "▁перена": 49995, + "рующая": 49996, + "▁зеркало": 49997, + "▁обыгра": 49998, + "ффа": 49999, + "патри": 50000, + "▁повседневной": 50001, + "▁Вначале": 50002, + "▁выделяется": 50003, + "▁Художе": 50004, + "▁Малень": 50005, + "▁бить": 50006, + "▁называемого": 50007, + "▁коррек": 50008, + "rete": 50009, + "▁уважением": 50010, + "▁равновесия": 50011, + "▁имелись": 50012, + "▁посадку": 50013, + "▁продо": 50014, + "▁князю": 50015, + "видной": 50016, + "▁мужик": 50017, + "▁стихах": 50018, + "▁МИ": 50019, + "▁жени": 50020, + "▁постановки": 50021, + "▁простира": 50022, + "ъяс": 50023, + "▁Предположи": 50024, + "▁образуются": 50025, + "▁тренировки": 50026, + "ёры": 50027, + "▁делаю": 50028, + "▁неведо": 50029, + "▁сборки": 50030, + "▁принесла": 50031, + "▁справедливость": 50032, + "закон": 50033, + "▁смогу": 50034, + "▁СМ": 50035, + "utation": 50036, + "▁агента": 50037, + "▁алгоритм": 50038, + "▁перспективе": 50039, + "▁разнообра": 50040, + "▁крик": 50041, + "▁настойчиво": 50042, + "ragon": 50043, + "▁вооружении": 50044, + "▁постоянный": 50045, + "▁назо": 50046, + "сковой": 50047, + "▁цеп": 50048, + "▁авантю": 50049, + "▁Стю": 50050, + "ловых": 50051, + "▁вздох": 50052, + "▁Северная": 50053, + "▁бомб": 50054, + "▁suppor": 50055, + "▁хит": 50056, + "▁ядерного": 50057, + "▁компонент": 50058, + "▁констати": 50059, + "▁убрать": 50060, + "▁надписи": 50061, + "▁пользы": 50062, + "▁сгоре": 50063, + "▁полагал": 50064, + "▁расположенные": 50065, + "особенно": 50066, + "▁любили": 50067, + "▁течением": 50068, + "балан": 50069, + "зино": 50070, + "▁Италия": 50071, + "▁оператора": 50072, + "гета": 50073, + "▁внутренним": 50074, + "▁варьи": 50075, + "▁преступников": 50076, + "лини": 50077, + "слух": 50078, + "▁целая": 50079, + "▁выявить": 50080, + "▁аргумента": 50081, + "ДД": 50082, + "▁новгород": 50083, + "▁смех": 50084, + "▁благодарность": 50085, + "столюби": 50086, + "▁отдых": 50087, + "▁концепцию": 50088, + "сочета": 50089, + "▁положений": 50090, + "▁передач": 50091, + "▁косвен": 50092, + "▁собеседник": 50093, + "▁индейцев": 50094, + "була": 50095, + "▁приборы": 50096, + "▁сосудов": 50097, + "прови": 50098, + "▁рель": 50099, + "▁газету": 50100, + "▁отврати": 50101, + "характери": 50102, + "▁агро": 50103, + "▁Объек": 50104, + "станций": 50105, + "▁изучении": 50106, + "ченном": 50107, + "▁формировании": 50108, + "лила": 50109, + "▁трон": 50110, + "йтед": 50111, + "▁разряд": 50112, + "▁аква": 50113, + "▁Товари": 50114, + "▁Распу": 50115, + "▁завершить": 50116, + "тинский": 50117, + "рованном": 50118, + "▁однозначно": 50119, + "▁давая": 50120, + "▁реакций": 50121, + "▁ула": 50122, + "▁добычу": 50123, + "ницкий": 50124, + "▁кругах": 50125, + "▁Дополни": 50126, + "каты": 50127, + "феро": 50128, + "▁надежде": 50129, + "▁Пастерна": 50130, + "фар": 50131, + "▁дверей": 50132, + "▁брал": 50133, + "шиф": 50134, + "▁противостоять": 50135, + "▁появиться": 50136, + "▁извер": 50137, + "▁надё": 50138, + "▁Мюн": 50139, + "▁ушёл": 50140, + "▁ориентации": 50141, + "▁воины": 50142, + "▁Харьков": 50143, + "▁политическое": 50144, + "▁Живо": 50145, + "▁почву": 50146, + "pedition": 50147, + "уда": 50148, + "▁посмер": 50149, + "рились": 50150, + "▁диплом": 50151, + "▁расхо": 50152, + "▁посмотрим": 50153, + "▁Посо": 50154, + "▁Франсуа": 50155, + "▁сохраняет": 50156, + "▁мю": 50157, + "▁щен": 50158, + "▁государственную": 50159, + "▁архитектора": 50160, + "▁сжима": 50161, + "▁Российского": 50162, + "▁Лауре": 50163, + "▁старших": 50164, + "▁обеспечивают": 50165, + "▁интеграции": 50166, + "зовывать": 50167, + "▁событиями": 50168, + "rove": 50169, + "▁стерж": 50170, + "▁знакомство": 50171, + "▁практической": 50172, + "▁смысло": 50173, + "▁мексикан": 50174, + "▁Оли": 50175, + "▁Грей": 50176, + "▁Успен": 50177, + "▁Самая": 50178, + "▁древнегре": 50179, + "▁программного": 50180, + "▁кучу": 50181, + "▁мобильных": 50182, + "▁повле": 50183, + "▁героем": 50184, + "▁исторически": 50185, + "▁Вест": 50186, + "зель": 50187, + "▁вертолет": 50188, + "ЕЗ": 50189, + "дость": 50190, + "шила": 50191, + "▁скрыть": 50192, + "лики": 50193, + "▁зеленый": 50194, + "▁прежние": 50195, + "▁стараются": 50196, + "▁вёл": 50197, + "Гц": 50198, + "▁Тверской": 50199, + "▁строение": 50200, + "▁Сон": 50201, + "▁стремления": 50202, + "▁ответов": 50203, + "▁ille": 50204, + "▁крестьянской": 50205, + "▁художником": 50206, + "▁тайну": 50207, + "▁подчеркну": 50208, + "▁сводится": 50209, + "▁значительная": 50210, + "▁беспло": 50211, + "▁прежней": 50212, + "ФЗ": 50213, + "▁воевать": 50214, + "▁богу": 50215, + "▁Артур": 50216, + "чур": 50217, + "▁производят": 50218, + "▁Александру": 50219, + "▁снят": 50220, + "▁заставили": 50221, + "электри": 50222, + "▁предопреде": 50223, + "▁учёных": 50224, + "▁распра": 50225, + "▁ладно": 50226, + "▁конденса": 50227, + "▁уклады": 50228, + "▁характером": 50229, + "▁пояса": 50230, + "▁задать": 50231, + "дс": 50232, + "▁конструкций": 50233, + "женном": 50234, + "▁Тбили": 50235, + "▁желанием": 50236, + "▁спаль": 50237, + "▁прямые": 50238, + "ьян": 50239, + "▁электронных": 50240, + "▁любителей": 50241, + "▁разбор": 50242, + "рба": 50243, + "▁двоих": 50244, + "Пред": 50245, + "▁судебной": 50246, + "▁досро": 50247, + "▁рубеж": 50248, + "▁перенес": 50249, + "▁влево": 50250, + "▁германской": 50251, + "▁показывать": 50252, + "▁местный": 50253, + "▁секции": 50254, + "▁бирже": 50255, + "▁важность": 50256, + "▁развиваются": 50257, + "flib": 50258, + "▁Появи": 50259, + "▁покро": 50260, + "▁отзывы": 50261, + "▁памятники": 50262, + "▁сделана": 50263, + "ционеры": 50264, + "▁Неболь": 50265, + "▁интона": 50266, + "▁исправи": 50267, + "▁водорода": 50268, + "▁Сухо": 50269, + "▁яд": 50270, + "стически": 50271, + "ланда": 50272, + "НОСТ": 50273, + "▁ядерной": 50274, + "▁синтеза": 50275, + "▁судебных": 50276, + "▁реализацию": 50277, + "▁ожидании": 50278, + "товое": 50279, + "мь": 50280, + "▁Чин": 50281, + "цки": 50282, + "▁нанес": 50283, + "▁центральных": 50284, + "▁спасение": 50285, + "▁единое": 50286, + "▁материальной": 50287, + "черки": 50288, + "▁Дмитриевич": 50289, + "▁германских": 50290, + "▁танце": 50291, + "▁зубов": 50292, + "▁пятна": 50293, + "▁приводя": 50294, + "▁Джим": 50295, + "▁мастерской": 50296, + "▁Бла": 50297, + "▁кристалли": 50298, + "▁колла": 50299, + "▁сообщал": 50300, + "ДП": 50301, + "техники": 50302, + "▁советов": 50303, + "▁страхов": 50304, + "▁авиационного": 50305, + "▁зерно": 50306, + "▁умом": 50307, + "▁уменьшается": 50308, + "рях": 50309, + "▁претенден": 50310, + "▁окне": 50311, + "▁называемая": 50312, + "лени": 50313, + "▁штука": 50314, + "▁вибра": 50315, + "▁парадокса": 50316, + "▁встать": 50317, + "▁заключению": 50318, + "▁ресторан": 50319, + "▁припа": 50320, + "зят": 50321, + "▁сгу": 50322, + "Пла": 50323, + "Стра": 50324, + "▁Съ": 50325, + "▁удли": 50326, + "▁Васильев": 50327, + "▁открытого": 50328, + "▁пош": 50329, + "▁Сою": 50330, + "▁бояться": 50331, + "▁звуко": 50332, + "▁увидите": 50333, + "▁Великобритания": 50334, + "▁предупреждения": 50335, + "нео": 50336, + "▁модуль": 50337, + "▁Льва": 50338, + "▁заодно": 50339, + "риат": 50340, + "▁характерны": 50341, + "▁византий": 50342, + "▁прочее": 50343, + "▁тяжелый": 50344, + "▁достигается": 50345, + "▁климата": 50346, + "▁знакоми": 50347, + "тях": 50348, + "живания": 50349, + "▁запросов": 50350, + "жон": 50351, + "▁Ол": 50352, + "правление": 50353, + "▁суждено": 50354, + "▁выросла": 50355, + "▁обыден": 50356, + "▁Медведев": 50357, + "▁усе": 50358, + "▁старости": 50359, + "льцы": 50360, + "стит": 50361, + "▁этажа": 50362, + "▁днях": 50363, + "скрип": 50364, + "▁помогал": 50365, + "▁выры": 50366, + "После": 50367, + "▁somew": 50368, + "торных": 50369, + "▁достижений": 50370, + "▁возможной": 50371, + "▁Реги": 50372, + "▁объединя": 50373, + "▁познакомиться": 50374, + "▁общин": 50375, + "▁ОП": 50376, + "▁партнеров": 50377, + "▁разом": 50378, + "▁установленных": 50379, + "▁уровню": 50380, + "▁революционной": 50381, + "▁Сне": 50382, + "▁провода": 50383, + "▁Смерть": 50384, + "▁занимать": 50385, + "▁жаль": 50386, + "▁фарма": 50387, + "▁западного": 50388, + "▁дешевле": 50389, + "щах": 50390, + "▁упразднён": 50391, + "▁лого": 50392, + "▁Программа": 50393, + "байка": 50394, + "▁мужу": 50395, + "носятся": 50396, + "▁завоевания": 50397, + "летом": 50398, + "▁Игна": 50399, + "▁Иран": 50400, + "▁прегра": 50401, + "▁ключи": 50402, + "▁Лук": 50403, + "▁раны": 50404, + "▁Баш": 50405, + "▁моск": 50406, + "▁неа": 50407, + "женер": 50408, + "▁привед": 50409, + "▁определении": 50410, + "▁отдельными": 50411, + "▁канц": 50412, + "▁звуков": 50413, + "▁управлению": 50414, + "▁давай": 50415, + "▁ближайших": 50416, + "▁музыкального": 50417, + "▁Уа": 50418, + "знец": 50419, + "арт": 50420, + "▁обнаруживает": 50421, + "▁Мира": 50422, + "▁неограни": 50423, + "▁прони": 50424, + "▁счастлив": 50425, + "▁прошлой": 50426, + "вавшие": 50427, + "смер": 50428, + "▁подойти": 50429, + "ВС": 50430, + "▁заблоки": 50431, + "▁Португалии": 50432, + "▁Зву": 50433, + "▁убитых": 50434, + "▁обмо": 50435, + "▁электроэнергии": 50436, + "▁недове": 50437, + "▁равновеси": 50438, + "листов": 50439, + "▁комбини": 50440, + "▁ножом": 50441, + "▁интерпретации": 50442, + "▁десятка": 50443, + "▁летчик": 50444, + "▁улицам": 50445, + "▁дошли": 50446, + "▁знакомые": 50447, + "▁музыкальный": 50448, + "▁Матве": 50449, + "▁продукцию": 50450, + "▁уходить": 50451, + "itants": 50452, + "▁Вполне": 50453, + "rack": 50454, + "▁Шах": 50455, + "▁усу": 50456, + "▁продолжения": 50457, + "▁пома": 50458, + "▁народные": 50459, + "▁вступает": 50460, + "▁рем": 50461, + "▁Куту": 50462, + "▁Кому": 50463, + "▁врачом": 50464, + "▁Мило": 50465, + "▁исследовать": 50466, + "▁чистого": 50467, + "▁высочай": 50468, + "▁доброво": 50469, + "▁Плу": 50470, + "▁баро": 50471, + "▁Департа": 50472, + "▁квадратных": 50473, + "▁набрал": 50474, + "▁виден": 50475, + "▁возможны": 50476, + "▁Эдуард": 50477, + "▁модернизации": 50478, + "▁таки": 50479, + "▁позор": 50480, + "пович": 50481, + "▁сравнение": 50482, + "▁коалиции": 50483, + "▁Виш": 50484, + "▁сыграли": 50485, + "чься": 50486, + "▁вызова": 50487, + "▁родом": 50488, + "▁итальянского": 50489, + "▁подполковник": 50490, + "ёнок": 50491, + "▁Хоть": 50492, + "вз": 50493, + "Авто": 50494, + "▁Леви": 50495, + "▁способствовать": 50496, + "социаль": 50497, + "▁расход": 50498, + "▁запросы": 50499, + "довской": 50500, + "ructure": 50501, + "▁Александром": 50502, + "▁возобно": 50503, + "▁ритуаль": 50504, + "etts": 50505, + "западной": 50506, + "▁Республика": 50507, + "▁пропу": 50508, + "▁Южно": 50509, + "▁визита": 50510, + "▁пир": 50511, + "▁акционер": 50512, + "▁Ивановна": 50513, + "▁акты": 50514, + "листы": 50515, + "▁Рузве": 50516, + "▁британских": 50517, + "▁подсо": 50518, + "▁беспоща": 50519, + "▁редактором": 50520, + "▁выреза": 50521, + "▁книгой": 50522, + "▁расширить": 50523, + "▁Понима": 50524, + "flibusta": 50525, + "▁Русского": 50526, + "рится": 50527, + "▁эпоха": 50528, + "▁мощи": 50529, + "▁Мадри": 50530, + "▁пласт": 50531, + "▁Кё": 50532, + "скопа": 50533, + "тируя": 50534, + "▁депутаты": 50535, + "▁соответствующим": 50536, + "▁ирони": 50537, + "▁решился": 50538, + "▁лечении": 50539, + "▁старым": 50540, + "▁употребление": 50541, + "▁задолго": 50542, + "▁ветери": 50543, + "▁заведений": 50544, + "▁нужд": 50545, + "▁победой": 50546, + "деятельности": 50547, + "ВМ": 50548, + "ourney": 50549, + "тк": 50550, + "▁патриоти": 50551, + "▁аук": 50552, + "▁сложным": 50553, + "▁широкую": 50554, + "▁империя": 50555, + "▁Звезда": 50556, + "▁войсках": 50557, + "▁компьютеров": 50558, + "▁лоя": 50559, + "▁издал": 50560, + "▁Обладатель": 50561, + "▁Чехов": 50562, + "▁длительное": 50563, + "▁младшего": 50564, + "▁возвышен": 50565, + "дере": 50566, + "▁автоно": 50567, + "▁новость": 50568, + "▁отказалась": 50569, + "▁издательства": 50570, + "▁секс": 50571, + "▁верность": 50572, + "▁палом": 50573, + "▁сторонники": 50574, + "▁выбрали": 50575, + "▁хозяйств": 50576, + "▁ученики": 50577, + "▁региональных": 50578, + "▁Расстояние": 50579, + "▁разное": 50580, + "ническое": 50581, + "говая": 50582, + "чаться": 50583, + "▁построили": 50584, + "▁Совершенно": 50585, + "▁кадра": 50586, + "▁Остро": 50587, + "▁кафедрой": 50588, + "▁спрос": 50589, + "▁новорожден": 50590, + "▁Юлия": 50591, + "▁вытека": 50592, + "▁Отто": 50593, + "▁встретили": 50594, + "▁установление": 50595, + "▁пролетариата": 50596, + "▁обитания": 50597, + "▁силам": 50598, + "▁этапах": 50599, + "▁точность": 50600, + "▁буй": 50601, + "надцатого": 50602, + "▁предполагается": 50603, + "доступ": 50604, + "▁отделении": 50605, + "▁предводи": 50606, + "▁наркома": 50607, + "▁Мала": 50608, + "лёв": 50609, + "▁погибло": 50610, + "▁Вороши": 50611, + "▁разбу": 50612, + "▁Пье": 50613, + "▁доклады": 50614, + "нси": 50615, + "▁Гаври": 50616, + "▁отклик": 50617, + "▁Законо": 50618, + "шние": 50619, + "▁Депута": 50620, + "▁скле": 50621, + "▁Западного": 50622, + "▁Давы": 50623, + "▁тонкой": 50624, + "▁глубокие": 50625, + "▁пунктом": 50626, + "▁пункте": 50627, + "▁действ": 50628, + "ствовавших": 50629, + "ОТ": 50630, + "▁оказывают": 50631, + "▁дожида": 50632, + "▁запер": 50633, + "плен": 50634, + "▁исчезли": 50635, + "▁секретар": 50636, + "▁похожа": 50637, + "▁опозда": 50638, + "▁республике": 50639, + "▁угрожа": 50640, + "▁исключение": 50641, + "▁лежали": 50642, + "▁Призна": 50643, + "▁мирного": 50644, + "▁прямое": 50645, + "▁немецкими": 50646, + "▁происхождении": 50647, + "▁эфире": 50648, + "щееся": 50649, + "▁принимала": 50650, + "▁опытный": 50651, + "▁ином": 50652, + "▁итог": 50653, + "пустим": 50654, + "▁принадлежность": 50655, + "▁Никита": 50656, + "видные": 50657, + "▁Краснояр": 50658, + "▁удаления": 50659, + "▁улыбкой": 50660, + "▁испытывать": 50661, + "▁натри": 50662, + "▁очередного": 50663, + "▁Таи": 50664, + "плет": 50665, + "▁Буда": 50666, + "▁превратилась": 50667, + "ровав": 50668, + "▁Лоу": 50669, + "▁лауреа": 50670, + "avig": 50671, + "▁капли": 50672, + "▁архив": 50673, + "зированный": 50674, + "▁находим": 50675, + "▁возможностями": 50676, + "лас": 50677, + "▁печи": 50678, + "▁устранить": 50679, + "▁проголосо": 50680, + "▁непред": 50681, + "▁естественной": 50682, + "▁ай": 50683, + "▁Дека": 50684, + "▁общении": 50685, + "▁продолжалось": 50686, + "▁банке": 50687, + "▁кадры": 50688, + "▁предусмотрен": 50689, + "▁монаше": 50690, + "▁ночной": 50691, + "офф": 50692, + "следует": 50693, + "▁штук": 50694, + "▁служб": 50695, + "хия": 50696, + "▁жалова": 50697, + "▁стоимо": 50698, + "▁полуостро": 50699, + "▁различной": 50700, + "▁нынешней": 50701, + "неру": 50702, + "▁Фила": 50703, + "зки": 50704, + "tical": 50705, + "▁сквер": 50706, + "нцы": 50707, + "▁заблуждение": 50708, + "▁индивидуальных": 50709, + "▁сорат": 50710, + "▁Кремля": 50711, + "▁нова": 50712, + "▁фракции": 50713, + "▁общежи": 50714, + "▁красным": 50715, + "▁Индоне": 50716, + "▁Рэ": 50717, + "зида": 50718, + "▁различного": 50719, + "▁Сибирь": 50720, + "▁Красную": 50721, + "▁реальном": 50722, + "▁Рио": 50723, + "▁служащих": 50724, + "РК": 50725, + "▁зрителя": 50726, + "ставки": 50727, + "гле": 50728, + "▁диско": 50729, + "▁Гим": 50730, + "▁поддерживают": 50731, + "▁Ваше": 50732, + "▁спроса": 50733, + "▁запасов": 50734, + "▁даром": 50735, + "▁Меха": 50736, + "▁классу": 50737, + "▁администрация": 50738, + "▁Богородицы": 50739, + "после": 50740, + "нна": 50741, + "ПП": 50742, + "▁летчики": 50743, + "▁устоя": 50744, + "▁мотивам": 50745, + "▁кипе": 50746, + "▁землев": 50747, + "▁адвокат": 50748, + "▁уничтожил": 50749, + "▁направился": 50750, + "▁descript": 50751, + "▁орна": 50752, + "жко": 50753, + "▁гравита": 50754, + "▁владельцев": 50755, + "▁пользования": 50756, + "▁исследованиях": 50757, + "▁Действие": 50758, + "▁дресси": 50759, + "▁Уай": 50760, + "▁синхрони": 50761, + "▁жалу": 50762, + "▁выдающихся": 50763, + "▁преследования": 50764, + "▁сопря": 50765, + "▁некоторого": 50766, + "▁Шей": 50767, + "▁извне": 50768, + "▁господа": 50769, + "Бер": 50770, + "▁экстреми": 50771, + "мерно": 50772, + "▁Северном": 50773, + "мел": 50774, + "▁центру": 50775, + "▁Сталину": 50776, + "мага": 50777, + "▁персонажи": 50778, + "▁Ква": 50779, + "▁мужчину": 50780, + "дово": 50781, + "▁погоды": 50782, + "▁летопи": 50783, + "▁доставить": 50784, + "▁именами": 50785, + "▁Виталий": 50786, + "▁Положение": 50787, + "▁боюсь": 50788, + "жусь": 50789, + "▁придумал": 50790, + "▁контакта": 50791, + "▁международные": 50792, + "▁полицию": 50793, + "▁зана": 50794, + "▁едет": 50795, + "▁выши": 50796, + "▁проявил": 50797, + "▁девочек": 50798, + "▁сантиметров": 50799, + "▁повествования": 50800, + "▁спя": 50801, + "чатый": 50802, + "▁обой": 50803, + "▁грозит": 50804, + "▁химической": 50805, + "приз": 50806, + "▁пива": 50807, + "▁поси": 50808, + "▁Хуан": 50809, + "лейтенан": 50810, + "▁фортепи": 50811, + "▁отдавать": 50812, + "чине": 50813, + "▁населенных": 50814, + "▁умеют": 50815, + "бою": 50816, + "▁убиты": 50817, + "▁посещения": 50818, + "▁редактора": 50819, + "▁плата": 50820, + "▁заработной": 50821, + "няков": 50822, + "▁чужих": 50823, + "▁Горо": 50824, + "▁помните": 50825, + "▁Гин": 50826, + "стическими": 50827, + "лизация": 50828, + "▁детские": 50829, + "▁нахождения": 50830, + "▁Ленинградского": 50831, + "коммуни": 50832, + "▁благочести": 50833, + "мчу": 50834, + "толе": 50835, + "▁польских": 50836, + "тируют": 50837, + "▁судоро": 50838, + "▁расчета": 50839, + "▁составляющих": 50840, + "▁спутников": 50841, + "▁чье": 50842, + "▁положительные": 50843, + "▁выпить": 50844, + "▁бумагу": 50845, + "▁головной": 50846, + "коммен": 50847, + "▁Нидерландов": 50848, + "▁располагаются": 50849, + "▁Прото": 50850, + "▁соавто": 50851, + "▁сугу": 50852, + "▁эсмин": 50853, + "▁креста": 50854, + "▁причу": 50855, + "▁орудие": 50856, + "пам": 50857, + "▁ФСБ": 50858, + "▁Секре": 50859, + "▁Суть": 50860, + "▁футбол": 50861, + "▁Нару": 50862, + "летнюю": 50863, + "третьих": 50864, + "▁позволила": 50865, + "▁находящиеся": 50866, + "эна": 50867, + "▁метрах": 50868, + "▁свидетельству": 50869, + "убий": 50870, + "▁создавая": 50871, + "▁Центральный": 50872, + "▁вслух": 50873, + "стят": 50874, + "▁дается": 50875, + "▁содержимое": 50876, + "жими": 50877, + "▁сосла": 50878, + "▁держав": 50879, + "▁ученым": 50880, + "▁doct": 50881, + "брю": 50882, + "▁дозво": 50883, + "▁Другая": 50884, + "ЗА": 50885, + "▁Новое": 50886, + "▁сделав": 50887, + "льмо": 50888, + "зовой": 50889, + "сяга": 50890, + "▁Суб": 50891, + "зиться": 50892, + "▁ссылку": 50893, + "intend": 50894, + "коричне": 50895, + "ханов": 50896, + "полага": 50897, + "▁Кирилл": 50898, + "хота": 50899, + "▁нужным": 50900, + "▁упала": 50901, + "вободи": 50902, + "▁ложка": 50903, + "▁упражнение": 50904, + "▁чин": 50905, + "▁постов": 50906, + "▁Путь": 50907, + "▁мотив": 50908, + "раж": 50909, + "▁закуп": 50910, + "▁возможного": 50911, + "▁урок": 50912, + "▁пытаться": 50913, + "▁кукуру": 50914, + "▁достига": 50915, + "▁Увы": 50916, + "зировал": 50917, + "шкам": 50918, + "▁торжественно": 50919, + "лор": 50920, + "▁крылья": 50921, + "▁внутренняя": 50922, + "▁Полков": 50923, + "restling": 50924, + "ложите": 50925, + "▁грязи": 50926, + "▁характеру": 50927, + "▁характерные": 50928, + "транспорт": 50929, + "▁Князь": 50930, + "ровень": 50931, + "▁противоречит": 50932, + "льские": 50933, + "▁важности": 50934, + "▁посвятил": 50935, + "▁надлежа": 50936, + "▁Вид": 50937, + "▁переклю": 50938, + "▁ЦСКА": 50939, + "ггер": 50940, + "▁добросовест": 50941, + "▁изложен": 50942, + "▁фотографий": 50943, + "мето": 50944, + "▁ленты": 50945, + "которое": 50946, + "▁ГЭС": 50947, + "▁гипотезы": 50948, + "Кни": 50949, + "▁розни": 50950, + "▁возможное": 50951, + "▁атаковать": 50952, + "▁походе": 50953, + "▁напомнил": 50954, + "▁окружение": 50955, + "▁обсудить": 50956, + "▁переска": 50957, + "▁Вильгельм": 50958, + "▁ГДР": 50959, + "▁Бона": 50960, + "▁странным": 50961, + "тировала": 50962, + "только": 50963, + "▁Ден": 50964, + "▁деса": 50965, + "▁составу": 50966, + "теи": 50967, + "▁пута": 50968, + "▁известное": 50969, + "▁асфаль": 50970, + "▁жителями": 50971, + "▁Авра": 50972, + "▁Имеет": 50973, + "▁двою": 50974, + "действие": 50975, + "▁западное": 50976, + "▁мера": 50977, + "▁тыл": 50978, + "▁мировую": 50979, + "ЕНИЯ": 50980, + "▁ритм": 50981, + "▁картинки": 50982, + "▁график": 50983, + "▁выражением": 50984, + "▁испытывал": 50985, + "▁Рос": 50986, + "▁генери": 50987, + "Ат": 50988, + "▁Энд": 50989, + "лз": 50990, + "▁Литера": 50991, + "▁послать": 50992, + "▁важны": 50993, + "▁протокола": 50994, + "▁слобо": 50995, + "▁конфликты": 50996, + "▁Вай": 50997, + "▁Ближай": 50998, + "ничать": 50999, + "▁санкций": 51000, + "▁назывался": 51001, + "▁побывал": 51002, + "▁переехала": 51003, + "▁культурно": 51004, + "achus": 51005, + "▁паспорт": 51006, + "▁корпусе": 51007, + "▁относят": 51008, + "▁элементом": 51009, + "▁почи": 51010, + "▁исключено": 51011, + "пытно": 51012, + "▁королем": 51013, + "▁совершает": 51014, + "▁водителя": 51015, + "▁расшиф": 51016, + "▁польский": 51017, + "▁пациент": 51018, + "▁стремиться": 51019, + "▁английским": 51020, + "▁предложением": 51021, + "шайте": 51022, + "▁Подобно": 51023, + "Ча": 51024, + "▁Васили": 51025, + "▁метрополи": 51026, + "▁Украинской": 51027, + "▁растор": 51028, + "▁авиакомпании": 51029, + "▁самолете": 51030, + "▁усмотре": 51031, + "восточной": 51032, + "▁авиационный": 51033, + "зила": 51034, + "▁трактов": 51035, + "бру": 51036, + "▁Эффек": 51037, + "▁округов": 51038, + "штадт": 51039, + "▁западные": 51040, + "▁близким": 51041, + "▁хе": 51042, + "▁холе": 51043, + "▁молодежь": 51044, + "▁высокими": 51045, + "▁активного": 51046, + "▁доски": 51047, + "сети": 51048, + "▁Фрэ": 51049, + "atab": 51050, + "▁Елизавета": 51051, + "▁надле": 51052, + "▁Тимофе": 51053, + "▁Ани": 51054, + "▁коз": 51055, + "▁Оне": 51056, + "▁родного": 51057, + "olec": 51058, + "▁любимой": 51059, + "▁пота": 51060, + "▁президенту": 51061, + "▁офис": 51062, + "▁взглянуть": 51063, + "▁фронтах": 51064, + "▁Вернувшись": 51065, + "▁шума": 51066, + "▁реклама": 51067, + "▁начи": 51068, + "▁свободный": 51069, + "▁аэропорту": 51070, + "▁ща": 51071, + "вателя": 51072, + "▁завершил": 51073, + "▁дань": 51074, + "дского": 51075, + "совая": 51076, + "▁овощи": 51077, + "Дон": 51078, + "ройте": 51079, + "эти": 51080, + "▁Рю": 51081, + "▁запя": 51082, + "▁кампанию": 51083, + "жечь": 51084, + "▁корзи": 51085, + "▁сесть": 51086, + "▁женщинами": 51087, + "▁ладони": 51088, + "▁лицензии": 51089, + "русски": 51090, + "таркти": 51091, + "▁слушал": 51092, + "▁просвет": 51093, + "▁знаменитой": 51094, + "▁кадро": 51095, + "▁сконча": 51096, + "Рас": 51097, + "▁оспари": 51098, + "стаби": 51099, + "▁хозяев": 51100, + "▁Русская": 51101, + "incoln": 51102, + "▁предпочитают": 51103, + "формации": 51104, + "▁жемчу": 51105, + "▁начнут": 51106, + "▁экспор": 51107, + "▁слю": 51108, + "▁возбуждения": 51109, + "▁стенки": 51110, + "▁опубликована": 51111, + "▁выно": 51112, + "▁житель": 51113, + "▁селек": 51114, + "▁живем": 51115, + "▁Последняя": 51116, + "▁гармонии": 51117, + "хую": 51118, + "▁доска": 51119, + "hips": 51120, + "▁Комитет": 51121, + "▁приключения": 51122, + "▁Тело": 51123, + "▁юноша": 51124, + "▁Зев": 51125, + "▁иерархии": 51126, + "▁горло": 51127, + "▁реестра": 51128, + "▁Едва": 51129, + "▁обособ": 51130, + "▁западном": 51131, + "ленапра": 51132, + "Еди": 51133, + "▁Каспи": 51134, + "ческо": 51135, + "▁давала": 51136, + "▁оставля": 51137, + "▁начальной": 51138, + "▁Скончался": 51139, + "▁национальную": 51140, + "▁монумента": 51141, + "▁окраине": 51142, + "▁женских": 51143, + "чало": 51144, + "osl": 51145, + "▁пустыне": 51146, + "▁мудрость": 51147, + "платель": 51148, + "сать": 51149, + "▁мифа": 51150, + "▁стрелять": 51151, + "▁открытии": 51152, + "▁шага": 51153, + "▁сложность": 51154, + "▁мни": 51155, + "▁скопи": 51156, + "честер": 51157, + "▁молекулы": 51158, + "экс": 51159, + "▁молекуляр": 51160, + "▁положительно": 51161, + "▁Василье": 51162, + "строены": 51163, + "▁темой": 51164, + "▁Пин": 51165, + "диг": 51166, + "▁впадает": 51167, + "сталь": 51168, + "▁приведены": 51169, + "▁вдохнов": 51170, + "добие": 51171, + "фанта": 51172, + "▁склонны": 51173, + "▁поддержал": 51174, + "-\"": 51175, + "▁экономии": 51176, + "▁неудовлет": 51177, + "▁ВА": 51178, + "▁польской": 51179, + "▁упоминание": 51180, + "▁немецко": 51181, + "▁строится": 51182, + "▁конфигурации": 51183, + "Чу": 51184, + "▁родном": 51185, + "▁думала": 51186, + "эра": 51187, + "▁партнё": 51188, + "▁закончить": 51189, + "нениями": 51190, + "▁символы": 51191, + "▁катор": 51192, + "▁пешком": 51193, + "▁проникнуть": 51194, + "▁оду": 51195, + "▁степи": 51196, + "образных": 51197, + "▁охватывает": 51198, + "▁подключения": 51199, + "▁Алексеев": 51200, + "▁королевской": 51201, + "ченно": 51202, + "▁психиатри": 51203, + "▁записал": 51204, + "▁взяв": 51205, + "▁социологи": 51206, + "▁императрицы": 51207, + "▁управлен": 51208, + "▁сепара": 51209, + "▁искали": 51210, + "▁металлурги": 51211, + "волнова": 51212, + "жания": 51213, + "▁тысячелетия": 51214, + "▁имелось": 51215, + "грамми": 51216, + "▁близок": 51217, + "ганы": 51218, + "шедшего": 51219, + "▁взамен": 51220, + "Вол": 51221, + "▁прокуратуры": 51222, + "серы": 51223, + "▁левую": 51224, + "rine": 51225, + "конференции": 51226, + "воци": 51227, + "▁потоков": 51228, + "гат": 51229, + "▁Армия": 51230, + "мак": 51231, + "▁желал": 51232, + "▁проблемати": 51233, + "▁Порошенко": 51234, + "▁суду": 51235, + "▁документе": 51236, + "▁столетий": 51237, + "▁зимы": 51238, + "▁Саша": 51239, + "enna": 51240, + "валы": 51241, + "▁Малой": 51242, + "▁психики": 51243, + "▁раствор": 51244, + "▁морфо": 51245, + "▁настраи": 51246, + "▁утом": 51247, + "▁Представьте": 51248, + "▁баланс": 51249, + "найтед": 51250, + "любо": 51251, + "▁виноват": 51252, + "▁страдает": 51253, + "▁экрани": 51254, + "▁Рафа": 51255, + "Мир": 51256, + "▁палео": 51257, + "▁приказом": 51258, + "нутых": 51259, + "▁билет": 51260, + "▁железная": 51261, + "сенко": 51262, + "▁кислород": 51263, + "▁признали": 51264, + "▁берегах": 51265, + "▁Канаде": 51266, + "▁дополнительный": 51267, + "▁Дзер": 51268, + "▁этапов": 51269, + "▁вражеских": 51270, + "▁прояс": 51271, + "▁напоминают": 51272, + "▁Учился": 51273, + "зеро": 51274, + "ъемле": 51275, + "▁возлага": 51276, + "логию": 51277, + "▁авиация": 51278, + "▁правовой": 51279, + "яна": 51280, + "лённый": 51281, + "▁развра": 51282, + "▁Самым": 51283, + "▁физическое": 51284, + "▁Получив": 51285, + "▁млекопитающих": 51286, + "▁дубли": 51287, + "▁держаться": 51288, + "▁неудачи": 51289, + "англий": 51290, + "▁разду": 51291, + "▁остано": 51292, + "класси": 51293, + "▁отмени": 51294, + "▁почувствовать": 51295, + "▁отреза": 51296, + "▁ищут": 51297, + "градской": 51298, + "▁руга": 51299, + "лели": 51300, + "▁варе": 51301, + "▁разыгры": 51302, + "▁пьян": 51303, + "▁ногой": 51304, + "▁составлять": 51305, + "▁вин": 51306, + "ленном": 51307, + "▁опозна": 51308, + "меном": 51309, + "▁выплаты": 51310, + "▁закрыт": 51311, + "▁выстраи": 51312, + "▁слепо": 51313, + "▁трамвай": 51314, + "▁владеет": 51315, + "▁извра": 51316, + "▁песок": 51317, + "▁джу": 51318, + "▁космоса": 51319, + "коен": 51320, + "кент": 51321, + "▁сложная": 51322, + "▁огур": 51323, + "▁дисло": 51324, + "▁нужные": 51325, + "▁индустрии": 51326, + "линской": 51327, + "▁недостатков": 51328, + "системы": 51329, + "▁соз": 51330, + "▁согласились": 51331, + "▁шну": 51332, + "▁Совсем": 51333, + "▁лишен": 51334, + "▁социальный": 51335, + "казывает": 51336, + "▁ежемеся": 51337, + "▁нелов": 51338, + "▁французским": 51339, + "▁ощути": 51340, + "▁делегации": 51341, + "бби": 51342, + "▁Витеб": 51343, + "▁периоде": 51344, + "▁английские": 51345, + "шоу": 51346, + "кало": 51347, + "▁Социаль": 51348, + "▁продолжалась": 51349, + "▁проведены": 51350, + "▁степенью": 51351, + "▁юмо": 51352, + "▁выклю": 51353, + "▁бытие": 51354, + "▁Солженицы": 51355, + "▁Тен": 51356, + "▁сменил": 51357, + "▁фестиваль": 51358, + "▁холод": 51359, + "товую": 51360, + "▁экономику": 51361, + "много": 51362, + "▁Исклю": 51363, + "чивым": 51364, + "▁рыболов": 51365, + "▁выдающиеся": 51366, + "▁Игоря": 51367, + "▁интересный": 51368, + "▁молекул": 51369, + "керов": 51370, + "▁располагались": 51371, + "▁быстры": 51372, + "▁называться": 51373, + "ласти": 51374, + "▁просмотра": 51375, + "▁курсов": 51376, + "▁расы": 51377, + "шину": 51378, + "▁изнача": 51379, + "▁дальнейших": 51380, + "юры": 51381, + "▁Похоже": 51382, + "▁разговаривать": 51383, + "▁оставляя": 51384, + "▁Служ": 51385, + "▁противнику": 51386, + "▁глупы": 51387, + "▁подростков": 51388, + "летним": 51389, + "▁беседу": 51390, + "Пет": 51391, + "▁фильтра": 51392, + "▁студент": 51393, + "▁влияют": 51394, + "гнув": 51395, + "▁партией": 51396, + "▁Попробу": 51397, + "▁бродя": 51398, + "шник": 51399, + "▁рыцар": 51400, + "▁напр": 51401, + "▁популярности": 51402, + "▁заграни": 51403, + "▁некоего": 51404, + "▁среднюю": 51405, + "шится": 51406, + "гового": 51407, + "▁Валентина": 51408, + "▁литературо": 51409, + "▁Аркти": 51410, + "▁измерений": 51411, + "▁терпеть": 51412, + "▁преоблада": 51413, + "▁разгля": 51414, + "хлад": 51415, + "▁удивление": 51416, + "▁обсуждать": 51417, + "▁опасных": 51418, + "▁консерватории": 51419, + "▁редких": 51420, + "▁бояр": 51421, + "Жиз": 51422, + "▁видение": 51423, + "▁политикой": 51424, + "́в": 51425, + "могу": 51426, + "▁вакан": 51427, + "щикам": 51428, + "▁гибри": 51429, + "▁передали": 51430, + "▁петь": 51431, + "▁розыгры": 51432, + "Гор": 51433, + "▁Пове": 51434, + "▁башня": 51435, + "▁социальная": 51436, + "▁четвертый": 51437, + "▁несло": 51438, + "▁Фро": 51439, + "▁начинали": 51440, + "ссамбле": 51441, + "▁этаж": 51442, + "▁пароход": 51443, + "▁признается": 51444, + "▁сроком": 51445, + "▁Оренбург": 51446, + "▁яйцо": 51447, + "▁подальше": 51448, + "▁оф": 51449, + "▁клубы": 51450, + "▁WW": 51451, + "▁глубокого": 51452, + "▁присваи": 51453, + "▁стена": 51454, + "▁вклады": 51455, + "▁полете": 51456, + "▁наследство": 51457, + "▁Сэм": 51458, + "!),": 51459, + "▁коммуны": 51460, + "▁общеприня": 51461, + "▁ГО": 51462, + "▁dipl": 51463, + "▁устанавливать": 51464, + "▁европейского": 51465, + "летие": 51466, + "▁зажига": 51467, + "▁летать": 51468, + "▁Красная": 51469, + "▁данную": 51470, + "▁Пас": 51471, + "▁способных": 51472, + "▁выступая": 51473, + "▁буржуазии": 51474, + "▁Некра": 51475, + "ъюнк": 51476, + "олока": 51477, + "▁выслу": 51478, + "▁колхоза": 51479, + "▁фактом": 51480, + "▁ману": 51481, + "▁Неа": 51482, + "▁написан": 51483, + "фонов": 51484, + "жника": 51485, + "▁властям": 51486, + "▁прит": 51487, + "плане": 51488, + "▁прожил": 51489, + "▁остальным": 51490, + "▁футов": 51491, + "▁аэродрома": 51492, + "ниа": 51493, + "ownt": 51494, + "▁приступил": 51495, + "▁стадионе": 51496, + "чак": 51497, + "рями": 51498, + "▁лесной": 51499, + "▁подробнее": 51500, + "▁королева": 51501, + "цким": 51502, + "▁арест": 51503, + "▁ролях": 51504, + "▁интенси": 51505, + "дый": 51506, + "▁Мандель": 51507, + "▁выделяют": 51508, + "▁рака": 51509, + "▁хранятся": 51510, + "▁дождя": 51511, + "земе": 51512, + "довое": 51513, + "▁табу": 51514, + "▁французском": 51515, + "▁семена": 51516, + "▁цивилизация": 51517, + "▁Пруссии": 51518, + "▁таков": 51519, + "▁погоду": 51520, + "▁климат": 51521, + "▁загруз": 51522, + "▁Уэль": 51523, + "▁подписан": 51524, + "▁интернациона": 51525, + ",[": 51526, + "▁комплексов": 51527, + "мли": 51528, + "▁деление": 51529, + "▁гры": 51530, + "▁мальчиков": 51531, + "▁Аба": 51532, + "▁важная": 51533, + "▁беседа": 51534, + "перед": 51535, + "▁фрагменты": 51536, + "▁поручил": 51537, + "▁подходят": 51538, + "▁удовлетворение": 51539, + "▁длине": 51540, + "ivered": 51541, + "▁парня": 51542, + "▁немецком": 51543, + "▁Корни": 51544, + "▁иниции": 51545, + "▁забот": 51546, + "▁павиль": 51547, + "▁ситуацией": 51548, + "▁уют": 51549, + "примеча": 51550, + "▁Табли": 51551, + "▁нашёл": 51552, + "▁Лечение": 51553, + "▁необходимого": 51554, + "УН": 51555, + "▁уходя": 51556, + "▁тайной": 51557, + "▁сайтов": 51558, + "otten": 51559, + "▁религиозного": 51560, + "▁долгих": 51561, + "вена": 51562, + "▁христиа": 51563, + "▁нью": 51564, + "▁Всех": 51565, + "токси": 51566, + "▁Рек": 51567, + "▁Киевской": 51568, + "▁считались": 51569, + "объек": 51570, + "́ние": 51571, + "новна": 51572, + "▁исчерпы": 51573, + "▁нарушением": 51574, + "▁выступила": 51575, + "дорф": 51576, + "гуа": 51577, + "▁принялся": 51578, + "▁промышленного": 51579, + "▁Музе": 51580, + "▁АО": 51581, + "▁явилось": 51582, + "вленными": 51583, + "▁повели": 51584, + "▁ИЗ": 51585, + "стке": 51586, + "▁холодно": 51587, + "▁Обя": 51588, + "▁трансли": 51589, + "▁Работы": 51590, + "▁отражения": 51591, + "▁добрые": 51592, + "▁каналы": 51593, + "▁получении": 51594, + "воем": 51595, + "▁Дя": 51596, + "▁егип": 51597, + "▁врожден": 51598, + "▁получивший": 51599, + "нутой": 51600, + "▁пострадавших": 51601, + "▁Алтай": 51602, + "▁храмов": 51603, + "▁споров": 51604, + "▁Первого": 51605, + "▁освещения": 51606, + "▁проше": 51607, + "▁расще": 51608, + "▁Здание": 51609, + "▁настро": 51610, + "▁державы": 51611, + "▁хар": 51612, + "▁потоки": 51613, + "▁шёл": 51614, + "▁вступили": 51615, + "▁слабости": 51616, + "▁рассказывали": 51617, + "обу": 51618, + "▁отом": 51619, + "▁Элиза": 51620, + "▁процедура": 51621, + "ткам": 51622, + "▁богатый": 51623, + "▁неспособ": 51624, + "▁Хро": 51625, + "▁движению": 51626, + "оно": 51627, + "▁ценные": 51628, + "▁приглашение": 51629, + "▁тун": 51630, + "▁оро": 51631, + "▁улучшение": 51632, + "▁Ученые": 51633, + "план": 51634, + "▁ведущие": 51635, + "ждаются": 51636, + "▁модуля": 51637, + "▁включён": 51638, + "▁красоту": 51639, + "▁выдать": 51640, + "МП": 51641, + "▁важна": 51642, + "▁белыми": 51643, + "▁необходимую": 51644, + "компа": 51645, + "▁вынуждена": 51646, + "▁Сцена": 51647, + "alty": 51648, + "чива": 51649, + "▁гово": 51650, + "▁доставки": 51651, + "▁танковых": 51652, + "▁митрополит": 51653, + "▁боятся": 51654, + "ническим": 51655, + "льностью": 51656, + "▁ГА": 51657, + "▁японского": 51658, + "▁Северный": 51659, + "▁зелень": 51660, + "▁овладеть": 51661, + "▁работами": 51662, + "?\",": 51663, + "▁предки": 51664, + "▁водки": 51665, + "▁Чехии": 51666, + "▁приняло": 51667, + "▁жира": 51668, + "слой": 51669, + "▁выполнял": 51670, + "▁вышеу": 51671, + "ладший": 51672, + "▁местными": 51673, + "▁запуск": 51674, + "делия": 51675, + "жам": 51676, + "▁заполне": 51677, + "▁встречает": 51678, + "▁Алжи": 51679, + "▁красота": 51680, + ":#": 51681, + "▁опубликованы": 51682, + "ковская": 51683, + "▁приеха": 51684, + "▁грабе": 51685, + "▁психологической": 51686, + "ЛЕ": 51687, + "▁показан": 51688, + "тировки": 51689, + "▁лауреат": 51690, + "▁продвижения": 51691, + "▁трей": 51692, + "▁опыты": 51693, + "ливым": 51694, + "▁Чили": 51695, + "▁лежала": 51696, + "Мор": 51697, + "▁сэр": 51698, + "двиг": 51699, + "▁разбе": 51700, + "▁Пришлось": 51701, + "▁Аллах": 51702, + "▁скалы": 51703, + "▁взаимоотношений": 51704, + "▁прямом": 51705, + "▁прокурора": 51706, + "приим": 51707, + "▁терять": 51708, + "▁статистики": 51709, + "▁отметила": 51710, + "▁попытались": 51711, + "▁компенсации": 51712, + "▁Волы": 51713, + "▁плечами": 51714, + "▁уехать": 51715, + "▁востре": 51716, + "Тор": 51717, + "▁Практически": 51718, + "▁ФИ": 51719, + "вайтесь": 51720, + "сви": 51721, + "▁обработке": 51722, + "сский": 51723, + "▁Советском": 51724, + "▁литературный": 51725, + "▁немногие": 51726, + "▁высшие": 51727, + "▁искусственного": 51728, + "ллу": 51729, + "▁постоянные": 51730, + "▁содержатся": 51731, + "▁придумать": 51732, + "▁священно": 51733, + "гл": 51734, + "лык": 51735, + "▁рече": 51736, + "ducing": 51737, + "▁Арно": 51738, + "...\",": 51739, + "▁революционного": 51740, + "▁апте": 51741, + "▁герба": 51742, + "▁Нередко": 51743, + "▁надеялся": 51744, + "▁чешу": 51745, + "ностях": 51746, + "▁физ": 51747, + "▁подразумевает": 51748, + "▁уровнях": 51749, + "▁подлежа": 51750, + "▁названий": 51751, + "▁ведение": 51752, + "▁утвержден": 51753, + "▁катастрофи": 51754, + "▁невыноси": 51755, + "▁подста": 51756, + "▁соответствующее": 51757, + "▁Хам": 51758, + "▁находить": 51759, + "▁высла": 51760, + "▁сильная": 51761, + "чикам": 51762, + "▁квантовой": 51763, + "▁заслуживает": 51764, + "души": 51765, + "▁заплатить": 51766, + "▁султана": 51767, + "смысле": 51768, + "racy": 51769, + "▁изменилась": 51770, + "▁изменяется": 51771, + "▁Фрун": 51772, + "фен": 51773, + "▁цветом": 51774, + "▁широким": 51775, + "▁сентябрь": 51776, + "пенди": 51777, + "▁просыпа": 51778, + "чжу": 51779, + "▁комиссар": 51780, + "▁прессы": 51781, + "▁Средний": 51782, + "▁нисколько": 51783, + "▁Троцкий": 51784, + "▁организаторов": 51785, + "▁удостове": 51786, + "мский": 51787, + "▁бывал": 51788, + "▁противоречие": 51789, + "▁нужный": 51790, + "▁длится": 51791, + "образные": 51792, + "▁англ": 51793, + "▁прозвище": 51794, + "▁реальный": 51795, + "▁разброса": 51796, + "▁предостере": 51797, + "▁Результат": 51798, + "говорить": 51799, + "▁величину": 51800, + "ядер": 51801, + "▁Попов": 51802, + "ёк": 51803, + "деи": 51804, + "▁парус": 51805, + "▁подразделение": 51806, + "▁брали": 51807, + "▁возвращает": 51808, + "ьями": 51809, + "▁германского": 51810, + "▁длинной": 51811, + "▁связанный": 51812, + "▁Куйбы": 51813, + "▁отделе": 51814, + "▁белка": 51815, + "пости": 51816, + "▁уволен": 51817, + "▁правителя": 51818, + "варить": 51819, + "▁порядку": 51820, + "▁сенса": 51821, + "▁серебро": 51822, + "▁Крю": 51823, + "шняя": 51824, + "▁творения": 51825, + "▁переходить": 51826, + "▁твоих": 51827, + "▁большому": 51828, + "▁удобства": 51829, + "▁диапазоне": 51830, + "▁казар": 51831, + "товский": 51832, + "▁тревоги": 51833, + "▁Израиле": 51834, + "▁генералов": 51835, + "▁обмени": 51836, + "зян": 51837, + "▁Закона": 51838, + "▁возникновение": 51839, + "▁Водо": 51840, + "▁творческого": 51841, + "▁слез": 51842, + "▁естество": 51843, + "▁восходя": 51844, + "хали": 51845, + "▁рва": 51846, + "▁техникой": 51847, + "▁признался": 51848, + "▁изредка": 51849, + "▁Радио": 51850, + "рицы": 51851, + "▁партийной": 51852, + "▁многочисленными": 51853, + "▁нанима": 51854, + "▁зачисле": 51855, + "▁Хочу": 51856, + "▁белая": 51857, + "▁историй": 51858, + "трет": 51859, + "▁недвижимости": 51860, + "▁правосу": 51861, + "▁колба": 51862, + "▁парни": 51863, + "КОВ": 51864, + "▁Гёте": 51865, + "▁снабжения": 51866, + "▁Веду": 51867, + "▁Достоевский": 51868, + "▁считаем": 51869, + "▁пристрасти": 51870, + "тти": 51871, + "лялся": 51872, + "ванным": 51873, + "▁полы": 51874, + "▁операциях": 51875, + "▁мышь": 51876, + "▁моментов": 51877, + "▁закри": 51878, + "▁населён": 51879, + "▁конструкцию": 51880, + "▁министерство": 51881, + "▁Кю": 51882, + "▁Фей": 51883, + "▁текстом": 51884, + "▁ДТП": 51885, + "▁привилеги": 51886, + "▁оперативной": 51887, + "нея": 51888, + "▁смыслу": 51889, + "шир": 51890, + "▁юридического": 51891, + "▁детек": 51892, + "▁Голова": 51893, + "▁Дама": 51894, + "▁тишина": 51895, + "шевского": 51896, + "чатых": 51897, + "▁жизненных": 51898, + "▁дорогие": 51899, + "▁библиотеку": 51900, + "▁пенсион": 51901, + "▁Дени": 51902, + "▁Перио": 51903, + "▁Administ": 51904, + "холо": 51905, + "▁склонность": 51906, + "хер": 51907, + "▁закончился": 51908, + "етии": 51909, + "литет": 51910, + "тилле": 51911, + "▁федеральных": 51912, + "рову": 51913, + "▁Мсти": 51914, + "▁претерпе": 51915, + "эли": 51916, + "ИТАР": 51917, + "▁красноре": 51918, + "▁делала": 51919, + "▁устанавливает": 51920, + "▁водах": 51921, + "▁автобус": 51922, + "▁чеки": 51923, + "▁импор": 51924, + "▁генов": 51925, + "▁Пана": 51926, + "▁выжить": 51927, + "▁рассказывают": 51928, + "сбор": 51929, + "▁просту": 51930, + "▁феномен": 51931, + "пати": 51932, + "Зве": 51933, + "пив": 51934, + "▁учить": 51935, + "▁специалиста": 51936, + "▁коэффициент": 51937, + "▁привлечения": 51938, + "▁передвижения": 51939, + "ничной": 51940, + "▁неду": 51941, + "воде": 51942, + "▁размы": 51943, + "▁традиционные": 51944, + "▁грибы": 51945, + "▁системами": 51946, + "▁демонстрирует": 51947, + "▁Прошу": 51948, + "▁настоящем": 51949, + "▁придумы": 51950, + "игры": 51951, + "▁подор": 51952, + "зовые": 51953, + "темати": 51954, + "▁подсуди": 51955, + "▁приступить": 51956, + "корей": 51957, + "▁насилие": 51958, + "альным": 51959, + "▁полагать": 51960, + "несено": 51961, + "▁замечания": 51962, + "ловка": 51963, + "совым": 51964, + "Коро": 51965, + "▁освобождении": 51966, + "▁гонке": 51967, + "▁гарнизо": 51968, + "тишь": 51969, + "▁поступок": 51970, + "▁укрепление": 51971, + "▁музыкой": 51972, + "▁конкурентов": 51973, + "щица": 51974, + "шевский": 51975, + "▁забастов": 51976, + "▁сказав": 51977, + "▁кисти": 51978, + "▁восклица": 51979, + "▁неофициаль": 51980, + "рийский": 51981, + "▁Палести": 51982, + "▁просьбу": 51983, + "▁объектами": 51984, + "прем": 51985, + "▁идеями": 51986, + "леба": 51987, + "▁просили": 51988, + "▁убивать": 51989, + "монта": 51990, + "▁высшим": 51991, + "▁аналогии": 51992, + "переда": 51993, + "▁флоти": 51994, + "▁Воскре": 51995, + "фло": 51996, + "▁Стати": 51997, + "▁сложилась": 51998, + "▁озер": 51999, + "дилось": 52000, + "▁звании": 52001, + "▁шпиона": 52002, + "▁использовалась": 52003, + "▁любила": 52004, + "▁изле": 52005, + "▁кодекса": 52006, + "Фо": 52007, + "▁территориях": 52008, + "▁изби": 52009, + "▁вооружений": 52010, + "▁битва": 52011, + "гара": 52012, + "▁сатири": 52013, + "▁ставил": 52014, + "▁здорово": 52015, + "курс": 52016, + "пляр": 52017, + "чжоу": 52018, + "▁еле": 52019, + "▁запада": 52020, + "▁поэзия": 52021, + "▁инквизи": 52022, + "▁эр": 52023, + "▁Дуб": 52024, + "▁отдели": 52025, + "▁плотности": 52026, + "▁величине": 52027, + "▁Ой": 52028, + "Йорка": 52029, + "▁петрушки": 52030, + "▁Рам": 52031, + "▁планировалось": 52032, + "▁озере": 52033, + "▁Указа": 52034, + "▁временной": 52035, + "▁ритми": 52036, + "▁Швар": 52037, + "▁Забо": 52038, + "▁личном": 52039, + "▁отвечают": 52040, + "▁пустыни": 52041, + "▁подарки": 52042, + "▁несостоя": 52043, + "▁целенапра": 52044, + "▁профсою": 52045, + "▁родных": 52046, + "▁вечеру": 52047, + "▁плодотвор": 52048, + "стора": 52049, + "▁Нина": 52050, + "▁пь": 52051, + "▁римлян": 52052, + "▁цветами": 52053, + "▁троллей": 52054, + "НИЕ": 52055, + "рийского": 52056, + "▁дополнительного": 52057, + "▁лягу": 52058, + "▁разведку": 52059, + "▁поступила": 52060, + "▁охарактери": 52061, + "▁мировом": 52062, + "▁равновесие": 52063, + "▁таковой": 52064, + "▁продвижение": 52065, + "▁прив": 52066, + "▁коллегами": 52067, + "▁явились": 52068, + "▁занялся": 52069, + "▁активов": 52070, + "▁изменил": 52071, + "▁поставлена": 52072, + "▁тонкие": 52073, + "ори": 52074, + "▁обры": 52075, + "скоро": 52076, + "▁Герои": 52077, + "▁налоги": 52078, + "блением": 52079, + "▁архипе": 52080, + "▁Одессе": 52081, + "▁безупре": 52082, + "▁сугубо": 52083, + "валов": 52084, + "▁порядо": 52085, + "▁архиепископ": 52086, + "▁повторять": 52087, + "▁кольце": 52088, + "▁придать": 52089, + "▁РУ": 52090, + "▁богатые": 52091, + "▁КБ": 52092, + "▁Кузнецов": 52093, + "▁гвардейского": 52094, + "жело": 52095, + "фос": 52096, + "▁Приня": 52097, + "▁доклада": 52098, + "▁претензии": 52099, + "▁дошло": 52100, + "▁Ильич": 52101, + "▁тестов": 52102, + "▁жюри": 52103, + "▁Закавказ": 52104, + "▁Чуть": 52105, + "гада": 52106, + "▁трудового": 52107, + "▁Брэ": 52108, + "теста": 52109, + "avalry": 52110, + "▁государственная": 52111, + "▁переез": 52112, + "▁принадлежала": 52113, + "▁успешного": 52114, + "▁хор": 52115, + "▁страхом": 52116, + "▁иностранные": 52117, + "▁Еле": 52118, + "▁библио": 52119, + "▁определенном": 52120, + "▁исключить": 52121, + "▁защища": 52122, + "▁Вологод": 52123, + "циско": 52124, + "▁переведён": 52125, + "▁Сера": 52126, + "▁договорились": 52127, + "▁делятся": 52128, + "▁договоров": 52129, + "Фонтан": 52130, + "▁алкоголя": 52131, + "систе": 52132, + "▁полосу": 52133, + "▁Старший": 52134, + "▁полов": 52135, + "▁подлежит": 52136, + "▁декабрь": 52137, + "риди": 52138, + "▁указом": 52139, + "лённые": 52140, + "▁видах": 52141, + "▁брош": 52142, + "▁высокопоста": 52143, + "наз": 52144, + "▁сферах": 52145, + "▁охлаждения": 52146, + "▁предусмотрено": 52147, + "▁Вере": 52148, + "▁Кореи": 52149, + "зай": 52150, + "▁устройстве": 52151, + "▁догады": 52152, + "▁Теха": 52153, + "хнуть": 52154, + "▁мрамор": 52155, + "▁Объяс": 52156, + "▁гнева": 52157, + "▁верующих": 52158, + "▁пирамиды": 52159, + "▁определил": 52160, + "дэ": 52161, + "мала": 52162, + "показа": 52163, + "▁современная": 52164, + "▁Гонча": 52165, + "емен": 52166, + "▁царем": 52167, + "▁Информация": 52168, + "▁Представители": 52169, + "▁мирных": 52170, + "▁дюй": 52171, + "шное": 52172, + "▁городские": 52173, + "▁пуга": 52174, + "▁гонки": 52175, + "▁плодов": 52176, + "▁месяце": 52177, + "▁сельском": 52178, + "▁древний": 52179, + "▁Министр": 52180, + "▁гр": 52181, + "рифмети": 52182, + "Тай": 52183, + "▁поединке": 52184, + "тимся": 52185, + "▁добавляет": 52186, + "▁Адмирал": 52187, + "▁хранение": 52188, + "▁КНДР": 52189, + "▁энергетики": 52190, + "▁Меж": 52191, + "▁формулы": 52192, + "▁режиссера": 52193, + "пту": 52194, + "▁культурой": 52195, + "нимом": 52196, + "▁чистый": 52197, + "▁Робин": 52198, + "▁подводной": 52199, + "▁берегам": 52200, + "интер": 52201, + "▁продовольствия": 52202, + "рида": 52203, + "▁наполовину": 52204, + "▁налогооб": 52205, + "▁открыла": 52206, + "▁однои": 52207, + "▁идио": 52208, + "▁Рен": 52209, + "▁ювели": 52210, + "▁наукой": 52211, + "▁Теория": 52212, + "▁инфекции": 52213, + "▁захотел": 52214, + "▁проживания": 52215, + "▁Вадим": 52216, + "▁сознанием": 52217, + "тельские": 52218, + "щность": 52219, + "▁приобрела": 52220, + "▁колесо": 52221, + "гров": 52222, + "▁пропове": 52223, + "▁рекламу": 52224, + "▁Ски": 52225, + "▁семейство": 52226, + "▁кив": 52227, + "▁покупателей": 52228, + "зоре": 52229, + "▁установку": 52230, + "▁понравилось": 52231, + "▁двигатели": 52232, + "▁почты": 52233, + "▁Люк": 52234, + "▁экспертизы": 52235, + "▁инди": 52236, + "▁оформления": 52237, + "▁греч": 52238, + "▁отмечалось": 52239, + "▁Иор": 52240, + "▁достать": 52241, + "▁товарище": 52242, + "▁объявлен": 52243, + "▁переселен": 52244, + "▁Российская": 52245, + "ЦИЯ": 52246, + "▁полового": 52247, + "▁Блю": 52248, + "▁музыкантов": 52249, + "▁белков": 52250, + "▁разрыва": 52251, + "▁смертной": 52252, + "▁Жор": 52253, + "выбор": 52254, + "▁Филиппа": 52255, + "▁срабаты": 52256, + "▁Завер": 52257, + "▁ночам": 52258, + "▁носом": 52259, + "▁загрузки": 52260, + "▁рукопись": 52261, + "▁оказали": 52262, + "шны": 52263, + "▁мощные": 52264, + "▁усиление": 52265, + "таций": 52266, + "▁Мэй": 52267, + "руйте": 52268, + "▁трога": 52269, + "▁Мерку": 52270, + "единённых": 52271, + "▁Пьер": 52272, + "▁мечтал": 52273, + "▁Каким": 52274, + "▁двигателем": 52275, + "▁предоставления": 52276, + "▁располагался": 52277, + "хэ": 52278, + "▁ритори": 52279, + "несена": 52280, + "ствующее": 52281, + "▁политиков": 52282, + "▁выйдя": 52283, + "водом": 52284, + "тчика": 52285, + "▁разнообразие": 52286, + "▁хруп": 52287, + "▁папи": 52288, + "▁пожиз": 52289, + "▁выздоро": 52290, + "▁рабочем": 52291, + "▁опираясь": 52292, + "▁целям": 52293, + "▁бежали": 52294, + "▁выглядел": 52295, + "▁переговорах": 52296, + "▁иную": 52297, + "▁сооружение": 52298, + "▁неотъемле": 52299, + "менного": 52300, + "пус": 52301, + "▁Возрождения": 52302, + "▁кроше": 52303, + "▁сало": 52304, + "ливые": 52305, + "▁достаточной": 52306, + "▁criticized": 52307, + "▁масле": 52308, + "Анджеле": 52309, + "▁Наука": 52310, + "▁бельгий": 52311, + "▁материалом": 52312, + "▁требованиями": 52313, + "▁Следующий": 52314, + "▁Алма": 52315, + "▁странное": 52316, + "планет": 52317, + "▁немысли": 52318, + "оборудова": 52319, + "▁крупная": 52320, + "морских": 52321, + "▁отмечено": 52322, + "▁пятый": 52323, + "▁основанный": 52324, + "▁существи": 52325, + "▁животным": 52326, + "▁Университета": 52327, + "тается": 52328, + "▁Неза": 52329, + "▁хули": 52330, + "▁Яросла": 52331, + "▁вообража": 52332, + "▁баз": 52333, + "торией": 52334, + "▁Самой": 52335, + "▁выполнены": 52336, + "▁вермах": 52337, + "▁адмирала": 52338, + "▁зверь": 52339, + "▁покра": 52340, + "▁приходил": 52341, + "▁предлагается": 52342, + "ксом": 52343, + "вязки": 52344, + "▁урод": 52345, + "▁дневнике": 52346, + "▁нано": 52347, + "▁резерва": 52348, + "▁наций": 52349, + "▁самоот": 52350, + "▁поселений": 52351, + "▁материального": 52352, + "▁пальца": 52353, + "▁масон": 52354, + "▁согре": 52355, + "▁позабо": 52356, + "▁специальным": 52357, + "плей": 52358, + "▁ожидает": 52359, + "▁журналисты": 52360, + "▁Сор": 52361, + "вязать": 52362, + "мало": 52363, + "▁домашнего": 52364, + "▁эскадры": 52365, + "▁прочитал": 52366, + "▁навести": 52367, + "▁ОГ": 52368, + "▁заботы": 52369, + "говорили": 52370, + "▁бомбо": 52371, + "▁Ог": 52372, + "▁севернее": 52373, + "▁переворот": 52374, + "вное": 52375, + "▁подчеркивает": 52376, + "вающую": 52377, + "▁генералом": 52378, + "рующим": 52379, + "▁эффекты": 52380, + "▁молодёжи": 52381, + "▁первенстве": 52382, + "▁выку": 52383, + "▁обвини": 52384, + "▁используем": 52385, + "▁производством": 52386, + "▁пользуясь": 52387, + "▁терпи": 52388, + "▁Пир": 52389, + "▁смена": 52390, + "▁вниманием": 52391, + "▁водных": 52392, + "▁селения": 52393, + "▁объединить": 52394, + "▁нанесен": 52395, + "▁магазины": 52396, + "▁задум": 52397, + "▁ознаменова": 52398, + "▁Трудового": 52399, + "гмати": 52400, + "▁аргументы": 52401, + "▁РО": 52402, + "нусь": 52403, + "бины": 52404, + "ницкого": 52405, + "▁камере": 52406, + "▁Infantry": 52407, + "хво": 52408, + "▁осваи": 52409, + "▁европейские": 52410, + "▁планета": 52411, + "живание": 52412, + "▁девушкой": 52413, + "нго": 52414, + "▁важен": 52415, + "▁Кристо": 52416, + "▁Преобра": 52417, + "▁сражаться": 52418, + "▁исполнял": 52419, + "цкие": 52420, + "▁деревянные": 52421, + "▁жанре": 52422, + "втори": 52423, + "xual": 52424, + "▁Блок": 52425, + "бона": 52426, + "▁торгового": 52427, + "▁сгора": 52428, + "▁распоряжения": 52429, + "▁кэ": 52430, + "▁принадлежали": 52431, + "▁хвосто": 52432, + "▁Язык": 52433, + "▁помнит": 52434, + "vant": 52435, + "гнан": 52436, + "▁demonst": 52437, + "▁Калифорнии": 52438, + "▁Лауреат": 52439, + "▁созданные": 52440, + "Фор": 52441, + "▁заработать": 52442, + "▁Семе": 52443, + "▁сохранил": 52444, + "▁Венесу": 52445, + "▁отраслей": 52446, + "дагоги": 52447, + "зированного": 52448, + "▁Exec": 52449, + "▁помогали": 52450, + "нишь": 52451, + "▁способствовало": 52452, + "▁дочерей": 52453, + "▁Логи": 52454, + "▁мертвых": 52455, + "▁шее": 52456, + "▁досу": 52457, + "стрелко": 52458, + "▁Джер": 52459, + "▁surre": 52460, + "▁туалет": 52461, + "▁килограм": 52462, + "▁пролив": 52463, + "▁снай": 52464, + "hered": 52465, + "▁Обратите": 52466, + "▁программой": 52467, + "▁начнется": 52468, + "стрит": 52469, + "▁Паль": 52470, + "▁крыши": 52471, + "▁Колле": 52472, + "▁Полковник": 52473, + "▁Кеннеди": 52474, + "▁кошки": 52475, + "▁живопис": 52476, + "▁страхования": 52477, + "▁сень": 52478, + "танные": 52479, + "▁Духов": 52480, + "▁собраны": 52481, + "▁историка": 52482, + "▁Ворон": 52483, + "ностям": 52484, + "▁всякую": 52485, + "▁стыдно": 52486, + "вающими": 52487, + "▁разуме": 52488, + "▁пострадали": 52489, + "▁Днепро": 52490, + "▁господина": 52491, + "▁Космо": 52492, + "▁правильный": 52493, + "▁казаки": 52494, + "▁Основным": 52495, + "▁композитора": 52496, + "▁разбо": 52497, + "▁управляет": 52498, + "▁Госдумы": 52499, + "▁юбилей": 52500, + "▁должностных": 52501, + "▁парков": 52502, + "▁фикса": 52503, + "▁regiment": 52504, + "▁привычки": 52505, + "▁внедре": 52506, + "▁придает": 52507, + "▁Независи": 52508, + "▁бросился": 52509, + "сак": 52510, + "▁затя": 52511, + "водных": 52512, + "▁членам": 52513, + "важно": 52514, + "стандар": 52515, + "▁злоб": 52516, + "▁фирм": 52517, + "▁Ницше": 52518, + "▁проница": 52519, + "зируют": 52520, + "▁матчи": 52521, + "▁быстрый": 52522, + "украин": 52523, + "OW": 52524, + "▁наполне": 52525, + "пунк": 52526, + "▁колы": 52527, + "▁мысленно": 52528, + "▁Gord": 52529, + "▁Начальник": 52530, + "▁ден": 52531, + "▁хоре": 52532, + "▁кишечника": 52533, + "▁родила": 52534, + "щённый": 52535, + "▁живущих": 52536, + "▁достигнуть": 52537, + "четыре": 52538, + "тернациона": 52539, + "гражда": 52540, + "▁гнез": 52541, + "▁свар": 52542, + "ционному": 52543, + "▁Премия": 52544, + "▁легенда": 52545, + "▁совещания": 52546, + "▁беспокои": 52547, + "производи": 52548, + "▁экспедиция": 52549, + "▁подходе": 52550, + "▁Бабу": 52551, + "▁отой": 52552, + "читал": 52553, + "▁рассказе": 52554, + "▁дамы": 52555, + "▁поступления": 52556, + "▁Всю": 52557, + "▁ставили": 52558, + "нево": 52559, + "нистов": 52560, + "▁Авиа": 52561, + "▁аспект": 52562, + "▁шеи": 52563, + "од": 52564, + "▁явилась": 52565, + "▁Мое": 52566, + "▁Геннадий": 52567, + "▁комментариях": 52568, + "▁Девушка": 52569, + "▁протека": 52570, + "▁значимости": 52571, + "▁обозначение": 52572, + "кся": 52573, + "▁подтвердили": 52574, + "▁ане": 52575, + "▁романы": 52576, + "▁Таджики": 52577, + "▁культ": 52578, + "▁спровоци": 52579, + "▁установке": 52580, + "▁крупно": 52581, + "▁анализе": 52582, + "▁используемых": 52583, + "▁китайского": 52584, + "▁индивидуального": 52585, + "▁ворон": 52586, + "▁превращения": 52587, + "▁Алба": 52588, + "▁ракови": 52589, + "▁греческих": 52590, + "▁половых": 52591, + "▁фазы": 52592, + "▁поставок": 52593, + "тимента": 52594, + "▁встречался": 52595, + "▁Иа": 52596, + "▁молод": 52597, + "ступы": 52598, + "▁Мани": 52599, + "▁засо": 52600, + "▁минус": 52601, + "▁полёта": 52602, + "▁пилот": 52603, + "▁лаби": 52604, + "eck": 52605, + "▁солидар": 52606, + "▁чужие": 52607, + "коны": 52608, + "▁недостатка": 52609, + "▁слышу": 52610, + "косми": 52611, + "▁московской": 52612, + "▁шизо": 52613, + "▁лодку": 52614, + "▁раннем": 52615, + "▁вагонов": 52616, + "куляр": 52617, + "▁подтверждения": 52618, + "▁Запоро": 52619, + "▁ган": 52620, + "тальной": 52621, + "▁церковью": 52622, + "▁кату": 52623, + "▁поблизости": 52624, + "▁пал": 52625, + "▁начинаются": 52626, + "кис": 52627, + "Золотой": 52628, + "▁приобретения": 52629, + "роды": 52630, + "▁коллегии": 52631, + "▁определенно": 52632, + "▁семян": 52633, + "▁Чернигов": 52634, + "▁вою": 52635, + "хара": 52636, + "▁сконцентри": 52637, + "рилась": 52638, + "▁опасения": 52639, + "▁Джефф": 52640, + "▁держится": 52641, + "▁спины": 52642, + "▁Исследова": 52643, + "▁уравнения": 52644, + "▁жанр": 52645, + "▁завоевала": 52646, + "▁Любой": 52647, + "▁взаимопо": 52648, + "▁Афганистане": 52649, + "▁присутствовал": 52650, + "▁мыслью": 52651, + "▁строительству": 52652, + "▁принимая": 52653, + "▁востока": 52654, + "▁образований": 52655, + "▁номере": 52656, + "▁Пей": 52657, + "Дру": 52658, + "▁итальянской": 52659, + "чительно": 52660, + "дочной": 52661, + "▁мелкими": 52662, + "▁записать": 52663, + "plate": 52664, + "леру": 52665, + "▁террористов": 52666, + "▁транспортного": 52667, + "▁ВВП": 52668, + "▁автобиографи": 52669, + "чевский": 52670, + "▁Дель": 52671, + "▁портреты": 52672, + "▁Золотой": 52673, + "нса": 52674, + "▁духовное": 52675, + "▁Неме": 52676, + "▁долл": 52677, + "▁предпочтение": 52678, + "▁подобная": 52679, + "тует": 52680, + "▁Людовика": 52681, + "▁упоминает": 52682, + "тинского": 52683, + "круп": 52684, + "▁Большую": 52685, + "▁плоти": 52686, + "▁выходом": 52687, + "▁моряков": 52688, + "▁топливо": 52689, + "▁зарплаты": 52690, + "▁ПОЛ": 52691, + "▁значением": 52692, + "▁Boe": 52693, + "▁сква": 52694, + "▁балло": 52695, + "▁взрослые": 52696, + "▁орбиту": 52697, + "ых": 52698, + "родных": 52699, + "▁Войска": 52700, + "ствах": 52701, + "▁велик": 52702, + "боли": 52703, + "▁порту": 52704, + "▁верили": 52705, + "▁вступ": 52706, + "кевич": 52707, + "▁обычай": 52708, + "▁драй": 52709, + "▁Марсе": 52710, + "▁Строительство": 52711, + "▁магнито": 52712, + "сиа": 52713, + "▁широких": 52714, + "риал": 52715, + "▁исполнять": 52716, + "▁становилась": 52717, + "▁орто": 52718, + "▁складывается": 52719, + "▁животными": 52720, + "▁помешать": 52721, + "▁раски": 52722, + "цовой": 52723, + "дельно": 52724, + "ricts": 52725, + "▁труде": 52726, + "▁журналах": 52727, + "▁капитаном": 52728, + "вита": 52729, + "жках": 52730, + "▁кровоте": 52731, + "▁нападающий": 52732, + "▁тяжелым": 52733, + "▁невозможным": 52734, + "видел": 52735, + "▁Фреде": 52736, + "ложению": 52737, + "▁золотую": 52738, + "▁градо": 52739, + "▁упло": 52740, + "▁атмосфера": 52741, + "▁бедных": 52742, + "▁церковных": 52743, + "тиза": 52744, + "▁разрушение": 52745, + "чило": 52746, + "▁следуют": 52747, + "▁Юли": 52748, + "ковья": 52749, + "РФ": 52750, + "дник": 52751, + "▁российском": 52752, + "▁отдельная": 52753, + "▁опытных": 52754, + "▁вольно": 52755, + "▁преподоб": 52756, + "гуляр": 52757, + "щину": 52758, + "▁знакомы": 52759, + "▁свадьбы": 52760, + "▁трудностей": 52761, + "▁заставля": 52762, + "▁ездил": 52763, + "▁деятели": 52764, + "▁поце": 52765, + "▁Числе": 52766, + "▁беседе": 52767, + "▁рво": 52768, + "▁кровать": 52769, + "▁сериал": 52770, + "▁довелось": 52771, + "▁вдали": 52772, + "▁Применение": 52773, + "▁разработать": 52774, + "▁останки": 52775, + "▁Шевченко": 52776, + "▁Общество": 52777, + "носа": 52778, + "жив": 52779, + "▁направо": 52780, + "▁масштабе": 52781, + "стку": 52782, + "▁действию": 52783, + "крова": 52784, + "▁Dougl": 52785, + "▁радостно": 52786, + "▁учреждениях": 52787, + "▁короткой": 52788, + "▁деви": 52789, + "▁поступили": 52790, + "▁Соро": 52791, + "▁вокзала": 52792, + "▁поехали": 52793, + "▁жителя": 52794, + "▁патронов": 52795, + "▁прибытия": 52796, + "▁думая": 52797, + "▁значительным": 52798, + "доподоб": 52799, + "▁ударил": 52800, + "▁странам": 52801, + "▁Струк": 52802, + "сности": 52803, + "▁долей": 52804, + "царь": 52805, + "▁комиссию": 52806, + "▁лёгкой": 52807, + "▁любимый": 52808, + "распреде": 52809, + "▁превосходство": 52810, + "▁полуострове": 52811, + "▁Францией": 52812, + "▁сельской": 52813, + "▁Средневе": 52814, + "▁интерфейса": 52815, + "▁необходимый": 52816, + "▁Единственное": 52817, + "▁яйце": 52818, + "▁затяну": 52819, + "▁Беля": 52820, + "▁состоящий": 52821, + "▁обслуживание": 52822, + "▁индивида": 52823, + "▁случится": 52824, + "▁Кинг": 52825, + "▁читали": 52826, + "зоры": 52827, + "десятых": 52828, + "▁рассмотрении": 52829, + "▁промо": 52830, + "▁Посе": 52831, + "▁импрови": 52832, + "ливая": 52833, + "▁национальности": 52834, + "▁Андро": 52835, + "▁сед": 52836, + "▁царей": 52837, + "▁животно": 52838, + "ЕФА": 52839, + "▁уцеле": 52840, + "христиан": 52841, + "▁громо": 52842, + "▁туре": 52843, + "▁получим": 52844, + "▁выгодно": 52845, + "▁издании": 52846, + "лететь": 52847, + "▁Гора": 52848, + "▁квартир": 52849, + "шив": 52850, + "▁Народный": 52851, + "▁соперника": 52852, + "шт": 52853, + "▁municipality": 52854, + "▁твою": 52855, + "arant": 52856, + "▁крестьянских": 52857, + "▁централизова": 52858, + "▁ся": 52859, + "▁легкий": 52860, + "▁частного": 52861, + "▁церковной": 52862, + "▁комната": 52863, + "▁подчас": 52864, + "▁нари": 52865, + "▁абсолютной": 52866, + "клов": 52867, + "▁культа": 52868, + "▁разговоров": 52869, + "ренными": 52870, + "▁узнала": 52871, + "лятора": 52872, + "▁возможна": 52873, + "▁двойной": 52874, + "▁отдохнуть": 52875, + "▁получены": 52876, + "▁Ува": 52877, + "тропи": 52878, + "▁Божией": 52879, + "▁круги": 52880, + "▁мастерство": 52881, + "▁биологических": 52882, + "▁Фео": 52883, + "▁Великая": 52884, + "гроб": 52885, + "▁входи": 52886, + "▁ссылке": 52887, + "▁Лучший": 52888, + "▁модификации": 52889, + "ворения": 52890, + "▁бесчисле": 52891, + "▁духу": 52892, + "проти": 52893, + "▁Григория": 52894, + "▁Дик": 52895, + "▁мистер": 52896, + "▁благосо": 52897, + "▁верблю": 52898, + "▁посвящены": 52899, + "▁Неве": 52900, + "▁Степан": 52901, + "▁мировая": 52902, + "валом": 52903, + "▁существующие": 52904, + "▁фру": 52905, + "▁публикаций": 52906, + "▁понимаем": 52907, + "▁знаменитых": 52908, + "марка": 52909, + "▁сигнали": 52910, + "▁социальную": 52911, + "▁Боло": 52912, + "▁ответили": 52913, + "▁олигар": 52914, + "▁автомобиле": 52915, + "▁суммар": 52916, + "▁Применя": 52917, + "Человек": 52918, + "coh": 52919, + "▁вертолета": 52920, + "▁гарантии": 52921, + "▁порождает": 52922, + "▁предприятиях": 52923, + "▁дальность": 52924, + "▁прон": 52925, + "▁вда": 52926, + "Золотая": 52927, + "▁боевую": 52928, + "▁нарисо": 52929, + "▁турок": 52930, + "очень": 52931, + "▁Севера": 52932, + "▁Никаких": 52933, + "▁доцен": 52934, + "▁столкнулся": 52935, + "Там": 52936, + "конструи": 52937, + "▁волнения": 52938, + "ед": 52939, + "▁коммунизма": 52940, + "политической": 52941, + "▁Данная": 52942, + "зовых": 52943, + "баль": 52944, + "▁прорыва": 52945, + "▁пошёл": 52946, + "▁захват": 52947, + "▁вреза": 52948, + "▁теорий": 52949, + "▁нормального": 52950, + "▁красивый": 52951, + "маш": 52952, + "▁издательство": 52953, + "▁вытекает": 52954, + "▁верхнего": 52955, + "ерей": 52956, + "▁Христиан": 52957, + "▁Бреж": 52958, + "УТ": 52959, + "▁солнцем": 52960, + "левых": 52961, + "▁устроил": 52962, + "▁овра": 52963, + "▁наркотиков": 52964, + "▁объявить": 52965, + "▁поблагода": 52966, + "▁Спаси": 52967, + "▁Луна": 52968, + "пились": 52969, + "▁Божь": 52970, + "▁объективно": 52971, + "▁испыту": 52972, + "▁репутацию": 52973, + "▁слушателей": 52974, + "видетельство": 52975, + "▁смотрю": 52976, + "▁яркие": 52977, + "новаться": 52978, + "вину": 52979, + "▁антисовет": 52980, + "▁больным": 52981, + "▁камнями": 52982, + "▁продвига": 52983, + "▁букси": 52984, + "▁повлиять": 52985, + "сказу": 52986, + "▁одиночку": 52987, + "antasy": 52988, + "▁уменьшения": 52989, + "шине": 52990, + "▁написали": 52991, + "▁спир": 52992, + "▁варвар": 52993, + "стояния": 52994, + "▁Константинополь": 52995, + "▁Усть": 52996, + "рань": 52997, + "дям": 52998, + "▁потребля": 52999, + "ав": 53000, + "▁подбо": 53001, + "▁Исти": 53002, + "▁камера": 53003, + "тиком": 53004, + "ценка": 53005, + "▁объяснять": 53006, + "▁московский": 53007, + "▁картофель": 53008, + "ничто": 53009, + "▁партийных": 53010, + "▁хозяйственной": 53011, + "▁Фёдор": 53012, + "▁бежит": 53013, + "▁помогло": 53014, + "▁спутника": 53015, + "▁рисунке": 53016, + "▁докладе": 53017, + "▁запе": 53018, + "▁масштаба": 53019, + "▁дама": 53020, + "▁тащи": 53021, + "▁общеобразова": 53022, + "▁Ясно": 53023, + "▁пламя": 53024, + "▁Перевод": 53025, + "▁Зво": 53026, + "▁сняли": 53027, + "▁снижается": 53028, + "▁убо": 53029, + "▁фронтом": 53030, + "▁малейшего": 53031, + "▁пули": 53032, + "▁жандар": 53033, + "▁КОН": 53034, + "▁верят": 53035, + "▁понимаешь": 53036, + "▁доллара": 53037, + "▁уход": 53038, + "▁Главной": 53039, + "▁свободным": 53040, + "вателей": 53041, + "▁наглядно": 53042, + "▁Мексики": 53043, + "▁предписы": 53044, + "▁осведом": 53045, + "▁частям": 53046, + "тников": 53047, + "пенга": 53048, + "▁знамена": 53049, + "вером": 53050, + "▁тесты": 53051, + "▁Лени": 53052, + "▁июнь": 53053, + "▁Вашингтоне": 53054, + "хли": 53055, + "▁Цвета": 53056, + "▁привез": 53057, + "▁низким": 53058, + "▁Ов": 53059, + "ена": 53060, + "▁иудей": 53061, + "▁очерта": 53062, + "▁встречаться": 53063, + "цком": 53064, + "▁колду": 53065, + "▁ВЦ": 53066, + "▁сестре": 53067, + "▁женский": 53068, + "▁жительства": 53069, + "▁физик": 53070, + "десант": 53071, + "▁экземпляр": 53072, + "▁волнова": 53073, + "▁добавляют": 53074, + "▁греки": 53075, + "▁исполнилось": 53076, + "▁несли": 53077, + "▁вектор": 53078, + "▁происходящее": 53079, + "смотр": 53080, + "▁стоимостью": 53081, + "▁городке": 53082, + "жане": 53083, + "▁шку": 53084, + "uris": 53085, + "▁потерпел": 53086, + "▁жут": 53087, + "▁временного": 53088, + "▁рада": 53089, + "▁Балтийского": 53090, + "▁Университет": 53091, + "▁поворота": 53092, + "▁сохранилась": 53093, + "▁Conc": 53094, + "▁закрытия": 53095, + "▁Краснозна": 53096, + "▁Словом": 53097, + "▁выключа": 53098, + "▁эпизодов": 53099, + "▁изменять": 53100, + "▁стира": 53101, + "▁снис": 53102, + "летки": 53103, + "онера": 53104, + "▁Стокголь": 53105, + "шн": 53106, + "▁фила": 53107, + "▁секретарем": 53108, + "▁нюан": 53109, + "вени": 53110, + "▁Верховной": 53111, + "▁желающих": 53112, + "▁создаются": 53113, + "▁направлено": 53114, + "▁Таври": 53115, + "▁совещание": 53116, + "▁посетить": 53117, + "дура": 53118, + "▁владел": 53119, + "▁обеспечивать": 53120, + "▁расцвета": 53121, + "▁видам": 53122, + "▁Старый": 53123, + "▁прислуши": 53124, + "▁марша": 53125, + "родинами": 53126, + "▁тщет": 53127, + "▁временам": 53128, + "кула": 53129, + "▁Альбер": 53130, + "▁крейсера": 53131, + "родные": 53132, + "▁ранние": 53133, + "Вен": 53134, + "видение": 53135, + "▁пузырь": 53136, + "инте": 53137, + "▁волость": 53138, + "▁согласова": 53139, + "arner": 53140, + "▁ликвида": 53141, + "▁стратегия": 53142, + "▁обеспо": 53143, + "▁жителям": 53144, + "руса": 53145, + "▁Соколов": 53146, + "хор": 53147, + "ственна": 53148, + "▁обая": 53149, + "▁Башки": 53150, + "▁остановились": 53151, + "▁ввел": 53152, + "▁кратков": 53153, + "▁видо": 53154, + "▁чемпионатов": 53155, + "▁казна": 53156, + "дух": 53157, + "▁съё": 53158, + "▁неделя": 53159, + "▁внедрения": 53160, + "▁Пора": 53161, + "▁серьезный": 53162, + "▁чувствуют": 53163, + "щенными": 53164, + "▁леди": 53165, + "▁борода": 53166, + "живают": 53167, + "▁слабые": 53168, + "▁стрельбе": 53169, + "▁футбольный": 53170, + "▁терра": 53171, + "▁свире": 53172, + "▁правилами": 53173, + "▁всякая": 53174, + "▁трибуна": 53175, + "▁совесть": 53176, + "менная": 53177, + "▁следующая": 53178, + "▁Абха": 53179, + "▁учёные": 53180, + "▁РП": 53181, + "▁ремеслен": 53182, + "▁приоритет": 53183, + "▁оказал": 53184, + "▁Итальян": 53185, + "▁Господи": 53186, + "▁Ер": 53187, + "центр": 53188, + "▁мороз": 53189, + "▁дезин": 53190, + "рядка": 53191, + "рациона": 53192, + "▁публике": 53193, + "▁удовлетворить": 53194, + "лею": 53195, + "▁специальное": 53196, + "бовал": 53197, + "оста": 53198, + "▁сериале": 53199, + "▁жизненно": 53200, + "▁соотно": 53201, + "▁Выступал": 53202, + "▁Чтоб": 53203, + "▁коммерческих": 53204, + "▁размести": 53205, + "▁поверхностью": 53206, + "▁Ельцина": 53207, + "▁ужи": 53208, + "▁известными": 53209, + "▁арте": 53210, + "▁пенсии": 53211, + "▁сектор": 53212, + "▁вяз": 53213, + "▁подразделя": 53214, + "▁Каждое": 53215, + "▁состяза": 53216, + "▁скульптуры": 53217, + "▁ленинград": 53218, + "▁звери": 53219, + "▁завет": 53220, + "чёте": 53221, + "стижи": 53222, + "▁серо": 53223, + "▁банкрот": 53224, + "▁вечерин": 53225, + "▁выстрела": 53226, + "юрера": 53227, + "пользова": 53228, + "▁Движение": 53229, + "▁Ночью": 53230, + "▁подво": 53231, + "▁обходи": 53232, + "▁попросили": 53233, + "▁Ив": 53234, + "▁обнаружен": 53235, + "бека": 53236, + "▁диаметр": 53237, + "▁истинно": 53238, + "Франциско": 53239, + "провода": 53240, + "▁кругов": 53241, + "жская": 53242, + "▁завла": 53243, + "▁Женщины": 53244, + "▁реальностью": 53245, + "▁готовится": 53246, + "▁бывшим": 53247, + "▁инспек": 53248, + "чивание": 53249, + "▁городок": 53250, + "▁явлением": 53251, + "uilt": 53252, + "▁ИГ": 53253, + "▁возлюблен": 53254, + "olished": 53255, + "▁Кули": 53256, + "▁диалога": 53257, + "СЕ": 53258, + "▁популярной": 53259, + "▁альян": 53260, + "▁скульптур": 53261, + "▁скорей": 53262, + "товать": 53263, + "▁амор": 53264, + "▁проживали": 53265, + "▁часами": 53266, + "▁Художник": 53267, + "▁странные": 53268, + "▁готово": 53269, + "▁найдено": 53270, + "▁событием": 53271, + "▁травя": 53272, + "▁наимень": 53273, + "▁тюрк": 53274, + "русской": 53275, + "▁ут": 53276, + "ЛС": 53277, + "▁Ибра": 53278, + "▁утверждали": 53279, + "просто": 53280, + "\"»": 53281, + "▁ани": 53282, + "▁зимних": 53283, + "▁сестрой": 53284, + "▁сердцу": 53285, + "▁франков": 53286, + "▁свету": 53287, + "▁полицейские": 53288, + "▁основателей": 53289, + "▁модифика": 53290, + "▁вещах": 53291, + "▁Андреев": 53292, + "▁лишним": 53293, + "▁независимых": 53294, + "▁напрасно": 53295, + "гонь": 53296, + "▁пища": 53297, + "▁черту": 53298, + "цеден": 53299, + "▁прокурор": 53300, + "▁прочесть": 53301, + "▁диких": 53302, + "▁хорва": 53303, + "▁сотрудником": 53304, + "▁Тибе": 53305, + "▁государствами": 53306, + "▁процедуру": 53307, + "▁сиони": 53308, + "▁отступ": 53309, + "ьба": 53310, + "▁казен": 53311, + "▁гражданам": 53312, + "▁Элли": 53313, + "▁облига": 53314, + "▁инициативу": 53315, + "▁выраста": 53316, + "▁подписи": 53317, + "▁писателем": 53318, + "▁Современные": 53319, + "▁визит": 53320, + "▁оставлять": 53321, + "▁вр": 53322, + "▁параметр": 53323, + "▁казнь": 53324, + "▁СТ": 53325, + "▁современное": 53326, + "секретарь": 53327, + "▁осты": 53328, + "▁сохраня": 53329, + "ugby": 53330, + "uble": 53331, + "▁спит": 53332, + "▁занимала": 53333, + "вины": 53334, + "ализации": 53335, + "▁совершении": 53336, + "▁металло": 53337, + "жаю": 53338, + "тчиками": 53339, + "▁Восточного": 53340, + "▁поступают": 53341, + "▁пунктах": 53342, + "▁заб": 53343, + "▁гигие": 53344, + "▁главном": 53345, + "хей": 53346, + "▁характеристика": 53347, + "▁безжало": 53348, + "▁перепол": 53349, + "▁Сокра": 53350, + "▁расчеты": 53351, + "▁вошло": 53352, + "▁Скан": 53353, + "▁посольство": 53354, + "afe": 53355, + "зут": 53356, + "▁живота": 53357, + "▁разведка": 53358, + "▁тези": 53359, + "▁овец": 53360, + "▁затво": 53361, + "живал": 53362, + "▁единственного": 53363, + "▁проектирования": 53364, + "кни": 53365, + "▁усугу": 53366, + "взя": 53367, + "▁потомков": 53368, + "▁уеди": 53369, + "▁описании": 53370, + "▁верхних": 53371, + "▁опья": 53372, + "суда": 53373, + "▁налогоплатель": 53374, + "рёл": 53375, + "▁Галь": 53376, + "▁абонен": 53377, + "ппер": 53378, + "▁великая": 53379, + "▁мастерства": 53380, + "▁Штатах": 53381, + "родной": 53382, + "▁выделяются": 53383, + "rations": 53384, + "▁воображения": 53385, + "▁советскими": 53386, + "rapy": 53387, + "▁ОКБ": 53388, + "▁Лью": 53389, + "ловым": 53390, + "корреспондент": 53391, + "▁особенностями": 53392, + "зируя": 53393, + "▁барон": 53394, + "▁римской": 53395, + "▁температуру": 53396, + "▁экспан": 53397, + "влю": 53398, + "мунд": 53399, + "▁Дево": 53400, + "▁участникам": 53401, + "▁менеджер": 53402, + "▁раскрыть": 53403, + "▁некотором": 53404, + "цизм": 53405, + "▁свидетелем": 53406, + "▁крипто": 53407, + "▁Другое": 53408, + "▁Антонио": 53409, + "▁ядерных": 53410, + "▁Диони": 53411, + "▁заклина": 53412, + "▁законопроек": 53413, + "хари": 53414, + "▁заключен": 53415, + "▁Евра": 53416, + "тируются": 53417, + "▁столица": 53418, + "▁инсу": 53419, + "▁тотали": 53420, + "▁зрение": 53421, + "▁Валентин": 53422, + "▁миров": 53423, + "▁низкий": 53424, + "▁несовершен": 53425, + "таи": 53426, + "▁сели": 53427, + "▁похожие": 53428, + "▁туризма": 53429, + "▁раст": 53430, + "▁продюсер": 53431, + "▁пониманию": 53432, + "▁строительных": 53433, + "емле": 53434, + "▁успешной": 53435, + "▁решается": 53436, + "▁корреспондент": 53437, + "▁воспринимается": 53438, + "▁Джорджа": 53439, + "щику": 53440, + "ъесте": 53441, + "▁индо": 53442, + "▁Ирак": 53443, + "▁хана": 53444, + "▁активную": 53445, + "▁ракета": 53446, + "▁способные": 53447, + "▁появлению": 53448, + "▁община": 53449, + "права": 53450, + "▁спаси": 53451, + "▁нижних": 53452, + "▁сидела": 53453, + "▁трагедия": 53454, + "рины": 53455, + "▁эфир": 53456, + "▁врагами": 53457, + "▁субъект": 53458, + "▁вооруженные": 53459, + "фли": 53460, + "▁набережной": 53461, + "стеров": 53462, + "▁объединяет": 53463, + "▁богослов": 53464, + "▁Главнокоман": 53465, + "▁эмигри": 53466, + "▁неприятеля": 53467, + "▁испанский": 53468, + "▁СД": 53469, + "▁растительного": 53470, + "валифици": 53471, + "▁откли": 53472, + "дда": 53473, + "▁индивидуальной": 53474, + "▁доса": 53475, + "▁южном": 53476, + "▁дивизию": 53477, + "▁Федорович": 53478, + "▁неуверен": 53479, + "чником": 53480, + "▁Империи": 53481, + "зированы": 53482, + "▁истребители": 53483, + "станно": 53484, + "▁Pit": 53485, + "▁Ситуация": 53486, + "▁карьера": 53487, + "рум": 53488, + "▁корабе": 53489, + "голу": 53490, + "▁разгра": 53491, + "логу": 53492, + "▁чудеса": 53493, + "скара": 53494, + "▁толка": 53495, + "▁сервисов": 53496, + "▁необычайно": 53497, + "▁совершенства": 53498, + "▁Парла": 53499, + "▁активным": 53500, + "лливуд": 53501, + "▁придётся": 53502, + "▁бойцы": 53503, + "щине": 53504, + "▁чугу": 53505, + "▁городском": 53506, + "▁Чарльз": 53507, + "службы": 53508, + "▁прохлад": 53509, + "▁паст": 53510, + "▁казался": 53511, + "▁Польшу": 53512, + "▁металл": 53513, + "▁пропустить": 53514, + "▁импорт": 53515, + "▁любимого": 53516, + "▁открытое": 53517, + "▁ярких": 53518, + "▁весть": 53519, + "▁инструментом": 53520, + "▁выходные": 53521, + "▁вывел": 53522, + "чут": 53523, + "ОЙ": 53524, + "▁вернемся": 53525, + "▁устроили": 53526, + "▁особая": 53527, + "▁цивилизова": 53528, + "▁пики": 53529, + "зала": 53530, + "▁случиться": 53531, + "▁узла": 53532, + "▁приехать": 53533, + "таре": 53534, + "родного": 53535, + "▁побольше": 53536, + "▁безобра": 53537, + "воил": 53538, + "рджи": 53539, + "тону": 53540, + "▁орбиты": 53541, + "кок": 53542, + "▁разлу": 53543, + "графической": 53544, + "▁Недоста": 53545, + "▁достигают": 53546, + "▁еврейских": 53547, + "чта": 53548, + "▁пострадал": 53549, + "говоры": 53550, + "▁прорыв": 53551, + "нины": 53552, + "▁Коб": 53553, + "▁Энер": 53554, + "▁CN": 53555, + "▁Вольф": 53556, + "▁советника": 53557, + "▁составом": 53558, + "нейшего": 53559, + "▁бутылки": 53560, + "▁полотен": 53561, + "▁девушке": 53562, + "ванная": 53563, + "▁покрытия": 53564, + "▁кухни": 53565, + "▁больший": 53566, + "мири": 53567, + "▁питом": 53568, + "▁проверять": 53569, + "▁возбуди": 53570, + "▁зме": 53571, + "▁мунди": 53572, + "▁влиять": 53573, + "варда": 53574, + "▁жизненного": 53575, + "▁уверенностью": 53576, + "мони": 53577, + ";#": 53578, + "▁освобожден": 53579, + "▁приносят": 53580, + "▁Олега": 53581, + "▁открывать": 53582, + "▁владений": 53583, + "▁Рассе": 53584, + "▁соотношения": 53585, + "▁песка": 53586, + "▁Гот": 53587, + "▁денежные": 53588, + "▁отбира": 53589, + "ризации": 53590, + "▁ездить": 53591, + "▁пригласили": 53592, + "▁Изобра": 53593, + "минг": 53594, + "▁немецкая": 53595, + "▁Денис": 53596, + "▁Розен": 53597, + "▁человеко": 53598, + "точная": 53599, + "▁Потре": 53600, + "▁духовенства": 53601, + "оле": 53602, + "зистен": 53603, + "▁Дея": 53604, + "рике": 53605, + "▁мыслями": 53606, + "▁мощным": 53607, + "бры": 53608, + "▁красивые": 53609, + "▁феномена": 53610, + "▁фактора": 53611, + "▁отныне": 53612, + "▁жениться": 53613, + "▁Надежда": 53614, + "▁стенами": 53615, + "▁видна": 53616, + "▁военнопленных": 53617, + "▁взволнова": 53618, + "▁Эйзен": 53619, + "▁необо": 53620, + "факс": 53621, + "▁Киевского": 53622, + "▁спутник": 53623, + "▁семе": 53624, + "▁безграни": 53625, + "▁научился": 53626, + "щин": 53627, + "пса": 53628, + "▁превзо": 53629, + "▁столовой": 53630, + "пять": 53631, + "▁действии": 53632, + "▁думаешь": 53633, + "▁Исполни": 53634, + "▁отмечали": 53635, + "▁просвети": 53636, + "юк": 53637, + "нце": 53638, + "▁яркий": 53639, + "▁плит": 53640, + "▁лучшая": 53641, + "▁шестой": 53642, + "▁договором": 53643, + "▁спроек": 53644, + "▁союзники": 53645, + "▁лако": 53646, + "▁специальную": 53647, + "▁выросли": 53648, + "▁Бло": 53649, + "▁Пять": 53650, + "▁некро": 53651, + "▁моими": 53652, + "▁Авторы": 53653, + "▁работая": 53654, + "▁привлекает": 53655, + "▁кулина": 53656, + "Россий": 53657, + "ХА": 53658, + "▁холода": 53659, + "▁целостности": 53660, + "▁резю": 53661, + "▁оркестр": 53662, + "энд": 53663, + "▁Чо": 53664, + "▁Принцип": 53665, + "Свя": 53666, + "▁оказания": 53667, + "скольз": 53668, + "▁обусловли": 53669, + "▁Теодо": 53670, + "летела": 53671, + "▁казаться": 53672, + "▁Плани": 53673, + "▁поляков": 53674, + "джо": 53675, + "▁сохран": 53676, + "▁курт": 53677, + "▁Таган": 53678, + "▁послание": 53679, + "лённых": 53680, + "▁присутствовать": 53681, + "▁получат": 53682, + "▁жалоб": 53683, + "▁господства": 53684, + "nee": 53685, + "▁отрядом": 53686, + "▁правильное": 53687, + "▁подполков": 53688, + "▁рисунки": 53689, + "▁Спас": 53690, + "▁дизайна": 53691, + "▁прежнего": 53692, + "▁маленькую": 53693, + "▁медалей": 53694, + "делки": 53695, + "▁обнаро": 53696, + "▁гнезда": 53697, + "кило": 53698, + "▁каш": 53699, + "▁последовал": 53700, + "▁Минске": 53701, + "▁сочинение": 53702, + "▁попла": 53703, + "▁гиган": 53704, + "▁философских": 53705, + "▁цикло": 53706, + "▁школьников": 53707, + "▁безуслов": 53708, + "▁Хмель": 53709, + "▁ощущений": 53710, + "▁получился": 53711, + "▁способствуют": 53712, + "▁приводить": 53713, + "▁Вода": 53714, + "▁обход": 53715, + "▁названы": 53716, + "▁Метод": 53717, + "▁японский": 53718, + "▁митрополита": 53719, + "▁сетях": 53720, + "▁мозаи": 53721, + "▁доступен": 53722, + "▁употреблять": 53723, + "▁Дор": 53724, + "▁периодом": 53725, + "▁нога": 53726, + "▁́": 53727, + "▁достопримеча": 53728, + "лировать": 53729, + "▁вымышлен": 53730, + "▁оперативного": 53731, + "▁награжден": 53732, + "▁статьях": 53733, + "▁рождается": 53734, + "▁географии": 53735, + "▁допускается": 53736, + "▁строку": 53737, + "▁заявку": 53738, + "owered": 53739, + "▁призёром": 53740, + "▁слабе": 53741, + "▁пересека": 53742, + "▁спал": 53743, + "▁бесстра": 53744, + "зана": 53745, + "кивает": 53746, + "▁болезнью": 53747, + "▁пролетар": 53748, + "▁архаи": 53749, + "▁пообещал": 53750, + "▁письмах": 53751, + "▁шансов": 53752, + "▁ожидали": 53753, + "▁праздники": 53754, + "▁базой": 53755, + "▁флотом": 53756, + "ткин": 53757, + "▁Славя": 53758, + "▁созданных": 53759, + "мби": 53760, + "▁постановке": 53761, + "▁потенциала": 53762, + "▁Элизабет": 53763, + "▁проживает": 53764, + "▁колен": 53765, + "▁дорогах": 53766, + "▁прекло": 53767, + "▁подвиг": 53768, + "▁устраивает": 53769, + "▁Британии": 53770, + "▁кин": 53771, + "▁съемо": 53772, + "▁взялся": 53773, + "▁одиночестве": 53774, + "▁приобретение": 53775, + "▁продолжались": 53776, + "▁кричит": 53777, + "igrants": 53778, + "▁сара": 53779, + "▁отстоя": 53780, + "▁появлялись": 53781, + "▁истолко": 53782, + "▁идентифика": 53783, + "▁взаимодействии": 53784, + "▁опоры": 53785, + "▁оценивается": 53786, + "уров": 53787, + "▁клин": 53788, + "▁торговой": 53789, + "▁подготови": 53790, + "тикой": 53791, + "▁космосе": 53792, + "▁Самолет": 53793, + "▁видения": 53794, + "ющемся": 53795, + "▁согласны": 53796, + "▁мэра": 53797, + "▁исполнителей": 53798, + "▁жалко": 53799, + "▁Зла": 53800, + "▁пробы": 53801, + "▁выгоды": 53802, + "▁земледель": 53803, + "▁доказывает": 53804, + "▁хутор": 53805, + "дях": 53806, + "жских": 53807, + "▁подошла": 53808, + "▁надеясь": 53809, + "нхен": 53810, + "▁prosec": 53811, + "▁перей": 53812, + "ровском": 53813, + "▁держали": 53814, + "▁потомки": 53815, + "▁ставку": 53816, + "Тре": 53817, + "ссой": 53818, + "▁линией": 53819, + "▁электронов": 53820, + "▁задействова": 53821, + "▁Аля": 53822, + "▁проектирова": 53823, + "▁дополнительной": 53824, + "▁арабо": 53825, + "▁большинством": 53826, + "tion": 53827, + "▁бабушки": 53828, + "▁случалось": 53829, + "utor": 53830, + "▁Симферо": 53831, + "▁древе": 53832, + "▁Горький": 53833, + "▁мамы": 53834, + "▁приговора": 53835, + "chang": 53836, + "▁опыту": 53837, + "бинской": 53838, + "▁повышает": 53839, + "▁преуспе": 53840, + "Ше": 53841, + "▁беге": 53842, + "▁готовят": 53843, + "▁изменениями": 53844, + "▁разновидность": 53845, + "▁Ладно": 53846, + "▁увеличивает": 53847, + "▁операционной": 53848, + "▁совещании": 53849, + "▁массовые": 53850, + "▁суши": 53851, + "▁самосозна": 53852, + "▁бары": 53853, + "outheast": 53854, + "▁Софи": 53855, + "муществ": 53856, + "▁парадиг": 53857, + "рих": 53858, + "▁Донецкой": 53859, + "▁полезным": 53860, + "ордини": 53861, + "▁Общий": 53862, + "▁Корот": 53863, + "ничный": 53864, + "▁гипотеза": 53865, + "▁методики": 53866, + "▁реальное": 53867, + "эпи": 53868, + "▁уде": 53869, + "жия": 53870, + "▁Распростра": 53871, + "▁некая": 53872, + "▁поездов": 53873, + "▁огнестре": 53874, + "▁психических": 53875, + "▁влю": 53876, + "ДИ": 53877, + "▁Фрейд": 53878, + "▁отставке": 53879, + "▁Новгороде": 53880, + "▁Чикаго": 53881, + "▁главными": 53882, + "▁обеспечению": 53883, + "▁извлечь": 53884, + "зировали": 53885, + "▁протест": 53886, + "▁Тони": 53887, + "тования": 53888, + "▁балли": 53889, + "▁кабины": 53890, + "▁нарушении": 53891, + "щенную": 53892, + "▁противоречий": 53893, + "▁гуля": 53894, + "▁помы": 53895, + "▁вызывали": 53896, + "▁несовмести": 53897, + "▁центральный": 53898, + "▁факультете": 53899, + "▁стратегических": 53900, + "готовка": 53901, + "▁проявлять": 53902, + "▁анализу": 53903, + "▁удобнее": 53904, + "▁покое": 53905, + "▁изменением": 53906, + "▁некоторую": 53907, + "▁историо": 53908, + "▁Сель": 53909, + "бавок": 53910, + "▁императору": 53911, + "▁Общее": 53912, + "▁умерших": 53913, + "блению": 53914, + "▁ФБР": 53915, + "▁трава": 53916, + "▁ветеранов": 53917, + "▁почек": 53918, + "▁субси": 53919, + "▁безвоз": 53920, + "▁змей": 53921, + "▁предложила": 53922, + "▁дежур": 53923, + "▁выпустила": 53924, + "▁апел": 53925, + "▁сладо": 53926, + "тини": 53927, + "ложив": 53928, + "▁армян": 53929, + "▁пятнадцати": 53930, + "▁реформи": 53931, + "▁Пресвя": 53932, + "▁Марса": 53933, + "км": 53934, + "▁платформе": 53935, + "▁ското": 53936, + "лека": 53937, + "▁воплощение": 53938, + "▁Письмо": 53939, + "▁серьезным": 53940, + "▁Беларуси": 53941, + "▁техно": 53942, + "▁корней": 53943, + "бине": 53944, + "▁организу": 53945, + "▁Ога": 53946, + "▁доложил": 53947, + "▁упру": 53948, + "▁найдет": 53949, + "▁superv": 53950, + "стером": 53951, + "▁возвращался": 53952, + "▁советом": 53953, + "▁принимается": 53954, + "▁дистри": 53955, + "▁уничтожены": 53956, + "▁вед": 53957, + "▁пользователям": 53958, + "▁Контро": 53959, + "▁Ере": 53960, + "▁Нер": 53961, + "▁грехов": 53962, + "▁попало": 53963, + "▁Википедии": 53964, + "▁заведомо": 53965, + "▁Дек": 53966, + "чивые": 53967, + "▁поэтом": 53968, + "▁собеседника": 53969, + "▁старую": 53970, + "трин": 53971, + "▁превосходя": 53972, + "▁маленьким": 53973, + "▁архитектуре": 53974, + "▁специальная": 53975, + "▁вкуса": 53976, + "▁кресла": 53977, + "▁Мировой": 53978, + "▁молчали": 53979, + "▁средствах": 53980, + "▁беспокойство": 53981, + "хол": 53982, + "▁умело": 53983, + "▁заставляют": 53984, + "еврей": 53985, + "▁финансирование": 53986, + "▁налог": 53987, + "▁тяжелое": 53988, + "▁вторг": 53989, + "▁Мюнхе": 53990, + "▁Свердловской": 53991, + "евская": 53992, + "▁отзыв": 53993, + "▁ас": 53994, + "лома": 53995, + "▁делаете": 53996, + "▁глазом": 53997, + "США": 53998, + "▁замке": 53999, + "сурд": 54000, + "алов": 54001, + "▁Роль": 54002, + "▁долгого": 54003, + "▁Ефре": 54004, + "тывает": 54005, + "шино": 54006, + "▁Семен": 54007, + "▁рядов": 54008, + "▁мисти": 54009, + "▁кратко": 54010, + "▁нижнем": 54011, + "▁номеров": 54012, + "товской": 54013, + "▁юношей": 54014, + "▁упоминания": 54015, + "▁захочет": 54016, + "▁философа": 54017, + "%),": 54018, + "▁Анализ": 54019, + "▁временных": 54020, + "сылка": 54021, + "▁предприниматель": 54022, + "▁Уильяма": 54023, + "▁союзных": 54024, + "▁указанием": 54025, + "▁Красный": 54026, + "▁Немцы": 54027, + "▁передана": 54028, + "▁проводя": 54029, + "бба": 54030, + "▁популярностью": 54031, + "▁вах": 54032, + "▁обрадова": 54033, + "▁Рису": 54034, + "потом": 54035, + "разрабо": 54036, + "▁майора": 54037, + "▁могилы": 54038, + "▁усилить": 54039, + "▁записки": 54040, + "пери": 54041, + "лс": 54042, + "▁позволяло": 54043, + "▁бедра": 54044, + "▁переводчик": 54045, + "▁открытые": 54046, + "▁иммигра": 54047, + "азиат": 54048, + "▁художеств": 54049, + "▁прекрасной": 54050, + "▁круто": 54051, + "▁текущей": 54052, + "плета": 54053, + "зился": 54054, + "ЯТ": 54055, + "▁Круг": 54056, + "провер": 54057, + "▁взрослого": 54058, + "▁пришель": 54059, + "частие": 54060, + "▁выведен": 54061, + "▁несогла": 54062, + "▁официальные": 54063, + "▁актеров": 54064, + "▁превыша": 54065, + "▁Тбилиси": 54066, + "▁Жак": 54067, + "▁приехала": 54068, + "▁Литератур": 54069, + "▁дополне": 54070, + "▁лампо": 54071, + "▁показало": 54072, + "▁крики": 54073, + "рийской": 54074, + "▁столицей": 54075, + "▁мосту": 54076, + "▁выполнен": 54077, + "▁меняются": 54078, + "шом": 54079, + "▁домашней": 54080, + "▁хорошень": 54081, + "▁связывает": 54082, + "▁убра": 54083, + "▁Описание": 54084, + "▁запаса": 54085, + "ваш": 54086, + "▁Эрн": 54087, + "▁ист": 54088, + "▁васса": 54089, + "стреби": 54090, + "скова": 54091, + "▁меща": 54092, + "▁фондов": 54093, + "▁подняли": 54094, + "▁певица": 54095, + "▁ГЛА": 54096, + "▁эмбле": 54097, + "шивают": 54098, + "▁Battalion": 54099, + "тенти": 54100, + "▁верхнем": 54101, + "iege": 54102, + "▁плаву": 54103, + "▁Крымской": 54104, + "▁Саму": 54105, + "▁поддерживали": 54106, + "▁находящийся": 54107, + "▁детство": 54108, + "▁Лор": 54109, + "▁наки": 54110, + "▁серьезное": 54111, + "▁Мере": 54112, + "▁поговорим": 54113, + "▁подписали": 54114, + "▁моё": 54115, + "▁Цин": 54116, + "▁подруга": 54117, + "▁раствора": 54118, + "▁устранения": 54119, + "▁поездку": 54120, + "▁направленные": 54121, + "▁относительности": 54122, + "▁пригород": 54123, + "▁приспосо": 54124, + "▁хвали": 54125, + "▁Вопросы": 54126, + "▁манере": 54127, + "▁требованием": 54128, + "▁теорией": 54129, + "▁отдельности": 54130, + "▁Южная": 54131, + "ИХ": 54132, + "▁документами": 54133, + "чнике": 54134, + "▁Герак": 54135, + "шнее": 54136, + "▁невозможности": 54137, + "▁squadron": 54138, + "▁глюко": 54139, + "▁точное": 54140, + "▁всесторон": 54141, + "▁Ряза": 54142, + "помя": 54143, + "гран": 54144, + "▁созданной": 54145, + "▁разработана": 54146, + "▁принятии": 54147, + "▁деспо": 54148, + "▁местам": 54149, + "▁драматург": 54150, + "▁зашел": 54151, + "▁ова": 54152, + "owntown": 54153, + "▁Челябин": 54154, + "▁устойчивости": 54155, + "▁вертолетов": 54156, + "▁желаний": 54157, + "▁Состав": 54158, + "клеи": 54159, + "▁японцы": 54160, + "▁гостиницы": 54161, + "▁фрагмента": 54162, + "кот": 54163, + "▁грибов": 54164, + "▁Вооружённых": 54165, + "▁Альберт": 54166, + "▁УЕФА": 54167, + "▁эква": 54168, + "▁поступи": 54169, + "▁Корне": 54170, + "▁подчинения": 54171, + "нившись": 54172, + "▁революционных": 54173, + "▁Фай": 54174, + "▁освоения": 54175, + "декса": 54176, + "муж": 54177, + "▁входящих": 54178, + "▁процессах": 54179, + "▁Будет": 54180, + "чис": 54181, + "▁зароды": 54182, + "▁Тим": 54183, + "▁Численность": 54184, + "зена": 54185, + "▁продуктами": 54186, + "Жа": 54187, + "эмп": 54188, + "▁кафедра": 54189, + "▁змеи": 54190, + "▁страданий": 54191, + "сасы": 54192, + "▁коче": 54193, + "▁впечатля": 54194, + "▁вегета": 54195, + "▁уравнове": 54196, + "▁Молодой": 54197, + "▁показаний": 54198, + "▁Арт": 54199, + "▁галлю": 54200, + "▁японцев": 54201, + "▁револь": 54202, + "учи": 54203, + "▁супруже": 54204, + "▁никакие": 54205, + "▁скандал": 54206, + "дравствуйте": 54207, + "▁Волги": 54208, + "▁завоевать": 54209, + "▁Шекспи": 54210, + "▁родины": 54211, + "▁последующей": 54212, + "▁комментариев": 54213, + "▁тексти": 54214, + "▁девяно": 54215, + "тицы": 54216, + "▁забрать": 54217, + "▁Молдавии": 54218, + "▁правовых": 54219, + "▁воскликнул": 54220, + "ваемым": 54221, + "тамина": 54222, + "▁подтвердить": 54223, + "▁идеально": 54224, + "маров": 54225, + "▁получите": 54226, + "▁действующей": 54227, + "рико": 54228, + "▁Фёдорович": 54229, + "▁пьеса": 54230, + "спокой": 54231, + "▁положению": 54232, + "▁гриб": 54233, + "▁бактерий": 54234, + "птом": 54235, + "▁фли": 54236, + "▁контрразвед": 54237, + "▁флаго": 54238, + "▁апель": 54239, + "▁форума": 54240, + "Ад": 54241, + "▁билеты": 54242, + "▁компре": 54243, + "▁Платона": 54244, + "▁Цу": 54245, + "▁большевики": 54246, + "▁Прибы": 54247, + "▁просты": 54248, + "▁длинных": 54249, + "▁рождение": 54250, + "шалось": 54251, + "▁дыма": 54252, + "▁нагрузку": 54253, + "▁aired": 54254, + "▁Мужчина": 54255, + "▁козы": 54256, + "▁всеобщего": 54257, + "▁компетент": 54258, + "▁вынес": 54259, + "▁постановлением": 54260, + "▁дадут": 54261, + "▁депрессии": 54262, + "▁историческом": 54263, + "▁чертой": 54264, + "▁атака": 54265, + "atabase": 54266, + "▁обработка": 54267, + "▁парашют": 54268, + "▁дик": 54269, + "▁дереву": 54270, + "▁Родители": 54271, + "▁указывается": 54272, + "▁исходит": 54273, + "зывов": 54274, + "▁логике": 54275, + "▁арген": 54276, + "совета": 54277, + "▁конгресс": 54278, + "ждался": 54279, + "▁отклонения": 54280, + "▁юридической": 54281, + "едино": 54282, + "рян": 54283, + "такте": 54284, + "Почему": 54285, + "▁строю": 54286, + "▁телеканала": 54287, + "▁нужное": 54288, + "▁ИН": 54289, + "▁низких": 54290, + "▁Светлана": 54291, + "▁Зеландии": 54292, + "▁торговлю": 54293, + "▁оценил": 54294, + "илла": 54295, + "▁вводить": 54296, + "▁китайский": 54297, + "erto": 54298, + "▁Эдвард": 54299, + "▁утверждён": 54300, + "▁способствовали": 54301, + "▁испытывают": 54302, + "▁Адриа": 54303, + "▁пали": 54304, + "▁Граф": 54305, + "race": 54306, + "▁обусловлено": 54307, + "▁депо": 54308, + "▁известие": 54309, + "▁исполнил": 54310, + "▁Лам": 54311, + "▁передается": 54312, + "образования": 54313, + "▁лекций": 54314, + "ничестве": 54315, + "▁заявлял": 54316, + "▁двести": 54317, + "▁похожий": 54318, + "Послед": 54319, + "▁Синга": 54320, + "▁знаниями": 54321, + "▁грязь": 54322, + "▁хребта": 54323, + "▁журналы": 54324, + "▁Марты": 54325, + "▁вузов": 54326, + "▁осматри": 54327, + "▁численностью": 54328, + "▁Энциклопе": 54329, + "мовых": 54330, + "▁плохого": 54331, + "▁Неизвест": 54332, + "ocracy": 54333, + "▁гермети": 54334, + "▁стремясь": 54335, + "▁пресса": 54336, + "▁Восточно": 54337, + "▁изоляции": 54338, + "▁идеал": 54339, + "▁покая": 54340, + "▁Власти": 54341, + "▁запроса": 54342, + "▁выбирает": 54343, + "▁сторонами": 54344, + "▁старое": 54345, + "▁машиной": 54346, + "лках": 54347, + "arsh": 54348, + "▁плод": 54349, + "▁фавори": 54350, + "ture": 54351, + "технической": 54352, + "▁официальное": 54353, + "▁заявлении": 54354, + "▁заболеваниях": 54355, + "▁формула": 54356, + "льником": 54357, + "▁Аки": 54358, + "▁римский": 54359, + "▁выпря": 54360, + "▁нелегко": 54361, + "▁находили": 54362, + "▁формами": 54363, + "▁могиле": 54364, + "▁увеличением": 54365, + "▁стану": 54366, + "▁пьес": 54367, + "▁инженером": 54368, + "ilit": 54369, + "▁пакета": 54370, + "▁присоединиться": 54371, + "▁Интернете": 54372, + "▁интеллект": 54373, + "лову": 54374, + "диями": 54375, + "▁попри": 54376, + "▁слышит": 54377, + "даже": 54378, + "▁моделя": 54379, + "▁состояло": 54380, + "▁подарил": 54381, + "▁арифмети": 54382, + "▁целой": 54383, + "▁проявить": 54384, + "▁erect": 54385, + "▁тонкий": 54386, + "▁соседней": 54387, + "▁сделанные": 54388, + "▁Будапе": 54389, + "снов": 54390, + "▁пройдут": 54391, + "▁Литература": 54392, + "▁средневековой": 54393, + "▁провоци": 54394, + "▁Кази": 54395, + "Ху": 54396, + "▁шутку": 54397, + "▁доходит": 54398, + "▁соответствия": 54399, + "▁племя": 54400, + "▁поручено": 54401, + "▁изре": 54402, + "▁оценивать": 54403, + "▁успела": 54404, + "▁Суворова": 54405, + "▁зоопар": 54406, + "▁ели": 54407, + "▁Венеции": 54408, + "нас": 54409, + "▁разоб": 54410, + "▁католической": 54411, + "▁намерение": 54412, + "Евро": 54413, + "метрия": 54414, + "▁спрашивал": 54415, + "▁подавления": 54416, + "▁Духа": 54417, + "Кре": 54418, + "логами": 54419, + "▁аэродроме": 54420, + "▁вих": 54421, + "▁гнездо": 54422, + "▁граби": 54423, + "▁Зеле": 54424, + "▁упад": 54425, + "▁кресло": 54426, + "!).": 54427, + "▁химического": 54428, + "мвор": 54429, + "▁бутылку": 54430, + "▁супругов": 54431, + "▁проблемах": 54432, + "одно": 54433, + "стному": 54434, + "шивать": 54435, + "▁создала": 54436, + "СО": 54437, + "вленно": 54438, + "▁появлении": 54439, + "▁наподобие": 54440, + "▁лампы": 54441, + "▁Рыба": 54442, + "▁Окс": 54443, + "▁небре": 54444, + "▁Сена": 54445, + "▁переменной": 54446, + "▁Законода": 54447, + "▁locomot": 54448, + "▁ведении": 54449, + "▁защитой": 54450, + "▁приобрели": 54451, + "▁рассматриваются": 54452, + "▁инициативы": 54453, + "▁настоящих": 54454, + "▁КВ": 54455, + "▁частота": 54456, + "лится": 54457, + "рующее": 54458, + "▁вагон": 54459, + "▁интересом": 54460, + "коди": 54461, + "тией": 54462, + "▁братьями": 54463, + "▁спора": 54464, + "▁познава": 54465, + "▁запута": 54466, + "▁признаком": 54467, + "ТОР": 54468, + "вак": 54469, + "▁семейной": 54470, + "▁ресурс": 54471, + "▁сексуальной": 54472, + "▁усилиями": 54473, + "СКАЯ": 54474, + "рут": 54475, + "▁Небе": 54476, + "лль": 54477, + "▁верхом": 54478, + "▁переписы": 54479, + "чике": 54480, + "▁социальное": 54481, + "стать": 54482, + "▁Единственный": 54483, + "▁летописи": 54484, + "▁рекомендова": 54485, + "▁кошка": 54486, + "▁фальси": 54487, + "▁Дья": 54488, + "▁подчёр": 54489, + "▁railroad": 54490, + "▁дипломат": 54491, + "шкова": 54492, + "ресчур": 54493, + "▁промышленной": 54494, + "▁поехать": 54495, + "▁Божий": 54496, + "▁ветром": 54497, + "▁защитника": 54498, + "▁АЭС": 54499, + "▁правителей": 54500, + "неся": 54501, + "▁расстреля": 54502, + "▁врачу": 54503, + "▁правильного": 54504, + "сфер": 54505, + "▁исполнитель": 54506, + "▁Франци": 54507, + "▁реестре": 54508, + "▁килограммов": 54509, + "▁Севастополь": 54510, + "ссиони": 54511, + "▁Оконча": 54512, + "▁воевода": 54513, + "▁отправилась": 54514, + "▁Шми": 54515, + "▁уезде": 54516, + "дский": 54517, + "основа": 54518, + "▁километра": 54519, + "▁заимствова": 54520, + "▁выехал": 54521, + "▁нежи": 54522, + "▁образуя": 54523, + "мят": 54524, + "▁оставляют": 54525, + "▁описаны": 54526, + "▁читатели": 54527, + "▁выпустить": 54528, + "▁повсеместно": 54529, + "псо": 54530, + "▁Кино": 54531, + "производ": 54532, + "▁правде": 54533, + "жева": 54534, + "жёр": 54535, + "▁следуя": 54536, + "жьте": 54537, + "▁переходя": 54538, + "▁Отсутствие": 54539, + "▁солнечных": 54540, + "▁хлопо": 54541, + "▁Boeing": 54542, + "▁фокус": 54543, + "▁зверей": 54544, + "▁цифровой": 54545, + "▁ожидается": 54546, + "▁отрицательно": 54547, + "▁длинными": 54548, + "рене": 54549, + "▁обнима": 54550, + "▁природного": 54551, + "▁Севастополя": 54552, + "▁переживаний": 54553, + "▁десяток": 54554, + "ситесь": 54555, + "▁Польша": 54556, + "▁каменные": 54557, + "▁нестаби": 54558, + "Восточной": 54559, + "▁Забайка": 54560, + "▁тв": 54561, + "▁Вза": 54562, + "▁Узнав": 54563, + "образно": 54564, + "▁pric": 54565, + "▁разницы": 54566, + "▁Иосифа": 54567, + "▁радиолока": 54568, + "▁обозначает": 54569, + "▁результатами": 54570, + "▁скру": 54571, + "▁ня": 54572, + "▁электрических": 54573, + "▁Вселенная": 54574, + "▁замысел": 54575, + "▁предлогом": 54576, + "▁третью": 54577, + "пию": 54578, + "▁предчув": 54579, + "▁ехал": 54580, + "▁отнима": 54581, + "▁физика": 54582, + "▁Получается": 54583, + "▁отечественных": 54584, + "▁отклады": 54585, + "▁местном": 54586, + "▁качеством": 54587, + "▁собесе": 54588, + "▁открылась": 54589, + "оси": 54590, + "▁верный": 54591, + "Они": 54592, + "erted": 54593, + "динга": 54594, + "▁Антаркти": 54595, + "▁Подума": 54596, + "▁Среднего": 54597, + "▁Скотт": 54598, + "▁академика": 54599, + "▁загоре": 54600, + "▁мотори": 54601, + "▁просят": 54602, + "▁Особое": 54603, + "▁Вре": 54604, + "гивает": 54605, + "▁нескольким": 54606, + "▁валюты": 54607, + "▁правы": 54608, + "▁разницу": 54609, + "▁Ваша": 54610, + "▁ледо": 54611, + "менкла": 54612, + "▁мусор": 54613, + "▁наряд": 54614, + "▁Пост": 54615, + "▁законопроект": 54616, + "льщики": 54617, + "▁Ильин": 54618, + "▁Инте": 54619, + "▁густой": 54620, + "▁Свою": 54621, + "▁траве": 54622, + "ствующая": 54623, + "▁статуи": 54624, + "▁наращи": 54625, + "▁включена": 54626, + "▁соприкосно": 54627, + "▁ампли": 54628, + "личные": 54629, + "▁реагировать": 54630, + "▁близки": 54631, + "▁историческое": 54632, + "▁рукоят": 54633, + "▁Мета": 54634, + "▁тр": 54635, + "ньте": 54636, + "▁Цы": 54637, + "Сей": 54638, + "менным": 54639, + "▁переменных": 54640, + "▁фотоаппара": 54641, + "▁трансформи": 54642, + "▁Стамбу": 54643, + "грать": 54644, + "▁Вор": 54645, + "ценден": 54646, + "▁привезли": 54647, + "▁разработкой": 54648, + "▁интервен": 54649, + "▁учебные": 54650, + "▁созданная": 54651, + "▁столкнулись": 54652, + "ИЧЕ": 54653, + "ronze": 54654, + "▁крыше": 54655, + "▁сине": 54656, + "▁амино": 54657, + "▁исчезла": 54658, + "▁профиль": 54659, + "тока": 54660, + "лкома": 54661, + "▁Схема": 54662, + "▁открылся": 54663, + "ellect": 54664, + "▁съемки": 54665, + "▁Троцкого": 54666, + "▁пережить": 54667, + "▁Аса": 54668, + "▁неправ": 54669, + "▁мужчиной": 54670, + "▁проповед": 54671, + "леев": 54672, + "▁Требу": 54673, + "▁площадку": 54674, + "▁составило": 54675, + "▁Людмила": 54676, + "▁королём": 54677, + "▁разграни": 54678, + "▁декре": 54679, + "логическая": 54680, + "вленном": 54681, + "▁Поначалу": 54682, + "▁Наза": 54683, + "▁поместить": 54684, + "ПЛ": 54685, + "пость": 54686, + "▁когни": 54687, + "▁готовых": 54688, + "iency": 54689, + "▁пропуск": 54690, + "▁приостанови": 54691, + "дав": 54692, + "▁нажима": 54693, + "▁Николаевна": 54694, + "▁отру": 54695, + "▁Сюда": 54696, + "▁развитых": 54697, + "▁напомнить": 54698, + "▁Шам": 54699, + "щуюся": 54700, + "▁строке": 54701, + "▁воздухом": 54702, + "▁стадион": 54703, + "▁различий": 54704, + "ерба": 54705, + "▁выполнена": 54706, + "шную": 54707, + "▁жилой": 54708, + "▁кля": 54709, + "▁раствори": 54710, + "▁квалифика": 54711, + "▁Тихого": 54712, + "▁математике": 54713, + "▁дочер": 54714, + "▁зверя": 54715, + "▁Узбекистана": 54716, + "▁Дочь": 54717, + "▁стихотворений": 54718, + "Дону": 54719, + "▁наступил": 54720, + "ксы": 54721, + "▁Выше": 54722, + "▁инстанции": 54723, + "▁применяться": 54724, + "стем": 54725, + "▁жажду": 54726, + "▁Яковлевич": 54727, + "▁вине": 54728, + "▁ом": 54729, + "▁культурные": 54730, + "▁магазинах": 54731, + "▁описывается": 54732, + "вывает": 54733, + "▁Несом": 54734, + "▁эпизоде": 54735, + "дд": 54736, + "▁ЦИК": 54737, + "▁depict": 54738, + "▁техническим": 54739, + "▁ноябрь": 54740, + "▁Собор": 54741, + "▁попросить": 54742, + "▁Шли": 54743, + "сному": 54744, + "▁устье": 54745, + "▁Таблица": 54746, + "▁предви": 54747, + "▁итальянских": 54748, + "▁теоретически": 54749, + "▁фрагмент": 54750, + "▁ископаемых": 54751, + "гнит": 54752, + "▁обвинению": 54753, + "▁уму": 54754, + "▁населённые": 54755, + "▁ипоте": 54756, + "▁mys": 54757, + "▁деревянных": 54758, + "▁прогресси": 54759, + "▁заду": 54760, + "▁координаты": 54761, + "inema": 54762, + "▁вещами": 54763, + "▁казалась": 54764, + "▁злове": 54765, + "▁республика": 54766, + "▁правам": 54767, + "Мон": 54768, + "▁немину": 54769, + "▁копей": 54770, + "▁оставила": 54771, + "доу": 54772, + "▁Петропав": 54773, + "▁Тамбов": 54774, + "▁возвратился": 54775, + "ссими": 54776, + "▁Дальнем": 54777, + "▁национальным": 54778, + "▁решают": 54779, + "▁предназначен": 54780, + "чиваться": 54781, + "числения": 54782, + "рными": 54783, + "▁перо": 54784, + "▁фигуру": 54785, + "▁пету": 54786, + "▁коротких": 54787, + "▁жертвами": 54788, + "▁личную": 54789, + "▁америка": 54790, + "▁предпринять": 54791, + "ВИ": 54792, + "тль": 54793, + "▁щел": 54794, + "▁воздушные": 54795, + "▁Европейского": 54796, + "▁ник": 54797, + "▁Стоимость": 54798, + "▁Хрущев": 54799, + "юра": 54800, + "▁наследие": 54801, + "▁законе": 54802, + "▁представлено": 54803, + "▁наду": 54804, + "▁свести": 54805, + "▁равны": 54806, + "▁поселка": 54807, + "▁произвел": 54808, + "варь": 54809, + "▁Лек": 54810, + "▁Завтра": 54811, + "▁Паралле": 54812, + "▁миссис": 54813, + "▁активные": 54814, + "▁деревянный": 54815, + "ricket": 54816, + "▁зарплату": 54817, + "▁популярным": 54818, + "Май": 54819, + "▁коммуникаций": 54820, + "▁Марша": 54821, + "унда": 54822, + "▁нати": 54823, + "▁особей": 54824, + "▁превратились": 54825, + "кр": 54826, + "нту": 54827, + "▁злоумышлен": 54828, + "▁совпадают": 54829, + "предь": 54830, + "▁Хлеб": 54831, + "▁национальном": 54832, + "редиенты": 54833, + "жмите": 54834, + "▁фабрика": 54835, + "▁Генеральный": 54836, + "▁Тель": 54837, + "▁значимость": 54838, + "▁монополи": 54839, + "▁Ср": 54840, + "▁Аравии": 54841, + "▁кало": 54842, + "▁жертвопри": 54843, + "рино": 54844, + "▁адъютан": 54845, + "▁образцо": 54846, + "▁эссе": 54847, + "▁ученика": 54848, + "дутся": 54849, + "▁насти": 54850, + "ОБ": 54851, + "евка": 54852, + "▁заказу": 54853, + "▁resemb": 54854, + "▁ничуть": 54855, + "▁Невского": 54856, + "▁казались": 54857, + "▁Исходя": 54858, + "пожа": 54859, + "▁Театра": 54860, + "ЕЧ": 54861, + "▁Конец": 54862, + "▁головок": 54863, + "▁корпусом": 54864, + "▁льду": 54865, + "риков": 54866, + "▁конференция": 54867, + "бытия": 54868, + "ховского": 54869, + "римина": 54870, + "▁Отра": 54871, + "▁солнечной": 54872, + "▁певец": 54873, + "▁входить": 54874, + "▁квартале": 54875, + "▁вери": 54876, + "ench": 54877, + "▁playoff": 54878, + "▁запра": 54879, + "▁храмы": 54880, + "▁убедительно": 54881, + "▁рассматриваться": 54882, + "▁дальности": 54883, + "Нор": 54884, + "▁отреаги": 54885, + "▁чересчур": 54886, + "▁рефор": 54887, + "▁артиллерийского": 54888, + "вающихся": 54889, + "▁Причиной": 54890, + "▁массива": 54891, + "▁вспых": 54892, + "▁населению": 54893, + "▁предусмотренных": 54894, + "▁Осу": 54895, + "▁поинтере": 54896, + "▁Организация": 54897, + "▁организован": 54898, + "▁связывают": 54899, + "▁Пят": 54900, + "▁черная": 54901, + "▁становления": 54902, + "vements": 54903, + "▁сохранился": 54904, + "▁пират": 54905, + "▁научная": 54906, + "▁комедий": 54907, + "▁скандина": 54908, + "▁стадиона": 54909, + "▁больные": 54910, + "▁сформировать": 54911, + "▁сложилось": 54912, + "имуще": 54913, + "▁завершении": 54914, + "▁компо": 54915, + "▁результатах": 54916, + "▁выражению": 54917, + "▁кафедре": 54918, + "▁ширину": 54919, + "▁сфера": 54920, + "▁малый": 54921, + "▁находил": 54922, + "▁затяги": 54923, + "▁стабильности": 54924, + "▁Жил": 54925, + "▁испытание": 54926, + "▁связать": 54927, + "▁футболь": 54928, + "мад": 54929, + "▁Шере": 54930, + "▁Полтав": 54931, + "▁вечной": 54932, + "▁Конструк": 54933, + "▁вооружён": 54934, + "разум": 54935, + "моли": 54936, + "▁кром": 54937, + "▁лимон": 54938, + "▁покупку": 54939, + "▁Фрэн": 54940, + "▁подко": 54941, + "▁будьте": 54942, + "▁погреба": 54943, + "▁несоответ": 54944, + "бию": 54945, + "▁охота": 54946, + "▁особенностью": 54947, + "▁естественный": 54948, + "▁разработаны": 54949, + "▁презира": 54950, + "▁мебель": 54951, + "▁Учеб": 54952, + "нком": 54953, + "льцев": 54954, + "▁Ряд": 54955, + "▁спле": 54956, + "▁белом": 54957, + "▁глубоких": 54958, + "МС": 54959, + "▁molec": 54960, + "▁кратковремен": 54961, + "▁вдохнови": 54962, + "▁квартира": 54963, + "▁Станислава": 54964, + "денный": 54965, + "▁боялись": 54966, + "▁обрести": 54967, + "ализация": 54968, + "▁велась": 54969, + "▁возможен": 54970, + "▁Вон": 54971, + "▁лежать": 54972, + "▁обсуждали": 54973, + "▁отрас": 54974, + "▁горной": 54975, + "▁заливе": 54976, + "▁будущим": 54977, + "гено": 54978, + "▁джи": 54979, + "точное": 54980, + "▁поправки": 54981, + "▁социальным": 54982, + "▁песне": 54983, + "▁учётом": 54984, + "графы": 54985, + "▁правами": 54986, + "▁Джеймса": 54987, + "▁изучением": 54988, + "▁прекрасные": 54989, + "▁библиотек": 54990, + "▁лодке": 54991, + "▁сном": 54992, + "▁прокоммен": 54993, + "графов": 54994, + "▁излучение": 54995, + "вичей": 54996, + "родом": 54997, + "▁копий": 54998, + "▁Жители": 54999, + "▁страшный": 55000, + "▁удерживать": 55001, + "▁уточнил": 55002, + "▁исследованию": 55003, + "▁колледж": 55004, + "▁творческих": 55005, + "▁воздви": 55006, + "▁фин": 55007, + "▁назначении": 55008, + "▁Лё": 55009, + "▁анато": 55010, + "▁снимает": 55011, + "▁народами": 55012, + "▁каменных": 55013, + "▁проявляет": 55014, + "▁готовые": 55015, + "лук": 55016, + "▁собрали": 55017, + "▁упомянуть": 55018, + "▁Возника": 55019, + "▁платежей": 55020, + "▁высу": 55021, + "▁единую": 55022, + "▁направленных": 55023, + "▁чудом": 55024, + "снабжения": 55025, + "▁Стало": 55026, + "▁стул": 55027, + "зовского": 55028, + "косновен": 55029, + "▁Видео": 55030, + "▁максимальная": 55031, + "ливой": 55032, + "▁моды": 55033, + "▁Франко": 55034, + "▁доброго": 55035, + "вардии": 55036, + "▁поздней": 55037, + "▁жилого": 55038, + "▁уступил": 55039, + "летние": 55040, + "▁первенства": 55041, + "▁охрану": 55042, + "кинг": 55043, + "▁уговари": 55044, + "шар": 55045, + "▁речной": 55046, + "▁снаряд": 55047, + "сущ": 55048, + "▁называем": 55049, + "▁скучно": 55050, + "▁блин": 55051, + "баланси": 55052, + "▁Террито": 55053, + "▁человеческая": 55054, + "▁Конвен": 55055, + "▁шерсти": 55056, + "роман": 55057, + "сре": 55058, + "▁Смы": 55059, + "▁божества": 55060, + "▁катастрофа": 55061, + "▁составляющие": 55062, + "▁заверша": 55063, + "▁университетов": 55064, + "▁«»": 55065, + "́к": 55066, + "▁Фридриха": 55067, + "▁предел": 55068, + "▁проследить": 55069, + "▁оборачи": 55070, + "▁организациях": 55071, + "ivate": 55072, + "▁стеной": 55073, + "▁морально": 55074, + "временно": 55075, + "днее": 55076, + "▁Внеза": 55077, + "▁красивая": 55078, + "▁поэты": 55079, + "шенными": 55080, + "▁городами": 55081, + "▁реальным": 55082, + "nest": 55083, + "▁Основными": 55084, + "▁вступила": 55085, + "сень": 55086, + "▁Отве": 55087, + "▁богатой": 55088, + "▁Текст": 55089, + "▁Капи": 55090, + "процен": 55091, + "▁прижи": 55092, + "▁Вооруженных": 55093, + "▁пророка": 55094, + "гони": 55095, + "ниор": 55096, + "▁резь": 55097, + "▁повторил": 55098, + "▁Термин": 55099, + "▁предыдущие": 55100, + "▁Древней": 55101, + "▁сердечно": 55102, + "▁практических": 55103, + "▁лап": 55104, + "новую": 55105, + "▁сборника": 55106, + "▁научились": 55107, + "▁сверхъесте": 55108, + "ворение": 55109, + "▁subsid": 55110, + "▁Деньги": 55111, + "▁комбинации": 55112, + "▁остальными": 55113, + "▁воспоминаниях": 55114, + "▁Евросо": 55115, + "майора": 55116, + "туар": 55117, + "Свобо": 55118, + "▁взлета": 55119, + "▁потенциальных": 55120, + "▁солнечного": 55121, + "▁жестко": 55122, + "ordan": 55123, + "лют": 55124, + "▁генералу": 55125, + "фир": 55126, + "▁юмора": 55127, + "▁командующим": 55128, + "▁святы": 55129, + "▁заходит": 55130, + "▁телевизор": 55131, + "ревич": 55132, + "▁пальто": 55133, + "▁институты": 55134, + "МК": 55135, + "йка": 55136, + "▁корпусов": 55137, + "▁медицинский": 55138, + "▁ставится": 55139, + "▁вмешательство": 55140, + "▁Дли": 55141, + "▁Предполага": 55142, + "▁чуже": 55143, + "▁местона": 55144, + "▁Яну": 55145, + "▁кадет": 55146, + "▁означать": 55147, + "але": 55148, + "▁Ваг": 55149, + "▁испове": 55150, + "▁сырье": 55151, + "▁встречал": 55152, + "▁отыскать": 55153, + "▁фестивале": 55154, + "▁налево": 55155, + "щенности": 55156, + "▁искусственно": 55157, + "▁очевидным": 55158, + "▁Российский": 55159, + "▁введены": 55160, + "▁Дзержи": 55161, + "▁Премьера": 55162, + "▁требованию": 55163, + "▁Этому": 55164, + "▁проспект": 55165, + "▁бывшая": 55166, + "▁использован": 55167, + "▁деда": 55168, + "▁выезд": 55169, + "▁Галли": 55170, + "́м": 55171, + "▁подъема": 55172, + "▁Монголии": 55173, + "▁murd": 55174, + "▁Вследствие": 55175, + "вающиеся": 55176, + "mosp": 55177, + "▁Византии": 55178, + "▁согласован": 55179, + "▁засло": 55180, + "▁игрушки": 55181, + "▁верхний": 55182, + "▁кусочек": 55183, + "▁Хозя": 55184, + "thodox": 55185, + "▁координат": 55186, + "▁метеоро": 55187, + "рака": 55188, + "▁оборон": 55189, + "гуш": 55190, + "▁Главные": 55191, + "▁улыбнулся": 55192, + "▁смотрите": 55193, + "▁троих": 55194, + "▁холодный": 55195, + "▁Победитель": 55196, + "▁журналиста": 55197, + "▁Яна": 55198, + "▁учебно": 55199, + "▁ствол": 55200, + "▁давало": 55201, + "▁таблицу": 55202, + "▁настаивал": 55203, + "▁прогноз": 55204, + "▁спорить": 55205, + "▁французская": 55206, + "▁Печа": 55207, + "▁Исследования": 55208, + "чевского": 55209, + "▁построенный": 55210, + "▁договориться": 55211, + "▁технический": 55212, + "яли": 55213, + "филд": 55214, + "▁Фрунзе": 55215, + "▁теоретической": 55216, + "▁духовно": 55217, + "▁изменился": 55218, + "▁мешок": 55219, + "▁свидетельств": 55220, + "▁трудовых": 55221, + "▁накоп": 55222, + "▁всевозможные": 55223, + "▁Ох": 55224, + "▁зима": 55225, + "▁Хосе": 55226, + "▁плавно": 55227, + "▁непредсказу": 55228, + "▁попадания": 55229, + "▁Основное": 55230, + "▁уголь": 55231, + "▁прекрасное": 55232, + "▁компьютерной": 55233, + "▁Бом": 55234, + "▁штри": 55235, + "▁дворянства": 55236, + "▁телевидении": 55237, + "сце": 55238, + "▁теплой": 55239, + "▁научить": 55240, + "▁гну": 55241, + "мение": 55242, + "▁Сити": 55243, + "ражи": 55244, + "▁богом": 55245, + "дди": 55246, + "▁коля": 55247, + "▁Уголов": 55248, + "▁духовную": 55249, + "▁Верхне": 55250, + "▁рельеф": 55251, + "▁депутата": 55252, + "▁Высшей": 55253, + "▁острый": 55254, + "▁прослежи": 55255, + "▁узлы": 55256, + "▁электрического": 55257, + "нрав": 55258, + "▁слияния": 55259, + "▁Руководство": 55260, + "▁нуждаются": 55261, + "▁совершается": 55262, + "▁выдержать": 55263, + "▁сборнике": 55264, + "▁компьютерных": 55265, + "Укра": 55266, + "▁рейс": 55267, + "▁арене": 55268, + "▁очу": 55269, + "▁рекой": 55270, + "▁деловой": 55271, + "▁применительно": 55272, + "стол": 55273, + "▁полузащитник": 55274, + "olis": 55275, + "▁золоти": 55276, + "▁перепле": 55277, + "▁лондо": 55278, + "▁надпи": 55279, + "▁задержан": 55280, + "▁наблюдали": 55281, + "edding": 55282, + "▁предприятии": 55283, + "▁выстрелов": 55284, + "дакти": 55285, + "философ": 55286, + "Кур": 55287, + "фея": 55288, + "▁свети": 55289, + "▁лестницы": 55290, + "▁Экспер": 55291, + "▁насторо": 55292, + "▁серьезной": 55293, + "▁элиты": 55294, + "▁овощей": 55295, + "▁repro": 55296, + "▁пропита": 55297, + "▁православных": 55298, + "▁являясь": 55299, + "▁народная": 55300, + "▁осы": 55301, + "▁высший": 55302, + "▁звена": 55303, + "▁слышно": 55304, + "▁здоровью": 55305, + "▁организатор": 55306, + "▁последующим": 55307, + "▁вооружённых": 55308, + "▁истребителя": 55309, + "Извести": 55310, + "▁родились": 55311, + "▁Институте": 55312, + "▁защитников": 55313, + "▁объявление": 55314, + "▁сложное": 55315, + "▁вернется": 55316, + "▁наличием": 55317, + "▁второму": 55318, + "▁сделало": 55319, + "тиль": 55320, + "▁Елизаветы": 55321, + "▁лесных": 55322, + "тироваться": 55323, + "▁наверх": 55324, + "▁духовные": 55325, + "▁Слава": 55326, + "Жизнь": 55327, + "▁взи": 55328 + }, + "merges": [ + "▁ п", + "с т", + "▁ в", + "▁ с", + "н о", + "н и", + "н а", + "р а", + "▁ и", + "к о", + "т о", + "▁ о", + "р о", + "р е", + "г о", + "л и", + "н е", + "▁п о", + "▁ по", + "▁ д", + "в а", + "л е", + "к а", + "л ь", + "н ы", + "р и", + "т е", + "▁н а", + "▁ на", + "▁ м", + "▁ t", + "л о", + "л а", + "в о", + "▁ б", + "h e", + "т а", + "е н", + "з а", + "е т", + "▁ a", + "к и", + "д а", + "i n", + "т ь", + "▁н е", + "▁ не", + "ч е", + "с я", + "е р", + "▁ у", + "т и", + "м и", + "▁к о", + "▁ ко", + "e r", + "▁t he", + "▁th e", + "▁ the", + "д е", + "в и", + "р у", + "o n", + "▁ ч", + "д и", + "ж е", + "▁з а", + "▁ за", + "▁р а", + "▁ ра", + "▁с о", + "▁ со", + "▁ к", + "ст а", + "с та", + "л я", + "▁ В", + "r e", + "ск о", + "с ко", + "▁п ро", + "▁пр о", + "▁ про", + "▁ а", + "ц и", + "в е", + "ни я", + "м а", + "▁ э", + "м о", + "ни е", + "д о", + "м е", + "п о", + "▁ е", + "▁ o", + "▁ s", + "▁ П", + "▁о т", + "▁ от", + "▁в о", + "▁ во", + "▁г о", + "▁ го", + "▁ С", + "▁ w", + "б о", + "▁п ри", + "▁пр и", + "▁ при", + "ст и", + "с ти", + "e d", + "n d", + "ст о", + "с то", + "a t", + "▁к а", + "▁ ка", + "х о", + "▁б ы", + "▁ бы", + "▁ -", + "▁ г", + "▁о б", + "▁ об", + "ч а", + "▁ \"", + "с е", + "ч и", + "▁д о", + "▁ до", + "▁т о", + "▁ то", + "e n", + "o r", + "ск и", + "с ки", + "▁ч то", + "▁ что", + "с ь", + "р ы", + "i t", + "i s", + "ш е", + "но й", + "н ой", + "д у", + "▁ c", + "▁ К", + "a n", + "щ е", + "e s", + "с и", + "a r", + "н у", + "▁ f", + "a l", + "▁в ы", + "▁ вы", + "▁и з", + "▁ из", + "▁o f", + "▁ of", + "м у", + "ны х", + "н ых", + "ш и", + "▁ Н", + "▁м о", + "▁ мо", + "▁i n", + "▁ in", + "▁ т", + "▁ b", + "с о", + "ж и", + "л у", + "но го", + "те ль", + "тел ь", + "▁ (", + "▁ p", + "▁ М", + "к у", + "in g", + "i ng", + "ст ь", + "с ть", + "г а", + "г и", + "a s", + "▁п ре", + "▁пр е", + "▁ пре", + "▁a nd", + "▁an d", + "▁ and", + "в ы", + "ер е", + "е ре", + "▁ О", + "▁р е", + "▁ ре", + "▁т а", + "▁ та", + "п а", + "ны е", + "▁ ф", + "▁э то", + "▁ это", + "▁т е", + "▁ те", + "с а", + "ст в", + "▁ А", + "щ и", + "i c", + "▁t o", + "▁ to", + "ны й", + "r o", + "▁ з", + "л ю", + "▁д е", + "▁ де", + "▁ m", + "▁ра з", + "▁р аз", + "▁ раз", + "п и", + "io n", + "i on", + "▁б о", + "▁ бо", + "ю т", + "р я", + "▁ И", + "▁ я", + "▁ d", + "▁н о", + "▁ но", + "н я", + "▁ h", + "▁ко то", + "▁кот о", + "▁ кото", + "▁ Д", + "е м", + "l e", + "▁ Р", + "т у", + "▁ Т", + "т ы", + "▁м е", + "▁ ме", + "з о", + "o u", + "ет ся", + "е тся", + "п е", + "▁ Б", + "▁ч е", + "▁ че", + "ц е", + "ж а", + "▁в се", + "▁вс е", + "▁ все", + "▁м а", + "▁ ма", + "ме н", + "м ен", + "▁ T", + "▁п од", + "▁по д", + "▁ под", + "сл е", + "с ле", + "▁к ак", + "▁ка к", + "▁ как", + "з и", + "ст во", + "ств о", + "с тво", + "▁ S", + "▁ Г", + "▁с во", + "▁св о", + "▁с е", + "▁ се", + "▁с т", + "▁ ст", + "▁П о", + "▁ По", + "▁ A", + "en t", + "e nt", + "i l", + "б и", + "ве р", + "в ер", + "▁с та", + "▁ст а", + "▁ ста", + ". .", + "ско й", + "ск ой", + "с кой", + "▁л и", + "▁ ли", + "ны м", + "ци и", + "в ле", + "ни и", + "▁н и", + "▁ ни", + "▁д а", + "▁ да", + "▁с а", + "▁ са", + "▁ —", + "▁ C", + "▁r e", + "▁ re", + "▁ «", + "s t", + "▁п ере", + "▁пер е", + "▁пе ре", + "▁ пере", + "б ы", + "д ы", + "ск а", + "с ка", + "▁в е", + "▁ ве", + "ско го", + "с кого", + "▁е го", + "▁ его", + "но е", + "н ое", + "к е", + "ст вен", + "ств ен", + "стве н", + "▁ n", + "e l", + "o m", + "▁д ля", + "▁ для", + "м ы", + "на я", + "н ая", + "с у", + "▁ I", + "▁ж е", + "▁ же", + "ро в", + "р ов", + "с по", + "з ы", + "лс я", + "л ся", + "б е", + "ко в", + "к ов", + "▁с и", + "▁ си", + "е й", + "▁t h", + "▁ th", + "ж но", + "а р", + "▁ l", + "ва ть", + "о р", + "че ски", + "a m", + "о б", + "ш а", + "▁ Л", + "но м", + "н ом", + "▁о н", + "▁ он", + "c t", + "▁ M", + "г да", + "ст ва", + "ств а", + "но в", + "н ов", + "▁т ак", + "▁та к", + "▁ так", + "▁ e", + "a d", + "▁п ред", + "▁пре д", + "▁пр ед", + "▁ пред", + "o l", + "▁м и", + "▁ ми", + "х а", + "в ля", + "ц а", + "▁ко торы", + "▁кото ры", + "▁ которы", + "e t", + "б а", + "ль ко", + "гр а", + "г ра", + "но сти", + "нос ти", + "п у", + "▁б е", + "▁ бе", + "▁л е", + "▁ ле", + "▁с у", + "▁ су", + "▁го да", + "▁г ода", + "▁год а", + "▁ года", + "ни й", + "▁ко н", + "▁к он", + "▁ кон", + "о н", + "▁Н а", + "▁ На", + "u r", + "▁w as", + "▁wa s", + "▁и н", + "▁ ин", + "▁ B", + "пр о", + "п ро", + "▁в оз", + "▁во з", + "▁ воз", + "хо ди", + "ход и", + "сс и", + "с си", + "г у", + "i d", + "но сть", + "нос ть", + "▁ж и", + "▁ жи", + "ю щи", + "▁б у", + "▁ бу", + "c h", + "м я", + "ро ва", + "ров а", + "▁р о", + "▁ ро", + "ве т", + "в ет", + "i m", + "л ы", + "то в", + "т ов", + "▁х о", + "▁ хо", + "▁д ру", + "▁др у", + "▁ дру", + "▁ Е", + "i v", + "▁ P", + "▁и ли", + "▁ или", + "щ а", + "ли сь", + "лис ь", + "▁ра с", + "▁р ас", + "▁ рас", + "▁T he", + "▁Th e", + "▁ The", + "l y", + "▁ З", + "▁o n", + "▁ on", + "ка за", + "каз а", + "▁ Э", + "o t", + "c e", + "u t", + "пр а", + "п ра", + "▁п ра", + "▁пр а", + "▁ пра", + "▁о д", + "▁ од", + "з у", + "▁в ре", + "▁вр е", + "▁ вре", + "ф и", + "▁ H", + "ть ся", + "▁ g", + "ко й", + "к ой", + "ра н", + "р ан", + "ал ь", + "а ль", + "▁ч а", + "▁ ча", + "i g", + "▁f or", + "▁ for", + "▁ У", + "ти в", + "т ив", + "i r", + "u s", + "а к", + "ски й", + "с кий", + "▁бы л", + "▁ был", + "▁р у", + "▁ ру", + "ен ь", + "е нь", + "▁в и", + "▁ ви", + "at ion", + "ati on", + "a tion", + "а н", + "в у", + "ну ю", + "н ую", + "▁с то", + "▁ст о", + "▁ сто", + "▁b e", + "▁ be", + "тс я", + "т ся", + "ст е", + "с те", + "сл и", + "с ли", + "з на", + "\" .", + "ст у", + "с ту", + "▁п а", + "▁ па", + "ст ви", + "ств и", + "▁ Ф", + "o w", + "▁з на", + "▁ зна", + "ле н", + "л ен", + "ро м", + "р ом", + "во й", + "в ой", + "te r", + "t er", + "в я", + "r a", + "▁л ю", + "▁ лю", + "▁ра бо", + "▁раб о", + "▁ рабо", + "ло сь", + "it h", + "i th", + "▁a s", + "▁ as", + ") .", + "▁h e", + "▁ he", + "ме р", + "м ер", + "\" ,", + "▁бы ло", + "▁был о", + "▁ D", + "▁ R", + "пр е", + "п ре", + "б у", + "ко м", + "к ом", + "▁s t", + "▁ st", + "▁в а", + "▁ ва", + "ни ма", + "ним а", + "▁бо ль", + "▁бол ь", + "▁ боль", + "же н", + "ж ен", + "▁ N", + "ve r", + "v er", + "ни ю", + "▁м ы", + "▁ мы", + "▁ Ч", + "ло ве", + "лов е", + "сто я", + "▁и х", + "▁ их", + "a y", + "u n", + "▁о бра", + "▁об ра", + "▁ обра", + "▁и с", + "▁ ис", + "в ши", + "▁ F", + "▁п ер", + "▁пе р", + "▁ пер", + "▁по сле", + "▁пос ле", + "▁ после", + "он а", + "о на", + "ны ми", + "ным и", + "▁w ith", + "▁ with", + "ни ем", + "ние м", + "▁о с", + "▁ ос", + "▁ х", + "▁ ш", + "то м", + "т ом", + "▁го ду", + "▁год у", + "e m", + "▁ L", + "ют ся", + "ю тся", + "▁i s", + "▁ is", + ") ,", + "ро й", + "р ой", + "▁ W", + "и з", + "ла сь", + "лас ь", + "▁с лу", + "▁сл у", + "▁ слу", + "▁Н о", + "▁ Но", + "▁ G", + "u l", + "ле й", + "л ей", + "т я", + ".. .", + ". ..", + "▁К о", + "▁ Ко", + "ци я", + "ма н", + "м ан", + "жд е", + "ж де", + "е к", + "▁п и", + "▁ пи", + "▁д ол", + "▁до л", + "▁ дол", + "ч но", + "▁t hat", + "▁th at", + "er s", + "▁п у", + "▁ пу", + "пр и", + "п ри", + "▁Р о", + "▁ Ро", + "▁ ц", + "де т", + "д ет", + "▁ко м", + "▁к ом", + "▁ ком", + "ст ву", + "ств у", + "с ы", + "▁В о", + "▁ Во", + "▁че лове", + "▁ челове", + "▁то лько", + "▁ только", + "д я", + "▁ Х", + "▁к у", + "▁ ку", + "де р", + "д ер", + "п ы", + "ни ка", + "ник а", + "▁w h", + "▁ wh", + "▁С о", + "▁ Со", + "ле е", + "▁д и", + "▁ ди", + "зы ва", + "зыв а", + "ро д", + "р од", + "ре д", + "р ед", + "▁ Я", + "▁ф и", + "▁ фи", + "кр а", + "к ра", + "не й", + "н ей", + "де н", + "д ен", + "o s", + "▁са мо", + "▁сам о", + "▁ само", + "ски х", + "ск их", + "с ких", + "ни к", + "ле к", + "л ек", + "▁по лу", + "▁пол у", + "▁ полу", + "▁a l", + "▁ al", + "г е", + "▁c on", + "▁co n", + "▁ con", + "тр е", + "т ре", + "▁и ме", + "▁им е", + "▁ име", + "▁b y", + "▁ by", + "зо ва", + "зов а", + "те р", + "т ер", + "▁с ло", + "▁сл о", + "▁ сло", + "▁ E", + "t h", + "▁в ремя", + "▁вре мя", + "▁ время", + "o d", + "е в", + "he r", + "h er", + "an d", + "a nd", + "▁a t", + "▁ at", + "же т", + "ж ет", + "н ь", + "ри и", + "a g", + "▁a n", + "▁ an", + "▁К а", + "▁ Ка", + "a c", + "is t", + "i st", + "▁на ча", + "▁нач а", + "▁ нача", + "тр а", + "т ра", + "с к", + "ска я", + "ск ая", + "с кая", + "▁о ни", + "▁он и", + "▁ они", + "▁ J", + "▁п е", + "▁ пе", + "▁м у", + "▁ му", + "д ь", + "▁бы ли", + "▁был и", + "до ва", + "дов а", + "ro m", + "r om", + "u m", + "х и", + "сл о", + "с ло", + "ст ра", + "стр а", + "с тра", + "▁З а", + "▁ За", + "те льно", + "тель но", + "ло ги", + "лог и", + "▁о р", + "▁ ор", + "тр и", + "т ри", + "жд а", + "ж да", + "кр ы", + "к ры", + "да р", + "д ар", + "▁с тра", + "▁ст ра", + "▁стр а", + "▁ стра", + "es t", + "e st", + "с пе", + "r i", + "не е", + "▁М о", + "▁ Мо", + "вы х", + "в ых", + "в то", + "ст ро", + "стр о", + "с тро", + "▁о ста", + "▁ос та", + "▁ост а", + "▁ оста", + "▁и спо", + "▁ис по", + "▁ испо", + "▁э ти", + "▁ эти", + "зд а", + "з да", + "ме т", + "м ет", + "a v", + "▁d e", + "▁ de", + "▁что бы", + "▁чтоб ы", + "▁г ла", + "▁гл а", + "▁ гла", + "▁Н е", + "▁ Не", + "▁ O", + "ц ы", + "▁ч и", + "▁ чи", + "▁с вои", + "▁сво и", + "▁т ре", + "▁тр е", + "▁ тре", + "▁I n", + "▁ In", + "▁i t", + "▁ it", + "ai n", + "a in", + "▁П ри", + "▁ При", + "но ва", + "нов а", + "бл и", + "б ли", + "гл а", + "г ла", + "ди н", + "д ин", + "пе р", + "п ер", + "ш ь", + "▁с ле", + "▁сл е", + "▁ сле", + "вы е", + "ю ще", + "▁у же", + "▁уж е", + "o p", + "▁так же", + "кл ю", + "к лю", + "▁бы ла", + "▁был а", + "ско м", + "ск ом", + "с ком", + "▁ко гда", + "▁ когда", + "▁ v", + "▁п ла", + "▁ пла", + "▁а р", + "▁ ар", + "▁ц е", + "▁ це", + "▁p ro", + "▁pr o", + "▁ pro", + "▁ч ем", + "▁че м", + "▁ чем", + "▁б а", + "▁ ба", + "u p", + "i f", + "▁п ол", + "▁по л", + "▁ пол", + "до в", + "д ов", + "o c", + "по л", + "п ол", + "▁s e", + "▁ se", + "со б", + "с об", + "▁h is", + "▁д у", + "▁ ду", + "▁М а", + "▁ Ма", + "во д", + "в од", + "p e", + "▁кото рые", + "▁которы е", + "▁ которые", + "жд у", + "ж ду", + "▁жи з", + "▁ж из", + "ру п", + "▁c om", + "▁co m", + "▁ com", + "re s", + "r es", + "▁ Ш", + "▁в ер", + "▁ве р", + "▁ вер", + "▁то го", + "▁ того", + "де й", + "д ей", + "▁f rom", + "▁fr om", + "▁ from", + "▁об ъ", + "at e", + "a te", + "▁е е", + "нны х", + "н ных", + "ст ре", + "стр е", + "с тре", + "▁в ой", + "▁во й", + "▁ вой", + "▁с вя", + "▁св я", + "▁ свя", + "ло в", + "л ов", + "же ния", + "e w", + "б я", + "a b", + "ва л", + "в ал", + "▁с по", + "▁ спо", + "н д", + "ль но", + "р ь", + "il l", + "i ll", + "▁Б о", + "▁ Бо", + "▁мо жет", + "l d", + "ме ни", + "мен и", + "и н", + "з я", + "s e", + "сл а", + "с ла", + "▁о на", + "▁он а", + "▁ она", + "▁э том", + "▁это м", + "it y", + "i ty", + "▁и сто", + "▁ис то", + "▁ист о", + "▁ исто", + "ти я", + "▁дру ги", + "▁друг и", + "ко н", + "к он", + "то р", + "т ор", + "▁бо лее", + "▁боле е", + "▁ более", + "ar t", + "» .", + "▁Ро сси", + "▁Рос си", + "фо р", + "ф ор", + "▁с оста", + "▁со ста", + "▁сос та", + "ле ния", + "лени я", + "▁и м", + "▁ им", + "ва я", + "в ая", + "▁Р а", + "▁ Ра", + "▁то м", + "▁т ом", + "▁ том", + "q u", + "ш о", + "▁е ще", + "ки х", + "к их", + "че н", + "ч ен", + "or t", + "▁е сли", + "▁ если", + "▁об ще", + "▁общ е", + "▁ обще", + "▁пред ста", + "▁д ей", + "▁де й", + "▁ дей", + "▁т у", + "▁ ту", + "тр о", + "т ро", + "u d", + "▁Э то", + "▁ Это", + "▁ор га", + "вы й", + "те ля", + "тел я", + "ж у", + "во го", + "во ри", + "вор и", + "в ори", + "or e", + "o re", + "де ла", + "дел а", + "во ди", + "вод и", + "ку ю", + "к ую", + "ем ы", + "е мы", + "▁о тно", + "▁от но", + "ски е", + "с кие", + "▁м не", + "▁мн е", + "бр а", + "б ра", + "▁г ра", + "▁гр а", + "▁ гра", + "же ние", + "▁бы ть", + "ig h", + "i gh", + "ен но", + "е нно", + "▁o r", + "▁ or", + "ве де", + "вед е", + "ie s", + "i es", + "о т", + "▁э того", + "▁это го", + "ен я", + "е ня", + "▁т ы", + "▁ ты", + "▁т ем", + "▁те м", + "▁ тем", + "a k", + "ст ы", + "с ты", + "нны е", + "н ные", + "ва ли", + "вал и", + "в али", + "▁г е", + "▁ ге", + "er e", + "e re", + "че ской", + "ческо й", + "▁кото рый", + "▁которы й", + "до м", + "д ом", + "▁мо жно", + "▁ можно", + "ь ю", + "з е", + "▁к ра", + "▁кр а", + "▁ кра", + "▁о к", + "▁ ок", + "es s", + "e ss", + "те ри", + "тер и", + "▁ис поль", + "▁испо ль", + "▁испол ь", + "an t", + "a nt", + "▁я вля", + "▁яв ля", + "▁ явля", + "со в", + "с ов", + "▁е сть", + "ст ве", + "ств е", + "▁ U", + "▁ K", + "al l", + "a ll", + "ти чески", + "ic h", + "i ch", + "ar d", + "a rd", + "▁про из", + "▁прои з", + "▁ произ", + "то му", + "том у", + "▁о бла", + "▁об ла", + "▁обл а", + "▁ обла", + "▁б ез", + "▁бе з", + "▁ без", + "▁ r", + "ни ков", + "ник ов", + "be r", + "b er", + "▁г де", + "▁ где", + "▁e x", + "▁ ex", + "a p", + "ско е", + "ск ое", + "с кое", + "▁со зда", + "▁соз да", + "▁ созда", + "ше й", + "ш ей", + "че нь", + "чен ь", + "ч ень", + "ки е", + "▁слу ча", + "ко го", + "ци аль", + "циа ль", + "циал ь", + "▁п оло", + "▁по ло", + "▁пол о", + "▁ поло", + "че ние", + "▁о бо", + "▁об о", + "▁ обо", + "▁у ча", + "▁уч а", + "об ра", + "о бра", + "вле ния", + "в ления", + "ф е", + "u b", + "ци ю", + "▁О н", + "▁ Он", + "▁ле т", + "▁л ет", + "▁ лет", + "▁а к", + "▁ ак", + "▁по мо", + "▁пом о", + "▁а вто", + "▁ав то", + "▁ авто", + "▁м еня", + "▁ме ня", + "▁мен я", + "▁ меня", + "▁Т а", + "▁ Та", + "те лей", + "тел ей", + "теле й", + "▁ф ор", + "▁фо р", + "▁ фор", + "пи са", + "пис а", + "пре де", + "пред е", + "▁бу дет", + "▁буд ет", + "▁w ere", + "▁we re", + "▁к и", + "▁ ки", + "су дар", + "суда р", + "▁ме жду", + "▁меж ду", + "не ния", + "ал и", + "а ли", + "ва ет", + "» ,", + "ци он", + "цио н", + "чи та", + "чит а", + "с с", + "ви ч", + "д но", + "me nt", + "men t", + "m ent", + "на ко", + "▁с вое", + "▁сво е", + "▁св ое", + "▁ свое", + "ре н", + "р ен", + "iv e", + "i ve", + "▁ч у", + "▁ чу", + "бр я", + "б ря", + "▁ y", + "▁c h", + "▁ ch", + "g e", + "▁М и", + "▁ Ми", + "ло м", + "л ом", + "че ния", + "мо жно", + "в но", + "▁a re", + "▁ar e", + "▁ are", + "ре з", + "р ез", + "▁ V", + "пе ра", + "пер а", + "п ера", + "▁те х", + "▁ тех", + "во е", + "в ое", + ". ,", + "at ed", + "ate d", + "a ted", + "▁по ли", + "▁пол и", + "▁ поли", + "▁де ла", + "▁дел а", + "▁ дела", + "н г", + "▁да же", + "▁ даже", + "т но", + "и т", + "▁ко торо", + "▁кото ро", + "g h", + "i p", + "▁с торо", + "▁сто ро", + "▁ сторо", + "i a", + "▁Т о", + "▁ То", + "ou r", + "o ur", + "▁о чень", + "▁оче нь", + "▁ очень", + "ра к", + "р ак", + "▁ко ман", + "▁ком ан", + "▁ коман", + "че ского", + "ческо го", + "ц у", + "▁п рави", + "▁пра ви", + "▁прав и", + "▁ прави", + "▁S t", + "▁ St", + "un d", + "u nd", + "▁Г о", + "▁ Го", + "▁н у", + "▁ ну", + "ше го", + "ш его", + "ки м", + "к им", + "е з", + "с но", + "▁Н и", + "▁ Ни", + "ка н", + "к ан", + "▁не ско", + "▁нес ко", + "▁п оз", + "▁по з", + "▁В е", + "▁ Ве", + "ц о", + "▁се бя", + "ia l", + "i al", + "я х", + "▁т ру", + "▁тр у", + "▁ тру", + "ни ки", + "ник и", + "ве ст", + "вес т", + "ле ние", + "лени е", + "▁п ар", + "▁па р", + "▁ пар", + "am e", + "a me", + "ч ь", + "ше ния", + "▁е му", + "▁ем у", + "▁с каза", + "▁ска за", + "▁сказ а", + "▁с ов", + "▁со в", + "▁ сов", + "el l", + "e ll", + "▁С а", + "▁ Са", + "▁П а", + "▁ Па", + "▁м ного", + "▁мно го", + "▁ много", + "ia n", + "i an", + "▁ра бота", + "▁рабо та", + "▁работ а", + "▁ор гани", + "▁орга ни", + "▁орган и", + "▁ органи", + "кл а", + "к ла", + "▁ Ц", + "▁п рои", + "▁про и", + "▁l e", + "▁ le", + "▁дей стви", + "▁действ и", + "н к", + "ка ми", + "кам и", + "нны й", + "н ный", + "▁ни х", + "▁н их", + "▁ них", + "▁ка ж", + "▁э к", + "▁ эк", + "o v", + "ющи х", + "ю щих", + "▁p l", + "▁ pl", + "▁с ко", + "▁ск о", + "▁ ско", + "ме нно", + "мен но", + "м енно", + "▁П ро", + "▁ Про", + "▁В а", + "▁ Ва", + "ва ния", + "вани я", + "рт а", + "р та", + "e ar", + "сту п", + "бо й", + "б ой", + "▁Д а", + "▁ Да", + "ч у", + "on g", + "o ng", + "▁ k", + "▁в ла", + "▁ вла", + "то ры", + "тор ы", + "▁в ос", + "▁во с", + "▁ вос", + "▁полу чи", + "▁пол учи", + "во р", + "в ор", + "▁h ad", + "▁ha d", + "▁с пе", + "▁ спе", + "▁го ро", + "▁гор о", + "▁ горо", + "сл у", + "с лу", + "ur e", + "u re", + "че ских", + "чески х", + "▁го вори", + "▁говор и", + "▁гово ри", + "▁ говори", + "▁s h", + "▁ sh", + "см о", + "с мо", + "▁го судар", + "▁госу дар", + "▁госуда р", + "▁ государ", + "вы м", + "ш у", + "▁су ще", + "▁сущ е", + "▁ц ен", + "▁це н", + "▁ цен", + "ка х", + "ar y", + "a ry", + "ра я", + "р ая", + "n t", + "▁л о", + "▁ ло", + "▁wh ich", + "▁ which", + "но ви", + "нов и", + "os t", + "o st", + "ct ion", + "c tion", + "as t", + "a st", + "ющи е", + "ю щие", + "хо дя", + "ход я", + "вр а", + "в ра", + "▁г а", + "▁ га", + "o g", + "▁л у", + "▁ лу", + "те ли", + "тел и", + "▁т ер", + "▁те р", + "▁ тер", + "ль ной", + "льно й", + "us t", + "u st", + "кр е", + "к ре", + "не н", + "н ен", + "in e", + "i ne", + "▁о преде", + "ль та", + "льт а", + "▁про тив", + "▁ против", + "ки й", + "ig ht", + "igh t", + "сс а", + "с са", + "хо д", + "х од", + "▁сле ду", + "▁след у", + "▁ следу", + "ри я", + "▁л а", + "▁ ла", + "▁Д о", + "▁ До", + "▁все х", + "лл и", + "л ли", + "▁ра й", + "▁р ай", + "▁ рай", + "▁ ю", + "▁на д", + "▁н ад", + "▁ над", + "бл е", + "б ле", + "▁с ред", + "▁сре д", + "▁ср ед", + "▁ сред", + "▁у ста", + "▁ус та", + "▁n ot", + "▁no t", + "▁ not", + "▁м но", + "▁мн о", + "▁ мно", + "▁и нте", + "▁ин те", + "▁ инте", + "ё н", + "ла го", + "лаг о", + "▁т и", + "▁ ти", + "▁на у", + "▁ нау", + "▁на с", + "▁н ас", + "▁ нас", + "С С", + "ко е", + "к ое", + "▁дру го", + "▁друг о", + "▁др уго", + "▁ друго", + "йт е", + "й те", + "▁челове к", + "ши х", + "ш их", + "це н", + "ц ен", + "▁все го", + "▁вс его", + "но стью", + "ность ю", + "нос тью", + "▁со стоя", + "▁состо я", + "▁ Ж", + "я ви", + "кт о", + "к то", + "ir e", + "i re", + "▁бу ду", + "▁буд у", + "ци она", + "цион а", + "цио на", + "▁раз ви", + "▁ разви", + "▁с ер", + "▁се р", + "▁ сер", + "▁О д", + "t e", + "▁ [", + "▁с дела", + "▁сде ла", + "▁сдел а", + "ла га", + "лаг а", + "▁п ло", + "▁ пло", + "▁В ы", + "▁ Вы", + "▁Ро ссии", + "▁Росси и", + "▁Рос сии", + "▁к ре", + "▁кр е", + "▁ кре", + "ск ую", + "ску ю", + "с кую", + "ющи й", + "ю щий", + "▁C h", + "▁ Ch", + "ли я", + "до л", + "д ол", + "не р", + "н ер", + "це в", + "ц ев", + "ва н", + "в ан", + "ме нта", + "мен та", + "мент а", + "м ента", + "бо р", + "б ор", + "th er", + "the r", + "t her", + "мо й", + "м ой", + "▁жи зни", + "▁жиз ни", + "ра в", + "р ав", + "чны х", + "ч ных", + "хо дит", + "ходи т", + "ход ит", + "ь я", + "p t", + "до б", + "д об", + "▁о дин", + "▁од ин", + "▁оди н", + "▁с тро", + "▁ст ро", + "▁стр о", + "▁ стро", + "av e", + "a ve", + "▁х а", + "▁ ха", + "▁Е сли", + "▁ Если", + "ци й", + "ра бо", + "раб о", + "ми на", + "мин а", + "м ина", + "▁во про", + "▁д ви", + "▁ дви", + "▁вы со", + "▁выс о", + "▁ высо", + "де ль", + "дел ь", + "ле т", + "л ет", + "▁э той", + "▁это й", + "▁Л е", + "▁ Ле", + "▁че рез", + "▁чер ез", + "▁чере з", + "ли чи", + "зо м", + "з ом", + "or d", + "o rd", + "ст вом", + "ств ом", + "ство м", + "▁не го", + "▁н его", + "▁ него", + "не ра", + "нер а", + "н ера", + "▁г руп", + "▁гру п", + "▁ груп", + "ро н", + "р он", + "u c", + "i e", + "ва ние", + "вани е", + "▁бо льше", + "▁боль ше", + "▁ больше", + "сс о", + "с со", + "ед и", + "е ди", + "s o", + "p l", + "я т", + "те м", + "т ем", + "▁в з", + "▁ вз", + "▁воз можно", + "▁возмо жно", + "▁ возможно", + "c l", + "те ра", + "тер а", + "т ера", + "▁мо гу", + "▁мог у", + "▁ могу", + "вле ние", + "в ление", + "▁д ень", + "▁де нь", + "▁ден ь", + "▁ день", + "▁это т", + "▁с об", + "▁со б", + "▁ соб", + "▁В се", + "▁ Все", + "ac k", + "a ck", + "▁ X", + "не м", + "н ем", + "и м", + "or k", + "▁д ву", + "▁ дву", + "▁С е", + "▁ Се", + "сле дова", + "ic al", + "ica l", + "зу льта", + "▁д ва", + "▁ два", + "o k", + "ски м", + "ск им", + "с ким", + "▁ру с", + "▁р ус", + "▁ рус", + "▁у да", + "▁уд а", + "▁ уда", + "▁H e", + "▁ He", + "▁Р е", + "▁ Ре", + "ту р", + "т ур", + "▁ф у", + "▁ фу", + "u e", + "ше н", + "ш ен", + "ar e", + "a re", + "▁со об", + "ше ние", + "f f", + "то й", + "т ой", + "ст ей", + "сте й", + "с тей", + "▁про сто", + "▁прос то", + "▁прост о", + "▁ просто", + "▁я вляется", + "▁явля ется", + "▁яв ляется", + "▁по след", + "▁после д", + "▁ послед", + "▁К ак", + "▁Ка к", + "▁ Как", + "ль ного", + "льно го", + "▁к ла", + "▁ кла", + "чно й", + "ч ной", + "п ла", + "ва ться", + "вать ся", + "ст венно", + "ств енно", + "ствен но", + "стве нно", + "ме ри", + "мер и", + "▁u n", + "▁ un", + "▁сво ей", + "▁свое й", + "▁К у", + "▁ Ку", + "ря д", + "▁ Ю", + "дер жа", + "держ а", + "▁не сколько", + "▁неско лько", + "▁несколь ко", + "ле з", + "л ез", + "▁Т ак", + "▁Та к", + "▁ Так", + "р т", + "▁о бе", + "▁об е", + "▁ обе", + "об ходи", + "▁на з", + "▁н аз", + "▁ наз", + "во м", + "в ом", + "▁от кры", + "▁отк ры", + "▁ откры", + "ra n", + "r an", + "ou ld", + "oul d", + "▁го ло", + "▁г оло", + "▁гол о", + "▁ голо", + "ou s", + "o us", + "▁По сле", + "▁ После", + "▁не ко", + "х ра", + "▁по ч", + "is h", + "i sh", + "ка я", + "к ая", + "om e", + "o me", + "▁в с", + "▁не т", + "▁н ет", + "▁ нет", + "▁с чита", + "щ у", + "вр о", + "в ро", + "▁з ем", + "▁зе м", + "▁ зем", + "▁w he", + "▁wh e", + "▁ко р", + "▁к ор", + "▁ кор", + "▁к ар", + "▁ка р", + "▁ кар", + "▁ре зульта", + "▁кото рых", + "▁которы х", + "ва ется", + "вает ся", + "ко но", + "кон о", + "к оно", + "▁са мы", + "▁сам ы", + "ка зыва", + "i z", + "▁се бе", + "▁со вер", + "▁сов ер", + "▁сове р", + "▁М е", + "▁ Ме", + "▁ф а", + "▁ фа", + "▁к ни", + "▁кн и", + "▁ кни", + "ре ди", + "ред и", + "р еди", + "нт и", + "н ти", + "▁u s", + "▁ us", + "лл е", + "л ле", + "▁Б а", + "▁ Ба", + "▁про це", + "▁ проце", + "▁к то", + "▁ кто", + "сту па", + "ступ а", + "por t", + "p ort", + "ни м", + "н им", + "pe r", + "p er", + "▁не обходи", + "▁необ ходи", + "ри й", + "▁в ме", + "▁дол ж", + "ру к", + "де сь", + "дес ь", + "r y", + "ще н", + "щ ен", + "чи на", + "чин а", + "ч ина", + "ли н", + "л ин", + "ль ных", + "льны х", + "ag e", + "a ge", + "ве та", + "вет а", + "ми и", + "as s", + "a ss", + "за ции", + "з ации", + "▁мо г", + "▁с ы", + "▁ сы", + "▁a r", + "▁ ar", + "я с", + "▁у пра", + "ет и", + "е ти", + "де ли", + "дел и", + "та н", + "т ан", + "фор ма", + "фо рма", + "форм а", + "▁я зы", + "▁яз ы", + "▁ язы", + "ль ный", + "льны й", + "ше л", + "▁по э", + "ф а", + "it ion", + "i tion", + "▁из вест", + "▁изве ст", + "▁ извест", + "▁т ри", + "▁тр и", + "▁ три", + "▁с мо", + "▁см о", + "▁ смо", + "ле м", + "л ем", + "не ние", + "ре й", + "р ей", + "▁Б е", + "▁ Бе", + "▁ч ет", + "▁че т", + "▁ чет", + "хо в", + "х ов", + "▁т ра", + "▁тр а", + "▁ тра", + "ф о", + "▁the ir", + "▁на пра", + "▁напр а", + "гра м", + "гр ам", + "г рам", + "ви ть", + "вит ь", + "в ить", + "▁А лек", + "▁Ал ек", + "▁Але к", + "▁г лав", + "▁гла в", + "▁гл ав", + "▁при ня", + "▁прин я", + "▁В и", + "▁ Ви", + "▁c l", + "▁ cl", + "▁с лова", + "▁сло ва", + "▁слов а", + "▁ слова", + "▁ко ро", + "▁кор о", + "▁ коро", + "▁ли шь", + "▁лиш ь", + "▁на ходи", + "▁наход и", + "▁и г", + "▁с те", + "▁ст е", + "▁ сте", + "вши й", + "в ший", + "▁com p", + "▁co mp", + "ir st", + "▁ра спо", + "▁рас по", + "▁ распо", + "▁хо ро", + "▁хор о", + "▁ хоро", + "жде ния", + "ж дения", + "тк и", + "т ки", + "ща я", + "щ ая", + "▁и ю", + "ь е", + "▁к ри", + "▁кр и", + "▁ кри", + "id e", + "i de", + "бе р", + "б ер", + "че ские", + "чески е", + "▁в не", + "▁ вне", + "ig n", + "i gn", + "▁К и", + "▁ Ки", + "ме нт", + "мен т", + "м ент", + "ft er", + "f ter", + "че т", + "ч ет", + "▁в стре", + "▁вс тре", + "гл я", + "г ля", + "на ми", + "нам и", + "те й", + "т ей", + "▁о снов", + "▁ос нов", + "▁осно в", + "▁al so", + "▁h er", + "▁he r", + "▁ her", + "▁же н", + "▁ж ен", + "▁ жен", + "▁С и", + "▁ Си", + "ва р", + "в ар", + "▁ча сти", + "▁част и", + "▁час ти", + "▁ части", + "▁О т", + "▁ От", + "ти й", + "ни х", + "н их", + "▁кото рая", + "вле н", + "в лен", + "▁пере д", + "▁пер ед", + "▁пе ред", + "▁ перед", + "п ло", + "▁в то", + "▁ вто", + "▁р и", + "▁ ри", + "▁вре мени", + "▁времен и", + "▁време ни", + "ec t", + "e ct", + "▁в ну", + "▁ вну", + "▁ш а", + "▁ ша", + "▁с тал", + "▁ст ал", + "▁ста л", + "▁ стал", + "ic e", + "i ce", + "ст я", + "с тя", + "I I", + "▁c ont", + "▁con t", + "▁co nt", + "▁ cont", + "▁челове ка", + "▁человек а", + "▁со вет", + "▁сов ет", + "▁сове т", + "▁ совет", + "ст ов", + "сто в", + "с тов", + "ша я", + "ш ая", + "▁b ut", + "▁bu t", + "▁ but", + "би ра", + "бир а", + "йт и", + "й ти", + "▁б лаго", + "▁бла го", + "▁ благо", + "▁ /", + "че го", + "ч его", + "▁со от", + "ва ют", + "ваю т", + "во з", + "в оз", + "▁д ере", + "▁де ре", + "▁дер е", + "▁ дере", + "чны е", + "ч ные", + "но му", + "ном у", + "▁за да", + "▁з ада", + "▁зад а", + "ли че", + "▁не м", + "▁н ем", + "▁ нем", + "▁in t", + "▁i nt", + "▁ int", + "он е", + "о не", + "▁б и", + "▁ би", + "▁С та", + "▁Ст а", + "▁ Ста", + "▁ру ко", + "▁рук о", + "ou t", + "o ut", + "ствен ной", + "стве нной", + "ственно й", + "▁Л и", + "▁ Ли", + "▁a d", + "▁ ad", + "ро вать", + "рова ть", + "ни ть", + "нит ь", + "н ить", + "▁у ни", + "▁о бы", + "▁об ы", + "▁ обы", + "im e", + "i me", + "▁спо соб", + "▁спосо б", + "▁ способ", + "▁с вою", + "▁сво ю", + "ти е", + "ul t", + "▁по ль", + "▁пол ь", + "▁ поль", + "▁ка че", + "▁ каче", + "▁ча сть", + "▁част ь", + "▁час ть", + "▁лу ч", + "▁ луч", + "▁T h", + "▁ Th", + "при мер", + "▁кото рой", + "▁которо й", + "me r", + "m er", + "▁лю дей", + "▁люд ей", + "▁дру гих", + "▁други х", + "▁друг их", + "▁де я", + "▁ дея", + "▁п ос", + "▁по с", + "▁об ласти", + "▁обла сти", + "не го", + "н его", + "i b", + "ч ки", + "▁h as", + "▁ha s", + "▁пи са", + "▁ писа", + "▁a b", + "▁ ab", + "до й", + "д ой", + "ё т", + "▁ j", + "▁h ave", + "▁ha ve", + "▁у че", + "▁уч е", + "ри о", + "▁про дол", + "▁прод ол", + "▁продо л", + "▁Т е", + "▁ Те", + "▁р ы", + "▁ ры", + "ра з", + "р аз", + "▁с тре", + "▁ст ре", + "▁стр е", + "▁ стре", + "▁П ер", + "▁Пе р", + "▁ Пер", + "at er", + "ate r", + "a ter", + "▁r o", + "▁ ro", + "▁сво их", + "▁свои х", + "▁f irst", + "▁по зво", + "▁поз во", + "н т", + "▁re s", + "▁r es", + "▁ res", + "че ский", + "чески й", + "▁зна чи", + "▁знач и", + "ту ры", + "тур ы", + "▁э та", + "▁ эта", + "r u", + "▁И з", + "▁ Из", + "ri t", + "r it", + "on d", + "o nd", + "ме ча", + "▁м оло", + "▁мо ло", + "▁мол о", + "▁ моло", + "ру г", + "пе рь", + "пер ь", + "сло ви", + "слов и", + "с лови", + "и л", + "т вер", + "ль ные", + "льны е", + "па с", + "п ас", + "▁про ис", + "▁прои с", + "н ю", + "▁п оста", + "▁по ста", + "▁пос та", + "▁пост а", + "▁ поста", + "▁ха рак", + "▁хар ак", + "▁ харак", + "▁по ня", + "▁пон я", + "en ce", + "enc e", + "e nce", + "▁th is", + "▁ this", + "ре мен", + "рем ен", + "р емен", + "▁ма тери", + "▁мате ри", + "▁матер и", + "▁ матери", + "▁ме сто", + "▁мест о", + "▁мно ги", + "▁с вой", + "▁сво й", + "▁св ой", + "▁обра зом", + "▁образ ом", + "вши х", + "в ших", + "ще ния", + "▁С у", + "▁ Су", + "▁б ра", + "▁ бра", + "▁Од нако", + "▁Одна ко", + "▁в ра", + "▁вр а", + "▁ вра", + "со м", + "с ом", + "ст ер", + "сте р", + "с тер", + "сту пи", + "ступ и", + "ве д", + "в ед", + "▁w ho", + "▁wh o", + "▁ who", + "he d", + "h ed", + "▁a p", + "▁ ap", + "▁на зыва", + "ству ет", + "- -", + "▁т ам", + "▁та м", + "▁ там", + "ш ки", + "er v", + "▁в иде", + "▁ви де", + "▁вид е", + "▁ виде", + "на д", + "н ад", + "тр у", + "т ру", + "▁во ен", + "▁вое н", + "▁ воен", + "▁Ч то", + "▁ Что", + "▁мо гут", + "▁могу т", + "▁мог ут", + "▁г и", + "▁ ги", + "ши н", + "ш ин", + "▁it s", + "▁i ts", + "▁ its", + "▁Д е", + "▁ Де", + "▁ком па", + "▁комп а", + "▁ компа", + "▁a ll", + "▁al l", + "▁ all", + "ma n", + "m an", + "ко ло", + "кол о", + "к оло", + "ят ь", + "я ть", + "клю ча", + "го в", + "г ов", + "w o", + "ре в", + "р ев", + "▁со ответ", + "▁соот вет", + "▁ш и", + "▁ ши", + "▁х у", + "▁ ху", + "ве сти", + "вест и", + "вес ти", + "il e", + "i le", + "тель ства", + "тельств а", + "▁от вет", + "▁отве т", + "▁ ответ", + "ё м", + "▁ин тере", + "▁инте ре", + "▁интер е", + "▁ интере", + "на ли", + "нал и", + "н али", + "че м", + "ч ем", + "▁Д ля", + "▁ Для", + "▁на м", + "▁н ам", + "▁ нам", + "кл о", + "к ло", + "▁рас ска", + "▁расс ка", + "▁с ти", + "▁ст и", + "▁ сти", + "ру жи", + "сс е", + "с се", + "in d", + "i nd", + "нно й", + "н ной", + "▁д оста", + "▁до ста", + "▁ доста", + "▁a c", + "▁ ac", + "▁те ле", + "▁тел е", + "▁ теле", + "▁эти х", + "▁до ро", + "▁ доро", + "ти и", + "▁о каза", + "▁ока за", + "ow n", + "o wn", + "▁p art", + "▁par t", + "▁ part", + "▁не о", + "▁ нео", + "кт и", + "к ти", + "х ва", + "▁a g", + "▁ ag", + "▁про бле", + "▁проб ле", + "не ц", + "н ец", + "го д", + "г од", + "▁t e", + "▁ te", + "▁у ве", + "▁не й", + "▁н ей", + "▁ ней", + "▁сво его", + "▁свое го", + "ку с", + "к ус", + "at ions", + "ation s", + "ati ons", + "▁e n", + "▁ en", + "▁при зна", + "▁приз на", + "al ly", + "all y", + "те н", + "т ен", + "▁о че", + "▁А р", + "▁ Ар", + "▁o ne", + "▁on e", + "▁ one", + "мо в", + "м ов", + "▁ Y", + "щи х", + "щ их", + "▁со гла", + "▁г у", + "▁ гу", + "▁ц и", + "▁ ци", + "▁случа е", + "чны й", + "ч ный", + "ге н", + "г ен", + "вля ет", + "в ляет", + "▁m an", + "▁ man", + "▁Х о", + "▁ Хо", + "▁ку ль", + "▁ куль", + "та ми", + "там и", + "▁дву х", + "▁а д", + "▁ ад", + "не т", + "н ет", + "▁Р у", + "▁ Ру", + "▁чу в", + "▁ чув", + "ug h", + "u gh", + "ш ли", + "▁си сте", + "▁сист е", + "▁ систе", + "гр е", + "г ре", + "re e", + "r ee", + "ре ния", + "▁у спе", + "▁ус пе", + "▁и де", + "▁ид е", + "▁ иде", + "▁Мо ск", + "▁ Моск", + "я н", + "▁ис пользова", + "▁исполь зова", + "ли й", + "▁о соб", + "▁ос об", + "▁осо б", + "▁ особ", + "i k", + "▁б ли", + "▁ бли", + "ov er", + "ove r", + "o ver", + "ст вие", + "стви е", + "ри то", + "рит о", + "гра фи", + "граф и", + "▁го д", + "▁г од", + "▁ год", + "ти во", + "тив о", + "an g", + "a ng", + "▁дея тель", + "СС Р", + "С СР", + "ac h", + "a ch", + "нд и", + "н ди", + "▁ш ко", + "▁ шко", + "▁с ем", + "▁се м", + "▁ сем", + "▁p er", + "▁pe r", + "▁ per", + "ст рой", + "стро й", + "стр ой", + "▁за нима", + "чно го", + "ч ного", + "▁Б у", + "▁ Бу", + "ло жи", + "лож и", + "▁вой ны", + "▁войн ы", + "ac e", + "a ce", + "зм а", + "з ма", + "ро ме", + "ром е", + "▁вы пол", + "# #", + "▁Г е", + "▁ Ге", + "▁ра зли", + "▁раз ли", + "▁по мощ", + "▁помо щ", + "▁по каза", + "▁пока за", + "▁ показа", + "▁о снова", + "▁ос нова", + "▁основ а", + "▁осно ва", + "▁ основа", + "▁О б", + "▁ Об", + "▁i m", + "▁ im", + "за н", + "з ан", + "бр о", + "б ро", + "▁ ж", + "▁М ы", + "▁ Мы", + "на ча", + "▁г лу", + "▁гл у", + "▁ глу", + "вер х", + "▁не которы", + "▁неко торы", + "▁некото ры", + "ва ла", + "вал а", + "в ала", + "▁b ec", + "▁be c", + "▁ bec", + "пу бли", + "▁хо тя", + "▁ хотя", + "▁y ear", + "▁ year", + "го во", + "гов о", + "ву ю", + "в ую", + "то к", + "т ок", + "▁е ё", + "▁все гда", + "▁ всегда", + "ну ть", + "нут ь", + "▁то т", + "▁т от", + "on e", + "o ne", + "ou nt", + "oun t", + "o unt", + "▁ин форма", + "▁в от", + "▁во т", + "▁ вот", + "ши е", + "ча с", + "ч ас", + "▁по тому", + "▁потом у", + "▁пото му", + "▁the y", + "▁th ey", + "дер жи", + "держ и", + "тя бря", + "ол о", + "о ло", + "▁про ек", + "▁ проек", + "ве дения", + "веде ния", + "▁то гда", + "ши м", + "ш им", + "но ве", + "нов е", + "en s", + "e ns", + "▁b een", + "▁be en", + "су т", + "с ут", + "▁ф ак", + "▁фа к", + "▁ фак", + "па д", + "п ад", + "▁вы ра", + "▁выр а", + "▁o ut", + "▁ out", + "▁A l", + "▁ Al", + "вши е", + "в шие", + "▁т я", + "▁ тя", + "▁то р", + "▁т ор", + "▁ тор", + "сси й", + "с сий", + "▁жи знь", + "▁жиз нь", + "▁U n", + "▁ Un", + "▁рабо ты", + "▁работ ы", + "e c", + "▁го рода", + "▁горо да", + "▁город а", + "▁гор ода", + "на х", + "ac t", + "a ct", + "ни н", + "н ин", + "▁го род", + "▁горо д", + "▁гор од", + "▁ город", + "ви си", + "вис и", + "▁пе рио", + "▁пери о", + "ф ф", + "▁с мер", + "▁сме р", + "▁см ер", + "▁ смер", + "or y", + "o ry", + "ко номи", + "коно ми", + "коном и", + "че ская", + "ст ью", + "сть ю", + "с тью", + "▁о г", + "▁кото рого", + "▁которо го", + "то ра", + "тор а", + "▁с ам", + "▁са м", + "▁ сам", + "юще й", + "ю щей", + "▁на се", + "▁нас е", + "бу р", + "б ур", + "▁з десь", + "ви де", + "вид е", + "в иде", + "▁пере да", + "▁перед а", + "▁ переда", + "ско му", + "ском у", + "с кому", + "пи та", + "пит а", + "▁ис тори", + "▁исто ри", + "▁ист ори", + "▁ истори", + "▁u p", + "▁ up", + "n e", + "ou nd", + "oun d", + "o und", + "мери кан", + "мерика н", + "мо сти", + "при я", + "п рия", + "▁ве ли", + "▁вел и", + "▁ вели", + "де ра", + "дер а", + "д ера", + "юще го", + "ю щего", + "зи и", + "▁o ther", + "▁ other", + "▁у слови", + "▁ус лови", + "▁услов и", + "ско в", + "ск ов", + "с ков", + "ч то", + "ad e", + "a de", + "▁пра во", + "▁прав о", + "▁ право", + "uc h", + "u ch", + "ш ло", + "▁с тать", + "▁ста ть", + "▁ стать", + "▁про грам", + "▁ –", + "▁с ла", + "▁сл а", + "▁ сла", + "▁по ка", + "ко ва", + "ков а", + "▁о дно", + "▁од но", + "▁ одно", + "▁п обе", + "▁по бе", + "▁у ров", + "▁уро в", + "▁ уров", + "к т", + "ст ран", + "стра н", + "стр ан", + "с тран", + "▁ко нце", + "▁кон це", + "▁конц е", + "il d", + "i ld", + "▁d is", + "▁di s", + "ши й", + "бо ль", + "бол ь", + "▁с ра", + "▁ср а", + "во лю", + "вол ю", + "▁с ме", + "▁см е", + "▁ сме", + "▁обра зова", + "▁образов а", + "▁ образова", + "▁поли ти", + "▁полит и", + "ще ние", + "▁I t", + "▁ It", + "во ря", + "вор я", + "ва ри", + "вар и", + "▁ис следова", + "▁о фи", + "▁оф и", + "▁ офи", + "са нд", + "сан д", + "in t", + "i nt", + "cl ud", + "▁п ор", + "▁по р", + "▁ пор", + "ё р", + "▁у чи", + "▁уч и", + "▁ учи", + "▁жен щи", + "▁N o", + "▁ No", + "ri c", + "r ic", + "ar k", + "Ш А", + "▁в ся", + "▁вс я", + "▁o ff", + "▁of f", + "▁ off", + "▁Ф е", + "▁ Фе", + "▁о кру", + "▁ок ру", + ") ;", + "f or", + "▁о пера", + "▁оп ера", + "▁опер а", + "▁опе ра", + "▁ опера", + "▁со бой", + "▁соб ой", + "▁собо й", + "ет е", + "е те", + "кс и", + "к си", + "▁боль шо", + "л ё", + "▁ н", + "▁за щи", + "▁ защи", + "re ss", + "res s", + "r ess", + "же нии", + "▁о п", + "▁ оп", + "▁до сти", + "ё л", + "▁С ССР", + "▁СС СР", + "▁ми ра", + "▁мир а", + "▁ мира", + "e p", + "a w", + "▁тер рито", + "▁п ря", + "▁пр я", + "▁ пря", + "ци ей", + "▁ж а", + "▁ жа", + "▁у ли", + "▁ул и", + "ни ца", + "ниц а", + "▁ш е", + "▁ ше", + "ol l", + "o ll", + "▁Ко гда", + "▁ Когда", + "ion s", + "io ns", + "i ons", + "х е", + "▁с ист", + "▁си ст", + "▁ сист", + "мо м", + "м ом", + "ствен ного", + "стве нного", + "ственно го", + "▁ре ши", + "▁о со", + "▁ос о", + "ро ван", + "ров ан", + "рова н", + "ur n", + "▁ро ди", + "▁род и", + "▁ роди", + "ми ни", + "мин и", + "бл ю", + "б лю", + "ur ing", + "u ring", + "▁Т у", + "▁ Ту", + "ви л", + "в ил", + "▁re c", + "▁r ec", + "▁ rec", + "щи й", + "др а", + "д ра", + "зи ден", + "▁по нима", + "▁пони ма", + "▁t wo", + "▁tw o", + "▁не до", + "▁о дной", + "▁од ной", + "▁одно й", + "▁К он", + "▁Ко н", + "▁ Кон", + "▁и менно", + "▁име нно", + "▁им енно", + "▁имен но", + "ab le", + "abl e", + "a ble", + "▁у по", + "▁О ни", + "▁Он и", + "▁ Они", + "el y", + "e ly", + "▁д ан", + "▁да н", + "▁ дан", + "▁с пи", + "▁ спи", + "ци али", + "циа ли", + "циал и", + "ol d", + "o ld", + "ст вия", + "стви я", + "тны х", + "т ных", + "▁р я", + "▁ ря", + "▁А лександ", + "▁Алек санд", + "ни ком", + "ник ом", + "те льной", + "тель ной", + "тельно й", + "▁ко личе", + "▁o ver", + "▁ over", + ". \"", + "ру ю", + "р ую", + "ту а", + "т уа", + "▁ме ст", + "▁г ру", + "▁гр у", + "▁ гру", + "▁ни м", + "▁н им", + "▁ ним", + "тель ство", + "тельств о", + "▁С ША", + "▁ США", + "▁на и", + "▁s c", + "▁ sc", + "▁ф иль", + "▁фи ль", + "▁ филь", + "н но", + "▁П у", + "▁ Пу", + "▁Л а", + "▁ Ла", + "▁Г а", + "▁ Га", + "▁ну жно", + "▁нуж но", + "▁э лек", + "▁эле к", + "т р", + "▁h im", + "▁ком п", + "сти ту", + "стит у", + "ющи м", + "ю щим", + "▁ча сто", + "▁част о", + "▁час то", + "▁ часто", + "n g", + "▁в нима", + "▁сто роны", + "▁сторо ны", + "▁сторон ы", + "▁и но", + "▁ин о", + "▁ ино", + "▁w ork", + "▁wor k", + "▁ work", + "те лем", + "тел ем", + "теле м", + "ма ти", + "мат и", + "▁та кой", + "▁так ой", + "▁дол жно", + "▁долж но", + "ор у", + "о ру", + "▁по чти", + "▁поч ти", + "▁и гра", + "▁иг ра", + "▁игр а", + "▁ игра", + "▁ты ся", + "▁тыс я", + "▁ тыся", + "it e", + "i te", + "▁про тиво", + "▁против о", + "▁вме сте", + "ка м", + "к ам", + "am p", + "a mp", + "▁о бя", + "▁об я", + "кр о", + "к ро", + "w n", + "че ское", + "ческо е", + "ub l", + "u bl", + "ve l", + "v el", + "н ци", + "▁n ew", + "▁ne w", + "▁ new", + "▁д аль", + "▁да ль", + "▁дал ь", + "▁ даль", + "▁лю бо", + "▁ любо", + "od e", + "o de", + "те льных", + "тель ных", + "тельны х", + "▁n e", + "▁ ne", + "▁s he", + "▁sh e", + "▁и зме", + "▁из ме", + "▁ изме", + "▁п ы", + "▁ пы", + "or s", + "▁де рев", + "▁дере в", + "▁дер ев", + "▁М ар", + "▁Ма р", + "▁ Мар", + "жд ы", + "ж ды", + "ai l", + "a il", + "▁исполь зу", + "▁ч ер", + "▁че р", + "▁ чер", + "ст ой", + "сто й", + "с той", + "▁лю ди", + "▁люд и", + "en ts", + "ent s", + "▁не по", + "▁жи во", + "▁жив о", + "▁a fter", + "▁ after", + "▁о коло", + "▁ок оло", + "▁око ло", + "▁ около", + "▁а в", + "▁ ав", + "то го", + "▁об ъек", + "▁объ ек", + "▁объе к", + "▁ объек", + "▁с ка", + "▁ск а", + "▁ ска", + "▁ =", + "▁за тем", + "▁зате м", + "▁зат ем", + "ли и", + "▁на до", + "▁над о", + "▁б ере", + "▁бе ре", + "▁бер е", + "▁ бере", + "д ви", + "▁сказа л", + "▁ска зал", + "▁сказ ал", + "▁м ар", + "▁ма р", + "▁ мар", + "▁о су", + "▁ос у", + "▁П ре", + "▁ Пре", + "▁на чина", + "▁нач ина", + "▁начи на", + "ou gh", + "o ugh", + "oo l", + "o ol", + "▁за ня", + "▁с вобо", + "▁сво бо", + "▁св обо", + "▁ свобо", + "та х", + "ще й", + "щ ей", + "ко ла", + "кол а", + "▁пред по", + "▁к руп", + "▁кру п", + "▁ круп", + "оло ги", + "олог и", + "о логи", + "▁де ло", + "▁дел о", + "▁ дело", + "ter n", + "t ern", + "▁w ould", + "па да", + "пад а", + "п ада", + "сле д", + "сл ед", + "▁у част", + "▁уча ст", + "▁ра ди", + "▁рад и", + "щ ё", + "но к", + "н ок", + "се м", + "с ем", + "ствен ных", + "стве нных", + "ственны х", + "▁c omm", + "▁com m", + "▁co mm", + "▁ comm", + "▁p re", + "▁pr e", + "▁ pre", + "▁дол жен", + "▁долж ен", + "гра ни", + "гр ани", + "гран и", + "at es", + "ate s", + "a tes", + "бр е", + "б ре", + "f t", + "з м", + "▁у би", + "ра х", + "пу ска", + "пуск а", + "пус ка", + "▁ле г", + "▁ лег", + "▁по том", + "▁пото м", + "▁ потом", + "▁дру гие", + "▁други е", + "▁име ет", + "▁в зя", + "▁вз я", + "▁ взя", + "as e", + "a se", + "ти н", + "т ин", + "▁e v", + "▁ ev", + "▁in clud", + "▁ includ", + "▁ис кус", + "▁иск ус", + "▁иску с", + "la nd", + "lan d", + "l and", + "▁на стоя", + "▁насто я", + "▁ настоя", + "ля р", + "л яр", + "▁ни чего", + "▁дол жны", + "▁долж ны", + "▁до ма", + "▁дом а", + "▁in to", + "▁int o", + "не чно", + "▁ве сь", + "▁вес ь", + "os e", + "o se", + "▁с охра", + "▁со хра", + "▁на писа", + "▁напи са", + "w e", + "▁ч его", + "▁че го", + "▁ чего", + "тру д", + "тр уд", + "at ional", + "ation al", + "щи е", + "ро к", + "р ок", + "u g", + "тре н", + "тр ен", + "т рен", + "▁ге нера", + "▁гене ра", + "▁ген ера", + "▁ генера", + "▁п си", + "▁ пси", + "▁п ара", + "▁па ра", + "▁пар а", + "▁ пара", + "те льные", + "тель ные", + "тельны е", + "▁э кономи", + "▁эко номи", + "▁ экономи", + "ла н", + "л ан", + "▁д ве", + "▁ две", + "▁о кон", + "▁ок он", + "▁око н", + "▁со времен", + "▁сов ремен", + "▁Г ер", + "▁Ге р", + "▁ Гер", + "ш ла", + "л н", + "▁Ф ран", + "▁Фра н", + "▁ Фран", + "▁х ра", + "▁ хра", + "▁го р", + "▁г ор", + "▁ гор", + "ти ть", + "тит ь", + "т ить", + "o y", + "ст вии", + "стви и", + "▁d es", + "▁de s", + "▁ des", + "ер т", + "е рт", + "an ce", + "anc e", + "a nce", + "ie d", + "i ed", + "че р", + "ч ер", + "▁на ро", + "▁нар о", + "▁с ей", + "▁се й", + "▁ сей", + "on s", + "o ns", + "▁c an", + "▁ can", + "▁дру гой", + "▁друго й", + "▁друг ой", + "че й", + "ч ей", + "▁в ам", + "▁ва м", + "▁ вам", + "ну л", + "н ул", + "не с", + "o b", + "х у", + "та л", + "т ал", + "oo d", + "o od", + "▁t ime", + "▁tim e", + "▁ time", + "ce s", + "c es", + "ско ль", + "с коль", + "я вля", + "з д", + "▁то же", + "▁ж у", + "▁ жу", + "▁w e", + "▁ we", + "ро вания", + "рова ния", + "▁не ме", + "▁нем е", + "▁s p", + "▁ sp", + "▁Л у", + "▁ Лу", + "ствен ный", + "стве нный", + "ственны й", + "е ха", + "▁В ла", + "▁ Вла", + "▁чи сле", + "▁ числе", + "▁М у", + "▁ Му", + "▁А н", + "▁ Ан", + "▁от пра", + "▁К ра", + "▁ Кра", + "▁произ вод", + "▁произво д", + "▁ производ", + "▁фу нк", + "▁ функ", + "▁б ро", + "▁ бро", + "p h", + "oc k", + "o ck", + "▁с ен", + "▁се н", + "▁ сен", + "на н", + "н ан", + "▁те перь", + "мы ш", + "ту ра", + "тур а", + "т ура", + "fe r", + "f er", + "▁ни ка", + "▁ник а", + "▁ ника", + "▁m e", + "▁ me", + "▁Е вро", + "▁Ев ро", + "▁ Евро", + "▁ис пол", + "▁испо л", + "пу сти", + "пус ти", + "им о", + "и мо", + "▁полу ча", + "кто р", + "кт ор", + "к тор", + "▁обе спе", + "▁т ран", + "▁тра н", + "▁тр ан", + "▁ тран", + "ше м", + "ш ем", + "▁ли тера", + "в шего", + "▁ме то", + "▁мет о", + "▁ мето", + "▁П е", + "▁ Пе", + "▁му ж", + "▁ муж", + "ни цы", + "ниц ы", + "▁un d", + "▁u nd", + "▁ und", + "▁же ла", + "▁жел а", + "▁ жела", + "▁кото рое", + "▁которо е", + "▁ которое", + "▁у г", + "ль ное", + "льно е", + "жде ние", + "ж дение", + "ше е", + "oo k", + "o ok", + "▁ми ну", + "▁мин у", + "▁ мину", + "▁A r", + "▁ Ar", + "▁ф о", + "▁ фо", + "че му", + "чем у", + "пе ре", + "пер е", + "п ере", + "is s", + "i ss", + "▁о дного", + "▁од ного", + "▁одно го", + "▁отно ше", + "▁в ас", + "▁ва с", + "си те", + "сит е", + "▁п ода", + "▁по да", + "▁под а", + "▁ пода", + "ем о", + "е мо", + "▁ху до", + "▁худ о", + "▁ худо", + "▁по доб", + "▁под об", + "▁подо б", + "▁ подоб", + "те льный", + "тель ный", + "тельны й", + "▁О на", + "▁Он а", + "ви а", + "▁Р и", + "▁ Ри", + "▁у части", + "▁уча сти", + "▁участ и", + "го то", + "▁фи зи", + "▁физ и", + "▁ физи", + "▁ми ни", + "▁мин и", + "▁ мини", + "▁ме ся", + "▁ меся", + "▁а мерикан", + "▁америка н", + "▁ американ", + "at h", + "a th", + "ты й", + "▁продол жа", + "▁за ко", + "▁зак о", + "▁ зако", + "жи да", + "ж ида", + "ще го", + "щ его", + "шу ю", + "ш ую", + "▁ц ер", + "▁це р", + "▁ цер", + "▁ва ж", + "▁A s", + "▁пред стави", + "▁предста ви", + "ч ка", + "нс кой", + "н ской", + "▁Д ж", + "▁И н", + "▁ Ин", + "▁д ума", + "▁ду ма", + "▁ дума", + "те льного", + "тель ного", + "тельно го", + "П о", + "▁свя зи", + "▁связ и", + "▁с ту", + "▁ст у", + "▁ сту", + "ня я", + "▁б ое", + "▁бо е", + "▁ бое", + "▁раз рабо", + "▁ разрабо", + "in gs", + "ing s", + "ще е", + "ил и", + "и ли", + "▁m ore", + "▁mor e", + "▁ more", + "▁p lay", + "▁pl ay", + "▁ play", + "▁ч еты", + "▁че ты", + "▁чет ы", + "▁ четы", + "ль ная", + "льна я", + "▁об на", + "ak e", + "a ke", + "▁де ся", + "▁ деся", + "▁r a", + "▁ ra", + "▁с тан", + "▁ст ан", + "▁ста н", + "▁ стан", + "▁п одо", + "▁по до", + "▁под о", + "▁од нако", + "▁одна ко", + "▁от носи", + "▁отно си", + "▁не за", + "▁про фе", + "▁проф е", + "▁бу дут", + "▁буду т", + "▁буд ут", + "it ed", + "ite d", + "i ted", + "▁по стоя", + "▁Е го", + "▁ме нее", + "▁мене е", + "▁ менее", + "▁ис тории", + "▁исто рии", + "▁истори и", + "ме ня", + "мен я", + "м еня", + "ве н", + "в ен", + "ro ugh", + "r ough", + "го дня", + "год ня", + "ще ств", + "▁ро ссий", + "▁рос сий", + "▁ россий", + "ви ли", + "вил и", + "в или", + "ра ми", + "рам и", + "▁по се", + "▁пос е", + "та м", + "т ам", + "пы т", + "▁ка честве", + "▁каче стве", + "▁качеств е", + "as ed", + "ase d", + "зо в", + "з ов", + "ст рук", + "стру к", + "▁с им", + "▁си м", + "▁ сим", + "▁ко ми", + "▁ком и", + "▁ коми", + "▁с реди", + "▁сред и", + "▁сре ди", + "▁ср еди", + "▁ра сс", + "▁рас с", + "чи ть", + "чит ь", + "ч ить", + "▁в сем", + "▁все м", + "▁вс ем", + "ga n", + "g an", + "▁и зда", + "▁из да", + "▁изд а", + "▁гра жда", + "▁ гражда", + "р ю", + "▁при мер", + "▁приме р", + "▁прим ер", + "▁ пример", + "▁П ет", + "▁Пе т", + "▁ Пет", + "тр я", + "т ря", + "▁к м", + "▁ км", + "йс кой", + "й ской", + "▁па мя", + "▁ памя", + "▁ча ст", + "▁час т", + "▁ част", + "▁O n", + "▁ On", + "▁про ду", + "▁прод у", + "ди ть", + "дит ь", + "д ить", + "до ро", + "дор о", + "▁w hen", + "▁wh en", + "▁whe n", + "▁необходи мо", + "▁необходим о", + "та ль", + "тал ь", + "т аль", + "сколь ку", + "хо да", + "ход а", + "х ода", + "▁по тре", + "▁ потре", + "ш ка", + "жде н", + "жд ен", + "ж ден", + "▁на циона", + "▁наци она", + "▁ национа", + "▁чем пи", + "▁у твер", + "▁ут вер", + "▁Х а", + "▁ Ха", + "▁на зна", + "▁наз на", + "▁то му", + "▁том у", + "▁ тому", + "на род", + "нар од", + "▁го ды", + "▁год ы", + "▁д ли", + "▁ дли", + "▁м ир", + "▁ми р", + "▁ мир", + "▁с па", + "▁ спа", + "се да", + "сед а", + "▁Л ю", + "▁ Лю", + "▁П и", + "▁ Пи", + "▁У кра", + "▁ Укра", + "▁ни ко", + "▁ник о", + "цо в", + "ц ов", + "▁не у", + "▁на пример", + "▁ например", + "лл а", + "л ла", + "▁С ер", + "▁Се р", + "▁ Сер", + "то чно", + "во ль", + "вол ь", + "▁с вяза", + "▁свя за", + "▁св яза", + "▁связ а", + "▁хо зя", + "нс кого", + "н ского", + "▁се ль", + "▁сел ь", + "▁ сель", + "ва лся", + "вал ся", + "ce ss", + "ces s", + "c ess", + "em ber", + "emb er", + "e mber", + "▁со держа", + "фф ек", + "ффе к", + "ф фек", + "an s", + "a ns", + "▁при нима", + "▁ принима", + "об ще", + "▁к ру", + "▁кр у", + "▁ кру", + "пы та", + "пыт а", + "▁по ме", + "▁пом е", + "ме й", + "м ей", + "▁су щество", + "▁суще ство", + "▁существ о", + "та я", + "т ая", + "▁ме ста", + "▁мест а", + "on t", + "o nt", + "▁пре кра", + "▁M ar", + "▁Ma r", + "▁и нтер", + "▁ин тер", + "▁инте р", + "▁ интер", + "▁Ве ли", + "▁ Вели", + "▁я н", + "▁ ян", + "▁ш та", + "▁шт а", + "▁ шта", + "▁t ra", + "▁tr a", + "▁ tra", + "▁те о", + "▁ тео", + "ты х", + "т ых", + "▁де ка", + "▁ф ран", + "▁фра н", + "▁ фран", + "ло же", + "лож е", + "▁на род", + "▁наро д", + "▁нар од", + "▁ народ", + "жно й", + "ж ной", + "▁при ме", + "▁пр име", + "▁прим е", + "▁с мы", + "▁см ы", + "▁б ан", + "▁ба н", + "▁ бан", + "▁с тали", + "▁ст али", + "▁ста ли", + "▁стал и", + "▁к ли", + "▁ кли", + "le s", + "l es", + "ло й", + "л ой", + "▁g ro", + "▁gr o", + "▁ка кой", + "▁как ой", + "▁ма ши", + "▁Ч е", + "▁ Че", + "▁на де", + "▁над е", + "▁си туа", + "▁с коро", + "▁ско ро", + "▁скор о", + "▁ скоро", + "▁ч ле", + "▁ чле", + "▁П од", + "▁По д", + "▁ Под", + "ит ь", + "и ть", + "чи л", + "ч ил", + "на м", + "н ам", + "▁но р", + "▁н ор", + "▁ нор", + "ic k", + "i ck", + "▁ве ка", + "▁век а", + "ва лись", + "вали сь", + "ст ан", + "ста н", + "с тан", + "▁N ew", + "▁Ne w", + "▁ New", + "▁с ли", + "▁сл и", + "▁ сли", + "▁е ди", + "▁ед и", + "▁ еди", + "ви н", + "в ин", + "юще е", + "ю щее", + "ст ри", + "стр и", + "с три", + "▁ф е", + "▁ фе", + "▁э ту", + "▁воз ду", + "▁особ енно", + "▁особен но", + "▁ особенно", + "не в", + "н ев", + "▁t hem", + "▁the m", + "▁th em", + "ло го", + "лог о", + "▁ко тором", + "▁кото ром", + "▁которо м", + "мо н", + "м он", + "чны м", + "ч ным", + "▁лю би", + "▁ люби", + "▁ка жды", + "▁каж ды", + "▁т ут", + "▁ту т", + "▁ тут", + "пр я", + "п ря", + "▁re t", + "▁r et", + "▁ ret", + "▁В ер", + "▁Ве р", + "▁ Вер", + "▁о дна", + "▁од на", + "▁C om", + "▁Co m", + "▁ Com", + "▁s pe", + "▁sp e", + "▁ spe", + "▁от де", + "▁un der", + "▁und er", + "▁u nder", + "▁ under", + "ua l", + "u al", + "▁на блю", + "▁ре ги", + "▁ реги", + "▁му зы", + "▁о бу", + "▁об у", + "▁ обу", + "▁и зу", + "▁из у", + "io us", + "i ous", + "де ть", + "дет ь", + "д еть", + "▁у нивер", + "▁уни вер", + "бр и", + "б ри", + "_ _", + "▁э тим", + "▁эти м", + "▁ра зме", + "▁раз ме", + "ля ет", + "▁ж ур", + "▁жу р", + "▁ жур", + "ки ми", + "ким и", + "к ими", + "ло к", + "л ок", + "▁при чи", + "▁сво им", + "▁свои м", + "▁y ou", + "▁п ле", + "▁ пле", + "▁в лия", + "▁D e", + "▁ De", + "та к", + "т ак", + "▁о тра", + "▁от ра", + "▁p r", + "▁ pr", + "смо тре", + "смотр е", + "▁ав гу", + "с публи", + "▁со циаль", + "▁соци аль", + "▁социал ь", + "▁ социаль", + "▁во зра", + "▁воз ра", + "▁спе циаль", + "▁специ аль", + "▁хоро шо", + "бо лее", + "▁э нер", + "▁эн ер", + "▁ энер", + "▁до ку", + "▁док у", + "▁R e", + "▁ Re", + "▁В от", + "▁Во т", + "▁ Вот", + "до к", + "д ок", + "re d", + "r ed", + "i o", + "▁ag ain", + "зе р", + "з ер", + "ги и", + "▁с пра", + "▁д ет", + "▁де т", + "▁ дет", + "▁п оле", + "▁по ле", + "▁пол е", + "▁ поле", + "гр у", + "г ру", + "▁s o", + "▁ so", + "ль ным", + "льны м", + "ст рое", + "стро е", + "стр ое", + "к ви", + "v e", + "▁систе мы", + "▁сист емы", + "▁систем ы", + "▁ системы", + "au s", + "a us", + "war d", + "wa rd", + "w ard", + "▁сей час", + "▁Б ы", + "▁ Бы", + "▁э ле", + "▁ эле", + "▁г ре", + "▁гр е", + "▁ гре", + "▁ре жи", + "▁ режи", + "вши сь", + "в шись", + "ic t", + "i ct", + "и х", + "си л", + "с ил", + "ва ются", + "вают ся", + "ваю тся", + "▁стра ны", + "▁стран ы", + "ло жен", + "ложе н", + "лож ен", + "▁с обы", + "▁со бы", + "▁соб ы", + "ск у", + "с ку", + "▁а нг", + "▁ан г", + "▁ анг", + "▁вну трен", + "▁внут рен", + "▁Ни кола", + "▁Нико ла", + "щу ю", + "щ ую", + "en d", + "e nd", + "▁ре аль", + "▁реа ль", + "▁с тран", + "▁ст ран", + "▁стра н", + "▁стр ан", + "▁ стран", + "▁о тли", + "▁от ли", + "▁a tt", + "▁at t", + "▁ att", + "▁Вла ди", + "▁рас про", + "ch ool", + "cho ol", + "▁е щё", + "▁д ер", + "▁де р", + "▁ дер", + "жа ть", + "жат ь", + "▁е й", + "▁ ей", + "▁п рав", + "▁пра в", + "▁пр ав", + "▁ прав", + "▁пи сь", + "▁ пись", + "ст ав", + "ста в", + "с тав", + "▁со труд", + "▁q u", + "▁ qu", + "▁ко ра", + "▁кор а", + "▁ кора", + "d u", + "▁т ан", + "▁та н", + "▁ тан", + "си ли", + "сил и", + "с или", + "вы ми", + "вым и", + "▁ян ва", + "▁ди а", + "▁ диа", + "ри сти", + "рис ти", + "рист и", + "р исти", + "▁К ар", + "▁Ка р", + "▁ Кар", + "re at", + "▁ко л", + "▁к ол", + "▁ кол", + "▁в сё", + "▁вс ё", + "▁о но", + "▁он о", + "▁ оно", + "ди ви", + "див и", + "во бо", + "в обо", + ". )", + "▁b et", + "▁be t", + "з ь", + "▁пер вый", + "▁х и", + "▁ хи", + "но логи", + "н ологи", + "▁тре бо", + "▁s ec", + "▁se c", + "▁ sec", + "hi p", + "h ip", + "▁та ких", + "▁так их", + "▁таки х", + "▁по яви", + "▁поя ви", + "er ed", + "ere d", + "e red", + "▁бе с", + "▁ бес", + "▁на ру", + "▁нар у", + "▁ нару", + "ма три", + "мат ри", + "м атри", + "▁ши ро", + "▁d o", + "▁ do", + "мини стра", + "министр а", + "ra m", + "r am", + "▁у го", + "▁уг о", + "▁ уго", + "▁s up", + "▁su p", + "▁k n", + "▁ kn", + "▁t here", + "▁the re", + "▁th ere", + "▁э лектро", + "▁элек тро", + "▁ электро", + "жны х", + "ж ных", + "▁o p", + "▁ op", + "in al", + "ina l", + "▁то л", + "▁т ол", + "▁ тол", + "▁воз вра", + "wa y", + "w ay", + "▁гла за", + "▁глаз а", + "ер ы", + "е ры", + "зо вать", + "зова ть", + "▁п редо", + "▁пре до", + "▁пред о", + "▁с делать", + "▁сдела ть", + "ск е", + "с ке", + "▁у бе", + "▁с бор", + "▁сбо р", + "▁ сбор", + "▁об ъяс", + "▁объ яс", + "▁объя с", + "▁у ч", + "▁результа те", + "▁результат е", + "▁S e", + "▁ Se", + "ка з", + "к аз", + "▁Н у", + "▁ Ну", + "ше нно", + "шен но", + "ш енно", + "ot h", + "o th", + "п ли", + "▁п рода", + "▁про да", + "▁пр ода", + "▁прод а", + "▁ прода", + "▁Д у", + "▁ Ду", + "же м", + "ж ем", + "▁Р аз", + "▁Ра з", + "▁ Раз", + "▁L e", + "▁ Le", + "▁Г ла", + "▁во прос", + "▁вопро с", + "▁Д и", + "▁ Ди", + "ю щая", + "▁со став", + "▁соста в", + "▁сос тав", + "▁в ласти", + "▁вла сти", + "▁бо рь", + "▁бор ь", + "ни л", + "н ил", + "сно й", + "с ной", + "▁ак тив", + "▁акт ив", + "ми р", + "м ир", + "le ct", + "l ect", + "▁те чение", + "чна я", + "ч ная", + "лы й", + "ты е", + "▁а виа", + "ме на", + "мен а", + "м ена", + "▁из обра", + "▁изо бра", + "▁П ере", + "▁Пер е", + "▁Пе ре", + "▁ Пере", + "ri b", + "r ib", + "ди т", + "д ит", + "▁мо мент", + "▁ар мии", + "▁арми и", + "or n", + "ро т", + "р от", + "ло со", + "па ра", + "пар а", + "п ара", + "д ца", + "ле в", + "л ев", + "▁за кон", + "▁зако н", + "▁зак он", + "▁ закон", + "ча т", + "ч ат", + "бу дь", + "ce d", + "c ed", + "лк и", + "л ки", + "re n", + "r en", + "▁д руг", + "▁дру г", + "▁ друг", + "▁соб ствен", + "об ре", + "о бре", + "iv ers", + "iver s", + "i vers", + "ма я", + "м ая", + "▁де ле", + "▁дел е", + "▁ деле", + "▁органи за", + "чно е", + "ч ное", + "▁а пре", + "▁ап ре", + "ям и", + "я ми", + "for m", + "f orm", + "▁on ly", + "др о", + "д ро", + "▁м ет", + "▁ме т", + "▁ мет", + "▁при нци", + "▁прин ци", + "▁принц и", + "▁у до", + "▁уд о", + "▁т ек", + "▁те к", + "▁ тек", + "▁а рхи", + "▁ар хи", + "▁арх и", + "ня ть", + "нят ь", + "н ять", + "▁с разу", + "▁сра зу", + "▁поэ тому", + "▁поэтом у", + "▁не мец", + "▁нем ец", + "▁неме ц", + "▁ко ло", + "▁к оло", + "▁кол о", + "▁ коло", + "та р", + "т ар", + "▁кото рую", + "▁с обра", + "▁со бра", + "▁соб ра", + "▁бе зо", + "▁без о", + "▁слу ж", + "▁ служ", + "▁ст рои", + "▁стро и", + "▁ строи", + "▁чи та", + "▁ чита", + "▁b u", + "▁in ter", + "▁int er", + "▁inte r", + "▁ inter", + "сси и", + "с сии", + "▁к лу", + "▁ клу", + "▁но я", + "▁re g", + "▁ reg", + "▁не боль", + "▁небо ль", + "▁с вет", + "▁све т", + "▁св ет", + "▁ свет", + "▁по зи", + "▁поз и", + "▁ пози", + "▁в за", + "▁вз а", + "▁с ве", + "▁св е", + "▁ све", + "ски ми", + "ск ими", + "ским и", + "с кими", + "▁у каза", + "▁ука за", + "▁указ а", + "▁у стано", + "▁уста но", + "▁ус тано", + "▁д оба", + "▁до ба", + "▁доб а", + "▁са ми", + "▁сам и", + "▁ сами", + "▁I I", + "▁ II", + "] .", + "те льное", + "тель ное", + "тельно е", + "▁Укра и", + "▁ '", + "ри ть", + "рит ь", + "р ить", + "▁ми ро", + "▁мир о", + "мыш лен", + "▁p ubl", + "▁in d", + "▁i nd", + "▁ ind", + "▁вос ста", + "ри н", + "р ин", + "ча й", + "ч ай", + "▁помощ ью", + "▁помощь ю", + "е шь", + "че скую", + "▁c ons", + "▁con s", + "▁co ns", + "ме нты", + "мен ты", + "мент ы", + "м енты", + "▁по хо", + "▁пох о", + "▁та кие", + "▁таки е", + "р д", + "▁м я", + "▁ мя", + "▁пре зиден", + "▁ президен", + "▁ab out", + "▁предста вля", + "▁вне ш", + "▁ста нови", + "▁станов и", + "▁стано ви", + "▁ станови", + "▁w here", + "▁wh ere", + "▁whe re", + "▁ where", + "or ld", + "фи ка", + "фик а", + "▁м ень", + "▁ме нь", + "▁мен ь", + "▁ мень", + "ва ло", + "вал о", + "▁сле дует", + "▁следу ет", + "▁ следует", + "▁ни когда", + "▁нико гда", + "▁y ears", + "▁year s", + "▁от дель", + "▁отде ль", + "▁отдел ь", + "▁ре волю", + "▁ револю", + "▁матери а", + "▁мате риа", + "pr o", + "p ro", + "▁э ффек", + "▁ эффек", + "▁с тар", + "▁ст ар", + "▁ста р", + "▁ стар", + "▁По э", + "ев ра", + "е вра", + "▁ро д", + "▁р од", + "▁ род", + "▁Th is", + "ст ру", + "стр у", + "с тру", + "▁те а", + "▁фран цу", + "en er", + "ene r", + "e ner", + "▁s erv", + "▁ser v", + "▁ serv", + "жи т", + "ж ит", + "o int", + "▁сказа ть", + "▁ска зать", + "в ли", + "▁вы ше", + "▁ выше", + "▁Л о", + "▁ Ло", + "зна ча", + "з нача", + "▁и склю", + "▁ис клю", + "▁иск лю", + "▁в ол", + "▁во л", + "▁ вол", + "ch e", + "c he", + "у м", + "▁о черед", + "▁оче ред", + "▁очер ед", + "▁ди ви", + "▁ диви", + "чи сле", + "чис ле", + "▁( \"", + "▁ (\"", + "ци а", + "ру ет", + "▁ф рон", + "▁к ня", + "▁кн я", + "▁p e", + "▁ pe", + "ни це", + "ниц е", + "▁д рев", + "▁др ев", + "▁дре в", + "▁f l", + "▁ fl", + "▁луч ше", + "тно й", + "т ной", + "же й", + "ж ей", + "ди и", + "▁ $", + "к с", + "▁террито рии", + "▁кон тро", + "▁контр о", + "▁ контро", + "▁в ключа", + "▁вклю ча", + "▁re m", + "▁r em", + "▁ rem", + "▁за бо", + "▁заб о", + "▁полу чил", + "▁получи л", + "▁к ро", + "▁кр о", + "▁ кро", + "▁t han", + "▁th an", + "▁на чала", + "▁нача ла", + "▁начал а", + "▁нач ала", + "▁ начала", + "▁по ра", + "▁пор а", + "▁ пора", + "▁б ри", + "▁ бри", + "▁И ва", + "▁Ив а", + "в се", + "лы х", + "л ых", + "ни будь", + "▁про дук", + "▁проду к", + "▁ продук", + "▁за клю", + "▁зак лю", + "▁s ome", + "▁so me", + "▁som e", + "▁Со вет", + "▁Сов ет", + "▁Сове т", + "▁ Совет", + "▁за ме", + "▁зам е", + "лд а", + "л да", + "▁о грани", + "▁огра ни", + "▁ма ло", + "▁ мало", + "▁re l", + "▁r el", + "▁ rel", + "ем ых", + "емы х", + "е мых", + "te d", + "t ed", + "че ским", + "чески м", + "▁нача ле", + "▁начал е", + "▁нач але", + "▁ начале", + "▁a ss", + "▁as s", + "▁ ass", + "вр е", + "в ре", + "дер ж", + "ra ns", + "ran s", + "r ans", + "▁рай она", + "▁район а", + "▁рас простра", + "▁распро стра", + "со на", + "сон а", + "с она", + "▁e ar", + "▁ ear", + "we en", + "w een", + "▁д ня", + "▁ дня", + "▁f e", + "▁ fe", + "ри ан", + "риа н", + "je ct", + "j ect", + "▁универ сите", + "▁перио д", + "▁пери од", + "▁цен тра", + "▁центр а", + "▁ центра", + "i x", + "▁е дин", + "▁еди н", + "▁ед ин", + "▁ един", + "▁про изо", + "▁произ о", + "▁прои зо", + "го м", + "г ом", + "ai d", + "a id", + "▁возможно сть", + "▁возмо жность", + "▁бы стро", + "▁быст ро", + "▁встре ча", + "▁встреч а", + "бл я", + "б ля", + "▁m ost", + "▁ most", + "си ть", + "сит ь", + "с ить", + "▁четы ре", + "▁четыр е", + "▁ четыре", + "ль ю", + "л ью", + "t s", + "▁a ct", + "▁ac t", + "▁ act", + "▁t hen", + "▁the n", + "▁th en", + "▁ then", + "ца ми", + "цам и", + "▁с ере", + "▁се ре", + "▁сер е", + "я м", + "k s", + "вле нии", + "в лении", + "l l", + "▁О с", + "▁ф евра", + "▁фе вра", + "в шей", + "▁ли бо", + "▁ либо", + "is hed", + "ish ed", + "▁опреде лен", + "▁з е", + "▁ зе", + "се р", + "с ер", + "for e", + "f ore", + "во да", + "вод а", + "в ода", + "▁пло ща", + "▁ми лли", + "▁ милли", + "▁э кс", + "▁эк с", + "▁ экс", + "ле нь", + "лен ь", + "л ень", + "та й", + "т ай", + "ро вал", + "ров ал", + "рова л", + "▁нача ль", + "▁начал ь", + "▁нач аль", + "▁ р", + "id ent", + "ide nt", + "ство вать", + "ствова ть", + "▁са мом", + "▁само м", + "▁сам ом", + "▁при ро", + "▁го воря", + "▁говор я", + "▁гово ря", + "че ском", + "ческо м", + "ну лся", + "нул ся", + "▁п я", + "▁ пя", + "▁вто рой", + "▁втор ой", + "▁второ й", + "ou n", + "o un", + "▁во сто", + "▁вос то", + "▁ восто", + "по лне", + "пол не", + "▁рабо ту", + "▁работ у", + "ul ar", + "ula r", + "▁Т и", + "▁ Ти", + "▁th rough", + "▁thr ough", + "пи сы", + "пис ы", + "е вич", + "▁ка за", + "▁каз а", + "▁ каза", + "▁осу ществ", + "▁S h", + "▁ Sh", + "▁бо га", + "▁бог а", + "ra d", + "r ad", + "▁ка ждый", + "▁каж дый", + "▁кажды й", + "ству ют", + "▁Бо ль", + "▁Бол ь", + "▁ Боль", + "яс ь", + "я сь", + "▁с рав", + "▁сра в", + "▁ср ав", + "шко м", + "ш ком", + "▁Ми ха", + "▁м еди", + "▁ме ди", + "▁мед и", + "▁ меди", + "▁во обще", + "▁та ким", + "▁так им", + "▁таки м", + "во льно", + "воль но", + "▁по ве", + "▁пов е", + "▁за мет", + "▁заме т", + "▁зам ет", + "▁к ры", + "▁кр ы", + "▁ кры", + "ка де", + "чно сти", + "ч ности", + "▁v er", + "▁ve r", + "▁ ver", + "ме нтов", + "мен тов", + "мент ов", + "▁говори т", + "▁говор ит", + "▁гово рит", + "лы е", + "бо ра", + "бор а", + "ю з", + "▁ра бот", + "▁рабо т", + "▁раб от", + "▁по скольку", + "a h", + "▁рай оне", + "▁район е", + "▁у ме", + "▁ум е", + "▁ уме", + "▁д ра", + "▁др а", + "▁ дра", + "ер у", + "е ру", + "▁s y", + "▁ sy", + "▁груп пы", + "▁групп ы", + "▁ группы", + "ду ма", + "дум а", + "д ума", + "ol og", + "o log", + "▁вз гля", + "нс кий", + "н ский", + "г на", + "▁ро ль", + "▁тя же", + "▁тяж е", + "▁разви тия", + "бле й", + "бл ей", + "б лей", + "▁к ур", + "▁ку р", + "▁ кур", + "ж о", + "ра ви", + "рав и", + "▁к рай", + "▁кра й", + "▁кр ай", + "▁за виси", + "▁зави си", + "▁ зависи", + "▁пы та", + "▁ пыта", + "▁m ade", + "▁st ud", + "▁ре али", + "▁реа ли", + "▁ реали", + "▁s uch", + "▁suc h", + "▁su ch", + "ша ть", + "шат ь", + "at ing", + "ati ng", + "a ting", + "▁Поэ тому", + "▁d uring", + "▁du ring", + "▁у зна", + "▁уз на", + "▁а нти", + "▁ан ти", + "▁ анти", + "▁с тала", + "▁ст ала", + "▁ста ла", + "▁стал а", + "▁s ub", + "▁su b", + "▁ sub", + "пе ни", + "пен и", + "тер бур", + "▁м ая", + "▁ма я", + "▁ мая", + "▁исто ч", + "ри ю", + "▁ Z", + "▁с тало", + "▁ста ло", + "▁стал о", + "ти ческих", + "тически х", + "▁Ге рма", + "▁Гер ма", + "▁с к", + "▁ ск", + "ле та", + "лет а", + "▁се годня", + "▁сего дня", + "co de", + "c ode", + "ча ст", + "час т", + "да ть", + "дат ь", + "ро я", + "▁Р Ф", + "▁ РФ", + "▁пси хо", + "▁ психо", + "▁поль зова", + "▁ пользова", + "▁l oc", + "▁lo c", + "▁об яза", + "▁обя за", + "▁го то", + "▁ гото", + "ро вание", + "рова ние", + "▁со зна", + "▁соз на", + "▁ созна", + "▁та кое", + "▁так ое", + "▁со вершенно", + "▁совер шенно", + "▁совершен но", + "му ще", + "▁м ат", + "▁ма т", + "▁ мат", + "те льным", + "тель ным", + "тельны м", + "il y", + "i ly", + "об раз", + "обра з", + "▁a m", + "▁ am", + "во дя", + "вод я", + "mer ic", + "me ric", + "хо дят", + "ходя т", + "ход ят", + "▁на ходится", + "▁находи тся", + "▁находит ся", + "▁наход ится", + "as on", + "a son", + "▁f orm", + "▁for m", + "▁ form", + "▁вы ступа", + "▁выступ а", + "да ря", + "дар я", + "▁з ву", + "▁зв у", + "▁ зву", + "над ле", + "▁c ent", + "▁ce nt", + "▁ cent", + "▁о писа", + "▁опи са", + "▁м ор", + "▁мо р", + "▁ мор", + "▁от ношения", + "▁отно шения", + "▁отноше ния", + "▁т ро", + "▁тр о", + "▁ тро", + "o h", + "▁доста точно", + "▁достато чно", + "▁боль шин", + "▁e nd", + "▁en d", + "▁ end", + "▁тра ди", + "сла в", + "сл ав", + "с лав", + "де ния", + "oll ow", + "се н", + "с ен", + "▁не из", + "▁неи з", + "▁bet ween", + "p r", + "ль зя", + "▁о гром", + "▁ог ром", + "▁де тей", + "▁дет ей", + "▁дете й", + "он и", + "о ни", + "▁э тому", + "▁это му", + "▁этом у", + "▁про води", + "▁прово ди", + "▁провод и", + "▁у кра", + "ми ра", + "мир а", + "▁м ногие", + "▁мно гие", + "▁многи е", + "▁не е", + "▁ нее", + "▁ре ли", + "▁ рели", + "те к", + "т ек", + "▁ме сте", + "▁мест е", + "▁дея тельности", + "▁деятель ности", + "▁ деятельности", + "▁О р", + "▁ Ор", + "▁пу бли", + "▁ публи", + "▁К роме", + "▁Кро ме", + "он ов", + "оно в", + "о нов", + "▁от ве", + "▁по ро", + "▁пор о", + "▁ поро", + "▁м еха", + "▁ме ха", + "▁ меха", + "ство вал", + "ствова л", + "▁Г у", + "▁ Гу", + "▁вы с", + "▁ выс", + "▁ком пании", + "▁компа нии", + "to n", + "t on", + "ev er", + "e ver", + "▁о боро", + "▁обо ро", + "ст ом", + "сто м", + "с том", + "il m", + "▁тыся ч", + "in s", + "i ns", + "▁c ol", + "▁co l", + "▁ col", + "лк о", + "л ко", + "▁пра ва", + "▁прав а", + "▁ права", + "▁при ве", + "▁прив е", + "по в", + "п ов", + "▁в сей", + "▁все й", + "▁вс ей", + "ли на", + "лин а", + "л ина", + "▁харак тер", + "ar s", + "▁m ov", + "то н", + "т он", + "▁ко нечно", + "▁коне чно", + "▁смер ти", + "▁ка ждо", + "▁каж до", + "те льности", + "тель ности", + "тельно сти", + "▁с нова", + "▁сно ва", + "▁ снова", + "о з", + "▁ве дь", + "▁вед ь", + "▁ ведь", + "чи к", + "▁с це", + "▁ сце", + "it ies", + "i ties", + "▁о конча", + "▁окон ча", + "▁мно гих", + "▁многи х", + "зе м", + "з ем", + "ai r", + "a ir", + "▁соста вля", + "▁состав ля", + "ма х", + "▁Ч а", + "▁ Ча", + "▁ию ля", + "el f", + "ли т", + "л ит", + "po s", + "p os", + "▁чемпи она", + "▁чемпион а", + "▁А нд", + "▁Ан д", + "▁ Анд", + "ci al", + "c ial", + "▁са мого", + "▁само го", + "▁дол го", + "▁долг о", + "▁ долго", + "▁пу нк", + "▁ пунк", + "▁n o", + "▁ no", + "лк а", + "л ка", + "ге р", + "г ер", + "ре ние", + "▁со про", + "▁in v", + "▁ст рук", + "▁стру к", + "▁ струк", + "▁при надле", + "го вор", + "гов ор", + "гово р", + "ч ку", + "▁хо те", + "▁х оте", + "▁В оз", + "▁Во з", + "▁ Воз", + "▁in c", + "▁ inc", + "по м", + "п ом", + "▁us ed", + "▁use d", + "▁ used", + "ни ками", + "ника ми", + "никам и", + "a z", + "at t", + "a tt", + "ov ern", + "over n", + "▁тре бу", + "▁в нимание", + "▁внима ние", + "ou se", + "ous e", + "o use", + "▁наи более", + "ща ет", + "▁о ст", + "▁ос т", + "га н", + "г ан", + "ar g", + "▁а б", + "ди я", + "ли ть", + "лит ь", + "л ить", + "al s", + "a ls", + "ik e", + "i ke", + "▁од ним", + "▁одни м", + "▁кон ф", + "▁A n", + "▁ An", + "▁l ater", + "▁la ter", + "▁late r", + "▁lat er", + "ли бо", + "ги е", + "че ства", + "щи м", + "щ им", + "со к", + "с ок", + "ла ми", + "лам и", + "▁p ol", + "▁po l", + "▁сен тября", + "▁мо гли", + "▁мог ли", + "ствен ные", + "стве нные", + "ственны е", + "▁сооб щи", + "an y", + "a ny", + "ри а", + "▁за яви", + "▁зая ви", + "тны е", + "т ные", + "▁о ши", + "мо би", + "e x", + "ро б", + "р об", + "▁произ води", + "▁производ и", + "▁произво ди", + "▁ производи", + "▁м она", + "▁мо на", + "▁мон а", + "▁ мона", + "▁органи зации", + "▁организа ции", + "▁тех ни", + "▁ техни", + "ю сь", + "he n", + "h en", + "жны е", + "ж ные", + "▁d ef", + "▁de f", + "▁ def", + "▁авгу ста", + "▁ию ня", + "▁хо зяй", + "▁хозя й", + "▁ хозяй", + "ду т", + "д ут", + "д ки", + "▁b l", + "▁ bl", + "▁при ходи", + "▁приход и", + "▁прихо ди", + "el d", + "e ld", + "▁ко личество", + "▁количе ство", + "▁Б ер", + "▁Бе р", + "▁ Бер", + "▁бли з", + "по зи", + "▁p res", + "▁pre s", + "▁pr es", + "нно го", + "н ного", + "▁ру ковод", + "▁руко вод", + "▁в сю", + "▁вс ю", + "смо тря", + "смотр я", + "за д", + "з ад", + "▁про ве", + "▁руко води", + "▁руковод и", + "▁воз ник", + "e y", + "ot her", + "oth er", + "o ther", + "▁пре вра", + "▁пр евра", + "▁вой ска", + "▁войск а", + "▁c o", + "▁ co", + "▁ад министра", + "▁на шей", + "▁наш ей", + "▁наше й", + "if e", + "i fe", + "▁я вляются", + "▁явля ются", + "▁яв ляются", + "▁сто я", + "▁ стоя", + "an n", + "c c", + "ве дение", + "веде ние", + "▁ма рта", + "▁мар та", + "▁дела ть", + "▁ делать", + "З а", + "▁д ней", + "▁дне й", + "▁С ан", + "▁Са н", + "▁ Сан", + "зе й", + "з ей", + "▁сов сем", + "ie w", + "i ew", + "▁фо то", + "▁ фото", + "ти л", + "т ил", + "▁ок тября", + "▁а нали", + "▁ана ли", + "▁ан али", + "▁ анали", + "▁сте пени", + "пе й", + "п ей", + "▁янва ря", + "тны й", + "т ный", + "▁не сколь", + "▁неско ль", + "▁нес коль", + "▁c all", + "▁cal l", + "пи си", + "пис и", + "▁по и", + "те лями", + "теля ми", + "телям и", + "тел ями", + "▁го дах", + "▁года х", + "жа л", + "ж ал", + "чно м", + "ч ном", + "if ic", + "i fic", + "▁П ред", + "▁Пре д", + "▁ Пред", + "▁по чему", + "▁поче му", + "▁соста ве", + "▁состав е", + "▁A meric", + "▁ Americ", + "ie t", + "i et", + "ло жения", + "ложе ния", + "▁пря мо", + "тк а", + "т ка", + "▁Фе дера", + "▁со еди", + "▁ соеди", + "▁и мени", + "▁име ни", + "▁имен и", + "не ний", + "▁кото рым", + "▁которы м", + "▁слу чай", + "▁случа й", + "▁ра зре", + "▁раз ре", + "du c", + "d uc", + "жи ть", + "жит ь", + "ж ить", + "▁вы з", + "ic s", + "▁th ree", + "▁thr ee", + "ко нец", + "кон ец", + "коне ц", + "▁от сут", + "▁отс ут", + "ou th", + "out h", + "o uth", + "! \"", + "ру с", + "р ус", + "ве ро", + "вер о", + "▁фран цуз", + "▁францу з", + "▁ француз", + "▁Ф и", + "▁ Фи", + "Н а", + "▁фи лосо", + "▁фило со", + "ло ва", + "лов а", + "▁пре ду", + "▁пред у", + "ку ль", + "▁дей ствия", + "▁действи я", + "in ce", + "inc e", + "i nce", + "op le", + "o ple", + "▁пра кти", + "▁прак ти", + "▁ин ститу", + "нт а", + "н та", + "ет ы", + "е ты", + "or th", + "ort h", + "is ion", + "▁то й", + "▁т ой", + "▁ той", + "▁s et", + "▁se t", + "▁ set", + "▁за вер", + "▁заве р", + "▁се зо", + "▁си лы", + "▁сил ы", + "▁p os", + "▁po s", + "▁ pos", + "▁д р", + "▁ др", + "▁f ound", + "▁с ни", + "▁ сни", + "ва лось", + "вало сь", + "▁обы чно", + "ли чие", + "личи е", + "▁пре ступ", + "▁пре жде", + "▁преж де", + "▁в ид", + "▁ви д", + "▁ вид", + "▁по вы", + "▁пов ы", + "те ре", + "тер е", + "т ере", + "шн о", + "ш но", + "▁ц ар", + "▁ца р", + "▁ цар", + "бе н", + "б ен", + "▁e nt", + "▁en t", + "▁ ent", + "ст но", + "с тно", + "ie r", + "i er", + "▁на зад", + "▁наз ад", + "ра м", + "р ам", + "Т А", + "▁дру га", + "▁друг а", + "ro und", + "r ound", + "▁n um", + "▁дол жна", + "▁долж на", + "▁ви ди", + "▁вид и", + "▁ види", + "ме нь", + "мен ь", + "м ень", + "в ь", + "▁не которые", + "▁некоторы е", + "▁некото рые", + "at her", + "ath er", + "a ther", + "▁г ер", + "▁ге р", + "▁ гер", + "▁т вор", + "▁тво р", + "▁тв ор", + "▁ твор", + "▁се мь", + "▁сем ь", + "em ent", + "e ment", + "ми я", + "▁з да", + "▁ зда", + "▁а л", + "▁ ал", + "по р", + "п ор", + "▁об раз", + "▁обра з", + "▁ образ", + "п ле", + "▁коман ди", + "▁команд и", + "▁ми ре", + "▁мир е", + "▁дека бря", + "▁су б", + "▁по ряд", + "де ля", + "дел я", + "▁be ing", + "iv ed", + "ive d", + "i ved", + "▁у частие", + "▁участи е", + "тно го", + "т ного", + "▁эк спе", + "▁экс пе", + "▁И с", + "▁ Ис", + "ту ре", + "тур е", + "т уре", + "al e", + "a le", + "▁ра вно", + "▁рав но", + "a j", + "▁pro v", + "▁pr ov", + "ско ре", + "скор е", + "▁ком му", + "▁ комму", + "▁д во", + ". :", + "▁между народ", + "▁с виде", + "▁сви де", + "▁св иде", + "▁до пол", + "▁с ъ", + "ни на", + "нин а", + "н ина", + "ow er", + "o wer", + "▁фи нан", + "▁фина н", + "▁фин ан", + "co m", + "c om", + "▁д вига", + "▁дви га", + "▁ двига", + "▁ре шение", + "▁реше ние", + "▁а п", + "▁ ап", + "▁боль шой", + "▁большо й", + "▁з оло", + "▁зо ло", + "▁ золо", + "t y", + "in es", + "ine s", + "i nes", + "во к", + "в ок", + "ли к", + "сс ы", + "с сы", + "▁w ell", + "▁we ll", + "▁ well", + "ло жение", + "ложе ние", + "▁ар ти", + "▁арт и", + "▁при бы", + "емы е", + "е мые", + "▁g o", + "▁ go", + "ве й", + "в ей", + "vel op", + "ли м", + "л им", + "▁у правления", + "▁упра вления", + "▁# #", + "▁ ##", + "▁ка пита", + "▁капи та", + "▁пол ностью", + "▁полно стью", + "ди на", + "дин а", + "д ина", + "▁от мет", + "▁отме т", + "на дца", + "над ца", + "ow ever", + "пер вые", + "▁апре ля", + "пра в", + "пр ав", + "п рав", + "то ров", + "тор ов", + "торо в", + "кла ды", + "клад ы", + "▁S he", + "▁Sh e", + "ли во", + "лив о", + "er t", + "хо м", + "х ом", + "▁су дь", + "▁суд ь", + "де л", + "at ive", + "ati ve", + "▁ко ле", + "▁к оле", + "▁кол е", + "▁ коле", + "▁фор ма", + "▁фо рма", + "▁форм а", + "▁ форма", + "▁по во", + "▁пов о", + "ев а", + "е ва", + "▁A t", + "▁з ве", + "▁зв е", + "▁ зве", + "▁да нных", + "▁дан ных", + "▁в спо", + "▁вс по", + "▁ком плек", + "▁комп лек", + "▁ комплек", + "ra l", + "r al", + "▁сли шком", + "▁м ере", + "▁ме ре", + "▁мер е", + "▁п опа", + "▁по па", + "▁поп а", + "▁не с", + "▁ нес", + "▁се рь", + "▁сер ь", + "▁о би", + "▁об и", + "▁в ок", + "▁во к", + "▁ вок", + "▁г г", + "▁ гг", + "▁d ec", + "▁de c", + "▁с ре", + "▁ср е", + "▁ сре", + "▁проис ходит", + "▁происхо дит", + "▁со бира", + "мо р", + "м ор", + "▁с пу", + "▁обла да", + "▁обл ада", + "▁то н", + "▁т он", + "▁ тон", + "да ми", + "дам и", + "st em", + "ste m", + "▁ти па", + "▁тип а", + "▁по ко", + "па сности", + "пас ности", + "в шая", + "мы х", + "м ых", + "▁о свобо", + "▁ос вобо", + "is e", + "i se", + "▁та кого", + "▁ни ми", + "▁н ими", + "▁ним и", + "▁ ними", + "ре менно", + "ремен но", + "рем енно", + "s s", + "ч ную", + "▁сто ит", + "▁стои т", + "▁ стоит", + "▁исполь зовать", + "▁использова ть", + "▁ва риан", + "▁вариа н", + "▁к ино", + "▁ки но", + "▁кин о", + "▁ кино", + "ль ном", + "льно м", + "▁про стран", + "▁прос тран", + "▁прост ран", + "▁государ ства", + "▁государств а", + "▁во ору", + "▁воо ру", + "▁по вто", + "▁пов то", + "▁ <", + "▁с про", + "▁по верх", + "▁повер х", + "гра д", + "гр ад", + "г рад", + "as h", + "a sh", + "ни ях", + "ния х", + "▁спе циали", + "▁специ али", + "го тов", + "гото в", + "ur y", + "u ry", + "▁again st", + "▁bec ame", + "▁у ви", + "▁пер вой", + "▁перво й", + "▁а ль", + "▁ал ь", + "▁ аль", + "▁Э ти", + "▁за хва", + "▁о те", + "▁от е", + "▁ оте", + "▁на ходя", + "▁наход я", + "▁от да", + "▁ноя бря", + "▁P ro", + "▁Pr o", + "▁ Pro", + "ка р", + "к ар", + "▁по пу", + "▁поп у", + "▁с на", + "▁ сна", + "▁пу ти", + "▁пут и", + "▁m any", + "▁man y", + "▁о фициаль", + "▁офи циаль", + "▁во ды", + "▁вод ы", + "▁ воды", + "▁глу бо", + "▁с тол", + "▁ст ол", + "▁сто л", + "▁ стол", + "▁Б и", + "▁ Би", + "▁вза имо", + "▁взаим о", + "▁мо щ", + "▁ мощ", + "со н", + "с он", + "бо м", + "б ом", + "▁т реть", + "▁тре ть", + "▁тр еть", + "▁ треть", + "▁кар ти", + "▁карт и", + "▁ *", + "мы е", + "▁wh ile", + "▁ while", + "▁не льзя", + "ви д", + "в ид", + "▁же лез", + "▁желе з", + "▁жел ез", + "е го", + "▁к ам", + "▁ка м", + "▁ кам", + "▁t rans", + "▁tra ns", + "▁tr ans", + "▁об щества", + "▁обще ства", + "▁обществ а", + "te n", + "t en", + "те льность", + "тель ность", + "тельно сть", + "ни ц", + "ро го", + "рог о", + "▁за ста", + "▁зас та", + "▁a dd", + "▁ad d", + "▁ add", + "▁e m", + "▁ em", + "is m", + "i sm", + "▁анг лий", + "▁ англий", + "ча ть", + "чат ь", + "▁Ш а", + "▁ Ша", + "le d", + "l ed", + "кто ра", + "ктор а", + "к тора", + "▁w ill", + "▁s ur", + "▁su r", + "▁и мя", + "▁им я", + "▁лег ко", + "▁б уд", + "▁бу д", + "▁ret urn", + "▁дви жения", + "▁f ollow", + "▁бо лез", + "▁бол ез", + "▁боле з", + "▁те бя", + "д лен", + "▁sec ond", + "aus e", + "au se", + "a use", + "▁мно же", + "▁д ы", + "▁ ды", + "▁вы да", + "▁о ружи", + "▁ору жи", + "▁p h", + "▁ ph", + "▁за кры", + "▁зак ры", + "те ря", + "тер я", + "▁меха ни", + "▁ .", + "ез д", + "е зд", + "c k", + "▁го дов", + "▁год ов", + "ма на", + "ман а", + "м ана", + "во в", + "в ов", + "но вь", + "нов ь", + "▁про мышлен", + "▁ промышлен", + "▁f am", + "▁fa m", + "in ed", + "ine d", + "i ned", + "▁ди ре", + "it s", + "i ts", + "▁b ack", + "▁ back", + "▁объ еди", + "▁объе ди", + "но си", + "нос и", + "н оси", + "▁на ме", + "▁нам е", + "▁ наме", + "же нием", + "жение м", + "▁сред ства", + "▁средств а", + "▁ >", + "▁на чал", + "▁нача л", + "▁нач ал", + "▁е сте", + "▁им пера", + "▁импе ра", + "▁импер а", + "so n", + "s on", + "ти ческие", + "тически е", + "▁уда лось", + "▁тех нологи", + "▁техно логи", + "▁ технологи", + "▁f ilm", + "▁fil m", + "▁ду хов", + "▁дух ов", + "▁духо в", + "▁ты с", + "er n", + "ля х", + "л ях", + "▁о казыва", + "▁ока зыва", + "er m", + "e rm", + "ствен ным", + "стве нным", + "ственны м", + "▁ру ки", + "▁рук и", + "ль ную", + "▁а на", + "▁ан а", + "▁ ана", + "▁по лови", + "▁поло ви", + "▁полов и", + "▁т ай", + "▁та й", + "▁ тай", + "▁зна чение", + "те льная", + "тель ная", + "тельна я", + "▁be fore", + "жи л", + "ж ил", + "▁инте рес", + "▁интере с", + "▁кор пу", + "▁d ay", + "▁ day", + "▁C l", + "▁ Cl", + "▁на ши", + "▁наш и", + "▁насе ления", + "ствен ное", + "стве нное", + "ственно е", + "▁in st", + "▁ins t", + "пу та", + "пут а", + "▁по жа", + "▁ пожа", + "▁по ги", + "жны й", + "ж ный", + "▁за па", + "▁З ем", + "▁Зе м", + "ни ли", + "нил и", + "н или", + "? \"", + "▁с ил", + "▁си л", + "▁ сил", + "ни цу", + "ниц у", + "▁о жида", + "▁ожи да", + "ро е", + "р ое", + "▁ино гда", + "▁обна ружи", + "▁обнару жи", + "р ё", + "▁М ак", + "▁Ма к", + "▁ Мак", + "нк а", + "н ка", + "▁и то", + "em b", + "e mb", + "д ко", + "ры в", + "хо т", + "х от", + "▁а н", + "▁ ан", + "x t", + "▁о щу", + "▁с ум", + "▁су м", + "▁пред прия", + "▁предпри я", + "▁вер си", + "▁re le", + "▁rel e", + "▁де не", + "▁ден е", + "▁ дене", + "▁разли чных", + "▁ \\", + "кла д", + "кл ад", + "к лад", + "▁пар тии", + "▁парти и", + "вле ны", + "влен ы", + "в лены", + "▁о ди", + "▁од и", + "▁под держ", + "y s", + "та ли", + "тал и", + "т али", + "▁ма лень", + "am es", + "ame s", + "a mes", + "▁o wn", + "▁ own", + "▁се кре", + "▁сек ре", + "▁ секре", + "▁м ой", + "▁мо й", + "▁ мой", + "▁пе с", + "pl e", + "p le", + "▁i f", + "▁ if", + "▁у ничто", + "▁уни что", + "▁a ny", + "▁an y", + "▁ any", + "▁ л", + "сту пил", + "ступ ил", + "ступи л", + "ле ко", + "лек о", + "ре е", + "▁го роде", + "▁горо де", + "▁город е", + "▁наз вание", + "▁назва ние", + "▁у строй", + "▁устро й", + "▁ устрой", + "▁т ур", + "▁ту р", + "▁ тур", + "ди й", + "▁от лича", + "▁отли ча", + "▁г ро", + "▁гр о", + "▁ гро", + "-- --", + "▁авто моби", + "▁не доста", + "▁недо ста", + "▁te am", + "сто ит", + "ter s", + "t ers", + "▁са мых", + "▁самы х", + "▁сам ых", + "▁но вые", + "▁ новые", + "▁Ч ер", + "▁Че р", + "▁ Чер", + "▁X V", + "▁ XV", + "▁ка кие", + ".. ..", + "... .", + ". ...", + "шё л", + "ш ёл", + "▁не воз", + "▁нев оз", + "▁нево з", + "▁си стема", + "▁систе ма", + "▁сист ема", + "▁систем а", + "▁с воем", + "▁сво ем", + "▁свое м", + "ut ion", + "u tion", + "га ми", + "гам и", + "▁чи сло", + "▁по ку", + "ты м", + "сре д", + "с ред", + "▁весь ма", + "▁февра ля", + "▁pe ople", + "▁е вро", + "▁ев ро", + "▁ евро", + "шт а", + "ш та", + "▁в полне", + "▁Ва си", + "▁Вас и", + "e b", + "▁станови тся", + "▁станов ится", + "▁стано вится", + "▁s aid", + "ны не", + "ме ть", + "мет ь", + "м еть", + "ч о", + "ре м", + "р ем", + "рк о", + "р ко", + "▁сим во", + "▁за пад", + "▁запа д", + "▁ запад", + "▁худо ж", + "▁s chool", + "▁sch ool", + "▁рабо те", + "▁работ е", + "▁раб оте", + "▁F or", + "▁ For", + "▁Моск ве", + "ющи ми", + "ющим и", + "ю щими", + "вле ка", + "в лека", + "т бо", + "ви ча", + "вич а", + "▁и сти", + "▁ис ти", + "▁ист и", + "▁ исти", + "▁со лда", + "фор ми", + "форм и", + "дж а", + "д жа", + "ce pt", + "▁тре х", + "▁некоторы х", + "▁некото рых", + "нк и", + "н ки", + "▁в оло", + "▁во ло", + "▁вол о", + "▁ воло", + "▁с ю", + "▁ сю", + "ль я", + "л ья", + "ба ты", + "бат ы", + "че нии", + "ra ct", + "rac t", + "r act", + "▁но вых", + "▁нов ых", + "▁ новых", + "ша ет", + "▁жур на", + "ow s", + "вши м", + "в шим", + "▁I nd", + "▁In d", + "▁ Ind", + "▁наз ва", + "▁A fter", + "▁Af ter", + "▁п ять", + "▁пя ть", + "▁пят ь", + "▁ пять", + "in n", + "юз а", + "ю за", + "▁при обре", + "▁прио бре", + "▁приоб ре", + "на вли", + "нав ли", + "▁ре з", + "▁р ез", + "▁ рез", + "ul l", + "u ll", + "▁l ead", + "▁le ad", + "▁но рма", + "▁нор ма", + "▁норм а", + "▁ норма", + "сси она", + "ссион а", + "▁от каза", + "▁отка за", + "▁отказ а", + "ща ется", + "щает ся", + "▁с оба", + "▁со ба", + "▁соб а", + "▁име ют", + "▁имею т", + "▁пре доста", + "▁пред оста", + "▁предо ста", + "ди л", + "д ил", + "▁S c", + "▁ Sc", + "ur es", + "ure s", + "u res", + "▁п рак", + "▁пра к", + "▁пр ак", + "▁c ould", + "▁cou ld", + "де м", + "д ем", + "an k", + "▁к уда", + "▁ку да", + "▁ куда", + "ва лась", + "вала сь", + "та ки", + "так и", + "че нием", + "чение м", + "▁ни з", + "▁н из", + "▁ низ", + "▁о то", + "▁от о", + "▁до бро", + "▁доб ро", + "▁ добро", + "▁Во сто", + "▁Вос то", + "▁ Восто", + "▁а ре", + "▁ар е", + "не нии", + "▁расска за", + "▁расс каза", + "▁рассказ а", + "се й", + "с ей", + "▁ре ки", + "▁рек и", + "но временно", + "нов ременно", + "новремен но", + "▁раз ных", + "ir ect", + "ire ct", + "i rect", + "ри т", + "р ит", + "▁действи тельно", + "▁ко го", + "▁ кого", + "▁возможно сти", + "▁возмо жности", + "▁ре ше", + "▁до вольно", + "▁доволь но", + "▁дово льно", + "при нима", + "▁Это т", + "ie ld", + "iel d", + "i eld", + "▁в новь", + "▁рабо чи", + "▁ин формации", + "▁информа ции", + "▁d id", + "▁di d", + "▁даль ней", + "те т", + "т ет", + "▁кри ти", + "вле нием", + "вление м", + "в лением", + "▁ре ак", + "▁реа к", + "че к", + "ч ек", + "▁к роме", + "▁кро ме", + "▁кром е", + "ar ri", + "▁фор ми", + "▁форм и", + "▁ форми", + "f l", + "▁ре гу", + "▁ра н", + "▁р ан", + "▁ ран", + "фи ци", + "▁мы сли", + "▁мыс ли", + "▁ мысли", + "стро ен", + "строе н", + "да х", + "▁ф ло", + "▁ фло", + "f ul", + "▁ра в", + "▁р ав", + "▁ рав", + "ще м", + "щ ем", + "is ts", + "ist s", + "▁це ли", + "▁ра дио", + "▁ради о", + "▁воз мо", + "▁ возмо", + "▁вы зыва", + "▁воз ника", + "▁возник а", + "бра н", + "бр ан", + "б ран", + "▁ap pe", + "▁app e", + "▁ appe", + "▁наблю да", + "▁са мым", + "▁самы м", + "▁W h", + "▁спо со", + "▁Росси йской", + "▁Россий ской", + "нно е", + "н ное", + "ма р", + "м ар", + "▁ar t", + "▁ art", + "▁з о", + "▁ зо", + "▁о ри", + "▁ор и", + "▁ ори", + "жно го", + "ж ного", + "▁за я", + "▁з ая", + "гл и", + "г ли", + "ся т", + "с ят", + "▁о бви", + "▁об ви", + "▁ц а", + "▁ ца", + "ри с", + "р ис", + "же ний", + "ivers ity", + "г ну", + "по ли", + "пол и", + "не нию", + "▁d if", + "▁di f", + "▁при сут", + "▁прис ут", + "▁прису т", + "ст ями", + "стя ми", + "стям и", + "с тями", + "▁b oth", + "▁bo th", + "по д", + "п од", + "ше му", + "шем у", + "й н", + "де ле", + "дел е", + "▁s ign", + "пи сь", + "пис ь", + "▁з рения", + "▁зре ния", + "▁ зрения", + "▁ф он", + "▁фо н", + "▁ фон", + "д ж", + "a x", + "чно сть", + "ч ность", + "▁под твер", + "▁p op", + "▁po p", + "са ми", + "сам и", + "▁о дном", + "▁од ном", + "▁одно м", + "ro n", + "r on", + "▁тран спо", + "▁транс по", + "c y", + "на чала", + "нача ла", + "ir ed", + "ire d", + "i red", + "▁ос нове", + "▁основ е", + "▁осно ве", + "▁хо ло", + "▁х оло", + "▁хол о", + "▁ холо", + "at ure", + "atur e", + "a ture", + "▁includ ing", + "▁ including", + "нна я", + "н ная", + "▁соответ ству", + "но с", + "н ос", + "▁de velop", + "▁куль туры", + "▁культур ы", + "емы й", + "е мый", + "▁кон ца", + "▁конц а", + "▁o b", + "▁ ob", + "та ть", + "▁но вого", + "▁ново го", + "▁ нового", + "▁ча сов", + "▁час ов", + "pe d", + "p ed", + "бо в", + "б ов", + "▁m et", + "▁me t", + "▁ met", + "ти ю", + "ти ли", + "тил и", + "т или", + "э н", + "▁ро да", + "▁род а", + "▁р ода", + "▁ рода", + "чным и", + "чны ми", + "ч ными", + "▁те бе", + "▁/ /", + "▁ //", + "▁рас ши", + "de r", + "d er", + "▁са мой", + "▁само й", + "▁сам ой", + "ши ть", + "шит ь", + "ш ить", + "▁рас сматри", + "▁расс матри", + "ut e", + "u te", + "му ю", + "м ую", + "би ли", + "бил и", + "б или", + "▁ре шения", + "▁реше ния", + "▁s er", + "▁se r", + "▁ ser", + "хо дить", + "ходи ть", + "ход ить", + "ходит ь", + "▁о знача", + "▁оз нача", + "▁озна ча", + "ро с", + "р ос", + "ло гии", + "логи и", + "▁фор му", + "▁форм у", + "▁d ist", + "▁dis t", + "▁di st", + "▁день ги", + "overn ment", + "▁C ol", + "▁Co l", + "▁ Col", + "▁e st", + "▁es t", + "▁ est", + "iv er", + "ive r", + "i ver", + "▁но вый", + "▁ новый", + "до ров", + "доро в", + "дор ов", + "чи ты", + "чит ы", + "к ва", + "▁ге ро", + "▁гер о", + "▁в ет", + "▁ве т", + "▁ вет", + "▁кни ги", + "▁книг и", + "но вич", + "нови ч", + "ve d", + "v ed", + "▁д ом", + "▁до м", + "▁ дом", + "▁Мо сков", + "▁Моск ов", + "▁ Москов", + "▁за пре", + "▁при з", + "▁пр из", + "▁ приз", + "▁ко ллек", + "▁кол лек", + "▁колле к", + "ше д", + "ш ед", + "▁h igh", + "▁hig h", + "же те", + "жет е", + "ж ете", + "▁m us", + "▁помо щи", + "▁помощ и", + "▁Т ем", + "▁Те м", + "▁по свя", + "▁пос вя", + "▁с лово", + "▁сло во", + "▁слов о", + "ст ья", + "сть я", + "с тья", + "▁Александ р", + "▁ре ко", + "▁рек о", + "о графи", + "▁б ю", + "▁ бю", + "▁B l", + "▁ Bl", + "▁несколь ких", + "▁ли ца", + "▁лиц а", + "▁ лица", + "ми н", + "м ин", + "▁c ap", + "▁то чки", + "▁точ ки", + "▁ точки", + "t ing", + "▁пер сона", + "▁персо на", + "▁у си", + "▁ус и", + "▁s m", + "▁ sm", + "ри л", + "р ил", + "▁m od", + "▁ mod", + "▁m on", + "▁ mon", + "ve n", + "v en", + "ual ly", + "u ally", + "▁ли цо", + "▁лиц о", + "се д", + "с ед", + "▁p ublic", + "▁publ ic", + "▁у з", + "▁ уз", + "▁Те перь", + "▁f our", + "▁m ain", + "С К", + "▁цер ков", + "▁церк ов", + "ня ет", + "ain ed", + "ai ned", + "aine d", + "a ined", + "че ство", + "▁c ount", + "▁co unt", + "▁cou nt", + "▁coun t", + "▁С вя", + "▁Св я", + "▁ Свя", + "са м", + "с ам", + "▁ch ar", + "▁ни кто", + "▁ник то", + "▁во круг", + "▁вок руг", + "▁утвер жда", + "▁гу бер", + "▁губ ер", + "▁по следова", + "▁после дова", + "▁бо я", + "▁опреде ля", + "▁не зависи", + "▁неза виси", + "мы м", + "▁пер во", + "▁b ro", + "▁br o", + "▁ bro", + "▁на йти", + "▁най ти", + "▁З десь", + "▁Та ким", + "▁Так им", + "▁e d", + "▁ ed", + "бе ре", + "бер е", + "б ере", + "▁бе спо", + "▁бес по", + "▁э по", + "iz ed", + "ize d", + "▁услови ях", + "▁условия х", + "▁се вер", + "▁Укра ины", + "▁Украи ны", + "▁Украин ы", + "▁рабо тать", + "▁работа ть", + "лы ша", + "ез да", + "езд а", + "е зда", + "ob er", + "obe r", + "o ber", + "К а", + "слу жи", + "служ и", + "▁сов ме", + "▁сторо ну", + "▁сторон у", + "te nd", + "ten d", + "t end", + "▁на по", + "че та", + "чет а", + "ня ется", + "няет ся", + "вар ти", + "▁на пря", + "▁напр я", + "сс у", + "с су", + "кре п", + "▁од ну", + "ни ку", + "ник у", + "ri ng", + "r ing", + "▁the se", + "▁th ese", + "le y", + "l ey", + "▁\\ -", + "ar ed", + "are d", + "a red", + "▁C on", + "▁Co n", + "▁ Con", + "▁J oh", + "▁Jo h", + "▁фу тбо", + "▁фут бо", + "ж д", + "за ция", + "▁ре лиги", + "▁рели ги", + "▁Ц ен", + "▁Це н", + "▁ Цен", + "▁б ло", + "▁ бло", + "ла м", + "л ам", + "us s", + "u ss", + "▁rec ord", + "▁по про", + "▁поп ро", + "▁a cc", + "▁ac c", + "▁ acc", + "▁и дет", + "▁иде т", + "▁ид ет", + "К о", + "ле нию", + "лени ю", + "ше т", + "ш ет", + "▁g roup", + "▁gro up", + "▁раз ру", + "▁на ших", + "▁наши х", + "▁наш их", + "ер ен", + "ере н", + "е рен", + "▁вы бо", + "ню ю", + "▁гражда н", + "▁А нг", + "▁Ан г", + "це м", + "ц ем", + "▁очеред ь", + "ла х", + "▁З на", + "▁ Зна", + "го й", + "г ой", + "▁ме ньше", + "▁мень ше", + "▁c re", + "▁cr e", + "▁se ason", + "▁sea son", + "t il", + "шло сь", + "ш лось", + "ен та", + "ент а", + "е нта", + "▁э пи", + "▁ эпи", + "га ет", + "▁А в", + "жа й", + "ж ай", + "▁ка са", + "▁ каса", + "▁меди ци", + "сте п", + "▁у м", + "▁ ум", + "ть я", + "т ья", + "ст р", + "с тр", + "ристи ан", + "pe ct", + "p ect", + "▁а каде", + "▁X I", + "и с", + "▁у с", + "▁ ус", + "▁пер вого", + "▁перво го", + "▁по теря", + "▁потер я", + "▁поте ря", + "▁Un ited", + "▁О те", + "▁От е", + "▁ми нут", + "▁мину т", + "▁мин ут", + "▁с кры", + "▁ск ры", + "▁ скры", + "t t", + "▁ц вет", + "▁цве т", + "▁ цвет", + "ру ется", + "рует ся", + "▁б ом", + "▁бо м", + "▁ бом", + "▁харак тери", + "▁характер и", + "▁ характери", + "▁За тем", + "im es", + "ime s", + "i mes", + "▁с м", + "▁ см", + "пе чат", + "печа т", + "▁практи чески", + "▁прак тически", + "▁кла сси", + "▁класс и", + "▁ класси", + "▁ра м", + "▁р ам", + "▁ рам", + "тро м", + "тр ом", + "т ром", + "▁st art", + "▁star t", + "▁и ска", + "▁ис ка", + "▁иск а", + "▁ иска", + "ф у", + "▁в д", + "▁ко нку", + "▁кон ку", + "▁в первые", + "▁зна чит", + "▁значи т", + "▁знач ит", + "▁из мени", + "▁изме ни", + "▁измен и", + "зо р", + "з ор", + "▁l ong", + "▁lo ng", + "▁ long", + "▁м ол", + "▁мо л", + "▁ мол", + "▁са мое", + "▁само е", + "▁сам ое", + "▁f in", + "▁о де", + "▁од е", + "▁пу ть", + "▁пут ь", + "▁у мер", + "▁уме р", + "▁ум ер", + "▁вну три", + "▁внут ри", + "▁ино стран", + "ъе к", + "ъ ек", + "вших ся", + "мо кра", + "мок ра", + "ю щую", + "▁хо де", + "▁ход е", + "▁ ходе", + "in k", + "▁с ом", + "▁со м", + "▁ сом", + "▁ря дом", + "▁ряд ом", + "▁под готов", + "▁подгото в", + "oo t", + "o ot", + "нди и", + "н дии", + "▁сто ль", + "▁стол ь", + "▁Се вер", + "▁ Север", + "▁у лица", + "▁ули ца", + "▁улиц а", + "др и", + "д ри", + "▁се мей", + "▁сем ей", + "▁семе й", + "▁тру д", + "▁тр уд", + "▁ труд", + "цион ной", + "цио нной", + "ционно й", + "зы вать", + "зыва ть", + "▁us e", + "▁u se", + "▁ use", + "▁под держи", + "▁поддерж и", + "зи я", + "▁В то", + "▁На пример", + "▁не много", + "▁нем ного", + "▁немно го", + "с ю", + "▁но во", + "▁нов о", + "▁ ново", + "от е", + "о те", + "▁ча стности", + "▁част ности", + "▁час тности", + "el s", + "e ls", + "er son", + "ers on", + "▁а э", + "мы й", + "жны м", + "ж ным", + "ль е", + "л ье", + "▁к ана", + "▁ка на", + "▁кан а", + "▁ кана", + "▁да нным", + "▁дан ным", + "▁по я", + "к ну", + "нны м", + "н ным", + "спубли ки", + "▁вой ск", + "▁w rit", + "▁ writ", + "▁сер ьез", + "▁серь ез", + "▁сво ими", + "▁свои ми", + "▁своим и", + "▁за бы", + "▁заб ы", + "а т", + "ur ch", + "▁об су", + "▁v ar", + "▁ var", + "ско лько", + "сколь ко", + "▁муж чи", + "▁кон кре", + "чи т", + "ч ит", + "▁в клю", + "ке т", + "к ет", + "▁тем пера", + "га х", + "▁в до", + "▁вд о", + "▁m ay", + "▁E ng", + "▁En g", + "▁пла не", + "▁план е", + "▁ плане", + "хо дил", + "ходи л", + "ход ил", + "▁пред лага", + "▁те ла", + "▁тел а", + "▁ тела", + "▁п ом", + "▁по м", + "▁ пом", + "ни те", + "нит е", + "er man", + "erm an", + "co n", + "c on", + "▁постоя нно", + "▁s ever", + "▁se ver", + "▁эффек тив", + "▁эффект ив", + "▁зем ли", + "▁зе мли", + "▁S p", + "▁ Sp", + "▁про шло", + "▁прош ло", + "▁м лн", + "▁мл н", + "ie nt", + "ien t", + "i ent", + "▁Так же", + "▁за меча", + "▁заме ча", + "▁д еву", + "▁де ву", + "▁дев у", + "in u", + "лу ч", + "▁Герма нии", + "са х", + "▁проце сс", + "▁отно шении", + "▁отноше нии", + "▁сло вам", + "▁слова м", + "▁слов ам", + "▁си льно", + "▁силь но", + "o x", + "ту аль", + "туа ль", + "▁Ме жду", + "▁Меж ду", + "▁con st", + "▁cons t", + "жа ет", + "ци ях", + "ция х", + "▁o per", + "▁op er", + "▁ oper", + "▁пробле мы", + "▁проблем ы", + "▁un til", + "▁по явля", + "▁поя вля", + "ил ь", + "и ль", + "▁груп па", + "▁гру ппа", + "▁групп а", + "▁F ran", + "▁C omm", + "▁Com m", + "▁Co mm", + "▁свобо д", + "ти ческий", + "тически й", + "▁ру блей", + "▁руб лей", + "▁К ом", + "▁Ко м", + "▁ Ком", + "ib le", + "i ble", + "бл о", + "б ло", + "▁Фран ции", + "▁Франци и", + "▁позво ля", + "▁Г ор", + "▁Го р", + "▁ Гор", + "во сто", + "вос то", + "в ки", + "▁сред ств", + "▁си лу", + "▁сил у", + "▁про те", + "▁пр оте", + "▁го тов", + "▁гото в", + "▁ готов", + "▁благо даря", + "▁благодар я", + "▁благода ря", + "▁m in", + "▁mi n", + "▁ min", + "▁ком на", + "▁на й", + "▁н ай", + "▁ най", + "▁с толи", + "▁сто ли", + "▁стол и", + "пе т", + "п ет", + "ст ях", + "стя х", + "с тях", + "ча л", + "ч ал", + "▁с чет", + "▁сче т", + "▁Э та", + "ia m", + "i am", + "gr am", + "g ram", + "▁С ле", + "▁s ame", + "▁sam e", + "га м", + "г ам", + "▁A d", + "▁ Ad", + "▁у ж", + "▁до полни", + "▁допол ни", + "▁распо ложен", + "▁расположе н", + "▁раз но", + "че ны", + "чен ы", + "О В", + "▁вы пу", + "il ity", + "ili ty", + "ilit y", + "▁ко с", + "▁к ос", + "▁ кос", + "ре ц", + "р ец", + "▁sy stem", + "т чи", + "▁Joh n", + "Н И", + "▁Ле нин", + "▁Лен ин", + "▁Лени н", + "en n", + "лим пи", + "▁пи сал", + "▁писа л", + "▁ писал", + "▁не му", + "▁нем у", + "▁ нему", + "k e", + "емо го", + "е мого", + "▁I s", + "▁ Is", + "▁генера л", + "▁гене рал", + "▁про фессиона", + "▁профе ссиона", + "▁го ворить", + "▁говори ть", + "▁говорит ь", + "▁говор ить", + "▁гово рить", + "▁ говорить", + "▁e ff", + "▁рабо тал", + "▁работа л", + "▁работ ал", + "▁стра не", + "▁стран е", + "▁стр ане", + "хо дили", + "ходи ли", + "ход или", + "ходил и", + "ve nt", + "ven t", + "v ent", + "▁Ч и", + "▁ Чи", + "ро де", + "род е", + ".. .\"", + "... \"", + "ak ing", + "aki ng", + "a king", + "ри ца", + "▁осуществ ля", + "▁о цен", + "▁оце н", + "▁ш у", + "▁ шу", + "▁n umber", + "▁num ber", + "▁с ек", + "▁се к", + "▁ сек", + "▁о стро", + "▁ос тро", + "▁ост ро", + "▁Д ру", + "▁ Дру", + "ще нии", + "▁т ю", + "▁ тю", + "▁о пыт", + "▁опы т", + "▁b uild", + "▁bu ild", + "▁от меча", + "▁отме ча", + "ствен ная", + "стве нная", + "ственна я", + "un e", + "u ne", + "▁сто рон", + "▁сторо н", + "▁ сторон", + "▁ `", + "▁Т ы", + "▁ Ты", + "an ts", + "ant s", + "▁а ген", + "▁к лю", + "▁ клю", + "го род", + "гор од", + "горо д", + "ле нии", + "лени и", + "▁Федера ции", + "▁до ступ", + "▁ доступ", + "ти ка", + "тик а", + "▁ря д", + "▁ ряд", + "▁не пре", + "▁до каза", + "▁дока за", + "те лям", + "теля м", + "тел ям", + "ту ру", + "тур у", + "▁и меть", + "▁име ть", + "▁им еть", + "▁ин диви", + "▁инди ви", + "▁А ль", + "▁Ал ь", + "▁ Аль", + "▁Г лав", + "▁Гла в", + "▁и гро", + "▁иг ро", + "▁игр о", + "▁при мерно", + "▁пример но", + "▁приме рно", + "ки н", + "к ин", + "вле но", + "влен о", + "в лено", + "▁При меча", + "▁Приме ча", + "▁об стоя", + "▁вы ну", + "▁по зна", + "▁поз на", + "ла д", + "л ад", + "▁худо же", + "▁худож е", + "▁И о", + "ч ё", + "▁сле дова", + "▁следов а", + "▁ следова", + "e k", + "ur o", + "u ro", + "▁о це", + "et s", + "e ts", + "че скими", + "чески ми", + "ческим и", + "▁соста вляет", + "▁состав ляет", + "▁составля ет", + "ко вой", + "ков ой", + "ково й", + "▁вер ну", + "iv es", + "ive s", + "i ves", + "ct ions", + "ction s", + "▁c alled", + "▁call ed", + "▁cal led", + "шо й", + "ш ой", + "▁не при", + "▁поль зу", + "ро вали", + "ров али", + "рова ли", + "ровал и", + "й т", + "▁пол но", + "▁ка те", + "▁во спо", + "▁вос по", + "▁б из", + "▁би з", + "▁kn own", + "▁know n", + "▁ known", + "▁ин стру", + "▁o pen", + "▁op en", + "▁ско лько", + "▁сколь ко", + "▁ сколько", + "те льную", + "тель ную", + "▁Г ри", + "ло г", + "▁при меня", + "▁приме ня", + "▁прим еня", + "▁извест но", + "▁изве стно", + "▁пе ча", + "▁ печа", + "II I", + "I II", + "m y", + "▁у величи", + "▁уве личи", + "▁увели чи", + "ня л", + "н ял", + "▁полу чить", + "▁получи ть", + "▁получит ь", + "▁ап пара", + "▁ аппара", + "▁же рт", + "▁ж ерт", + "▁ жерт", + "▁непо сред", + "in a", + "i na", + "▁А мери", + "▁мо ря", + "▁мор я", + "▁com ple", + "▁comp le", + "▁compl e", + "га ни", + "ган и", + "г ани", + "▁в одо", + "▁во до", + "▁вод о", + "цион ных", + "цио нных", + "▁g ener", + "▁gen er", + "▁ge ner", + "▁е же", + "це й", + "ц ей", + "▁буд то", + "▁ре бен", + "▁реб ен", + "▁кон тра", + "▁контр а", + "▁o ffic", + "▁of fic", + "▁off ic", + "▁по ложение", + "▁поло жение", + "да м", + "д ам", + "▁рай он", + "▁re p", + "▁r ep", + "▁по сла", + "▁пос ла", + "▁ре да", + "▁ред а", + "па р", + "п ар", + "▁дру гим", + "▁други м", + "▁друг им", + "вле на", + "влен а", + "в лена", + "го вори", + "гов ори", + "гово ри", + "говор и", + "ем ой", + "емо й", + "е мой", + "▁Ч ере", + "▁Че ре", + "▁Чер е", + "ве л", + "да ли", + "дал и", + "д али", + "ре с", + "▁з ло", + "▁ зло", + "▁P h", + "▁ Ph", + "▁при води", + "▁приво ди", + "▁а т", + "▁ ат", + "▁х ва", + "▁ хва", + "ле р", + "л ер", + "вшие ся", + "▁The y", + "▁Th ey", + "▁b el", + "▁be l", + "▁ bel", + "те та", + "тет а", + "ur al", + "ura l", + "u ral", + "▁ка жется", + "▁каж ется", + "▁то чно", + "▁точ но", + "▁ точно", + "ры х", + "р ых", + "▁кон струк", + "▁констру к", + "▁ конструк", + "▁коман дова", + "▁ны не", + "▁ ныне", + "▁по зд", + "▁поз д", + "▁s uc", + "▁su c", + "ut h", + "u th", + "▁против ника", + "▁противник а", + "▁им пе", + "▁пя ти", + "▁пят и", + "жа ли", + "жал и", + "ж али", + "▁до лла", + "▁дол ла", + "▁долл а", + "▁То гда", + "ни т", + "н ит", + "▁каждо го", + "▁пред седа", + "▁не да", + "ба р", + "б ар", + "то ром", + "тор ом", + "торо м", + "▁б ума", + "▁бу ма", + "▁м оз", + "▁мо з", + "▁ моз", + "▁К ор", + "▁Ко р", + "▁ Кор", + "М а", + "▁но вой", + "▁ново й", + "▁нов ой", + "▁ новой", + "▁го спо", + "▁гос по", + "▁M ay", + "▁Ma y", + "▁забо ле", + "▁заб оле", + "▁на гра", + "▁наг ра", + "▁про тя", + "▁дру гими", + "▁други ми", + "▁друг ими", + "▁другим и", + "▁Т ам", + "▁Та м", + "▁ Там", + "at ch", + "▁на шего", + "▁наш его", + "▁наше го", + "▁o rig", + "▁or ig", + "▁говори л", + "▁говор ил", + "▁гово рил", + "▁ говорил", + "s h", + "б ка", + "▁согла си", + "▁по казыва", + "▁пока зыва", + "ми три", + "мит ри", + "▁e ver", + "▁ev er", + "▁ ever", + "▁под чи", + "ф ри", + "▁у гро", + "▁уг ро", + "сси я", + "с сия", + "пра ви", + "прав и", + "п рави", + "▁пер вых", + "▁ первых", + "en e", + "e ne", + "це р", + "ц ер", + "▁мы с", + "▁у бий", + "▁уби й", + "▁ убий", + "▁изме нения", + "ar n", + "Th e", + "T he", + "▁ра сте", + "▁рас те", + "▁раст е", + "ar m", + "a rm", + "▁С то", + "▁Ст о", + "▁расска зыва", + "▁расс казыва", + "▁рассказы ва", + "со лю", + "мо сть", + "th e", + "t he", + "▁цер кви", + "▁церк ви", + "▁авто р", + "▁ав тор", + "▁вме сто", + ".) .", + ". ).", + "▁m ed", + "▁me d", + "▁ med", + "▁re ce", + "▁rec e", + "▁ве че", + "▁тор го", + "ни ями", + "ния ми", + "ниям и", + "нд а", + "н да", + "▁B rit", + "▁Br it", + "▁заяви л", + "▁зая вил", + "фо н", + "ф он", + "▁Н ет", + "▁Не т", + "▁ Нет", + "▁це лью", + "▁цель ю", + "▁по то", + "роя тно", + "спе к", + "ко му", + "ком у", + "▁С ко", + "▁Ск о", + "▁при бли", + "ан та", + "а нта", + "вши йся", + "вший ся", + "▁ch ild", + "▁позво ляет", + "▁позволя ет", + "ен т", + "е нт", + "▁мы ш", + "▁ мыш", + "▁Что бы", + "▁Чтоб ы", + "че но", + "чен о", + "▁з нако", + "▁зна ко", + "▁знак о", + "ни ке", + "ник е", + "кл и", + "к ли", + "an ge", + "ang e", + "▁Americ an", + "▁America n", + "▁ American", + "▁пла ни", + "▁план и", + "▁г аз", + "▁га з", + "▁ко лле", + "▁кол ле", + "▁при вы", + "▁прив ы", + "ment s", + "men ts", + "m ents", + "▁про вер", + "▁прове р", + "▁ провер", + "▁Б ра", + "мо е", + "м ое", + "▁ка та", + "▁ ката", + "▁с уд", + "▁су д", + "▁ра нее", + "▁ране е", + "су р", + "с ур", + "is ed", + "ise d", + "en g", + "e ng", + "▁о публи", + "▁опу бли", + "▁ear ly", + "▁earl y", + "ющих ся", + "ю щихся", + "id ed", + "ide d", + "▁произ водства", + "▁производ ства", + "▁Un iversity", + "▁Univers ity", + "▁коман ды", + "▁команд ы", + "▁be gan", + "▁beg an", + "▁ком пью", + "▁комп ью", + "▁ки ло", + "▁ кило", + "од о", + "о до", + "ge t", + "g et", + "▁и гры", + "▁иг ры", + "▁игр ы", + "▁ игры", + "▁. ..", + "▁ ...", + "▁Р ас", + "▁Ра с", + "▁ Рас", + "▁пред полага", + "▁предпо лага", + "жно сти", + "ж ности", + "▁обеспе чи", + "ни кам", + "ника м", + "ник ам", + "▁бе зопасности", + "▁безо пасности", + "▁безопас ности", + "▁an n", + "▁ ann", + "▁на конец", + "▁нако нец", + "▁дей ствий", + "▁действи й", + "▁ис пыта", + "▁испы та", + "▁ испыта", + "на че", + "▁да нные", + "▁дан ные", + "▁у станови", + "▁уста нови", + "▁устано ви", + "▁установ и", + "▁суще ствует", + "▁существу ет", + "ri d", + "r id", + "ри на", + "рин а", + "р ина", + "▁фи гу", + "▁ор де", + "at a", + "a ta", + "▁в ыска", + "▁вы ска", + "▁выс ка", + "ти вных", + "тив ных", + "▁од новременно", + "▁одно временно", + "▁одновремен но", + "еха л", + "е хал", + "▁t r", + "▁ tr", + "во с", + "в ос", + "▁sup port", + "▁suppor t", + "гл о", + "г ло", + "▁sh ow", + "чу в", + "сно го", + "с ного", + "А Т", + "▁да льше", + "▁даль ше", + "▁особ ен", + "▁осо бен", + "сны й", + "с ный", + "С о", + "▁Ка за", + "iv ing", + "i ving", + "лы м", + "▁п реи", + "▁пре и", + "▁Го судар", + "▁ма ссо", + "▁масс о", + "са д", + "с ад", + "▁r un", + "▁ru n", + "▁ run", + "▁То лько", + "▁з емле", + "▁зем ле", + "нь ше", + "▁ма те", + "▁мат е", + "▁d isc", + "▁dis c", + "▁di sc", + "▁состоя нии", + "▁че твер", + "▁чет вер", + "те х", + "▁pro du", + "▁со юз", + "▁сою з", + "▁ союз", + "па н", + "п ан", + "▁т рудно", + "▁тру дно", + "▁труд но", + "ш ку", + "ры й", + "ри сто", + "рис то", + "рист о", + "р исто", + "▁пра зд", + "▁обя зан", + "▁обяза н", + "▁само ле", + "▁сам оле", + "▁на ш", + "ге й", + "г ей", + "▁основ ном", + "▁Влади мир", + "▁Владими р", + "▁пред ложи", + "ru ct", + "r uct", + "▁ #", + "▁фор мы", + "▁форм ы", + "▁ формы", + "▁Евро пы", + "П е", + "▁ра зу", + "▁раз у", + "▁ разу", + "▁ме та", + "▁мет а", + "▁ мета", + "В о", + "▁И сто", + "▁Ис то", + "▁ Исто", + "▁По ль", + "▁Пол ь", + "▁не возможно", + "▁невоз можно", + "▁невозмо жно", + "▁пра вило", + "▁прави ло", + "▁правил о", + "ве ли", + "вел и", + "ру ют", + "рую т", + "▁те атра", + "▁теа тра", + "▁театр а", + "▁М не", + "▁ Мне", + "▁кате го", + "ла я", + "л ая", + "ir d", + "i rd", + "▁ ,", + "▁ре чь", + "рё х", + "▁т во", + "▁тв о", + "▁ тво", + "де ние", + "ro ss", + "ros s", + "r oss", + "▁му зыка", + "▁музы ка", + "не му", + "нем у", + "▁g overnment", + "▁govern ment", + "▁за коно", + "▁зако но", + "▁закон о", + "▁зак оно", + "з ре", + "▁со бытия", + "▁собы тия", + "▁за ключа", + "▁заклю ча", + "С Т", + "▁des ign", + "▁ми кро", + "▁дру гу", + "▁друг у", + "▁с ро", + "▁ср о", + "▁ сро", + "▁Па ри", + "▁Пар и", + "га ть", + "гат ь", + "по ло", + "пол о", + "п оло", + "▁куль тур", + "▁культ ур", + "▁ культур", + "▁вы гля", + "спо соб", + "▁s ing", + "зи н", + "з ин", + "▁h ist", + "▁his t", + "▁ hist", + "▁n ame", + "▁ name", + "в ла", + "▁s l", + "▁ sl", + "▁м нению", + "▁мне нию", + "▁под вер", + "▁подве р", + "▁коман ду", + "▁команд у", + "Н е", + "▁зна ю", + "▁са мый", + "▁самы й", + "▁B e", + "▁ Be", + "ще ства", + "ществ а", + "▁до гово", + "▁J an", + "▁l and", + "▁la nd", + "▁ land", + "▁sever al", + "▁ра ньше", + "▁р аньше", + "▁до би", + "▁доб и", + "▁ доби", + "▁се реди", + "▁сер еди", + "▁сере ди", + "▁ло ги", + "▁ логи", + "▁и бо", + "▁п ой", + "▁по й", + "▁ пой", + "▁ %", + "▁сту ден", + "▁p ass", + "▁ pass", + "▁ро ли", + "i um", + "ви лся", + "вил ся", + "в ился", + "▁Ч у", + "▁ Чу", + "▁то ва", + "▁ това", + "▁у тра", + "▁ут ра", + "▁пи та", + "▁ пита", + "iss ion", + "▁с пор", + "▁спо р", + "▁ спор", + "▁по ки", + "об о", + "о бо", + "▁ста ту", + "ar l", + "▁на рода", + "▁наро да", + "▁народ а", + "▁нар ода", + "▁во просы", + "▁вопро сы", + "▁вопрос ы", + "ье р", + "ь ер", + "▁Примеча ния", + "p s", + "it al", + "ita l", + "ле ний", + "лени й", + "▁ш о", + "▁ шо", + "▁у правля", + "▁упра вля", + "▁Со гла", + "▁со стоит", + "▁состо ит", + "▁res ult", + "С Р", + "▁в ремен", + "▁вре мен", + "▁време н", + "▁вр емен", + "▁ времен", + "am ed", + "ame d", + "a med", + "▁Ж е", + "▁ Же", + "▁l ike", + "▁lik e", + "▁ like", + "ку да", + "к уда", + "▁g u", + "▁ gu", + "▁w hat", + "▁wh at", + "че нию", + "▁ми ровой", + "▁миро вой", + "▁миров ой", + "зи рова", + "▁Y ork", + "по след", + "после д", + "▁у чеб", + "▁уче б", + "ст ьян", + "сть ян", + "стья н", + "▁мо ре", + "▁мор е", + "▁о пас", + "▁оп ас", + "▁опа с", + "▁а у", + "▁Но во", + "▁Нов о", + "▁лю бой", + "▁любо й", + "/ .", + "юще м", + "ю щем", + "▁глу би", + "ги я", + "po r", + "p or", + "▁профе ссо", + "га р", + "г ар", + "▁предста вляет", + "▁представля ет", + "a i", + "▁к варти", + "▁квар ти", + "▁ кварти", + "▁ар ми", + "▁ре шил", + "▁реши л", + "▁ли нии", + "▁A nd", + "▁An d", + "▁ And", + "aj or", + "те лю", + "тел ю", + "▁d irect", + "▁di rect", + "▁dire ct", + "ль ными", + "льным и", + "льны ми", + "▁дру гом", + "▁друго м", + "▁друг ом", + "▁Ф а", + "▁ Фа", + "▁e le", + "▁el e", + "э й", + "▁по нять", + "▁поня ть", + "▁пон ять", + "▁ко рот", + "▁кор от", + "▁коро т", + "▁при гла", + "ти ва", + "тив а", + "▁по пуляр", + "▁попу ляр", + "▁популя р", + "▁в пере", + "ле г", + "ста нов", + "стан ов", + "стано в", + "▁реги она", + "▁регион а", + "▁c ity", + "▁cit y", + "▁язы к", + "▁ex p", + "▁Т ур", + "▁Ту р", + "▁при шлось", + "▁пришло сь", + "▁- -", + "▁ --", + "▁P l", + "▁К ры", + "▁по кры", + "▁a ir", + "▁ air", + "ко р", + "к ор", + "▁по ля", + "▁пол я", + "▁ поля", + "▁б ой", + "▁бо й", + "▁ бой", + "▁и мел", + "▁име л", + "▁свое му", + "▁своем у", + "▁ своему", + "▁не кото", + "▁неко то", + "bl e", + "b le", + "та ции", + "т ации", + "▁с кло", + "▁ск ло", + "▁во енно", + "▁воен но", + "▁вое нно", + "▁G erman", + "▁Ger man", + "▁которо му", + "▁котором у", + "ил а", + "и ла", + "длен но", + "д ленно", + "▁случа ях", + "▁случая х", + "ic ally", + "ical ly", + "\" )", + "▁are a", + "то е", + "т ое", + "▁in s", + "▁i ns", + "▁ ins", + "▁окру жа", + "▁с сы", + "▁ ссы", + "ру дова", + "▁ра зо", + "▁раз о", + "▁ш колы", + "▁шко лы", + "▁школ ы", + "__ __", + "ov e", + "o ve", + "▁m y", + "▁ my", + "▁bec ause", + "л л", + "▁на сто", + "▁нас то", + "▁вер х", + "▁ верх", + "▁потре б", + "▁T here", + "▁The re", + "▁Th ere", + "▁эк спери", + "▁экс пери", + "▁экспе ри", + "▁экспер и", + "▁Е в", + "▁в ста", + "▁вс та", + "▁разви тие", + "вле т", + "в лет", + "▁s im", + "▁m il", + "▁mi l", + "по ль", + "пол ь", + "▁сле д", + "▁сл ед", + "▁ след", + "▁уч ре", + "▁ин же", + "дя т", + "д ят", + "▁х ристиан", + "▁христи ан", + "▁христиа н", + "▁ христиан", + "О Н", + "▁под писа", + "▁подпи са", + "▁образова ния", + "▁ образования", + "те ше", + "* *", + "ра здо", + "раз до", + "вле нию", + "в лению", + "▁W orld", + "ri st", + "ris t", + "r ist", + "▁h ead", + "▁he ad", + "▁ head", + "▁искус ства", + "▁искусств а", + "▁с тара", + "▁ст ара", + "▁ста ра", + "▁стар а", + "ч ке", + "гр ы", + "г ры", + "▁Т ре", + "▁ Тре", + "▁воз дей", + "▁то вари", + "▁това ри", + "▁товар и", + "▁d own", + "▁do wn", + "▁ down", + "▁настоя щее", + "▁само стоя", + "сло в", + "сл ов", + "с лов", + "▁J u", + "ги на", + "гин а", + "г ина", + "▁ма кси", + "▁or gan", + "▁ organ", + "▁X X", + "▁ XX", + "▁пере во", + "▁пер ево", + "▁по лез", + "▁пол ез", + "▁поле з", + "▁ме ч", + "ти вно", + "тив но", + "ти рова", + "▁рас стоя", + "ди ли", + "дил и", + "д или", + "is ter", + "ist er", + "i ster", + "▁U S", + "▁ US", + "ство вали", + "ствовал и", + "ствова ли", + "▁пер вые", + "▁ первые", + "▁стре ми", + "▁стрем и", + "▁сы гра", + "t le", + "▁и зо", + "▁из о", + "▁ изо", + "▁дея тельность", + "▁деятель ность", + "Е Р", + "ue s", + "u es", + "▁под роб", + "▁подро б", + "дж е", + "д же", + "av ing", + "a ving", + "▁у стра", + "▁ус тра", + "▁п ору", + "▁по ру", + "▁пор у", + "▁вы и", + "▁ф ай", + "▁фа й", + "▁ фай", + "ra nd", + "ran d", + "r and", + "▁dif fer", + "▁ф ра", + "▁ фра", + "ва нии", + "вани и", + "▁я зыка", + "▁язы ка", + "▁язык а", + "ши ми", + "шим и", + "ш ими", + "ви т", + "в ит", + "▁cl ass", + "▁ class", + "▁st ate", + "▁stat e", + "▁ state", + "▁вла сть", + "▁ситуа ции", + "нк е", + "н ке", + "▁Х у", + "▁ Ху", + "т ни", + "▁хо тел", + "▁хоте л", + "ти вной", + "тив ной", + "тивно й", + "▁ну ж", + "▁по ст", + "▁пос т", + "▁про жи", + "ar ch", + "arc h", + "▁п ти", + "▁ пти", + "▁h el", + "▁he l", + "▁ hel", + "▁финан со", + "▁прави тельства", + "▁правитель ства", + "▁п аль", + "▁па ль", + "▁пал ь", + "▁по со", + "▁пос о", + "▁Че рез", + "▁Чер ез", + "▁Чере з", + "нд ен", + "нде н", + "н ден", + "▁Г ен", + "▁Ге н", + "ро вки", + "ров ки", + "▁С реди", + "▁Сред и", + "▁Ср еди", + "лё н", + "л ён", + "▁и ми", + "▁им и", + "▁ ими", + "тно е", + "т ное", + "▁H owever", + "▁How ever", + "▁к ва", + "▁кв а", + "▁ ква", + "▁W ar", + "▁Д митри", + "▁п рос", + "▁про с", + "▁пр ос", + "▁ прос", + "▁я по", + "ag es", + "age s", + "a ges", + "ва й", + "в ай", + "▁part ic", + "▁у верен", + "▁уве рен", + "зь я", + "з ья", + "▁би бли", + "▁сы н", + "▁ско рее", + "де б", + "▁Е ще", + "▁пер вую", + "сту пления", + "ступ ления", + "со еди", + "ан а", + "а на", + "▁пре по", + "то на", + "тон а", + "т она", + "▁за ве", + "но стей", + "нос тей", + "▁высо ко", + "ab l", + "a bl", + "▁да вно", + "▁дав но", + "▁рас полага", + "▁распо лага", + "Р о", + "тя бре", + "▁о го", + "▁ог о", + "цион ного", + "цио нного", + "ционно го", + "ющие ся", + "ю щиеся", + "re t", + "r et", + "вле ний", + "в лений", + "iz e", + "i ze", + "▁соответ ствии", + "▁мо ей", + "▁мое й", + "ко торы", + "кото ры", + "▁о хра", + "▁ох ра", + "▁ охра", + "▁со кра", + "▁сок ра", + "▁H is", + "ти ческой", + "▁p oint", + "▁po int", + "▁ point", + "▁пере ме", + "▁И менно", + "▁Им енно", + "▁Име нно", + "ше к", + "ш ек", + "▁ис че", + "▁n ear", + "▁ne ar", + "▁t ook", + "▁to ok", + "▁too k", + "▁n ow", + "▁no w", + "▁ now", + "▁зна мени", + "обра зова", + "ill ion", + "ти лся", + "тил ся", + "т ился", + "▁о пять", + "▁оп ять", + "▁а та", + "▁ат а", + "пя т", + "п ят", + "▁вы бра", + "сси в", + "сс ив", + "с сив", + "ри к", + "▁в печат", + "▁А л", + "▁ Ал", + "▁бе зу", + "▁без у", + "▁p rom", + "▁pro m", + "▁pr om", + "▁Хо тя", + "ти ви", + "тив и", + "ро вич", + "чи во", + "чив о", + "▁ме тров", + "▁мет ров", + "▁метро в", + "▁ метров", + "▁o cc", + "or m", + "o rm", + "▁у жа", + "▁уж а", + "тни к", + "т ник", + "▁О снов", + "▁Ос нов", + "▁I II", + "▁II I", + "▁ III", + "▁ис следования", + "▁исследова ния", + "▁це лом", + "▁цело м", + "▁Ро ди", + "▁Род и", + "▁ра до", + "▁рад о", + "▁ радо", + "▁тру да", + "▁труд а", + "▁тр уда", + "▁дерев ня", + "▁пре да", + "▁пред а", + "pe nd", + "pen d", + "p end", + "▁чу ть", + "▁ чуть", + "послед ствии", + "er y", + "e ry", + "] ,", + "▁ос обо", + "▁особ о", + "▁осо бо", + "▁в друг", + "▁вд руг", + "▁де л", + "▁ дел", + "про чем", + "па нии", + "▁рабо тает", + "▁работа ет", + "ти ем", + "тие м", + "▁са йте", + "▁сай те", + "▁сайт е", + "▁со стояние", + "▁состоя ние", + "кс а", + "к са", + "жна я", + "ж ная", + "ща ть", + "до р", + "д ор", + "▁fam ily", + "ion al", + "▁пер вым", + "зи ть", + "зит ь", + "з ить", + "▁аб солю", + "б ки", + "▁ве ду", + "▁вед у", + "▁ веду", + "▁у доб", + "▁удо б", + "▁уд об", + "ти ки", + "тик и", + "b y", + "не се", + "нес е", + "ге ль", + "▁индиви ду", + "▁инди виду", + "ца м", + "ц ам", + "▁до сто", + "▁с ф", + "▁ сф", + "io r", + "i or", + "▁дву мя", + "▁двум я", + "▁ма га", + "▁маг а", + "▁ мага", + "▁рам ках", + "▁гла вным", + "▁глав ным", + "▁о ру", + "▁ор у", + "▁ ору", + "▁с ви", + "▁св и", + "▁ сви", + "же нию", + "▁у помина", + "▁упо мина", + "▁по ложи", + "▁поло жи", + "▁б ед", + "▁бе д", + "ди те", + "дит е", + "▁сопро во", + "Р а", + "▁пре имуще", + "▁преи муще", + "▁дер жа", + "▁ держа", + "▁об разу", + "▁обра зу", + "▁образ у", + "▁са ма", + "▁сам а", + "▁Г и", + "▁ Ги", + "▁к арь", + "▁ка рь", + "▁кар ь", + "▁Со вета", + "▁Совет а", + "▁Сове та", + "du ced", + "duc ed", + "duce d", + "▁уров ня", + "▁с верх", + "▁свер х", + "ri s", + "r is", + "a u", + "▁жи ть", + "▁ж ить", + "▁ жить", + "▁та кая", + "▁так ая", + "▁g ame", + "▁j ust", + "не сти", + "нес ти", + "▁у слу", + "▁ус лу", + "▁ар тилле", + "▁арти лле", + ", \"", + "▁мона сты", + "▁де пута", + "▁фор ме", + "▁форм е", + "пи ть", + "пит ь", + "п ить", + "ста ти", + "▁re qu", + "▁r equ", + "oc i", + "o ci", + "ну т", + "н ут", + "▁жи телей", + "▁лю дя", + "▁люд я", + "▁не смотря", + "пр у", + "п ру", + "▁се рд", + "▁сер д", + "▁pro gram", + "▁Г ра", + "▁ Гра", + "▁Ко ро", + "▁Кор о", + "▁ Коро", + "▁St ates", + "▁State s", + "▁у казыва", + "▁ука зыва", + "▁спо кой", + "▁ спокой", + "М о", + "▁л ь", + "▁ ль", + "▁И х", + "▁нау к", + "не ны", + "нен ы", + "▁го раздо", + "▁гора здо", + "om en", + "ome n", + "o men", + "▁А вто", + "▁Ав то", + "▁ Авто", + "▁у краин", + "▁укра ин", + "▁ украин", + "▁ин ф", + "▁пред ме", + "▁со вершен", + "▁совер шен", + "▁ совершен", + "▁С те", + "▁Ст е", + "▁Б ар", + "▁Ба р", + "▁ Бар", + "сны х", + "с ных", + "▁вре ме", + "▁a long", + "▁al ong", + "▁по лага", + "▁пола га", + "▁ полага", + "си т", + "с ит", + "▁re port", + "▁rep ort", + "▁друго го", + "▁e ach", + "▁за мести", + "▁заме сти", + "▁не на", + "▁н ена", + "▁ нена", + "▁сдела л", + "▁сдел ал", + "▁го лову", + "▁голо ву", + "▁голов у", + "▁w ay", + "▁wa y", + "▁ way", + "▁T e", + "▁w orld", + "▁wor ld", + "▁ world", + "▁И м", + "d e", + "▁поз же", + "▁r ight", + "▁ right", + "▁за ра", + "▁з ара", + "▁зар а", + "▁те ло", + "▁тел о", + "▁ра за", + "▁раз а", + "ж ки", + "▁говоря т", + "▁говор ят", + "▁гово рят", + "▁у станов", + "▁уста нов", + "▁устано в", + "▁прави тель", + "ra ph", + "rap h", + "r aph", + "re ad", + "r ead", + "▁Ве дь", + "▁религи оз", + "▁a round", + "▁ar ound", + "▁созда ния", + "▁соз дания", + "▁о станови", + "▁оста нови", + "▁останов и", + "▁остано ви", + "he s", + "h es", + "▁pl ace", + "▁ place", + "▁comm un", + "▁Ра бо", + "ши л", + "ш ил", + "at or", + "ato r", + "ie nce", + "ien ce", + "i ence", + "▁зна ет", + "ro w", + "r ow", + "▁пло хо", + "▁не ф", + "ци ями", + "ция ми", + "циям и", + "сны е", + "с ные", + "ем ся", + "е мся", + "▁re f", + "▁r ef", + "д ва", + "a f", + "▁у мень", + "▁уме нь", + "▁ум ень", + "▁ч рез", + "с ф", + "om an", + "oma n", + "o man", + "▁помо щь", + "▁помощ ь", + "▁воз гла", + "▁ возгла", + "▁sm all", + "ст анти", + "ста нти", + "стан ти", + "у ю", + "▁a pp", + "▁ap p", + "▁ app", + "▁бри га", + "▁s uccess", + "▁suc cess", + "▁я р", + "▁ яр", + "ле нием", + "ление м", + "лени ем", + "▁с лов", + "▁сло в", + "▁сл ов", + "▁ слов", + "▁ро ман", + "▁рома н", + "▁ роман", + "ва йте", + "вай те", + "тны м", + "т ным", + "om et", + "ome t", + "o met", + "▁жур нали", + "▁журна ли", + "▁журнал и", + "▁з доров", + "▁здоро в", + "ic es", + "ice s", + "i ces", + "▁уров не", + "▁уро вне", + "▁цен тр", + "▁ центр", + "▁ни же", + "▁ниж е", + "▁моло ды", + "▁молод ы", + "тк е", + "т ке", + "ar ge", + "arg e", + "со ва", + "сов а", + "жде нии", + "ж дении", + "olog y", + "▁послед ние", + "ст ить", + "сти ть", + "стит ь", + "с тить", + "un g", + "u ng", + "у с", + "▁ка ким", + "▁как им", + "гру з", + "гр уз", + "тер бург", + "тербур г", + "ме тров", + "мет ров", + "метр ов", + "ch n", + "▁по дня", + "▁под ня", + "че на", + "чен а", + "ч ена", + "▁Со юза", + "▁Союз а", + "▁Сою за", + "▁se ries", + "▁ser ies", + "ти на", + "тин а", + "т ина", + "▁b ook", + "▁bo ok", + "▁ book", + "▁исклю чи", + "▁мно жество", + "▁множе ство", + "b um", + "▁си стем", + "▁систе м", + "▁сист ем", + "▁з нал", + "▁зна л", + "жда ть", + "ж дать", + "il t", + "▁ре сур", + "б ви", + "o ard", + "в ка", + "▁да леко", + "▁дале ко", + "пи ско", + "пис ко", + "стви ем", + "ствие м", + "▁Т ру", + "▁на чали", + "▁нача ли", + "▁начал и", + "▁нач али", + "▁e ven", + "▁ev en", + "▁да ть", + "▁дат ь", + "▁ дать", + "▁A ug", + "▁le ft", + "пе н", + "п ен", + "▁про па", + "▁пр опа", + "▁пере жи", + "▁пе режи", + "▁П ра", + "▁ Пра", + "▁зна чения", + "▁дви жение", + "▁тео рии", + "▁назна чен", + "мо го", + "▁с начала", + "▁сна чала", + "ствен ности", + "стве нности", + "ственно сти", + "▁th ough", + "▁ though", + "▁про граммы", + "▁програм мы", + "▁программ ы", + "▁раз вед", + "▁разве д", + "▁ развед", + "vi ew", + "v iew", + "▁ру сской", + "▁рус ской", + "▁русско й", + "▁ русской", + "▁N ov", + "▁No v", + "ge d", + "g ed", + "▁ли ц", + "▁ка нди", + "▁кан ди", + "▁h ouse", + "▁hous e", + "▁ house", + "ба й", + "б ай", + "▁o ld", + "▁ old", + "▁Я по", + "с пи", + "ia ns", + "ian s", + "i ans", + "▁фе дера", + "ре за", + "рез а", + "▁деся ти", + "▁ десяти", + "▁д ни", + "▁ дни", + "▁A ll", + "▁Al l", + "▁ All", + "ти вного", + "тив ного", + "тивно го", + "▁cont inu", + "▁contin u", + "▁h and", + "▁ha nd", + "▁ hand", + "▁s ince", + "▁жен щин", + "▁женщи н", + "▁у потре", + "▁упо тре", + "степ енно", + "степен но", + "дно й", + "д ной", + "▁долла ров", + "▁относи тельно", + "ни ей", + "ние й", + "ro l", + "r ol", + "▁[ /", + "▁Ч ем", + "▁Че м", + "чи ка", + "чик а", + "ти вный", + "тив ный", + "▁от нося", + "▁отно ся", + "жно сть", + "ж ность", + "▁смо тре", + "▁ смотре", + "▁е вропей", + "▁евро пей", + "▁ европей", + "с л", + "▁Моск вы", + "▁ре комен", + "▁реко мен", + "гр о", + "г ро", + "лл ю", + "л лю", + "▁гла ве", + "▁глав е", + "▁про то", + "▁при д", + "▁пр ид", + "▁канди да", + "▁ма стер", + "▁масте р", + "▁Ц е", + "▁d et", + "▁de t", + "▁го ря", + "▁гор я", + "▁ горя", + "ul ation", + "ula tion", + "ua ry", + "u ary", + "▁м аль", + "▁ма ль", + "▁ маль", + "▁За пад", + "▁Запа д", + "▁ Запад", + "▁опера ции", + "▁опер ации", + "ча я", + "ч ая", + "▁б ур", + "▁бу р", + "▁ бур", + "▁э мо", + "▁эм о", + "▁пси хи", + "th ough", + "▁доку мента", + "▁документ а", + "▁о сно", + "▁ос но", + "▁О дин", + "▁Од ин", + "▁M an", + "▁Ma n", + "▁ Man", + "ар ь", + "а рь", + "▁и д", + "▁ ид", + "▁ме л", + "▁ мел", + "▁от ец", + "▁оте ц", + "А Н", + "▁живо тных", + "▁живот ных", + "▁на ми", + "▁нам и", + "▁ нами", + "▁са мые", + "▁самы е", + "me d", + "m ed", + "▁sp ec", + "▁spe c", + "▁c ur", + "▁e xt", + "▁ex t", + "▁ ext", + "▁re st", + "▁r est", + "▁res t", + "▁ rest", + "re nt", + "ren t", + "r ent", + "же ны", + "жен ы", + "▁стра те", + "▁d r", + "▁ dr", + "▁c our", + "▁co ur", + "▁cou r", + "▁h ome", + "▁hom e", + "▁пи шет", + "▁ ще", + "▁фи льм", + "▁филь м", + "▁ фильм", + "▁стра да", + "▁стр ада", + "▁ страда", + "▁жен щины", + "▁женщи ны", + "▁женщин ы", + "▁кра си", + "▁Ш и", + "▁O r", + "▁по гиб", + "▁поги б", + "▁в скоре", + "▁Г ре", + "ство ва", + "чь ю", + "ч ью", + "▁ли тератур", + "▁литера тур", + "тал ьян", + "таль ян", + "ти вные", + "тив ные", + "▁v ery", + "▁ver y", + "▁ve ry", + "▁ very", + "▁проце сса", + "▁процесс а", + "▁Цен тра", + "▁Центр а", + "▁E uro", + "▁А на", + "▁Ан а", + "▁меся цев", + "▁месяц ев", + "▁месяце в", + "▁Со гласно", + "▁Согла сно", + "▁дене г", + "то ва", + "тов а", + "▁Aug ust", + "▁P r", + "та ет", + "▁до ме", + "▁дом е", + "▁ис тория", + "▁исто рия", + "▁истори я", + "▁не р", + "▁н ер", + "▁ нер", + "ai m", + "a im", + "pt ember", + "▁пере се", + "▁перес е", + "▁с их", + "▁си х", + "▁O ct", + "▁стан дар", + "▁ стандар", + "▁но чь", + "нт е", + "н те", + "би л", + "б ил", + "▁Ро ссия", + "▁Росси я", + "▁Рос сия", + "▁ Россия", + "го ль", + "▁и стре", + "▁ис тре", + "▁ист ре", + "в шее", + "ain s", + "ai ns", + "a ins", + "▁C an", + "▁Ca n", + "▁ис полни", + "▁испо лни", + "▁испол ни", + "▁у то", + "▁ут о", + "▁тур ни", + "▁про цен", + "▁проце н", + "▁ процен", + "▁ю ри", + "▁ юри", + "▁д вор", + "▁дво р", + "▁Р ус", + "▁Ру с", + "▁ Рус", + "▁ф ир", + "▁фи р", + "▁ фир", + "▁rele ased", + "▁release d", + "ше в", + "ш ев", + "▁о трица", + "▁от рица", + "▁G e", + "че нных", + "чен ных", + "ты ми", + "тым и", + "▁ис пы", + "▁мо гла", + "▁мог ла", + "▁по строе", + "▁пост рое", + "▁постро е", + "▁A ust", + "▁на чало", + "▁нача ло", + "▁начал о", + "▁ра зве", + "▁раз ве", + "▁хо ть", + "ac ed", + "ace d", + "a ced", + "сс ов", + "ссо в", + "с сов", + "▁б ле", + "▁ бле", + "▁и наче", + "ва ясь", + "вая сь", + "г ни", + "че ственной", + "честве нной", + "ce nt", + "c ent", + "▁со циали", + "▁соци али", + "▁социал и", + "▁ социали", + "▁от ца", + "▁ча ще", + "▁язы ке", + "▁язык е", + "▁st ill", + "▁сем ьи", + "▁семь и", + "▁m ake", + "▁авто ма", + "▁l ast", + "▁la st", + "▁револю ции", + "▁с мерть", + "▁смер ть", + "▁E x", + "▁ Ex", + "зе н", + "з ен", + "▁m ajor", + "▁боль шинство", + "▁большин ство", + "▁рус ских", + "▁означа ет", + "▁озна чает", + "▁п арт", + "▁па рт", + "▁пар т", + "п я", + "▁вы яс", + "▁выя с", + "тна я", + "т ная", + "дж и", + "д жи", + "▁у луч", + "ко вых", + "ков ых", + "ковы х", + "▁обо рудова", + "▁ оборудова", + "▁Se ptember", + "▁проис хо", + "▁l ife", + "▁lif e", + "▁ life", + "▁t y", + "▁ ty", + "▁и ни", + "▁ин и", + "em bers", + "ember s", + "emb ers", + "ко ми", + "ком и", + "ot e", + "o te", + "▁Ми ни", + "▁Мин и", + "▁с мысле", + "▁смы сле", + "▁смысл е", + "▁ смысле", + "▁со ве", + "▁сов е", + "▁С ей", + "▁Се й", + "▁ Сей", + "но гие", + "ag ue", + "agu e", + "▁s ong", + "▁so ng", + "▁son g", + "▁у довлет", + "▁удо влет", + "▁пу теше", + "▁путе ше", + "▁c ar", + "▁ car", + "▁много числе", + "ры ва", + "рыв а", + "▁N ational", + "▁сем ье", + "▁семь е", + "▁J une", + "▁Ju ne", + "au gh", + "aug h", + "a ugh", + "▁кре стьян", + "▁крестья н", + "▁крест ьян", + "▁па ро", + "▁пар о", + "▁ap pro", + "▁app ro", + "▁органи зова", + "▁си гна", + "▁диви зии", + "▁дивизи и", + "▁A m", + "▁лю бви", + "▁зависи мости", + "▁ч исто", + "▁чи сто", + "▁те пло", + "▁теп ло", + "▁мо и", + "▁бере гу", + "▁берег у", + "▁C ent", + "▁чи сла", + "▁s oc", + "▁so c", + "▁о твер", + "▁от вер", + "▁отве р", + "tern ational", + "▁на помина", + "▁напо мина", + "▁напом ина", + "▁по следу", + "▁после ду", + "▁послед у", + "c o", + "▁два дца", + "да ль", + "дал ь", + "д аль", + "▁со гласно", + "▁согла сно", + "чё т", + "ч ёт", + "▁ви део", + "▁виде о", + "▁s tr", + "▁st r", + "▁ str", + "▁систе му", + "▁систем у", + "▁с не", + "▁ сне", + "про из", + "▁дела ет", + "ин а", + "и на", + "▁ком пози", + "▁компо зи", + "▁про вин", + "▁прови н", + "▁В ме", + "▁из бе", + "▁l it", + "on y", + "o ny", + "▁мо жете", + "▁может е", + "▁от личие", + "▁отли чие", + "▁отличи е", + "uf f", + "u ff", + "▁под чер", + "ле на", + "лен а", + "л ена", + "▁суб ъек", + "▁з у", + "▁ зу", + "▁M arch", + "▁Mar ch", + "▁Marc h", + "жде ний", + "ж дений", + "тк у", + "т ку", + "▁Н ью", + "▁ Нью", + "▁зна чительно", + "▁значи тельно", + "ту ю", + "т ую", + "▁по пада", + "▁попа да", + "▁поп ада", + "▁у ро", + "ми мо", + "м имо", + "\" :", + "▁т уда", + "▁ту да", + "▁ туда", + "▁Кон станти", + "od y", + "at ely", + "ate ly", + "▁со держи", + "ста ми", + "стам и", + "с тами", + "▁al bum", + "▁Ко нечно", + "▁у па", + "▁проек та", + "▁проект а", + "▁кре по", + "▁креп о", + "ст ров", + "стро в", + "стр ов", + "с тров", + "ent ly", + "нс ких", + "н ских", + "▁ча стью", + "▁часть ю", + "▁част ью", + "▁час тью", + "▁м м", + "▁ мм", + "▁t ri", + "▁tr i", + "ни ци", + "ниц и", + "че нные", + "чен ные", + "▁Oct ober", + "▁th ose", + "▁че сть", + "▁ честь", + "ха р", + "х ар", + "▁памя ти", + "▁памят и", + "ло жить", + "ложи ть", + "лож ить", + "▁Ф о", + "▁ Фо", + "▁char act", + "▁l ocal", + "▁loc al", + "▁взаимо дей", + "▁пробле ма", + "▁проблем а", + "б ю", + "▁х ле", + "▁ хле", + "би ть", + "бит ь", + "б ить", + "▁mus ic", + "▁с ет", + "▁се т", + "▁ сет", + "qu e", + "q ue", + "зо ваться", + "зова ться", + "зовать ся", + "▁ки сло", + "▁ кисло", + "▁Вер хов", + "▁Верх ов", + "▁про ект", + "▁проек т", + "▁ проект", + "/ /", + "▁университе та", + "▁университет а", + "ф ы", + "▁К е", + "▁х ими", + "▁хи ми", + "▁ хими", + "▁inc re", + "▁закон ода", + "▁законо да", + "▁ц вета", + "▁цвет а", + "▁цве та", + "▁ цвета", + "ти те", + "тит е", + "m e", + "▁мо дели", + "▁моде ли", + "▁нау ки", + "▁наук и", + "лле к", + "лл ек", + "л лек", + "▁п ов", + "▁по в", + "▁ пов", + "пи тан", + "пита н", + "пит ан", + "с шта", + "которы е", + "кото рые", + "▁пробле м", + "▁проб лем", + "t o", + "сту пление", + "ступ ление", + "ля ции", + "ст ной", + "стно й", + "с тной", + "al es", + "ale s", + "a les", + "at ic", + "ati c", + "▁д ис", + "▁ди с", + "▁ дис", + "бр ь", + "б рь", + "▁кла сса", + "▁класс а", + "ме нова", + "менов а", + "▁d em", + "▁de m", + "▁не извест", + "▁неиз вест", + "ль д", + "▁Ж и", + "▁ Жи", + "▁за м", + "▁з ам", + "▁ зам", + "цион ные", + "цио нные", + "▁ка кое", + "▁как ое", + "▁о тря", + "▁от ря", + "▁распо ложе", + "ти ться", + "тить ся", + "ни ми", + "ним и", + "н ими", + "до ви", + "дов и", + "▁ка ждой", + "▁каж дой", + "▁каждо й", + "▁Да же", + "щи к", + "▁все ми", + "▁всем и", + "▁у ровень", + "▁уров ень", + "▁im port", + "▁imp ort", + "▁В ол", + "▁Во л", + "▁ Вол", + "▁произо шло", + "▁е в", + "▁ ев", + "▁M us", + "▁Mu s", + "▁ли чно", + "▁ лично", + "▁е вре", + "▁ев ре", + "▁ри м", + "▁р им", + "▁ рим", + "▁ви дов", + "▁вид ов", + "▁видо в", + "ne r", + "n er", + "ви ла", + "вил а", + "в ила", + "га л", + "г ал", + "▁an other", + "▁пред мет", + "▁предме т", + "▁мо жем", + "▁e ng", + "▁en g", + "▁ eng", + "▁X IX", + "▁XI X", + "▁ре кла", + "▁рек ла", + "▁оказа лся", + "▁оказал ся", + "▁l aw", + "▁la w", + "▁ law", + "▁П ла", + "▁ Пла", + "▁про ш", + "ри те", + "рит е", + "▁п ят", + "▁пя т", + "▁ пят", + "▁на па", + "ле тия", + "pr il", + "pri l", + "ле нных", + "лен ных", + "▁ни ж", + "sel f", + "s elf", + "по й", + "п ой", + "▁Е сть", + "os s", + "o ss", + "▁за во", + "сты е", + "с тые", + "or ed", + "ore d", + "o red", + "лим пий", + "лимпи й", + "▁К то", + "▁ Кто", + "дь ми", + "д ьми", + "▁S y", + "▁слу чи", + "▁сл учи", + "▁за вое", + "▁заво е", + "▁пер вом", + "▁перво м", + "▁объ яви", + "▁объя ви", + "▁Ju ly", + "▁Jul y", + "▁c are", + "▁car e", + "▁p erson", + "▁per son", + "▁pers on", + "▁д ети", + "▁де ти", + "▁дет и", + "д ный", + "цки й", + "ц кий", + "▁ника ких", + "▁никак их", + "лу а", + "л уа", + "ци они", + "цион и", + "цио ни", + "▁бри тан", + "▁свиде тель", + "▁b us", + "▁bu s", + "▁ bus", + "▁ко не", + "▁к оне", + "▁кон е", + "▁ коне", + "ча ет", + "▁Brit ish", + "▁e lect", + "▁ele ct", + "▁el ect", + "▁суще ству", + "▁существ у", + "О Р", + "▁Бе ло", + "▁Бел о", + "▁влия ние", + "▁Jan uary", + "▁П ар", + "▁Па р", + "▁ Пар", + "in ess", + "ine ss", + "ines s", + "i ness", + "▁D uring", + "▁Du ring", + "▁С ред", + "▁Ср ед", + "▁ито ге", + "▁итог е", + "▁m uch", + "▁служ бы", + "▁служб ы", + "▁ службы", + "Н о", + "▁по лка", + "▁пол ка", + "▁полк а", + "iv al", + "iva l", + "i val", + "▁S outh", + "▁So uth", + "до вать", + "дова ть", + "at s", + "a ts", + "▁б ор", + "▁бо р", + "▁ бор", + "же нный", + "жен ный", + "▁ч лен", + "▁чле н", + "▁же на", + "▁жен а", + "▁ж ена", + "▁ жена", + "▁президен т", + "▁ президент", + "▁произ ведения", + "ж ё", + "▁вы шел", + "▁выше л", + "▁о строва", + "▁ост рова", + "▁остро ва", + "▁остров а", + "▁з ри", + "▁ зри", + "▁Ш е", + "▁ Ше", + "▁ви дел", + "▁виде л", + "▁ видел", + "▁с ня", + "▁ сня", + "▁пре дна", + "▁пред на", + "▁доро ги", + "▁дорог и", + "ла нд", + "лан д", + "▁пре пода", + "▁препо да", + "по нен", + "пон ен", + "▁полу чили", + "▁получи ли", + "▁получил и", + "▁нас только", + "▁насто лько", + "э р", + "ёт ся", + "ё тся", + "▁при нял", + "▁приня л", + "▁прин ял", + "▁c amp", + "▁cam p", + "▁раз личные", + "▁разли чные", + "ме ра", + "мер а", + "м ера", + "▁Мо жно", + "▁об нару", + "▁обна ру", + "▁с охрани", + "▁со храни", + "▁сохра ни", + "▁сохран и", + "an e", + "a ne", + "▁т вер", + "▁тв ер", + "▁ твер", + "ща л", + "щ ал", + "▁follow ing", + "▁ i", + "▁библи оте", + "▁библио те", + "те льными", + "тель ными", + "тельным и", + "тельны ми", + "не нием", + "нение м", + "in ing", + "ini ng", + "i ning", + "цион ный", + "цио нный", + ") :", + "цо м", + "ц ом", + "ne ss", + "nes s", + "n ess", + "▁з ер", + "▁зе р", + "▁ зер", + "ша ется", + "шает ся", + "▁A pril", + "че ний", + "▁да ет", + "▁ дает", + "▁М ай", + "▁Ма й", + "▁ Май", + "▁функ ции", + "▁де мон", + "▁демо н", + "▁S chool", + "▁Sch ool", + "▁м л", + "чи й", + "▁се веро", + "▁север о", + "▁солда т", + "К А", + "▁с цена", + "▁сце на", + "▁сцен а", + "▁жи ву", + "▁жив у", + "ствен ность", + "стве нность", + "ственно сть", + "ве ре", + "вер е", + "в ере", + "▁ме тал", + "▁мет ал", + "▁мета л", + "▁об ъя", + "▁объ я", + "▁Никола й", + "▁Нико лай", + "▁сле дующий", + "▁следу ющий", + "ле нной", + "лен ной", + "ленно й", + "▁о ке", + "▁ок е", + "▁созда ть", + "▁соз дать", + "▁ка ких", + "▁как их", + "mb er", + "m ber", + "хо ды", + "ход ы", + "нт ов", + "нто в", + "н тов", + "ли в", + "л ив", + "ра чи", + "▁ма шины", + "▁маши ны", + "▁машин ы", + "▁g et", + "▁ge t", + "▁ get", + "ro p", + "r op", + "▁Л он", + "▁Ло н", + "▁est abl", + "с м", + "▁М ин", + "▁Ми н", + "▁П ол", + "▁По л", + "▁ребен ка", + "▁вой не", + "▁войн е", + "▁w on", + "▁E d", + "▁прави тельство", + "▁правитель ство", + "▁свя щен", + "▁l arge", + "▁larg e", + "▁э лектри", + "▁элек три", + "▁ электри", + "▁cons id", + "ie n", + "i en", + "▁ad v", + "▁W hen", + "▁Wh en", + "▁Whe n", + "▁м ной", + "▁мно й", + "▁мн ой", + "▁хо чет", + "▁m embers", + "▁member s", + "▁mem bers", + "▁про чи", + "▁проч и", + "▁п роя", + "▁про я", + "▁с вер", + "▁све р", + "▁св ер", + "▁под гото", + "in c", + "▁воз душ", + "▁возду ш", + "▁ воздуш", + "ни з", + "н из", + "▁о пы", + "▁оп ы", + "▁с ча", + "▁сообщи л", + "s c", + "▁ка би", + "▁Ш у", + "▁м ое", + "▁мо е", + "▁ мое", + "▁собы тий", + "▁с уда", + "▁су да", + "▁суд а", + "▁ суда", + "ды ду", + "ници па", + "▁сотруд ни", + "▁Ан дре", + "▁Анд ре", + "▁m ark", + "▁mar k", + "▁ mark", + "▁противо ре", + "▁при соеди", + "S t", + "▁фрон та", + "▁фронт а", + "▁г ар", + "▁га р", + "▁ гар", + "▁l a", + "▁ la", + "▁большо е", + "▁воен ных", + "▁вое нных", + "▁v is", + "▁ vis", + "си я", + "вь ю", + "в ью", + "▁d ep", + "▁de p", + "▁кор ре", + "▁ корре", + "▁ве щи", + "re en", + "ree n", + "r een", + "▁у дар", + "▁уда р", + "▁уд ар", + "▁психо логи", + "▁B ro", + "▁Br o", + "▁б ит", + "▁би т", + "▁ бит", + "s y", + "ро ди", + "род и", + "▁G u", + "ap p", + "a pp", + "ви ться", + "вить ся", + "m in", + "кр у", + "к ру", + "щи ков", + "щик ов", + "▁п лан", + "▁пла н", + "▁ план", + "ord ing", + "▁не бе", + "▁М он", + "▁Мо н", + "▁ Мон", + "▁e vent", + "▁ev ent", + "▁even t", + "▁нео жида", + "▁д обы", + "▁до бы", + "▁доб ы", + "▁ добы", + "▁раз ные", + "al k", + "▁у сили", + "▁уси ли", + "▁ус или", + "▁пу тем", + "▁пут ем", + "▁путе м", + "ст ных", + "с тных", + "▁пре ж", + "то рии", + "тори и", + "ки па", + "▁l ine", + "▁ line", + "▁г вар", + "uc k", + "u ck", + "▁пре дела", + "▁преде ла", + "▁предел а", + "▁челове ком", + "▁человек ом", + "▁человеко м", + "жа т", + "ж ат", + "▁де мокра", + "▁демо кра", + "▁ демокра", + "▁взгля д", + "▁ци ф", + "те льном", + "тель ном", + "тельно м", + "тко в", + "тк ов", + "т ков", + "▁кни ге", + "▁книг е", + "▁A p", + "ща ться", + "щать ся", + "ти т", + "т ит", + "▁w ar", + "▁wa r", + "▁ war", + "▁чле нов", + "▁член ов", + "▁Д жон", + "▁Дж он", + "▁Джо н", + "▁ва жно", + "▁важ но", + "▁ важно", + "▁кото рыми", + "▁которы ми", + "▁которым и", + "▁се ло", + "▁сел о", + "▁ село", + "▁ком пания", + "▁компа ния", + "лу й", + "▁Euro pe", + "он ы", + "о ны", + "▁макси ма", + "▁comp any", + "▁compan y", + "▁Сер гей", + "▁Серге й", + "▁pol it", + "ст рои", + "стро и", + "ш ке", + "ba ll", + "bal l", + "b all", + "▁со чи", + "▁соч и", + "o ad", + "as ter", + "ast er", + "aste r", + "a ster", + "▁у чё", + "▁уч ё", + "ве рь", + "вер ь", + "щи ми", + "щим и", + "щ ими", + "▁распо ря", + "▁ис торию", + "▁исто рию", + "▁истори ю", + "iv en", + "ive n", + "i ven", + "ward s", + "w ards", + "ra y", + "r ay", + "▁лю дьми", + "▁люд ьми", + "▁использова ния", + "хо дов", + "ход ов", + "ве ден", + "веде н", + "вед ен", + "▁под раз", + "▁подра з", + "▁о писы", + "▁опи сы", + "▁о па", + "▁оп а", + "▁ опа", + "ri end", + "rie nd", + "▁бли жай", + "▁ближ ай", + "▁стать и", + "▁пово ду", + "▁повод у", + "▁ру сского", + "▁рус ского", + "▁русско го", + "▁и мели", + "▁име ли", + "▁имел и", + "бо к", + "б ок", + "▁на писал", + "▁написа л", + "▁напи сал", + "▁ве сти", + "▁вес ти", + "▁ вести", + "ce mber", + "c ember", + "▁e very", + "▁ev ery", + "▁ever y", + "▁из гото", + "▁пере ста", + "▁перес та", + "▁re sp", + "▁res p", + "▁у ва", + "▁ Й", + "▁со проти", + "▁сопро ти", + "до н", + "д он", + "▁ви ду", + "▁вид у", + "▁ виду", + "▁рас смотре", + "ri pt", + "rip t", + "▁проце ссе", + "▁процесс е", + "▁p ower", + "▁po wer", + "▁ power", + "▁во все", + "▁по купа", + "▁поку па", + "▁Евро пе", + "▁a ge", + "▁ag e", + "▁ age", + "▁борь бы", + "жно е", + "ж ное", + "▁d esc", + "▁de sc", + "▁des c", + "хо де", + "ход е", + "▁все му", + "▁всем у", + "▁ю го", + "▁юг о", + "▁фото графи", + "▁спу стя", + "▁Nov ember", + "▁от ношений", + "▁отно шений", + "▁отноше ний", + "▁мо сков", + "▁моск ов", + "▁ москов", + "▁ко му", + "▁ком у", + "▁ кому", + "▁пози ции", + "ля ми", + "лям и", + "л ями", + "▁у словия", + "▁услови я", + "▁индивиду аль", + "▁друго е", + "▁друг ое", + "▁систе ме", + "▁систем е", + "▁со лн", + "▁се ку", + "▁сек у", + "▁вы ход", + "▁га зе", + "▁газ е", + "▁за про", + "▁d ue", + "▁du e", + "ie ty", + "iet y", + "i ety", + "da y", + "d ay", + "▁начина ет", + "че скому", + "ческом у", + "ческо му", + "сти ки", + "стик и", + "с тики", + "g y", + "▁И ван", + "▁Ива н", + "▁Ив ан", + "ра зу", + "раз у", + "▁cent ury", + "▁ century", + "ля ть", + "лят ь", + "л ять", + "▁ма ть", + "▁мат ь", + "▁ мать", + "▁лю дям", + "▁людя м", + "▁люд ям", + "▁не обы", + "▁нео бы", + "▁необ ы", + "да л", + "д ал", + "В А", + "ствен ном", + "стве нном", + "ственно м", + "▁президен та", + "▁президент а", + "ra ft", + "r aft", + "ло н", + "л он", + "ка ли", + "кал и", + "к али", + "ве дений", + "веде ний", + "▁att ack", + "▁экс пер", + "▁экспе р", + "▁в ен", + "▁ве н", + "▁ вен", + "▁F l", + "▁о бороны", + "▁обо роны", + "▁оборо ны", + "▁оборон ы", + "▁ex per", + "▁exp er", + "па рта", + "пар та", + "▁кон цеп", + "▁конце п", + "▁a v", + "▁ av", + "▁De cember", + "▁Dec ember", + "бе ль", + "▁мо я", + "▁зна ть", + "▁le g", + "▁ leg", + "it ions", + "ition s", + "▁B y", + "id es", + "ide s", + "i des", + "▁b and", + "▁ban d", + "▁ band", + "ТА СС", + "▁у виде", + "▁уви де", + "▁ве ро", + "▁вер о", + "▁ веро", + "вля ть", + "в лять", + "й о", + "си в", + "с ив", + "жда я", + "жд ая", + "ж дая", + "▁с только", + "▁сто лько", + "▁столь ко", + "▁По чему", + "▁ Почему", + "▁Д же", + "▁Дж е", + "▁t erm", + "▁te rm", + "▁ter m", + "▁ term", + "▁при нять", + "▁приня ть", + "▁прин ять", + "▁принят ь", + "▁стан ции", + "▁ станции", + "▁диви зи", + "ку п", + "io d", + "i od", + "▁по степенно", + "▁постепен но", + "▁А д", + "▁ Ад", + "▁вре менем", + "▁времен ем", + "▁време нем", + "ur ed", + "ure d", + "u red", + "▁p resent", + "▁pres ent", + "чи ков", + "чик ов", + "би р", + "б ир", + "re w", + "r ew", + "▁послед ний", + "▁требо вания", + "▁пре дыду", + "▁Ре спублики", + "▁Республи ки", + "▁t own", + "▁to wn", + "al th", + "alt h", + "▁при чем", + "▁филосо фи", + "▁философ и", + "if ied", + "▁m en", + "▁me n", + "▁ men", + "▁за дачи", + "▁зада чи", + "▁задач и", + "▁про явля", + "▁проя вля", + "▁об рабо", + "▁обра бо", + "▁о созна", + "▁осо зна", + "▁de ath", + "▁Ста лин", + "▁Стали н", + "▁х ро", + "▁ хро", + "▁б рат", + "▁бра т", + "▁t urn", + "▁tur n", + "▁ос тается", + "▁оста ется", + "▁v al", + "▁ val", + "фи кации", + "фика ции", + "фик ации", + "фи ль", + "ф иль", + "ну ли", + "нул и", + "▁W ill", + "▁Wil l", + "▁Wi ll", + "▁m illion", + "▁mill ion", + "▁у диви", + "▁уди ви", + "у р", + "▁об щем", + "▁обще м", + "▁общ ем", + "▁ком муни", + "▁комму ни", + "▁ коммуни", + "▁за слу", + "▁зас лу", + "ot t", + "o tt", + "▁ц ве", + "фор м", + "ни цей", + "нице й", + "ниц ей", + "▁чув ство", + "▁чувств о", + "▁к ле", + "▁ кле", + "▁И та", + "▁к ров", + "▁кро в", + "▁кр ов", + "▁ кров", + "▁ве личи", + "▁вели чи", + "▁ величи", + "сса жи", + "▁не ве", + "▁н еве", + "▁нев е", + "▁ неве", + "▁со сед", + "▁сос ед", + "▁сосе д", + "▁пере гово", + "▁Вели кой", + "▁Велико й", + "▁свя зь", + "▁связ ь", + "▁h eld", + "▁he ld", + "▁hel d", + "▁филь ма", + "▁фильм а", + "д ка", + "▁го лов", + "▁голо в", + "▁гол ов", + "▁ голов", + "ва ле", + "вал е", + "в але", + "у н", + "▁по го", + "w ork", + "ва ний", + "вани й", + "▁Го спо", + "▁Гос по", + "ve s", + "v es", + "▁в роде", + "▁ос обы", + "▁особ ы", + "▁осо бы", + "▁боль шую", + "да го", + "▁f inal", + "▁fin al", + "▁О дна", + "▁Од на", + "▁t it", + "би на", + "бин а", + "б ина", + "▁и тальян", + "▁та ком", + "▁так ом", + "iv ely", + "ive ly", + "▁на след", + "▁насле д", + "pa r", + "p ar", + "▁E m", + "▁вос пита", + "er ing", + "e ring", + "н ную", + "▁ф анта", + "▁фа нта", + "▁ фанта", + "▁к луб", + "▁клу б", + "▁энер гии", + "▁энерги и", + "же нных", + "жен ных", + "▁воз бу", + "т ю", + "пе нь", + "пен ь", + "п ень", + "▁архи тек", + "▁архите к", + "ги й", + "▁W e", + "▁ We", + "▁де вя", + "▁дев я", + "су ль", + "▁я сно", + "▁яс но", + "кр и", + "к ри", + "▁j o", + "▁ jo", + "lin g", + "li ng", + "l ing", + "▁K ing", + "▁з и", + "▁ зи", + "же ла", + "жел а", + "▁c ame", + "▁cam e", + "▁информа цию", + "ст ок", + "сто к", + "с ток", + "▁т ка", + "▁ тка", + "В е", + "▁О ста", + "▁Ос та", + "ст ых", + "сты х", + "с тых", + "▁за пи", + "▁под нима", + "\") .", + "\" ).", + "ствен ную", + "стве нную", + "▁Пу шки", + "▁бу дем", + "▁буд ем", + "но во", + "нов о", + "▁c or", + "▁co r", + "▁for mer", + "▁form er", + "▁ former", + "▁на ше", + "▁наш е", + "лк у", + "л ку", + "▁Вели ко", + "▁о дино", + "▁од ино", + "▁один о", + "▁оди но", + "▁re ceived", + "▁rece ived", + "▁receive d", + "▁По том", + "▁N orth", + "▁Nor th", + "▁e s", + "▁ es", + "▁ф ина", + "▁фи на", + "▁фин а", + "▁ фина", + "▁по пыт", + "▁попы т", + "п луа", + "▁вы во", + "▁вер нулся", + "▁верну лся", + "ме ется", + "▁сы на", + "▁сын а", + "▁по лков", + "▁пол ков", + "▁полк ов", + "▁ полков", + "▁p oss", + "▁pos s", + "▁po ss", + "▁ poss", + "вле нные", + "влен ные", + "в ленные", + "ло е", + "л ое", + "не нных", + "нен ных", + "р хи", + "жд ён", + "▁ки тай", + "▁кита й", + "▁ex pl", + "▁exp l", + "▁вос стано", + "▁восста но", + "ch es", + "che s", + "c hes", + "ры е", + "▁К П", + "▁ КП", + "г но", + "▁con f", + "▁ conf", + "▁Б лаго", + "▁Бла го", + "▁M c", + "ка тери", + "▁по тен", + "▁поте н", + "▁импе рии", + "▁play ed", + "би н", + "б ин", + "▁об щей", + "▁обще й", + "▁общ ей", + "ри аль", + "риа ль", + "риал ь", + "▁ста нет", + "▁стан ет", + "▁на вер", + "▁наве р", + "▁нав ер", + "▁p o", + "▁ po", + "▁необходи мости", + "▁необходимо сти", + "Б о", + "▁фа кт", + "▁фак т", + "! !", + "▁пар ла", + "▁на каза", + "▁нака за", + "ви ди", + "вид и", + "iz ation", + "▁сер дце", + "▁серд це", + "▁Вто рой", + "▁режи сс", + "▁с тен", + "▁ст ен", + "▁сте н", + "▁ стен", + "▁поверх ности", + "▁поверхно сти", + "по ста", + "п оста", + "▁до ве", + "▁и муще", + "▁ имуще", + "ше нии", + "▁Пер вый", + "▁му ниципа", + "ri ct", + "ric t", + "r ict", + "▁На циона", + "ст ного", + "стно го", + "с тного", + "▁офи це", + "▁ду ши", + "▁душ и", + "▁ души", + "▁ев рей", + "▁евре й", + "▁ еврей", + "▁По след", + "▁После д", + "▁ Послед", + "▁мы сль", + "▁мыс ль", + "сти ческой", + "с тической", + "▁Ch rist", + "▁Chris t", + "ak es", + "ake s", + "a kes", + "▁ро ма", + "▁ рома", + "▁п ье", + "▁пь е", + "▁К ри", + "▁h um", + "▁C o", + "▁матери аль", + "▁материа ль", + "▁мате риаль", + "▁материал ь", + "▁д ал", + "▁да л", + "▁ дал", + "ва ем", + "лн е", + "л не", + "▁ :", + "▁C ity", + "▁Не которые", + "ви дно", + "вид но", + "▁о бре", + "▁об ре", + "▁ обре", + "зд ы", + "з ды", + "ша л", + "ш ал", + "▁ор ганов", + "▁орга нов", + "▁орган ов", + "▁вы игра", + "▁выи гра", + "▁с ети", + "▁се ти", + "▁сет и", + "▁ сети", + "▁о по", + "▁оп о", + "▁писа тель", + "▁st and", + "▁ stand", + "ra tion", + "rat ion", + "r ation", + "▁у ди", + "▁уд и", + "нача льно", + "▁от ношение", + "▁отно шение", + "▁отноше ние", + "▁п рис", + "▁при с", + "▁пр ис", + "▁differ ent", + "▁k ill", + "▁kil l", + "▁ру ку", + "▁рук у", + "ро да", + "род а", + "р ода", + "▁спе к", + "▁ спек", + "▁уста навли", + "▁у голов", + "▁уго лов", + "▁угол ов", + "▁о про", + "▁оп ро", + "▁w ater", + "▁wa ter", + "▁ water", + "▁с ос", + "▁со с", + "▁be g", + "▁исполь зуется", + "▁использу ется", + "▁использует ся", + "▁к руг", + "▁кру г", + "▁ круг", + "не тся", + "нет ся", + "н ется", + "нь е", + "н ье", + "ем ая", + "ема я", + "е мая", + "▁ко сми", + "▁кос ми", + "▁ косми", + "▁по дума", + "▁под ума", + "▁поду ма", + "ж ь", + "▁Оте чественной", + "▁Александ ра", + "▁Александр а", + "▁о зе", + "▁оз е", + "▁вре мена", + "▁времен а", + "▁време на", + "▁C ar", + "▁Ca r", + "▁при роды", + "▁приро ды", + "▁природ ы", + "бл ь", + "б ль", + "▁напра влении", + "▁вы пуска", + "▁выпу ска", + "▁выпуск а", + "▁P ol", + "▁Po l", + "ne y", + "n ey", + "бу рг", + "бур г", + "▁ба таль", + "▁бата ль", + "ни лся", + "нил ся", + "н ился", + "▁во ск", + "▁вос к", + "▁s ay", + "вля ется", + "вляет ся", + "в ляется", + "▁сбор ной", + "▁сбо рной", + "че в", + "ч ев", + "▁меся ца", + "▁месяц а", + "С а", + "▁ру ках", + "▁рука х", + "▁кро ви", + "▁кров и", + "▁ крови", + "▁до мой", + "▁дом ой", + "▁домо й", + "▁ше сть", + "▁шест ь", + "ro nt", + "ron t", + "r ont", + "ни ям", + "ния м", + "▁с уме", + "▁су ме", + "▁сум е", + "▁су деб", + "▁суде б", + "▁ка фе", + "▁пар тий", + "▁парти й", + "▁ партий", + "▁включа я", + "▁вклю чая", + "▁ка чества", + "▁каче ства", + "▁качеств а", + "▁A ss", + "▁As s", + "▁о ба", + "▁об а", + "▁ оба", + "▁п роз", + "▁про з", + "▁пр оз", + "▁чув ства", + "▁чувств а", + "▁n eed", + "▁ne ed", + "▁сло вами", + "▁слова ми", + "▁словам и", + "▁с равни", + "▁срав ни", + "▁with in", + "жда ет", + "ж дает", + "▁s ix", + "дол го", + "▁ли чности", + "▁лично сти", + "▁внима ния", + "▁от носится", + "▁относи тся", + "д ных", + "▁ра скры", + "▁рас кры", + "▁С тра", + "▁Ст ра", + "▁ Стра", + "▁f un", + "▁и деи", + "▁иде и", + "в шую", + "re et", + "ree t", + "Е Н", + "▁ко смо", + "▁кос мо", + "▁is s", + "▁i ss", + "▁ iss", + "▁рас преде", + "▁ распреде", + "▁а кт", + "▁ак т", + "ст ям", + "стя м", + "▁со вета", + "▁совет а", + "▁сове та", + "▁ совета", + "ме ры", + "мер ы", + "м еры", + "en se", + "ens e", + "к ции", + "▁при вле", + "▁прив ле", + "▁хо чу", + "▁стра нах", + "▁страна х", + "▁от ме", + "на дцать", + "надца ть", + "▁любо вь", + "▁любов ь", + "ре до", + "ред о", + "кто ром", + "ктор ом", + "к тором", + "▁на ходятся", + "▁находя тся", + "▁наход ятся", + "▁находят ся", + "ти м", + "т им", + "▁при каза", + "▁прика за", + "▁приказ а", + "▁жи ли", + "▁ж или", + "▁жил и", + "▁ жили", + "вы чай", + "▁каса ется", + "М И", + "▁при чина", + "▁причи на", + "▁причин а", + "кро в", + "кр ов", + "к ров", + "▁в ое", + "▁во е", + "▁ вое", + "▁воз раста", + "▁возра ста", + "▁возраст а", + "le t", + "l et", + "▁за седа", + "▁засе да", + "▁при ходится", + "▁приходи тся", + "▁приходит ся", + "▁приход ится", + "▁прихо дится", + "▁с лы", + "▁сл ы", + "▁ слы", + "▁дей ству", + "▁действ у", + "▁зем лю", + "\\ .", + "▁H ar", + "▁Ha r", + "▁пись мо", + "al f", + "▁ве роятно", + "▁вероят но", + "▁child ren", + "чи ли", + "чил и", + "ч или", + "ie f", + "i ef", + "▁n amed", + "▁name d", + "▁Сей час", + "▁в перед", + "▁впере д", + "сна я", + "с ная", + "▁ри су", + "▁р ису", + "▁рис у", + "др е", + "д ре", + "▁all ow", + "▁p ar", + "▁ par", + "нным и", + "нны ми", + "н ными", + "▁боль шим", + "▁с рок", + "▁сро к", + "▁ср ок", + "▁Не смотря", + "й дет", + "▁Т ро", + "▁смы сл", + "вшей ся", + "ба ми", + "бам и", + "st er", + "ste r", + "s ter", + "▁сооб щает", + "▁сообща ет", + "▁ру сский", + "▁рус ский", + "▁по дви", + "▁под ви", + "▁жен щина", + "▁женщи на", + "▁женщин а", + "y n", + "▁предприя тия", + "▁и стреби", + "▁истре би", + "▁а м", + "▁ ам", + "▁за ви", + "▁за по", + "▁l ed", + "▁le d", + "▁ led", + "▁пре вы", + "▁п ала", + "▁па ла", + "▁пал а", + "▁ пала", + "ти ческого", + "▁Т А", + "▁ ТА", + "нно сть", + "н ность", + "сто рон", + "сторо н", + "стор он", + "▁кар то", + "▁карт о", + "▁Л ит", + "▁Ли т", + "▁Сан кт", + "Д а", + "▁мо мента", + "▁момент а", + "▁до маш", + "▁дома ш", + "п ки", + "▁акаде ми", + "сы па", + "le ge", + "leg e", + "▁t rad", + "▁tra d", + "▁tr ad", + "\" ;", + "▁по сред", + "▁пос ред", + "о с", + "щих ся", + "▁наз ванием", + "▁название м", + "▁назва нием", + "▁Алек се", + "▁Але ксе", + "▁поряд ке", + "▁дей ствие", + "▁действи е", + "▁ действие", + "▁С ам", + "▁Са м", + "▁в след", + "▁широ ко", + "ря док", + "ряд ок", + "рядо к", + "во дят", + "вод ят", + "водя т", + "▁бе ско", + "▁бес ко", + "▁середи не", + "▁т рак", + "▁тра к", + "▁тр ак", + "em pt", + "в тра", + "▁секре та", + "▁секрет а", + ". -", + "ar ried", + "arri ed", + "▁Анг лии", + "▁f act", + "▁fac t", + "▁fa ct", + "▁тру до", + "▁труд о", + "▁М ан", + "▁Ма н", + "▁ Ман", + "▁p at", + "▁ pat", + "ней ших", + "▁of ten", + "ial ly", + "i ally", + "▁ло ша", + "Д о", + "су аль", + "суа ль", + "▁позво ли", + "ще ны", + "щен ы", + "▁ви деть", + "▁виде ть", + "▁вид еть", + "▁к аз", + "▁ка з", + "▁ каз", + "▁протя жении", + "▁Ми хай", + "▁Миха й", + "res ent", + "▁з во", + "▁зв о", + "▁ зво", + ") )", + "▁сторо не", + "▁сторон е", + "▁ини циа", + "▁t ake", + "ст ана", + "ста на", + "стан а", + "с тана", + "ин тере", + "интер е", + "инте ре", + "▁свя зан", + "▁связа н", + "▁связ ан", + "is on", + "i son", + "В Д", + "▁пре сс", + "▁м оно", + "▁мо но", + "▁мон о", + "▁ моно", + "▁не уда", + "▁неу да", + "дне в", + "д нев", + "▁Мо жет", + "ро прия", + "▁результа т", + "▁да лее", + "▁дале е", + "▁за хо", + "▁с да", + "др у", + "д ру", + "▁E l", + "▁re pl", + "▁rep l", + "▁ди пло", + "хо дила", + "ходи ла", + "ход ила", + "ходил а", + "m s", + "не на", + "нен а", + "н ена", + "▁находи лся", + "▁наход ился", + "▁находил ся", + "▁ре чи", + "▁полу чила", + "▁получи ла", + "▁получил а", + "че нный", + "чен ный", + "ле те", + "лет е", + "л ете", + "▁ма сшта", + "ющи йся", + "ющий ся", + "ю щийся", + "▁су щ", + "▁ сущ", + "▁о чи", + "▁но вое", + "▁ново е", + "▁нов ое", + "▁об щего", + "▁обще го", + "▁общ его", + "▁бы вает", + "но вения", + "нове ния", + "▁за дача", + "▁зада ча", + "▁задач а", + "▁b uilt", + "▁bu ilt", + "▁p ost", + "▁pos t", + "▁po st", + "▁ post", + "▁дру зья", + "▁Ге ор", + "сти ческого", + "с тического", + "пу стить", + "пусти ть", + "пус тить", + "▁г ри", + "▁гр и", + "▁ гри", + "▁ре спубли", + "▁лю бы", + "▁зависи т", + "▁зави сит", + "▁мо ра", + "▁мор а", + "▁ мора", + "▁mon th", + "▁тра нс", + "▁тран с", + "▁сти хи", + "вшего ся", + "▁per iod", + "▁ме ж", + "▁же сто", + "▁жест о", + "▁pro f", + "▁pr of", + "▁цен тре", + "▁центр е", + "но доро", + "▁по ступа", + "▁посту па", + "▁поступ а", + "▁l arg", + "то вой", + "тов ой", + "тово й", + "at ter", + "att er", + "s ide", + "ка ет", + "п но", + "▁F eb", + "▁Fe b", + "▁c rit", + "▁cr it", + "ка на", + "кан а", + "к ана", + "\") ,", + "\" ),", + "▁A b", + "ur s", + "ст ье", + "сть е", + "с тье", + "▁кон цов", + "▁конц ов", + "▁w ent", + "▁we nt", + "▁eff ect", + "▁рабо чих", + "▁рабочи х", + "▁includ ed", + "▁include d", + "▁тран спорт", + "▁транспо рт", + "▁транс порт", + "▁транспор т", + "▁ транспорт", + "ard s", + "▁пло щадь", + "▁площа дь", + "▁конф лик", + "▁f ive", + "ru ary", + "r uary", + "оло гии", + "ологи и", + "о логии", + "▁по смотре", + "жда ется", + "ждает ся", + "га я", + "г ая", + "▁во ду", + "▁вод у", + "le r", + "l er", + "uth or", + "▁Е катери", + "ме ну", + "мен у", + "▁Сер ге", + "it ary", + "itar y", + "ita ry", + "▁не ма", + "▁нем а", + "▁н ема", + "▁милли онов", + "▁миллион ов", + "ти ру", + "тир у", + "▁к г", + "ta in", + "t ain", + "▁окру га", + "▁округ а", + "▁М ногие", + "▁Мно гие", + "▁о хо", + "▁ох о", + "▁тер ро", + "▁испы ты", + "ен си", + "е нси", + "▁Д ан", + "▁Да н", + "▁о све", + "▁ос ве", + "▁вер сии", + "▁верси и", + "▁Д жо", + "▁Дж о", + "pl oy", + "▁На и", + "же тся", + "жет ся", + "ж ется", + "▁ве се", + "▁вес е", + "ма т", + "м ат", + "фе й", + "ф ей", + "▁г ря", + "▁гр я", + "▁ гря", + "▁к лет", + "▁кле т", + "▁ро дился", + "▁роди лся", + "▁род ился", + "▁A f", + "▁п равда", + "▁прав да", + "▁ правда", + "al ity", + "ali ty", + "▁оказа лось", + "▁с вета", + "▁свет а", + "▁све та", + "▁под ъ", + "по ле", + "пол е", + "п оле", + "га ли", + "гал и", + "г али", + "д ные", + "би й", + "▁по ложения", + "▁поло жения", + "▁из бира", + "▁изби ра", + "И Н", + "бар ди", + "▁отде льных", + "▁отдель ных", + "▁возра сте", + "▁возраст е", + "▁К ла", + "▁г лаз", + "▁гла з", + "▁гл аз", + "▁ре ша", + "жа ется", + "жает ся", + ".) ,", + ". ),", + "▁с правед", + "▁спра вед", + "▁К ур", + "▁Ку р", + "▁ Кур", + "▁литера туры", + "▁литератур ы", + "▁до че", + "▁sh ort", + "▁man ag", + "▁A ir", + "▁И ли", + "▁Ил и", + "ren ch", + "r ench", + "▁По лу", + "▁Пол у", + "зо й", + "з ой", + "▁повто ря", + "те ния", + "▁преду пре", + "e ad", + "▁пе хо", + "▁О бра", + "▁Об ра", + "▁мар ш", + "сто ро", + "стор о", + "с торо", + "▁мо его", + "▁мое го", + "▁при водит", + "▁приводи т", + "▁приво дит", + "▁экс плуа", + "▁ann oun", + "дно го", + "д ного", + "ха н", + "х ан", + "▁у лы", + "▁ул ы", + "▁с читать", + "▁счита ть", + "▁Feb ruary", + "▁ма шин", + "▁маши н", + "ст ую", + "сту ю", + "с тую", + "но вен", + "нов ен", + "нове н", + "▁ули це", + "▁улиц е", + "▁боль шие", + "▁в последствии", + "▁n ext", + "▁ne xt", + "▁счита ет", + "▁у чили", + "▁учи ли", + "▁уч или", + "▁ве ке", + "▁век е", + "▁му зе", + "ва ю", + "▁э кипа", + "ha m", + "h am", + "ли ст", + "лис т", + "л ист", + "▁основ ных", + "▁осно вных", + "бри та", + "б рита", + "▁вз ять", + "▁взя ть", + "▁взят ь", + "il le", + "ill e", + "▁e l", + "▁ el", + "▁P ar", + "▁ Par", + "▁б рать", + "▁бра ть", + "▁брат ь", + "▁ брать", + "ча ли", + "чал и", + "ч али", + "А Р", + "сту пить", + "ступ ить", + "ступи ть", + "ступит ь", + "ко во", + "ков о", + "ро во", + "ров о", + "▁я ко", + "▁це ль", + "▁мага зи", + "▁защи ты", + "▁защит ы", + "▁H er", + "▁He r", + "▁дол жность", + "▁долж ность", + "▁должно сть", + "▁д об", + "▁до б", + "▁ доб", + "▁стра ш", + "▁и гру", + "▁иг ру", + "▁игр у", + "го рь", + "гор ь", + "лю би", + "люб и", + "обо рот", + "▁b uilding", + "▁build ing", + "зя й", + "▁тыся чи", + "▁тысяч и", + "▁г лава", + "▁гла ва", + "▁глав а", + "▁am ong", + "▁кра со", + "at tle", + "att le", + "▁про грамм", + "▁програм м", + "▁корпу са", + "▁корпус а", + "ня ют", + "▁ча са", + "▁час а", + "▁ часа", + "▁о ка", + "▁ок а", + "ле ны", + "лен ы", + "▁v ers", + "▁ver s", + "▁ vers", + "▁И но", + "▁Ин о", + "▁ре дко", + "▁ред ко", + "▁под держа", + "▁поддерж а", + "▁add ition", + "▁Воз можно", + "▁or der", + "▁ord er", + "▁ order", + "▁при гото", + "▁приго то", + "▁т рёх", + "▁п рида", + "▁при да", + "▁прид а", + "▁пр ида", + "вле нных", + "влен ных", + "в ленных", + "▁Бо га", + "▁Бог а", + "вши ми", + "вшим и", + "в шими", + "▁Ф у", + "▁f ew", + "▁fe w", + "рев нова", + "▁о кра", + "▁ок ра", + "▁во йна", + "▁вой на", + "▁войн а", + "▁ма темати", + "▁мате мати", + "▁матема ти", + "▁t op", + "▁to p", + "▁ top", + "id d", + "i dd", + "▁исче з", + "▁бу ква", + "▁бук ва", + "▁букв а", + "▁ме роприя", + "▁поли тики", + "▁полити ки", + "▁политик и", + "▁мо гло", + "▁мог ло", + "▁п рем", + "▁пре м", + "▁пр ем", + "▁ прем", + "▁с нима", + "▁сни ма", + "▁сним а", + "▁клу ба", + "▁клуб а", + "as k", + "a sk", + "▁ча стей", + "▁част ей", + "▁час тей", + "▁со чета", + "▁ сочета", + "▁С ы", + "▁con c", + "▁результа ты", + "▁результат ы", + "▁со жа", + "▁сож а", + "по ра", + "пор а", + "▁спи сок", + "▁при влека", + "▁привле ка", + "▁прив лека", + "▁ра ство", + "▁рас тво", + "▁раст во", + "▁g reat", + "▁gre at", + "лу ю", + "л ую", + "▁па ссажи", + "▁be h", + "рг и", + "р ги", + "on don", + "ond on", + "▁тео ре", + "▁кли ен", + "▁с ведения", + "▁све дения", + "ку ра", + "кур а", + "к ура", + "▁б ар", + "▁ба р", + "▁ бар", + "um ent", + "ume nt", + "u ment", + "▁Д ей", + "▁Де й", + "▁опубли ко", + "▁каза лось", + "▁вос принима", + "▁воспри нима", + "ch ed", + "che d", + "c hed", + "▁А б", + "О Л", + "▁b re", + "▁br e", + "▁ bre", + "▁desc rib", + "пе ча", + "▁называ ется", + "▁называет ся", + "▁совет ский", + "▁сове тский", + "▁обла сть", + "▁ат мо", + "тель ств", + "▁O ne", + "▁On e", + "▁Com p", + "▁Co mp", + "▁sing le", + "л га", + "▁cl ub", + "▁пред принима", + "▁предпри нима", + "▁за д", + "▁з ад", + "▁ зад", + "▁противо поло", + "ще ство", + "ществ о", + "▁sh ould", + "▁а гре", + "▁п атри", + "▁па три", + "▁ патри", + "▁гла вное", + "▁глав ное", + "ды ха", + "дых а", + "▁C al", + "▁Ca l", + "ubl ic", + "▁в спомина", + "▁вс помина", + "▁вспо мина", + "▁вспом ина", + "▁d el", + "▁de l", + "▁со ору", + "▁наро дов", + "▁народ ов", + "▁тю рь", + "▁го сти", + "▁гос ти", + "▁П ав", + "▁Па в", + "ем ое", + "емо е", + "е мое", + "ди о", + "▁сло вно", + "▁слов но", + "▁ словно", + "▁Бо лее", + "ри ей", + "рие й", + "▁д лин", + "▁дли н", + "▁памя ть", + "▁памят ь", + "▁ме стах", + "▁места х", + "▁из обре", + "▁изо бре", + "▁на правления", + "▁напра вления", + "▁инте ллек", + "▁Т ри", + "▁ Три", + "▁за вод", + "▁заво д", + "▁ завод", + "▁Миха ил", + "▁Михаи л", + "д ли", + "▁с ку", + "▁ск у", + "▁ ску", + "▁а ссо", + "▁ас со", + "▁s hip", + "▁sh ip", + "▁ ship", + "▁ци вили", + "▁У же", + "▁Уж е", + "мо к", + "м ок", + "▁e p", + "▁ ep", + "ри зо", + "р изо", + "▁в ида", + "▁ви да", + "▁вид а", + "▁ вида", + "▁по пыта", + "▁попыт а", + "▁попы та", + "▁воен ной", + "▁военно й", + "▁вое нной", + "▁ш тур", + "▁шту р", + "▁шт ур", + "▁c r", + "▁кри зи", + "П ро", + "▁Н ор", + "▁Но р", + "▁ Нор", + "▁d eb", + "▁de b", + "▁p ort", + "▁ port", + "н ё", + "▁не зна", + "ме ль", + "мел ь", + "ем а", + "е ма", + "рав да", + "▁Г ит", + "▁Ги т", + "▁фи лософ", + "▁филосо ф", + "▁ философ", + "▁ко пи", + "▁коп и", + "▁г ло", + "▁гл о", + "▁ гло", + "▁п лат", + "▁пла т", + "▁а эро", + "▁аэ ро", + "vi ous", + "v ious", + "▁оружи я", + "▁ору жия", + "▁s old", + "▁so ld", + "▁sol d", + "▁то ч", + "▁ю риди", + "▁юри ди", + "ма ни", + "ман и", + "м ани", + "ed er", + "e der", + "ur g", + "▁непосред ственно", + "▁м ер", + "▁ме р", + "▁ мер", + "▁cl aim", + "▁ claim", + "▁d iv", + "▁di v", + "▁ div", + "▁биз нес", + "▁бизне с", + "кт а", + "к та", + "▁вс пом", + "▁вспо м", + "▁раз де", + "ap an", + "a pan", + "▁pro cess", + "не ве", + "нев е", + "н еве", + "▁ре й", + "▁р ей", + "▁ рей", + "▁меся ц", + "ст ные", + "с тные", + "▁Велико брита", + "▁вто рого", + "▁второ го", + "це п", + "▁об щи", + "▁общ и", + "ви и", + "ер а", + "е ра", + "▁та кую", + "▁так ую", + "▁И так", + "▁Ита к", + "жа ла", + "жал а", + "ж ала", + "▁цер ковь", + "▁церков ь", + "▁Г ру", + "▁G o", + "об ла", + "о бла", + "не нно", + "нен но", + "н енно", + "▁сла бо", + "▁Совет ского", + "▁Сове тского", + "am b", + "a mb", + "▁g l", + "▁ gl", + "o f", + "▁о пла", + "▁оп ла", + "▁ответ ил", + "▁отве тил", + "▁но вую", + "▁нов ую", + "▁ новую", + "▁Д аль", + "▁Да ль", + "▁вы бор", + "▁выбо р", + "▁ выбор", + "▁со стояния", + "▁состоя ния", + "▁b ased", + "▁bas ed", + "▁base d", + "▁ based", + "▁скоро сть", + "▁та бли", + "▁борь бе", + "▁тор гов", + "▁торго в", + "▁оди нако", + "▁К али", + "▁Ка ли", + "▁Кал и", + "▁п рием", + "▁при ем", + "▁прие м", + "ст ая", + "ста я", + "с тая", + "▁боль шей", + "▁больше й", + "tend ed", + "▁по сети", + "▁пос ети", + "▁посе ти", + "ят ся", + "я тся", + "an gu", + "ang u", + "▁устано влен", + "▁установ лен", + "▁боль шая", + "чи ки", + "чик и", + "▁по беди", + "▁побе ди", + "▁побед и", + "as es", + "ase s", + "a ses", + "те сь", + "тес ь", + "ко вые", + "ковы е", + "▁f ather", + "▁fa ther", + "▁ father", + "▁ч ере", + "▁че ре", + "▁чер е", + "▁раз гово", + "▁а гент", + "▁аген т", + "ще на", + "щен а", + "щ ена", + "og raph", + "ograp h", + "▁ч ас", + "▁ча с", + "▁ час", + "▁па ци", + "▁боль ших", + "ве ра", + "вер а", + "в ера", + "бле н", + "бл ен", + "б лен", + "▁чи нов", + "▁чин ов", + "▁само у", + "a e", + "те ние", + "▁Aust ral", + "слу ж", + "▁per form", + "▁f ind", + "▁fin d", + "ка к", + "к ак", + "в ку", + "ле ку", + "лек у", + "▁M in", + "П а", + "▁чрез вычай", + "▁ж ан", + "▁жа н", + "▁ жан", + "смо три", + "смотр и", + "с мотри", + "ро та", + "рот а", + "▁Д об", + "▁До б", + "▁e qu", + "▁ equ", + "▁обяза тельно", + "▁м г", + "ur ther", + "urt her", + "▁s k", + "▁ sk", + "▁деся ть", + "▁тех ники", + "▁техни ки", + "▁ техники", + "ц кого", + "▁W est", + "▁We st", + "om in", + "o min", + "▁про дви", + "▁прод ви", + "▁s ent", + "▁se nt", + "▁sen t", + "си ла", + "сил а", + "с ила", + "▁Д он", + "▁До н", + "▁ Дон", + "▁челове ку", + "▁человек у", + "▁на ч", + "▁ш коле", + "▁шко ле", + "▁школ е", + "▁пре вос", + "▁ре д", + "▁р ед", + "▁ ред", + "▁Моск ву", + "▁гра фи", + "▁граф и", + "▁ графи", + "▁те ря", + "▁тер я", + "▁ теря", + "▁руковод ством", + "▁руководство м", + "ли ча", + "Г о", + "▁l ate", + "▁la te", + "▁lat e", + "▁коро лев", + "▁короле в", + "▁о пти", + "▁оп ти", + "ло вич", + "лови ч", + "▁сер ви", + "▁ серви", + "▁П рави", + "▁Пра ви", + "хо дило", + "ходи ло", + "ходил о", + "пт о", + "п то", + "▁ре гуляр", + "▁регу ляр", + "in ning", + "inn ing", + "йн а", + "й на", + "▁об станов", + "▁из бран", + "▁избра н", + "▁ана логи", + "▁ла гер", + "▁с иль", + "▁си ль", + "▁сил ь", + "▁ силь", + "▁L ondon", + "▁вой ну", + "▁войн у", + "▁B ar", + "▁Ba r", + "▁аре сто", + "▁арест о", + "▁про гре", + "▁pro ject", + "▁Кра сно", + "▁w omen", + "▁предна зна", + "▁мя г", + "▁но ги", + "▁ног и", + "мо л", + "м ол", + "▁оказа лись", + "▁оказали сь", + "▁на зывают", + "▁называ ют", + "ще ний", + "▁be come", + "▁bec ome", + "▁becom e", + "▁смо г", + "▁a ff", + "▁ aff", + "▁п рово", + "▁про во", + "▁М ор", + "▁Мо р", + "▁ Мор", + "▁у доволь", + "▁удо воль", + "▁а стро", + "▁ас тро", + "▁энер ги", + "▁эпи зо", + "▁мо дель", + "▁моде ль", + "ри ста", + "рис та", + "рист а", + "▁ве с", + "▁ вес", + "▁пе даго", + "▁Y ou", + "▁ You", + "с вя", + "▁основ ной", + "▁осно вной", + "бе ра", + "бер а", + "б ера", + "▁же ле", + "▁жел е", + "▁вы дви", + "ум а", + "у ма", + "▁па ру", + "▁пар у", + "▁ра сти", + "▁рас ти", + "▁раст и", + "▁су пру", + "▁суп ру", + "▁государ ственной", + "▁государстве нной", + "▁Ge or", + "▁Ф ор", + "▁Фо р", + "▁ Фор", + "▁фа ми", + "▁ фами", + "▁обра зование", + "▁образова ние", + "гу т", + "г ут", + "жды й", + "ж дый", + "ж ную", + "▁in it", + "▁ init", + "▁бое вых", + "▁боев ых", + "га ют", + "▁Ц К", + "▁re ad", + "▁r ead", + "▁ read", + "ро з", + "р оз", + "▁д ево", + "▁де во", + "▁дев о", + "▁g ood", + "▁go od", + "st it", + "еди н", + "ед ин", + "е дин", + "et er", + "e ter", + "▁рез ко", + "▁пре одо", + "▁стре лко", + "▁ стрелко", + "▁и ллю", + "▁м нение", + "▁мне ние", + "pos ed", + "pose d", + "▁кни гу", + "▁книг у", + "▁n on", + "▁no n", + "▁F rench", + "▁отно шению", + "▁отноше нию", + "▁свой ства", + "▁свойств а", + "▁до чь", + "▁про сь", + "▁прос ь", + "▁по стро", + "▁пос тро", + "▁пост ро", + "▁Т ол", + "▁То л", + "▁требу ет", + "ну ла", + "нул а", + "▁се рии", + "▁В ар", + "▁Ва р", + "▁пер вое", + "▁перво е", + "▁th ird", + "▁R uss", + "▁Ru ss", + "▁you ng", + "п ля", + "▁о гонь", + "▁ого нь", + "▁с част", + "▁сча ст", + "▁with out", + "▁площа ди", + "а з", + "ке р", + "к ер", + "редо то", + "▁M e", + "▁край ней", + "▁крайне й", + "ко вского", + "ков ского", + "ща ют", + "▁В прочем", + "ро ванных", + "рова нных", + "рован ных", + "▁inv ol", + "тер пе", + "▁по строен", + "▁построе н", + "▁постро ен", + "▁коро ля", + "ше ний", + "▁гер ман", + "▁ герман", + "т ную", + "▁serv ice", + "▁э кра", + "▁эк ра", + "---- ----", + "ге ти", + "г ети", + "▁ви дно", + "▁вид но", + "▁ видно", + "▁об щество", + "▁обще ство", + "▁обществ о", + "▁се зона", + "▁сезо на", + "▁сезон а", + "▁C ount", + "▁Co unt", + "▁зе ле", + "▁ зеле", + "сно ва", + "снов а", + "с нова", + "lin e", + "li ne", + "l ine", + "▁о прав", + "▁оп рав", + "▁се ла", + "▁сел а", + "▁mov ed", + "▁move d", + "М и", + "▁жа ло", + "▁жал о", + "▁ жало", + "▁le vel", + "▁ level", + "жа я", + "ж ая", + "же ли", + "жел и", + "▁C or", + "▁Co r", + "▁ка кая", + "▁как ая", + "▁б рон", + "▁бро н", + "▁S w", + "▁Ко ми", + "▁Ком и", + "▁ше сти", + "▁шест и", + "▁говори тся", + "▁говорит ся", + "▁говор ится", + "▁гово рится", + "▁С мо", + "▁См о", + "▁ге о", + "▁пись ма", + "ти ческим", + "тически м", + "▁Р С", + "con om", + "▁ком понен", + "▁компо нен", + "про тив", + "проти в", + "▁экспе ди", + "▁Между народ", + "▁ид ти", + "▁ныне ш", + "▁марш ру", + "▁ка кого", + "▁по пы", + "▁поп ы", + "▁эк спо", + "▁экс по", + "▁s on", + "▁so n", + "▁ son", + "m it", + "▁воен ного", + "▁военно го", + "▁вое нного", + "▁во спомина", + "▁вос помина", + "▁воспо мина", + "▁И спо", + "▁Ис по", + "▁о казывается", + "▁оказыва ется", + "▁оказывает ся", + "▁соста ва", + "▁состав а", + "▁Ита лии", + "▁Итали и", + "▁count ry", + "лы ми", + "лым и", + "▁дума ю", + "▁Ле нина", + "▁Ленин а", + "▁Лен ина", + "▁Лени на", + "▁пред вари", + "▁st at", + "▁ори гина", + "▁по яс", + "▁поя с", + "▁гла вный", + "▁глав ный", + "чен ко", + "ч енко", + "▁us ing", + "▁ using", + "▁помо чь", + "▁c over", + "▁co ver", + "▁s ide", + "▁ side", + "ci l", + "c il", + "▁э ми", + "▁эм и", + "▁говори ли", + "▁говорил и", + "▁говор или", + "▁гово рили", + "▁ говорили", + "▁п лен", + "▁пле н", + "▁ плен", + "▁ко ль", + "▁кол ь", + "▁ коль", + "▁Бо г", + "▁с хе", + "▁сх е", + "▁n ational", + "▁nation al", + "ри ка", + "рик а", + "▁соб ственно", + "▁собствен но", + "▁промышлен ности", + "▁за то", + "▁зат о", + "▁с тек", + "▁ст ек", + "▁сте к", + "▁f ac", + "▁fa c", + "▁край не", + "▁четыре х", + "s p", + "ru ction", + "ruct ion", + ": //", + "▁с праши", + "▁спра ши", + "ut ed", + "ute d", + "u ted", + "▁е два", + "▁ед ва", + "▁на строе", + "▁настро е", + "il ar", + "ila r", + "ни ках", + "ника х", + "го р", + "г ор", + "▁h ow", + "▁уви деть", + "▁увиде ть", + "▁созда ние", + "▁соз дание", + "es e", + "e se", + "▁ст рем", + "▁стре м", + "▁стр ем", + "▁h owever", + "▁how ever", + "▁чемпиона та", + "▁чемпионат а", + "▁orig inal", + "▁origin al", + "ge r", + "g er", + "▁те ку", + "▁тек у", + "an c", + "▁ле ген", + "▁лег ен", + "▁у беди", + "▁убе ди", + "▁В В", + "▁предста вления", + "▁J apan", + "▁Ф или", + "▁Фи ли", + "▁te chn", + "▁продол жи", + "а л", + "▁объек тов", + "▁объект ов", + "▁Бы л", + "▁к рая", + "▁кра я", + "▁кр ая", + "▁на ступа", + "▁наступ а", + "▁char acter", + "▁charact er", + "ви в", + "в ив", + "ня ли", + "нял и", + "н яли", + "le ss", + "les s", + "l ess", + "▁ch ang", + "▁ chang", + "▁следу ющие", + "am ple", + "amp le", + "пт и", + "п ти", + "▁сво ё", + "хо зяй", + "▁пар ти", + "▁парт и", + "▁w in", + "▁ win", + "▁С ов", + "▁Со в", + "▁вариан т", + "▁вариа нт", + "▁k e", + "▁ ke", + "▁кора бля", + "▁исклю чительно", + "▁исключи тельно", + "▁Че лове", + "▁ Челове", + "▁А фри", + "▁Аф ри", + "ри ли", + "рил и", + "р или", + "▁К ре", + "▁ Кре", + "▁ника кого", + "зи л", + "з ил", + "▁э ска", + "▁эс ка", + "▁эле мента", + "▁элемент а", + "▁кре п", + "▁ креп", + "▁S ec", + "▁Se c", + "hi ng", + "h ing", + "ро вка", + "ров ка", + "ol ution", + "▁Ц ер", + "▁Це р", + "ст вий", + "стви й", + "▁З е", + "▁ Зе", + "жде ны", + "жден ы", + "же но", + "жен о", + "▁к ара", + "▁ка ра", + "▁кар а", + "▁ кара", + "ль ности", + "льно сти", + "▁Р ы", + "тель ством", + "тельство м", + "тельств ом", + "ak en", + "ake n", + "a ken", + "▁E n", + "▁ En", + "▁ка кую", + "▁как ую", + "▁со ревнова", + "▁Т ут", + "▁Ту т", + "▁includ e", + "▁желез нодоро", + "мы сле", + "▁С лу", + "▁про ходит", + "▁проходи т", + "▁проход ит", + "▁прохо дит", + "▁в тор", + "▁вто р", + "▁appe ar", + "▁app ear", + "▁веро ят", + "▁ вероят", + "тех ни", + "ъ я", + "▁B ut", + "▁Bu t", + "▁ But", + "▁на рко", + "▁нар ко", + "ше нию", + "▁успе ш", + "▁Б ри", + "▁Г ар", + "▁Га р", + "▁участ ников", + "▁участник ов", + "▁Р я", + "вля ют", + "в ляют", + "▁жи л", + "▁ж ил", + "▁ жил", + "▁не де", + "▁ре зер", + "▁рез ер", + "b e", + "▁про веде", + "▁прове де", + "ме нить", + "мен ить", + "мени ть", + "▁да нном", + "▁дан ном", + "се л", + "▁к е", + "▁ ке", + "▁круп ных", + "▁особенно сти", + "▁особен ности", + "▁c he", + "▁ch e", + "▁ che", + "re st", + "res t", + "r est", + "▁Се годня", + "▁пи сать", + "▁писа ть", + "▁ писать", + "▁п ласти", + "▁пла сти", + "▁пласт и", + "▁за тра", + "▁з атра", + "▁зат ра", + "вё л", + "в ёл", + "тер на", + "▁St ate", + "▁пер вая", + "▁publ ished", + "▁вы деля", + "▁выде ля", + "▁эле ментов", + "▁элемент ов", + "▁f ore", + "▁for e", + "▁ fore", + "▁т рав", + "▁тра в", + "▁тр ав", + "▁у видел", + "▁уви дел", + "▁увиде л", + "ro te", + "r ote", + "ду ет", + "ро ваны", + "рова ны", + "рован ы", + "ко вский", + "ков ский", + "▁не которое", + "▁некото рое", + "▁по нял", + "▁поня л", + "▁пон ял", + "ord s", + "en tion", + "ent ion", + "▁э волю", + "же на", + "жен а", + "ж ена", + "▁по рядка", + "▁поряд ка", + "кл е", + "к ле", + "▁сказа ла", + "▁ска зала", + "▁сказал а", + "▁сказ ала", + "ще му", + "щем у", + "▁Ге нера", + "▁Ген ера", + "▁при род", + "▁приро д", + "es ts", + "est s", + "▁отмет ил", + "▁отме тил", + "amp ions", + "ampion s", + "▁же л", + "▁ жел", + "ap e", + "a pe", + "▁pop ulation", + "▁возника ет", + "▁Т ер", + "▁Те р", + "по те", + "пот е", + "п оте", + "▁М оло", + "▁Мо ло", + "▁Мол о", + "▁ Моло", + "▁устрой ства", + "▁устройств а", + "▁f riend", + "▁ friend", + "ше нием", + "шение м", + "▁с ложи", + "▁сло жи", + "лк е", + "л ке", + "▁g r", + "▁ gr", + "чи ная", + "чина я", + "чин ая", + "▁чемпиона те", + "▁чемпионат е", + "▁поз днее", + "▁позд нее", + "се рва", + "сер ва", + "▁мл рд", + "▁коман да", + "▁команд а", + "▁се ле", + "▁сел е", + "▁с порт", + "▁спо рт", + "▁спор т", + "▁ спорт", + "▁раз ум", + "▁разу м", + "▁ разум", + "▁свобо ды", + "▁свобод ы", + "▁е писко", + "▁ еписко", + "▁Пер ед", + "▁Пе ред", + "▁Пере д", + "▁се льского", + "▁сель ского", + "( )", + "▁за ка", + "▁з ака", + "▁зак а", + "▁k now", + "▁kn ow", + "▁ know", + "по лу", + "пол у", + "▁h aving", + "▁ha ving", + "▁че му", + "▁чем у", + "▁ чему", + "▁com pet", + "▁comp et", + "ти лись", + "тили сь", + "▁на ста", + "▁нас та", + "▁пре бы", + "ко ль", + "кол ь", + "ча сти", + "час ти", + "част и", + "z e", + "re am", + "▁P res", + "▁Pr es", + "▁Pre s", + "▁при шел", + "во л", + "в ол", + "Р А", + "▁болез ни", + "▁боле зни", + "▁м лад", + "▁мл ад", + "▁мла д", + "▁c ult", + "лл о", + "л ло", + "▁ко нец", + "▁кон ец", + "▁коне ц", + "▁ конец", + "▁по иска", + "▁пои ска", + "▁поиск а", + "та на", + "тан а", + "т ана", + "вле нный", + "влен ный", + "в ленный", + "ев ского", + "е вского", + "йте сь", + "й тесь", + "▁ра ссу", + "▁рас су", + "▁расс у", + "▁ рассу", + "вё р", + "в ёр", + "нно м", + "н ном", + "▁по ведения", + "▁пове дения", + "▁in fl", + "▁inf l", + "▁от куда", + "▁отк уда", + "b l", + "Н О", + "▁количе ства", + "▁The se", + "▁Th ese", + "▁у читы", + "▁учи ты", + "▁l ook", + "▁lo ok", + "▁ look", + "▁не что", + "▁ро ждения", + "▁s it", + "▁исследова ний", + "ть е", + "т ье", + "▁с форми", + "▁служ бу", + "▁служб у", + "▁act iv", + "ra w", + "r aw", + "▁Will iam", + "тя брь", + "▁пол ной", + "▁полно й", + "en cy", + "enc y", + "сно е", + "с ное", + "▁n ever", + "▁ne ver", + "▁произ водство", + "▁производ ство", + "сы ла", + "ко ле", + "кол е", + "к оле", + "▁Р об", + "▁Ро б", + "▁во дой", + "▁водо й", + "▁вод ой", + "ст ера", + "сте ра", + "стер а", + "с тера", + "▁ря да", + "▁ряд а", + "▁И зра", + "▁Из ра", + "▁моло до", + "▁мол одо", + "▁молод о", + "ро ваться", + "рова ться", + "ровать ся", + "▁пу сть", + "▁дол жности", + "▁долж ности", + "▁должно сти", + "▁r ole", + "▁ro le", + "▁f re", + "▁fr e", + "▁конку рен", + "▁конкур ен", + "al d", + "a ld", + "ци о", + "ri es", + "rie s", + "r ies", + "ло ж", + "li sh", + "l ish", + "сю да", + "▁не дели", + "▁неде ли", + "▁кни г", + "ми т", + "м ит", + "▁раз вер", + "▁разве р", + "▁кни га", + "▁книг а", + "▁оконча ния", + "▁re al", + "▁ real", + "▁па мят", + "▁памя т", + "▁от дела", + "▁отде ла", + "▁отдел а", + "▁I V", + "▁ IV", + "▁ТА СС", + "▁ ТАСС", + "op s", + "o ps", + "▁т ща", + "▁п ет", + "▁пе т", + "▁ пет", + "▁st ation", + "▁stat ion", + "▁о х", + "au l", + "a ul", + "▁П оз", + "▁По з", + "ан ь", + "а нь", + "▁дере вя", + "▁дерев я", + "▁П равда", + "не та", + "нет а", + "пи л", + "п ил", + "▁Ва силь", + "▁Васи ль", + "▁Вас иль", + "▁нача льник", + "▁началь ник", + "▁харак тера", + "▁характер а", + "▁не со", + "▁нес о", + "▁Ма кси", + "▁Мак си", + "▁Макс и", + "▁мето д", + "▁мет од", + "▁пу сты", + "▁bus iness", + "▁с лыша", + "▁слы ша", + "▁ти ту", + "▁за держа", + "чи лся", + "чил ся", + "ч ился", + "▁К ара", + "▁Ка ра", + "▁Кар а", + "et h", + "e th", + "▁d ied", + "▁di ed", + "▁die d", + "▁га ран", + "▁гар ан", + "ье в", + "ь ев", + "\" [", + "ре нь", + "рен ь", + "р ень", + "ду мы", + "дум ы", + "▁start ed", + "▁star ted", + "▁ста ти", + "▁ стати", + "▁A cc", + "▁Ac c", + "▁t em", + "▁te m", + "ни ться", + "нить ся", + "▁бом барди", + "но вение", + "нове ние", + "▁пи ло", + "▁ пило", + "мо му", + "мом у", + "▁на ка", + "▁н ака", + "▁во сь", + "▁вос ь", + "▁за пу", + "ва нию", + "вани ю", + "же нные", + "жен ные", + "▁случа ев", + "▁случае в", + "▁спро сил", + "▁спрос ил", + "▁по лк", + "▁пол к", + "on es", + "one s", + "o nes", + "▁обо зна", + "▁A ng", + "▁An g", + "ar ent", + "are nt", + "aren t", + "a rent", + "де те", + "дет е", + "д ете", + "▁на ша", + "▁наш а", + "▁публи ка", + "▁ре шили", + "▁реши ли", + "▁решил и", + "▁государ ство", + "▁государств о", + "че стве", + "▁пре образова", + "▁преобра зова", + "▁представи телей", + "ib er", + "i ber", + "▁att empt", + "ст ен", + "сте н", + "с тен", + "го вари", + "гова ри", + "▁M ed", + "▁Me d", + "▁во сем", + "▁вос ем", + "▁ре гули", + "▁регу ли", + "▁ регули", + "ня ми", + "ням и", + "н ями", + "▁ни как", + "▁ника к", + "▁ник ак", + "▁по рядок", + "▁поряд ок", + "▁порядо к", + "▁у креп", + "▁укре п", + "ли чия", + "личи я", + "▁обстоя тельства", + "▁обстоятельств а", + "Т а", + "ol e", + "o le", + "ма то", + "мат о", + "ди м", + "д им", + "де я", + "на р", + "н ар", + "▁тек ст", + "os p", + "o sp", + "Е Л", + "▁comm and", + "Й ор", + "се ния", + "▁начина ется", + "▁начинает ся", + "u k", + "▁перио да", + "▁период а", + "▁пери ода", + "жа ют", + "жаю т", + "ст ры", + "стр ы", + "с тры", + "▁слу ша", + "▁ слуша", + "емы м", + "е мым", + "▁я вно", + "▁яв но", + "ле ра", + "лер а", + "л ера", + "ver s", + "v ers", + "ac hed", + "ach ed", + "ache d", + "a ched", + "ду ш", + "▁фа куль", + "▁Х и", + "▁вы бира", + "▁выби ра", + "ра баты", + "сло вно", + "слов но", + "▁приня то", + "▁принят о", + "▁о дному", + "▁од ному", + "▁одно му", + "▁одном у", + "▁ре а", + "▁Э р", + "▁p rote", + "▁pro te", + "▁pr ote", + "▁prot e", + "С и", + "▁Анд рей", + "▁Андре й", + "▁И р", + "▁R es", + "▁Re s", + "▁ Res", + "▁О соб", + "▁Ос об", + "▁Осо б", + "юще му", + "ющем у", + "ю щему", + "ве ц", + "в ец", + "▁зна ком", + "▁знако м", + "▁знак ом", + "▁сос редото", + "зм е", + "з ме", + "▁п рин", + "▁при н", + "▁пр ин", + "че тся", + "чет ся", + "ч ется", + "va l", + "v al", + "кон ча", + "▁Зем ли", + "▁Зе мли", + "ли за", + "ши на", + "шин а", + "ш ина", + "▁за коном", + "▁зако ном", + "▁закон ом", + "▁законо м", + "▁зак оном", + "▁W ith", + "▁Wi th", + "▁н рави", + "▁нрав и", + "▁нра ви", + "▁шта ба", + "▁штаб а", + "tt p", + "▁не про", + "▁да нной", + "▁дан ной", + "▁к лад", + "▁кла д", + "▁ клад", + "▁каж дом", + "▁каждо м", + "чи е", + "▁со блю", + "▁соб лю", + "▁иностран ных", + "b s", + "▁под вод", + "▁подво д", + "▁поли тической", + "▁полити ческой", + "▁ политической", + "▁По скольку", + "an a", + "a na", + "▁## ##", + "▁### #", + "▁ ####", + "▁w ant", + "▁wa nt", + "▁д ре", + "▁др е", + "▁ дре", + "▁hist ory", + "▁histor y", + "le v", + "l ev", + "▁появи лись", + "▁поя вились", + "? ?", + "▁и ной", + "▁ин ой", + "▁ино й", + "му ли", + "▁d ays", + "▁day s", + "▁на сколько", + "▁e duc", + "▁ed uc", + "▁ба ш", + "▁s ee", + "▁se e", + "▁ see", + "▁кон кур", + "▁конку р", + "гр и", + "г ри", + "кра тно", + "крат но", + "▁ар мия", + "▁арми я", + "р но", + "стро йки", + "строй ки", + "▁в у", + "▁ ву", + "жно м", + "ж ном", + "▁кон ферен", + "▁конф ерен", + "▁конфе рен", + "▁ конферен", + "▁мат че", + "▁матч е", + "▁n orth", + "▁nor th", + "▁nort h", + "▁о пу", + "▁оп у", + "▁К ан", + "▁Ка н", + "ра б", + "▁Ка ждый", + "▁тор же", + "п лы", + "▁Р ей", + "▁Ре й", + "▁раз би", + "ль ному", + "льно му", + "льном у", + "▁же ст", + "сны м", + "с ным", + "▁v iew", + "▁ view", + "чни к", + "ч ник", + "за ть", + "чи ться", + "чить ся", + "▁фло та", + "▁флот а", + "▁род ствен", + "▁P art", + "▁Par t", + "▁announ ced", + "▁д воря", + "▁дво ря", + "▁двор я", + "ня ются", + "няют ся", + "ти ла", + "тил а", + "т ила", + "▁r ad", + "▁ra d", + "▁ rad", + "▁ру бе", + "▁руб е", + "▁Ино гда", + "▁го ре", + "▁гор е", + "▁ горе", + "▁ра кет", + "▁рак ет", + "▁раке т", + "▁t w", + "▁да нный", + "▁дан ный", + "▁m ember", + "▁me mber", + "▁mem ber", + "▁continu ed", + "▁contin ued", + "▁continue d", + "▁Р им", + "▁Ри м", + "▁современ ной", + "▁S up", + "▁Su p", + "▁ком мента", + "▁коммен та", + "▁cl os", + "▁ clos", + "▁неболь шой", + "▁небольшо й", + "▁зем ля", + "▁го с", + "▁г ос", + "le ar", + "l ear", + "en eral", + "ener al", + "ene ral", + "зм ом", + "з мом", + "▁ка мен", + "▁кам ен", + "▁каме н", + "▁м аги", + "▁ма ги", + "▁маг и", + "▁напра влен", + "ма й", + "м ай", + "es tern", + "est ern", + "ester n", + "▁г им", + "▁ги м", + "▁ гим", + "ло ви", + "лов и", + "▁институ та", + "▁институт а", + "ство вала", + "ствовал а", + "ствова ла", + "▁В ен", + "▁Ве н", + "▁ Вен", + "iv id", + "▁по вре", + "▁пов ре", + "▁g iven", + "▁give n", + "▁ша х", + "▁ шах", + "▁и ск", + "▁ис к", + "М е", + "▁вз ял", + "▁взя л", + "то ли", + "тол и", + "▁L a", + "▁ La", + "or ies", + "ori es", + "o ries", + "М ы", + "▁l et", + "▁le t", + "▁ let", + "our n", + "o urn", + "▁дальней шем", + "▁кла сс", + "▁ класс", + "▁не одно", + "▁нео дно", + "▁я дер", + "▁яд ер", + "▁ ядер", + "ва нием", + "вание м", + "вани ем", + "▁за вода", + "▁заво да", + "▁завод а", + "oo n", + "o on", + "ra g", + "r ag", + "не те", + "нет е", + "н ете", + "фи циаль", + "фици аль", + "▁в ку", + "▁ вку", + "▁об служи", + "▁и гр", + "▁иг р", + "▁На ча", + "▁Нач а", + "▁him self", + "% .", + "▁полу чения", + "зи ру", + "ю р", + "▁во ди", + "▁вод и", + "▁ води", + "▁ис ход", + "▁м еры", + "▁ме ры", + "▁мер ы", + "▁ меры", + "▁hel p", + "▁за рабо", + "▁зара бо", + "▁голо с", + "▁гол ос", + "▁s qu", + "за ми", + "зам и", + "▁Ива нович", + "es ted", + "est ed", + "▁чле ном", + "▁член ом", + "эл ь", + "э ль", + "ште й", + "шт ей", + "ш тей", + "▁до ли", + "▁дол и", + "че ра", + "чер а", + "ч ера", + "▁cont rol", + "▁contro l", + "ж ка", + "во ен", + "вое н", + "in o", + "i no", + "си и", + "бе нок", + "бен ок", + "сс ер", + "ссе р", + "с сер", + "▁основа нии", + "▁осно вании", + "ци ям", + "ция м", + "▁хозяй ства", + "▁хозяйств а", + "▁ва ми", + "▁вам и", + "▁ вами", + "▁ак тивно", + "▁актив но", + "▁предста вить", + "▁представи ть", + "▁про ведения", + "▁прове дения", + "▁проведе ния", + "▁пере вод", + "▁перево д", + "▁х ло", + "▁ хло", + "▁Мини стер", + "жи м", + "ж им", + "▁за писа", + "▁запи са", + "▁соб ственной", + "▁собствен ной", + "▁собственно й", + "▁пред ложил", + "▁предложи л", + "ind ows", + "▁Д жей", + "▁Дж ей", + "▁Дже й", + "б ку", + "▁сти хот", + "нс кая", + "н ская", + "▁шко лу", + "▁школ у", + "▁нер в", + "▁в ходит", + "▁вход ит", + "▁входи т", + "e f", + "▁о з", + "▁ оз", + "af f", + "a ff", + "бла го", + "б лаго", + "▁w rote", + "ще нием", + "щение м", + "▁исполь зование", + "▁использова ние", + "▁Can ad", + "▁счита ют", + "▁считаю т", + "▁return ed", + "▁пре тен", + "op h", + "o ph", + "▁м ед", + "▁ме д", + "▁ мед", + "▁Моск ва", + "▁ Москва", + "▁гра ницы", + "▁грани цы", + "▁границ ы", + "▁зада ч", + "ot s", + "o ts", + "▁По ка", + "▁l ist", + "▁ list", + "▁тре ни", + "▁Е ги", + "▁совет ских", + "П ри", + "▁а дре", + "▁ад ре", + "▁s w", + "▁ sw", + "жь е", + "ж ье", + "▁заклю чается", + "▁заключа ется", + "д ю", + "▁И ль", + "▁Ил ь", + "бе рг", + "бер г", + "ль ность", + "льно сть", + "▁досто ин", + "▁А каде", + "▁По ли", + "▁Пол и", + "ug g", + "▁на оборот", + "▁А зии", + "ра с", + "р ас", + "▁выну жден", + "▁в доль", + "▁вдо ль", + "▁бо ро", + "▁бор о", + "▁ боро", + "кну л", + "к нул", + "▁s erved", + "▁serv ed", + "▁ser ved", + "▁serve d", + "▁о хва", + "▁ох ва", + "▁в ру", + "▁вр у", + "▁b est", + "▁be st", + "▁bes t", + "▁со знания", + "▁созна ния", + "▁в верх", + "▁не ё", + "▁ма сса", + "▁масс а", + "▁А к", + "ка л", + "к ал", + "▁О к", + "▁мо их", + "▁мои х", + "▁a uthor", + "▁auth or", + "Б а", + "▁Ш та", + "▁с обо", + "▁со бо", + "▁соб о", + "▁при дется", + "▁прид ется", + "▁придет ся", + "' ,", + "▁авто ра", + "▁ав тора", + "▁автор а", + "▁из ба", + "▁М О", + "▁ МО", + "▁гла вного", + "▁глав ного", + "ча ми", + "чам и", + "▁in form", + "▁inf orm", + "▁нау чно", + "ме нтом", + "мен том", + "мент ом", + "▁пред ше", + "▁rep resent", + "▁больше ви", + "в ё", + "др ы", + "д ры", + "▁ге не", + "▁ген е", + "▁ гене", + "тво р", + "т вор", + "чи в", + "ч ив", + "oun cil", + "Б е", + "▁спе ци", + "▁спец и", + "= =", + "fer ence", + "fe rence", + "▁от носятся", + "▁относя тся", + "▁относят ся", + "us ed", + "use d", + "▁вы став", + "▁выс тав", + "▁выста в", + "▁губер нии", + "кан чи", + "▁Eng lish", + "▁ба ссе", + "for d", + "f ord", + "с ё", + "▁О но", + "▁Он о", + "▁сек суаль", + "▁О чень", + "▁Оче нь", + "бе ли", + "▁t ot", + "▁to t", + "▁ли кви", + "▁develop ment", + "▁дости жения", + "▁совет ской", + "▁сове тской", + "▁советско й", + "▁stud ents", + "▁student s", + "re g", + "кро ви", + "кров и", + "▁право слав", + "▁правосла в", + "▁P ark", + "▁Par k", + "o id", + "er r", + "нно сти", + "н ности", + "▁ге рои", + "▁геро и", + "▁профе ссор", + "▁профессо р", + "ab or", + "a bor", + "ir c", + "i rc", + "▁Пре зиден", + "▁от сутствие", + "▁отсут ствие", + "ви лись", + "вили сь", + "че нной", + "чен ной", + "ченно й", + "▁доро ге", + "▁дорог е", + "ing ton", + "▁Af ric", + "▁коми тета", + "▁комитет а", + "▁комите та", + "▁цар я", + "▁ца ря", + "▁го ризо", + "▁гор изо", + "▁на лого", + "▁налог о", + "ни ла", + "нил а", + "н ила", + "▁com mon", + "▁comm on", + "▁В скоре", + "▁дерев ни", + "▁коман дир", + "▁команди р", + "▁команд ир", + "▁рус ские", + "▁и нду", + "▁ин ду", + "▁срав нению", + "к л", + "▁С пи", + "▁во ин", + "▁вои н", + "▁ды ха", + "▁ дыха", + "▁по бере", + "▁побе ре", + "▁дру гую", + "▁друг ую", + "▁другу ю", + "▁высо кой", + "▁высоко й", + "чко в", + "ч ков", + "▁у вели", + "▁уве ли", + "▁посе ления", + "▁pre vious", + "да ет", + "▁счита ется", + "▁считает ся", + "▁на пи", + "n a", + "▁p ain", + "▁неде лю", + "▁Вы со", + "▁Выс о", + "▁pos ition", + "▁ position", + "ти ровал", + "тирова л", + "▁су хо", + "▁Ген ри", + "▁f ield", + "▁ field", + "▁соответ ственно", + "надца ти", + "rid ge", + "▁bel ie", + "▁страте ги", + "▁горо дов", + "▁город ов", + "ви га", + "жде нию", + "ж дению", + "▁атмо сф", + "сты м", + "с тым", + "▁d oes", + "▁do es", + "▁s omet", + "▁so met", + "▁some t", + "▁som et", + "▁ба зе", + "▁баз е", + "▁pr iv", + "▁pri v", + "▁прави льно", + "▁D av", + "▁обра тно", + "▁ла бора", + "ствен ными", + "стве нными", + "ственным и", + "ственны ми", + "▁На конец", + "ез де", + "езд е", + "i us", + "▁з дания", + "▁зда ния", + "pl ic", + "▁оружи е", + "▁ору жие", + "▁ста тье", + "▁стать е", + "ст ам", + "ста м", + "с там", + "▁П О", + "▁ ПО", + "▁пор тре", + "▁порт ре", + "▁сель со", + "▁Э н", + "▁у правление", + "▁упра вление", + "▁ли це", + "▁лиц е", + "имо сть", + "и мость", + "ir on", + "iro n", + "i ron", + "▁но мер", + "▁номе р", + "▁ номер", + "▁и дея", + "▁иде я", + "▁вы ста", + "▁выс та", + "▁in f", + "▁ inf", + "▁успе шно", + "▁успеш но", + "▁компью тер", + "▁l ess", + "▁le ss", + "▁les s", + "▁ less", + "да н", + "д ан", + "▁с читал", + "▁счита л", + "▁m ag", + "▁d est", + "▁de st", + "▁des t", + "▁S er", + "▁Se r", + "▁неда вно", + "▁недав но", + "se qu", + "s equ", + "▁уча ствовал", + "▁Г лава", + "▁Гла ва", + "▁Глав а", + "щи ки", + "щик и", + "▁пре де", + "▁пред е", + "▁ преде", + "▁S oc", + "▁So c", + "ст ный", + "с тный", + "▁Ж у", + "▁но чью", + "▁ночь ю", + "E R", + "▁ar r", + "▁N e", + "▁ Ne", + "▁пере мен", + "▁пер емен", + "▁пе ремен", + "▁переме н", + "▁окон чил", + "▁Алек сей", + "▁Алексе й", + "цен тра", + "центр а", + "ab ly", + "abl y", + "▁нена ви", + "▁Кра сной", + "▁Красно й", + "▁G l", + "▁бе сс", + "▁бес с", + "for man", + "form an", + "▁С П", + "▁ СП", + "не нные", + "нен ные", + "▁на селение", + "▁насе ление", + "▁im p", + "▁i mp", + "сл я", + "с ля", + "▁удо сто", + "шко й", + "ш кой", + "▁по вер", + "▁пове р", + "▁пов ер", + "мы ми", + "мым и", + "▁зна ния", + "▁ знания", + "▁обу чения", + "du ct", + "duc t", + "d uct", + "▁д обра", + "▁до бра", + "▁доб ра", + "чко й", + "ч кой", + "▁на чать", + "▁нача ть", + "▁c ase", + "▁cas e", + "▁D es", + "▁De s", + "▁С ла", + "▁сто и", + "В О", + "▁T r", + "▁Ко ман", + "▁Ком ан", + "▁П ло", + "▁тре во", + "▁тр ево", + "▁по ведение", + "▁пове дение", + "▁с че", + "▁polit ical", + "▁строи тельства", + "фо в", + "ф ов", + "▁проце ду", + "▁за кона", + "▁зако на", + "▁закон а", + "▁зак она", + "▁по стра", + "▁пос тра", + "▁пост ра", + "▁пе сни", + "▁пес ни", + "▁м ай", + "▁ма й", + "▁ май", + "B C", + "де нти", + "ден ти", + "дент и", + "▁вы шла", + "▁выс казыва", + "▁выска зыва", + "ue d", + "u ed", + "▁Ро ссию", + "▁Росси ю", + "▁Рос сию", + "ба я", + "б ая", + "▁возду ха", + "▁воздух а", + "щи ка", + "щик а", + "▁О лимпий", + "ря ду", + "ряд у", + "▁симво ли", + "▁символ и", + "▁H igh", + "▁R ep", + "▁Re p", + "▁в пло", + "сти ческих", + "стически х", + "с тических", + "▁ве щества", + "▁веществ а", + "▁веще ства", + "▁p ut", + "▁ put", + "▁оста льные", + "▁ост альные", + "ро вой", + "ров ой", + "рово й", + "▁К ли", + "▁v ill", + "про с", + "пр ос", + "п рос", + "ку па", + "куп а", + "▁Ph il", + "▁принима ть", + "ко вого", + "ково го", + "av y", + "▁с ай", + "▁са й", + "▁ сай", + "▁по о", + "сту пили", + "ступ или", + "ступи ли", + "ступил и", + "▁Верхов ного", + "ко сть", + "кос ть", + "нг а", + "н га", + "▁Де ло", + "С е", + "сты й", + "с тый", + "▁суще ствования", + "▁существо вания", + "▁существова ния", + "▁потре бо", + "▁потреб о", + "▁i de", + "▁id e", + "▁ ide", + "▁сооб щения", + "▁сообще ния", + "▁s pecial", + "▁spe cial", + "▁spec ial", + "art ment", + "▁от чет", + "▁отче т", + "▁послед них", + "ni ng", + "n ing", + "et work", + "ра т", + "р ат", + "▁p ract", + "▁pr act", + "▁pra ct", + "м м", + "▁ката стро", + "▁п рика", + "▁при ка", + "▁ф ла", + "▁о са", + "▁ос а", + "▁ оса", + "▁ро ст", + "▁рос т", + "yl e", + "y le", + "▁за втра", + "▁var ious", + "▁vari ous", + "▁но си", + "▁н оси", + "▁нос и", + "▁ носи", + "A S", + "▁a nt", + "▁an t", + "▁ ant", + "▁большо го", + "▁с ила", + "▁си ла", + "▁сил а", + "▁ сила", + "Р О", + "▁госпо д", + "▁гос под", + "дж ет", + "дже т", + "д жет", + "ще но", + "щен о", + "▁оказа лась", + "▁сна ря", + "рно й", + "р ной", + "▁t ro", + "▁tr o", + "▁me et", + "зер бай", + "▁г ром", + "▁гро м", + "▁гр ом", + "▁ гром", + "▁А нто", + "▁Ан то", + "▁c urrent", + "▁cur rent", + "▁de fe", + "▁def e", + "▁## #", + "▁# ##", + "▁о риен", + "▁ори ен", + "Р е", + "зербай джа", + "▁ x", + "▁опреде лить", + "in ation", + "ina tion", + "▁наз вания", + "▁назва ния", + "▁за му", + "▁зам у", + "▁к ем", + "▁ке м", + "▁основ ные", + "▁осно вные", + "не сен", + "нес ен", + "несе н", + "▁сопрово жда", + "▁сожа лению", + "▁ф ер", + "▁фе р", + "▁ фер", + "пра во", + "прав о", + "▁import ant", + "▁вне за", + "im ent", + "ime nt", + "i ment", + "▁mil itary", + "▁Со лн", + "▁Сол н", + "▁си лой", + "▁сил ой", + "▁сило й", + "▁в низ", + "of f", + "o ff", + "сти ка", + "стик а", + "с тика", + "▁занима ться", + "▁занимать ся", + "▁Япо нии", + "▁газ еты", + "▁газе ты", + "▁газет ы", + "▁С ло", + "ща ются", + "щают ся", + "▁ z", + "▁се ми", + "▁сем и", + "▁муж чина", + "▁мужчи на", + "▁мужчин а", + "▁услови й", + "▁Пе тербур", + "▁Петер бур", + "▁ Петербур", + "▁пре пят", + "▁в ладель", + "▁вла дель", + "▁владе ль", + "▁владел ь", + "ба х", + "▁ма е", + "▁ин женер", + "▁инже нер", + "тно м", + "т ном", + "▁пара лле", + "▁и меется", + "▁име ется", + "▁имеет ся", + "де ления", + "деле ния", + "▁re se", + "▁r ese", + "▁res e", + "▁о ско", + "▁ос ко", + "нь ю", + "н ью", + "▁подо зре", + "▁бо же", + "▁ди ректор", + "▁дире ктор", + "▁по за", + "▁поз а", + "▁A g", + "▁вопро сов", + "▁вопрос ов", + "om b", + "o mb", + "▁С па", + "us h", + "u sh", + "▁T o", + "▁ To", + "нь я", + "н ья", + "ту рой", + "тур ой", + "туро й", + "▁S an", + "▁Sa n", + "▁ре ализации", + "▁реали зации", + "▁реа лизации", + "▁внутрен них", + "спо нден", + "it her", + "ith er", + "i ther", + "▁во обра", + "▁воо бра", + "зо к", + "з ок", + "ши ли", + "шил и", + "ш или", + "▁на ко", + "▁ нако", + ". ;", + "ст ю", + "с тю", + "▁Е е", + "▁Е му", + "▁с мотри", + "▁смо три", + "▁ смотри", + "▁мо ду", + "ivid ual", + "▁Фили п", + "еха ли", + "ехал и", + "е хали", + "▁И нтер", + "▁Ин тер", + "▁Инте р", + "▁ Интер", + "▁ста нов", + "▁стан ов", + "▁стано в", + "▁ станов", + "▁я й", + "▁о тре", + "▁от ре", + "▁О бы", + "▁Об ы", + "▁s outh", + "▁so uth", + "▁a way", + "▁aw ay", + "▁муж чин", + "▁мужчи н", + "▁ком мер", + "йс кого", + "й ского", + "зи ровать", + "зирова ть", + "▁контро ли", + "ли ва", + "лив а", + "ма ми", + "мам и", + "ul e", + "u le", + "▁прошло м", + "▁прош лом", + "▁д вой", + "▁дво й", + "▁связа но", + "▁связан о", + "▁связ ано", + "▁ди нами", + "▁дина ми", + "▁ динами", + "ко вым", + "ковы м", + "▁пара мет", + "▁обеспе чения", + "▁С т", + "▁импера тор", + "▁пожа луй", + "▁жела ние", + "до не", + "дон е", + "д оне", + "▁ограни чи", + "де лить", + "дели ть", + "дел ить", + "▁за пла", + "▁Пе тро", + "▁Пет ро", + "▁Петр о", + "ще р", + "щ ер", + "▁до ктор", + "▁док тор", + "way s", + "wa ys", + "w ays", + "▁На до", + "▁Над о", + "▁поня тия", + "за цию", + "▁россий ский", + "▁сф ере", + "▁сфе ре", + "al y", + "a ly", + "▁приме нения", + "▁В ам", + "▁Ва м", + "▁ка ком", + "▁как ом", + "▁и дей", + "▁иде й", + "▁ид ей", + "▁что б", + "is c", + "i sc", + "▁m ust", + "▁mus t", + "▁ба та", + "▁fe ature", + "▁feat ure", + "▁не прия", + "▁непри я", + "▁и скать", + "▁ис кать", + "▁иска ть", + "▁establ ished", + "▁establish ed", + "▁приходи лось", + "▁прихо дилось", + "но сит", + "носи т", + "нос ит", + "▁f urther", + "▁fur ther", + "▁экспери мента", + "▁эксперимент а", + "▁де лу", + "▁дел у", + "▁экономи ки", + "▁ст рого", + "▁стро го", + "▁эпо хи", + "во му", + "вом у", + "▁ве чер", + "▁вече р", + "▁появи лся", + "▁поя вился", + "er tain", + "ert ain", + "▁и грать", + "▁иг рать", + "▁игра ть", + "▁Су ще", + "og n", + "o gn", + "▁сто лк", + "▁стол к", + "▁Ве не", + "▁Вен е", + "▁ин вести", + "▁инве сти", + "ic ro", + "iv il", + "▁пра вила", + "▁прави ла", + "▁прав ила", + "▁правил а", + "▁S m", + "▁со держание", + "▁содержа ние", + "ut es", + "ute s", + "u tes", + "▁у лицы", + "▁ули цы", + "▁улиц ы", + "▁спек так", + "▁спект ак", + "▁B r", + "▁сер дца", + "▁серд ца", + "▁о цени", + "▁оцен и", + "▁оце ни", + "▁на шем", + "▁наш ем", + "▁наше м", + "▁ос тался", + "▁оста лся", + "▁теле фон", + "▁телефо н", + "▁о сновы", + "▁основ ы", + "▁осно вы", + "id ence", + "ide nce", + "▁с ва", + "▁св а", + "▁гла вы", + "▁глав ы", + "ho ld", + "h old", + "▁c aus", + "▁во де", + "▁вод е", + "▁ воде", + "▁ру к", + "▁ рук", + "ти вное", + "тив ное", + "тивно е", + "▁Re g", + "op e", + "o pe", + "▁нача льника", + "▁началь ника", + "▁начальник а", + "▁f em", + "▁fe m", + "▁упра ж", + "вля л", + "в лял", + "ло сти", + "▁sim ilar", + "▁Ф ри", + "пер вых", + "▁за интере", + "не но", + "нен о", + "▁скоро сти", + "▁си туация", + "▁ситуа ция", + "▁int ro", + "▁к реди", + "▁кре ди", + "▁кр еди", + "▁университе т", + "▁бу к", + "▁S ch", + "▁Sc h", + "вка з", + "в каз", + "▁С пе", + "▁потре би", + "▁потреб и", + "▁есте ственно", + "му м", + "м ум", + "▁вос прия", + "▁воспри я", + "ко л", + "к ол", + "р ных", + "▁про вести", + "▁прове сти", + "▁Вме сте", + "э т", + "▁ро ста", + "▁р оста", + "▁рост а", + "▁рос та", + "▁хо л", + "▁х ол", + "▁ хол", + "▁f ull", + "▁э н", + "▁ эн", + "▁А х", + "li n", + "l in", + "▁фа ши", + "▁ фаши", + "▁руко водство", + "▁руковод ство", + "▁дела ют", + "▁делаю т", + "▁гер цо", + "▁абсолю тно", + "▁Хо ро", + "▁Хор о", + "▁де та", + "▁дет а", + "▁g ames", + "▁game s", + "▁н рав", + "▁нра в", + "▁ нрав", + "▁st ory", + "▁A ct", + "▁Ac t", + "лет ний", + "▁встре чи", + "▁встреч и", + "▁вер то", + "▁у стой", + "▁ус той", + "▁сезо не", + "▁сезон е", + "ro ll", + "rol l", + "r oll", + "▁О ль", + "▁Ол ь", + "▁мар те", + "ra p", + "r ap", + "▁l im", + "▁ lim", + "▁t imes", + "▁time s", + "▁tim es", + "▁Д ол", + "▁До л", + "щё н", + "щ ён", + "igh ts", + "ight s", + "▁сте пень", + "▁степ ень", + "то вых", + "тов ых", + "▁ор дена", + "▁орде на", + "▁орден а", + "▁Ц и", + "▁сла вя", + "▁ славя", + "ep end", + "e pend", + "тно сть", + "т ность", + "al t", + "▁ис кусство", + "▁искус ство", + "▁искусств о", + "▁infl u", + "▁це лей", + "▁целе й", + "▁расска зал", + "▁рассказа л", + "▁рассказ ал", + "▁кон так", + "▁v ol", + "▁vo l", + "▁моз га", + "▁мозг а", + "тя ну", + "тян у", + "▁бе ло", + "▁гу берна", + "▁губер на", + "▁ губерна", + "▁дру зей", + "▁ин тен", + "▁инте н", + "▁подготов ки", + "▁подгото вки", + "▁k m", + "▁ km", + "▁от ста", + "▁отс та", + "▁капита ли", + "▁капи тали", + "▁капитал и", + "▁На род", + "▁Нар од", + "▁успе ха", + "▁успех а", + "▁прошло го", + "▁прош лого", + "▁тек ста", + "▁текст а", + "ше ны", + "шен ы", + "le ction", + "lect ion", + "l ection", + "▁то пли", + "▁топ ли", + "um b", + "u mb", + "ль ского", + "▁заболе вания", + "ro up", + "▁ю но", + "до вой", + "дов ой", + "дово й", + "▁бо го", + "▁бог о", + "▁ бого", + "▁Ка зах", + "▁Каза х", + "▁н ём", + "▁ нём", + "▁бе се", + "▁бес е", + "▁институ т", + "▁ма сло", + "ge ther", + "get her", + "g ether", + "▁впечат ление", + "▁so cial", + "▁soc ial", + "w h", + "▁t ogether", + "▁to gether", + "▁фак тически", + "▁Д э", + "▁in vest", + "▁inv est", + "▁авто мати", + "▁автома ти", + "▁моло дой", + "▁молодо й", + "▁молод ой", + "▁поли ции", + "▁национа льной", + "▁национально й", + "ampions hip", + "ampion ship", + "▁неме дленно", + "▁немедлен но", + "да ние", + "▁представи тели", + "▁дере вне", + "▁дерев не", + "д не", + "▁partic ular", + "▁поя вляется", + "▁появля ется", + "▁Б ез", + "▁Бе з", + "▁l ost", + "▁lo st", + "▁los t", + "▁после днее", + "▁послед нее", + "▁груп п", + "▁гру пп", + "▁эле менты", + "▁элемент ы", + "▁ле то", + "▁лет о", + "▁пре ступления", + "▁преступ ления", + "▁ти п", + "▁ тип", + "по рт", + "пор т", + "п орт", + "▁pop ular", + "▁не ред", + "▁нер ед", + "▁нере д", + "▁l angu", + "▁pro duction", + "▁produ ction", + "▁product ion", + "▁produc tion", + "ор дина", + "за л", + "з ал", + "▁объек та", + "▁объект а", + "▁объе кта", + "▁буду чи", + "▁буд учи", + "ро вании", + "рова нии", + "▁e t", + "▁ et", + "▁ко д", + "▁к од", + "ен ье", + "ень е", + "е нье", + "▁про ник", + "▁прони к", + "▁те му", + "▁тем у", + "ло жений", + "ложе ний", + "▁мат ча", + "▁матч а", + "па де", + "пад е", + "▁голо вы", + "▁голов ы", + "▁оче вид", + "o e", + "▁Ро дился", + "▁Роди лся", + "▁Род ился", + "ad em", + "ade m", + "▁ide nt", + "▁id ent", + "▁ ident", + "▁хо телось", + "▁хоте лось", + "куль п", + "▁да нного", + "▁дан ного", + "▁узна ть", + "ве ря", + "вер я", + "▁c omb", + "▁com b", + "▁co mb", + "▁f ail", + "▁fa il", + "▁г не", + "▁ гне", + "▁XV III", + "▁XVII I", + "▁XVI II", + "on ey", + "one y", + "o ney", + "ле га", + "лег а", + "▁д ро", + "▁др о", + "▁ дро", + "▁ar ch", + "▁ arch", + "▁в ъ", + "▁Д жа", + "▁Дж а", + "▁раз дра", + "▁h alf", + "но вой", + "нов ой", + "ново й", + "▁s ol", + "▁so l", + "ме нять", + "мен ять", + "меня ть", + "бо ро", + "бор о", + "э м", + "▁s um", + "▁su m", + "▁со ли", + "ь и", + "▁п рио", + "▁при о", + "▁П обе", + "▁По бе", + "▁вы зывает", + "▁вызыва ет", + "▁при вести", + "▁приве сти", + "▁д верь", + "▁две рь", + "▁двер ь", + "▁з дание", + "▁зда ние", + "y ing", + "при ят", + "прия т", + "ж нему", + "our s", + "o urs", + "▁ме ло", + "▁мел о", + "ре ги", + "▁с тво", + "▁ст во", + "▁ ство", + "▁ше л", + "▁ шел", + "▁би о", + "▁ био", + "на пример", + "▁e conom", + "▁строи тельство", + "m ost", + "ти ровать", + "тирова ть", + "▁к рат", + "▁кра т", + "▁кр ат", + "▁ крат", + "И Т", + "ar a", + "a ra", + "▁ва ш", + "▁ ваш", + "▁кон цу", + "▁конц у", + "р ные", + "▁кило метров", + "▁километ ров", + "▁Ев ге", + "▁Л ь", + "ро ссий", + "рос сий", + "▁органи заций", + "▁организа ций", + "▁К ана", + "▁Ка на", + "▁Кан а", + "он ом", + "оно м", + "о ном", + "▁Б ори", + "▁Бо ри", + "▁Бор и", + "▁Ле нинград", + "▁Ленин град", + "стан ции", + "ра на", + "ран а", + "р ана", + "is ing", + "ло жил", + "ложи л", + "лож ил", + "▁послед него", + "▁позна коми", + "▁Во ро", + "▁Вор о", + "▁Дмитри й", + "▁эти ми", + "▁этим и", + "у т", + "во зь", + "воз ь", + "▁во пло", + "цион ная", + "цио нная", + "чо к", + "ч ок", + "еха ть", + "е хать", + "▁янва ре", + "▁оста лось", + "▁специаль но", + "▁специ ально", + "▁сен тябре", + "▁Х ар", + "▁Ха р", + "▁при шли", + "ня ться", + "нять ся", + "▁само лета", + "▁самоле та", + "▁самолет а", + "ти вным", + "тив ным", + "▁три дца", + "▁у ма", + "▁ум а", + "▁ ума", + "▁м ерт", + "▁ме рт", + "▁мер т", + "▁акаде мии", + "▁академи и", + "▁сю да", + "▁ сюда", + "▁авгу сте", + "Ф СР", + "k y", + "Е Т", + "▁m atch", + "▁mat ch", + "▁дека бре", + "▁буду щем", + "в шем", + "нс ком", + "н ском", + "▁ind ividual", + "▁клад би", + "▁по ложении", + "▁поло жении", + "▁сере бря", + "▁c ond", + "▁con d", + "▁co nd", + "ui t", + "u it", + "▁care er", + "▁россий ских", + "ро вана", + "ров ана", + "рова на", + "рован а", + "▁g eneral", + "▁gener al", + "▁gen eral", + "▁но вым", + "▁ новым", + "см е", + "с ме", + "на нт", + "нан т", + "▁с хва", + "▁сх ва", + "▁в ода", + "▁во да", + "▁вод а", + "▁ вода", + "▁Le ague", + "▁во и", + "▁ вои", + "▁ви дели", + "▁виде ли", + "▁видел и", + "▁ex ample", + "▁exam ple", + "▁Ио ан", + "▁с ты", + "▁ст ы", + "▁ сты", + "▁слу жи", + "▁служ и", + "▁ служи", + "ня х", + "н ях", + "ен ью", + "ень ю", + "е нью", + "ст ской", + "с тской", + "▁у ника", + "▁уни ка", + "ca st", + "c ast", + "▁ш кола", + "▁шко ла", + "▁школ а", + "▁само лет", + "▁самоле т", + "ш ко", + "▁дра ма", + "el ls", + "ell s", + "▁коми ссии", + "▁бро са", + "▁ броса", + "▁tot al", + "▁В оло", + "▁Во ло", + "▁Вол о", + "▁и менем", + "▁име нем", + "▁имен ем", + "▁h uman", + "▁hum an", + "▁бур жу", + "▁h ig", + "ци пли", + "▁о гне", + "▁ог не", + "▁з доро", + "ис то", + "ист о", + "и сто", + "ти вная", + "тив ная", + "▁случай но", + "▁сем ья", + "▁семь я", + "от и", + "о ти", + "▁вы пла", + "▁ле кар", + "▁лек ар", + "▁бо гат", + "▁бога т", + "▁бог ат", + "ра й", + "р ай", + "= \"", + "▁матери алов", + "▁материа лов", + "▁материал ов", + "цион но", + "цио нно", + ".... ....", + "вшая ся", + "бра ть", + "б рать", + "▁b orn", + "▁bor n", + "▁ born", + "▁сред ы", + "▁сре ды", + "bo r", + "b or", + "жным и", + "жны ми", + "ж ными", + "бу ю", + "б ую", + "ти вы", + "тив ы", + "▁анали за", + "▁ана лиза", + "▁анализ а", + "▁cre ated", + "▁creat ed", + "▁create d", + "гну ть", + "гнут ь", + "г нуть", + "▁информа ция", + "▁по эт", + "▁поэ т", + "▁го лу", + "▁гол у", + "▁ голу", + "▁фор м", + "▁ форм", + "▁со лне", + "▁солн е", + "▁мо ги", + "▁мог и", + "▁са мому", + "▁само му", + "▁самом у", + "an ces", + "ance s", + "anc es", + "▁ш ли", + "▁ шли", + "re m", + "r em", + "▁ш ла", + "▁ шла", + "▁изобра жения", + "▁с ор", + "▁со р", + "▁ сор", + "▁РС ФСР", + "▁полови не", + "▁в тором", + "▁вто ром", + "▁втор ом", + "▁второ м", + "A T", + "▁С ем", + "▁Се м", + "▁находи лись", + "▁находили сь", + "▁м или", + "▁ми ли", + "▁ мили", + "▁та кими", + "▁так ими", + "▁таким и", + "▁таки ми", + "pe cial", + "▁до пуска", + "▁допу ска", + "▁Wh ile", + "па ния", + "▁f ire", + "▁з нали", + "▁зна ли", + "▁знал и", + "▁h ost", + "▁ host", + "зи ю", + "▁побе ду", + "▁побед у", + "▁смо жет", + "ль ник", + "▁справед ливо", + "▁справедли во", + "▁У пра", + "▁гла зами", + "▁глаза ми", + "le x", + "l ex", + "ru g", + "r ug", + "▁П етра", + "▁Пе тра", + "▁Пет ра", + "▁Петр а", + "▁груп пе", + "▁гру ппе", + "▁групп е", + "гра ф", + "▁Acc ording", + "▁я вления", + "▁яв ления", + "▁эмо циона", + "▁социаль ной", + "▁социально й", + "▁соци альной", + "жё н", + "ж ён", + "▁к ан", + "▁ка н", + "▁ кан", + "▁a sk", + "▁as k", + "▁ ask", + "жи е", + "▁о сла", + "▁ос ла", + "▁кор пора", + "▁ду мать", + "▁дума ть", + "вед ён", + "▁гла зах", + "▁глаза х", + "le g", + "▁p rim", + "▁pr im", + "▁pri m", + "▁по казывает", + "▁пока зывает", + "▁показыва ет", + "▁п оса", + "▁по са", + "▁пос а", + "▁расте ний", + "▁по стано", + "▁пос тано", + "▁поста но", + "▁пост ано", + "▁Са мо", + "▁Сам о", + "▁сотруд ников", + "▁сотрудни ков", + "▁сотрудник ов", + "▁вы хода", + "▁выход а", + "▁э ко", + "▁эк о", + "▁ги дро", + "▁сдела ли", + "▁сделал и", + "▁сдел али", + "▁устано вить", + "▁установи ть", + "▁установ ить", + "▁уси лия", + "▁усили я", + "▁у тром", + "▁утро м", + "▁ут ром", + "ро ванные", + "рова нные", + "рован ные", + "▁обще стве", + "▁обществ е", + "▁неиз бе", + "сле дования", + "следова ния", + "ца р", + "ц ар", + "▁ли ш", + "▁ста ро", + "▁стар о", + "▁и денти", + "▁иде нти", + "▁по чув", + "▁способ ность", + "▁способно сть", + "▁ способность", + "▁report ed", + "▁к но", + "▁кн о", + "▁Ива нов", + "▁Иван ов", + "ме нте", + "мен те", + "мент е", + "▁l ocated", + "▁loc ated", + "▁б ол", + "▁бо л", + "▁ бол", + "ха м", + "х ам", + "пс и", + "п си", + "▁су ти", + "▁R iver", + "▁кар тин", + "▁карти н", + "▁карт ин", + "▁в ино", + "▁ви но", + "▁вин о", + "лле р", + "лл ер", + "л лер", + "кто ров", + "ктор ов", + "к торов", + "▁б лю", + "▁ блю", + "▁Ф ин", + "▁Фи н", + "▁ра ссе", + "▁рас се", + "▁расс е", + "ai gn", + "a ign", + "▁мини стер", + "хо дом", + "ход ом", + "▁p ri", + "▁pr i", + "▁ pri", + "▁орга низма", + "▁органи зма", + "▁организм а", + "▁орган изма", + "▁offic ial", + "▁f und", + "▁fun d", + "▁pro per", + "▁pr oper", + "▁prop er", + "▁при кры", + "▁на си", + "▁нас и", + "ро ванного", + "рова нного", + "рован ного", + "▁филосо фии", + "▁философи и", + "▁de cl", + "▁dec l", + "▁о бита", + "▁оби та", + "▁не бо", + "▁G eneral", + "▁Gen eral", + "▁неред ко", + "▁нере дко", + "▁ко ри", + "▁к ори", + "▁кор и", + "▁ кори", + "▁вос поль", + "▁воспо ль", + "▁це ле", + "▁ целе", + "▁появи лась", + "▁поя вилась", + "ст рее", + "стре е", + "▁катего рии", + "▁категори и", + "▁per forman", + "▁perform an", + "▁d ev", + "▁de v", + "▁ dev", + "▁ве щей", + "▁веще й", + "it or", + "ito r", + "Л е", + "▁но вая", + "▁нов ая", + "▁нова я", + "▁ новая", + "тно сти", + "т ности", + "▁кар тины", + "▁карти ны", + "▁картин ы", + "▁карт ины", + "ье т", + "ь ет", + "el t", + "до х", + "▁А т", + "▁ Ат", + "В ы", + "▁два дцать", + "▁двадца ть", + "фи зи", + "▁t itle", + "▁tit le", + "ло га", + "лог а", + "▁поддерж ку", + "▁пар тия", + "▁парти я", + "▁груп пи", + "▁гру ппи", + "▁групп и", + "▁ле жит", + "бя т", + "б ят", + "вя з", + "в яз", + "Т о", + "▁оче видно", + "▁очевид но", + "▁са йт", + "▁сай т", + "ra in", + "r ain", + "▁за писи", + "▁запи си", + "▁В иль", + "▁Ви ль", + "▁P er", + "▁Pe r", + "▁стихот во", + "▁груп пу", + "▁групп у", + "▁извест ный", + "▁известны й", + "▁изве стный", + "де ся", + "дес я", + "▁заме тил", + "▁замет ил", + "вы ше", + "▁выпол нения", + "▁g rad", + "▁gr ad", + "▁gra d", + "▁ grad", + "▁луч ших", + "A R", + "▁ind ust", + "▁H ouse", + "▁Ho use", + "▁Hou se", + "▁ре спублики", + "▁республи ки", + "▁республик и", + "▁по слу", + "▁пос лу", + "▁кня зя", + "▁про яви", + "▁проя ви", + "▁In ternational", + "сто го", + "с того", + "ша ют", + "▁comm unity", + "▁commun ity", + "▁подоб ных", + "▁a ut", + "▁ aut", + "▁си лами", + "▁сила ми", + "▁силам и", + "▁с вязыва", + "▁свя зыва", + "жа щих", + "стра и", + "ay s", + "a ys", + "▁ми ру", + "▁мир у", + "ic a", + "i ca", + "ме ти", + "мет и", + "м ети", + "▁Наи более", + "▁y our", + "▁you r", + "▁Все го", + "▁о тка", + "▁от ка", + "▁отк а", + "▁разно образ", + "▁разнообра з", + "▁Ин ститу", + "▁Великобрита нии", + "▁использу ют", + "▁уто ч", + "▁в иды", + "▁ви ды", + "▁вид ы", + "▁нам ере", + "▁наме ре", + "et t", + "e tt", + "Л А", + "▁Со зда", + "▁f oot", + "▁ foot", + "юще йся", + "ющей ся", + "ю щейся", + "ти к", + "ra ted", + "rate d", + "rat ed", + "r ated", + "▁Р ис", + "▁Ри с", + "▁Север ной", + "en ces", + "ence s", + "enc es", + "▁при близи", + "▁прибли зи", + "▁de g", + "▁ deg", + "ле нные", + "лен ные", + "▁одна жды", + "ни лось", + "нило сь", + "ща ли", + "щал и", + "щ али", + "та цию", + "ст ка", + "с тка", + "▁вз рос", + "▁взро с", + "ль т", + "▁Н ов", + "▁Но в", + "▁о стров", + "▁ос тров", + "▁ост ров", + "▁остро в", + "▁v ict", + "▁тради ции", + "стра ции", + "стр ации", + "▁представи тель", + "▁современ ных", + "▁о пи", + "▁оп и", + "тя ги", + "▁те нден", + "▁тен ден", + "▁по гру", + "нс кие", + "н ские", + "▁тех нологии", + "▁технологи и", + "▁техно логии", + "▁п роме", + "▁про ме", + "па х", + "io l", + "i ol", + "ir l", + "ро ванный", + "рова нный", + "рован ный", + "hi b", + "h ib", + "▁St reet", + "e e", + "▁Б ор", + "▁Бо р", + "▁полу чает", + "▁получа ет", + "▁ep is", + "ль ский", + "▁авиа ции", + "ев ский", + "е вский", + "▁Да лее", + "▁Амери ки", + "▁g row", + "▁gro w", + "▁gr ow", + "▁при чине", + "▁причи не", + "▁причин е", + "en ed", + "ene d", + "e ned", + "▁на шу", + "▁наш у", + "▁е дино", + "▁еди но", + "▁един о", + "▁ед ино", + "▁ едино", + "▁кон фи", + "▁конф и", + "▁consid ered", + "▁consider ed", + "▁ре бенок", + "▁ребен ок", + "▁З и", + "фор мы", + "форм ы", + "▁пере ход", + "▁предста вление", + "I n", + "▁м ра", + "▁доку ментов", + "▁документ ов", + "▁ст рель", + "▁стре ль", + "сту пила", + "ступ ила", + "ступи ла", + "ступил а", + "▁са мая", + "▁сам ая", + "▁сама я", + "y l", + "▁раз мер", + "▁разме р", + "чка ми", + "чкам и", + "ч ками", + "▁b ody", + "▁ body", + "о хра", + "▁Col lege", + "мо на", + "мон а", + "м она", + "▁h old", + "▁ hold", + "▁m aking", + "▁простран ства", + "ди тся", + "дит ся", + "д ится", + "▁ок тябре", + "▁глубо ко", + "▁содержи т", + "▁по кло", + "ва ющих", + "ваю щих", + "▁st ruct", + "▁str uct", + "▁ struct", + "he re", + "her e", + "h ere", + "▁b as", + "▁оп пози", + "▁Eng land", + "ла нт", + "лан т", + "сси ю", + "с сию", + "▁ф оне", + "▁фо не", + "▁фон е", + "▁ника кой", + "▁никак ой", + "▁пере у", + "▁other s", + "! ..", + "▁доку менты", + "▁документ ы", + "▁вы стре", + "▁выс тре", + "▁ве дом", + "▁ведо м", + "▁вед ом", + "▁o rd", + "▁or d", + "▁ ord", + "▁при вет", + "▁приве т", + "▁прив ет", + "▁пи ще", + "▁t oo", + "▁to o", + "ви ло", + "вил о", + "▁вслед ствие", + "our ce", + "▁от став", + "▁отста в", + "▁отс тав", + "▁го ры", + "▁гор ы", + "▁Из вест", + "▁ве чером", + "▁вече ром", + "▁вечер ом", + "▁не вы", + "▁нев ы", + "▁вер нуться", + "▁верну ться", + "▁вернуть ся", + "▁участи я", + "▁неболь шо", + "▁генера ла", + "▁генерал а", + "ну ться", + "нуть ся", + "▁prof ess", + "▁безо пас", + "▁нау чных", + "▁hist or", + "▁само летов", + "▁самоле тов", + "▁самолет ов", + "га нт", + "ган т", + "▁г вардей", + "▁гвар дей", + "ко с", + "к ос", + "тным и", + "тны ми", + "т ными", + "▁ре ф", + "▁В ВС", + "▁ВВ С", + "▁ч лены", + "▁чле ны", + "▁член ы", + "▁ис пра", + "п ку", + "▁проду кции", + "▁продук ции", + "▁ст рое", + "▁стро е", + "▁стр ое", + "▁ строе", + "ми ю", + "▁C he", + "▁Ch e", + "▁о пыта", + "▁опыт а", + "▁опы та", + "пре жнему", + "fer red", + "▁Ки та", + "▁об ши", + "▁контро ль", + "▁с ма", + "▁см а", + "▁ сма", + "р ный", + "▁F rom", + "▁work ed", + "▁Ar t", + "▁литера туре", + "▁литератур е", + "▁пред ложения", + "▁предложе ния", + "д ё", + "▁о дер", + "▁од ер", + "▁оде р", + "▁m other", + "▁mot her", + "▁нача лась", + "▁начала сь", + "да ции", + "д ации", + "ain ing", + "ai ning", + "a ining", + "▁у помя", + "▁упо мя", + "p ite", + "ли ю", + "ва ми", + "вам и", + "▁со су", + "▁сос у", + "▁при роде", + "▁приро де", + "▁природ е", + "чи ла", + "чил а", + "ч ила", + "жо м", + "ж ом", + "▁Ав тор", + "▁Авто р", + "▁orig in", + "it ing", + "i ting", + "▁Pres ident", + "▁име ла", + "▁имел а", + "▁с пец", + "▁спе ц", + "m a", + "▁bro ther", + "▁br other", + "▁раз говор", + "▁разгово р", + "▁разрабо тчи", + "ст ром", + "стро м", + "стр ом", + "с тром", + "вшем у", + "в шему", + "▁к вали", + "▁ква ли", + "▁кв али", + "oy al", + "o yal", + "▁P e", + "▁мето ды", + "▁метод ы", + "▁M on", + "▁Mo n", + "рь е", + "р ье", + "▁га зо", + "▁газ о", + "ц вет", + "▁мини стр", + "▁ министр", + "▁С ка", + "▁Ск а", + "▁ру кой", + "▁руко й", + "▁рук ой", + "▁преимуще ственно", + "▁яко бы", + "▁Ar my", + "▁Arm y", + "фо м", + "ф ом", + "nd er", + "n der", + "▁буду щего", + "▁фа бри", + "▁со пер", + "▁ру б", + "▁we ek", + "▁ле йте", + "▁лей те", + "▁ лейте", + "▁требу ется", + "▁требует ся", + "жь я", + "ж ья", + "зм у", + "з му", + "▁муж чины", + "▁мужчи ны", + "▁мужчин ы", + "▁jo ined", + "▁join ed", + "▁E ast", + "▁п лю", + "▁ плю", + "▁с кульп", + "ne t", + "n et", + "ни лись", + "нили сь", + "▁Бы ло", + "▁Был о", + "▁ме дленно", + "▁мед ленно", + "▁медлен но", + "▁струк туры", + "▁структур ы", + "▁ст рой", + "▁стро й", + "▁стр ой", + "▁ строй", + "▁раз ъ", + "▁о бли", + "▁об ли", + "▁обл и", + "▁основа ния", + "▁осно вания", + "▁с тари", + "▁ста ри", + "▁стар и", + "ба н", + "б ан", + "▁l ow", + "▁lo w", + "О б", + "▁s ite", + "▁sit e", + "пу ль", + "▁х во", + "▁ хво", + "▁суще ствование", + "▁существо вание", + "▁существова ние", + "▁work ing", + "▁wor king", + "▁за ру", + "▁зар у", + "▁g ave", + "▁би ологи", + "▁био логи", + "ко сти", + "кос ти", + "▁ )", + "▁принадле жит", + "ев на", + "е вна", + "▁ap point", + "▁app oint", + "▁пере дачи", + "▁переда чи", + "▁передач и", + "по к", + "п ок", + "▁ду ше", + "▁душ е", + "▁ душе", + "▁зна ем", + "▁артилле рий", + "те с", + "m p", + "▁g round", + "▁gro und", + "▁gr ound", + "▁ ground", + "▁с порта", + "▁спо рта", + "▁спор та", + "▁спорт а", + "▁ спорта", + "▁аэ род", + "▁аэро д", + "▁вер ши", + "▁М ного", + "▁Мно го", + "▁обы к", + "▁тре тий", + "▁трети й", + "не сли", + "нес ли", + "н если", + "▁те атр", + "▁теа тр", + "▁гим на", + "▁ру ками", + "▁рука ми", + "▁пред ложение", + "▁предложе ние", + "▁оконча тельно", + "го н", + "г он", + "И К", + "▁ar g", + "▁ arg", + "▁п енси", + "▁пе нси", + "▁пен си", + "▁гра мо", + "▁грам о", + "▁ грамо", + "пи и", + "▁клю че", + "▁ключ е", + "▁бро не", + "▁брон е", + "▁o nce", + "▁on ce", + "▁а ссоциа", + "▁ассо циа", + "▁ситуа цию", + "▁t est", + "▁te st", + "▁ test", + "▁при ми", + "▁пр ими", + "▁прим и", + "▁ме стных", + "▁мест ных", + "ор гани", + "▁провин ции", + "▁Ф ер", + "▁Фе р", + "▁пра вил", + "▁прави л", + "▁прав ил", + "▁На у", + "▁но чи", + "▁о форм", + "▁ли цом", + "▁лицо м", + "▁лиц ом", + "▁специ фи", + "ди е", + "жде нием", + "ждение м", + "ж дением", + "▁P ort", + "▁филь ме", + "▁фильм е", + "olog ical", + "▁у страи", + "▁устра и", + "ко ра", + "кор а", + "▁за га", + "▁за мы", + "▁зам ы", + "▁у глу", + "▁уг лу", + "▁сю жет", + "▁сюже т", + "▁кня зь", + "er a", + "e ra", + "▁наз вать", + "▁назва ть", + "да я", + "д ая", + "▁сна б", + "▁ снаб", + "▁A c", + "▁Э й", + "▁де ли", + "▁дел и", + "▁ дели", + "▁за каз", + "▁зака з", + "▁зак аз", + "▁п рия", + "▁при я", + "▁ прия", + "▁лю бого", + "▁любо го", + "▁до говор", + "▁догово р", + "▁о пер", + "▁оп ер", + "▁опе р", + "ре т", + "р ет", + "▁ау ди", + "▁характери зу", + "▁апре ле", + "▁мини стра", + "▁министр а", + "▁ министра", + "▁ро мана", + "▁роман а", + "▁рома на", + "▁ass oci", + "▁интер вью", + "▁о без", + "▁об ез", + "▁обе з", + "oo r", + "o or", + "п р", + "▁выступа л", + "▁выступ ал", + "▁ле та", + "▁лет а", + "▁ лета", + "w w", + "жи ма", + "жим а", + "▁энер гети", + "▁впло ть", + "▁ag re", + "▁у ско", + "▁ус ко", + "▁отмет ить", + "▁отме тить", + "▁А ли", + "▁Ал и", + "з не", + "▁пунк т", + "og le", + "ur b", + "за пад", + "▁vers ion", + "▁o ur", + "▁ our", + "▁ле том", + "▁лет ом", + "▁лето м", + "▁ летом", + "ла кти", + "лак ти", + "▁r ound", + "▁ro und", + "▁ round", + "▁l ight", + "▁ light", + "f ield", + "▁m ater", + "▁mat er", + "▁з ре", + "▁ зре", + "то ри", + "тор и", + "т ори", + "▁f ront", + "▁fr ont", + "▁занима ет", + "▁st rong", + "▁str ong", + "▁зна к", + "мя н", + "м ян", + "▁S ome", + "▁So me", + "▁Som e", + "▁п ры", + "▁пр ы", + "▁ пры", + "▁пример у", + "▁приме ру", + "▁прим еру", + "▁объ ект", + "▁объек т", + "▁объе кт", + "▁контро ля", + "▁попыт ки", + "▁попы тки", + "▁гла вных", + "▁глав ных", + "▁ч ай", + "▁ча й", + "▁ чай", + "▁С об", + "▁Со б", + "▁сто ял", + "▁стоя л", + "се к", + "с ек", + "▁R ed", + "▁Re d", + "▁ви дит", + "▁вид ит", + "▁види т", + "▁Влади ми", + "▁em ploy", + "с на", + "▁за канчи", + "ло гия", + "логи я", + "бе т", + "б ет", + "▁не га", + "▁пре пара", + "▁Д ва", + "▁доба вить", + "▁Ch ar", + "▁кол хо", + "ide o", + "па дает", + "пада ет", + "▁в ез", + "▁ве з", + "▁ию не", + "Ка к", + "К ак", + "▁поли цей", + "▁з вание", + "▁восем ь", + "▁теле ви", + "▁pro ble", + "▁prob le", + "▁государ ств", + "шин ство", + "▁обу сло", + "▁rel ations", + "▁государ ственный", + "▁государстве нный", + "к ке", + "▁trad ition", + "▁R ec", + "▁Re c", + "▁поли тических", + "▁полити ческих", + "war e", + "wa re", + "w are", + "▁расс читы", + "▁чув ству", + "▁чувств у", + "ль ской", + "з ве", + "▁функ циона", + "▁воз вы", + "гра фии", + "графи и", + "ap er", + "ape r", + "a per", + "▁ш ан", + "▁ша н", + "▁ шан", + "ство вания", + "ствова ния", + "см атри", + "сма три", + "с матри", + "▁Count y", + "▁иг рал", + "▁игра л", + "▁игр ал", + "▁роди телей", + "▁побе ды", + "▁побед ы", + "ге не", + "ген е", + "▁ша г", + "ue l", + "u el", + "▁кон су", + "% ,", + "ко ман", + "ком ан", + "кома н", + "▁моло де", + "▁молод е", + "▁Ис тория", + "▁Исто рия", + "▁Истори я", + "▁ История", + "▁в клад", + "▁вкла д", + "ис у", + "и су", + "пт а", + "п та", + "▁ию ле", + "р к", + "ct or", + "ти ческая", + "ги н", + "г ин", + "▁от казыва", + "▁отка зыва", + "▁д нев", + "▁дне в", + "▁ днев", + "▁сте ны", + "▁стен ы", + "▁Т ор", + "▁То р", + "▁ Тор", + "▁Украи не", + "▁Украин е", + "▁Б ал", + "▁Ба л", + "▁кур с", + "▁ курс", + "▁п р", + "▁ пр", + "▁включа ет", + "▁вклю чает", + "▁му зей", + "▁музе й", + "▁коро ль", + "ва ющие", + "ваю щие", + "ст ано", + "ста но", + "стан о", + "с тано", + "▁способ ности", + "▁способно сти", + "▁ способности", + "▁проис хождения", + "▁происхо ждения", + "▁пы тался", + "▁пыта лся", + "▁про грамма", + "▁програм ма", + "▁программ а", + "▁c ost", + "▁co st", + "▁h ttp", + "▁ http", + "Э то", + "▁По тому", + "▁Потом у", + "▁п ан", + "▁па н", + "▁ пан", + "▁станов ятся", + "▁стано вятся", + "▁органи зация", + "▁организа ция", + "▁из меня", + "▁изме ня", + "▁измен я", + "но шения", + "чи я", + "▁в ан", + "▁ва н", + "▁ ван", + "▁t aken", + "▁take n", + "ier s", + "i ers", + "м но", + "▁м имо", + "▁ми мо", + "▁ мимо", + "▁describ ed", + "ла й", + "л ай", + "▁мо би", + "▁ моби", + "▁Ch urch", + "▁употре бля", + "▁от личи", + "▁отли чи", + "ти нен", + "тин ен", + "тине н", + "▁ква дра", + "Л и", + "тро по", + "троп о", + "▁pro duced", + "▁produ ced", + "▁produc ed", + "▁produce d", + "ст ное", + "стно е", + "с тное", + "▁замести тель", + "жи й", + "▁необходи мость", + "▁необходимо сть", + "▁на личие", + "▁наличи е", + "▁нали чие", + "▁использу ются", + "▁используют ся", + "го ре", + "гор е", + "▁при ложения", + "ра ста", + "рас та", + "▁eng ine", + "▁бы вший", + "▁с вете", + "▁свет е", + "▁све те", + "▁св ете", + "▁рабо тают", + "▁работа ют", + "ма с", + "м ас", + "▁a ble", + "▁ab le", + "▁ able", + "Н К", + "аль но", + "а льно", + "тель стве", + "тельств е", + "▁милли ар", + "▁w ife", + "▁препода ва", + "▁и гре", + "▁иг ре", + "▁игр е", + "ща лись", + "щали сь", + "no w", + "n ow", + "▁со знание", + "▁созна ние", + "▁al though", + "ne ct", + "n ect", + "▁a ver", + "▁av er", + "▁ aver", + "▁Б ли", + "▁s ugg", + "▁Ю го", + "▁при су", + "▁прис у", + "▁пр ису", + "▁Г де", + "▁гра ф", + "▁ граф", + "▁прекра сно", + "▁м ин", + "▁ми н", + "▁ мин", + "▁Лу ч", + "▁ Луч", + "▁Б ан", + "▁Ба н", + "▁ко манд", + "▁коман д", + "▁вы йти", + "че нного", + "чен ного", + "ченно го", + "▁ex ist", + "▁простран ство", + "пу ск", + "пус к", + "▁об лег", + "▁обле г", + "жа ло", + "жал о", + "▁вопро сам", + "▁вопрос ам", + "▁вопроса м", + "▁показа ть", + "▁пока зать", + "▁бес коне", + "▁беско не", + "▁ге рой", + "▁гер ой", + "▁геро й", + "▁от дельные", + "▁отде льные", + "▁отдель ные", + "▁кора блей", + "▁корабле й", + "▁ры нке", + "▁доста то", + "ar i", + "a ri", + "▁про грамми", + "▁програм ми", + "▁программ и", + "▁ко лон", + "▁кол он", + "▁коло н", + "▁посвя щен", + "▁Д жор", + "▁Дж ор", + "▁Джо р", + "▁в еру", + "▁ве ру", + "▁вер у", + "▁Ор ден", + "▁г ля", + "▁гл я", + "▁ гля", + "▁отли чается", + "▁отлича ется", + "зи т", + "з ит", + "▁евре ев", + "ча ют", + "▁F rance", + "▁Fran ce", + "▁проце ссов", + "▁процесс ов", + "▁процессо в", + "▁D ep", + "▁De p", + "▁s aw", + "▁кора бль", + "же нной", + "жен ной", + "женно й", + "▁П ара", + "▁Па ра", + "▁Пар а", + "▁би зне", + "▁биз не", + "щие ся", + "тро в", + "тр ов", + "т ров", + "че б", + "▁St ud", + "р ского", + "▁по сту", + "▁пос ту", + "▁пост у", + "▁ге ографи", + "▁гео графи", + "▁Ни ки", + "▁Ник и", + "▁s uff", + "▁su ff", + "iqu e", + "i que", + "▁в дох", + "▁вдо х", + "▁да ют", + "▁ дают", + "▁дру гая", + "▁друг ая", + "▁друга я", + "____ ____", + "ли л", + "л ил", + "▁S te", + "▁St e", + "▁шта б", + "▁самостоя тельно", + "▁m at", + "▁ mat", + "▁p ress", + "▁pre ss", + "▁pr ess", + "▁pres s", + "▁ press", + "▁воен ные", + "▁вое нные", + "I N", + "▁под ле", + "▁успе х", + "▁И ндии", + "▁Ин дии", + "▁Инди и", + "▁С СР", + "▁СС Р", + "▁ ССР", + "▁прем ьер", + "▁f ree", + "▁fre e", + "▁fr ee", + "▁эта пе", + "▁этап е", + "▁\" ...", + "▁ \"...", + "▁ноя бре", + "мс я", + "м ся", + "▁fe at", + "▁спокой но", + "▁B er", + "▁Be r", + "▁month s", + "▁ку п", + "▁ куп", + "ще нию", + "▁зара нее", + "▁це ло", + "▁ цело", + "▁на груз", + "▁нагру з", + "▁бра та", + "▁брат а", + "пу стил", + "пусти л", + "пус тил", + "▁Ста лина", + "▁Сталин а", + "▁Стали на", + "is hing", + "ish ing", + "▁с му", + "▁см у", + "▁кор пус", + "▁корпу с", + "c raft", + "▁все об", + "▁разрабо тки", + "▁у мира", + "▁уми ра", + "▁кре стья", + "▁крест ья", + "ща лся", + "щал ся", + "▁же ны", + "▁жен ы", + "▁ жены", + "▁горо дского", + "▁город ского", + "▁го вор", + "▁гово р", + "▁ говор", + "▁поня тие", + "▁бо евой", + "▁бое вой", + "▁боев ой", + "не ров", + "нер ов", + "ну лась", + "нула сь", + "за щи", + "▁наз вал", + "▁назва л", + "зи й", + "▁re v", + "▁r ev", + "со вой", + "сов ой", + "сово й", + "▁ко ме", + "▁ком е", + "▁счаст ли", + "спе кти", + "спек ти", + "спект и", + "▁l ittle", + "▁lit tle", + "▁m er", + "▁me r", + "▁ mer", + "▁государ ственных", + "▁государстве нных", + "▁s een", + "▁se en", + "▁see n", + "▁m arried", + "▁mar ried", + "▁това ров", + "▁товар ов", + "▁п он", + "▁по н", + "▁ пон", + "▁ка питан", + "▁капита н", + "▁капи тан", + "вер шен", + "▁m ult", + "се в", + "с ев", + "▁с ход", + "▁сх од", + "▁схо д", + "▁моло дых", + "▁молоды х", + "▁молод ых", + "▁ch urch", + "▁M ich", + "▁Mic h", + "▁ор ганы", + "▁орга ны", + "▁орган ы", + "ну лись", + "нули сь", + "▁председа тель", + "▁созда нии", + "▁импера тора", + "▁император а", + "▁Пари же", + "▁Париж е", + "▁По доб", + "▁Под об", + "▁Подо б", + "▁sign ific", + "ло гов", + "лого в", + "лог ов", + "▁з дра", + "▁се риа", + "▁ сериа", + "▁Б ре", + "g o", + "▁Б ен", + "▁Бе н", + "ка ла", + "кал а", + "к ала", + "▁ди за", + "ва на", + "ван а", + "в ана", + "▁сло жно", + "▁расска з", + "▁расс каз", + "▁op ened", + "▁open ed", + "ро вала", + "ров ала", + "рова ла", + "ровал а", + "▁вы пуск", + "▁выпу ск", + "▁ac ross", + "▁из лу", + "▁ щи", + "▁ге роя", + "▁геро я", + "▁n ight", + "▁ night", + "▁вла де", + "▁опубли кова", + "▁опублико ва", + "▁объяс нить", + "▁Москов ской", + "▁ма ссы", + "▁масс ы", + "▁с инте", + "▁си нте", + "▁сообщи ли", + "▁сообщил и", + "▁го ловой", + "▁голо вой", + "▁голов ой", + "▁хо чется", + "▁хочет ся", + "ри ф", + "ци оне", + "цион е", + "цио не", + "зо б", + "з об", + "▁буква льно", + "▁букв ально", + "▁буду щее", + "▁ар гу", + "ap s", + "a ps", + "▁ty p", + "э к", + "▁февра ле", + "▁ста ди", + "▁компа ний", + "▁до мов", + "▁дом ов", + "▁домо в", + "▁p lan", + "▁pl an", + "▁от дыха", + "▁отдых а", + "▁По мимо", + "▁Пом имо", + "O S", + "▁чрезвычай но", + "▁гла вной", + "▁глав ной", + "▁d on", + "▁do n", + "▁ don", + "▁are as", + "▁area s", + "au t", + "a ut", + "▁до стой", + "▁досто й", + "▁обеспе чить", + "▁обеспечи ть", + "я з", + "▁гру зо", + "▁груз о", + "▁Ф ло", + "до би", + "доб и", + "▁Т от", + "▁То т", + "▁ус лыша", + "▁услы ша", + "▁по езд", + "▁поез д", + "▁пое зд", + "И н", + "▁д али", + "▁да ли", + "▁дал и", + "▁ дали", + "▁Ис пании", + "ту да", + "т уда", + "▁обо их", + "▁нача лось", + "▁начало сь", + "▁по тери", + "▁потер и", + "▁поте ри", + "▁го лове", + "▁голо ве", + "▁голов е", + ". [", + "▁при каз", + "▁прика з", + "▁свя заны", + "▁связа ны", + "▁связан ы", + "▁исклю чением", + "▁исключение м", + "▁вой сками", + "▁войска ми", + "▁войскам и", + "▁ра зда", + "▁раз да", + "▁work s", + "▁wor ks", + "▁бло ки", + "▁блок и", + "▁ блоки", + "▁ва шей", + "▁ваш ей", + "▁ваше й", + "▁Х е", + "э кономи", + "пре д", + "пр ед", + "п ред", + "▁Americ a", + "▁продол жал", + "▁продолжа л", + "ющего ся", + "ю щегося", + "▁на шли", + "▁наш ли", + "со зна", + "▁воз ро", + "▁про стой", + "▁просто й", + "▁прос той", + "▁прост ой", + "f ic", + "хо ро", + "хор о", + "жи н", + "ж ин", + "▁нару шения", + "ро вано", + "ров ано", + "рова но", + "рован о", + "▁m ot", + "ше на", + "шен а", + "ш ена", + "▁при няли", + "▁приня ли", + "▁принял и", + "▁прин яли", + "▁жи дко", + "▁жид ко", + "жда ли", + "жд али", + "ждал и", + "ж дали", + "▁ар мию", + "▁арми ю", + "п ь", + "▁Лю ди", + "▁Люд и", + "▁бес пла", + "▁суще ствуют", + "▁существу ют", + "со р", + "с ор", + "pl ay", + "p lay", + "an i", + "a ni", + "▁чу де", + "ч ти", + "▁part y", + "▁par ty", + "сти ва", + "с тива", + "▁анг лича", + "▁partic ip", + "▁e as", + "▁от обра", + "▁ото бра", + "▁обла дает", + "▁облада ет", + "▁bl ack", + "ye ar", + "y ear", + "her n", + "h ern", + "фа к", + "ф ак", + "▁по рта", + "▁пор та", + "▁порт а", + "▁ порта", + "ете сь", + "е тесь", + "де сят", + "деся т", + "дес ят", + "ough t", + "ле но", + "лен о", + "веде ны", + "веден ы", + "▁лю бом", + "▁любо м", + "▁r oad", + "▁ro ad", + "▁ road", + "▁пра вления", + "▁прав ления", + "▁ правления", + "▁практи ке", + "▁прак тике", + "▁воз ле", + "▁ва ши", + "▁ваш и", + "▁про чита", + "▁прочи та", + "ст ным", + "с тным", + "▁Влади мира", + "▁Владимир а", + "▁Владими ра", + "▁С МИ", + "▁СМ И", + "▁Чем пи", + "с ную", + "▁по жи", + "il ls", + "ill s", + "▁за чем", + "▁рас стре", + "▁расс тре", + "▁начина ют", + "вя т", + "в ят", + "▁ги поте", + "▁гипо те", + "▁кон цер", + "▁конце р", + "▁конц ер", + "▁Пред ста", + "▁о кре", + "▁ок ре", + "▁D r", + "▁при чин", + "▁причи н", + "▁вос произ", + "u f", + "▁W indows", + "▁Wind ows", + "▁M y", + "▁ My", + "▁зна ют", + "▁знаю т", + "▁от кло", + "▁отк ло", + "▁H ol", + "▁Ho l", + "▁послед ней", + "▁Особ енно", + "▁Особен но", + "▁ху же", + "port s", + "por ts", + "▁д але", + "▁да ле", + "▁дал е", + "lect ed", + "▁av ail", + "ь ми", + "▁пред ска", + "▁до биться", + "▁доби ться", + "▁пре сто", + "▁пита ния", + "▁К ам", + "▁Ка м", + "▁Н А", + "▁ НА", + "▁mod ern", + "▁c oll", + "▁col l", + "▁co ll", + "▁Пер вая", + "ва ку", + "вак у", + "st and", + "▁дис ципли", + "си бо", + "лко й", + "лк ой", + "л кой", + "жда л", + "жд ал", + "ж дал", + "▁пере и", + "▁пе реи", + "▁for ces", + "▁force s", + "▁по ступ", + "▁посту п", + "▁camp aign", + "ле ты", + "лет ы", + "л еты", + "▁П ор", + "▁По р", + "▁со тни", + "▁сот ни", + "▁поста вить", + "▁постав ить", + "▁само лё", + "ги х", + "г их", + "▁воз дух", + "▁возду х", + "▁Васи лий", + "▁Васили й", + "▁от деления", + "▁отде ления", + "▁отделе ния", + "▁вос станови", + "▁восста нови", + "▁восстано ви", + "at ors", + "ator s", + "▁те мно", + "▁тем но", + "де шь", + "деш ь", + "д ешь", + "▁стра ну", + "▁стран у", + "▁при чиной", + "▁причи ной", + "▁причин ой", + "▁ф унда", + "▁фу нда", + "▁ры нка", + "▁удовлет во", + "▁о сторо", + "▁ос торо", + "ни вер", + "нив ер", + "▁послед ствия", + "aul t", + "a ult", + "вто рых", + "▁по шел", + "▁показа л", + "▁пока зал", + "ле л", + "▁спа са", + "▁спас а", + "▁отпра вился", + "▁отправил ся", + "▁под держки", + "▁поддерж ки", + "▁предста вляют", + "▁представля ют", + "Пе тербур", + "го ра", + "гор а", + "ти лась", + "тила сь", + "▁t en", + "▁te n", + "▁ ten", + "▁журна ла", + "▁журнал а", + "▁жи тели", + "види мому", + "▁пре мии", + "ча ется", + "чает ся", + "▁доче ри", + "▁дочер и", + "ри е", + "▁слу жил", + "▁служ ил", + "▁служи л", + "▁на чиная", + "▁начина я", + "▁начи ная", + "▁t er", + "▁te r", + "▁ ter", + "ourn al", + "▁M or", + "▁Mo r", + "▁D iv", + "▁Di v", + "▁Ар мии", + "▁ме тро", + "▁мет ро", + "дер ни", + "land s", + "l ands", + "▁C our", + "▁Co ur", + "▁Ки ев", + "▁ро в", + "▁р ов", + "▁ ров", + "▁r oom", + "▁ro om", + "▁ room", + "▁с толе", + "▁ст оле", + "▁сто ле", + "▁стол е", + "lev ision", + "▁смо гли", + "▁смог ли", + "▁ди ск", + "▁дис к", + "▁пред при", + "▁ви дим", + "▁вид им", + "▁види м", + "▁пред стоя", + "цен три", + "центр и", + "▁ну жны", + "▁нуж ны", + "не ром", + "нер ом", + "рк а", + "р ка", + "К у", + "▁П ом", + "▁По м", + "г де", + "▁устано вки", + "▁установ ки", + "▁хо тели", + "▁хоте ли", + "▁хотел и", + "▁подроб но", + "ро на", + "рон а", + "р она", + "▁на вы", + "▁нав ы", + "▁при ходит", + "▁приходи т", + "▁приход ит", + "▁прихо дит", + "д ку", + "▁с от", + "▁со т", + "▁ сот", + "же ство", + "▁бы стрее", + "▁быст рее", + "▁r ail", + "▁ra il", + "▁по пал", + "▁попа л", + "▁поп ал", + "▁success ful", + "са н", + "с ан", + "▁под клю", + "во ка", + "вок а", + "it ive", + "ri ck", + "ric k", + "r ick", + "▁Н ам", + "▁На м", + "▁за пол", + "▁запо л", + "▁занима лся", + "▁занимал ся", + "▁с кри", + "▁ск ри", + "▁ скри", + "▁пол номо", + "▁полно мо", + "▁полном о", + "▁ полномо", + "▁продук тов", + "▁продукт ов", + "ше но", + "шен о", + "▁ма шину", + "▁маши ну", + "▁машин у", + "ру ются", + "рую тся", + "руют ся", + "▁кон тр", + "фе ра", + "фер а", + "ф ера", + "▁о вла", + "▁ов ла", + "▁догово ра", + "▁договор а", + "ж ку", + "▁Ма рия", + "▁Мари я", + "Д е", + "▁c e", + "▁ ce", + "▁большин стве", + "▁с клады", + "▁скла ды", + "▁склад ы", + "▁ве дет", + "▁вед ет", + "но сить", + "носи ть", + "нос ить", + "носит ь", + "ро ванной", + "рова нной", + "рован ной", + "во дить", + "вод ить", + "води ть", + "водит ь", + "▁Т ом", + "▁То м", + "ди ться", + "дить ся", + "ре и", + "▁вы рази", + "▁выра зи", + "▁ко леба", + "▁коле ба", + "▁а ва", + "▁ав а", + "щи на", + "щин а", + "щ ина", + "▁f ight", + "▁fig ht", + "▁Ю жной", + "▁Южно й", + "▁подоб ные", + "▁Я ро", + "▁Яр о", + "воз гла", + "ле нный", + "лен ный", + "го рит", + "гор ит", + "гори т", + "▁у езда", + "▁уезд а", + "▁уез да", + "ot ed", + "ote d", + "o ted", + "▁выгля дит", + "ist ic", + "▁Th om", + "▁жиз нью", + "▁жизнь ю", + "▁А Н", + "▁ АН", + "а д", + "те ров", + "тер ов", + "теро в", + "▁со обра", + "▁сооб ра", + "▁по дда", + "▁под да", + "▁Челове к", + "▁ Человек", + "▁под ход", + "би т", + "б ит", + "▁c apt", + "▁cap t", + "ent ial", + "▁матери алы", + "▁материа лы", + "▁материал ы", + "▁м ен", + "▁ме н", + "▁ мен", + "го дно", + "год но", + "г одно", + "▁учре ждения", + "▁ре жим", + "▁режи м", + "▁R oman", + "▁Ro man", + "▁Rom an", + "▁чи тать", + "▁чита ть", + "▁ читать", + "ic le", + "i cle", + "▁комплек с", + "▁на шел", + "▁наше л", + "ро ни", + "рон и", + "р они", + "▁американ ский", + "▁америка нский", + "▁ч ёр", + "▁ чёр", + "am ent", + "ame nt", + "a ment", + "▁Ис поль", + "▁Испо ль", + "h a", + "▁большин ства", + "че нным", + "чен ным", + "▁ли дер", + "▁лиде р", + "▁res earch", + "▁rese arch", + "it te", + "itt e", + "бе з", + "б ез", + "▁смо треть", + "▁смотре ть", + "▁ смотреть", + "ст ети", + "сте ти", + "стет и", + "▁ар хе", + "▁арх е", + "▁следу ющем", + "▁авто бу", + "▁h y", + "▁ hy", + "▁и ных", + "▁ин ых", + "▁V al", + "▁ Val", + "▁хо тят", + "▁хотя т", + "ле тов", + "лет ов", + "▁develop ed", + "▁расстоя нии", + "▁b road", + "▁bro ad", + "▁br oad", + "▁с ки", + "▁ск и", + "▁ ски", + "ens ive", + "▁за нял", + "▁заня л", + "▁сек ун", + "▁секу н", + "зо н", + "з он", + "▁на против", + "▁по ступил", + "▁посту пил", + "▁поступ ил", + "▁поступи л", + "? !", + "▁ра ско", + "▁рас ко", + "c ript", + "ro y", + "r oy", + "▁му жа", + "▁муж а", + "ва ющий", + "ваю щий", + "ли ца", + "во куп", + "▁бли же", + "▁ближ е", + "ро и", + "▁ви це", + "▁вид имо", + "▁види мо", + "▁видим о", + "▁а рен", + "▁ар ен", + "▁аре н", + "t ime", + "▁худо жник", + "▁худож ник", + "▁ду мал", + "▁дума л", + "ве дении", + "веде нии", + "▁предела х", + "▁преде лах", + "▁О де", + "▁Од е", + "▁Бо го", + "▁Бог о", + "▁h ous", + "ко вы", + "ков ы", + "▁кон тек", + "▁це лях", + "▁ответ ственность", + "id ing", + "▁J ames", + "po n", + "p on", + "вля я", + "в ляя", + "▁К рым", + "▁Кры м", + "▁en c", + "▁ enc", + "▁f all", + "▁fa ll", + "▁офице ров", + "▁офицер ов", + "▁m id", + "▁mi d", + "зи ди", + "▁appe ared", + "▁appear ed", + "гл у", + "г лу", + "me n", + "m en", + "▁но г", + "▁ту ри", + "▁тур и", + "▁ тури", + "▁ле с", + "▁ лес", + "▁оста лись", + "▁му суль", + "▁Ass oci", + "▁по ез", + "▁пое з", + "▁доро гу", + "▁дорог у", + "▁по шли", + "▁пош ли", + "мо нт", + "мон т", + "▁л ё", + "▁ лё", + "▁изме нений", + "▁п риста", + "▁при ста", + "▁прис та", + "▁follow ed", + "▁вы ходит", + "▁выход ит", + "▁cont ract", + "ку т", + "к ут", + "er ship", + "ers hip", + "ст рий", + "стри й", + "▁сегодня ш", + "▁А й", + "▁ Ай", + "▁ма шина", + "▁маши на", + "▁машин а", + "▁И ису", + "▁челове ческого", + "▁ве ществ", + "▁веще ств", + "▁извест ных", + "▁известны х", + "▁изве стных", + "ки на", + "кин а", + "к ина", + "ди а", + "▁разви тии", + "O N", + "р пи", + "▁Я н", + "▁про фи", + "▁пр офи", + "▁проф и", + "ще т", + "щ ет", + "▁по эта", + "▁поэ та", + "▁поэт а", + "he l", + "h el", + "▁гло ба", + "▁гл оба", + "жде на", + "жден а", + "жд ена", + "ж дена", + "▁ка вале", + "▁сам им", + "▁сами м", + "▁С начала", + "▁Та кие", + "▁кон ститу", + "▁по смотреть", + "▁посмотре ть", + "ке н", + "к ен", + "▁е ха", + "▁ еха", + "▁а да", + "▁ад а", + "▁ ада", + "▁социаль ных", + "▁соци альных", + "гру п", + "г руп", + "▁ре ка", + "▁рек а", + "ла ндии", + "лан дии", + "▁pr ivate", + "▁priv ate", + "▁Си би", + "ка ть", + "кат ь", + "ё з", + "o o", + "▁исто чник", + "▁источ ник", + "▁по дру", + "▁под ру", + "▁im pro", + "▁imp ro", + "ab ility", + "▁Благо даря", + "▁не прави", + "▁неправ и", + "▁Ва ши", + "▁Ваш и", + "idd le", + "▁Пари ж", + "▁слу чилось", + "▁случи лось", + "О т", + "ou ther", + "out her", + "outh er", + "o uther", + "ce ed", + "c eed", + "▁университе те", + "▁университет е", + "▁за пуска", + "▁запу ска", + "▁запуск а", + "▁при чины", + "▁причи ны", + "▁причин ы", + "▁с бо", + "▁c ome", + "▁com e", + "▁co me", + "▁ come", + "▁с обе", + "▁со бе", + "▁соб е", + "▁проце нтов", + "▁процен тов", + "▁процент ов", + "▁контра кт", + "▁контрак т", + "▁к рово", + "▁кро во", + "▁кров о", + "▁сред ней", + "▁средне й", + "▁ме не", + "▁мен е", + "▁ мене", + "▁слу жит", + "▁служ ит", + "▁служи т", + "го лов", + "голо в", + "▁под лин", + "▁подли н", + "▁Geor ge", + "▁Georg e", + "▁но ме", + "am a", + "a ma", + "сле дование", + "следова ние", + "▁на личи", + "▁нали чи", + "▁Гри го", + "▁современ ного", + "he ad", + "h ead", + "▁иск рен", + "▁ми нима", + "▁мини ма", + "▁произ ведений", + "▁способ ом", + "▁спосо бом", + "ко ма", + "ком а", + "▁a ward", + "▁aw ard", + "▁О фициаль", + "▁Офи циаль", + "do m", + "d om", + "ну в", + "на л", + "н ал", + "ку р", + "к ур", + "ер емо", + "ере мо", + "по рта", + "пор та", + "порт а", + "▁ре шений", + "▁реше ний", + "▁круп ные", + "▁я в", + "▁reg ion", + "▁хо д", + "▁х од", + "▁ ход", + "▁опреде ления", + "ч ны", + "▁бю ро", + "▁ бюро", + "дна я", + "д ная", + "▁п орт", + "▁по рт", + "▁пор т", + "▁ порт", + "ac y", + "a cy", + "▁l iving", + "ру я", + "Л у", + "▁дипло ма", + "▁диплом а", + "▁результа тов", + "▁результат ов", + "▁вы вод", + "▁выво д", + "▁пи шу", + "▁я рко", + "▁яр ко", + "▁у спо", + "▁ус по", + "ль ф", + "▁ру ка", + "▁р ука", + "▁рук а", + "В и", + "▁мо лит", + "▁мол ит", + "ort hern", + "orth ern", + "▁Об ъ", + "ле ва", + "лев а", + "л ева", + "▁сов местно", + "▁совме стно", + "▁У ра", + "▁Ур а", + "▁пы тается", + "▁пыта ется", + "ку ро", + "кур о", + "▁Europe an", + "▁ста тус", + "▁стату с", + "▁анали з", + "▁дей ствовать", + "▁бо ли", + "▁бол и", + "▁ боли", + "▁re lig", + "▁rel ig", + "ле йте", + "лей те", + "▁ал кого", + "▁Ни ж", + "че лове", + "ic o", + "i co", + "ца х", + "Р И", + "▁l ive", + "▁тща тельно", + "ж ны", + "▁P al", + "▁жи вет", + "▁жив ет", + "▁гото вы", + "▁готов ы", + "▁R ober", + "▁Rob er", + "▁Ro ber", + "▁лю бов", + "▁любо в", + "▁мо ю", + "бле ние", + "б ление", + "▁кро вь", + "▁кров ь", + "▁стра хо", + "▁страх о", + "▁d am", + "▁не мало", + "▁нема ло", + "▁ва шего", + "▁ваш его", + "▁ваше го", + "▁п але", + "▁па ле", + "▁пал е", + "rough t", + "r ought", + "▁ре ке", + "▁рек е", + "▁связа нные", + "▁связан ные", + "эт а", + "э та", + "p ut", + "▁писа теля", + "▁архи те", + "▁c ou", + "▁co u", + "▁о дни", + "▁од ни", + "e um", + "ня т", + "н ят", + "Н и", + "▁кило мет", + "▁ц арь", + "▁цар ь", + "▁ца рь", + "▁ царь", + "▁высо те", + "▁выс оте", + "но венно", + "нов енно", + "нове нно", + "новен но", + "▁и спа", + "▁ис па", + "▁соответ ствует", + "▁соответству ет", + "it ch", + "augh ter", + "aught er", + "▁при ят", + "▁прия т", + "▁ прият", + "▁R ich", + "▁проме жу", + "▁с выше", + "▁Bl ack", + "р ма", + "жи те", + "жит е", + "ho d", + "h od", + "хо й", + "х ой", + "▁об основа", + "▁обо снова", + "на в", + "н ав", + "▁хо тите", + "▁le arn", + "ан али", + "ана ли", + "а нали", + "бле ния", + "б ления", + "▁из менить", + "▁изме нить", + "▁измени ть", + "▁измен ить", + "▁за ле", + "▁з але", + "▁зал е", + "▁по хоро", + "▁похо ро", + "gr ess", + "g ress", + "out hern", + "outh ern", + "outher n", + "ур е", + "у ре", + "чо м", + "ч ом", + "▁о хот", + "▁охо т", + "▁ох от", + "▁ме да", + "▁мед а", + "▁ меда", + "▁коман дира", + "▁команди ра", + "▁командир а", + "▁Go ogle", + "▁пу ле", + "▁матери ал", + "▁материа л", + "▁мате риал", + "▁д ав", + "▁да в", + "▁ дав", + "▁вза им", + "▁Па вел", + "▁m em", + "▁me m", + "▁а том", + "▁ат ом", + "▁ато м", + "м с", + "▁по все", + "▁пов се", + "▁за труд", + "же шь", + "ж ешь", + "▁ве ков", + "▁век ов", + "▁челове чества", + "▁Ind ian", + "▁India n", + "но вых", + "нов ых", + "▁пе дагоги", + "▁педаго ги", + "▁педагог и", + "▁Никола я", + "▁Нико лая", + "▁Ку бка", + "ae l", + "a el", + "▁Г али", + "▁Га ли", + "вши мся", + "вшим ся", + "▁ду х", + "▁ дух", + "▁С им", + "▁Си м", + "ро ма", + "ром а", + "▁оста льных", + "▁ост альных", + "▁Al though", + "юр е", + "ю ре", + "гля ды", + "▁сто имость", + "▁стои мость", + "▁стоимо сть", + "▁на правление", + "▁напра вление", + "▁це лый", + "а й", + "ни цах", + "ница х", + "▁rem ained", + "▁remain ed", + "гра да", + "град а", + "гр ада", + "▁опера ций", + "▁ду ша", + "▁душ а", + "▁комму ника", + "▁коммуни ка", + "▁вопро са", + "▁вопрос а", + "▁кон серва", + "ст ки", + "с тки", + "хо ждения", + "▁Я ко", + "▁Як о", + "те о", + "▁rec ogn", + "▁s te", + "▁st e", + "▁ ste", + "▁на шим", + "▁наши м", + "▁наш им", + "▁b r", + "▁ br", + "▁по станов", + "▁поста нов", + "▁постано в", + "E S", + "▁раз обра", + "▁разо бра", + "▁разоб ра", + "▁принци п", + "до воль", + "дово ль", + "▁поня тно", + "▁реаль ности", + "▁реа льности", + "▁реально сти", + "ье ра", + "ьер а", + "ь ера", + "зи он", + "▁поко ления", + "▁наблю дения", + "▁b o", + "▁ bo", + "▁пись мен", + "▁письме н", + "p ing", + "▁теле фо", + "Т е", + "ко ви", + "ков и", + "▁c ast", + "▁cas t", + "▁ cast", + "▁ог ня", + "▁g en", + "▁ge n", + "▁ gen", + "▁Ш о", + "▁В ан", + "▁Ва н", + "▁f unction", + "▁fun ction", + "ag ed", + "age d", + "a ged", + "▁посред ством", + "ры м", + "▁услу г", + "▁игра ет", + "ib r", + "i br", + "▁об ма", + "min ist", + "▁обяза нности", + "▁обязан ности", + "▁та лант", + "▁талан т", + "** **", + "▁а но", + "▁ан о", + "▁ ано", + "ря до", + "ряд о", + "▁ме стного", + "▁мест ного", + "▁созда н", + "▁соз дан", + "сле й", + "сл ей", + "с лей", + "ко вая", + "ков ая", + "кова я", + "▁нас читы", + "▁up on", + "▁u pon", + "жа ться", + "жать ся", + "ud d", + "u dd", + "▁зада чу", + "▁задач у", + "во дит", + "вод ит", + "води т", + "▁ле чения", + "▁при вя", + "▁прив я", + "▁оши бки", + "▁ошиб ки", + "бра сы", + "за х", + "her s", + "h ers", + "▁б ак", + "▁ба к", + "▁ бак", + "▁по хоже", + "▁похо же", + "▁похож е", + "Н А", + "▁жи вут", + "▁живу т", + "▁жив ут", + "▁кра сно", + "▁неожида нно", + "▁la un", + "▁раз бира", + "▁разби ра", + "▁д ина", + "▁ди на", + "▁ дина", + "▁ни что", + "▁ ничто", + "ня ка", + "няк а", + "ч не", + "▁Comp any", + "o ice", + "▁ко ордина", + "▁об ъем", + "▁объ ем", + "▁объе м", + "▁ответ ственности", + "▁тер ми", + "яз ы", + "я зы", + "▁созда л", + "▁соз дал", + "▁сыгра л", + "ит ся", + "и тся", + "те л", + "▁оста навли", + "▁mater ial", + "▁с кан", + "▁ска н", + "▁ск ан", + "▁Ав стра", + "ру ссии", + "рус сии", + "▁специали стов", + "▁специалист ов", + "▁говор ю", + "▁гово рю", + "ек т", + "е кт", + "▁И нди", + "▁Ин ди", + "▁Пе тр", + "▁Пет р", + "▁бю джет", + "▁бюдже т", + "▁th ought", + "▁though t", + "▁финан си", + "▁фина нси", + "▁r ul", + "▁ru l", + "▁A nt", + "▁An t", + "▁следу ющее", + "▁ко е", + "▁к ое", + "▁ кое", + "▁е з", + "▁ ез", + "▁O p", + "▁И ме", + "▁Им е", + "▁м ани", + "▁ма ни", + "▁ мани", + "ig ned", + "ign ed", + "▁вс пы", + "р э", + "бл у", + "б лу", + "▁при ез", + "▁прие з", + "▁d ata", + "▁ data", + "▁сооб щение", + "▁сообще ние", + "▁цен тром", + "▁центр ом", + "▁предприя тий", + "▁com pos", + "▁comp os", + "▁rele ase", + "▁Э д", + "▁Изра и", + "с ро", + "▁сво ём", + "▁своё м", + "▁неодно кратно", + "▁избе жать", + "▁мо леку", + "▁коман де", + "▁команд е", + "▁на писать", + "▁написа ть", + "▁напи сать", + "▁навер ное", + "▁наве рное", + "▁Олимпий ских", + "▁слу жить", + "▁служ ить", + "▁служи ть", + "▁служит ь", + "▁про грамму", + "▁програм му", + "▁программ у", + "▁re n", + "▁r en", + "▁ ren", + "ду ющий", + "дую щий", + "▁га рмо", + "▁гар мо", + "▁о зера", + "▁озе ра", + "▁оз ера", + "▁озер а", + "▁d oc", + "▁do c", + "▁se par", + "▁опреде ляется", + "▁определя ется", + "▁определяет ся", + "▁оцен ки", + "▁оце нки", + "ва емых", + "ваем ых", + "A C", + "▁for med", + "▁form ed", + "▁иг рах", + "▁игра х", + "бли зи", + "▁у кре", + "ди ка", + "дик а", + "el ling", + "ell ing", + "▁c ross", + "▁cr oss", + "▁cro ss", + "ди ла", + "дил а", + "д ила", + "I D", + "▁е ю", + "▁внутрен ней", + "ли лся", + "лил ся", + "л ился", + "чи сли", + "чис ли", + "▁Боль шо", + "▁сло вом", + "▁слово м", + "▁слов ом", + "▁карь еру", + "▁stud y", + "▁по мимо", + "▁пом имо", + "▁поми мо", + "ко на", + "кон а", + "к она", + "▁ти пи", + "▁тип и", + "▁Д жу", + "▁Дж у", + "▁де бю", + "▁p ay", + "▁противо стоя", + "▁связа нных", + "▁связан ных", + "as ing", + "▁ме даль", + "▁мед аль", + "▁меда ль", + "▁струк тур", + "▁М ер", + "▁Ме р", + "▁смы сла", + "▁смысл а", + "ж нее", + "▁вер тика", + "▁су ть", + "▁ну жен", + "▁нуж ен", + "▁закон чи", + "▁ма гни", + "▁маг ни", + "▁ магни", + "жа н", + "ж ан", + "ре мя", + "рем я", + "▁Поз же", + "▁функ циони", + "▁осуществ ляется", + "▁осуществля ется", + "▁осуществляет ся", + "▁v e", + "▁ ve", + "▁вы шли", + "ы ска", + "чи н", + "ч ин", + "▁помо гает", + "▁помога ет", + "все гда", + "гра ции", + "гр ации", + "▁отноше ниях", + "▁отношения х", + "▁s ex", + "▁se x", + "▁ sex", + "▁за ря", + "▁зар я", + "▁и дут", + "▁ид ут", + "▁иду т", + "▁ад рес", + "▁адре с", + "▁C ap", + "▁Ca p", + "та ри", + "тар и", + "▁f ar", + "▁fa r", + "▁Ю рий", + "▁при ну", + "▁прин у", + "д ным", + "те льностью", + "тель ностью", + "тельно стью", + "тельность ю", + "▁про вёл", + "se l", + "s el", + "▁про йти", + "▁прой ти", + "v ille", + "▁М э", + "▁Р ай", + "▁Ра й", + "av a", + "a va", + "▁преду смотре", + "▁S am", + "▁Sa m", + "▁off ice", + "▁offic e", + "▁Б ере", + "▁Бе ре", + "▁Бер е", + "▁disc over", + "▁h on", + "▁город ской", + "▁ городской", + "▁т ема", + "▁те ма", + "▁тем а", + "▁ тема", + "▁пос ёл", + "▁сред неве", + "▁средне ве", + "щ ь", + "лли ген", + "ша ли", + "шал и", + "ш али", + "▁за ча", + "фе р", + "ф ер", + "▁же лу", + "▁жел у", + "ви я", + "ду м", + "д ум", + "▁сум му", + "▁тра ге", + "▁о пере", + "▁оп ере", + "▁опер е", + "▁опе ре", + "▁с еть", + "▁се ть", + "▁сет ь", + "▁ сеть", + "▁J ew", + "▁Je w", + "▁ра циона", + "▁ рациона", + "▁устрой ство", + "▁устройств о", + "▁и сте", + "▁ис те", + "▁ист е", + "▁че л", + "▁ чел", + "▁д вери", + "▁две ри", + "▁двер и", + "▁про гно", + "▁g un", + "▁gu n", + "▁an im", + "▁го лосо", + "▁голо со", + "▁голос о", + "▁ак три", + "▁акт ри", + "▁обе ща", + "cl e", + "c le", + "▁россий ской", + "не нный", + "нен ный", + "ce r", + "c er", + "▁у гле", + "▁уг ле", + "▁за ба", + "▁заб а", + "f ace", + "▁ком бина", + "▁горо дах", + "▁города х", + "▁с каз", + "▁ска з", + "▁ск аз", + "▁ли ней", + "▁лин ей", + "▁ линей", + "▁га зет", + "▁газ ет", + "▁газе т", + "сло ва", + "слов а", + "с лова", + "от вет", + "ем ом", + "емо м", + "е мом", + "лек тро", + "да ния", + "▁б ара", + "▁ба ра", + "▁бар а", + "▁ бара", + "▁ры нок", + "▁рыно к", + "▁а то", + "▁ат о", + "▁ac cept", + "▁Боль шинство", + "▁play er", + "▁понима ть", + "▁пони мать", + "му ни", + "▁ин струк", + "▁инстру к", + "Л И", + "▁ф ар", + "▁фа р", + "▁ фар", + "ще стви", + "ществ и", + "▁полу чается", + "▁получа ется", + "▁получает ся", + "▁перио ди", + "▁период и", + "то рами", + "тора ми", + "торам и", + "▁у стро", + "▁ус тро", + "▁де монстри", + "▁демон стри", + "▁не сом", + "▁нес ом", + "▁несо м", + "pl y", + "p ly", + "▁n ov", + "▁no v", + "▁avail able", + "рно го", + "р ного", + "▁п она", + "▁по на", + "▁пон а", + "▁writ ten", + "▁t re", + "▁tr e", + "▁З о", + "▁принима ет", + "▁бы вшего", + "▁ак тиви", + "▁актив и", + "▁вне шней", + "▁внеш ней", + "▁внешне й", + "▁ph ys", + "▁т ера", + "▁те ра", + "▁тер а", + "▁ тера", + "▁следова тельно", + "em s", + "e ms", + "▁предпо чита", + "▁здоров ья", + "ме три", + "мет ри", + "метр и", + "▁э фи", + "▁пол ном", + "▁полно м", + "▁ор би", + "▁ск ром", + "▁з им", + "▁зи м", + "н х", + "▁ну жда", + "▁нуж да", + "▁нужд а", + "▁O ff", + "▁Of f", + "▁pres ident", + "▁st ated", + "▁state d", + "▁stat ed", + "▁а по", + "▁ап о", + "▁В ся", + "vi ron", + "v iron", + "▁сохра нить", + "▁сохрани ть", + "▁сохран ить", + "▁Одна жды", + "▁Т ай", + "▁Та й", + "▁ Тай", + "ud e", + "u de", + "▁S im", + "▁Si m", + "▁воен ный", + "▁вое нный", + "ме ц", + "м ец", + "▁м он", + "▁мо н", + "▁ мон", + "▁подоб но", + "спо рт", + "спор т", + "с порт", + "▁заня тия", + "ol ic", + "oli c", + "▁ка чество", + "▁каче ство", + "▁качеств о", + "▁за й", + "▁з ай", + "▁ зай", + "▁рабо тников", + "▁работ ников", + "▁работник ов", + "▁Ра зу", + "▁Раз у", + "▁на сле", + "▁нас ле", + "▁ба бу", + "▁но мина", + "▁mark et", + "▁Ре спубли", + "▁пон рави", + "▁музы ки", + "▁во шли", + "жде но", + "жден о", + "▁ста тей", + "▁администра ции", + "▁Ш ве", + "▁матери ала", + "▁материа ла", + "▁материал а", + "▁соб ственности", + "▁собствен ности", + "▁собственно сти", + "▁C ouncil", + "▁e arl", + "▁ear l", + "▁следу ющим", + "▁c irc", + "▁ди ску", + "▁дис ку", + "▁диск у", + "▁стар ший", + "▁ле са", + "▁лес а", + "▁Москов ского", + "▁обо знача", + "▁обозна ча", + "▁челове ческой", + "ba ck", + "b ack", + "▁солн це", + "▁един ственный", + "▁in formation", + "▁inform ation", + "▁ко стю", + "▁кос тю", + "▁интен сив", + "▁интенси в", + "▁пользова телей", + "▁ва лю", + "ше ль", + "шел ь", + "не нной", + "нен ной", + "ненно й", + "▁иде ологи", + "▁f oc", + "ско хозяй", + "зм ы", + "з мы", + "ЕН И", + "Е НИ", + "▁s elf", + "▁ self", + "ни тся", + "нит ся", + "н ится", + "▁ра к", + "▁р ак", + "▁ рак", + "▁вы рабо", + "▁выра бо", + "ле ть", + "лет ь", + "л еть", + "ge s", + "g es", + "▁соеди нения", + "▁в ек", + "▁ве к", + "▁d er", + "▁de r", + "▁ der", + "▁завер ши", + "▁характер исти", + "▁характери сти", + "де кс", + "▁тео рия", + "min g", + "m ing", + "▁интере сно", + "▁интерес но", + "▁ch ange", + "▁chang e", + "▁ change", + "▁за коны", + "▁зако ны", + "▁закон ы", + "▁зак оны", + "ля ется", + "ляет ся", + "▁раз деле", + "▁разде ле", + "▁раздел е", + "▁Ви ктор", + "▁Викто р", + "▁реак ции", + "▁реа кции", + "▁I f", + "во дятся", + "вод ятся", + "водя тся", + "водят ся", + "▁отказа лся", + "жи х", + "ж их", + "ти ло", + "тил о", + "▁k illed", + "▁kill ed", + "▁kil led", + "▁э м", + "▁ эм", + "▁зару бе", + "▁у про", + "▁cont rib", + "▁уче ные", + "▁Амери ке", + "▁мину ту", + "▁минут у", + "▁тру дом", + "▁труд ом", + "▁трудо м", + "▁совет ского", + "▁сове тского", + "▁советско го", + "▁официаль но", + "тя т", + "т ят", + "гро м", + "гр ом", + "г ром", + "ur ity", + "▁узна л", + "▁уз нал", + "▁потен циаль", + "▁потенциа ль", + "▁потенциал ь", + "▁point s", + "ко вь", + "ков ь", + "if orn", + "▁диа мет", + "C h", + "▁влия ния", + "▁са нк", + "▁сан к", + "▁ко жи", + "▁нача лом", + "▁начал ом", + "▁начало м", + "▁американ ских", + "▁америка нских", + "▁д вое", + "▁дво е", + "▁be com", + "▁bec om", + "ло сть", + "ru p", + "r up", + "▁М еня", + "▁Ме ня", + "▁Мен я", + "▁signific ant", + "▁при зыва", + "▁призыв а", + "▁призы ва", + "ре я", + "▁re d", + "▁r ed", + "▁ red", + "▁б ла", + "▁ бла", + "▁много е", + "ре ны", + "рен ы", + "▁прибы ли", + "▁прибыл и", + "▁ту рец", + "▁тур ец", + "▁туре ц", + "за нти", + "зан ти", + "з анти", + "▁соб ственного", + "▁собствен ного", + "▁собственно го", + "▁Во ен", + "▁не дель", + "▁неде ль", + "▁ недель", + "▁террито рию", + "▁К стати", + "▁ск возь", + "▁C up", + "▁во стор", + "▁вос тор", + "▁восто р", + "va n", + "v an", + "▁ц енно", + "▁це нно", + "▁цен но", + "▁откры тия", + "ва х", + "щи ны", + "щин ы", + "щ ины", + "▁XV II", + "▁XVI I", + "\" ?", + "▁h ard", + "▁har d", + "▁ha rd", + "▁ hard", + "▁ent ire", + "г ка", + "▁re view", + "▁rev iew", + "▁чер ты", + "▁черт ы", + "▁вос ьми", + "▁вось ми", + "▁возду хе", + "▁воздух е", + "ющи мся", + "ющим ся", + "ю щимся", + "▁Б рю", + "▁Ана то", + "▁два жды", + "ло вой", + "лов ой", + "лово й", + "▁s igned", + "▁sign ed", + "ва ны", + "ван ы", + "▁чемпи он", + "▁во зоб", + "▁воз об", + "ress ed", + "r essed", + "▁вра га", + "▁враг а", + "▁мол ча", + "▁у щер", + "▁уще р", + "▁Ру си", + "▁Рус и", + "▁cl ose", + "▁clos e", + "▁та нков", + "▁тан ков", + "▁танк ов", + "▁Обы чно", + "▁ко т", + "▁к от", + "▁ кот", + "вр и", + "в ри", + "▁event ually", + "▁P aul", + "▁эпо ху", + "▁ac cess", + "▁acc ess", + "▁вся кого", + "реги стри", + "д ке", + "un t", + "u nt", + "р ский", + "▁музы кан", + "▁музыка н", + "▁эк зем", + "▁бу х", + "▁ме стности", + "▁мест ности", + "▁Со еди", + "▁Н К", + "▁ НК", + "▁со вокуп", + "▁in ternational", + "▁intern ational", + "▁в ступа", + "▁вступ а", + "▁о ко", + "▁ок о", + "са нт", + "сан т", + "▁за л", + "▁з ал", + "▁ зал", + "▁уча сток", + "▁участ ок", + "со ван", + "сов ан", + "сова н", + "▁выступа ет", + "▁международ ных", + "▁со се", + "▁сос е", + "▁россий ского", + "▁t reat", + "▁tre at", + "▁зна ете", + "▁знает е", + "▁бо ю", + "▁ бою", + "▁мета лли", + "▁метал ли", + "▁металл и", + "▁соб ственных", + "▁собствен ных", + "▁сла бы", + "▁Б ур", + "▁Бу р", + "▁свое образ", + "▁продол жает", + "▁продолжа ет", + "▁вели кого", + "▁велико го", + "▁ка ждая", + "▁каж дая", + "▁про водить", + "▁проводи ть", + "▁прово дить", + "▁провод ить", + "▁проводит ь", + "д р", + "▁назна чения", + "▁Ге рой", + "▁Гер ой", + "▁Геро й", + "▁д я", + "▁ дя", + "▁исто чников", + "▁источ ников", + "▁источник ов", + "▁с пут", + "▁спу т", + "▁ли бера", + "кло пе", + "▁aver age", + "▁G roup", + "▁обще ственного", + "▁обществе нного", + "▁общественно го", + "▁ass ist", + "▁ок на", + "▁co urt", + "▁cour t", + "А О", + "▁зна ний", + "▁у вле", + "▁ка толи", + "▁като ли", + "▁ми нуты", + "▁мину ты", + "▁минут ы", + "▁проис ходя", + "▁происхо дя", + ". /", + "а м", + "▁e ither", + "▁пер спекти", + "▁перспек ти", + "▁T ra", + "▁Tr a", + "▁H en", + "▁He n", + "▁M ag", + "▁Ma g", + "ро вая", + "ров ая", + "рова я", + "▁p olic", + "▁pol ic", + "ти ве", + "тив е", + "лко в", + "лк ов", + "л ков", + "▁при ба", + "▁подвер га", + "▁подверг а", + "▁l anguage", + "▁langu age", + "ли зова", + "▁х рам", + "▁хра м", + "▁go ing", + "▁ going", + "▁К ни", + "▁ Кни", + "кну ть", + "к нуть", + "▁f ell", + "▁fe ll", + "▁ста дии", + "▁стади и", + "▁при дума", + "▁прид ума", + "▁КП СС", + "▁оста вить", + "▁дости г", + "▁educ ation", + "▁Un ion", + "▁де вушка", + "▁деву шка", + "▁ст рах", + "▁стра х", + "▁в ир", + "▁ви р", + "▁по гре", + "▁b rought", + "▁br ought", + "med i", + "мо га", + "▁ле ст", + "▁лес т", + "▁к рова", + "▁кро ва", + "▁кров а", + "▁ крова", + "▁содержа ния", + "▁нес част", + "▁несча ст", + "im ately", + "imate ly", + "▁о писание", + "▁описа ние", + "▁О ОН", + "g in", + "▁выбо рах", + "▁выбора х", + "▁расска зывает", + "▁расс казывает", + "▁рассказыва ет", + "▁рассказы вает", + "▁ind epend", + "ди ю", + "▁использова нием", + "▁использование м", + "▁ресур сов", + "▁ресурс ов", + "▁Cal iforn", + "▁тя жело", + "▁тяже ло", + "▁дости гну", + "▁достиг ну", + "ж на", + "▁Rep ublic", + "▁p ast", + "▁поло вины", + "▁полови ны", + "▁полов ины", + "▁Л ей", + "▁Ле й", + "ac es", + "ace s", + "a ces", + "то логи", + "т ологи", + "▁L ou", + "▁Lo u", + "▁от ряд", + "▁отря д", + "▁re b", + "▁r eb", + "ци ал", + "циа л", + "▁су дов", + "▁суд ов", + "▁судо в", + "▁кар ты", + "▁карт ы", + "▁qu est", + "▁ quest", + "▁in j", + "▁кладби ще", + "▁у годно", + "▁уг одно", + "▁уго дно", + "па ми", + "пам и", + "▁свобо ду", + "▁свобод у", + "▁у ка", + "▁ ука", + "до ра", + "дор а", + "▁об щее", + "▁обще е", + "юз е", + "ю зе", + "▁Пер во", + "▁сце не", + "▁сцен е", + "ре на", + "рен а", + "р ена", + "▁Ма ри", + "▁Мар и", + "ла т", + "л ат", + "▁e ight", + "▁не прият", + "▁непри ят", + "▁неприя т", + "▁t our", + "▁to ur", + "▁разви тию", + "▁сом нения", + "▁сомне ния", + "▁f av", + "▁fa v", + "хо ва", + "хов а", + "ни аль", + "ниа ль", + "те ле", + "тел е", + "вшее ся", + "▁приме нение", + "ли кт", + "лик т", + "▁т емы", + "▁те мы", + "▁тем ы", + "▁офи цер", + "▁офице р", + "▁неме цких", + "▁немец ких", + "▁С тро", + "▁Ст ро", + "if ication", + "ific ation", + "il ities", + "ili ties", + "ilit ies", + "нци клопе", + "em ents", + "ement s", + "e ments", + "▁dec ided", + "▁Не сколько", + "кл я", + "к ля", + "▁при шла", + "ству ющих", + "▁ин фра", + "▁инф ра", + "▁I m", + "з ли", + "▁ac qu", + "▁национа льного", + "▁национально го", + "▁В ас", + "▁Ва с", + "▁за пас", + "▁запа с", + "▁ст рана", + "▁стра на", + "▁стран а", + "▁стр ана", + "▁о доб", + "▁од об", + "▁одо б", + "▁ма рки", + "▁мар ки", + "▁брига ды", + "▁эффек т", + "▁до ж", + "▁про возгла", + "▁Ки тай", + "▁Кита й", + "▁с той", + "▁ст ой", + "▁сто й", + "▁ стой", + "▁на ступление", + "▁наступ ление", + "▁ну жна", + "▁нуж на", + "▁то рмо", + "▁тор мо", + "се т", + "с ет", + "▁части чно", + "▁through out", + "▁Н аз", + "▁На з", + "▁beh ind", + "▁проце ссы", + "▁процесс ы", + "▁Ind ia", + "▁о смо", + "▁ос мо", + "же нного", + "жен ного", + "женно го", + "на т", + "н ат", + "▁С во", + "▁Св о", + "▁о зна", + "▁оз на", + "ев е", + "е ве", + "▁r ather", + "▁ra ther", + "▁rat her", + "▁в в", + "▁Пер вой", + "▁Перво й", + "▁th ink", + "ши т", + "ш ит", + "▁интер фей", + "▁Пу сть", + "▁пробле му", + "▁проблем у", + "▁по чита", + "▁почи та", + "▁лег че", + "▁называ ли", + "▁называл и", + "▁ви жу", + "▁рас ста", + "▁расс та", + "▁Пер вые", + "▁А зербайджа", + "▁твор чества", + "▁ду ха", + "▁дух а", + "▁con struction", + "▁const ruction", + "▁construct ion", + "п ка", + "на у", + "▁ре шить", + "▁реши ть", + "▁бу дете", + "▁будет е", + "▁буд ете", + "▁а раб", + "▁ара б", + "▁в ле", + "▁ вле", + "▁tra ining", + "▁tr aining", + "▁train ing", + "▁сред нем", + "▁средне м", + "▁роди тели", + "▁интер нет", + "▁п ак", + "▁па к", + "Т О", + "чи ком", + "чик ом", + "Ко р", + "К ор", + "▁g ot", + "▁go t", + "зи ли", + "зил и", + "з или", + "▁ста би", + "▁ стаби", + "▁фрон т", + "P I", + "не дель", + "▁pro t", + "▁pr ot", + "▁по лю", + "▁пол ю", + "цу з", + "ц уз", + "ди лся", + "дил ся", + "д ился", + "▁В але", + "▁Ва ле", + "кон струк", + "▁про шли", + "▁прош ли", + "▁на пол", + "▁напо л", + "Р У", + "un ic", + "u nic", + "▁На поле", + "хи ми", + "хим и", + "х ими", + "▁выпол нять", + "▁выполня ть", + "си м", + "с им", + "пи н", + "п ин", + "▁ос нову", + "▁основ у", + "▁осно ву", + "▁преду сматри", + "▁Бо рис", + "▁Бори с", + "▁Бор ис", + "▁вы де", + "▁H all", + "▁Ha ll", + "▁Hal l", + "▁spec ies", + "▁силь нее", + "▁пря мой", + "▁прямо й", + "▁eff ort", + "▁Dav id", + "▁полу о", + "раз уме", + "разу ме", + "разум е", + "▁М ат", + "▁Ма т", + "не ры", + "нер ы", + "н еры", + "▁pol ice", + "▁polic e", + "▁ду шу", + "▁душ у", + "зм ов", + "з мов", + "wo od", + "w ood", + "й дя", + "▁фра г", + "▁про игра", + "▁прои гра", + "▁по тря", + "▁ре сто", + "▁г ли", + "▁гл и", + "▁ гли", + "▁о ча", + "▁с тру", + "▁ст ру", + "▁стр у", + "▁ стру", + "av es", + "ave s", + "a ves", + "▁serv ices", + "▁service s", + "йс кий", + "й ский", + "ко вый", + "ковы й", + "з ри", + "▁Californ ia", + "▁Та кое", + "▁Так ое", + "ut ure", + "u ture", + "▁с пло", + "▁сер де", + "▁серд е", + "т вра", + "ain t", + "ai nt", + "a int", + "▁M ac", + "▁Ma c", + "▁пол ный", + "ги м", + "г им", + "ad d", + "a dd", + "▁M il", + "▁у держа", + "▁poss ible", + "▁на сла", + "▁нас ла", + "▁Никола евич", + "се ление", + "▁al most", + "▁про ро", + "▁прор о", + "▁ре жима", + "▁режи ма", + "▁режим а", + "▁вы ступления", + "▁выступ ления", + "б ке", + "▁Ра спо", + "▁Рас по", + "itte e", + "itt ee", + "< /", + "▁V I", + "▁ VI", + "ia tion", + "iat ion", + "i ation", + "▁а спек", + "▁бу ты", + "▁социаль но", + "▁соци ально", + "ро ванию", + "рова нию", + "▁пози цию", + "▁ри т", + "▁р ит", + "▁ рит", + "▁Э к", + "▁ба зы", + "▁баз ы", + "▁пом ню", + "то ру", + "тор у", + "т ору", + "▁ex ec", + "ви лась", + "вила сь", + "▁с верху", + "▁сверх у", + "▁свер ху", + "▁функ ций", + "▁проце ссо", + "▁процесс о", + "▁встре чается", + "▁встреча ется", + "▁встречает ся", + "▁Та кой", + "▁Так ой", + "чё н", + "ч ён", + "▁при вело", + "▁приве ло", + "▁привел о", + "▁сред е", + "▁сре де", + "но мо", + "ном о", + "вод ство", + "▁сказа но", + "▁сказ ано", + "▁влия нием", + "▁влияние м", + "пи ли", + "пил и", + "п или", + "▁древ не", + "▁дре вне", + "ed eral", + "eder al", + "Р Е", + "▁изу чения", + "▁le ast", + "▁я влялся", + "▁явля лся", + "▁яв лялся", + "▁поверх ность", + "▁поверхно сть", + "▁d ou", + "▁do u", + "▁ш ту", + "▁шт у", + "A N", + "▁встре чаются", + "▁встреча ются", + "▁дире ктора", + "▁директор а", + "▁inter est", + "▁inte rest", + "▁ob ject", + "▁l ik", + "▁he alth", + "▁круп ней", + "▁inv olved", + "▁invol ved", + "▁ре йти", + "▁рей ти", + "Н Р", + "▁w id", + "▁ку х", + "▁Т ра", + "▁s oon", + "▁so on", + "▁дру ж", + "eng th", + "▁Свя того", + "▁Свято го", + "▁Д рев", + "Пе тербург", + "Петербур г", + "▁Пе тербург", + "▁Петербур г", + "▁Петер бург", + "▁ Петербург", + "▁ev ents", + "▁even ts", + "▁event s", + "▁п ут", + "▁пу т", + "▁ пут", + "сти ческие", + "стически е", + "с тические", + "▁повы шен", + "▁сред него", + "▁средне го", + "▁то вар", + "▁това р", + "▁фе но", + "▁Б ай", + "▁Ба й", + "▁prov ided", + "▁provide d", + "▁ти хо", + "▁ тихо", + "▁де лам", + "▁дела м", + "▁дел ам", + "ви тся", + "вит ся", + "в ится", + "i qu", + "an der", + "and er", + "a nder", + "▁руко водитель", + "▁руководи тель", + "▁s ound", + "▁so und", + "▁Par ty", + "▁Part y", + "at ural", + "atur al", + "▁отве чает", + "▁отвеча ет", + "з во", + "ra b", + "r ab", + "▁С тре", + "▁Ст ре", + "▁благо дар", + "▁благода р", + "ви на", + "вин а", + "в ина", + "ст рии", + "стри и", + "▁При мер", + "▁Приме р", + "▁for ce", + "▁ force", + "▁при свое", + "▁прис вое", + "ду к", + "▁худо жника", + "▁худож ника", + "▁художник а", + "▁sub ject", + "▁желез ной", + "▁желе зной", + "▁МО СК", + "▁b ar", + "▁ bar", + "▁я пон", + "▁япо н", + "же ства", + "▁С ара", + "▁Са ра", + "▁Сар а", + "▁b ase", + "▁bas e", + "▁учили ще", + "▁га за", + "▁газ а", + "▁вы я", + "▁st ri", + "▁str i", + "▁о сна", + "▁ос на", + "ac hing", + "ach ing", + "▁record ed", + "то вые", + "▁ис пан", + "▁испа н", + "se c", + "s ec", + "▁де лом", + "▁дело м", + "▁дел ом", + "▁t ype", + "▁ty pe", + "▁typ e", + "▁ type", + "▁паци ен", + "▁d i", + "▁суще ственно", + "▁существ енно", + "▁перво нача", + "▁пла те", + "▁плат е", + "▁принима л", + "▁на родного", + "▁наро дного", + "▁народ ного", + "го ло", + "г оло", + "▁От кры", + "▁пора жения", + "▁Co urt", + "▁Cour t", + "оп ера", + "о пера", + "re ady", + "read y", + "ount er", + "oun ter", + "▁це ны", + "▁цен ы", + "▁pro duct", + "▁produ ct", + "▁produc t", + "▁сель скохозяй", + "цион ное", + "цио нное", + "ционно е", + "зо вы", + "зов ы", + "▁Кар л", + "рь я", + "р ья", + "▁насе лё", + "▁де лега", + "▁деле га", + "▁\" «", + "▁до га", + "▁дог а", + "ser v", + "s erv", + "об рази", + "обра зи", + "образ и", + "▁конструк ции", + "▁констру кции", + "▁сказа ли", + "▁ска зали", + "▁сказал и", + "▁сказ али", + "▁раз рабаты", + "▁фир мы", + "▁фирм ы", + "▁лю бит", + "▁люби т", + "▁пере говоры", + "▁перегово ры", + "▁в кус", + "▁вку с", + "k i", + "▁дей ствует", + "▁действу ет", + "▁sur v", + "▁M a", + "хо ду", + "ход у", + "зи рован", + "зирова н", + "▁resp ons", + "▁древ них", + "▁остро ве", + "▁остров е", + "▁s ize", + "▁ size", + "▁ла м", + "▁л ам", + "▁ лам", + "▁ц еремо", + "▁цер емо", + "▁не в", + "▁н ев", + "▁ нев", + "▁пра вом", + "▁право м", + "▁прав ом", + "▁теле виде", + "▁телеви де", + "▁P at", + "▁торго вли", + "▁торгов ли", + "in ese", + "ine se", + "ines e", + "вле нной", + "влен ной", + "вленно й", + "в ленной", + "▁де тали", + "▁дет али", + "▁дета ли", + "▁M al", + "▁Ma l", + "▁тон н", + "▁вз рыв", + "▁взры в", + "▁борь бу", + "▁простран стве", + "st r", + "s tr", + "» ;", + "▁высо кого", + "▁высоко го", + "▁C ont", + "▁Con t", + "▁Co nt", + "▁ Cont", + "▁h om", + "▁рабо чего", + "▁Лю бо", + "Ч то", + "▁m ight", + "ни в", + "н ив", + "▁ба нков", + "▁бан ков", + "▁банк ов", + "▁З ве", + "▁ Зве", + "▁объяви л", + "▁объя вил", + "▁хо кке", + "▁выс шей", + "▁a ud", + "▁ aud", + "▁борь ба", + "▁бор ьба", + "▁вто рая", + "▁втор ая", + "▁вы ражение", + "▁выра жение", + "▁ли де", + "▁л иде", + "▁уче ных", + "▁благо полу", + "▁r ace", + "▁ra ce", + "▁ race", + "▁писа телей", + "▁v iol", + "ав то", + "а вто", + "▁по кой", + "▁поко й", + "▁много м", + "▁мно гом", + "▁s top", + "▁st op", + "▁предо твра", + "фо на", + "фон а", + "ф она", + "ст ная", + "с тная", + "▁R oyal", + "▁Ro yal", + "▁Roy al", + "▁M ary", + "▁Mar y", + "▁Ma ry", + "▁ор ке", + "дно е", + "д ное", + "re ek", + "ree k", + "▁нрави тся", + "▁нрав ится", + "▁нра вится", + "▁способ ен", + "▁спосо бен", + "▁четы рёх", + "▁Г он", + "▁Го н", + "▁фрон те", + "▁фронт е", + "▁ме ль", + "▁мел ь", + "▁ мель", + "▁c op", + "▁co p", + "▁опти ми", + "ch ie", + "▁ма сла", + "ст ар", + "ста р", + "с тар", + "▁perform ance", + "▁performan ce", + "▁Div ision", + "▁режи ме", + "▁режим е", + "▁кар тина", + "▁карти на", + "▁картин а", + "▁карт ина", + "та ло", + "тал о", + "▁ча сы", + "▁час ы", + "пе л", + "▁на много", + "▁нам ного", + "▁e sc", + "▁es c", + "▁ esc", + "▁ры ба", + "▁рыб а", + "д ля", + "▁печа ти", + "▁печат и", + "▁п ья", + "▁пь я", + "▁group s", + "▁t rack", + "▁tra ck", + "▁tr ack", + "▁ track", + "К П", + "ти ческое", + "▁h app", + "▁ha pp", + "ро вку", + "ров ку", + "▁на бор", + "▁набо р", + "▁дела л", + "▁дел ал", + "▁p ot", + "▁po t", + "▁пол ное", + "▁полно е", + "▁ke ep", + "▁Х арь", + "▁Ха рь", + "▁Хар ь", + "▁сам их", + "▁сами х", + "вля ли", + "влял и", + "в ляли", + "▁сле гка", + "▁об но", + "▁ши ри", + "▁С по", + "▁vill age", + "▁С ен", + "▁Се н", + "че е", + "▁N or", + "▁No r", + "та кт", + "так т", + "▁проек тов", + "▁проект ов", + "▁пер и", + "▁пе ри", + "▁ пери", + "▁А м", + "▁со веща", + "▁сове ща", + "▁рус ском", + "▁русско м", + "▁ал горит", + "▁Ти хо", + "▁ш тра", + "▁шт ра", + "▁в ере", + "▁ве ре", + "▁вер е", + "▁ вере", + "▁J e", + "▁мето дов", + "▁метод ов", + "▁методо в", + "▁по дро", + "▁под ро", + "ме не", + "мен е", + "▁О со", + "▁Ос о", + "▁принадле жа", + "▁ш пи", + "▁оборудова ния", + "▁э ваку", + "▁принци пи", + "▁принцип и", + "▁ощу щение", + "▁Ки тая", + "▁Кита я", + "▁каждо му", + "▁каждом у", + "▁Э ль", + "▁Эл ь", + "▁о пасности", + "▁опас ности", + "▁опа сности", + "▁опасно сти", + "▁соб ственные", + "▁собствен ные", + "▁района х", + "▁инте ллиген", + "▁На де", + "▁Над е", + "б ь", + "▁плане ты", + "▁план еты", + "▁планет ы", + "▁интере сы", + "▁интерес ы", + "▁астро но", + "▁рабо той", + "▁работ ой", + "▁работо й", + "it ect", + "ite ct", + "▁те ми", + "▁тем и", + "▁Го род", + "▁Гор од", + "▁Горо д", + "▁мо рской", + "▁мор ской", + "▁ морской", + "▁по сте", + "▁пос те", + "▁пост е", + "▁б ал", + "▁ба л", + "▁ бал", + "мы сли", + "ban d", + "ba nd", + "b and", + "▁диви зия", + "▁дивизи я", + "▁гос пита", + "▁МОСК ВА", + "▁нем цев", + "ag o", + "a go", + "▁v ideo", + "▁до рога", + "▁доро га", + "▁дорог а", + "Г У", + "му ля", + "▁Austral ia", + "▁пере писи", + "▁перепи си", + "▁в ходят", + "▁вход ят", + "▁входя т", + "▁Пе тров", + "▁Пет ров", + "▁Петро в", + "▁Петр ов", + "▁У нивер", + "▁под черки", + "▁подчер ки", + "▁дво ре", + "▁двор е", + "▁председа теля", + "▁осу ществи", + "▁осуществ и", + "▁интере сов", + "▁интерес ов", + "▁интересо в", + "▁изобра жение", + "▁ра но", + "▁р ано", + "▁ран о", + "▁милли она", + "▁миллион а", + "▁интер пре", + "▁иде аль", + "▁идеа ль", + "▁идеал ь", + "▁сти ле", + "▁S l", + "▁приказа л", + "▁прика зал", + "▁приказ ал", + "со юз", + "ёр а", + "ё ра", + "цион ным", + "цио нным", + "ре волю", + "не нного", + "нен ного", + "ненно го", + "▁wh ite", + "ber g", + "гу ли", + "▁вы ступил", + "▁выступ ил", + "▁m iss", + "▁mi ss", + "▁mis s", + "▁ miss", + "эт о", + "э то", + "▁возможно стей", + "еха ла", + "ехал а", + "Е сли", + "▁Х риста", + "▁Хри ста", + "▁независи мо", + "▁M r", + "our ces", + "ource s", + "▁интере су", + "▁интерес у", + "▁бере га", + "▁берег а", + "му т", + "м ут", + "ber t", + "b ert", + "▁con duct", + "▁cond uct", + "▁Пре жде", + "ан е", + "а не", + "ic tion", + "ict ion", + "i ction", + "▁нас таи", + "▁наста и", + "▁про вел", + "▁прове л", + "▁и мена", + "▁име на", + "▁им ена", + "▁имен а", + "▁кар тину", + "▁карти ну", + "▁картин у", + "мо ва", + "мов а", + "те ром", + "тер ом", + "теро м", + "же б", + "▁про по", + "ну не", + "or es", + "ore s", + "o res", + "▁J ack", + "▁Jac k", + "▁бле стя", + "▁руко водства", + "▁руковод ства", + "▁же ной", + "▁жен ой", + "▁Д ар", + "▁Да р", + "▁о скор", + "▁ос кор", + "▁оско р", + "▁st ar", + "▁ star", + "▁форми рования", + "▁су пер", + "▁суп ер", + "ён ных", + "ё нных", + "▁res pect", + "▁resp ect", + "▁epis ode", + "▁Акаде мии", + "▁re ve", + "▁rev e", + "▁от вета", + "▁ответ а", + "▁отве та", + "▁а втори", + "▁авто ри", + "▁ав тори", + "▁автор и", + "▁ре зо", + "▁рез о", + "ра ясь", + "рая сь", + "▁програм ме", + "▁программ е", + "▁раз мыш", + "▁размы ш", + "▁German y", + "▁воздей ствия", + "▁му жи", + "▁муж и", + "▁ст роя", + "▁стро я", + "▁тре нер", + "жда ют", + "ж дают", + "▁Про сто", + "▁откры то", + "▁открыт о", + "▁О ба", + "▁Об а", + "▁в торы", + "▁вто ры", + "▁втор ы", + "er ous", + "ero us", + "▁Д не", + "▁са ха", + "▁е ги", + "со мо", + "сом о", + "▁об оло", + "▁обо ло", + "▁S erv", + "▁Ser v", + "▁n etwork", + "▁net work", + "▁t ry", + "▁tr y", + "▁име ются", + "▁имеют ся", + "▁имею тся", + "▁бе г", + "▁G od", + "▁Go d", + "▁г ен", + "▁ге н", + "▁ ген", + "se t", + "s et", + "▁интеллек туаль", + "▁извест ен", + "▁изве стен", + "▁Го рь", + "▁Гор ь", + "▁француз ский", + "нт ы", + "н ты", + "▁темпера тура", + "▁температур а", + "▁зве зды", + "▁звезд ы", + "▁звез ды", + "▁А нти", + "▁Ан ти", + "▁универ са", + "▁тран спор", + "▁транспо р", + "▁транс пор", + "▁Ch ina", + "▁брон зо", + "▁M art", + "▁Mar t", + "ство вало", + "ствовал о", + "ствова ло", + "▁друго му", + "▁другом у", + "▁ другому", + "▁Запад ной", + "▁Запа дной", + "▁appoint ed", + "▁б рю", + "▁ брю", + "e v", + "И Д", + "кон чался", + "конча лся", + "гра де", + "град е", + "▁доба вил", + "▁депута тов", + "▁депутат ов", + "тко й", + "тк ой", + "т кой", + "ст ане", + "ста не", + "стан е", + "▁Е дин", + "▁Еди н", + "бра л", + "бр ал", + "б рал", + "▁о жи", + "▁вся кий", + "▁хра ма", + "▁храм а", + "ле ров", + "лер ов", + "▁созда вать", + "▁гра ни", + "▁гран и", + "▁гр ани", + "▁ грани", + "▁k ey", + "▁ke y", + "▁ key", + "▁perform ed", + "ти ков", + "тик ов", + "тико в", + "▁W ash", + "▁ито гам", + "▁итог ам", + "▁ни кого", + "▁нико го", + "▁le ading", + "▁lead ing", + "E T", + "▁B el", + "▁Be l", + "Э С", + "▁ne g", + "▁сущ ности", + "▁Им пера", + "▁Импе ра", + "▁тя жё", + "▁тяж ё", + "дё т", + "д ёт", + "i j", + "ды ва", + "эн ер", + "э нер", + "▁счита ли", + "▁считал и", + "▁С вет", + "▁Св ет", + "▁Све т", + "ap t", + "a pt", + "А р", + "▁х леб", + "▁хле б", + "▁Ф ё", + "▁иде ю", + "▁поме щения", + "bo ok", + "b ook", + "▁п роде", + "▁про де", + "▁прод е", + "▁p ur", + "ня лись", + "няли сь", + "ви ков", + "вик ов", + "ля т", + "л ят", + "▁P S", + "▁ PS", + "▁конферен ции", + "▁ конференции", + "▁ph ot", + "▁парти зан", + "▁при бо", + "▁оста вил", + "▁V ir", + "▁Vi r", + "▁от туда", + "▁А нна", + "▁Ан на", + "пе ль", + "пел ь", + "▁разу меется", + "▁разуме ется", + "▁наи боль", + "▁pro duc", + "▁produ c", + "viron ment", + "ни с", + "н ис", + "▁пере дать", + "▁переда ть", + "ша ла", + "шал а", + "ш ала", + "те ры", + "тер ы", + "т еры", + "▁ло ка", + "▁лок а", + "▁ лока", + "▁те сти", + "▁тест и", + "тра н", + "тр ан", + "т ран", + "лет него", + "it z", + "▁bre ak", + "an ish", + "ani sh", + "▁в ряд", + "ress ion", + "r ession", + "▁у те", + "▁ут е", + "▁кон тинен", + "▁за регистри", + "ше б", + "▁с лове", + "▁сло ве", + "▁слов е", + "▁ слове", + "▁ж дать", + "▁ ждать", + "inc ip", + "▁во ли", + "▁вол и", + "ме нту", + "мен ту", + "мент у", + "▁mod el", + "▁mode l", + "▁М ен", + "▁Ме н", + "▁недоста точно", + "▁недостато чно", + "▁comple ted", + "▁complet ed", + "▁complete d", + "no t", + "n ot", + "▁У о", + "▁англий ский", + "re l", + "r el", + "▁уча стник", + "▁участ ник", + "at ory", + "ator y", + "ato ry", + "но ся", + "нос я", + "▁соста вляют", + "▁состав ляют", + "▁составля ют", + "з ю", + "▁язы ков", + "▁язык ов", + "▁семей ства", + "▁и ду", + "▁ид у", + "▁вме ша", + "▁пол ного", + "▁полно го", + "▁я вление", + "▁яв ление", + "▁ явление", + "▁сме ша", + "▁по ражение", + "▁пора жение", + "▁нау чной", + "▁научно й", + "▁су дьба", + "▁судь ба", + "▁суд ьба", + "ма нов", + "ман ов", + "пра вед", + "прав ед", + "праве д", + "▁Но вый", + "▁вы ро", + "▁выр о", + "E C", + "ci s", + "c is", + "▁ни кому", + "▁нико му", + "до вал", + "дова л", + "дов ал", + "▁рекомен ду", + "▁i ll", + "▁ ill", + "В а", + "▁лю бил", + "▁люби л", + "▁по дс", + "▁под с", + "▁D ist", + "▁Dis t", + "▁Di st", + "▁откры л", + "▁очеред ной", + "▁на кло", + "▁o pt", + "▁op t", + "▁бо ях", + "▁боя х", + "▁Г ан", + "▁Га н", + "▁l oss", + "▁lo ss", + "▁los s", + "ч ко", + "▁состоя нию", + "го на", + "гон а", + "г она", + "▁у держи", + "▁Д ю", + "▁ми нера", + "▁мин ера", + "▁ги бели", + "по лков", + "пол ков", + "ге ре", + "гер е", + "г ере", + "▁X VI", + "▁XV I", + "▁лё г", + "ли не", + "лин е", + "▁переи менова", + "▁acc ount", + "▁па тро", + "▁m oney", + "▁mon ey", + "▁э стети", + "▁ме дали", + "▁мед али", + "▁меда ли", + "▁house hold", + "▁дли ной", + "▁длин ой", + "▁использу я", + "▁п рие", + "▁при е", + "▁m ethod", + "▁met hod", + "ar ies", + "ari es", + "a ries", + "та ны", + "тан ы", + "до на", + "дон а", + "д она", + "▁технологи й", + "▁раз деля", + "▁разде ля", + "▁раздел я", + "▁орде ном", + "▁орден ом", + "▁находи лась", + "▁из де", + "▁изд е", + "▁e lection", + "▁ele ction", + "▁elect ion", + "▁el ection", + "▁то по", + "▁топ о", + "▁de al", + "▁комна те", + "▁д нем", + "▁дне м", + "▁са хар", + "▁саха р", + "Б у", + "▁Ч ар", + "▁Ча р", + "▁много численные", + "▁многочисле нные", + "▁Не у", + "ем ую", + "е мую", + "▁вели коле", + "▁велико ле", + "▁велик оле", + "▁геро ев", + "ль ти", + "льт и", + "▁з оны", + "▁зо ны", + "▁зон ы", + "▁в чера", + "а мерикан", + "зо ра", + "зор а", + "▁От вет", + "▁Отве т", + "▁под ходя", + "▁подход я", + "▁ква рта", + "▁квар та", + "air s", + "▁пере шёл", + "▁дина сти", + "ст ет", + "сте т", + "с тет", + "▁При чем", + "▁соба ки", + "▁собак и", + "ре нии", + "ча ла", + "чал а", + "ч ала", + "▁c ivil", + "▁st ates", + "▁state s", + "▁stat es", + "▁inst ead", + "▁па у", + "го да", + "год а", + "г ода", + "▁a ction", + "▁ac tion", + "▁act ion", + "▁ action", + "if t", + "i ft", + "▁Ж ен", + "▁Же н", + "▁по терпе", + "▁потер пе", + "▁b oard", + "▁bo ard", + "▁ board", + "▁аль терна", + "▁Ма рии", + "▁Мари и", + "▁о круг", + "▁ок руг", + "▁окру г", + "ве те", + "вет е", + "в ете", + "▁рели гии", + "▁религи и", + "во ды", + "вод ы", + "▁к риста", + "▁кри ста", + "▁за р", + "▁з ар", + "▁ зар", + "▁п лана", + "▁пла на", + "▁план а", + "би и", + "▁Ж ан", + "▁Жа н", + "ще нный", + "щен ный", + "▁Ин тере", + "▁Интер е", + "▁Инте ре", + "▁благо род", + "▁бла город", + "на циона", + "▁ви зи", + "▁вос хи", + "ре ний", + "та ла", + "тал а", + "т ала", + "▁мини мум", + "▁миниму м", + "stit ute", + "le b", + "l eb", + "al ed", + "ale d", + "a led", + "▁И вана", + "▁Ива на", + "▁Иван а", + "▁Ив ана", + "Д Р", + "▁crit ic", + "ak er", + "ake r", + "a ker", + "си й", + "▁успе л", + "▁ус пел", + "сле ду", + "след у", + "▁конечно м", + "▁коне чном", + "де мокра", + "▁М ек", + "▁Ме к", + "ин г", + "и нг", + "▁сред ство", + "▁средств о", + "▁reg ular", + "vin g", + "vi ng", + "v ing", + "▁З оло", + "▁Зо ло", + "▁ Золо", + "▁ва ше", + "▁ваш е", + "▁рабо тали", + "▁работа ли", + "▁работ али", + "▁работал и", + "С у", + "ф т", + "▁l o", + "▁ lo", + "▁Вме сто", + "▁Д ума", + "▁Ду ма", + "▁В я", + "▁объек ты", + "▁объект ы", + "▁Д ер", + "▁Де р", + "▁по рой", + "▁пор ой", + "▁поро й", + "▁п обу", + "▁по бу", + "▁подраз деления", + "▁подразделе ния", + "▁незна чи", + "▁терро ри", + "тель ству", + "тельств у", + "нк у", + "н ку", + "▁prov ide", + "▁д емо", + "▁де мо", + "▁К рем", + "▁Кре м", + "sy ch", + "▁В ну", + "▁Коро лев", + "▁мо тива", + "▁мотив а", + "▁occ ur", + "▁изме нение", + "▁твер до", + "m b", + "▁П ан", + "▁Па н", + "▁Кон ститу", + "▁кон центра", + "▁об щий", + "▁общи й", + "▁w est", + "▁we st", + "▁ west", + "▁отвер сти", + "▁бу дь", + "▁буд ь", + "▁ будь", + "ти ческими", + "тически ми", + "тическим и", + "▁мо ди", + "▁l ab", + "▁la b", + "▁h it", + "▁Х ан", + "▁Ха н", + "ok e", + "o ke", + "▁поль зоваться", + "▁пользова ться", + "▁пунк тов", + "▁пункт ов", + "ту га", + "▁fin ished", + "▁finish ed", + "▁p ers", + "▁per s", + "хи и", + "▁c ut", + "▁патри ар", + "▁O ther", + "▁зако нов", + "▁закон ов", + "▁законо в", + "▁зак онов", + "▁г ран", + "▁гра н", + "▁гр ан", + "▁ гран", + "▁со юза", + "▁союз а", + "▁сою за", + "▁e ast", + "▁eas t", + "▁От ец", + "▁Оте ц", + "▁гу мани", + "if f", + "i ff", + "▁T hat", + "▁Th at", + "▁теа тре", + "▁театр е", + "зиди ума", + "ще нных", + "щен ных", + "▁вол ны", + "▁волн ы", + "▁В у", + "▁ac com", + "▁acc om", + "▁Й о", + "▁Ва лен", + "▁Вале н", + "▁ко да", + "▁к ода", + "▁код а", + "▁add ed", + "▁на всегда", + "▁me an", + "до вых", + "дов ых", + "▁способ ны", + "▁sub sequ", + "▁subs equ", + "▁te levision", + "▁А ф", + "k a", + "▁С С", + "▁ СС", + "▁при бе", + "▁вопро су", + "▁вопрос у", + "▁поз дно", + "▁позд но", + "▁на пада", + "▁напа да", + "ou l", + "o ul", + "▁де парта", + "▁по ход", + "▁похо д", + "▁пох од", + "▁До сто", + "il es", + "ile s", + "i les", + "▁мето ди", + "▁метод и", + "▁n ec", + "▁ne c", + "▁с тав", + "▁ст ав", + "▁ста в", + "▁ став", + "ми рал", + "мир ал", + "мира л", + "тка ми", + "ткам и", + "т ками", + "▁al ready", + "▁ма ма", + "▁нем цы", + "▁по сти", + "▁пос ти", + "▁пост и", + "▁ пости", + "нача ле", + "▁ри с", + "▁р ис", + "▁ рис", + "▁б оло", + "▁бо ло", + "▁бол о", + "▁чув стви", + "▁чувств и", + "▁Со юз", + "▁Сою з", + "▁ Союз", + "▁комплек са", + "▁комплекс а", + "▁S en", + "▁Se n", + "ми ли", + "мил и", + "м или", + "▁ви нов", + "▁вино в", + "▁вин ов", + "▁кора бли", + "шь ся", + "▁sp ace", + "▁Ле они", + "▁Леон и", + "▁Лео ни", + "▁st re", + "▁str e", + "▁ги б", + "▁ гиб", + "▁В не", + "▁Пра во", + "▁D em", + "▁De m", + "▁По зд", + "▁Поз д", + "▁Фин ля", + "▁п обы", + "▁по бы", + "Г Б", + "▁m ar", + "▁ mar", + "ь те", + "▁воск рес", + "▁воскре с", + "жду ю", + "жд ую", + "ж дую", + "▁ры б", + "те нт", + "тен т", + "т ент", + "▁p arent", + "▁par ent", + "▁c ertain", + "▁cert ain", + "▁Л ан", + "▁Ла н", + "▁взаимодей ствия", + "▁высо ты", + "▁продук ты", + "▁продукт ы", + "Г О", + "▁Вы с", + "▁ре аги", + "▁реа ги", + "▁вы бора", + "▁выбо ра", + "▁выбор а", + "ска ми", + "с ками", + "▁ад вока", + "▁ask ed", + "▁и ные", + "▁ку пить", + "▁куп ить", + "▁вы жи", + "▁r ights", + "▁right s", + "▁А мерикан", + "▁Амери кан", + "▁Америка н", + "▁про мы", + "▁наз ван", + "▁назва н", + "▁исполь зует", + "▁использу ет", + "▁и мея", + "▁име я", + "▁уров нем", + "▁уровне м", + "▁у казывает", + "▁указыва ет", + "▁ука зывает", + "▁бомбарди ров", + "pecial ly", + "те льны", + "тель ны", + "▁авто ров", + "▁ав торов", + "▁автор ов", + "▁и ско", + "▁ис ко", + "▁иск о", + "▁f ig", + "про вод", + "пе в", + "п ев", + "ке та", + "кет а", + "ан и", + "а ни", + "▁c lear", + "▁cl ear", + "▁cle ar", + "▁вся ком", + "▁Х ристо", + "▁Хри сто", + "▁о бру", + "▁об ру", + "т т", + "▁де ше", + "с не", + "▁вра же", + "▁t old", + "▁to ld", + "is l", + "i sl", + "▁поя вления", + "▁H ist", + "▁His t", + "▁Wash ington", + "Х о", + "▁поэ зии", + "▁М ед", + "▁Ме д", + "▁американ ской", + "▁америка нской", + "▁О кон", + "▁Ок он", + "▁вто рое", + "▁втор ое", + "▁второ е", + "▁пло ско", + "▁во ро", + "▁вор о", + "▁ воро", + "▁обще ственных", + "▁обществе нных", + "щи йся", + "щий ся", + "▁та мо", + "▁там о", + "▁Мо и", + "▁Japan ese", + "▁об щения", + "▁обще ния", + "▁призна ть", + "▁экономи ческой", + "▁Г ос", + "▁Го с", + "▁к летки", + "▁кле тки", + "▁клет ки", + "▁полу чать", + "▁получа ть", + "▁получат ь", + "▁мо дерни", + "▁allow ed", + "ти тся", + "тит ся", + "т ится", + "▁серь ёз", + "сте пен", + "степ ен", + "▁M ark", + "▁Mar k", + "у го", + "▁it self", + "▁its elf", + "u x", + "▁пе сен", + "▁пес ен", + "▁б лок", + "▁бло к", + "st on", + "s ton", + "▁Ча сть", + "▁ли цен", + "▁лиц ен", + "▁лице н", + "▁не раз", + "▁нер аз", + "▁нера з", + "▁Ч лен", + "▁су ток", + "з ву", + "▁необходи мые", + "▁необходимы е", + "um e", + "u me", + "▁пла ны", + "▁план ы", + "▁play ing", + "▁состоя лась", + "▁состояла сь", + "▁поли тика", + "▁полити ка", + "▁политик а", + "▁ш ка", + "▁ шка", + "бе к", + "б ек", + "▁по ла", + "▁пол а", + "un k", + "▁коми сса", + "▁Н ем", + "▁Не м", + "▁Cent er", + "че нное", + "чен ное", + "ченно е", + "ме та", + "мет а", + "ёл ок", + "ё лок", + "▁cons ist", + "▁рас чет", + "▁расче т", + "▁Ни ко", + "▁Ник о", + "ad es", + "ade s", + "a des", + "чи ны", + "чин ы", + "ч ины", + "▁мо им", + "▁мои м", + "ве дена", + "веде на", + "вед ена", + "веден а", + "▁с ъе", + "▁съ е", + "▁моло дё", + "▁молод ё", + "▁за ли", + "▁з али", + "▁зал и", + "▁ зали", + "лу м", + "л ум", + "▁мя со", + "▁мяс о", + "ль ше", + "▁до кла", + "▁док ла", + "▁бизнес а", + "▁бизне са", + "▁Се веро", + "▁Север о", + "▁на ли", + "▁н али", + "▁ нали", + "▁поя вляются", + "▁появля ются", + "▁out side", + "▁relations hip", + "A M", + "▁мероприя тия", + "▁Can ada", + "▁Canad a", + "▁им пуль", + "▁титу л", + "▁des igned", + "▁design ed", + "▁Ваши нг", + "▁Ваш инг", + "▁r ange", + "▁ran ge", + "▁rang e", + "▁ range", + "s w", + "▁не жели", + "osp ital", + "▁D on", + "▁Do n", + "▁ Don", + "▁Ch inese", + "ми ть", + "мит ь", + "м ить", + "▁во зму", + "▁воз му", + "if y", + "▁се зон", + "▁сезо н", + "па ли", + "пал и", + "п али", + "▁студен тов", + "▁студент ов", + "ч на", + "де нии", + "▁а таки", + "▁ата ки", + "▁атак и", + "П у", + "сла ва", + "слав а", + "с лава", + "ж ского", + "▁A lex", + "▁Al ex", + "▁кра е", + "▁средства ми", + "▁d aughter", + "ate g", + "▁F irst", + "▁M et", + "▁Me t", + "▁Пред по", + "▁r an", + "▁ra n", + "▁ ran", + "▁свя зана", + "▁связа на", + "▁связан а", + "▁связ ана", + "▁вер сия", + "▁верси я", + "ри ях", + "рия х", + "▁позво ляют", + "▁позволя ют", + "▁внеза пно", + "▁внезап но", + "▁tra vel", + "▁trav el", + "▁сим пто", + "▁г але", + "▁га ле", + "▁гал е", + "oc r", + "ТА Р", + "Т АР", + "▁ма сте", + "гра мма", + "грам ма", + "грамм а", + "▁Пу шкина", + "▁Пушки на", + "▁Пушкин а", + "▁Associ ation", + "▁выбо ров", + "▁выбор ов", + "▁то чку", + "▁точ ку", + "▁эк за", + "ве рен", + "вер ен", + "вере н", + "в ерен", + "▁с он", + "▁со н", + "▁ сон", + "al ls", + "all s", + "К и", + "▁В сё", + "мм а", + "м ма", + "▁жи вых", + "▁жив ых", + "▁пос ёлок", + "▁посёл ок", + "ъе м", + "ъ ем", + "▁искус ств", + "ви ду", + "вид у", + "ющая ся", + "ю щаяся", + "▁отказа ться", + "▁Ш вей", + "▁Шве й", + "▁st yle", + "▁гра ду", + "▁развед ки", + "▁разве дки", + "▁сло жности", + "▁сложно сти", + "▁про бу", + "▁пр обу", + "▁проб у", + "▁con v", + "▁Ang el", + "▁убий ства", + "▁ис следователь", + "▁исследова тель", + "▁ исследователь", + "▁ю ге", + "▁юг е", + "▁Би бли", + "пле к", + "п лек", + "▁с чёт", + "▁счё т", + "▁предме ты", + "▁предмет ы", + "▁би ографи", + "▁био графи", + "▁ биографи", + "▁командова нием", + "▁командование м", + "▁m iles", + "▁mil es", + "▁mi les", + "▁mile s", + "В се", + "▁тра ги", + "▁тр аги", + "▁бе ссо", + "▁бес со", + "▁бесс о", + "▁понима ю", + "▁Ор гани", + "▁бума ги", + "▁бумаг и", + "▁us ually", + "▁ра зво", + "▁раз во", + "б л", + "ut ive", + "▁Вер х", + "pl es", + "ple s", + "p les", + "▁ка мер", + "▁кам ер", + "▁каме р", + "▁re ached", + "▁reach ed", + "▁пти ц", + "O R", + "бе й", + "б ей", + "I S", + "▁Ch ampionship", + "▁к рей", + "▁кре й", + "▁кр ей", + "ти вов", + "тив ов", + "тиво в", + "▁М ВД", + "▁вой ско", + "▁войск о", + "▁ре бя", + "▁реб я", + "▁ору дий", + "▁Ра нее", + "▁ Ранее", + "▁ги гант", + "▁гиган т", + "▁распо ложены", + "▁расположен ы", + "▁расположе ны", + "▁гражда нской", + "▁граждан ской", + "▁б лока", + "▁бло ка", + "▁блок а", + "um p", + "u mp", + "▁по гло", + "ху д", + "х уд", + "▁за муж", + "▁заму ж", + "же к", + "ж ек", + "▁О дно", + "▁Од но", + "▁В ин", + "▁Ви н", + "К С", + "▁б ен", + "▁бе н", + "▁ бен", + "▁ти пов", + "▁тип ов", + "▁типо в", + "зы в", + "ши те", + "шит е", + "▁count ries", + "пи с", + "п ис", + "▁l iter", + "▁lit er", + "▁в ступил", + "▁вступи л", + "▁вступ ил", + "М А", + "ля н", + "л ян", + "▁совер шил", + "▁соверши л", + "ще нные", + "щен ные", + "▁из дания", + "▁изда ния", + "▁В первые", + "▁конф ликт", + "▁конфлик т", + "▁прове рки", + "▁провер ки", + "то ре", + "тор е", + "ц кой", + "▁основ ным", + "▁осно вным", + "▁go al", + "est ival", + "▁показа ли", + "▁пока зали", + "▁показал и", + "▁о во", + "▁ов о", + "▁не от", + "▁нео т", + "па л", + "п ал", + "▁тер мин", + "▁терми н", + "▁в оле", + "▁во ле", + "▁вол е", + "▁вра ч", + "▁Ни ка", + "▁Ник а", + "▁B ra", + "▁Br a", + "▁c reat", + "▁cre at", + "▁bet ter", + "▁в езде", + "▁вез де", + "▁б ер", + "▁бе р", + "▁ бер", + "▁систе мой", + "▁сист емой", + "▁систем ой", + "▁school s", + "▁ре б", + "▁ми фо", + "▁миф о", + "▁неме цкий", + "▁немец кий", + "шка ми", + "шкам и", + "ш ками", + "▁b i", + "▁полков ник", + "▁ полковник", + "▁m ount", + "▁да вать", + "▁извест ны", + "▁Par is", + "ust om", + "▁о гра", + "▁ог ра", + "▁с х", + "▁при был", + "▁прибы л", + "▁за о", + "▁в ход", + "▁Ф он", + "▁Фо н", + "▁ Фон", + "▁эле мент", + "▁зе рка", + "▁зер ка", + "▁монасты ря", + "▁ве тер", + "▁вет ер", + "▁жур нал", + "▁журна л", + "▁о хла", + "▁ох ла", + "▁Ре зульта", + "▁ба нка", + "▁бан ка", + "▁банк а", + "▁ банка", + "▁T om", + "▁To m", + "гу ра", + "гур а", + "г ура", + "ус а", + "у са", + "▁про шел", + "▁проше л", + "id s", + "ль да", + "льд а", + "▁за пись", + "▁запи сь", + "▁ба лан", + "▁бал ан", + "▁ балан", + "▁с цен", + "▁сце н", + "▁Christ ian", + "Л О", + "im ate", + "ima te", + "тив ную", + "рк и", + "р ки", + "фи на", + "фин а", + "ф ина", + "▁груп пой", + "▁групп ой", + "▁группо й", + "▁та ин", + "ce ption", + "cept ion", + "▁M ex", + "▁Me x", + "▁ди ссер", + "▁дис сер", + "▁se ven", + "ва и", + "▁E ar", + "▁су щества", + "▁суще ства", + "▁существ а", + "со т", + "с от", + "та ция", + "▁М ой", + "▁Мо й", + "▁m ass", + "▁У краин", + "▁Укра ин", + "▁Украи н", + "al led", + "all ed", + "alle d", + "ше нных", + "шен ных", + "▁при ви", + "▁прив и", + "▁сопроти вление", + "че шь", + "ч ешь", + "з ни", + "▁g ive", + "▁услу ги", + "▁услуг и", + "ib ility", + "да ют", + "▁струк тура", + "▁структур а", + "▁R oad", + "▁Ro ad", + "▁но вом", + "▁ново м", + "▁нов ом", + "▁го лова", + "▁голо ва", + "▁голов а", + "▁недоста то", + "▁поги бли", + "▁погиб ли", + "▁про сти", + "▁прос ти", + "▁прост и", + "▁су тки", + "▁air craft", + "▁огром ное", + "▁вне д", + "▁международ ного", + "ти рован", + "тирова н", + "▁ве ща", + "▁ веща", + "▁бо ги", + "▁бог и", + "th ing", + "t hing", + "▁парла мент", + "▁предлага ет", + "▁пыта лись", + "фи кси", + "фик си", + "▁обще ственной", + "▁обществе нной", + "▁общественно й", + "▁М аль", + "▁Ма ль", + "▁за ключения", + "▁заклю чения", + "▁сбор ную", + "▁сбо рную", + "ли ться", + "лить ся", + "▁про ф", + "шен ко", + "ш енко", + "▁корре спонден", + "▁ корреспонден", + "▁Char les", + "▁Charl es", + "▁тер мина", + "▁терми на", + "▁термин а", + "▁ле жа", + "▁ лежа", + "▁пу сто", + "▁вели кий", + "то рия", + "тори я", + "▁настоя щий", + "▁пред метов", + "▁предме тов", + "▁предмет ов", + "▁с талки", + "▁ста лки", + "▁стал ки", + "▁Ж из", + "▁Жи з", + "▁ Жиз", + "▁стан ция", + "▁ станция", + "ai t", + "a it", + "▁И ра", + "▁Ир а", + "ск ры", + "с кры", + "▁секре тарь", + "▁секрета рь", + "▁секрет арь", + "▁секретар ь", + "▁ секретарь", + "▁L aw", + "▁La w", + "че ству", + "▁ar my", + "▁arm y", + "▁reg ard", + "▁свобо дно", + "▁свобод но", + "▁посо ль", + "▁посол ь", + "▁ата ку", + "▁атак у", + "▁C ong", + "▁Con g", + "▁Co ng", + "▁З емле", + "▁Зем ле", + "▁тран спорта", + "▁транспо рта", + "▁транс порта", + "▁транспорт а", + "▁транспор та", + "ge n", + "g en", + "▁« \"", + "▁conc ern", + "▁жи в", + "▁ж ив", + "▁ жив", + "▁В С", + "▁ ВС", + "ci ng", + "c ing", + "цион ную", + "цио нную", + "сев до", + "ту и", + "▁по две", + "▁под ве", + "▁T V", + "▁ TV", + "▁на тура", + "ut ions", + "ution s", + "▁состоя лся", + "▁состоял ся", + "▁бо г", + "пле ния", + "п ления", + "▁непо ня", + "▁пре обла", + "се ние", + "▁имуще ства", + "ё в", + "по ля", + "пол я", + "av al", + "ava l", + "a val", + "▁су мел", + "▁суме л", + "тр ы", + "т ры", + "▁ра дика", + "▁ради ка", + "▁инстру мента", + "▁инструмент а", + "▁s us", + "▁su s", + "▁да вление", + "▁дав ление", + "fic ult", + "▁st age", + "▁А рхи", + "▁Ар хи", + "▁grad u", + "▁gra du", + "▁з оне", + "▁зо не", + "▁зон е", + "▁рас тения", + "▁расте ния", + "ви м", + "в им", + "▁al ways", + "▁с ке", + "▁ск е", + "▁ ске", + "ha n", + "h an", + "▁бю дже", + "▁ш вед", + "▁шве д", + "▁Rober t", + "▁Rob ert", + "▁Ro bert", + "ip p", + "i pp", + "▁принци пе", + "▁принцип е", + "сти ческий", + "стически й", + "с тический", + "▁ор ден", + "▁орде н", + "ше р", + "ш ер", + "so ft", + "▁сооб ща", + "▁ней тра", + "▁в прочем", + "▁чув ств", + "C A", + "▁дела ли", + "▁дел али", + "▁делал и", + "цвет а", + "ц вета", + "▁I nt", + "▁In t", + "▁ Int", + "▁раз говари", + "▁ма сси", + "▁масс и", + "▁расска зать", + "▁рассказа ть", + "▁разре шения", + "ri an", + "ria n", + "r ian", + "▁ба зо", + "▁баз о", + "И з", + "▁за бил", + "▁заби л", + "▁заб ил", + "▁Основ ные", + "▁G reat", + "▁Gre at", + "▁скоро стью", + "▁скорость ю", + "▁M er", + "▁Me r", + "▁В ой", + "▁Во й", + "▁Боль шой", + "▁Большо й", + "▁обу чение", + "ir es", + "ire s", + "i res", + "▁T imes", + "▁Time s", + "▁Tim es", + "▁у тро", + "▁ут ро", + "гно сти", + "г ности", + "▁голо са", + "▁голос а", + "▁гол оса", + "▁М ю", + "▁j ob", + "▁jo b", + "чне е", + "ч нее", + "▁хва тает", + "▁един ственным", + "▁а ван", + "▁ав ан", + "▁ава н", + "▁национа ли", + "▁на ци", + "▁сом не", + "ри м", + "р им", + "▁requ ired", + "▁require d", + "▁п исто", + "▁пи сто", + "▁со дей", + "▁З ак", + "▁За к", + "▁e y", + "▁ ey", + "▁об мен", + "жа ются", + "жают ся", + "жаю тся", + "▁ста тья", + "▁стать я", + "▁S o", + "▁repl aced", + "▁replace d", + "▁P lay", + "▁Pl ay", + "▁про шед", + "▁прош ед", + "▁проше д", + "! )", + "▁при держи", + "▁Д ень", + "▁Де нь", + "▁Ден ь", + "▁сек унд", + "▁секу нд", + "▁секун д", + "▁защи ту", + "▁защит у", + "▁от ва", + "ню дь", + "▁о станов", + "▁оста нов", + "▁остано в", + "фика ция", + "▁собе сед", + "▁собесе д", + "▁хо да", + "▁х ода", + "▁ход а", + "▁ хода", + "▁фи кси", + "▁ фикси", + "▁пи щи", + "▁M icro", + "▁Mic ro", + "▁ро бо", + "▁р обо", + "▁б ре", + "▁ бре", + "▁обрабо тки", + "▁на пом", + "▁напо м", + "▁Од ним", + "▁Одни м", + "▁за жи", + "▁до пусти", + "▁допу сти", + "К О", + "▁Thom as", + "▁утвер ждает", + "▁утвержда ет", + "фе к", + "ф ек", + "▁гру ди", + "▁ли чность", + "▁лично сть", + "▁за ку", + "▁зак у", + "▁меха низм", + "▁механи зм", + "до вого", + "дово го", + "▁S al", + "▁Sa l", + "▁в од", + "▁во д", + "▁ вод", + "▁о за", + "▁оз а", + "▁темпера туры", + "▁температур ы", + "▁И горь", + "▁вы брать", + "▁выбра ть", + "▁f ounded", + "▁found ed", + "▁про шла", + "▁прош ла", + "▁под ряд", + "▁бу ль", + "▁у са", + "▁ус а", + "▁ уса", + "▁ска жем", + "▁pl ann", + "▁plan n", + "▁invest ig", + "▁на ве", + "▁нав е", + "▁a chie", + "▁сто яли", + "▁стоя ли", + "▁стоял и", + "▁аль бо", + "it es", + "ite s", + "i tes", + "▁ста рых", + "▁стар ых", + "И Й", + "▁ш ум", + "▁шу м", + "▁оста вался", + "чи вость", + "чиво сть", + "▁m ove", + "▁mov e", + "▁пра вой", + "▁право й", + "▁прав ой", + "И А", + "▁t ax", + "az ine", + "▁ракет ы", + "▁рак еты", + "▁раке ты", + "▁кон ц", + "▁цивили зации", + "▁w ind", + "▁win d", + "▁И оси", + "▁Ио си", + "▁occ up", + "▁с мени", + "▁сме ни", + "il i", + "i li", + "▁спа сти", + "▁спас ти", + "го вой", + "гов ой", + "гово й", + "▁опреде ление", + "▁пись ме", + "де на", + "ден а", + "д ена", + ": :", + "te xt", + "t ext", + "не нным", + "нен ным", + "▁куль тура", + "▁культур а", + "▁культ ура", + "▁экспеди ции", + "▁М ир", + "▁Ми р", + "▁ Мир", + "▁Ад министра", + "▁рассматри вать", + "▁dif ficult", + "▁кре пости", + "▁крепо сти", + "се ль", + "сел ь", + "мо ра", + "мор а", + "▁me as", + "▁С ере", + "▁Се ре", + "▁Сер е", + "▁sit u", + "▁це нности", + "▁цен ности", + "▁ценно сти", + "▁гра ницу", + "▁грани цу", + "▁границ у", + "▁ки не", + "▁кин е", + "▁ кине", + "▁ab ove", + "▁авто ном", + "▁ав тоном", + "▁автоно м", + "▁зар пла", + "▁feature d", + "▁feat ured", + "▁кур са", + "▁курс а", + "▁расс чита", + "▁Wh ite", + "▁Whit e", + "▁Ж а", + "▁ Жа", + "▁полу чают", + "▁получа ют", + "▁сто летия", + "▁столе тия", + "ни кова", + "ников а", + "▁T ex", + "▁Te x", + "▁мыш ления", + "▁ра не", + "▁р ане", + "▁ран е", + "ющее ся", + "ю щееся", + "▁хи ру", + "вь те", + "в ьте", + "▁выра жения", + "▁се рий", + "▁f ood", + "▁U K", + "▁се вере", + "▁север е", + "▁не пло", + "▁по страда", + "▁постра да", + "▁га зета", + "▁газе та", + "▁газет а", + "▁p red", + "▁pre d", + "▁pr ed", + "чник а", + "чни ка", + "ч ника", + "▁охра ны", + "▁охран ы", + "не к", + "н ек", + "▁со ль", + "▁B ay", + "▁Ba y", + "▁де кора", + "▁при гово", + "▁приго во", + "▁по жела", + "▁дет ьми", + "▁опас ность", + "▁опасно сть", + "▁собра ния", + "▁к али", + "▁ка ли", + "▁ кали", + "би я", + "це ва", + "цев а", + "ц ева", + "ho od", + "h ood", + "▁жела ния", + "▁американ ского", + "▁америка нского", + "▁на стой", + "▁нас той", + "▁насто й", + "▁музе я", + "▁учи тель", + "▁э тно", + "▁ок но", + "▁к ано", + "▁ка но", + "▁кан о", + "▁сред у", + "▁сре ду", + "▁К ру", + "ov iet", + "▁Ш ар", + "▁Ша р", + "▁по ток", + "▁пото к", + "( \"", + "ut er", + "ute r", + "u ter", + "▁центра льной", + "▁центр альной", + "ис по", + "и спо", + "▁возника ют", + "▁зве зд", + "▁звез д", + "▁зв езд", + "▁подоб ного", + "▁подобно го", + "▁на дея", + "▁наде я", + "▁wh ose", + "▁who se", + "▁ми ром", + "▁мир ом", + "▁миро м", + "▁рас стояние", + "▁расстоя ние", + "▁t aking", + "▁ре дак", + "▁реда к", + "▁ред ак", + "▁упра зд", + "▁служ бе", + "▁служб е", + "▁ службе", + "▁х ре", + "▁ав стрий", + "чи м", + "ч им", + "▁h ere", + "▁he re", + "▁her e", + "▁ here", + "▁о бер", + "▁об ер", + "▁обе р", + "▁T rans", + "▁Tr ans", + "▁Tra ns", + "▁у рав", + "▁ура в", + "▁пер вен", + "g r", + "бо е", + "б ое", + "▁я ро", + "▁яр о", + "л д", + "▁с ена", + "▁се на", + "▁сен а", + "▁ сена", + "▁хо ду", + "▁ход у", + "▁ ходу", + "▁О че", + "▁im m", + "▁i mm", + "со вет", + "сов ет", + "▁мат ч", + "▁b ig", + "▁bi g", + "▁intro duced", + "▁за явление", + "▁зая вление", + "ля ли", + "лял и", + "л яли", + "▁Гре ции", + "▁обра тился", + "▁обратил ся", + "▁ра сту", + "▁рас ту", + "▁раст у", + "▁cont in", + "▁треть его", + "▁третье го", + "▁от кров", + "▁откро в", + "▁отк ров", + "▁G r", + "bl ock", + "b lock", + "▁direct or", + "▁dire ctor", + "▁ви зу", + "▁com pan", + "▁comp an", + "▁и ное", + "▁ин ое", + "▁ино е", + "▁комна ту", + "▁mov ement", + "▁move ment", + "вшую ся", + "▁от деление", + "▁отде ление", + "▁отделе ние", + "▁f uture", + "▁язы ком", + "▁язык ом", + "▁не закон", + "▁неза кон", + "ко вать", + "кова ть", + "ля м", + "л ям", + "ву т", + "в ут", + "▁диа лек", + "▁Пер вое", + "▁Перво е", + "▁превос ход", + "ло на", + "лон а", + "л она", + "▁Совет ской", + "▁Сове тской", + "лла нд", + "л ланд", + "▁сто ят", + "▁стоя т", + "ща ясь", + "щая сь", + "u z", + "та рь", + "тар ь", + "т арь", + "▁сим па", + "пи я", + "ac tion", + "act ion", + "a ction", + "▁стои мости", + "▁стоимо сти", + "ck s", + "c ks", + "▁судь бы", + "▁ин дей", + "▁инде й", + "▁испыта ния", + "де тся", + "дет ся", + "д ется", + "ke y", + "k ey", + "▁сто рона", + "▁сторо на", + "▁сторон а", + "▁у йти", + "▁уй ти", + "че нная", + "чен ная", + "ж ской", + "▁ф лот", + "▁фло т", + "▁Гра жда", + "▁dest roy", + "bur g", + "b urg", + "К ра", + "▁хоро ший", + "▁иде а", + "▁мо то", + "смотри м", + "смотр им", + "▁наличи и", + "▁помо жет", + "▁Александ рович", + "хо ждение", + "ве дением", + "веде нием", + "ведение м", + "▁b ur", + "▁bu r", + "▁ bur", + "▁инфра струк", + "▁по говори", + "▁пого вори", + "▁у во", + "▁Пи са", + "▁фото графии", + "▁фотографи и", + "▁to wards", + "▁toward s", + "▁пере хода", + "▁переход а", + "▁g irl", + "▁ис следование", + "▁исследова ние", + "▁стрем ление", + "но сят", + "нос ят", + "нося т", + "▁опреде ляет", + "▁определя ет", + "▁сто лицы", + "▁столи цы", + "▁при ехал", + "▁прие хал", + "▁приеха л", + "ст ор", + "сто р", + "с тор", + "ar ily", + "ari ly", + "▁Кра сного", + "▁Красно го", + "▁S ince", + "▁Si nce", + "▁у ра", + "▁ ура", + "▁вы держа", + "▁Ри ча", + "▁б оле", + "▁бо ле", + "▁бол е", + "▁Лон доне", + "▁Лондон е", + "▁при способ", + "▁приспо соб", + "▁приспосо б", + "▁ве щь", + "▁p urch", + "▁pur ch", + "▁К оло", + "▁Ко ло", + "▁Кол о", + "▁sh ows", + "▁show s", + "▁выз вать", + "▁вызва ть", + "▁разме ре", + "▁размер е", + "▁здоров ье", + "▁дру же", + "▁друж е", + "▁про ще", + "io s", + "i os", + "▁о пе", + "▁оп е", + "gr ound", + "g round", + "▁непре рыв", + "▁понима ет", + "▁cour se", + "▁es pecially", + "▁large st", + "▁larg est", + "▁ста тью", + "▁стать ю", + "▁защи т", + "▁м нения", + "▁мне ния", + "то вого", + "тово го", + "▁не су", + "▁нес у", + "▁d en", + "▁de n", + "▁ den", + "▁социаль ного", + "▁социально го", + "▁соци ального", + "▁по сыла", + "▁посы ла", + "▁на ряду", + "▁наря ду", + "▁наряд у", + "or der", + "ord er", + "▁опреде лён", + "▁определё н", + "▁те п", + "▁встре че", + "▁встреч е", + "▁В М", + "▁ ВМ", + "▁п они", + "▁по ни", + "▁пон и", + "▁не вер", + "▁неве р", + "▁нев ер", + "▁ба за", + "▁баз а", + "▁Та кая", + "▁Так ая", + "▁благо прият", + "▁обра за", + "▁образ а", + "▁каждо е", + "▁настоя щего", + "▁С ю", + "си д", + "с ид", + "по тре", + "пот ре", + "▁с де", + "a o", + "▁ин фек", + "▁инф ек", + "▁и ного", + "▁ино го", + "▁эта п", + "▁b lock", + "▁bl ock", + "▁ block", + "▁выпол нить", + "▁созда ет", + "▁соз дает", + "▁qu ick", + "пе ти", + "пет и", + "п ети", + "▁ра вен", + "▁рав ен", + "▁en ough", + "▁Д ом", + "▁До м", + "ра иль", + "▁значи тельной", + "▁значительно й", + "▁play ers", + "▁player s", + "an cial", + "anc ial", + "▁консу льта", + "▁консуль та", + "▁случа и", + "▁шта та", + "▁штат а", + "▁сель совета", + "▁сельсо вета", + "▁сельсовет а", + "▁че рно", + "▁чер но", + "ри ла", + "рил а", + "р ила", + "▁И гра", + "▁Бо гу", + "▁Бог у", + "▁следу ющих", + "▁M ad", + "▁Ma d", + "▁сце ны", + "▁сцен ы", + "уго ль", + "у голь", + "▁каж дым", + "▁кажды м", + "▁Кита е", + "ешь ся", + "е шься", + "▁с тиль", + "▁ст иль", + "▁сти ль", + "▁b attle", + "▁batt le", + "шн е", + "ш не", + "▁pl aced", + "▁place d", + "▁уве личе", + "▁увели че", + "▁пропа ган", + "▁К ол", + "▁Ко л", + "▁Про из", + "▁обе их", + "ne d", + "n ed", + "▁ак ций", + "ж ник", + "▁writ ing", + "х ло", + "▁ст ремя", + "▁стре мя", + "▁стрем я", + "▁зе мель", + "▁земе ль", + "▁до ход", + "▁гар ни", + "▁к стати", + "▁мусуль ман", + "▁попро сил", + "▁кам пании", + "▁У част", + "▁Уча ст", + "▁ве рно", + "▁вер но", + "du ction", + "duc tion", + "duct ion", + "▁близ ко", + "▁за писы", + "▁запи сы", + "чно му", + "чном у", + "ч ному", + "▁C ath", + "▁Cat h", + "▁Ca th", + "▁p rison", + "▁pr ison", + "▁pri son", + "▁ prison", + "▁го су", + "▁гос у", + "cl us", + "▁op pos", + "П и", + "▁количе стве", + "▁напомина ет", + "но мер", + "ном ер", + "▁k ing", + "▁ king", + "ма ть", + "мат ь", + "ле нная", + "лен ная", + "▁оказа ться", + "▁оказать ся", + "▁памя тник", + "▁памят ник", + "▁бере г", + "arl iam", + "▁му дро", + "▁муд ро", + "ro id", + "r oid", + "▁R ail", + "Ру с", + "Р ус", + "▁специаль ных", + "▁специ альных", + "ко и", + "? ..", + "▁Dep artment", + "▁rad io", + "хи н", + "х ин", + "▁Бу ду", + "▁Буд у", + "ни ческой", + "y a", + "bo ard", + "b oard", + "д зе", + "вля ются", + "вляют ся", + "в ляются", + "од а", + "о да", + "ер уса", + "еру са", + "е руса", + "▁по нимание", + "▁понима ние", + "▁Ру ко", + "▁со ци", + "▁соц и", + "ro wn", + "row n", + "r own", + "▁использова ли", + "▁использовал и", + "си н", + "с ин", + "▁в переди", + "▁впере ди", + "▁вперед и", + "▁де рева", + "▁дере ва", + "▁дерев а", + "▁дер ева", + "▁f ace", + "▁fac e", + "▁fa ce", + "▁ face", + "▁s at", + "г не", + "ло жении", + "ложе нии", + "mer cial", + "▁высо ких", + "▁ис ключа", + "▁исклю ча", + "▁d one", + "▁do ne", + "▁don e", + "▁про чих", + "▁прочи х", + "▁проч их", + "▁Поль ши", + "твор и", + "тво ри", + "т вори", + "ше нные", + "шен ные", + "▁К э", + "▁r ock", + "▁ro ck", + "емо сти", + "е мости", + "▁Михай лович", + "▁заме тить", + "▁замет ить", + "▁по хи", + "▁пох и", + "▁Ра зве", + "▁Раз ве", + "▁по ми", + "▁пом и", + "▁ска жу", + "▁ограни чения", + "se r", + "s er", + "▁Бе ль", + "▁Бел ь", + "но вский", + "нов ский", + "▁то бой", + "ub e", + "u be", + "▁Ну жно", + "ic ated", + "ica ted", + "icate d", + "▁горизо нта", + "ка бу", + "▁T w", + "▁у чения", + "▁уче ния", + "лё т", + "л ёт", + "▁созда на", + "▁создан а", + "▁соз дана", + "ens ion", + "▁поста вил", + "▁постав ил", + "▁d raw", + "▁dr aw", + "▁dra w", + "▁фунда мента", + "▁баталь она", + "▁батальон а", + "▁Дру гие", + "▁Со времен", + "▁Сов ремен", + "▁со ч", + "▁s il", + "at re", + "не сла", + "нес ла", + "▁с кла", + "▁ск ла", + "▁Ча сто", + "▁от чая", + "▁Ок тябрь", + "▁на сы", + "▁нас ы", + "▁вы ступ", + "ти ке", + "тик е", + "▁най ден", + "▁найде н", + "y pe", + "▁Л ин", + "▁Ли н", + "▁ро т", + "▁р от", + "▁ рот", + "▁D o", + "▁высо кий", + "ли ли", + "лил и", + "л или", + "▁h or", + "▁fre qu", + "▁fr equ", + "ar ing", + "ari ng", + "a ring", + "▁досто вер", + "▁истори ческих", + "▁исторически х", + "▁О бла", + "▁Об ла", + "▁понима ния", + "▁аб стра", + "ir th", + "irt h", + "▁ка ждую", + "▁каж дую", + "▁лю бое", + "▁любо е", + "▁j ud", + "▁а кции", + "▁ак ции", + "▁отмеча ет", + "▁отме чает", + "ir t", + "ну вшись", + "нув шись", + "▁от нюдь", + "▁не возмо", + "▁невоз мо", + "▁фе стива", + "▁вы ве", + "▁вы са", + "▁выс а", + "an nel", + "ann el", + "▁у чился", + "▁учи лся", + "▁уч ился", + "с па", + "▁пред ложе", + "▁обнаружи л", + "▁обнару жил", + "▁з ла", + "▁ зла", + "▁ду шев", + "▁душе в", + "▁душ ев", + "му р", + "м ур", + "ля ция", + "C l", + "▁да вления", + "▁дав ления", + "▁I r", + "▁сча стье", + "▁счаст ье", + "▁про веря", + "▁прове ря", + "▁провер я", + "та ясь", + "тая сь", + "гр я", + "г ря", + "▁оте че", + "▁ отече", + "▁ва жных", + "▁важ ных", + "▁важны х", + "at ives", + "ative s", + "ati ves", + "▁ре ме", + "▁рем е", + "▁объеди нения", + "юр и", + "ю ри", + "▁обра зе", + "▁образ е", + "▁из дание", + "▁изда ние", + "сти ческая", + "с тическая", + "▁Миха ила", + "▁Михаил а", + "▁Михаи ла", + "▁В з", + "▁H am", + "▁Ha m", + "▁w oman", + "фа н", + "ф ан", + "▁бы вают", + "il ies", + "ili es", + "▁об об", + "▁обо б", + "▁м ною", + "▁мно ю", + "▁регуляр но", + "▁рай онов", + "▁район ов", + "▁о ре", + "▁ор е", + "▁оста ваться", + "▁коман дование", + "▁командова ние", + "▁T ur", + "it ar", + "ita r", + "arliam ent", + "И Я", + "же нным", + "жен ным", + "▁под ходит", + "▁подход ит", + "▁разли чными", + "▁различным и", + "▁до рог", + "▁доро г", + "▁G old", + "▁Go ld", + "▁ги пер", + "▁дере во", + "▁дерев о", + "▁дер ево", + "▁Russ ian", + "▁Russia n", + "▁орга низм", + "▁органи зм", + "▁орган изм", + "▁Со циали", + "▁К ро", + "▁ба нки", + "▁бан ки", + "▁банк и", + "▁в ина", + "▁ви на", + "▁вин а", + "▁ вина", + "▁A ward", + "us e", + "u se", + "пра ши", + "▁R ad", + "▁оста валось", + "▁се стра", + "▁rem ov", + "▁конфлик та", + "▁конфликт а", + "▁Ста ни", + "▁Ст ани", + "▁Стан и", + "▁чи тал", + "▁чита л", + "▁ читал", + "▁V ol", + "▁Е щё", + "▁на чались", + "▁нача лись", + "▁начали сь", + "́ н", + "ней шие", + "▁Те х", + "▁улы б", + "▁ба нк", + "▁бан к", + "▁ банк", + "▁Н ад", + "▁На д", + "А н", + "▁Бело руссии", + "▁Белорус сии", + "ви к", + "▁шо ссе", + "▁слу жеб", + "as ion", + "op er", + "ope r", + "o per", + "▁Хоро шо", + "▁f arm", + "▁far m", + "▁fa rm", + "пе ть", + "пет ь", + "п еть", + "▁вер нуть", + "▁верну ть", + "▁причи нам", + "▁причина м", + "▁причин ам", + "Д А", + "▁В ремя", + "▁Вре мя", + "▁Петербур ге", + "▁Петербург е", + "▁Петер бурге", + "▁ Петербурге", + "▁ка мень", + "▁кам ень", + "▁камен ь", + "▁каме нь", + "▁ве б", + "▁На селение", + "um n", + "ui ld", + "u ild", + "▁кон такт", + "▁контак т", + "▁С пу", + "▁ви дом", + "▁вид ом", + "▁видо м", + "▁филь мов", + "▁фильм ов", + "ре ва", + "рев а", + "р ева", + "▁ла до", + "▁фак ты", + "▁факт ы", + "▁в еры", + "▁ве ры", + "▁вер ы", + "▁согла шения", + "▁луч ший", + "▁выпол нение", + "▁Бо льше", + "▁Боль ше", + "▁деву шки", + "▁с в", + "▁к ван", + "▁ква н", + "▁кв ан", + "▁Fran k", + "▁ва жным", + "▁важ ным", + "▁важны м", + "ibr ary", + "▁за мени", + "▁заме ни", + "ж ке", + "▁занима л", + "▁позво лит", + "▁позволи т", + "▁несом ненно", + "▁Ро берт", + "▁Роб ерт", + "▁Робер т", + "▁W estern", + "▁West ern", + "▁об стре", + "▁С м", + "лю блен", + "люб лен", + "sel ves", + "пу га", + "▁want ed", + "▁оста ются", + "▁за кре", + "▁зак ре", + "▁ле вой", + "▁л евой", + "▁ левой", + "▁them selves", + "▁ad minist", + "▁Ли шь", + "▁клиен тов", + "▁клиент ов", + "▁об ъе", + "▁объ е", + "Л а", + "▁И са", + "▁Ис а", + "▁уче том", + "▁учет ом", + "he m", + "h em", + "▁пре делы", + "▁преде лы", + "▁предел ы", + "ба л", + "б ал", + "▁распростра нение", + "▁рабо то", + "▁работ о", + "сло м", + "сл ом", + "с лом", + "▁beg inning", + "▁begin ning", + "▁диа па", + "▁мат чей", + "▁матче й", + "▁матч ей", + "▁Не обходи", + "з ло", + "▁рабо тала", + "▁работа ла", + "▁работ ала", + "▁работал а", + "ra el", + "r ael", + "▁Министер ства", + "▁Од новременно", + "▁Одно временно", + "▁In ter", + "▁Int er", + "▁стра ха", + "▁страх а", + "▁п рока", + "▁про ка", + "▁з вё", + "▁зв ё", + "▁G reen", + "▁Gr een", + "▁Gre en", + "▁Gree n", + "▁ста рый", + "▁предста влен", + "▁оке ана", + "▁океан а", + "▁океа на", + "id ents", + "ident s", + "▁музы ку", + "▁бо льных", + "▁боль ных", + "▁оконча нии", + "▁нару шение", + "re y", + "r ey", + "▁Василь евич", + "▁Василье вич", + "▁dist rict", + "пр ы", + "п ры", + "А С", + "▁c reate", + "▁cre ate", + "▁creat e", + "▁сотруд ники", + "▁сотрудни ки", + "▁сотрудник и", + "▁двига теля", + "▁свидетель ствует", + "▁свидетельству ет", + "▁Евге ний", + "▁prote ct", + "▁prot ect", + "▁реги оне", + "▁регион е", + "rig ht", + "r ight", + "▁мо де", + "▁ev idence", + "▁fem ale", + "▁m edia", + "▁med ia", + "▁ex pect", + "▁exp ect", + "▁de but", + "▁deb ut", + "▁con nect", + "▁conne ct", + "ir m", + "i rm", + "▁куль туре", + "▁культур е", + "▁культ уре", + "▁вз яли", + "▁взя ли", + "▁взял и", + "слу ши", + "▁продол жать", + "▁продолжа ть", + "▁парла мента", + "▁парламент а", + "▁вы бро", + "ст или", + "сти ли", + "стил и", + "с тили", + "▁Hen ry", + "▁из бра", + "▁не ре", + "▁н ере", + "▁нер е", + "чно стью", + "чность ю", + "ч ностью", + "▁в ар", + "▁ва р", + "▁ вар", + "▁результа том", + "▁результат ом", + "▁Во прос", + "▁v ia", + "▁при мени", + "▁приме ни", + "ше нный", + "шен ный", + "▁на ука", + "▁нау ка", + "▁наук а", + "▁наи менова", + "▁до рого", + "▁доро го", + "▁дорог о", + "▁поли тике", + "▁полити ке", + "▁политик е", + "▁шта т", + "▁шт ат", + "▁зача стую", + "▁Пре зидиума", + "li m", + "l im", + "ст ема", + "сте ма", + "стем а", + "с тема", + "▁по ви", + "▁пов и", + "Ко н", + "К он", + "▁в ходя", + "▁вход я", + "▁дет ям", + "▁свя зей", + "▁связ ей", + "▁pr int", + "▁pri nt", + "▁ print", + "пи ты", + "пит ы", + "ска х", + "с ках", + "М у", + "▁friend s", + "▁ко фе", + "тно му", + "тном у", + "т ному", + "▁Cl ub", + "▁я бло", + "▁ра зы", + "▁раз ы", + "▁за дума", + "▁зад ума", + "▁задум а", + "▁заду ма", + "overn or", + "▁физи ки", + "▁физик и", + "ум е", + "у ме", + "▁ти по", + "▁тип о", + "но вича", + "нови ча", + "нович а", + "▁pl ant", + "▁plan t", + "▁Is land", + "▁по явление", + "▁поя вление", + "▁из начально", + "▁изнача льно", + "▁болез нь", + "▁боле знь", + "▁функ ция", + "▁ди фф", + "▁part s", + "▁par ts", + "▁европей ских", + "▁ве чера", + "▁вече ра", + "▁вечер а", + "▁wh om", + "▁who m", + "▁дер жать", + "▁держа ть", + "▁incre ased", + "▁increase d", + "▁обра щения", + "▁de term", + "▁det erm", + "▁окружа ющей", + "▁По ня", + "P S", + "▁лю бые", + "▁любы е", + "▁s ch", + "▁sc h", + "▁ sch", + "▁по пол", + "▁поп ол", + "▁попо л", + "\". ..", + "\" ...", + "▁ки рпи", + "▁у слов", + "▁ус лов", + "▁chang ed", + "▁change d", + "▁за явля", + "▁зая вля", + "▁О бо", + "▁Об о", + "▁Mich ael", + "▁ли чного", + "▁лично го", + "тив ными", + "тивным и", + "мо но", + "мон о", + "м оно", + "▁ря де", + "▁ряд е", + "▁ре в", + "▁р ев", + "▁ рев", + "▁у бы", + "▁цели ком", + "▁ре цеп", + "▁вз ры", + "▁со брать", + "▁соб рать", + "▁собра ть", + "▁S oviet", + "▁P ri", + "▁Pr i", + "ва ющей", + "ваю щей", + "ля ют", + "▁дет ства", + "▁за фикси", + "y m", + "▁и у", + "▁за воде", + "▁заво де", + "▁завод е", + "▁у шел", + "▁осо бого", + "▁особо го", + "▁жи вой", + "▁живо й", + "▁жив ой", + "▁ве ло", + "▁вел о", + "▁ вело", + "та щи", + "▁Г ей", + "▁Ге й", + "▁а сси", + "▁ас си", + "▁президен том", + "▁президент ом", + "ве си", + "вес и", + "▁насе ко", + "▁по лета", + "▁поле та", + "▁полет а", + "▁за блу", + "▁заб лу", + "▁сдела но", + "▁сделан о", + "▁сдел ано", + "▁fe atures", + "▁feature s", + "▁feat ures", + "▁ме сту", + "▁мест у", + "▁и зли", + "▁из ли", + "▁кры ла", + "▁занима ется", + "▁занимает ся", + "▁s em", + "▁se m", + "▁Вар ша", + "▁Soc iety", + "▁эксплуа тации", + "▁ле д", + "▁л ед", + "▁M any", + "▁Man y", + "▁Ma ny", + "▁Т ан", + "▁Та н", + "▁со бак", + "▁соб ак", + "▁соба к", + "ic les", + "icle s", + "i cles", + "▁са мую", + "▁сам ую", + "▁саму ю", + "▁попа сть", + "▁отря да", + "▁отряд а", + "▁приня тия", + "as ons", + "ason s", + "▁Са ма", + "▁Сам а", + "▁гра фа", + "▁граф а", + "▁ графа", + "▁про веден", + "▁прове ден", + "▁проведе н", + "▁вы ру", + "▁выр у", + "▁деся тки", + "р ва", + "▁ф или", + "▁фи ли", + "▁im medi", + "▁поли тику", + "▁полити ку", + "▁политик у", + "▁наро ду", + "▁народ у", + "Е В", + "▁бор ту", + "▁борт у", + "▁per cent", + "▁си дя", + "днев но", + "дне вно", + "▁устой чи", + "▁Д лина", + "▁Дли на", + "▁Л ев", + "▁Ле в", + "li ke", + "l ike", + "сты ми", + "стым и", + "с тыми", + "▁Зна чит", + "▁Значи т", + "▁l ove", + "▁lo ve", + "▁lov e", + "▁физи ческой", + "it er", + "ite r", + "i ter", + "ти ны", + "тин ы", + "т ины", + "▁нор мы", + "▁норм ы", + "▁вер хов", + "▁верх ов", + "▁фа кторов", + "▁фак торов", + "▁фактор ов", + "фа на", + "фан а", + "ф ана", + "▁эк стре", + "▁экс тре", + "▁F ollow", + "ме я", + "е сли", + "▁внутрен него", + "▁бе ремен", + "▁бере мен", + "▁бер емен", + "▁под писал", + "▁подписа л", + "▁подпи сал", + "▁Лу и", + "▁лю блю", + "▁прове рить", + "▁провер ить", + "ст он", + "сто н", + "с тон", + "▁дра го", + "▁О снова", + "▁Ос нова", + "▁Основ а", + "▁по йти", + "▁пой ти", + "▁м они", + "▁мо ни", + "▁мон и", + "▁ мони", + "зы ваться", + "зыва ться", + "зывать ся", + "емы ми", + "емым и", + "е мыми", + "▁созда нию", + "по ва", + "пов а", + "▁P et", + "▁Pe t", + "▁fe et", + "Ч е", + "▁п ру", + "▁пр у", + "▁ пру", + "▁исче за", + "▁исчез а", + "▁С тар", + "▁Ста р", + "▁Ст ар", + "▁ло в", + "▁л ов", + "▁ лов", + "▁обу ча", + "во дится", + "вод ится", + "води тся", + "водит ся", + "▁m ur", + "вля ться", + "влять ся", + "в ляться", + "▁про куро", + "▁написа но", + "▁написан о", + "▁т вое", + "▁тво е", + "▁тв ое", + "▁W il", + "▁Wi l", + "ро жден", + "ре нный", + "рен ный", + "А З", + "as c", + "a sc", + "▁ли ния", + "▁a rm", + "▁ar m", + "▁ arm", + "▁l ower", + "▁low er", + "▁lo wer", + "▁ответ ить", + "▁отве тить", + "▁по тер", + "▁поте р", + "▁не мно", + "▁нем но", + "же нная", + "жен ная", + "un n", + "▁дво рян", + "▁двор ян", + "▁дворя н", + "▁пер вич", + "is k", + "i sk", + "▁остро вов", + "▁остров ов", + "▁отли чаются", + "▁отлича ются", + "▁использова нии", + "▁си дел", + "ера рхи", + "▁откры ть", + "▁открыт ь", + "▁G rand", + "▁Gr and", + "▁Gra nd", + "▁смо гут", + "▁смог ут", + "▁смогу т", + "▁у стре", + "▁ус тре", + "▁turn ed", + "▁tur ned", + "▁экзем пля", + "▁тка ни", + "ст ских", + "▁внима тельно", + "▁турни ра", + "▁турнир а", + "▁опублико ван", + "▁опубликова н", + "ar ter", + "art er", + "▁вра жде", + "▁ра б", + "▁ раб", + "сти нк", + "стин к", + "▁th us", + "▁с тер", + "▁ст ер", + "▁сте р", + "▁ стер", + "▁song s", + "▁son gs", + "▁стро ки", + "▁строк и", + "▁аппара та", + "▁аппарат а", + "M S", + "▁b oy", + "▁bo y", + "▁ boy", + "шно й", + "шн ой", + "ш ной", + "▁проя вления", + "ству ющие", + "or ing", + "ori ng", + "o ring", + "▁француз ского", + "жу тся", + "жут ся", + "ograph y", + "ograp hy", + "▁про зра", + "▁проз ра", + "▁пере йти", + "▁перей ти", + "▁со бою", + "▁собо ю", + "▁двадца ти", + "▁мень шей", + "▁меньше й", + "▁во лости", + "▁воло сти", + "▁волос ти", + "▁in stit", + "▁inst it", + "m on", + "зи на", + "зин а", + "з ина", + "▁Во обще", + "ль ци", + "▁Ро ссией", + "▁Росси ей", + "▁во рота", + "▁воро та", + "▁ворот а", + "▁экипа жа", + "▁экипаж а", + "▁ак туаль", + "▁до ступа", + "▁доступ а", + "▁С ин", + "▁Си н", + "▁ex am", + "▁Afric an", + "▁Africa n", + "ле б", + "and s", + "▁у кры", + "ran ch", + "▁понима л", + "▁пони мал", + "▁испол нения", + "▁a bs", + "▁ab s", + "▁выпол ня", + "▁оши бок", + "▁ошиб ок", + "▁ошибо к", + "▁ш ер", + "▁ше р", + "▁ шер", + "▁дебю тировал", + "▁ф ору", + "▁фор у", + "▁фо ру", + "▁моз г", + "o z", + "я р", + "▁Восто чной", + "▁Вос точной", + "▁Восточно й", + "▁ Восточной", + "▁над пись", + "▁надпи сь", + "▁ва ших", + "▁ваш их", + "▁ваши х", + "▁Бы ли", + "▁Был и", + "▁T wo", + "▁Tw o", + "га ется", + "гает ся", + "фри кан", + "▁расши ря", + "▁Ни кто", + "▁Ник то", + "▁Смо лен", + "▁сравни тельно", + "▁предела ми", + "▁преде лами", + "▁Сте па", + "T h", + "▁V ict", + "▁Vi ct", + "те рии", + "тери и", + "▁ар мией", + "▁арми ей", + "▁о си", + "▁ос и", + "▁ оси", + "ли нд", + "лин д", + "▁под зем", + "▁вы бран", + "▁выбра н", + "▁по грани", + "▁пре у", + "ва емые", + "▁M od", + "▁Mo d", + "▁ Mod", + "▁sup er", + "▁su per", + "▁на ступления", + "▁наступ ления", + "▁ме стные", + "▁мест ные", + "зо сти", + "▁у худ", + "ро вке", + "ров ке", + "дко й", + "д кой", + "▁бое вые", + "el led", + "ell ed", + "elle d", + "▁перегово ров", + "▁верх ней", + "шо к", + "ш ок", + "▁b ene", + "▁be ne", + "де ква", + "▁И льи", + "▁Иль и", + "▁Ил ьи", + "зи ат", + "зиа т", + "ла йн", + "лай н", + "▁l ack", + "▁la ck", + "▁согласи лся", + "штей н", + "ште йн", + "▁бы тия", + "▁ бытия", + "▁автома тически", + "▁автомати чески", + "▁сы ном", + "▁сын ом", + "▁С вер", + "▁Св ер", + "▁Све р", + "ве дь", + "вед ь", + "ol f", + "▁J ust", + "▁Ju st", + "▁e mb", + "▁em b", + "▁ emb", + "▁high er", + "▁hig her", + "▁Спи сок", + "э ф", + "▁Ве сь", + "▁squ are", + "▁val ue", + "▁ value", + "▁принци пы", + "▁принцип ы", + "▁нача льником", + "▁началь ником", + "▁начальник ом", + "▁me ans", + "▁mean s", + "▁проис ходило", + "▁происхо дило", + "▁по рази", + "▁пора зи", + "▁ли нию", + "чё м", + "ч ём", + "▁зем е", + "▁зе ме", + "▁ земе", + "▁экономи ческого", + "хо жу", + "▁Т имо", + "▁Ти мо", + "▁Тим о", + "▁p ark", + "▁par k", + "▁pro b", + "▁pr ob", + "▁оста лась", + "ти рует", + "тиру ет", + "▁запа дной", + "▁запад ной", + "▁ западной", + "▁военно слу", + "▁англий ского", + "I T", + "▁ка ме", + "▁кам е", + "▁полу чилось", + "▁получи лось", + "▁получило сь", + "▁профессо ра", + "▁профессор а", + "▁cent ral", + "дж ер", + "дже р", + "д жер", + "▁под разуме", + "▁подраз уме", + "И И", + "Г а", + "▁Сиби ри", + "▁Сибир и", + "ль м", + "▁Рас ска", + "▁Расс ка", + "▁теле кана", + "ду ман", + "дума н", + "дум ан", + "▁мето да", + "▁мет ода", + "▁метод а", + "▁R ock", + "▁Ro ck", + "▁психо логии", + "▁психологи и", + "▁end ed", + "следова тель", + "▁об щих", + "▁общи х", + "▁общ их", + "▁disc uss", + "ки и", + "▁Sm ith", + "▁предполага ет", + "не ли", + "иль ям", + "▁вос при", + "▁автомоби ля", + "▁ле ги", + "▁лег и", + "▁e lected", + "▁elect ed", + "но ю", + "▁fe el", + "▁l ay", + "▁la y", + "▁ lay", + "но вым", + "▁от ъ", + "▁буржу аз", + "▁буржуа з", + "▁Гит лер", + "▁ob serv", + "▁следова ло", + "▁журна ле", + "▁журнал е", + "au r", + "a ur", + "▁arch itect", + "▁участ ники", + "▁участник и", + "▁C ons", + "▁Con s", + "▁Co ns", + "▁подготов ке", + "▁подгото вке", + "▁неме цкой", + "▁немец кой", + "▁немецко й", + "▁при це", + "ти нг", + "тин г", + "т инг", + "er gy", + "ла нти", + "лан ти", + "лант и", + "л анти", + "▁за ро", + "▁зар о", + "▁g rand", + "▁gr and", + "▁gra nd", + "▁no vel", + "▁nov el", + "▁т руп", + "▁тру п", + "▁по став", + "▁пос тав", + "▁поста в", + "▁пост ав", + "ле нного", + "лен ного", + "ленно го", + "▁девя ть", + "▁дев ять", + "ро вского", + "ров ского", + "▁Тур ции", + "() ;", + "( );", + "АТ О", + "А ТО", + "▁tr ue", + "▁извест ного", + "▁известно го", + "▁изве стного", + "▁ко сти", + "▁кос ти", + "▁ кости", + "id a", + "i da", + "▁с тр", + "▁ст р", + "▁ стр", + "▁при го", + "▁ма шине", + "▁маши не", + "▁машин е", + "ul a", + "u la", + "▁system s", + "▁разрабо тке", + "▁тя го", + "▁pr incip", + "▁doc ument", + "▁Сле дова", + "▁суб бо", + "▁un its", + "▁unit s", + "▁подоб ное", + "▁подобно е", + "▁Follow ing", + "▁малень кий", + "▁хо дить", + "▁ход ить", + "▁ходит ь", + "▁ ходить", + "Л о", + "▁про сла", + "▁прос ла", + "▁вра гов", + "▁враг ов", + "▁сере дины", + "▁середи ны", + "▁Ро ман", + "▁Рома н", + "це ни", + "цен и", + "▁от дельно", + "▁отде льно", + "▁отдель но", + "▁О бе", + "▁Об е", + "▁ти ра", + "▁ тира", + "tern al", + "▁эволю ции", + "▁на печа", + "▁ ?", + "▁зве зда", + "▁звезд а", + "▁звез да", + "▁зв езда", + "▁p ie", + "▁J os", + "▁Jo s", + "▁то чка", + "▁точ ка", + "▁солда ты", + "▁солдат ы", + "га ла", + "гал а", + "г ала", + "▁earl ier", + "h i", + "▁че рта", + "▁чер та", + "▁черт а", + "▁тер пе", + "▁ терпе", + "би е", + "ро вался", + "рова лся", + "ровал ся", + "▁распо ложена", + "▁расположен а", + "▁расположе на", + "is es", + "ise s", + "i ses", + "▁ку со", + "▁предпо ч", + "▁некоторы м", + "▁некото рым", + "▁максима льно", + "▁до казыва", + "▁дока зыва", + "▁It al", + "▁автомоби ль", + "▁ис ходя", + "▁исход я", + "▁пу шки", + "▁дви жении", + "▁Все ленной", + "▁вз рыва", + "▁взрыв а", + "▁взры ва", + "▁соб ака", + "▁соба ка", + "▁собак а", + "▁дости чь", + "ство вание", + "ствова ние", + "ристо кра", + "▁Е лиза", + "▁acc ording", + "▁Президен т", + "▁pass ed", + "лл ы", + "л лы", + "▁вла стей", + "▁коми тет", + "▁комите т", + "▁Lou is", + "▁с пря", + "▁обнаружи ли", + "▁обнару жили", + "▁обнаружил и", + "ле с", + "▁луч шим", + "ch an", + "c han", + "▁dec ision", + "▁оде жды", + "▁К ер", + "▁Ке р", + "id er", + "ide r", + "i der", + "▁совет ские", + "▁результа там", + "▁результат ам", + "▁результата м", + "ме д", + "м ед", + "▁person al", + "en ced", + "ence d", + "enc ed", + "▁к ло", + "▁ кло", + "▁выс шего", + "▁Ма тери", + "▁foot ball", + "▁о ли", + "▁обеспе чивает", + "▁обеспечи вает", + "ви ца", + "виц а", + "▁у ступа", + "▁уступ а", + "▁indust ry", + "▁пунк та", + "▁пункт а", + "▁про доволь", + "▁продо воль", + "▁Д ере", + "▁Де ре", + "▁Дер е", + "... >", + "ро ка", + "рок а", + "▁О п", + "▁Н ар", + "▁На р", + "▁собы тие", + "▁выигра л", + "▁кри тери", + "▁l og", + "▁lo g", + "▁ log", + "▁А лла", + "▁Ал ла", + "▁многочисле нных", + "▁характери стики", + "▁характеристи ки", + "▁характеристик и", + "▁st ep", + "▁ste p", + "▁Универ сите", + "▁проду кт", + "▁продук т", + "▁худо жников", + "▁худож ников", + "▁художник ов", + "▁ex c", + "▁Т ар", + "▁Та р", + "▁сим вол", + "▁симво л", + "▁л ы", + "▁ лы", + "▁ва жное", + "▁важ ное", + "▁важно е", + "▁ва го", + "▁for ced", + "▁force d", + "▁кар те", + "▁карт е", + "▁разо ча", + "О О", + "▁ле су", + "▁лес у", + "▁обык новен", + "▁ри ск", + "▁рис к", + "▁воло сы", + "▁волос ы", + "▁Е С", + "▁ ЕС", + "▁ре мон", + "▁рем он", + "▁бро си", + "ли вый", + "▁предста вляется", + "▁представля ется", + "▁представляет ся", + "▁st ay", + "ме ся", + "▁s ett", + "▁se tt", + "▁set t", + "ре нных", + "рен ных", + "ro ad", + "r oad", + "▁рекла м", + "▁рек лам", + "▁не об", + "▁нео б", + "▁исто чники", + "▁источ ники", + "▁источник и", + "▁здра во", + "ча х", + "▁Си рии", + "pa n", + "p an", + "ст ере", + "сте ре", + "стер е", + "с тере", + "▁R ev", + "▁Re v", + "▁газ ете", + "▁газе те", + "▁газет е", + "▁В последствии", + "е писко", + "▁L at", + "▁La t", + "ку пи", + "куп и", + "▁Поз днее", + "▁Позд нее", + "▁ве дут", + "▁веду т", + "▁вед ут", + "▁футбо лист", + "▁футболи ст", + "▁футбол ист", + "▁д вер", + "▁две р", + "▁драма тур", + "кс у", + "к су", + "▁за би", + "▁заб и", + "▁ма ссу", + "▁масс у", + "▁че тко", + "▁чет ко", + "деся ти", + "десят и", + "▁tro ops", + "▁глу бине", + "▁глуби не", + "oc h", + "o ch", + "▁акт ёр", + "се ц", + "с ец", + "▁ору дия", + "▁гра нице", + "▁грани це", + "▁границ е", + "▁г рома", + "▁гро ма", + "▁гром а", + "▁g ra", + "▁gr a", + "▁специаль ные", + "▁специ альные", + "▁Пу тин", + "▁Пути н", + "▁говори лось", + "▁использова л", + "▁вир туаль", + "▁маги стра", + "oc al", + "oca l", + "▁неф ти", + "▁мо ем", + "▁мое м", + "▁с ад", + "▁са д", + "▁ сад", + "нг ви", + "▁рас че", + "▁и р", + "▁ ир", + "чка х", + "ч ках", + "▁f if", + "ek s", + "e ks", + "▁про би", + "▁проб и", + "ли зации", + "лиза ции", + "▁In stitute", + "▁т ремя", + "▁тре мя", + "▁взаимо от", + "▁призна ки", + "▁признак и", + "у э", + "ou d", + "o ud", + "ли чество", + "личе ство", + "▁з вания", + "▁B ill", + "▁Bi ll", + "ре зать", + "реза ть", + "om m", + "o mm", + "▁участи ем", + "▁участие м", + "▁c it", + "тив ном", + "тивно м", + "се на", + "сен а", + "с ена", + "▁ро зы", + "▁роз ы", + "▁Сы н", + "▁Ро ссий", + "▁Росси й", + "▁Рос сий", + "▁ Россий", + "ess ion", + "▁молодо го", + "че ва", + "чев а", + "ч ева", + "вно коман", + "▁поли тические", + "▁полити ческие", + "▁P eter", + "▁Pe ter", + "▁Pet er", + "▁k ind", + "▁об щим", + "▁общи м", + "▁общ им", + "▁ли сть", + "▁лист ь", + "▁Т ю", + "▁доку мент", + "М О", + "Т и", + "O M", + "в ный", + "▁s af", + "ле ц", + "л ец", + "▁f le", + "▁fl e", + "▁Ac adem", + "▁ста рые", + "▁пер спек", + "ми те", + "мит е", + "▁cap ital", + "k n", + "▁кле ток", + "▁клет ок", + "▁th reat", + "ни лась", + "нила сь", + "▁Константи н", + "▁Дж она", + "▁Джон а", + "▁Джо на", + "▁освобо ждения", + "un ity", + "▁ре ку", + "▁рек у", + "▁по сад", + "▁пос ад", + "▁поса д", + "▁ре е", + "▁ рее", + "ли чно", + "ri al", + "ria l", + "r ial", + "▁на чался", + "▁нача лся", + "▁начал ся", + "▁Суще ствует", + "▁С ева", + "▁Се ва", + "стоя ние", + "▁за служи", + "▁заслу жи", + "al a", + "a la", + "pir e", + "p ire", + "it a", + "i ta", + "▁ве сной", + "▁вес ной", + "▁дея тельностью", + "▁деятель ностью", + "▁деятельность ю", + "um ents", + "ument s", + "u ments", + "▁о ра", + "▁ор а", + "▁из ви", + "▁из вле", + "▁Во ору", + "▁зако номер", + "▁законо мер", + "▁законом ер", + "▁дела ется", + "▁делает ся", + "мон стри", + "▁высо кие", + "▁требо ваний", + "зре ния", + "з рения", + "▁original ly", + "▁origin ally", + "▁б еру", + "▁бе ру", + "▁бер у", + "▁кла ссов", + "▁класс ов", + "▁классо в", + "▁рас строй", + "▁золо то", + "де нь", + "ден ь", + "д ень", + "▁E r", + "▁на в", + "▁н ав", + "▁ нав", + "▁З у", + "▁Ле том", + "▁Лет ом", + "▁ре пре", + "дра в", + "др ав", + "д рав", + "▁t ext", + "▁te xt", + "▁ text", + "▁соста вил", + "▁состав ил", + "▁тех нических", + "▁техни ческих", + "▁ощу щения", + "ver t", + "v ert", + "▁some thing", + "▁somet hing", + "клю чения", + "ще нной", + "щен ной", + "щенно й", + "▁от сюда", + "▁пользова теля", + "▁х леба", + "▁хле ба", + "▁хлеб а", + "▁h ours", + "▁hour s", + "▁раз меров", + "▁разме ров", + "▁размер ов", + "▁поддержи вать", + "▁sum mer", + "▁c red", + "▁cre d", + "▁cr ed", + "▁спорт сме", + "▁спортс ме", + "▁во рот", + "▁воро т", + "▁вор от", + "▁ ворот", + "зу ется", + "зует ся", + "▁три бу", + "▁ трибу", + "▁с би", + "▁ак тивности", + "▁актив ности", + "▁активно сти", + "pos e", + "po se", + "p ose", + "▁M ount", + "▁Mo unt", + "▁С ти", + "▁Ст и", + "er o", + "e ro", + "▁про гу", + "▁поддерж ке", + "▁Austral ian", + "▁Australia n", + "▁F in", + "▁Дей стви", + "▁раз ными", + "▁разным и", + "▁успе хом", + "▁успех ом", + "чи х", + "ч их", + "▁c and", + "▁can d", + "▁па па", + "▁пап а", + "ma r", + "m ar", + "▁ex hib", + "▁m ach", + "▁И еруса", + "▁Ие руса", + "▁an c", + "▁ anc", + "вер шенно", + "вершен но", + "▁ос енью", + "▁осе нью", + "▁осен ью", + "н ны", + "▁b ank", + "▁ban k", + "▁inter view", + "▁мя те", + "▁ne igh", + "▁r ank", + "▁ran k", + "▁М ака", + "▁Ма ка", + "▁Мак а", + "▁pre vent", + "▁у ходит", + "▁ухо дит", + "▁уход ит", + "▁Разу меется", + "по доб", + "под об", + "▁Sc ott", + "▁Scot t", + "со вершен", + "▁зу б", + "▁рус ским", + "▁произ ведение", + "▁рас ходы", + "▁расхо ды", + "▁расход ы", + "у з", + "▁го рдо", + "▁гор до", + "▁оши б", + "те ка", + "тек а", + "▁име ло", + "▁имел о", + "Йор к", + "Й орк", + "▁пере воз", + "▁перево з", + "ha b", + "h ab", + "фе ль", + "▁кли ма", + "▁се мина", + "▁сем ина", + "▁семи на", + "▁аппара т", + "▁caus ed", + "▁cause d", + "▁Z e", + "▁поли тический", + "▁полити ческий", + "Ис то", + "И сто", + "▁за каза", + "▁зака за", + "▁заказ а", + "▁слу жа", + "▁служ а", + "▁Ar ch", + "▁раз мера", + "▁разме ра", + "▁размер а", + "▁потеря л", + "▁потер ял", + "▁проис ше", + "▁e mer", + "▁em er", + "▁п севдо", + "augh t", + "aug ht", + "▁артилле рии", + "▁француз ской", + "▁T or", + "▁To r", + "▁ре зиден", + "▁рези ден", + "E N", + "▁пов лия", + "▁У з", + "▁ap plic", + "▁по строить", + "▁постро ить", + "▁ве л", + "▁ вел", + "▁ва ша", + "▁ваш а", + "▁с бро", + "▁заслу ги", + "▁любо пыт", + "▁К ен", + "▁Ке н", + "▁мо ст", + "▁Is rael", + "▁ме длен", + "▁мед лен", + "▁Rich ard", + "▁кана ла", + "▁кан ала", + "▁канал а", + "▁cent er", + "де ний", + "▁реко рд", + "▁рекор д", + "▁ни чем", + "▁с коль", + "▁ско ль", + "▁ сколь", + "ри ться", + "рить ся", + "▁фай л", + "вно й", + "в ной", + "О н", + "in i", + "i ni", + "▁кварти ре", + "▁квартир е", + "▁ка кими", + "▁как ими", + "▁каким и", + "▁ос таться", + "▁оста ться", + "▁t arg", + "▁о в", + "▁ ов", + "▁Mus ic", + "▁M ost", + "▁Mos t", + "▁Mo st", + "▁Не о", + "▁Min ister", + "▁зву к", + "▁повсе днев", + "па ть", + "▁Те о", + "▁ста рого", + "▁старо го", + "▁Па мя", + "▁Б об", + "▁Бо б", + "▁но сит", + "▁носи т", + "▁нос ит", + "▁ носит", + "▁вражде б", + "рк у", + "р ку", + "ста х", + "с тах", + "▁чу жо", + "▁n atural", + "▁с дви", + "▁опас а", + "▁опа са", + "U S", + "▁треть ей", + "▁третье й", + "▁с вето", + "▁свет о", + "▁све то", + "ly ing", + "l ying", + "▁согла шение", + "ро вались", + "рова лись", + "ровали сь", + "▁Л ат", + "▁Ла т", + "▁t rib", + "▁tr ib", + "▁tri b", + "▁Цер кви", + "T V", + "▁кон гре", + "▁п ля", + "▁ пля", + "зд о", + "з до", + "ве то", + "вет о", + "▁уг ол", + "▁уго л", + "▁три дцать", + "▁тридца ть", + "Ма р", + "М ар", + "▁у езд", + "▁уез д", + "в не", + "ъ ю", + "▁слы шал", + "▁слыша л", + "▁вз ро", + "▁я и", + "ци ан", + "циа н", + "▁n ar", + "ля л", + "л ял", + "▁c al", + "▁вол шеб", + "▁ро ско", + "▁рос ко", + "та лки", + "тал ки", + "▁приблизи тельно", + "▁при нес", + "▁стра ницы", + "▁страниц ы", + "il ed", + "ile d", + "i led", + "▁ор ган", + "▁орга н", + "▁исто чником", + "▁источ ником", + "▁источник ом", + "I t", + "▁потре бу", + "▁потреб у", + "▁M ont", + "▁Mon t", + "▁Mo nt", + "Д и", + "na me", + "nam e", + "n ame", + "▁cons ider", + "▁consid er", + "во ро", + "вор о", + "ён ный", + "ё нный", + "нно му", + "нном у", + "н ному", + "▁К ей", + "▁Ке й", + "▁следу ющего", + "▁оружи ем", + "▁оружие м", + "▁по крови", + "▁покро ви", + "▁ш ар", + "▁ша р", + "▁ шар", + "▁концеп ции", + "▁От сюда", + "▁выну ждены", + "▁вынужден ы", + "▁Cent ral", + "▁напря жения", + "m od", + "▁солн ца", + "▁хра нения", + "▁тыся че", + "▁тысяч е", + "▁Ма ло", + "▁p en", + "▁pe n", + "▁ pen", + "g l", + "▁уча стке", + "▁участ ке", + "▁реали зова", + "▁реа лизова", + "▁oper ations", + "▁operation s", + "▁qu al", + "▁q ual", + "▁под ска", + "▁подс ка", + "▁ме лко", + "▁мел ко", + "▁с нять", + "▁сня ть", + "▁снят ь", + "▁с кор", + "▁ско р", + "▁ск ор", + "▁ скор", + "▁С ар", + "▁Са р", + "▁пользова тель", + "▁заме тно", + "▁замет но", + "▁обви нения", + "▁за гру", + "▁tradition al", + "bo ur", + "b our", + "▁из дели", + "▁изде ли", + "во ло", + "вол о", + "в оло", + "▁пригото вления", + "▁sc ored", + "▁score d", + "▁Солн ца", + "▁ста рой", + "▁стар ой", + "▁старо й", + "▁пут ём", + "▁N ot", + "▁No t", + "▁мое му", + "▁моем у", + "▁ моему", + "си бир", + "▁на ходит", + "▁находи т", + "▁наход ит", + "▁та лан", + "▁s ection", + "▁se ction", + "▁sec tion", + "▁нау ке", + "▁наук е", + "три бу", + "ст ся", + "с тся", + "нк ов", + "н ков", + "А К", + "▁о твра", + "▁от вра", + "▁m ix", + "▁mi x", + "▁напа дения", + "▁выво ду", + "▁вывод у", + "▁Нов город", + "▁Новго род", + "▁am ount", + "en a", + "e na", + "бе рт", + "бер т", + "б ерт", + "ка зом", + "каз ом", + "▁с пать", + "▁спа ть", + "▁вспом нить", + "▁з ная", + "▁зна я", + "▁ad op", + "▁при вели", + "▁приве ли", + "▁привел и", + "an o", + "a no", + "▁штур мо", + "▁шту рмо", + "▁Sup er", + "▁Su per", + "▁из раиль", + "ли те", + "лит е", + "▁па ры", + "▁пар ы", + "▁несколь кими", + "▁нескольким и", + "▁ры бы", + "▁рыб ы", + "▁предста влены", + "▁представлен ы", + "▁У ильям", + "▁Уилья м", + "▁монасты рь", + "ло т", + "л от", + "▁про све", + "▁прос ве", + "▁сем ью", + "▁семь ю", + "▁в зор", + "▁вз ор", + "▁взо р", + "▁функ цию", + "» :", + "▁тер риториаль", + "▁террито риаль", + "▁ территориаль", + "▁У э", + "▁Г лу", + "▁s en", + "▁se n", + "▁ sen", + "▁dist rib", + "▁неме цкого", + "▁немец кого", + "▁немецко го", + "▁D ay", + "ры вно", + "рыв но", + "▁сю же", + "▁пози ций", + "▁Гри горь", + "▁Григо рь", + "▁архитек туры", + "▁архитектур ы", + "▁за се", + "▁зас е", + "▁т ен", + "▁те н", + "▁ тен", + "▁en vironment", + "▁нача лу", + "▁начал у", + "▁ началу", + "▁цвет ов", + "▁цве тов", + "▁Fran cis", + "▁зна ние", + "▁ знание", + "▁вра ча", + "▁врач а", + "▁ко де", + "▁код е", + "▁оста нется", + "▁пере дает", + "▁переда ет", + "ст ил", + "сти л", + "с тил", + "▁эк ологи", + "▁эко логи", + "▁com mercial", + "▁обла дают", + "▁облада ют", + "▁con struct", + "▁const ruct", + "▁специали сты", + "▁специалист ы", + "▁упомя ну", + "▁рабо чие", + "▁рабочи е", + "▁во ж", + "▁Ху до", + "▁восста ния", + "▁но в", + "▁н ов", + "▁ нов", + "▁вели чай", + "▁а ку", + "▁ак у", + "▁на родных", + "▁наро дных", + "▁народ ных", + "▁неболь шие", + "▁Ав гу", + "ре нно", + "рен но", + "р енно", + "▁ж ар", + "▁жа р", + "▁устрой ств", + "▁дополни тельные", + "▁попыт ка", + "▁попы тка", + "▁Бе ла", + "▁Бел а", + "▁ф аль", + "▁фа ль", + "iz ing", + "▁Ди а", + "▁выз ва", + "▁у дара", + "▁уда ра", + "▁удар а", + "▁уд ара", + "▁с пуска", + "▁спу ска", + "▁м ла", + "▁мл а", + "▁Восто ка", + "▁Вос тока", + "▁Восток а", + "▁подума л", + "▁поду мал", + "че нными", + "чен ными", + "ченным и", + "▁S ing", + "▁Si ng", + "▁лейте нант", + "▁лейтенан т", + "▁ лейтенант", + "▁L os", + "▁Lo s", + "но шение", + "▁я влений", + "▁яв лений", + "▁Ц ар", + "▁Ца р", + "▁опреде ленные", + "▁определен ные", + "▁коман дой", + "▁команд ой", + "▁изме рения", + "▁наказа ния", + "▁нака зания", + "ри со", + "рис о", + "▁includ es", + "▁include s", + "▁ла гере", + "▁лагер е", + "▁струк туру", + "▁структур у", + "▁те сно", + "▁пона доби", + "▁le ague", + "▁из бы", + "▁компа нией", + "▁луч шие", + "▁ce leb", + "▁упра влять", + "▁управля ть", + "▁Е сте", + "▁Австра лии", + "▁ре шением", + "▁решение м", + "▁реше нием", + "▁ре монт", + "▁ремон т", + "▁Бер лин", + "▁про ходил", + "▁проходи л", + "▁проход ил", + "▁прохо дил", + "▁м оне", + "▁мо не", + "▁мон е", + "▁воз действие", + "▁воздей ствие", + "▁при ема", + "▁прием а", + "▁прие ма", + "▁тех нику", + "▁техни ку", + "ри ст", + "рис т", + "р ист", + "▁пребы вания", + "▁поли тического", + "▁полити ческого", + "▁из вести", + "▁извест и", + "▁изве сти", + "ep h", + "e ph", + "ма ли", + "мал и", + "м али", + "▁co ast", + "▁энер гию", + "▁энерги ю", + "ро ванием", + "рова нием", + "рование м", + "▁н ра", + "▁sec ret", + "ва нге", + "ван ге", + "▁sp ent", + "▁spe nt", + "uf act", + "▁па ри", + "▁пар и", + "▁ пари", + "хи м", + "х им", + "▁в близи", + "▁Г руп", + "▁Гру п", + "▁аресто ван", + "▁в я", + "▁ вя", + "▁П атри", + "▁Па три", + "▁пос тара", + "▁поста ра", + "▁пост ара", + "п ке", + "▁c y", + "▁ cy", + "▁мел ких", + "▁ин стинк", + "▁С чита", + "фор мули", + "▁build ings", + "▁building s", + "▁авто ры", + "▁ав торы", + "▁автор ы", + "▁claim ed", + "▁дерев ья", + "▁Micro soft", + "▁w ood", + "▁ wood", + "▁гря з", + "▁гр яз", + "▁ гряз", + "▁извест ные", + "▁известны е", + "▁изве стные", + "спо р", + "с пор", + "▁огром ный", + "▁игро ков", + "▁игрок ов", + "▁До ро", + "▁Дор о", + "▁Пет рович", + "▁Петро вич", + "▁го н", + "▁г он", + "▁ гон", + "ко ве", + "ков е", + "▁д ья", + "▁ дья", + "▁заклю чение", + "▁incre ase", + "▁В ос", + "▁Во с", + "▁O per", + "▁Op er", + "▁Государ ственной", + "▁Г ро", + "жо к", + "ж ок", + "▁на ре", + "▁нар е", + "▁появи лось", + "▁поя вилось", + "бо вать", + "бова ть", + "ди р", + "д ир", + "Ко м", + "К ом", + "▁long er", + "▁неда леко", + "▁охва ты", + "▁сва дь", + "емо сть", + "е мость", + "▁го родом", + "▁горо дом", + "▁город ом", + "пре ки", + "▁Ме кси", + "▁Мек си", + "▁б рак", + "▁бра к", + "▁яй ца", + "▁обы ча", + "▁собра ние", + "▁вла дения", + "▁владе ния", + "▁кре дит", + "▁креди т", + "▁по спе", + "▁пос пе", + "▁зи мой", + "▁зим ой", + "g a", + "▁Х ру", + "со образ", + "▁вы го", + "▁при шло", + "▁Ар ме", + "▁при ложение", + "▁Пер вым", + "▁Про бле", + "▁Sy stem", + "▁бра тьев", + "▁брат ьев", + "▁брать ев", + "ги ба", + "гиб а", + "▁способ ы", + "▁спосо бы", + "▁опреде ленной", + "▁определен ной", + "▁определенно й", + "▁рассказыва л", + "▁рассказы вал", + "▁до лю", + "▁дол ю", + "▁мага зин", + "▁магази н", + "▁стра нно", + "▁стран но", + "▁Е вропей", + "▁Евро пей", + "▁Европе й", + "веро ят", + "▁откры т", + "▁Вели кого", + "▁Велико го", + "▁разрабо тан", + "▁разработа н", + "ан г", + "а нг", + "▁вне шне", + "▁внеш не", + "▁вла стью", + "▁власть ю", + "on se", + "ons e", + "▁возмо жных", + "▁возможны х", + "er ve", + "erv e", + "▁награ ждён", + "▁ра ска", + "▁рас ка", + "▁ка рта", + "▁кар та", + "▁карт а", + "▁голо сов", + "▁голос ов", + "▁голосо в", + "Л ю", + "▁о зеро", + "▁озе ро", + "▁озер о", + "▁мар кси", + "▁Пу шкин", + "▁Пушки н", + "▁по ры", + "▁пор ы", + "ни ческих", + "am s", + "a ms", + "ти ку", + "тик у", + "▁Ц а", + "сно м", + "с ном", + "▁пу тей", + "▁пут ей", + "▁путе й", + "▁Зна мени", + "▁belie ved", + "▁believe d", + "arri age", + "▁у ез", + "▁meet ing", + "▁За то", + "▁по пере", + "▁попе ре", + "▁поп ере", + "▁Бе л", + "▁C amp", + "▁Cam p", + "▁Ca mp", + "ob al", + "o bal", + "▁следу ющей", + "▁не благо", + "▁серьез но", + "ствен ному", + "стве нному", + "ственно му", + "ственном у", + "▁Швей ца", + "▁с чё", + "▁откры тие", + "▁с видетельство", + "▁свиде тельство", + "▁свидетель ство", + "▁свидетельств о", + "▁d rop", + "▁dr op", + "▁Dist rict", + "▁act ive", + "▁activ e", + "▁ active", + "▁террито рия", + "▁econom ic", + "▁Ap ple", + "▁App le", + "▁О лег", + "▁Оле г", + "▁< ...>", + "▁про ч", + "▁зада чей", + "▁задач ей", + "▁по вести", + "▁пове сти", + "▁повест и", + "▁ли ги", + "▁ лиги", + "во рить", + "вори ть", + "вор ить", + "та ра", + "тар а", + "т ара", + "▁У и", + "▁Цер ковь", + "▁con stit", + "▁const it", + "qu ote", + "▁Бо лга", + "▁Бол га", + "▁мор ских", + "▁ морских", + "▁реаль ность", + "▁реа льность", + "▁реально сть", + "▁про кура", + "▁Му ж", + "▁фо ль", + "▁у влека", + "▁увле ка", + "из м", + "и зм", + "ist ry", + "▁P ost", + "▁Po st", + "▁по тра", + "he st", + "hes t", + "h est", + "па ла", + "пал а", + "п ала", + "▁авто ром", + "▁ав тором", + "▁автор ом", + "пе йской", + "пей ской", + "▁подвер г", + "▁подве рг", + "▁По чти", + "▁дерев ьев", + "д т", + "▁кон стру", + "▁те рмо", + "▁тер мо", + "▁выяс нилось", + "C on", + "ug e", + "u ge", + "- >", + "▁количе ством", + "▁количество м", + "▁персона жей", + "▁персонаж ей", + "ро вский", + "ров ский", + "▁про вод", + "▁прово д", + "▁ провод", + "▁Ch ic", + "▁проде монстри", + "▁состоя л", + "▁состо ял", + "▁B ur", + "▁Bu r", + "▁п ей", + "▁пе й", + "▁ пей", + "▁Про дол", + "▁опреде ленных", + "▁определен ных", + "▁le ave", + "▁proper ty", + "por ary", + "▁учи теля", + "▁К ня", + "-------- --------", + "▁оче реди", + "▁очеред и", + "▁очер еди", + "▁Ве нг", + "▁Вен г", + "▁ве рить", + "▁вер ить", + "▁верит ь", + "▁вери ть", + "▁v ot", + "▁vo t", + "эф фици", + "▁по селение", + "▁посе ление", + "▁b ring", + "▁br ing", + "▁w ord", + "▁wor d", + "▁ word", + "ва лен", + "вал ен", + "вале н", + "▁соб ственный", + "▁собствен ный", + "▁New s", + "▁ide a", + "ря т", + "р ят", + "▁от каз", + "▁отка з", + "▁отк аз", + "▁за креп", + "▁закре п", + "▁pr ior", + "▁pri or", + "ня лся", + "нял ся", + "▁С лова", + "▁Сло ва", + "▁бе спокой", + "▁беспо кой", + "▁беспоко й", + "▁ка лен", + "це на", + "цен а", + "ц ена", + "ли зма", + "лизм а", + "л изма", + "фе рен", + "фер ен", + "ф ерен", + "З оло", + "ли зм", + "л изм", + "▁п ое", + "▁по е", + "▁O pen", + "▁Op en", + "кла сс", + "▁пол ную", + "ст ин", + "сти н", + "с тин", + "▁book s", + "▁g old", + "▁go ld", + "▁defe ated", + "▁defeat ed", + "сным и", + "сны ми", + "с ными", + "▁уси лий", + "▁усили й", + "▁с рока", + "▁сро ка", + "▁срок а", + "▁чита тель", + "▁мно жества", + "▁множе ства", + "▁кре ст", + "▁и ерархи", + "▁Ф рей", + "▁Фре й", + "mit ted", + "▁ней ро", + "▁Sp anish", + "▁республи кан", + "▁республик ан", + "▁республика н", + "er ror", + "err or", + "▁Фри дри", + "▁си льный", + "▁силь ный", + "▁сло жных", + "▁су до", + "▁суд о", + "▁от цом", + "им и", + "и ми", + "in ter", + "int er", + "▁За кон", + "▁Зак он", + "ro s", + "r os", + "▁пи рами", + "▁пира ми", + "жа лись", + "жали сь", + "▁Х ор", + "▁Хо р", + "▁заста вить", + "▁оборудова ние", + "ut y", + "u ty", + "сю ду", + "block quote", + "▁С оло", + "▁Со ло", + "▁Сол о", + "▁B en", + "▁Be n", + "▁си гнал", + "▁сигна л", + "т во", + "▁повы шения", + "▁Яко вле", + "▁Яков ле", + "▁институ те", + "▁институт е", + "▁столи це", + "▁чет вёр", + "▁практи ки", + "▁прак тики", + "▁сер вер", + "▁возвра щается", + "▁возвраща ется", + "▁возвращает ся", + "▁раз нови", + "▁разно ви", + "▁описа ния", + "лю б", + "▁ме сторо", + "▁место ро", + "▁дет стве", + "▁ис тины", + "▁исти ны", + "▁ист ины", + "▁S qu", + "▁по у", + "ow ers", + "ower s", + "▁испыта ний", + "▁и дёт", + "▁ид ёт", + "▁P ress", + "▁Pr ess", + "▁Pres s", + "▁Pre ss", + "▁мно гим", + "▁многи м", + "▁на зывать", + "▁называ ть", + "си ст", + "сис т", + "с ист", + "b ased", + "▁F ort", + "▁For t", + "▁Ско лько", + "те ро", + "тер о", + "S S", + "▁про бе", + "▁пр обе", + "▁проб е", + "▁кварти ру", + "▁квар тиру", + "▁квартир у", + "▁го дами", + "▁года ми", + "▁годам и", + "▁gener ally", + "▁general ly", + "а ции", + "чи вать", + "чива ть", + "A r", + "▁Vir gin", + "▁somet imes", + "▁к ад", + "▁ка д", + "▁на родной", + "▁наро дной", + "▁народ ной", + "▁ци кла", + "▁цикл а", + "▁сообщи ла", + "▁сообщил а", + "▁дости гает", + "▁достига ет", + "▁само леты", + "▁самоле ты", + "▁самолет ы", + "▁счита ю", + "▁на шему", + "▁наше му", + "▁нашем у", + "▁s ource", + "▁поки нул", + "A L", + "▁у пор", + "▁упо р", + "▁моло дые", + "▁молоды е", + "▁обла стях", + "▁бо гов", + "▁бого в", + "▁бог ов", + "▁st aff", + "▁iss ue", + "▁про ходят", + "▁проходя т", + "▁проход ят", + "▁прохо дят", + "ми ну", + "мин у", + "▁гру дь", + "▁при сла", + "▁прис ла", + "▁iss ues", + "▁issue s", + "▁вы боры", + "▁выбо ры", + "▁выбор ы", + "▁compan ies", + "▁на бо", + "▁А фи", + "▁Аф и", + "▁ар мий", + "▁арми й", + "▁П ле", + "▁до говори", + "▁догово ри", + "▁договор и", + "▁извест ной", + "▁известно й", + "▁изве стной", + "▁st ructure", + "▁struct ure", + "▁со бран", + "▁соб ран", + "▁собра н", + "▁У мер", + "▁Ум ер", + "▁ли чной", + "▁лично й", + "че л", + "▁про пор", + "▁пропо р", + "▁pract ice", + "▁ли ри", + "▁ме чта", + "▁меч та", + "▁ру ке", + "▁рук е", + "▁Е ё", + "▁север ной", + "ха х", + "▁од них", + "▁одни х", + "▁say ing", + "▁фор мули", + "▁форму ли", + "▁ формули", + "дно сть", + "д ность", + "▁Те ле", + "сле жи", + "▁ко п", + "▁к оп", + "▁ коп", + "ва рд", + "вар д", + "▁ули цу", + "▁улиц у", + "gin g", + "g ing", + "▁по су", + "▁пос у", + "▁по дра", + "▁под ра", + "▁Ни чего", + "▁V II", + "▁VI I", + "▁восполь зоваться", + "▁воспользова ться", + "▁d u", + "▁ du", + "▁relig ious", + "▁Ра бота", + "▁Рабо та", + "ch ange", + "chan ge", + "chang e", + "▁кризи са", + "▁кризис а", + "рд а", + "р да", + "▁sh ot", + "▁в тори", + "▁вто ри", + "▁втор и", + "▁ втори", + "▁ре конструк", + "▁библиоте ки", + "▁библиотек и", + "A F", + "▁M iss", + "▁живо писи", + "▁живопи си", + "▁живопис и", + "▁ц ена", + "▁це на", + "▁цен а", + "▁ цена", + "▁находи ться", + "▁находить ся", + "▁Б рази", + "▁Бра зи", + "▁про вели", + "▁прове ли", + "▁провел и", + "mar k", + "m ark", + "▁r iver", + "▁ri ver", + "▁ку ла", + "▁ кула", + "▁комна ты", + "▁at tend", + "▁att end", + "▁кры ль", + "▁национа льных", + "▁от кро", + "▁отк ро", + "цион ном", + "цио нном", + "ционно м", + "▁Afric a", + "тив ность", + "тивно сть", + "фор д", + "фо рд", + "со й", + "с ой", + "▁не фте", + "▁неф те", + "ла з", + "л аз", + "ре нием", + "рение м", + "га на", + "ган а", + "г ана", + "▁at tended", + "▁attend ed", + "▁потреб ности", + "▁уча ствовать", + "▁B ec", + "▁Be c", + "ди с", + "д ис", + "▁Х ай", + "▁Ха й", + "▁le gal", + "▁leg al", + "но вского", + "нов ского", + "лимпи а", + "▁возмо жным", + "▁возможны м", + "▁requ ire", + "▁под по", + "▁th ings", + "▁thing s", + "▁то чек", + "▁точ ек", + "▁По жа", + "▁H ill", + "▁ша бло", + "▁чу дови", + "▁чудо ви", + "▁с лой", + "▁сло й", + "▁сл ой", + "▁ слой", + "ци онер", + "цион ер", + "цио нер", + "ционе р", + "▁Ра сс", + "▁Рас с", + "▁со поста", + "за м", + "з ам", + "▁tra de", + "▁tr ade", + "▁trad e", + "▁ар мей", + "▁ армей", + "хо дится", + "ходи тся", + "ход ится", + "ходит ся", + "▁пере числе", + "▁су мма", + "▁сум ма", + "Р у", + "▁особ ой", + "▁осо бой", + "▁особо й", + "чи вости", + "чиво сти", + "▁ра дость", + "▁радо сть", + "he t", + "h et", + "ха ми", + "хам и", + "▁Бри тан", + "▁Брита н", + "▁рабо чий", + "▁рабочи й", + "▁со бор", + "▁соб ор", + "▁собо р", + "▁у бить", + "▁уби ть", + "▁убит ь", + "▁equ ip", + "С П", + "▁op ening", + "▁open ing", + "▁зда ний", + "pl ement", + "ple ment", + "▁кор оле", + "▁коро ле", + "▁руководи телей", + "▁stand ard", + "▁exper ience", + "▁experien ce", + "▁стро ить", + "▁строи ть", + "▁ строить", + "▁тру дности", + "▁труд ности", + "▁трудно сти", + "▁resp onse", + "▁respons e", + "▁пои ск", + "ience s", + "ien ces", + "i ences", + "▁нака нуне", + "ни ческого", + "▁D el", + "▁De l", + "st e", + "s te", + "▁соб ственную", + "▁собствен ную", + "▁побере жье", + "▁comp lex", + "▁comple x", + "▁compl ex", + "▁wh ole", + "▁who le", + "▁доказа тельства", + "▁доказательств а", + "▁ка нал", + "▁кана л", + "▁кан ал", + "▁п тицы", + "▁пти цы", + "▁птиц ы", + "▁до ктора", + "▁доктор а", + "▁док тора", + "ri a", + "r ia", + "▁ла тин", + "▁лат ин", + "▁ли дера", + "▁лидер а", + "▁лиде ра", + "▁ме стом", + "▁место м", + "▁мест ом", + "▁re ason", + "▁круп нейших", + "▁крупней ших", + "ch er", + "che r", + "c her", + "in ent", + "ine nt", + "▁а ристокра", + "y th", + "▁с мя", + "▁см я", + "веде но", + "веден о", + "да ча", + "ri ef", + "rie f", + "r ief", + "▁возник новения", + "▁возникнове ния", + "▁Официаль ный", + "▁язы ках", + "▁языка х", + "▁пере о", + "ть ю", + "т ью", + "за и", + "▁от части", + "▁из гна", + "▁про ника", + "▁проник а", + "▁прони ка", + "▁ter rit", + "те льному", + "тель ному", + "тельно му", + "тельном у", + "▁Чемпи она", + "▁Чемпион а", + "▁new s", + "▁arr ived", + "▁выс ших", + "▁турни ре", + "▁турнир е", + "до ль", + "дол ь", + "вод ства", + "▁возник ла", + "▁D irect", + "▁Di rect", + "▁возра ст", + "▁p rem", + "▁pre m", + "▁pr em", + "▁сле ды", + "▁след ы", + "▁след ствие", + "▁на зывает", + "▁называ ет", + "in ary", + "ina ry", + "▁vict ory", + "▁баталь он", + "▁истори ческой", + "ни ну", + "нин у", + "▁чу до", + "на стоя", + "▁За чем", + "▁b all", + "▁bal l", + "▁ ball", + "▁о пира", + "▁опи ра", + "▁Фо то", + "▁ре шила", + "▁реши ла", + "▁решил а", + "из е", + "и зе", + "ва ете", + "вает е", + "▁по дели", + "ды х", + "д ых", + "▁отста вку", + "▁отстав ку", + "▁соответ ствующие", + "▁соответству ющие", + "▁эска дри", + "▁вся ких", + "ёр ом", + "ё ром", + "▁ant i", + "▁chang es", + "▁change s", + "▁def end", + "▁defe nd", + "▁заседа нии", + "че сти", + "▁топли ва", + "▁топ лива", + "ви ки", + "вик и", + "u a", + "за цией", + "▁Че рно", + "▁Чер но", + "фи я", + "▁sur round", + "кс е", + "к се", + "▁g rant", + "▁gr ant", + "▁gra nt", + "▁вы год", + "▁выго д", + "▁E v", + "▁наде жды", + "▁сум мы", + "▁долго е", + "▁долг ое", + "ol s", + "o ls", + "▁particular ly", + "▁за пом", + "▁запо м", + "чи лись", + "чили сь", + "ма не", + "ман е", + "м ане", + "▁c at", + "▁пу ль", + "▁ пуль", + "▁О коло", + "▁Ок оло", + "▁председа телем", + "пи т", + "п ит", + "▁воору жение", + "▁м ане", + "▁ма не", + "▁ мане", + "▁n oted", + "▁not ed", + "▁no ted", + "▁note d", + "▁Окон чил", + "пра ве", + "прав е", + "▁о провер", + "▁опро вер", + "or ial", + "ori al", + "o rial", + "▁само убий", + "▁самоу бий", + "▁автомоби лей", + "▁автомобиле й", + "▁смер тью", + "▁смерть ю", + "▁прода жи", + "▁продаж и", + "ru s", + "r us", + "▁four th", + "▁we eks", + "▁week s", + "▁Та тья", + "▁Mus eum", + "ни зу", + "низ у", + "us band", + "▁fin ally", + "▁final ly", + "▁ло дки", + "▁перво начально", + "▁первонача льно", + "же в", + "ж ев", + "цо ва", + "цов а", + "▁К руп", + "▁Кру п", + "▁п обо", + "▁по бо", + "▁про лета", + "▁проле та", + "О Д", + "▁stud ent", + "Р Г", + "▁e ns", + "▁en s", + "▁ ens", + "▁run ning", + "▁возгла вил", + "▁хо тим", + "че ством", + "чество м", + "▁по ложить", + "▁поло жить", + "▁положи ть", + "пу стили", + "пусти ли", + "пустил и", + "пус тили", + "▁нео преде", + "▁ми ло", + "▁wh ether", + "▁whe ther", + "▁В аль", + "▁Ва ль", + "▁отсут ствия", + "ear ch", + "e arch", + "▁о се", + "▁ос е", + "▁неизвест но", + "▁послед ним", + "▁г рам", + "▁гра м", + "▁гр ам", + "▁ грам", + "▁позволи ло", + "▁позволил о", + "▁г ит", + "▁ги т", + "▁у л", + "▁ ул", + "▁S ir", + "▁Si r", + "▁горо ду", + "▁город у", + "▁foc us", + "ис тори", + "исто ри", + "ист ори", + "▁Vict or", + "▁Vi ctor", + "we st", + "w est", + "▁обеспе чение", + "Пе р", + "П ер", + "▁ар мя", + "▁term s", + "▁ter ms", + "▁Ка кие", + "▁выс каза", + "▁выска за", + "▁prim ary", + "▁ar rest", + "▁arr est", + "▁Ви кто", + "▁изу чение", + "▁ne cess", + "▁nec ess", + "▁та тар", + "I C", + "▁ре ально", + "▁реаль но", + "▁реа льно", + "▁не доволь", + "▁недо воль", + "▁недово ль", + "▁organ ization", + "▁organiz ation", + "де ц", + "д ец", + "▁сра жения", + "▁le ader", + "▁lead er", + "▁литера тура", + "▁литератур а", + "ти ву", + "тив у", + "▁broad cast", + "▁fin ancial", + "▁с хо", + "▁сх о", + "▁deg ree", + "▁В стре", + "▁драго цен", + "▁интере со", + "▁интерес о", + "▁l ived", + "▁live d", + "▁L ater", + "▁La ter", + "▁Lat er", + "▁опера ция", + "an ks", + "ank s", + "▁ущер б", + "ту ри", + "тур и", + "▁дей ствиях", + "▁действи ях", + "▁действия х", + "▁под хода", + "▁подход а", + "▁Com mission", + "▁Comm ission", + "▁W eb", + "▁We b", + "▁факуль тет", + "▁факульте т", + "▁особ ое", + "▁осо бое", + "▁особо е", + "▁Сле дует", + "▁Следу ет", + "▁ориен ти", + "▁Герма ния", + "ни чество", + "▁раз личия", + "▁разли чия", + "▁различи я", + "▁trans port", + "▁з он", + "▁зо н", + "▁ зон", + "▁рас сла", + "▁расс ла", + "re me", + "rem e", + "▁stud ies", + "▁в нут", + "▁вну т", + "ли та", + "лит а", + "▁составля ла", + "▁составлял а", + "ре нной", + "рен ной", + "ренно й", + "ен са", + "е нса", + "▁old er", + "ни о", + "ail y", + "ai ly", + "a ily", + "▁пред ъ", + "▁при нят", + "▁приня т", + "▁прин ят", + "▁ю г", + "▁Вто рая", + "▁шо у", + "▁ шоу", + "▁о тры", + "▁от ры", + "▁ре к", + "▁р ек", + "▁ рек", + "ul ated", + "ula ted", + "ulate d", + "▁при веден", + "▁приве ден", + "▁привед ен", + "▁mult ip", + "▁multi p", + "▁совер ша", + "▁духов ной", + "▁духо вной", + "▁духовно й", + "▁вариан тов", + "▁вариант ов", + "▁вариа нтов", + "▁приме няется", + "▁применя ется", + "▁B o", + "▁у кло", + "▁кварти ры", + "▁квартир ы", + "▁m ission", + "▁miss ion", + "▁ mission", + "ф ра", + "▁пу ска", + "▁ пуска", + "▁бе лых", + "▁лю бят", + "▁любя т", + "хо слова", + "▁та нки", + "▁тан ки", + "▁танк и", + "▁пре следова", + "▁полу чив", + "▁получи в", + "ant ic", + "▁навер няка", + "ни ческий", + "▁comp let", + "▁comple t", + "▁compl et", + "▁не чего", + "▁пере дви", + "▁перед ви", + "▁экономи ческих", + "▁стра шно", + "▁страш но", + "▁Ни же", + "▁Ниж е", + "▁Нор ве", + "ст вию", + "стви ю", + "▁ро мане", + "▁роман е", + "▁рома не", + "▁э с", + "казыва ется", + "казывает ся", + "кру г", + "к руг", + "не ль", + "▁ва жные", + "▁важ ные", + "▁важны е", + "ск ри", + "с кри", + "' .", + "▁ли ст", + "▁л ист", + "▁ лист", + "ir it", + "i rit", + "ро ванная", + "рова нная", + "рован ная", + "P ro", + "де в", + "д ев", + "▁боль шими", + "▁большим и", + "▁Гит лера", + "▁Гитлер а", + "▁зая вления", + "▁огром ные", + "it t", + "i tt", + "▁пассажи ров", + "▁пассажир ов", + "▁о лимпий", + "▁руководи теля", + "▁г вардии", + "▁гвар дии", + "▁не дав", + "▁неда в", + "pr ess", + "pre ss", + "p ress", + "▁независи мости", + "▁независимо сти", + "▁но ж", + "▁боро ться", + "▁Э ду", + "▁Эд у", + "▁te ams", + "▁team s", + "ia nce", + "ian ce", + "i ance", + "▁off ered", + "▁offer ed", + "▁тя ж", + "ни ческие", + "▁импера три", + "▁импер атри", + "вя тся", + "вят ся", + "в ятся", + "▁пунк ты", + "▁пункт ы", + "▁G ra", + "▁Gr a", + "▁Пред седа", + "▁у деля", + "▁уде ля", + "▁с жа", + "▁Ни дер", + "▁ку ри", + "▁кур и", + "▁ниж ней", + "Н у", + "▁капита ла", + "▁капи тала", + "▁капитал а", + "хи е", + "▁Афри ки", + "▁Аф рики", + "▁exp and", + "▁c arried", + "▁car ried", + "▁carri ed", + "▁вы игры", + "▁выи гры", + "▁сооб щества", + "▁сообще ства", + "лет ней", + "▁sc ient", + "фи и", + "те ру", + "тер у", + "т еру", + "▁Дол го", + "▁д ворец", + "▁дво рец", + "▁двор ец", + "▁дворе ц", + "m l", + "▁упомина ется", + "▁упоминает ся", + "вя за", + "вяз а", + "в яза", + "▁For ce", + "▁противо поста", + "нт о", + "н то", + "▁но мера", + "▁номер а", + "▁номе ра", + "▁пре ем", + "▁об мена", + "▁обмен а", + "▁В спо", + "▁деся тков", + "▁Con gress", + "▁Cong ress", + "▁обстоя тельств", + "щи ком", + "щик ом", + "▁ду хе", + "▁дух е", + "▁Зем ля", + "▁ре шать", + "▁реша ть", + "▁е пар", + "▁с пла", + "▁пло до", + "▁плод о", + "▁d ead", + "▁de ad", + "с ны", + "́т ь", + "́ ть", + "▁зло у", + "▁чи слу", + "▁X IV", + "▁XI V", + "▁d om", + "▁do m", + "▁ dom", + "▁support ed", + "▁suppor ted", + "▁вто рую", + "▁втор ую", + "▁ю жной", + "▁южно й", + "▁международ ной", + "pr e", + "p re", + "led ge", + "оло г", + "о лог", + "▁quest ion", + "▁vis it", + "▁сф еры", + "▁сфе ры", + "▁pr omot", + "▁prom ot", + "▁б ир", + "▁би р", + "▁ бир", + "▁проя вляется", + "▁проявля ется", + "▁проявляет ся", + "▁f ailed", + "▁fail ed", + "▁fa iled", + "▁l ength", + "▁ма стера", + "▁мастер а", + "▁масте ра", + "▁д ю", + "▁ дю", + "ха я", + "х ая", + "▁достоин ства", + "▁челове ке", + "▁человек е", + "И С", + "мо вич", + "▁золо той", + "▁золото й", + "▁Д ра", + "▁боль шее", + "▁больше е", + "ви да", + "вид а", + "в ида", + "▁доро гой", + "▁дорог ой", + "▁дорого й", + "▁Импера тор", + "▁дво ра", + "▁двор а", + "▁подчер кнул", + "▁подчеркну л", + "▁Восто ке", + "▁Восток е", + "ag er", + "age r", + "a ger", + "▁сопроти вления", + "▁окру ге", + "▁округ е", + "it ter", + "itte r", + "itt er", + "▁ди кта", + "▁дик та", + "▁Ге роя", + "▁Геро я", + "не нное", + "нен ное", + "ненно е", + "▁т рое", + "▁тро е", + "▁тр ое", + "▁rem ain", + "▁comple te", + "▁complet e", + "▁хоро шие", + "чь я", + "ч ья", + "▁pol icy", + "▁polic y", + "▁сро ки", + "▁срок и", + "▁R ob", + "▁Ro b", + "▁исто рик", + "▁истори к", + "▁доказа ть", + "▁дока зать", + "▁с пас", + "▁спа с", + "▁древ ней", + "▁древне й", + "ци ден", + "▁ло па", + "▁л опа", + "▁Сева сто", + "ре нные", + "рен ные", + "▁с кончался", + "▁скон чался", + "▁сконча лся", + "▁бюджет а", + "▁бюдже та", + "▁ассоциа ции", + "при па", + "▁д ат", + "▁да т", + "▁ дат", + "▁пои сках", + "▁поиска х", + "нё н", + "н ён", + "▁Cath olic", + "▁l ocation", + "▁loc ation", + "▁d ate", + "▁ date", + "▁de mon", + "▁dem on", + "▁charact ers", + "▁character s", + "▁Гла вное", + "▁Глав ное", + "▁раз личи", + "▁разли чи", + "▁ve h", + "▁Наз вание", + "▁О тно", + "▁От но", + "▁при писы", + "▁Р име", + "▁Ри ме", + "▁Рим е", + "Ф ран", + "▁Ки еве", + "▁Киев е", + "▁при рода", + "▁приро да", + "▁природ а", + "▁At l", + "▁D u", + "▁Т рои", + "▁Тро и", + "воз мо", + "▁Серге я", + "▁Аф гани", + "▁за бро", + "▁заб ро", + "▁Со ве", + "▁Сов е", + "▁еже дневно", + "▁ежеднев но", + ", -", + "▁во шел", + "▁h ot", + "ро вых", + "ров ых", + "▁ма тер", + "▁мат ер", + "▁мате р", + "▁ре зи", + "▁рез и", + "▁хозяй ство", + "▁хозяйств о", + "▁пример е", + "▁приме ре", + "▁прим ере", + "▁Ру мы", + "▁Не да", + "▁инстру мент", + "▁C D", + "▁ CD", + "▁у бит", + "▁уби т", + "▁лагер я", + "▁производ стве", + "▁ма лей", + "▁addition al", + "▁p oor", + "▁po or", + "▁У К", + "▁по дар", + "▁под ар", + "▁пода р", + "um an", + "uma n", + "u man", + "▁удоволь ствие", + "▁пье сы", + "▁пьес ы", + "зо на", + "зон а", + "з она", + "▁n orm", + "▁no rm", + "▁nor m", + "▁fam ilies", + "we ll", + "w ell", + "▁ _", + "не нная", + "нен ная", + "▁го дом", + "▁год ом", + "▁проек ты", + "▁проект ы", + "▁бассе й", + "▁возвра щения", + "▁на ла", + "▁н ала", + "▁неболь ших", + "▁в ор", + "▁во р", + "▁ вор", + "tr a", + "t ra", + "▁предпо ложить", + "▁предположи ть", + "спе кт", + "спек т", + "▁же ну", + "▁жен у", + "▁с ул", + "▁су л", + "▁l ines", + "▁line s", + "▁ lines", + "▁вопро сом", + "▁вопрос ом", + "▁мо ро", + "▁мор о", + "▁ моро", + "▁кри тики", + "▁крити ки", + "▁критик и", + "▁реф лек", + "▁ре формы", + "▁реформ ы", + "▁рефор мы", + "те льна", + "тель на", + "▁у мо", + "▁ум о", + "▁Гру зии", + "▁стреми тся", + "▁стрем ится", + "▁оста тки", + "▁физи ческих", + "▁физически х", + "ма тери", + "▁Бо жи", + "▁принци па", + "▁принцип а", + "▁to day", + "▁award ed", + "нё с", + "ec h", + "e ch", + "do wn", + "d own", + "ни чества", + "▁произо шла", + "▁g e", + "▁ ge", + "Х а", + "pl ied", + "▁бес пре", + "il s", + "i ls", + "ke n", + "k en", + "▁U nder", + "▁Un der", + "▁г рави", + "▁гра ви", + "▁се л", + "▁ сел", + "▁В сем", + "▁Все м", + "ме нной", + "мен ной", + "менно й", + "зо вание", + "зова ние", + "П ре", + "А П", + "▁Боль шая", + "▁у пла", + "▁par ents", + "▁parent s", + "бер га", + "берг а", + "▁свой ств", + "▁T own", + "▁To wn", + "▁le aving", + "ющими ся", + "ю щимися", + "ва ющая", + "ваю щая", + "▁име ем", + "▁с формули", + "▁основ ан", + "▁основа н", + "▁осно ван", + "▁публи кации", + "▁публика ции", + "▁чув ствовал", + "▁чувство вал", + "▁Кры ма", + "▁Крым а", + "же рт", + "жер т", + "ж ерт", + "▁ре шению", + "▁реше нию", + "▁прошло е", + "▁прош лое", + "в ке", + "▁еже годно", + "▁ежегод но", + "▁заболе ваний", + "▁то ро", + "▁тор о", + "▁ торо", + "▁радо сти", + "▁Кар ла", + "▁Карл а", + "ге ра", + "гер а", + "г ера", + "▁неизбе жно", + "▁con cept", + "▁тро пи", + "▁ тропи", + "▁оцен ить", + "▁оце нить", + "▁оцени ть", + "▁вы яви", + "▁выя ви", + "▁приз ёр", + "▁Т ран", + "▁Тра н", + "und red", + "▁с тере", + "▁ст ере", + "▁сте ре", + "▁стер е", + "▁ стере", + "тель ница", + "ри ем", + "рие м", + "▁ф она", + "▁фо на", + "▁фон а", + "▁ фона", + "мо щ", + "да ла", + "дал а", + "д ала", + "ver y", + "ve ry", + "v ery", + "▁па дения", + "▁части ц", + "▁маль чик", + "▁мальчи к", + "ve y", + "v ey", + "▁Des pite", + "▁ок купа", + "r d", + "▁т вой", + "▁тво й", + "▁тв ой", + "▁союз ников", + "▁у читься", + "▁учи ться", + "▁учить ся", + "▁инстру ментов", + "▁инструмент ов", + "▁да бы", + "ви ль", + "вил ь", + "в иль", + "▁про водится", + "▁проводи тся", + "▁прово дится", + "▁провод ится", + "▁проводит ся", + "▁ш кол", + "▁шко л", + "c a", + "▁за с", + "▁з ас", + "▁обра щение", + "at o", + "a to", + "▁det ail", + "▁д лина", + "▁дли на", + "▁длин а", + "▁en tered", + "▁ent ered", + "▁enter ed", + "▁r ate", + "▁ra te", + "▁rat e", + "▁ rate", + "ber s", + "b ers", + "▁Ма рк", + "▁Мар к", + "▁Р К", + "▁ РК", + "▁пе сня", + "▁пес ня", + "▁устано влены", + "▁установ лены", + "▁установлен ы", + "▁су де", + "▁суд е", + "слу ша", + "▁лагер ь", + "▁основ ного", + "▁осно вного", + "▁вариан ты", + "▁вариант ы", + "▁вариа нты", + "▁Па у", + "▁созда ны", + "▁создан ы", + "стро йка", + "строй ка", + "▁подраз деле", + "пу т", + "п ут", + "il la", + "ill a", + "▁жи зне", + "▁жиз не", + "▁п рой", + "▁про й", + "▁пр ой", + "▁библиоте ка", + "▁библио тека", + "▁библиотек а", + "▁f elt", + "гра фия", + "графи я", + "▁у слы", + "▁ус лы", + "▁смо тря", + "▁ смотря", + "чник ов", + "чни ков", + "ч ников", + "▁упраж нения", + "la m", + "l am", + "▁сай та", + "▁сайт а", + "ди лись", + "дили сь", + "▁se em", + "▁see m", + "▁обра титься", + "▁обратить ся", + "▁clos ed", + "▁close d", + "▁Chic ago", + "▁St ar", + "вле нного", + "влен ного", + "вленно го", + "в ленного", + "▁b att", + "пра вления", + "прав ления", + "B S", + "ee s", + "e es", + "▁h usband", + "▁бело рус", + "▁го стей", + "▁гос тей", + "▁госте й", + "▁то чнее", + "▁точ нее", + "▁c ases", + "▁case s", + "▁cas es", + "▁Все мир", + "▁Всем ир", + "▁раз дели", + "▁разде ли", + "▁раздел и", + "▁суще ствовать", + "▁существо вать", + "▁существова ть", + "▁за менить", + "▁заме нить", + "▁замени ть", + "ро вской", + "ров ской", + "▁боль шом", + "▁большо м", + "▁энер гия", + "▁энерги я", + "▁тео рию", + "▁пи щу", + "▁Михай лов", + "▁реги страции", + "▁регистра ции", + "▁о слож", + "▁ос лож", + "▁Г ран", + "▁Гра н", + "ed y", + "▁любы х", + "▁Спу стя", + "▁B et", + "▁Be t", + "▁ликви ди", + "▁Действи тельно", + "▁э нциклопе", + "▁у га", + "▁уг а", + "A D", + "ве с", + "ма ра", + "мар а", + "м ара", + "b it", + "ро вок", + "ров ок", + "рово к", + "▁H ow", + "▁Ho w", + "▁cult ure", + "те лен", + "тел ен", + "теле н", + "▁пар тию", + "▁парти ю", + "▁уви дели", + "▁увиде ли", + "▁увидел и", + "stand ing", + "▁fore ign", + "▁f ort", + "▁for t", + "▁ fort", + "пре зиден", + "▁при менять", + "▁приме нять", + "▁применя ть", + "▁наблю дать", + "▁наблюда ть", + "▁d ig", + "▁di g", + "▁ш вей", + "▁шве й", + "▁разве дыва", + "▁запа дных", + "▁запад ных", + "▁восприя тия", + "▁зна ешь", + "▁ch all", + "▁хо чешь", + "▁я дра", + "▁яд ра", + "ar es", + "are s", + "a res", + "▁сча стью", + "▁счаст ью", + "▁Гла вный", + "▁Глав ный", + "▁гра ниц", + "▁грани ц", + "ur a", + "u ra", + "▁о свое", + "▁ос вое", + "▁о пуска", + "▁опу ска", + "▁внут рь", + "▁бо и", + "▁те ме", + "▁тем е", + "зи рует", + "зиру ет", + "▁в ременно", + "▁вре менно", + "▁времен но", + "▁време нно", + "▁ временно", + "▁Б ру", + "▁Го воря", + "▁hel ped", + "▁help ed", + "▁previous ly", + "▁ин дий", + "▁инди й", + "▁Ка зан", + "▁Каза н", + "гна ли", + "гнал и", + "г нали", + "▁воен ную", + "▁вое нную", + "== ==", + "▁товари ща", + "▁товарищ а", + "це ры", + "цер ы", + "ц еры", + "▁пока зывают", + "▁показыва ют", + "▁разви вается", + "▁развива ется", + "▁сотруд ник", + "▁сотрудни к", + "▁распростра нения", + "▁рабо чей", + "▁соответ ствующих", + "▁соответству ющих", + "▁л я", + "▁ ля", + "дно сти", + "д ности", + "▁Дру гой", + "▁Друго й", + "но ма", + "ном а", + "▁Г оло", + "▁Го ло", + "▁Гол о", + "▁сотруд ничества", + "▁сотрудни чества", + "▁династи и", + "A P", + "▁Са ха", + "▁вся кой", + "▁П я", + "▁profess ional", + "▁profession al", + "́ й", + "▁ре альной", + "▁реаль ной", + "▁реа льной", + "▁реально й", + "▁До нец", + "▁Дон ец", + "▁от лично", + "▁отли чно", + "as tern", + "ast ern", + "aster n", + "▁искус стве", + "▁искусств е", + "▁c ause", + "▁caus e", + "▁ви нова", + "▁вино ва", + "▁винов а", + "▁учре ждений", + "▁На вер", + "▁ч ём", + "▁ чём", + "▁по ловину", + "▁поло вину", + "▁полови ну", + "▁исто чника", + "▁источ ника", + "▁источник а", + "▁Воро не", + "▁Ворон е", + "▁Вор оне", + "▁D is", + "▁Di s", + "▁па рень", + "▁пар ень", + "▁паре нь", + "▁во зь", + "▁воз ь", + "▁ возь", + "▁требу ют", + "▁про ходили", + "▁проходил и", + "▁проходи ли", + "▁проход или", + "▁прохо дили", + "▁r u", + "▁ ru", + "▁за мок", + "▁зам ок", + "▁замо к", + "за виси", + "▁lim ited", + "▁limit ed", + "▁П ен", + "▁Пе н", + "▁здраво охра", + "ль ников", + "льник ов", + "▁ра ду", + "▁рад у", + "▁influ ence", + "▁стоя ла", + "▁стоял а", + "▁с вяз", + "▁свя з", + "▁св яз", + "n y", + "ве ди", + "вед и", + "в еди", + "▁ока жется", + "▁защи те", + "▁защит е", + "▁убий ство", + "▁энер го", + "▁по недель", + "ed s", + "▁is land", + "грам мы", + "грамм ы", + "▁фо нда", + "▁фон да", + "▁фонд а", + "ua n", + "u an", + "▁про ведение", + "▁прове дение", + "▁проведе ние", + "▁спи ске", + "▁с р", + "▁на зем", + "▁наз ем", + "▁Д ани", + "▁Да ни", + "▁Дан и", + "писа ние", + "▁P enn", + "▁Pen n", + "▁раз меры", + "▁разме ры", + "▁размер ы", + "ща дь", + "▁внеш них", + "ше нь", + "шен ь", + "ш ень", + "▁вто рым", + "▁вторы м", + "▁ма сштаб", + "▁масшта б", + "▁ф лаг", + "▁фла г", + "▁а нге", + "▁анг е", + "▁ан ге", + "▁c ustom", + "▁вз гляды", + "▁взгля ды", + "▁взгляд ы", + "▁y et", + "л к", + "▁еписко п", + "▁наблюда ется", + "▁п ить", + "▁пи ть", + "▁ пить", + "od es", + "ode s", + "o des", + "▁Эду ар", + "▁B attle", + "▁Batt le", + "▁Bat tle", + "▁способ ов", + "▁спосо бов", + "miss ion", + "m ission", + "▁cand id", + "tain ed", + "ta ined", + "t ained", + "▁С ек", + "▁Се к", + "▁органи зацию", + "▁организа цию", + "▁великоле п", + "▁велико леп", + "or ning", + "orn ing", + "▁при ся", + "▁прис я", + "И Ч", + "▁архитек тур", + "▁хи щ", + "▁персона жа", + "▁персонаж а", + "А Л", + "▁мероприя тий", + "▁пыта ются", + "евич а", + "е вича", + "▁пол ным", + "▁отве чал", + "▁отвеча л", + "▁А ле", + "▁Ал е", + "▁ро с", + "▁р ос", + "▁ рос", + "▁proble ms", + "▁problem s", + "ot a", + "o ta", + "▁ки ше", + "чник и", + "чни ки", + "ч ники", + "▁улы ба", + "▁улыб а", + "▁ма сс", + "▁поверх но", + "▁м э", + "▁капита на", + "▁капитан а", + "▁капи тана", + "▁ма ссив", + "▁масси в", + "▁масс ив", + "▁X II", + "▁XI I", + "▁did n", + "▁на правля", + "▁напра вля", + "стре чу", + "▁смотри т", + "▁слу чая", + "▁случа я", + "▁Г ай", + "▁Га й", + "▁си я", + "▁ сия", + "▁в торо", + "▁вто ро", + "▁втор о", + "▁Y ear", + "▁увели чение", + "▁увеличе ние", + "▁te ac", + "▁раз дел", + "▁разде л", + "▁min utes", + "▁minute s", + "на ру", + "нар у", + "▁раз ря", + "▁col lege", + "▁colle ge", + "▁не вероят", + "че нную", + "чен ную", + "▁со ж", + "▁т ря", + "▁тр я", + "▁ тря", + "it ation", + "ita tion", + "ня ла", + "нял а", + "▁ro ute", + "ra st", + "ras t", + "r ast", + "▁пере рабо", + "en c", + "▁Фран цуз", + "▁c arry", + "▁car ry", + "ти ра", + "тир а", + "▁Sec ond", + "ру ющих", + "рую щих", + "▁тра кта", + "▁трак та", + "▁пре мия", + "шко в", + "ш ков", + "то сти", + "▁попыта лся", + "▁попы тался", + "он ер", + "оне р", + "о нер", + "▁безу словно", + "▁безуслов но", + "▁w ords", + "▁word s", + "из вест", + "ст ского", + "с тского", + "▁F ore", + "▁For e", + "ol k", + "▁си дит", + "нача лу", + "▁ж ду", + "▁ жду", + "▁Ро ма", + "▁су дить", + "▁суд ить", + "▁бое припа", + "▁en ergy", + "▁восто ке", + "▁восток е", + "▁ востоке", + "kn own", + "know n", + "▁Б он", + "▁Бо н", + "▁мел кие", + "▁ми сси", + "▁най де", + "же нность", + "жен ность", + "женно сть", + "▁Ш ек", + "▁Ше к", + "▁т рам", + "▁тра м", + "▁тр ам", + "▁F ilm", + "▁Ital ian", + "▁повы шение", + "▁Израи ля", + "on a", + "o na", + "ли лись", + "лили сь", + "бл а", + "б ла", + "ol a", + "o la", + "▁laun ched", + "▁launch ed", + "▁activ ities", + "▁ри со", + "▁рис о", + "▁ рисо", + "▁пере пи", + "▁во шла", + "нс кое", + "н ское", + "вре мен", + "вр емен", + "в ремен", + "▁об рабаты", + "▁обра баты", + "▁еди ного", + "▁едино го", + "▁уничто жить", + "▁цен ностей", + "▁ценно стей", + "яз ви", + "▁во лю", + "▁вол ю", + "▁ волю", + "▁об щие", + "▁общи е", + "▁чемпиона т", + "▁чемпион ат", + "con t", + "co nt", + "c ont", + "ho use", + "h ouse", + "▁Сле ду", + "▁След у", + "ст ности", + "стно сти", + "с тности", + "в ные", + "но вые", + "▁агент ства", + "▁уда стся", + "▁разре шение", + "до вые", + "▁major ity", + "▁О пера", + "▁Оп ера", + "ён ные", + "ё нные", + "▁I P", + "▁ IP", + "▁те ни", + "▁тен и", + "▁ин циден", + "▁M el", + "▁Me l", + "▁глу по", + "▁Б ро", + "▁O ver", + "▁пу зы", + "▁си лах", + "▁сила х", + "▁раз гро", + "▁конфи гура", + "▁си ле", + "▁сил е", + "▁не когда", + "▁неко гда", + "▁от дать", + "▁отда ть", + "▁продол жали", + "▁продолжа ли", + "▁продолжал и", + "▁восстано вить", + "▁восстанови ть", + "▁утвер ждал", + "▁утвержда л", + "▁man ufact", + "▁при йти", + "▁архи еписко", + "мс кого", + "м ского", + "▁го л", + "▁г ол", + "▁dis p", + "▁di sp", + "▁T er", + "▁Te r", + "▁челове ческих", + "▁new sp", + "▁news p", + "▁дво ров", + "▁двор ов", + "вре мя", + "в ремя", + "re land", + "rel and", + "ва емый", + "▁воору жения", + "За пад", + "▁хо тела", + "▁хоте ла", + "▁хотел а", + "Кор р", + "ун а", + "у на", + "▁за им", + "▁col on", + "▁уда ется", + "▁сти мули", + "▁стиму ли", + "▁Ме даль", + "▁Мед аль", + "▁высо ту", + "▁f t", + "▁ ft", + "▁incre asing", + "▁W ork", + "ir ing", + "i ring", + "▁золо та", + "▁добро воль", + "▁доброво ль", + "▁Ха рак", + "▁Хар ак", + "!! !", + "! !!", + "▁призна ков", + "▁признак ов", + "▁Comm ittee", + "▁С ту", + "▁Ст у", + "▁по знания", + "▁позна ния", + "▁режи ссёр", + "▁режисс ёр", + "ce l", + "c el", + "▁не кий", + "▁an al", + "▁вероятно сть", + "▁вероят ность", + "▁individual s", + "сы лки", + "▁зри телей", + "▁присвое но", + "▁бе лый", + "▁конце рт", + "▁концер т", + "▁конц ерт", + "▁Да нии", + "▁Дани и", + "▁и е", + "▁G overnment", + "▁b irth", + "▁establ ish", + "ва ющего", + "ваю щего", + "ous ly", + "ме сти", + "▁ра стя", + "▁рас тя", + "▁раст я", + "▁м н", + "ient s", + "ien ts", + "i ents", + "unic ip", + "▁А ра", + "▁Ар а", + "▁но гу", + "▁ног у", + "зре ние", + "з рение", + "▁но выми", + "▁новым и", + "▁сер ти", + "Р и", + "▁игра ют", + "▁пол тора", + "ро ванным", + "рова нным", + "рован ным", + "ве ти", + "вет и", + "в ети", + "▁K n", + "ло гом", + "лого м", + "лог ом", + "ic ation", + "ica tion", + "▁созда ли", + "▁создал и", + "▁соз дали", + "▁имуще ство", + "▁К ле", + "▁нау чного", + "▁научно го", + "▁груп по", + "▁гру ппо", + "▁групп о", + "▁це нность", + "▁цен ность", + "▁ценно сть", + "▁пере дал", + "▁перед ал", + "▁переда л", + "R e", + "▁м етра", + "▁ме тра", + "▁мет ра", + "▁ метра", + "▁large r", + "▁larg er", + "is ions", + "ision s", + "▁современ ные", + "шни й", + "ш ний", + "▁пле мян", + "▁племя н", + "▁предста влял", + "▁представля л", + "▁со рок", + "▁сор ок", + "▁Ро бер", + "▁Роб ер", + "▁на гре", + "▁наг ре", + "▁П але", + "▁Па ле", + "▁иг рок", + "▁игро к", + "▁игр ок", + "▁ф рак", + "▁фра к", + "▁не кое", + "▁неко е", + "▁J ava", + "▁Бо же", + "▁при у", + "▁сти ля", + "▁у гла", + "▁уг ла", + "▁уче ный", + "▁rem ains", + "▁remain s", + "▁к ап", + "▁ка п", + "ма л", + "м ал", + "▁обла стей", + "дя тся", + "дят ся", + "д ятся", + "▁това ры", + "▁товар ы", + "с ня", + "▁М еди", + "▁Ме ди", + "▁Мед и", + "▁празд ник", + "▁праздни к", + "▁An other", + "▁лабора тории", + "▁свя того", + "▁го рь", + "▁гор ь", + "▁ горь", + "ish op", + "ur t", + "▁но гами", + "▁нога ми", + "▁C ast", + "▁Ca st", + "▁Cas t", + "▁уче ников", + "▁ученик ов", + "▁произ водится", + "▁производ ится", + "▁производи тся", + "▁произво дится", + "▁производит ся", + "ле жа", + "ect ion", + "ec tion", + "e ction", + "вер ху", + "верх у", + "ней ший", + "▁ро дилась", + "▁роди лась", + "▁родила сь", + "ье з", + "ь ез", + "▁run s", + "▁ru ns", + "сти ке", + "стик е", + "с тике", + "▁sh own", + "▁show n", + "▁те л", + "▁ тел", + "жу р", + "ж ур", + "▁команди ром", + "▁командир ом", + "▁Э сто", + "▁гит леров", + "▁лоша дей", + "▁Анд рея", + "▁Андре я", + "▁побере жья", + "▁замести телем", + "ме нов", + "мен ов", + "▁com mission", + "▁comm ission", + "▁associ ated", + "▁quick ly", + "ста нови", + "станов и", + "стано ви", + "▁с ведений", + "▁све дений", + "▁мо менты", + "▁момент ы", + "ри ев", + "рие в", + "▁appear ance", + "▁архе ологи", + "▁еги пет", + "▁егип ет", + "▁like ly", + "▁lik ely", + "аль ного", + "ально го", + "а льного", + "▁проду кта", + "▁продук та", + "▁продукт а", + "▁з она", + "▁зо на", + "▁зон а", + "▁ зона", + "▁с права", + "▁спра ва", + "▁ро дной", + "▁род ной", + "▁ родной", + "▁Шве ции", + "к варти", + "ла на", + "лан а", + "л ана", + "▁взрос лых", + "▁сохра нения", + "дви жи", + "▁диа гности", + "▁диагно сти", + "▁сча стья", + "▁счаст ья", + "▁t rain", + "▁tra in", + "▁tr ain", + "▁канди дат", + "▁кандида т", + "го та", + "▁уча стка", + "▁участ ка", + "▁числе нность", + "▁sch ol", + "но ри", + "нор и", + "н ори", + "▁Жи знь", + "▁Жиз нь", + "▁ Жизнь", + "▁заста вляет", + "▁заставля ет", + "ди в", + "д ив", + "▁отра сли", + "▁отрас ли", + "▁дире ктором", + "▁директор ом", + "СК А", + "С КА", + "жник ов", + "ж ников", + "▁депута т", + "▁soc iety", + "сле довать", + "следова ть", + "▁произо шел", + "▁составля ло", + "▁составлял о", + "▁Фран ция", + "▁Франци я", + "▁King dom", + "до ста", + "д оста", + "▁ми рового", + "▁миро вого", + "ло жили", + "ложи ли", + "лож или", + "ложил и", + "▁посла л", + "▁Ж о", + "▁с ми", + "▁см и", + "▁ сми", + "ва ль", + "вал ь", + "в аль", + "▁стар ше", + "▁ra ised", + "▁raise d", + "▁Послед ний", + "▁П рем", + "▁Пре м", + "▁от вле", + "ше нной", + "шен ной", + "шенно й", + "▁лю бую", + "▁пла тить", + "▁плат ить", + "▁смотре л", + "бур га", + "бург а", + "▁сме сь", + "▁trans l", + "▁вели ко", + "▁велик о", + "st ant", + "▁Т я", + "▁промышлен ность", + "та в", + "т ав", + "ва емого", + "▁co ach", + "ти зма", + "тизм а", + "т изма", + "▁m ess", + "▁me ss", + "▁ин ве", + "▁Да вайте", + "ба м", + "б ам", + "▁близ ких", + "▁близки х", + "▁о сад", + "▁ос ад", + "▁оса д", + "▁у чение", + "▁уче ние", + "▁Н АТО", + "▁НА ТО", + "▁мона рхи", + "▁монар хи", + "куль тур", + "▁st atus", + "▁stat us", + "in ner", + "inn er", + "бур ге", + "бург е", + "дела ть", + "▁кри зис", + "▁кризи с", + "M L", + "▁при няла", + "▁приня ла", + "▁принял а", + "▁де лах", + "▁дела х", + "▁ле й", + "▁л ей", + "▁ лей", + "▁чрез мер", + "▁завер шения", + "▁эк стра", + "▁экс тра", + "or g", + "▁t alk", + "▁tal k", + "▁col lection", + "▁coll ection", + "▁collect ion", + "▁colle ction", + "▁по хода", + "▁похо да", + "▁поход а", + "▁пох ода", + "▁но с", + "▁н ос", + "▁ нос", + "О С", + "▁Academ y", + "▁пред стоит", + "▁w inning", + "▁win ning", + "▁о чков", + "▁ли ши", + "▁лиш и", + "▁си ло", + "▁сил о", + "▁ сило", + "▁изобре та", + "то рию", + "тори ю", + "▁К од", + "▁Ко д", + "un ction", + "unc tion", + "ad o", + "a do", + "▁ма г", + "▁независи мость", + "▁независимо сть", + "▁С тали", + "▁Ста ли", + "▁Ст али", + "▁мощ ности", + "▁Ро стов", + "▁Росто в", + "▁Рос тов", + "▁о до", + "▁од о", + "▁ одо", + "гра фа", + "граф а", + "▁У с", + "сти не", + "стин е", + "с тине", + "▁div ision", + "▁Serv ice", + "▁Ка ре", + "▁Кар е", + "▁от дел", + "▁отде л", + "Г е", + "▁ог нем", + "▁огне м", + "ро вую", + "ров ую", + "рову ю", + "▁испол нение", + "д лов", + "▁num erous", + "▁Ми ро", + "▁Мир о", + "бер на", + "хан гель", + "▁K ore", + "ch en", + "che n", + "c hen", + "▁отве ча", + "▁в ходили", + "▁вход или", + "▁входил и", + "▁входи ли", + "▁ме тео", + "он у", + "о ну", + "да тель", + "▁Во енно", + "▁Воен но", + "▁Центра льной", + "▁Центр альной", + "▁высо ким", + "не бре", + "▁be coming", + "▁becom ing", + "▁коман дования", + "▁командова ния", + "▁Кали фор", + "ко мо", + "ком о", + "▁ци та", + "бо ва", + "бов а", + "за ди", + "зад и", + "▁I S", + "▁ IS", + "▁и ску", + "▁ис ку", + "▁иск у", + "▁не ба", + "ан о", + "а но", + "▁sold iers", + "▁устано влено", + "▁установ лено", + "▁установлен о", + "▁про сил", + "▁прос ил", + "▁проси л", + "▁пред ложен", + "▁предложе н", + "▁Про це", + "▁с но", + "▁ сно", + "▁Следова тельно", + "▁бе зна", + "▁без на", + "ти ческую", + "▁воин ов", + "▁вои нов", + "▁тре тье", + "▁треть е", + "Е М", + "▁дета лей", + "▁про стых", + "▁прос тых", + "▁прост ых", + "▁просты х", + "▁раз ным", + "▁до му", + "▁дом у", + "ви с", + "в ис", + "▁ве чно", + "▁М ол", + "▁Мо л", + "▁he avy", + "▁heav y", + "у л", + "▁Константи но", + "▁Константин о", + "▁сочи нения", + "▁ан тропо", + "▁F ound", + "▁init ially", + "▁initial ly", + "▁initi ally", + "ло жена", + "ложе на", + "ложен а", + "лож ена", + "▁живо тные", + "▁живот ные", + "▁соста вляли", + "▁состав ляли", + "▁составля ли", + "▁составлял и", + "▁необходи мых", + "▁необходимы х", + "▁необходим ых", + "▁агре ссив", + "▁фигу ры", + "▁фигур ы", + "▁б рака", + "▁бра ка", + "▁брак а", + "▁Б уд", + "▁Бу д", + "▁зда нии", + "▁друзья ми", + "▁друзьям и", + "▁То ма", + "▁Том а", + "ле тел", + "лете л", + "▁n orthern", + "▁north ern", + "▁nort hern", + "▁ресур сы", + "▁ресурс ы", + "ва тель", + "▁Ф ак", + "▁Фа к", + "▁за нять", + "▁заня ть", + "▁занят ь", + "▁бит вы", + "▁ch arg", + "▁char g", + "▁разобра ться", + "▁t akes", + "▁take s", + "t ies", + "ст ря", + "стр я", + "с тря", + "▁бит ве", + "ven ue", + "Ан д", + "А нд", + "el lig", + "ell ig", + "▁фе ода", + "▁ви ру", + "▁вир у", + "▁ад ап", + "▁ада п", + "▁воен ным", + "▁вое нным", + "▁поло вина", + "▁полови на", + "▁полов ина", + "▁собира ется", + "▁Но вой", + "▁Ново й", + "▁Нов ой", + "▁во доро", + "▁водо ро", + "▁карь еры", + "▁Ру сской", + "▁Рус ской", + "▁ак тивность", + "▁актив ность", + "▁активно сть", + "▁мани пу", + "ru pt", + "rup t", + "то вый", + "▁ст оло", + "▁сто ло", + "▁стол о", + "гря з", + "гр яз", + "▁язы ки", + "▁язык и", + "z a", + "▁А да", + "▁Ад а", + "▁ча стных", + "▁част ных", + "▁час тных", + "си пе", + "en th", + "ent h", + "▁стар шего", + "▁старше го", + "in et", + "ine t", + "i net", + "I V", + "▁Tex as", + "зи а", + "▁ре шает", + "▁реша ет", + "▁стол кну", + "▁столк ну", + "жд о", + "ж до", + "▁проис хождение", + "▁происхо ждение", + "Петербур ге", + "Петербург е", + "▁кар ту", + "▁карт у", + "▁кине мато", + "▁ста нут", + "▁стан ут", + "▁стану т", + "▁he art", + "▁hear t", + "▁про сит", + "▁прос ит", + "▁проси т", + "▁за няла", + "▁заня ла", + "▁занял а", + "▁обра зы", + "▁образ ы", + "▁со бора", + "▁собо ра", + "▁собор а", + "мо ро", + "мор о", + "▁готов ности", + "пт е", + "п те", + "▁обсу жда", + "▁in n", + "▁ inn", + "▁n ature", + "лу б", + "зы вает", + "зыва ет", + "▁благо да", + "▁бла года", + "▁ благода", + "lo ad", + "l oad", + "▁ци кл", + "▁распо зна", + "▁под пи", + "▁en em", + "▁m akes", + "▁make s", + "▁Па вла", + "▁Пав ла", + "▁де кла", + "▁по строена", + "▁построе на", + "▁постро ена", + "▁построен а", + "▁P ac", + "▁c rew", + "▁cre w", + "▁cr ew", + "▁ор гана", + "▁орга на", + "▁орган а", + "ти ну", + "тин у", + "▁мно гими", + "▁многи ми", + "▁многим и", + "▁с ете", + "▁се те", + "▁сет е", + "▁зна ла", + "▁знал а", + "▁s outhern", + "▁south ern", + "ad a", + "a da", + "▁ма нев", + "▁мане в", + "▁смо гла", + "▁смог ла", + "▁отсут ствии", + "▁О Б", + "▁ ОБ", + "▁отсут ствует", + "▁по шла", + "▁пош ла", + "▁выступа ть", + "▁program s", + "фф и", + "ф фи", + "о к", + "▁independ ent", + "▁с бли", + "▁предше ствен", + "га й", + "г ай", + "▁проис ходят", + "▁происхо дят", + "▁происходя т", + "▁f ederal", + "▁p ath", + "▁pat h", + "▁ path", + "▁оши бо", + "▁ошиб о", + "▁O ut", + "▁кре пость", + "▁крепо сть", + "▁ве дения", + "▁ ведения", + "нё м", + "н ём", + "ис следователь", + "▁ко ры", + "▁кор ы", + "▁Госпо дь", + "▁круп ный", + "▁органи зовать", + "▁организова ть", + "▁мо били", + "▁моби ли", + "▁подготов ку", + "▁подгото вку", + "▁М ей", + "▁Ме й", + "▁Angel es", + "▁напря жение", + "▁appro x", + "▁Виль гель", + "▁вы деле", + "▁выде ле", + "▁Ста тья", + "ще нного", + "щен ного", + "щенно го", + "▁F ace", + "▁Fa ce", + "▁обе зья", + "▁обез ья", + "▁m ention", + "▁men tion", + "▁ment ion", + "an ta", + "ant a", + "▁ж дет", + "▁К лю", + "▁та нка", + "▁тан ка", + "▁танк а", + "▁у мол", + "▁ум ол", + "▁умо л", + "▁увеличи ть", + "▁увели чить", + "▁бе лые", + "ha t", + "h at", + "▁го лланд", + "▁гол ланд", + "▁лоша ди", + "▁и ным", + "▁ко эффици", + "ri m", + "r im", + "▁С коро", + "▁Ско ро", + "О М", + "▁об щая", + "▁общ ая", + "▁дол г", + "▁до мини", + "▁доми ни", + "ти но", + "тин о", + "т ино", + "▁b ox", + "▁bo x", + "▁ box", + "▁мыш цы", + "▁мышц ы", + "▁приро ду", + "▁природ у", + "д ную", + "▁г рана", + "▁гра на", + "▁гран а", + "▁гр ана", + "▁про йдет", + "▁прой дет", + "▁aff ect", + "су ди", + "▁реги стра", + "▁near ly", + "Б и", + "жа лся", + "жал ся", + "▁с лева", + "▁сле ва", + "▁сл ева", + "▁револю ция", + "▁need ed", + "▁ме няется", + "▁меня ется", + "▁меняет ся", + "se e", + "s ee", + "С та", + "▁про чие", + "▁прочи е", + "▁ба зу", + "▁баз у", + "▁приви ле", + "▁восстано вления", + "▁до ля", + "▁дол я", + "▁рас ходов", + "▁расхо дов", + "▁расход ов", + "▁ре пута", + "▁м емо", + "▁ме мо", + "▁мем о", + "▁des pite", + "▁норма льно", + "▁норм ально", + "▁g re", + "▁gr e", + "▁обо рони", + "▁оборо ни", + "▁оборон и", + "чи лась", + "чила сь", + "▁вы шло", + "▁ком панию", + "▁компа нию", + "▁O ld", + "▁Ol d", + "▁Е лена", + "▁Еле на", + "lig ht", + "l ight", + "▁У че", + "▁Уч е", + "▁прав ду", + "тив ности", + "тивно сти", + "▁непо дви", + "▁непод ви", + "▁судь бу", + "▁пере вода", + "▁перево да", + "▁перевод а", + "▁мы слей", + "▁мыс лей", + "▁мысле й", + "▁На таль", + "▁Ната ль", + "in ux", + "inu x", + "▁бы вших", + "om s", + "o ms", + "▁un it", + "▁вы дели", + "▁выде ли", + "il led", + "ill ed", + "ille d", + "про ек", + "Т ы", + "▁вы пи", + "▁Но вая", + "▁Нов ая", + "▁rel ated", + "▁ related", + "▁set tle", + "▁sett le", + "шки н", + "ш кин", + "▁the ory", + "▁ди ри", + "▁форми рование", + "▁прави тельством", + "▁правитель ством", + "▁правительство м", + "▁пре обра", + "▁ad j", + "▁B ook", + "▁Bo ok", + "▁ком фор", + "▁ph il", + "▁реак ция", + "ка ют", + "en ing", + "e ning", + "спи ра", + "с пира", + "▁ло жки", + "▁man ager", + "▁manag er", + "▁Э тим", + "▁Эти м", + "▁ак цен", + "▁ори ента", + "▁ориен та", + "ще нно", + "щен но", + "щ енно", + "▁в вести", + "▁поки нуть", + "▁живо тного", + "▁живот ного", + "▁животно го", + "чь е", + "ч ье", + "▁тор пе", + "▁кли ента", + "▁клиен та", + "▁клиент а", + "▁M os", + "▁Mo s", + "▁сто ла", + "▁стол а", + "▁r ap", + "▁ra p", + "▁ rap", + "ab les", + "able s", + "abl es", + "▁S S", + "▁ SS", + "▁d ire", + "▁di re", + "▁принима ют", + "образи е", + "▁те сто", + "▁тест о", + "▁реши тельно", + "▁но вому", + "▁ново му", + "▁новом у", + "▁ новому", + "▁вы числи", + "▁комп енса", + "▁компе нса", + "▁ко мите", + "▁коми те", + "▁c le", + "▁cl e", + "▁ cle", + "▁вол ну", + "▁волн у", + "▁коман довал", + "▁командова л", + "ми та", + "мит а", + "▁созна нии", + "▁су дно", + "▁суд но", + "▁бо льного", + "▁боль ного", + "▁больно го", + "ре ли", + "▁pro posed", + "▁propos ed", + "▁об щины", + "▁общи ны", + "▁общ ины", + "▁общин ы", + "▁мар кет", + "Е К", + "▁ду ш", + "▁ душ", + "▁государ ством", + "▁государство м", + "▁государств ом", + "▁и ко", + "▁А га", + "▁ча стях", + "▁част ях", + "▁час тях", + "▁по няли", + "▁поня ли", + "▁понял и", + "▁пон яли", + "▁на гля", + "▁наг ля", + "▁потреб ность", + "ча м", + "ч ам", + "▁реда ктор", + "▁редак тор", + "▁обо йти", + "▁обой ти", + "▁proble m", + "ist an", + "ista n", + "▁O l", + "▁практи ку", + "▁прак тику", + "▁предприя тие", + "▁Л ав", + "▁Ла в", + "ча ются", + "чают ся", + "▁За пада", + "▁Запад а", + "▁Запа да", + "ну ло", + "нул о", + "▁описы вает", + "▁ко жу", + "▁чита теля", + "▁до клад", + "▁докла д", + "▁док лад", + "▁Ре чь", + "▁про теста", + "▁проте ста", + "▁протест а", + "▁полу чится", + "▁получи тся", + "▁получит ся", + "▁колле ги", + "▁коллег и", + "▁ч тения", + "▁чте ния", + "ба т", + "б ат", + "▁ко жа", + "▁Нидер лан", + "р ная", + "▁S pe", + "▁Sp e", + "▁ф лан", + "▁фла н", + "▁веду щих", + "ма м", + "м ам", + "▁ли деров", + "▁лидер ов", + "▁лиде ров", + "▁гла вная", + "▁глав ная", + "▁способ ствует", + "▁пере воде", + "▁перево де", + "▁перевод е", + "\". [", + "\" .[", + "▁во зме", + "▁воз ме", + "▁F re", + "▁Про фе", + "▁de ep", + "▁P re", + "▁Pr e", + "▁Г У", + "▁ ГУ", + "▁е хать", + "▁еха ть", + "▁ ехать", + "▁bl ood", + "логи ческих", + "▁тот час", + "г р", + "▁голо сом", + "▁голос ом", + "▁голосо м", + "▁se a", + "▁воспомина ния", + "▁film s", + "▁fil ms", + "▁э го", + "но вей", + "нов ей", + "нове й", + "▁меха низма", + "▁механи зма", + "▁механизм а", + "▁истори ческого", + "пол номо", + "▁p ick", + "▁си льным", + "▁силь ным", + "▁высо та", + "▁демон стра", + "▁при говор", + "▁пригово р", + "▁приго вор", + "( '", + "фра н", + "ф ран", + "▁Оль га", + "▁покло н", + "▁во йн", + "▁вой н", + "шн и", + "ш ни", + "▁S un", + "▁Su n", + "▁ме ню", + "▁мен ю", + "▁спи ска", + "▁ком пе", + "▁комп е", + "▁Д жек", + "▁Дж ек", + "▁Дже к", + "▁min or", + "▁p sych", + "▁compet ition", + "▁d epend", + "▁de pend", + "▁dep end", + "▁сдела ла", + "▁сделал а", + "▁сдел ала", + "▁способ но", + "▁д ала", + "▁да ла", + "▁дал а", + "▁ дала", + "▁массо вой", + "ск ре", + "с кре", + "▁pl ans", + "▁plan s", + "▁Бы ла", + "▁Был а", + "en ty", + "ent y", + "вле нная", + "влен ная", + "в ленная", + "▁w alk", + "▁полно цен", + "▁m om", + "▁дви гаться", + "▁двига ться", + "но ра", + "нор а", + "▁beh av", + "▁жерт в", + "▁m ale", + "▁д не", + "▁ дне", + "▁ch ief", + "▁обстоятельства х", + "▁Ав стрии", + "бы л", + "▁w ide", + "▁wid e", + "▁ wide", + "▁бе рет", + "▁бере т", + "▁бер ет", + "со зда", + "▁про чим", + "▁прочи м", + "▁проч им", + "▁дополни тельных", + "▁M ill", + "▁Mil l", + "▁рабо тах", + "▁работа х", + "гна ть", + "▁об щую", + "▁общ ую", + "ко ву", + "ков у", + "▁а трибу", + "▁вос точной", + "▁восто чной", + "▁ восточной", + "из о", + "и зо", + "▁зву ки", + "▁звук и", + "си ло", + "сил о", + "ко ри", + "кор и", + "к ори", + "но р", + "н ор", + "▁дви жений", + "▁B rown", + "▁Bro wn", + "▁Br own", + "be d", + "b ed", + "▁по чет", + "▁поч ет", + "▁поче т", + "▁и зя", + "▁из я", + "▁ле чение", + "ut ch", + "зе нта", + "зен та", + "з ента", + "▁order ed", + "▁ord ered", + "▁spec ific", + "му а", + "м уа", + "▁s hips", + "▁sh ips", + "▁ship s", + "▁про дю", + "▁прод ю", + "▁so ft", + "▁ soft", + "▁вы рос", + "▁выро с", + "▁выр ос", + "▁си льное", + "▁сильно е", + "▁силь ное", + "ре нного", + "рен ного", + "ренно го", + "вно му", + "в ному", + "▁анг ло", + "▁ан гло", + "▁англ о", + "ти п", + "▁ра спа", + "▁рас па", + "ме ха", + "м еха", + "▁ли хо", + "в ных", + "▁Ново сибир", + "▁ры но", + "пле ние", + "п ление", + "▁захва ты", + "▁захват ы", + "▁прось бой", + "ши ны", + "шин ы", + "ш ины", + "ra s", + "r as", + "ac ing", + "a cing", + "▁по езда", + "▁поезд а", + "▁поез да", + "▁пое зда", + "▁бес созна", + "▁бессо зна", + "же р", + "ж ер", + "▁из ъя", + "▁изъ я", + "▁п род", + "▁про д", + "▁пр од", + "▁при знание", + "▁призна ние", + "f it", + "▁то ка", + "▁ток а", + "▁ тока", + "▁дей ствием", + "▁действи ем", + "▁действие м", + "▁L ord", + "▁Lo rd", + "▁особы й", + "▁с ани", + "▁са ни", + "▁сан и", + "▁С тан", + "▁Ста н", + "▁Ст ан", + "▁ди стан", + "▁дис тан", + "▁pl at", + "ре ть", + "рет ь", + "р еть", + "▁су дна", + "▁суд на", + "▁по пали", + "▁попа ли", + "▁попал и", + "▁поп али", + "▁ци линд", + "▁Ви ди", + "▁Вид и", + "B A", + "l a", + "▁вне шнего", + "▁внеш него", + "▁внешне го", + "▁не пол", + "▁непо л", + "▁кли ент", + "▁клиен т", + "▁жен щину", + "▁женщи ну", + "▁женщин у", + "се риа", + "▁па рк", + "▁пар к", + "▁рус ская", + "▁Со ответ", + "▁B oard", + "▁Bo ard", + "▁исследова тели", + "▁X III", + "▁XI II", + "▁XII I", + "▁су щность", + "▁сущ ность", + "▁чле нами", + "▁члена ми", + "▁членам и", + "▁ле к", + "▁л ек", + "▁ лек", + "ко то", + "кот о", + "Е Й", + "▁соста вила", + "▁состав ила", + "▁составил а", + "▁Brit ain", + "▁принима ли", + "▁принимал и", + "▁вы шед", + "▁выше д", + "ме ны", + "мен ы", + "▁министер ства", + "▁Dem ocr", + "д зи", + "▁хоро шего", + "▁поо щ", + "ве ду", + "вед у", + "▁R os", + "▁Ro s", + "▁S ur", + "▁Su r", + "▁извест ным", + "▁известны м", + "▁изве стным", + "▁Jew ish", + "▁L ake", + "▁La ke", + "зы ка", + "N A", + "▁Анато лий", + "▁рас пада", + "▁распа да", + "▁ди зай", + "▁диза й", + "▁M ore", + "▁Mor e", + "▁Mo re", + "▁com mit", + "▁comm it", + "▁cit iz", + "▁Russ ia", + "▁Mart in", + "ве е", + "би тра", + "бит ра", + "▁зако ну", + "▁закон у", + "▁зак ону", + "▁счита я", + "▁У ча", + "▁Уч а", + "▁пи ро", + "▁пир о", + "▁экспер ти", + "▁ре же", + "▁Б ара", + "▁Ба ра", + "▁Бар а", + "▁по га", + "▁да та", + "▁дат а", + "▁про смо", + "▁прос мо", + "▁да ст", + "▁Не льзя", + "▁continu e", + "▁contin ue", + "▁телеви зион", + "▁cond itions", + "▁condition s", + "▁con fl", + "▁conf l", + "▁из делия", + "▁изде лия", + "▁издели я", + "жи на", + "жин а", + "ж ина", + "▁кора бле", + "▁m ind", + "▁min d", + "▁mi nd", + "ре к", + "р ек", + "▁el se", + "ue en", + "u een", + "ri g", + "r ig", + "▁p il", + "▁от дал", + "▁отда л", + "▁понима ют", + "▁понимаю т", + "▁эффек тивности", + "▁эффектив ности", + "▁эффективно сти", + "▁к аль", + "▁ка ль", + "▁бы ст", + "▁американ ские", + "▁америка нские", + "▁ва жную", + "▁важ ную", + "▁еди ниц", + "▁едини ц", + "▁до пу", + "▁маль чи", + "об а", + "о ба", + "не сения", + "несе ния", + "▁Бела ру", + "▁компью тера", + "▁компьютер а", + "▁de part", + "▁dep art", + "▁полу чение", + "жё нных", + "жён ных", + "ж ённых", + "in gu", + "ing u", + "К И", + "▁разви тием", + "▁развитие м", + "▁а лле", + "▁ал ле", + "ма ном", + "ман ом", + "▁ку би", + "▁го мо", + "▁med ical", + "▁s ays", + "▁say s", + "▁Институ та", + "▁Институт а", + "▁схе мы", + "▁сх емы", + "а п", + "sh ip", + "s hip", + "▁се дь", + "▁сед ь", + "же нное", + "жен ное", + "женно е", + "▁Д она", + "▁До на", + "▁Дон а", + "▁де пре", + "▁В ходит", + "▁вы делить", + "▁выде лить", + "▁выдели ть", + "co l", + "c ol", + "▁подро ст", + "▁социаль ные", + "▁соци альные", + "▁х ристи", + "▁воспита ния", + "охра ни", + "о храни", + "▁вели ких", + "▁велик их", + "▁о бря", + "▁об ря", + "▁b omb", + "▁bo mb", + "▁выз ван", + "▁вызва н", + "▁bel ow", + "▁оде жду", + "▁M ur", + "▁Mu r", + "▁в етра", + "▁ве тра", + "▁вет ра", + "стро ить", + "строи ть", + "▁ак кура", + "▁акку ра", + "зи с", + "з ис", + "▁рай оны", + "▁район ы", + "▁граду сов", + "ar ian", + "ari an", + "aria n", + "a rian", + "▁во зна", + "▁воз на", + "мер ть", + "▁V III", + "▁VI II", + "▁VII I", + "рно е", + "р ное", + "▁по лё", + "▁пол ё", + "▁зага до", + "▁B ank", + "▁с клад", + "▁ск лад", + "▁скла д", + "▁неме цкие", + "▁немец кие", + "▁we ap", + "▁не движи", + "ле вой", + "лев ой", + "л евой", + "ul f", + "▁по йдет", + "▁пой дет", + "ex t", + "e xt", + "or al", + "ora l", + "o ral", + "▁обнаружи ть", + "▁обнару жить", + "▁предме том", + "▁предмет ом", + "▁раз ума", + "▁разу ма", + "▁разум а", + "▁m arriage", + "▁кар дина", + "▁offic ers", + "▁officer s", + "▁r i", + "▁ ri", + "▁ar ran", + "▁arr an", + "▁промежу то", + "▁под нять", + "▁подня ть", + "▁опти ма", + "▁са хара", + "▁саха ра", + "▁сахар а", + "▁sc ene", + "▁Ко лум", + "▁Кол ум", + "Т И", + "▁о же", + "▁проек ту", + "▁проект у", + "▁же нился", + "▁жен ился", + "▁жени лся", + "▁ос новой", + "▁основ ой", + "▁осно вой", + "▁осново й", + "▁Вели кий", + "▁использова лись", + "▁использовали сь", + "de n", + "d en", + "де ление", + "деле ние", + "▁Есте ственно", + "▁да вали", + "▁дав али", + "▁давал и", + "▁да ёт", + "▁com ment", + "▁comm ent", + "▁бес смысле", + "▁бесс мысле", + "▁клю ч", + "▁ро до", + "▁род о", + "▁р одо", + "▁учеб ных", + "▁Яро слав", + "▁Яросла в", + "▁ли ний", + "▁ту ман", + "ль тра", + "льт ра", + "au d", + "a ud", + "▁high est", + "▁hig hest", + "▁осторо жно", + "▁C arl", + "▁Car l", + "n o", + "▁ожида ть", + "▁ожи дать", + "▁Лон дон", + "П К", + "▁m iddle", + "at ively", + "ative ly", + "▁П рак", + "▁Пра к", + "ди к", + "▁нав стречу", + "▁моде лей", + "▁зем ной", + "▁кон вер", + "ру ющие", + "рую щие", + "аль ной", + "ально й", + "а льной", + "ic ient", + "▁man agement", + "▁manag ement", + "▁со чув", + "▁Бер лине", + "▁Берлин е", + "▁и зд", + "▁из д", + "▁двор ца", + "▁у пал", + "▁упа л", + "▁поддержи вает", + "▁P an", + "са л", + "с ал", + "▁Геор гий", + "▁Георги й", + "▁бе жать", + "▁вы р", + "▁говори ла", + "▁говорил а", + "▁говор ила", + "▁гово рила", + "▁аль бом", + "▁альбо м", + "▁двига тель", + "▁непре менно", + "▁пи сем", + "▁бак тери", + "▁твор чество", + "C C", + "▁зе ни", + "in ct", + "inc t", + "▁пре небре", + "▁са мыми", + "▁самы ми", + "▁самым и", + "▁с пер", + "▁спе р", + "▁совер ши", + "▁пей за", + "▁Ис тори", + "▁Исто ри", + "▁учили ща", + "▁зву чит", + "▁pres ented", + "▁present ed", + "▁авто рите", + "▁автори те", + "▁О преде", + "▁n ames", + "▁name s", + "▁го рах", + "▁гора х", + "▁ба шни", + "▁баш ни", + "▁вер сию", + "▁верси ю", + "▁ро ты", + "▁рот ы", + "▁э тни", + "▁М ур", + "▁Му р", + "ск лю", + "с клю", + "▁R o", + "▁вы воды", + "▁выво ды", + "▁вывод ы", + "▁опыт ом", + "▁опы том", + "▁оста вались", + "ли с", + "л ис", + "▁ин туи", + "▁c ell", + "▁ce ll", + "▁ cell", + "▁неф тя", + "▁кра ю", + "▁S il", + "▁Si l", + "▁За слу", + "чко м", + "ч ком", + "тера тур", + "▁b rief", + "▁br ief", + "▁за меня", + "▁заме ня", + "▁зам еня", + "T P", + "▁при ложений", + "▁футбо ли", + "▁фут боли", + "▁футбол и", + "▁необходи мым", + "▁необходимы м", + "▁по слан", + "▁пос лан", + "▁посла н", + "▁десяти летия", + "▁десятиле тия", + "▁Е льци", + "▁F lor", + "▁Fl or", + "▁кру га", + "▁круг а", + "ro r", + "r or", + "▁с сыла", + "▁ссы ла", + "▁пожалуй ста", + "▁Cl ass", + "▁leg isl", + "▁раз мно", + "li b", + "l ib", + "▁до воль", + "▁дово ль", + "▁ доволь", + "▁Афри ке", + "▁Аф рике", + "▁пы таясь", + "▁пыта ясь", + "▁Ве роятно", + "▁погиб ших", + "▁Иоан на", + "▁Иоанн а", + "▁до хода", + "▁доход а", + "▁сло жные", + "▁с ъем", + "▁съ ем", + "▁съе м", + "ound s", + "N o", + "▁пере хва", + "▁ведом ства", + "▁result s", + "▁Тру да", + "▁тю рем", + "ми й", + "ви чем", + "вич ем", + "ia nt", + "ian t", + "i ant", + "▁до ми", + "▁дом и", + "▁о правда", + "▁оп равда", + "▁оправ да", + "▁продол жил", + "▁продолжи л", + "▁Оче видно", + "ро валось", + "рова лось", + "ровало сь", + "▁Финля ндии", + "▁заня тий", + "▁реб ён", + "▁Извест но", + "▁мя са", + "▁мяс а", + "▁д ок", + "▁до к", + "▁ док", + "м бу", + "▁то чке", + "▁точ ке", + "▁дву м", + "▁вы тес", + "▁go als", + "▁goal s", + "▁НК ВД", + "▁про спек", + "▁М ая", + "▁Ма я", + "▁дра мати", + "▁драма ти", + "▁обстанов ке", + "ме и", + "▁пре стол", + "▁престо л", + "дер жки", + "держ ки", + "▁не ле", + "ст рова", + "стро ва", + "стров а", + "д ня", + "▁сы новей", + "▁сынов ей", + "жерт во", + "жер тво", + "▁Ат ланти", + "▁У м", + "▁in te", + "▁int e", + "▁кон тей", + "▁бе лого", + "▁бело го", + "ма нской", + "ман ской", + "▁ма лых", + "▁малы х", + "▁се г", + "ат ра", + "атр а", + "а тра", + "вшем ся", + "ке ра", + "кер а", + "к ера", + "▁При нима", + "▁до во", + "▁ дово", + "▁I reland", + "ric ult", + "▁служ ба", + "▁служб а", + "▁ служба", + "ви лось", + "вило сь", + "▁Canad ian", + "▁послед нем", + "▁А нны", + "▁Ан ны", + "▁h undred", + "▁agre ed", + "▁mag azine", + "▁Т вер", + "▁рус ско", + "полков ник", + "▁последова тельно", + "▁По льше", + "▁Поль ше", + "▁про дав", + "▁прода в", + "▁прод ав", + "Ди на", + "Д ина", + "Е Д", + "ra te", + "rat e", + "r ate", + "▁ли тов", + "▁на строение", + "▁настрое ние", + "▁p rop", + "▁pro p", + "▁pr op", + "▁h ands", + "▁hand s", + "ad y", + "▁dis play", + "▁disp lay", + "▁фами лии", + "▁Григо рий", + "▁ко али", + "▁преимуще ства", + "▁оцен ку", + "▁оце нку", + "me t", + "m et", + "▁с еры", + "▁се ры", + "▁сер ы", + "▁ серы", + "ди ло", + "дил о", + "et her", + "eth er", + "e ther", + "ти лось", + "тило сь", + "▁M ot", + "▁Mo t", + "▁Ме то", + "▁Мет о", + "кон тро", + "▁ла уре", + "▁u t", + "▁ ut", + "▁останови ть", + "▁останов ить", + "▁остано вить", + "сло вия", + "слови я", + "восто ке", + "восток е", + "▁ло б", + "▁л об", + "▁дума ет", + "ic an", + "ica n", + "i can", + "ци онеров", + "цио неров", + "ционе ров", + "ционер ов", + "во и", + "▁Car ol", + "▁Ca rol", + "зи ей", + "▁апо сто", + "▁Свя той", + "▁Свято й", + "▁K e", + "тко м", + "тк ом", + "т ком", + "▁любо вью", + "▁любовь ю", + "▁любов ью", + "▁ч ерт", + "▁че рт", + "▁чер т", + "▁то вара", + "▁това ра", + "▁товар а", + "E D", + "▁обы чных", + "▁sc reen", + "▁n ation", + "▁P ublic", + "́ р", + "▁фак тов", + "▁факт ов", + "▁основ ная", + "▁осно вная", + "▁на бира", + "▁наби ра", + "▁состоя лось", + "▁состояло сь", + "ль и", + "л ьи", + "en es", + "ene s", + "e nes", + "▁сто лом", + "▁стол ом", + "▁столо м", + "▁ста били", + "▁стаби ли", + "▁с фе", + "▁сф е", + "▁опубли ковал", + "▁опублико вал", + "▁опубликова л", + "▁наказа ние", + "▁Ч ет", + "▁Че т", + "сс ор", + "ссо р", + "с сор", + "▁ч лена", + "▁чле на", + "▁член а", + "▁зам кну", + "рав ни", + "ти зм", + "т изм", + "▁пехо ты", + "▁e ss", + "▁es s", + "▁ ess", + "▁s al", + "▁обо га", + "▁учиты вать", + "▁дей ствуют", + "▁действу ют", + "ia s", + "i as", + "зи ра", + "тре ть", + "тр еть", + "трет ь", + "т реть", + "ству я", + "▁эта па", + "▁этап а", + "▁против ник", + "▁с держа", + "▁уча стки", + "▁участ ки", + "лле ра", + "лл ера", + "ллер а", + "л лера", + "ра ль", + "рал ь", + "р аль", + "▁О каза", + "▁The ir", + "▁мини стров", + "▁министр ов", + "ac he", + "ach e", + "a che", + "ко лов", + "коло в", + "кол ов", + "▁парт нера", + "▁партнер а", + "▁го дам", + "▁года м", + "▁год ам", + "▁про ле", + "▁пр оле", + "дно му", + "дном у", + "д ному", + "▁ш ля", + "▁Г ам", + "▁Га м", + "▁ри туа", + "▁рит уа", + "▁внутрен ние", + "▁соб ственным", + "▁собствен ным", + "▁ва жный", + "▁важ ный", + "▁важны й", + "▁d ed", + "▁de d", + "▁встре тил", + "▁D ev", + "▁De v", + "▁одинако во", + "▁зву ча", + "▁у ехал", + "▁объ ё", + "▁targ et", + "т с", + "▁ран них", + "▁в ред", + "▁вре д", + "▁вр ед", + "▁squ ad", + "▁ф ре", + "▁ фре", + "▁д ар", + "▁да р", + "▁ дар", + "▁Мар га", + "▁при меры", + "▁пример ы", + "▁приме ры", + "▁прим еры", + "ат р", + "а тр", + "зе л", + "▁) .", + "▁ ).", + "▁O f", + "▁раз ъяс", + "▁разъ яс", + "▁За паде", + "▁Запад е", + "▁Запа де", + "▁особенно стей", + "▁особен ностей", + "▁вы числе", + "▁ак тер", + "▁акт ер", + "▁пре мию", + "▁пара ш", + "▁вы зо", + "▁выз о", + "▁V er", + "▁Ve r", + "▁окре стно", + "де нием", + "дение м", + "▁d omin", + "▁do min", + "▁dom in", + "ней шим", + "▁фи ло", + "▁На пом", + "▁сте не", + "▁стен е", + "▁бра тья", + "▁брат ья", + "▁брать я", + "же нности", + "жен ности", + "женно сти", + "▁от се", + "▁отс е", + "for t", + "f ort", + "ys is", + "▁километ рах", + "▁километра х", + "▁пере ходит", + "▁переход ит", + "▁И бо", + "▁сту дии", + "▁х уд", + "▁ху д", + "▁ худ", + "▁нор м", + "▁у совершен", + "ил л", + "и лл", + "▁нес правед", + "ле нным", + "лен ным", + "▁противоре чи", + "▁un s", + "▁u ns", + "▁фоль кло", + "▁Mex ico", + "▁последу ющие", + "▁M o", + "▁си га", + "▁let ter", + "▁особ ых", + "▁особы х", + "Ка р", + "К ар", + "▁Sec ret", + "нин град", + "нинг рад", + "▁А ристо", + "▁Ар исто", + "▁in come", + "▁inc ome", + "▁Sc ience", + "▁С тив", + "▁Ст ив", + "▁Сти в", + "▁инициа тиве", + "ди но", + "дин о", + "д ино", + "▁подо шел", + "▁Ка кой", + "▁Как ой", + "▁при чём", + "▁l ink", + "▁пробле мой", + "▁проблем ой", + "ven tion", + "vent ion", + "v ention", + "па нию", + "▁содержи тся", + "▁содержит ся", + "▁immedi ately", + "▁са по", + "▁D ef", + "▁De f", + "▁c ounter", + "▁count er", + "▁coun ter", + "▁att ention", + "▁Среди зем", + "цион ными", + "цио нными", + "ционным и", + "▁Юго сла", + "▁Х ол", + "▁Хо л", + "▁в скры", + "▁вс кры", + "▁обсу ждения", + "▁пес ню", + "дь ба", + "д ьба", + "▁d ram", + "▁dr am", + "▁dra m", + "▁И зо", + "▁Из о", + "pe ror", + "per or", + "ф ре", + "▁устано влена", + "▁установ лена", + "▁установлен а", + "сь е", + "с ье", + "▁е ды", + "▁ед ы", + "an ced", + "ance d", + "anc ed", + "▁ребя та", + "▁ребят а", + "▁да вал", + "▁дав ал", + "▁ра стет", + "▁рас тет", + "▁расте т", + "▁раст ет", + "▁in side", + "▁ins ide", + "эф фек", + "э ффек", + "▁смо жете", + "▁сможет е", + "▁In c", + "то не", + "тон е", + "т оне", + "▁опера цию", + "▁арти ст", + "▁арт ист", + "▁мат чах", + "▁матча х", + "▁слу жат", + "▁служ ат", + "▁служа т", + "▁Ро жде", + "▁ме стной", + "▁мест ной", + "ска ть", + "с кать", + "рен ко", + "р енко", + "▁высо той", + "▁Te chn", + "▁ка меры", + "▁кам еры", + "▁камер ы", + "▁каме ры", + "▁вы вода", + "▁выво да", + "▁вывод а", + "ко вое", + "ков ое", + "ково е", + "▁Д ве", + "ве м", + "в ем", + "по ро", + "пор о", + "▁в начале", + "▁Свя то", + "▁за пах", + "▁запа х", + "▁до ходов", + "▁доход ов", + "▁Д ви", + "Ал ь", + "А ль", + "▁j ournal", + "▁сель ское", + "▁о ку", + "▁ок у", + "bo n", + "b on", + "▁us es", + "▁use s", + "▁u ses", + "▁ uses", + "▁уча ствовали", + "▁участвовал и", + "▁кла ссо", + "▁класс о", + "ba n", + "b an", + "▁чита телей", + "▁E duc", + "▁Ed uc", + "▁Ма ть", + "▁Мат ь", + "F A", + "▁обви ня", + "ли о", + "▁на ход", + "▁ви дите", + "▁види те", + "▁видит е", + "▁Екатери на", + "▁Екатерин а", + "▁Спа сибо", + "▁Спаси бо", + "▁объяс нения", + "▁ме нять", + "▁меня ть", + "▁мен ять", + "▁ менять", + "та ют", + "▁direct ly", + "▁исполь зоваться", + "▁использова ться", + "▁использовать ся", + "▁у ха", + "▁пере кры", + "os oph", + "▁sh oot", + "ще йся", + "щей ся", + "▁I T", + "▁ IT", + "▁А рка", + "▁Ар ка", + "▁oper ation", + "ко вской", + "ков ской", + "▁мо жешь", + "▁Пав лов", + "▁in sp", + "▁ins p", + "▁млад ен", + "▁мла ден", + "▁s ens", + "▁se ns", + "▁sen s", + "▁да нными", + "▁дан ными", + "▁данным и", + "▁un ivers", + "lo r", + "l or", + "▁До ма", + "▁Дом а", + "▁осуществ ления", + "▁subsequ ently", + "▁subsequent ly", + "▁У казом", + "п лю", + "▁акт риса", + "▁актри са", + "ну тся", + "нут ся", + "▁rem aining", + "▁remain ing", + "▁ре шено", + "▁реше но", + "ip s", + "i ps", + "▁окра и", + "▁от дельный", + "▁отде льный", + "▁отдель ный", + "▁l atter", + "▁lat ter", + "▁утвер ждение", + "▁четвер ть", + "▁иг нори", + "▁про шу", + "▁прош у", + "то л", + "т ол", + "▁извест на", + "▁не жела", + "▁гла вные", + "▁глав ные", + "▁государ ственные", + "▁государстве нные", + "▁кад ров", + "▁кадро в", + "▁H ot", + "▁Ho t", + "▁ви нтов", + "▁вин тов", + "ск ет", + "ске т", + "с кет", + "V D", + "▁руко водил", + "▁руковод ил", + "▁руководи л", + "б р", + "▁law s", + "ло не", + "лон е", + "л оне", + "▁прибы ль", + "▁прибыл ь", + "лли н", + "лл ин", + "л лин", + "те лях", + "теля х", + "тел ях", + "хо тя", + "хот я", + "▁S ol", + "▁So l", + "▁к рем", + "▁кре м", + "▁кр ем", + "▁me chan", + "ги ми", + "гим и", + "г ими", + "▁удовлет воря", + "▁удовлетво ря", + "ев ро", + "е вро", + "▁cont act", + "▁плю с", + "щего ся", + "▁F estival", + "▁Спо соб", + "▁пом нить", + "▁помнит ь", + "▁L u", + "▁за дания", + "▁зада ния", + "▁требования м", + "▁хва тало", + "▁состоя ла", + "▁состоял а", + "▁It aly", + "▁Ital y", + "▁соеди нений", + "ur ies", + "u ries", + "ac hes", + "ach es", + "ache s", + "a ches", + "▁О ОО", + "▁соору жения", + "▁э мигра", + "▁эми гра", + "▁эм игра", + "▁С ме", + "▁См е", + "▁сти хов", + "сс ен", + "ссе н", + "с сен", + "▁sur face", + "▁конкре тных", + "▁ули ц", + "ст ными", + "стным и", + "с тными", + "ре гули", + "▁ф ана", + "▁фа на", + "▁ фана", + "▁most ly", + "▁про пуска", + "▁пропу ска", + "▁пропуск а", + "w rit", + "▁д лины", + "▁дли ны", + "▁длин ы", + "▁С в", + "▁раз ница", + "▁про ходя", + "▁проход я", + "▁прохо дя", + "▁бес смер", + "▁бесс мер", + "al se", + "als e", + "сс кую", + "с скую", + "▁та кому", + "▁таком у", + "▁ву лка", + "▁це лое", + "▁цело е", + "▁пере но", + "▁пе рено", + "w ide", + "гру зки", + "груз ки", + "▁M ass", + "▁Ma ss", + "▁Mas s", + "▁л ёт", + "▁лё т", + "▁ лёт", + "▁поезд ки", + "▁поез дки", + "▁бух гал", + "▁С разу", + "▁При ме", + "▁e th", + "▁et h", + "▁ eth", + "ди тель", + "дите ль", + "emb ly", + "▁й о", + "▁ йо", + "▁десяти ле", + "жа х", + "за р", + "з ар", + "▁re cent", + "▁rec ent", + "▁rece nt", + "ви цы", + "виц ы", + "▁вело сипе", + "▁art ists", + "▁artist s", + "▁Лю дови", + "▁b ad", + "▁возгла влял", + "▁возглавля л", + "▁вер нулись", + "▁верну лись", + "▁ли чных", + "im um", + "▁A PI", + "▁ле со", + "▁лес о", + "▁ре стора", + "▁ресто ра", + "▁по род", + "▁пор од", + "▁поро д", + "бе рта", + "бер та", + "берт а", + "▁име ющих", + "▁имею щих", + "▁п оте", + "▁по те", + "▁ поте", + "ща лась", + "щала сь", + "▁высо кую", + "▁присут ствии", + "▁Фи льм", + "▁с ан", + "▁са н", + "▁ сан", + "▁прави лам", + "▁правила м", + "▁правил ам", + "▁подума ть", + "▁поду мать", + "▁строи тельстве", + "▁послед няя", + "▁в зо", + "▁вз о", + "▁ взо", + "▁separ ate", + "▁обя заны", + "▁обяза ны", + "▁обязан ы", + "▁э ли", + "▁ эли", + "же нными", + "жен ными", + "женным и", + "▁ ult", + "▁присут ствует", + "▁ле чеб", + "▁О си", + "▁Ос и", + "▁все возмо", + "▁Евро пу", + "▁при тя", + "▁прит я", + "▁от пу", + "тчи к", + "т чик", + "▁K h", + "▁op port", + "ет у", + "е ту", + "▁Пло щадь", + "▁О С", + "▁ ОС", + "▁о кеан", + "▁оке ан", + "▁океа н", + "▁ океан", + "▁неу доб", + "ast ic", + "▁иг рока", + "▁игро ка", + "▁игрок а", + "um ber", + "umb er", + "u mber", + "▁По ля", + "▁Пол я", + "гота вли", + "▁S k", + "май ор", + "▁сце ну", + "▁сцен у", + "▁соб ственное", + "▁собствен ное", + "▁собственно е", + "▁ли цу", + "▁лиц у", + "▁С обра", + "▁Со бра", + "▁Соб ра", + "▁мо шен", + "ic ted", + "ict ed", + "▁t ried", + "▁tr ied", + "▁tri ed", + "▁init ial", + "▁initi al", + "▁A dd", + "▁Ad d", + "▁ч ьи", + "▁чь и", + "▁ чьи", + "шны е", + "ш ные", + "▁С О", + "▁ СО", + "▁след ствия", + "▁страте гии", + "▁стратеги и", + "▁est im", + "▁к рю", + "▁кр ю", + "▁вели кой", + "▁велико й", + "▁велик ой", + "▁сер жа", + "▁переу лок", + "ке до", + "▁во сток", + "▁вос ток", + "▁восто к", + "▁ восток", + "▁кам ни", + "▁в хода", + "▁вход а", + "▁d rug", + "▁dr ug", + "▁work ers", + "▁муниципа льного", + "iv ity", + "▁высо кая", + "▁U p", + "▁про водит", + "▁проводи т", + "▁прово дит", + "▁провод ит", + "▁по служи", + "▁послу жи", + "▁ру ба", + "▁руб а", + "хо дим", + "ходи м", + "ход им", + "er em", + "ere m", + "e rem", + "▁про кля", + "▁кон со", + "U R", + "▁а деква", + "▁писа ли", + "▁писал и", + "▁юно ше", + "▁offic er", + "▁office r", + "▁Север ного", + "▁услови и", + "▁An n", + "▁ста вит", + "▁став ит", + "▁город ских", + "▁Б ей", + "▁Бе й", + "ха й", + "х ай", + "▁сы нов", + "▁сын ов", + "v a", + "▁B oth", + "▁Bo th", + "▁занима лись", + "▁занимали сь", + "▁бу дешь", + "▁буд ешь", + "▁стра ниц", + "▁объяс няется", + "▁объясняет ся", + "▁у пре", + "▁En ter", + "▁находи лось", + "▁ли нгви", + "но логии", + "нологи и", + "н ологии", + "▁al tern", + "▁alt ern", + "▁бри гада", + "▁брига да", + "ка с", + "к ас", + "▁жерт вы", + "▁жертв ы", + "▁вра чей", + "▁врач ей", + "▁про рабо", + "▁продол жение", + "▁коми ссия", + "▁секу нду", + "▁секун ду", + "▁секунд у", + "▁объек том", + "▁объект ом", + "▁журна лист", + "▁журнали ст", + "▁журнал ист", + "▁ind ic", + "▁добро де", + "▁доб роде", + "▁восста ние", + "▁ря ду", + "▁ряд у", + "▁ ряду", + "▁кра са", + "▁ann ual", + "▁принци пов", + "▁принцип ов", + "▁о хран", + "▁охра н", + "▁ох ран", + "▁по лет", + "▁пол ет", + "▁поле т", + "▁Раз ви", + "▁ко опера", + "▁сне г", + "▁впечат ления", + "▁direct ed", + "▁И ТАР", + "▁ИТ АР", + "▁ ИТАР", + "мини стр", + "▁пор трет", + "▁портре т", + "▁порт рет", + "te en", + "t een", + "▁по сты", + "▁пос ты", + "▁пост ы", + "▁И зда", + "▁Из да", + "▁Геор ги", + "ту ро", + "тур о", + "рь ю", + "р ью", + "п ча", + "▁тюрь мы", + "▁В ра", + "ля ются", + "ляют ся", + "▁послед нюю", + "▁пара метров", + "▁парамет ров", + "▁параметр ов", + "is ation", + "▁cent re", + "▁лейте нан", + "▁ лейтенан", + "▁о тор", + "▁от ор", + "▁ото р", + "▁fam ous", + "▁россий ские", + "el la", + "ell a", + "▁L iber", + "▁Li ber", + "се ра", + "сер а", + "с ера", + "▁п лав", + "▁пла в", + "▁к римина", + "▁кри мина", + "▁т уа", + "▁ту а", + "▁ туа", + "▁осу жден", + "▁К ГБ", + "▁прид вор", + "▁Раз рабо", + "▁се стры", + "Йор ке", + "Йорк е", + "▁мета ллу", + "▁метал лу", + "▁металл у", + "▁помо г", + "▁от ступа", + "▁отступ а", + "▁сов пада", + "▁совпа да", + "▁Де ла", + "▁сооб щении", + "▁сообще нии", + "▁космо нав", + "мо рского", + "мор ского", + "it ude", + "ри али", + "риа ли", + "риал и", + "▁во дя", + "▁вод я", + "▁ водя", + "▁убе жден", + "▁выз вал", + "▁вызва л", + "▁внеза п", + "▁mus ical", + "▁music al", + "I M", + "▁stud io", + "i h", + "▁Ба ку", + "▁Бак у", + "ri ed", + "rie d", + "r ied", + "▁превра щается", + "▁ро дину", + "▁роди ну", + "▁чув ствует", + "▁чувству ет", + "▁утвер ждения", + "▁по лку", + "▁пол ку", + "▁полк у", + "вшими ся", + "те льской", + "тель ской", + "▁д ура", + "▁ду ра", + "▁ дура", + "▁p ack", + "▁Ри ма", + "▁Рим а", + "▁герцо г", + "▁col lect", + "▁coll ect", + "▁colle ct", + "▁понедель ник", + "▁re ally", + "▁real ly", + "▁все мир", + "▁всем ир", + "▁всеми р", + "▁вспо мога", + "▁живо тное", + "▁живот ное", + "▁животно е", + "▁изба виться", + "йс я", + "й ся", + "▁име ющие", + "▁имею щие", + "ve ment", + "v ement", + "де лец", + "дел ец", + "деле ц", + "▁орга нами", + "▁органа ми", + "▁ч те", + "▁воскрес енье", + "▁одно зна", + "▁H el", + "▁He l", + "cl ass", + "▁ch ap", + "бло ки", + "▁ры бо", + "▁рыб о", + "▁в праве", + "▁S ub", + "▁Su b", + "▁sc ience", + "▁практи ка", + "▁прак тика", + "▁ро вно", + "▁ров но", + "▁с бе", + "▁тюрь ме", + "▁level s", + "ki ns", + "kin s", + "k ins", + "▁художе ственной", + "▁вели чины", + "▁величи ны", + "▁s ister", + "▁эффек тивность", + "▁эффектив ность", + "▁эффективно сть", + "▁p aper", + "ant ry", + "▁сни жение", + "▁Казах стана", + "▁Казахстан а", + "▁оп еры", + "▁опер ы", + "▁опе ры", + "ро валась", + "рова лась", + "ровала сь", + "чи сля", + "чис ля", + "▁Ш от", + "▁Шо т", + "▁reve aled", + "▁холо дной", + "▁холод ной", + "▁холодно й", + "▁мате рью", + "▁матер ью", + "▁in str", + "▁inst r", + "▁ins tr", + "сту пило", + "ступи ло", + "ступил о", + "▁запла ни", + "al and", + "ala nd", + "a land", + "П У", + "З е", + "▁м оста", + "▁мо ста", + "▁мост а", + "ра зи", + "раз и", + "▁B us", + "▁Bu s", + "▁ан сам", + "▁рас пла", + "▁иг рали", + "▁игра ли", + "▁игр али", + "▁играл и", + "▁жи ла", + "▁ж ила", + "▁жил а", + "▁т ь", + "▁ ть", + "▁за паде", + "▁запа де", + "▁запад е", + "▁ западе", + "▁pro gress", + "▁напря мую", + "тро поли", + "тропо ли", + "▁A rab", + "▁Ar ab", + "▁каби нет", + "▁кабине т", + "▁изо ли", + "▁побе да", + "▁побед а", + "▁inc or", + "▁ро дов", + "▁род ов", + "▁родо в", + "▁о пор", + "▁оп ор", + "▁опо р", + "▁специали ст", + "▁звё зд", + "▁клу бе", + "▁клуб е", + "▁кол хоз", + "▁колхо з", + "▁парамет ры", + "▁параметр ы", + "▁S aint", + "▁Sa int", + "▁совер шить", + "▁соверши ть", + "▁techn ology", + "▁призна л", + "▁приз нал", + "▁Каза лось", + "um ed", + "ume d", + "u med", + "▁па дает", + "▁пада ет", + "▁ падает", + "▁Ear th", + "▁по падает", + "▁попа дает", + "▁попада ет", + "▁неза мет", + "▁незаме т", + "▁буржу а", + "▁ре шении", + "▁реше нии", + "▁изде лий", + "▁издели й", + "▁согла сия", + "▁согласи я", + "] ;", + "▁ря ды", + "▁ряд ы", + "▁Бу лга", + "im s", + "i ms", + "▁ра стер", + "▁рас тер", + "▁расте р", + "▁раст ер", + "▁Перво начально", + "▁у ши", + "▁фина ле", + "▁финал е", + "▁фин але", + "▁превы шает", + "▁превыша ет", + "▁постоя нной", + "▁постоянно й", + "ру н", + "р ун", + "▁свобо дного", + "▁свобод ного", + "▁свободно го", + "▁B est", + "▁Be st", + "Т Р", + "о м", + "fe ct", + "f ect", + "нно стью", + "нность ю", + "н ностью", + "▁представи телями", + "▁представителя ми", + "▁спор тс", + "▁спорт с", + "▁да вайте", + "▁давай те", + "E L", + "▁ком сомо", + "▁H y", + "▁похо жи", + "▁похож и", + "▁специаль ной", + "▁специ альной", + "▁специально й", + "ми ль", + "мил ь", + "м иль", + "▁d ark", + "▁вос питы", + "▁В О", + "▁ ВО", + "▁це по", + "▁цеп о", + "т ли", + "▁стара лся", + "▁ис ключения", + "▁исклю чения", + "▁агент ство", + "ге нера", + "ген ера", + "гене ра", + "▁комму на", + "▁А у", + "▁N avy", + "▁art ist", + "▁обязан ностей", + "▁струк туре", + "▁структур е", + "▁огром ной", + "▁на бра", + "▁own ed", + "ст ое", + "сто е", + "с тое", + "▁до про", + "▁экра не", + "▁экран е", + "▁расска зы", + "▁рассказ ы", + "▁Мо ро", + "▁Мор о", + "▁re ferred", + "▁refer red", + "▁по стройки", + "▁постро йки", + "▁построй ки", + "▁appe ars", + "▁app ears", + "▁appear s", + "▁преступ лений", + "▁у чет", + "▁уче т", + "▁уч ет", + "▁си льные", + "▁силь ные", + "▁кам ня", + "▁Х ер", + "▁Хе р", + "▁с хема", + "▁схе ма", + "▁сх ема", + "▁гре б", + "▁Em pire", + "▁С К", + "▁ СК", + "▁Го рба", + "▁Гор ба", + ". '", + "▁пле мен", + "▁основ ана", + "▁основа на", + "▁осно вана", + "▁основан а", + "ст ном", + "стно м", + "с тном", + "▁сло вах", + "▁слова х", + "▁d ise", + "▁dis e", + "▁di se", + "▁еже год", + "ла дель", + "▁бук вы", + "▁букв ы", + "▁инве сто", + "▁B BC", + "▁фо нд", + "▁фон д", + "▁p ra", + "▁pr a", + "▁сель совет", + "▁сельсо вет", + "▁хоро шее", + "▁s equ", + "▁se qu", + "▁ sequ", + "▁p le", + "▁pl e", + "▁ ple", + "▁Иису са", + "▁Иисус а", + "▁Же лез", + "▁физи ологи", + "чу ть", + "чут ь", + "▁не ис", + "▁неи с", + "ми но", + "мин о", + "м ино", + "▁Пред стави", + "▁Предста ви", + "да на", + "дан а", + "д ана", + "▁в па", + "▁вы ращи", + "▁выра щи", + "▁оцен ке", + "▁оце нке", + "ли вость", + "ливо сть", + "▁s end", + "▁se nd", + "▁sen d", + "▁ка пу", + "▁кап у", + "▁беспо лез", + "▁нау чные", + "носи тся", + "нос ится", + "носит ся", + "▁дли ну", + "▁длин у", + "▁от рабо", + "▁отра бо", + "▁путеше ствие", + "▁г роб", + "▁гро б", + "▁гр об", + "▁ гроб", + "▁n omin", + "▁no min", + "▁ac adem", + "▁h ospital", + "▁W ood", + "▁B re", + "▁Br e", + "служ бе", + "▁бли ж", + "▁увели чения", + "▁увеличе ния", + "▁ви дят", + "▁вид ят", + "▁видя т", + "ко ро", + "кор о", + "▁Rec ords", + "▁e r", + "▁ er", + "▁Ки рил", + "▁Кир ил", + "▁Кири л", + "▁му же", + "▁муж е", + "▁ис чер", + "▁исче р", + "▁ста вить", + "▁став ить", + "▁ставит ь", + "▁Г роз", + "▁Гро з", + "▁Солн це", + "▁Сол нце", + "▁при меров", + "▁пример ов", + "▁приме ров", + "▁n ine", + "И Л", + "ру ем", + "▁обы чной", + "▁обычно й", + "ou ra", + "our a", + "o ura", + "▁г роз", + "▁гро з", + "▁гр оз", + "м ён", + "▁кур сы", + "▁курс ы", + "▁выяс нить", + "хт а", + "х та", + "▁древ ние", + "ar ters", + "art ers", + "arter s", + "▁Ко ль", + "▁Кол ь", + "▁отпра вил", + "▁Джор дж", + "▁coll abor", + "▁це лого", + "▁цело го", + "▁кра сный", + "▁do uble", + "▁dou ble", + "▁doub le", + "▁древ ности", + "▁в стал", + "▁вс тал", + "▁вста л", + "▁dem and", + "▁реда кции", + "▁редак ции", + "▁Об ще", + "бю ро", + "ка ции", + "к ации", + "нь и", + "н ьи", + "▁ab ility", + "▁ ability", + "▁им му", + "ж ский", + "▁iss ued", + "▁issue d", + "ad ium", + "▁м атри", + "▁ма три", + "▁мат ри", + "▁ матри", + "▁Р АН", + "▁РА Н", + "▁B ig", + "▁Bi g", + "▁це пи", + "▁цеп и", + "▁Д оба", + "▁До ба", + "▁Доб а", + "▁Необходи мо", + "▁H aw", + "▁Ha w", + "ко вич", + "кови ч", + "▁П оло", + "▁По ло", + "▁Пол о", + "▁approx imately", + "▁прия тно", + "▁прият но", + "▁и нде", + "▁ин де", + "ла гается", + "лага ется", + "▁стрелко вой", + "ти зации", + "тиза ции", + "▁де ль", + "▁дел ь", + "▁ дель", + "мо сков", + "▁Алексе я", + "▁Дума ю", + "▁само о", + "▁н ы", + "▁ ны", + "lo g", + "l og", + "▁коло нии", + "▁колони и", + "▁о ценка", + "▁оцен ка", + "▁оце нка", + "Ф А", + "ul ly", + "ull y", + "то ни", + "тон и", + "т они", + "э лектро", + "▁послед ствий", + "▁ви занти", + "сл ы", + "с лы", + "br e", + "b re", + "ob ile", + "▁кате гори", + "▁катего ри", + "▁на роды", + "▁наро ды", + "▁народ ы", + "▁тех ника", + "▁техни ка", + "ри та", + "рит а", + "▁си нх", + "с ни", + "▁путеше ствия", + "▁п рим", + "▁при м", + "▁пр им", + "▁в стречу", + "▁встре чу", + "▁встреч у", + "▁Сто ит", + "▁не види", + "▁неви ди", + "б н", + "▁ев реи", + "▁евре и", + "▁уме ет", + "▁я вился", + "▁яв ился", + "▁За нима", + "▁свиде тельства", + "▁свидетель ства", + "▁свидетельств а", + "▁re pe", + "▁rep e", + "▁т ём", + "▁тё м", + "▁парт нер", + "▁l os", + "▁lo s", + "▁инстру менты", + "▁инструмент ы", + "▁че стно", + "▁малень кие", + "▁пят ницу", + "▁ки та", + "▁Ку зне", + "же нно", + "жен но", + "ж енно", + "▁Бал тий", + "гу р", + "г ур", + "▁C y", + "Т С", + "▁предвари тельно", + "ter net", + "tern et", + "▁СП б", + "▁ло зу", + "ро вые", + "▁на ции", + "▁н ации", + "▁наци и", + "▁На ши", + "▁Наш и", + "▁содержа т", + "▁отмеча ется", + "▁отме чается", + "▁отмечает ся", + "те на", + "тен а", + "т ена", + "▁Pro f", + "▁Pr of", + "▁пара док", + "▁ка зни", + "▁каз ни", + "▁возна гра", + "▁треть ем", + "▁третье м", + "▁Ка вказ", + "▁Кав каз", + "▁целе сообраз", + "▁Face book", + "▁пере шли", + "сти ческое", + "с тическое", + "▁ke pt", + "▁цар и", + "▁ца ри", + "▁Э ту", + "▁I X", + "▁ IX", + "▁продол жается", + "▁продолжа ется", + "▁продолжает ся", + "▁дви жением", + "▁движение м", + "▁ли н", + "▁л ин", + "▁ лин", + "▁пере ехал", + "ня тся", + "нят ся", + "н ятся", + "▁сов ету", + "▁совет у", + "▁сове ту", + "▁П си", + "▁п ли", + "▁ пли", + "rol led", + "roll ed", + "▁ ;", + "▁за мер", + "▁заме р", + "▁зам ер", + "▁пер выми", + "▁первым и", + "▁разру ши", + "▁prob ably", + "E x", + "▁ро к", + "▁р ок", + "▁ рок", + "▁Го го", + "▁плат фор", + "▁и мен", + "▁име н", + "▁им ен", + "▁о пол", + "▁оп ол", + "▁опо л", + "за ния", + "▁лу ка", + "▁л ука", + "▁лук а", + "э л", + "▁кандида тов", + "▁кандидат ов", + "d d", + "▁соеди нение", + "▁наз вали", + "▁назва ли", + "▁назвал и", + "g u", + "▁пла ты", + "▁плат ы", + "▁окружа ющих", + "способ ности", + "нди я", + "н дия", + "▁Са мое", + "▁Сам ое", + "▁Само е", + "фт а", + "ф та", + "▁sec urity", + "ва м", + "в ам", + "▁J im", + "an da", + "and a", + "▁п рили", + "▁при ли", + "▁пр или", + "эр о", + "э ро", + "▁право охрани", + "▁лу к", + "▁ лук", + "▁пе че", + "▁ку ро", + "▁кур о", + "▁ куро", + "▁губерна тора", + "▁губернатор а", + "▁D en", + "▁De n", + "▁приз ван", + "▁s tra", + "▁st ra", + "▁str a", + "▁ stra", + "ш вили", + "▁судь бе", + "▁а бо", + "▁аб о", + "▁r ule", + "▁rul e", + "▁ru le", + "▁здравоохра нения", + "▁раз вле", + "▁те лом", + "▁тело м", + "▁тел ом", + "▁г лаго", + "▁гла го", + "▁глаг о", + "▁пле мени", + "▁племен и", + "▁со тен", + "▁сот ен", + "▁специаль ного", + "▁специ ального", + "▁специально го", + "▁th ous", + "▁называ емые", + "▁G ar", + "ст ную", + "с тную", + "▁те чения", + "▁sp read", + "▁Д НК", + "Че р", + "Ч ер", + "om a", + "o ma", + "▁Р ез", + "▁Ре з", + "▁с оло", + "▁со ло", + "▁cult ural", + "▁па рка", + "▁пар ка", + "▁парк а", + "▁значи тельное", + "▁значительно е", + "▁дыха ние", + "▁pro duce", + "▁produ ce", + "▁produc e", + "▁хозя ин", + "▁хозяи н", + "▁француз ских", + "р мо", + "ак а", + "а ка", + "ма гни", + "▁при нце", + "▁прин це", + "▁принц е", + "▁Ч ай", + "▁Ча й", + "▁Н ас", + "▁На с", + "▁наме рения", + "▁намере ния", + "▁сла вы", + "▁слу шать", + "▁слуша ть", + "в ского", + "▁гра ницей", + "▁грани цей", + "▁границе й", + "▁границ ей", + "ле нд", + "лен д", + "▁вы зывают", + "▁вызыва ют", + "stit ution", + "▁effort s", + "▁К ай", + "▁Ка й", + "▁жерт ву", + "▁жертв у", + "▁Из раиль", + "▁Изра иль", + "▁Израи ль", + "▁Jos eph", + "▁Jose ph", + "por ation", + "po ration", + "p oration", + "▁сбор ник", + "ко выми", + "ковым и", + "ковы ми", + "▁воору женных", + "▁утвер ждают", + "▁утвержда ют", + "m ore", + "▁про текает", + "▁проте кает", + "▁протека ет", + "ге на", + "ген а", + "г ена", + "▁тек сте", + "▁текст е", + "▁Н Е", + "▁ НЕ", + "▁М я", + "ал а", + "а ла", + "▁се рия", + "▁м учи", + "▁му чи", + "▁болез ней", + "ве дению", + "веде нию", + "▁успе ли", + "▁успел и", + "▁sh are", + "▁стра нами", + "▁страна ми", + "▁странам и", + "▁un iversity", + "▁univers ity", + "нд е", + "н де", + "▁Совет ский", + "▁Сове тский", + "тка х", + "т ках", + "▁от пуска", + "▁отпу ска", + "▁отпуск а", + "▁ликви дации", + "▁ликвида ции", + "▁оборо ну", + "▁оборон у", + "▁насе лённых", + "▁населё нных", + "▁населён ных", + "▁Президен та", + "▁Президент а", + "▁мили ции", + "▁Ар хангель", + "▁полу чали", + "▁получа ли", + "▁получал и", + "▁B as", + "▁Ba s", + "▁tem per", + "▁П одо", + "▁По до", + "▁Под о", + "▁разгово ра", + "▁разговор а", + "▁чемпи оном", + "▁чемпион ом", + "▁effect s", + "▁за ведения", + "▁заве дения", + "▁вок за", + "▁П ВО", + "▁In f", + "▁se lected", + "▁select ed", + "▁house s", + "▁hous es", + "▁настоя щей", + "▁mov ie", + "▁ли стья", + "▁листь я", + "▁лист ья", + "▁че рный", + "▁чер ный", + "▁оппози ции", + "ac ity", + "▁тогда ш", + "▁гумани тар", + "▁специаль ный", + "▁специ альный", + "▁стра нице", + "▁страниц е", + "we r", + "w er", + "▁удоб но", + "▁услыша л", + "▁услы шал", + "▁д ев", + "▁де в", + "▁ дев", + "▁мето дом", + "▁метод ом", + "▁методо м", + "▁Си стема", + "▁устре м", + "▁D ou", + "▁Do u", + "▁Интере сно", + "av en", + "ave n", + "a ven", + "▁act ually", + "▁actual ly", + "▁пред мета", + "▁предме та", + "▁предмет а", + "▁со у", + "▁w a", + "▁ wa", + "ши сь", + "ent al", + "в ский", + "▁ком про", + "▁комп ро", + "▁е м", + "▁ ем", + "▁по роды", + "▁поро ды", + "▁пород ы", + "ва емой", + "ваем ой", + "▁discover ed", + "at ur", + "▁наси лия", + "▁насили я", + "▁обо рот", + "▁оборо т", + "▁ оборот", + "▁ма тро", + "▁мат ро", + "аль ных", + "а льных", + "▁во шёл", + "▁су ста", + "▁o il", + "▁уж ас", + "▁ужа с", + "▁фор мой", + "▁форм ой", + "ell ow", + "ello w", + "▁confl ict", + "t a", + "ce nd", + "c end", + "▁сцена рий", + "▁start ing", + "▁star ting", + "▁па кет", + "▁пак ет", + "▁паке т", + "▁обяза тельства", + "▁обязательств а", + "▁с тано", + "▁ст ано", + "▁ста но", + "▁стан о", + "▁ стано", + "▁образу ют", + "▁Свер длов", + "ша т", + "ш ат", + "▁Ir ish", + "▁B C", + "▁ BC", + "▁На ш", + "▁Sc ot", + "▁продол жают", + "▁продолжа ют", + "▁при вел", + "▁приве л", + "▁Д оста", + "▁До ста", + "ёт р", + "ё тр", + "▁s u", + "▁англий ском", + "ста вьте", + "став ьте", + "▁про стым", + "▁прос тым", + "▁просты м", + "▁сооб щений", + "▁сообще ний", + "▁ch air", + "пси хо", + "▁г ет", + "▁ге т", + "▁евро пейской", + "▁европей ской", + "▁по строения", + "▁построе ния", + "▁рам ки", + "▁в ходил", + "▁вход ил", + "▁входи л", + "▁поло сы", + "▁w estern", + "▁west ern", + "▁заяви ла", + "▁зая вила", + "▁заявил а", + "▁Нов го", + "▁суще ствовало", + "▁существо вало", + "▁существова ло", + "▁существовал о", + "▁возгла вля", + "▁вы зов", + "▁выз ов", + "▁вызо в", + "до рович", + "доро вич", + "га нди", + "ган ди", + "▁L and", + "▁La nd", + "сла н", + "сл ан", + "с лан", + "▁ра нга", + "▁ран га", + "▁Александ ров", + "▁Александр ов", + "▁for ms", + "▁form s", + "▁принадле жат", + "▁принадлежа т", + "▁мо щность", + "▁мощ ность", + "▁изу ча", + "▁c orn", + "▁cor n", + "▁ш лю", + "▁Б ю", + "▁нес ча", + "▁d iss", + "▁dis s", + "▁di ss", + "▁sc ore", + "▁обра тить", + "то вая", + "тов ая", + "това я", + "▁П ру", + "▁for est", + "▁fore st", + "чу к", + "▁ма шино", + "▁маши но", + "▁машин о", + "▁голо да", + "▁гол ода", + "▁голод а", + "▁ele ments", + "▁el ements", + "▁element s", + "▁хи тро", + "▁хит ро", + "▁позво лить", + "▁позволи ть", + "▁позволит ь", + "▁товари щ", + "▁уголов ного", + "▁G al", + "▁ро жда", + "▁ава рий", + "риа та", + "риат а", + "▁до мо", + "▁дом о", + "▁ домо", + "▁публи ку", + "▁J o", + "▁пово рачи", + "▁обстоя тельство", + "▁обстоятельств о", + "▁на вод", + "▁нав од", + "▁финан совых", + "▁финансо вых", + "▁финансов ых", + "▁кисло ты", + "х т", + "▁назна чение", + "▁пере живания", + "▁пережи вания", + "▁м ино", + "▁ми но", + "▁мин о", + "▁ мино", + "▁привле чь", + "ul ations", + "ulation s", + "▁О К", + "▁ ОК", + "▁раз вали", + "▁э нту", + "▁эн ту", + "▁указа ть", + "▁ука зать", + "▁эк ран", + "▁экра н", + "сси ей", + "▁объяс няет", + "▁вы ле", + "▁про ведении", + "▁прове дении", + "▁проведе нии", + "▁Тол стого", + "▁с бора", + "▁сбор а", + "▁сбо ра", + "▁can not", + "▁Цен тр", + "▁незна ко", + "in ated", + "ina ted", + "inate d", + "▁за гово", + "▁та ба", + "▁l ot", + "▁lo t", + "▁Со чи", + "▁Соч и", + "▁мо менту", + "▁момент у", + "▁res idents", + "▁resident s", + "▁ли чный", + "▁проек те", + "▁проект е", + "▁Макси ма", + "▁Максим а", + "▁fl oor", + "▁flo or", + "▁B oy", + "▁Bo y", + "▁сред ством", + "▁средств ом", + "▁средство м", + "▁ка пи", + "▁кап и", + "L e", + "▁интере сах", + "▁интереса х", + "т на", + "▁суще ствова", + "▁существо ва", + "сло ж", + "с лож", + "▁respons ible", + "▁испол ня", + "▁угро зы", + "▁part n", + "дь я", + "д ья", + "▁current ly", + "▁ва шу", + "▁ваш у", + "▁го това", + "▁гото ва", + "▁готов а", + "▁v oice", + "▁vo ice", + "▁т рой", + "▁тро й", + "▁тр ой", + "▁д ано", + "▁да но", + "▁дан о", + "▁экипа ж", + "▁G reek", + "▁Gre ek", + "▁Gree k", + "▁д ам", + "▁да м", + "▁ дам", + "▁он лайн", + "▁с ино", + "▁си но", + "▁Res earch", + "щен ко", + "щ енко", + "▁кла ссе", + "▁класс е", + "ля я", + "▁одно им", + "▁однои м", + "▁православ ной", + "▁правосла вной", + "▁пе тербург", + "пе ц", + "п ец", + "ли ка", + "лик а", + "▁Ar ts", + "▁Art s", + "▁F red", + "▁Fre d", + "▁ser ious", + "▁у дивительно", + "▁удиви тельно", + "▁про водил", + "▁проводи л", + "▁прово дил", + "▁провод ил", + "ст ность", + "стно сть", + "с тность", + "пи на", + "пин а", + "п ина", + "▁Петербур га", + "▁Петербург а", + "▁Петер бурга", + "▁ Петербурга", + "▁бассе йна", + "▁бассей на", + "▁бассейн а", + "ag ing", + "a ging", + "▁не рав", + "▁нер ав", + "▁нера в", + "рова нное", + "рован ное", + "▁за дание", + "▁зада ние", + "▁ex cept", + "▁remov ed", + "▁О лимпиа", + "▁сред них", + "пь ю", + "п ью", + "▁я с", + "▁ яс", + "д на", + "▁Генера л", + "▁I ts", + "▁It s", + "▁man aged", + "▁manag ed", + "▁ми ссии", + "▁мисси и", + "▁rec over", + "▁м олока", + "▁мо лока", + "▁моло ка", + "▁grow th", + "du ce", + "duc e", + "▁sp eed", + "▁spe ed", + "▁pot ential", + "ве ль", + "вел ь", + "▁б орт", + "▁бо рт", + "▁бор т", + "` ,", + "▁вол ос", + "▁воло с", + "аль ные", + "а льные", + "ма ты", + "мат ы", + "ре нию", + "▁var iety", + "▁vari ety", + "▁называ емый", + "▁Еги пта", + "▁группи ровки", + "▁про р", + "▁пр ор", + "▁от правля", + "▁отпра вля", + "▁str eng", + "▁stre ng", + "▁s erve", + "▁serv e", + "▁ser ve", + "▁у язви", + "▁кро вью", + "▁кров ью", + "▁кровь ю", + "▁M em", + "▁Me m", + "▁F e", + "▁путеше ствен", + "▁ре лье", + "▁рель е", + "▁лег ких", + "▁современ ном", + "▁Джей мс", + "▁информа цией", + "▁Рича рд", + "штей на", + "штейн а", + "ште йна", + "▁из мен", + "▁изме н", + "▁Кни га", + "▁опас но", + "▁опа сно", + "са й", + "с ай", + "▁справед ливости", + "▁справедливо сти", + "▁справедли вости", + "▁безопас ность", + "ar den", + "ard en", + "▁за няли", + "▁заня ли", + "▁занял и", + "b ur", + "for ce", + "!\" .", + "! \".", + "▁com ing", + "▁co ming", + "▁ coming", + "ко стью", + "кость ю", + "кос тью", + "ша ло", + "шал о", + "t r", + "способ ность", + "I A", + "▁S um", + "▁Su m", + "ре нным", + "рен ным", + "▁J ud", + "▁Ju d", + "▁О АО", + "▁ин вали", + "▁миро воз", + "▁миров оз", + "ки ды", + "к иды", + "▁выпол няет", + "▁выполня ет", + "▁А ла", + "▁Ал а", + "▁of fer", + "▁off er", + "▁пере ве", + "▁пер еве", + "▁воен ное", + "▁военно е", + "▁вое нное", + "▁жидко сти", + "▁жид кости", + "▁преодо леть", + "▁преодоле ть", + "зе т", + "з ет", + "▁от цу", + "нс ким", + "н ским", + "▁ле вом", + "▁Вы бор", + "▁живо пи", + "▁при дет", + "▁прид ет", + "▁с пон", + "▁спо н", + "▁re fer", + "▁ref er", + "▁A v", + "▁С вобо", + "▁Сво бо", + "▁Св обо", + "▁ Свобо", + "▁оста вив", + "▁b ound", + "▁bo und", + "Дина мо", + "i i", + "▁из ну", + "▁В КП", + "▁же не", + "▁жен е", + "▁за ново", + "вно го", + "в ного", + "on ic", + "o nic", + "▁М ИД", + "▁МИ Д", + "▁high ly", + "S h", + "▁multip le", + "▁multi ple", + "▁расши рения", + "▁не сет", + "▁нес ет", + "▁С ол", + "▁Со л", + "▁офи церы", + "▁офице ры", + "▁офицер ы", + "▁чув ствовать", + "▁чувство вать", + "▁со крови", + "▁поз дра", + "▁позд ра", + "▁красо ты", + "▁П ала", + "▁Па ла", + "▁за рабаты", + "▁зара баты", + "▁числе нности", + "▁маль чика", + "▁мальчик а", + "▁мальчи ка", + "▁постоя нного", + "▁постоянно го", + "ва ющим", + "ваю щим", + "▁Це за", + "at ers", + "ater s", + "a ters", + "▁t end", + "▁te nd", + "▁ten d", + "▁ tend", + "▁ры ца", + "▁принци пу", + "▁принцип у", + "▁не пода", + "▁непо да", + "▁непод а", + "▁я з", + "▁ яз", + "▁по един", + "▁пое дин", + "▁во йти", + "▁вой ти", + "▁молоде жи", + "▁по вод", + "▁пово д", + "▁пов од", + "▁ду хо", + "▁дух о", + "ко мен", + "ком ен", + "▁act ivity", + "▁activ ity", + "% )", + "▁демокра тии", + "▁С ви", + "▁Св и", + "▁то к", + "▁т ок", + "▁ ток", + "на й", + "н ай", + "же нцев", + "жен цев", + "▁c ities", + "▁cit ies", + "▁финан сов", + "▁финансо в", + "N ame", + "▁sl ow", + "al le", + "all e", + "▁organ iz", + "▁phys ical", + "Ш а", + "Во сто", + "▁конкур са", + "▁конкурс а", + "et te", + "ett e", + "▁восста навли", + "▁a ng", + "▁an g", + "▁ ang", + "▁se xual", + "▁sex ual", + "▁преодо ле", + "▁Л ер", + "▁Ле р", + "▁реги онов", + "▁регион ов", + "▁даль нейшего", + "▁дальней шего", + "▁участи и", + "▁Мэ ри", + "ду ше", + "душ е", + "▁медици нской", + "▁ши ф", + "▁ шиф", + "▁рас стояния", + "▁расстоя ния", + "pa ss", + "p ass", + "р г", + "▁инте гра", + "▁траге дии", + "▁у становка", + "▁уста новка", + "▁устано вка", + "▁установ ка", + "▁пишу т", + "це ле", + "▁ин нова", + "▁име ю", + "▁Укра ина", + "▁Украи на", + "▁Украин а", + "▁Д жи", + "▁Дж и", + "▁Р ИА", + "▁Мед веде", + "et y", + "e ty", + "▁соб ственность", + "▁собствен ность", + "▁собственно сть", + "из ма", + "изм а", + "и зма", + "▁а фрикан", + "▁Бело рус", + "▁L ife", + "▁Li fe", + "▁ссы лкой", + "то ми", + "том и", + "en der", + "end er", + "e nder", + "▁ди станции", + "▁дистан ции", + "▁выз вало", + "▁вызва ло", + "▁вызвал о", + "▁пози ция", + "▁Большо го", + "▁позво но", + "▁за думы", + "▁задум ы", + "▁заду мы", + "▁факуль тета", + "▁факультет а", + "▁факульте та", + "▁Бо гом", + "▁Бог ом", + "▁Бого м", + "▁ле кции", + "▁лек ции", + "вя зыва", + "▁un c", + "▁ unc", + "▁транс форма", + "▁медици ны", + "▁от нести", + "▁отнес ти", + "▁отве чать", + "▁отвеча ть", + "▁con ne", + "▁v ote", + "▁vot e", + "▁vo te", + "▁Sw ed", + "▁паралле льно", + "▁Ge org", + "▁Geor g", + "▁на р", + "▁н ар", + "▁ нар", + "настоя щему", + "ран же", + "▁Лу ны", + "▁при ходят", + "▁приход ят", + "▁прихо дят", + "ens us", + "▁Pac ific", + "▁телефон у", + "▁телефо ну", + "▁по обе", + "▁поо бе", + "▁последу ющих", + "ев ской", + "е вской", + "па ри", + "пар и", + "▁b ridge", + "▁опреде ленного", + "▁определен ного", + "▁определенно го", + "▁удосто ен", + "▁Му хам", + "▁и мену", + "▁име ну", + "▁имен у", + "▁круп ного", + "▁крупно го", + "▁исследова телей", + "▁in tended", + "▁противо дей", + "▁< /", + "▁ ", + "Та к", + "Т ак", + "▁p urs", + "▁pur s", + "▁авиа ком", + "▁но вей", + "▁нов ей", + "▁ новей", + "▁ограни чен", + "до вая", + "дова я", + "дов ая", + "▁поме щение", + "▁проз ви", + "пра вля", + "прав ля", + "не нными", + "нен ными", + "ненным и", + "▁раз ры", + "▁по кон", + "▁поко н", + "ти рования", + "тирова ния", + "▁прода ж", + "▁распо ложено", + "▁расположен о", + "▁расположе но", + "▁зна чений", + "▁Mc C", + "о фи", + "▁разме ром", + "▁размер ом", + "▁се рию", + "▁ис лам", + "▁St ep", + "▁Ste p", + "mon d", + "m ond", + "▁закон чил", + "▁закончи л", + "▁рубе жом", + "▁рубеж ом", + "ло жены", + "ложе ны", + "ложен ы", + "........ ........", + "▁пои ски", + "▁поиск и", + "▁низ ко", + "▁к р", + "▁ кр", + "ри нга", + "рин га", + "ринг а", + "▁prov ides", + "▁provide s", + "▁то чности", + "▁точно сти", + "▁точ ности", + "ir o", + "i ro", + "▁с бы", + "ca n", + "c an", + "Ко гда", + "▁представи теля", + "▁спа сения", + "▁спасе ния", + "▁кру гу", + "▁круг у", + "то сть", + "▁лю дях", + "▁людя х", + "▁люд ях", + "g s", + "▁под нялся", + "▁подня лся", + "▁поднял ся", + "фор а", + "фо ра", + "х ла", + "то вым", + "▁от веты", + "▁ответ ы", + "▁отве ты", + "▁па то", + "ком плек", + "▁посёл ка", + "▁называ л", + "▁су дом", + "▁суд ом", + "▁судо м", + "▁небольшо е", + "▁l if", + "▁заяви ли", + "▁зая вили", + "▁заявил и", + "▁ис пуга", + "▁sen ior", + "са мо", + "сам о", + "чу ю", + "ч ую", + "се кре", + "сек ре", + "▁show ed", + "▁д ете", + "▁де те", + "▁дет е", + "▁ дете", + "▁я влялись", + "▁явля лись", + "▁яв лялись", + "СК О", + "С КО", + "▁с кре", + "▁ск ре", + "▁ скре", + "от кры", + "▁твор честве", + "▁не вро", + "▁н евро", + "▁нев ро", + "зу ет", + "▁т вори", + "▁твор и", + "▁тво ри", + "▁тв ори", + "▁ твори", + "▁ре форма", + "▁реформ а", + "▁рефор ма", + "▁appro ach", + "▁класси ческой", + "▁M at", + "▁Ma t", + "▁су дя", + "▁суд я", + "▁благо твори", + "T A", + "▁пре р", + "▁пр ер", + "▁руко водя", + "▁руковод я", + "▁Все россий", + "▁откры тым", + "▁открыты м", + "▁за ла", + "▁з ала", + "▁зал а", + "▁ зала", + "▁укреп ления", + "▁укре пления", + "▁укрепле ния", + "▁га стро", + "▁ц ы", + "▁ цы", + "▁acqu ired", + "▁внутрен ний", + "▁С Н", + "▁J ul", + "▁Ju l", + "▁Но вого", + "▁Ново го", + "ло во", + "лов о", + "▁ра зор", + "▁раз ор", + "▁разо р", + "▁O b", + "▁ Ob", + "▁w ear", + "▁we ar", + "▁на шими", + "▁наши ми", + "▁наш ими", + "▁нашим и", + "▁ин три", + "Петербур га", + "Петербург а", + "▁I N", + "▁ IN", + "▁с ним", + "▁сни м", + "▁вы ходе", + "▁выход е", + "▁Арме нии", + "нг е", + "н ге", + "▁компози ции", + "▁Буду чи", + "▁Буд учи", + "п т", + "▁ch ampionship", + "▁champion ship", + "▁destroy ed", + "▁про цвета", + "▁T y", + "▁распоря жение", + "▁Луч ше", + "▁ува жа", + "▁рас тение", + "▁расте ние", + "чи вает", + "чива ет", + "▁L uc", + "▁Lu c", + "▁части цы", + "▁час тицы", + "▁частиц ы", + "▁re place", + "▁repl ace", + "▁Об щая", + "▁эффек тивно", + "▁эффектив но", + "▁почув ствовал", + "sp e", + "s pe", + "▁попыт ку", + "▁попы тку", + "▁оста льное", + "▁ост альное", + "▁во преки", + "ет ра", + "е тра", + "▁во время", + "▁при сутствие", + "▁присут ствие", + "▁секре таря", + "▁секрета ря", + "▁секретар я", + "▁уда ров", + "▁удар ов", + "▁Це ль", + "▁съ езда", + "▁съе зда", + "▁съез да", + "▁съезд а", + "bur y", + "b ury", + "▁диви зий", + "▁дивизи й", + "▁при мет", + "▁приме т", + "▁прим ет", + "▁руководи телем", + "▁Con f", + "▁узна ли", + "▁уз нали", + "▁узнал и", + "▁захва тить", + "▁захват ить", + "▁спи ной", + "▁тек стов", + "▁текст ов", + "▁тексто в", + "▁глав ную", + "тель нее", + "▁ма терии", + "▁матери и", + "▁мате рии", + "van ia", + "▁rail way", + "▁бата реи", + "ра до", + "рад о", + "▁за лива", + "▁зали ва", + "▁залив а", + "ве ния", + "вени я", + "▁не во", + "▁н ево", + "▁нев о", + "▁ нево", + "▁инду стри", + "▁замести теля", + "▁ш т", + "▁ шт", + "▁m i", + "▁T hen", + "▁The n", + "▁Th en", + "▁извест ность", + "▁известно сть", + "▁изве стность", + "▁могу ще", + "▁тру дя", + "▁труд я", + "▁на ступ", + "▁Васи лия", + "▁Васили я", + "▁У спе", + "▁Ус пе", + "ut s", + "u ts", + "▁тол щи", + "па ду", + "пад у", + "▁W al", + "▁for ward", + "▁вос пользова", + "▁восполь зова", + "▁кавале рий", + "▁гражда нского", + "▁граждан ского", + "▁же лая", + "▁жела я", + "▁жел ая", + "▁n othing", + "▁not hing", + "▁no thing", + "▁хи мии", + "▁хими и", + "▁Ш ан", + "▁Ша н", + "▁департа мента", + "▁гру бо", + "▁Тол стой", + "▁органи зацией", + "▁организа цией", + "▁предста влений", + "▁доказа тельств", + "▁свидетель ствуют", + "▁свидетельству ют", + "▁Но вости", + "▁Ново сти", + "▁в виду", + "гра мм", + "грам м", + "▁укреп ле", + "▁укре пле", + "фи о", + "▁defe at", + "▁lead ers", + "▁leader s", + "▁знако мых", + "▁знаком ых", + "▁знакомы х", + "▁защи щать", + "▁защища ть", + "▁рав ни", + "▁ равни", + "▁Soc ial", + "▁So cial", + "▁хозя ина", + "▁хозяин а", + "▁хозяи на", + "про м", + "пр ом", + "п ром", + "Б У", + "▁вос питан", + "▁воспита н", + "клады вать", + "▁f a", + "рито риаль", + "gy pt", + "дру г", + "д руг", + "▁у воль", + "▁уво ль", + "▁know ledge", + "▁га лакти", + "▁до пустить", + "▁допусти ть", + "▁допу стить", + "ли цы", + "▁тру ды", + "▁труд ы", + "▁упра влении", + "▁pl anned", + "▁plan ned", + "▁plann ed", + "▁де фици", + "▁п ев", + "▁пе в", + "▁ пев", + "▁поня тий", + "it ness", + "▁к арт", + "▁ка рт", + "▁кар т", + "зи рованных", + "зирова нных", + "зирован ных", + "▁re form", + "▁ref orm", + "▁осуществ ить", + "▁осуществи ть", + "▁см арт", + "▁сма рт", + "▁хоро шим", + "▁ch arge", + "▁char ge", + "▁charg e", + "▁объ ема", + "▁объем а", + "▁объе ма", + "▁im plement", + "▁пра вах", + "▁права х", + "▁с ок", + "▁со к", + "▁ сок", + "тт ер", + "т тер", + "▁m aster", + "ле тря", + "лет ря", + "h t", + "▁ми трополи", + "▁митропо ли", + "` .", + "▁опреде ленный", + "▁определен ный", + "▁при вер", + "▁приве р", + "▁прив ер", + "▁сте п", + "▁ степ", + "▁счет е", + "▁сче те", + "▁qu arter", + "ле я", + "▁май ор", + "▁ майор", + "ed d", + "e dd", + "▁ро зо", + "▁роз о", + "▁плат формы", + "▁платфор мы", + "▁al one", + "▁терро ристи", + "▁террори сти", + "▁m atter", + "▁mat ter", + "▁ин спе", + "▁с его", + "▁се го", + "▁сег о", + "ере нци", + "ерен ци", + "ки пе", + "▁По мо", + "▁Пом о", + "▁Участ ник", + "▁Уча стник", + "▁C le", + "▁Cl e", + "▁we bs", + "▁web s", + "▁у строи", + "▁устро и", + "▁поли ция", + "▁уч реди", + "▁учре ди", + "▁систе мати", + "▁система ти", + "▁m orning", + "▁mor ning", + "▁Л ет", + "▁Ле т", + "▁серьез ные", + "аль ный", + "а льный", + "▁s ail", + "par t", + "p art", + "▁удоволь ствием", + "▁удовольствие м", + "▁с лад", + "▁сла д", + "▁сл ад", + "ur ban", + "urb an", + "▁гра ница", + "▁грани ца", + "▁границ а", + "▁при ва", + "▁прив а", + "▁And roid", + "▁при вела", + "▁приве ла", + "▁привел а", + "▁у шли", + "ри лся", + "рил ся", + "р ился", + "чи тся", + "чит ся", + "ч ится", + "▁стрель бы", + "бе ри", + "бер и", + "▁E lect", + "▁El ect", + "▁Ele ct", + "▁филь мы", + "▁фильм ы", + "бы е", + "▁са ти", + "▁отря ды", + "▁отряд ы", + "▁един ственной", + "▁единственно й", + "▁Брази лии", + "▁музе е", + "хи й", + "ль на", + "▁Се ло", + "▁не долго", + "▁а ́", + "▁хоро шей", + "▁участ ков", + "ля тор", + "лят ор", + "▁убе дить", + "▁убеди ть", + "го ря", + "гор я", + "▁циф ры", + "▁за к", + "▁з ак", + "▁ зак", + "▁сохра нились", + "▁сохрани лись", + "▁p aid", + "▁Ир кут", + "▁Б ол", + "▁Бо л", + "W e", + "▁с л", + "▁ сл", + "▁Л ен", + "▁Ле н", + "▁разрабо тку", + "зе ра", + "зер а", + "з ера", + "▁ге ологи", + "▁гео логи", + "▁у льтра", + "Ма н", + "М ан", + "▁со брал", + "▁соб рал", + "▁собра л", + "▁g iving", + "▁G all", + "▁Gal l", + "▁объяс нение", + "▁федера льного", + "зы вы", + "зыв ы", + "▁st ore", + "тя ми", + "т ями", + "▁штра ф", + "▁Ре волю", + "▁pre p", + "▁pr ep", + "▁А бра", + "▁Аб ра", + "дно м", + "д ном", + "▁F ire", + "▁Герма нию", + "▁Ле бе", + "ди оз", + "дио з", + "▁B ob", + "▁Bo b", + "▁от тен", + "▁отте н", + "▁духов ного", + "▁духо вного", + "▁духовно го", + "▁сред няя", + "▁устано вления", + "▁установ ления", + "▁com es", + "▁co mes", + "▁come s", + "▁по хва", + "▁пох ва", + "▁му жем", + "▁муж ем", + "▁муже м", + "▁Швейца рии", + "▁st ations", + "▁stat ions", + "▁station s", + "ид а", + "и да", + "▁необы чай", + "an don", + "and on", + "▁ре цен", + "▁S und", + "▁Sun d", + "▁Su nd", + "▁сторон ников", + "▁к н", + "▁Вя че", + "▁север у", + "▁показа лось", + "▁показало сь", + "▁с держи", + "▁Educ ation", + "▁желез а", + "▁желе за", + "▁широ кой", + "▁широко й", + "▁there fore", + "▁M ax", + "▁Ma x", + "▁зе лё", + "▁вы ходить", + "▁выход ить", + "▁выходит ь", + "во т", + "в от", + "▁при лага", + "лю ми", + "▁возоб нови", + "▁возобно ви", + "▁res ist", + "▁s n", + "m ir", + "за в", + "з ав", + "▁ра нен", + "▁ран ен", + "▁ране н", + "▁раз дела", + "▁разде ла", + "▁раздел а", + "rug g", + "r ugg", + "▁пов стан", + "▁устано вили", + "▁установи ли", + "▁установ или", + "▁установил и", + "мс кой", + "м ской", + "▁бесе ды", + "▁эмо ции", + "▁уда ры", + "▁удар ы", + "З на", + "▁приме няют", + "▁применя ют", + "▁w all", + "▁wa ll", + "▁D ie", + "▁Di e", + "▁контра к", + "▁контр ак", + "▁Т ере", + "▁Те ре", + "▁Тер е", + "▁четвер г", + "▁Леони д", + "▁Леон ид", + "▁чи сли", + "▁ числи", + "▁s pl", + "▁sp l", + "ran ge", + "r ange", + "ен ья", + "ень я", + "е нья", + "▁сло жной", + "▁сложно й", + "▁бюро кра", + "зер ца", + "▁це ну", + "▁цен у", + "▁да нное", + "▁дан ное", + "▁ex tended", + "▁extend ed", + "▁под готовка", + "▁подготов ка", + "▁подгото вка", + "▁O lymp", + "сту пит", + "ступ ит", + "ступи т", + "▁влия ет", + "▁rec ording", + "▁record ing", + "▁бол гар", + "▁att ract", + "▁значи тельные", + "▁де сант", + "▁деса нт", + "▁ десант", + "▁взаимо действие", + "▁взаимодей ствие", + "▁ex pected", + "▁expect ed", + "пп и", + "п пи", + "шё н", + "ш ён", + "▁неболь шая", + "▁по зади", + "▁поза ди", + "▁ав стра", + "▁Ch ief", + "▁периоди чески", + "b o", + "ло ка", + "лок а", + "▁но сить", + "▁носи ть", + "▁носит ь", + "▁нос ить", + "▁ носить", + "▁чер те", + "▁черт е", + "▁желез о", + "▁желе зо", + "гово рил", + "говор ил", + "говори л", + "▁ба зи", + "▁баз и", + "ти ческом", + "р ным", + "▁м алы", + "▁ма лы", + "тчи ков", + "тчик ов", + "т чиков", + "▁дож дь", + "▁уда валось", + "лка ми", + "л ками", + "▁i r", + "▁ ir", + "▁некоторы ми", + "▁некото рыми", + "▁некоторым и", + "▁бере гов", + "▁берег ов", + "▁s earch", + "▁se arch", + "▁появи тся", + "▁поя вится", + "▁в ера", + "▁ве ра", + "▁вер а", + "▁ вера", + "▁ex tra", + "▁ext ra", + "▁press ure", + "за вод", + "зав од", + "▁Е й", + "▁полков ника", + "▁полковник а", + "▁малень ких", + "▁глу бины", + "▁глуби ны", + "▁охо тно", + "▁охот но", + "▁В ьет", + "▁сред ний", + "▁sugg ested", + "▁suggest ed", + "▁чинов ников", + "ЕН ИЕ", + "ЕНИ Е", + "Е НИЕ", + "▁Че хослова", + "жи ли", + "жил и", + "ж или", + "▁соста вили", + "▁состав или", + "▁составил и", + "▁ре гла", + "▁s le", + "▁sl e", + "Пе ре", + "Пер е", + "П ере", + "▁тяже лые", + "▁повре ждения", + "▁по ляр", + "▁пол яр", + "▁поля р", + "▁обслужи вания", + "▁распо лагается", + "▁располага ется", + "▁П ря", + "▁еди ной", + "▁един ой", + "▁едино й", + "▁разрабо тчиков", + "▁разработчи ков", + "ге нт", + "ген т", + "г ент", + "▁един ство", + "▁па лу", + "▁пал у", + "▁п ше", + "▁do ing", + "▁основа ний", + "▁осно ваний", + "it tle", + "itt le", + "▁g rew", + "▁gr ew", + "▁gre w", + "▁предыду щих", + "▁Ря дом", + "▁Ряд ом", + "▁П ётр", + "ве дя", + "вед я", + "ч ле", + "▁Mus lim", + "▁от стра", + "▁отс тра", + "▁челове чество", + "ъ е", + "▁по ворот", + "▁пово рот", + "▁поворо т", + "▁fav or", + "▁у полномо", + "▁Ин форма", + "▁де лами", + "▁дела ми", + "▁делам и", + "▁Off ice", + "▁Offic e", + "er ry", + "err y", + "▁гла внокоман", + "▁Le g", + "▁accept ed", + "ми ла", + "мил а", + "м ила", + "▁под держка", + "▁поддерж ка", + "▁подразделе ний", + "▁N orthern", + "▁North ern", + "хи на", + "хин а", + "х ина", + "▁тек сты", + "▁текст ы", + "▁ю би", + "ве ты", + "вет ы", + "в еты", + "ска р", + "ск ар", + "с кар", + "▁Са у", + "▁при меча", + "▁приме ча", + "▁ примеча", + "▁континен та", + "▁imp act", + "▁государ ственном", + "▁государстве нном", + "▁фай ла", + "▁файл а", + "▁suff ered", + "ip l", + "i pl", + "▁ша нс", + "▁шан с", + "▁медици нских", + "st ra", + "str a", + "s tra", + "▁за был", + "▁забы л", + "▁пере шел", + "лейте нант", + "лейтенан т", + "▁s ched", + "▁sc hed", + "▁sch ed", + "▁sche d", + "▁тяже лых", + "ще в", + "щ ев", + "sh ire", + "s hire", + "ri son", + "ris on", + "r ison", + "▁Т ара", + "▁Та ра", + "▁Тар а", + "▁Со лов", + "▁Соло в", + "▁Сол ов", + "▁интере са", + "▁интерес а", + "it an", + "ita n", + "ceed ed", + "▁зву ка", + "▁звук а", + "▁зв ука", + "▁про ез", + "▁бро сил", + "▁броси л", + "▁свя той", + "ко сно", + "кос но", + "▁изгото вления", + "▁фай лов", + "▁файл ов", + "▁занима ют", + "▁ку пил", + "▁куп ил", + "▁С бор", + "пи сать", + "писа ть", + "w ith", + "▁По ро", + "▁Пор о", + "▁гром ко", + "▁полови ной", + "▁mov ing", + "▁двига телей", + "▁це не", + "▁цен е", + "▁сто ять", + "▁стоя ть", + "▁стоят ь", + "▁А ССР", + "▁Ан тон", + "▁Анто н", + "▁пользу ются", + "▁l ic", + "▁про водят", + "▁прово дят", + "▁провод ят", + "▁проводя т", + "▁пода рок", + "▁подар ок", + "▁та нк", + "▁тан к", + "ed om", + "e dom", + "це т", + "ц ет", + "▁v oid", + "▁vo id", + "ло жено", + "ложе но", + "ложен о", + "▁me ant", + "▁mean t", + "▁бом бы", + "▁бомб ы", + "▁и ди", + "▁ид и", + "▁родствен ников", + "▁ша гом", + "▁шаг ом", + "ма ны", + "ман ы", + "▁пред ков", + "w in", + "▁На та", + "**** ****", + "▁Венг рии", + "▁ла нд", + "▁ ланд", + "▁Val ley", + "▁излу чения", + "Б Р", + "▁near by", + "▁пол ная", + "▁го рных", + "▁гор ных", + "▁про шёл", + "▁прош ёл", + "▁ста кан", + "▁стака н", + "▁согла со", + "фа ши", + "▁е ре", + "▁ ере", + "▁основа ние", + "▁осно вание", + "▁ш ай", + "▁ша й", + "▁ шай", + "▁успе хи", + "▁успех и", + "▁conduct ed", + "▁у пря", + "мо нов", + "мон ов", + "моно в", + "м онов", + "▁миллиар дов", + "▁лю бить", + "▁люби ть", + "▁любит ь", + "▁T ri", + "▁Tr i", + "▁ве личе", + "▁вели че", + "▁откры ли", + "▁открыл и", + "▁t im", + "зо ло", + "з оло", + "че ром", + "чер ом", + "▁ж ё", + "▁ жё", + "▁разли чным", + "▁d oor", + "▁do or", + "▁ку сок", + "▁кусо к", + "▁возду шных", + "▁воздуш ных", + "ки сло", + "кис ло", + "▁Found ation", + "▁Ж ена", + "▁Же на", + "▁Жен а", + "жд ой", + "ждо й", + "ж дой", + "▁женщи ной", + "▁женщин ой", + "▁re ach", + "ко ном", + "кон ом", + "коно м", + "к оном", + "▁недоста тки", + "▁предпо ложи", + "хра нили", + "храни ли", + "хран или", + "▁зу бы", + "▁зуб ы", + "во дитель", + "води тель", + "ше ва", + "шев а", + "ш ева", + "ка у", + "▁услови ям", + "▁условия м", + "▁за прос", + "▁запро с", + "▁у хода", + "▁ухо да", + "▁уход а", + "▁пла тье", + "▁плат ье", + "▁be gin", + "▁beg in", + "ф ро", + "▁си нд", + "▁Ка ждая", + "▁произ во", + "▁прои зво", + "▁похо ж", + "Ро ссия", + "▁Болга рии", + "▁rec ords", + "▁record s", + "▁а ги", + "▁ аги", + "▁суббо ту", + "▁И лья", + "▁Иль я", + "▁Ил ья", + "▁ра д", + "▁р ад", + "▁ рад", + "▁O tt", + "сл ь", + "с ль", + "▁Ze aland", + "▁ли чные", + "▁ личные", + "▁оши бку", + "▁ошиб ку", + "▁T ime", + "▁Tim e", + "▁ Time", + "ва юсь", + "ваю сь", + "▁на родом", + "▁наро дом", + "▁народ ом", + "▁small er", + "▁требо вание", + "▁зависи мость", + "▁вы ставки", + "▁выстав ки", + "▁выста вки", + "▁цен тров", + "▁центр ов", + "▁из ыска", + "▁вы вести", + "▁выве сти", + "▁отказа лись", + "з ти", + "in ger", + "ing er", + "▁И зу", + "▁Из у", + "зе ле", + "зел е", + "ut en", + "ute n", + "u ten", + "▁адре са", + "▁адрес а", + "▁f irm", + "▁ме стами", + "▁места ми", + "▁местам и", + "▁авто ритет", + "▁автори тет", + "▁авторите т", + "▁Х ра", + "ще нная", + "щен ная", + "▁l ives", + "▁live s", + "▁spe ak", + "▁с лия", + "▁сли я", + "▁умол ча", + "ша х", + "▁си деть", + "▁ста рта", + "▁стар та", + "▁ма слом", + "▁масло м", + "▁пода вля", + "▁за гряз", + "ке ан", + "▁sit uation", + "▁situ ation", + "▁о пусти", + "▁опу сти", + "емо му", + "емом у", + "е мому", + "▁Н ы", + "ff ic", + "f fic", + "▁богат ства", + "▁разви ва", + "▁сле дить", + "▁след ить", + "де лы", + "дел ы", + "▁ка кому", + "▁каком у", + "▁лет них", + "▁ летних", + "▁Flor ida", + "▁о ле", + "▁ оле", + "▁на вига", + "▁Ком пания", + "P h", + "▁h op", + "▁cont em", + "▁англий ской", + "▁С ай", + "▁Са й", + "▁поста вили", + "▁поставил и", + "▁постав или", + "▁с чета", + "▁счет а", + "▁сче та", + "▁б ай", + "▁ба й", + "▁ бай", + "▁зако нам", + "▁закон ам", + "▁закона м", + "▁си рий", + "▁со зыва", + "ри са", + "рис а", + "▁настоя щим", + "▁cover ed", + "▁тридца ти", + "▁пои ско", + "▁поиск о", + "▁талант ли", + "▁талан тли", + "▁Ch arl", + "▁Char l", + "лет няя", + "al ing", + "ali ng", + "a ling", + "▁в рачи", + "▁вра чи", + "▁врач и", + "▁и спор", + "▁ис пор", + "▁испо р", + "▁кор не", + "ко вую", + "ков ую", + "кову ю", + "▁обнару жены", + "▁обнаружен ы", + "но вого", + "ново го", + "▁ста ру", + "▁стар у", + "▁cont ent", + "▁при част", + "▁вен гер", + "▁режисс ёра", + "▁режиссёр а", + "▁секун ды", + "▁секунд ы", + "▁Ф ре", + "▁оста вили", + "▁оставил и", + "▁террито рий", + "▁construct ed", + "▁t al", + "▁собира лся", + "▁ти пы", + "▁тип ы", + "in als", + "inal s", + "ina ls", + "▁оста ётся", + "▁распро стран", + "▁распростра н", + "▁agre ement", + "▁W all", + "▁Wal l", + "▁вне шний", + "▁внеш ний", + "▁бой цов", + "sy l", + "s yl", + "▁pat tern", + "▁ли цами", + "▁лица ми", + "▁лицам и", + "▁ю жно", + "▁выра жа", + "▁Ор лов", + "▁широ кое", + "▁широко е", + "▁публи ци", + "▁уве рены", + "▁уверен ы", + "▁по воро", + "▁пово ро", + "re ct", + "rec t", + "r ect", + "▁забы ть", + "▁Основ ной", + "▁В след", + "во дил", + "вод ил", + "води л", + "▁показа но", + "▁показан о", + "хи х", + "х их", + "ми л", + "м ил", + "▁bas is", + "▁Москов ский", + "▁помо гают", + "▁помога ют", + "▁сегодня шний", + "▁сегодняш ний", + "▁э лли", + "▁S outhern", + "▁South ern", + "си ю", + "▁столи цу", + "▁c ode", + "▁co de", + "▁ code", + "▁дерев ню", + "ня к", + "▁прекра тить", + "хра ни", + "хран и", + "▁На гра", + "▁pro pos", + "▁prop os", + "▁сообра жения", + "мо ло", + "мол о", + "м оло", + "бю т", + "б ют", + "▁init i", + "▁предпо ложение", + "▁ма тема", + "▁мат ема", + "▁мате ма", + "ё д", + "na m", + "n am", + "▁Ком муни", + "▁кам ней", + "▁Rad io", + "▁недоста ток", + "▁недостато к", + "▁па тру", + "▁товари щей", + "▁товарищ ей", + "▁товарище й", + "▁То чно", + "▁широ кий", + "▁по лей", + "▁пол ей", + "▁поле й", + "▁f r", + "▁пра вя", + "▁прав я", + "▁необы к", + "ющую ся", + "ю щуюся", + "▁процеду ры", + "из ме", + "изм е", + "и зме", + "▁предоста вить", + "▁И наче", + "▁возвра щении", + "▁Ку ль", + "▁че сти", + "▁ чести", + "▁у чета", + "▁уче та", + "▁учет а", + "▁нау чный", + "▁моло ко", + "▁жи д", + "▁ж ид", + "фа й", + "ф ай", + "▁Гер ман", + "▁Герма н", + "ев ой", + "ево й", + "е вой", + "че сть", + "▁Te am", + "▁помощ ник", + "▁product s", + "▁produc ts", + "▁L ab", + "▁La b", + "▁способ а", + "▁спосо ба", + "▁компози тор", + "▁а ра", + "▁ар а", + "▁ ара", + "▁In st", + "▁Ins t", + "ste in", + "▁отпра вить", + "▁s ports", + "▁sport s", + "▁direct ion", + "▁dire ction", + "тс кого", + "т ского", + "▁уве ренность", + "▁уверен ность", + "▁уверенно сть", + "M A", + "▁кол лег", + "▁колле г", + "▁оста валась", + "лн и", + "л ни", + "▁девя ти", + "▁устано вил", + "▁установи л", + "▁установ ил", + "▁G ame", + "йо ра", + "▁дли нные", + "▁длин ные", + "ви й", + "▁Ж ур", + "▁Жу р", + "▁за ряд", + "▁заря д", + "▁Р од", + "▁Ро д", + "▁ко в", + "▁к ов", + "▁ ков", + "▁A ut", + "▁по чёт", + "▁поч ёт", + "▁an sw", + "▁W hat", + "▁Wh at", + "▁ What", + "rat ive", + "r ative", + "▁Вы ступа", + "де нию", + "▁при мера", + "▁пример а", + "▁приме ра", + "▁прим ера", + "▁h ar", + "▁ha r", + "▁В ей", + "▁Ве й", + "▁ли ге", + "▁по сы", + "▁пос ы", + "▁P arliament", + "▁во дитель", + "▁води тель", + "▁ водитель", + "▁a mb", + "▁am b", + "▁ amb", + "во рот", + "вор от", + "воро т", + "▁непло хо", + "▁оже сто", + "I P", + "ль ника", + "льник а", + "▁от бро", + "▁гла вой", + "▁глав ой", + "▁l abor", + "▁la bor", + "▁lab or", + "ль ская", + "▁пример ом", + "▁приме ром", + "▁Че ля", + "▁ц веты", + "▁цвет ы", + "▁цве ты", + "os ton", + "ost on", + "o ston", + "▁му ки", + "▁втор ник", + "▁слу хи", + "▁слух и", + "▁в низу", + "▁вниз у", + "l i", + "▁great er", + "▁gre ater", + "▁Ed ward", + "▁мг новенно", + "▁торго вле", + "▁торгов ле", + "▁соста вить", + "▁состав ить", + "▁составит ь", + "▁Col umb", + "▁со ю", + "▁Ар ген", + "ле нную", + "лен ную", + "▁ска жет", + "но вая", + "нов ая", + "нова я", + "▁t ells", + "▁tell s", + "▁сте кло", + "▁стек ло", + "▁прика зу", + "▁приказ у", + "▁рекоменду ется", + "▁обра зов", + "▁образ ов", + "жи тся", + "жит ся", + "ж ится", + "▁за дей", + "▁зад ей", + "▁по жертво", + "▁изя щ", + "но сили", + "носи ли", + "нос или", + "носил и", + "ens ity", + "н с", + "▁теле фона", + "▁телефон а", + "▁телефо на", + "▁st reet", + "▁stre et", + "▁E gypt", + "оп а", + "о па", + "▁mem ory", + "▁плоско сти", + "ro nic", + "ron ic", + "r onic", + "▁пос чита", + "▁ear ned", + "igh ter", + "ight er", + "▁до вер", + "▁дове р", + "ри ен", + "рие н", + "▁пере ц", + "▁пер ец", + "▁пе рец", + "F L", + "▁сер вис", + "▁серви с", + "ла к", + "л ак", + "ста вра", + "став ра", + "▁нау читься", + "▁научить ся", + "▁con ver", + "▁conv er", + "▁темпера туре", + "▁температур е", + "▁ри ско", + "▁рис ко", + "▁риск о", + "▁s ense", + "▁sen se", + "▁sens e", + "▁изу чать", + "▁изуча ть", + "хо з", + "х оз", + "▁A z", + "▁спа сибо", + "▁спаси бо", + "▁контро лировать", + "▁контроли ровать", + "▁случа ю", + "▁ме шает", + "▁обру ши", + "▁моло дым", + "▁молоды м", + "ша ются", + "шают ся", + "▁бра у", + "?? ??", + "▁V an", + "▁останови лся", + "▁останов ился", + "▁остано вился", + "F C", + "▁под нял", + "▁подня л", + "▁с зади", + "▁и щет", + "▁И сла", + "▁Ис ла", + "▁вы держи", + "бо льше", + "боль ше", + "▁луч шее", + "▁лучше е", + "▁побе дил", + "▁победи л", + "▁побед ил", + "▁ре ального", + "▁реаль ного", + "▁реа льного", + "▁реально го", + "I L", + "це ля", + "▁до жде", + "▁дож де", + "▁хо дил", + "▁ход ил", + "▁ ходил", + "ge nd", + "gen d", + "g end", + "▁P C", + "▁ PC", + "▁из мер", + "▁изме р", + "▁улуч шения", + "ня лась", + "няла сь", + "▁over all", + "▁Pro v", + "▁Pr ov", + "й с", + "▁плани руется", + "▁планирует ся", + "▁ста кана", + "▁стакан а", + "▁стака на", + "▁потеря ли", + "▁потер яли", + "▁потерял и", + "▁Э йн", + "▁Эй н", + "▁у бил", + "▁уби л", + "ir med", + "irm ed", + "▁те мати", + "▁тема ти", + "▁ темати", + "▁L i", + "▁L inux", + "▁пред ъя", + "▁предъ я", + "ap ed", + "ape d", + "a ped", + "pr i", + "p ri", + "▁рас следования", + "▁расследова ния", + "▁во вле", + "но времен", + "нов ремен", + "▁ве са", + "▁вес а", + "нима ние", + "▁пла нов", + "▁план ов", + "▁К уда", + "▁Ку да", + "▁математи ки", + "▁матема тики", + "▁пассажи р", + "▁преимуще ство", + "ме нный", + "мен ный", + "▁режи ссе", + "▁режисс е", + "▁av oid", + "▁k new", + "▁kn ew", + "▁c hem", + "▁ch em", + "▁che m", + "▁дея телей", + "▁кре сто", + "▁крест о", + "ag ement", + "age ment", + "▁вла ды", + "▁указа л", + "▁ука зал", + "▁указ ал", + "▁э кви", + "▁эк ви", + "▁бе лой", + "▁бело й", + "▁экономи ке", + "но вый", + "▁pres ence", + "▁тюрь му", + "▁официаль ный", + "az z", + "a zz", + "▁тор говых", + "▁торго вых", + "▁торгов ых", + "чи лось", + "чило сь", + "▁До бро", + "▁Доб ро", + "▁ну жды", + "▁нуж ды", + "▁нужд ы", + "▁со при", + "▁по сторон", + "а с", + "he ast", + "▁Is lam", + "▁До ктор", + "▁распоря жении", + "li st", + "l ist", + "▁По про", + "▁б ана", + "▁ба на", + "▁бан а", + "▁large ly", + "▁larg ely", + "не ди", + "н еди", + "▁док три", + "ста новка", + "станов ка", + "стано вка", + "де ло", + "дел о", + "▁про ли", + "не мся", + "нем ся", + "н емся", + "▁De velop", + "▁Ши ро", + "▁на грузки", + "▁нагруз ки", + "▁нагру зки", + "▁histor ical", + "▁historic al", + "▁губерна тор", + "▁по бли", + "▁чи сел", + "▁при родных", + "▁приро дных", + "▁природ ных", + "▁жен щине", + "▁женщи не", + "▁женщин е", + "▁не ну", + "▁Еги пет", + "▁попро бовать", + "▁T od", + "▁To d", + "▁be long", + "▁bel ong", + "ха на", + "хан а", + "х ана", + "▁l abel", + "▁la bel", + "▁lab el", + "▁с лову", + "▁сло ву", + "▁слов у", + "▁испол нении", + "▁катастро фы", + "▁b order", + "▁bor der", + "ёр ов", + "ё ров", + "▁про ходи", + "▁проход и", + "▁прохо ди", + "▁en ter", + "▁ent er", + "▁ча стями", + "▁част ями", + "▁час тями", + "▁частям и", + "▁кандида та", + "▁кандидат а", + "▁т ё", + "▁Н ек", + "▁Не к", + "▁абстра кт", + "▁И у", + "▁Фе одо", + "▁Фео до", + "▁Фран к", + "▁Фра нк", + "▁указа ния", + "▁ука зания", + "▁от клю", + "▁отк лю", + "▁cont ains", + "▁contain s", + "jo y", + "j oy", + "▁художе ственного", + "▁t able", + "▁occur red", + "▁на став", + "▁нас тав", + "▁наста в", + "▁швей цар", + "▁decl ared", + "▁con cent", + "▁conc ent", + "▁пол года", + "▁вра г", + "▁Ба х", + "ст ские", + "▁пред ложить", + "▁предложи ть", + "▁вы ходя", + "▁выход я", + "R A", + "▁ж ре", + "▁p ict", + "an cy", + "anc y", + "▁Г К", + "▁пред ложили", + "▁предложи ли", + "▁предложил и", + "▁без раз", + "ap ers", + "aper s", + "▁сим фо", + "му д", + "м уд", + "▁от ражение", + "▁отра жение", + "го вых", + "гов ых", + "▁после воен", + "▁при хода", + "▁приход а", + "▁прихо да", + "▁посмотре л", + "▁m ill", + "▁mil l", + "▁mi ll", + "▁Sh ow", + "▁Фран цию", + "▁Франци ю", + "▁ty pes", + "▁typ es", + "▁type s", + "▁кафе дры", + "▁на сили", + "▁нас или", + "▁наси ли", + "▁На чина", + "▁Нач ина", + "▁мы сле", + "▁мыс ле", + "▁ мысле", + "▁U N", + "▁ UN", + "ни зм", + "низ м", + "н изм", + "▁тре уголь", + "ur rent", + "▁американ цы", + "▁америка нцы", + "▁С ак", + "▁Са к", + "▁C amb", + "▁Cam b", + "▁Ca mb", + "▁dam age", + "▁са му", + "▁сам у", + "▁находя сь", + "▁наход ясь", + "▁Пи тер", + "лек три", + "▁aut om", + "▁ребен ком", + "▁глубо кой", + "▁глубоко й", + "▁события х", + "▁ак ку", + "▁S ar", + "▁Sa r", + "▁наступа ет", + "в ным", + "раз ному", + "▁изу чению", + "▁пере пра", + "С А", + "▁p un", + "▁коль цо", + "▁у бор", + "▁убо р", + "▁С У", + "▁кла ви", + "▁t hr", + "▁th r", + "▁си дели", + "▁сидел и", + "▁qu ality", + "▁qual ity", + "▁проце ссу", + "▁процесс у", + "▁Серге евич", + "ig an", + "i gan", + "▁те пла", + "▁теп ла", + "▁фи гура", + "▁фигу ра", + "▁фигур а", + "▁характери зуется", + "▁характеризу ется", + "эн ь", + "э нь", + "▁U l", + "▁утвер ждать", + "▁утвержда ть", + "вле нную", + "влен ную", + "в ленную", + "кра т", + "кр ат", + "к рат", + "ву шка", + "ound ed", + "▁духов ен", + "▁духо вен", + "▁пла нет", + "▁плане т", + "▁план ет", + "▁ планет", + "▁эми грации", + "▁эмигра ции", + "▁упра влением", + "▁управление м", + "▁вер ху", + "▁верх у", + "▁ верху", + "▁сериа ла", + "▁сериал а", + "по лни", + "пол ни", + "ди нами", + "дина ми", + "▁самоу правления", + "▁Ле он", + "▁Лео н", + "i y", + ", ,", + "▁по пала", + "▁попа ла", + "▁попал а", + "▁поп ала", + "▁тре нером", + "▁тренер ом", + "Са н", + "С ан", + "▁) ,", + "▁ ),", + "▁по рабо", + "▁пора бо", + "за к", + "з ак", + "ig r", + "i gr", + "строе ния", + "▁пов сюду", + "▁Не по", + "▁L ee", + "▁Le e", + "▁фами лия", + "at us", + "ле нное", + "лен ное", + "ленно е", + "▁Зем лю", + "▁американ цев", + "▁америка нцев", + "p p", + "▁вое нача", + "▁от би", + "syl vania", + "▁мета лла", + "▁метал ла", + "▁металл а", + "▁про стого", + "▁просто го", + "▁прос того", + "▁Чемпиона т", + "▁Чемпион ат", + "▁С к", + "▁Исполь зу", + "▁чи слом", + "▁число м", + "▁маркет ин", + "▁пала ты", + "▁st rugg", + "▁str ugg", + "▁ве лел", + "ля тся", + "лят ся", + "л ятся", + "▁объ явля", + "▁объя вля", + "▁приме няются", + "▁применя ются", + "▁применяют ся", + "▁познакоми лся", + "▁выбира ть", + "▁выби рать", + "▁о свя", + "▁ос вя", + "▁he ard", + "▁hear d", + "▁встре тить", + "▁продол жить", + "▁продолжи ть", + "ne s", + "n es", + "▁кор руп", + "▁M ain", + "▁Ma in", + "▁с него", + "▁сне го", + "▁снег о", + "▁John son", + "▁конструк тор", + "▁констру ктор", + "▁за те", + "▁зат е", + "▁Послед ние", + "▁Дмитри я", + "▁citiz ens", + "ве ла", + "вел а", + "▁be at", + "▁электро энер", + "СК ИЙ", + "кто ру", + "кт ору", + "ктор у", + "к тору", + "▁в ходила", + "▁вход ила", + "▁входил а", + "▁входи ла", + "▁d og", + "▁do g", + "▁Фе до", + "▁п лы", + "▁ плы", + "▁журна листов", + "▁журнали стов", + "▁журналист ов", + "▁Мо лда", + "▁Мол да", + "▁поко ление", + "▁о казывает", + "▁оказыва ет", + "▁ока зывает", + "▁рекомен дации", + "▁рекоменда ции", + "▁mur der", + "▁murd er", + "▁но вости", + "▁ново сти", + "ен ты", + "ент ы", + "е нты", + "▁косми ческих", + "▁листь ев", + "▁лист ьев", + "ству ющий", + "▁Стани слав", + "И с", + "▁раз ного", + "▁разно го", + "▁sy mb", + "▁sym b", + "ща ла", + "щал а", + "щ ала", + "вна я", + "в ная", + "▁потен циа", + "▁сред не", + "▁сре дне", + "▁w or", + "▁сти му", + "▁belie ve", + "шны й", + "ш ный", + "фика цию", + "▁зве з", + "▁зв ез", + "▁ звез", + "▁ле жат", + "▁лежа т", + "is ters", + "ist ers", + "ister s", + "ро вым", + "▁леген дар", + "▁легенда р", + "го судар", + "▁Навер ное", + "жи вать", + "▁заинтере сован", + "▁заинтересова н", + "▁заинтересо ван", + "▁гражда нин", + "▁граждан ин", + "та ря", + "тар я", + "▁вер нулась", + "▁верну лась", + "▁заканчи вается", + "И З", + "▁выра зил", + "▁вырази л", + "▁n uc", + "▁с лава", + "▁сла ва", + "▁ слава", + "▁режи ссер", + "▁режисс ер", + "▁режиссе р", + "оло гия", + "ологи я", + "о логия", + "▁trans ferred", + "▁transfer red", + "▁м иль", + "▁ми ль", + "▁ миль", + "ча ян", + "чая н", + "Ф и", + "▁объеди нение", + "▁обла стного", + "▁с мену", + "▁сме ну", + "▁Pr ince", + "▁Pri nce", + "▁f ast", + "▁fa st", + "▁чув ством", + "▁чувство м", + "▁чувств ом", + "▁Основ ная", + "▁произо шед", + "▁cou ple", + "▁предста вляли", + "▁представля ли", + "▁представлял и", + "iz es", + "ize s", + "▁ed itor", + "▁фу нтов", + "po int", + "p oint", + "▁ey es", + "▁eye s", + "▁sugg est", + "▁Екатери н", + "▁рас смотреть", + "▁рассмотре ть", + "▁луч шего", + "▁лучше го", + "▁Заслу женный", + "▁Ско рее", + "п п", + "▁ab andon", + "▁Центра льного", + "▁Центр ального", + "▁вку су", + "▁вкус у", + "не ва", + "нев а", + "н ева", + "▁У р", + "▁лю бая", + "ссо циа", + "▁пес ча", + "▁ref used", + "тс кий", + "т ский", + "▁чере па", + "▁equip ment", + "▁ад мира", + "▁чи стой", + "▁чисто й", + "▁зем лей", + "▁земле й", + "▁созда ют", + "▁соз дают", + "▁боль нице", + "ho st", + "h ost", + "▁е ду", + "▁ед у", + "Y ou", + "▁оказа ть", + "▁ока зать", + "▁субъек тов", + "▁субъект ов", + "▁sp irit", + "te st", + "tes t", + "t est", + "▁при носит", + "ье м", + "ь ем", + "▁полу чит", + "▁получи т", + "▁экви вален", + "▁на строен", + "▁настрое н", + "▁настро ен", + "▁предста влять", + "▁представля ть", + "▁приобре те", + "▁за помина", + "▁запо мина", + "▁запом ина", + "▁Ре жи", + "ib ly", + "▁з рели", + "▁зре ли", + "▁принципи ально", + "▁i d", + "▁ id", + "▁корот кий", + "▁кар тине", + "▁карти не", + "▁картин е", + "ww w", + "w ww", + "▁oper ated", + "▁operate d", + "пло м", + "п лом", + "▁еди ницы", + "▁единиц ы", + "▁едини цы", + "▁домаш них", + "логи ческие", + "▁за хоро", + "▁захо ро", + "▁ш ей", + "▁ше й", + "▁ шей", + "▁anc ient", + "▁об ед", + "▁обе д", + "▁gu itar", + "▁разво рачи", + "▁ре альных", + "▁реаль ных", + "▁реа льных", + "▁у словно", + "▁услов но", + "▁мя ч", + "▁writ er", + "▁write r", + "▁Национа льной", + "▁c ouncil", + "▁coun cil", + "ла г", + "про це", + "▁возник ло", + "▁с воя", + "▁сво я", + "▁stud ied", + "▁T em", + "▁Te m", + "m iss", + "▁профе ссии", + "▁угро зу", + "▁обра щаться", + "▁обраща ться", + "ё й", + "▁Ма ма", + "▁Pe ople", + "▁При мерно", + "▁Пример но", + "▁Приме рно", + "X V", + "▁сочи нений", + "▁Пари жа", + "▁Париж а", + "▁госпо дин", + "▁господ ин", + "im b", + "i mb", + "▁фак торы", + "▁фактор ы", + "▁занима ются", + "▁занимают ся", + "▁гран диоз", + "тт а", + "т та", + "▁тру б", + "▁А бу", + "▁Аб у", + "▁Национа льного", + "▁ве лика", + "▁вели ка", + "▁велик а", + "▁Sp ain", + "▁J ones", + "▁Jo nes", + "▁Jon es", + "стру и", + "▁к валифици", + "▁квали фици", + "ul es", + "ule s", + "u les", + "▁об щение", + "▁обще ние", + "▁рекла мы", + "▁реклам ы", + "▁пропа ганди", + "▁пропаган ди", + "ды е", + "Б А", + "ни ло", + "нил о", + "▁гля дя", + "▁мага зина", + "▁магази на", + "▁магазин а", + "▁пере бро", + "▁st ories", + "▁М она", + "▁Мо на", + "▁Мон а", + "vi s", + "v is", + "на та", + "нат а", + "▁pass eng", + "▁истори ческий", + "▁исторически й", + "ли нского", + "лин ского", + "▁вы рабаты", + "▁выра баты", + "▁по прав", + "▁попра в", + "▁поп рав", + "б же", + "▁F oot", + "▁В ит", + "▁Ви т", + "▁necess ary", + "▁re con", + "▁rec on", + "▁способ на", + "▁до бле", + "▁доб ле", + "▁Исто чник", + "▁непре рывно", + "▁непрерыв но", + "▁t rial", + "▁tr ial", + "▁tri al", + "Ра з", + "Р аз", + "▁освобо ждение", + "▁завое вал", + "▁отста и", + "▁отс таи", + "▁Ми Г", + "во дов", + "вод ов", + "▁полу ченные", + "▁w hy", + "▁wh y", + "▁D VD", + "▁кни гах", + "▁книга х", + "▁тран зи", + "▁при мы", + "▁прим ы", + "▁э ры", + "▁эр ы", + "▁Б ой", + "▁Бо й", + "▁спосо бами", + "▁способа ми", + "ful ly", + "f ully", + "ee n", + "e en", + "це ло", + "▁при ступа", + "▁неболь шим", + "▁го рно", + "▁гор но", + "ies t", + "ie st", + "i est", + "ко вом", + "ков ом", + "ково м", + "▁вариан та", + "▁вариант а", + "▁вариа нта", + "▁х ан", + "▁ха н", + "▁ хан", + "▁Види мо", + "▁Вид имо", + "до вание", + "дова ние", + "ат ри", + "атр и", + "а три", + "▁не сов", + "▁нес ов", + "▁несо в", + "▁с со", + "▁ ссо", + "s k", + "▁показа тели", + "▁Ви та", + "▁Вит а", + "▁спец служ", + "▁О ле", + "▁Ол е", + "▁крестьян е", + "▁крестья не", + "ра д", + "р ад", + "▁мо рского", + "▁мор ского", + "▁ морского", + "▁Соеди ненных", + "▁за веду", + "▁заве ду", + "▁генера льного", + "▁на ходят", + "▁находя т", + "▁наход ят", + "▁паци ента", + "▁пациен та", + "▁пациент а", + "▁т етра", + "▁те тра", + "сер ви", + "▁взгля дом", + "▁взгляд ом", + "▁Penn sylvania", + "▁Спе циаль", + "▁m m", + "▁ mm", + "▁означа ло", + "▁озна чало", + "▁art icle", + "▁г ек", + "▁ге к", + "▁result ed", + "▁ку стар", + "▁относи ться", + "ro om", + "r oom", + "▁эпи де", + "▁ви дя", + "▁вид я", + "▁москов ского", + "▁Э л", + "▁вели ким", + "▁велик им", + "ри нг", + "рин г", + "р инг", + "▁con clud", + "▁сотруд ничество", + "▁сотрудни чество", + "▁на бе", + "▁ра ке", + "▁рак е", + "at i", + "▁зна ков", + "▁знако в", + "▁знак ов", + "про дук", + "▁You ng", + "▁опла ты", + "▁b al", + "▁ bal", + "▁на раста", + "▁Н ей", + "▁Не й", + "▁счет у", + "▁сче ту", + "▁com pl", + "▁comp l", + "▁боль ницы", + "▁Кана ды", + "▁На чиная", + "▁Начина я", + "▁б рен", + "▁бре н", + "▁деву шек", + "▁ве тера", + "▁вет ера", + "▁ветер а", + "ри ки", + "рик и", + "▁ст рок", + "▁стро к", + "▁стр ок", + "▁ожида ния", + "▁ожи дания", + "▁writ e", + "▁ви дела", + "▁виде ла", + "▁видел а", + "▁показа ния", + "▁пока зания", + "гну л", + "г нул", + "▁бу дди", + "▁буд ди", + "▁культур ного", + "▁культурно го", + "▁взгля дов", + "▁взгляд ов", + "▁t ell", + "▁te ll", + "про мышлен", + "сно вы", + "снов ы", + "▁во лн", + "▁вол н", + "S T", + "▁разрабо тка", + "▁действи ями", + "▁действия ми", + "▁действиям и", + "▁церемо нии", + "▁приобре сти", + "Т У", + "▁Пав лович", + "▁рекомен да", + "▁вся кое", + "▁на логов", + "▁налого в", + "▁налог ов", + "▁Му зей", + "▁Музе й", + "▁район ного", + "▁заинтере сова", + "▁заинтересо ва", + "▁C ivil", + "с вое", + "▁B oston", + "▁Bo ston", + "▁Bos ton", + "▁за держи", + "га рд", + "гар д", + "▁project s", + "▁сту пень", + "▁ступ ень", + "▁явля лась", + "▁пло ды", + "▁плод ы", + "зе ф", + "ль ны", + "▁p et", + "▁pe t", + "▁ pet", + "▁счёт ом", + "▁счё том", + "▁глуби ну", + "▁про игры", + "▁прои гры", + "▁ко ну", + "▁к ону", + "▁кон у", + "or ation", + "ora tion", + "o ration", + "▁с делки", + "▁сде лки", + "▁сдел ки", + "▁Напом ним", + "▁сухо пу", + "▁куль туру", + "▁культур у", + "g n", + "▁с нови", + "▁сно ви", + "er sey", + "ers ey", + "▁игро ком", + "▁игрок ом", + "▁Де рев", + "▁Дер ев", + "▁Дере в", + "▁реали зовать", + "▁реализова ть", + "▁сооб щалось", + "▁сообща лось", + "▁объяс нил", + "▁The atre", + "▁с право", + "▁спра во", + "ol es", + "ole s", + "o les", + "▁ситуа циях", + "▁ситуация х", + "▁па ссив", + "▁пас сив", + "ка и", + "ссе ль", + "с сель", + "pon d", + "po nd", + "p ond", + "▁Пу тина", + "▁Путин а", + "▁Пути на", + "▁существо вании", + "▁существова нии", + "сти ческим", + "стически м", + "с тическим", + "▁m ut", + "бе лев", + "pe rial", + "per ial", + "ри ровать", + "▁окру жения", + "▁C ro", + "▁Cr o", + "▁выра зить", + "▁вырази ть", + "ellig ence", + "ха л", + "х ал", + "▁кор ни", + "▁Francis co", + "▁увеличи вается", + "▁увели чивается", + "▁увеличивает ся", + "▁Побе ды", + "ру ющий", + "рую щий", + "▁Z h", + "ли вости", + "ливо сти", + "▁те ряет", + "▁теря ет", + "▁под креп", + "▁l iber", + "смо трен", + "смотре н", + "смотр ен", + "▁специаль ности", + "▁специально сти", + "▁Cor ps", + "▁до льше", + "▁хва тит", + "▁С мир", + "▁См ир", + "▁при клю", + "▁поэ тов", + "▁поэт ов", + "вз о", + "в зо", + "▁Дон ба", + "▁cont ro", + "▁official s", + "▁Eng ine", + "▁альбо ма", + "▁альбом а", + "▁ауди тории", + "▁J es", + "▁Je s", + "ев о", + "е во", + "▁су мас", + "▁сум ас", + "▁жили щ", + "▁пре ступление", + "▁преступ ление", + "▁У тром", + "▁г нев", + "▁гне в", + "▁м ладший", + "▁млад ший", + "▁вы ступление", + "▁выступ ление", + "▁РК КА", + "» \"", + "▁enem y", + "▁ма рок", + "▁мар ок", + "▁main ly", + "▁ото жде", + "▁Любо вь", + "▁Воз вра", + "▁руковод ству", + "▁cond ition", + "нен ко", + "н енко", + "▁Ку ба", + "▁ле жал", + "▁лежа л", + "▁С А", + "▁ СА", + "▁называ ются", + "▁называют ся", + "▁тех нического", + "▁техни ческого", + "▁ технического", + "лет них", + "▁финан совой", + "▁финансо вой", + "▁финансов ой", + "ми лли", + "мил ли", + "ra nce", + "ran ce", + "r ance", + "▁Вале рий", + "▁выгля деть", + "▁сло жнее", + "is her", + "ish er", + "з ра", + "▁официаль ном", + "▁официально м", + "▁гражда не", + "▁граждан е", + "▁мо нта", + "▁мон та", + "▁ монта", + "▁обра щается", + "▁обраща ется", + "▁Да льше", + "▁Даль ше", + "▁бо льной", + "▁боль ной", + "▁больно й", + "▁R el", + "▁Re l", + "▁цар ство", + "▁хра нили", + "▁храни ли", + "▁ хранили", + "▁бе жал", + "▁справед ли", + "pl ace", + "▁Герма нией", + "▁ди вер", + "▁re comm", + "▁rec omm", + "▁тяже сти", + "▁to uch", + "▁стра ной", + "▁стран ой", + "▁Д ем", + "▁Де м", + "▁fight ing", + "▁Эн гель", + "▁от оз", + "▁ото з", + "▁э ро", + "▁эр о", + "▁ эро", + "▁откры вает", + "▁ла й", + "▁л ай", + "▁ лай", + "▁ве ла", + "▁вел а", + "▁ вела", + "чи вый", + "▁у мение", + "▁уме ние", + "▁К ло", + "▁выс шее", + "▁ad ult", + "en ge", + "eng e", + "▁comp uter", + "▁помо гать", + "▁помога ть", + "ки я", + "\") ;", + "\" );", + "▁це лые", + "▁s uit", + "▁su it", + "▁ран него", + "▁стра ницах", + "▁страница х", + "▁за веща", + "▁заве ща", + "пи ри", + "▁Да ге", + "▁обы чного", + "▁обычно го", + "▁съ ез", + "▁съе з", + "▁во спа", + "▁вос па", + "▁household s", + "▁у мы", + "▁ум ы", + "▁за няться", + "▁заня ться", + "▁занять ся", + "▁за ма", + "▁зам а", + "▁с тили", + "▁ст или", + "▁сти ли", + "▁ стили", + "▁эваку и", + "▁у гля", + "▁уг ля", + "▁W omen", + "▁заинтере со", + "ры з", + "▁= =", + "▁ ==", + "▁табли цы", + "▁Татья на", + "ни ст", + "нис т", + "н ист", + "▁мо тор", + "▁мото р", + "▁эк зо", + "▁Су во", + "▁благополу чно", + "▁беско нечно", + "▁бесконе чно", + "▁смя г", + "га ться", + "гать ся", + "▁comp ared", + "▁compar ed", + "ко вали", + "ков али", + "кова ли", + "ковал и", + "су а", + "с уа", + "▁футбо лу", + "▁футбол у", + "▁военнослу жащих", + "▁военнослужа щих", + "▁еди ница", + "▁единиц а", + "▁едини ца", + "▁К ристи", + "▁Кри сти", + "▁по шло", + "▁пош ло", + "▁Ста ро", + "▁Стар о", + "▁represent ed", + "▁истори ческие", + "▁исторически е", + "▁В зя", + "▁Вз я", + "▁мене дже", + "▁менедж е", + "▁орде нами", + "▁ордена ми", + "▁по пра", + "▁поп ра", + "▁обы чный", + "Мо ск", + "с ве", + "ли нский", + "лин ский", + "▁расши рение", + "▁сво ев", + "▁свое в", + "то рий", + "тори й", + "▁P ower", + "▁Po wer", + "▁M iddle", + "ha ps", + "h aps", + "▁Чар ль", + "▁му льти", + "▁мульт и", + "▁neigh bor", + "▁го рю", + "▁гор ю", + "▁кня же", + "▁не и", + "▁осуществ лять", + "▁осуществля ть", + "▁t hing", + "▁th ing", + "▁ thing", + "▁O x", + "▁отде льной", + "▁отдель ной", + "▁отдельно й", + "▁вы па", + "ab b", + "хра н", + "х ран", + "▁Bec ause", + "▁отпра вились", + "▁отправили сь", + "▁до г", + "▁вы би", + "▁кно пку", + "▁дости гли", + "▁достиг ли", + "▁не под", + "▁непо д", + "▁не ра", + "▁н ера", + "▁нер а", + "▁ нера", + "▁зем летря", + "▁земле тря", + "▁Аб ду", + "▁су дей", + "▁суд ей", + "▁суде й", + "▁Я зы", + "мет рии", + "метри и", + "▁Бо гда", + "▁Бог да", + "▁команду ющего", + "▁памят ника", + "▁памятник а", + "▁Е ванге", + "▁разру шения", + "▁Я ку", + "▁Як у", + "▁attack s", + "▁бы вшей", + "▁больше виков", + "▁большеви ков", + "▁при ё", + "▁ру мы", + "▁при знания", + "▁призна ния", + "▁M ah", + "▁Ma h", + "▁му льт", + "▁some one", + "▁милли оны", + "▁миллион ы", + "▁claim s", + "▁Л ос", + "▁Ло с", + "▁в зы", + "▁вз ы", + "▁убе ждения", + "og ue", + "▁Ле о", + "▁прави тельству", + "▁правитель ству", + "но ву", + "нов у", + "▁Ре шение", + "▁Дэ вид", + "но шений", + "▁ры ча", + "▁па льцев", + "▁паль цев", + "▁З А", + "▁ ЗА", + "▁Ли ги", + "▁ак тивное", + "▁актив ное", + "▁активно е", + "▁R ome", + "▁Ro me", + "▁Rom e", + "▁T re", + "▁Tr e", + "▁pl aces", + "▁place s", + "сти ку", + "стик у", + "с тику", + "▁выпол нении", + "▁креп ко", + "▁из ъ", + "▁с мея", + "▁сме я", + "ги те", + "▁ве щество", + "▁веществ о", + "▁веще ство", + "▁Про тив", + "▁дет ских", + "▁у слож", + "▁ус лож", + "▁разви ваться", + "▁развива ться", + "▁развивать ся", + "▁Пи сь", + "▁отра жа", + "cl es", + "cle s", + "c les", + "▁малень кой", + "хо же", + "ag on", + "ago n", + "▁убе диться", + "▁убеди ться", + "▁убедить ся", + "Не т", + "Н ет", + "▁Х ей", + "▁Хе й", + "ist ics", + "istic s", + "▁види мости", + "▁видимо сти", + "▁ !", + "▁пять десят", + "▁в он", + "▁во н", + "▁hon or", + "▁тех нике", + "▁техни ке", + "▁ис торией", + "▁исто рией", + "▁истори ей", + "▁популяр ность", + "▁prom oted", + "▁promot ed", + "▁promote d", + "▁приобре тает", + "▁вы ходят", + "▁выход ят", + "▁выходя т", + "▁един ства", + "▁без ум", + "▁безу м", + "▁D i", + "▁Gu ard", + "it led", + "itle d", + "▁вспомина ет", + "▁поме щении", + "▁mom ent", + "ля цию", + "▁Во ль", + "▁Вол ь", + "▁печа та", + "▁печат а", + "▁Мак сим", + "▁Макси м", + "▁Макс им", + "▁Вспо м", + "▁plat form", + "▁патри о", + "гу н", + "г ун", + "▁William s", + "▁st one", + "▁ stone", + "erv ation", + "▁герцо га", + "▁герцог а", + "▁спраши вает", + "ней шее", + "▁еже днев", + "A l", + "▁бое вого", + "▁Л ука", + "▁Лу ка", + "▁Лук а", + "▁награ ды", + "▁наград ы", + "▁раз обла", + "▁разо бла", + "▁разоб ла", + "▁круп ным", + "▁во о", + "бе ди", + "б еди", + "ографи я", + "о графия", + "ва ра", + "вар а", + "в ара", + "▁во лей", + "▁вол ей", + "▁воле й", + "▁след ствием", + "▁следствие м", + "▁Т ек", + "▁Те к", + "▁кра сного", + "▁красно го", + "▁ды м", + "▁ дым", + "▁вол на", + "▁волн а", + "▁З ака", + "▁За ка", + "▁Зак а", + "▁ге ниаль", + "▁истреби телей", + "am m", + "a mm", + "▁сом нений", + "▁сомне ний", + "▁кол они", + "▁коло ни", + "▁колон и", + "▁пользова лся", + "се ло", + "сел о", + "▁некото рой", + "р ской", + "▁вы мы", + "▁W ales", + "▁Wal es", + "▁говори м", + "▁говор им", + "▁гово рим", + "▁диссер тацию", + "▁полу чило", + "▁получи ло", + "▁получил о", + "▁совет ская", + "▁administ ration", + "▁необходи мое", + "▁необходимо е", + "▁необходим ое", + "▁це нных", + "▁цен ных", + "▁уничто жения", + "▁умолча нию", + "▁Коми тета", + "▁Комитет а", + "▁боль ницу", + "▁I ll", + "▁Il l", + "▁потре бления", + "▁потреб ления", + "▁на стройки", + "▁настрой ки", + "▁настро йки", + "чь и", + "ч ьи", + "▁Bl ue", + "▁под водных", + "▁подвод ных", + "▁подво дных", + "▁лоша дь", + "▁гу б", + "▁ губ", + "▁Гла вного", + "▁Глав ного", + "ke r", + "k er", + "▁потер ь", + "▁поте рь", + "▁тол пы", + "▁па льцы", + "▁паль цы", + "кл у", + "к лу", + "▁А нали", + "▁Ан али", + "▁Ана ли", + "▁насле дия", + "ма ну", + "ман у", + "▁count y", + "▁coun ty", + "пп о", + "п по", + "▁об щ", + "▁ре ферен", + "▁реф ерен", + "▁со вести", + "▁сове сти", + "смотри те", + "▁ча стной", + "▁част ной", + "▁час тной", + "хо за", + "хоз а", + "▁пациен тов", + "▁пациент ов", + "▁товари щи", + "▁товарищ и", + "ве ща", + "▁do ub", + "▁dou b", + "▁F ox", + "▁наде юсь", + "го ва", + "гов а", + "▁D utch", + "▁соба ку", + "▁собак у", + "жи га", + "▁Интер нет", + "▁ба лет", + "▁бал ет", + "▁потребу ется", + "▁про ща", + "▁Тре тья", + "▁Треть я", + "Во з", + "В оз", + "▁проце нта", + "▁процен та", + "▁процент а", + "▁че лю", + "▁чел ю", + "▁из ум", + "▁изу м", + "ad el", + "ade l", + "in clud", + "▁зо вут", + "▁К аль", + "▁Ка ль", + "▁Кал ь", + "▁мощ ностью", + "▁мощность ю", + "▁беспла тно", + "▁У ил", + "▁Уи л", + "дным и", + "д ными", + "k o", + "▁Г ю", + "▁взя ла", + "▁взял а", + "ко ю", + "▁H or", + "▁Ho r", + "▁T im", + "▁Se a", + "ку ру", + "кур у", + "or ship", + "ors hip", + "▁complet ely", + "▁complete ly", + "▁све же", + "al i", + "a li", + "▁Кры му", + "▁Крым у", + "▁newsp aper", + "▁подроб ности", + "▁подробно сти", + "▁ж дал", + "▁ ждал", + "▁фе льд", + "▁ фельд", + "▁производ ству", + "л э", + "▁ро га", + "▁ рога", + "▁Ви занти", + "▁sim ply", + "н че", + "▁сынов ья", + "▁O h", + "▁отра жает", + "▁отража ет", + "▁убе жи", + "ло вский", + "лов ский", + "▁I D", + "▁ ID", + "▁M att", + "▁Ma tt", + "▁Mat t", + "ia ble", + "i able", + "▁попыт ок", + "▁попы ток", + "ли ней", + "лин ей", + "лине й", + "▁по жало", + "▁пожа ло", + "▁на шла", + "▁наш ла", + "ст ник", + "с тник", + "▁пор туга", + "▁порту га", + "тс кой", + "т ской", + "▁ш аги", + "▁ша ги", + "▁шаг и", + "▁фа ктор", + "▁фак тор", + "▁факт ор", + "▁Бо риса", + "▁Бори са", + "▁Борис а", + "▁понима ли", + "▁пони мали", + "▁понимал и", + "▁сторо ной", + "▁сторон ой", + "▁государ стве", + "▁государств е", + "▁обозна чения", + "еди нён", + "един ён", + "▁М А", + "▁ МА", + "▁re duced", + "▁reduce d", + "▁ве ж", + "▁защи тить", + "▁защит ить", + "ры ми", + "рым и", + "▁sup ply", + "▁ви тами", + "нт ер", + "нте р", + "н тер", + "▁Ш ев", + "▁Ше в", + "▁пере до", + "▁пе редо", + "▁перед о", + "до нос", + "дон ос", + "A meric", + "▁матери али", + "▁материа ли", + "▁мате риали", + "▁материал и", + "▁b illion", + "▁bill ion", + "ee d", + "e ed", + "▁Су пер", + "▁Иоан н", + "сло вие", + "слови е", + "▁показа тель", + "▁adop ted", + "▁че рной", + "▁чер ной", + "▁черно й", + "▁ра вна", + "▁рав на", + "▁бо та", + "▁ бота", + "▁ле кси", + "▁лек си", + "▁карь ере", + "▁пос тели", + "▁посте ли", + "ви з", + "в из", + "шни ков", + "шник ов", + "ш ников", + "▁не ю", + "▁со циал", + "▁соци ал", + "е ц", + "▁рабо тник", + "▁работ ник", + "▁цар ства", + "▁: )", + "Д у", + "▁опу хо", + "▁B ow", + "▁Bo w", + "▁т вои", + "▁тво и", + "▁поко лений", + "▁количе ству", + "▁Б аль", + "▁Ба ль", + "▁Бал ь", + "▁от рази", + "▁отра зи", + "▁ра ун", + "▁потен циал", + "▁потенциа л", + "Г А", + "▁реак цию", + "▁а спи", + "▁ас пи", + "▁еписко па", + "▁епископ а", + "▁свобо дной", + "▁свобод ной", + "▁свободно й", + "▁ну ждается", + "▁нужда ется", + "▁откры та", + "▁открыт а", + "▁собира ть", + "▁аэро пор", + "▁ближай шие", + "▁мини стром", + "▁министр ом", + "▁памя тников", + "▁памят ников", + "▁памятник ов", + "▁И л", + "▁един ственная", + "▁адре су", + "▁адрес у", + "▁s ales", + "▁sal es", + "▁sale s", + "▁to ward", + "▁не доступ", + "▁недо ступ", + "▁pur pose", + "▁J ac", + "? )", + "▁созда но", + "▁создан о", + "▁агре га", + "▁Про ект", + "▁опреде лё", + "▁стреми лся", + "▁стрем ился", + "▁счита лось", + "▁уг лом", + "▁клу бом", + "▁клуб ом", + "▁площадь ю", + "▁проводи лись", + "▁прово дились", + "▁проводили сь", + "st one", + "ston e", + "▁Д ети", + "▁Де ти", + "▁Дет и", + "▁предстоя ло", + "▁напра влений", + "H e", + "▁r isk", + "▁ri sk", + "al ion", + "ali on", + "▁cap acity", + "▁у мно", + "▁ум но", + "▁hous ing", + "▁mach ine", + "▁сов мести", + "▁совме сти", + "▁Азербайджа на", + "▁спра виться", + "▁При нци", + "▁Прин ци", + "▁То мас", + "▁Том ас", + "▁Тома с", + "ме стно", + "▁мо нар", + "▁мона р", + "▁мон ар", + "▁напра влены", + "▁направлен ы", + "▁Бе лого", + "▁Бело го", + "P A", + "▁e astern", + "▁eas tern", + "▁east ern", + "▁ро стом", + "▁рост ом", + "▁рос том", + "▁y outh", + "▁you th", + "▁Лер мон", + "▁произ веден", + "▁электро нной", + "▁национа льный", + "ди лась", + "дила сь", + "▁p erman", + "▁per man", + "ma s", + "m as", + "▁k il", + "ri ch", + "ric h", + "r ich", + "▁позво лили", + "▁позволи ли", + "▁позволил и", + "▁T op", + "▁To p", + "▁вой ной", + "▁войн ой", + "▁ме муа", + "▁мем уа", + "▁Пор туга", + "ше нная", + "шен ная", + "▁доби лся", + "▁доб ился", + "▁фи гур", + "▁фигу р", + "▁жела ет", + "▁раз делить", + "▁разде лить", + "▁раздели ть", + "▁раздел ить", + "▁меся цы", + "▁месяц ы", + "▁л жи", + "▁капи ту", + "▁капита л", + "▁капи тал", + "▁up per", + "во я", + "ша й", + "ш ай", + "▁про дать", + "▁прода ть", + "R E", + "▁ва шем", + "▁ваш ем", + "▁ваше м", + "ie uten", + "▁прекра сный", + "▁одноим ён", + "▁однои мён", + "in em", + "ine m", + "▁поч вы", + "▁Я вляется", + "▁офице ра", + "▁офицер а", + "▁ша гов", + "▁шаг ов", + "▁персона ж", + "ia na", + "ian a", + "i ana", + "▁иде али", + "▁идеа ли", + "▁идеал и", + "Ч С", + "сс ам", + "сса м", + "с сам", + "▁ре пли", + "▁ребен ку", + "Х Л", + "▁ближай шее", + "▁но сил", + "▁носи л", + "▁нос ил", + "▁ носил", + "▁r are", + "▁ra re", + "▁региона х", + "ess or", + "▁уз лов", + "▁Ш ер", + "▁Ше р", + "▁Х э", + "re sh", + "res h", + "r esh", + "▁кри тику", + "▁крити ку", + "▁критик у", + "Лу ч", + "▁f ellow", + "▁fell ow", + "▁гру зи", + "▁груз и", + "ва ющее", + "ваю щее", + "▁тан ковой", + "▁танков ой", + "▁буду щих", + "▁G ood", + "▁Go od", + "▁c ard", + "▁car d", + "▁Харак тер", + "▁голосо вания", + "Ан дже", + "Анд же", + "▁о зву", + "▁оз ву", + "▁метал лов", + "▁металло в", + "▁металл ов", + "▁Оказа лось", + "▁H a", + "́ ль", + "en ted", + "ent ed", + "▁c am", + "▁recomm end", + "▁На ша", + "▁Наш а", + "▁за бра", + "▁заб ра", + "▁стра сти", + "▁ страсти", + "▁У правление", + "▁Упра вление", + "ко гда", + "▁взаимоот ношения", + "▁за говор", + "▁загово р", + "▁Чемпи он", + "▁сигна ла", + "▁сигнал а", + "▁рус скими", + "▁русским и", + "st ate", + "▁резо лю", + "▁заме тили", + "▁замет или", + "▁заметил и", + "▁п ровали", + "▁про вали", + "▁важ нейших", + "▁привя зан", + "▁A re", + "▁Ar e", + "▁fl ag", + "▁сте кла", + "▁стек ла", + "▁п ружи", + "▁пру жи", + "▁кня зей", + "▁пользова лись", + "▁purch ased", + "▁purchase d", + "аль ное", + "ально е", + "а льное", + "нг и", + "н ги", + "▁w atch", + "▁по ту", + "сту пив", + "ступ ив", + "ступи в", + "▁по говорить", + "▁пого ворить", + "▁поговори ть", + "▁сбор ная", + "▁сбо рная", + "▁номер ом", + "▁номе ром", + "▁Октябрь ской", + "▁откров ен", + "▁откро вен", + "▁социали зма", + "▁социал изма", + "▁Н ай", + "▁На й", + "▁se ek", + "▁see k", + "▁ло м", + "▁л ом", + "▁ лом", + "▁ed ition", + "ig er", + "i ger", + "▁каж дые", + "▁кажды е", + "ра ть", + "рат ь", + "▁tr ying", + "▁try ing", + "про ект", + "проек т", + "ву д", + "в уд", + "▁журнали стам", + "▁журналист ам", + "▁журналиста м", + "▁столк новения", + "▁столкнове ния", + "▁res pond", + "▁resp ond", + "▁ respond", + "▁прожи вало", + "▁до лга", + "▁дол га", + "▁долг а", + "▁E astern", + "▁East ern", + "▁пре ры", + "▁пр еры", + "▁прер ы", + "▁об ман", + "▁обма н", + "▁транспорт ных", + "▁транспор тных", + "те льских", + "тель ских", + "▁r at", + "▁ra t", + "▁ rat", + "▁b rand", + "▁br and", + "▁bra nd", + "но вка", + "нов ка", + "ot i", + "▁сме си", + "▁Ге ро", + "▁Гер о", + "▁вд вое", + "▁озна коми", + "▁з ону", + "▁зо ну", + "▁зон у", + "▁до гада", + "▁дога да", + "▁дог ада", + "▁А рави", + "▁Ара ви", + "▁при водят", + "▁приво дят", + "▁приводя т", + "аль ная", + "а льная", + "ли ей", + "лие й", + "▁предста вил", + "▁представи л", + "▁че ш", + "▁особенно сть", + "▁особен ность", + "▁станови лись", + "▁стано вились", + "▁Р ан", + "▁Ра н", + "▁во скре", + "▁вос кре", + "▁воск ре", + "▁против ником", + "▁противник ом", + "вар дей", + "вард ей", + "▁ба лла", + "▁бал ла", + "ци онера", + "цион ера", + "цио нера", + "ционе ра", + "ционер а", + "▁Ch ap", + "▁У лица", + "▁Гру ппа", + "▁Груп па", + "▁гру з", + "▁гр уз", + "▁ груз", + "▁м игра", + "▁ми гра", + "▁миг ра", + "▁ мигра", + "▁симво лов", + "▁символ ов", + "▁наде жда", + "сти ческую", + "с тическую", + "▁чудови щ", + "▁про воло", + "▁прово ло", + "▁англий ских", + "▁круп ной", + "▁крупно й", + "▁произ вести", + "ал ы", + "а лы", + "▁з ря", + "ce an", + "▁G overnor", + "По д", + "П од", + "▁пе чат", + "▁печа т", + "▁ печат", + "▁подоб ной", + "▁подобно й", + "▁Югосла вии", + "▁d yn", + "▁Пожа луй", + "▁S and", + "▁San d", + "▁Sa nd", + "▁на строения", + "▁настрое ния", + "▁генера льный", + "▁f ix", + "▁дене жных", + "▁tw enty", + "▁на бере", + "▁набе ре", + "▁Э кс", + "▁Эк с", + "▁показа ться", + "▁показать ся", + "▁кор м", + "▁согласи е", + "▁S ever", + "▁Se ver", + "▁ра внове", + "▁равно ве", + "▁рав нове", + "ro ng", + "ron g", + "r ong", + "▁c ars", + "▁car s", + "▁B road", + "▁Bro ad", + "▁Br oad", + "▁се тей", + "▁сет ей", + "▁сете й", + "▁по лки", + "▁пол ки", + "▁полк и", + "▁F our", + "нек до", + "▁отде льного", + "▁отдель ного", + "▁отдельно го", + "▁ма лой", + "▁мало й", + "▁ло док", + "ric al", + "r ical", + "▁Та тар", + "▁чи не", + "▁чин е", + "▁ чине", + "то чных", + "▁along side", + "▁С иль", + "▁Си ль", + "▁Сил ь", + "и в", + "▁полу ченных", + "▁L y", + "▁B rig", + "▁Br ig", + "▁с низу", + "▁сни зу", + "▁требо валось", + "ga r", + "g ar", + "▁назна чил", + "▁вопро се", + "▁вопрос е", + "▁R am", + "тер риториаль", + "▁соревнова ний", + "▁V iet", + "▁Vi et", + "ла ва", + "лав а", + "s l", + "▁с пусти", + "▁спу сти", + "▁Уз беки", + "▁официаль ной", + "▁официально й", + "▁Министер ство", + "Ин тер", + "И нтер", + "▁В ет", + "▁Ве т", + "ко вод", + "ков од", + "ково д", + "▁акаде мик", + "▁академи к", + "▁О ре", + "▁Ор е", + "▁Ки ева", + "▁Киев а", + "ol ved", + "▁Христо с", + "▁су ществ", + "▁суще ств", + "▁зна чении", + "▁му жество", + "▁муже ство", + "▁конкре тного", + "▁конкретно го", + "▁ориен тирова", + "▁ориенти рова", + "▁обра тил", + "as y", + "a sy", + "▁соору жений", + "▁rec ently", + "▁recent ly", + "про сы", + "прос ы", + "▁в строен", + "▁зам ка", + "▁сообщи ть", + "да чи", + "▁Рабо тал", + "▁Работа л", + "▁Лат вии", + "▁празд ни", + "▁произ водит", + "▁производ ит", + "▁производи т", + "▁произво дит", + "▁ag ricult", + "жа ми", + "жам и", + "О П", + "▁Ма сса", + "▁сло я", + "ag n", + "a gn", + "▁о дея", + "▁оде я", + "ёт е", + "ё те", + "▁защи та", + "▁защит а", + "ни ческая", + "▁писа ла", + "▁писал а", + "ст ал", + "ста л", + "с тал", + "▁А фана", + "▁Аф ана", + "▁коме дии", + "▁Ген рих", + "▁Генри х", + "▁v irt", + "▁vir t", + "▁Ге нна", + "▁Ген на", + "▁нор ве", + "▁воен ном", + "▁военно м", + "▁вое нном", + "раз вед", + "▁отпра виться", + "▁отправить ся", + "▁ду мали", + "▁дума ли", + "▁думал и", + "▁crit ical", + "▁critic al", + "фо то", + "и гра", + "же нную", + "жен ную", + "тр ю", + "т рю", + "▁у читывая", + "▁учиты вая", + "▁расска зывать", + "▁рассказыва ть", + "▁рассказы вать", + "ги ю", + "▁p al", + "нд о", + "н до", + "▁о писал", + "▁описа л", + "▁опи сал", + "▁become s", + "▁becom es", + "▁Ч ёр", + "▁А пол", + "▁Апо л", + "▁Ап ол", + "▁main tain", + "▁f light", + "▁fl ight", + "ре нности", + "рен ности", + "ренно сти", + "▁s ources", + "▁source s", + "▁не бы", + "▁об лик", + "▁обли к", + "▁у сы", + "▁ус ы", + "▁g oes", + "▁go es", + "▁потреби телей", + "▁разме щения", + "________ ________", + "до вали", + "дова ли", + "дов али", + "довал и", + "ме тр", + "мет р", + "Ве ли", + "▁gro wing", + "▁grow ing", + "▁Алексе евич", + "▁фи нал", + "▁фина л", + "▁фин ал", + "▁д но", + "▁ дно", + "▁возвра ща", + "▁дости жение", + "un ior", + "леко пита", + "▁обе щал", + "▁обеща л", + "▁тай ны", + "▁на нести", + "▁нанес ти", + "▁эк скур", + "▁экс кур", + "▁восприя тие", + "▁деву шку", + "▁си льных", + "▁силь ных", + "▁стихот ворения", + "▁стихотво рения", + "▁срав нения", + "▁A D", + "▁ AD", + "▁стату са", + "▁статус а", + "▁инже нера", + "▁инженер а", + "▁Го вори", + "▁называ емых", + "▁называем ых", + "▁спи ну", + "▁вре да", + "▁вред а", + "▁Сара тов", + "ar io", + "ari o", + "жо у", + "▁пере шла", + "▁Ана логи", + "▁оправ ды", + "▁переда че", + "▁передач е", + "▁Б рат", + "▁Бра т", + "▁полез но", + "▁сме ши", + "▁сли зи", + "▁P ak", + "▁неправи льно", + "́ ,", + "▁в сер", + "▁все р", + "▁вс ер", + "▁тка ней", + "ц кая", + "▁ба скет", + "qu est", + "que st", + "ques t", + "▁аэро порта", + "▁аэропор та", + "▁аэропорт а", + "▁incor por", + "▁контро лем", + "▁образ ец", + "▁образе ц", + "ve st", + "ves t", + "v est", + "▁пер сид", + "▁ка ба", + "▁поко я", + "▁rece ive", + "чи ками", + "чика ми", + "чикам и", + "▁коман дующий", + "▁команду ющий", + "▁ру бля", + "▁руб ля", + "▁про чего", + "▁проч его", + "▁elect ric", + "▁Май кл", + "▁Лю би", + "▁ф рей", + "▁фре й", + "▁attack ed", + "▁во жде", + "▁вож де", + "▁Hist ory", + "▁Histor y", + "▁пла нете", + "▁плане те", + "▁план ете", + "▁планет е", + "▁у регули", + "▁един ственное", + "▁единственно е", + "▁Кон гре", + "▁lead ership", + "▁leader ship", + "▁leaders hip", + "▁Никола ев", + "pr ise", + "pri se", + "▁трав мы", + "нс кую", + "н скую", + "▁шта те", + "▁штат е", + "▁произ нес", + "ul s", + "u ls", + "ре ктор", + "рек тор", + "▁заседа ния", + "▁засе дания", + "▁Геор гия", + "▁Георги я", + "ло вича", + "лович а", + "лови ча", + "▁до ходы", + "▁доход ы", + "▁пра ве", + "▁прав е", + "▁ праве", + "▁на строй", + "▁настро й", + "щи ками", + "щика ми", + "щикам и", + "▁c ells", + "▁cell s", + "ис ка", + "и ска", + "▁указа нных", + "▁соста влял", + "▁состав лял", + "▁составля л", + "qu arters", + "▁основ ное", + "▁осно вное", + "▁b ra", + "▁br a", + "▁ bra", + "▁выступа ют", + "▁у сер", + "▁ус ер", + "▁усе р", + "▁диапа зо", + "шед ший", + "▁f it", + "▁ fit", + "▁se at", + "▁sea t", + "▁en joy", + "ско пи", + "скоп и", + "▁г воз", + "▁во ля", + "▁вол я", + "▁ла ты", + "▁лат ы", + "▁совокуп ность", + "▁F ar", + "▁Fa r", + "▁m is", + "▁mi s", + "▁коллек ции", + "▁колле кции", + "▁привы к", + "диви тельно", + "▁и скопа", + "▁иск опа", + "▁иско па", + "▁ги бель", + "▁estim ated", + "ask et", + "▁хо дили", + "▁ход или", + "▁ходил и", + "▁ ходили", + "щи мся", + "щим ся", + "▁насе лением", + "▁население м", + "Н Е", + "▁Th ree", + "▁А хма", + "▁Ах ма", + "то рам", + "тор ам", + "тора м", + "▁бума г", + "▁ass igned", + "▁ко мен", + "▁ком ен", + "▁коме н", + "▁ комен", + "▁дыха ния", + "▁т вёр", + "▁тв ёр", + "ни нг", + "нин г", + "н инг", + "▁Результа ты", + "▁Результат ы", + "▁п одно", + "▁по дно", + "▁под но", + "▁pos itive", + "▁тра вы", + "▁трав ы", + "▁но сят", + "▁нос ят", + "▁ носят", + "▁ли цам", + "▁лица м", + "▁лиц ам", + "▁со веты", + "▁сов еты", + "▁совет ы", + "▁сове ты", + "▁сла ву", + "▁сте кля", + "▁стек ля", + "ме тов", + "мет ов", + "мето в", + "▁Госпо да", + "▁Гос пода", + "▁гражда нских", + "▁граждан ских", + "рок ко", + "▁эксплуа тацию", + "R O", + "▁ста рей", + "▁стар ей", + "▁вся кие", + "▁расска зов", + "▁рассказ ов", + "ia no", + "ian o", + "i ano", + "▁сро чно", + "▁груп пами", + "▁группа ми", + "wh ich", + "▁я чей", + "▁Lat in", + "▁обра зуется", + "▁образу ется", + "▁образует ся", + "▁Пробле ма", + "▁бе ль", + "▁ бель", + "▁Государ ственный", + "▁да влением", + "▁дав лением", + "▁давление м", + "со вые", + "ur ation", + "ura tion", + "u ration", + "form ation", + "▁вет ви", + "ха рак", + "хар ак", + "хара к", + "▁наи луч", + "▁ти пу", + "▁тип у", + "▁m icro", + "▁произо йдет", + "жу т", + "ж ут", + "▁тру бы", + "▁труб ы", + ". #", + "▁match es", + "▁mat ches", + "▁дево чки", + "▁па ло", + "▁пал о", + "▁ра зма", + "▁раз ма", + "▁Д ай", + "▁Да й", + "▁В ера", + "▁Ве ра", + "▁Вер а", + "▁ма ссой", + "▁массо й", + "▁масс ой", + "▁коллек тива", + "▁коллектив а", + "▁ше ст", + "▁основ ал", + "▁основа л", + "▁осно вал", + "▁ни куда", + "▁ник уда", + "▁элемента ми", + "▁полномо чий", + "▁wid ely", + "▁wide ly", + "▁ги по", + "▁находя щихся", + "де с", + "ки о", + "те ма", + "тем а", + "т ема", + "ля ться", + "лять ся", + "▁уголов ное", + "ье ва", + "ьев а", + "ь ева", + "da te", + "d ate", + "▁Горь кого", + "чь их", + "чьи х", + "▁prim arily", + "▁дей ствовали", + "▁действовал и", + "▁С ент", + "▁Се нт", + "▁Сен т", + "▁п рого", + "▁про го", + "▁выз вали", + "▁вызва ли", + "▁вызвал и", + "▁offic ially", + "▁official ly", + "▁о писать", + "▁описа ть", + "▁опи сать", + "▁злоу потре", + "▁На чало", + "▁Нача ло", + "▁потреб ностей", + "▁serv ing", + "▁ser ving", + "▁взрос ло", + "▁взро сло", + "в кой", + "▁беспо ряд", + "▁Ло моно", + "▁распреде ления", + "▁на ле", + "▁н але", + "T S", + "▁П орт", + "▁По рт", + "▁Пор т", + "▁Бу ха", + "▁fac ilities", + "▁Неу жели", + "▁д ай", + "▁да й", + "▁ дай", + "▁патриар ха", + "u i", + "▁с ливо", + "▁сли во", + "▁сдела ет", + "▁Hist or", + "▁счита ться", + "▁считать ся", + "▁официаль ных", + "▁g reen", + "▁gr een", + "▁gre en", + "▁кри тика", + "▁крити ка", + "▁критик а", + "▁призна н", + "▁приз нан", + "О р", + "тчи ки", + "тчик и", + "т чики", + "▁столк нове", + "▁Б э", + "▁г л", + "▁ гл", + "▁c erem", + "▁ce rem", + "Ne w", + "N ew", + "▁посе тил", + "▁посети л", + "▁корре кти", + "▁коррек ти", + "▁отмеча л", + "▁отме чал", + "▁си льной", + "▁сильно й", + "▁силь ной", + "ла ма", + "лам а", + "▁хво ст", + "▁необходи мы", + "▁необходим ы", + "▁he av", + "▁ва шим", + "▁ваш им", + "▁ваши м", + "▁низ кой", + "▁низко й", + "if ying", + "ify ing", + "▁ограни чений", + "▁уме реть", + "▁умер еть", + "▁v on", + "▁vo n", + "▁ли шения", + "би ни", + "бин и", + "ab eth", + "▁T ro", + "▁Tr o", + "▁подтвер дил", + "Ф а", + "▁за бира", + "▁заби ра", + "ра ссу", + "рас су", + "▁He alth", + "▁по дать", + "▁пода ть", + "▁St an", + "▁удоволь ствия", + "то вал", + "тов ал", + "това л", + "▁ду хом", + "▁дух ом", + "▁духо м", + "▁s pend", + "▁sp end", + "▁spe nd", + "\" >", + "▁по дал", + "▁под ал", + "▁пода л", + "▁l oad", + "▁lo ad", + "▁ load", + "ci ous", + "c ious", + "▁B ell", + "▁Be ll", + "▁Bel l", + "▁подо зри", + "ёр т", + "ё рт", + "▁пригла сил", + "дя ми", + "дям и", + "д ями", + "▁По стоя", + "щая ся", + "▁хоро шая", + "▁сме ло", + "▁N etwork", + "▁Net work", + "▁сни зи", + "▁карто фе", + "▁станови лся", + "▁станов ился", + "▁стано вился", + "▁Норве гии", + "лю сь", + "л юсь", + "▁Бого роди", + "▁schol ars", + "▁h ab", + "▁ha b", + "▁ hab", + "▁современ ный", + "▁побе д", + "▁пло тно", + "▁плот но", + "▁Ст рои", + "▁Стро и", + "▁са ду", + "▁сад у", + "ве ние", + "вени е", + "▁Ле она", + "▁Леон а", + "▁Лео на", + "▁б ь", + "▁ бь", + "▁Jack son", + "жда ться", + "ждать ся", + "▁восстано вление", + "▁да ты", + "▁дат ы", + "раз ви", + "▁тво ей", + "▁твое й", + "ше нного", + "шен ного", + "шенно го", + "man n", + "m ann", + "▁потре бовал", + "▁потребо вал", + "▁Гар ри", + "ди нг", + "дин г", + "д инг", + "жа в", + "ж ав", + "▁раз личие", + "▁разли чие", + "▁различи е", + "▁bl ue", + "▁заклю чи", + "▁А стра", + "▁по строены", + "▁построе ны", + "▁построен ы", + "▁re quest", + "▁requ est", + "▁неболь шую", + "▁tourn ament", + "▁fig ure", + "▁И де", + "▁беспо ко", + "мо три", + "▁Ку бок", + "▁ви ну", + "▁вин у", + "▁ вину", + "▁пере за", + "▁пе реза", + "▁ж дали", + "▁ждал и", + "▁ ждали", + "!\" ,", + "! \",", + "! »", + "de f", + "d ef", + "▁look ed", + "▁сом ни", + "▁э ше", + "g reg", + "▁За па", + "▁her self", + "▁при зем", + "▁приз ем", + "▁Ни к", + "▁ава рии", + "С Я", + "▁result ing", + "▁содержа нием", + "▁содержание м", + "▁обще ственный", + "▁обществе нный", + "▁camp us", + "bor n", + "b orn", + "▁си льного", + "▁сильно го", + "▁силь ного", + "▁вы брал", + "▁выбра л", + "il ing", + "ili ng", + "i ling", + "▁пече ни", + "▁ба нди", + "▁бан ди", + "▁Port ug", + "▁та кси", + "▁так си", + "ро га", + "рог а", + "▁Конститу ции", + "▁exper iment", + "за паде", + "запад е", + "▁с юр", + "▁сю р", + "▁C ross", + "▁Cro ss", + "▁Cr oss", + "j o", + "▁qu ite", + "стан ция", + "▁inst all", + "▁пере кре", + "▁при нести", + "▁принес ти", + "ни зма", + "низ ма", + "низм а", + "н изма", + "ieuten ant", + "▁попро бу", + "▁фи ни", + "▁фин и", + "im a", + "i ma", + "▁ж дут", + "▁жду т", + "▁бе сси", + "▁бес си", + "▁бесс и", + "▁промышлен ных", + "Во т", + "В от", + "ме м", + "м ем", + "▁турни р", + "▁перспекти вы", + "▁перспек тивы", + "▁удовлет вори", + "▁удовлетво ри", + "▁поли тическую", + "▁полити ческую", + "▁супру га", + "▁вы пусти", + "▁выпу сти", + "▁ос ново", + "▁основ о", + "▁осно во", + "▁день гами", + "▁огром ную", + "жда ла", + "жд ала", + "ждал а", + "ж дала", + "▁искрен не", + "▁це лую", + "▁расположен ных", + "▁расположе нных", + "С парта", + "▁ж ёл", + "▁жё л", + "▁un able", + "▁у шла", + "▁вы йдет", + "ul ate", + "ula te", + "▁вспом нил", + "▁две надцать", + "▁тяже лой", + "▁тяжело й", + "▁полу ша", + "▁О Т", + "▁ ОТ", + "▁про бо", + "▁пр обо", + "▁проб о", + "▁пробле мами", + "▁проблема ми", + "▁проблемам и", + "▁d ang", + "кон ферен", + "▁Ко ра", + "▁Кор а", + "служ ба", + "▁фай лы", + "▁файл ы", + "▁серти фика", + "▁неиз мен", + "▁re ject", + "▁Б ала", + "▁Ба ла", + "▁Бал а", + "▁захва тили", + "▁захватил и", + "▁захват или", + "▁дифф еренци", + "воз душ", + "▁д иска", + "▁ди ска", + "▁дис ка", + "▁диск а", + "▁попыт ке", + "▁попы тке", + "▁образ ца", + "▁Иису с", + "▁суще ствовали", + "▁существо вали", + "▁существова ли", + "▁существовал и", + "cl aim", + "th let", + "▁E ll", + "▁El l", + "▁раз бой", + "▁разбо й", + "▁webs ite", + "ты ся", + "▁rap id", + "▁prom inent", + "▁окрестно стях", + "́ т", + "▁с нял", + "▁сня л", + "▁при во", + "▁прив о", + "▁re ports", + "▁report s", + "▁А дам", + "▁Ад ам", + "▁Ада м", + "▁успе хов", + "▁успех ов", + "рова нную", + "рован ную", + "▁Ма кедо", + "▁b urn", + "▁bur n", + "▁факуль те", + "▁поку пать", + "▁покупа ть", + "▁Ко личество", + "▁кру го", + "▁круг о", + "▁кр уго", + "▁Ру сь", + "▁Рус ь", + "▁j oint", + "▁jo int", + "▁join t", + "▁E ven", + "▁Ev en", + "▁commun ities", + "▁за су", + "▁зас у", + "▁свя зя", + "▁связ я", + "ке ль", + "▁начина ть", + "▁new ly", + "▁Наполе она", + "▁Наполеон а", + "▁эта же", + "▁этаж е", + "▁под созна", + "▁подсо зна", + "▁расположен ный", + "▁расположе нный", + "чё та", + "чёт а", + "со вест", + "▁совет ское", + "▁советско е", + "us ion", + "▁gu ns", + "▁gun s", + "▁сту пени", + "▁Зна чи", + "▁ско та", + "▁скот а", + "х ле", + "▁проф со", + "▁на доб", + "▁над об", + "▁надо б", + "▁Ни когда", + "▁Нико гда", + "▁фина ла", + "▁финал а", + "▁фин ала", + "▁oper ating", + "ун д", + "у нд", + "▁приме нением", + "▁применение м", + "▁у словие", + "▁услови е", + "▁w ild", + "▁стра дания", + "▁страда ния", + "шны х", + "шн ых", + "ш ных", + "шли сь", + "ш лись", + "▁Анг лию", + "▁при об", + "▁прио б", + "то нов", + "тон ов", + "т онов", + "▁пла ц", + "an cing", + "anc ing", + "▁со рока", + "▁сорок а", + "▁Ленин граде", + "▁Ленинград е", + "в на", + "ня м", + "н ям", + "ль ском", + "▁ма кро", + "ab y", + "a by", + "чи вается", + "чивает ся", + "чива ется", + "▁гла ву", + "▁глав у", + "▁нару жу", + "▁B udd", + "▁Bu dd", + "▁у тили", + "▁ут или", + "▁при емы", + "▁прием ы", + "▁прие мы", + "▁Владими рович", + "▁в сад", + "▁вс ад", + "▁sp ring", + "▁ко льца", + "▁коль ца", + "▁grant ed", + "об е", + "о бе", + "▁зарубе жных", + "la w", + "l aw", + "▁author ities", + "▁Ка та", + "▁Национа льный", + "S P", + "▁ве до", + "▁вед о", + "▁пер вому", + "▁перво му", + "▁первом у", + "▁g ained", + "▁gain ed", + "▁я го", + "▁до веря", + "▁дове ря", + "▁довер я", + "▁кур се", + "▁курс е", + "▁христиан ства", + "il ly", + "ill y", + "▁механи змы", + "▁механизм ы", + "▁разви вать", + "▁развива ть", + "ло ге", + "лог е", + "▁американ ская", + "▁америка нская", + "▁значи тельную", + "▁Ка лу", + "▁Кал у", + "▁от че", + "тя тся", + "тят ся", + "т ятся", + "▁И тали", + "▁Ита ли", + "▁comb ined", + "▁собира лись", + "▁allow ing", + "▁cons um", + "▁форма льно", + "▁форм ально", + "▁музы ке", + "▁коло сса", + "▁О пять", + "▁Оп ять", + "▁ве сен", + "▁весе н", + "▁вес ен", + "▁древ него", + "▁древне го", + "▁полуо строва", + "▁полуостро ва", + "▁созна тельно", + "▁против ников", + "▁противник ов", + "▁us er", + "▁use r", + "▁u ser", + "▁ user", + "▁Международ ного", + "▁по строй", + "▁пост рой", + "▁постро й", + "▁пробле ме", + "▁проблем е", + "▁пожа р", + "ль ских", + "▁молодо сти", + "z il", + "▁Т рам", + "▁Тра м", + "▁объ ём", + "▁объё м", + "▁f ile", + "▁fil e", + "▁ file", + "▁би блей", + "▁го суда", + "▁гос уда", + "▁госу да", + "чи ной", + "чин ой", + "▁С дела", + "▁Rail way", + "▁а люми", + "▁Б рита", + "▁Бри та", + "▁написа на", + "▁написан а", + "ча н", + "ч ан", + "▁австра лий", + "▁опреде ляют", + "▁определя ют", + "▁ту пи", + "С Б", + "ско п", + "ск оп", + "с коп", + "▁малень кая", + "▁Ва жно", + "▁L ove", + "▁Lo ve", + "▁ч ь", + "▁ чь", + "▁мг новение", + "▁фор мах", + "▁форма х", + "ле нно", + "лен но", + "л енно", + "▁слы шать", + "▁слыша ть", + "кл ы", + "к лы", + "несе ны", + "несен ы", + "▁mod els", + "▁model s", + "▁mode ls", + "▁насеко мых", + "▁n ative", + "▁A wards", + "▁Award s", + "▁поч ве", + "▁компонен ты", + "▁компонент ы", + "▁Ч еты", + "▁Че ты", + "▁Чет ы", + "▁ко нь", + "▁кон ь", + "▁ма стеров", + "▁мастер ов", + "▁масте ров", + "ка та", + "кат а", + "▁рассмотре ния", + "▁милли он", + "gr ad", + "g rad", + "▁небольшо го", + "▁экспери мент", + "▁Ча ще", + "▁d ra", + "▁dr a", + "д ни", + "▁остро вах", + "▁острова х", + "▁Cap tain", + "▁захва та", + "▁захват а", + "х ма", + "▁рим ля", + "▁a ctions", + "▁act ions", + "▁action s", + "▁ actions", + "▁organ ized", + "▁organiz ed", + "▁че рного", + "▁чер ного", + "▁черно го", + "▁пере вер", + "▁переве р", + "▁C a", + "▁же нского", + "▁жен ского", + "▁буду щей", + "▁м ону", + "▁мо ну", + "▁мон у", + "▁ска зки", + "▁сказ ки", + "▁в ведения", + "▁Ber lin", + "▁Ле г", + "▁тех нические", + "▁техни ческие", + "те лось", + "▁симво лом", + "▁символ ом", + "▁b ill", + "▁bi ll", + "re c", + "r ec", + "О К", + "▁спо ры", + "▁спор ы", + "B M", + "▁ко стей", + "▁кос тей", + "▁про водятся", + "▁прово дятся", + "▁провод ятся", + "▁проводят ся", + "▁проводя тся", + "ch o", + "c ho", + "за ли", + "зал и", + "з али", + "▁l isted", + "▁list ed", + "od ies", + "▁на гру", + "▁наг ру", + "▁кален дар", + "▁сержа нт", + "▁образова н", + "▁образов ан", + "▁за сыпа", + "▁в ины", + "▁ви ны", + "▁вин ы", + "▁ вины", + "▁сочета нии", + "фу нк", + "▁К ав", + "▁Ка в", + "▁territ ory", + "▁поли тическая", + "▁полити ческая", + "▁s cript", + "▁sc ript", + "▁ script", + "ве ри", + "вер и", + "▁диа гно", + "▁ш от", + "▁шо т", + "j a", + "▁спи не", + "▁це ной", + "▁цен ой", + "▁Институ т", + "▁посо вето", + "▁Р А", + "▁ РА", + "шн а", + "ш на", + "▁образ цы", + "▁С каза", + "▁Ска за", + "▁называ емой", + "▁называем ой", + "▁а нима", + "▁ани ма", + "читы вая", + "▁р ю", + "▁ рю", + "▁тре тья", + "▁треть я", + "ut ing", + "u ting", + "▁навы ки", + "▁стар шим", + "▁механи змов", + "▁механизм ов", + "▁запре т", + "▁м лекопита", + "▁то кси", + "▁ток си", + "▁ токси", + "▁поль зуется", + "▁пользу ется", + "▁фор си", + "▁Фло рен", + "▁наименова ние", + "са р", + "с ар", + "▁E nd", + "▁En d", + "▁обра зует", + "▁образу ет", + "▁пре ле", + "▁чужо й", + "▁свобо де", + "▁свобод е", + "▁литера туру", + "▁литератур у", + "▁ре органи", + "фи льм", + "филь м", + "▁part ies", + "▁par ties", + "▁н ю", + "▁ ню", + "▁aud ience", + "▁тенден ции", + "▁ш ле", + "▁ры бу", + "▁рыб у", + "▁реме сле", + "ди ем", + "дие м", + "▁У лья", + "▁происше ствия", + "▁поступа ть", + "▁посту пать", + "▁К от", + "▁Ко т", + "oc ated", + "oca ted", + "▁за т", + "▁з ат", + "ru m", + "r um", + "бо та", + "бот а", + "▁сани тар", + "▁рас следова", + "▁b roke", + "▁bro ke", + "▁br oke", + "▁Be fore", + "▁Ир ландии", + "▁кори чне", + "▁ коричне", + "in y", + "i ny", + "▁показа ла", + "▁пока зала", + "▁показал а", + "▁каза ков", + "▁же нской", + "▁жен ской", + "▁ре нт", + "▁р ент", + "▁а зо", + "amp ion", + "▁авто доро", + "▁Ве чером", + "▁боль шего", + "▁больше го", + "▁typ ically", + "▁typical ly", + "▁p aint", + "▁pain t", + "▁выступ лений", + "▁ули цах", + "▁улица х", + "▁fif th", + "ро вкой", + "ров кой", + "▁б рони", + "▁бро ни", + "▁брон и", + "▁dist ance", + "▁di stance", + "▁пре зента", + "▁com posed", + "▁compos ed", + "▁По стано", + "▁Поста но", + "▁Пост ано", + "▁e ra", + "▁er a", + "▁ era", + "▁выстав ке", + "▁выста вке", + "▁op position", + "▁oppos ition", + "row d", + "▁дума ют", + "▁думаю т", + "Б ы", + "▁импе риали", + "то во", + "тов о", + "▁any thing", + "▁концеп ция", + "ни са", + "нис а", + "▁C O", + "▁ CO", + "▁об щаться", + "▁Бли ж", + "▁фра зы", + "▁attempt ed", + "▁сдела н", + "▁сде лан", + "▁сдел ан", + "сна б", + "▁под ъем", + "▁подъ ем", + "▁Наталь я", + "▁Ната лья", + "▁по вест", + "▁пове ст", + "▁про даже", + "▁прода же", + "▁продаж е", + "▁дире кторов", + "▁директор ов", + "за ны", + "зан ы", + "▁З ай", + "▁За й", + "▁встре титься", + "▁встретить ся", + "▁Ос енью", + "▁позво лил", + "▁позволи л", + "▁судь и", + "▁суд ьи", + "▁ю ности", + "▁юно сти", + "▁атмосф еру", + "▁атмосфер у", + "▁К ир", + "▁Ки р", + "pe t", + "p et", + "ле нными", + "лен ными", + "ленным и", + "▁дивизи она", + "▁дивизион а", + "Г И", + "кви зи", + "▁стои ло", + "b ody", + "ви те", + "вит е", + "ва нных", + "ван ных", + "юзе ля", + "▁спек тра", + "▁спект ра", + "▁поли тическим", + "▁полити ческим", + "▁наблю дений", + "▁возмо жные", + "▁возможны е", + "C om", + "ga l", + "g al", + "▁при клад", + "▁indust rial", + "▁y ards", + "ya l", + "y al", + "▁Alex ander", + "▁У ол", + "▁Уо л", + "est ic", + "▁разно гла", + "▁st ring", + "▁str ing", + "▁stri ng", + "▁ string", + "ва ни", + "ван и", + "в ани", + "▁возник нове", + "зна ние", + "▁атмосф еры", + "▁атмосфер ы", + "▁филосо фия", + "▁философи я", + "ch ester", + "che ster", + "ches ter", + "▁затра т", + "▁зат рат", + "▁пле чи", + "or ter", + "ort er", + "▁использова лся", + "▁использовал ся", + "d a", + "мс а", + "м са", + "▁национа льно", + "▁откров енно", + "▁откро венно", + "▁откровен но", + "▁па дение", + "ak ed", + "ake d", + "con f", + "▁напра влению", + "ва ешь", + "»\" .", + "» \".", + "▁ми тин", + "зо вая", + "зова я", + "зов ая", + "ча тки", + "чат ки", + "▁f ully", + "▁full y", + "▁ fully", + "▁Соб ственно", + "▁диамет ром", + "▁диаметр ом", + "ant ly", + "▁запа сы", + "▁запас ы", + "▁о чер", + "▁оче р", + "▁экспер тов", + "▁d ie", + "▁di e", + "▁не лег", + "▁неле г", + "▁r aces", + "▁ra ces", + "▁race s", + "▁пы ль", + "▁trans fer", + "▁обы чные", + "▁содержа ть", + "▁содержат ь", + "▁оде жда", + "Бо ль", + "▁Т В", + "▁ ТВ", + "▁двор це", + "▁ги пно", + "▁оке а", + "▁Э ли", + "▁Эл и", + "▁не лега", + "▁неле га", + "▁нелег а", + "▁спро сить", + "▁спрос ить", + "▁ло кали", + "▁лока ли", + "▁лок али", + "▁пожа ра", + "▁пожар а", + "▁M en", + "▁Me n", + "▁откры той", + "▁открыто й", + "▁открыт ой", + "кну ла", + "кнул а", + "к нула", + "▁Secret ary", + "h y", + "се ли", + "сел и", + "▁пове зло", + "▁па рази", + "▁пара зи", + "▁H ead", + "▁He ad", + "▁ве ще", + "▁при чину", + "▁причи ну", + "▁причин у", + "▁се ан", + "▁нач нет", + "▁ч тение", + "▁чте ние", + "▁Direct or", + "но сил", + "носи л", + "нос ил", + "' )", + "све т", + "с вет", + "▁Х ри", + "▁ра сто", + "▁рас то", + "▁раст о", + "▁суще ствующих", + "▁существу ющих", + "▁вы боре", + "▁выбо ре", + "▁выбор е", + "▁свет ло", + "▁раз говоры", + "▁разгово ры", + "▁разговор ы", + "на го", + "ОВ А", + "О ВА", + "▁включа ют", + "▁вклю чают", + "ра л", + "р ал", + "ock ed", + "▁H ome", + "▁Hom e", + "▁Ho me", + "▁f air", + "▁fa ir", + "yth on", + "om y", + "o my", + "клады вают", + "▁сооб щается", + "▁сообщает ся", + "▁сообща ется", + "▁v ac", + "▁ar ms", + "▁arm s", + "ха у", + "▁хими ческих", + "рова нными", + "рован ными", + "рованным и", + "▁mention ed", + "▁И мя", + "▁Им я", + "▁El iz", + "▁r ob", + "▁ro b", + "▁де тской", + "▁дет ской", + "▁контак ты", + "▁контакт ы", + "▁рас следование", + "▁расследова ние", + "▁ident ified", + "▁Б ак", + "▁Ба к", + "▁о ты", + "▁от ы", + "▁развер ты", + "ans ion", + "▁не ви", + "▁нев и", + "▁кон суль", + "▁консу ль", + "▁мо тивы", + "▁мотив ы", + "▁пере бра", + "▁f ear", + "▁fe ar", + "▁т воя", + "▁тво я", + "z y", + "▁заме чает", + "▁замеча ет", + "▁Си бир", + "▁Сиби р", + "ст ина", + "сти на", + "стин а", + "с тина", + "▁ded icated", + "▁У чи", + "▁Уч и", + "▁добра ться", + "▁look ing", + "▁прину ди", + "▁по гу", + "▁Th rough", + "▁свобо дное", + "▁свобод ное", + "▁свободно е", + "▁начина л", + "▁начи нал", + "▁ва жной", + "▁важ ной", + "▁важно й", + "▁ре форм", + "▁рефор м", + "▁c ateg", + "ти ками", + "тика ми", + "▁це лых", + "▁хра ме", + "▁храм е", + "▁Pro ject", + "▁ма лого", + "▁мало го", + "▁R ay", + "▁K enn", + "▁Ken n", + "▁И дея", + "▁Иде я", + "▁неф ть", + "▁дове рие", + "▁Ц вет", + "▁знамени того", + "ча лись", + "чали сь", + "▁реа били", + "ко п", + "к оп", + "▁архитек тор", + "▁архите ктор", + "▁ре пети", + "▁забы вать", + "Т П", + "▁Ch ild", + "▁бы вало", + "▁бывал о", + "▁созда ется", + "▁создает ся", + "▁мы ше", + "▁мыш е", + "▁anim als", + "▁animal s", + "и р", + "ту рах", + "тура х", + "▁филь мах", + "▁фильма х", + "▁ex tend", + "▁ext end", + "▁ch annel", + "▁аре ста", + "▁арест а", + "▁вы зывать", + "▁вызыва ть", + "па в", + "п ав", + "▁R y", + "▁жи вого", + "▁живо го", + "▁Ра ди", + "пи ла", + "пил а", + "п ила", + "ча лся", + "чал ся", + "▁р ту", + "▁сра жении", + "ty pe", + "t ype", + "▁хода тай", + "▁при менить", + "▁приме нить", + "▁примени ть", + "▁иде ологии", + "▁идеологи и", + "▁Со лне", + "▁Солн е", + "▁Сол не", + "▁пере чень", + "▁счита лся", + "▁считал ся", + "▁пери фе", + "▁откры тый", + "▁открыты й", + "▁угро зой", + "▁h all", + "▁ha ll", + "▁п лот", + "▁пло т", + "▁Им пе", + "▁чет веро", + "▁четвер о", + "▁К ала", + "▁Ка ла", + "▁Кал а", + "▁квали фикации", + "▁квалифика ции", + "а я", + "res pond", + "▁поступа ет", + "Ж Д", + "os en", + "ose n", + "o sen", + "у строй", + "▁cre ation", + "▁creat ion", + "im al", + "ima l", + "▁ле ту", + "▁лет у", + "▁л ету", + "▁со зре", + "▁соз ре", + "▁пар ке", + "▁парк е", + "де нт", + "ден т", + "д ент", + "жа ние", + "гу берна", + "▁сюжет а", + "▁сюже та", + "смо треть", + "смотре ть", + "смотр еть", + "▁D an", + "▁По лит", + "▁Пол ит", + "▁Поли т", + "M an", + "▁му жской", + "▁муж ской", + "▁че рные", + "▁чер ные", + "▁Румы нии", + "wh ile", + "ди шь", + "▁hor se", + "▁hors e", + "▁Cor poration", + "ler s", + "l ers", + "▁ве нти", + "▁вен ти", + "▁be aut", + "▁ве сом", + "▁вес ом", + "за тор", + "▁В друг", + "▁прио рите", + "и д", + "ре али", + "▁сер вера", + "▁сервер а", + "▁кру гом", + "▁круг ом", + "▁круго м", + "▁а фи", + "▁аф и", + "▁изобра жений", + "▁Прави тельство", + "be c", + "b ec", + "▁Про ис", + "▁пред писа", + "▁при спо", + "▁прис по", + "▁пр испо", + "▁M u", + "▁с вин", + "▁сви н", + "▁св ин", + "▁празд нова", + "ic ed", + "ice d", + "i ced", + "▁се вера", + "▁север а", + "жник и", + "ж ники", + "▁цен зу", + "ти не", + "тин е", + "ми гра", + "м игра", + "лосо ф", + "▁жё ст", + "▁хра бро", + "▁добы чи", + "▁отпра вили", + "▁отправил и", + "▁при шёл", + "▁без рабо", + "▁Но вые", + "▁К ин", + "▁Ки н", + "си он", + "сио н", + "▁И рана", + "▁Ир ана", + "▁Ира на", + "▁Иран а", + "▁мо нет", + "▁мон ет", + "▁моне т", + "▁че чен", + "▁разрабо та", + "▁мифо логии", + "▁миф ологии", + "▁pos itions", + "▁position s", + "▁глу бже", + "▁персона ла", + "▁экономи ческие", + "▁pie ce", + "▁M id", + "▁соответ ствующей", + "▁соответству ющей", + "ird s", + "числе нные", + "чис ленные", + "▁то п", + "▁т оп", + "▁ топ", + "▁вопро сами", + "▁вопросам и", + "▁вопроса ми", + "▁ша сси", + "▁дости гла", + "▁достиг ла", + "▁прогре ссив", + "▁прогресс ив", + "▁прогресси в", + "▁украин ский", + "▁му со", + "▁отожде ств", + "▁L es", + "▁Le s", + "▁компро ми", + "▁ак тов", + "▁акт ов", + "aw a", + "a wa", + "▁Прави тельства", + "▁Вол го", + "▁перио ды", + "▁период ы", + "▁H uman", + "▁Hu man", + "or age", + "ora ge", + "o rage", + "▁про сить", + "▁прос ить", + "▁просит ь", + "▁проси ть", + "▁пере из", + "▁переи з", + "▁эффек та", + "▁эффект а", + "ко лы", + "кол ы", + "▁conf irmed", + "▁pl ays", + "▁play s", + "▁вариан те", + "▁вариант е", + "▁вариа нте", + "▁сле зы", + "▁слез ы", + "▁Ве сной", + "ph y", + "p hy", + "▁вид ны", + "un te", + "unt e", + "▁dise ase", + "сло ве", + "слов е", + "с лове", + "▁по ды", + "▁под ы", + "▁рассу ждения", + "▁Э кономи", + "ique s", + "iqu es", + "i ques", + "ви ка", + "вик а", + "▁Оста льные", + "▁коммуни кации", + "▁коммуника ции", + "▁х ру", + "▁осо бые", + "▁особы е", + "▁тре бовал", + "▁требо вал", + "▁W in", + "▁Wi n", + "▁К им", + "▁Ки м", + "▁Все союз", + "ше нным", + "шен ным", + "▁до лине", + "▁доли не", + "чь его", + "чье го", + "▁перед ней", + "ме ров", + "мер ов", + "ро вало", + "рова ло", + "ровал о", + "▁продол жала", + "▁продолжа ла", + "▁продолжал а", + "▁С аль", + "▁Са ль", + "▁Сал ь", + "▁sim ple", + "▁p oll", + "▁pol l", + "▁po ll", + "▁Ф ар", + "▁Фа р", + "▁чувству ю", + "▁чувств ую", + "▁Соответ ственно", + "ша ми", + "ша ться", + "шать ся", + "▁каче ств", + "▁стан ций", + "▁ станций", + "▁ne eds", + "▁need s", + "Con t", + "C ont", + "ki n", + "k in", + "▁tra cks", + "▁track s", + "▁C ard", + "▁Car d", + "▁Ca rd", + "▁Во сток", + "▁Восто к", + "▁Вос ток", + "не нную", + "нен ную", + "▁по дой", + "▁под ой", + "▁подо й", + "▁бо ев", + "▁бое в", + "ar c", + "a rc", + "ствен ностью", + "стве нностью", + "ственно стью", + "ственность ю", + "▁w ays", + "▁way s", + "▁wa ys", + "▁ ways", + "▁E ach", + "▁сдела ны", + "▁сделан ы", + "грам му", + "грамм у", + "▁уче ного", + "▁художе ственный", + "C O", + "▁К А", + "▁ КА", + "▁los ing", + "▁бе рут", + "▁бер ут", + "▁беру т", + "▁T our", + "▁To ur", + "▁уве ренно", + "▁уверен но", + "нг у", + "н гу", + "▁Rev olution", + "▁тради ционно", + "▁о гор", + "▁ог ор", + "▁ого р", + "▁к в", + "▁массо вого", + "▁шко лах", + "▁школа х", + "▁Доста точно", + "▁рассматри вается", + "▁рассматривает ся", + "▁освобо дить", + "▁освободи ть", + "▁смотре ли", + "▁смотрел и", + "▁comm ander", + "▁command er", + "▁иде е", + "▁ка бине", + "▁каби не", + "▁ле дя", + "▁лед я", + "▁инфраструк туры", + "п с", + "▁Ю рия", + "▁полномо чия", + "▁фаль ши", + "▁я дро", + "▁яд ро", + "▁систе мах", + "▁система х", + "he w", + "h ew", + "по т", + "п от", + "▁бро сить", + "▁броси ть", + "▁услыша ть", + "▁услы шать", + "▁ком мен", + "▁ коммен", + "▁характер но", + "▁a im", + "▁ aim", + "▁свойства ми", + "▁мото ци", + "▁обра ща", + "▁По чёт", + "▁prov iding", + "▁из мери", + "▁изме ри", + "▁измер и", + "ти руется", + "тиру ется", + "тирует ся", + "▁пре образования", + "▁преобразова ния", + "ne w", + "n ew", + "▁дви жется", + "▁съ ём", + "▁съё м", + "шн я", + "ш ня", + "да ра", + "дар а", + "д ара", + "▁россий ская", + "A n", + "▁Б ир", + "▁Би р", + "▁рассе я", + "бро са", + "бр оса", + "▁Мо ги", + "▁Ль вов", + "▁Льво в", + "ли ков", + "лик ов", + "▁Иеруса ли", + "в ской", + "▁M ajor", + "C P", + "▁у трен", + "▁ут рен", + "▁ле вый", + "▁пове рить", + "▁повер ить", + "ш ё", + "би о", + "зве з", + "▁су дья", + "▁судь я", + "▁суд ья", + "▁руководи тели", + "ad or", + "ado r", + "▁вос созда", + "▁Se ries", + "▁Ser ies", + "▁Похоро нен", + "o ir", + "▁зна ч", + "▁возду шного", + "▁воздуш ного", + "ли ги", + "▁Ка ждо", + "▁V is", + "▁Vi s", + "▁дума ете", + "▁думает е", + "▁долго сро", + "▁от зыва", + "▁отзыв а", + "▁соответ ствуют", + "▁соответству ют", + "▁Ч его", + "▁Че го", + "▁I ra", + "▁Ir a", + "▁стреми тельно", + "▁L ine", + "▁Li ne", + "▁Екатери ны", + "▁Екатерин ы", + "▁v ess", + "▁ve ss", + "▁Х ью", + "pr int", + "pri nt", + "▁вклю чить", + "▁стихот ворение", + "▁стихотво рение", + "▁организова л", + "▁сто ян", + "▁стоя н", + "▁вер шины", + "▁верши ны", + "▁собра лись", + "▁собрали сь", + "▁косми ческого", + "▁ex press", + "▁exp ress", + "г с", + "▁Int el", + "▁каби нете", + "▁кабинет е", + "▁кабине те", + "▁Э лектро", + "▁b ey", + "▁be y", + "▁con tain", + "▁cont ain", + "▁гар мони", + "▁гармо ни", + "▁и ран", + "▁ир ан", + "▁объяви ли", + "▁объя вили", + "▁объявил и", + "▁отмеча ют", + "▁отме чают", + "▁по ехал", + "▁пое хал", + "▁ли ста", + "▁лист а", + "ni c", + "n ic", + "▁w arn", + "▁war n", + "▁t itled", + "▁tit led", + "▁title d", + "▁Бу дь", + "▁Буд ь", + "▁Эсто нии", + "▁F ield", + "мо вой", + "мов ой", + "во ю", + "▁L ittle", + "▁пря мого", + "▁прямо го", + "▁al le", + "▁all e", + "▁ alle", + "▁А по", + "▁Ап о", + "▁e lim", + "▁el im", + "▁ле з", + "▁л ез", + "▁ лез", + "та ться", + "тать ся", + "▁обстанов ки", + "▁et c", + "▁упо рно", + "▁упор но", + "▁по началу", + "▁тек сту", + "▁текст у", + "ве ров", + "вер ов", + "веро в", + "▁че сно", + "▁приро дой", + "▁природ ой", + "логи ческий", + "▁М ГУ", + "▁пере вести", + "▁переве сти", + "▁Кар ло", + "▁Карл о", + "▁команди ров", + "▁командир ов", + "▁вероятно сти", + "▁вероят ности", + "▁expand ed", + "▁drop ped", + "▁тре ти", + "▁тр ети", + "об ы", + "о бы", + "▁мето дами", + "▁метода ми", + "▁on line", + "▁украин ских", + "▁Un ivers", + "ур а", + "у ра", + "▁тех нической", + "▁техни ческой", + "▁ технической", + "▁при бре", + "▁XX I", + "▁вре мён", + "▁Совет ов", + "▁Сове тов", + "▁Ф ра", + "▁t ask", + "▁c arri", + "▁car ri", + "▁орга нах", + "▁органа х", + "▁continu es", + "▁contin ues", + "▁continue s", + "in ate", + "ina te", + "de g", + "ne l", + "n el", + "га нской", + "ган ской", + "та ры", + "тар ы", + "▁про ста", + "▁прос та", + "▁пр оста", + "▁прост а", + "▁пят надцать", + "▁пятна дцать", + "▁f alse", + "▁Еги пте", + "se n", + "s en", + "▁Со ч", + "▁а кта", + "▁ак та", + "▁акт а", + "▁co al", + "▁Ль во", + "▁но сили", + "▁носи ли", + "▁нос или", + "▁носил и", + "▁ носили", + "▁До ку", + "пп е", + "п пе", + "▁поддержа ть", + "▁тру бку", + "▁труб ку", + "▁приве дет", + "▁привед ет", + "зна ния", + "▁учё ный", + "▁Сле д", + "▁reg ister", + "▁Д вор", + "▁Л ы", + "вы со", + "выс о", + "▁стра ница", + "▁страниц а", + "▁неиз менно", + "▁неизмен но", + "▁all ows", + "▁allow s", + "▁китай ской", + "▁кита йской", + "сте рои", + "эл е", + "э ле", + "чё р", + "ч ёр", + "▁E p", + "▁по ложил", + "▁поло жил", + "▁положи л", + "нь ко", + "▁П сков", + "▁медици нского", + "▁мыш ление", + "▁As ia", + "▁in hab", + "▁По каза", + "▁Пока за", + "▁И рина", + "▁Ир ина", + "▁нару шений", + "ну ты", + "нут ы", + "▁Ро сто", + "▁Рос то", + "ва нный", + "ван ный", + "▁сте ну", + "▁стен у", + "▁Амери ку", + "▁эмо ций", + "▁т рю", + "▁тр ю", + "▁ трю", + "▁пре се", + "▁ре дакти", + "▁реда кти", + "▁редак ти", + "ash ion", + "▁готов ность", + "▁B ul", + "▁Bu l", + "▁подтвер жда", + "▁ве не", + "▁вен е", + "▁рису нок", + "▁chall eng", + "▁G re", + "▁Gr e", + "▁на родный", + "▁наро дный", + "▁народ ный", + "▁b ul", + "▁bu l", + "▁сни жения", + "▁опреде ленное", + "▁определен ное", + "▁определенно е", + "▁mus eum", + "▁arr ested", + "▁arrest ed", + "си на", + "син а", + "с ина", + "▁распо ложи", + "▁слу жили", + "▁служ или", + "▁служи ли", + "▁служил и", + "▁N ight", + "▁мето до", + "▁мет одо", + "▁метод о", + "з нь", + "п кой", + "ти нской", + "тин ской", + "то чные", + "▁Гражда нской", + "▁Scot land", + "▁Pr ime", + "▁Pri me", + "▁stra ight", + "▁войска м", + "▁войск ам", + "▁vis ited", + "▁visit ed", + "▁коммента рии", + "▁К ем", + "▁Ке м", + "▁author ity", + "▁s light", + "▁sl ight", + "Ба р", + "Б ар", + "▁пи кабу", + "И М", + "▁Sy d", + "де ш", + "▁извест ная", + "▁известна я", + "▁изве стная", + "ru n", + "r un", + "▁аэрод ром", + "▁аэродро м", + "▁про стое", + "▁просто е", + "▁прос тое", + "▁прост ое", + "▁К О", + "▁ КО", + "▁а зербайджа", + "▁Вну трен", + "▁D et", + "▁De t", + "▁то ма", + "▁том а", + "▁la unch", + "▁laun ch", + "▁корпора ции", + "▁коро лю", + "▁хозя ева", + "▁хозяев а", + "▁bey ond", + "▁тыся чу", + "▁тысяч у", + "▁фа са", + "▁st ock", + "▁диа лог", + "D on", + "▁d raft", + "▁dr aft", + "▁dra ft", + "зи рованные", + "зирова нные", + "зирован ные", + "В т", + "▁шири ной", + "▁акку муля", + "▁все ленной", + "▁по няла", + "▁поня ла", + "▁понял а", + "▁не деле", + "▁неде ле", + "▁A rm", + "▁Ar m", + "▁F ord", + "▁For d", + "▁уве дом", + "▁эк спорт", + "▁экс порт", + "▁экспо рт", + "▁экспор т", + "▁направления х", + "▁из образи", + "▁изобра зи", + "▁Э пи", + "Се вер", + "▁у на", + "▁ уна", + "▁exist ing", + "▁У да", + "▁сов па", + "▁коло коль", + "▁катего рия", + "▁категори я", + "▁Пу бли", + "▁есте ственным", + "▁sp ot", + "▁само лёт", + "▁самолё т", + "▁пояс нил", + "▁Col on", + "▁и того", + "▁ито го", + "▁итог о", + "▁Объ еди", + "фт е", + "ф те", + "▁Americ ans", + "▁American s", + "▁America ns", + "▁о тк", + "▁от к", + "шни ки", + "шник и", + "ш ники", + "▁ла т", + "▁л ат", + "▁ лат", + "▁откры том", + "▁открыто м", + "▁открыт ом", + "▁предоста вля", + "▁col umn", + "▁ч ая", + "▁ча я", + "▁ чая", + "▁тру дов", + "▁труд ов", + "▁трудо в", + "х нул", + "▁уви дела", + "▁увиде ла", + "▁увидел а", + "▁ска нда", + "▁скан да", + "▁D un", + "▁Du n", + "▁Н ере", + "▁Не ре", + "▁Нер е", + "▁пос реди", + "▁посред и", + "▁phil osoph", + "бо го", + "▁изу чал", + "▁изуча л", + "м ба", + "▁предлага ют", + "▁attempt s", + "dr o", + "d ro", + "▁от дох", + "▁сло варь", + "▁слова рь", + "▁слов арь", + "in ity", + "ini ty", + "init y", + "ge nt", + "gen t", + "g ent", + "▁пу лем", + "▁пуле м", + "▁Ме ль", + "▁умень ши", + "▁хокке й", + "▁физи ческие", + "▁физически е", + "▁хва тило", + "▁Тре тий", + "▁ми ровых", + "▁миро вых", + "▁миров ых", + "▁ст вола", + "▁ство ла", + "▁ствол а", + "B l", + "П О", + "▁сти хий", + "▁стихи й", + "uild ing", + "не восто", + "нево сто", + "▁Т реть", + "▁Тре ть", + "ме ли", + "мел и", + "▁по ду", + "▁под у", + "▁V en", + "▁Ve n", + "мо нти", + "мон ти", + "монт и", + "▁по пе", + "▁поп е", + "▁fem ales", + "▁female s", + "▁заклю чил", + "▁заключи л", + "▁У зна", + "▁Уз на", + "▁Мо нте", + "▁Мон те", + "▁бара ба", + "▁гражда нина", + "▁граждан ина", + "▁гражданин а", + "▁автомоби ли", + "▁ret ired", + "▁retire d", + "▁ре ставра", + "▁откры тых", + "▁открыт ых", + "▁открыты х", + "ми е", + "▁тера пев", + "▁off ers", + "▁offer s", + "▁own er", + "▁оста вляет", + "▁оставля ет", + "▁Con ference", + "▁с вали", + "▁сва ли", + "▁св али", + "хо дятся", + "ходя тся", + "ход ятся", + "ходят ся", + "▁прогре сса", + "▁прогресс а", + "пе реди", + "пер еди", + "пере ди", + "перед и", + "▁Т вор", + "▁Наполе он", + "▁met al", + "▁M ir", + "▁Г ера", + "▁Ге ра", + "▁Гер а", + "▁колеба ний", + "во сти", + "вос ти", + "▁W ater", + "▁Wat er", + "ay a", + "a ya", + "▁G en", + "▁Ge n", + "▁не сти", + "▁нес ти", + "▁ нести", + "▁мене дж", + "ду ю", + "д ую", + "▁М ЧС", + "▁за лож", + "▁b ranch", + "▁сте нах", + "▁стена х", + "▁при ход", + "▁прихо д", + "▁пере стал", + "▁переста л", + "▁перес тал", + "▁грам мати", + "▁кори до", + "▁то на", + "▁т она", + "▁тон а", + "▁ тона", + "▁Генера льного", + "▁публи ки", + "▁вне шние", + "▁внеш ние", + "▁Говоря т", + "Ф е", + "▁B al", + "▁Ba l", + "▁на силь", + "▁нас иль", + "▁наси ль", + "▁Ка кая", + "▁Как ая", + "▁у зел", + "▁Фе дор", + "▁Федо р", + "▁по чер", + "▁поч ер", + "▁поче р", + "▁о гла", + "▁ог ла", + "▁Б ет", + "▁Бе т", + "А й", + "▁бли зости", + "▁P o", + "ку ля", + "▁возник нуть", + "▁H on", + "▁Ho n", + "▁ва жнее", + "▁важ нее", + "тк о", + "т ко", + "▁тре бовать", + "▁требо вать", + "▁счита ются", + "▁считают ся", + "▁считаю тся", + "▁необходи ма", + "▁необходим а", + "во дили", + "вод или", + "води ли", + "водил и", + "▁S a", + "uc t", + "u ct", + "см и", + "с ми", + "жи ны", + "жин ы", + "ж ины", + "▁p it", + "ро вый", + "ще нное", + "щен ное", + "щенно е", + "▁оборо не", + "▁оборон е", + "▁ту ристов", + "▁тури стов", + "▁энерги ей", + "▁У ор", + "▁Уо р", + "▁M P", + "▁ MP", + "▁d ance", + "▁ответ ила", + "▁отве тила", + "▁ответил а", + "▁Пси хо", + "▁францу зов", + "▁француз ов", + "▁экс пози", + "▁экспо зи", + "▁стере оти", + "▁кон фе", + "▁конф е", + "▁две надцати", + "ци н", + "ц ин", + "▁конкре тной", + "▁конкретно й", + "▁состоя т", + "▁состо ят", + "ну с", + "н ус", + "▁S ky", + "▁Sk y", + "▁За ха", + "is hes", + "ish es", + "▁аспи ран", + "▁ланд ша", + "ion e", + "io ne", + "i one", + "▁коле са", + "▁колес а", + "пп а", + "п па", + "се ров", + "сер ов", + "▁Под роб", + "▁сцена рия", + "▁r ules", + "▁rul es", + "▁ru les", + "▁rule s", + "▁втор жения", + "▁при год", + "▁приго д", + "вка зе", + "вказ е", + "▁material s", + "er c", + "e rc", + "▁останови ться", + "▁остановить ся", + "▁остано виться", + "▁к рым", + "▁кры м", + "▁постано вление", + "▁постанов ление", + "▁Мар тин", + "▁де ду", + "▁дед у", + "▁con vers", + "▁conv ers", + "▁conver s", + "▁предна знача", + "▁предназна ча", + "▁д жа", + "▁ джа", + "▁баскет бо", + "▁we ight", + "▁ weight", + "▁отсут ствуют", + "▁app arent", + "▁ф ос", + "▁фо с", + "▁ фос", + "▁за водов", + "▁заво дов", + "▁завод ов", + "ph as", + "pha s", + "ми ей", + "мие й", + "▁три ум", + "▁на кры", + "▁А К", + "▁ АК", + "▁часто ты", + "▁power ful", + "▁reg ional", + "▁region al", + "▁Je an", + "▁взгля да", + "▁взгляд а", + "▁ad vant", + "▁adv ant", + "▁Em peror", + "рен бург", + "ки но", + "кин о", + "к ино", + "логи ческой", + "▁inj ury", + "▁кня зья", + "▁князь я", + "▁обще ственно", + "▁обществе нно", + "▁обществ енно", + "▁затра ты", + "▁затрат ы", + "▁шот ланд", + "▁расска зала", + "▁рассказа ла", + "▁рассказал а", + "▁рассказ ала", + "he ns", + "hen s", + "h ens", + "▁поме щений", + "ань ше", + "а ньше", + "▁попыта ться", + "▁попы таться", + "▁чемпи онов", + "▁чемпион ов", + "▁сотруд ника", + "▁сотрудни ка", + "▁сотрудник а", + "▁за гля", + "▁откры вается", + "▁открывает ся", + "▁фра за", + "▁за ложен", + "▁залож ен", + "▁ш тор", + "▁шт ор", + "▁dep artment", + "▁depart ment", + "▁ве село", + "▁весе ло", + "pt ion", + "p tion", + "▁марш рут", + "▁маршру т", + "▁от печа", + "▁Пи кабу", + "▁B ern", + "▁Ber n", + "▁c rim", + "▁cr im", + "ol id", + "oli d", + "▁по че", + "▁поч е", + "▁культур ных", + "▁ар битра", + "▁работ ода", + "▁работо да", + "▁ко ров", + "▁кор ов", + "▁коро в", + "▁g ives", + "▁give s", + "▁кри тике", + "▁крити ке", + "▁критик е", + "▁ак тера", + "▁акт ера", + "▁актер а", + "▁res ources", + "▁on to", + "▁ onto", + "▁желез ы", + "▁желе зы", + "дви га", + "двиг а", + "д вига", + "ger s", + "g ers", + "▁затра ги", + "▁рас смотрим", + "▁r oll", + "▁ro ll", + "▁ roll", + "гла сно", + "▁при зыв", + "▁призы в", + "▁воспита ние", + "сти вале", + "стива ле", + "шед ших", + "▁понима нии", + "▁кисло рода", + "▁кислород а", + "▁в ступить", + "▁вступи ть", + "▁вступ ить", + "ст ская", + "▁Just ice", + "▁мини ат", + "стер на", + "с терна", + "ro me", + "rom e", + "r ome", + "▁Шта тов", + "▁п лей", + "▁пле й", + "▁ плей", + "▁площа дке", + "▁M ov", + "▁Mo v", + "чка м", + "ч кам", + "▁роди не", + "▁па тологи", + "▁пато логи", + "▁голо вного", + "▁голов ного", + "▁экземпля ров", + "▁экземпляр ов", + "▁снаря дов", + "▁снаряд ов", + "▁кон центри", + "▁собира ются", + "▁у д", + "▁ уд", + "▁государ ству", + "▁государств у", + "▁мо рали", + "▁мор али", + "▁мора ли", + "▁ю сти", + "▁способ ностей", + "▁способно стей", + "▁сим пати", + "▁симпа ти", + "до влет", + "дов лет", + "▁Е ди", + "▁ Еди", + "▁класси фикации", + "▁хра нить", + "▁храни ть", + "▁ко лес", + "▁коле с", + "▁гимна зии", + "▁Ру сский", + "▁Рус ский", + "оте че", + "▁spl it", + "мо рской", + "мор ской", + "▁произо шли", + "▁вы тяну", + "ba r", + "b ar", + "▁опера тор", + "▁e state", + "▁est ate", + "▁корот кие", + "у ка", + "▁посоль ства", + "▁Та ш", + "▁до мом", + "▁дом ом", + "▁домо м", + "ль щиков", + "▁Сере бря", + "▁Am ong", + "▁пове сть", + "▁повест ь", + "▁оши ба", + "▁ошиб а", + "▁s we", + "▁sw e", + "но рма", + "нор ма", + "▁P ers", + "▁Per s", + "▁Ны не", + "▁сло ев", + "▁под пись", + "▁подпи сь", + "▁anal ysis", + "▁четвер ти", + "▁о сле", + "▁ос ле", + "▁A M", + "▁ AM", + "▁вопро сах", + "▁вопроса х", + "зо вый", + "зовы й", + "▁com pon", + "▁comp on", + "че нность", + "чен ность", + "ченно сть", + "▁плат форма", + "▁платфор ма", + "▁соб лаз", + "▁аре нду", + "▁арен ду", + "ро вича", + "рович а", + "▁декла ра", + "ме тим", + "мет им", + "мети м", + "▁фор те", + "▁образова нием", + "▁образование м", + "▁Мои се", + "▁и менова", + "▁име нова", + "▁с меня", + "▁сме ня", + "▁см еня", + "▁un ique", + "▁обще при", + "▁за печат", + "▁запе чат", + "▁B on", + "▁Bo n", + "▁ис кал", + "▁иска л", + "▁иск ал", + "burg h", + "bur gh", + "▁A venue", + "▁же нат", + "▁жен ат", + "▁жена т", + "▁dig ital", + "▁F am", + "▁Fa m", + "сси ян", + "ссия н", + "▁Ку зь", + "▁occ asion", + "▁occas ion", + "▁sh op", + "ще нным", + "щен ным", + "▁найден ы", + "▁найде ны", + "▁Фили пп", + "▁Филип п", + "▁effect ive", + "▁со зерца", + "▁C E", + "▁при ехали", + "▁прие хали", + "▁приехал и", + "▁приеха ли", + "▁добро вольно", + "▁доброволь но", + "▁доброво льно", + "фф е", + "ф фе", + "▁get ting", + "▁упо рядо", + "не сение", + "несе ние", + "▁as pect", + "де ев", + "▁пу те", + "▁пут е", + "▁цар ю", + "▁ца рю", + "L E", + "▁ра нения", + "▁ране ния", + "▁вы ез", + "▁U s", + "▁le aves", + "▁leave s", + "жно му", + "жном у", + "ж ному", + "▁пра вый", + "▁правы й", + "▁внеш ним", + "S I", + "▁т ень", + "▁те нь", + "▁тен ь", + "▁ тень", + "▁де тский", + "▁дет ский", + "▁op posed", + "▁oppos ed", + "че вой", + "чев ой", + "ч евой", + "▁f lo", + "▁fl o", + "▁постро ил", + "▁ear th", + "▁спро сила", + "▁спросил а", + "▁спрос ила", + "▁у бира", + "▁уби ра", + "▁про ходила", + "▁проходил а", + "▁проходи ла", + "▁проход ила", + "▁прохо дила", + "▁гу бы", + "▁губ ы", + "жко й", + "ж кой", + "▁поч те", + "гер ман", + "▁ужа са", + "▁ужас а", + "▁spe ech", + "▁мета физи", + "▁в веден", + "▁отмет или", + "▁отме тили", + "▁отметил и", + "▁h ero", + "▁he ro", + "▁her o", + "ней шей", + "▁фак ту", + "▁факт у", + "▁воен ная", + "▁вое нная", + "▁m ile", + "▁mil e", + "▁mi le", + "▁заседа ние", + "▁засе дание", + "... \".", + "...\" .", + "▁обнару жения", + "el a", + "e la", + "▁С ил", + "▁Си л", + "▁с ала", + "▁са ла", + "▁ко ди", + "▁код и", + "▁ коди", + "▁дей ствующих", + "▁действу ющих", + "тя н", + "т ян", + "▁дра мы", + "▁указыва ют", + "▁ука зывают", + "▁от слежи", + "\"» .", + "\" ».", + "▁ми лости", + "▁мило сти", + "▁на сме", + "▁нас ме", + "▁В ремен", + "▁Вре мен", + "▁Б ек", + "▁Бе к", + "ме те", + "мет е", + "м ете", + "кус ство", + "▁спектак ль", + "▁э ста", + "▁эс та", + "▁Bra zil", + "se x", + "s ex", + "▁при несли", + "▁прин если", + "▁принес ли", + "▁сохра нять", + "▁сохраня ть", + "▁сохран ять", + "▁сохра нение", + "▁b ought", + "▁Co ast", + "▁противо тан", + "▁стара лись", + "▁психо тера", + "ре но", + "рен о", + "▁уча ствует", + "▁ль го", + "▁англича н", + "▁T est", + "▁Te st", + "ге нов", + "ген ов", + "гено в", + "▁б лага", + "▁бла га", + "▁ре монта", + "▁ремон та", + "▁ремонт а", + "▁удержа ть", + "▁P op", + "▁Po p", + "до вич", + "дови ч", + "▁юриди ческих", + "▁а некдо", + "▁sh all", + "el le", + "ell e", + "▁organization s", + "▁organiz ations", + "▁Международ ной", + "▁да ло", + "▁дал о", + "▁следу ющую", + "▁роди телями", + "▁родителям и", + "▁и нер", + "▁ин ер", + "▁b ed", + "▁be d", + "▁ bed", + "▁e scape", + "▁esc ape", + "▁Особ ен", + "▁Осо бен", + "▁пти ца", + "▁птиц а", + "▁ассо ции", + "▁за стре", + "▁зас тре", + "▁ap plied", + "▁comb at", + "▁по степен", + "▁посте пен", + "in ks", + "ink s", + "▁прось бе", + "▁стол б", + "▁Develop ment", + "ти вшись", + "тив шись", + "▁популяр ных", + "▁популя рных", + "▁уса дь", + "ству ющего", + "▁с ражение", + "▁сра жение", + "▁про вела", + "▁прове ла", + "▁провел а", + "▁Па па", + "ви ц", + "▁N AS", + "▁cre ating", + "▁creat ing", + "b a", + "▁ли сто", + "▁л исто", + "▁лист о", + "li g", + "l ig", + "▁ле вого", + "▁монасты ре", + "▁мы ши", + "▁мыш и", + "▁коло нны", + "▁колон ны", + "▁дер жит", + "▁ри ска", + "▁р иска", + "▁рис ка", + "▁риск а", + "▁из мель", + "▁изме ль", + "му ра", + "мур а", + "м ура", + "▁соревнова ния", + "▁б лу", + "▁ блу", + "▁Поня тно", + "▁плац дар", + "▁епар хии", + "▁до мах", + "▁дома х", + "▁сход ство", + "строе ние", + "восто ку", + "восток у", + "▁ар тери", + "▁арте ри", + "▁ситуа ций", + "▁основ ную", + "▁су п", + "▁mot or", + "▁славя н", + "▁Pro gram", + "ут бу", + "▁beg ins", + "▁begin s", + "И Р", + "▁econom y", + "не шь", + "н ешь", + "▁Чер ни", + "▁им пер", + "▁импе р", + "▁про тивном", + "▁против ном", + "ев у", + "е ву", + "▁студен ты", + "▁студент ы", + "▁комму нистов", + "▁коммуни стов", + "▁пропор циона", + "▁s ort", + "го ри", + "гор и", + "г ори", + "▁выступа ли", + "▁выступал и", + "▁выступ али", + "ar p", + "чи ку", + "чик у", + "▁Cent re", + "es h", + "e sh", + "▁твор ческой", + "▁богат ство", + "▁удовлет ворения", + "▁удовлетво рения", + "▁мощ ный", + "▁вся чески", + "ка че", + "воз можно", + "возмо жно", + "▁соб ственном", + "▁собствен ном", + "▁собственно м", + "▁б ок", + "▁бо к", + "▁ бок", + "▁рас пу", + "▁фи рма", + "▁фир ма", + "▁фирм а", + "▁реконструк ции", + "▁г ей", + "▁ге й", + "▁ гей", + "▁Sp ace", + "▁L ew", + "▁Le w", + "▁учи телей", + "▁О пыт", + "▁спортсме нов", + "▁спортс менов", + "▁спортсмен ов", + "da ta", + "d ata", + "▁l ibrary", + "▁те чении", + "▁устанавли вается", + "▁устанавливает ся", + "ЕС Т", + "Е СТ", + "▁Са мар", + "▁Сам ар", + "▁Сама р", + "\" !", + "▁о смысле", + "▁ос мысле", + "з ла", + "▁лу чи", + "▁луч и", + "▁л учи", + "▁пло хой", + "▁плохо й", + "▁от бы", + "▁По степенно", + "▁в кла", + "сф ера", + "сфер а", + "с фера", + "▁вы тащи", + "▁пра ву", + "▁прав у", + "▁На против", + "▁закры ть", + "▁закрыт ь", + "▁ко ем", + "▁кое м", + "▁зо о", + "▁Сем ё", + "▁гре ческого", + "▁Ма х", + "▁совер шать", + "▁соверша ть", + "ча са", + "час а", + "▁weap ons", + "▁международ ный", + "▁до ка", + "▁док а", + "▁депута том", + "▁депутат ом", + "▁в несе", + "▁вне се", + "▁внес е", + "▁писа тели", + "▁на личия", + "▁наличи я", + "▁нали чия", + "▁te le", + "▁улуч шить", + "▁R og", + "▁Ro g", + "▁обы чным", + "▁Прем ьер", + "ме нами", + "мена ми", + "ен ко", + "▁s ought", + "▁R h", + "▁f ans", + "▁fa ns", + "▁fan s", + "▁оккупа ции", + "▁Ла за", + "▁A R", + "▁ AR", + "▁пле ну", + "▁плен у", + "▁E le", + "▁El e", + "▁пред ложений", + "▁предложе ний", + "▁самолё та", + "▁самолёт а", + "че ред", + "чер ед", + "▁суще ствовала", + "▁существо вала", + "▁существова ла", + "▁существовал а", + "▁холо ди", + "▁холод и", + "▁выска зал", + "▁высказа л", + "av ed", + "ave d", + "a ved", + "▁говори те", + "▁говорит е", + "▁гово рите", + "▁сигна лы", + "▁сигнал ы", + "▁со ц", + "ak a", + "a ka", + "▁собра нии", + "▁norm al", + "▁строе ния", + "▁ строения", + "▁м яс", + "▁мя с", + "▁дове рия", + "▁Ви ктора", + "▁Виктор а", + "▁Викто ра", + "пер ёд", + "▁Су дя", + "▁Суд я", + "▁особы м", + "▁div ided", + "▁напра вил", + "▁нас чет", + "гна л", + "г нал", + "ру ющей", + "рую щей", + "▁Евге ния", + "ме нные", + "мен ные", + "▁surround ing", + "ре нное", + "рен ное", + "ренно е", + "▁ребён ка", + "ст ский", + "с тский", + "▁И знача", + "▁Из нача", + "s m", + "▁на со", + "▁нас о", + "▁цар е", + "▁ца ре", + "▁def in", + "▁г лаг", + "▁гла г", + "▁при ём", + "▁приё м", + "▁при ток", + "▁прито к", + "▁прит ок", + "▁Б ря", + "▁w eb", + "▁we b", + "▁Библи и", + "▁де таль", + "▁дет аль", + "▁дета ль", + "ть ев", + "тье в", + "т ьев", + "▁лю без", + "▁профи лакти", + "▁исследова нии", + "Ве р", + "В ер", + "▁дли нный", + "▁длин ный", + "отече ствен", + "▁у стья", + "▁ус тья", + "жко в", + "ж ков", + "▁поли тик", + "▁полити к", + "Т ри", + "▁fl ow", + "▁flo w", + "▁dr ive", + "ве нно", + "вен но", + "в енно", + "▁And rew", + "▁Andre w", + "▁меч ты", + "▁ad vert", + "▁adv ert", + "▁me asure", + "▁meas ure", + "▁А ма", + "▁Ам а", + "до вания", + "дова ния", + "жь ю", + "ж ью", + "▁ль да", + "▁ льда", + "▁при хо", + "▁съ езд", + "▁съе зд", + "▁съез д", + "▁призна к", + "ор к", + "о рк", + "да й", + "д ай", + "▁право нару", + "▁ак тивных", + "▁актив ных", + "▁вла стями", + "▁властям и", + "▁диви зион", + "▁дивизи он", + "▁ u", + "enc ies", + "▁tra ffic", + "▁про ход", + "▁прохо д", + "▁равно мер", + "▁рав номер", + "▁па ре", + "▁пар е", + "▁Украи ну", + "▁Украин у", + "▁F ree", + "▁Fre e", + "▁согласи ться", + "▁интеллиген ции", + "▁магази не", + "▁магазин е", + "▁О казывается", + "▁прав ды", + "▁L ibrary", + "▁пе ще", + "▁пещ е", + "▁хиру р", + "I d", + "▁физи чески", + "ку си", + "кус и", + "▁кино те", + "▁кин оте", + "не сса", + "нес са", + "▁Ф РГ", + "ро ны", + "рон ы", + "р оны", + "▁у й", + "▁Je ff", + "▁инвести ций", + "▁к вар", + "▁ква р", + "▁кв ар", + "▁ми тропо", + "▁prote ction", + "▁prot ection", + "▁protect ion", + "га у", + "▁ка ст", + "▁behav ior", + "▁предоста вляет", + "▁предоставля ет", + "▁есте ственных", + "▁поддерж кой", + "▁Syd ney", + "▁Досто евского", + "▁ щу", + "ва нной", + "ван ной", + "▁обще ством", + "▁общество м", + "▁обществ ом", + "T C", + "би ться", + "бить ся", + "з ной", + "▁ме диа", + "▁меди а", + "▁соб ственными", + "▁собствен ными", + "▁собственным и", + "com e", + "co me", + "c ome", + "лен ко", + "л енко", + "▁от ыска", + "▁оты ска", + "▁бога тых", + "▁богат ых", + "▁богаты х", + "▁вы у", + "▁оп понен", + "▁Б рон", + "▁Бро н", + "▁R ou", + "▁Ro u", + "▁соот ношение", + "▁соотно шение", + "▁F er", + "▁Fe r", + "ра спо", + "рас по", + "▁у веря", + "▁уве ря", + "▁гео метри", + "рь мя", + "▁обла дал", + "▁облада л", + "▁изме ря", + "▁измер я", + "▁rel atively", + "▁relative ly", + "▁попро сту", + "▁дей ствовал", + "▁региона льного", + "▁регион ального", + "▁участ ках", + "▁участка х", + "▁Федера льного", + "▁Ц арь", + "▁Цар ь", + "▁Ца рь", + "▁Е се", + "▁у били", + "▁уби ли", + "▁убил и", + "▁фестива ля", + "▁W ild", + "▁Wil d", + "▁Wi ld", + "▁Суще ствуют", + "▁ал фа", + "▁Гого ля", + "un der", + "und er", + "u nder", + "▁изобра жением", + "▁изображение м", + "▁пита ние", + "▁ка то", + "▁возможно стью", + "▁возможность ю", + "▁возмо жностью", + "▁return ing", + "▁фа кта", + "▁фак та", + "▁факт а", + "ai s", + "a is", + "▁ф разу", + "▁фра зу", + "бле нии", + "б лении", + ".) ;", + ". );", + "ir ty", + "irt y", + "▁показа телей", + "▁запо вед", + "st ream", + "▁In ternet", + "▁Inter net", + "▁col le", + "▁coll e", + "▁Сла вы", + "но мет", + "ном ет", + "▁рассчиты вать", + "▁fund ing", + "▁гомо сек", + "▁характери стик", + "▁характеристи к", + "▁С уд", + "▁Су д", + "▁arg ued", + "▁пло тность", + "▁плотно сть", + "▁плот ность", + "▁С ино", + "▁Си но", + "▁Син о", + "▁Фридри х", + "▁З им", + "▁Зи м", + "▁О м", + "▁mark ed", + "▁потря са", + "▁противоре чия", + "▁противоречи я", + "▁дол гие", + "▁желез ных", + "▁литератур ного", + "▁Ка жется", + "▁ста рик", + "▁стари к", + "▁ш па", + "▁dist inct", + "юр ер", + "юре р", + "▁Я р", + "▁беремен ности", + "▁прото ти", + "▁поя влением", + "▁появление м", + "▁s ides", + "▁side s", + "▁learn ing", + "▁встре ч", + "▁даль нейшее", + "▁дальней шее", + "▁образова нию", + "▁распреде ление", + "ря ть", + "рят ь", + "р ять", + "▁инстру кции", + "▁инструк ции", + "▁об нов", + "▁обно в", + "▁тех нология", + "▁технологи я", + "▁техно логия", + "▁exec utive", + "▁от личия", + "▁отли чия", + "▁отличи я", + "▁но вич", + "▁ нович", + "▁Му зыка", + "▁пос ол", + "▁посо л", + "▁class es", + "▁Ц РУ", + "▁соответ ствующий", + "▁соответству ющий", + "▁нако пи", + "▁накоп и", + "▁лег кой", + "▁легко й", + "▁M edia", + "▁Med ia", + "▁психо анали", + "▁С ал", + "▁Са л", + "▁построе но", + "▁построен о", + "▁доче рью", + "▁дочер ью", + "ад а", + "а да", + "ан ти", + "а нти", + "кра ин", + "▁ко ш", + "де не", + "ден е", + "▁награ ду", + "▁наград у", + "▁оза бо", + "▁F ederal", + "▁Г ви", + "ня н", + "н ян", + "▁по гиба", + "▁поги ба", + "▁погиб а", + "▁Большо е", + "▁Ни ц", + "▁три жды", + "▁respect ively", + "ill ery", + "ille ry", + "iller y", + "то п", + "т оп", + "▁вер нее", + "▁па ке", + "▁пак е", + "▁О фи", + "▁инте гри", + "▁П оле", + "▁По ле", + "▁Пол е", + "▁на град", + "▁награ д", + "▁наг рад", + "▁тек сто", + "▁текст о", + "▁уров ней", + "▁уровне й", + "U n", + "▁п че", + "▁аэро порт", + "▁аэропор т", + "те льского", + "тель ского", + "▁про водили", + "▁проводи ли", + "▁прово дили", + "▁провод или", + "▁проводил и", + "▁об зор", + "ak s", + "a ks", + "тех нического", + "техни ческого", + "▁ш риф", + "▁пол оса", + "▁поло са", + "мое му", + "▁de ploy", + "il a", + "i la", + "▁од новремен", + "▁одно времен", + "но стями", + "нос тями", + "ностям и", + "▁созда нный", + "▁создан ный", + "▁comm ittee", + "▁Ira q", + "▁b ott", + "▁bo tt", + "я вление", + "▁поку пки", + "▁согла сен", + "▁воспомина ний", + "L L", + "бу с", + "б ус", + "▁присоеди нился", + "▁вос точных", + "▁восто чных", + "▁уви дим", + "▁пробле мам", + "▁проблема м", + "▁проблем ам", + "ни та", + "нит а", + "▁расстрой ства", + "▁сохра няется", + "▁сохраняет ся", + "▁сохраня ется", + "ле ром", + "лер ом", + "▁пи во", + "▁Sen ate", + "▁Foot ball", + "▁еди ный", + "▁p rec", + "▁pre c", + "▁pr ec", + "▁над ое", + "▁надо е", + "те кает", + "тека ет", + "▁распо ложения", + "▁расположе ния", + "сс кого", + "с ского", + "▁осад ков", + "ва не", + "ван е", + "в ане", + "бе рку", + "бер ку", + "▁по лях", + "▁пол ях", + "▁поля х", + "▁сочета ние", + "▁па сту", + "▁пас ту", + "▁паст у", + "▁г иль", + "▁ги ль", + "▁схе му", + "▁С охра", + "▁Со хра", + "▁Казах стан", + "▁young er", + "▁M aster", + "▁Ma ster", + "▁Mas ter", + "дру го", + "др уго", + "друг о", + "▁method s", + "зо сть", + "▁ко лени", + "▁коле ни", + "▁колен и", + "▁срав нении", + "▁то чностью", + "▁точно стью", + "▁точ ностью", + "▁точность ю", + "▁веду щий", + "зо ру", + "зор у", + "з ору", + "▁помощ ником", + "▁помощник ом", + "▁посети телей", + "am ber", + "amb er", + "a mber", + "▁огром ным", + "тни ки", + "тник и", + "т ники", + "▁N az", + "▁Na z", + "▁К НР", + "▁КН Р", + "▁руко пи", + "▁ненави сть", + "в р", + "S c", + "▁Фу нк", + "▁при бор", + "▁прибо р", + "▁о форми", + "▁оформ и", + "▁Ка ро", + "▁Кар о", + "▁П рин", + "▁При н", + "▁Коро ль", + "▁зер на", + "▁незамет но", + "▁незаме тно", + "▁а мби", + "▁ам би", + "▁при том", + "▁прито м", + "▁прит ом", + "▁логи ки", + "▁совме стной", + "▁совместно й", + "▁не хва", + "ir a", + "i ra", + "▁Чи та", + "▁Фи зи", + "▁конкре тные", + "▁сосед ей", + "▁сосе дей", + "нди ю", + "н дию", + "▁N ow", + "▁No w", + "▁комп енси", + "▁компе нси", + "ро дный", + "род ный", + "▁но гах", + "▁нога х", + "ар ьи", + "арь и", + "▁ex change", + "▁источ никах", + "▁источника х", + "▁fig ures", + "▁figure s", + "▁отпра влен", + "▁Проце сс", + "▁Анг лия", + "▁кра сной", + "▁красно й", + "▁при под", + "▁Каза ни", + "▁Казан и", + "▁полу защи", + "▁за ре", + "▁зар е", + "▁у каз", + "▁ука з", + "▁тера пии", + "▁liter ature", + "▁о тс", + "▁от с", + "дер жка", + "держ ка", + "▁п роб", + "▁про б", + "▁пр об", + "Па р", + "П ар", + "▁Х оло", + "▁Хо ло", + "▁Хол о", + "▁Ря зан", + "▁Ряза н", + "▁способ ностью", + "▁способность ю", + "▁способно стью", + "▁Кали нин", + "▁вы се", + "▁выс е", + "▁feat uring", + "корре спонден", + "▁W ay", + "▁С мит", + "▁См ит", + "▁Jew s", + "▁хоро ших", + "▁ду шой", + "▁душ ой", + "▁прибо ров", + "▁прибор ов", + "▁w alls", + "▁wall s", + "о кеан", + "▁s om", + "▁so m", + "▁saf ety", + "▁safe ty", + "▁se asons", + "▁season s", + "▁про ходить", + "▁проходит ь", + "▁проходи ть", + "▁проход ить", + "▁прохо дить", + "▁и зве", + "▁из ве", + "▁И зме", + "▁Из ме", + "D e", + "▁площа дки", + "▁форма те", + "▁формат е", + "e qu", + "▁по дли", + "▁под ли", + "▁про ститу", + "▁прости ту", + "чь ей", + "чье й", + "▁жи лья", + "▁жил ья", + "▁ре шет", + "▁реше т", + "у а", + "▁зво н", + "▁зв он", + "стра сти", + "▁эк рана", + "▁экра на", + "▁экран а", + "▁восто ку", + "▁восток у", + "▁ востоку", + "▁бо ится", + "▁бои тся", + "▁ap plication", + "▁applic ation", + "▁A tt", + "▁At t", + "▁У ч", + "▁предотвра тить", + "▁религиоз ной", + "S A", + "▁сер б", + "▁христиан ской", + "▁христиа нской", + "зо пасности", + "▁непода леку", + "▁v an", + "▁ van", + "▁регули рования", + "▁про стей", + "▁прос тей", + "▁прост ей", + "▁neg oti", + "▁лекар ства", + "▁те рак", + "▁тер ак", + "▁тера к", + "▁сло жный", + "ze n", + "z en", + "▁ч ёт", + "▁ чёт", + "▁итальян ский", + "▁sh ared", + "▁share d", + "▁гвардей ской", + "▁ли чным", + "▁в сюду", + "▁всю ду", + "▁ко рень", + "▁кор ень", + "▁коре нь", + "ба ри", + "бар и", + "▁от казывается", + "▁отказыва ется", + "▁Кавказ а", + "▁Кав каза", + "▁де фек", + "▁дополни тельно", + "▁проце нт", + "▁процен т", + "▁отчет ливо", + "▁лидер ом", + "▁лиде ром", + "▁Иоси ф", + "▁Eliz abeth", + "▁F le", + "▁Fl e", + "▁п ап", + "▁па п", + "▁литератур ных", + "▁произведения х", + "ско р", + "ск ор", + "с кор", + "▁пи к", + "▁конфлик тов", + "▁конфликт ов", + "▁ми ф", + "▁На стоя", + "▁Бель гии", + "▁produ cer", + "▁produc er", + "▁produce r", + "▁t aught", + "рэ н", + "р эн", + "▁с мены", + "▁сме ны", + "in der", + "ind er", + "i nder", + "▁B or", + "▁Bo r", + "▁ ы", + "▁образ цов", + "▁образцо в", + "▁con ference", + "▁не вольно", + "▁нево льно", + "▁бо льно", + "▁боль но", + "el lo", + "ell o", + "▁сыгра ла", + "▁сыграл а", + "го вые", + "▁компа кт", + "line s", + "lin es", + "li nes", + "l ines", + "▁высо ком", + "▁высоко м", + "▁федера ции", + "w a", + "▁r oyal", + "▁ro yal", + "чи те", + "чит е", + "▁Лю д", + "▁со кру", + "▁сок ру", + "▁укра шения", + "▁ле сов", + "▁лес ов", + "▁лесо в", + "▁frequ ently", + "▁H u", + "сс ом", + "ссо м", + "с сом", + "▁це пь", + "▁цеп ь", + "▁пе тру", + "▁пет ру", + "▁семь ей", + "▁семье й", + "▁табли це", + "▁повы сить", + "ству ющей", + "▁принадле жности", + "ra ne", + "ran e", + "r ane", + "th ur", + "▁ide as", + "▁idea s", + "▁ак тивной", + "▁актив ной", + "▁активно й", + "▁обла ка", + "▁обл ака", + "▁произо йти", + "▁относи лись", + "спо рта", + "спорт а", + "спор та", + "с порта", + "▁у строить", + "▁устро ить", + "▁устрои ть", + "▁P rem", + "▁Pr em", + "▁Pre m", + "▁документа х", + "▁gl obal", + "▁па пы", + "▁пап ы", + "us hed", + "ush ed", + "▁appear ances", + "▁appearance s", + "▁исто рико", + "▁истори ко", + "▁историк о", + "▁рабо чим", + "▁рабочи м", + "▁Ме сто", + "▁со сто", + "▁сос то", + "▁неприя тно", + "▁неприят но", + "▁обяза тельств", + "▁Tw itter", + "▁высо кое", + "▁высоко е", + "▁обще ственные", + "▁обществе нные", + "кто ре", + "ктор е", + "к торе", + "ти рование", + "тирова ние", + "▁ува жение", + "▁луч шей", + "▁лучше й", + "де нса", + "ден са", + "д енса", + "▁А мерика", + "▁Амери ка", + "▁T ay", + "▁превра тился", + "ig en", + "i gen", + "▁Сред ней", + "си ль", + "сил ь", + "с иль", + "то чной", + "точно й", + "▁требо вали", + "▁требовал и", + "ul pt", + "жде нный", + "жден ный", + "ж денный", + "▁англича не", + "▁англичан е", + "▁энту зиа", + "▁со отечествен", + "▁sett led", + "▁settle d", + "▁дипло мати", + "▁диплома ти", + "▁дипломат и", + "ли е", + "▁Сти вен", + "▁Стив ен", + "▁жи лых", + "▁жил ых", + "▁принадле жал", + "▁принадлежа л", + "ъю тан", + "▁K ent", + "▁Ke nt", + "▁Ken t", + "▁Г иль", + "▁Ги ль", + "▁украин ского", + "▁у строен", + "▁устро ен", + "ми к", + "▁с тес", + "▁сте с", + "ап пара", + "▁R u", + "▁прове рка", + "▁провер ка", + "▁Т ей", + "▁Те й", + "б с", + "▁пол ковод", + "▁полков од", + "▁раз рыв", + "▁разры в", + "▁об становка", + "▁обстанов ка", + "▁R om", + "▁Ro m", + "▁железнодоро жной", + "а ги", + "▁b it", + "▁bi t", + "▁ bit", + "о п", + "▁cons ists", + "▁consist s", + "▁ан тен", + "▁разно образных", + "▁разнообраз ных", + "▁соб ственному", + "▁собствен ному", + "▁собственно му", + "▁собственном у", + "▁И е", + "ди ей", + "дие й", + "сла вя", + "слав я", + "▁По вто", + "▁хо дит", + "▁ход ит", + "▁ ходит", + "▁испы тывает", + "▁испыты вает", + "ре нность", + "рен ность", + "ренно сть", + "▁conc ert", + "ней шая", + "▁по мога", + "▁помо га", + "▁помог а", + "▁исче зает", + "▁исчеза ет", + "ok en", + "oke n", + "o ken", + "▁про читать", + "▁прочи тать", + "▁прочита ть", + "шна я", + "шн ая", + "ш ная", + "ма нд", + "ман д", + "фи н", + "ф ин", + "▁H om", + "▁Ho m", + "▁back ground", + "▁А ре", + "▁Ар е", + "▁корот кое", + "▁коротко е", + "▁fl ood", + "▁flo od", + "▁ране ных", + "▁ранен ых", + "os h", + "o sh", + "▁лест нице", + "▁p air", + "▁интерфей с", + "▁похоро нен", + "▁зад ней", + "▁на долго", + "на ме", + "нам е", + "▁ра вных", + "▁рав ных", + "▁равны х", + "▁О би", + "▁Об и", + "▁су хой", + "▁сухо й", + "▁тру бо", + "▁труб о", + "▁Андре евич", + "▁челове ческий", + "▁в нести", + "▁вне сти", + "▁внес ти", + "▁ве рил", + "▁вер ил", + "▁вери л", + "▁фигу ри", + "▁фигур и", + "ma il", + "m ail", + "▁О ри", + "▁Ор и", + "▁за у", + "у д", + "▁наблю дение", + "▁О дной", + "▁Од ной", + "▁Одно й", + "▁pl ants", + "▁plan ts", + "▁plant s", + "og rap", + "▁экс пре", + "ли нг", + "лин г", + "л инг", + "▁прода вать", + "▁Председа тель", + "пи сал", + "писа л", + "пис ал", + "▁оказыва ть", + "▁ока зывать", + "▁участ никами", + "▁участника ми", + "▁участникам и", + "▁водо хранили", + "▁so lo", + "▁sol o", + "шно го", + "ш ного", + "▁ва шему", + "▁ваше му", + "▁вашем у", + "за ко", + "зак о", + "▁Же ла", + "▁от пуск", + "▁отпу ск", + "▁re in", + "▁вс ём", + "▁всё м", + "▁встре тился", + "▁встретил ся", + "▁мо тиви", + "▁мотив и", + "▁P en", + "▁Pe n", + "▁J ersey", + "▁Jer sey", + "▁c as", + "▁возвра щение", + "Ч и", + "▁су ждения", + "▁приме нении", + "▁р та", + "▁ рта", + "▁st ream", + "▁stre am", + "▁ stream", + "▁Sup reme", + "▁предполага лось", + "▁и ными", + "▁иным и", + "▁зада ний", + "фи к", + "▁кара нда", + "▁каран да", + "▁указа но", + "▁указ ано", + "▁относи лся", + "it age", + "ita ge", + "сти к", + "с тик", + "НА Я", + "▁коллек тив", + "▁рабо тники", + "▁работ ники", + "▁работник и", + "фа ми", + "▁концентра ции", + "▁жан ра", + "▁жанр а", + "▁Ха ба", + "▁ин форми", + "▁заслу женный", + "▁recogn ized", + "ap pe", + "app e", + "▁ле сах", + "▁леса х", + "▁D ani", + "▁Dan i", + "▁аген тов", + "▁агент ов", + "▁e c", + "▁ ec", + "о л", + "▁отсут ствием", + "▁отсутствие м", + "▁по дачи", + "▁пода чи", + "▁раз га", + "те нь", + "тен ь", + "т ень", + "▁любы м", + "▁исто рики", + "▁истори ки", + "▁историк и", + "f ile", + "за паду", + "запад у", + "▁connect ed", + "▁м уд", + "▁му д", + "▁ муд", + "▁луч шую", + "▁ку по", + "▁куп о", + "▁про хо", + "▁трудя щихся", + "ad ing", + "▁se ems", + "▁see ms", + "▁seem s", + "▁дер жал", + "▁держа л", + "▁brother s", + ". »", + "▁подоб ный", + "ви чи", + "вич и", + "▁Р аньше", + "▁Ра ньше", + "ча тые", + "▁М ино", + "▁Ми но", + "▁Мин о", + "▁settle ment", + "▁слу х", + "▁ слух", + "▁авиа ционной", + "▁тол па", + "бо ре", + "бор е", + "▁пои стине", + "▁челове ческие", + "▁изме нилось", + "▁измени лось", + "▁у мел", + "▁уме л", + "до бро", + "доб ро", + "город ской", + "▁му рав", + "ти с", + "т ис", + "▁Зве зды", + "ту али", + "туа ли", + "▁re ar", + "▁r ear", + "O C", + "ст ила", + "сти ла", + "стил а", + "с тила", + "▁наз вана", + "▁назва на", + "▁назван а", + "▁у честь", + "▁уче сть", + "▁постоя нное", + "▁постоянно е", + "▁с три", + "▁ст ри", + "▁стр и", + "▁ стри", + "j s", + "re al", + "▁отря дов", + "▁отряд ов", + "▁ren amed", + "▁d rum", + "▁dr um", + "▁совер шения", + "▁у ксу", + "д ву", + "▁Чу в", + "▁H ung", + "▁Hu ng", + "▁Hun g", + "▁литератур ной", + "▁спе рва", + "▁спер ва", + "▁пра вого", + "▁право го", + "▁B i", + "▁наде жду", + "▁Бе с", + "пу ляр", + "▁за гла", + "▁cor respond", + "▁написа ны", + "▁написан ы", + "▁t rees", + "▁tr ees", + "▁tre es", + "▁tree s", + "▁ре бят", + "▁ребя т", + "▁реб ят", + "▁на роде", + "▁наро де", + "▁народ е", + "▁художе ственных", + "▁ли чное", + "▁лично е", + "▁Ва ш", + "▁t ree", + "▁tr ee", + "▁tre e", + "▁ре альные", + "▁реаль ные", + "▁реа льные", + "ha nd", + "han d", + "h and", + "▁ке рами", + "▁съ езде", + "▁съез де", + "▁съезд е", + "▁участ ника", + "▁участник а", + "▁ро ссиян", + "▁россия н", + "▁убий стве", + "er ved", + "erv ed", + "erve d", + "h r", + "▁гру зов", + "▁грузо в", + "▁груз ов", + "Americ an", + "▁всер ьез", + "вы с", + "▁gl ass", + "▁ран ней", + "X X", + "ic ine", + "▁ро ду", + "▁род у", + "▁ши рина", + "▁шири на", + "▁ й", + "те б", + "ч ни", + "▁э ски", + "▁эс ки", + "▁S pecial", + "▁Spe cial", + "▁F air", + "▁Fa ir", + "▁эскадри льи", + "▁adv ance", + "▁уви дев", + "▁увиде в", + "▁ре пер", + "ва в", + "в ав", + "ui ng", + "u ing", + "▁H D", + "▁Carol ina", + "▁О дни", + "▁Од ни", + "ru it", + "r uit", + "▁сторо нам", + "▁сторон ам", + "▁сторона м", + "цки х", + "ц ких", + "▁S her", + "▁Sh er", + "▁She r", + "▁V e", + "мо з", + "м оз", + "▁Б рай", + "▁Бра й", + "▁Б род", + "▁Бро д", + "▁об лом", + "▁обл ом", + "Га з", + "Г аз", + "▁Pol ish", + "▁Po lish", + "▁вы ходил", + "▁выход ил", + "▁по ложено", + "▁поло жено", + "▁объя влено", + "▁объявлен о", + "▁за голов", + "ко не", + "кон е", + "к оне", + "▁по ставки", + "▁поста вки", + "▁постав ки", + "in er", + "ine r", + "i ner", + "▁дере вен", + "▁дерев ен", + "▁поста влен", + "▁постав лен", + "ня лось", + "▁вы брасы", + "▁выбра сы", + "oe s", + "o es", + "▁свет ом", + "▁све том", + "▁свето м", + "▁я дови", + "▁i ron", + "▁ir on", + "▁ iron", + "▁заклю чить", + "▁заключи ть", + "▁священ ник", + "▁Democr atic", + "▁dec re", + "▁под писы", + "▁подпи сы", + "▁St and", + "▁Stan d", + "wa n", + "w an", + "▁Вну три", + "▁уро ки", + "▁урок и", + "▁запре щено", + "▁del iver", + "те нта", + "тен та", + "тент а", + "т ента", + "евро пей", + "е вропей", + "▁золо тые", + "▁вер шине", + "▁верши не", + "▁em ot", + "ik i", + "i ki", + "▁коло ниаль", + "▁колони аль", + "▁s ites", + "▁sit es", + "▁site s", + "▁particip ated", + "▁participate d", + "по льского", + "поль ского", + "логи ческого", + "▁H ind", + "▁ба лета", + "▁балет а", + "▁ку ски", + "▁ру д", + "▁р уд", + "▁Bro ok", + "▁Br ook", + "шка х", + "ш ках", + "▁стан цию", + "▁G ames", + "▁Game s", + "▁ch eck", + "▁che ck", + "▁и коно", + "▁ико но", + "▁pre par", + "▁prep ar", + "▁приня ты", + "▁принят ы", + "▁ва риа", + "▁о да", + "▁од а", + "▁ ода", + "▁за воды", + "▁заво ды", + "▁завод ы", + "ти вом", + "тив ом", + "тиво м", + "кра тный", + "крат ный", + "▁центра льного", + "▁центр ального", + "▁пи ра", + "▁пир а", + "▁ пира", + "▁occup ied", + "▁ac ting", + "▁act ing", + "▁прода жу", + "▁продаж у", + "▁ele ment", + "▁el ement", + "▁Sever al", + "▁хозя и", + "▁w inter", + "▁win ter", + "▁кана лов", + "▁кан алов", + "▁канал ов", + "▁представи телем", + "▁обще ственности", + "▁обществе нности", + "▁общественно сти", + "▁перво бы", + "▁астро номи", + "▁астроно ми", + "▁сред ние", + "си с", + "с ис", + "▁тради ций", + "▁Вы пол", + "▁санк ции", + "▁сан кции", + "▁выпу щен", + "▁радо стью", + "▁радость ю", + "ad ed", + "ade d", + "▁op in", + "Фо н", + "Ф он", + "adel ph", + "p y", + "▁Дерев ня", + "▁хозяй стве", + "▁хозяйств е", + "▁form ation", + "▁format ion", + "▁ formation", + "ок оло", + "о коло", + "d iv", + "нт ом", + "нто м", + "н том", + "▁сы грать", + "▁сыгра ть", + "стра да", + "стр ада", + "▁academ ic", + "ну лось", + "нуло сь", + "x y", + "ро вого", + "рово го", + "▁серви са", + "▁сервис а", + "▁заня тие", + "▁быстро го", + "▁быст рого", + "▁viol ence", + "▁cont rast", + "▁круп ными", + "▁крупным и", + "▁вы ступили", + "▁выступил и", + "▁выступ или", + "▁d ial", + "▁di al", + "▁осуществ ляет", + "▁осуществля ет", + "то вского", + "тов ского", + "▁ка бе", + "▁Во зь", + "▁Воз ь", + "▁ана рхи", + "▁стрем ятся", + "▁стремя тся", + "ну та", + "нут а", + "▁ста циона", + "▁Д ы", + "ме нем", + "мен ем", + "мене м", + "▁ко рона", + "▁кор она", + "▁коро на", + "▁L ight", + "▁subsequ ent", + "▁а рт", + "▁ар т", + "▁ арт", + "▁неблаго прият", + "то чного", + "точно го", + "▁c alls", + "▁call s", + "▁cal ls", + "▁му жского", + "▁муж ского", + "▁ба га", + "▁су мели", + "▁суме ли", + "▁сумел и", + "▁Т рудно", + "▁Тру дно", + "▁кам еру", + "▁камер у", + "▁каме ру", + "▁Or der", + "▁опыт е", + "▁опы те", + "мо стью", + "мость ю", + "▁си бир", + "▁ сибир", + "▁С тран", + "▁Стра н", + "▁Ст ран", + "▁не высо", + "▁невы со", + "▁тра ек", + "▁жерт во", + "▁жертв о", + "▁ жертво", + "▁U SA", + "▁US A", + "▁Пре кра", + "▁pro ved", + "▁prov ed", + "▁получа ем", + "▁аэро дро", + "▁аэрод ро", + "L A", + "▁за ты", + "▁зат ы", + "▁Republic an", + "▁ш ам", + "▁ша м", + "ab led", + "able d", + "abl ed", + "▁Сред няя", + "оне ров", + "онер ов", + "о неров", + "▁запи сей", + "▁за сты", + "▁зас ты", + "▁C op", + "▁Co p", + "▁а ф", + "▁сы рья", + "▁пы ли", + "▁Мо нго", + "▁Мон го", + "▁профессо ром", + "▁профессор ом", + "▁привы кли", + "▁привык ли", + "▁современ ным", + "▁изну три", + "▁поднима ется", + "▁про дела", + "▁проде ла", + "▁adv anced", + "▁advance d", + "▁Государ ственная", + "▁Ду мы", + "▁П лан", + "▁Пла н", + "▁при емле", + "▁прием ле", + "▁u r", + "▁ ur", + "▁сигна лов", + "▁сигнал ов", + "ис т", + "и ст", + "▁но го", + "▁ног о", + "▁ ного", + "▁Э ри", + "▁Эр и", + "фор и", + "фо ри", + "ф ори", + "▁g od", + "▁go d", + "▁вла делец", + "▁владе лец", + "▁владел ец", + "▁w ing", + "▁win g", + "▁ wing", + "▁не чи", + "▁миллиар да", + "во рец", + "вор ец", + "b r", + "▁при креп", + "▁знако мый", + "▁знакомы й", + "▁на бора", + "▁набор а", + "▁набо ра", + "▁J r", + "▁мон еты", + "▁моне ты", + "▁монет ы", + "▁предпри ня", + "▁приня тие", + "▁insp ired", + "чи ну", + "чин у", + "▁игра ла", + "▁игр ала", + "▁играл а", + "▁представля ла", + "▁представлял а", + "ша н", + "ш ан", + "▁паль цами", + "▁пальца ми", + "▁экспери ментов", + "▁эксперимент ов", + "▁в ведение", + "▁состоя ний", + "▁радио ак", + "▁прем ьера", + "▁премьер а", + "▁бра ке", + "▁брак е", + "▁раз гром", + "▁разгро м", + "▁al t", + "▁ alt", + "ща лось", + "▁не ком", + "▁неко м", + "хо дите", + "ходи те", + "ходит е", + "▁москов ских", + "▁уча ствовала", + "▁участвовал а", + "▁Исполь зование", + "▁самолё тов", + "▁самолёт ов", + "ра ли", + "рал и", + "р али", + "▁осе ни", + "▁осен и", + "Ж и", + "vi n", + "v in", + "▁использова ны", + "▁использован ы", + "Sc ript", + "S cript", + "▁анти се", + "▁ли стов", + "▁лист ов", + "▁листо в", + "▁ листов", + "▁акаде мию", + "▁академи ю", + "▁финан совые", + "▁финансо вые", + "ра жение", + "▁Columb ia", + "▁У правления", + "▁Упра вления", + "im ents", + "iment s", + "i ments", + "▁про ви", + "▁ прови", + "▁Ма стер", + "▁предыду щего", + "▁республи к", + "▁капита лизма", + "▁капитали зма", + "▁капитал изма", + "пи ло", + "пил о", + "▁у вен", + "▁уве н", + "ak ers", + "aker s", + "ге ля", + "E G", + "▁h our", + "Моск ва", + "▁acc ident", + "▁Du ke", + "▁опреде ленным", + "▁определен ным", + "▁se lect", + "▁оке ане", + "▁океан е", + "▁океа не", + "▁D ata", + "▁ Data", + "▁ко ня", + "▁кон я", + "ло вского", + "лов ского", + "ov a", + "o va", + "▁B rad", + "▁Br ad", + "▁Bra d", + "▁слы шали", + "▁слыша ли", + "▁слышал и", + "pl ies", + "▁био графии", + "▁биографи и", + "▁конкре тно", + "▁he ight", + "▁симпто мы", + "▁одер жал", + "Т В", + "▁Со труд", + "▁r ot", + "▁ro t", + "▁предпо ложения", + "▁Д ву", + "▁C orn", + "▁Cor n", + "▁ВМ Ф", + "▁совет ник", + "▁сове тник", + "▁четы рьмя", + "▁позво нил", + "▁ша хма", + "▁шах ма", + "▁ло дка", + "▁уси ления", + "▁уда ром", + "▁удар ом", + "▁п ас", + "▁па с", + "▁ пас", + "▁внутрен нее", + "Г и", + "▁от бор", + "▁нару ши", + "▁О бу", + "▁Об у", + "▁n ob", + "▁no b", + "▁финанси рования", + "нд у", + "н ду", + "▁h air", + "▁ha ir", + "▁си нта", + "▁perform ances", + "▁performan ces", + "▁performance s", + "▁ра бов", + "▁рабо в", + "▁раб ов", + "▁Pol ice", + "▁J oe", + "▁Jo e", + "▁Международ ный", + "▁сосед них", + "▁re sc", + "▁r esc", + "▁res c", + "▁от рыв", + "▁отры в", + "▁япо нской", + "▁япон ской", + "▁напра вить", + "▁особ ую", + "▁осо бую", + "▁заклю чении", + "O T", + "▁руко писи", + "▁рукопи си", + "драв ству", + "▁оте чественной", + "▁отече ственной", + "сут ствие", + "▁ней тро", + "ин ы", + "и ны", + "▁ле ни", + "▁лен и", + "▁ лени", + "рд о", + "р до", + "ye r", + "y er", + "▁проис ходили", + "▁происхо дили", + "▁разно образные", + "▁разнообраз ные", + "▁в ступления", + "▁вступ ления", + "▁instr ument", + "▁ма ри", + "▁мар и", + "▁ мари", + "ia t", + "i at", + "▁s ac", + "▁г ряду", + "▁гря ду", + "▁массо вых", + "шед шие", + "▁про сматри", + "▁прос матри", + "▁g overn", + "▁хо дом", + "▁ход ом", + "▁ ходом", + "▁se vent", + "▁seven t", + "▁про анали", + "ре ль", + "▁вы ступить", + "▁выступ ить", + "▁ur ban", + "▁ urban", + "▁ра ды", + "▁рад ы", + "▁Б ран", + "▁Бра н", + "▁про ст", + "▁прос т", + "эл я", + "э ля", + "ща ми", + "▁met res", + "▁employ ed", + "▁япо нских", + "▁япон ских", + "▁We ek", + "lo ng", + "l ong", + "▁объем е", + "▁объе ме", + "T ube", + "▁заве дующий", + "▁заведу ющий", + "▁до вести", + "▁дове сти", + "▁ч ей", + "▁че й", + "▁ чей", + "▁ге но", + "▁ген о", + "▁ гено", + "▁Э м", + "▁сф еру", + "▁сфе ру", + "▁хра ни", + "▁ храни", + "▁ау дио", + "▁ауди о", + "Исто рия", + "Ис тория", + "ба к", + "б ак", + "▁недо уме", + "ну тые", + "нуты е", + "▁ch osen", + "▁cho sen", + "▁chose n", + "▁лю д", + "▁от нес", + "ме ди", + "мед и", + "м еди", + "до льф", + "доль ф", + "▁б рази", + "▁бра зи", + "▁m essage", + "▁mess age", + "I X", + "▁Шот ландии", + "▁хиру рги", + "▁хирур ги", + "то ном", + "тон ом", + "т оном", + "▁ир ланд", + "▁бабу шка", + "▁st ars", + "▁star s", + "тех нологи", + "▁обойти сь", + "▁физи ко", + "▁физик о", + "▁На ряду", + "стро ена", + "строе на", + "строен а", + "▁c rowd", + "▁те ста", + "▁тест а", + "▁ теста", + "p o", + "▁tw ice", + "▁ent itled", + "▁гото вить", + "▁готов ить", + "▁британ ской", + "us es", + "use s", + "u ses", + "▁в пада", + "▁впа да", + "▁sem i", + "▁бо кс", + "▁бок с", + "▁Наи боль", + "▁A k", + "▁основа нием", + "▁осно ванием", + "▁основание м", + "▁вра гом", + "▁враг ом", + "▁военно п", + "д ве", + "▁работ ника", + "▁работник а", + "▁А ссоциа", + "▁ф ут", + "▁фу т", + "▁F urther", + "▁ч ья", + "▁чь я", + "▁ чья", + "▁Го лла", + "▁Гол ла", + "▁Евро па", + "▁У ж", + "ва вших", + "вав ших", + "▁де бют", + "▁дебю т", + "▁аспек ты", + "▁аспект ы", + "▁not able", + "▁order s", + "▁ord ers", + "▁ orders", + "▁ш ара", + "▁ша ра", + "▁шар а", + "▁препода вал", + "▁преподава л", + "▁кали бра", + "▁слабо сть", + "но н", + "н он", + "▁find s", + "▁p ul", + "▁ру сскую", + "▁рус скую", + "▁Го лу", + "▁Гол у", + "▁Б ит", + "▁Би т", + "▁эм пири", + "▁закон чилась", + "▁закончи лась", + "▁И Т", + "▁ ИТ", + "ру дно", + "is f", + "▁Г рин", + "▁Гри н", + "▁умира ет", + "▁C reek", + "оло гов", + "олог ов", + "о логов", + "▁космо с", + "▁отпра вляется", + "▁отправля ется", + "ри тет", + "рит ет", + "рите т", + "▁вели кое", + "▁велико е", + "▁велик ое", + "та лся", + "тал ся", + "▁бе зы", + "▁без ы", + "▁тай но", + "▁ю га", + "▁юг а", + "adelph ia", + "▁За клю", + "▁Зак лю", + "oo m", + "o om", + "▁пря мым", + "▁от влека", + "▁отвле ка", + "▁te aching", + "▁teac hing", + "▁про си", + "▁прос и", + "▁пр оси", + "▁но утбу", + "▁защи тил", + "▁защит ил", + "▁атмосф ере", + "▁атмосфер е", + "▁международ ном", + "вно ве", + "в нове", + "▁we alth", + "▁Воз ро", + "▁Ленин града", + "▁Ленинград а", + "▁явля лось", + "▁поэ мы", + "▁re ference", + "▁refer ence", + "▁да нная", + "▁дан ная", + "▁п ен", + "▁пе н", + "▁ пен", + "▁одно род", + "▁As ian", + "▁Asia n", + "▁огром ного", + "▁ска зо", + "▁сказ о", + "▁pain ting", + "▁paint ing", + "▁необходи мой", + "▁необходимо й", + "▁необходим ой", + "▁gu ard", + "во ить", + "вои ть", + "▁Я к", + "Ц ен", + "▁д на", + "▁ дна", + "▁необходи м", + "▁необ ходим", + "il ling", + "ill ing", + "▁Все воло", + "▁владель ца", + "▁владе льца", + "ка го", + "▁се ман", + "▁сем ан", + "▁публи чно", + "▁Жу ков", + "la y", + "l ay", + "▁det ect", + "▁ку пе", + "▁куп е", + "▁по х", + "▁написа ния", + "▁тести рования", + "▁ци рку", + "▁ис тину", + "▁исти ну", + "▁прове рку", + "▁провер ку", + "де о", + "ва вший", + "вав ший", + "▁зави сят", + "▁подоб ным", + "▁m ist", + "▁mi st", + "▁mis t", + "▁сокра щения", + "win g", + "w ing", + "лко м", + "лк ом", + "л ком", + "де ры", + "дер ы", + "д еры", + "▁се льский", + "▁сель ский", + "▁любо му", + "▁любом у", + "кс о", + "к со", + "▁em phas", + "П С", + "г г", + "▁U r", + "▁муниципа льных", + "▁вы бе", + "▁fin ish", + "▁f ish", + "▁превра тить", + "D A", + "▁ста вят", + "▁став ят", + "▁обнару жено", + "▁обнаружен о", + "▁contem porary", + "▁Ана ста", + "ра щи", + "▁вклю чены", + "▁жела тельно", + "вля ем", + "▁охра не", + "▁охран е", + "▁кри тик", + "▁крити к", + "ды м", + "▁Полит бюро", + "▁ста рин", + "▁стар ин", + "▁стари н", + "▁scient ific", + "ip e", + "i pe", + "▁и ро", + "▁ир о", + "▁re asons", + "▁reason s", + "▁высказыва ния", + "▁То кио", + "хе н", + "х ен", + "▁подели ться", + "▁иг рой", + "▁игро й", + "▁игр ой", + "▁реали зу", + "▁Н ИИ", + "▁од еты", + "▁оде ты", + "▁поя вляться", + "▁появля ться", + "▁ле га", + "▁лег а", + "▁ лега", + "то чный", + "сшта б", + "▁Cl ark", + "▁блю до", + "ро ваний", + "рова ний", + "▁обра тной", + "▁обратно й", + "▁K ong", + "▁неза ме", + "▁з вали", + "▁зв али", + "▁те ст", + "▁ин декс", + "▁инде кс", + "чо н", + "ч он", + "за ет", + "▁вер сий", + "▁верси й", + "▁Фо рма", + "▁Фор ма", + "▁вс плы", + "дж у", + "д жу", + "▁От куда", + "▁под няться", + "▁подня ться", + "▁поднять ся", + "▁каби нета", + "▁кабинет а", + "▁кабине та", + "▁воск лик", + "▁г лю", + "▁гл ю", + "▁exp ressed", + "▁express ed", + "▁f aced", + "▁fac ed", + "▁face d", + "▁fa ced", + "▁Счита ется", + "нка х", + "н ках", + "▁по ва", + "▁пов а", + "▁ пова", + "▁Phil ipp", + "▁Philip p", + "▁возду шной", + "▁воздуш ной", + "▁ат ле", + "х нет", + "▁о тро", + "▁от ро", + "▁Вашинг тон", + "▁препода ватель", + "▁преподава тель", + "▁ад мирал", + "▁адмира л", + "▁Ox ford", + "клады вает", + "▁юсти ции", + "▁ф юзеля", + "▁вино град", + "се ть", + "сет ь", + "с еть", + "▁girl s", + "▁Па ки", + "▁сло и", + "▁За щи", + "▁Comm un", + "▁Та джи", + "▁Ми хаи", + "▁Миха и", + "▁Ю жного", + "▁Южно го", + "▁Че рного", + "▁Чер ного", + "▁Черно го", + "▁иллю стра", + "▁иде ей", + "▁идее й", + "if orm", + "i form", + "▁f uel", + "el ler", + "ell er", + "elle r", + "▁полез ных", + "▁r ise", + "▁ri se", + "▁cr ime", + "▁crim e", + "▁д ед", + "▁де д", + "▁по ведении", + "▁пове дении", + "▁На блю", + "▁отверсти е", + "▁Ста вро", + "▁for mat", + "▁form at", + "▁вра щения", + "▁жела нию", + "▁И нг", + "▁Ин г", + "▁set ting", + "▁sett ing", + "▁ве рит", + "▁вер ит", + "▁вери т", + "▁со пут", + "▁телеви дения", + "▁телевиде ния", + "П А", + "▁плани рует", + "о й", + "▁under stand", + "▁современ ников", + "▁педаго г", + "▁жела нии", + "▁рас тут", + "▁расту т", + "▁раст ут", + "▁fle et", + "▁ри ску", + "▁рис ку", + "▁риск у", + "▁def ense", + "▁уничто жение", + "if ically", + "ific ally", + "хе ма", + "х ема", + "▁возвра щаться", + "▁возвраща ться", + "un ch", + "unc h", + "▁S ong", + "▁So ng", + "▁Son g", + "▁H ospital", + "▁макси мум", + "▁доступ ны", + "▁e ld", + "▁el d", + "▁ eld", + "▁име ющий", + "▁имею щий", + "▁ст ака", + "▁ста ка", + "ля лись", + "ляли сь", + "▁в вода", + "▁вв ода", + "P C", + "br o", + "b ro", + "▁Ви кипе", + "▁прин ца", + "▁принц а", + "▁супру ги", + "▁Москов ском", + "ВА Т", + "В АТ", + "▁wind ow", + "▁с кот", + "▁ско т", + "▁ск от", + "▁кра сные", + "▁langu ages", + "▁language s", + "туа ция", + "▁на реза", + "▁наре за", + "▁Ленин градской", + "▁Ленинград ской", + "▁п рус", + "▁пр ус", + "▁пру с", + "▁f ought", + "▁о чки", + "▁препят ствия", + "▁str ength", + "▁streng th", + "ле тию", + "▁про езд", + "▁проез д", + "▁tr ust", + "▁med ian", + "▁media n", + "▁серьез ных", + "▁побе дить", + "▁победи ть", + "▁побед ить", + "мен ко", + "м енко", + "▁alle ged", + "▁alleg ed", + "▁пол часа", + "▁препара тов", + "▁Ри мской", + "▁Рим ской", + "▁желу до", + "erv ative", + "▁Чер чил", + "ид е", + "и де", + "▁потеря ть", + "▁потер ять", + "▁поте рять", + "ев ском", + "▁в нес", + "▁вне с", + "▁повто рить", + "▁выигра ла", + "▁выиграл а", + "▁соеди ня", + "▁не терпе", + "▁g ar", + "▁ gar", + "▁рус ское", + "▁русско е", + "▁L ike", + "▁Li ke", + "▁доказа тельство", + "▁доказательств о", + "ou red", + "our ed", + "o ured", + "▁но са", + "▁н оса", + "▁нос а", + "▁ носа", + "▁ве дется", + "▁ведет ся", + "▁вед ется", + "▁ро ссия", + "▁рос сия", + "ха ть", + "▁бого слу", + "▁участ ником", + "▁участник ом", + "я л", + "▁посёл ке", + "▁евре йского", + "▁еврей ского", + "спе ри", + "с пери", + "▁# ####", + "▁#### #", + "▁### ##", + "▁Со об", + "▁в ступи", + "▁вступ и", + "ain e", + "ai ne", + "a ine", + "▁За дача", + "▁полага ют", + "▁пола гают", + "▁соблю дать", + "▁тради ционных", + "▁D ar", + "▁с ё", + "▁ сё", + "▁r ing", + "▁ri ng", + "▁ ring", + "▁пере нос", + "▁перено с", + "▁учи телем", + "▁раун де", + "ke s", + "k es", + "▁c ry", + "▁cr y", + "Т у", + "▁огром ная", + "▁срав нить", + "▁сравни ть", + "чи вая", + "чив ая", + "чива я", + "М не", + "▁bu ried", + "▁bur ied", + "▁теку щего", + "▁четы р", + "▁M as", + "▁Ma s", + "ре нная", + "рен ная", + "▁exp ansion", + "▁Ч ан", + "▁Ча н", + "▁жи вым", + "▁Д жен", + "▁Дж ен", + "▁Дже н", + "▁s inger", + "▁sing er", + "▁у вы", + "▁то лку", + "▁тол ку", + "▁колеба ния", + "▁A sh", + "▁As h", + "▁писто лет", + "▁Уча ствовал", + "▁ро лей", + "▁предъ явля", + "▁предъя вля", + "▁K ar", + "▁дела ем", + "▁ф ара", + "▁фа ра", + "▁фар а", + "▁М ет", + "▁Ме т", + "▁украин ской", + "▁Comm and", + "▁ele ctions", + "▁elect ions", + "▁election s", + "ot o", + "o to", + "▁государ ственным", + "▁государстве нным", + "▁мину те", + "▁минут е", + "▁пере ходе", + "▁переход е", + "▁изобра жа", + "▁катего рий", + "▁категори й", + "ба нк", + "бан к", + "▁не сут", + "▁нес ут", + "▁несу т", + "▁обра щении", + "▁откры ты", + "▁открыт ы", + "▁побе дитель", + "▁победи тель", + "Ма к", + "М ак", + "▁раздра жи", + "▁Бо ро", + "▁Бор о", + "▁Гла вная", + "▁Глав ная", + "▁совет ским", + "▁teac her", + "▁Уи лья", + "▁Уил ья", + "▁бе гу", + "▁бег у", + "▁Ка кое", + "▁Как ое", + "▁из готавли", + "ле п", + "сти те", + "стит е", + "с тите", + "▁Из начально", + "▁Изнача льно", + "не сло", + "нес ло", + "▁тен ни", + "▁пре ссе", + "▁пресс е", + "благо да", + "бла года", + "▁захва тил", + "▁захват ил", + "L S", + "▁интере сные", + "▁интерес ные", + "▁пле мена", + "▁племен а", + "ин о", + "и но", + "▁соста вит", + "▁состав ит", + "▁поса дки", + "▁посад ки", + "▁O s", + "se y", + "s ey", + "▁pl ot", + "▁доро же", + "▁на бро", + "▁Ио ган", + "▁переда чу", + "▁передач у", + "▁p owers", + "▁power s", + "▁hold ing", + "▁I ran", + "▁Ir an", + "▁Ira n", + "▁M aria", + "▁Mar ia", + "▁Ma ria", + "▁Про тиво", + "▁Против о", + "▁желу дка", + "▁Ю пи", + "▁Мар кс", + "▁Марк с", + "▁inc ident", + "▁свобо дных", + "▁свобод ных", + "▁д изе", + "▁ди зе", + "▁П РИ", + "▁уна следова", + "▁голо д", + "▁гол од", + "▁чита телю", + "▁state ment", + "▁stat ement", + "прав да", + "п равда", + "▁мани фе", + "▁Al bert", + "▁Alb ert", + "▁opport unity", + "▁Ку бке", + "▁connect ion", + "▁conne ction", + "про да", + "пр ода", + "п рода", + "▁про ры", + "▁прор ы", + "pos ition", + "▁дре веси", + "▁древе си", + "▁воздей ствием", + "▁воздействие м", + "▁близ кие", + "▁близки е", + "▁Ма ха", + "▁Мах а", + "▁вели кие", + "▁официаль ного", + "▁официально го", + "▁обще ственное", + "▁обществе нное", + "▁общественно е", + "▁пользова тели", + "▁E s", + "▁Bro ther", + "▁Br other", + "▁догово ру", + "▁договор у", + "▁сна ружи", + "▁множе ством", + "▁множество м", + "▁Com mon", + "▁Comm on", + "▁тради ционной", + "▁традиционно й", + "▁отли чался", + "▁отлича лся", + "▁за тро", + "▁зат ро", + "▁жерт вой", + "▁жертв ой", + "▁жертво й", + "▁север ных", + "▁по лит", + "▁пол ит", + "▁поли т", + "▁inte g", + "▁ult imately", + "▁П лю", + "▁опу сто", + "T I", + "▁из лага", + "▁прогре сс", + "▁аппара тов", + "▁аппарат ов", + "▁вели чина", + "▁величи на", + "▁Чи сло", + "▁вы пустил", + "▁выпу стил", + "▁выпусти л", + "▁ш ве", + "▁до рабо", + "▁Victor ia", + "▁на би", + "▁постано вления", + "▁постанов ления", + "▁кры ло", + "▁Са йт", + "▁Сай т", + "id den", + "idd en", + "▁спортсме н", + "▁спортс мен", + "▁прави тельстве", + "▁правитель стве", + "ту м", + "т ум", + "▁п ленных", + "▁пле нных", + "▁плен ных", + "▁G er", + "▁Ge r", + "ша лся", + "шал ся", + "▁К рон", + "▁Кро н", + "▁крова ти", + "▁про сле", + "▁прос ле", + "▁att rib", + "▁Распо ложен", + "▁неболь шими", + "▁небольшим и", + "▁вру чную", + "▁за паду", + "▁запа ду", + "▁запад у", + "▁ западу", + "▁под ло", + "▁ку па", + "▁куп а", + "▁ купа", + "▁т ура", + "▁ту ра", + "▁тур а", + "▁ тура", + "▁уста ре", + "▁ус таре", + "ту с", + "т ус", + "▁услови ями", + "▁условия ми", + "▁условиям и", + "▁обык новенно", + "▁обыкновен но", + "▁Иеруса лим", + "▁Иерусали м", + "▁Phil adelphia", + "▁хоро шую", + "▁бе да", + "▁бед а", + "P U", + "▁D C", + "▁ DC", + "▁s yn", + "▁sy n", + "▁по ступить", + "▁посту пить", + "▁поступ ить", + "▁поступи ть", + "▁компе тен", + "▁сни мать", + "▁снима ть", + "▁G i", + "▁ext rem", + "▁c ab", + "w ise", + "▁Ки рги", + "▁Кир ги", + "▁па лец", + "▁пале ц", + "▁пал ец", + "▁на г", + "A A", + "▁кня жества", + "▁княже ства", + "n ce", + "пу р", + "п ур", + "▁та кова", + "▁таков а", + "▁тру довой", + "▁трудо вой", + "▁трудов ой", + "▁g overnor", + "▁govern or", + "ле нность", + "лен ность", + "ленно сть", + "▁investig ation", + "▁min ister", + "сти ческом", + "с тическом", + "▁Коман дир", + "▁духов ных", + "▁духо вных", + "▁напа дение", + "ic ian", + "▁h arm", + "▁har m", + "▁ha rm", + "▁се ктора", + "▁сек тора", + "▁сектор а", + "▁candid ate", + "▁пла ну", + "▁план у", + "▁Ка вказе", + "▁Кавказ е", + "▁в ак", + "▁ва к", + "▁ вак", + "▁посвя щён", + "▁кан целя", + "▁Фак тически", + "▁Бе зу", + "▁Без у", + "ud get", + "не нном", + "нен ном", + "ненно м", + "ва но", + "ван о", + "в ано", + "▁f eed", + "▁fe ed", + "▁за са", + "▁зас а", + "▁Анг лий", + "▁let ters", + "▁letter s", + "▁за гра", + "▁pr ice", + "▁pri ce", + "▁pric e", + "▁Е же", + "ре жи", + "D ata", + "▁судеб ного", + "▁Е фи", + "▁от чаян", + "▁отчая н", + "Д ля", + "▁выпол нил", + "▁экономи ка", + "on ia", + "▁d im", + "▁di m", + "▁Бе лый", + "ol y", + "o ly", + "▁музыка льных", + "▁дя дя", + "▁станови лось", + "▁стано вилось", + "asket ball", + "▁ар х", + "▁золо том", + "▁золото м", + "oc ks", + "ock s", + "o cks", + "▁рели гия", + "▁религи я", + "tt ps", + "ttp s", + "▁преж них", + "▁финан сового", + "▁финансо вого", + "St ring", + "▁изу чить", + "▁провин циаль", + "▁де лая", + "▁дела я", + "▁дел ая", + "▁очи стить", + "▁пере дача", + "▁переда ча", + "▁передач а", + "▁Да вид", + "la n", + "l an", + "▁You Tube", + "ос об", + "о соб", + "▁бы вшие", + "▁оли цет", + "▁выпол няется", + "▁выполня ется", + "▁выполняет ся", + "▁Гла вным", + "▁Глав ным", + "те ть", + "тет ь", + "т еть", + "▁да нному", + "▁дан ному", + "▁данном у", + "▁ше ю", + "▁избе гать", + "▁Ass embly", + "▁изда ний", + "▁sp ons", + "▁от чего", + "▁отче го", + "▁B att", + "▁Bat t", + "▁Ba tt", + "▁за лив", + "▁зал ив", + "▁зали в", + "▁искус ству", + "▁искусств у", + "ни ном", + "нин ом", + "▁ста раясь", + "▁стара ясь", + "▁старая сь", + "▁appro ved", + "▁успо каи", + "вы вать", + "▁бассе йн", + "▁бассей н", + "▁пропаган ды", + "▁fail ure", + "▁опреде ленную", + "▁определен ную", + "▁Пу га", + "▁помо гли", + "▁помог ли", + "▁про чно", + "▁проч но", + "▁про хождения", + "▁прохо ждения", + "▁действи ям", + "▁действия м", + "▁счет ом", + "▁сче том", + "▁Га га", + "▁un ion", + "▁во лок", + "▁вол ок", + "▁воло к", + "К то", + "дт а", + "д та", + "▁му че", + "▁Право слав", + "▁ве сны", + "▁вес ны", + "F F", + "▁про вока", + "▁прово ка", + "й ки", + "▁ro of", + "▁темно те", + "▁СН Г", + "▁изо би", + "па я", + "п ая", + "че нности", + "чен ности", + "ченно сти", + "▁пе ше", + "▁у ще", + "▁с ана", + "▁са на", + "▁сан а", + "▁ком пи", + "▁комп и", + "пи ться", + "пить ся", + "▁рассмотре ние", + "C H", + "▁атмо сфер", + "▁атмосф ер", + "▁пере рыва", + "▁уче ник", + "▁на ря", + "▁нар я", + "▁помо гут", + "▁помог ут", + "in f", + "▁К оз", + "▁Ко з", + "▁основ ными", + "▁основным и", + "▁гре х", + "▁со боре", + "▁собо ре", + "▁собор е", + "▁mix ed", + "▁при зра", + "▁приз ра", + "де льные", + "дель ные", + "ста вка", + "став ка", + "▁официаль ным", + "шны м", + "ш ным", + "▁s and", + "▁san d", + "▁допол нение", + "▁дополне ние", + "▁атом ов", + "▁ато мов", + "▁kil omet", + "то вом", + "тов ом", + "тово м", + "▁рассматри вает", + "зи рованной", + "зирова нной", + "зирован ной", + "▁про явление", + "▁проя вление", + "▁на са", + "▁нас а", + "▁s ure", + "▁sur e", + "▁su re", + "▁устано вок", + "▁установ ок", + "нк ер", + "нке р", + "н кер", + "ig ration", + "igr ation", + "▁прибли жа", + "▁кон курс", + "▁конкур с", + "гну т", + "г нут", + "▁про зву", + "▁проз ву", + "▁пер со", + "▁от бора", + "▁отбор а", + "▁H ay", + "▁Ha y", + "▁дли тельного", + "T o", + "▁обсу ждение", + "▁ис следу", + "▁dev ice", + "▁испра вить", + "▁исправи ть", + "us ta", + "ust a", + "▁спи рт", + "▁спир т", + "▁объяви ла", + "▁объя вила", + "▁объявил а", + "▁s pect", + "▁sp ect", + "▁spe ct", + "▁spec t", + "▁е дини", + "▁еди ни", + "▁един и", + "▁На ходится", + "▁избира телей", + "▁ло жь", + "то логии", + "тологи и", + "т ологии", + "▁узна в", + "▁уз нав", + "▁тру днее", + "▁труд нее", + "▁A pp", + "▁Ap p", + "ю ль", + "▁надея ться", + "▁проек том", + "▁проект ом", + "▁l y", + "▁ ly", + "▁common ly", + "ти ко", + "тик о", + "▁под ключа", + "▁подклю ча", + "▁созда нием", + "▁создание м", + "▁part ner", + "▁partn er", + "▁бата рей", + "▁С ли", + "▁диза йн", + "▁дизай н", + "▁культур ной", + "▁культурно й", + "▁Са ми", + "▁Сам и", + "▁церк вей", + "▁поле ми", + "▁обла стной", + "▁Да нный", + "▁Дан ный", + "▁прием ов", + "▁прие мов", + "▁В ино", + "▁Ви но", + "▁Вин о", + "▁угро за", + "▁E conom", + "▁образова нии", + "но вому", + "ново му", + "▁in ternal", + "▁intern al", + "▁пере ло", + "▁разрабо тал", + "▁разработа л", + "со во", + "сов о", + "▁бук в", + "ду шно", + "душ но", + "▁состоит ся", + "▁состо ится", + "▁С ве", + "▁Св е", + "ud den", + "udd en", + "in son", + "ins on", + "▁ка зах", + "▁каза х", + "▁опреде лять", + "▁определя ть", + "▁достоин ство", + "▁сне га", + "▁снег а", + "▁широ кого", + "▁широко го", + "ric s", + "r ics", + "ди ни", + "дин и", + "▁а нома", + "▁ано ма", + "▁nar row", + "▁C r", + "▁проис ходить", + "▁происходит ь", + "▁происхо дить", + "▁мона хи", + "▁ключе вых", + "▁основ ано", + "▁основа но", + "▁осно вано", + "▁основан о", + "▁con stitution", + "▁constit ution", + "▁челове ческое", + "▁К ал", + "▁Ка л", + "he im", + "th is", + "▁американ ским", + "▁америка нским", + "▁недоволь ство", + "▁безна де", + "C ol", + "▁окру жении", + "▁к ай", + "▁ка й", + "▁ кай", + "▁Патри ар", + "▁bas ic", + "▁посту пки", + "▁поступ ки", + "▁косми ческой", + "▁th row", + "▁thr ow", + "▁Ан дер", + "▁Анд ер", + "▁документа ции", + "▁документ ации", + "▁s ector", + "▁se ctor", + "▁приобре л", + "▁Про шло", + "▁победи телем", + "хо вой", + "хов ой", + "▁- >", + "▁ ->", + "▁пла ту", + "▁плат у", + "▁O nce", + "▁On ce", + "▁интер нете", + "▁интернет е", + "▁религиоз ные", + "лек санд", + "▁Д СС", + "по мина", + "пом ина", + "д це", + "го не", + "гон е", + "г оне", + "cl usion", + "clus ion", + "▁разрабо тчики", + "▁разработчи ки", + "нос цев", + "▁O ffic", + "▁Off ic", + "▁Of fic", + "▁ки бер", + "▁раз влека", + "▁развле ка", + "о е", + "ма ри", + "мар и", + "ва емся", + "ваем ся", + "▁королев ы", + "▁короле вы", + "▁аккура тно", + "▁магази нов", + "▁магазин ов", + "га нов", + "ган ов", + "пи й", + "▁Константи на", + "▁Константин а", + "▁ду мы", + "▁ думы", + "▁широ кие", + "ли ны", + "лин ы", + "л ины", + "▁на жа", + "▁нака пли", + "▁Ни коль", + "▁Нико ль", + "▁Де мокра", + "af t", + "a ft", + "▁пла то", + "▁плат о", + "жно стью", + "жность ю", + "ж ностью", + "▁медици не", + "▁По кров", + "▁J on", + "▁Jo n", + "Н ью", + "ad er", + "ade r", + "a der", + "▁Об щества", + "▁Обще ства", + "▁ка ре", + "▁кар е", + "▁во дного", + "▁вод ного", + "wa ter", + "w ater", + "▁П ЕР", + "стви ях", + "ствия х", + "▁по сыпа", + "▁посы па", + "▁обстанов ку", + "▁Коро че", + "▁ко лю", + "▁кол ю", + "▁С э", + "▁Х Х", + "▁b ow", + "▁bo w", + "▁ал ма", + "▁меда лью", + "▁медаль ю", + "▁Спе циали", + "▁ко пии", + "▁копи и", + "▁не уме", + "▁неу ме", + "▁у ко", + "▁Че хова", + "▁Чехов а", + "▁cle an", + "▁огром ных", + "▁ret ire", + "▁христиан ство", + "▁фа ктором", + "▁фак тором", + "▁фактор ом", + "▁стра сть", + "ту т", + "т ут", + "▁Ма рина", + "▁Мар ина", + "▁Мари на", + "▁сига ре", + "лё м", + "л ём", + "▁Го голь", + "▁Гого ль", + "▁слу чается", + "▁случа ется", + "▁случае тся", + "▁жесто ко", + "би ографи", + "био графи", + "▁уда чно", + "▁фанта зии", + "▁L im", + "▁Li m", + "▁Б ос", + "▁Бо с", + "▁По и", + "▁ext ensive", + "▁Петро град", + "▁second ary", + "▁assist ant", + "▁П оста", + "▁По ста", + "▁Пост а", + "▁Ива нова", + "▁Иванов а", + "▁и зна", + "▁из на", + "▁ident ity", + "▁музыка льной", + "та ски", + "▁fund s", + "▁спе кт", + "▁спек т", + "▁ спект", + "E M", + "▁reg ions", + "▁region s", + "ki ng", + "kin g", + "k ing", + "▁ма нда", + "▁со рта", + "▁сор та", + "▁охо ты", + "▁охот ы", + "▁на це", + "▁кри тиков", + "▁крити ков", + "▁критик ов", + "▁Фе доров", + "▁Федо ров", + "▁Федор ов", + "ar et", + "are t", + "a ret", + "ме нных", + "мен ных", + "▁нау ку", + "▁наук у", + "▁Th ough", + "те ран", + "тер ан", + "тера н", + "▁ла ско", + "▁распростра нены", + "ло жением", + "ложе нием", + "ложение м", + "▁соответ ствие", + "▁роди телям", + "ris is", + "et ic", + "свое му", + "▁выз вала", + "▁вызва ла", + "▁вызвал а", + "▁суще ствовал", + "▁существо вал", + "▁существова л", + "it ors", + "itor s", + "▁Squ ad", + "▁Tur k", + "жу ю", + "ж ую", + "▁учеб ного", + "▁учебно го", + "▁про заи", + "ре дка", + "ред ка", + "ut ers", + "uter s", + "u ters", + "ans as", + "▁вы лета", + "▁выле та", + "▁B and", + "▁Ba nd", + "▁инже неров", + "▁инженер ов", + "ря ет", + "▁моло дая", + "▁молод ая", + "▁пе чень", + "▁пече нь", + "▁С тру", + "▁Ст ру", + "g ment", + "▁ве дёт", + "▁вед ёт", + "▁a id", + "▁ aid", + "▁подчер кнуть", + "▁подчеркну ть", + "Г у", + "▁ува жения", + "▁кино фе", + "▁каст рю", + "▁о гля", + "▁ог ля", + "▁от того", + "▁Астра ха", + "▁K ir", + "▁s ets", + "▁se ts", + "▁set s", + "▁При вет", + "▁M S", + "▁ MS", + "лле й", + "лл ей", + "л лей", + "▁вмеша тельства", + "▁луч шем", + "▁лучше м", + "▁res ident", + "▁ве рю", + "▁вер ю", + "сси он", + "с сион", + "▁малень кого", + "▁ста рая", + "▁стар ая", + "▁стара я", + "▁нам ерен", + "▁наме рен", + "▁намере н", + "бо ры", + "бор ы", + "▁success fully", + "▁successful ly", + "яз а", + "я за", + "▁Ма кс", + "▁Мак с", + "V iew", + "▁оболо чки", + "▁за мо", + "▁зам о", + "▁ря дах", + "▁ряда х", + "▁determ ined", + "▁determine d", + "▁о сь", + "▁ос ь", + "зе та", + "зет а", + "▁Со ф", + "▁port ion", + "▁St ation", + "▁защи тник", + "▁защит ник", + "▁уда лить", + "груп пы", + "▁сооб щество", + "▁сообще ство", + "▁n or", + "▁no r", + "▁P oint", + "▁Po int", + "▁soft ware", + "e z", + "Ж е", + "▁у ны", + "eder ation", + "▁зем ного", + "▁зе много", + "▁сотруд ничестве", + "▁сотрудни честве", + "▁ва ку", + "▁вак у", + "▁ ваку", + "сс он", + "ссо н", + "с сон", + "▁мини му", + "▁к лят", + "▁кля т", + "▁B at", + "▁Ba t", + "▁i ce", + "▁ ice", + "▁па нели", + "to p", + "t op", + "▁в зят", + "▁вз ят", + "▁взя т", + "▁за нят", + "▁заня т", + "▁co py", + "▁cop y", + "▁v ent", + "▁ve nt", + "▁ven t", + "▁ vent", + "▁выгля дят", + "▁d ensity", + "▁d aily", + "▁му ску", + "три ца", + "т рица", + "по да", + "под а", + "п ода", + "▁мон голь", + "▁Жен щина", + "▁по года", + "▁пого да", + "▁при зы", + "▁приз ы", + "▁эваку ации", + "▁Во йна", + "▁Вой на", + "▁побе де", + "▁побед е", + "▁Лон дона", + "▁Лондон а", + "▁постоя нным", + "▁посвя щена", + "▁посвящен а", + "▁bel ief", + "▁belie f", + "▁Wil son", + "▁буду щий", + "▁Белару сь", + "▁смо жем", + "▁заклю ченных", + "▁заключен ных", + "▁ро манов", + "▁роман ов", + "▁рома нов", + "▁Т он", + "▁То н", + "▁Про ко", + "▁язы ку", + "▁язык у", + "▁w itness", + "▁неболь шом", + "▁небольшо м", + "▁ви дами", + "▁вида ми", + "▁видам и", + "▁серд цем", + "▁сердце м", + "pt on", + "p ton", + "▁relig ion", + "▁га зов", + "▁газ ов", + "▁газо в", + "▁при лега", + "▁приле га", + "▁объя вления", + "▁от чу", + "шне го", + "шн его", + "ш него", + "▁понима ете", + "▁понимает е", + "▁журна лов", + "▁журнал ов", + "▁ex act", + "▁спор тивной", + "▁Генри ха", + "▁Генрих а", + "▁sc oring", + "▁по ложением", + "▁поло жением", + "▁положение м", + "me s", + "m es", + "си о", + "▁ле тчиков", + "▁лет чиков", + "▁летчик ов", + "▁мемо риаль", + "▁П еру", + "▁Пер у", + "▁Пе ру", + "▁сто лу", + "▁стол у", + "▁переда ны", + "▁передан ы", + "ri p", + "r ip", + "▁заста вил", + "▁пу шек", + "▁enc oura", + "▁категори чески", + "▁подо шли", + "ско чил", + "▁об ществ", + "▁обще ств", + "ot ic", + "oti c", + "▁зи му", + "▁зим у", + "ре ю", + "▁физи ке", + "▁физик е", + "▁Г од", + "▁Го д", + "▁с дел", + "▁сде л", + "ствен ны", + "стве нны", + "▁Georg ia", + "▁Тра ди", + "▁предска за", + "▁st orm", + "▁со стя", + "▁сос тя", + "▁то чкой", + "▁точ кой", + "▁Ма рка", + "▁Мар ка", + "▁Марк а", + "▁fac ility", + "▁exper ien", + "▁Со юзе", + "▁Союз е", + "▁Сою зе", + "▁Бы ть", + "▁кар ман", + "▁дерев ень", + "▁деревен ь", + "▁ныне шнего", + "▁нынеш него", + ". ]", + "▁подтвер ждение", + "▁немно гих", + "нь о", + "▁вме ши", + "▁вообра жение", + "▁H ong", + "▁Hon g", + "▁Ho ng", + "▁на резать", + "▁наре зать", + "▁нареза ть", + "▁Мар кса", + "▁Марк са", + "▁Маркс а", + "ья х", + "ь ях", + "▁achie ved", + "▁achieve d", + "▁To day", + "▁Tod ay", + "И Е", + "▁Высо та", + "▁расска зали", + "▁рассказа ли", + "▁рассказал и", + "▁рассказ али", + "▁переда вать", + "чи тать", + "чита ть", + "р ную", + "▁на ем", + "▁насчиты валось", + "▁то лко", + "▁тол ко", + "▁цен тры", + "▁центр ы", + "▁Не мец", + "▁Нем ец", + "▁Неме ц", + "ви ю", + "ри в", + "р ив", + "▁ки пят", + "▁кипя т", + "▁an imal", + "▁anim al", + "▁прав ди", + "▁жи вот", + "▁живо т", + "▁жив от", + "▁m ap", + "▁ map", + "▁обно вления", + "▁обнов ления", + "▁cap tain", + "▁capt ain", + "▁ме стным", + "▁мест ным", + "▁обе да", + "▁обед а", + "▁Созда ние", + "▁У ССР", + "▁значи тельный", + "▁женщи нам", + "▁женщин ам", + "▁женщина м", + "▁С вое", + "▁Сво е", + "▁Св ое", + "▁оде жде", + "▁понадоби тся", + "Ра нее", + "▁главнокоман ду", + "▁стреми лись", + "▁го ру", + "▁г ору", + "▁гор у", + "oot h", + "oo th", + "o oth", + "О Г", + "бо л", + "б ол", + "▁Ива новича", + "▁Иванович а", + "Че лове", + "▁пла нах", + "▁плана х", + "▁вы явля", + "▁выя вля", + "▁ло ма", + "▁лом а", + "▁ лома", + "▁бло ков", + "▁блок ов", + "ла в", + "л ав", + "▁у хо", + "▁погре бе", + "▁конкурен ции", + "?\" .", + "? \".", + "▁основа тель", + "▁осно ватель", + "▁друзья м", + "▁отде льным", + "▁отдель ным", + "▁британ ского", + "дца ть", + "▁short ly", + "k l", + "▁лу чей", + "▁луч ей", + "▁D ue", + "▁Du e", + "ще ва", + "щев а", + "щ ева", + "▁уча ствуют", + "▁орга ном", + "▁орган ом", + "▁бума ге", + "▁бумаг е", + "▁навы ков", + "▁предлага л", + "▁ob tained", + "▁obtain ed", + "▁умень шить", + "▁уменьши ть", + "▁на жи", + "en z", + "▁сум ме", + "▁за мену", + "▁заме ну", + "е вым", + "ograph ic", + "▁боя лся", + "▁у ло", + "▁ул о", + "▁дол гов", + "▁долго в", + "▁долг ов", + "▁совокуп ности", + "▁s ym", + "▁sy m", + "▁настоя щая", + "va r", + "v ar", + "▁бы та", + "▁экономи ческий", + "▁выпол няют", + "▁выполня ют", + "▁ме га", + "ли са", + "лис а", + "▁перево зки", + "▁перевоз ки", + "ци оз", + "цио з", + "▁С уда", + "▁Су да", + "▁Суд а", + "▁за лить", + "▁зал ить", + "▁зали ть", + "▁e lev", + "▁ele v", + "▁el ev", + "▁заболе вание", + "▁Шек спира", + "▁Шекспи ра", + "▁Григорь евич", + "▁тка нь", + "▁ра диа", + "▁ради а", + "ка т", + "к ат", + "te s", + "t es", + "▁B h", + "▁the me", + "▁them e", + "▁предыду щей", + "▁зая вляет", + "▁заявля ет", + "ка й", + "к ай", + "▁выи грать", + "▁выигра ть", + "▁ch ance", + "▁краси во", + "▁неме цким", + "▁немец ким", + "го ро", + "гор о", + "ме нее", + "мене е", + "▁r id", + "▁ri d", + "▁ rid", + "▁органи змов", + "▁организм ов", + "▁ро де", + "▁род е", + "▁ роде", + "uc cess", + "▁информа ционных", + "▁смотря т", + "▁st ood", + "▁ос вободи", + "▁освобо ди", + "▁о смотре", + "▁осмо тре", + "▁distrib ution", + "▁ча стные", + "▁част ные", + "▁час тные", + "▁В чера", + "про стра", + "прос тра", + "▁зако нами", + "▁закона ми", + "▁законам и", + "▁ли чи", + "▁ личи", + "▁услови ем", + "▁условие м", + "▁солда та", + "▁солдат а", + "▁второ степен", + "▁про ведена", + "▁прове дена", + "▁проведе на", + "▁проведен а", + "▁демон страции", + "▁демонстра ции", + "то чки", + "▁су ше", + "▁с тя", + "▁ст я", + "▁ стя", + "▁cor ner", + "▁corn er", + "▁пла вания", + "▁ре ализация", + "▁реали зация", + "▁реа лизация", + "▁m ales", + "▁male s", + "▁R od", + "▁Ro d", + "жка ми", + "ж ками", + "▁на лога", + "▁налог а", + "▁i gn", + "▁ ign", + "▁яи ц", + "▁Дру го", + "▁field s", + "▁ch oice", + "▁cho ice", + "▁хо дят", + "▁ход ят", + "▁ ходят", + "▁уби вает", + "▁темпера тур", + "▁з в", + "ги б", + "▁матери альных", + "▁материа льных", + "▁материаль ных", + "▁вла дение", + "▁владе ние", + "▁хло п", + "▁с рабо", + "▁сра бо", + "▁о ранже", + "▁veh icles", + "▁vehicle s", + "▁производи телей", + "▁надпись ю", + "▁г лад", + "▁гла д", + "▁гл ад", + "▁п реди", + "▁пре ди", + "▁пред и", + "▁пр еди", + "▁А нге", + "▁Ан ге", + "▁Анг е", + "те ла", + "тел а", + "▁опреде ляются", + "▁определя ются", + "▁определяют ся", + "▁ло жи", + "▁ ложи", + "▁рас писа", + "▁B ridge", + "▁понима я", + "▁пони мая", + "▁С В", + "▁по льского", + "▁поль ского", + "▁ польского", + "ша лись", + "шали сь", + "▁просве щения", + "зо ром", + "зор ом", + "ма ль", + "мал ь", + "м аль", + "os is", + "▁тво его", + "▁твое го", + "▁S T", + "▁ ST", + "▁оста вшиеся", + "▁pat ients", + "▁расска жу", + "▁ло к", + "▁л ок", + "▁ лок", + "▁рус скому", + "▁русском у", + "▁русско му", + "ну тый", + "нуты й", + "но ми", + "ном и", + "▁К Н", + "▁ле пе", + "▁W ars", + "▁War s", + "▁В МС", + "▁ВМ С", + "▁о пло", + "▁оп ло", + "жде нных", + "жден ных", + "дь е", + "д ье", + "▁Япо ния", + "▁чи тает", + "▁чита ет", + "▁st ating", + "▁stat ing", + "▁ненави сти", + "▁ло ву", + "▁лов у", + "▁ лову", + "▁за бу", + "▁заб у", + "▁бухгал тер", + "▁ново стей", + "▁ту ристи", + "▁тур исти", + "▁тури сти", + "▁epis odes", + "▁episode s", + "▁t or", + "▁to r", + "▁кух не", + "▁сни зить", + "▁снизи ть", + "▁цар ской", + "▁ца рской", + "▁prem i", + "▁несо вершенно", + "▁несовершен но", + "▁Sh ort", + "▁священ ника", + "▁священник а", + "▁де лится", + "▁дел ится", + "▁дели тся", + "▁тра пе", + "▁в перёд", + "▁атом ной", + "▁наблю дал", + "▁наблюда л", + "спо мина", + "с помина", + "мей стер", + "▁проигра л", + "cl os", + "▁у ми", + "▁ум и", + "▁пи ани", + "ци зма", + "цизм а", + "ц изма", + "▁лихо ра", + "▁параш ю", + "▁жидко сть", + "▁жид кость", + "▁port ray", + "▁Четы ре", + "▁B u", + "▁об жа", + "▁не я", + "▁ нея", + "▁polit ics", + "▁des cend", + "▁desc end", + "▁gradu ated", + "▁вра ща", + "▁под бира", + "▁за дол", + "▁зад ол", + "▁успо кои", + "▁успоко и", + "▁фабри ки", + "▁встре тились", + "▁встретили сь", + "if ul", + "i ful", + "▁C oll", + "▁Col l", + "▁Co ll", + "ар а", + "а ра", + "ва емая", + "ваем ая", + "▁Atl antic", + "▁пра вление", + "▁прав ление", + "▁ правление", + "ху до", + "худ о", + "▁государ я", + "▁госу даря", + "▁госуда ря", + "ству ющим", + "▁золо тых", + "ри сты", + "рис ты", + "рист ы", + "▁пило та", + "▁пилот а", + "▁p ros", + "▁pro s", + "▁pr os", + "▁Bet ween", + "▁коро тко", + "▁корот ко", + "▁у ступ", + "ле нности", + "лен ности", + "ленно сти", + "▁observ ed", + "▁королев ства", + "▁включа ть", + "▁вклю чать", + "▁тенден ция", + "жи вает", + "▁с брасы", + "▁обще ству", + "▁обществ у", + "ба нка", + "бан ка", + "банк а", + "▁об серва", + "▁худо жники", + "▁худож ники", + "▁художник и", + "▁встре чались", + "▁встреча лись", + "ge st", + "ges t", + "g est", + "▁гу се", + "▁дисципли ны", + "ру емых", + "руем ых", + "▁контак тов", + "▁контакт ов", + "ке й", + "к ей", + "▁Ита лию", + "▁Итали ю", + "▁сохра нилось", + "▁сохрани лось", + "▁диску ссии", + "вля лся", + "влял ся", + "в лялся", + "▁приня та", + "▁принят а", + "▁выра жается", + "▁выража ется", + "▁выражает ся", + "ver se", + "vers e", + "▁На сколько", + "▁Со лда", + "▁Сол да", + "er al", + "era l", + "e ral", + "▁секре т", + "▁сек рет", + "f e", + "▁com par", + "▁comp ar", + "▁стра ницу", + "▁страниц у", + "▁not es", + "▁no tes", + "▁note s", + "ме тра", + "мет ра", + "метр а", + "м етра", + "в ну", + "▁указа ние", + "▁Де ся", + "▁библиоте ке", + "▁библиотек е", + "▁го ра", + "▁гор а", + "▁ гора", + "▁sc ale", + "со ном", + "сон ом", + "с оном", + "▁размыш ления", + "то ро", + "тор о", + "▁Э того", + "▁Это го", + "▁c m", + "▁П К", + "▁ ПК", + "рно м", + "р ном", + "▁s ust", + "▁sus t", + "▁su st", + "▁D ec", + "▁De c", + "▁напра влена", + "▁направлен а", + "▁head quarters", + "▁максима льной", + "▁максимально й", + "▁Памя тник", + "▁every thing", + "▁заключа лась", + "▁pl anning", + "▁plan ning", + "▁plann ing", + "as ty", + "ast y", + "▁K u", + "▁Bus iness", + "▁разгово ре", + "▁разговор е", + "▁Р ед", + "▁Ре д", + "▁o nes", + "▁on es", + "▁one s", + "▁ ones", + "ol t", + "▁мо рем", + "▁мор ем", + "▁море м", + "▁Te le", + "фе т", + "ф ет", + "▁полага ет", + "▁пола гает", + "▁пере ми", + "▁де жу", + "ва лер", + "вал ер", + "вале р", + "▁Бо рисо", + "▁Бори со", + "▁Борис о", + "▁Да нные", + "▁Дан ные", + "▁присут ствуют", + "▁L o", + "же л", + "▁прямо уго", + "▁D am", + "▁га у", + "▁ гау", + "▁Й е", + "▁та бле", + "ро г", + "шт е", + "ш те", + "▁C ult", + "az on", + "▁родствен ники", + "▁regard ing", + "▁евре йской", + "▁еврей ской", + "друго му", + "▁десятиле тий", + "▁а рома", + "▁аро ма", + "ка ра", + "кар а", + "к ара", + "ме рика", + "мери ка", + "▁Sun day", + "▁Sund ay", + "▁ми г", + "▁Рус ские", + "▁широ ком", + "▁широко м", + "ся х", + "с ях", + "до вым", + "Д С", + "▁рубе же", + "▁рубеж е", + "▁консо ли", + "▁N ic", + "▁sc ulpt", + "▁Бер лина", + "▁Берлин а", + "I G", + "▁сопрово ждении", + "ве дем", + "веде м", + "вед ем", + "▁Пом ните", + "▁Ка мен", + "▁Кам ен", + "on to", + "ont o", + "▁При чина", + "▁даль нейшей", + "▁дальней шей", + "▁Ту рк", + "▁Тур к", + "▁ве ках", + "▁века х", + "ro g", + "r og", + "H P", + "ст рия", + "стри я", + "бо роны", + "бор оны", + "боро ны", + "кси кан", + "▁интере сное", + "▁интерес ное", + "▁интересно е", + "▁се ссии", + "▁п нев", + "▁футбо ла", + "▁футбол а", + "▁за пустить", + "▁запу стить", + "▁Бра ун", + "▁наме ст", + "▁тра тить", + "▁пра вую", + "▁прав ую", + "▁праву ю", + "▁Вто рое", + "▁до лины", + "▁дол ины", + "▁доли ны", + "▁сов падает", + "▁совпада ет", + "▁совпа дает", + "се ний", + "▁пере нести", + "▁перенес ти", + "▁stop ped", + "▁Рас смотри", + "▁Расс мотри", + "▁U k", + "▁ме стность", + "▁мест ность", + "b in", + "тя не", + "тян е", + "ло вину", + "лови ну", + "▁abandon ed", + "▁w orth", + "▁wor th", + "▁ worth", + "▁повы шенной", + "▁повышен ной", + "▁шан сы", + "▁шанс ы", + "▁do ctor", + "▁doct or", + "▁та ри", + "▁ тари", + "▁иг ровой", + "▁игро вой", + "▁ка пель", + "▁пере дан", + "▁перед ан", + "▁переда н", + "▁ту лови", + "▁глубо кий", + "▁норма льной", + "▁нормально й", + "▁норм альной", + "▁выступа ла", + "▁выступал а", + "▁выступ ала", + "▁с ры", + "▁ср ы", + "▁рей х", + "▁Дру гими", + "▁k illing", + "▁kill ing", + "▁kil ling", + "▁Hol ly", + "▁сере бра", + "▁У ста", + "▁Ус та", + "да т", + "д ат", + "сф аль", + "ся ми", + "с ями", + "t d", + "▁import ance", + "▁ано ним", + "▁от те", + "▁s un", + "▁su n", + "▁с писки", + "▁спи ски", + "▁вы деления", + "▁выде ления", + "▁выделе ния", + "▁молит вы", + "бо н", + "б он", + "зи руется", + "зиру ется", + "зирует ся", + "▁B a", + "▁ма гнит", + "▁магни т", + "▁маг нит", + "▁неза долго", + "▁фами лию", + "▁H al", + "▁Ha l", + "▁Ind ust", + "▁боеприпа сов", + "▁со ка", + "▁сок а", + "▁heav ily", + "▁Ло рен", + "▁Лор ен", + "▁пере двига", + "▁перед вига", + "▁передви га", + "▁ла зер", + "ol n", + "▁ме няет", + "▁меня ет", + "▁ж ал", + "▁жа л", + "▁ жал", + "▁состоя нием", + "▁состояние м", + "▁разре шить", + "▁ill ust", + "чи вания", + "чива ния", + "▁ста вки", + "▁став ки", + "▁ ставки", + "▁ре ви", + "▁рев и", + "p ir", + "▁иллю стри", + "▁у ку", + "▁о бле", + "▁об ле", + "▁обл е", + "▁м ем", + "▁ме м", + "▁ мем", + "▁кана ле", + "▁кан але", + "▁канал е", + "▁вра ги", + "▁враг и", + "▁вр аги", + "▁упа ков", + "▁пря мых", + "▁V ill", + "▁Vi ll", + "▁препара ты", + "re ate", + "reat e", + "по н", + "п он", + "▁занима ли", + "▁занимал и", + "▁ие ро", + "▁изобре те", + "▁При бал", + "▁rece iving", + "▁забы ли", + "▁забыл и", + "▁спа се", + "▁спас е", + "пи лся", + "пил ся", + "п ился", + "▁занима лась", + "▁занимала сь", + "▁мор ские", + "▁кня ги", + "ia ry", + "i ary", + "▁вз вода", + "▁бан кро", + "▁банк ро", + "▁К ы", + "▁бо рта", + "▁бор та", + "▁борт а", + "▁о бл", + "▁об л", + "▁нау чным", + "▁R em", + "▁Re m", + "V al", + "▁Ка ри", + "▁Кар и", + "▁L et", + "▁Le t", + "▁ко рей", + "▁кор ей", + "▁коре й", + "▁ корей", + "▁м еру", + "▁ме ру", + "▁мер у", + "re nce", + "ren ce", + "r ence", + "▁c ru", + "▁cr u", + "ди ны", + "дин ы", + "д ины", + "▁пенси ю", + "▁пен сию", + "ur ance", + "ura nce", + "u rance", + "▁На бо", + "▁Подоб ные", + "▁лейтенант а", + "▁лейтенан та", + "ul ed", + "ule d", + "u led", + "▁ты лу", + "▁тыл у", + "▁охра ня", + "▁охран я", + "ха и", + "▁Не много", + "▁Нем ного", + "▁прин ц", + "▁заня ты", + "▁занят ы", + "▁обви нение", + "▁ужа сно", + "▁ужас но", + "ва нные", + "ван ные", + "▁ко вар", + "▁ков ар", + "▁хро мо", + "▁мило сер", + "▁re ading", + "▁read ing", + "▁сло ем", + "ме да", + "мед а", + "со вого", + "сово го", + "▁Or gan", + "▁pie ces", + "▁piece s", + "▁re mark", + "▁rem ark", + "▁жи вые", + "▁учре ждение", + "▁С ток", + "▁Сто к", + "▁Ст ок", + "▁переста ли", + "▁перестал и", + "▁перес тали", + "▁Г ол", + "▁Го л", + "▁кла ссы", + "▁класс ы", + "▁го сте", + "▁гос те", + "▁не дово", + "▁недо во", + "▁де ления", + "▁деле ния", + "▁ деления", + "▁с ада", + "▁са да", + "▁сад а", + "но логия", + "нологи я", + "н ология", + "▁коро бки", + "▁уча щихся", + "▁Республи ке", + "▁полу фина", + "▁сведения м", + "▁H an", + "▁Ha n", + "▁Ка питан", + "▁Капи тан", + "▁Все гда", + "▁Наде юсь", + "▁Красно дар", + "ob e", + "o be", + "фици ровать", + "ти ровали", + "тирова ли", + "тировал и", + "ue ens", + "ueen s", + "▁a ware", + "▁aw are", + "▁сотруд никами", + "▁сотрудни ками", + "▁сотрудника ми", + "▁паль цем", + "▁cal c", + "ар мей", + "hi st", + "h ist", + "▁s ave", + "▁клу бов", + "▁клуб ов", + "И Б", + "▁п оп", + "▁по п", + "па мя", + "пам я", + "ча сто", + "час то", + "част о", + "▁исто риков", + "▁истори ков", + "▁историк ов", + "▁историко в", + "дка х", + "д ках", + "▁доб рый", + "Ге р", + "Г ер", + "▁вож дя", + "▁вы ходили", + "▁выход или", + "▁выходил и", + "▁те лу", + "▁тел у", + "▁demon str", + "▁demonst r", + "та но", + "тан о", + "т ано", + "▁прото кол", + "▁подготов ить", + "▁подгото вить", + "▁подготови ть", + "▁A C", + "▁ AC", + "ос а", + "о са", + "ap h", + "a ph", + "▁гра ницах", + "▁грани цах", + "▁граница х", + "▁тради ция", + "ис пыта", + "▁конкур се", + "▁конкурс е", + "▁ко нди", + "▁кон ди", + "▁Пе тер", + "▁Пет ер", + "▁моно по", + "▁охо тни", + "▁охот ни", + "▁Le on", + "▁француз ские", + "▁Л ар", + "▁Ла р", + "▁пов реди", + "▁повре ди", + "▁совет ско", + "▁r oles", + "▁ro les", + "▁role s", + "▁коро че", + "▁попа дают", + "▁попада ют", + "▁Во круг", + "▁подтвер ждает", + "▁подтвержда ет", + "▁кно пки", + "во ла", + "вол а", + "▁Н ака", + "▁На ка", + "▁С мотри", + "▁Смо три", + "▁экспер ты", + "лли ан", + "▁не яс", + "▁нея с", + "T ype", + "▁ак тива", + "▁актив а", + "▁те чению", + "▁cent uries", + "▁бе женцев", + "бо т", + "б от", + "am ing", + "amin g", + "ami ng", + "a ming", + "фран цуз", + "▁меда лями", + "▁интеллек та", + "▁интеллект а", + "▁Са мые", + "▁у кро", + "▁цвет у", + "▁цве ту", + "▁hy p", + "▁ф лага", + "▁фла га", + "▁флаг а", + "▁Сер бии", + "▁люби м", + "▁искус ством", + "▁искусство м", + "▁искусств ом", + "коно мии", + "кономи и", + "де ров", + "дер ов", + "▁К рай", + "▁Кра й", + "ль ники", + "льник и", + "▁Ки ри", + "▁Кир и", + "▁ш там", + "▁шта м", + "▁шт ам", + "ка са", + "кас а", + "▁необходи мостью", + "▁необходимо стью", + "▁необходимость ю", + "▁мо рю", + "▁мор ю", + "▁Лит вы", + "▁r ang", + "▁ra ng", + "▁ran g", + "▁окру гу", + "▁округ у", + "▁inv ited", + "▁пре дельно", + "▁преде льно", + "▁K ey", + "▁Ke y", + "ки не", + "кин е", + "▁L ive", + "▁Li ve", + "▁неве роятно", + "▁невероят но", + "▁орке стра", + "▁оркестр а", + "▁H un", + "▁Hu n", + "▁з вер", + "▁зве р", + "▁зв ер", + "пе ней", + "пен ей", + "▁s port", + "▁sp ort", + "▁Аб солю", + "▁B ase", + "▁Bas e", + "▁Ba se", + "▁номина ции", + "pr et", + "pre t", + "p ret", + "бе с", + "▁Sp ring", + "▁Spr ing", + "▁написа ла", + "▁написал а", + "▁костю м", + "▁И ными", + "▁ю рис", + "▁юри с", + "▁кла виа", + "▁клави а", + "▁С ав", + "▁Са в", + "▁ро сту", + "▁рост у", + "▁рос ту", + "▁в право", + "▁поло се", + "▁Th us", + "▁pro vin", + "▁prov in", + "гу б", + "▁синта кси", + "▁ри мского", + "▁рим ского", + "▁Неда вно", + "▁отде лом", + "▁отдел ом", + "ет ь", + "е ть", + ".. .)", + "... )", + "▁уро жай", + "ве ло", + "вел о", + "▁ли м", + "▁л им", + "▁ лим", + "▁хра нится", + "▁храни тся", + "тро п", + "тр оп", + "▁Ма ну", + "▁Ман у", + "со циали", + "▁благо слове", + "▁п лу", + "▁переименова н", + "▁агре ссии", + "▁револю цию", + "же ницы", + "▁Моск вой", + "▁D er", + "▁De r", + "on der", + "ond er", + "o nder", + "▁b rain", + "▁br ain", + "▁bra in", + "ли лась", + "лила сь", + "дер жание", + "держа ние", + "▁develop ing", + "▁про дли", + "▁прод ли", + "▁сом нение", + "▁сомне ние", + "▁успо ко", + "▁со звез", + "▁отли чались", + "▁отлича лись", + "▁раз деление", + "▁разде ление", + "▁разделе ние", + "▁дово лен", + "▁ш ты", + "▁шт ы", + "▁L ady", + "▁ок ружи", + "▁окру жи", + "▁veh icle", + "▁end s", + "▁контра кта", + "▁контракт а", + "▁контрак та", + "▁знаком ства", + "I s", + "пи ски", + "пис ки", + "▁тон ко", + "▁пре следу", + "▁rem ember", + "▁Г ло", + "▁по по", + "▁поп о", + "▁жив ёт", + "▁по меня", + "▁поме ня", + "▁пом еня", + "ew ork", + "e work", + "▁c art", + "▁car t", + "▁де тского", + "▁дет ского", + "▁государ ь", + "▁госуда рь", + "um es", + "ume s", + "u mes", + "▁останов ки", + "▁остано вки", + "▁стара ется", + "▁работа ющих", + "▁crit ics", + "▁critic s", + "▁Reg iment", + "▁спектак ля", + "▁се льских", + "▁сель ских", + "▁во ров", + "▁воро в", + "▁вор ов", + "тя нуть", + "тяну ть", + "▁Верхов ный", + "▁На ч", + "пар тий", + "▁нем цами", + "▁s ons", + "▁so ns", + "▁son s", + "▁я щик", + "▁Я ков", + "▁Яко в", + "▁Як ов", + "▁review s", + "пли н", + "п лин", + "▁par ish", + "I R", + "▁c ert", + "▁tem ple", + "▁за мед", + "▁заме д", + "▁зам ед", + "▁Ку й", + "▁со обще", + "▁сооб ще", + "▁меха ники", + "▁механи ки", + "▁гла сит", + "ot hes", + "oth es", + "▁мони то", + "▁право сла", + "▁бал лов", + "▁балло в", + "▁ad apt", + "▁кра сных", + "Со юз", + "▁обо стре", + "кла дки", + "клад ки", + "▁ви рус", + "▁вир ус", + "▁виру с", + "▁при ле", + "фе ссиона", + "ор т", + "о рт", + "▁вели кому", + "▁велико му", + "▁p arliament", + "▁пыта лась", + "▁per haps", + "▁произ ведён", + "чи вают", + "чива ют", + "▁ито ги", + "▁итог и", + "▁Sec urity", + "▁Х рам", + "▁Хра м", + "▁Ю рь", + "▁foc used", + "▁focus ed", + "▁си ро", + "▁а стерои", + "▁и бн", + "пле ны", + "плен ы", + "п лены", + "▁Э ле", + "▁Эл е", + "вро пей", + "▁су вере", + "▁def ined", + "▁defin ed", + "▁францу зы", + "▁француз ы", + "мо да", + "м ода", + "▁военнослу жа", + "▁Чер ны", + "▁С вой", + "▁Сво й", + "▁Св ой", + "▁бога ты", + "▁богат ы", + "ка ется", + "кает ся", + "▁% .", + "▁ %.", + "ид ы", + "и ды", + "те льский", + "тель ский", + "▁много кратно", + "▁r ival", + "▁ri val", + "▁M un", + "▁Mu n", + "ed ia", + "шки на", + "шкин а", + "ш кина", + "▁непоня тно", + "ва нь", + "ван ь", + "в ань", + "ру ющего", + "рую щего", + "au g", + "a ug", + "▁nuc lear", + "▁дер з", + "▁воз ьми", + "▁возь ми", + "▁ущер ба", + "▁ущерб а", + "▁уще рба", + "вшему ся", + "▁британ ский", + "▁host ed", + "▁Шта ты", + "▁S ports", + "▁influ enced", + "▁influence d", + "▁и сце", + "▁ис це", + "▁о сен", + "▁ос ен", + "▁осе н", + "▁коме нда", + "▁комен да", + "▁блю да", + "ти хо", + "▁мяг ко", + "В ла", + "ст она", + "сто на", + "стон а", + "с тона", + "▁одно сторон", + "▁ю жных", + "Л Я", + "▁недо пусти", + "Г ра", + "▁мень шин", + "▁возраста ет", + "▁ту берку", + "▁употре бления", + "▁Х ен", + "▁Хе н", + "▁ми о", + "▁repe ated", + "▁con sequ", + "▁cons equ", + "ле вский", + "лев ский", + "л евский", + "ua te", + "u ate", + "▁p hr", + "▁ph r", + "▁see med", + "▁seem ed", + "▁Те бе", + "▁интересу ет", + "▁глубо кое", + "▁глубоко е", + "жде нные", + "жден ные", + "за ций", + "▁eas ily", + "▁Мини стров", + "▁Министр ов", + "▁бес при", + "▁импера тором", + "▁император ом", + "▁опреде лению", + "▁g raph", + "▁gr aph", + "▁gra ph", + "▁мо щь", + "▁мощ ь", + "▁ши ре", + "ess ed", + "▁пье се", + "▁пьес е", + "ей с", + "е йс", + "президен т", + "▁гру бы", + "▁сопрово ждается", + "▁сопровожда ется", + "▁ста вший", + "▁став ший", + "▁Си ци", + "▁S us", + "▁Su s", + "▁пере с", + "▁пе рес", + "▁леген ды", + "▁Oh io", + "ря ется", + "ряет ся", + "▁пяти десяти", + "▁россий ским", + "ль ца", + "▁p age", + "▁сту п", + "▁ ступ", + "▁помощ ника", + "▁помощник а", + "? »", + "▁перево рота", + "▁переворот а", + "G B", + "ком му", + "▁по ведением", + "▁пове дением", + "▁поведение м", + "▁n et", + "▁ne t", + "▁ net", + "с вобо", + "▁Хо рва", + "▁Хор ва", + "▁Me an", + "▁празд ника", + "▁праздник а", + "▁праздни ка", + "▁свиде телей", + "▁ref lect", + "▁распростра нён", + "▁распростран ён", + "▁призна ет", + "▁а зиат", + "▁ азиат", + "▁треть им", + "до ры", + "дор ы", + "▁реги стри", + "▁ регистри", + "▁T al", + "▁publ ication", + "▁public ation", + "▁П ода", + "▁По да", + "▁Под а", + "▁П ой", + "▁По й", + "▁ба бо", + "▁can cer", + "▁d oll", + "▁do ll", + "▁М ура", + "▁Му ра", + "▁Мур а", + "▁m ort", + "▁mor t", + "▁плани рования", + "▁предъ яви", + "▁предъя ви", + "j i", + "ва емое", + "ваем ое", + "▁a gent", + "▁ag ent", + "▁age nt", + "▁то жде", + "▁живо пись", + "▁живопи сь", + "▁живопис ь", + "▁бра ту", + "▁брат у", + "▁Ро берта", + "▁Роберт а", + "▁Робер та", + "▁пере мены", + "▁переме ны", + "▁перемен ы", + "▁а ро", + "▁ар о", + "ве личи", + "вели чи", + "▁оста вшихся", + "▁w ww", + "▁ www", + "но вской", + "нов ской", + "▁ин дика", + "▁инди ка", + "▁О гром", + "▁Ог ром", + "▁приз вал", + "▁Scott ish", + "▁исполни тельной", + "▁исполнитель ной", + "ra t", + "r at", + "▁обра тились", + "ня ясь", + "няя сь", + "▁институ тов", + "▁институт ов", + "▁без от", + "▁безо т", + "▁Пу ти", + "S p", + "▁лег кие", + "▁присут ствия", + "▁соответ ствовать", + "▁vot es", + "▁vote s", + "▁vo tes", + "w orth", + "▁мудро сти", + "▁в ходило", + "▁входил о", + "▁входи ло", + "▁прекра щения", + "▁э стра", + "▁эс тра", + "▁гру зин", + "▁грузи н", + "▁груз ин", + "▁home s", + "▁hom es", + "▁Bel g", + "▁горя чей", + "et hod", + "eth od", + "▁сле дов", + "▁след ов", + "▁Но белев", + "▁зна ка", + "▁знак а", + "▁бое виков", + "▁неме длен", + "▁содержа нию", + "шне й", + "шн ей", + "ш ней", + "▁обла дать", + "▁облада ть", + "▁sc enes", + "▁scene s", + "▁ин тим", + "▁re duce", + "▁выра жает", + "▁выража ет", + "▁игро ки", + "▁игрок и", + "po ol", + "p ool", + "ль фа", + "льф а", + "зы вают", + "зыва ют", + "▁использова нию", + "▁у ходят", + "▁ухо дят", + "▁уходя т", + "▁уход ят", + "Мо сков", + "Моск ов", + "▁Ве ро", + "▁Вер о", + "▁sub s", + "▁su bs", + "▁пра вед", + "▁прав ед", + "▁праве д", + "▁ правед", + "сс ёр", + "▁по летов", + "▁поле тов", + "▁полет ов", + "▁t ower", + "▁to wer", + "▁форми руется", + "▁sil ver", + "▁полу тора", + "▁торго вля", + "▁торгов ля", + "▁настоя щие", + "▁зво нок", + "▁звон ок", + "▁instit utions", + "▁institution s", + "би та", + "бит а", + "▁кра ски", + "▁prov ince", + "▁provin ce", + "▁обра тном", + "▁обратно м", + "ни цами", + "ница ми", + "▁и стина", + "▁ис тина", + "▁исти на", + "▁ист ина", + "́ть ся", + "́ ться", + "гу ю", + "г ую", + "▁Пом ню", + "▁про су", + "▁прос у", + "ent ially", + "ential ly", + "▁глу бина", + "▁глуби на", + "▁con text", + "▁cont ext", + "▁пу стой", + "▁пусто й", + "▁шта бе", + "▁штаб е", + "▁г ал", + "▁га л", + "▁ гал", + "▁отверсти я", + "▁im ag", + "▁Tay lor", + "▁об маны", + "▁обма ны", + "▁обман ы", + "▁У читывая", + "ut ies", + "u ties", + "▁от талки", + "▁раз деления", + "▁разде ления", + "▁разделе ния", + "▁предусматри вает", + "вля лись", + "вляли сь", + "в лялись", + "▁гре ческой", + "▁к лей", + "▁кле й", + "▁vers ions", + "▁version s", + "▁а гра", + "▁лю бя", + "▁конструк ция", + "▁е д", + "▁ ед", + "ис ти", + "ист и", + "и сти", + "ди ну", + "дин у", + "▁осуществ ление", + "▁друж бы", + "tain ment", + "f riend", + "Е С", + "▁экспери менты", + "▁эксперимент ы", + "▁постоя нных", + "▁зем лях", + "▁земля х", + "▁Ро за", + "▁гре ков", + "▁шо кола", + "▁резо нан", + "▁От носи", + "▁Отно си", + "▁С нова", + "th en", + "the n", + "t hen", + "▁caus ing", + "▁поддержа ния", + "ил ся", + "и лся", + "▁вы ставка", + "▁выстав ка", + "▁выста вка", + "▁Чехослова кии", + "▁внутрен нюю", + "▁месторо ждения", + "▁неу стой", + "ва нного", + "ван ного", + "▁кон вен", + "▁tra ins", + "▁tr ains", + "▁train s", + "un a", + "u na", + "▁form al", + ")) )", + ") ))", + "▁беспо мощ", + "st ruction", + "struct ion", + "▁М но", + "Со вет", + "▁м ск", + "▁интере сам", + "▁интерес ам", + "▁интереса м", + "▁теле сериа", + "▁информа ционной", + "▁ра вной", + "▁равно й", + "▁рав ной", + "▁Re view", + "▁Rev iew", + "▁необык новен", + "ль си", + "▁изме нении", + "▁че рных", + "▁чер ных", + "▁обяза нность", + "▁обязан ность", + "Мо ло", + "М оло", + "▁dom estic", + "▁контр револю", + "во сть", + "вос ть", + "▁call ing", + "▁cal ling", + "▁N ative", + "▁под хва", + "▁крей сер", + "▁му дре", + "▁муд ре", + "щими ся", + "▁ра зной", + "▁раз ной", + "▁разно й", + "У Р", + "▁Э рик", + "▁Эри к", + "▁у меть", + "▁уме ть", + "▁ум еть", + "▁воспринима ть", + "▁U pon", + "▁Up on", + "▁си дят", + "▁сидя т", + "нце в", + "н цев", + "▁упраж нений", + "▁rest aur", + "▁D ig", + "▁Di g", + "▁ри ф", + "▁ риф", + "af ter", + "aft er", + "a fter", + "▁pro ced", + "▁Коман да", + "▁переме щения", + "▁жало бы", + "▁жал обы", + "▁жалоб ы", + "▁да ту", + "▁дат у", + "ти р", + "т ир", + "▁ю жнее", + "u v", + "▁Пе тру", + "▁Пет ру", + "▁Петр у", + "▁безу спе", + "▁Об раз", + "▁Обра з", + "▁a head", + "▁при ходили", + "▁приходи ли", + "▁приход или", + "▁прихо дили", + "▁приходил и", + "▁K en", + "▁Ke n", + "▁ко ре", + "▁кор е", + "▁интере сных", + "▁интерес ных", + "▁learn ed", + "N S", + "т ны", + "▁поддержи вал", + "▁совер шили", + "▁совершил и", + "▁соверши ли", + "▁а так", + "▁ат ак", + "▁ата к", + "▁фор мат", + "▁форма т", + "▁форм ат", + "▁проце ссом", + "▁процесс ом", + "▁процессо м", + "▁сокра щение", + "▁ну ля", + "▁пе щ", + "▁международ ным", + "▁Че твер", + "▁Чет вер", + "▁ф ри", + "▁ фри", + "к ки", + "▁f ine", + "▁fin e", + "▁ще дро", + "▁пле чо", + "А л", + "ве да", + "вед а", + "фе льд", + "фель д", + "▁fa ith", + "▁китай ских", + "▁един ственно", + "ia ng", + "ian g", + "i ang", + "▁С анта", + "▁Са нта", + "▁Сан та", + "▁сокра тить", + "▁полицей ских", + "▁Профе ссор", + "▁и коны", + "▁ико ны", + "▁национа льные", + "L ist", + "▁пере ключа", + "▁переклю ча", + "др я", + "д ря", + "▁узна ет", + "▁газе тах", + "▁газета х", + "▁п ада", + "▁па да", + "▁ пада", + "▁вз ыска", + "▁взы ска", + "см а", + "с ма", + "▁После днее", + "▁Послед нее", + "▁Кла сси", + "▁би ологии", + "▁био логии", + "▁биологи и", + "il ton", + "ilt on", + "▁B ack", + "▁Ba ck", + "▁опера тивно", + "▁perman ent", + "▁ка жутся", + "гра мо", + "грам о", + "▁конститу ции", + "▁acc used", + "▁con sec", + "▁cons ec", + "ти вному", + "тив ному", + "тивно му", + "тивном у", + "▁advant age", + "▁Совет ская", + "▁Ст эн", + "▁Н ЛО", + "▁a uth", + "▁aut h", + "лли нг", + "лл инг", + "ллин г", + "л линг", + "▁ожида л", + "▁ожи дал", + "de s", + "d es", + "ди тесь", + "дите сь", + "▁по ловой", + "▁поло вой", + "▁полов ой", + "▁с оле", + "▁со ле", + "П ра", + "all el", + "alle l", + "шо в", + "ш ов", + "де льный", + "дель ный", + "▁сред нее", + "▁сре днее", + "▁средне е", + "▁Воз ник", + "▁sle ep", + "▁str ike", + "▁stri ke", + "act ive", + "▁ре кор", + "▁реко р", + "▁рек ор", + "ри стов", + "рис тов", + "ристо в", + "рист ов", + "▁ви дишь", + "▁види шь", + "▁М али", + "▁Ма ли", + "▁уве ренности", + "▁уверен ности", + "▁уверенно сти", + "em an", + "e man", + "▁дву сторон", + "co w", + "c ow", + "▁r ough", + "▁ro ugh", + "▁ rough", + "▁б ру", + "▁ бру", + "▁s ell", + "▁se ll", + "▁по лости", + "▁поло сти", + "▁пере веден", + "▁переве ден", + "▁бе лым", + "▁Се ми", + "▁Сем и", + "▁M arsh", + "▁Mar sh", + "▁ли деры", + "▁лидер ы", + "▁лиде ры", + "жо р", + "ж ор", + "х ро", + "▁Mich igan", + "▁M ike", + "▁Б ое", + "▁Бо е", + "▁логи ка", + "▁сред а", + "▁сре да", + "▁об щему", + "▁обще му", + "▁общем у", + "▁рас форми", + "ИН А", + "И НА", + "ди ра", + "дир а", + "▁eng aged", + "▁l aid", + "▁la id", + "до бы", + "доб ы", + "д обы", + "▁А п", + "▁поки нули", + "▁покинул и", + "▁ма ссе", + "▁масс е", + "▁толщи ной", + "▁по ре", + "▁пор е", + "▁авто ру", + "▁ав тору", + "▁автор у", + "▁Э ми", + "▁Эм и", + "▁W at", + "▁ро та", + "▁рот а", + "▁ рота", + "b ut", + "▁в ключения", + "▁вклю чения", + "▁электро магни", + "Re s", + "R es", + "▁op pon", + "▁pil ot", + "▁про чь", + "▁проч ь", + "▁b or", + "▁bo r", + "▁ bor", + "▁Add ition", + "ба ра", + "бар а", + "б ара", + "▁в люблен", + "▁влю блен", + "▁в зве", + "▁вз ве", + "▁значи тельных", + "им е", + "и ме", + "▁про стая", + "▁прос тая", + "▁проста я", + "▁прост ая", + "▁с жи", + "▁рей тинг", + "▁рейти нг", + "▁ок тябрь", + "▁организа циями", + "▁организация ми", + "▁от рез", + "▁отре з", + "▁Л ай", + "▁Ла й", + "▁sh ut", + "▁за бе", + "▁заб е", + "▁воен ными", + "▁вое нными", + "▁военным и", + "ми ная", + "мина я", + "мин ая", + "ж ском", + "▁ограни чение", + "▁кня зем", + "ст рая", + "стра я", + "стр ая", + "▁реги он", + "▁Рас смотрим", + "▁Рассмотри м", + "▁из влека", + "▁извле ка", + "▁Разви тие", + "▁сооб щают", + "▁сообща ют", + "▁за мены", + "▁заме ны", + "▁cost s", + "▁с бере", + "▁сбе ре", + "▁потеря ла", + "▁потерял а", + "▁спор тивных", + "▁view s", + "▁exist ence", + "▁тор говые", + "▁торго вые", + "▁называ лась", + "▁есте ственного", + "▁естественно го", + "сс кой", + "с ской", + "O b", + "act ions", + "action s", + "a ctions", + "▁sub stant", + "▁m or", + "▁харак тере", + "▁характер е", + "▁Вяче слав", + "▁N ap", + "▁Na p", + "▁Al f", + "▁ко же", + "▁dr iver", + "▁drive r", + "uc ky", + "uck y", + "▁К лин", + "▁Кли н", + "кс ов", + "ксо в", + "к сов", + "▁O rig", + "▁Or ig", + "▁жи вое", + "▁живо е", + "▁жив ое", + "▁арен ды", + "▁чинов ники", + "▁престо ла", + "▁престол а", + "▁a part", + "▁ap art", + "el ve", + "▁А та", + "▁Ат а", + "▁оцен кам", + "▁оценка м", + "▁C irc", + "▁пере на", + "▁пер ена", + "▁пе рена", + "ру ющая", + "рую щая", + "▁зер кало", + "▁зерка ло", + "▁обы гра", + "фф а", + "ф фа", + "па три", + "п атри", + "▁повседнев ной", + "ri f", + "r if", + "▁В начале", + "▁выделя ется", + "▁выде ляется", + "▁Ind epend", + "▁Худо же", + "▁Ма лень", + "▁б ить", + "▁би ть", + "▁бит ь", + "▁ бить", + "▁называ емого", + "▁кор рек", + "▁корре к", + "re te", + "ret e", + "▁ува жением", + "▁уважение м", + "▁равнове сия", + "▁равновеси я", + "▁име лись", + "▁имели сь", + "▁поса дку", + "▁посад ку", + "▁про до", + "▁пр одо", + "▁прод о", + "▁кня зю", + "ви дной", + "вид ной", + "видно й", + "▁мужи к", + "▁contrib uted", + "▁сти хах", + "▁М И", + "▁ МИ", + "▁же ни", + "▁жен и", + "▁постано вки", + "▁постанов ки", + "y e", + "▁прос тира", + "▁прости ра", + "▁s an", + "ъя с", + "ъ яс", + "▁de lay", + "▁del ay", + "▁Предпо ложи", + "▁dec ades", + "▁decade s", + "ter ed", + "te red", + "t ered", + "▁образу ются", + "▁образуют ся", + "▁трени ровки", + "ёр ы", + "ё ры", + "▁дела ю", + "▁неве до", + "▁сбор ки", + "▁сбо рки", + "▁при несла", + "▁принес ла", + "▁справед ливость", + "▁справедливо сть", + "▁справедли вость", + "за кон", + "зак он", + "зако н", + "▁с могу", + "▁смо гу", + "▁смог у", + "▁perform ing", + "▁С М", + "▁h un", + "ut ation", + "▁object s", + "▁аген та", + "▁агент а", + "▁алгорит м", + "▁перспекти ве", + "▁перспек тиве", + "▁разно обра", + "an ning", + "ann ing", + "▁к рик", + "▁кри к", + "▁настой чиво", + "rag on", + "r agon", + "▁un known", + "▁воору жении", + "▁постоя нный", + "▁на зо", + "▁наз о", + "ско вой", + "сков ой", + "с ковой", + "▁це п", + "▁ цеп", + "▁аван тю", + "▁t rav", + "▁tra v", + "▁tr av", + "ur d", + "u rd", + "▁С тю", + "▁Ст ю", + "us ter", + "ust er", + "u ster", + "ло вых", + "лов ых", + "▁вз дох", + "▁Север ная", + "▁suc ceeded", + "▁бом б", + "▁sup por", + "▁imp rove", + "▁impro ve", + "▁х ит", + "▁хи т", + "▁ядер ного", + "▁компонен т", + "▁кон стати", + "▁associ ation", + "▁у брать", + "▁убра ть", + "▁над писи", + "▁надпи си", + "▁E st", + "▁Es t", + "▁ac res", + "▁поль зы", + "▁с горе", + "▁полага л", + "▁пола гал", + "os a", + "▁расположен ные", + "▁расположе нные", + "особ енно", + "▁лю били", + "▁люби ли", + "▁любил и", + "▁те чением", + "▁течение м", + "ба лан", + "бал ан", + "зи но", + "зин о", + "з ино", + "▁Ита лия", + "▁Итали я", + "▁опера тора", + "▁оператор а", + "in king", + "ink ing", + "ге та", + "▁внутрен ним", + "▁в арьи", + "▁вар ьи", + "▁преступ ников", + "ли ни", + "лин и", + "слу х", + "▁це лая", + "▁val ues", + "▁value s", + "▁выя вить", + "▁выяви ть", + "▁аргу мента", + "ot hing", + "oth ing", + "o thing", + "Д Д", + "ou ts", + "out s", + "o uts", + "▁v en", + "▁ve n", + "▁ ven", + "▁нов город", + "- ,", + "▁сме х", + "▁I d", + "▁ Id", + "▁благодар ность", + "сто люби", + "▁от дых", + "▁pass ing", + "▁w rong", + "▁концеп цию", + "со чета", + "▁по ложений", + "▁поло жений", + "▁переда ч", + "▁кос вен", + "▁собесед ник", + "▁собесе дник", + "▁индей цев", + "бу ла", + "▁при боры", + "▁прибо ры", + "▁прибор ы", + "▁сосу дов", + "про ви", + "▁ре ль", + "▁ рель", + "▁us ers", + "▁user s", + "▁газ ету", + "▁газе ту", + "▁газет у", + "▁отвра ти", + "харак тери", + "▁а гро", + "▁Об ъек", + "▁Объ ек", + "стан ций", + "▁изу чении", + "че нном", + "чен ном", + "ченно м", + "▁inv asion", + "▁форми ровании", + "ли ла", + "лил а", + "л ила", + "▁т рон", + "▁тро н", + "▁тр он", + "йте д", + "йт ед", + "▁раз ряд", + "▁разря д", + "▁а ква", + "▁ак ва", + "▁То вари", + "▁Рас пу", + "▁завер шить", + "▁заверши ть", + "ти нский", + "тин ский", + "рова нном", + "рован ном", + "▁однозна чно", + "▁J er", + "▁Je r", + "▁да вая", + "▁дав ая", + "▁mount ain", + "rop ol", + "▁N ations", + "▁реак ций", + "▁у ла", + "▁ул а", + "▁добы чу", + "ни цкий", + "ниц кий", + "▁e ye", + "▁ey e", + "▁кру гах", + "▁круга х", + "▁До полни", + "ка ты", + "кат ы", + "фе ро", + "фер о", + "oc key", + "ock ey", + "▁наде жде", + "▁Па стерна", + "▁Пас терна", + "фа р", + "ф ар", + "▁две рей", + "▁двер ей", + "▁б рал", + "▁бра л", + "▁ брал", + "ши ф", + "▁противостоя ть", + "▁появи ться", + "▁поя виться", + "▁из вер", + "▁изве р", + "▁на дё", + "▁над ё", + "▁Мю н", + "▁у шёл", + "▁gu est", + "▁A ff", + "▁Af f", + "▁ориен тации", + "▁ориента ции", + "▁во ины", + "▁воин ы", + "▁вои ны", + "▁Харь ков", + "▁поли тическое", + "▁полити ческое", + "▁a w", + "▁ aw", + "▁Жи во", + "▁поч ву", + "ped ition", + "уд а", + "у да", + "▁по смер", + "▁пос мер", + "▁sus p", + "▁su sp", + "ри лись", + "рили сь", + "▁ди плом", + "▁дипло м", + "▁рас хо", + "▁по смотрим", + "▁S ant", + "▁San t", + "▁Sa nt", + "▁По со", + "▁Фран суа", + "▁act ual", + "▁сохра няет", + "▁сохраня ет", + "ic y", + "i cy", + "▁м ю", + "▁ще н", + "▁ щен", + "▁государ ственную", + "▁государстве нную", + "▁архитек тора", + "▁архите ктора", + "▁архитектор а", + "▁с жима", + "▁сжи ма", + "▁Росси йского", + "▁Россий ского", + "▁Ла уре", + "▁стар ших", + "▁обеспе чивают", + "▁обеспечи вают", + "▁инте грации", + "▁интегра ции", + "зо вывать", + "зовы вать", + "▁события ми", + "ro ve", + "r ove", + "▁стер ж", + "▁знаком ство", + "▁f estival", + "▁практи ческой", + "▁прак тической", + "▁equ al", + "▁смы сло", + "▁смысл о", + "▁ме ксикан", + "▁[ ...", + "▁О ли", + "▁Ол и", + "▁Г рей", + "▁Гре й", + "▁Ус пен", + "▁Успе н", + "▁Са мая", + "▁Сам ая", + "▁Сама я", + "▁древне гре", + "▁програм много", + "▁программ ного", + "▁ку чу", + "▁моби льных", + "or gan", + "org an", + "▁по вле", + "▁пов ле", + "▁геро ем", + "▁истори чески", + "▁Ве ст", + "зе ль", + "зел ь", + "▁the atre", + "▁верто лет", + "Е З", + "до сть", + "ши ла", + "шил а", + "ш ила", + "▁скры ть", + "ли ки", + "лик и", + "▁зеле ный", + "▁преж ние", + "▁стара ются", + "▁в ёл", + "▁ вёл", + "Г ц", + "▁Твер ской", + "▁строе ние", + "▁ строение", + "so le", + "s ole", + "▁С он", + "▁Со н", + "▁стрем ления", + "▁happ ened", + "▁ответ ов", + "▁отве тов", + "▁club s", + "▁ill e", + "▁ ille", + "▁крестьян ской", + "▁крестья нской", + "▁худож ником", + "▁художник ом", + "▁тай ну", + "▁подчер кну", + "▁с водится", + "▁сво дится", + "▁значи тельная", + "▁бес пло", + "▁преж ней", + "▁R on", + "▁Ro n", + "Ф З", + "▁вое вать", + "▁бо гу", + "▁бог у", + "▁Ар тур", + "▁Арт ур", + "чу р", + "ч ур", + "▁произ водят", + "▁производ ят", + "▁произво дят", + "▁qu ant", + "▁Александ ру", + "▁Александр у", + "▁с нят", + "▁сня т", + "▁in stance", + "▁inst ance", + "▁заста вили", + "▁заставил и", + "э лектри", + "▁предо преде", + "▁учё ных", + "▁end ing", + "▁рас пра", + "▁g one", + "▁go ne", + "▁ла дно", + "▁princip al", + "▁кон денса", + "▁у клады", + "▁харак тером", + "▁характер ом", + "▁cor rect", + "▁поя са", + "▁пояс а", + "▁за дать", + "▁зада ть", + "д с", + "▁конструк ций", + "же нном", + "жен ном", + "женно м", + "▁Т били", + "▁жела нием", + "▁желание м", + "▁dist ingu", + "▁c aught", + "▁rev olution", + "▁спа ль", + "▁спал ь", + "▁Step hen", + "▁ste el", + "▁пря мые", + "ья н", + "ь ян", + "ic ks", + "ick s", + "i cks", + "▁электро нных", + "▁люби телей", + "at al", + "ata l", + "▁entire ly", + "▁раз бор", + "▁разбо р", + "р ба", + "▁дво их", + "▁P R", + "▁ PR", + "Пре д", + "П ред", + "▁судеб ной", + "▁до сро", + "▁рубе ж", + "▁пере нес", + "▁r ow", + "▁ro w", + "▁ row", + "▁g all", + "▁вле во", + "▁W alk", + "▁Wal k", + "▁гер манской", + "▁герман ской", + "▁пока зывать", + "▁показыва ть", + "▁ме стный", + "▁мест ный", + "▁се кции", + "▁сек ции", + "▁бир же", + "▁ва жность", + "▁важ ность", + "▁важно сть", + "▁con test", + "▁cont est", + "▁b atter", + "▁batt er", + "▁разви ваются", + "▁развива ются", + "fl ib", + "f lib", + "▁По яви", + "▁по кро", + "▁от зывы", + "▁отзыв ы", + "▁памя тники", + "▁памят ники", + "▁памятник и", + "▁сдела на", + "▁сде лана", + "▁сделан а", + "▁сдел ана", + "цион еры", + "цио неры", + "ционе ры", + "ционер ы", + "▁Не боль", + "▁ин тона", + "▁h ired", + "▁C ub", + "▁ис прави", + "▁испра ви", + "▁водо рода", + "▁водоро да", + "▁Су хо", + "▁conclud ed", + "▁я д", + "▁g ain", + "▁P u", + "сти чески", + "с тически", + "ла нда", + "лан да", + "ланд а", + "▁a go", + "▁ag o", + "▁ ago", + "▁Cast le", + "▁Cas tle", + "НО СТ", + "▁ядер ной", + "▁синте за", + "▁судеб ных", + "▁реали зацию", + "▁ожида нии", + "то вое", + "тов ое", + "тово е", + "м ь", + "▁Ч ин", + "▁Чи н", + "ц ки", + "▁на нес", + "▁центра льных", + "▁центр альных", + "▁спа сение", + "▁спасе ние", + "▁еди ное", + "▁един ое", + "▁едино е", + "▁матери альной", + "▁материа льной", + "▁материаль ной", + "pat h", + "pa th", + "p ath", + "че рки", + "чер ки", + "▁Дмитри евич", + "▁герман ских", + "▁та нце", + "▁тан це", + "▁зу бов", + "▁зуб ов", + "▁пя тна", + "▁пят на", + "▁при водя", + "▁приво дя", + "▁Д жим", + "▁Дж им", + "▁Джи м", + "▁мастер ской", + "▁масте рской", + "▁Б ла", + "▁криста лли", + "▁hot el", + "▁ко лла", + "▁кол ла", + "▁сооб щал", + "▁сообща л", + "Д П", + "тех ники", + "техни ки", + "▁совет ов", + "▁сове тов", + "▁стра хов", + "▁страхо в", + "▁страх ов", + "▁авиа ционного", + "▁зе рно", + "▁зер но", + "▁у мом", + "▁ум ом", + "▁умо м", + "▁умень шается", + "ря х", + "р ях", + "D P", + "▁ac ts", + "▁act s", + "▁l ands", + "▁land s", + "▁ lands", + "▁претен ден", + "▁ок не", + "▁называ емая", + "▁называем ая", + "ле ни", + "лен и", + "▁шту ка", + "▁шт ука", + "▁штук а", + "▁ви бра", + "▁парадок са", + "▁в стать", + "▁вс тать", + "▁вста ть", + "▁заклю чению", + "▁ресто ран", + "▁рестора н", + "▁при па", + "▁ припа", + "зя т", + "з ят", + "▁neg ative", + "▁с гу", + "▁fav our", + "П ла", + "С тра", + "▁С ъ", + "▁у дли", + "▁уд ли", + "▁Василь ев", + "▁Василье в", + "▁откры того", + "▁открыто го", + "▁по ш", + "▁Со ю", + "▁A ud", + "▁Pol and", + "▁Po land", + "▁боя ться", + "▁зву ко", + "▁звук о", + "▁sh ape", + "▁уви дите", + "▁Великобрита ния", + "▁предупре ждения", + "▁ent ry", + "не о", + "▁моду ль", + "▁Ль ва", + "▁за одно", + "▁зао дно", + "ри ат", + "риа т", + "▁характер ны", + "▁cons ult", + "▁stand ing", + "▁ standing", + "▁византи й", + "is ms", + "ism s", + "▁про чее", + "▁тяже лый", + "▁Ar thur", + "▁дости гается", + "▁достигает ся", + "▁достига ется", + "▁C R", + "▁клима та", + "▁климат а", + "▁Enter tainment", + "▁main tained", + "▁maintain ed", + "▁зна коми", + "▁знако ми", + "▁знаком и", + "тя х", + "т ях", + "▁affect ed", + "жи вания", + "▁запро сов", + "▁запрос ов", + "жо н", + "ж он", + "▁О л", + "▁Pak istan", + "ar ia", + "ari a", + "a ria", + "пра вление", + "прав ление", + "▁су ждено", + "▁выро сла", + "▁вырос ла", + "▁обы ден", + "▁Медведе в", + "ps on", + "p son", + "▁у се", + "▁ус е", + "▁старо сти", + "ль цы", + "ст ит", + "сти т", + "с тит", + "▁эта жа", + "▁этаж а", + "▁д нях", + "▁дня х", + "скри п", + "▁помо гал", + "▁помог ал", + "▁помога л", + "▁вы ры", + "▁выр ы", + "По сле", + "▁some w", + "▁som ew", + "то рных", + "тор ных", + "▁дости жений", + "▁возможно й", + "▁возмо жной", + "▁Ре ги", + "▁объеди ня", + "▁познакоми ться", + "▁об щин", + "▁общи н", + "▁общ ин", + "▁О П", + "▁ ОП", + "▁парт неров", + "▁партнер ов", + "▁ра зом", + "▁раз ом", + "▁разо м", + "▁устано вленных", + "▁установ ленных", + "▁установлен ных", + "j e", + "▁уров ню", + "▁револю ционной", + "▁С не", + "▁про вода", + "▁прово да", + "▁провод а", + "▁ провода", + "▁С мерть", + "▁занима ть", + "▁ж аль", + "▁жа ль", + "▁жал ь", + "▁фа рма", + "▁фар ма", + "▁запа дного", + "▁запад ного", + "▁деше вле", + "ща х", + "▁упразд нён", + "▁ло го", + "▁ лого", + "▁Про грамма", + "ба йка", + "бай ка", + "▁му жу", + "▁муж у", + "нос ятся", + "нося тся", + "носят ся", + "▁завое вания", + "▁S u", + "ле том", + "лет ом", + "/ ,", + "▁r om", + "▁ro m", + "▁ rom", + "▁И гна", + "▁И ран", + "▁Ир ан", + "▁Ира н", + "▁пре гра", + "▁клю чи", + "▁ключ и", + "▁Лу к", + "▁ра ны", + "▁ран ы", + "wo rd", + "w ord", + "▁b odies", + "▁Ба ш", + "▁мо ск", + "▁не а", + "же нер", + "жен ер", + "▁при вед", + "▁приве д", + "▁прив ед", + "▁опреде лении", + "▁отде льными", + "▁отдель ными", + "▁отдельным и", + "▁кан ц", + "▁struct ures", + "▁structure s", + "▁зву ков", + "▁звук ов", + "▁звуко в", + "▁упра влению", + "▁да вай", + "▁дав ай", + "pect ed", + "▁ближай ших", + "▁музыка льного", + "▁У а", + "зне ц", + "з нец", + "ар т", + "а рт", + "it o", + "i to", + "▁обнаружи вает", + "▁обнару живает", + "▁Ми ра", + "▁Мир а", + "▁Camb ridge", + "▁US B", + "▁нео грани", + "▁п рони", + "▁про ни", + "▁пр они", + "▁прон и", + "▁счаст лив", + "▁счастли в", + "el er", + "e ler", + "▁прошло й", + "▁прош лой", + "ва вшие", + "вав шие", + "см ер", + "сме р", + "с мер", + "▁подо йти", + "▁подой ти", + "▁L og", + "▁Lo g", + "В С", + "▁за блоки", + "▁Португа лии", + "▁З ву", + "▁уби тых", + "▁убит ых", + "▁убиты х", + "▁об мо", + "▁conv erted", + "▁conver ted", + "▁электроэнер гии", + "▁Kore a", + "▁недо ве", + "▁равно веси", + "▁равнове си", + "ce ived", + "ли стов", + "лист ов", + "лис тов", + "▁ком бини", + "▁con tained", + "▁cont ained", + "▁contain ed", + "▁но жом", + "▁нож ом", + "▁интерпре тации", + "▁деся тка", + "▁ле тчик", + "▁лет чик", + "▁ули цам", + "▁улица м", + "▁улиц ам", + "▁до шли", + "▁знако мые", + "▁знакомы е", + "▁музыка льный", + "▁Мат ве", + "▁продук цию", + "▁у ходить", + "▁уходит ь", + "▁ухо дить", + "▁уход ить", + "it ants", + "itan ts", + "cent ury", + "▁В полне", + "ra ck", + "rac k", + "r ack", + "▁Ша х", + "▁у су", + "▁ус у", + "ac ter", + "act er", + "▁продол жения", + "▁d uty", + "▁du ty", + "▁по ма", + "▁пом а", + "▁на родные", + "▁наро дные", + "▁народ ные", + "▁вступа ет", + "▁ре м", + "▁р ем", + "▁ рем", + "▁Ку ту", + "▁Ко му", + "▁Ком у", + "▁вра чом", + "▁врач ом", + "▁Ми ло", + "▁ис следовать", + "▁исследова ть", + "el ess", + "e less", + "bour ne", + "▁чи стого", + "▁чисто го", + "▁высо чай", + "▁v ir", + "▁добро во", + "▁доб рово", + "▁П лу", + "▁ба ро", + "▁бар о", + "▁Де парта", + "▁квадра тных", + "▁на брал", + "▁набра л", + "d o", + "▁ви ден", + "▁виде н", + "▁вид ен", + "▁gener ation", + "▁resist ance", + "▁возмо жны", + "▁Эдуар д", + "▁модерни зации", + "▁та ки", + "▁так и", + "▁ таки", + "▁по зор", + "▁поз ор", + "по вич", + "▁срав нение", + "▁коали ции", + "▁Ви ш", + "▁сыгра ли", + "▁сыграл и", + "чь ся", + "▁вы зова", + "▁вызо ва", + "▁вызов а", + "▁ро дом", + "▁род ом", + "▁родо м", + "▁ родом", + "▁итальян ского", + "▁под полковник", + "▁подполков ник", + "ён ок", + "ё нок", + "▁Хо ть", + "▁Lew is", + "в з", + "А вто", + "▁Ле ви", + "▁Лев и", + "▁способ ствовать", + "▁St one", + "со циаль", + "▁рас ход", + "▁расхо д", + "▁за просы", + "▁запро сы", + "▁запрос ы", + "до вской", + "дов ской", + "▁Min istry", + "ruct ure", + "▁Александ ром", + "▁Александр ом", + "▁возоб но", + "▁ри туаль", + "▁ритуа ль", + "et ts", + "ett s", + "запад ной", + "▁An ton", + "▁Ant on", + "▁Республи ка", + "▁про пу", + "▁Ю жно", + "▁визи та", + "▁визит а", + "▁str ateg", + "▁п ир", + "▁пи р", + "▁ак ционер", + "▁Ива новна", + "▁Иванов на", + "▁ак ты", + "▁акт ы", + "▁ass ault", + "▁accom pan", + "ли сты", + "лист ы", + "лис ты", + "▁ar med", + "▁arm ed", + "▁Ру зве", + "ac hel", + "ach el", + "ache l", + "▁A ri", + "▁Ar i", + "▁британ ских", + "▁под со", + "▁подс о", + "▁беспо ща", + "▁реда ктором", + "▁редак тором", + "▁редактор ом", + "▁cop ies", + "▁вы реза", + "▁кни гой", + "▁книг ой", + "▁расши рить", + "▁По нима", + "flib usta", + "▁Ру сского", + "▁Рус ского", + "ри тся", + "рит ся", + "р ится", + "▁эпо ха", + "▁мо щи", + "▁мощ и", + "▁Ма дри", + "▁пла ст", + "▁К ё", + "ско па", + "ск опа", + "скоп а", + "ти руя", + "тиру я", + "▁депута ты", + "▁депутат ы", + "▁соответ ствующим", + "▁соответству ющим", + "▁support ing", + "▁suppor ting", + "▁и рони", + "▁ир они", + "▁иро ни", + "ur ches", + "urch es", + "▁реши лся", + "▁решил ся", + "om ot", + "▁ле чении", + "▁ста рым", + "▁bro ken", + "▁br oken", + "▁broke n", + "▁употре бление", + "▁за долго", + "▁задол го", + "▁ве тери", + "▁ветер и", + "▁за ведений", + "▁заве дений", + "▁In it", + "▁ну жд", + "▁нуж д", + "▁побе дой", + "▁побед ой", + "( $", + "▁p up", + "▁Ch ris", + "дея тельности", + "В М", + "▁Dis ney", + "our ney", + "ourn ey", + "т к", + "▁патри оти", + "▁патрио ти", + "▁ау к", + "о в", + "▁сло жным", + "▁широ кую", + "▁импе рия", + "▁Зве зда", + "▁вой сках", + "▁войска х", + "d r", + "▁компью теров", + "▁компьютер ов", + "▁ло я", + "▁из дал", + "▁изда л", + "▁изд ал", + "▁Обла датель", + "▁Че хов", + "▁дли тельное", + "▁млад шего", + "▁Phil ip", + "▁возвы шен", + "де ре", + "дер е", + "д ере", + "▁авто но", + "▁но вость", + "▁ново сть", + "▁отказа лась", + "▁изда тельства", + "▁се кс", + "▁сек с", + "▁r ural", + "▁ru ral", + "▁вер ность", + "▁верно сть", + "▁па лом", + "▁пало м", + "▁пал ом", + "▁сторон ники", + "▁выбра ли", + "▁выбрал и", + "be ll", + "bel l", + "b ell", + "▁хозяй ств", + "▁reject ed", + "▁уче ники", + "▁ученик и", + "▁региона льных", + "▁регион альных", + "▁Рас стояние", + "▁раз ное", + "▁разно е", + "ни ческое", + "го вая", + "гов ая", + "гова я", + "ча ться", + "чать ся", + "▁K el", + "▁Ke l", + "▁f ram", + "▁fr am", + "▁постро или", + "▁построил и", + "▁Со вершенно", + "▁sign al", + "▁ка дра", + "▁кад ра", + "os ter", + "ost er", + "o ster", + "▁О стро", + "▁Ос тро", + "▁кафе дрой", + "▁с прос", + "▁спро с", + "▁ново рожден", + "▁Ю лия", + "▁Юли я", + "▁вы тека", + "▁От то", + "▁встре тили", + "▁встретил и", + "▁T am", + "▁устано вление", + "▁установ ление", + "▁пролета риата", + "▁обита ния", + "▁си лам", + "▁сил ам", + "▁сила м", + "▁эта пах", + "▁этапа х", + "▁то чность", + "▁точно сть", + "▁точ ность", + "▁бу й", + "надца того", + "▁предпо лагается", + "▁предполага ется", + "▁предполагает ся", + "до ступ", + "▁отде лении", + "▁отделе нии", + "▁пред води", + "he mat", + "hem at", + "▁нарко ма", + "▁нар кома", + "▁М ала", + "▁Ма ла", + "▁independ ence", + "лё в", + "л ёв", + "▁поги бло", + "▁погиб ло", + "▁Воро ши", + "ic ate", + "ica te", + "▁раз бу", + "▁П ье", + "aw n", + "a wn", + "▁до клады", + "▁докла ды", + "▁доклад ы", + "T R", + "нс и", + "н си", + "▁Га ври", + "▁отк лик", + "▁откли к", + "▁За коно", + "▁Зак оно", + "▁Закон о", + "шни е", + "ш ние", + "▁Де пута", + "▁с кле", + "▁ск ле", + "▁Запад ного", + "▁Запа дного", + "▁Да вы", + "▁тон кой", + "▁тонко й", + "▁глубо кие", + "▁пунк том", + "▁пункт ом", + "▁пунк те", + "▁пункт е", + "▁дей ств", + "ство вавших", + "ствова вших", + "О Т", + "▁оказыва ют", + "▁ока зывают", + "▁techn ical", + "▁до жида", + "▁дож ида", + "iv als", + "ival s", + "iva ls", + "▁за пер", + "▁запе р", + "пле н", + "п лен", + "▁исче зли", + "▁исчез ли", + "▁f resh", + "▁fre sh", + "▁fr esh", + "▁секре тар", + "▁секрета р", + "▁секрет ар", + "▁похо жа", + "▁похож а", + "▁опо зда", + "▁республи ке", + "▁республик е", + "▁угро жа", + "▁исклю чение", + "▁ле жали", + "▁лежа ли", + "▁лежал и", + "▁При зна", + "▁ми рного", + "▁мир ного", + "▁пря мое", + "▁прямо е", + "▁немец кими", + "▁немецким и", + "▁происхо ждении", + "▁эфи ре", + "▁эфир е", + "щее ся", + "▁принима ла", + "▁принимал а", + "▁опыт ный", + "▁опы тный", + "▁и ном", + "▁ин ом", + "▁ино м", + "▁On ly", + "▁ито г", + "пусти м", + "пус тим", + "▁принадле жность", + "▁Ники та", + "ви дные", + "вид ные", + "▁Красно яр", + "▁R aj", + "we ight", + "▁уда ления", + "▁S ee", + "▁Se e", + "ens ions", + "ension s", + "▁улыб кой", + "▁F orm", + "▁For m", + "▁Col or", + "▁Co lor", + "▁испыты вать", + "▁s ale", + "▁sal e", + "▁на три", + "▁н атри", + "▁очеред ного", + "▁Та и", + "se s", + "s es", + "пле т", + "п лет", + "▁Б уда", + "▁Бу да", + "▁Буд а", + "▁превра тилась", + "ро вав", + "ров ав", + "рова в", + "▁Ло у", + "▁лауре а", + "▁rank ed", + "av ig", + "▁ка пли", + "▁кап ли", + "▁архи в", + "▁арх ив", + "▁Tor onto", + "▁promot ion", + "зи рованный", + "зирова нный", + "зирован ный", + "ag an", + "aga n", + "a gan", + "▁lim it", + "▁на ходим", + "▁находи м", + "▁наход им", + "▁возможно стями", + "▁f ashion", + "ла с", + "л ас", + "▁пе чи", + "▁устра нить", + "el ine", + "e line", + "▁прого лосо", + "▁не пред", + "▁непре д", + "▁есте ственной", + "▁естественно й", + "▁quest ions", + "▁question s", + "▁а й", + "▁ ай", + "▁Де ка", + "▁Дек а", + "▁об щении", + "▁обще нии", + "▁продолжа лось", + "▁ба нке", + "▁бан ке", + "▁банк е", + "▁ка дры", + "▁кад ры", + "▁преду смотрен", + "▁предусмотре н", + "D S", + "▁мона ше", + "▁но чной", + "о фф", + "▁G irl", + "сле дует", + "следу ет", + "▁fre edom", + "▁free dom", + "▁шту к", + "▁служ б", + "хи я", + "▁жа лова", + "▁жало ва", + "▁сто имо", + "▁стои мо", + "▁полуо стро", + "▁разли чной", + "▁ныне шней", + "▁нынеш ней", + "не ру", + "нер у", + "н еру", + "▁Ф ила", + "▁Фи ла", + "▁chair man", + "з ки", + "t ical", + "▁ск вер", + "▁sh ell", + "▁she ll", + "▁shel l", + "y o", + "н цы", + "▁заблу ждение", + "▁индивиду альных", + "▁индивидуаль ных", + "▁l at", + "▁la t", + "▁со рат", + "▁сор ат", + "▁Крем ля", + "▁slight ly", + "▁но ва", + "▁нов а", + "▁ нова", + "▁фра кции", + "▁фрак ции", + "▁обще жи", + "▁кра сным", + "U N", + "▁Ин доне", + "▁Р э", + "зи да", + "з ида", + "▁разли чного", + "▁T H", + "▁Сиби рь", + "▁Сибир ь", + "▁S anta", + "▁San ta", + "▁Sant a", + "D R", + "em et", + "e met", + "▁Кра сную", + "▁реаль ном", + "▁реа льном", + "▁реально м", + "▁Ри о", + "▁слу жащих", + "▁служа щих", + "Р К", + "▁W ell", + "▁We ll", + "▁зри теля", + "ста вки", + "став ки", + "гл е", + "г ле", + "▁ди ско", + "▁дис ко", + "▁диск о", + "▁it ems", + "▁ent rance", + "▁Г им", + "▁Ги м", + "▁поддержи вают", + "▁environment al", + "com m", + "co mm", + "c omm", + "▁Ва ше", + "▁Ваш е", + "▁спро са", + "▁спрос а", + "▁запа сов", + "▁запас ов", + "▁да ром", + "▁дар ом", + "▁P sych", + "▁М еха", + "▁Ме ха", + "▁ph ase", + "▁кла ссу", + "▁класс у", + "▁администра ция", + "▁Богороди цы", + "по сле", + "н на", + "▁trans form", + "П П", + "▁tit les", + "▁title s", + "▁ле тчики", + "▁лет чики", + "▁летчик и", + "▁у стоя", + "▁мотива м", + "▁мотив ам", + "▁ки пе", + "▁ кипе", + "▁зем лев", + "▁земле в", + "▁адвока т", + "▁уничто жил", + "▁town s", + "▁напра вился", + "▁направил ся", + "▁de script", + "▁des cript", + "▁desc ript", + "▁ор на", + "ж ко", + "▁гра вита", + "▁грави та", + "▁владель цев", + "▁владе льцев", + "▁пользова ния", + "▁исследова ниях", + "▁исследования х", + "▁Дей ствие", + "▁Действи е", + "▁дре сси", + "▁У ай", + "▁Уа й", + "▁синх рони", + "▁жа лу", + "▁жал у", + "▁выда ющихся", + "▁пре следования", + "▁преследова ния", + "▁со пря", + "▁некото рого", + "▁b an", + "▁ ban", + "▁Ш ей", + "▁Ше й", + "▁из вне", + "▁госпо да", + "▁гос пода", + "▁господ а", + "Бе р", + "Б ер", + "▁экстре ми", + "ме рно", + "мер но", + "▁Север ном", + "ме л", + "ce ll", + "cel l", + "c ell", + "▁цен тру", + "▁центр у", + "▁Сталин у", + "▁Стали ну", + "ма га", + "▁персона жи", + "▁персонаж и", + "av er", + "ave r", + "a ver", + "▁К ва", + "▁H ard", + "▁Har d", + "▁Ha rd", + "il er", + "ile r", + "i ler", + "▁we ather", + "▁муж чину", + "▁мужчи ну", + "▁мужчин у", + "до во", + "дов о", + "▁пого ды", + "▁лето пи", + "▁bu y", + "▁доста вить", + "▁и менами", + "▁име нами", + "▁имена ми", + "▁ex clus", + "▁Вита лий", + "▁prof essor", + "▁profess or", + "▁По ложение", + "▁Поло жение", + "▁бо юсь", + "▁бою сь", + "жу сь", + "▁pro ceed", + "▁придума л", + "▁контак та", + "▁контакт а", + "▁международ ные", + "▁поли цию", + "▁за на", + "▁з ана", + "▁ зана", + "▁е дет", + "▁ед ет", + "▁B ad", + "▁Ba d", + "▁вы ши", + "▁проя вил", + "▁прояви л", + "▁дево чек", + "▁санти метров", + "▁пове ствования", + "▁с пя", + "ча тый", + "▁R et", + "▁Re t", + "▁о бой", + "▁об ой", + "▁обо й", + "▁гро зит", + "▁гроз ит", + "▁хими ческой", + "при з", + "пр из", + "ya rd", + "y ard", + "▁пи ва", + "▁п оси", + "▁по си", + "▁пос и", + "▁* /", + "▁v oc", + "▁vo c", + "▁Ху ан", + "▁ev ening", + "▁even ing", + "лейте нан", + "▁форте пи", + "▁отда вать", + "чи не", + "чин е", + "▁насе ленных", + "▁уме ют", + "бо ю", + "▁impro ved", + "▁improve d", + "▁уби ты", + "▁убит ы", + "▁посе щения", + "▁реда ктора", + "▁редак тора", + "▁редактор а", + "▁пла та", + "▁плат а", + "▁J ose", + "▁Jos e", + "▁Jo se", + "st ring", + "str ing", + "▁зарабо тной", + "ня ков", + "няк ов", + "h ttp", + "▁чу жих", + "▁Го ро", + "▁Гор о", + "▁int elligence", + "▁пом ните", + "▁помнит е", + "▁Г ин", + "▁Ги н", + "▁a ctor", + "▁act or", + "ur er", + "ure r", + "сти ческими", + "стическим и", + "стически ми", + "с тическими", + "ли зация", + "лиза ция", + "▁дет ские", + "▁на хождения", + "▁Ленинград ского", + "ком муни", + "комму ни", + "▁благо чести", + "м чу", + "то ле", + "тол е", + "т оле", + "▁по льских", + "▁поль ских", + "ти руют", + "тиру ют", + "▁су доро", + "▁судо ро", + "▁G et", + "▁Ge t", + "▁ Get", + "▁рас чета", + "▁расчет а", + "▁расче та", + "▁составля ющих", + "▁спу тников", + "▁спут ников", + "▁спутник ов", + "▁ч ье", + "▁чь е", + "▁ чье", + "▁положи тельные", + "▁вы пить", + "▁выпи ть", + "▁vol unte", + "▁бума гу", + "▁бумаг у", + "▁голо вной", + "▁голов ной", + "ком мен", + "▁Нидерлан дов", + "▁располага ются", + "▁Про то", + "▁со авто", + "▁су гу", + "▁эс мин", + "▁кре ста", + "▁крест а", + "▁при чу", + "▁ору дие", + "па м", + "п ам", + "▁Ф СБ", + "ag en", + "age n", + "a gen", + "▁P lan", + "▁Pl an", + "▁Се кре", + "▁Сек ре", + "▁Су ть", + "▁футбо л", + "▁фут бол", + "▁На ру", + "▁Нар у", + "▁w inner", + "▁win ner", + "▁cap ture", + "▁capt ure", + "лет нюю", + "треть их", + "▁позво лила", + "▁позволи ла", + "▁позволил а", + "▁находя щиеся", + "эн а", + "э на", + "▁мет рах", + "▁метра х", + "▁свиде тельству", + "▁свидетель ству", + "▁свидетельств у", + "у бий", + "▁Ch annel", + "▁созда вая", + "▁Центра льный", + "▁Центр альный", + "▁в слух", + "ст ят", + "стя т", + "с тят", + "▁да ется", + "▁дает ся", + "▁altern ative", + "▁An ne", + "▁Ann e", + "▁inst alled", + "▁install ed", + "▁содержи мое", + "▁R oss", + "▁Ros s", + "▁Ro ss", + "жи ми", + "жим и", + "ж ими", + "▁со сла", + "▁сос ла", + "▁дер жав", + "▁держа в", + "▁уче ным", + "▁do ct", + "▁doc t", + "бр ю", + "б рю", + "▁до зво", + "▁Дру гая", + "З А", + "▁Но вое", + "▁Ново е", + "▁Нов ое", + "▁сдела в", + "▁сде лав", + "▁сдел ав", + "ль мо", + "льм о", + "зо вой", + "зов ой", + "ся га", + "▁Су б", + "▁l ect", + "▁le ct", + "▁ lect", + "зи ться", + "зить ся", + "▁ссы лку", + "in tend", + "int end", + "кори чне", + "ха нов", + "хан ов", + "по лага", + "▁Кирил л", + "▁Кир илл", + "▁Кири лл", + "хо та", + "хот а", + "▁ну жным", + "▁нуж ным", + "▁нужны м", + "▁у пала", + "▁упа ла", + "▁упал а", + "▁caus es", + "▁cause s", + "вобо ди", + "▁ло жка", + "▁упраж нение", + "▁ч ин", + "▁чи н", + "▁ чин", + "▁по стов", + "▁пос тов", + "▁пост ов", + "▁Пу ть", + "▁crim inal", + "▁мо тив", + "ра ж", + "▁за куп", + "▁заку п", + "▁возможно го", + "▁возмо жного", + "▁у рок", + "▁уро к", + "▁пы таться", + "▁пыта ться", + "▁ку куру", + "ie l", + "i el", + "▁дости га", + "▁достиг а", + "▁У вы", + "▁C ur", + "зи ровал", + "зирова л", + "шка м", + "ш кам", + "▁торже ственно", + "ло р", + "л ор", + "▁кры лья", + "▁крыль я", + "▁внутрен няя", + "▁По лков", + "▁Пол ков", + "▁vis ual", + "rest ling", + "ло жите", + "ложи те", + "▁im ages", + "▁image s", + "▁imag es", + "▁гря зи", + "▁гряз и", + "▁харак теру", + "▁характер у", + "▁характер ные", + "▁характерны е", + "тран спорт", + "▁Кня зь", + "ров ень", + "▁противоре чит", + "▁противоречи т", + "ль ские", + "▁architect ure", + "▁ва жности", + "▁важ ности", + "▁важно сти", + "enn is", + "▁посвя тил", + "▁над лежа", + "▁надле жа", + "▁В ид", + "▁Ви д", + "▁пере клю", + "▁G ree", + "▁Gr ee", + "▁Gre e", + "▁Ц СКА", + "S e", + "U T", + "гг ер", + "г гер", + "▁c old", + "▁col d", + "▁co ld", + "▁добро совест", + "▁из ложен", + "▁фотографи й", + "▁W rit", + "ме то", + "мет о", + "▁ле нты", + "▁л енты", + "▁лен ты", + "кото рое", + "▁Г ЭС", + "▁гипоте зы", + "К ни", + "▁ро зни", + "▁роз ни", + "▁возможно е", + "▁возмо жное", + "▁ата ковать", + "▁h ear", + "▁he ar", + "▁Mr s", + "▁по ходе", + "▁похо де", + "▁поход е", + "▁напом нил", + "▁cons isted", + "▁consist ed", + "▁mer ch", + "▁окру жение", + "▁обсу дить", + "▁пере ска", + "▁перес ка", + "▁Вильгель м", + "▁Г ДР", + "▁t rip", + "▁tr ip", + "▁tri p", + "▁Б она", + "▁Бо на", + "▁Бон а", + "▁стра нным", + "▁стран ным", + "ти ровала", + "тирова ла", + "тировал а", + "то лько", + "▁Д ен", + "▁Де н", + "▁де са", + "▁соста ву", + "▁состав у", + "▁ar ts", + "▁art s", + "те и", + "▁пу та", + "▁пут а", + "▁ пута", + "▁c ore", + "▁co re", + "▁cor e", + "▁извест ное", + "▁известно е", + "▁изве стное", + "het ic", + "h etic", + "▁а сфаль", + "▁жи телями", + "▁жителя ми", + "▁жителям и", + "▁А вра", + "▁Ав ра", + "▁Име ет", + "h o", + "▁д вою", + "▁дво ю", + "дей ствие", + "▁запа дное", + "▁запад ное", + "▁м ера", + "▁ме ра", + "▁мер а", + "▁ мера", + "==== ====", + "▁ты л", + "▁ми ровую", + "▁миро вую", + "▁миров ую", + "ЕН ИЯ", + "ЕНИ Я", + "▁рит м", + "▁карти нки", + "▁картин ки", + "▁гра фик", + "▁графи к", + "olog ies", + "▁выра жением", + "▁выражение м", + "▁g ets", + "▁get s", + "▁ge ts", + "▁испыты вал", + "▁s udden", + "▁Р ос", + "▁Ро с", + "▁m ent", + "▁me nt", + "▁men t", + "▁ ment", + "▁гене ри", + "А т", + "▁D aily", + "▁Christ mas", + "▁Э нд", + "▁Эн д", + "л з", + "▁Ли тера", + "▁Лит ера", + "▁посла ть", + "▁ва жны", + "▁важ ны", + "▁прото кола", + "▁протокол а", + "▁H art", + "▁Har t", + "▁сло бо", + "▁сл обо", + "▁конфлик ты", + "▁конфликт ы", + "▁В ай", + "▁Ва й", + "▁B ang", + "▁Ba ng", + "▁Бли жай", + "▁Ближ ай", + "▁I BM", + "ни чать", + "▁санк ций", + "▁называ лся", + "▁называл ся", + "▁B ishop", + "▁побы вал", + "▁пере ехала", + "▁переехал а", + "▁культур но", + "ach us", + "▁па спорт", + "▁пас порт", + "▁корпу се", + "▁корпус е", + "▁от носят", + "▁отно сят", + "▁относя т", + "▁эле ментом", + "▁элемент ом", + "▁по чи", + "▁поч и", + "▁исклю чено", + "ock et", + "пы тно", + "пыт но", + "▁коро лем", + "▁короле м", + "▁совер шает", + "▁соверша ет", + "▁води теля", + "▁рас шиф", + "▁расши ф", + "cript ion", + "▁v ari", + "▁var i", + "▁cont rolled", + "▁control led", + "▁по льский", + "▁поль ский", + "▁паци ент", + "▁пациен т", + "▁стреми ться", + "▁англий ским", + "▁M arg", + "▁Mar g", + "▁пред ложением", + "▁предложение м", + "▁предложе нием", + "ша йте", + "шай те", + "▁Подоб но", + "Ч а", + "▁A N", + "▁ AN", + "▁Ва сили", + "▁Васи ли", + "▁Вас или", + "▁ме трополи", + "▁метро поли", + "▁S ix", + "▁Si x", + "▁Украи нской", + "▁Украин ской", + "▁ра стор", + "▁рас тор", + "▁расто р", + "▁раст ор", + "▁авиаком пании", + "▁само лете", + "▁самоле те", + "▁самолет е", + "▁у смотре", + "восто чной", + "вос точной", + "▁авиа ционный", + "зи ла", + "зил а", + "з ила", + "▁трак тов", + "pe s", + "p es", + "▁s ole", + "▁so le", + "▁sol e", + "▁ sole", + "бр у", + "б ру", + "▁Ste ve", + "▁C ode", + "▁Co de", + "▁Э ффек", + "▁окру гов", + "▁округ ов", + "шта дт", + "▁запа дные", + "▁запад ные", + "▁близ ким", + "▁близки м", + "▁х е", + "▁ хе", + "▁хо ле", + "▁х оле", + "▁хол е", + "▁молоде жь", + "▁высо кими", + "▁высоким и", + "▁ак тивного", + "▁актив ного", + "▁активно го", + "▁до ски", + "се ти", + "сет и", + "с ети", + "▁Ф рэ", + "at ab", + "ata b", + "▁dis miss", + "▁Елиза вета", + "▁над ле", + "▁ надле", + "▁bo ys", + "▁boy s", + "▁Тимо фе", + "▁А ни", + "▁Ан и", + "▁ко з", + "▁к оз", + "▁О не", + "▁Он е", + "▁ро дного", + "▁род ного", + "▁ родного", + "ol ec", + "ole c", + "▁люби мой", + "▁любим ой", + "▁по та", + "▁sk ills", + "▁президен ту", + "▁президент у", + "▁офи с", + "▁оф ис", + "▁взгля нуть", + "▁фрон тах", + "▁фронта х", + "▁Вер нувшись", + "▁ш ума", + "▁шу ма", + "▁шум а", + "▁рекла ма", + "▁реклам а", + "▁рек лама", + "▁на чи", + "▁нач и", + "▁свобо дный", + "▁свобод ный", + "ad ow", + "ado w", + "▁аэропор ту", + "▁аэропорт у", + "▁ ща", + "ва теля", + "▁завер шил", + "▁заверши л", + "▁Comm unity", + "▁Commun ity", + "▁д ань", + "▁да нь", + "▁дан ь", + "▁Man agement", + "дс кого", + "д ского", + "▁m outh", + "со вая", + "сов ая", + "сова я", + "▁ово щи", + "До н", + "Д он", + "ро йте", + "рой те", + "эт и", + "э ти", + "▁Р ю", + "▁за пя", + "▁кам панию", + "же чь", + "▁кор зи", + "▁се сть", + "▁женщи нами", + "▁женщина ми", + "▁женщинам и", + "▁ладо ни", + "▁лицен зии", + "рус ски", + "тар кти", + "▁слу шал", + "▁слуша л", + "▁про свет", + "▁прос вет", + "▁просве т", + "▁знамени той", + "▁ка дро", + "▁кад ро", + "▁Con stitution", + "▁с конча", + "▁скон ча", + "ic ians", + "ician s", + "Ра с", + "Р ас", + "▁ос пари", + "ста би", + "ar en", + "are n", + "a ren", + "▁хозя ев", + "▁Рус ская", + "inc oln", + "▁предпочита ют", + "▁l ov", + "▁lo v", + "форма ции", + "форм ации", + "▁char ges", + "▁charg es", + "▁charge s", + "▁же мчу", + "▁нач нут", + "▁эк спор", + "▁экс пор", + "▁экспо р", + "▁с лю", + "▁сл ю", + "▁возбу ждения", + "▁сте нки", + "▁стен ки", + "▁опублико вана", + "▁опубликова на", + "▁опубликован а", + "▁вы но", + "▁жи тель", + "▁се лек", + "▁селе к", + "▁сел ек", + "▁жи вем", + "▁жив ем", + "▁Послед няя", + "▁гармо нии", + "▁гармони и", + "▁S av", + "▁Sa v", + "br a", + "b ra", + "ху ю", + "х ую", + "▁m el", + "▁me l", + "▁до ска", + "hip s", + "hi ps", + "h ips", + "▁Коми тет", + "▁при ключения", + "▁приклю чения", + "▁Те ло", + "▁юно ша", + "▁З ев", + "▁Зе в", + "▁иерархи и", + "▁гор ло", + "▁рее стра", + "▁Е два", + "ess ions", + "ession s", + "▁об особ", + "▁обо соб", + "▁ch ose", + "▁cho se", + "▁запа дном", + "▁запад ном", + "лена пра", + "Е ди", + "E P", + "▁Ка спи", + "че ско", + "▁да вала", + "▁дав ала", + "▁давал а", + "▁оста вля", + "▁нача льной", + "▁началь ной", + "▁нач альной", + "▁С кончался", + "▁thous ands", + "▁thousand s", + "▁национа льную", + "▁acc ur", + "▁мону мента", + "▁окраи не", + "▁expl ained", + "▁Fre der", + "▁Fred er", + "▁же нских", + "▁жен ских", + "ча ло", + "чал о", + "os l", + "o sl", + "▁пусты не", + "▁мудро сть", + "пла тель", + "▁w ounded", + "са ть", + "▁ми фа", + "▁миф а", + "▁стре лять", + "▁откры тии", + "▁ша га", + "▁шаг а", + "▁сло жность", + "▁сложно сть", + "▁recogn ition", + "▁м ни", + "▁мн и", + "▁ско пи", + "▁ скопи", + "че стер", + "▁молеку лы", + "▁молекул ы", + "эк с", + "э кс", + "F or", + "▁Ab b", + "▁молеку ляр", + "▁молекул яр", + "▁положи тельно", + "▁S on", + "▁So n", + "▁Васи лье", + "▁Василь е", + "строе ны", + "строен ы", + "▁т емой", + "▁те мой", + "▁тем ой", + "▁П ин", + "▁Пи н", + "ди г", + "▁в падает", + "▁впа дает", + "▁впада ет", + "ст аль", + "ста ль", + "стал ь", + "с таль", + "▁при ведены", + "▁приведен ы", + "▁вдох нов", + "до бие", + "доби е", + "▁Prof essor", + "▁establ ishment", + "▁establish ment", + "фа нта", + "фан та", + "ф анта", + "▁скло нны", + "▁поддерж ал", + "▁поддержа л", + "- \"", + "▁э кономии", + "▁экономи и", + "▁partn ership", + "▁partner ship", + "▁неу довлет", + "che stra", + "ches tra", + "▁В А", + "▁ ВА", + "▁stand ards", + "▁standard s", + "▁по льской", + "▁поль ской", + "▁упомина ние", + "▁немец ко", + "▁стро ится", + "▁строи тся", + "▁конфигура ции", + "Ч у", + "ly n", + "l yn", + "▁ро дном", + "▁род ном", + "pos es", + "pose s", + "po ses", + "▁ду мала", + "▁дума ла", + "▁думал а", + "эр а", + "э ра", + "▁парт нё", + "▁закон чить", + "▁закончи ть", + "не ниями", + "нения ми", + "▁симво лы", + "▁символ ы", + "emet ery", + "igh th", + "ight h", + "▁b udget", + "▁C as", + "▁Ca s", + "▁ка тор", + "▁като р", + "▁пе шком", + "▁проник нуть", + "▁прони кнуть", + "▁An th", + "▁Ant h", + "▁о ду", + "▁од у", + "▁сте пи", + "▁степ и", + "образ ных", + "▁охва тывает", + "▁охваты вает", + "▁под ключения", + "▁подклю чения", + "▁Алексе ев", + "▁королев ской", + "▁короле вской", + "че нно", + "чен но", + "ч енно", + "▁психи атри", + "] )", + "▁за писал", + "▁запи сал", + "▁записа л", + "▁взя в", + "▁соци ологи", + "▁императри цы", + "▁упра влен", + "▁се пара", + "▁ис кали", + "▁иска ли", + "▁иск али", + "▁искал и", + "▁металлу рги", + "вол нова", + "▁co oper", + "жа ния", + "▁тысяче летия", + "▁име лось", + "▁имело сь", + "грам ми", + "грамм и", + "▁Techn ology", + "▁бли зок", + "▁близ ок", + "га ны", + "ган ы", + "шед шего", + "▁bene f", + "▁вза мен", + "Во л", + "В ол", + "▁circ um", + "▁прокура туры", + "се ры", + "сер ы", + "с еры", + "▁ле вую", + "ri ne", + "r ine", + "конферен ции", + "во ци", + "▁пото ков", + "▁поток ов", + "га т", + "г ат", + "▁Ар мия", + "ма к", + "м ак", + "▁жела л", + "▁жел ал", + "▁пробле мати", + "▁проблема ти", + "▁Поро шенко", + "▁су ду", + "▁суд у", + "▁n ote", + "▁not e", + "▁no te", + "▁доку менте", + "▁документ е", + "ter m", + "te rm", + "t erm", + "▁столе тий", + "▁зи мы", + "▁зим ы", + "▁Са ша", + "en na", + "enn a", + "ва лы", + "вал ы", + "в алы", + "▁Ма лой", + "▁Мало й", + "▁психи ки", + "▁рас твор", + "▁раство р", + "▁раст вор", + "▁мор фо", + "▁на страи", + "▁у том", + "▁уто м", + "▁ут ом", + "▁Пред ставьте", + "▁Предста вьте", + "▁l es", + "▁le s", + "▁ les", + "▁балан с", + "на йтед", + "лю бо", + "люб о", + "▁винов ат", + "▁винова т", + "▁стра дает", + "▁страда ет", + "▁H arry", + "▁Har ry", + "ze r", + "z er", + "▁экра ни", + "▁экран и", + "y r", + "▁Ра фа", + "▁inter ests", + "▁interest s", + "Ми р", + "М ир", + "▁H oly", + "▁Hol y", + "▁Ho ly", + "▁пале о", + "▁при казом", + "▁прика зом", + "▁приказ ом", + "ну тых", + "нут ых", + "нуты х", + "▁би лет", + "▁желез ная", + "ac c", + "a cc", + "сен ко", + "с енко", + "▁кисло род", + "▁призна ли", + "▁приз нали", + "▁признал и", + "▁бере гах", + "▁берега х", + "▁Кана де", + "▁дополни тельный", + "▁Д зер", + "▁эта пов", + "▁этап ов", + "▁враже ских", + "▁про яс", + "▁проя с", + "▁follow s", + "▁напомина ют", + "▁У чился", + "▁Учи лся", + "▁Уч ился", + "зе ро", + "зер о", + "ъем ле", + "ъ емле", + "▁воз лага", + "▁prom ote", + "▁promot e", + "ло гию", + "логи ю", + "▁авиа ция", + "▁право вой", + "ян а", + "я на", + "лё нный", + "лён ный", + "л ённый", + "▁раз вра", + "▁Са мым", + "▁K im", + "▁физи ческое", + "▁Полу чив", + "▁млекопита ющих", + "▁ду бли", + "▁ob tain", + "▁vol ume", + "▁дер жаться", + "▁держа ться", + "▁держать ся", + "▁Dav is", + "▁неу дачи", + "▁неуда чи", + "анг лий", + "▁раз ду", + "▁о стано", + "▁ос тано", + "▁оста но", + "▁ост ано", + "кла сси", + "класс и", + "▁от мени", + "▁отме ни", + "gen cy", + "g ency", + "▁почув ствовать", + "▁от реза", + "▁отре за", + "▁отрез а", + "▁ищу т", + "град ской", + "▁ру га", + "ле ли", + "лел и", + "▁ва ре", + "▁вар е", + "▁разы гры", + "▁п ьян", + "▁пья н", + "▁пь ян", + "▁но гой", + "▁ног ой", + "▁ного й", + "▁соста влять", + "▁состав лять", + "▁составля ть", + "ia te", + "iat e", + "i ate", + "▁в ин", + "▁ви н", + "▁ вин", + "ле нном", + "лен ном", + "ленно м", + "▁опо зна", + "ме ном", + "мен ом", + "▁выпла ты", + "▁закры т", + "▁вы страи", + "▁сле по", + "▁трам вай", + "▁владе ет", + "oc ker", + "ock er", + "▁из вра", + "▁пе сок", + "▁пес ок", + "▁Ar gent", + "▁д жу", + "▁ джу", + "An d", + "A nd", + "▁космо са", + "▁космос а", + "ко ен", + "кое н", + "D C", + "ке нт", + "кен т", + "к ент", + "▁сло жная", + "▁B ru", + "▁Br u", + "▁о гур", + "▁ог ур", + "▁ди сло", + "▁дис ло", + "▁ну жные", + "▁нуж ные", + "▁нужны е", + "U M", + "▁инду стрии", + "▁индустри и", + "ли нской", + "лин ской", + "it zer", + "itz er", + "▁недоста тков", + "▁a st", + "▁as t", + "▁ ast", + "сист емы", + "систе мы", + "▁с оз", + "▁со з", + "▁согласи лись", + "▁ш ну", + "▁Сов сем", + "▁ли шен", + "▁лиш ен", + "▁социаль ный", + "▁соци альный", + "li fe", + "l ife", + "ка зывает", + "казыва ет", + "▁еже меся", + "▁не лов", + "▁француз ским", + "▁ощу ти", + "▁re ign", + "▁делега ции", + "б би", + "▁Ви теб", + "▁L ind", + "▁Li nd", + "▁перио де", + "▁период е", + "▁R en", + "▁Re n", + "▁англий ские", + "шо у", + "ка ло", + "кал о", + "▁G il", + "▁Gi l", + "▁Со циаль", + "▁продолжа лась", + "▁продолжала сь", + "▁про ведены", + "▁проведе ны", + "▁проведен ы", + "▁степень ю", + "▁степ енью", + "▁ю мо", + "▁вы клю", + "▁бы тие", + "▁Сол женицы", + "▁Т ен", + "▁Те н", + "▁сме нил", + "▁смени л", + "▁фестива ль", + "▁холо д", + "▁хол од", + "то вую", + "тов ую", + "▁экономи ку", + "мно го", + "м ного", + "▁И склю", + "▁Ис клю", + "▁P ope", + "▁Po pe", + "▁Pop e", + "▁H o", + "чи вым", + "▁was n", + "▁рыбо лов", + "▁выда ющиеся", + "▁И горя", + "▁интере сный", + "▁интерес ный", + "olog ist", + "▁молеку л", + "▁d ry", + "▁dr y", + "ке ров", + "кер ов", + "▁re ady", + "▁read y", + "▁ ready", + "▁располага лись", + "▁бы стры", + "▁быст ры", + "▁на зываться", + "▁называ ться", + "▁называть ся", + "▁B ir", + "▁Bi r", + "ла сти", + "лас ти", + "▁просмо тра", + "▁кур сов", + "▁курс ов", + "am in", + "ami n", + "a min", + "▁ра сы", + "▁рас ы", + "ши ну", + "шин у", + "▁и знача", + "▁из нача", + "▁изна ча", + "▁даль нейших", + "▁дальней ших", + "юр ы", + "ю ры", + "▁По хоже", + "▁разговари вать", + "E n", + "▁оста вляя", + "▁оставля я", + "▁B alt", + "▁Bal t", + "▁Слу ж", + "▁против нику", + "▁противник у", + "▁глу пы", + "▁подрост ков", + "лет ним", + "▁N ether", + "▁Ne ther", + "▁Net her", + "▁бесе ду", + "Пе т", + "П ет", + "▁lo an", + "▁фи льтра", + "▁филь тра", + "▁сту дент", + "▁студен т", + "▁влия ют", + "▁\" \"", + "гну в", + "г нув", + "▁пар тией", + "▁парти ей", + "▁Попро бу", + "▁бро дя", + "шни к", + "ш ник", + "▁ры цар", + "▁рыца р", + "▁на пр", + "n ight", + "▁популяр ности", + "▁за грани", + "▁загра ни", + "▁неко его", + "▁некое го", + "▁сред нюю", + "wh ere", + "w here", + "ши тся", + "шит ся", + "ш ится", + "▁spec ifically", + "▁specific ally", + "го вого", + "гово го", + "▁Вален тина", + "▁Валентин а", + "▁литера туро", + "▁литератур о", + "▁Ар кти", + "▁изме рений", + "▁тер петь", + "▁терпе ть", + "▁преобла да", + "▁раз гля", + "хла д", + "х лад", + "▁уди вление", + "▁in stitution", + "▁instit ution", + "▁обсу ждать", + "▁обсужда ть", + "▁опас ных", + "▁опа сных", + "▁консерва тории", + "▁ред ких", + "▁employ ees", + "▁бо яр", + "▁боя р", + "pa t", + "p at", + "Жи з", + "Ж из", + "▁ви дение", + "▁виде ние", + "▁ видение", + "ect or", + "e ctor", + "ivers ary", + "▁поли тикой", + "▁полити кой", + "▁политик ой", + "́ в", + "мо гу", + "▁ва кан", + "▁вак ан", + "щи кам", + "щик ам", + "щика м", + "▁G reg", + "▁Gre g", + "▁r uled", + "▁rul ed", + "▁ru led", + "▁rule d", + "▁ги бри", + "▁гиб ри", + "▁пере дали", + "▁перед али", + "▁переда ли", + "▁передал и", + "▁п еть", + "▁пе ть", + "▁пет ь", + "▁ петь", + "▁розы гры", + "Го р", + "Г ор", + "▁По ве", + "▁ба шня", + "▁баш ня", + "▁социаль ная", + "▁соци альная", + "▁четвер тый", + "▁не сло", + "▁нес ло", + "▁ несло", + "▁Ф ро", + "▁начина ли", + "▁начинал и", + "▁начи нали", + "ma d", + "m ad", + "▁le gend", + "▁leg end", + "or ney", + "orn ey", + "ссам бле", + "▁эта ж", + "▁паро ход", + "▁призна ется", + "▁признает ся", + "▁сро ком", + "▁срок ом", + "▁О ренбург", + "▁S om", + "▁So m", + "▁яй цо", + "▁пода льше", + "▁о ф", + "▁клу бы", + "▁клуб ы", + "▁W W", + "▁глубо кого", + "▁глубоко го", + "▁прис ваи", + "▁с тена", + "▁ст ена", + "▁сте на", + "▁стен а", + "▁в клады", + "▁вклад ы", + "▁вкла ды", + "▁по лете", + "▁пол ете", + "▁поле те", + "▁полет е", + "▁наслед ство", + "▁С эм", + "▁Сэ м", + "!) ,", + "! ),", + "▁P ass", + "▁комму ны", + "▁общепри ня", + "▁Г О", + "▁ ГО", + "▁writ ers", + "▁writer s", + "▁d ipl", + "▁di pl", + "▁устанавли вать", + "▁европей ского", + "ле тие", + "▁за жига", + "▁зажи га", + "▁ле тать", + "▁лета ть", + "▁Кра сная", + "▁A h", + "▁да нную", + "▁дан ную", + "▁П ас", + "▁Па с", + "▁способ ных", + "▁способны х", + "▁выступа я", + "▁выступ ая", + "▁буржуа зии", + "val ue", + "▁Не кра", + "▁Нек ра", + "ъю нк", + "оло ка", + "о лока", + "▁вы слу", + "▁выс лу", + "▁E very", + "▁Ev ery", + "▁кол хоза", + "▁колхо за", + "▁колхоз а", + "▁фак том", + "▁факт ом", + "▁ма ну", + "▁ ману", + "▁Не а", + "▁написа н", + "▁напи сан", + "фо нов", + "фон ов", + "ф онов", + "жник а", + "ж ника", + "▁вла стям", + "▁п рит", + "▁при т", + "▁пр ит", + "пла не", + "план е", + "▁про жил", + "▁прожи л", + "▁оста льным", + "▁ост альным", + "▁фу тов", + "▁фут ов", + "▁аэрод рома", + "▁аэродром а", + "▁аэродро ма", + "ни а", + "ow nt", + "own t", + "▁при ступил", + "▁стади оне", + "▁стадион е", + "ча к", + "ч ак", + "ря ми", + "р ями", + "▁ле сной", + "▁лес ной", + "▁подроб нее", + "▁коро лева", + "▁королев а", + "▁короле ва", + "цки м", + "ц ким", + "▁аре ст", + "▁ро лях", + "▁инте нси", + "▁интен си", + "ды й", + "▁Ман дель", + "▁s afe", + "▁saf e", + "▁выделя ют", + "▁выде ляют", + "io t", + "i ot", + "go ing", + "▁ра ка", + "▁р ака", + "▁рак а", + "▁ рака", + "▁хра нятся", + "▁дож дя", + "зе ме", + "зем е", + "▁poss ibly", + "до вое", + "дов ое", + "дово е", + "▁та бу", + "▁француз ском", + "ure au", + "▁се мена", + "▁сем ена", + "▁семе на", + "▁цивили зация", + "▁a x", + "▁ ax", + "▁П руссии", + "▁Пру ссии", + "▁та ков", + "▁так ов", + "▁пого ду", + "▁кли мат", + "▁клима т", + "▁E arl", + "▁Ear l", + "▁exp ression", + "▁express ion", + "▁за груз", + "▁загру з", + "▁under standing", + "▁understand ing", + "▁У эль", + "▁Уэ ль", + "▁подписа н", + "▁подпи сан", + "▁ин тернациона", + "▁интер национа", + ", [", + "▁N ick", + "▁Nic k", + "▁re ality", + "▁real ity", + "▁комплек сов", + "▁комплекс ов", + "м ли", + "▁cast le", + "▁cas tle", + "▁де ление", + "▁деле ние", + "▁ деление", + "▁ed ge", + "▁г ры", + "▁гр ы", + "▁ гры", + "▁маль чиков", + "▁мальчик ов", + "▁мальчи ков", + "▁А ба", + "▁Аб а", + "▁ва жная", + "▁важ ная", + "▁важна я", + "▁temper ature", + "▁бе седа", + "▁бесе да", + "пе ред", + "пер ед", + "пере д", + "▁фраг менты", + "▁фрагмент ы", + "ep er", + "e per", + "ic ide", + "▁M ic", + "▁пору чил", + "▁под ходят", + "▁подход ят", + "▁подходя т", + "▁max imum", + "▁удовлет ворение", + "▁удовлетво рение", + "▁д лине", + "▁дли не", + "▁длин е", + "ul ty", + "ult y", + "iv ered", + "ive red", + "iver ed", + "▁пар ня", + "▁неме цком", + "▁немец ком", + "▁немецко м", + "▁Кор ни", + "▁r ich", + "▁ri ch", + "▁ rich", + "▁S et", + "▁Se t", + "▁ини ции", + "▁за бот", + "▁забо т", + "▁заб от", + "▁па виль", + "▁Mean while", + "▁ситуа цией", + "▁у ют", + "при меча", + "▁Та бли", + "▁на шёл", + "▁наш ёл", + "▁Ле чение", + "▁необходи мого", + "▁необходимо го", + "У Н", + "▁у ходя", + "▁ухо дя", + "▁уход я", + "iv a", + "i va", + "▁тай ной", + "▁тайно й", + "▁сай тов", + "▁сайт ов", + "ot ten", + "ott en", + "▁религиоз ного", + "▁neighbor hood", + "▁дол гих", + "▁долг их", + "ве на", + "вен а", + "в ена", + "▁христи а", + "▁н ью", + "▁ нью", + "▁Все х", + "an na", + "ann a", + "то кси", + "ток си", + "▁Р ек", + "▁Ре к", + "▁Ки евской", + "▁Киев ской", + "▁F ront", + "▁счита лись", + "▁считали сь", + "об ъек", + "́ ние", + "▁per fect", + "но вна", + "нов на", + "▁исчер пы", + "▁нару шением", + "▁нарушение м", + "▁вы ступила", + "▁выступил а", + "▁выступ ила", + "дор ф", + "▁e g", + "at ures", + "ature s", + "atur es", + "гу а", + "г уа", + "▁при нялся", + "▁приня лся", + "▁принял ся", + "▁промышлен ного", + "▁Му зе", + "▁А О", + "▁ АО", + "O L", + "▁я вилось", + "вле нными", + "влен ными", + "вленным и", + "в ленными", + "▁R oll", + "▁Ro ll", + "▁по вели", + "▁пове ли", + "▁И З", + "▁ ИЗ", + "ст ке", + "с тке", + "▁холо дно", + "▁хол одно", + "▁холод но", + "le ts", + "let s", + "l ets", + "▁О бя", + "▁Об я", + "▁тран сли", + "▁транс ли", + "▁Рабо ты", + "▁L incoln", + "▁отра жения", + "▁c lin", + "▁cl in", + "▁доб рые", + "▁oppos ite", + "▁кана лы", + "▁кан алы", + "▁канал ы", + "▁полу чении", + "во ем", + "вое м", + "▁Д я", + "▁еги п", + "▁в рожден", + "▁получи вший", + "▁получив ший", + "ну той", + "нут ой", + "▁пострада вших", + "▁Ал тай", + "▁Be ach", + "▁Viet nam", + "▁хра мов", + "▁храм ов", + "▁спо ров", + "▁спор ов", + "▁Пер вого", + "▁Перво го", + "▁осве щения", + "▁про ше", + "▁прош е", + "▁рас ще", + "Al l", + "A ll", + "▁З дание", + "▁на стро", + "▁нас тро", + "▁fl u", + "▁держа вы", + "▁держав ы", + "▁х ар", + "▁ха р", + "▁ хар", + "▁пото ки", + "▁поток и", + "▁ш ёл", + "▁ шёл", + "▁S em", + "▁Se m", + "▁в ступили", + "▁вступил и", + "▁вступи ли", + "▁вступ или", + "▁слабо сти", + "▁рассказыва ли", + "▁рассказывал и", + "▁рассказы вали", + "▁ro oms", + "▁room s", + "▁Brig ade", + "▁purch ase", + "об у", + "о бу", + "▁B all", + "▁Bal l", + "▁Ba ll", + "▁о том", + "▁от ом", + "▁ото м", + "▁Э лиза", + "▁Эли за", + "▁проце дура", + "▁процеду ра", + "тка м", + "тк ам", + "т кам", + "▁бога тый", + "▁богаты й", + "▁не способ", + "▁Х ро", + "▁дви жению", + "он о", + "о но", + "▁це нные", + "▁цен ные", + "▁пригла шение", + "▁т ун", + "▁ту н", + "▁о ро", + "▁ор о", + "▁улуч шение", + "▁Уче ные", + "▁c atch", + "▁cat ch", + "пла н", + "п лан", + "▁веду щие", + "жда ются", + "ждают ся", + "▁моду ля", + "▁вклю чён", + "▁красо ту", + "▁experience d", + "▁experien ced", + "▁вы дать", + "▁выда ть", + "▁does n", + "М П", + "▁ва жна", + "▁важ на", + "▁бе лыми", + "▁белым и", + "▁необходи мую", + "▁необходим ую", + "ком па", + "▁com mitted", + "▁commit ted", + "▁выну ждена", + "▁вынужден а", + "▁cerem ony", + "▁С цена", + "al ty", + "alt y", + "чи ва", + "чив а", + "▁го во", + "▁ гово", + "▁до ставки", + "▁доста вки", + "▁тан ковых", + "▁танков ых", + "▁митрополи т", + "▁митропо лит", + "▁бо ятся", + "▁боя тся", + "ни ческим", + "ль ностью", + "льно стью", + "льность ю", + "▁Г А", + "▁ ГА", + "en nes", + "enn es", + "▁fl at", + "▁япо нского", + "▁япон ского", + "▁Север ный", + "▁зе лень", + "▁зеле нь", + "▁овла деть", + "▁f ired", + "▁fire d", + "▁рабо тами", + "▁работа ми", + "?\" ,", + "? \",", + "▁пре дки", + "▁пред ки", + "▁во дки", + "▁вод ки", + "▁Че хии", + "▁techn iques", + "▁technique s", + "▁приня ло", + "▁принял о", + "sc h", + "s ch", + "▁exhib ition", + "▁жи ра", + "сло й", + "сл ой", + "с лой", + "▁proper ties", + "▁выпол нял", + "▁выполня л", + "▁выше у", + "лад ший", + "▁h ope", + "▁hop e", + "▁ме стными", + "▁мест ными", + "▁местным и", + "▁за пуск", + "▁запу ск", + "де лия", + "дели я", + "жа м", + "ж ам", + "▁за полне", + "▁запо лне", + "▁запол не", + "▁встре чает", + "▁встреча ет", + "▁Ал жи", + "▁красо та", + ": #", + "▁опублико ваны", + "▁опубликова ны", + "▁опубликован ы", + "p a", + "ков ская", + "▁при еха", + "▁прие ха", + "ear s", + "e ars", + "▁гра бе", + "▁психо логической", + "▁психологи ческой", + "л та", + "▁s ession", + "Л Е", + "▁показа н", + "▁пока зан", + "ти ровки", + "▁лауре ат", + "▁лауреа т", + "▁продви жения", + "r c", + "▁т рей", + "▁тре й", + "▁тр ей", + "▁опыт ы", + "▁опы ты", + "ли вым", + "▁Ч или", + "▁Чи ли", + "▁ле жала", + "▁лежа ла", + "▁лежал а", + "Мо р", + "М ор", + "▁с эр", + "дви г", + "▁раз бе", + "▁При шлось", + "▁Ал лах", + "▁Алла х", + "▁ска лы", + "▁ск алы", + "▁взаимоот ношений", + "▁arr ival", + "▁out put", + "▁пря мом", + "▁прямо м", + "▁прокуро ра", + "▁прокурор а", + "при им", + "▁те рять", + "▁тер ять", + "▁теря ть", + "▁стати стики", + "▁отмет ила", + "▁отме тила", + "▁отметил а", + "▁попыта лись", + "▁компенса ции", + "▁Во лы", + "▁Вол ы", + "▁пле чами", + "▁у ехать", + "▁во стре", + "▁вос тре", + "То р", + "Т ор", + "▁Прак тически", + "▁Ф И", + "ва йтесь", + "вай тесь", + "вайте сь", + "▁dif ference", + "▁differ ence", + "с ви", + "▁обрабо тке", + "сс кий", + "с ский", + "▁Совет ском", + "in ois", + "ino is", + "▁литератур ный", + "▁нем ногие", + "▁немно гие", + "▁выс шие", + "▁искус ственного", + "▁искусстве нного", + "▁искусственно го", + "лл у", + "л лу", + "▁постоя нные", + "▁содержа тся", + "▁содержат ся", + "▁придума ть", + "▁свя щенно", + "▁священ но", + "г л", + "лы к", + "▁ре че", + "du cing", + "duc ing", + "s ize", + "▁А рно", + "▁Ар но", + "... \",", + "...\" ,", + "▁револю ционного", + "▁а пте", + "▁ап те", + "▁г ерба", + "▁ге рба", + "▁гер ба", + "▁Нере дко", + "▁надея лся", + "▁че шу", + "▁чеш у", + "но стях", + "нос тях", + "▁ф из", + "▁фи з", + "▁подразуме вает", + "▁D or", + "▁Do r", + "▁уров нях", + "▁уровня х", + "▁под лежа", + "▁подле жа", + "▁наз ваний", + "▁назва ний", + "▁ве дение", + "▁ ведение", + "▁утвер жден", + "▁катастро фи", + "ca r", + "c ar", + "▁невы носи", + "▁под ста", + "▁подс та", + "▁соответ ствующее", + "▁соответству ющее", + "▁dec or", + "▁Х ам", + "▁Ха м", + "▁h ors", + "▁hor s", + "▁на ходить", + "▁находи ть", + "▁находит ь", + "▁наход ить", + "▁b ond", + "▁bo nd", + "▁вы сла", + "▁выс ла", + "▁си льная", + "▁силь ная", + "чи кам", + "чик ам", + "чика м", + "▁кван товой", + "▁заслу живает", + "▁заслужи вает", + "ду ши", + "душ и", + "▁Gold en", + "▁commission ed", + "▁Ab out", + "▁запла тить", + "▁сул тана", + "с мысле", + "▁sur vey", + "▁surv ey", + "ra cy", + "rac y", + "r acy", + "▁изме нилась", + "▁измени лась", + "▁изме няется", + "▁изменя ется", + "pect ive", + "▁Ф рун", + "фе н", + "ф ен", + "▁цвет ом", + "▁цве том", + "▁широ ким", + "▁сен тябрь", + "пе нди", + "пен ди", + "▁про сыпа", + "ч жу", + "▁комисса р", + "▁пре ссы", + "▁пресс ы", + "▁Сред ний", + "▁ни сколько", + "▁Тро цкий", + "an te", + "ant e", + "▁chem ical", + "▁организа торов", + "▁организатор ов", + "▁удосто ве", + "мс кий", + "м ский", + "▁бы вал", + "▁противоре чие", + "▁противоречи е", + "us er", + "use r", + "u ser", + "▁ну жный", + "▁нуж ный", + "▁нужны й", + "▁д лится", + "▁дли тся", + "образ ные", + "▁анг л", + "▁ан гл", + "▁прозви ще", + "▁ре альный", + "▁реаль ный", + "▁реа льный", + "▁old est", + "▁раз броса", + "▁предо стере", + "▁Результа т", + "го ворить", + "гово рить", + "говор ить", + "говори ть", + "▁вели чину", + "▁величи ну", + "я дер", + "▁По пов", + "ё к", + "де и", + "▁па рус", + "▁пар ус", + "▁пару с", + "▁fact ory", + "▁factor y", + "▁подраз деление", + "▁подразделе ние", + "▁б рали", + "▁бра ли", + "▁брал и", + "▁Dan iel", + "▁Dani el", + "▁возвра щает", + "▁возвраща ет", + "ья ми", + "ь ями", + "▁P ython", + "▁герман ского", + "▁Ear ly", + "▁Earl y", + "▁дли нной", + "▁длин ной", + "▁связа нный", + "▁связан ный", + "▁Куй бы", + "▁s olid", + "▁sol id", + "▁от деле", + "▁отде ле", + "▁отдел е", + "▁бе лка", + "B e", + "по сти", + "▁уво лен", + "▁прави теля", + "ва рить", + "вар ить", + "вари ть", + "▁поряд ку", + "▁fun ctions", + "▁function s", + "▁с енса", + "▁се нса", + "▁сен са", + "▁W ind", + "▁Win d", + "▁Wi nd", + "▁сере бро", + "▁al leg", + "▁alle g", + "▁К рю", + "шня я", + "ш няя", + "▁engine ering", + "▁т ворения", + "▁тво рения", + "▁пере ходить", + "▁переход ить", + "▁переходит ь", + "▁тво их", + "▁твои х", + "▁большо му", + "▁большом у", + "▁g ender", + "▁gen der", + "▁ge nder", + "▁sup posed", + "▁удоб ства", + "er ts", + "ert s", + "▁диапазо не", + "▁ка зар", + "▁каза р", + "▁каз ар", + "то вский", + "тов ский", + "▁трево ги", + "▁Израи ле", + "▁генера лов", + "▁генерал ов", + "▁об мени", + "▁обмен и", + "зя н", + "з ян", + "▁За кона", + "▁Зак она", + "▁Закон а", + "▁возник новение", + "▁возникнове ние", + "▁В одо", + "▁Во до", + "▁твор ческого", + "▁с лез", + "▁сле з", + "▁сл ез", + "▁good s", + "▁есте ство", + "▁вос ходя", + "ха ли", + "хал и", + "х али", + "▁р ва", + "▁ рва", + "▁техни кой", + "▁призна лся", + "▁признал ся", + "▁из редка", + "▁изре дка", + "▁Ра дио", + "▁Ради о", + "ри цы", + "▁партий ной", + "▁многочисле нными", + "▁на нима", + "▁за числе", + "▁carry ing", + "▁v oted", + "▁vot ed", + "▁vote d", + "▁vo ted", + "▁Хо чу", + "▁бе лая", + "▁Is lands", + "▁Island s", + "▁ис торий", + "▁исто рий", + "▁истори й", + "тре т", + "тр ет", + "т рет", + "▁недвижи мости", + "z z", + "▁право су", + "▁[... ]", + "▁кол ба", + "▁пар ни", + "КО В", + "К ОВ", + "▁Г ёте", + "▁снаб жения", + "▁ снабжения", + "▁Ве ду", + "▁Досто евский", + "▁счита ем", + "▁при страсти", + "тт и", + "т ти", + "ля лся", + "лял ся", + "▁und ert", + "▁under t", + "ва нным", + "ван ным", + "▁liter ary", + "▁по лы", + "▁пол ы", + "▁appro pri", + "▁опера циях", + "▁операция х", + "▁мы шь", + "▁мыш ь", + "▁мо ментов", + "▁момент ов", + "▁за кри", + "▁зак ри", + "▁h a", + "▁ ha", + "▁насе лён", + "▁населё н", + "▁prep ared", + "▁prepar ed", + "▁конструк цию", + "▁министер ство", + "▁К ю", + "on ym", + "ony m", + "▁Ф ей", + "▁Фе й", + "▁тек стом", + "▁текст ом", + "▁тексто м", + "ri x", + "r ix", + "▁Д ТП", + "▁привиле ги", + "▁опера тивной", + "▁оперативно й", + "не я", + "▁смы слу", + "▁смысл у", + "de v", + "d ev", + "ши р", + "ш ир", + "▁юриди ческого", + "P D", + "▁де тек", + "▁дет ек", + "▁дете к", + "▁Го лова", + "▁Голо ва", + "▁Да ма", + "▁ти шина", + "ше вского", + "шев ского", + "ш евского", + "ча тых", + "чат ых", + "▁жиз ненных", + "▁жизне нных", + "▁доро гие", + "▁дороги е", + "▁start s", + "▁star ts", + "▁f il", + "▁библиоте ку", + "▁библиотек у", + "▁пенси он", + "▁пен сион", + "▁Де ни", + "▁Ден и", + "▁c ro", + "▁cr o", + "▁Пе рио", + "▁Ad minist", + "f oot", + "хо ло", + "хол о", + "х оло", + "▁скло нность", + "хе р", + "х ер", + "▁закон чился", + "▁закончи лся", + "▁закончил ся", + "k m", + "ети и", + "е тии", + "ли тет", + "лит ет", + "лите т", + "ти лле", + "тил ле", + "▁федера льных", + "ро ву", + "ров у", + "▁М сти", + "▁th ick", + "▁пре терпе", + "▁bott om", + "▁symb ol", + "эл и", + "э ли", + "ИТ АР", + "И ТАР", + "▁красно ре", + "ap es", + "ape s", + "a pes", + "▁return s", + "▁дела ла", + "▁дел ала", + "▁делал а", + "▁detail s", + "▁устанавли вает", + "▁во дах", + "▁вода х", + "▁авто бус", + "▁автобу с", + "▁cor por", + "▁W i", + "▁че ки", + "pos s", + "po ss", + "p oss", + "▁им пор", + "▁ге нов", + "▁ген ов", + "▁гено в", + "▁ генов", + "▁П ана", + "▁Па на", + "▁Пан а", + "▁вы жить", + "▁выжи ть", + "▁расска зывают", + "▁рассказыва ют", + "▁рассказы вают", + "с бор", + "▁про сту", + "▁прос ту", + "▁прост у", + "ag a", + "a ga", + "▁фено мен", + "па ти", + "▁earl iest", + "▁I ns", + "▁In s", + "З ве", + "пи в", + "п ив", + "▁у чить", + "▁учи ть", + "▁уч ить", + "▁специали ста", + "▁специалист а", + "wh o", + "w ho", + "▁коэффици ент", + "▁привле чения", + "▁передви жения", + "ни чной", + "▁не ду", + "во де", + "вод е", + "▁ра змы", + "▁раз мы", + "▁тради ционные", + "▁гри бы", + "▁гриб ы", + "▁систе мами", + "▁система ми", + "▁демонстри рует", + "▁Про шу", + "▁настоя щем", + "▁sugg ests", + "▁suggest s", + "▁при думы", + "и гры", + "▁по дор", + "▁под ор", + "▁подо р", + "зо вые", + "зовы е", + "те мати", + "тема ти", + "▁под суди", + "▁при ступить", + "ко рей", + "кор ей", + "▁наси лие", + "▁насили е", + "▁second s", + "аль ным", + "а льным", + "▁полага ть", + "▁пола гать", + "achus etts", + "несе но", + "несен о", + "angu age", + "▁замеча ния", + "ло вка", + "лов ка", + "со вым", + "Ко ро", + "Кор о", + "▁освобо ждении", + "▁го нке", + "▁гон ке", + "▁гарни зо", + "ти шь", + "▁посту пок", + "▁поступ ок", + "▁укреп ление", + "▁укре пление", + "▁укрепле ние", + "▁музы кой", + "am i", + "▁конкурен тов", + "щи ца", + "ше вский", + "шев ский", + "ш евский", + "▁заба стов", + "▁сказа в", + "▁ска зав", + "▁сказ ав", + "▁regard ed", + "▁к исти", + "▁ки сти", + "▁воск лица", + "▁нео фициаль", + "▁Mos cow", + "ри йский", + "рий ский", + "▁Пале сти", + "▁прось бу", + "▁объек тами", + "▁объекта ми", + "пре м", + "пр ем", + "п рем", + "▁O S", + "▁ OS", + "▁иде ями", + "▁идея ми", + "ле ба", + "леб а", + "▁про сили", + "▁прос или", + "▁просил и", + "▁проси ли", + "▁уби вать", + "мо нта", + "мон та", + "монт а", + "▁выс шим", + "▁ана логии", + "▁аналоги и", + "пере да", + "перед а", + "▁фло ти", + "▁флот и", + "▁an aly", + "▁anal y", + "▁Во скре", + "▁Вос кре", + "▁loc ations", + "▁location s", + "ф ло", + "▁Ста ти", + "▁Mil itary", + "▁сложи лась", + "is ta", + "ist a", + "▁о зер", + "▁озе р", + "▁оз ер", + "ди лось", + "дило сь", + "▁з вании", + "▁шпи она", + "▁intro duction", + "▁использова лась", + "I F", + "▁люби ла", + "▁любил а", + "▁из ле", + "▁ко декса", + "▁коде кса", + "▁Squad ron", + "Ф о", + "▁террито риях", + "▁территория х", + "▁из би", + "▁воору жений", + "▁бит ва", + "га ра", + "гар а", + "г ара", + "▁сати ри", + "▁dis appe", + "▁ста вил", + "▁став ил", + "▁здоров о", + "▁здоро во", + "▁Wh it", + "кур с", + "пля р", + "п ляр", + "ч жоу", + "▁е ле", + "▁за пада", + "▁запа да", + "▁запад а", + "▁поэ зия", + "▁ин квизи", + "▁э р", + "▁ эр", + "▁D own", + "▁Do wn", + "▁Ду б", + "▁от дели", + "▁отде ли", + "▁отдел и", + "▁пло тности", + "▁плотно сти", + "▁плот ности", + "▁вели чине", + "▁величи не", + "▁О й", + "Йор ка", + "Йорк а", + "▁f lying", + "▁fl ying", + "▁fly ing", + "▁петру шки", + "▁Р ам", + "▁Ра м", + "▁плани ровалось", + "▁h uge", + "▁озе ре", + "▁оз ере", + "▁озер е", + "▁У каза", + "▁вре менной", + "▁времен ной", + "▁време нной", + "▁временно й", + "▁Des ign", + "▁рит ми", + "▁ритм и", + "▁Ш вар", + "▁За бо", + "▁ли чном", + "▁лично м", + "▁отве чают", + "▁отвеча ют", + "▁пусты ни", + "▁пода рки", + "▁подар ки", + "▁S n", + "▁несо стоя", + "▁це ленапра", + "▁профсо ю", + "▁ро дных", + "▁род ных", + "▁ родных", + "▁вече ру", + "▁вечер у", + "▁плодо твор", + "сто ра", + "стор а", + "с тора", + "▁mot ion", + "▁Н ина", + "▁Ни на", + "▁п ь", + "▁ пь", + "▁describ es", + "▁H ou", + "▁Ho u", + "▁рим лян", + "▁римля н", + "▁цвета ми", + "▁цве тами", + "▁тро ллей", + "НИ Е", + "Н ИЕ", + "re ll", + "rel l", + "r ell", + "ри йского", + "рий ского", + "us al", + "en ses", + "ens es", + "ense s", + "▁cont aining", + "▁contain ing", + "▁se ats", + "▁sea ts", + "▁seat s", + "▁дополни тельного", + "▁дополнительно го", + "▁ля гу", + "▁развед ку", + "▁разве дку", + "▁по ступила", + "▁посту пила", + "▁поступ ила", + "▁поступил а", + "▁поступи ла", + "▁о характери", + "▁миро вом", + "▁миров ом", + "▁равновеси е", + "▁off ices", + "▁offic es", + "▁office s", + "▁та ковой", + "▁таков ой", + "▁продви жение", + "▁Stud ies", + "▁opin ion", + "▁п рив", + "▁при в", + "▁пр ив", + "ht ml", + "▁колле гами", + "▁я вились", + "▁за нялся", + "▁заня лся", + "▁занял ся", + "▁ак тивов", + "▁актив ов", + "▁изме нил", + "▁измени л", + "▁измен ил", + "▁поста влена", + "▁постав лена", + "▁поставлен а", + "re es", + "ree s", + "r ees", + "▁occ as", + "▁Squ are", + "▁тон кие", + "ор и", + "о ри", + "▁о бры", + "▁об ры", + "▁show ing", + "ско ро", + "скор о", + "с коро", + "▁Ге рои", + "▁Геро и", + "▁на логи", + "▁налог и", + "бле нием", + "бление м", + "б лением", + "▁архи пе", + "ik a", + "i ka", + "▁Оде ссе", + "▁безу пре", + "▁сугу бо", + "ва лов", + "вал ов", + "вало в", + "в алов", + "▁по рядо", + "▁поряд о", + "▁архиеписко п", + "▁повто рять", + "▁повторя ть", + "▁коль це", + "▁при дать", + "▁прида ть", + "▁inter ested", + "▁interest ed", + "▁Р У", + "▁ РУ", + "▁бога тые", + "▁богаты е", + "▁К Б", + "▁Кузне цов", + "▁гвардей ского", + "же ло", + "жел о", + "фо с", + "ф ос", + "▁При ня", + "▁Прин я", + "▁докла да", + "▁доклад а", + "▁претен зии", + "▁до шло", + "▁Ильи ч", + "▁те стов", + "▁тесто в", + "▁тест ов", + "▁ж юри", + "▁Зака вказ", + "▁Чу ть", + "га да", + "г ада", + "▁med al", + "▁тру дового", + "▁трудо вого", + "▁Б рэ", + "те ста", + "тес та", + "▁pro ducing", + "▁produ cing", + "▁produc ing", + "aval ry", + "▁государ ственная", + "▁государстве нная", + "▁hold s", + "▁пере ез", + "▁принадле жала", + "▁принадлежа ла", + "▁принадлежал а", + "▁успе шного", + "▁успеш ного", + "▁успешно го", + "▁хо р", + "▁х ор", + "▁ хор", + "▁стра хом", + "▁страхо м", + "▁страх ом", + "▁person nel", + "▁иностран ные", + "▁Е ле", + "▁библи о", + "▁опреде ленном", + "▁определен ном", + "▁определенно м", + "▁S at", + "▁Sa t", + "▁исклю чить", + "▁исключи ть", + "▁защи ща", + "▁Воло год", + "ци ско", + "▁пере ведён", + "▁Sim on", + "▁Si mon", + "▁hum ans", + "▁human s", + "▁С ера", + "▁Се ра", + "▁Сер а", + "▁догово рились", + "▁договори лись", + "▁art icles", + "▁article s", + "▁де лятся", + "▁дел ятся", + "▁H ere", + "▁He re", + "▁Her e", + "▁догово ров", + "▁договор ов", + "Фон тан", + "▁алкого ля", + "си сте", + "сист е", + "сис те", + "▁поло су", + "▁P ict", + "▁Стар ший", + "▁по лов", + "▁пол ов", + "▁поло в", + "▁подле жит", + "▁char ged", + "▁charg ed", + "▁charge d", + "▁дека брь", + "▁M arc", + "▁Mar c", + "▁Ma rc", + "ри ди", + "▁у казом", + "▁ука зом", + "▁указ ом", + "лё нные", + "лён ные", + "л ённые", + "▁ви дах", + "▁вида х", + "▁histor ic", + "▁бро ш", + "▁высоко поста", + "на з", + "н аз", + "▁сфе рах", + "▁сфера х", + "▁t ail", + "▁охла ждения", + "▁предусмотре но", + "▁предусмотрен о", + "▁В ере", + "▁Ве ре", + "▁Вер е", + "▁Ко реи", + "за й", + "з ай", + "▁устрой стве", + "▁устройств е", + "▁dam aged", + "▁damage d", + "▁дога ды", + "▁R un", + "▁Ru n", + "▁Т еха", + "▁Те ха", + "▁Тех а", + "▁b ass", + "▁bas s", + "▁N Y", + "х нуть", + "▁мра мор", + "▁Об ъяс", + "▁Объ яс", + "▁г нева", + "▁гне ва", + "▁гнев а", + "▁ве рующих", + "▁веру ющих", + "▁пирами ды", + "▁опреде лил", + "д э", + "ма ла", + "мал а", + "м ала", + "по каза", + "▁современ ная", + "▁Holly wood", + "▁Гон ча", + ", '", + "ем ен", + "е мен", + "▁цар ем", + "▁ца рем", + "▁царе м", + "▁Информа ция", + "▁Представи тели", + "▁ми рных", + "▁мир ных", + "▁дю й", + "шно е", + "шн ое", + "ш ное", + "▁город ские", + "▁пу га", + "▁ пуга", + "▁program ming", + "▁го нки", + "▁гон ки", + "▁пло дов", + "▁плодо в", + "▁плод ов", + "▁меся це", + "▁месяц е", + "▁се льском", + "▁сель ском", + "▁nomin ated", + "▁древ ний", + "▁Мини стр", + "▁г р", + "▁ гр", + "риф мети", + "Та й", + "Т ай", + "▁поедин ке", + "ти мся", + "тим ся", + "▁доба вляет", + "▁Ад мирал", + "▁хра нение", + "▁cl imate", + "▁КН ДР", + "▁энергети ки", + "▁Kore an", + "▁Korea n", + "▁Ме ж", + "▁форму лы", + "▁режисс ера", + "▁режиссе ра", + "▁режиссер а", + "пт у", + "п ту", + "▁куль турой", + "▁культур ой", + "E X", + "ни мом", + "ним ом", + "▁чи стый", + "▁Ро бин", + "▁Роб ин", + "▁подвод ной", + "▁подво дной", + "▁бере гам", + "▁берега м", + "▁берег ам", + "ин тер", + "инте р", + "и нтер", + "▁продоволь ствия", + "▁conf ig", + "▁Mass achusetts", + "ри да", + "р ида", + "▁напо ловину", + "▁налого об", + "▁откры ла", + "▁открыл а", + "▁hy dro", + "▁одно и", + "▁и дио", + "▁иди о", + "▁Р ен", + "▁Ре н", + "▁ю вели", + "▁нау кой", + "▁наук ой", + "▁Тео рия", + "▁инфек ции", + "▁захо тел", + "▁про живания", + "▁прожи вания", + "▁extrem ely", + "▁Mar ine", + "▁Ma rine", + "▁Ва дим", + "▁созна нием", + "▁сознание м", + "те льские", + "тель ские", + "щ ность", + "▁приобре ла", + "▁приобрел а", + "▁коле со", + "▁колес о", + "гро в", + "гр ов", + "г ров", + "▁St adium", + "▁пропо ве", + "▁рекла му", + "▁реклам у", + "▁С ки", + "▁Ск и", + "▁семей ство", + "▁к ив", + "▁ки в", + "▁покупа телей", + "зо ре", + "зор е", + "▁устано вку", + "▁установ ку", + "▁понрави лось", + "▁двига тели", + "▁поч ты", + "▁Л юк", + "▁Лю к", + "▁ent ertain", + "▁enter tain", + "▁эксперти зы", + "▁и нди", + "▁ин ди", + "▁S i", + "▁оформ ления", + "▁гре ч", + "▁отмеча лось", + "▁И ор", + "▁Ио р", + "▁до стать", + "▁доста ть", + "▁товари ще", + "▁товарищ е", + "▁объя влен", + "▁пересе лен", + "▁design ated", + "▁Россий ская", + "Ц ИЯ", + "▁Ill inois", + "▁поло вого", + "▁Б лю", + "▁музыка нтов", + "▁музыкан тов", + "▁бе лков", + "▁раз рыва", + "▁разры ва", + "▁разрыв а", + "▁смер тной", + "▁Ж ор", + "▁Жо р", + "вы бор", + "▁Фили ппа", + "▁Филип па", + "▁Филипп а", + "▁с рабаты", + "▁сра баты", + "▁bo at", + "▁За вер", + "▁но чам", + "▁но сом", + "▁нос ом", + "▁за грузки", + "▁загру зки", + "▁загруз ки", + "▁N et", + "▁Ne t", + "▁руко пись", + "▁рукопи сь", + "In d", + "I nd", + "▁N a", + "▁оказа ли", + "▁ока зали", + "▁оказал и", + "▁dr ama", + "▁dram a", + "▁dra ma", + "шн ы", + "ш ны", + "▁мощ ные", + "▁уси ление", + "▁T ok", + "▁To k", + "H L", + "▁w indows", + "▁wind ows", + "▁window s", + "та ций", + "▁М эй", + "▁Мэ й", + "ру йте", + "▁т рога", + "▁тро га", + "▁Ме рку", + "▁Мер ку", + "▁ref uge", + "▁B ab", + "▁Ba b", + "един ённых", + "единён ных", + "▁П ьер", + "▁Пье р", + "▁меч тал", + "▁мечта л", + "▁Ка ким", + "▁Как им", + "ind ing", + "▁двига телем", + "▁предоста вления", + "▁располага лся", + "х э", + "▁ри тори", + "▁рит ори", + "не сена", + "нес ена", + "несе на", + "несен а", + "ству ющее", + "O n", + "▁поли тиков", + "▁полити ков", + "▁политик ов", + "▁вы йдя", + "se ct", + "sec t", + "s ect", + "во дом", + "вод ом", + "▁Re al", + "▁sp oke", + "тчи ка", + "тчик а", + "т чика", + "▁разно образие", + "▁clos ely", + "▁close ly", + "▁ext ension", + "▁х руп", + "▁хру п", + "▁па пи", + "▁пап и", + "▁пожи з", + "▁выз доро", + "▁рабо чем", + "▁опи раясь", + "▁опира ясь", + "▁це лям", + "▁бе жали", + "▁бежал и", + "▁выгля дел", + "▁перегово рах", + "ap ore", + "▁и ную", + "▁ин ую", + "▁соору жение", + "▁неот ъемле", + "ме нного", + "мен ного", + "менно го", + "rol ler", + "roll er", + "un es", + "une s", + "u nes", + "пу с", + "п ус", + "▁Возро ждения", + "▁кро ше", + "▁A BC", + "▁са ло", + "ли вые", + "▁доста точной", + "▁достаточно й", + "▁достато чной", + "▁critic ized", + "▁ма сле", + "Андже ле", + "▁На ука", + "▁Нау ка", + "ess age", + "▁бель гий", + "▁материа лом", + "▁материал ом", + "▁требования ми", + "▁требованиям и", + "▁Сле дующий", + "▁Следу ющий", + "▁Ал ма", + "▁стра нное", + "▁стран ное", + "▁странно е", + "пла нет", + "плане т", + "план ет", + "▁не мысли", + "обо рудова", + "▁st atic", + "▁stat ic", + "▁круп ная", + "▁eng ines", + "▁engine s", + "мор ских", + "▁b ands", + "▁band s", + "▁отме чено", + "▁пя тый", + "▁основа нный", + "▁осно ванный", + "▁основан ный", + "▁су ществи", + "▁суще стви", + "▁существ и", + "▁enc ounter", + "▁живо тным", + "▁живот ным", + "▁Университе та", + "▁Университет а", + "та ется", + "тает ся", + "▁fact ors", + "▁factor s", + "▁tr uth", + "▁Не за", + "▁ху ли", + "▁Яро сла", + "▁вообра жа", + "▁Mc G", + "▁б аз", + "▁ба з", + "то рией", + "тори ей", + "▁Са мой", + "▁Сам ой", + "▁Само й", + "▁выпол нены", + "▁выполнен ы", + "▁вер мах", + "▁адмира ла", + "▁адмирал а", + "▁gr ounds", + "▁ground s", + "▁з верь", + "▁зве рь", + "▁звер ь", + "▁по кра", + "▁M iller", + "▁Mil ler", + "▁Mill er", + "▁при ходил", + "▁приходи л", + "▁приход ил", + "▁прихо дил", + "▁пред лагается", + "▁предлага ется", + "▁предлагает ся", + "кс ом", + "ксо м", + "к сом", + "вя зки", + "вяз ки", + "▁у род", + "▁уро д", + "▁днев нике", + "▁на но", + "▁н ано", + "▁резер ва", + "▁на ций", + "▁наци й", + "▁c ook", + "▁co ok", + "▁само от", + "▁самоо т", + "▁посе лений", + "lo ok", + "l ook", + "▁матери ального", + "▁материа льного", + "▁материаль ного", + "▁se lection", + "▁select ion", + "as ure", + "▁па льца", + "▁паль ца", + "▁ма сон", + "▁со гре", + "▁поза бо", + "▁Man chester", + "▁специаль ным", + "▁специ альным", + "▁L abor", + "▁La bor", + "▁Lab or", + "пле й", + "п лей", + "▁ожида ет", + "▁ожи дает", + "▁журна листы", + "▁журнали сты", + "▁журналист ы", + "▁С ор", + "▁Со р", + "вя зать", + "вяза ть", + "▁tra ined", + "▁tr ained", + "▁train ed", + "ма ло", + "мал о", + "▁дома шнего", + "▁домаш него", + "is ted", + "ist ed", + "▁эска дры", + "▁p oly", + "▁pol y", + "▁po ly", + "▁про читал", + "▁прочи тал", + "▁прочита л", + "▁на вести", + "▁наве сти", + "▁great est", + "▁О Г", + "▁ ОГ", + "▁e re", + "▁er e", + "▁ ere", + "▁f ur", + "▁n ull", + "▁забо ты", + "▁забот ы", + "▁A st", + "▁As t", + "гово рили", + "говор или", + "говори ли", + "говорил и", + "▁бом бо", + "▁бомб о", + "▁eth nic", + "▁co ord", + "kn ow", + "k now", + "▁О г", + "▁t ries", + "▁tr ies", + "▁tri es", + "▁r oot", + "▁ro ot", + "▁север нее", + "▁пере ворот", + "▁перево рот", + "вно е", + "в ное", + "▁подчер кивает", + "▁подчерки вает", + "ва ющую", + "ваю щую", + "▁генера лом", + "▁генерал ом", + "ру ющим", + "рую щим", + "▁T urn", + "▁Tur n", + "▁эффек ты", + "▁эффект ы", + "▁молодё жи", + "▁первен стве", + "▁вы ку", + "▁обви ни", + "▁использу ем", + "▁производ ством", + "▁производство м", + "▁пользу ясь", + "▁те рпи", + "▁тер пи", + "▁П ир", + "▁Пи р", + "▁с мена", + "▁сме на", + "▁см ена", + "▁внима нием", + "▁внимание м", + "▁document ary", + "C S", + "▁во дных", + "▁вод ных", + "▁ водных", + "▁се ления", + "▁селе ния", + "▁serv es", + "▁ser ves", + "▁serve s", + "▁conf ront", + "▁объеди нить", + "▁на несен", + "▁нанес ен", + "▁магази ны", + "▁магазин ы", + "▁за дум", + "▁зад ум", + "▁заду м", + "▁озна менова", + "▁Тру дового", + "▁inj ured", + "г мати", + "▁аргу менты", + "▁Р О", + "▁ РО", + "ну сь", + "нус ь", + "би ны", + "бин ы", + "б ины", + "ни цкого", + "ниц кого", + "▁кам ере", + "▁камер е", + "▁каме ре", + "▁Inf antry", + "▁del ivered", + "▁deliver ed", + "х во", + "▁ос ваи", + "▁европей ские", + "▁пла нета", + "▁плане та", + "▁планет а", + "жи вание", + "▁деву шкой", + "нг о", + "н го", + "▁ва жен", + "▁важ ен", + "▁К ристо", + "▁Кри сто", + "▁Пре обра", + "▁Serv ices", + "▁Service s", + "▁сра жаться", + "▁испол нял", + "▁исполня л", + "цки е", + "ц кие", + "▁деревя нные", + "▁жан ре", + "▁жанр е", + "▁k id", + "вто ри", + "в тори", + "x ual", + "▁Б лок", + "▁Бло к", + "бо на", + "бон а", + "б она", + "▁тор гового", + "▁торго вого", + "▁с гора", + "▁распоря жения", + "▁к э", + "▁принадле жали", + "▁принадлежа ли", + "▁принадлежал и", + "▁х восто", + "▁хво сто", + "▁хвост о", + "▁Язы к", + "▁пом нит", + "van t", + "va nt", + "v ant", + "гна н", + "г нан", + "▁demon st", + "▁Калифор нии", + "▁Лауре ат", + "▁созда нные", + "▁создан ные", + "Фо р", + "Ф ор", + "▁зарабо тать", + "▁Се ме", + "▁Сем е", + "▁сохра нил", + "▁сохрани л", + "▁сохран ил", + "▁s ed", + "▁se d", + "▁b es", + "▁be s", + "▁ bes", + "▁Вене су", + "▁отра слей", + "▁отрас лей", + "даго ги", + "зи рованного", + "зирова нного", + "зирован ного", + "az a", + "a za", + "▁Ex ec", + "▁помо гали", + "▁помог али", + "▁помога ли", + "▁помогал и", + "ни шь", + "▁способ ствовало", + "▁доче рей", + "▁дочер ей", + "▁con vent", + "▁conv ent", + "▁Ло ги", + "▁hab it", + "▁ha bit", + "▁мерт вых", + "▁ше е", + "▁ шее", + "▁до су", + "стре лко", + "▁Д жер", + "▁Дж ер", + "▁Дже р", + "▁sur re", + "▁туа лет", + "▁кило грам", + "go r", + "g or", + "▁про лив", + "▁проли в", + "▁с най", + "▁сна й", + "he red", + "her ed", + "here d", + "h ered", + "▁Обра тите", + "▁програм мой", + "▁программ ой", + "▁col lected", + "▁collect ed", + "▁нач нется", + "▁начнет ся", + "ст рит", + "стри т", + "стр ит", + "F i", + "▁П аль", + "▁Па ль", + "▁кры ши", + "▁Ко лле", + "▁Кол ле", + "▁Полков ник", + "ic it", + "▁Кен неди", + "▁ко шки", + "▁кош ки", + "▁живо пис", + "▁живопи с", + "▁страхо вания", + "▁с ень", + "▁се нь", + "▁сен ь", + "▁ сень", + "та нные", + "тан ные", + "▁Ду хов", + "M y", + "▁собра ны", + "▁собран ы", + "w ick", + "▁исто рика", + "▁истори ка", + "▁историк а", + "▁Во рон", + "▁Воро н", + "▁Вор он", + "но стям", + "▁вся кую", + "▁сты дно", + "ва ющими", + "ваю щими", + "вающим и", + "▁раз уме", + "▁разу ме", + "▁разум е", + "▁ разуме", + "▁Ch air", + "▁постра дали", + "▁пострада ли", + "▁пострадал и", + "▁Дне про", + "▁every one", + "▁госпо дина", + "▁господ ина", + "▁господин а", + "▁Ко смо", + "▁Jac ob", + "▁прави льный", + "▁каза ки", + "▁Основ ным", + "▁компози тора", + "▁композитор а", + "▁раз бо", + "ph one", + "▁упра вляет", + "▁управля ет", + "▁D ark", + "▁Dar k", + "▁Гос думы", + "▁юби лей", + "▁brief ly", + "▁должно стных", + "▁пар ков", + "▁парк ов", + "▁P ier", + "▁фи кса", + "▁reg iment", + "▁привы чки", + "▁вне дре", + "▁внед ре", + "▁при дает", + "▁прида ет", + "▁Не зависи", + "▁Неза виси", + "▁броси лся", + "▁бросил ся", + "са к", + "с ак", + "▁за тя", + "▁зат я", + "во дных", + "вод ных", + "▁man ner", + "ua tion", + "u ation", + "▁чле нам", + "▁член ам", + "▁члена м", + "ва жно", + "стан дар", + "▁зло б", + "▁Am azon", + "▁фир м", + "▁Ниц ше", + "ain ts", + "aint s", + "▁про ница", + "▁прони ца", + "зи руют", + "зиру ют", + "▁ма тчи", + "▁мат чи", + "▁матч и", + "▁быст рый", + "▁быстры й", + "▁Stud io", + "у краин", + "▁W olf", + "O W", + "▁educ ational", + "▁education al", + "▁на полне", + "▁напо лне", + "▁напол не", + "пу нк", + "▁ко лы", + "▁кол ы", + "▁ колы", + "▁мыс ленно", + "▁мысле нно", + "▁G ord", + "▁Go rd", + "▁Нача льник", + "▁д ен", + "▁де н", + "▁ ден", + "▁хо ре", + "▁хор е", + "bo y", + "b oy", + "▁кише чника", + "▁ро дила", + "▁роди ла", + "▁род ила", + "щё нный", + "щён ный", + "щ ённый", + "▁живу щих", + "▁дости гнуть", + "▁достиг нуть", + "▁достигну ть", + "четы ре", + "тер национа", + "терна циона", + "гра жда", + "▁гне з", + "▁с вар", + "▁сва р", + "▁св ар", + "▁protect ed", + "цион ному", + "цио нному", + "ционно му", + "ционном у", + "▁Пре мия", + "▁леген да", + "▁совеща ния", + "▁d ream", + "▁беспо кои", + "▁беспоко и", + "произ води", + "производ и", + "gh an", + "g han", + "▁экспеди ция", + "▁под ходе", + "▁подход е", + "▁Ба бу", + "▁о той", + "▁от ой", + "▁ото й", + "чи тал", + "чита л", + "чит ал", + "▁t error", + "▁ter ror", + "▁расска зе", + "▁рассказ е", + "▁да мы", + "▁дам ы", + "▁по ступления", + "▁посту пления", + "▁поступ ления", + "▁В сю", + "▁ra ise", + "▁ста вили", + "▁став или", + "▁ставил и", + "не во", + "нев о", + "н ево", + "ни стов", + "нис тов", + "нист ов", + "▁Tr ust", + "▁А виа", + "▁а спект", + "▁аспек т", + "in th", + "int h", + "▁ше и", + "о д", + "▁S ony", + "▁So ny", + "▁Son y", + "▁я вилась", + "▁М ое", + "▁Мо е", + "▁Генна дий", + "▁коммента риях", + "▁any one", + "▁Де вушка", + "▁про тека", + "▁проте ка", + "▁значи мости", + "▁обозна чение", + "кс я", + "к ся", + "▁подтвер дили", + "▁подтвердил и", + "▁а не", + "▁ан е", + "▁ ане", + "▁ро маны", + "▁роман ы", + "▁рома ны", + "▁Таджи ки", + "▁ку льт", + "▁куль т", + "▁спро воци", + "▁устано вке", + "▁установ ке", + "▁круп но", + "▁кру пно", + "▁анали зе", + "▁анализ е", + "▁использу емых", + "▁используем ых", + "▁китай ского", + "▁кита йского", + "▁индивиду ального", + "▁индивидуаль ного", + "▁во рон", + "▁воро н", + "▁вор он", + "▁oper ate", + "▁превра щения", + "▁Ал ба", + "▁ра кови", + "▁гре ческих", + "▁по ловых", + "▁поло вых", + "▁полов ых", + "▁L ow", + "▁Lo w", + "▁фа зы", + "oc ation", + "oca tion", + "▁поста вок", + "▁постав ок", + "ти мента", + "тим ента", + "▁prison ers", + "▁paint ings", + "▁painting s", + "▁встре чался", + "▁встреча лся", + "▁встречал ся", + "▁И а", + "▁моло д", + "▁мол од", + "сту пы", + "ступ ы", + "▁М ани", + "▁Ма ни", + "▁Ман и", + "▁Jes us", + "Ph one", + "▁за со", + "▁зас о", + "▁ми нус", + "▁мину с", + "▁мин ус", + "▁полё та", + "▁пи лот", + "▁пило т", + "▁polic ies", + "▁ла би", + "ec k", + "e ck", + "▁соли дар", + "▁чу жие", + "ко ны", + "кон ы", + "к оны", + "▁недоста тка", + "▁слы шу", + "ко сми", + "кос ми", + "▁москов ской", + "▁ш изо", + "▁ши зо", + "▁ло дку", + "▁ран нем", + "▁ваго нов", + "▁вагон ов", + "ку ляр", + "куля р", + "▁подтвер ждения", + "▁За поро", + "▁г ан", + "▁га н", + "▁ ган", + "та льной", + "таль ной", + "т альной", + "▁церков ью", + "▁церковь ю", + "▁ка ту", + "▁побли зости", + "▁п ал", + "▁па л", + "▁ пал", + "▁For est", + "▁Fore st", + "▁начина ются", + "▁начинают ся", + "ки с", + "к ис", + "Золо той", + "▁приобре тения", + "▁приобрете ния", + "ро ды", + "род ы", + "▁program me", + "▁колле гии", + "▁коллеги и", + "▁опреде ленно", + "▁определен но", + "▁се мян", + "▁сем ян", + "▁Черни гов", + "▁во ю", + "▁ вою", + "ха ра", + "хар а", + "х ара", + "▁скон центри", + "ри лась", + "рила сь", + "▁опа сения", + "▁Дже фф", + "▁дер жится", + "▁держит ся", + "▁спи ны", + "▁Ис следова", + "▁H it", + "▁Nether lands", + "▁урав нения", + "▁жан р", + "▁завое вала", + "▁завоевал а", + "f rom", + "▁Лю бой", + "▁Любо й", + "▁взаимо по", + "▁Афгани стане", + "in us", + "inu s", + "▁M ach", + "▁Mac h", + "▁Ma ch", + "▁vict ims", + "▁присут ствовал", + "M P", + "▁мыс лью", + "▁мысль ю", + "▁строи тельству", + "▁pict ure", + "▁принима я", + "▁вос тока", + "▁восто ка", + "▁восток а", + "▁образова ний", + "▁dec ade", + "▁номер е", + "▁номе ре", + "▁П ей", + "▁Пе й", + "Д ру", + "▁jud ge", + "▁итальян ской", + "чи тельно", + "чите льно", + "до чной", + "▁мел кими", + "▁за писать", + "▁запи сать", + "▁записа ть", + "an ned", + "ann ed", + "pl ate", + "ле ру", + "лер у", + "л еру", + "▁V ar", + "▁tw elve", + "▁терро ристов", + "▁террори стов", + "▁транспорт ного", + "▁транспор тного", + "▁ВВ П", + "▁авто биографи", + "че вский", + "чев ский", + "ч евский", + "▁Де ль", + "▁dr awn", + "▁draw n", + "▁dra wn", + "▁портре ты", + "▁портрет ы", + "▁Золо той", + "▁ Золотой", + "▁increasing ly", + "нс а", + "н са", + "▁духов ное", + "▁духо вное", + "▁духовно е", + "▁Не ме", + "▁Нем е", + "▁до лл", + "▁дол л", + "▁предпоч тение", + "ish ment", + "▁подоб ная", + "▁commun ication", + "ту ет", + "▁Людови ка", + "▁упомина ет", + "ти нского", + "тин ского", + "кру п", + "к руп", + "iss ance", + "▁Боль шую", + "ak h", + "a kh", + "▁пло ти", + "▁плот и", + "▁вы ходом", + "▁выход ом", + "▁моря ков", + "▁топли во", + "▁топ ливо", + "▁зарпла ты", + "▁s am", + "▁П ОЛ", + "▁ПО Л", + "▁зна чением", + "▁значение м", + "▁B oe", + "▁Bo e", + "al o", + "a lo", + "v o", + "▁с ква", + "▁ск ва", + "▁ба лло", + "▁бал ло", + "▁взрос лые", + "▁business es", + "q l", + "▁орби ту", + "ы х", + "ро дных", + "род ных", + "▁Вой ска", + "ст вах", + "ства х", + "▁ве лик", + "▁вели к", + "бо ли", + "бол и", + "▁пор ту", + "▁порт у", + "▁ве рили", + "▁вер или", + "▁верил и", + "▁вери ли", + "▁ut il", + "▁u til", + "▁в ступ", + "B I", + "▁d ress", + "▁dr ess", + "▁Mex ican", + "ке вич", + "к евич", + "▁обы чай", + "▁обыча й", + "▁д рай", + "▁дра й", + "▁др ай", + "▁Мар се", + "▁Строи тельство", + "▁магни то", + "▁магнит о", + "си а", + "▁широ ких", + "ри ал", + "риа л", + "▁испол нять", + "▁исполня ть", + "ut t", + "u tt", + "▁станови лась", + "▁стано вилась", + "▁ор то", + "▁склады вается", + "▁живо тными", + "▁живот ными", + "▁животным и", + "▁поме шать", + "▁ра ски", + "▁рас ки", + "цо вой", + "цов ой", + "де льно", + "дель но", + "▁surv ived", + "ric ts", + "rict s", + "▁тру де", + "▁труд е", + "▁журна лах", + "▁журнала х", + "▁капита ном", + "▁капитан ом", + "ви та", + "вит а", + "жка х", + "ж ках", + "▁e asy", + "▁eas y", + "▁кров оте", + "▁крово те", + "▁напада ющий", + "ol i", + "o li", + "▁тяже лым", + "▁невозмо жным", + "ви дел", + "виде л", + "▁Фре де", + "ло жению", + "ложе нию", + "▁золо тую", + "▁г радо", + "▁гра до", + "▁у пло", + "▁атмо сфера", + "▁атмосф ера", + "▁атмосфер а", + "Ob ject", + "▁бе дных", + "▁бед ных", + "▁церков ных", + "▁Op era", + "▁Oper a", + "ти за", + "▁разру шение", + "чи ло", + "чил о", + "▁K han", + "▁Kh an", + "▁следу ют", + "ra ge", + "rag e", + "r age", + "▁Ю ли", + "ков ья", + "ковь я", + "Р Ф", + "дни к", + "д ник", + "▁россий ском", + "▁отде льная", + "▁отдель ная", + "pe n", + "p en", + "W hat", + "▁опыт ных", + "▁опы тных", + "▁во льно", + "▁ вольно", + "▁пре подоб", + "▁препо доб", + "гу ляр", + "щи ну", + "щин у", + "▁знако мы", + "▁знаком ы", + "▁свадь бы", + "▁труд ностей", + "▁трудно стей", + "▁заста вля", + "▁ез дил", + "▁дея тели", + "▁по це", + "▁Чи сле", + "▁бесе де", + "▁р во", + "▁к ровать", + "▁кро вать", + "▁крова ть", + "▁се риал", + "▁сериа л", + "▁дове лось", + "▁в дали", + "▁вд али", + "▁вда ли", + "▁Приме нение", + "▁le ads", + "▁lead s", + "▁разрабо тать", + "▁разработа ть", + "▁оста нки", + "▁Шев ченко", + "▁Об щество", + "▁Обще ство", + "▁stre ets", + "▁street s", + "но са", + "нос а", + "н оса", + "st ances", + "stance s", + "жи в", + "ж ив", + "▁на право", + "▁напра во", + "▁масшта бе", + "▁масштаб е", + "ст ку", + "с тку", + "at ically", + "atic ally", + "▁he at", + "▁дей ствию", + "▁действи ю", + "кро ва", + "кров а", + "к рова", + "▁Dou gl", + "▁sy nt", + "▁syn t", + "▁радо стно", + "▁учреждения х", + "▁коро ткой", + "▁корот кой", + "▁коротко й", + "▁де ви", + "▁дев и", + "▁по ступили", + "▁посту пили", + "▁поступ или", + "▁поступил и", + "▁поступи ли", + "▁Mod ern", + "▁Со ро", + "▁Сор о", + "hed ral", + "▁вок зала", + "▁вокза ла", + "▁по ехали", + "▁пое хали", + "▁поехал и", + "▁жи теля", + "▁патро нов", + "▁при бытия", + "▁прибы тия", + "▁inter pret", + "▁ду мая", + "▁дума я", + "▁значи тельным", + "▁ste am", + "▁six th", + "▁d ivers", + "▁div ers", + "▁di vers", + "до подоб", + "▁уда рил", + "▁удар ил", + "▁стра нам", + "▁стран ам", + "▁страна м", + "▁Ст рук", + "▁Стру к", + "сно сти", + "с ности", + "▁Med ical", + "▁до лей", + "▁дол ей", + "▁Air port", + "ца рь", + "цар ь", + "ц арь", + "▁коми ссию", + "▁arr ang", + "▁arran g", + "▁лёг кой", + "▁люби мый", + "рас преде", + "▁m and", + "▁man d", + "▁re aching", + "▁reach ing", + "▁превосход ство", + "▁полуостро ве", + "▁H and", + "▁Ha nd", + "▁Han d", + "▁Фран цией", + "▁Франци ей", + "▁се льской", + "▁сель ской", + "▁Сред неве", + "▁интерфей са", + "▁интерфейс а", + "▁необходи мый", + "▁необходимы й", + "ord ers", + "order s", + "▁Един ственное", + "▁яй це", + "▁за тяну", + "▁затя ну", + "▁Бе ля", + "▁Бел я", + "▁состоя щий", + "▁обслужи вание", + "▁индиви да", + "▁инди вида", + "▁слу чится", + "▁случи тся", + "▁К инг", + "▁Ки нг", + "▁Кин г", + "▁A ge", + "▁Ag e", + "▁чи тали", + "▁чита ли", + "▁читал и", + "зо ры", + "зор ы", + "деся тых", + "десят ых", + "▁рассмотре нии", + "▁про мо", + "▁По се", + "C D", + "▁им прови", + "ли вая", + "лив ая", + "лива я", + "▁s urg", + "▁sur g", + "▁национа льности", + "▁национально сти", + "▁Ан дро", + "▁Анд ро", + "▁с ед", + "▁се д", + "▁ сед", + "▁цар ей", + "▁ца рей", + "▁царе й", + "▁живо тно", + "▁живот но", + "Е ФА", + "▁у целе", + "х ристиан", + "▁гро мо", + "▁гром о", + "▁Ex press", + "▁т уре", + "▁ту ре", + "▁тур е", + "▁ туре", + "▁differ ences", + "▁difference s", + "▁полу чим", + "▁получи м", + "▁вы годно", + "▁выго дно", + "▁выгод но", + "▁изда нии", + "▁E th", + "le vel", + "lev el", + "ле теть", + "лет еть", + "лете ть", + "▁Го ра", + "▁Гор а", + "▁кварти р", + "▁квар тир", + "ши в", + "ш ив", + "▁На родный", + "▁Народ ный", + "or i", + "o ri", + "▁сопер ника", + "▁jo bs", + "▁job s", + "ш т", + "▁municip ality", + "▁municipal ity", + "▁o ption", + "▁op tion", + "▁opt ion", + "▁т вою", + "▁тво ю", + "▁accompan ied", + "ar ant", + "ara nt", + "a rant", + "▁крестьян ских", + "▁крестья нских", + "▁центра лизова", + "as p", + "a sp", + "▁с я", + "▁ ся", + "▁лег кий", + "▁ча стного", + "▁част ного", + "▁час тного", + "▁церков ной", + "▁ком ната", + "▁комна та", + "un c", + "▁под час", + "▁на ри", + "▁нар и", + "▁абсолю тной", + "▁абсолютно й", + "кло в", + "кл ов", + "к лов", + "▁ку льта", + "▁куль та", + "▁культ а", + "▁разгово ров", + "▁разговор ов", + "ре нными", + "рен ными", + "ренным и", + "▁узна ла", + "▁узнал а", + "st ar", + "ля тора", + "лятор а", + "▁ens ure", + "▁возмо жна", + "▁двой ной", + "▁отдох нуть", + "▁полу чены", + "▁s elling", + "▁sell ing", + "▁У ва", + "тро пи", + "троп и", + "▁Божи ей", + "▁кру ги", + "▁круг и", + "▁мастер ство", + "▁био логических", + "▁биологи ческих", + "M od", + "▁Фе о", + "▁Вели кая", + "гро б", + "гр об", + "г роб", + "▁w arm", + "▁war m", + "▁wa rm", + "▁в ходи", + "▁вход и", + "▁ссы лке", + "▁art illery", + "▁Луч ший", + "▁моди фикации", + "▁модифика ции", + "во рения", + "▁R ub", + "▁Ru b", + "▁m arg", + "▁mar g", + "▁бес числе", + "▁ch ampion", + "▁ду ху", + "▁дух у", + "про ти", + "пр оти", + "▁Григо рия", + "G et", + "▁Ди к", + "▁ми стер", + "▁благо со", + "▁вер блю", + "▁посвя щены", + "▁посвящен ы", + "▁Н еве", + "▁Не ве", + "▁Сте пан", + "▁Степа н", + "▁ми ровая", + "▁миро вая", + "▁миров ая", + "ва лом", + "вал ом", + "вало м", + "▁суще ствующие", + "▁существу ющие", + "▁ф ру", + "▁публика ций", + "B O", + "▁понима ем", + "▁знамени тых", + "ма рка", + "мар ка", + "▁си гнали", + "▁сигна ли", + "▁сигнал и", + "▁социаль ную", + "▁Б оло", + "▁Бо ло", + "▁Бол о", + "▁ответ или", + "▁отве тили", + "▁ответил и", + "▁оли гар", + "▁автомоби ле", + "▁сум мар", + "▁сумма р", + "▁При меня", + "▁Приме ня", + "▁legisl ation", + "Челове к", + "ak i", + "a ki", + "co h", + "c oh", + "▁верто лета", + "▁вертолет а", + "▁m ir", + "▁mi r", + "▁ mir", + "▁гаран тии", + "▁поро ждает", + "▁предприятия х", + "▁да льность", + "▁даль ность", + "▁п рон", + "▁про н", + "▁пр он", + "▁в да", + "▁вд а", + "Золо тая", + "▁бое вую", + "▁боев ую", + "▁на рисо", + "▁нари со", + "▁ту рок", + "▁тур ок", + "о чень", + "▁R and", + "▁Се вера", + "▁Север а", + "▁Ника ких", + "▁до цен", + "▁столк нулся", + "▁столкну лся", + "Та м", + "Т ам", + "ic on", + "ico n", + "i con", + "кон струи", + "▁вол нения", + "е д", + "▁doc uments", + "▁document s", + "▁комму низма", + "▁коммуни зма", + "поли тической", + "be l", + "b el", + "▁Да нная", + "▁Дан ная", + "зо вых", + "зов ых", + "зовы х", + "ба ль", + "бал ь", + "б аль", + "▁про рыва", + "▁проры ва", + "▁прорыв а", + "▁по шёл", + "▁пош ёл", + "▁захва т", + "▁в реза", + "▁вре за", + "▁тео рий", + "▁норма льного", + "▁нормально го", + "▁норм ального", + "▁краси вый", + "ма ш", + "▁изда тельство", + "▁вы текает", + "▁вытека ет", + "▁world wide", + "▁верх него", + "ер ей", + "ере й", + "е рей", + "▁respons ibility", + "▁Х ристиан", + "▁Бре ж", + "У Т", + "▁солн цем", + "▁солнце м", + "ле вых", + "лев ых", + "▁устро ил", + "▁устрои л", + "▁signific antly", + "▁significant ly", + "▁о вра", + "▁ов ра", + "▁нарко тиков", + "au x", + "a ux", + "▁sever e", + "▁att ached", + "▁объяви ть", + "▁объя вить", + "▁по благода", + "yle s", + "yl es", + "y les", + "▁Спа си", + "▁Спас и", + "▁w aters", + "▁water s", + "▁wa ters", + "▁Л уна", + "▁Лу на", + "пи лись", + "пили сь", + "▁Бо жь", + "▁объек тивно", + "ok es", + "oke s", + "o kes", + "▁испы ту", + "▁репута цию", + "▁слуша телей", + "виде тельство", + "▁r ates", + "▁ra tes", + "▁rate s", + "▁rat es", + "▁смо трю", + "▁яр кие", + "но ваться", + "нова ться", + "ви ну", + "вин у", + "▁fin ishing", + "▁finish ing", + "▁анти совет", + "▁% ,", + "▁ %,", + "▁Al b", + "▁бо льным", + "▁боль ным", + "▁кам нями", + "▁камня ми", + "▁про двига", + "▁продви га", + "▁прод вига", + "▁бу кси", + "▁бук си", + "▁повлия ть", + "ска зу", + "▁одино чку", + "ant asy", + "anta sy", + "▁prom pt", + "▁умень шения", + "ши не", + "шин е", + "▁написа ли", + "▁написал и", + "▁спи р", + "▁вар вар", + "стоя ния", + "▁is ol", + "▁Константино поль", + "▁У сть", + "▁Ус ть", + "ра нь", + "ран ь", + "р ань", + "дя м", + "д ям", + "▁потре бля", + "▁потреб ля", + "а в", + "▁под бо", + "▁И сти", + "▁Ис ти", + "▁ка мера", + "▁кам ера", + "▁камер а", + "▁каме ра", + "ти ком", + "тик ом", + "тико м", + "це нка", + "цен ка", + "▁объяс нять", + "▁f illed", + "▁fil led", + "▁москов ский", + "▁карто фель", + "▁картофе ль", + "▁ra cial", + "ra nt", + "ran t", + "r ant", + "ни что", + "▁s che", + "▁sc he", + "▁sch e", + "▁партий ных", + "▁хозяй ственной", + "▁хозяйстве нной", + "▁Фё дор", + "▁бе жит", + "▁помо гло", + "▁помог ло", + "▁спут ника", + "▁спутник а", + "▁aff ili", + "▁рису нке", + "▁докла де", + "▁доклад е", + "▁L ist", + "▁Li st", + "▁Lis t", + "▁ List", + "▁за пе", + "▁vill ages", + "▁village s", + "▁масшта ба", + "▁масштаб а", + "▁да ма", + "▁дам а", + "E E", + "▁та щи", + "▁ тащи", + "f ather", + "▁обще образова", + "▁Я сно", + "▁пла мя", + "▁philosoph y", + "▁Пере вод", + "▁p hen", + "▁ph en", + "▁c risis", + "▁З во", + "▁с няли", + "▁сня ли", + "▁снял и", + "▁сни жается", + "▁у бо", + "▁фрон том", + "▁фронт ом", + "▁малей шего", + "▁пу ли", + "▁жан дар", + "▁К ОН", + "▁КО Н", + "▁ве рят", + "▁вер ят", + "▁понима ешь", + "▁долла ра", + "▁долл ара", + "▁у ход", + "▁ухо д", + "A d", + "▁Гла вной", + "▁Глав ной", + "▁свобо дным", + "▁свобод ным", + "ва телей", + "▁pra ised", + "▁нагля дно", + "▁Мекси ки", + "▁пред писы", + "▁st ores", + "▁store s", + "▁chall enge", + "▁challeng e", + "▁осве дом", + "▁ча стям", + "▁част ям", + "тни ков", + "тник ов", + "т ников", + "at ched", + "atch ed", + "пе нга", + "пен га", + "▁зна мена", + "▁dr iving", + "▁un iform", + "ве ром", + "вер ом", + "веро м", + "▁те сты", + "▁тест ы", + "▁Ле ни", + "▁Лен и", + "▁ию нь", + "▁Вашинг тоне", + "▁Вашингтон е", + "х ли", + "▁Ц вета", + "▁Цвет а", + "▁приве з", + "▁прив ез", + "▁низ ким", + "▁О в", + "ен а", + "е на", + "▁иу дей", + "▁оче рта", + "▁очер та", + "▁встре чаться", + "▁встреча ться", + "ц ком", + "▁кол ду", + "▁В Ц", + "▁се стре", + "op her", + "oph er", + "▁же нский", + "▁жен ский", + "▁k ick", + "▁жи тельства", + "▁житель ства", + "▁физи к", + "де сант", + "▁экзем пляр", + "▁экземпля р", + "▁вол нова", + "▁ волнова", + "▁доба вляют", + "▁гре ки", + "▁испол нилось", + "▁исполни лось", + "ail ed", + "ai led", + "a iled", + "▁не сли", + "▁н если", + "▁нес ли", + "▁ несли", + "▁ве ктор", + "▁век тор", + "▁происходя щее", + "смо тр", + "▁стои мостью", + "▁стоимость ю", + "▁стоимо стью", + "▁горо дке", + "▁город ке", + "▁I l", + "жа не", + "жан е", + "ж ане", + "▁ш ку", + "▁ шку", + "ur is", + "u ris", + "▁потерпе л", + "▁потер пел", + "▁we ak", + "▁ж ут", + "▁жу т", + "▁ жут", + "▁вре менного", + "▁времен ного", + "▁време нного", + "▁временно го", + "▁B ah", + "▁Ba h", + "▁ра да", + "▁р ада", + "▁рад а", + "▁Балтий ского", + "▁F und", + "▁Fu nd", + "▁Университе т", + "▁пово рота", + "▁поворот а", + "▁поворо та", + "▁сохра нилась", + "▁сохрани лась", + "ue se", + "ues e", + "u ese", + "▁Swed en", + "▁Con c", + "▁ph one", + "▁ phone", + "▁expl os", + "ag h", + "a gh", + "▁T rib", + "▁Tr ib", + "▁Tri b", + "▁закры тия", + "▁Красно зна", + "▁Сло вом", + "▁Слово м", + "▁вы ключа", + "▁выклю ча", + "▁эпизо дов", + "▁эпизод ов", + "▁sched uled", + "▁из менять", + "▁изме нять", + "▁изменя ть", + "▁измен ять", + "▁с тира", + "▁сти ра", + "▁с нис", + "▁сни с", + "ле тки", + "лет ки", + "он ера", + "оне ра", + "онер а", + "о нера", + "▁Сток голь", + "ш н", + "▁ф ила", + "▁фи ла", + "▁секрета рем", + "▁секретар ем", + "▁ню ан", + "ве ни", + "вен и", + "▁Верхов ной", + "▁жела ющих", + "▁созда ются", + "▁создают ся", + "▁applic ations", + "▁application s", + "▁J ane", + "▁Jan e", + "▁напра влено", + "▁направлен о", + "▁Та ври", + "▁совеща ние", + "▁посе тить", + "▁посети ть", + "ду ра", + "д ура", + "ста ви", + "став и", + "▁вла дел", + "▁владе л", + "▁incorpor ated", + "▁обеспе чивать", + "▁обеспечи вать", + "▁рас цвета", + "▁ви дам", + "▁вид ам", + "▁вида м", + "▁Ста рый", + "▁при слуши", + "▁мар ша", + "▁марш а", + "ро динами", + "роди нами", + "▁т щет", + "▁времен ам", + "▁време нам", + "▁времена м", + "ку ла", + "▁Аль бер", + "ou ri", + "our i", + "▁крей сера", + "▁крейсер а", + "ро дные", + "род ные", + "▁ран ние", + "Ве н", + "В ен", + "▁er ror", + "▁err or", + "▁ error", + "ви дение", + "виде ние", + "▁пузы рь", + "ин те", + "и нте", + "▁во лость", + "▁воло сть", + "▁волос ть", + "▁согла сова", + "▁согласо ва", + "ar ner", + "arn er", + "▁ликви да", + "▁страте гия", + "▁стратеги я", + "▁обе спо", + "▁mult i", + "▁жи телям", + "▁жителя м", + "ру са", + "рус а", + "р уса", + "▁Со колов", + "ra c", + "r ac", + "хо р", + "х ор", + "ствен на", + "стве нна", + "am ic", + "ami c", + "▁о бая", + "▁об ая", + "▁оба я", + "▁Ба шки", + "▁Баш ки", + "▁останови лись", + "▁остано вились", + "▁в вел", + "▁кра тков", + "▁крат ков", + "▁кратко в", + "▁ви до", + "▁вид о", + "▁чемпиона тов", + "▁чемпионат ов", + "▁ка зна", + "▁каз на", + "ду х", + "▁съ ё", + "▁не деля", + "▁неде ля", + "▁внед рения", + "▁внедре ния", + "om ic", + "▁По ра", + "▁Пор а", + "▁серьез ный", + "▁accom mod", + "▁t ank", + "▁чув ствуют", + "▁чувству ют", + "▁чувствую т", + "ще нными", + "щен ными", + "щенным и", + "▁ле ди", + "▁л еди", + "▁лед и", + "▁бо рода", + "▁бор ода", + "▁боро да", + "жи вают", + "▁сла бые", + "▁слабы е", + "▁Sing apore", + "▁стрель бе", + "▁футбо льный", + "▁футболь ный", + "▁тер ра", + "▁v ocal", + "▁voc al", + "▁сви ре", + "▁прави лами", + "▁правила ми", + "▁правилам и", + "▁B ol", + "▁Bo l", + "▁вся кая", + "▁трибу на", + "▁сове сть", + "ме нная", + "мен ная", + "▁следу ющая", + "▁Аб ха", + "▁учё ные", + "▁Р П", + "▁ремесле н", + "▁прио ритет", + "▁приорите т", + "▁comb ination", + "▁оказа л", + "▁ока зал", + "▁T ai", + "▁И тальян", + "▁Госпо ди", + "ac ent", + "ace nt", + "a cent", + "▁Е р", + "цен тр", + "▁мо роз", + "▁мор оз", + "▁моро з", + "▁де зин", + "ря дка", + "ряд ка", + "ра циона", + "▁публи ке", + "▁удовлет ворить", + "▁удовлетво рить", + "▁удовлетвори ть", + "ле ю", + "▁специаль ное", + "▁специ альное", + "▁специально е", + "бо вал", + "бов ал", + "бова л", + "ос та", + "о ста", + "▁сериа ле", + "▁сериал е", + "▁жиз ненно", + "▁жизне нно", + "in ch", + "inc h", + "▁соот но", + "▁Выступа л", + "▁Что б", + "▁коммер ческих", + "▁T en", + "▁Te n", + "▁раз мести", + "▁разме сти", + "▁поверх ностью", + "▁поверхность ю", + "▁поверхно стью", + "▁den ied", + "▁Ельци на", + "▁у жи", + "▁уж и", + "▁извест ными", + "▁известны ми", + "▁известным и", + "▁изве стными", + "▁ар те", + "▁арт е", + "▁own ers", + "▁owner s", + "▁пенси и", + "▁пен сии", + "▁се ктор", + "▁сек тор", + "▁miss ing", + "▁в яз", + "▁вя з", + "▁ вяз", + "▁подраз деля", + "▁E vent", + "▁Ev ent", + "▁Even t", + "▁Каждо е", + "▁состя за", + "▁скульп туры", + "▁скульптур ы", + "▁ле нинград", + "▁з вери", + "▁зве ри", + "▁звер и", + "▁за вет", + "▁заве т", + "чё те", + "чёт е", + "ч ёте", + "сти жи", + "▁се ро", + "▁сер о", + "▁банк рот", + "▁банкро т", + "▁вече рин", + "▁вечер ин", + "▁выстре ла", + "юр ера", + "юре ра", + "юрер а", + "поль зова", + "▁Дви жение", + "▁Но чью", + "▁под во", + "▁об ходи", + "▁обход и", + "▁ обходи", + "▁попро сили", + "▁попросил и", + "▁И в", + "▁обнару жен", + "бе ка", + "бек а", + "▁диа метр", + "▁диамет р", + "▁исти нно", + "▁stay ed", + "Фран циско", + "▁turn s", + "▁tur ns", + "про вода", + "провод а", + "▁min ute", + "▁кру гов", + "▁круг ов", + "▁круго в", + "ж ская", + "▁за вла", + "▁Жен щины", + "▁реаль ностью", + "▁реа льностью", + "▁реальность ю", + "▁реально стью", + "▁гото вится", + "▁готов ится", + "▁бы вшим", + "▁ин спек", + "▁инспе к", + "чи вание", + "чива ние", + "▁горо док", + "▁город ок", + "▁я влением", + "▁яв лением", + "▁явление м", + "u ilt", + "▁И Г", + "▁воз люблен", + "ol ished", + "olis hed", + "▁Ку ли", + "▁диа лога", + "▁диалог а", + "С Е", + "od ox", + "▁популяр ной", + "▁популя рной", + "▁ал ьян", + "▁аль ян", + "▁скульп тур", + "▁с корей", + "▁ско рей", + "▁скор ей", + "то вать", + "това ть", + "▁а мор", + "▁ам ор", + "▁прожи вали", + "▁ча сами", + "▁часа ми", + "▁Худо жник", + "▁стра нные", + "▁стран ные", + "▁го тово", + "▁гото во", + "▁готов о", + "▁найден о", + "▁найде но", + "▁res idence", + "▁собы тием", + "▁событие м", + "▁тра вя", + "▁трав я", + "▁наи мень", + "▁тю рк", + "▁V i", + "ру сской", + "рус ской", + "▁у т", + "▁ ут", + "Л С", + "▁И бра", + "▁утвер ждали", + "▁утвержда ли", + "▁утверждал и", + "про сто", + "прос то", + "\" »", + "▁а ни", + "▁ан и", + "▁ ани", + "▁зим них", + "▁се строй", + "▁pract ices", + "▁practice s", + "▁серд цу", + "▁T ony", + "▁To ny", + "▁фран ков", + "▁фра нков", + "▁свет у", + "▁све ту", + "▁св ету", + "▁полицей ские", + "▁основа телей", + "▁осно вателей", + "com ing", + "co ming", + "▁моди фика", + "▁Fam ily", + "▁ве щах", + "▁веща х", + "▁Андре ев", + "▁лиш ним", + "▁st orage", + "▁независи мых", + "▁напра сно", + "го нь", + "гон ь", + "▁пи ща", + "▁чер ту", + "▁черт у", + "це ден", + "▁прокуро р", + "▁про честь", + "▁ди ких", + "▁дик их", + "▁хо рва", + "▁хор ва", + "▁concern s", + "▁сотруд ником", + "▁сотрудни ком", + "▁сотрудник ом", + "▁Ти бе", + "▁государства ми", + "▁процеду ру", + "▁си они", + "▁от ступ", + "ь ба", + "▁ка зен", + "▁каз ен", + "▁гражда нам", + "▁граждан ам", + "▁Э лли", + "▁Эл ли", + "▁обли га", + "▁Mag azine", + "▁инициа тиву", + "▁design s", + "qu es", + "que s", + "q ues", + "▁вы раста", + "▁выра ста", + "▁под писи", + "▁подпи си", + "▁писа телем", + "▁Современ ные", + "▁agricult ural", + "▁ви зит", + "▁визи т", + "▁оста влять", + "▁оставля ть", + "▁в р", + "▁ вр", + "ra it", + "r ait", + "▁пара метр", + "▁парамет р", + "▁ка знь", + "▁каз нь", + "▁С Т", + "▁ СТ", + "▁современ ное", + "секре тарь", + "▁о сты", + "▁ос ты", + "▁ост ы", + "▁сохра ня", + "▁сохран я", + "ug by", + "▁anc est", + "ub le", + "ubl e", + "u ble", + "▁с пит", + "▁спи т", + "▁занима ла", + "▁занимал а", + "ви ны", + "вин ы", + "в ины", + "али зации", + "а лизации", + "▁совер шении", + "▁мета лло", + "▁метал ло", + "▁металл о", + "жа ю", + "тчи ками", + "тчика ми", + "т чиками", + "▁ev olution", + "▁Восто чного", + "▁Вос точного", + "▁Восточно го", + "▁поступа ют", + "▁пунк тах", + "▁пункта х", + "▁за б", + "▁ги гие", + "▁глав ном", + "хе й", + "х ей", + "▁характери стика", + "▁характеристи ка", + "▁характеристик а", + "▁без жало", + "▁пере пол", + "▁Со кра", + "▁withd raw", + "ed ing", + "▁рас четы", + "▁расчет ы", + "▁расче ты", + "▁во шло", + "▁С кан", + "▁Ска н", + "▁Ск ан", + "sc ape", + "▁посоль ство", + "▁f an", + "▁fa n", + "af e", + "a fe", + "зу т", + "з ут", + "▁живо та", + "▁живот а", + "at han", + "ath an", + "▁развед ка", + "▁разве дка", + "▁те зи", + "▁о вец", + "▁ов ец", + "▁за тво", + "▁зат во", + "▁m ine", + "▁min e", + "▁mi ne", + "жи вал", + "жив ал", + "▁един ственного", + "▁единственно го", + "▁проек тирования", + "▁проектирова ния", + "к ни", + "▁усу гу", + "вз я", + "в зя", + "▁потом ков", + "▁у еди", + "▁описа нии", + "▁верх них", + "▁оп ья", + "су да", + "с уда", + "▁налого платель", + "рё л", + "р ёл", + "▁Г аль", + "▁Га ль", + "▁або нен", + "пп ер", + "ппе р", + "п пер", + "▁вели кая", + "▁велика я", + "▁велик ая", + "▁мастер ства", + "▁Шта тах", + "ро дной", + "род ной", + "▁com edy", + "▁выделя ются", + "▁выде ляются", + "▁выделяют ся", + "ration s", + "rat ions", + "r ations", + "▁вообра жения", + "▁совет скими", + "▁советским и", + "x x", + "▁S ab", + "▁Sa b", + "ra py", + "rap y", + "▁ОК Б", + "▁assist ance", + "▁Л ью", + "▁Ль ю", + "ло вым", + "корреспонден т", + "▁особенно стями", + "▁особен ностями", + "зи руя", + "зиру я", + "▁ба рон", + "▁бар он", + "▁баро н", + "▁ри мской", + "▁рим ской", + "▁темпера туру", + "▁температур у", + "▁экс пан", + "в лю", + "му нд", + "м унд", + "▁Д ево", + "▁Де во", + "▁участ никам", + "▁участник ам", + "▁участника м", + "▁A uthor", + "▁мене джер", + "▁менедже р", + "▁менедж ер", + "▁раскры ть", + "▁неко тором", + "▁некото ром", + "it le", + "i tle", + "ци зм", + "ц изм", + "▁свиде телем", + "▁кри пто", + "▁Друго е", + "▁Анто нио", + "▁ядер ных", + "▁example s", + "▁exam ples", + "▁Ди они", + "▁зак лина", + "▁законо проек", + "ха ри", + "хар и", + "▁un f", + "ra ction", + "ract ion", + "rac tion", + "r action", + "▁заклю чен", + "▁Е вра", + "▁Ев ра", + "▁s hel", + "▁sh el", + "▁she l", + "ти руются", + "тиру ются", + "тируют ся", + "▁сто лица", + "▁столи ца", + "▁ин су", + "▁то тали", + "▁тот али", + "▁з рение", + "▁зре ние", + "▁ зрение", + "▁Вален тин", + "▁ми ров", + "▁мир ов", + "▁миро в", + "▁низ кий", + "▁не совершен", + "▁несо вершен", + "та и", + "▁се ли", + "▁сел и", + "▁ сели", + ": \"", + "▁Gl obal", + "▁похо жие", + "▁похожи е", + "▁тур изма", + "▁тури зма", + "▁ра ст", + "▁рас т", + "▁продю сер", + "▁понима нию", + "▁строи тельных", + "ем ле", + "T ime", + "▁успе шной", + "▁успеш ной", + "▁успешно й", + "▁ре шается", + "▁реша ется", + "▁решает ся", + "▁корреспонден т", + "▁ корреспондент", + "▁воспринима ется", + "▁H ug", + "▁Hu g", + "▁Джор джа", + "▁Джордж а", + "щи ку", + "щик у", + "ъе сте", + "▁и ндо", + "▁ин до", + "▁И рак", + "▁Ир ак", + "▁Ира к", + "▁х ана", + "▁ха на", + "▁хан а", + "▁ хана", + "▁ак тивную", + "▁актив ную", + "▁regular ly", + "▁ра кета", + "▁ракет а", + "▁раке та", + "▁способ ные", + "▁способны е", + "▁поя влению", + "▁об щина", + "▁общи на", + "▁общ ина", + "▁общин а", + "P R", + "пра ва", + "прав а", + "▁спа си", + "▁спас и", + "▁ass umed", + "▁ниж них", + "▁си дела", + "▁сидел а", + "▁траге дия", + "ри ны", + "рин ы", + "р ины", + "▁э фир", + "▁эфи р", + "▁вра гами", + "▁врага ми", + "▁субъек т", + "▁воору женные", + "ф ли", + "▁набере жной", + "сте ров", + "стер ов", + "с теров", + "▁P ot", + "▁Po t", + "▁объеди няет", + "▁объединя ет", + "▁бого слов", + "▁Гла внокоман", + "▁эми гри", + "▁неприя теля", + "▁K at", + "▁испа нский", + "▁испан ский", + "▁С Д", + "▁расти тельного", + "вали фици", + "▁ ]", + "▁от кли", + "▁отк ли", + "дд а", + "д да", + "▁индивиду альной", + "▁индивидуаль ной", + "▁д оса", + "▁до са", + "▁ю жном", + "▁южно м", + "▁диви зию", + "▁дивизи ю", + "▁Фе дорович", + "▁Федо рович", + "▁неу верен", + "чник ом", + "чни ком", + "ч ником", + "▁inhab itants", + "▁retire ment", + "▁Импе рии", + "зи рованы", + "зирова ны", + "зирован ы", + "▁истреби тели", + "ста нно", + "стан но", + "▁found ation", + "▁P it", + "▁Си туация", + "as te", + "ast e", + "a ste", + "▁кар ьера", + "▁карь ера", + "ру м", + "р ум", + "▁кора бе", + "го лу", + "▁раз гра", + "▁d uties", + "▁du ties", + "▁n one", + "▁no ne", + "▁non e", + "▁sw itch", + "ло гу", + "лог у", + "▁чуде са", + "ска ра", + "ск ара", + "скар а", + "с кара", + "▁то лка", + "▁тол ка", + "▁серви сов", + "▁сервис ов", + "▁необычай но", + "▁совершен ства", + "▁Пар ла", + "▁f olk", + "▁ак тивным", + "▁актив ным", + "лли вуд", + "▁прид ётся", + "or er", + "ore r", + "▁бой цы", + "▁pass es", + "щи не", + "щин е", + "▁ro ads", + "▁road s", + "▁чу гу", + "▁город ском", + "▁Чарль з", + "ar o", + "a ro", + "служ бы", + "▁про хлад", + "▁па ст", + "▁пас т", + "▁каза лся", + "▁Поль шу", + "▁мета лл", + "▁метал л", + "▁про пустить", + "▁пропу стить", + "▁им порт", + "▁импор т", + "▁люби мого", + "▁откры тое", + "▁открыто е", + "▁открыт ое", + "▁яр ких", + "▁f ly", + "▁fl y", + "▁ве сть", + "▁вес ть", + "▁инстру ментом", + "▁инструмент ом", + "▁выход ные", + "▁вы вел", + "▁выве л", + "чу т", + "ч ут", + "О Й", + "▁вер немся", + "▁устро или", + "▁устрои ли", + "▁устроил и", + "▁особ ая", + "▁осо бая", + "▁C ab", + "▁Ca b", + "▁цивили зова", + "▁пи ки", + "▁пик и", + "▁b asketball", + "за ла", + "зал а", + "з ала", + "▁U SS", + "▁US S", + "atur day", + "b ian", + "▁res igned", + "▁слу читься", + "▁случи ться", + "▁у зла", + "▁уз ла", + "▁c ool", + "▁co ol", + "▁S ound", + "▁So und", + "▁при ехать", + "▁прие хать", + "▁приеха ть", + "та ре", + "тар е", + "ing ly", + "ро дного", + "род ного", + "▁по больше", + "▁побо льше", + "▁без обра", + "▁безо бра", + "во ил", + "вои л", + "рд жи", + "р джи", + "▁pro test", + "▁prote st", + "▁prot est", + "то ну", + "тон у", + "т ону", + "▁Do ctor", + "▁орби ты", + "ко к", + "к ок", + "▁раз лу", + "▁cour ts", + "▁court s", + "графи ческой", + "▁Не доста", + "▁дости гают", + "▁достига ют", + "▁b le", + "▁bl e", + "▁ ble", + "▁еврей ских", + "an es", + "ane s", + "a nes", + "ч та", + "▁постра дал", + "▁пострада л", + "гово ры", + "говор ы", + "▁про рыв", + "▁проры в", + "ни ны", + "нин ы", + "н ины", + "▁К об", + "▁Ко б", + "▁Э нер", + "▁Эн ер", + "▁C N", + "▁Во льф", + "▁Воль ф", + "▁совет ника", + "▁советник а", + "▁h ang", + "▁ha ng", + "▁соста вом", + "▁состав ом", + "ней шего", + "▁буты лки", + "▁поло тен", + "▁деву шке", + "ва нная", + "ван ная", + "▁покры тия", + "▁кух ни", + "▁shoot ing", + "▁боль ший", + "ми ри", + "мир и", + "▁пи том", + "▁прове рять", + "▁провер ять", + "▁проверя ть", + "▁Fore ign", + "▁возбу ди", + "▁D isc", + "▁Dis c", + "▁Di sc", + "▁з ме", + "▁ зме", + "▁му нди", + "▁влия ть", + "ва рда", + "вар да", + "вард а", + "▁ch urches", + "▁church es", + "▁жиз ненного", + "▁жизне нного", + "▁жизненно го", + "▁/ *", + "▁уверен ностью", + "▁уверенность ю", + "▁уверенно стью", + "▁p p", + "▁ pp", + "мо ни", + "мон и", + "м они", + "; #", + "▁освобо жден", + "▁при носят", + "▁О лега", + "▁Олег а", + "▁Оле га", + "▁откры вать", + "▁вла дений", + "▁владе ний", + "▁Ра ссе", + "▁Рас се", + "▁Расс е", + "▁Mount ain", + "▁deb ate", + "▁соот ношения", + "▁соотно шения", + "▁пе ска", + "▁пес ка", + "ate gy", + "ateg y", + "▁m ode", + "▁mod e", + "▁Г от", + "▁Го т", + "▁дене жные", + "▁от бира", + "▁отби ра", + "ри зации", + "▁ез дить", + "▁пригла сили", + "▁пригласил и", + "▁Из обра", + "▁Изо бра", + "ми нг", + "мин г", + "м инг", + "▁неме цкая", + "▁немец кая", + "▁He art", + "▁Де нис", + "▁Ден ис", + "▁Дени с", + "▁Ро зен", + "▁челове ко", + "▁человек о", + "то чная", + "▁По тре", + "▁духовен ства", + "ол е", + "о ле", + "зи стен", + "зис тен", + "▁Де я", + "ри ке", + "рик е", + "▁мыс лями", + "▁Hot el", + "▁мощ ным", + "бр ы", + "б ры", + "▁краси вые", + "▁фено мена", + "▁феномен а", + "▁фа ктора", + "▁фак тора", + "▁фактор а", + "▁от ныне", + "▁же ниться", + "▁жени ться", + "▁Наде жда", + "▁сте нами", + "▁стена ми", + "▁ви дна", + "▁вид на", + "▁военноп ленных", + "▁phot ograph", + "as hed", + "ash ed", + "▁вз волнова", + "uc ks", + "uck s", + "u cks", + "▁Эй зен", + "▁не обо", + "▁нео бо", + "▁необ о", + "фа кс", + "фак с", + "▁Ки евского", + "▁Киев ского", + "▁спу тник", + "▁спут ник", + "▁се ме", + "▁сем е", + "▁без грани", + "▁нау чился", + "щи н", + "щ ин", + "пс а", + "п са", + "▁пре взо", + "▁сто ловой", + "▁столо вой", + "пят ь", + "пя ть", + "п ять", + "ag ues", + "ague s", + "agu es", + "▁дей ствии", + "▁действи и", + "▁he aded", + "▁head ed", + "▁дума ешь", + "▁Ис полни", + "▁Испо лни", + "in ton", + "int on", + "▁отмеча ли", + "▁отме чали", + "▁отмечал и", + "▁прос вети", + "▁просве ти", + "▁просвет и", + "ю к", + "н це", + "▁яр кий", + "▁R ose", + "▁Ros e", + "▁Ro se", + "▁п лит", + "▁пли т", + "▁луч шая", + "▁ше стой", + "▁шест ой", + "▁догово ром", + "▁договор ом", + "▁с проек", + "▁спро ек", + "▁d rew", + "▁dr ew", + "▁союз ники", + "▁ла ко", + "ival ent", + "▁occ urs", + "▁occur s", + "▁специаль ную", + "▁выро сли", + "▁вырос ли", + "▁NAS A", + "▁Б ло", + "▁П ять", + "▁Пя ть", + "▁Пят ь", + "▁Y our", + "▁You r", + "▁не кро", + "▁мо ими", + "▁мои ми", + "▁моим и", + "▁Ав торы", + "▁Авто ры", + "▁Автор ы", + "▁рабо тая", + "▁работа я", + "▁работ ая", + "▁привле кает", + "▁привлека ет", + "▁ку лина", + "Ро ссий", + "▁ad mitted", + "Х А", + "▁холо да", + "▁хол ода", + "▁холод а", + "▁y ellow", + "▁цело стности", + "▁ре зю", + "▁рез ю", + "▁орке стр", + "эн д", + "э нд", + "▁Ч о", + "▁Принци п", + "С вя", + "▁par allel", + "▁оказа ния", + "▁ока зания", + "сколь з", + "ba l", + "b al", + "▁st ret", + "▁str et", + "▁stre t", + "▁обусло вли", + "▁Те одо", + "▁Тео до", + "ле тела", + "лете ла", + "летел а", + "▁каза ться", + "▁dev ices", + "▁device s", + "▁Пла ни", + "▁План и", + "▁поля ков", + "дж о", + "д жо", + "▁со хран", + "▁сохра н", + "▁ку рт", + "▁кур т", + "▁Та ган", + "▁посла ние", + "лё нных", + "лён ных", + "л ённых", + "▁re new", + "▁ren ew", + "▁присут ствовать", + "▁полу чат", + "▁получа т", + "▁жало б", + "▁жал об", + "▁господ ства", + "▁str uck", + "ne e", + "n ee", + "▁отря дом", + "▁отряд ом", + "▁прави льное", + "▁правильно е", + "▁под полков", + "▁подпо лков", + "id el", + "ide l", + "▁рису нки", + "▁С пас", + "▁Спа с", + "▁диза йна", + "▁дизай на", + "▁дизайн а", + "▁found ing", + "▁преж него", + "▁малень кую", + "in it", + "ini t", + "▁меда лей", + "де лки", + "дел ки", + "st ance", + "▁обна ро", + "▁гне зда", + "▁гнез да", + "ки ло", + "pr ison", + "pri son", + "p rison", + "▁ка ш", + "▁после довал", + "▁последова л", + "▁Мин ске", + "▁сочи нение", + "▁по пла", + "▁поп ла", + "▁ги ган", + "▁философ ских", + "▁ци кло", + "▁цикл о", + "▁шко льников", + "▁безу слов", + "oc ol", + "o col", + "▁Х мель", + "includ ing", + "▁ощу щений", + "▁полу чился", + "▁получи лся", + "▁получил ся", + "O P", + "▁способ ствуют", + "▁E ric", + "▁Er ic", + "▁при водить", + "▁приводи ть", + "▁приводит ь", + "▁приво дить", + "▁В ода", + "▁Во да", + "▁об ход", + "▁наз ваны", + "▁назва ны", + "▁назван ы", + "▁Мето д", + "▁Мет од", + "et ime", + "e time", + "▁япо нский", + "▁япон ский", + "▁митрополи та", + "▁митропо лита", + "▁митрополит а", + "▁се тях", + "▁сет ях", + "▁мо заи", + "▁доступ ен", + "▁употребля ть", + "▁Д ор", + "▁До р", + "▁перио дом", + "▁период ом", + "▁но га", + "▁ног а", + "▁ ́", + "▁досто примеча", + "ли ровать", + "▁Pol it", + "▁вы мышлен", + "▁опера тивного", + "▁оперативно го", + "▁t ons", + "▁to ns", + "▁награ жден", + "▁стать ях", + "▁статья х", + "▁ро ждается", + "▁рожда ется", + "for mer", + "form er", + "▁гео графии", + "▁географи и", + "▁допуска ется", + "it able", + "ita ble", + "▁стро ку", + "▁строк у", + "▁зая вку", + "ow ered", + "ower ed", + "▁приз ёром", + "▁призёр ом", + "▁сла бе", + "▁пересе ка", + "▁с пал", + "▁спа л", + "▁бес стра", + "▁бесс тра", + "за на", + "зан а", + "з ана", + "ки вает", + "s ub", + "▁болез нью", + "▁болезнь ю", + "▁пролета р", + "▁проле тар", + "▁ар хаи", + "▁пообе щал", + "▁пись мах", + "▁письма х", + "▁шан сов", + "▁шанс ов", + "▁ожида ли", + "▁ожи дали", + "▁ожидал и", + "▁празд ники", + "▁праздник и", + "▁праздни ки", + "▁ба зой", + "▁базо й", + "▁баз ой", + "▁фло том", + "▁флот ом", + "тки н", + "тк ин", + "т кин", + "▁Сла вя", + "▁bene fit", + "▁benef it", + "▁class ical", + "▁созда нных", + "▁создан ных", + "м би", + "▁постано вке", + "▁постанов ке", + "▁потенциа ла", + "▁потенциал а", + "▁Элиза бет", + "▁про живает", + "▁прожи вает", + "▁ко лен", + "▁кол ен", + "▁коле н", + "▁p ool", + "▁po ol", + "▁ pool", + "▁доро гах", + "▁дорога х", + "▁пре кло", + "un nel", + "unn el", + "▁по двиг", + "▁подви г", + "▁устраи вает", + "▁Брита нии", + "▁к ин", + "▁ки н", + "▁ кин", + "▁съ емо", + "▁съе мо", + "▁съем о", + "▁взя лся", + "▁взял ся", + "▁одино честве", + "▁приобре тение", + "▁приобрете ние", + "▁продол жались", + "▁продолжа лись", + "▁продолжали сь", + "▁кри чит", + "igr ants", + "▁propos al", + "▁с ара", + "▁са ра", + "▁от стоя", + "▁f inding", + "▁find ing", + "▁поя влялись", + "▁появля лись", + "▁исто лко", + "▁иденти фика", + "▁взаимодей ствии", + "▁опо ры", + "▁опор ы", + "▁оцени вается", + "▁subject s", + "ур ов", + "у ров", + "▁к лин", + "▁кли н", + "▁тор говой", + "▁торго вой", + "▁торгов ой", + "▁подготов и", + "▁подгото ви", + "ти кой", + "тик ой", + "тико й", + "▁космо се", + "▁космос е", + "▁cap able", + "▁Само лет", + "▁ви дения", + "▁виде ния", + "▁trans ition", + "юще мся", + "ющем ся", + "▁согла сны", + "▁м эра", + "▁мэ ра", + "▁исполни телей", + "▁жа лко", + "▁жал ко", + "▁З ла", + "▁про бы", + "▁пр обы", + "▁проб ы", + "▁выго ды", + "▁выгод ы", + "▁Sil ver", + "▁земле дель", + "▁до казывает", + "▁доказыва ет", + "▁дока зывает", + "▁ху тор", + "дя х", + "д ях", + "ж ских", + "▁подо шла", + "▁наде ясь", + "▁надея сь", + "▁T reat", + "▁Tre at", + "▁ро з", + "▁р оз", + "▁ роз", + "ro ns", + "ron s", + "r ons", + "нх ен", + "н хен", + "▁pro sec", + "▁pros ec", + "▁п ерей", + "▁пере й", + "▁пер ей", + "▁пе рей", + "ров ском", + "▁c ensus", + "▁дер жали", + "▁держа ли", + "▁держал и", + "▁потом ки", + "▁ста вку", + "▁став ку", + "R L", + "Т ре", + "сс ой", + "ссо й", + "с сой", + "▁ли нией", + "▁электро нов", + "▁задей ствова", + "▁А ля", + "▁Ал я", + "▁проек тирова", + "▁дополни тельной", + "▁дополнительно й", + "▁а рабо", + "▁араб о", + "▁ара бо", + "▁большин ством", + "▁большинство м", + "t ion", + "▁N ever", + "▁Ne ver", + "▁бабу шки", + "▁L is", + "▁Li s", + "▁случа лось", + "ut or", + "▁Сим феро", + "▁древ е", + "▁др еве", + "▁дре ве", + "▁Sum mer", + "▁i OS", + "▁Горь кий", + "▁pur poses", + "▁purpose s", + "▁ма мы", + "▁pain ted", + "▁paint ed", + "▁пригово ра", + "▁приговор а", + "ch ang", + "chan g", + "▁опыт у", + "▁опы ту", + "▁adv oc", + "би нской", + "бин ской", + "▁повы шает", + "▁Inst ead", + "▁преу спе", + "Ш е", + "▁бе ге", + "▁бег е", + "▁гото вят", + "▁готов ят", + "▁изме нениями", + "▁изменения ми", + "▁разнови дность", + "▁Ла дно", + "▁увеличи вает", + "▁увели чивает", + "▁опера ционной", + "▁совеща нии", + "▁массо вые", + "▁су ши", + "▁само созна", + "▁ба ры", + "▁бар ы", + "out heast", + "▁С офи", + "▁Со фи", + "▁Соф и", + "му ществ", + "муще ств", + "▁пара диг", + "▁Colon el", + "ри х", + "р их", + "▁Донец кой", + "▁полез ным", + "ор дини", + "▁Об щий", + "▁b rig", + "▁br ig", + "▁Ко рот", + "▁Кор от", + "▁Коро т", + "ни чный", + "▁гипоте за", + "▁методи ки", + "▁ре альное", + "▁реаль ное", + "▁реа льное", + "▁реально е", + "э пи", + "▁у де", + "▁уд е", + "жи я", + "▁Рас простра", + "▁не кая", + "▁поезд ов", + "▁поез дов", + "▁sing ing", + "▁огне стре", + "▁психи ческих", + "▁в лю", + "▁ влю", + "▁h ttps", + "▁http s", + "Д И", + "▁Фрей д", + "▁отста вке", + "▁отстав ке", + "▁Новгород е", + "▁Новго роде", + "sc ript", + "s cript", + "▁Чи каго", + "▁глав ными", + "▁главным и", + "▁D ick", + "▁Di ck", + "▁обеспе чению", + "m m", + "▁извле чь", + "зи ровали", + "зирова ли", + "зировал и", + "▁проте ст", + "▁Т они", + "▁То ни", + "▁Тон и", + "то вания", + "това ния", + "▁ба лли", + "▁бал ли", + "▁ка бины", + "▁каби ны", + "▁нару шении", + "ще нную", + "щен ную", + "▁противоре чий", + "▁противоречи й", + "▁гу ля", + "▁по мы", + "▁пом ы", + "▁вызыва ли", + "▁несов мести", + "▁центра льный", + "▁центр альный", + "over ty", + "▁факультет е", + "▁факульте те", + "▁стратеги ческих", + "гото вка", + "готов ка", + "▁found er", + "▁проя влять", + "▁проявля ть", + "▁анали зу", + "▁анализ у", + "▁l ake", + "▁la ke", + "▁удоб нее", + "▁по кое", + "▁поко е", + "▁изме нением", + "▁изменение м", + "▁некото рую", + "▁исто рио", + "▁истори о", + "▁re tained", + "▁ret ained", + "▁Се ль", + "▁gr ade", + "▁grad e", + "▁gra de", + "▁municip al", + "ба вок", + "▁импера тору", + "▁император у", + "▁Об щее", + "▁Обще е", + "▁умер ших", + "бле нию", + "б лению", + "▁Ф БР", + "▁тра ва", + "▁трав а", + "▁ветера нов", + "▁по чек", + "▁поч ек", + "▁поче к", + "▁суб си", + "▁без воз", + "▁з мей", + "▁зме й", + "▁предложи ла", + "▁предложил а", + "▁де жур", + "▁дежу р", + "▁thous and", + "▁выпу стила", + "▁выпусти ла", + "▁выпустил а", + "va rd", + "var d", + "v ard", + "▁C all", + "▁Cal l", + "▁Ca ll", + "▁а пел", + "▁сла до", + "▁слад о", + "▁answ er", + "ти ни", + "тин и", + "lo ck", + "l ock", + "ло жив", + "ложи в", + "лож ив", + "▁ар мян", + "▁армя н", + "▁пят надцати", + "▁ре форми", + "▁реформ и", + "▁рефор ми", + "▁Пре свя", + "▁Мар са", + "▁de leg", + "▁R ights", + "к м", + "▁платфор ме", + "▁с кото", + "▁ско то", + "▁скот о", + "▁un us", + "ле ка", + "лек а", + "▁вопло щение", + "▁Пись мо", + "▁Oper ation", + "▁Opera tion", + "▁серьез ным", + "▁Белару си", + "▁тех но", + "▁кор ней", + "▁корне й", + "би не", + "бин е", + "▁орга низу", + "▁органи зу", + "▁О га", + "▁Ог а", + "▁до ложил", + "▁у пру", + "▁на йдет", + "▁най дет", + "▁найде т", + "▁sup erv", + "▁super v", + "сте ром", + "стер ом", + "с тером", + "▁str ategy", + "▁strateg y", + "▁возвра щался", + "▁возвраща лся", + "▁совет ом", + "▁сове том", + "▁принима ется", + "▁принимает ся", + "▁ch ain", + "▁ди стри", + "▁дис три", + "▁уничто жены", + "▁в ед", + "▁ве д", + "▁ вед", + "▁пользова телям", + "▁пользователя м", + "▁Кон тро", + "▁Е ре", + "▁Ер е", + "▁dep th", + "▁Н ер", + "▁Не р", + "▁p ull", + "▁pul l", + "▁гре хов", + "▁грех ов", + "▁попа ло", + "▁попал о", + "▁Википе дии", + "▁заве домо", + "▁Д ек", + "▁Де к", + "чи вые", + "▁поэ том", + "▁поэт ом", + "▁c rown", + "▁cr own", + "▁cro wn", + "▁собесед ника", + "▁собеседник а", + "▁ста рую", + "▁стар ую", + "▁стару ю", + "три н", + "тр ин", + "т рин", + "▁Pr ior", + "▁Pri or", + "▁превос ходя", + "▁превосход я", + "▁requ ires", + "▁require s", + "▁малень ким", + "▁архитек туре", + "▁архитектур е", + "▁специаль ная", + "▁специ альная", + "▁вку са", + "▁вкус а", + "▁кре сла", + "▁Ми ровой", + "▁Миро вой", + "▁St ock", + "▁G ib", + "▁Gi b", + "▁D ream", + "▁consider able", + "▁мол чали", + "▁молча ли", + "▁сред ствах", + "▁средства х", + "▁беспокой ство", + "▁F a", + "хо л", + "х ол", + "▁уме ло", + "▁умел о", + "▁заста вляют", + "▁заставля ют", + "▁v eter", + "▁ve ter", + "▁f rag", + "▁fr ag", + "ев рей", + "▁финанси рование", + "▁на лог", + "▁тяже лое", + "▁тяжело е", + "▁particip ate", + "▁вто рг", + "▁втор г", + "▁Мюн хе", + "▁register ed", + "▁Свердлов ской", + "ев ская", + "▁от зыв", + "▁а с", + "▁ ас", + "ло ма", + "лом а", + "▁дела ете", + "▁делает е", + "▁гла зом", + "▁глаз ом", + "С ША", + "▁зам ке", + "су рд", + "сур д", + "ал ов", + "а лов", + "▁Ро ль", + "▁долго го", + "▁typ ical", + "▁Е фре", + "ты вает", + "ши но", + "шин о", + "ш ино", + "▁С емен", + "▁Се мен", + "▁Сем ен", + "▁Семе н", + "▁ря дов", + "▁ряд ов", + "▁м исти", + "▁ми сти", + "▁O nt", + "▁On t", + "▁кра тко", + "▁крат ко", + "▁inter ior", + "▁Portug uese", + "▁ниж нем", + "▁но меров", + "▁номер ов", + "▁номе ров", + "то вской", + "тов ской", + "▁юно шей", + "▁юноше й", + "▁упомина ния", + "▁захо чет", + "▁филосо фа", + "▁философ а", + "%) ,", + "% ),", + "▁G h", + "▁Анали з", + "▁вре менных", + "▁времен ных", + "▁време нных", + "сы лка", + "▁предпринима тель", + "▁Уильям а", + "▁Уилья ма", + "▁союз ных", + "▁указа нием", + "▁указание м", + "▁Кра сный", + "▁Ham ilton", + "▁Нем цы", + "▁пере дана", + "▁перед ана", + "▁переда на", + "▁передан а", + "▁J S", + "▁про водя", + "▁прово дя", + "▁провод я", + "▁Ph ys", + "б ба", + "▁популяр ностью", + "▁популярность ю", + "▁ва х", + "▁ вах", + "▁обра дова", + "▁Р ису", + "▁Ри су", + "▁Рис у", + "по том", + "пот ом", + "st ruct", + "str uct", + "▁teac hers", + "▁teacher s", + "раз рабо", + "▁ма йора", + "▁майор а", + "▁ майора", + "▁моги лы", + "▁g ather", + "▁уси лить", + "▁усили ть", + "▁за писки", + "▁запи ски", + "пе ри", + "пер и", + "л с", + "▁позволя ло", + "▁бе дра", + "▁бед ра", + "▁перевод чик", + "▁откры тые", + "▁открыты е", + "▁in put", + "▁им мигра", + "▁B urn", + "▁Bur n", + "▁N ich", + "▁Nic h", + "▁ q", + "а зиат", + "▁художе ств", + "▁прекра сной", + "▁прекрасно й", + "▁кру то", + "▁теку щей", + "O D", + "пле та", + "плет а", + "п лета", + "▁determ ine", + "зи лся", + "зил ся", + "з ился", + "Я Т", + "▁К руг", + "▁Кру г", + "про вер", + "▁взрос лого", + "▁взросло го", + "▁при шель", + "▁пришел ь", + "час тие", + "части е", + "▁вы веден", + "▁выве ден", + "w ich", + "▁sec ure", + "▁несо гла", + "▁официаль ные", + "▁S D", + "▁ак теров", + "▁актер ов", + "▁превы ша", + "▁Тбили си", + "▁Ж ак", + "▁Жа к", + "▁при ехала", + "▁приехал а", + "▁приеха ла", + "pos t", + "po st", + "p ost", + "▁Ли тератур", + "▁Литера тур", + "▁до полне", + "▁допол не", + "▁лам по", + "▁показа ло", + "▁показал о", + "ific ations", + "ification s", + "▁к рики", + "▁кри ки", + "▁крик и", + "ри йской", + "рий ской", + "▁столи цей", + "▁столице й", + "▁мо сту", + "▁мост у", + "▁выпол нен", + "▁ме няются", + "▁меня ются", + "* .", + "шо м", + "ш ом", + "▁v o", + "▁ vo", + "▁дома шней", + "▁домаш ней", + "▁хоро шень", + "▁свя зывает", + "▁связыва ет", + "▁у бра", + "▁О писание", + "▁запа са", + "▁запас а", + "ва ш", + "▁Эр н", + "F S", + "▁и ст", + "▁ис т", + "▁ ист", + "▁ва сса", + "▁вас са", + "стре би", + "ско ва", + "сков а", + "с кова", + "▁l ies", + "▁ме ща", + "▁фон дов", + "▁фонд ов", + "▁под няли", + "▁подня ли", + "▁поднял и", + "▁r ose", + "▁ro se", + "▁пе вица", + "▁Г ЛА", + "▁эм бле", + "ши вают", + "▁Batt alion", + "те нти", + "тен ти", + "тент и", + "▁album s", + "▁Prem ier", + "▁верх нем", + "ie ge", + "▁пла ву", + "▁плав у", + "▁Кры мской", + "▁Крым ской", + "▁Са му", + "▁Сам у", + "▁поддержи вали", + "▁поддерживал и", + "▁находя щийся", + "▁дет ство", + "▁Л ор", + "▁Ло р", + "▁на ки", + "▁серьез ное", + "▁серьезно е", + "B N", + "▁М ере", + "▁Ме ре", + "▁Мер е", + "▁поговори м", + "▁подписа ли", + "▁подписал и", + "▁critic ism", + "▁мо ё", + "▁Ц ин", + "▁Ци н", + "▁подру га", + "▁раство ра", + "▁раствор а", + "▁устра нения", + "▁поезд ку", + "▁поез дку", + "▁напра вленные", + "▁направлен ные", + "▁rep utation", + "▁относи тельности", + "▁относительно сти", + "▁при город", + "▁приго род", + "▁Ad am", + "▁приспо со", + "▁х вали", + "▁хва ли", + "▁Во просы", + "▁Вопрос ы", + "▁мане ре", + "▁требо ванием", + "▁требование м", + "▁Addition ally", + "▁тео рией", + "In t", + "I nt", + "ut her", + "uth er", + "u ther", + "V I", + "▁отде льности", + "▁отдель ности", + "▁отдельно сти", + "▁Ю жная", + "> >", + "И Х", + "us ing", + "▁документа ми", + "▁Mem orial", + "чник е", + "чни ке", + "ч нике", + "▁Ге рак", + "▁Гер ак", + "▁Гера к", + "шне е", + "ш нее", + "▁невозможно сти", + "▁невозмо жности", + "▁squad ron", + "P ar", + "▁глю ко", + "▁то чное", + "▁точно е", + "▁точ ное", + "▁ точное", + "▁все сторон", + "▁Р яза", + "▁Ря за", + "по мя", + "пом я", + "гра н", + "гр ан", + "г ран", + "▁созда нной", + "▁создан ной", + "▁разрабо тана", + "▁разработан а", + "▁разработа на", + "▁приня тии", + "▁L ieutenant", + "▁де спо", + "▁ме стам", + "▁мест ам", + "▁места м", + "▁драматур г", + "▁за шел", + "▁о ва", + "▁ов а", + "ownt own", + "▁c oun", + "▁co un", + "▁cou n", + "▁Челя бин", + "▁устой чивости", + "▁устойчи вости", + "▁B ureau", + "▁верто летов", + "▁вертолет ов", + "v i", + "▁жела ний", + "▁Со став", + "кле и", + "▁япо нцы", + "▁япон цы", + "▁гости ницы", + "▁фраг мента", + "▁фрагмент а", + "ко т", + "к от", + "▁гри бов", + "▁гриб ов", + "do n", + "d on", + "▁Воору жённых", + "▁re nd", + "▁r end", + "▁ren d", + "▁in tern", + "▁int ern", + "▁inter n", + "▁Аль берт", + "▁Альбер т", + "▁popular ity", + "▁У ЕФА", + "▁S R", + "▁э ква", + "▁эк ва", + "▁по ступи", + "▁посту пи", + "▁поступ и", + "▁Кор не", + "▁подчи нения", + "▁F inal", + "▁Fin al", + "ни вшись", + "нив шись", + "▁револю ционных", + "ze ch", + "z ech", + "▁Ф ай", + "▁Фа й", + "L C", + "▁освое ния", + "де кса", + "декс а", + "ro ke", + "r oke", + "му ж", + "▁входя щих", + "▁процесса х", + "▁Бу дет", + "▁Буд ет", + "чи с", + "ч ис", + "▁за роды", + "▁заро ды", + "▁Ro ute", + "▁Rou te", + "ga s", + "g as", + "▁Т им", + "▁Ти м", + "▁Числе нность", + "зе на", + "зен а", + "з ена", + "▁продук тами", + "▁продукта ми", + "Ж а", + "эм п", + "▁p ray", + "▁pr ay", + "▁pra y", + "▁кафе дра", + "▁з меи", + "▁зме и", + "▁страда ний", + "▁I C", + "▁ IC", + "са сы", + "▁ко че", + "▁впечат ля", + "▁ве гета", + "▁урав нове", + "▁ура внове", + "▁Моло дой", + "▁показа ний", + "▁А рт", + "▁Ар т", + "▁га ллю", + "▁гал лю", + "▁япо нцев", + "▁япон цев", + "] :", + "▁ре воль", + "▁Stud ios", + "▁Studio s", + "▁st adium", + "▁test ing", + "у чи", + "▁супру же", + "▁land ing", + "▁ника кие", + "▁скан дал", + "▁сканда л", + "дравству йте", + "▁Вол ги", + "▁cred it", + "▁завое вать", + "tra ck", + "tr ack", + "t rack", + "▁Шек спи", + "▁ро дины", + "▁роди ны", + "▁род ины", + "▁последу ющей", + "▁коммента риев", + "▁тек сти", + "▁текст и", + "▁contro vers", + "▁девя но", + "ти цы", + "▁за брать", + "▁забра ть", + "▁заб рать", + "▁Молда вии", + "▁право вых", + "▁восклик нул", + "k h", + "ва емым", + "та мина", + "тами на", + "там ина", + "▁подтвер дить", + "▁иде ально", + "▁идеаль но", + "▁идеа льно", + "ма ров", + "мар ов", + "▁z one", + "▁полу чите", + "▁получи те", + "▁получит е", + "▁дей ствующей", + "▁действу ющей", + "▁R ang", + "ри ко", + "рик о", + "▁Фё дорович", + "▁пье са", + "▁пьес а", + "спо кой", + "▁по ложению", + "▁поло жению", + "▁гри б", + "▁бактери й", + "пто м", + "пт ом", + "п том", + "▁ф ли", + "▁ фли", + "w orld", + "▁контр развед", + "▁ф лаго", + "▁фла го", + "▁флаг о", + "▁v ary", + "▁var y", + "▁t ur", + "▁а пель", + "▁апел ь", + "▁фор ума", + "▁фору ма", + "А д", + "▁Pal est", + "▁би леты", + "▁билет ы", + "▁ком пре", + "▁комп ре", + "▁Пла тона", + "▁Ц у", + "▁больше вики", + "▁большеви ки", + "▁При бы", + "▁про сты", + "▁прос ты", + "▁прост ы", + "▁дли нных", + "▁длин ных", + "▁ро ждение", + "ша лось", + "шало сь", + "▁t ick", + "▁ды ма", + "▁дым а", + "▁нагруз ку", + "▁a ired", + "▁air ed", + "▁Муж чина", + "▁HT ML", + "▁ко зы", + "▁коз ы", + "▁всеоб щего", + "▁компе тент", + "▁компетен т", + "▁вы нес", + "▁th inking", + "▁think ing", + "▁постано влением", + "▁постанов лением", + "▁постановление м", + "▁да дут", + "▁Wal ter", + "▁депре ссии", + "▁истори ческом", + "▁чер той", + "▁черт ой", + "▁ат ака", + "▁ата ка", + "▁атак а", + "▁techn ique", + "atab ase", + "▁обрабо тка", + "▁параш ют", + "▁парашю т", + "▁ди к", + "▁ дик", + "▁дере ву", + "▁дерев у", + "▁дер еву", + "▁Роди тели", + "▁suff icient", + "▁у казывается", + "▁указыва ется", + "▁указывает ся", + "▁ис ходит", + "▁исход ит", + "зы вов", + "зыв ов", + "▁логи ке", + "▁in her", + "▁ар ген", + "со вета", + "совет а", + "▁ex erc", + "▁конгре сс", + "жда лся", + "ждал ся", + "▁pro hib", + "▁откло нения", + "▁юриди ческой", + "еди но", + "един о", + "ед ино", + "е дино", + "▁Bar b", + "▁ex ception", + "▁except ion", + "ря н", + "р ян", + "так те", + "такт е", + "По чему", + "▁стро ю", + "▁телекана ла", + "▁candid ates", + "▁candidate s", + "▁ну жное", + "▁нужно е", + "▁нуж ное", + "▁И Н", + "▁ ИН", + "▁низ ких", + "▁Свет лана", + "▁Зе ландии", + "▁торго влю", + "▁торгов лю", + "▁оцен ил", + "▁оце нил", + "▁оцени л", + "▁Dougl as", + "ил ла", + "илл а", + "и лла", + "▁в водить", + "▁китай ский", + "▁кита йский", + "er to", + "ert o", + "ap ping", + "app ing", + "▁Эд вард", + "▁утвер ждён", + "▁способ ствовали", + "▁испыты вают", + "▁Ад риа", + "▁п али", + "▁па ли", + "▁пал и", + "▁ пали", + "▁Turk ish", + "▁Гра ф", + "ra ce", + "rac e", + "r ace", + "▁обусло влено", + "▁де по", + "▁извести е", + "▁испол нил", + "▁исполни л", + "▁Л ам", + "▁Ла м", + "▁переда ется", + "▁передает ся", + "образова ния", + "il st", + "ils t", + "ie ties", + "iet ies", + "▁лек ций", + "ни честве", + "▁зая влял", + "▁заявля л", + "▁д вести", + "▁две сти", + "▁похо жий", + "▁похожи й", + "По след", + "После д", + "▁Си нга", + "▁Син га", + "ph a", + "p ha", + "▁зна ниями", + "▁знания ми", + "▁гря зь", + "▁гряз ь", + "▁хреб та", + "▁журна лы", + "▁журнал ы", + "▁Мар ты", + "▁ву зов", + "▁о сматри", + "▁ос матри", + "▁числе нностью", + "▁численность ю", + "▁Э нциклопе", + "▁s kin", + "▁sk in", + "мо вых", + "мов ых", + "▁плохо го", + "▁Не извест", + "oc racy", + "ocr acy", + "▁гер мети", + "▁стрем ясь", + "▁стремя сь", + "▁пре сса", + "▁пресс а", + "▁Восто чно", + "▁Вос точно", + "▁изо ляции", + "▁иде ал", + "▁идеа л", + "▁по кая", + "▁пока я", + "▁В ласти", + "▁Вла сти", + "▁запро са", + "▁запрос а", + "▁выбира ет", + "▁f iled", + "▁file d", + "▁fil ed", + "▁сторо нами", + "▁сторона ми", + "▁сторонам и", + "▁ста рое", + "▁стар ое", + "▁старо е", + "▁маши ной", + "▁машин ой", + "▁машино й", + "лка х", + "л ках", + "ar sh", + "ars h", + "▁пло д", + "▁фа вори", + "ma p", + "m ap", + "t ure", + "тех нической", + "техни ческой", + "▁официаль ное", + "▁официально е", + "▁зая влении", + "▁заболевания х", + "▁форму ла", + "▁re act", + "ль ником", + "льник ом", + "▁А ки", + "▁Ак и", + "▁ри мский", + "▁рим ский", + "▁вы пря", + "il ler", + "ill er", + "ille r", + "▁нелег ко", + "▁на ходили", + "▁находи ли", + "▁наход или", + "▁находил и", + "▁фор мами", + "▁форма ми", + "▁моги ле", + "▁увели чением", + "▁увеличе нием", + "▁увеличение м", + "es c", + "e sc", + "▁ста ну", + "▁стан у", + "▁пье с", + "▁инже нером", + "▁инженер ом", + "▁B arn", + "▁Bar n", + "ra v", + "r av", + "il it", + "ili t", + "▁па кета", + "▁пакет а", + "▁паке та", + "▁st ands", + "▁stand s", + "▁присоеди ниться", + "▁Интер нете", + "▁Интернет е", + "▁интеллек т", + "ло ву", + "лов у", + "ди ями", + "дия ми", + "▁по при", + "▁поп ри", + "▁слы шит", + "да же", + "▁invest ment", + "▁мо деля", + "▁моде ля", + "▁состоя ло", + "▁состоял о", + "▁poet ry", + "▁пода рил", + "▁подар ил", + "▁а рифмети", + "uz z", + "u zz", + "▁це лой", + "▁цело й", + "▁проя вить", + "▁прояви ть", + "▁e rect", + "▁er ect", + "▁ere ct", + "▁тон кий", + "▁сосед ней", + "▁сдела нные", + "▁сделан ные", + "▁Буда пе", + "um a", + "u ma", + "▁r ating", + "▁ra ting", + "▁rat ing", + "▁C ape", + "▁Cap e", + "▁Ca pe", + "сно в", + "с нов", + "▁прой дут", + "▁Литера тура", + "▁Литератур а", + "▁средневе ковой", + "▁про воци", + "▁прово ци", + "▁Ка зи", + "▁person s", + "▁pers ons", + "▁accom pl", + "Х у", + "▁шу тку", + "▁до ходит", + "▁доход ит", + "ov en", + "ove n", + "o ven", + "es ter", + "est er", + "e ster", + "▁Mel bourne", + "▁соответ ствия", + "▁Af ghan", + "▁re serv", + "▁res erv", + "▁пле мя", + "▁пору чено", + "▁и зре", + "▁из ре", + "▁sat isf", + "▁aspect s", + "▁оцени вать", + "▁успе ла", + "▁успел а", + "▁Суво рова", + "▁зоо пар", + "▁е ли", + "▁Вене ции", + "▁Conf eder", + "на с", + "н ас", + "▁ра зоб", + "▁раз об", + "▁разо б", + "▁католи ческой", + "▁наме рение", + "▁намере ние", + "▁re action", + "▁react ion", + "Е вро", + "мет рия", + "метри я", + "▁спраши вал", + "▁пода вления", + "▁g ang", + "▁Ду ха", + "К ре", + "ло гами", + "лога ми", + "▁аэрод роме", + "▁аэродром е", + "▁аэродро ме", + "▁в их", + "▁ви х", + "▁гне здо", + "▁гнез до", + "▁гра би", + "po wer", + "p ower", + "▁Зе ле", + "▁у пад", + "▁упа д", + "▁кре сло", + "!) .", + "! ).", + "▁хими ческого", + "м вор", + "▁буты лку", + "▁супру гов", + "▁пробле мах", + "▁проблема х", + "од но", + "о дно", + "ст ному", + "стно му", + "стном у", + "с тному", + "ши вать", + "▁созда ла", + "▁создал а", + "▁соз дала", + "С О", + "вле нно", + "влен но", + "в ленно", + "▁поя влении", + "▁напо добие", + "▁лам пы", + "▁Ры ба", + "b us", + "▁О кс", + "▁Ок с", + "▁не бре", + "▁ небре", + "▁С ена", + "▁Се на", + "▁Сен а", + "▁пере менной", + "▁переме нной", + "▁перемен ной", + "( (", + "▁Закон ода", + "▁Законо да", + "▁loc omot", + "▁ве дении", + "▁ ведении", + "▁защи той", + "▁защит ой", + "▁приобре ли", + "▁приоб рели", + "▁приобрел и", + "▁рассматри ваются", + "▁инициа тивы", + "▁настоя щих", + "▁К В", + "▁часто та", + "ли тся", + "лит ся", + "л ится", + "ру ющее", + "рую щее", + "▁ва гон", + "▁ваго н", + "▁интере сом", + "▁интерес ом", + "▁интересо м", + "ко ди", + "ти ей", + "тие й", + "▁ref ers", + "▁refer s", + "ar go", + "arg o", + "▁брат ьями", + "▁брать ями", + "▁братья ми", + "▁с пора", + "▁спо ра", + "▁спор а", + "▁позна ва", + "▁за пута", + "▁запу та", + "▁призна ком", + "▁признак ом", + "ТО Р", + "Т ОР", + "ва к", + "в ак", + "ol as", + "ola s", + "▁div or", + "▁M oh", + "▁Mo h", + "▁семей ной", + "▁ресур с", + "▁сексуаль ной", + "▁усили ями", + "▁усилия ми", + "СКА Я", + "ру т", + "р ут", + "n i", + "▁Не бе", + "лл ь", + "л ль", + "▁вер хом", + "▁верх ом", + "▁пере писы", + "▁перепи сы", + "hi re", + "h ire", + "чи ке", + "чик е", + "▁социаль ное", + "▁социально е", + "▁соци альное", + "ста ть", + "с тать", + "▁Един ственный", + "▁base ball", + "▁concern ed", + "▁лето писи", + "▁летопи си", + "▁рекомен дова", + "▁ко шка", + "▁кош ка", + "▁фа льси", + "▁фаль си", + "▁Д ья", + "▁под чёр", + "▁rail road", + "▁дипло мат", + "▁диплома т", + "▁диплом ат", + "шко ва", + "шков а", + "ш кова", + "рес чур", + "▁промышлен ной", + "▁по ехать", + "▁пое хать", + "▁Бо жий", + "▁Божи й", + "▁ве тром", + "▁вет ром", + "▁защит ника", + "▁защитник а", + "▁А ЭС", + "▁inn ov", + "▁прави телей", + "не ся", + "нес я", + "▁расстре ля", + "▁вра чу", + "▁врач у", + "▁L td", + "▁прави льного", + "▁правильно го", + "сф ер", + "с фер", + "▁histor ian", + "▁исполни тель", + "▁Фран ци", + "▁Фра нци", + "▁рее стре", + "▁килограм мов", + "▁W he", + "▁Wh e", + "▁Севасто поль", + "сси они", + "ссион и", + "▁О конча", + "▁Окон ча", + "▁вое вода", + "▁отпра вилась", + "▁Ш ми", + "▁у езде", + "▁уезд е", + "▁уез де", + "дс кий", + "д ский", + "ос нова", + "о снова", + "▁account s", + "▁кило метра", + "▁километ ра", + "▁заим ствова", + "▁вы ехал", + "▁не жи", + "▁образу я", + "мя т", + "м ят", + "▁оста вляют", + "▁оставля ют", + "o is", + "▁описа ны", + "▁чита тели", + "▁вы пустить", + "▁выпу стить", + "▁выпусти ть", + "▁повсе местно", + "пс о", + "п со", + "▁К ино", + "▁Ки но", + "▁Кин о", + "произ вод", + "▁прав де", + "же ва", + "жев а", + "ж ева", + "жё р", + "ж ёр", + "▁следу я", + "жь те", + "ж ьте", + "▁пере ходя", + "▁переход я", + "▁От сутствие", + "▁t all", + "▁tal l", + "▁And erson", + "▁im prison", + "▁imp rison", + "▁солне чных", + "▁хло по", + "▁хлоп о", + "▁Boe ing", + "▁фо кус", + "▁зве рей", + "▁зв ерей", + "▁звер ей", + "▁j ourney", + "▁циф ровой", + "▁ожида ется", + "▁ожидает ся", + "▁отрица тельно", + "▁дли нными", + "▁длин ными", + "ре не", + "рен е", + "▁об нима", + "▁при родного", + "▁приро дного", + "▁природ ного", + "▁Севасто поля", + "▁пережи ваний", + "▁деся ток", + "an th", + "ant h", + "ar ry", + "▁rel ief", + "си тесь", + "сите сь", + "▁Поль ша", + "▁ка менные", + "▁камен ные", + "▁каме нные", + "▁не стаби", + "Восто чной", + "▁За байка", + "▁т в", + "▁В за", + "▁Вз а", + "▁Уз нав", + "▁Узна в", + "образ но", + "▁p ric", + "▁pr ic", + "▁pri c", + "▁раз ницы", + "▁Иоси фа", + "▁Иосиф а", + "l s", + "rel ated", + "▁other wise", + "▁ради олока", + "▁радио лока", + "▁обозна чает", + "▁обознача ет", + "▁результа тами", + "▁результатам и", + "▁результата ми", + "▁с кру", + "▁ск ру", + "igh ters", + "ight ers", + "ighter s", + "▁н я", + "▁ ня", + "▁электри ческих", + "th eless", + "the less", + "▁Все ленная", + "▁invol ving", + "▁замы сел", + "▁пред логом", + "▁тре тью", + "▁треть ю", + "пи ю", + "▁пред чув", + "▁е хал", + "▁еха л", + "▁ ехал", + "▁от нима", + "▁физи ка", + "▁физик а", + "▁Полу чается", + "▁K al", + "▁отече ственных", + "▁от клады", + "▁ме стном", + "▁мест ном", + "▁ка чеством", + "▁каче ством", + "▁качество м", + "▁качеств ом", + "▁собе се", + "▁откры лась", + "▁открыла сь", + "ос и", + "о си", + "▁process es", + "▁ве рный", + "▁вер ный", + "Он и", + "О ни", + "er ted", + "ert ed", + "ди нга", + "дин га", + "динг а", + "▁Ан таркти", + "▁По дума", + "▁Под ума", + "▁Сред него", + "▁Ско тт", + "▁академи ка", + "▁академик а", + "▁за горе", + "▁мо тори", + "▁мото ри", + "▁мотор и", + "▁про сят", + "▁прос ят", + "▁Особ ое", + "▁Осо бое", + "▁В ре", + "ги вает", + "▁fix ed", + "▁несколь ким", + "▁валю ты", + "▁пра вы", + "▁прав ы", + "▁раз ницу", + "▁Ва ша", + "▁Ваш а", + "▁Championship s", + "▁ле до", + "▁лед о", + "мен кла", + "▁re nt", + "▁r ent", + "▁ren t", + "▁ rent", + "▁му сор", + "▁мусо р", + "▁на ряд", + "▁наря д", + "▁По ст", + "▁законо проект", + "▁законопроек т", + "ль щики", + "▁Иль ин", + "▁Ильи н", + "▁И нте", + "▁Ин те", + "▁гу стой", + "▁С вою", + "▁Сво ю", + "▁тра ве", + "▁трав е", + "ству ющая", + "▁ста туи", + "▁стату и", + "▁на ращи", + "▁вклю чена", + "og ether", + "o gether", + "▁сопри косно", + "▁ам пли", + "▁sequ ence", + "ли чные", + "▁v ision", + "▁vis ion", + "▁реаги ровать", + "▁бли зки", + "▁близ ки", + "▁decl ined", + "▁истори ческое", + "▁m yth", + "▁my th", + "▁G ab", + "▁a wards", + "▁award s", + "▁aw ards", + "▁руко ят", + "▁Ме та", + "▁Мет а", + "▁т р", + "▁ тр", + "нь те", + "н ьте", + "▁Ц ы", + "▁t act", + "Се й", + "С ей", + "ме нным", + "мен ным", + "▁пере менных", + "▁переме нных", + "▁перемен ных", + "▁фото аппара", + "▁транс форми", + "▁Ста мбу", + "гра ть", + "г рать", + "▁d ates", + "▁date s", + "▁В ор", + "▁Во р", + "це нден", + "цен ден", + "▁приве зли", + "▁привез ли", + "▁разрабо ткой", + "▁интер вен", + "▁n aval", + "▁e cho", + "▁ec ho", + "▁учеб ные", + "▁созда нная", + "▁создан ная", + "▁столк нулись", + "▁столкну лись", + "▁And re", + "ИЧ Е", + "ron ze", + "▁r ain", + "▁ra in", + "▁ rain", + "▁кры ше", + "▁си не", + "▁а мино", + "▁ам ино", + "▁исче зла", + "▁исчез ла", + "▁про филь", + "▁профи ль", + "▁проф иль", + "то ка", + "ток а", + "лко ма", + "лком а", + "л кома", + "▁С хема", + "▁откры лся", + "▁открыл ся", + "el lect", + "ell ect", + "elle ct", + "▁rec ru", + "▁съем ки", + "▁S aturday", + "▁Тро цкого", + "een th", + "e enth", + "▁пере жить", + "▁пережи ть", + "▁А са", + "▁не прав", + "▁муж чиной", + "▁мужчи ной", + "▁мужчин ой", + "▁пропо вед", + "▁пропове д", + "ле ев", + "лее в", + "▁passeng er", + "▁Тре бу", + "▁площа дку", + "▁соста вило", + "▁составил о", + "▁Люд мила", + "▁коро лём", + "▁раз грани", + "▁разгра ни", + "▁де кре", + "▁Ind ones", + "▁dipl om", + "логи ческая", + "вле нном", + "влен ном", + "вленно м", + "в ленном", + "▁По началу", + "▁strong ly", + "▁На за", + "▁Наз а", + "▁поме стить", + "П Л", + "по сть", + "▁ко гни", + "▁го товых", + "▁гото вых", + "▁готов ых", + "▁готовы х", + "ien cy", + "i ency", + "▁про пуск", + "▁пропу ск", + "▁прио станови", + "да в", + "д ав", + "▁на жима", + "▁нажи ма", + "▁Никола евна", + "▁Николаев на", + "▁о тру", + "▁от ру", + "N e", + "▁Сю да", + "▁разви тых", + "▁напом нить", + "▁Ш ам", + "▁Ша м", + "щую ся", + "▁стро ке", + "▁строк е", + "▁возду хом", + "▁воздух ом", + "▁стади он", + "▁разли чий", + "▁различи й", + "ер ба", + "е рба", + "▁Islam ic", + "▁выпол нена", + "▁выполнен а", + "шн ую", + "ш ную", + "▁жи лой", + "▁жил ой", + "▁к ля", + "▁ кля", + "▁рас твори", + "▁раство ри", + "▁раствор и", + "▁раст вори", + "▁квали фика", + "▁Тихо го", + "▁a gency", + "▁ag ency", + "▁математи ке", + "▁матема тике", + "▁до чер", + "▁доче р", + "▁з веря", + "▁зве ря", + "▁звер я", + "▁Узбеки стана", + "as ka", + "ask a", + "▁До чь", + "▁стихотво рений", + "▁German s", + "До ну", + "Дон у", + "Д ону", + "▁fact or", + "▁fa ctor", + "▁на ступил", + "▁наступ ил", + "кс ы", + "к сы", + "▁Вы ше", + "▁ин станции", + "▁приме няться", + "▁применя ться", + "▁применять ся", + "ст ем", + "сте м", + "с тем", + "▁жа жду", + "▁Яковле вич", + "▁ви не", + "▁вин е", + "▁о м", + "▁ ом", + "▁культур ные", + "og en", + "o gen", + "igen ous", + "▁магази нах", + "▁магазина х", + "▁описы вается", + "▁описывает ся", + "вы вает", + "▁Не сом", + "▁эпизо де", + "▁эпизод е", + "д д", + "▁Ц ИК", + "▁dep ict", + "▁se ctions", + "▁section s", + "▁тех ническим", + "▁техни ческим", + "▁ноя брь", + "▁Со бор", + "▁Соб ор", + "▁попро сить", + "▁Ш ли", + "сно му", + "сном у", + "с ному", + "▁у стье", + "▁ус тье", + "▁Табли ца", + "▁bring ing", + "▁пре дви", + "▁пред ви", + "▁итальян ских", + "▁теоре тически", + "▁фраг мент", + "▁ископа емых", + "гни т", + "г нит", + "▁E xt", + "▁Ex t", + "▁обви нению", + "▁у му", + "▁ум у", + "▁насе лённые", + "▁населё нные", + "▁населён ные", + "▁и поте", + "▁m ys", + "▁my s", + "▁деревя нных", + "▁прогре сси", + "▁прогресс и", + "▁за ду", + "▁зад у", + "▁координа ты", + "▁координат ы", + "ine ma", + "inem a", + "▁ве щами", + "▁веща ми", + "▁St aff", + "▁каза лась", + "▁з лове", + "▁зло ве", + "▁rel ative", + "▁Java Script", + "▁республи ка", + "▁республик а", + "▁пра вам", + "▁прав ам", + "▁права м", + "Мо н", + "М он", + "▁d iam", + "▁di am", + "▁не мину", + "▁ко пей", + "▁коп ей", + "▁оста вила", + "▁оставил а", + "до у", + "▁Петро пав", + "▁Там бов", + "▁возвра тился", + "сси ми", + "сс ими", + "▁Даль нем", + "▁национа льным", + "▁ре шают", + "▁реша ют", + "▁A li", + "▁Al i", + "▁предназна чен", + "чи ваться", + "чивать ся", + "чива ться", + "числе ния", + "чис ления", + "рным и", + "р ными", + "▁пер о", + "▁пе ро", + "▁фигу ру", + "▁фигур у", + "▁п ету", + "▁пе ту", + "▁пет у", + "▁корот ких", + "▁жерт вами", + "▁ли чную", + "▁а мерика", + "▁предпри нять", + "▁предприня ть", + "▁Tem ple", + "us hing", + "ush ing", + "В И", + "т ль", + "▁ще л", + "▁возду шные", + "▁воздуш ные", + "▁Европе йского", + "▁Европей ского", + "▁ни к", + "▁ ник", + "▁Сто имость", + "▁Хру щев", + "юр а", + "ю ра", + "▁meas ures", + "▁measure s", + "▁насле дие", + "▁за коне", + "▁зако не", + "▁закон е", + "▁зак оне", + "▁предста влено", + "▁представлен о", + "▁на ду", + "▁над у", + "▁P ear", + "▁Pe ar", + "▁с вести", + "▁све сти", + "▁рав ны", + "▁посе лка", + "▁произ вел", + "ва рь", + "вар ь", + "в арь", + "▁Л ек", + "▁Ле к", + "▁N aval", + "▁Na val", + "▁За втра", + "▁G it", + "▁Gi t", + "▁Пара лле", + "▁мисси с", + "▁ак тивные", + "▁актив ные", + "▁деревя нный", + "rick et", + "▁T ype", + "▁Ty pe", + "▁ Type", + "▁зарпла ту", + "▁популяр ным", + "▁популя рным", + "Ма й", + "М ай", + "▁коммуника ций", + "▁Мар ша", + "▁appe al", + "ун да", + "унд а", + "у нда", + "▁на ти", + "▁особ ей", + "▁осо бей", + "▁превра тились", + "к р", + "▁n ort", + "▁nor t", + "нт у", + "н ту", + "▁B uilding", + "▁злоу мышлен", + "▁совпада ют", + "▁совпа дают", + "пре дь", + "пред ь", + "▁Х леб", + "▁национа льном", + "▁национально м", + "реди енты", + "ж мите", + "▁фабри ка", + "ag s", + "a gs", + "▁Генера льный", + "▁Те ль", + "▁значи мость", + "▁знач имость", + "▁моно поли", + "▁монопо ли", + "▁С р", + "▁Ара вии", + "▁Арави и", + "▁ка ло", + "▁ кало", + "▁жертво при", + "ри но", + "рин о", + "р ино", + "▁b irds", + "▁ад ъютан", + "▁образ цо", + "▁э ссе", + "▁эс се", + "▁уче ника", + "▁ученик а", + "ду тся", + "дут ся", + "▁на сти", + "▁нас ти", + "О Б", + "ев ка", + "е вка", + "▁D om", + "▁Do m", + "▁зака зу", + "▁заказ у", + "▁res emb", + "▁rese mb", + "▁ни чуть", + "▁Н евского", + "▁Не вского", + "▁How ard", + "▁Ho ward", + "▁каза лись", + "▁achie ve", + "▁Ис ходя", + "по жа", + "▁Те атра", + "▁cour ses", + "▁course s", + "Е Ч", + "▁Ко нец", + "▁Кон ец", + "▁голо вок", + "▁голов ок", + "▁корпу сом", + "▁корпус ом", + "▁ль ду", + "▁Die go", + "ри ков", + "рик ов", + "рико в", + "▁конферен ция", + "бы тия", + "хо вского", + "хов ского", + "ри мина", + "рим ина", + "▁О тра", + "▁От ра", + "▁солне чной", + "c i", + "▁пе вец", + "▁пев ец", + "▁в ходить", + "▁входит ь", + "▁вход ить", + "▁входи ть", + "▁кварта ле", + "▁ве ри", + "▁вер и", + "▁ вери", + "pt y", + "p ty", + "ad s", + "en ch", + "enc h", + "▁play off", + "▁за пра", + "▁хра мы", + "▁храм ы", + "▁убеди тельно", + "▁рассматри ваться", + "▁рассматривать ся", + "▁да льности", + "▁даль ности", + "Но р", + "Н ор", + "▁consec utive", + "▁отре аги", + "▁че ресчур", + "▁rest ored", + "▁ре фор", + "▁реф ор", + "▁артилле рийского", + "▁артиллерий ского", + "▁pl us", + "ва ющихся", + "ваю щихся", + "вающих ся", + "▁При чиной", + "▁m ob", + "▁масси ва", + "▁массив а", + "▁вспы х", + "▁насе лению", + "▁предусмотре нных", + "▁предусмотрен ных", + "▁О су", + "▁Ос у", + "▁по интере", + "▁Органи зация", + "▁организова н", + "▁свя зывают", + "▁связыва ют", + "▁П ят", + "▁Пя т", + "▁че рная", + "▁чер ная", + "M C", + "▁станов ления", + "▁стано вления", + "ve ments", + "vement s", + "v ements", + "▁Im perial", + "▁сохра нился", + "▁сохрани лся", + "▁сохранил ся", + "▁сохран ился", + "▁пи рат", + "▁пира т", + "▁пир ат", + "▁нау чная", + "▁B os", + "▁Bo s", + "▁коме дий", + "▁скан дина", + "▁стади она", + "▁стадион а", + "▁бо льные", + "▁боль ные", + "▁сформи ровать", + "oc a", + "o ca", + "▁сложи лось", + "и муще", + "▁завер шении", + "▁ком по", + "▁комп о", + "▁результа тах", + "▁результата х", + "▁выра жению", + "▁кафе дре", + "B ut", + "▁шири ну", + "▁с фера", + "▁сф ера", + "▁сфе ра", + "▁ сфера", + "▁ма лый", + "▁малы й", + "▁на ходил", + "▁находи л", + "▁наход ил", + "▁за тяги", + "▁затя ги", + "▁стаби льности", + "▁Ж ил", + "▁Жи л", + "▁испыта ние", + "▁с вязать", + "▁свя зать", + "▁связа ть", + "▁R oy", + "▁Ro y", + "▁футбо ль", + "▁фут боль", + "▁футбол ь", + "be s", + "b es", + "ма д", + "м ад", + "▁er r", + "▁ err", + "▁Ш ере", + "▁Ше ре", + "▁Шер е", + "▁Пол тав", + "▁ве чной", + "▁вечно й", + "▁Кон струк", + "▁воору жён", + "раз ум", + "разу м", + "мо ли", + "мол и", + "▁consist ing", + "▁к ром", + "▁кро м", + "▁кр ом", + "▁ли мон", + "▁лим он", + "▁поку пку", + "▁Ф рэн", + "▁Фрэ н", + "▁по дко", + "▁под ко", + "▁буд ьте", + "▁будь те", + "▁погре ба", + "▁несо ответ", + "би ю", + "▁о хота", + "▁охо та", + "▁охот а", + "▁особенно стью", + "▁особен ностью", + "▁особенность ю", + "▁St art", + "▁Star t", + "▁есте ственный", + "▁v ice", + "▁разрабо таны", + "▁разработан ы", + "▁разработа ны", + "▁пре зира", + "▁ме бель", + "▁У чеб", + "▁Уче б", + "нк ом", + "н ком", + "ль цев", + "▁Ря д", + "▁с пле", + "▁st ages", + "▁stage s", + "▁бе лом", + "▁бело м", + "▁глубо ких", + "М С", + "▁m olec", + "▁кратков ремен", + "▁кратко времен", + "▁вдох нови", + "▁вдохнов и", + "▁кварти ра", + "▁квар тира", + "▁квартир а", + "▁Стани слава", + "▁Станислав а", + "де нный", + "ден ный", + "▁der ived", + "▁боя лись", + "▁обре сти", + "али зация", + "а лизация", + "▁ве лась", + "▁вела сь", + "o j", + "▁возмо жен", + "▁В он", + "▁Во н", + "▁ле жать", + "▁лежа ть", + "▁лежат ь", + "▁обсу ждали", + "▁обсужда ли", + "▁от рас", + "▁отра с", + "▁го рной", + "▁гор ной", + "▁горно й", + "▁зали ве", + "▁залив е", + "▁буду щим", + "ге но", + "ген о", + "▁д жи", + "▁ джи", + "то чное", + "точно е", + "▁поправ ки", + "▁попра вки", + "▁H ans", + "▁Ha ns", + "▁Han s", + "▁социаль ным", + "▁соци альным", + "▁пе сне", + "▁пес не", + "▁учё том", + "гра фы", + "граф ы", + "▁пра вами", + "▁права ми", + "▁правам и", + "▁H ur", + "▁Hu r", + "▁Джей мса", + "▁Джеймс а", + "r m", + "▁require ments", + "ie val", + "▁изу чением", + "▁изучение м", + "▁прекра сные", + "▁библиоте к", + "▁библио тек", + "▁O cean", + "▁ло дке", + "▁с ном", + "▁сно м", + "▁ сном", + "▁про коммен", + "▁j e", + "▁ je", + "гра фов", + "граф ов", + "▁излу чение", + "ви чей", + "вич ей", + "ро дом", + "род ом", + "▁ко пий", + "▁копи й", + "▁Жи тели", + "▁стра шный", + "▁страш ный", + "▁удержи вать", + "▁is lands", + "▁island s", + "▁уточ нил", + "▁исследова нию", + "▁колле дж", + "▁твор ческих", + "▁ex port", + "▁exp ort", + "▁воз дви", + "▁ф ин", + "▁фи н", + "▁ фин", + "▁назна чении", + "▁S el", + "▁Se l", + "▁m ental", + "▁ment al", + "▁Л ё", + "▁ана то", + "▁снима ет", + "▁наро дами", + "▁народа ми", + "▁ка менных", + "▁камен ных", + "▁каме нных", + "▁проя вляет", + "▁проявля ет", + "▁D omin", + "▁Do min", + "▁Dom in", + "▁го товые", + "▁гото вые", + "▁готовы е", + "лу к", + "▁соб рали", + "▁собра ли", + "▁собрал и", + "▁d ies", + "▁di es", + "▁die s", + "▁упомя нуть", + "▁упомяну ть", + "▁Воз ника", + "▁Возник а", + "▁плате жей", + "▁вы су", + "▁выс у", + "▁еди ную", + "▁един ую", + "▁king dom", + "▁напра вленных", + "▁направлен ных", + "▁чу дом", + "▁чудо м", + "снаб жения", + "▁С тало", + "▁Ста ло", + "▁ст ул", + "▁сту л", + "зо вского", + "зов ского", + "кос новен", + "косно вен", + "▁Ви део", + "▁максима льная", + "ли вой", + "ливо й", + "лив ой", + "▁мо ды", + "▁Фран ко", + "▁Франк о", + "▁добро го", + "▁доб рого", + "вар дии", + "▁позд ней", + "▁жи лого", + "▁у ступил", + "▁уступ ил", + "id ers", + "ider s", + "лет ние", + "▁первен ства", + "▁охра ну", + "▁охран у", + "ки нг", + "кин г", + "к инг", + "▁ad vent", + "▁adv ent", + "▁у говари", + "▁уго вари", + "ша р", + "ш ар", + "▁ре чной", + "▁сна ряд", + "▁снаря д", + "▁Ont ario", + "су щ", + "▁называ ем", + "▁ску чно", + "▁б лин", + "▁бли н", + "▁St ring", + "▁ String", + "балан си", + "▁Тер рито", + "▁челове ческая", + "▁Кон вен", + "▁шер сти", + "ро ман", + "ром ан", + "рома н", + "с ре", + "▁С мы", + "▁См ы", + "▁бо жества", + "▁боже ства", + "▁катастро фа", + "▁составля ющие", + "▁завер ша", + "▁университе тов", + "▁университет ов", + "▁i Phone", + "▁« »", + "▁Gord on", + "ri ent", + "rie nt", + "r ient", + "́ к", + "ag u", + "a gu", + "▁Фридри ха", + "▁Фридрих а", + "▁пре дел", + "▁преде л", + "▁просле дить", + "▁обо рачи", + "▁организа циях", + "▁организация х", + "iv ate", + "iva te", + "▁сте ной", + "▁стен ой", + "▁мор ально", + "▁мора льно", + "▁C zech", + "вре менно", + "времен но", + "в ременно", + "▁he ads", + "▁head s", + "дне е", + "д нее", + "▁Вне за", + "▁краси вая", + "▁поэ ты", + "▁поэт ы", + "ше нными", + "шен ными", + "шенным и", + "▁High way", + "▁горо дами", + "▁города ми", + "▁ре альным", + "▁реаль ным", + "▁реа льным", + "ne st", + "nes t", + "n est", + "▁Hou ston", + "▁Основ ными", + "▁Основным и", + "▁в ступила", + "▁вступил а", + "▁вступи ла", + "▁вступ ила", + "се нь", + "сен ь", + "с ень", + "▁От ве", + "▁бога той", + "▁богат ой", + "▁Тек ст", + "▁Ка пи", + "про цен", + "проце н", + "▁при жи", + "▁Воору женных", + "▁про рока", + "▁проро ка", + "го ни", + "гон и", + "г они", + "L a", + "ни ор", + "нио р", + "▁ре зь", + "▁рез ь", + "▁повто рил", + "▁Тер мин", + "▁предыду щие", + "pl ication", + "plic ation", + "▁Древ ней", + "▁серде чно", + "▁практи ческих", + "▁прак тических", + "▁практически х", + "▁ла п", + "▁л ап", + "но вую", + "нов ую", + "нову ю", + "▁сбор ника", + "▁сборник а", + "▁нау чились", + "▁сверх ъесте", + "во рение", + "▁subs id", + "▁День ги", + "ha rd", + "h ard", + "▁комбина ции", + "▁оста льными", + "▁остальным и", + "▁воспомина ниях", + "▁воспоминания х", + "▁Евро со", + "ма йора", + "майор а", + "ту ар", + "туа р", + "С вобо", + "▁a thlet", + "▁вз лета", + "▁потенциаль ных", + "▁потенциа льных", + "▁I ron", + "▁Ir on", + "▁солне чного", + "▁жест ко", + "ord an", + "лю т", + "л ют", + "▁генера лу", + "▁генерал у", + "фи р", + "ф ир", + "▁ю мора", + "▁юмо ра", + "▁команду ющим", + "▁свя ты", + "▁за ходит", + "▁захо дит", + "▁телеви зор", + "ре вич", + "р евич", + "▁паль то", + "▁Ser ver", + "▁Serv er", + "▁институ ты", + "▁институт ы", + "М К", + "й ка", + "▁корпу сов", + "▁корпус ов", + "▁медици нский", + "▁ста вится", + "▁став ится", + "▁ставит ся", + "▁вмеша тельство", + "▁Д ли", + "▁Пред полага", + "▁Предпо лага", + "▁чу же", + "▁ме стона", + "▁место на", + "▁мест она", + "▁spirit ual", + "▁hor ses", + "▁horse s", + "▁hors es", + "▁Я ну", + "▁Ян у", + "▁B rand", + "▁Br and", + "▁Bra nd", + "▁C H", + "▁ CH", + "▁ка дет", + "▁кад ет", + "▁означа ть", + "▁озна чать", + "ал е", + "а ле", + "▁Ва г", + "▁испо ве", + "▁сы рье", + "▁встре чал", + "▁встреча л", + "▁встреч ал", + "▁оты скать", + "▁отыска ть", + "▁фе стивале", + "▁фестива ле", + "▁нале во", + "ще нности", + "щен ности", + "щенно сти", + "▁искус ственно", + "▁искусств енно", + "▁искусстве нно", + "▁очевид ным", + "▁Росси йский", + "▁Россий ский", + "▁в ведены", + "▁введен ы", + "▁Дзер жи", + "▁Прем ьера", + "▁Премьер а", + "▁Swed ish", + "▁требо ванию", + "▁Э тому", + "▁Это му", + "▁про спект", + "▁проспек т", + "▁бы вшая", + "ropol itan", + "▁использова н", + "▁де да", + "▁дед а", + "▁вы езд", + "▁выез д", + "▁Con nect", + "ig g", + "▁Га лли", + "́ м", + "▁подъ ема", + "▁подъем а", + "▁Монго лии", + "▁dist ricts", + "▁district s", + "▁m urd", + "▁mur d", + "▁Вслед ствие", + "ва ющиеся", + "ваю щиеся", + "вающие ся", + "m osp", + "▁Византи и", + "▁согла сован", + "▁согласо ван", + "▁согласова н", + "▁за сло", + "▁зас ло", + "▁игру шки", + "▁верх ний", + "▁кусо чек", + "▁Хо зя", + "th odox", + "▁координа т", + "▁метео ро", + "ра ка", + "рак а", + "р ака", + "▁обо рон", + "▁оборо н", + "гу ш", + "▁Гла вные", + "▁Глав ные", + "▁улыб нулся", + "▁смотри те", + "▁смотрит е", + "▁ смотрите", + "▁тро их", + "▁холо дный", + "▁холод ный", + "▁Te levision", + "ma t", + "m at", + "▁Побе дитель", + "▁журнали ста", + "▁журналист а", + "▁Я на", + "▁Ян а", + "▁учеб но", + "▁ст вол", + "▁ство л", + "▁да вало", + "▁давал о", + "▁табли цу", + "▁настаи вал", + "▁прогно з", + "▁спо рить", + "▁спор ить", + "▁француз ская", + "▁Пе ча", + "▁Ис следования", + "▁Исследова ния", + "че вского", + "чев ского", + "ч евского", + "▁great ly", + "▁построе нный", + "▁построен ный", + "▁догово риться", + "▁договори ться", + "▁P HP", + "▁тех нический", + "▁техни ческий", + "ял и", + "я ли", + "фи лд", + "▁Фрун зе", + "▁теоре тической", + "ab el", + "a bel", + "▁духов но", + "▁духо вно", + "▁изме нился", + "▁измени лся", + "▁измен ился", + "▁изменил ся", + "▁ме шок", + "▁свиде тельств", + "▁свидетель ств", + "▁тру довых", + "▁трудо вых", + "▁трудов ых", + "▁на коп", + "▁нако п", + "▁всевозмо жные", + "▁О х", + "## ##", + "▁Ar men", + "▁Arm en", + "▁зи ма", + "▁зим а", + "▁Хо се", + "▁пла вно", + "▁плав но", + "▁непред сказу", + "▁попа дания", + "▁попада ния", + "▁Основ ное", + "▁у голь", + "▁уго ль", + "▁угол ь", + "▁ уголь", + "▁прекра сное", + "▁прекрасно е", + "▁компьютер ной", + "▁Б ом", + "▁Бо м", + "▁ш три", + "▁шт ри", + "▁дворян ства", + "▁телеви дении", + "▁телевиде нии", + "▁pl ane", + "▁plan e", + "с це", + "▁M it", + "▁тепло й", + "▁теп лой", + "▁нау чить", + "▁г ну", + "▁ гну", + "ме ние", + "мени е", + "▁Си ти", + "▁A T", + "▁ AT", + "ра жи", + "раж и", + "▁бо гом", + "▁бого м", + "▁бог ом", + "дд и", + "д ди", + "▁ко ля", + "▁кол я", + "▁У голов", + "▁духов ную", + "▁Верх не", + "▁air port", + "▁релье ф", + "▁депута та", + "▁депутат а", + "▁w ave", + "▁wa ve", + "▁Выс шей", + "▁ост рый", + "▁про слежи", + "▁просле жи", + "▁уз лы", + "▁электри ческого", + "н рав", + "▁слия ния", + "▁Руко водство", + "▁ну ждаются", + "▁нужда ются", + "▁совер шается", + "▁соверша ется", + "▁совершает ся", + "▁выдержа ть", + "▁сбор нике", + "▁сборник е", + "▁компьютер ных", + "У кра", + "▁ре йс", + "▁р ейс", + "▁рей с", + "▁а рене", + "▁аре не", + "▁арен е", + "▁о чу", + "▁ре кой", + "▁реко й", + "▁рек ой", + "▁not ably", + "▁де ловой", + "▁дело вой", + "▁примени тельно", + "ст ол", + "сто л", + "с тол", + "▁полузащи тник", + "ol is", + "oli s", + "▁золо ти", + "▁prof ession", + "▁profess ion", + "▁cy cle", + "▁пере пле", + "▁ло ндо", + "▁над пи", + "▁задержа н", + "▁наблю дали", + "▁наблюда ли", + "▁наблюдал и", + "edd ing", + "▁предприя тии", + "▁выстре лов", + "да кти", + "дак ти", + "фи лософ", + "Ку р", + "К ур", + "фе я", + "▁с вети", + "▁свет и", + "▁све ти", + "▁св ети", + "▁лест ницы", + "▁F u", + "▁Экс пер", + "▁link ed", + "▁на сторо", + "▁нас торо", + "▁насто ро", + "▁серьез ной", + "▁серьезно й", + "▁ann iversary", + "▁эли ты", + "▁ово щей", + "▁re pro", + "▁rep ro", + "▁про пита", + "▁православ ных", + "▁правосла вных", + "▁явля ясь", + "▁наро дная", + "▁народ ная", + "▁о сы", + "▁ос ы", + "▁выс ший", + "▁з вена", + "▁зве на", + "▁зв ена", + "▁слы шно", + "▁здоров ью", + "▁здоро вью", + "▁органи затор", + "▁организа тор", + "▁последу ющим", + "▁воору жённых", + "▁вооружён ных", + "▁истреби теля", + "Из вести", + "A G", + "▁F ederation", + "▁ро дились", + "▁роди лись", + "▁Институ те", + "▁Институт е", + "▁защи тников", + "▁защит ников", + "▁защитник ов", + "▁объ явление", + "▁объя вление", + "▁сло жное", + "▁сложно е", + "▁вер нется", + "▁наличие м", + "▁наличи ем", + "▁втором у", + "▁второ му", + "▁сдела ло", + "▁сделал о", + "ти ль", + "тил ь", + "т иль", + "▁ac know", + "▁Елиза веты", + "▁ле сных", + "▁лес ных", + "ти роваться", + "тирова ться", + "тировать ся", + "▁на верх", + "▁навер х", + "▁духов ные", + "▁духо вные", + "▁С лава", + "▁Сла ва", + "▁res erve", + "▁reserv e", + "Жи знь", + "Жиз нь", + "▁в зи", + "▁вз и", + "▁ |", + "atio n", + "▁fo r", + "▁yo u", + "▁ you", + "▁ that", + "▁ {", + "▁ was", + "e rs", + "o rt", + "▁ }", + "a rt", + "u rn", + "i ght", + "▁t his", + "o uld", + "▁fro m", + "po rt", + "tu rn", + "t urn", + "--- -", + "- ---", + "▁hav e", + "▁ have", + "▁hi s", + "▁ his", + "u lt", + "ro u", + "r ou", + "▁ su", + "▁ca n", + "▁ had", + "*** *", + "* ***", + "▁ &", + "yp e", + "▁yo ur", + "▁ your", + "▁ou t", + "li c", + "l ic", + "▁ they", + "▁re turn", + "▁r eturn", + "▁ return", + "▁* *", + "▁ **", + "▁ will", + "▁c omp", + "▁ comp", + "▁ she", + "▁l i", + "▁ li", + "▁s a", + "▁ sa", + "e g", + "ea r", + "▁ +", + "ub lic", + "u blic", + "▁wer e", + "▁ were", + "{ \\", + "▁ has", + "al ue", + "alu e", + "fo rm", + "▁ma n", + "▁mo re", + "▁wo uld", + "▁ about", + "iti on", + "e rr", + "atio ns", + "rin g", + "▁ dis", + "-- ------", + "--- -----", + "----- ---", + "------ --", + "------- -", + "- -------", + "▁hi m", + "▁ him", + "▁ import", + "▁ti me", + "Us er", + "Use r", + "U ser", + "o rs", + "▁ther e", + "▁ there", + "▁li ke", + "▁ when", + "ve rs", + "▁ some", + "▁pa rt", + "i cal", + "▁fu n", + "▁ fun", + "▁ov er", + "pu t", + "ar am", + "ara m", + "a ram", + "▁s tat", + "▁sta t", + "▁ stat", + "▁ what", + "tex t", + "▁sa id", + "▁ ###", + "▁ju st", + "▁ just", + "irs t", + "▁ into", + "▁ const", + "e rv", + "_ {", + "▁pub lic", + "▁pu blic", + "▁publi c", + "▁ public", + "▁ot her", + "▁ @", + "oin t", + "oi nt", + "oi d", + "re turn", + "ret urn", + "r eturn", + "fte r", + "** ******", + "****** **", + "▁ou r", + "ri v", + "r iv", + "▁ than", + "pec t", + "ys t", + "y st", + "▁co uld", + "▁ could", + "a nn", + "e nc", + "a nc", + "▁als o", + "▁ also", + "rea t", + "pe c", + "p ec", + "opl e", + "tr ing", + "tri ng", + "t ring", + "▁T his", + "▁ This", + "▁ba ck", + "▁fi n", + "▁ fin", + "Co n", + "▁ did", + "▁ only", + "▁c lass", + "▁clas s", + "▁$ \\", + "▁ $\\", + "▁ye ar", + "} ,", + "▁ del", + "fi g", + "f ig", + "rou nd", + "▁ di", + "t his", + "f r", + "essa ge", + "f o", + "▁ people", + "yst em", + "ys tem", + "▁fir st", + "▁ first", + "▁ function", + "▁ho w", + "▁ how", + "ifi c", + "rea d", + "▁ bet", + "a rg", + "▁ need", + "ma th", + "mat h", + "m ath", + "e rt", + "Pr o", + "▁pa r", + "▁ Wh", + "▁ want", + "Na me", + "▁ =>", + "▁qu e", + "▁q ue", + "▁ que", + "▁ bu", + "eq u", + "cr e", + "c re", + "▁va r", + "=== =", + "= ===", + "▁mo d", + "te rn", + "} }", + "▁ “", + "▁r eg", + "^ {", + "▁ She", + "▁ */", + "▁ two", + "▁ma y", + "▁ may", + "fo re", + "rou gh", + "Ty pe", + "Typ e", + "fu l", + "▁sel f", + "▁ every", + "re f", + "r ef", + "▁ even", + "▁han d", + "▁ should", + "▁af ter", + "gh t", + "g ht", + "a tor", + "ri but", + "rib ut", + "ribu t", + "▁ca ll", + "▁ call", + "▁ma ke", + "▁ make", + "othe r", + "▁lon g", + "le ment", + "lem ent", + "l ement", + "▁wo r", + "▁ wor", + "▁ If", + "dat a", + "▁thro ugh", + "▁ through", + "▁dow n", + "▁ static", + "i cs", + "▁ void", + "owe r", + "▁thin k", + "▁ think", + "* /", + "▁a gain", + "▁ again", + "atin g", + "▁mo st", + "▁mos t", + "▁req u", + "▁ requ", + "abe l", + ")) ;", + ") );", + "▁b ecause", + "▁ because", + "u lar", + "rou p", + "r oup", + "▁ cons", + "▁ri ght", + "▁rig ht", + "▁ fr", + "ea d", + "▁els e", + "▁ else", + "▁ som", + "eme nt", + "emen t", + "au lt", + "se rt", + "ser t", + "s ert", + "typ e", + "iden t", + "▁p rov", + "▁ prov", + "▁ true", + "▁ As", + "} \\", + "▁ inst", + "▁na me", + "▁nam e", + "▁ sur", + "par am", + "pa ram", + "para m", + "p aram", + "▁sta rt", + "▁ start", + "S E", + "Str ing", + "S tring", + "ti ng", + "▁b efore", + "▁bef ore", + "▁ before", + "▁ pol", + "▁wel l", + "Co m", + "olo g", + "▁e rr", + "a rs", + "▁in cl", + "▁inc l", + "▁ incl", + "e rn", + "o dy", + "-- --------------", + "---- ------------", + "--- -------------", + "------------ ----", + "----- -----------", + "---------- ------", + "------ ----------", + "------------- ---", + "-------------- --", + "--------- -------", + "------- ---------", + "----------- -----", + "▁da ta", + "▁dat a", + "▁ good", + "▁ Q", + "▁mu ch", + "▁cu r", + "▁ cur", + "▁v alue", + "▁ loc", + "re ak", + "rea k", + "ativ e", + "▁ die", + "▁ trans", + "▁ result", + "▁au t", + "▁& &", + "▁ &&", + "} $", + "con d", + "co nd", + "c ond", + "▁fi l", + "▁ fil", + "iti es", + "▁p rodu", + "▁prod u", + "▁ produ", + "▁fo rm", + "▁ca se", + "▁ case", + "▁s pec", + "▁ spec", + "▁ é", + "▁ does", + "mi n", + "▁nu ll", + "▁ null", + "r r", + "Li st", + "ri ght", + "▁U ser", + "▁Us er", + "▁Use r", + "▁ User", + "U L", + "ati onal", + "atio nal", + "▁b eing", + "▁bei ng", + "▁ being", + "▁ca r", + "▁ dist", + "p lic", + "ol low", + "▁ pres", + "▁ such", + "rea m", + "▁Fo r", + "riv ate", + "▁ye ars", + "▁se rv", + "▁ma de", + "▁mad e", + "▁ made", + "; \r", + "▁li st", + "▁ cor", + "▁ det", + "eg in", + "e gin", + "▁c har", + "▁cha r", + "▁ char", + "tr ans", + "tra ns", + "▁! =", + "▁ !=", + "▁ dec", + "▁ma ny", + "▁ many", + "▁ à", + "▁si m", + "▁ sim", + "a sed", + "▁d iffer", + "▁diff er", + "▁fi nd", + "▁ find", + "▁ \r", + "▁i nv", + "▁ inv", + "▁poi nt", + "▁ They", + "▁u sed", + "i ó", + "▁sa y", + "▁ say", + "▁he lp", + "▁ help", + "▁ cre", + "▁ Tr", + "umen t", + "ou ght", + "m essage", + "▁mo n", + "wor k", + "iste r", + "a rn", + "i zed", + "Dat a", + "Da ta", + "o rn", + "D E", + "▁ person", + "e ngth", + "▁fal se", + "▁fals e", + "▁ false", + "▁s how", + "▁ show", + "▁sa me", + "▁ same", + "▁gene r", + "▁ gener", + "cu r", + "c ur", + "stru ct", + "be gin", + "b egin", + "cep t", + "▁F r", + "▁ Fr", + "▁ stud", + "( \\", + "▁ too", + "▁da y", + "▁fol low", + "▁ follow", + "atu re", + "r eg", + "uri ng", + "cr i", + "c ri", + "▁ /*", + "C T", + "▁Ther e", + "▁ There", + "▁tak e", + "▁ta ke", + "▁ take", + "ca l", + "c al", + "fo r", + "** **************", + "**** ************", + "******** ********", + "************ ****", + "************** **", + "s ource", + "▁ eff", + "mo d", + "} {", + "▁ around", + "pres s", + "pon se", + "pons e", + "▁li ne", + "▁lin e", + "dat e", + "cod e", + "[ '", + "▁li fe", + "▁u sing", + "▁va l", + "y p", + "▁fo und", + "▁fou nd", + "▁ found", + "ol ut", + "olu t", + "' ]", + "▁s tring", + "▁w r", + "▁ wr", + "stri ng", + "s tring", + "si ze", + "▁ each", + "v alue", + "▁las t", + "▁ last", + "▁ got", + "Se t", + "S et", + "▁ cr", + "é s", + "▁ between", + "et hing", + "eth ing", + "e thing", + "de x", + "d ex", + "▁pas s", + "▁pa ss", + "Ge t", + "▁ sup", + "Val ue", + "V alue", + "▁ try", + "lat ion", + "l ation", + "▁ exper", + "T r", + "▁ Mar", + "se rv", + "▁nu mber", + "▁ number", + "i nal", + "cen t", + "/ *", + "io nal", + "iona l", + "i onal", + "▁fi nal", + "▁ final", + "▁ never", + "▁hi gh", + "▁ high", + "▁ best", + "▁si gn", + "▁sig n", + "▁ sign", + "▁ dem", + "▁g iv", + "▁gi v", + "▁chi ld", + "▁ child", + "in cl", + "inc l", + "ind ow", + "indo w", + "rien d", + "▁ los", + "fil e", + "fi le", + "format ion", + "cc ess", + "c cess", + "▁i l", + "▁ il", + "isi on", + "▁a rt", + "Co nt", + "▁tu rn", + "▁ turn", + "te rs", + "ar get", + "arg et", + "arge t", + "Er r", + "E rr", + "ti me", + "tim e", + "▁ So", + "di v", + "▁di dn", + "} )", + "▁som ething", + "▁ something", + "() .", + "( ).", + "eve r", + "tr y", + "t ry", + "▁ rep", + "la bel", + "lab el", + "l abel", + "▁bot h", + "▁ both", + "* ,", + "▁ open", + "_{ \\", + "_ {\\", + "▁ol d", + ". _", + "M E", + "i fy", + "g g", + "Co l", + "▁mu st", + "▁ must", + "▁d ifferent", + "i sts", + "▁s ystem", + "▁sys tem", + "▁syst em", + "▁ system", + "ive rs", + "atu s", + "gra m", + "▁p rivate", + "▁ private", + "op y", + "o py", + "▁fee l", + "▁ How", + "// //", + "/// /", + "/ ///", + "loc k", + "▁ Sch", + "▁ma t", + "▁ho me", + "▁ home", + "per ty", + "pert y", + "lo c", + "l oc", + "▁w om", + "▁wo m", + "ar ly", + "arl y", + "ete r", + "▁incl ud", + "▁inclu d", + "UL L", + "U LL", + "▁ mem", + "▁litt le", + "▁a rg", + "▁} ,", + "▁ },", + "in clude", + "incl ude", + "et a", + "e ta", + "▁p lace", + "▁plac e", + "id th", + "us tom", + "▁| |", + "▁ ||", + "▁ tem", + "▁ fact", + "▁ Pl", + "op t", + "o pt", + "el e", + "e le", + "inte r", + "() ,", + "( ),", + "iq ue", + "avi ng", + "▁thou ght", + "fr ac", + "f rac", + "▁ca re", + "▁ care", + "() );", + "()) ;", + "( ));", + "▁pu t", + "▁mi ght", + "▁mig ht", + "▁A mer", + "▁Am er", + "▁ Amer", + "▁( !", + "▁ (!", + "▁sta te", + "su b", + "▁ Or", + "▁si ze", + "▁ without", + "e q", + "▁ expect", + "▁se cond", + "▁ second", + "▁S tring", + "▁Str ing", + "▁ next", + "+ +", + "re qu", + "req u", + "r equ", + "▁ When", + "amen t", + "trans lation", + "transl ation", + "▁va n", + "▁ano ther", + "Mo d", + "IO N", + "I ON", + "▁wo rd", + "Err or", + "Er ror", + "▁ contin", + "▁ three", + "Obj ect", + "▁parti c", + "$ .", + "▁vi s", + "pt ions", + "ption s", + "▁b reak", + "▁ break", + "▁thin gs", + "▁ That", + "u rs", + "▁fi le", + "igne d", + "pa rt", + "▁eq u", + "( &", + "▁ small", + "▁ always", + "▁ El", + "▁wo n", + "▁ won", + "▁l eft", + "▁ left", + "it em", + "ite m", + "i tem", + "ho r", + "h or", + "▁ away", + "b b", + "fu n", + "f un", + "▁stru ct", + "▁proc ess", + "▁proces s", + "▁ process", + "▁s upport", + "▁supp ort", + "▁ support", + "); \r", + ") ;\r", + "ió n", + "i ón", + "L O", + "▁ ·", + "P E", + "' ;", + "$ ,", + "▁ Gr", + "i nit", + "u mn", + "vers ion", + "v ersion", + "▁ ref", + "sta nd", + "stan d", + "▁ At", + "▁e in", + "fa ce", + "fac e", + "ifi ed", + "su m", + "s um", + "i tal", + "▁mo v", + "▁ mov", + "e lt", + "c tor", + "▁ build", + "i nc", + "in fo", + "inf o", + "c hn", + "▁ week", + "H E", + "ic ense", + "▁que st", + "▁q uest", + "le ft", + "l eft", + "▁ma r", + "▁b eh", + "▁fi eld", + "▁ keep", + "i tor", + "▁ non", + "▁_ _", + "▁ __", + "▁u na", + "▁un a", + "▁ una", + "▁ pop", + "▁sin ce", + "▁sinc e", + "▁ since", + "p i", + "ut il", + "uti l", + "u til", + "▁ soc", + "Ex ception", + "▁lo cal", + "▁ local", + "▁dir ect", + "▁ direct", + "▁ sure", + "▁d a", + "▁ da", + "▁curr ent", + "▁ current", + "' :", + "W h", + "▁ information", + "Te xt", + "Tex t", + "T ext", + "▁stan d", + "▁sta nd", + "▁c heck", + "▁ check", + "▁n a", + "▁ na", + "▁u nt", + "▁un t", + "▁ unt", + "b f", + "▁co nf", + "c lass", + "be rs", + "In fo", + "Inf o", + "▁ Br", + "erv ice", + "() )", + "( ))", + "▁pa t", + "o rg", + "▁tel l", + "▁al low", + "▁ allow", + "▁tea m", + "▁ team", + "le ase", + "ht t", + "h tt", + "▁ Pr", + "/* *", + "/ **", + "▁si ng", + "▁sin g", + "▁ sing", + "Re qu", + "Req u", + "R equ", + "▁obj ect", + "▁ object", + "B y", + "i ded", + "▁ free", + "ci te", + "cit e", + "c ite", + "▁) ;", + "▁ );", + "▁dur ing", + "▁l eg", + "▁si t", + "l eg", + "▁mo m", + "▁ expl", + "▁ develop", + "▁ event", + "▁N ULL", + "▁ NULL", + "oh n", + "o hn", + "▁// /", + "▁/ //", + "▁ ///", + "▁ business", + "▁ prof", + "▁p or", + "▁po r", + "▁ por", + "▁com mun", + "▁ commun", + "iu m", + "Te st", + "T est", + "ou ble", + "ri te", + "rit e", + "r ite", + "rea dy", + "▁{ \r", + "▁ {\r", + "▁thin g", + "a rl", + "con st", + "cons t", + ".. /", + ". ./", + "▁pow er", + "rib ute", + "ribut e", + "ribu te", + "▁ talk", + "▁ called", + "▁ca me", + "▁be lie", + "Ad d", + "A dd", + "e lla", + "oba l", + "▁u ntil", + "▁unt il", + "▁ until", + "▁ hum", + "atel y", + "### #", + "# ###", + "pu blic", + "pub lic", + "p ublic", + "[ ]", + "le n", + "l en", + "▁f amily", + "▁famil y", + "▁ family", + "▁pr ogram", + "▁ program", + "▁hi st", + "▁mu s", + "▁ mus", + "I m", + "el se", + "els e", + "ail s", + "ai ls", + "a ils", + "▁ love", + "ä r", + "ou rs", + "di s", + "d is", + "ö r", + "at eg", + "stat e", + "sta te", + "St ate", + "Stat e", + "erta in", + "▁e ffect", + "▁ effect", + "▁ big", + "in dex", + "ind ex", + "inde x", + "▁p ub", + "▁pu b", + "▁ pub", + "ve rt", + "m d", + "▁meth od", + "▁ method", + "▁gam e", + "▁ga me", + "▁ game", + "le te", + "let e", + "l ete", + "It em", + "I tem", + "IN G", + "I NG", + "re sent", + "oc ument", + "▁b eg", + "} .", + "▁ school", + "▁ lot", + "▁a dv", + "▁ adv", + "▁ca p", + "▁ cap", + "▁li ght", + "▁lig ht", + "Ke y", + "K ey", + "iti ons", + "▁/ **", + "▁/* *", + "▁ /**", + "▁wen t", + "ã o", + "▁thou gh", + "▁gr oup", + "▁ group", + "▁ mean", + "▁nu m", + "▁ num", + "▁ cond", + "н і", + "▁giv en", + "▁gi ven", + "▁ why", + "▁si de", + "▁sid e", + "▁ far", + "Con text", + "Cont ext", + "Vi ew", + "▁< <", + "▁ <<", + "fi l", + "f il", + "oa d", + "▁prod uct", + "▁ product", + "▁p aram", + "▁par am", + "▁para m", + "▁pa ram", + "▁ param", + "▁ prote", + "Tim e", + "olut ion", + "▁mont h", + "▁ month", + "▁a ppe", + "tr act", + "tra ct", + "t ract", + "é e", + "▁giv e", + "▁gi ve", + "▁ki nd", + "▁kin d", + "▁ kind", + "▁ count", + "co unt", + "cou nt", + "c ount", + "▁sto p", + "▁ stop", + "▁g over", + "▁go ver", + "▁ mil", + "yn c", + "y nc", + "▁ni ght", + "▁ sol", + "▁wat er", + "eri ng", + "▁li m", + "Par am", + "P aram", + "▁ho use", + "▁S ystem", + "▁ System", + "▁pa y", + "▁ pay", + "▁: =", + ", \\", + "le ngth", + "l ength", + "▁s i", + "▁ si", + "▁ interest", + "ct ed", + "c ted", + "enti on", + "▁ appro", + "▁thro w", + "▁ throw", + "math cal", + "i rl", + "▁ prom", + "▁req uest", + "▁ request", + "equ ation", + "eq uation", + "ol ogy", + "olo gy", + "mi t", + "▁pa ck", + "▁pac k", + "▁ pack", + "ar ray", + "arr ay", + "ti l", + "▁pre sent", + "▁ present", + "▁org an", + "Fil e", + "Fi le", + "F ile", + "▁ orig", + "▁ful l", + "▁fu ll", + "▁ full", + "is tr", + "ist r", + "i str", + "▁as sert", + "▁ass ert", + "▁ assert", + "ar ds", + "ur l", + "u rl", + "e nn", + "▁l evel", + "▁lev el", + "wor d", + "▁bo dy", + "▁bod y", + "í a", + "Q u", + "▁ma in", + "▁mai n", + "▁ main", + "A B", + "plo y", + "Ev ent", + "Even t", + "E vent", + "▁s uper", + "▁ super", + "A s", + "th ers", + "ther s", + "the rs", + "▁da ys", + "▁ days", + "▁ done", + "▁vi ew", + "▁vie w", + "si de", + "sid e", + "') ;", + "' );", + "▁ vol", + "▁ tot", + "ca se", + "cas e", + "c ase", + "▁af f", + "Requ est", + "Re quest", + "Req uest", + "\\ \\", + "▁J ohn", + "▁Jo hn", + "▁ John", + "▁u ne", + "▁un e", + "▁ une", + "[ \"", + "fi eld", + "▁perf orm", + "▁ perform", + "ail able", + "Con fig", + "Conf ig", + "O r", + "▁mo del", + "▁ model", + "▁ create", + "▁a nn", + "▁ Im", + "a nte", + "con fig", + "conf ig", + "\" ]", + "l t", + "▁tex t", + "▁ May", + "▁o rg", + "▁or g", + "▁ org", + "▁po rt", + "▁por t", + "P l", + "▁ door", + "▁( *", + "▁ (*", + "k t", + "enti al", + "▁i nc", + "No de", + "N ode", + "ivel y", + "▁as ked", + "i rt", + "▁ Te", + "▁repo rt", + "▁ report", + "▁c hang", + "▁cha ng", + "Si ze", + "S ize", + "▁oc c", + "▁ occ", + "▁ mind", + "▁ whe", + "▁ important", + "▁ Not", + "▁wr it", + "▁e yes", + "▁ desc", + "mo st", + "mos t", + "▁su ccess", + "▁succ ess", + "▁ success", + "co re", + "cor e", + "c ore", + "} (", + "▁ar ray", + "▁arr ay", + "▁ array", + "Fi eld", + "F ield", + "i ds", + "hin g", + "▁ca l", + "▁ cal", + "arin g", + "a lt", + "▁d é", + "al pha", + "alph a", + "▁fo ur", + "▁fou r", + "▁ four", + "no de", + "nod e", + "n ode", + "▁Pa r", + "▁ Eng", + "▁mo ve", + "▁ move", + "▁L icense", + "▁Lic ense", + "▁ License", + "cu l", + "c ul", + ") $", + "▁ tw", + "▁ With", + "▁ once", + "Serv ice", + "S ervice", + "bo l", + "b ol", + "▁Q u", + "▁ Qu", + "▁ grow", + "▁c onne", + "▁conn e", + "▁ conne", + "▁h tt", + "▁ htt", + "▁} ;", + "▁ };", + "▁wal k", + "▁ walk", + "▁i nit", + "na l", + "n al", + "ende r", + "cri ption", + "le cted", + "▁n il", + "▁ni l", + "▁ nil", + "▁p rob", + "▁ prob", + "▁ Ste", + "iso n", + "an ds", + "os ed", + "ose d", + "o sed", + "▁Hi s", + "▁ His", + "ü r", + "Ma n", + "El ement", + "Elem ent", + "E lement", + "In dex", + "Ind ex", + "se arch", + "s earch", + "▁ma g", + "▁ mag", + "▁c ourse", + "▁cours e", + "▁ course", + "▁ Car", + "▁e xp", + "▁ exp", + "▁m it", + "▁mi t", + "▁ mit", + "▁def ault", + "▁ default", + "/ >", + "▁s ervice", + "▁ service", + "uf fer", + "uff er", + "▁ Do", + "▁in cre", + "} ^", + "▁lo oked", + "ay er", + "aye r", + "a yer", + "▁ One", + "▁ba s", + "▁ bas", + "▁ job", + "m u", + "bu t", + "el ta", + "elt a", + "▁ Christ", + "▁re cord", + "▁ record", + "▁ Univers", + "ivi d", + "i vid", + "val id", + "▁hol d", + "▁ho ld", + "▁tab le", + "▁ta ble", + "▁ table", + "lin k", + "l ink", + "▁ Ge", + "For m", + "F orm", + "= {", + "stan ce", + "▁go vern", + "▁gover n", + "▁ govern", + "▁tech n", + "▁ techn", + "▁ prim", + "ma x", + "m ax", + "▁fo re", + "▁ Can", + "▁po lit", + "▁ polit", + "orie s", + "▁ti mes", + "▁ times", + "▁d ans", + "▁da ns", + "▁dan s", + "▁ai r", + "} _", + "▁l east", + "EN T", + "E NT", + "▁cos t", + "▁ cost", + ". ”", + "▁ children", + "abil ity", + "Bu t", + "▁pa th", + "res ult", + "▁e lement", + "▁elem ent", + "▁ element", + "▁w ait", + "▁wa it", + "▁ wait", + "▁mo ney", + "Ma p", + "M ap", + "oi n", + "o in", + "ivi ng", + "ic ht", + "ich t", + "i cht", + "i lle", + "i sed", + "▁cust om", + "▁ custom", + "▁hav ing", + "pon ent", + "po nent", + "▁ By", + "atte r", + "iti ve", + "De f", + "D ef", + "▁m oment", + "▁mo ment", + "▁ moment", + "at erial", + "ate rial", + "ater ial", + "Cl ass", + "C lass", + "o graph", + "▁ large", + "▁# ###", + "▁ Then", + "▁ Gu", + "ole an", + "o lean", + "pe rt", + "per t", + "p ert", + "▁ Ab", + "▁ short", + "imen t", + "▁ project", + "cri pt", + "cr ipt", + "▁incl uding", + "▁inclu ding", + "▁ma king", + "▁ making", + "▁ Fl", + "▁sa t", + "▁ sat", + "▁ company", + "oc us", + "p u", + "▁ God", + "▁ sn", + "▁a u", + "▁ au", + "▁ cou", + "á s", + "en ded", + "end ed", + "ende d", + "▁ pot", + "▁t yp", + "▁ typ", + "▁it em", + "▁i tem", + "▁ item", + "At t", + "A tt", + "▁yo ung", + "} \r", + "nde r", + "st art", + "sta rt", + "star t", + "* )", + "▁e nc", + "▁wom en", + "▁wo men", + "▁lo oking", + "▁ looking", + "▁heal th", + "▁ health", + "Pat h", + "P ath", + "▁ After", + "▁mu lt", + "▁mul t", + "▁ mult", + "▁{ \\", + "▁ {\\", + "▁lan d", + "▁ Des", + "in put", + "▁ Pol", + "\" \"", + "Co de", + "C ode", + "▁s upp", + "▁su pp", + "▁sup p", + "▁ supp", + "ain er", + "ai ner", + "aine r", + "a iner", + "he ck", + "▁mo r", + "▁ mor", + "▁ mill", + "f s", + "ting s", + "t ings", + "▁to get", + "▁cer tain", + "▁toget her", + "C E", + "▁Amer ican", + "a bles", + "▁pa rent", + "▁pare nt", + "▁ parent", + "amb da", + "an do", + "and o", + "= \\", + "en ding", + "end ing", + "▁ possible", + "ivi ty", + "nu m", + "n um", + "r t", + "ajo r", + "a jor", + "cre ate", + "creat e", + "c reate", + "ri de", + "rid e", + "r ide", + "▁kne w", + "bi t", + "it ional", + "ition al", + "iti onal", + "▁li k", + "▁ lik", + "▁ Her", + "▁ exist", + "i nn", + "bu f", + "b uf", + "▁ Me", + "▁ seen", + "No t", + "N ot", + "▁contr ol", + "▁ control", + "▁res pon", + "▁resp on", + "▁ respon", + "} ;", + "i lt", + "▁ba d", + "▁ bad", + "▁o ften", + "▁pas t", + "▁pa st", + "▁ reason", + "et ers", + "eter s", + "ete rs", + "e ters", + "▁w anted", + "ta ble", + "tab le", + "t able", + "or mal", + "orm al", + "wid th", + "w idth", + "pt r", + "p tr", + "▁ dest", + "▁de sign", + "▁ design", + "▁sou nd", + "▁ sound", + "▁ plan", + "▁ba se", + "▁ base", + "▁sa ys", + "fun ction", + "f unction", + "▁ tri", + "m t", + "▁av ailable", + "▁ available", + "ay out", + "a yout", + "▁o ch", + "▁oc h", + "▁ och", + "▁l as", + "▁la s", + "▁ las", + "mo n", + "Ha nd", + "H and", + "F r", + "pa ce", + "p ace", + "▁p ara", + "▁par a", + "▁pa ra", + "▁ para", + "▁ sum", + "M essage", + "ic i", + "i ci", + "▁k nown", + "am ma", + "amm a", + "a mma", + "ar r", + "a rr", + "▁ tre", + "~ \\", + "▁experi ence", + "icl e", + "▁ Il", + "▁ sent", + "▁o thers", + "▁ others", + "▁s oft", + "▁ma x", + "▁ max", + "▁mar ket", + "▁ market", + "▁p our", + "▁po ur", + "▁pou r", + "pr ession", + "press ion", + "p ression", + "ep s", + "e ps", + "▁sa w", + "▁a cross", + "▁ Su", + "O ver", + "u lation", + "▁R eg", + "▁ Reg", + "▁+ =", + "▁ +=", + "bo dy", + ") \\", + "▁prin t", + "d b", + "war ds", + "▁ black", + "▁ Ed", + "▁com plet", + "▁s ingle", + "▁sin gle", + "▁ single", + "b t", + "▁cod e", + "▁b ool", + "▁bo ol", + "▁ bool", + "▁a rea", + "▁ar ea", + "▁ area", + "▁re quire", + "▁ require", + "▁pro blem", + "▁prob lem", + "Eq u", + "E qu", + "▁con fig", + "▁ config", + "ve c", + "v ec", + "▁ac count", + "▁ account", + "ym bol", + "Ar ray", + "Arr ay", + "em pl", + "emp l", + "con text", + "cont ext", + "De s", + "D es", + "Res ult", + "ec ut", + "e cut", + "▁t arget", + "▁tar get", + "▁ target", + "\" />", + "o gle", + "▁wa sn", + "▁blo ck", + "p orts", + "rea te", + "= '", + "c d", + "loc ation", + "l ocation", + "▁a ccess", + "▁ access", + "gre ss", + "gres s", + "U p", + "▁ working", + "▁ Am", + "iq u", + "▁( (", + "▁ ((", + "▁ Per", + "▁f unc", + "▁fun c", + "▁fu nc", + "▁ func", + "▁gi rl", + "▁gir l", + "▁ girl", + "id o", + "i do", + "▁v ersion", + "▁ version", + "T Y", + "ma ry", + "mar y", + "m ary", + "a bled", + "anne l", + "▁ example", + "▁ context", + "▁c ir", + "▁ci r", + "▁ cir", + "Lo g", + "L og", + "▁s pace", + "▁ space", + "▁f ut", + "▁fu t", + "▁G ener", + "▁Ge ner", + "▁Gen er", + "▁Gene r", + "▁ Gener", + "▁d ri", + "▁dr i", + "_ .", + "▁fe lt", + "▁fel t", + "▁= ==", + "▁== =", + "▁ ===", + "▁} );", + "▁}) ;", + "▁ });", + "▁fro nt", + "▁ front", + "sign ed", + "sig ned", + "s igned", + "▁ye t", + "▁ input", + "▁ca mp", + "▁ camp", + "▁hal f", + "▁ half", + "▁cov er", + "▁ cover", + "▁b en", + "▁be n", + "▁ ben", + "▁d iff", + "▁di ff", + "▁dif f", + "▁ diff", + "_ \\", + "▁mo t", + "▁ mot", + "▁s ocial", + "▁soci al", + "▁ social", + "//// ////", + "▁s tre", + "▁ stre", + "gro und", + "і в", + "ob ject", + "obj ect", + "re ed", + "ree d", + "r eed", + "▁e en", + "▁ een", + "▁ba sed", + "u rg", + "▁lear n", + "▁ learn", + "▁e xc", + "▁ exc", + "▁ imp", + "▁w ur", + "en ds", + "end s", + "vo id", + "v oid", + "▁s td", + "▁st d", + "▁ std", + "▁part icular", + "▁particul ar", + "▁parti cular", + "▁sour ce", + "▁ source", + "def ault", + "▁a ls", + "▁al s", + "▁ als", + "sc ri", + "scr i", + "s cri", + "st atus", + "stat us", + "▁stor y", + "▁sto ry", + "▁ story", + "▁b egin", + "▁ begin", + "▁posit ion", + "▁ special", + "ph p", + "p hp", + "▁ba r", + "▁prac t", + "cal l", + "ca ll", + "c all", + "▁d as", + "▁da s", + "▁ das", + "▁clo se", + "▁ close", + "▁ Er", + "▁ low", + "pa ck", + "p ack", + "Re g", + "R eg", + "O f", + "atu res", + "é n", + "ede r", + "uild er", + "cas t", + "co nom", + "c onom", + "raf t", + "▁ma kes", + "Lo c", + "L oc", + "ht tp", + "htt p", + "▁ abs", + "▁ Will", + "bre ak", + "b reak", + "▁o ptions", + "▁opt ions", + "▁option s", + "▁ options", + "fo rt", + "▁a nal", + "▁ anal", + "▁e nv", + "▁en v", + "▁ env", + "( {", + "ev ent", + "even t", + "eve nt", + "e vent", + "▁pa ge", + "▁pag e", + "▁ page", + "ter nal", + "▁d istribut", + "▁dist ribut", + "▁fo od", + "▁foo d", + "▁ food", + "che ck", + "c heck", + "C K", + "as sert", + "ass ert", + "asse rt", + "á n", + "ba se", + "bas e", + "b ase", + "▁w hole", + "ac ión", + "ació n", + "aci ón", + "a ción", + "ig ma", + "▁res ponse", + "▁respon se", + "▁ response", + "ap ter", + "apt er", + "▁ results", + "▁re present", + "▁Ce nt", + "▁ Cent", + "▁ Some", + "▁be hind", + "▁ creat", + "plac e", + "p lace", + "s u", + "▁Pa rt", + "▁ Part", + "math bb", + "pi ng", + "pin g", + "▁ match", + "O ut", + "▁s itu", + "▁si tu", + "▁w indow", + "▁ window", + "lish ed", + "l ished", + "▁ Ver", + "▁ message", + "▁ Em", + "▁ human", + "per ties", + "pert ies", + "le m", + "l em", + "OR T", + "O RT", + "▁e arly", + "▁qui ck", + "▁ quick", + "▁c ountry", + "▁coun try", + "▁countr y", + "▁ country", + "▁ due", + "▁ Die", + "▁t rying", + "▁li ve", + "▁liv e", + "▁ live", + "IN T", + "I NT", + "W ith", + "ov ed", + "ove d", + "o ved", + "▁ specific", + "▁fal l", + "▁ fall", + "▁gene ral", + "▁ general", + "▁na mes", + "▁nam es", + "▁ names", + "whe re", + "▁ These", + "▁si l", + "▁ sil", + "é t", + "▁e ner", + "▁en er", + "▁ ener", + "▁ Now", + "▁addr ess", + "▁ address", + "Res ponse", + "▁ Mr", + "▁ans w", + "▁fi lm", + "▁ film", + "▁stro ng", + "▁ strong", + "▁Unit ed", + "▁wom an", + "▁wo man", + "▁ woman", + "en ame", + "ena me", + "e name", + "▁de scrib", + "isi ng", + "i sing", + "▁fu r", + "▁ fur", + "▁ Cal", + "▁ Dr", + "ER R", + "E RR", + "▁\\ \\", + "▁ \\\\", + "an gle", + "ang le", + "ur ope", + "uro pe", + "urop e", + "▁ci ty", + "▁ city", + "▁in dex", + "▁ind ex", + "▁inde x", + "▁ index", + "▁ However", + "▁fi g", + "▁ fig", + "▁ question", + "▁Ja n", + "▁ Jan", + "▁ Med", + "Cal l", + "C all", + "tt y", + "t ty", + "▁ind ivid", + "pa ge", + "pag e", + "p age", + "▁ comb", + "se ction", + "sect ion", + "s ection", + "▁ Comm", + "▁h et", + "▁he t", + "▁ het", + "▁ Bar", + "agem ent", + "fi n", + "f in", + "▁ma jor", + "▁maj or", + "▁ major", + "ap i", + "a pi", + "▁ „", + "▁a uf", + "▁au f", + "▁ auf", + "cur rent", + "curr ent", + "▁in clude", + "▁incl ude", + "▁inclu de", + "▁ include", + "▁qu i", + "▁q ui", + "U E", + "▁id ea", + "▁ idea", + "▁ required", + "▁ heart", + "ibil ity", + "Mod el", + "Mode l", + "Mo del", + "wr ite", + "writ e", + "w rite", + "▁conten t", + "▁ content", + "▁w er", + "▁we r", + "▁ wer", + "▁han ds", + "ch ar", + "cha r", + "c har", + "}^ {", + "} ^{", + "▁ma ss", + "▁mas s", + "▁ mass", + "▁n at", + "▁na t", + "▁ nat", + "▁d at", + "▁da t", + "▁ dat", + "==== ============", + "======== ========", + "============ ====", + "i mal", + "▁pro bably", + "i lar", + "▁wat ch", + "▁ watch", + "▁cu lt", + "▁cul t", + "▁mo ther", + "▁ mother", + "or ding", + "▁( )", + "▁ ()", + "▁lin k", + "▁ link", + "gr oup", + "gro up", + "g roup", + "▁ Ser", + "Se r", + "S er", + "▁ values", + "▁j ava", + "▁ja va", + "▁ java", + "full y", + "Co unt", + "C ount", + "++ )", + "▁v i", + "▁ vi", + "▁ white", + "ct x", + "c tx", + "▁co nc", + "▁ conc", + "▁sta y", + "gi ng", + "▁ clear", + "▁c opy", + "▁ copy", + "▁wor ds", + "▁ words", + "com p", + "co mp", + "c omp", + "ar gs", + "arg s", + "▁pi ck", + "▁pic k", + "▁ pick", + "ul y", + "u ly", + "▁va ri", + "▁ vari", + "▁bel ieve", + "▁ Co", + "Pro perty", + "Gr oup", + "G roup", + "is chen", + "isch en", + "ische n", + "isc hen", + "i schen", + "et urn", + "e turn", + "Sys tem", + "S ystem", + "C L", + "▁t otal", + "▁to tal", + "▁ total", + "▁is t", + "▁i st", + "▁ ist", + "In put", + "umen ts", + "Man ager", + "le ep", + "lee p", + "н ого", + "r uction", + "▁i nte", + "▁ inte", + "Ap p", + "A pp", + "av or", + "avo r", + "a vor", + "▁re spect", + "▁ respect", + "ato rs", + "▁c omo", + "▁com o", + "▁co mo", + "▁cu t", + "▁ cut", + "▁ App", + "F I", + "▁so rt", + "▁sor t", + "▁ sort", + "ј е", + "i cro", + "Tr ans", + "Tra ns", + "л і", + "▁ Inst", + "re quest", + "requ est", + "req uest", + "▁relation s", + "- \\", + "St atus", + "Stat us", + "▁fat her", + "c s", + "is ch", + "isc h", + "i sch", + "}_ {", + "} _{", + "AT E", + "A TE", + "it ten", + "itt en", + "itte n", + "T H", + "▁ho m", + "▁ hom", + "▁t oday", + "▁tod ay", + "▁toda y", + "▁z u", + "▁ zu", + "▁is n", + "▁i sn", + "▁ opt", + "é r", + "ix ed", + "ph i", + "p hi", + "iden ce", + "Cl ient", + "A t", + "▁ Let", + "iu s", + "be n", + "b en", + ") \r", + ">< /", + "> (", + "▁w rite", + "▁wr ite", + "▁ write", + "fin d", + "fi nd", + "f ind", + "▁pers onal", + "▁persona l", + "▁ personal", + "] [", + "▁fo ot", + "▁foo t", + "▁re search", + "iron ment", + "▁n om", + "▁no m", + "▁ nom", + "▁ instance", + "▁ held", + "▁ members", + "▁fi re", + "▁fir e", + "▁ fire", + "▁hi story", + "▁ history", + "▁ma p", + "▁dis cuss", + "▁e spec", + "▁es pec", + "▁esp ec", + "▁ espec", + "▁tak ing", + "▁ta king", + "▁s ervices", + "▁ services", + "▁indu st", + "▁ indust", + "ige n", + "▁ Ass", + "▁e xpected", + "▁ expected", + "▁wur de", + "di r", + "d ir", + "▁a mong", + "▁su gg", + "▁sug g", + "In ter", + "Int er", + "blo ck", + "▁ Rep", + "▁pa in", + "▁fi ve", + "▁ five", + "▁fu nd", + "▁ fund", + "ar row", + "arr ow", + "▁deter m", + "ic ult", + "F un", + "▁mont hs", + "js on", + "j son", + ", ”", + "▁c los", + "▁clo s", + "ie rs", + "ai rs", + "a irs", + "def ine", + "I f", + "▁w onder", + "▁won der", + "▁wo nder", + "qu ery", + "que ry", + "quer y", + "p g", + "▁m aterial", + "▁mat erial", + "▁mate rial", + "▁ material", + "y d", + "Re ad", + "R ead", + "h tml", + "T E", + "P r", + "^{ \\", + "^ {\\", + "▁ga ve", + "▁s uggest", + "▁sug gest", + "Over ride", + "ro du", + "rod u", + "Fr om", + "F rom", + "▁E urope", + "▁Europ e", + "▁ Europe", + "P O", + "hos t", + "▁ Ber", + "▁ Har", + "▁e nergy", + "▁ener gy", + "▁energ y", + "▁ energy", + "> <", + "fr ame", + "wi th", + "▁m o", + "▁ mo", + "p m", + "▁o m", + "▁ om", + "ne xt", + "nex t", + "n ext", + "▁ status", + "▁} \r", + "▁ }\r", + "▁ Dis", + "▁ho st", + "▁c omes", + "▁ comes", + "u sed", + "▁fut ure", + "▁ future", + "lic k", + "li ck", + "l ick", + "▁ compet", + "▁ voice", + "ev el", + "eve l", + "e vel", + "▁n eg", + "▁ neg", + "▁com mand", + "▁ command", + "▁f ür", + "▁pi e", + "▁ pie", + "▁qui te", + "▁quit e", + "▁b lo", + "▁bl o", + "▁ blo", + "il on", + "ilo n", + "i lon", + "▁t each", + "▁te ach", + "▁tea ch", + "▁prev ious", + "▁ previous", + "▁si te", + "▁ site", + "co lor", + "col or", + "colo r", + "at tr", + "att r", + "▁ accept", + ") }", + "Dat e", + "Da te", + "D ate", + "▁o u", + "▁ ou", + "▁pre tty", + "▁pret ty", + "▁ image", + "B U", + "▁sear ch", + "▁ search", + "▁ è", + "▁Va l", + "▁ ‘", + "▁Da v", + "sr c", + "s rc", + "in cip", + "▁could n", + "ad os", + "ado s", + "▁d ro", + "▁dr o", + "▁ dro", + "be ta", + "bet a", + "b eta", + "▁minut es", + "▁gran d", + "▁ grand", + "▁ »", + "▁O ur", + "▁ Our", + "St r", + "S tr", + "VE R", + "V ER", + "ma z", + "m az", + "▁or iginal", + "▁ original", + "▁ coll", + "lo at", + "▁o s", + "▁ os", + "}) ;", + "} );", + "sum mary", + "▁wal l", + "▁ wall", + "Col or", + "Co lor", + "▁ve rs", + "▁d ella", + "▁de lla", + "▁del la", + "▁dell a", + "▁\" \"\"", + "▁\"\" \"", + "▁ \"\"\"", + "math bf", + "▁ associ", + "▁in de", + "▁i nde", + "▁ind e", + "▁ inde", + "a gue", + "▁A pr", + "▁Ap r", + "▁ Apr", + "ro ups", + "rou ps", + "roup s", + "▁s eries", + "▁serie s", + "▁ series", + "▁in stead", + "▁si x", + "▁ six", + "▁ Rec", + "▁c oming", + "u rt", + "▁glob al", + "▁glo bal", + "▁ global", + "▁neces s", + "▁ necess", + "Po s", + "P os", + "▁ leave", + "▁p od", + "▁po d", + "▁ pod", + "ateg ory", + "ategor y", + "▁ deep", + "▁outs ide", + "ha s", + "h as", + "opt ions", + "option s", + "o ptions", + "▁ Sm", + "Su b", + "S ub", + "ro ws", + "row s", + "r ows", + "▁Stat es", + "▁Sta tes", + "▁ States", + "▁wr ong", + "▁ sem", + "▁ catch", + "mod el", + "mode l", + "mo del", + "▁htt p", + "▁ option", + "▁ä r", + "▁ är", + "▁enjo y", + "n u", + "▁p as", + "▁pa s", + "▁ pas", + "▁a mount", + "▁ amount", + "▁res pons", + "▁respon s", + "▁ respons", + "▁In tern", + "▁Inter n", + "▁Int ern", + "▁ Intern", + "▁my self", + "▁o pp", + "▁op p", + "▁ opp", + "▁ Sim", + "E d", + "▁( \\", + "▁ (\\", + "▁ points", + "ar ning", + "arn ing", + "U P", + "elli ng", + "▁c annot", + "▁le ngth", + "▁ length", + "nu ll", + "n ull", + "ui nt", + "u int", + "wi se", + "▁d ouble", + "▁ double", + "ig e", + "i ge", + "i sta", + "▁est ab", + "▁es tab", + "▁esta b", + "an ch", + "anc h", + "▁bou nd", + "▁ bound", + "▁ fa", + "▁c lean", + "▁ clean", + "▁simpl e", + "▁ simple", + "m i", + "#### ####", + "if ier", + "ifi er", + "▁Gener al", + "▁Gene ral", + "▁ General", + "▁se emed", + "end if", + "▁ca us", + "▁ educ", + "▁cel l", + "Ge ner", + "Gen er", + "G ener", + "sp ace", + "s pace", + "▁ Your", + "g t", + "▁l imit", + "▁li mit", + "▁ limit", + "▁da te", + "▁dat e", + "Ut il", + "U til", + "▁Nat ional", + "▁Nation al", + "▁ National", + "o ws", + "qu ad", + "▁o k", + "▁ ok", + "ar th", + "art h", + "▁ec onom", + "▁ econom", + "Com ponent", + "▁be low", + "sig ma", + "s igma", + "▁com put", + "▁comp ut", + "▁ comput", + "▁N one", + "▁No ne", + "▁Non e", + "▁ None", + "▁ta sk", + "▁ task", + "en te", + "ent e", + "e nte", + "pp ed", + "ppe d", + "p ped", + "▁a us", + "▁au s", + "▁ aus", + "Att ribute", + "Attrib ute", + "re q", + "r eq", + "ad dr", + "add r", + "li ght", + "co ver", + "cov er", + "c over", + "up port", + "upp ort", + "▁ Gl", + "▁ San", + "▁wr iting", + "▁ writing", + "▁ Mark", + "▁ gre", + "TY PE", + "T YPE", + "▁Sou th", + "▁Sout h", + "▁ South", + "▁perf ect", + "▁pack age", + "▁ package", + "▁ infl", + "▁ Ang", + "res pon", + "resp on", + "pte mber", + "▁ building", + "VA L", + "V AL", + "fr ee", + "fre e", + "f ree", + "H T", + "▁Fr om", + "▁Fro m", + "▁ From", + "d s", + "ach ine", + "achi ne", + "no wn", + "now n", + "n own", + "▁sa ying", + "Re f", + "R ef", + "▁ network", + "par ent", + "pa rent", + "pare nt", + "paren t", + "p arent", + "> \r", + "Build er", + "B uilder", + "▁li ving", + "▁liv ing", + "▁ continue", + "an ger", + "ang er", + "ange r", + "▁ Red", + "▁ dead", + "▁bo olean", + "▁ boolean", + "▁cl ient", + "▁ client", + "▁ •", + "ol der", + "old er", + "ud io", + "udi o", + "▁d eg", + "asi ng", + "a sing", + "▁ step", + "▁pe rs", + "▁ pers", + "ç ão", + "ob j", + "▁rou nd", + "▁re source", + "▁res ource", + "▁ resource", + "▁val id", + "▁ valid", + "bu g", + "b ug", + "st d", + "s td", + "sp an", + "s pan", + "po l", + "p ol", + "ial og", + "ia log", + "▁p hot", + "? '", + "D B", + "▁Fi n", + "▁ Fin", + "V E", + "E m", + "▁ca m", + "▁ cam", + "tar get", + "t arget", + "pe cted", + "pec ted", + "He l", + "H el", + "▁Tes t", + "▁ Test", + "▁tow n", + "▁ town", + "al ign", + "ali gn", + "▁ except", + "▁ initial", + "lic h", + "li ch", + "l ich", + "▁Au t", + "▁ Aut", + "▁ fail", + "▁ben ef", + "is che", + "isch e", + "isc he", + "i sche", + ". *", + "▁ contact", + "Re c", + "R ec", + "a rio", + "ot tom", + "ott om", + "otto m", + "▁rel ationship", + "▁relation ship", + "]) ;", + "] );", + "He ad", + "H ead", + "form at", + "for mat", + "▁é t", + "▁ ét", + "▁ More", + "act ory", + "actor y", + "port un", + "+ \\", + "▁simpl y", + "▁Rus s", + "n í", + "▁lon ger", + "in ition", + "init ion", + "ec tor", + "apt ion", + "a ption", + "▁profes s", + "▁ Mus", + "è s", + "▁ Act", + "off set", + "offs et", + "▁il l", + "▁ Ag", + "cont ent", + "▁ works", + "yn am", + "yna m", + "y nam", + "p lement", + "Res ource", + "Re source", + "Act ion", + "A ction", + "▁diff icult", + "▁Wes t", + "▁ West", + "▁vide o", + "▁ video", + "▁T HE", + "▁TH E", + "▁ THE", + "▁ decl", + "ondo n", + "de d", + "d ed", + "}{ \\", + "} {\\", + "o cr", + "▁Cit y", + "▁Ci ty", + "▁ City", + "ue r", + "u er", + "c z", + "▁i mag", + "▁ imag", + "c r", + "et e", + "e te", + "id get", + "idge t", + "▁ forward", + "▁pi ct", + "▁pic t", + "or ge", + "org e", + "▁ subject", + "up date", + "s a", + "▁ Ant", + "▁r unning", + "▁ running", + "▁sa l", + "▁ sal", + "con ne", + "conn e", + "c onne", + "▁ output", + "ad ata", + "ada ta", + "a data", + "Che ck", + "C heck", + "l edge", + "▁pa per", + "▁pap er", + "▁ paper", + "param s", + "par ams", + "para ms", + "a vy", + "▁a f", + "▁ af", + "▁e ine", + "▁ein e", + "▁j our", + "▁jo ur", + "▁jou r", + "▁ jour", + "A Y", + "▁S tr", + "▁St r", + "▁ Str", + "st yle", + "sty le", + "Th at", + "T hat", + "▁ language", + ") (", + "▁b uy", + "▁.. .", + "▁ activ", + "ap ped", + "app ed", + "appe d", + "a pped", + "But ton", + "B utton", + "To ken", + "Tok en", + "T oken", + "ibe r", + "▁c reated", + "▁ created", + "cur ity", + "c urity", + "En d", + "E nd", + "a ł", + "izi ng", + "i zing", + "▁s ich", + "▁si ch", + "▁ See", + "▁u int", + "▁ui nt", + "▁ uint", + "▁ label", + "vo l", + "v ol", + "ó w", + "oco l", + "▁inte rn", + "▁ intern", + "R un", + "▁ Oct", + "▁C omp", + "▁ Comp", + "Ac t", + "A ct", + "▁tou r", + "▁Stat e", + "▁Sta te", + "▁ State", + "▁ad ded", + "▁ added", + "htt ps", + "http s", + "stre am", + "▁ lower", + "▁ Sk", + "▁ cross", + "▁ echo", + "▁ device", + "▁gam es", + "▁ga mes", + "P L", + "W indow", + "ti tle", + "tit le", + "t itle", + "St ream", + "z t", + "▁ Sw", + "▁ role", + "k u", + "seq u", + "▁ late", + "Com m", + "Co mm", + "C omm", + "▁en tre", + "▁ent re", + "▁entr e", + "▁ entre", + "▁ dog", + "dev ice", + "▁ likely", + "^{ -", + "^ {-", + "▁l en", + "▁le n", + "▁ len", + "▁Pa ul", + "▁ Paul", + "▁t ool", + "▁to ol", + "▁too l", + "▁ tool", + "Of f", + "O ff", + "▁f amil", + "▁fam il", + "▁fa mil", + "▁ draw", + "a pping", + "▁ events", + "cre t", + "cr et", + "c ret", + "rou ght", + "Cont ent", + "ms g", + "m sg", + "ga mma", + "g amma", + "Op er", + "O per", + "▁your self", + "▁yours elf", + "▁li ter", + "▁ liter", + "em p", + "e mp", + "▁sep ar", + "▁ separ", + "▁ti tle", + "▁ title", + "M ethod", + "math rm", + "▁s low", + "▁ Rom", + "▁ta x", + "▁ tax", + "empl ate", + "emp late", + "o i", + "▁A rt", + "▁ Art", + "f alse", + "oc ket", + "T O", + "am ente", + "ame nte", + "ament e", + "amen te", + "a mente", + "lo cal", + "loc al", + "l ocal", + "chi e", + "▁pa n", + "ch ema", + "che ma", + "chem a", + "▁Nort h", + "▁> =", + "▁ >=", + "A ut", + "▁ dig", + "sol e", + "um er", + "ume r", + "u mer", + "del ta", + "d elta", + "it é", + "i té", + "ab ase", + "aba se", + "a base", + "ra f", + "r af", + "▁obs erv", + "▁ observ", + "▁ Est", + "▁s eg", + "▁se g", + "▁ seg", + "▁[ ]", + "▁ []", + "▁ Pres", + "pu sh", + "pus h", + "p ush", + "▁ Off", + "a ti", + "▁ dim", + "En t", + "E nt", + "___ _", + "_ ___", + "en try", + "ent ry", + "entr y", + "▁fi ght", + "▁ cred", + "▁O R", + "▁ OR", + "▁ Dep", + "$ {", + "Creat e", + "C reate", + "▁Apr il", + "▁Ap ril", + "min istr", + "▁ Ap", + "▁ Here", + "priv ate", + "p rivate", + "In stance", + "Inst ance", + "ie m", + "i em", + "▁ third", + "▁up date", + "▁ update", + "Lin e", + "Li ne", + "L ine", + "ta g", + "t ag", + "▁e specially", + "▁espec ially", + "▁especial ly", + "▁ especially", + "▁c u", + "▁ cu", + "▁ki ll", + "▁ kill", + "au ght", + "Option s", + "Opt ions", + "O ptions", + "ju st", + "j ust", + "▁ While", + "iz er", + "ize r", + "i zer", + "▁a uto", + "▁aut o", + "▁au to", + "▁ auto", + "▁ba nd", + "iq ues", + "N O", + "▁O F", + "▁ OF", + "▁ Acc", + "EX T", + "E XT", + "en sor", + "ens or", + "enso r", + "▁ lat", + "bi g", + "b ig", + "▁Ki ng", + "▁Kin g", + "▁ King", + "s i", + "▁Hi st", + "▁ Hist", + "▁ quality", + "mod e", + "mo de", + "m ode", + "▁op portun", + "▁would n", + ":* *", + ": **", + "out put", + "▁fee t", + "d f", + "agi ng", + "▁d efined", + "▁define d", + "▁ defined", + "▁ review", + "▁F il", + "▁Fi l", + "▁ Fil", + "▁prin cip", + "Bas e", + "B ase", + "di ct", + "d ict", + "ve rage", + "ver age", + "ici ent", + "▁hi t", + "▁ hit", + "Pag e", + "P age", + "▁p erm", + "▁per m", + "▁pe rm", + "▁ perm", + "í t", + "▁expr ess", + "▁ express", + "▁Sept ember", + "im age", + "ima ge", + "imag e", + "▁ products", + "▁medi a", + "▁ media", + "ig ger", + "igg er", + "▁ send", + "la st", + "las t", + "l ast", + "mi ng", + "uar y", + "y sis", + "lik e", + "в і", + "▁Mi ch", + "M O", + "▁J ah", + "▁Ja h", + "▁shar e", + "▁sha re", + "▁ share", + "sp ec", + "spe c", + "s pec", + "▁ fast", + "H O", + "▁part icip", + "▁parti cip", + "Bl ock", + "Blo ck", + "B lock", + "▁vi ol", + "▁fr ame", + "▁fra me", + "▁fram e", + "▁ frame", + "▁ qual", + "tr e", + "t re", + "▁tow ard", + "f g", + "Bo x", + "B ox", + "Col umn", + "▁mil it", + "▁mi lit", + "pas s", + "▁ Ben", + "Fr ame", + "▁n ormal", + "▁nor mal", + "▁ normal", + "op en", + "ope n", + "o pen", + "p x", + "▁Eve n", + "▁ Even", + "▁m a", + "▁ ma", + "St art", + "Star t", + "rh o", + "r ho", + "gr aph", + "gra ph", + "g raph", + "aci ng", + "arte r", + "in st", + "ins t", + "activ e", + "▁ fem", + "▁m oved", + "▁mo ved", + "▁stor e", + "▁sto re", + "▁ store", + "▁p rice", + "▁ price", + "be rg", + "b erg", + "▁ nov", + "▁ca rd", + "▁ card", + "el low", + "▁ party", + "▁ percent", + "▁ training", + "▁in g", + "▁i ng", + "▁ ing", + "im er", + "ime r", + "i mer", + "▁ Sam", + "Def ault", + "▁f uck", + "▁fu ck", + "▁com plete", + "▁comp lete", + "▁compl ete", + "▁ complete", + "ui d", + "u id", + "▁det ails", + "▁ details", + "Po int", + "P oint", + "▁Coun t", + "▁Cou nt", + "▁ Count", + "z o", + "▁ Bro", + "▁ recogn", + "▁ Hol", + "el ement", + "ele ment", + "elem ent", + "e lement", + "Mod e", + "Mo de", + "M ode", + "▁E X", + "▁ EX", + "Im age", + "ri ter", + "rit er", + "rite r", + "r iter", + "s oft", + "▁int rodu", + "▁intro du", + "▁sur pr", + "Buf fer", + "Buff er", + "B uffer", + "le ctor", + "lect or", + "l ector", + "an ged", + "ang ed", + "ange d", + "▁Pa t", + "▁ Pat", + "▁Pa l", + "▁ Pal", + "▁con tr", + "▁cont r", + "▁ contr", + "Hand ler", + "Handle r", + "▁ features", + "ip le", + "i ple", + "▁C ON", + "▁CO N", + "▁ CON", + "Fi l", + "F il", + "▁Po rt", + "▁Por t", + "▁ Port", + "▁thin king", + "do c", + "d oc", + "▁wor ked", + "c m", + "da t", + "d at", + "PR O", + "P RO", + "▁Ever y", + "▁Eve ry", + "▁ Every", + "▁ First", + "▁imm edi", + "ov ember", + "ove mber", + "apa n", + "▁extr a", + "▁ extra", + "▁sect ion", + "▁ section", + "▁Jun e", + "▁vi a", + "▁ via", + "▁s tri", + "▁ stri", + "^ \\", + "▁arc h", + "S ource", + "▁co nv", + "▁ conv", + "▁Lond on", + "▁ London", + "Num ber", + "N umber", + "an did", + "and id", + "en v", + "e nv", + "▁nat ural", + "▁natur al", + "▁ natural", + "▁ne ws", + "▁ news", + "▁c hall", + "▁cha ll", + "* }", + "N ull", + "rot e", + "▁ bi", + "▁wr itten", + "▁ written", + "▁blo od", + "▁happen ed", + "▁ca use", + "as hing", + "ash ing", + "ashi ng", + "a dem", + "▁displ ay", + "▁ display", + "ta b", + "t ab", + "ni e", + "n ie", + "▁h ers", + "▁he rs", + "▁her s", + "▁ Pre", + "buf fer", + "buff er", + "b uffer", + "▁his tor", + "en u", + "e nu", + "▁ar riv", + "▁arr iv", + "▁ Dem", + "▁f avor", + "▁fa vor", + "▁hand le", + "▁ handle", + "SE T", + "S ET", + "▁Pub lic", + "▁Pu blic", + "▁ Public", + "r upt", + "▁é s", + "▁ és", + "Pr e", + "P re", + "р і", + "th eta", + "the ta", + "i sf", + "▁nat ional", + "Equ al", + "Eq ual", + "E qual", + "▁ca pt", + "▁ Inter", + "ta u", + "t au", + "▁s leep", + "▁ sleep", + "../ ../", + "▁ issue", + "▁ member", + "▁a wait", + "▁aw ait", + "▁ await", + "▁Da n", + "▁ Dan", + "z i", + "i nate", + "▁ sym", + "cha n", + "▁Ja ck", + "▁ Jack", + "▁ English", + "▁s z", + "▁ sz", + "rib utes", + "ribut es", + "ribute s", + "ribu tes", + "▁ig n", + "á l", + "id ge", + "▁co uple", + "▁coup le", + "we b", + "w eb", + "▁usual ly", + "▁vi ll", + "▁vil l", + "▁W hy", + "▁Wh y", + "▁ Why", + "eb ru", + "e bru", + "or ds", + "▁i nf", + "▁ loss", + "▁o d", + "▁ od", + "▁ Phil", + "ser ver", + "serv er", + "serve r", + "▁ Up", + "▁b uff", + "▁bu ff", + "▁buf f", + "▁ buff", + "▁fil ename", + "▁file name", + "▁ filename", + "AB LE", + "iti ng", + "ef ore", + "e fore", + "() ->", + "( )->", + "▁ conditions", + "v m", + "i tz", + "▁ Trans", + "▁w eight", + "▁weigh t", + "vi der", + "vid er", + "v ider", + "c oming", + "▁l ock", + "▁loc k", + "▁lo ck", + "▁ lock", + "▁e tc", + "▁ etc", + "▁a vec", + "▁av ec", + "▁ave c", + "▁tak es", + "▁ta kes", + "▁C har", + "▁Cha r", + "▁ Char", + "▁N ovember", + "m ethod", + "▁A ustral", + "▁ Austral", + "▁Amer ica", + "▁ America", + "lon g", + "fl ow", + "f low", + "▁may be", + "▁ maybe", + "La yout", + "L ayout", + "ic ip", + "ici p", + "i cip", + "part ial", + "Tr ue", + "▁f loor", + "▁ floor", + "▁ Def", + "▁conce rn", + "▁concer n", + "▁an swer", + "▁ans wer", + "▁ answer", + "▁ba ll", + "▁ Rev", + "▁ sun", + "ment e", + "me nte", + "men te", + "m ente", + "▁ Mal", + "▁ issues", + "ec ause", + "eca use", + "▁p layer", + "▁pl ayer", + "▁ player", + "▁ parents", + "▁popula r", + "▁popul ar", + "▁mo de", + "▁ mode", + "N E", + "Lo ad", + "L oad", + "▁regul ar", + "▁ regular", + "? :", + "fun c", + "fu nc", + "f unc", + "▁per formance", + "▁J uly", + "th ern", + "ther n", + "the rn", + "▁we bsite", + "▁web site", + "fo rd", + "l evel", + "fl ags", + "flag s", + "▁cor respon", + "si m", + "s im", + "▁ alone", + "▁ har", + "obi le", + "obil e", + "▁d ru", + "▁dr u", + "▁ dru", + "ch i", + "c hi", + "▁D avid", + "▁Da vid", + "▁ David", + "▁ column", + "() ;\r", + "(); \r", + "( );\r", + "Z E", + "▁reli g", + "▁ region", + "a dy", + "I O", + "ande r", + "Ne t", + "N et", + "▁ built", + "▁ install", + "C ur", + "▁fi ne", + "▁talk ing", + "▁tal king", + "▁ch anges", + "▁ changes", + "St yle", + "▁Ma rt", + "▁ Mart", + "res ponse", + "respon se", + "respons e", + "te ger", + "{ \r", + "iri t", + "▁prote cted", + "▁ protected", + "▁r ele", + "un signed", + "uns igned", + "ial ize", + "▁htt ps", + "▁ https", + "T ag", + "▁$ (", + "▁ $(", + "mo re", + "mor e", + "ype s", + "yp es", + "y pes", + "et ch", + "etc h", + "▁ engine", + "K E", + "cm d", + "c md", + "scri pt", + "scr ipt", + "t tp", + "▁a void", + "▁t err", + "▁te rr", + "▁ter r", + "▁ rock", + "▁f ul", + "▁fu l", + "▁ ful", + "Up date", + "▁env ironment", + "▁environ ment", + "▁ environment", + "▁ prec", + "▁ca ses", + "▁ cases", + "▁off set", + "▁ offset", + "▁r ais", + "▁ra is", + "▁ rais", + "ée s", + "é es", + "a a", + "y t", + "▁a rr", + "▁ arr", + "opy right", + "f irst", + "▁ util", + "▁ feature", + "po sed", + "p osed", + "ff ect", + "f fect", + "itu de", + "itud e", + "emen ts", + "le ctions", + "lect ions", + "lection s", + "▁ club", + "] {", + "▁* )", + "▁ *)", + "▁ imm", + "▁forme r", + "▁decide d", + "▁decid ed", + "▁ rev", + "▁st ru", + "▁str u", + "▁ stru", + "▁I tal", + "a lle", + "▁b is", + "▁bi s", + "▁ bis", + "ge ner", + "gen er", + "g ener", + "▁in tegr", + "▁int egr", + "▁inte gr", + "▁ integr", + "ry pt", + "s b", + "▁t ypes", + "▁ types", + "▁R E", + "▁ RE", + "In it", + "I nit", + "▁comme nt", + "▁ comment", + "AR T", + "A RT", + "F O", + "Con ne", + "Conn e", + "C onne", + "▁sq u", + "id ad", + "ida d", + "cia l", + "▁ Of", + "▁tr avel", + "') .", + "' ).", + "u y", + "i lla", + "is try", + "istr y", + "▁v a", + "▁ va", + "▁ Che", + "ER T", + "E RT", + "en de", + "end e", + "e nde", + "un gen", + "ung en", + "unge n", + "▁sa m", + "▁ sam", + "▁ex ecut", + "▁exec ut", + "▁ execut", + "▁ Us", + "▁mu t", + "▁ mut", + "▁ba l", + "as se", + "ass e", + "▁k ids", + "▁kid s", + "▁ki ds", + "▁fin anc", + "▁ Sec", + "be rt", + "▁Hig h", + "▁Hi gh", + "▁ High", + "▁ је", + "but ton", + "b utton", + "it ory", + "itor y", + "ito ry", + "▁ Rem", + "▁D E", + "▁ DE", + "▁r each", + "▁ reach", + "La bel", + "L abel", + "á t", + "▁pas sed", + "▁be hav", + "xF F", + "x FF", + "▁R eturn", + "▁Re turn", + "▁Ret urn", + "▁ Return", + "ST R", + "S TR", + "▁ Les", + "inge r", + "▁Sin ce", + "▁ Since", + "▁exper i", + "▁exp eri", + "▁s hall", + "▁sha ll", + "▁ shall", + "▁s tar", + "▁sta r", + "no n", + "n on", + "▁ gun", + "▁ Bel", + "▁ob j", + "▁ obj", + "r s", + "ne n", + "n en", + "▁S tre", + "▁St re", + "▁Str e", + "▁ î", + "time s", + "ti mes", + "tim es", + "t imes", + "▁ register", + "▁mod ule", + "▁mo dule", + "▁ module", + "▁app lic", + "▁appl ic", + "▁ cook", + "▁sa ve", + "▁sav e", + "▁ save", + "▁ Cr", + ", \r", + "▁sta tes", + "▁ states", + "▁em pty", + "▁emp ty", + "▁empt y", + "▁ empty", + "▁au tom", + "▁auto m", + "▁ autom", + "fig ure", + "▁h appy", + "▁happ y", + "▁f n", + "▁ fn", + "▁ju d", + "▁ jud", + "▁h at", + "▁ha t", + "▁ hat", + "AC K", + "A CK", + "▁ Fe", + "$ -", + "ivi l", + "i vil", + "▁size of", + "▁ sizeof", + "▁li ves", + "▁liv es", + "▁fe eling", + "▁feel ing", + "▁fee ling", + "▁ris k", + "▁Januar y", + "▁Ob ject", + "▁ Object", + "ea h", + "e ah", + "▁com plex", + "▁ complex", + "print f", + "ist ance", + "istan ce", + "i stance", + "li k", + "l ik", + "Ar g", + "A rg", + "▁mo dern", + "▁mode rn", + "▁moder n", + "ion es", + "io nes", + "ione s", + "i ones", + "▁ Mag", + "▁ condition", + "Le ngth", + "L ength", + "▁fi t", + "oun ds", + "▁ch anged", + "▁ changed", + "▁g uy", + "▁gu y", + "fil ter", + "at ever", + "ate ver", + "é d", + "re move", + "rem ove", + "▁ho p", + "▁ hop", + "▁ Out", + "▁Ric h", + "▁ Rich", + "ch ild", + "chi ld", + "▁in cluded", + "▁incl uded", + "▁inclu ded", + "$ \\", + "▁ Tom", + "eli ne", + "elin e", + "▁s ometimes", + "▁some times", + "▁sometime s", + "▁dr ink", + "▁ quant", + "▁p lease", + "▁ple ase", + "▁ex actly", + "▁exact ly", + "cin g", + "▁all owed", + "▁ allowed", + "bu ild", + "b uild", + "▁beaut iful", + "▁Wel l", + "▁ Well", + "▁look s", + "▁lo oks", + "▁ ü", + "▁wr ote", + "▁ nor", + "▁ failed", + "Me t", + "M et", + "▁p rior", + "or ia", + "ori a", + "o ria", + "▁ web", + "▁mes s", + "le q", + "l eq", + "d y", + "te x", + "t ex", + "▁a nim", + "▁ anim", + "atu r", + "▁str ucture", + "▁ structure", + "opt ion", + "o ption", + "▁ actual", + "▁Fr anc", + "▁Fra nc", + "▁Fran c", + ".< /", + ". ", + "▁ />", + "▁p roduction", + "▁prod uction", + "▁ production", + "ige r", + "sh ow", + "s how", + "▁popul ation", + "▁ park", + "▁ necessary", + "▁t rust", + "mod ule", + "mo dule", + "G E", + "▁class Name", + "▁ className", + "▁cal cul", + "▁calc ul", + "Fun ction", + "F unction", + "▁ Sal", + "O K", + "▁en try", + "▁entr y", + "▁ entry", + "▁ Stud", + "▁item s", + "▁ items", + "▁se curity", + "▁secur ity", + "▁ security", + "En try", + "Ent ry", + "f loat", + "▁cont ribut", + "▁C heck", + "▁Che ck", + "▁ Check", + "M D", + "Par t", + "P art", + "▁syst ems", + "▁ policy", + "▁s creen", + "▁scr een", + "▁ screen", + "▁A ny", + "▁An y", + "▁ Any", + "al loc", + "all oc", + "allo c", + "▁ É", + "▁e mail", + "▁em ail", + "▁ email", + "= >", + "▁ Hen", + "▁in fo", + "▁inf o", + "▁ info", + "▁f loat", + "▁flo at", + "▁ float", + "▁ switch", + "▁as sum", + "▁ass um", + "us tr", + "ust r", + "u str", + "▁g roups", + "▁gro ups", + "▁ groups", + "▁R ead", + "▁Re ad", + "▁ Read", + "▁w at", + "▁wa t", + "RA N", + "R AN", + "AL L", + "A LL", + "▁h us", + "▁ hus", + "Sp ec", + "Spe c", + "S pec", + "\") )", + "\" ))", + "▁C lass", + "▁ Class", + "▁presid ent", + "▁def init", + "▁defin it", + "▁T hom", + "W idth", + "D o", + "▁{ @", + "a gon", + "▁ Lu", + "M M", + "tm p", + "t mp", + "▁th rows", + "▁throw s", + "▁thr ows", + "▁thro ws", + "▁ throws", + "IT Y", + "I TY", + "é g", + "▁inter face", + "▁ interface", + "▁sa f", + "B ack", + "▁s peed", + "▁ speed", + "▁ext ends", + "▁extend s", + "em pty", + "empt y", + "emp ty", + "▁d riv", + "▁dr iv", + "▁dri v", + "▁c enter", + "▁ center", + "he ader", + "head er", + "▁} )", + "▁ })", + "▁ middle", + "▁ch oose", + "▁cho ose", + "▁St ad", + "▁Sta d", + "S O", + "Fact ory", + "Factor y", + "F actory", + "De v", + "D ev", + "icl es", + "▁appl ication", + "▁ application", + "▁ models", + "pi te", + "pit e", + "ca p", + "c ap", + "x i", + "▁dre am", + "EN D", + "E ND", + "▁con tract", + "▁contr act", + "▁contra ct", + "▁ contract", + "icro soft", + "▁thou s", + "i zes", + "▁d irection", + "▁di rection", + "▁dir ection", + "▁ direction", + "▁` `", + "▁ ``", + "▁d rive", + "▁dri ve", + "▁driv e", + "▁ drive", + "Ma x", + "M ax", + "ci a", + "c ia", + "▁Ale x", + "▁ Alex", + "▁gol d", + "▁ gold", + "▁p rep", + "▁or igin", + "▁ origin", + "O p", + "PO RT", + "P ORT", + "▁sa fe", + "▁ safe", + "ap ache", + "apa che", + "▁t emper", + "▁temp er", + "s z", + "▁u nit", + "▁ unit", + "▁ cop", + "eq n", + "List ener", + "Listen er", + "▁forma t", + "▁ format", + "se lect", + "sel ect", + "s elect", + "▁com fort", + "▁ comfort", + "id ay", + "ida y", + "i day", + "em e", + "e me", + "▁ note", + "▁Mi l", + "▁ Mil", + "on ly", + "▁< =", + "▁ <=", + "▁nei gh", + "▁ blue", + "Ch ild", + "Add ress", + "Addr ess", + "▁cl osed", + "▁clo sed", + "▁ closed", + "inde r", + "ol o", + "o lo", + "▁a lt", + "▁a dm", + "▁ad m", + "Form at", + "For mat", + "U I", + "▁f requ", + "▁in depend", + "▁inde pend", + "▁ independ", + "▁Lan d", + "▁ Land", + "▁ tor", + "in fty", + "inf ty", + "▁Wor k", + "▁ Work", + "▁Coun ty", + "▁s rc", + "▁ src", + "}$ ,", + "} $,", + "par se", + "pars e", + "p arse", + "▁Cou r", + "▁f ol", + "▁fo l", + "▁ fol", + "Ent ity", + "pg f", + "▁Chi na", + "▁ Sub", + "▁ fields", + "▁y es", + "▁ye s", + "▁ yes", + "re nd", + "ren d", + "r end", + "▁tow ards", + "▁sta ff", + "▁ staff", + "▁ Air", + "▁ station", + "ativ es", + "iss ions", + "ission s", + "| \\", + "Pt r", + "P tr", + "Po l", + "P ol", + "▁ progress", + "i tar", + "▁p arts", + "▁ parts", + "▁ plant", + "▁abs olut", + "▁gu ess", + "eq ref", + "▁ti m", + "▁ tim", + "▁ Lou", + "al u", + "a lu", + "▁mo uth", + "▁mou th", + "▁ mouth", + "▁h eight", + "▁ height", + "▁Pos t", + "▁ Post", + "▁ti t", + "▁ tit", + "▁ho ur", + "▁ hour", + "▁ser ver", + "▁serv er", + "▁serve r", + "▁ server", + "▁p layers", + "ri er", + "rie r", + "r ier", + "Lin k", + "L ink", + "] (", + "▁constr uct", + "▁constru ct", + "▁ construct", + "hand le", + "}$ .", + "} $.", + "ry ing", + "r ying", + "▁s hop", + "▁ shop", + "ex p", + "e xp", + "Hel per", + "Help er", + "Off set", + "▁conn ection", + "▁ connection", + "▁d ifference", + "serv ice", + "s ervice", + "▁ga s", + "▁p riv", + "▁ priv", + "▁ univers", + "▁w ish", + "▁wis h", + "Re m", + "R em", + "U rl", + "ge b", + "g eb", + "S o", + "Mod ule", + "Mo dule", + "SI ZE", + "wind ow", + "w indow", + "de l", + "d el", + "▁a verage", + "▁ave rage", + "xi m", + "x im", + "▁p u", + "▁ pu", + "an ç", + "De t", + "D et", + "▁ Det", + "▁p å", + "▁na med", + "▁nam ed", + "▁ named", + "▁decis ion", + "wi n", + "▁Ge orge", + "▁s olution", + "▁sol ution", + "▁mult iple", + "▁ multiple", + "at egy", + "▁le arning", + "▁lear ning", + "▁ learning", + "▁se cret", + "▁secre t", + "▁ secret", + "D O", + "▁n ice", + "▁ni ce", + "▁nic e", + "▁ nice", + "//////// ////////", + "S u", + "itat ion", + "▁j oin", + "▁ join", + "▁elem ents", + "▁ elements", + "til de", + "t ilde", + "▁ dep", + "▁s hot", + "▁ shot", + "▁pl atform", + "▁ platform", + "edi a", + "( [", + "▁dre ss", + "▁off icial", + "este rn", + "▁dis cover", + "▁disco ver", + "▁ mi", + "od ing", + "odi ng", + "o ding", + "▁Fou nd", + "▁Fo und", + "▁ Found", + "▁a ffect", + "▁af fect", + "Vi s", + "V is", + "st ract", + "str act", + "stra ct", + "s tract", + "de bug", + "d ebug", + "▁relate d", + "▁ spect", + "сь ко", + "▁ bank", + "▁c ele", + "▁ce le", + "▁cel e", + "AN D", + "A ND", + "▁f ill", + "▁fil l", + "▁fi ll", + "▁ fill", + "▁giv es", + "▁gi ves", + "ar on", + "aro n", + "a ron", + "RE G", + "▁s udd", + "▁su dd", + "▁sud d", + "date d", + "da ted", + "dat ed", + "d ated", + "▁g i", + "▁ gi", + "se nd", + "sen d", + "s end", + "cp p", + "c pp", + "▁s pent", + "an de", + "and e", + "a nde", + "▁ operation", + "pro cess", + "proc ess", + "▁info rm", + "▁Fr ee", + "▁ Free", + "yo nd", + "y ond", + "▁su rv", + "▁L oc", + "▁Lo c", + "▁ Loc", + "▁con cl", + "▁conc l", + "▁ Over", + "ho l", + "h ol", + "ra z", + "r az", + "Wr ite", + "Writ e", + "W rite", + "▁giv ing", + "▁gi ving", + "in stance", + "inst ance", + "▁re leased", + "▁ Ro", + "▁grap h", + "▁ graph", + "▁ figure", + "Fil ter", + "HE CK", + "id x", + "i dx", + "▁g lass", + "▁ glass", + "sk i", + "s ki", + "com es", + "co mes", + "come s", + "c omes", + "▁ca t", + "▁ cat", + "go to", + "got o", + "g oto", + "u fact", + "▁C opyright", + "▁Copy right", + "▁ Copyright", + "}} \\", + "} }\\", + "▁d ir", + "▁di r", + "▁ dir", + "to ken", + "tok en", + "t oken", + "▁oc cur", + "arl ier", + "▁ measure", + "▁m ás", + "▁má s", + "▁ Net", + "▁arg ument", + "▁ argument", + "▁s ou", + "▁so u", + "▁m oving", + "▁mo ving", + "▁p refer", + "▁pre fer", + "▁pref er", + "ma sk", + "mas k", + "m ask", + "< <", + "▁bre ath", + "▁breat h", + "▁posit ive", + "▁s or", + "▁so r", + "▁ sor", + "▁re move", + "▁rem ove", + "▁ remove", + "▁k it", + "▁ki t", + "▁ kit", + "▁me eting", + "▁Da ta", + "▁Dat a", + "og raf", + "▁param eters", + "▁parameter s", + "▁ parameters", + "▁ Att", + "es ch", + "esc h", + "e sch", + "▁involve d", + "ä t", + "B ar", + "GE T", + "G ET", + "▁pr event", + "▁prev ent", + "▁ prevent", + "▁be yond", + "▁Ot her", + "▁ Other", + "ä n", + "by te", + "▁sudd en", + "▁sud den", + "ol ve", + "olv e", + "LO G", + "L OG", + "un it", + "uni t", + "u nit", + "S D", + "▁e at", + "▁ Mad", + "▁ session", + "De le", + "Del e", + "D ele", + "▁conve rs", + "cent er", + "cen ter", + "c enter", + "ot ion", + "oti on", + "ca che", + "c ache", + "dis play", + "disp lay", + "▁p ow", + "▁po w", + "▁ pow", + "CT ION", + "C TION", + "▁ Mac", + "m o", + "▁d istance", + "▁ distance", + "▁Ti me", + "g i", + "▁seq u", + "T arget", + "Ser ver", + "Serv er", + "cl ose", + "clos e", + "Ex t", + "E xt", + "▁s elect", + "▁sel ect", + "▁sele ct", + "▁ select", + "▁ pattern", + "\") );", + "\")) ;", + "\" ));", + "Pro vider", + "Prov ider", + "UR L", + "U RL", + "▁ green", + "▁wait ing", + "▁wa iting", + "pro to", + "pr oto", + "prot o", + "▁immediate ly", + "com mon", + "comm on", + "az ione", + "azi one", + "a zione", + "ri ver", + "riv er", + "rive r", + "r iver", + "▁! ==", + "▁!= =", + "▁Febru ary", + "▁Februar y", + "u rb", + "de st", + "des t", + "d est", + "< ?", + "▁ edge", + "▁m ais", + "▁ma is", + "▁mai s", + "gor ith", + "cp u", + "c pu", + "▁associate d", + "No ne", + "Non e", + "N one", + "se m", + "s em", + "▁b ud", + "▁bu d", + "▁ bud", + "▁a uch", + "▁au ch", + "▁ auch", + "▁ Life", + "▁f iles", + "▁fil es", + "▁file s", + "▁fi les", + "▁ files", + "▁ leading", + "▁obt ain", + "i table", + "▁ont o", + "▁bo rn", + "or em", + "ore m", + "o rem", + "▁Stre et", + "▁m aint", + "▁main t", + "▁ma int", + "▁mai nt", + "Param s", + "Par ams", + "ma in", + "m ain", + "We b", + "W eb", + "ais e", + "ai se", + "a ise", + "▁de scribed", + "▁desc ribed", + "▁describe d", + "▁Da y", + "▁ Day", + "▁Vo l", + "▁ Vol", + "▁hug e", + "Ha s", + "H as", + "He ader", + "Head er", + "▁a ren", + "▁are n", + "▁ar en", + "▁ aren", + "▁en sure", + "▁ ensure", + "mu lt", + "mul t", + "m ult", + "▁ Like", + "▁manage ment", + "▁ management", + "▁ background", + "o unter", + "bo ol", + "b ool", + "N um", + "▁ex cl", + "▁exc l", + "im g", + "i mg", + "▁ Hel", + "Opt ion", + "O ption", + "▁sto pped", + "▁th read", + "▁thr ead", + "▁ thread", + "to type", + "tot ype", + "t otype", + "▁stag e", + "▁sta ge", + "▁ stage", + "▁ü ber", + "▁ über", + "▁ although", + "Type s", + "Ty pes", + "Typ es", + "T ypes", + "▁ Oh", + "▁ eight", + "▁de scription", + "▁des cription", + "▁ description", + "' '", + "ö n", + "▁surf ace", + "▁ surface", + "▁Intern ational", + "▁cha rg", + "▁ charg", + "▁ collection", + "▁use rs", + "▁ users", + "▁ob vious", + "▁artic le", + "▁ article", + "▁\" \\", + "▁ \"\\", + "di m", + "d im", + "▁s in", + "▁si n", + "▁ sin", + "Cont rol", + "▁ commit", + "cript or", + "▁N OT", + "▁NO T", + "▁ NOT", + "▁M ichael", + "▁n od", + "▁no d", + "▁ nod", + "▁mo rt", + "iv o", + "i vo", + "▁ Po", + "▁P aris", + "▁Pa ris", + "▁ad ministr", + "▁admin istr", + "▁ administr", + "bu rg", + "cd ot", + "c dot", + "▁milit ary", + "▁militar y", + "▁Bes t", + "▁ Best", + "IN E", + "I NE", + "S l", + "▁im pl", + "▁imp l", + "▁ impl", + "cont rol", + "contr ol", + "▁u it", + "▁ui t", + "▁ uit", + "▁un signed", + "▁uns igned", + "▁ unsigned", + "Ch ar", + "C har", + "м і", + "▁c ourt", + "▁cou rt", + "▁ court", + "vi lle", + "vil le", + "▁ Cam", + ". \r", + "▁curr ently", + "ro t", + "r ot", + "▁D ate", + "▁Da te", + "▁Dat e", + "▁ Date", + "▁s hit", + "▁sh it", + "▁ shit", + "▁$ {\\", + "▁${ \\", + "u nn", + "U s", + "▁b uffer", + "▁buff er", + "▁buf fer", + "▁ buffer", + "▁s ont", + "▁so nt", + "▁son t", + "▁lett er", + "▁ letter", + "Ch ange", + "▁h ref", + "▁hr ef", + "▁ href", + "▁lac k", + "▁ Cons", + "BU G", + "B UG", + "▁pro perties", + "▁ properties", + "▁r andom", + "▁ran dom", + "▁rand om", + "▁ random", + "▁p iece", + "▁ piece", + "isti cs", + "gl obal", + "glob al", + "▁ transform", + "er d", + "e rd", + "▁B ecause", + "▁ Because", + "PE CT", + "P ECT", + "▁ Met", + "▁p sy", + "▁ps y", + "▁ psy", + "▁ god", + "▁ Del", + "base d", + "ba sed", + "bas ed", + "▁v oor", + "▁vo or", + "▁ Call", + "▁fil ter", + "▁ filter", + "▁incl udes", + "▁inclu des", + "▁ includes", + "olut ions", + "olution s", + "f d", + "▁ wind", + "ca rd", + "car d", + "c ard", + "▁n umer", + "▁num er", + "▁nu mer", + "▁ numer", + "add ress", + "addr ess", + "ash ington", + "ashing ton", + "ab a", + "a ba", + "▁ Log", + "Set tings", + "Setting s", + "▁p i", + "▁ pi", + "iri ng", + "F T", + "co nf", + "ta sk", + "t ask", + "▁î n", + "▁re ceive", + "▁ root", + "pat ch", + "p atch", + "é l", + "▁ methods", + "▁plac es", + "▁capit al", + "▁Germ an", + "\\ ,", + "ec ute", + "ecut e", + "col umn", + "▁ functions", + "▁co unter", + "▁ counter", + "▁ arms", + "▁fee d", + "▁ feed", + "he nt", + "hen t", + "h ent", + "MA X", + "M AX", + "▁app ly", + "▁ap ply", + "▁appl y", + "▁ apply", + "▁hus band", + "▁S pec", + "▁Sp ec", + "▁Spe c", + "▁ Spec", + "ent ity", + "enti ty", + "▁e arlier", + "▁Mi ss", + "▁Mis s", + "▁ Miss", + "▁ setting", + "▁ ded", + "Ro w", + "R ow", + "▁Y es", + "▁Ye s", + "▁ Yes", + "▁financ ial", + "s ession", + "ishi ng", + "▁ne arly", + "▁d ur", + "▁du r", + "▁m achine", + "▁ machine", + "xf f", + "x ff", + "▁s ymbol", + "▁sym bol", + "▁ symbol", + "lan ds", + "Ac c", + "A cc", + "d i", + "pro p", + "pr op", + "p rop", + "uri ty", + "▁## ###", + "▁walk ed", + "▁wal ked", + "▁internation al", + "Y es", + "▁re lease", + "▁ release", + "st atic", + "stat ic", + "▁b ei", + "▁be i", + "al low", + "all ow", + "allo w", + "▁ People", + "▁param eter", + "▁ parameter", + "C ache", + "▁$ $", + "▁ $$", + "▁ Mer", + "▁k om", + "▁ko m", + "▁ kom", + "le ted", + "let ed", + "lete d", + "l eted", + "oi s", + "▁ Open", + "ty pes", + "type s", + "typ es", + "t ypes", + "▁f ue", + "▁fu e", + "ac ters", + "act ers", + "acter s", + "▁ reference", + "Equ als", + "Equal s", + "Eq uals", + "▁ aware", + "▁h ol", + "▁ho l", + "▁ hol", + "▁de mand", + "▁v eh", + "▁ veh", + "▁not ice", + "▁ notice", + "▁com ponent", + "▁compon ent", + "▁ component", + "f n", + "▁analy sis", + "▁analys is", + "▁ analysis", + "mat ch", + "m atch", + "▁ effective", + "pro duct", + "produ ct", + "prod uct", + "▁ legal", + "se mb", + "sem b", + "s emb", + "▁locate d", + "Q L", + "et o", + "e to", + "Dr aw", + "D raw", + "▁scal e", + "▁ scale", + "▁w ants", + "▁want s", + "H ow", + "▁w el", + "▁we l", + "isi ons", + "▁de liver", + "unde r", + "▁j u", + "▁ ju", + "val ues", + "value s", + "▁si ster", + "▁sist er", + "▁C reate", + "▁Creat e", + "▁Cre ate", + "▁ Create", + "▁I nc", + "▁a ux", + "▁au x", + "▁ aux", + "▁ White", + "Me nu", + "Men u", + "M enu", + "re source", + "res ource", + "▁ca b", + "▁li f", + "▁ lif", + "▁c ulture", + "ic he", + "ich e", + "i che", + "▁wh atever", + "▁what ever", + "▁de signed", + "▁ Mont", + "▁ charge", + "Name s", + "Na mes", + "N ames", + "▁custom ers", + "▁customer s", + "o sa", + "E Q", + "▁o pin", + "▁Fr e", + "▁ seek", + "▁p ush", + "▁pu sh", + "▁ push", + "▁n av", + "▁na v", + "▁ nav", + "▁bu rn", + "▁ burn", + "arde n", + "ha sh", + "has h", + "h ash", + "▁opportun ity", + "▁ Mat", + "oya l", + "▁pu n", + "sc ale", + "scal e", + "yn amic", + "ynam ic", + "yna mic", + "▁Typ e", + "▁qu ery", + "▁que ry", + "▁quer y", + "▁ query", + "▁ Once", + "▁medic al", + "▁medi cal", + "li e", + "l ie", + "▁ student", + "ede ral", + "▁ lov", + "▁alter n", + "▁ altern", + "bi n", + "od er", + "ode r", + "o der", + "▁ returns", + "reg ister", + "C I", + "▁ Tor", + "C R", + "▁ Los", + "am ily", + "ami ly", + "amil y", + "air e", + "ai re", + "a ire", + "++ ;", + "Cont roller", + "Control ler", + "wi de", + "wid e", + "row ser", + "rows er", + "▁ Book", + "Cont ainer", + "pl oad", + "plo ad", + "p load", + "▁ Ev", + "▁ta l", + "▁ tal", + "eqn array", + "▁rep orted", + "▁me aning", + "ri be", + "rib e", + "r ibe", + "hol d", + "▁of fers", + "▁t empl", + "▁tem pl", + "▁temp l", + "cs s", + "c ss", + "▁p icture", + "▁ picture", + "▁a sync", + "▁as ync", + "▁ async", + "▁sto ck", + "▁ stock", + "▁inter nal", + "▁ internal", + "t i", + "V er", + "▁d emon", + "▁demo n", + "▁l augh", + "▁la ugh", + "▁laug h", + "▁ End", + "▁k on", + "▁ko n", + "▁ kon", + "▁c andid", + "▁can did", + "Me m", + "M em", + "iz z", + "i zz", + "re fix", + "ref ix", + "▁A ND", + "▁AN D", + "▁ AND", + "eg en", + "e gen", + "E l", + "H ttp", + "▁ Rob", + "д і", + "▁ bul", + "▁countr ies", + "▁ex pression", + "▁expr ession", + "▁ expression", + "s f", + "▁certain ly", + "▁A NY", + "▁AN Y", + "▁ ANY", + "▁conn ect", + "▁ connect", + "F E", + "▁and roid", + "▁ android", + "▁Gol d", + "▁ Gold", + "▁opp os", + "ove rn", + "o vern", + "▁Com mun", + ", _", + "asi on", + "▁fi rm", + "▁fir m", + "▁ Good", + "▁ brand", + "M in", + "fil l", + "fi ll", + "f ill", + "'] ,", + "' ],", + "in gle", + "ing le", + "it hub", + "ith ub", + "▁ Div", + "▁ce rt", + "▁cer t", + "▁ cert", + "He ight", + "H eight", + "The re", + "Th ere", + "T here", + "it ute", + "itut e", + "itu te", + "▁a maz", + "▁am az", + "▁ amaz", + "▁S E", + "▁ SE", + "▁pull ed", + "▁pul led", + "▁re sources", + "▁resource s", + "▁ resources", + "▁ Max", + "▁ag reed", + "▁agree d", + "\"> < /", + "\" > >", + "▁ >>", + "com mand", + "comm and", + "at z", + "a tz", + "▁m al", + "▁ma l", + "▁ mal", + "▁ Press", + "▁char acters", + "▁z ero", + "▁ze ro", + "▁ zero", + "AG E", + "A GE", + "rap per", + "▁kit chen", + "▁re str", + "▁r estr", + "▁res tr", + "▁rest r", + "▁Ar ray", + "▁Arr ay", + "▁ Array", + "▁fres h", + "▁sh ift", + "▁ shift", + "▁spec ified", + "pl ete", + "ple te", + "plet e", + "p lete", + "IT E", + "I TE", + "▁ Camp", + "c b", + "▁ TH", + "I B", + "▁ ú", + "▁par ams", + "▁param s", + "▁para ms", + "▁ params", + "ign ment", + "ad ding", + "add ing", + "▁ degree", + "Loc al", + "Lo cal", + "L ocal", + "O h", + "▁z ur", + "▁zu r", + "▁lev els", + "fin ished", + "finish ed", + "C ase", + "ri age", + "ria ge", + "Vec tor", + "V ector", + "▁s ea", + "▁ sea", + "anti c", + "▁ther efore", + "On e", + "O ne", + "Re turn", + "Ret urn", + "R eturn", + "Acc ess", + "Ac cess", + "A ccess", + "va s", + "v as", + "Bi g", + "B ig", + "▁be havior", + "▁behavi or", + "k r", + "▁un defined", + "▁und efined", + "▁ undefined", + "▁ Es", + "el es", + "ele s", + "e les", + "▁W AR", + "▁WA R", + "▁ WAR", + "St at", + "S tat", + "▁ Google", + "▁c redit", + "▁cre dit", + "▁cr edit", + "▁F ile", + "▁Fil e", + "▁Fi le", + "▁ File", + "an ging", + "ang ing", + "hou se", + "rom ise", + "▁soci ety", + "▁societ y", + "▁enc our", + "▁pa int", + "▁ UK", + "aw s", + "a ws", + "on om", + "ono m", + "o nom", + "G l", + "}_ {\\", + "}_{ \\", + "} _{\\", + "ele ss", + "eles s", + "em y", + "e my", + "▁ images", + "▁ ö", + "▁f ont", + "▁fo nt", + "▁fon t", + "▁ font", + "cl ear", + "cle ar", + "c lear", + "gi n", + "▁Lor d", + "▁ transport", + "▁: :", + "▁ ::", + "▁c up", + "▁cu p", + "▁ cup", + "u late", + "▁Dur ing", + "pr iv", + "p riv", + "▁extr em", + "▁ Di", + "▁d oubt", + "▁dou bt", + "▁doub t", + "P y", + "sp lit", + "spl it", + "s plit", + "eg o", + "e go", + "git hub", + "g ithub", + "RO M", + "R OM", + "▁cha ir", + "▁ chair", + "▁t rade", + "▁n icht", + "▁ni cht", + "▁nic ht", + "To p", + "T op", + "St ore", + "▁p arte", + "▁part e", + "▁par te", + "pro ject", + "ni a", + "n ia", + "▁в ід", + "▁ві д", + "Th read", + "с тва", + "aut hor", + "auth or", + "▁dol l", + "▁ harm", + "▁ Gen", + "tr ee", + "tre e", + "t ree", + "eti me", + "cf g", + "c fg", + "▁gu ys", + "▁guy s", + "▁Cal ifornia", + "▁ Green", + "▁mo vement", + "ie j", + "i ej", + "▁ statement", + "▁se eing", + "▁see ing", + "▁h aven", + "▁have n", + "▁ha ven", + "▁hav en", + "S L", + "ched ul", + "ie rt", + "ier t", + "i ert", + "▁pr imary", + "▁pri mary", + "▁prima ry", + "▁ primary", + "▁ci vil", + "▁civ il", + "▁b utton", + "▁but ton", + "▁butt on", + "▁ button", + "▁li ved", + "▁liv ed", + "P ass", + "so r", + "s or", + "▁watch ing", + "▁wat ching", + "▁skill s", + "te e", + "t ee", + "Le vel", + "L evel", + "h s", + "▁a gre", + "ca t", + "c at", + "▁Mi ll", + "▁ Mill", + "▁ Cap", + "OR D", + "O RD", + "gl e", + "g le", + "▁ah ead", + "is cher", + "isch er", + "ische r", + "isc her", + "ș i", + "▁sou th", + "▁sout h", + "▁con sum", + "▁ consum", + "R ange", + "Se c", + "S ec", + "▁sa les", + "▁fi x", + "▁ fix", + "▁j ed", + "▁je d", + "▁ jed", + "ve ctor", + "vec tor", + "v ector", + "▁s pot", + "▁spo t", + "▁ spot", + "or row", + "orr ow", + "si gn", + "sig n", + "s ign", + "▁colleg e", + "▁d river", + "▁dri ver", + "▁driv er", + "▁ driver", + "▁def initely", + "▁definit ely", + "ativ ely", + "b i", + "Call back", + "▁particul arly", + "▁h ell", + "▁he ll", + "▁hel l", + "▁ hell", + "PR E", + "P RE", + "▁cle arly", + "▁clear ly", + "P T", + "othe s", + "Loc ation", + "L ocation", + "▁ Run", + "▁f ixed", + "▁ fixed", + "▁ Hand", + "d ouble", + "C an", + "Om ega", + "▁stan ding", + "it en", + "ite n", + "i ten", + "▁d urch", + "▁dur ch", + "▁d ell", + "▁de ll", + "▁del l", + "▁rais ed", + "▁ weak", + "▁ Du", + "gra d", + "▁scen e", + "▁ scene", + "▁t on", + "▁to n", + "▁ ton", + "▁e arth", + "▁stre ngth", + "a ked", + "▁re main", + "▁ Bi", + "▁custom er", + "▁cust omer", + "▁ customer", + "ON E", + "O NE", + "▁c off", + "▁co ff", + "re quire", + "requ ire", + "▁ Only", + "▁ Web", + "▁ activity", + "▁r out", + "▁ro ut", + "▁rou t", + "bl ing", + "b ling", + "S Y", + "▁Ric hard", + "▁R ef", + "▁Re f", + "▁ Ref", + "▁j un", + "▁ju n", + "bo rn", + "ij n", + "Config uration", + "▁f at", + "▁fa t", + "▁ki d", + "▁Tu r", + "▁ Tur", + "▁ Big", + "Ga mma", + "G amma", + "▁ Health", + "▁T R", + "▁ TR", + "▁s ię", + "▁si ę", + "▁constr uction", + "▁constru ction", + "▁ construction", + "▁ Bet", + "bu s", + "▁e arn", + "▁ear n", + "▁f ra", + "▁fr a", + "▁ Op", + "FI G", + "F IG", + "em a", + "e ma", + "▁ Saint", + "AR E", + "A RE", + "ur i", + "u ri", + "{ }", + "▁s itting", + "▁sit ting", + "rop ri", + "▁ol der", + "▁ older", + "▁pres sure", + "Im pl", + "Imp l", + "Conne ction", + "Conn ection", + "Connect ion", + "▁f i", + "▁ fi", + "ape rs", + "a pers", + "Po rt", + "P ort", + "▁L ook", + "▁Lo ok", + "▁ Look", + "au th", + "aut h", + "a uth", + "au to", + "aut o", + "a uto", + "▁un less", + "▁Wa l", + "w s", + "▁ core", + "( -", + "▁c lim", + "▁cl im", + "▁call back", + "▁ callback", + "▁ Long", + "} =", + "ъ р", + "▁shar ed", + "▁sha red", + "▁ shared", + "gorith m", + "▁ Home", + "▁vil lage", + "s v", + "▁ Cast", + "▁P erson", + "▁Per son", + "▁Pers on", + "▁ Person", + "▁Ra d", + "▁ Rad", + "pon ents", + "ponent s", + "▁wer den", + "▁werd en", + "▁ bow", + "a mi", + "Inter face", + "▁b asis", + "▁ba sis", + "▁Compan y", + "▁ Company", + "er nel", + "ern el", + "erne l", + "it u", + "i tu", + "Has h", + "Ha sh", + "H ash", + "▁a an", + "▁s mile", + "▁sm ile", + "x ml", + "▁s cen", + "▁sc en", + "to ol", + "too l", + "t ool", + "▁ac cur", + "▁ accur", + "set tings", + "setting s", + "ac ement", + "ace ment", + "pow er", + "( !", + "▁ calls", + "▁ basic", + "▁set tings", + "▁sett ings", + "▁setting s", + "▁ settings", + "r ipt", + "ct ors", + "ctor s", + "▁ Foundation", + "KE Y", + "K EY", + "fo ot", + "foo t", + "▁r adio", + "▁radi o", + "▁ radio", + "ma nn", + "▁j ump", + "▁ju mp", + "▁ti ck", + "▁ tick", + "▁gr owing", + "at en", + "ate n", + "a ten", + "rea l", + "Dev ice", + "var epsilon", + "vare psilon", + "▁ sets", + "Op en", + "O pen", + "▁supp osed", + "▁suppose d", + "ed e", + "e de", + "tee n", + "if def", + "▁de lete", + "▁del ete", + "▁delet e", + "▁ delete", + "▁& =", + "▁ &=", + "▁Bil l", + "▁ Bill", + "▁ai m", + "▁O k", + "▁ Ok", + "▁ Av", + "re ci", + "rec i", + "ac ks", + "ack s", + "a cks", + "is te", + "ist e", + "i ste", + "Pro perties", + "▁t mp", + "▁tm p", + "▁ tmp", + "▁d ei", + "▁de i", + "PE R", + "P ER", + "st a", + "s ta", + "▁ limited", + "de scription", + "des cription", + "con s", + "co ns", + "c ons", + "▁W ho", + "▁Wh o", + "▁ Who", + "▁te lev", + "▁tele v", + "▁tel ev", + "it ution", + "itut ion", + "▁e qual", + "▁eq ual", + "▁ equal", + "к і", + "ä h", + "▁C aption", + "▁Capt ion", + "▁Ca ption", + "em por", + "emp or", + "▁+ +", + "▁ ++", + "▁l ib", + "▁li b", + "▁ lib", + "ma ke", + "m ake", + "▁M A", + "▁ MA", + "co py", + "cop y", + "c opy", + "▁\\ ,", + "▁ \\,", + "od ed", + "ode d", + "o ded", + "▁ none", + "▁ev alu", + "▁eval u", + "▁ evalu", + "sto n", + "> ,", + "FO R", + "F OR", + "▁ norm", + "a ppe", + "S ession", + "▁hosp ital", + "pro perty", + "fin al", + "fi nal", + "f inal", + "▁n u", + "▁ nu", + "se cond", + "sec ond", + "▁a spect", + "▁asp ect", + "\") ]", + "\" )]", + "am ento", + "ament o", + "amen to", + "▁r ac", + "▁ra c", + "▁ rac", + "sa ve", + "s ave", + "A b", + "un gs", + "ung s", + "ab il", + "abi l", + "a bil", + "▁Arc h", + "▁ Arch", + "sys tem", + "s ystem", + "his t", + "▁l uck", + "▁lu ck", + "▁luc k", + "re nder", + "ren der", + "rend er", + "r ender", + "▁se in", + "▁sei n", + "ion i", + "io ni", + "i oni", + "▁ rot", + "▁app ropri", + "▁ap propri", + "▁ appropri", + "▁Soft ware", + "▁t ele", + "▁tel e", + "▁ tele", + "De lete", + "Dele te", + "Del ete", + "▁li c", + "▁ lic", + "se ts", + "set s", + "s ets", + "▁v el", + "▁ve l", + "▁ vel", + "▁ rank", + "▁ex isting", + "▁ existing", + "av ax", + "ava x", + "▁r is", + "▁ri s", + "▁ ris", + "▁def ine", + "▁defin e", + "▁ define", + "▁con vert", + "▁conv ert", + "▁conver t", + "▁conve rt", + "▁ convert", + "em ail", + "ema il", + "e mail", + "▁Und er", + "▁ Under", + "▁Gran d", + "▁ex ists", + "▁exist s", + "▁ exists", + "sy s", + "s ys", + "ef f", + "e ff", + "▁ Top", + "▁ č", + "▁t empor", + "▁tem por", + "▁temp or", + "▁tempo r", + "▁arg uments", + "▁argument s", + "▁ arguments", + "▁supp orted", + "▁ supported", + "en sed", + "ens ed", + "ense d", + "▁Franc is", + "▁ coord", + "▁N ame", + "▁Na me", + "▁Nam e", + "▁ Name", + "▁J ahr", + "▁Jah r", + "▁Ja hr", + "sh e", + "s he", + "▁ Dev", + "▁a lla", + "▁al la", + "▁all a", + "▁ alla", + "▁W IT", + "ag ment", + "c ustom", + "& &", + "W E", + "▁h olding", + "▁hol ding", + "pro totype", + "proto type", + "prot otype", + "▁f ing", + "▁fin g", + "▁fi ng", + "▁b ag", + "▁ba g", + "▁ bag", + "st ack", + "sta ck", + "▁Ga l", + "iden ts", + "▁J un", + "▁Ju n", + "▁sh owed", + "▁ Bay", + "▁S O", + "▁ SO", + "▁\" <", + "graph ics", + "▁f u", + "▁ fu", + "cl ick", + "cli ck", + "c lick", + "▁bat tle", + "{ {", + "▁Eve nt", + "▁ Event", + "ri or", + "rio r", + "r ior", + "ch aft", + "cha ft", + "▁f avorite", + "▁favor ite", + "us ive", + "sup port", + "supp ort", + "s upport", + "b m", + "K ind", + "▁E nt", + "▁En t", + "▁ Ent", + "cu p", + "c up", + "▁destro y", + "▁ destroy", + "id en", + "ide n", + "i den", + "######## ########", + "de c", + "d ec", + "▁z a", + "▁ za", + "▁s even", + "▁ seven", + "ar ely", + "are ly", + "arel y", + "▁f lag", + "▁ flag", + "Di r", + "D ir", + "▁Ca rl", + "▁doc tor", + "▁L in", + "▁Li n", + "▁ Lin", + "▁t om", + "▁to m", + "▁ tom", + "^{ (", + "^ {(", + "B o", + "an tes", + "ant es", + "ante s", + "▁ mine", + "▁Mi t", + "▁de scribe", + "▁desc ribe", + "▁describ e", + "Ar gs", + "Arg s", + "AP I", + "A PI", + "▁ Luc", + "▁ science", + "▁ Oper", + "Ne xt", + "N ext", + "▁G overn", + "▁Go vern", + "▁ objects", + "▁Lo uis", + "▁Return s", + "▁ Returns", + "▁h an", + "▁ha n", + "▁ han", + "▁com me", + "▁comm e", + "▁p el", + "▁pe l", + "▁ pel", + "▁ detect", + ") =", + "▁ric h", + "▁classe s", + "▁clas ses", + "▁ classes", + "▁ expand", + "▁ Dom", + "▁ Dec", + "s n", + "pe ed", + "p eed", + "▁Ji m", + "sh ould", + "▁p ages", + "▁page s", + "▁pa ges", + "▁pag es", + "▁ pages", + "ri cs", + "a ds", + "un icip", + "uni cip", + "▁down load", + "▁ download", + "▁st ress", + "▁str ess", + "▁stre ss", + "▁ Pet", + "me nu", + "men u", + "m enu", + "r eme", + "▁com pared", + "▁compare d", + "St e", + "S te", + "IN D", + "I ND", + "cont ainer", + "or en", + "ore n", + "o ren", + "▁s es", + "▁se s", + "▁ ses", + "▁ Whe", + "▁r oku", + "▁ro ku", + "▁estab lished", + "__ (", + "_ _(", + "=\" +", + "= \"+", + "V ar", + "▁M ake", + "▁Ma ke", + "▁Mak e", + "▁ Make", + "▁rem oved", + "▁remove d", + "▁ removed", + "ü n", + "▁ mix", + "er k", + "ou ter", + "out er", + "oute r", + "o uter", + "S K", + "▁be comes", + "▁bec omes", + "sc ious", + "▁w atched", + "▁watch ed", + "▁wat ched", + "▁ga ther", + "▁ gather", + "▁Res ult", + "▁ Result", + "pro of", + "pa y", + "p ay", + "▁prod uced", + "▁| =", + "▁bord er", + "▁ border", + "▁d in", + "▁di n", + "▁scr ipt", + "▁m as", + "▁ma s", + "▁ mas", + "▁Tech n", + "Js on", + "J son", + "▁fill ed", + "▁ filled", + "und le", + "To ol", + "Too l", + "T ool", + "▁ki ng", + "▁kin g", + "▁pre dict", + "▁pred ict", + "▁ predict", + "▁l ui", + "▁lu i", + "▁WAR RAN", + "▁F un", + "▁Fu n", + "▁ Fun", + "▁l ose", + "▁lo se", + "▁los e", + "▁da ily", + "▁dai ly", + "▁ar rived", + "▁arriv ed", + "▁arrive d", + "St ack", + "sc ope", + "s cope", + "▁ Back", + "el ij", + "eli j", + "e lij", + "▁z e", + "▁ ze", + "ke ys", + "key s", + "{ \"", + "VI D", + "V ID", + "▁l icense", + "▁lic ense", + "▁ license", + "wh at", + "w hat", + "▁proc ed", + "ag ram", + "agr am", + "agra m", + "a gram", + "▁L O", + "▁ LO", + "▁fl ags", + "▁flag s", + "▁ flags", + "Do wn", + "D own", + "scri ption", + "script ion", + "s cription", + "▁famil ies", + "▁familie s", + "is se", + "iss e", + "— \"", + "▁ brief", + "▁cl ients", + "▁client s", + "ran gle", + "r angle", + "▁amaz ing", + "▁s ind", + "▁si nd", + "▁sin d", + "▁cov ered", + "▁ covered", + "We ll", + "W ell", + "▁ Bas", + "to tal", + "tot al", + "t otal", + "▁I nit", + "▁ Init", + "▁sa nd", + "Un it", + "U nit", + "▁b right", + "▁br ight", + "▁brig ht", + "ic ans", + "ica ns", + "ican s", + "▁att ribute", + "▁attribut e", + "▁ attribute", + "f c", + "▁plac ed", + "ES T", + "E ST", + "Var i", + "V ari", + "▁c os", + "▁co s", + "▁ cos", + "▁at tract", + "▁attr act", + "▁attra ct", + "an el", + "ane l", + "a nel", + "}) .", + "} ).", + "by tes", + "byte s", + "▁p arse", + "▁par se", + "▁ parse", + "P o", + "▁c alling", + "▁? >", + "▁ ?>", + "▁it er", + "▁i ter", + "▁ iter", + "▁u rl", + "▁ur l", + "▁ url", + "▁hon est", + "▁dir ector", + "R C", + "▁ solid", + "ie ne", + "ien e", + "i ene", + "FA ULT", + "co pe", + "cop e", + "c ope", + "▁Hi story", + "▁ History", + "▁ Team", + "ree dom", + "reed om", + "U B", + "▁w orse", + "▁wor se", + "im o", + "i mo", + "Ma t", + "M at", + "ac tor", + "act or", + "a ctor", + "▁v or", + "▁vo r", + "▁ vor", + "▁experi ment", + "▁ Play", + "▁happ ens", + "▁happen s", + "▁patient s", + "▁ rend", + "▁ Mo", + "▁ Tex", + "▁w ed", + "▁we d", + "▁ wed", + "t n", + "in sert", + "ins ert", + "▁an ti", + "▁ anti", + "Mat ch", + "M atch", + "▁ Hot", + "▁ phase", + "▁t emplate", + "▁templ ate", + "▁temp late", + "▁ template", + "st op", + "sto p", + "s top", + "▁manage d", + "▁ managed", + "wa it", + "w ait", + "▁* (", + "▁ *(", + "▁ appoint", + "ł a", + "▁s tick", + "▁st ick", + "▁ stick", + "▁F OR", + "▁FO R", + "▁ FOR", + "▁ Vis", + "to r", + "t or", + "▁p ř", + "q uest", + "\"); \r", + "\") ;\r", + "\" );\r", + "▁sudden ly", + "▁sud denly", + "é c", + "N D", + "ur op", + "uro p", + "u rop", + "▁ins urance", + "ac cess", + "acc ess", + "a ccess", + "un finished", + "▁t amb", + "▁ta mb", + "▁tam b", + "▁sa c", + "▁C ourt", + "▁Cou rt", + "▁mis sing", + "▁ missing", + "▁W here", + "▁Wh ere", + "▁Whe re", + "▁ Where", + "▁ Sum", + "}^ {\\", + "}^{ \\", + "} ^{\\", + "▁s ua", + "▁su a", + "_ ,", + "▁Tr ump", + "▁Tru mp", + "▁ operations", + "▁de ux", + "d z", + "Temp late", + "T emplate", + "▁\" /", + "▁o dd", + "▁od d", + "▁ odd", + "▁tea ms", + "▁c er", + "▁ce r", + "▁ cer", + "▁ și", + "▁cl oud", + "▁clo ud", + "▁ cloud", + "it ems", + "ite ms", + "item s", + "right arrow", + ")- >", + ") ->", + "▁w riter", + "▁wr iter", + "▁ writer", + "re place", + "rep lace", + "je n", + "j en", + "▁o t", + "▁ ot", + "▁oc cup", + "▁ occup", + "▁M ath", + "▁Mat h", + "▁Ma th", + "▁ Math", + "▁con serv", + "▁cons erv", + "▁conse rv", + "am er", + "ame r", + "a mer", + "▁Fo rt", + "▁co sts", + "▁cos ts", + "▁ forms", + "▁Vic t", + "PA R", + "P AR", + "frame work", + "Oper ation", + "▁t ight", + "▁ti ght", + "In valid", + "▁th ank", + "▁than k", + "▁ guard", + "Bo dy", + "B ody", + "▁e mot", + "fa st", + "fas t", + "f ast", + "щ о", + "ñ o", + "ni ght", + "▁S ci", + "▁Sc i", + "▁T O", + "▁ TO", + "▁individ uals", + "}) ,", + "} ),", + "F alse", + "(\" %", + "( \"%", + "▁op tim", + "▁opt im", + "▁ optim", + "▁- ->", + "▁-- >", + "▁ -->", + "▁f actor", + "▁fac tor", + "▁ factor", + "▁sm aller", + "sp ect", + "spec t", + "spe ct", + "s pect", + "Eng ine", + "▁ann ounced", + "▁announce d", + "▁ rob", + "▁f lat", + "▁ flat", + "oso ph", + "Se arch", + "S earch", + "ah l", + "a hl", + "▁Ex ception", + "▁Except ion", + "▁ Exception", + "equ als", + "eq uals", + "equal s", + "▁un ter", + "▁unt er", + "▁ unter", + "sh ape", + "sha pe", + "Ob j", + "▁spe cies", + "wei ght", + "w eight", + "yo u", + "y ou", + "▁e ste", + "▁est e", + "▁es te", + "▁ este", + "▁V iew", + "▁Vi ew", + "▁ View", + "▁jour nal", + "▁ journal", + "Value s", + "Val ues", + "▁ein em", + "▁eine m", + "is mo", + "ism o", + "▁ projects", + "▁D as", + "▁Da s", + "ri ble", + "rib le", + "r ible", + "▁ serve", + "▁h ur", + "▁ USA", + "il iar", + "ili ar", + "ilia r", + "id os", + "ido s", + "B r", + "est amp", + "esta mp", + "▁t ools", + "▁to ols", + "▁too ls", + "▁tool s", + "▁ tools", + "an ner", + "ann er", + "anne r", + "R T", + "▁Sta rt", + "▁ Start", + "▁b ath", + "▁bat h", + "▁ba th", + "▁coff ee", + "orte r", + "in ternal", + "inter nal", + "intern al", + "file s", + "fil es", + "fi les", + "f iles", + "IN VAL", + "ak o", + "a ko", + "d t", + "▁Se cond", + "▁ Second", + "▁al loc", + "▁all oc", + "▁ alloc", + "▁en ded", + "▁ende d", + "▁ ended", + "ac ional", + "aci onal", + "acion al", + "acio nal", + "▁manage r", + "▁ manager", + "▁ Sun", + "ag g", + "a gg", + "olve d", + "olv ed", + "▁trad itional", + "sh ot", + "s hot", + "C F", + "▁ Each", + "w r", + "▁ Som", + "▁mater ials", + "▁m sg", + "▁ms g", + "▁ msg", + "▁ syn", + "▁prod uce", + "▁stor age", + "▁sto rage", + "▁ storage", + "sub section", + "▁S ie", + "▁Si e", + "CE SS", + "Re cord", + "Rec ord", + "▁mark eting", + "▁market ing", + "pl et", + "ple t", + "p let", + "D ialog", + "▁ment ioned", + "▁ Na", + "▁ Union", + "▁AP I", + "▁ API", + "▁ negative", + "tx t", + "t xt", + "▁eas ier", + "le gal", + "leg al", + "De p", + "D ep", + "▁nove l", + "eu r", + "e ur", + "ac ió", + "aci ó", + "a ció", + "▁B ud", + "▁Bu d", + "sch aft", + "s chaft", + ">( );", + ">() ;", + "> ();", + "ie der", + "ied er", + "i eder", + "▁r oute", + "▁rout e", + "▁rou te", + "▁ route", + "ik el", + "ike l", + "i kel", + "▁l isten", + "▁li sten", + "▁list en", + "▁ listen", + "ashi on", + "▁M rs", + "ag ger", + "agg er", + "▁T hus", + "▁mat rix", + "▁ matrix", + "al la", + "all a", + "a lla", + "▁con versation", + "▁convers ation", + "Mo n", + "M on", + "our nal", + "▁minut e", + "▁ minute", + "A m", + "Ap i", + "A pi", + "▁for get", + "▁forg et", + "M e", + "lev ant", + "te mp", + "tem p", + "t emp", + "▁t elling", + "▁tell ing", + "▁tel ling", + "mo ve", + "mov e", + "m ove", + "▁in dependent", + "to String", + "ed it", + "edi t", + "e dit", + "▁Ja c", + "re act", + "rea ct", + "▁c in", + "▁ci n", + "▁ cin", + "▁P rov", + "▁ Prov", + "iste d", + "i sted", + "▁h ash", + "▁has h", + "▁ha sh", + "▁ hash", + "on na", + "▁gener ated", + "▁generate d", + "▁gene rated", + "▁ generated", + "Re nder", + "Rend er", + "R ender", + "▁psy ch", + "▁ps ych", + "na v", + "n av", + "▁en tr", + "▁ent r", + "▁ entr", + "r x", + "AT H", + "A TH", + "▁ass ume", + "▁assum e", + "Tr ee", + "T ree", + "semb ly", + "sembl y", + "ca ption", + "c aption", + "▁s olutions", + "▁solution s", + "▁fait h", + "▁digit al", + "▁ex cell", + "▁exc ell", + "▁V ersion", + "▁Vers ion", + "▁ Version", + "De bug", + "D ebug", + "re set", + "res et", + "▁slow ly", + "▁ owner", + "▁D id", + "▁Di d", + "▁ Did", + "▁g est", + "▁ge st", + "▁ges t", + "▁ gest", + "▁é té", + "▁ét é", + "▁ été", + "▁pro of", + "▁ proof", + "F ont", + "▁ nob", + "C o", + "▁G NU", + "▁li ber", + "▁lib er", + "▁h ij", + "▁hi j", + "▁v ert", + "▁ver t", + "▁ve rt", + "▁ vert", + "FL AG", + "ME NT", + "M ENT", + "Mu lt", + "M ult", + "▁d istrict", + "▁di strict", + "conne ct", + "conn ect", + "ject ion", + "je ction", + "j ection", + "▁real ized", + "▁realize d", + "▁realiz ed", + "mo s", + "m os", + "▁re nder", + "▁r ender", + "▁ren der", + "▁rend er", + "▁ render", + "ri o", + "r io", + "▁ interpret", + "fi x", + "f ix", + "atr e", + "a tre", + "▁benef its", + "▁benefit s", + "▁Fac e", + "▁ Face", + "iv ery", + "ive ry", + "iver y", + "i very", + "doc ument", + "d ocument", + "▁as king", + "▁ask ing", + "La st", + "L ast", + "ar ante", + "ara nte", + "aran te", + "▁v ector", + "▁ve ctor", + "▁vec tor", + "▁ vector", + "▁ forced", + "P H", + "W R", + "▁K l", + "▁s ky", + "▁sk y", + "▁ sky", + "▁strat egy", + "oc ked", + "▁ne ck", + "ś ci", + "O UT", + ")) ,", + ") ),", + "C ustom", + "▁w ie", + "▁ wie", + "▁s weet", + "▁swe et", + "▁t emp", + "▁te mp", + "▁tem p", + "▁ temp", + "▁hal l", + "▁ hall", + "as tr", + "ast r", + "a str", + "As s", + "A ss", + "MO DE", + "MOD E", + "▁maxim um", + "an nels", + "ann els", + "annel s", + "anne ls", + "▁t ip", + "▁ti p", + "▁ tip", + "▁sec onds", + "▁ seconds", + "▁st ack", + "▁sta ck", + "▁ stack", + "ig a", + "i ga", + "▁r aise", + "▁rais e", + "▁ raise", + "en able", + "ena ble", + "oi r", + "▁s oul", + "▁so ul", + "▁sou l", + "K e", + ")$ .", + ") $.", + "▁Ti m", + "▁ Tim", + "AL SE", + "cont in", + "▁m ad", + "▁ma d", + "▁ mad", + "lic hen", + "li chen", + "lich en", + "liche n", + "l ichen", + "ab e", + "a be", + "sa fe", + "▁conce nt", + "bo und", + "b ound", + "▁R equ", + "▁Re qu", + "▁ Requ", + "sw itch", + "▁sto ne", + "▁ transl", + "▁va c", + "ando n", + "▁Fo re", + "▁ Fore", + "▁s ounds", + "▁sound s", + "▁ Pop", + "▁ HT", + "li a", + "l ia", + "en ter", + "ent er", + "ente r", + "▁hel ps", + "▁help s", + "e dy", + "an ted", + "ant ed", + "ante d", + "▁ Step", + "I con", + "▁EX PECT", + "▁ EXPECT", + "ial ized", + "ialize d", + "Pos t", + "Po st", + "P ost", + "az e", + "a ze", + "▁re q", + "▁r eq", + "▁ req", + "▁upp er", + "▁ upper", + "▁ Sy", + "▁ex plain", + "▁expl ain", + "▁' ./", + "▁'. /", + "ut ils", + "util s", + "uti ls", + "poss ible", + "▁d ont", + "▁do nt", + "▁don t", + "H ost", + "▁appro xim", + "▁approx im", + "As ync", + "A sync", + "▁g rab", + "▁gr ab", + "▁gra b", + "▁sour ces", + "▁ sources", + "▁Germ any", + "▁Ger many", + "▁r ub", + "▁ru b", + "▁ rub", + "CH AN", + "▁tr uly", + "▁< ?", + "▁ ", + "_ ->", + "ag nost", + "agn ost", + "▁prop osed", + "▁propose d", + "▁Ga me", + "▁Gam e", + "▁ Game", + "▁eff orts", + "t c", + "▁int ent", + "▁inte nt", + "▁ intent", + "▁h olds", + "▁hol ds", + "▁ holds", + "om etry", + "ome try", + "omet ry", + "o metry", + "▁H ave", + "▁Ha ve", + "▁Hav e", + "▁ Have", + "▁de tail", + "▁ detail", + "▁WIT HOUT", + "▁WITH OUT", + "▁K on", + "▁Ko n", + "▁not iced", + "▁notice d", + "▁requirement s", + "DE BUG", + "▁S pan", + "▁Sp an", + "▁ Span", + "▁ca rs", + "me ta", + "met a", + "m eta", + "▁ki l", + "▁ kil", + "▁B ron", + "▁Br on", + "▁Bro n", + "▁experi enced", + "▁re mind", + "▁rem ind", + "our se", + "ours e", + "▁Wes tern", + "tere d", + "▁ devices", + "▁pict ures", + "▁picture s", + "▁t ut", + "▁tu t", + "\" `", + "▁im possible", + "▁fe els", + "▁feel s", + "▁fee ls", + "ic as", + "ica s", + "i cas", + "▁' @", + "▁n otes", + "▁ notes", + "Par ser", + "Parse r", + "Pars er", + "▁dis covered", + "▁Roma n", + "▁bud get", + "▁gu ide", + "▁guid e", + "▁in cred", + "▁inc red", + "▁incre d", + "ol ar", + "ola r", + "o lar", + "en den", + "end en", + "ende n", + "Des c", + "De sc", + "D esc", + "▁ wave", + "ig t", + "i gt", + "▁re strict", + "▁rest rict", + "▁restr ict", + "▁ Ret", + "▁m ac", + "▁ma c", + "▁ mac", + "í s", + "de m", + "d em", + "▁ ordered", + "dr op", + "dro p", + "d rop", + "▁ Review", + "▁liter ally", + "▁literal ly", + "▁ Sir", + "▁Y eah", + "▁Ye ah", + "▁ Yeah", + "▁dens ity", + "▁ density", + "ri z", + "r iz", + "in de", + "ind e", + "i nde", + "▁ga in", + "▁ gain", + "▁p anel", + "▁pan el", + "▁pa nel", + "▁ panel", + "je t", + "j et", + "▁Ti mes", + "▁ Times", + "▁n ella", + "▁ne lla", + "▁nel la", + "▁nell a", + "▁pre viously", + "▁prev iously", + "point s", + "Se nd", + "S end", + "▁Brow n", + "ea ch", + "e ach", + "▁tr igger", + "▁ trigger", + "ome times", + "omet imes", + "ic os", + "ico s", + "i cos", + "G R", + "Pane l", + "Pan el", + "P anel", + "oge n", + "▁ cm", + "ru ctions", + "ruct ions", + "ruction s", + "▁k iss", + "▁ki ss", + "▁s olo", + "▁f amous", + "▁th ro", + "▁thr o", + "Gr aph", + "G raph", + "im it", + "imi t", + "i mit", + "▁V alue", + "▁Val ue", + "▁ Value", + "▁st arts", + "ip eline", + "ipe line", + "h d", + "▁dis cussion", + "▁discuss ion", + "▁tr uck", + "On ly", + "▁E qu", + "▁Eq u", + "▁ Equ", + "▁k ö", + "▁ kö", + "▁B es", + "▁Be s", + "▁bat t", + "▁ba tt", + "▁S ection", + "▁Se ction", + "▁ Section", + "Sh ow", + "S how", + "g p", + "ST ATE", + "STAT E", + "PO ST", + "POS T", + "P OST", + "▁N ord", + "▁No rd", + "▁Nor d", + "▁in nov", + "▁cri m", + "▁ crim", + "ax is", + "a xis", + "▁Tu rn", + "▁ Turn", + "con n", + "co nn", + "Run time", + "osto n", + "▁ windows", + "▁v ide", + "▁vi de", + "▁vid e", + "P P", + "ch ron", + "chr on", + "▁sa n", + "▁ san", + "▁ris e", + "▁ rise", + "▁d elle", + "▁de lle", + "▁del le", + "▁dell e", + "▁D ur", + "▁Du r", + "▁ra pid", + "ce rt", + "cer t", + "c ert", + "ed ge", + "▁\\ ]", + "▁ \\]", + "▁l aws", + "▁la ws", + "▁ph oto", + "▁phot o", + "▁ photo", + "▁ap plications", + "▁appl ications", + "▁fed eral", + "▁feder al", + "▁R ussia", + "▁us ual", + "▁r aw", + "▁ra w", + "▁ raw", + "▁pi ù", + "êt re", + "ê tre", + "JS ON", + "J SON", + "SI ON", + "S ION", + "xt ure", + "ist ent", + "iste nt", + "isten t", + "▁Pow er", + "▁ Power", + "Bi t", + "B it", + "▁capac ity", + "▁ capacity", + "▁c ards", + "▁car ds", + "▁card s", + "▁ cards", + "UI D", + "U ID", + "imen ts", + "▁d ar", + "▁da r", + "▁ dar", + "▁Ch icago", + "▁comfort able", + "ti p", + "t ip", + "ba s", + "b as", + "▁m u", + "▁ mu", + "▁en emy", + "ya n", + "y an", + "▁up dated", + "▁update d", + "▁ updated", + "an go", + "ang o", + "E v", + "E ffect", + "os ing", + "osi ng", + "o sing", + "▁d efe", + "▁i p", + "▁ ip", + "▁t out", + "▁to ut", + "▁tou t", + "▁f reedom", + "▁freed om", + "▁a o", + "▁ ao", + "▁There fore", + "▁Ther efore", + "Ed it", + "E dit", + "RE E", + "R EE", + "▁Da m", + "▁ Dam", + "▁traff ic", + "ño s", + "ñ os", + "▁a lle", + "▁ depth", + "No w", + "N ow", + "▁si des", + "▁sid es", + "▁го ди", + "▁год и", + "Des criptor", + "▁art ikel", + "▁n arrow", + "▁narr ow", + "__ _", + "_ __", + "k w", + "ut o", + "u to", + "▁Fac ebook", + "te gr", + "t egr", + "bo olean", + "ni k", + "n ik", + "b d", + "Tr ack", + "Tra ck", + "▁g ran", + "▁gr an", + "▁gra n", + "res hold", + "resh old", + "wr ap", + "w rap", + "▁n oise", + "▁no ise", + "ig u", + "i gu", + "▁ Bon", + "▁w y", + "▁ wy", + "lin ux", + "▁ma ch", + "▁mac h", + "▁p rices", + "▁pr ices", + "▁pri ces", + "▁price s", + "é v", + "stan ding", + "▁cat eg", + "; \\", + "▁de cre", + "▁m enu", + "▁me nu", + "▁men u", + "▁ menu", + "▁Y et", + "▁Ye t", + "lic he", + "li che", + "lich e", + "l iche", + "u sing", + "▁Soci ety", + "▁nu c", + "oria l", + "▁af raid", + "▁turn ing", + "▁tur ning", + "ds t", + "d st", + "math frak", + "le rs", + "▁l ots", + "▁lo ts", + "▁lot s", + "▁ á", + "▁ Tra", + "n p", + "▁ rose", + "▁G L", + "▁ GL", + "▁hel ping", + "▁help ing", + "Mo ck", + "M ock", + "Us e", + "U se", + "Co py", + "Cop y", + "C opy", + "▁ fly", + "SE R", + "S ER", + "am il", + "ami l", + "a mil", + "▁rel igious", + "su per", + "sup er", + "s uper", + "sc reen", + "scr een", + "s creen", + "▁f urn", + "▁fur n", + "▁fu rn", + "▁surpr ised", + "▁surprise d", + "▁re plied", + "▁repl ied", + "Act ivity", + "Activ ity", + "▁Dow n", + "▁ Down", + "▁in sert", + "▁ins ert", + "▁ insert", + "▁point ed", + "▁po inted", + "▁ Card", + "dr iver", + "drive r", + "d river", + "▁D a", + "▁ Da", + "! --", + "ro ud", + "rou d", + "r oud", + "un do", + "und o", + "▁m essages", + "▁message s", + "▁mess ages", + "▁ messages", + "▁ Point", + "V M", + "▁p lane", + "▁ plane", + "x c", + "▁telev ision", + "▁tele vision", + "▁televis ion", + "▁c ris", + "▁cr is", + "▁cri s", + "▁ delay", + "▁N ext", + "▁Ne xt", + "▁ Next", + "▁no mbre", + "▁nom bre", + "▁t u", + "▁ tu", + "▁sk ip", + "▁ski p", + "▁ skip", + "istr ation", + "▁tu r", + "▁Devel op", + "▁wonder ful", + "> &", + "▁Lib er", + "▁s cope", + "▁sc ope", + "▁ scope", + "▁man age", + "▁ma nage", + "▁d ass", + "▁da ss", + "▁das s", + "▁re call", + "▁rec all", + "P M", + "▁re levant", + "▁relev ant", + "▁E arth", + "▁a pr", + "▁ap r", + "▁A SS", + "▁AS S", + "▁ ASS", + "ié n", + "i én", + "▁S H", + "▁ SH", + "it et", + "ite t", + "no ne", + "non e", + "n one", + "as i", + "a si", + "▁mo tor", + "▁S how", + "▁ Show", + "n b", + "▁fa ctors", + "▁f orest", + "▁fo rest", + "th m", + "t hm", + "▁Di vision", + "struct or", + "stru ctor", + "▁some where", + "▁Afr ican", + "▁Inst itute", + "▁Institut e", + "Gr id", + "G rid", + "▁te acher", + "▁teach er", + "▁tea cher", + "uri es", + "▁respective ly", + "▁ SD", + "▁a live", + "▁al ive", + "▁ali ve", + "▁p ou", + "▁po u", + "▁Wa ter", + "▁ Water", + "▁ch anging", + "▁chang ing", + "▁ changing", + "▁after noon", + "▁or ders", + "Re t", + "R et", + "Point er", + "Po inter", + "▁s av", + "▁sa v", + "er g", + "e rg", + "ok ed", + "oke d", + "o ked", + "▁Fi re", + "▁ Fire", + "im m", + "i mm", + "▁des ire", + "▁ що", + "▁De sign", + "▁ Design", + "▁c md", + "▁cm d", + "▁ cmd", + "▁e ating", + "▁eat ing", + "Net work", + "▁rou gh", + "oper ator", + "IG N", + "I GN", + "▁sp orts", + "▁w eren", + "▁we ren", + "▁were n", + "▁wer en", + "▁a nx", + "▁an x", + "▁i o", + "▁ io", + "▁con du", + "▁cond u", + "el les", + "ell es", + "elle s", + "id ade", + "ida de", + "idad e", + "R I", + "/ \\", + "ap shot", + "aps hot", + "▁ta il", + "▁ tail", + "mod els", + "model s", + "mode ls", + "og y", + "o gy", + "▁J eff", + "ir ation", + "irat ion", + "▁Ko re", + "▁Kor e", + "ba t", + "b at", + "Ad apter", + "c ategory", + "ang ular", + "angu lar", + "▁s aved", + "▁sa ved", + "▁save d", + "▁sav ed", + "▁ saved", + "▁ uniform", + "▁n é", + "▁ né", + "His t", + "Hi st", + "H ist", + "do main", + "dom ain", + "▁ Si", + "ra ise", + "rais e", + "rai se", + "r aise", + "▁wa rn", + "▁ warn", + "▁G ro", + "▁Gr o", + ")) .", + ") ).", + "} >", + "▁Amaz on", + "▁ Organ", + "▁ag reement", + "▁agree ment", + "x a", + "▁perm an", + "▁st range", + "▁str ange", + "▁strang e", + "ст і", + "с ті", + "▁st upid", + "▁spe aking", + "▁speak ing", + "▁Intern et", + "pre fix", + "pref ix", + "p refix", + "As sert", + "Ass ert", + "pro te", + "pr ote", + "prot e", + "p rote", + "▁m anner", + "▁S z", + "u nte", + "Pro file", + "▁forme d", + "▁ formed", + "▁li t", + "▁ lit", + "▁ec onomy", + "▁c z", + "▁ cz", + "wi d", + "w id", + "RE Q", + "R EQ", + "▁P rodu", + "▁Pro du", + "▁ Produ", + "stan ces", + "▁conf irm", + "▁ confirm", + "▁d éc", + "▁dé c", + "ý ch", + "▁ill ustr", + "TI ES", + "T IES", + "▁P ub", + "▁Pu b", + "▁ Pub", + "▁ba n", + "a ded", + "ah n", + "a hn", + "no number", + "non umber", + "▁wor st", + "st ats", + "stat s", + "sta ts", + "▁c ant", + "▁can t", + "▁ca nt", + "▁al ign", + "▁ali gn", + "▁ align", + "kap pa", + "k appa", + "▁h en", + "▁he n", + "▁ hen", + "▁in iti", + "'] )", + "' ])", + "▁g arden", + "▁gar den", + "▁gard en", + "▁secur e", + "▁ secure", + "▁\\ [", + "▁ \\[", + "hand ler", + "handle r", + "el li", + "ell i", + "e lli", + "ld ots", + "l dots", + "se cut", + "sec ut", + "s ecut", + "▁ext ended", + "} -", + "an ie", + "ani e", + "a nie", + "▁F ind", + "▁Fin d", + "▁Fi nd", + "▁ Find", + "▁M useum", + "▁Muse um", + "▁C onne", + "▁Con ne", + "▁ Conne", + "y y", + "▁pass ion", + "ake rs", + "a kers", + "ah r", + "a hr", + "ologie s", + "▁equ ation", + "▁eq uation", + "▁ equation", + "Le t", + "L et", + "'] ['", + "'][ '", + "' ]['", + "Pr int", + "ie nte", + "ient e", + "ien te", + "i ente", + "▁T oday", + "LE CT", + "L ECT", + "▁ Af", + "▁` ``", + "▁`` `", + "ev en", + "eve n", + "e ven", + "si n", + "s in", + "u rer", + "▁ °", + "ot imes", + "oti mes", + "o times", + "▁I O", + "▁ IO", + "() ));", + "()) );", + "())) ;", + "( )));", + "▁ −", + "▁ad opt", + "ph ere", + "pher e", + "p here", + "# [", + "▁c entre", + "ov es", + "ove s", + "o ves", + "▁a ns", + "▁an s", + "▁ ans", + "d p", + "▁Ki r", + "▁applic able", + "f p", + "▁ok ay", + "or o", + "o ro", + "▁opportun ities", + "Re pository", + "Rep ository", + "▁l l", + "▁ ll", + "▁con ven", + "▁conv en", + "▁conve n", + "▁ Spe", + "Am er", + "A mer", + "▁c ette", + "▁cet te", + "Con d", + "Co nd", + "C ond", + "de p", + "d ep", + "O wn", + "▁h ook", + "▁ho ok", + "▁ hook", + "▁d ict", + "▁di ct", + "▁dic t", + "▁ dict", + "▁Th ose", + "▁fel low", + "▁philos oph", + "fer ences", + "ference s", + "ha v", + "h av", + "▁ad ding", + "▁add ing", + "▁ adding", + "ivers e", + "iver se", + "i verse", + "ga me", + "g ame", + "▁ Blue", + "not e", + "no te", + "n ote", + "▁Ra m", + "co very", + "cover y", + "cov ery", + "c overy", + "ñ a", + "▁' \\", + "▁ '\\", + "▁re ader", + "▁read er", + "▁ reader", + "ност и", + "▁pay ment", + "▁ payment", + "▁L ic", + "▁Li c", + "▁l ips", + "▁li ps", + "▁lip s", + "C HECK", + "Ed itor", + "Edit or", + "▁zo ne", + "▁ zone", + "it ure", + "itu re", + "run time", + "▁proc eed", + "ol ver", + "olve r", + "olv er", + "▁Th anks", + "▁Thank s", + "▁ Thanks", + "▁should n", + "▁Mod el", + "▁Mo del", + "▁Mode l", + "▁ Model", + "▁S ov", + "▁So v", + "! '", + "D i", + "▁c ancer", + "Id ent", + "i nf", + "LE N", + "L EN", + "() {", + "( ){", + "\"] ,", + "\" ],", + "u h", + "▁ph otos", + "▁phot os", + "▁photo s", + "▁t iny", + "▁ti ny", + "▁tin y", + "▁ tiny", + "▁g ent", + "▁gen t", + "▁ge nt", + "▁ gent", + "ü l", + "▁T ake", + "▁Ta ke", + "▁Tak e", + "▁ Take", + "i del", + "ou ting", + "out ing", + "In ternal", + "Inter nal", + "Intern al", + "▁cel ls", + "har d", + "▁Tow n", + "pl ex", + "ple x", + "p lex", + "to ns", + "ton s", + "t ons", + "▁conc entr", + "▁concent r", + "mo ck", + "m ock", + "v c", + "á z", + "▁Champion ship", + "▁Champions hip", + "ér i", + "é ri", + "ier te", + "iert e", + "▁tot ally", + "▁total ly", + "▁A uf", + "▁Au f", + "▁our selves", + "▁S elf", + "▁Sel f", + "▁ Self", + "Form s", + "For ms", + "fm t", + "f mt", + "▁r c", + "▁ rc", + "▁tel ls", + "B B", + "di t", + "d it", + "▁vari ables", + "▁variable s", + "▁ variables", + "▁int ended", + "▁intend ed", + "iz ont", + "izon t", + "izo nt", + "da m", + "d am", + "se q", + "s eq", + "▁ Sup", + "▁c ultural", + "▁sc ream", + "__ ,", + "_ _,", + "ci pl", + "cip l", + "Time out", + "or te", + "ort e", + "▁Spec ial", + "▁ Special", + "el len", + "ell en", + "elle n", + "T e", + "o lt", + "j u", + "Arg ument", + "▁ne ut", + "▁neu t", + "▁ neut", + "▁Ra y", + "▁ Ray", + "▁Po lit", + "▁crow d", + "▁cro wd", + "▁Window s", + "▁ Windows", + "ie go", + "ieg o", + "i ego", + "▁ escape", + "▁Ap ache", + "sy nc", + "syn c", + "s ync", + "eb en", + "e ben", + "if ies", + "ifi es", + "ethe r", + "Met a", + "Me ta", + "M eta", + "▁big gest", + "Ga me", + "G ame", + "▁trans action", + "▁ transaction", + "En v", + "E nv", + "▁pl enty", + "▁ mel", + "▁mot iv", + "▁m ock", + "▁mo ck", + "▁ mock", + "▁$ _", + "▁ $_", + "ен е", + "е не", + "▁N umber", + "▁Num ber", + "▁Nu mber", + "▁ Number", + "ck now", + "c know", + "▁Up date", + "▁ Update", + "ze ro", + "zer o", + "z ero", + "▁sur prise", + "▁surpr ise", + "pd f", + "p df", + "Gl obal", + "▁f ond", + "▁fo nd", + "▁fon d", + "▁under stood", + "Na v", + "N av", + "▁Mi c", + "▁ Mic", + "= $", + "ok ing", + "oki ng", + "o king", + "▁Stad ium", + "Cl ose", + "▁soldier s", + "▁O P", + "▁ OP", + "ag ne", + "agn e", + "Ma in", + "M ain", + "á k", + "▁# [", + "▁ #[", + "▁Com mit", + "▁Comm it", + "▁ Commit", + "py x", + "▁ east", + "▁Ord er", + "▁ Order", + "F loat", + "▁mon itor", + "▁ monitor", + "▁p ad", + "▁pa d", + "▁ pad", + "oni c", + "▁p ushed", + "▁push ed", + "▁rep lace", + "▁ replace", + "CR E", + "C RE", + "▁r ide", + "▁ri de", + "▁rid e", + "▁ ride", + "fo und", + "f ound", + "= %", + "▁ matches", + "▁L ie", + "▁Li e", + "▁exper iences", + "▁experience s", + "▁experi ences", + "Po ol", + "P ool", + "up s", + "u ps", + "A V", + "▁ex istence", + "▁t hin", + "▁th in", + "▁m agn", + "▁mag n", + "▁ma gn", + "CO MP", + "COM P", + "ho me", + "hom e", + "h ome", + "▁n i", + "▁ ni", + "▁wur den", + "▁wurde n", + "▁te eth", + "▁S tan", + "▁Sta n", + "ap pro", + "app ro", + "an ny", + "ann y", + "if ts", + "ift s", + "▁ unknown", + "▁h omes", + "▁ho mes", + "▁ent ity", + "▁ entity", + "ci e", + "c ie", + "ia r", + "i ar", + "▁compl iance", + "=\\ \"", + "= \\\"", + "com ponents", + "component s", + "Att r", + "At tr", + "all ery", + "alle ry", + "aller y", + "▁ident ify", + "O k", + "pi e", + "p ie", + "▁St ill", + "▁off ering", + "▁offer ing", + "▁bu sy", + "▁bus y", + "ct l", + "c tl", + "ito rs", + "▁concer ned", + "▁b rown", + "▁br own", + "▁bro wn", + "▁brow n", + "cl k", + "Se lected", + "Select ed", + "▁B lock", + "▁Bl ock", + "▁Blo ck", + "▁ Block", + "▁e gy", + "▁eg y", + "▁ egy", + "ic ing", + "ici ng", + "i cing", + "▁U RL", + "▁ URL", + "▁t opic", + "▁to pic", + "▁top ic", + "▁ topic", + "▁Pro duct", + "▁Produ ct", + "▁ Product", + "▁week end", + "l u", + "▁E gy", + "▁Eg y", + "x C", + "▁n ove", + "▁no ve", + "▁nov e", + "▁l ett", + "▁le tt", + "▁let t", + "▁ lett", + "en ne", + "enn e", + "() ).", + "()) .", + "( )).", + ".* *", + ". **", + "▁p romise", + "▁prom ise", + "el ection", + "ele ction", + "elect ion", + "e lection", + "Aut h", + "A uth", + "r v", + "ri l", + "r il", + "▁condu ct", + "▁ conduct", + "▁maint ain", + "▁ boat", + "▁op posite", + "sp in", + "spi n", + "s pin", + "web pack", + "▁o rient", + "▁or ient", + "▁ orient", + "▁ex ercise", + "▁exerc ise", + "▁eff icient", + "▁ efficient", + "▁z w", + "▁ zw", + "▁S ud", + "▁Su d", + "▁Pi er", + "in v", + "i nv", + "ip es", + "ipe s", + "i pes", + "ensure math", + "▁conve r", + "cre en", + "cr een", + "c reen", + "▁terr or", + "▁in valid", + "▁ invalid", + "ceive d", + "▁w ire", + "▁wir e", + "▁ wire", + "ap plication", + "sh ift", + "Gener ic", + "▁ Plan", + "▁Wa ll", + "▁ Wall", + "▁direct ory", + "▁director y", + "▁ directory", + "▁e gg", + "▁eg g", + "▁ wealth", + "ran dom", + "rand om", + "r andom", + "att ribute", + "▁h ide", + "▁hi de", + "▁hid e", + "▁ hide", + "Se rial", + "Ser ial", + "S erial", + "ca m", + "c am", + "▁it al", + "▁i tal", + "▁ ital", + "▁Lin e", + "▁ Line", + "▁C HECK", + "▁ CHECK", + "ploy ment", + "▁mass ive", + "▁ex tract", + "▁ext ract", + "▁extra ct", + "▁extr act", + "▁ extract", + "ch ain", + "cha in", + "Res t", + "Re st", + "R est", + "▁L as", + "▁La s", + "▁b ear", + "▁be ar", + "▁ bear", + "▁l inks", + "▁link s", + "▁lin ks", + "▁ links", + "▁F C", + "▁ FC", + "Car d", + "C ard", + "▁v isible", + "▁vis ible", + "▁ visible", + "▁res erved", + "▁reserv ed", + "▁reserve d", + "lic enses", + "license s", + "d c", + "▁In formation", + "▁ Information", + "S k", + "*) ,", + "* ),", + "Sc ope", + "S cope", + "'] ;", + "' ];", + "▁Mi r", + "▁ Mir", + "ud ing", + "udi ng", + "u ding", + "▁t rend", + "▁tr end", + "▁tre nd", + "▁tren d", + "re p", + "r ep", + "▁ne ither", + "▁nei ther", + "▁C reat", + "▁Cre at", + "▁ Creat", + "▁posit ions", + "r idge", + "▁office rs", + "▁vi olence", + "▁Wa y", + "Af ter", + "A fter", + "ac ket", + "ack et", + "▁S ou", + "▁So u", + "ac er", + "ace r", + "a cer", + "| |", + "▁r emark", + "▁ remark", + "n ě", + "▁ sed", + "E ach", + "▁photo graph", + "▁lett ers", + "▁in vent", + "▁inv ent", + "▁s ongs", + "ó l", + "ki nd", + "kin d", + "k ind", + "▁N on", + "▁No n", + "▁ Non", + "▁d ust", + "▁du st", + "** :", + "* *:", + "nab la", + ".\" ,", + ". \",", + "Loc k", + "Lo ck", + "L ock", + "▁cl uster", + "▁ cluster", + "lo ss", + "los s", + "l oss", + "▁ASS ERT", + "▁ ASSERT", + "fa ll", + "f all", + "▁ reject", + "▁ Spring", + "▁wed ding", + "▁g rav", + "▁gr av", + "▁gra v", + "▁ grav", + "li mit", + "lim it", + "l imit", + "RE S", + "R ES", + "] }", + "▁li sted", + "▁ listed", + "▁T ele", + "▁Tel e", + "▁ Tele", + "hl ine", + "h line", + "▁chi ef", + "ME M", + "M EM", + "▁exp ensive", + "tr ace", + "tra ce", + "▁ Coll", + "▁Aut hor", + "▁Auth or", + "▁ Author", + "▁ Board", + "▁C apt", + "▁Cap t", + "▁Ca pt", + "▁ Capt", + "TE XT", + "T EXT", + "es ta", + "est a", + "e sta", + "▁proper ly", + "▁& \\", + "▁ &\\", + "le ton", + "let on", + "l eton", + "ik er", + "ike r", + "i ker", + "G u", + "▁K om", + "▁Ko m", + "oc o", + "o co", + "▁any more", + "▁t aste", + "▁ta ste", + "▁tast e", + "ge x", + "g ex", + "▁Se cret", + "▁ Secret", + "▁tal ent", + "▁tale nt", + "▁mom ents", + "▁moment s", + "▁mo ments", + "▁ex tr", + "▁ext r", + "▁ extr", + "▁mod ify", + "▁Fig ure", + "▁ Figure", + "▁ domin", + "▁p lot", + "▁ plot", + "en ger", + "eng er", + "enge r", + "▁ci ties", + "▁n ut", + "▁nu t", + "▁ nut", + "pro file", + "prof ile", + "▁S tat", + "▁St at", + "▁Sta t", + "▁ Stat", + "▁n odes", + "▁no des", + "▁node s", + "▁nod es", + "▁ nodes", + "▁n s", + "▁ ns", + "ess ages", + "essage s", + "essa ges", + "im pl", + "imp l", + "ic ker", + "ick er", + "i cker", + "▁ex amples", + "abe th", + "abet h", + "▁sta ted", + "fi re", + "f ire", + "bu l", + "b ul", + "▁danger ous", + "▁P ay", + "▁Pa y", + "▁ Pay", + "▁ Gre", + "▁Mon day", + "▁Mond ay", + "es ome", + "eso me", + "e some", + "iga n", + "ru nd", + "run d", + "r und", + "p rise", + "fa il", + "f ail", + "▁Nev er", + "▁ Never", + "A v", + "▁line ar", + "▁lin ear", + "▁ linear", + "▁u l", + "▁ ul", + "WA R", + "W AR", + "▁d op", + "▁do p", + "▁n ou", + "▁no u", + "Des t", + "De st", + "D est", + "en da", + "end a", + "▁c razy", + "▁cr azy", + "ge l", + "g el", + "og gle", + "ogg le", + "▁rep resentation", + "▁represent ation", + "in en", + "ine n", + "i nen", + "▁alter native", + "D M", + "AB ILITY", + "face s", + "fa ces", + "fac es", + "f aces", + "▁do ors", + "▁door s", + "▁ doors", + "at iv", + "ati v", + "Lo ok", + "L ook", + "▁J SON", + "▁JS ON", + "▁ JSON", + "▁appe arance", + "S QL", + "▁sil ence", + "ud o", + "u do", + "▁Dire ctor", + "▁Dir ector", + "State ment", + "Stat ement", + "se lected", + "select ed", + "hi gh", + "h igh", + "pr ime", + "prim e", + "▁ign ore", + "▁ignor e", + "▁ ignore", + "▁col ors", + "▁color s", + "▁ colors", + "▁vi rt", + "▁ virt", + "man ager", + "▁rem ote", + "▁remot e", + "▁ remote", + "ł o", + "sm all", + "▁cri me", + "r b", + "▁c reation", + "▁S ign", + "▁Si gn", + "▁Sig n", + "▁ Sign", + "IL E", + "I LE", + "▁D O", + "▁ DO", + "com ment", + "comm ent", + "▁C ost", + "▁Co st", + "▁Cos t", + "▁ Cost", + "._ _", + ". __", + "▁ Cop", + "▁v om", + "▁vo m", + "▁Sci ence", + "oo p", + "o op", + "inter face", + "▁WARRAN TIES", + "▁P age", + "▁Pa ge", + "▁ Page", + "** ****", + "**** **", + "*** ***", + "TR UE", + "▁re peated", + "▁repeat ed", + "▁r oz", + "▁ro z", + "▁ roz", + "P e", + "▁IS BN", + "ir ts", + "irt s", + "p oses", + "}) $", + "} )$", + "▁ І", + "child ren", + "ble s", + "bl es", + "b les", + "EC T", + "E CT", + "▁i z", + "▁ iz", + "▁b uilder", + "▁build er", + "▁ builder", + "▁ Media", + "▁contr ast", + "▁contra st", + "” ,", + "▁L ink", + "▁Lin k", + "▁ Link", + "▁ joint", + "▁ex ternal", + "▁extern al", + "▁ external", + "▁b its", + "▁bit s", + "▁bi ts", + "▁ bits", + "FO RM", + "FOR M", + "F ORM", + "w p", + "▁Mi ke", + "▁Mik e", + "▁ Master", + "▁N av", + "▁Na v", + "▁ Nav", + "el ing", + "eli ng", + "elin g", + "e ling", + "f x", + "▁ta ll", + "▁s ono", + "▁so no", + "▁son o", + "▁an che", + "▁anc he", + "▁anch e", + "▁ anche", + "ic ken", + "ick en", + "i cken", + "lo op", + "l oop", + "ici ency", + "empor ary", + "▁D oes", + "▁Do es", + "▁ Does", + "▁re lation", + "▁rel ation", + "▁ relation", + "wa s", + "w as", + "lo w", + "l ow", + "ich te", + "icht e", + "i chte", + "▁bed room", + "DI S", + "D IS", + "▁mag net", + "▁magn et", + "▁ Engine", + "▁feel ings", + "▁feeling s", + "▁fee lings", + "G C", + "▁t orn", + "▁to rn", + "▁tor n", + "▁relationship s", + "▁relation ships", + "▁p roud", + "▁pro ud", + "▁pr oud", + "▁t we", + "▁tw e", + "ov al", + "ova l", + "o val", + "▁w aste", + "▁was te", + "▁wa ste", + "▁red uced", + "▁redu ced", + "B P", + "▁for got", + "▁forg ot", + "▁bod ies", + "la g", + "l ag", + "do or", + "d oor", + "▁s ufficient", + "▁doll ars", + "▁dollar s", + "Le n", + "L en", + "▁talk ed", + "▁tal ked", + "▁bon d", + "}} {", + "} }{", + "ro d", + "r od", + "Pass word", + "qu are", + "▁l ights", + "▁light s", + "▁ lights", + "er en", + "ere n", + "e ren", + "▁th irty", + "N C", + "▁T ODO", + "▁TO DO", + "▁respon d", + "dir ect", + "di rect", + "dire ct", + "d irect", + "a ção", + "Med ia", + "M edia", + "ex it", + "e xit", + "L icense", + "▁m ixed", + "▁d esk", + "▁de sk", + "▁des k", + "▁teach ing", + "▁tea ching", + "▁m aj", + "▁ma j", + "▁n erv", + "▁ne rv", + "▁ner v", + "in ations", + "ination s", + "type of", + "▁be side", + "▁bes ide", + "um my", + "umm y", + "Do c", + "D oc", + "▁sche dule", + "▁schedul e", + "▁sched ule", + "▁ schedule", + "▁re cover", + "▁Fur ther", + "bo ot", + "b oot", + "▁Per haps", + "▁ Os", + "Supp ort", + "Sup port", + "S upport", + "▁( _", + "▁ (_", + "ni l", + "n il", + "pi s", + "p is", + "x pected", + "▁process ing", + "▁proces sing", + "▁ processing", + "Bu ild", + "B uild", + "▁i con", + "▁ic on", + "▁ icon", + "▁C A", + "▁ CA", + "wi ck", + "= (", + "▁al gorithm", + "▁ algorithm", + "▁ Management", + "▁anci ent", + "ност ь", + "o ti", + "wor ld", + "n n", + "en abled", + "ena bled", + "enable d", + "A c", + "C CESS", + "ar ation", + "▁bl ocks", + "▁block s", + "▁blo cks", + "▁ blocks", + "▁Ang eles", + "▁Q ual", + "▁Qu al", + "▁ Qual", + "▁suc ceed", + "▁succ eed", + "net work", + "▁ob lig", + "spring framework", + "mu n", + "m un", + "▁ Network", + "De l", + "D el", + "▁esta te", + "▁l iqu", + "▁li qu", + "▁p ob", + "▁po b", + "▁d ad", + "▁da d", + "▁T it", + "▁Ti t", + "▁L ear", + "▁Le ar", + "and roid", + "andro id", + "sub set", + "▁whis per", + "Vo l", + "V ol", + "ul ous", + "ulo us", + "▁l ug", + "▁lu g", + "pi d", + "p id", + "oc ity", + "oci ty", + "o city", + "sk b", + "s kb", + "▁t ea", + "▁te a", + "▁ho nor", + "▁ Ins", + "▁g ew", + "▁ge w", + "▁ gew", + "Det ails", + "Detail s", + "ene ath", + "e neath", + "at ar", + "ata r", + "a tar", + "▁_ {", + "▁ _{", + "am en", + "ame n", + "a men", + "▁set up", + "▁ setup", + "Trans action", + "▁bl ank", + "▁ blank", + "Fail ed", + "F ailed", + "jo b", + "j ob", + "▁p ret", + "▁pre t", + "▁pr et", + "▁ pret", + "ß e", + "lo or", + "l oor", + "ř í", + "nc ia", + "n cia", + "▁any where", + "▁Li ght", + "▁ Light", + "B D", + "▁exc ited", + "▁excit ed", + "ag ers", + "age rs", + "ager s", + "a gers", + "▁w arning", + "▁war ning", + "▁warn ing", + "▁ warning", + "▁proces ses", + "h u", + "▁yo uth", + "▁d ogs", + "▁do gs", + "▁dog s", + "▁o ct", + "▁oc t", + "▁ oct", + "▁ni ne", + "▁nin e", + "Write r", + "Wr iter", + "Writ er", + "W riter", + "gr id", + "g rid", + "▁care fully", + "▁careful ly", + "ma ster", + "mas ter", + "m aster", + "▁dec isions", + "▁decision s", + "▁decis ions", + "▁p in", + "▁pi n", + "▁ pin", + "▁cr ack", + "TE ST", + "TES T", + "T EST", + "▁L ocal", + "▁Loc al", + "▁Lo cal", + "▁ Local", + "▁R ight", + "▁ Right", + "▁v ast", + "▁va st", + "▁vas t", + "▁f aster", + "▁fa ster", + "▁fast er", + "▁inst itut", + "LA N", + "L AN", + "▁e pisode", + "▁del ivery", + "▁deliver y", + "t l", + "F P", + "ci rc", + "cir c", + "ig o", + "i go", + "▁int el", + "▁inte l", + "▁ intel", + "na t", + "n at", + "x b", + ") -", + "▁ Bal", + "▁g onna", + "▁R est", + "▁Re st", + "▁Res t", + "▁ Rest", + "jo r", + "j or", + "oni a", + "o nia", + "ov ery", + "ove ry", + "over y", + "o very", + "LI NE", + "LIN E", + "L INE", + "Que ue", + "▁com pare", + "▁comp are", + "▁compar e", + "▁ compare", + "▁ap artment", + "▁apart ment", + "D r", + "▁ob viously", + "▁obvious ly", + "zi e", + "z ie", + "yc l", + "y cl", + "fort unately", + "fortun ately", + "fortunate ly", + "▁ste pped", + "▁step ped", + "▁S eg", + "▁Se g", + "▁ Seg", + "▁Wh ich", + "▁ Which", + "end or", + "endo r", + "▁per mission", + "▁perm ission", + "▁ permission", + "CO L", + "C OL", + "▁T EST", + "▁TE ST", + "▁ TEST", + "P ay", + "ère s", + "è res", + "▁accomp l", + "ro le", + "rol e", + "r ole", + "Wh ere", + "Whe re", + "W here", + "proto buf", + "met adata", + "meta data", + "Jo b", + "J ob", + "▁Fou r", + "▁Fo ur", + "pl ements", + "ple ments", + "plement s", + "dis able", + "▁l oud", + "▁lo ud", + "▁lou d", + "▁happ ening", + "▁happen ing", + "▁U sing", + "▁Us ing", + "▁ Using", + "▁depend s", + "▁dep ends", + "í m", + "' \\", + "sh ared", + "sha red", + "share d", + "▁att ributes", + "▁attribute s", + "▁attribut es", + "▁ attributes", + "▁A ction", + "▁Act ion", + "▁ Action", + "▁d ess", + "▁de ss", + "▁des s", + "▁ dess", + "▁h ouses", + "▁ho uses", + "▁re set", + "▁res et", + "▁ reset", + "▁b ien", + "▁bi en", + "▁ex plicit", + "▁expl icit", + "LO W", + "-> _", + "▁P M", + "▁ PM", + "C ategory", + "oi ce", + "in to", + "int o", + "▁m ail", + "▁ma il", + "▁mai l", + "▁ mail", + "▁una ble", + "file name", + "fil ename", + "é k", + "▁sec tor", + "▁sect or", + "ap point", + "app oint", + "▁han g", + "▁ hang", + "▁c el", + "▁ce l", + "▁ cel", + "it ate", + "ita te", + "itat e", + "▁' <", + "▁c heap", + "▁che ap", + "▁en abled", + "▁enable d", + "▁ enabled", + "▁di vision", + "▁divis ion", + "An y", + "A ny", + "▁h ier", + "▁hi er", + "▁ Head", + "nt ax", + "n tax", + "ud a", + "u da", + "▁lim itations", + "▁limit ations", + "▁limitation s", + "▁st udio", + "med ia", + "medi a", + "m edia", + "▁cir cle", + "▁circ le", + "▁ circle", + "▁l aug", + "▁la ug", + "ac ts", + "act s", + "ó d", + "pl ed", + "ple d", + "p led", + "LO C", + "L OC", + "Ex pr", + "Exp r", + "> :", + "▁pr és", + "▁pré s", + "▁ prés", + "▁laugh ed", + "▁laug hed", + "▁ Three", + "▁en ds", + "▁ ends", + "▁fund ament", + "▁ inher", + "▁l iv", + "▁li v", + "▁ liv", + "bi d", + "b id", + "▁check ed", + "▁ checked", + "▁Pa c", + "▁f ault", + "▁fa ult", + "▁s alt", + "▁sa lt", + "▁sal t", + "▁Franc isco", + "▁ ^", + "▁O N", + "▁ ON", + "▁beaut y", + "y g", + "▁ Aff", + "▁E q", + "▁ Eq", + "▁mag ic", + "▁hand ler", + "▁handle r", + "▁ handler", + "x E", + "▁numer ous", + "▁numero us", + "▁h ole", + "▁hol e", + "▁ho le", + "▁ hole", + "▁ rooms", + "cc ión", + "cció n", + "c ción", + "▁ Arm", + "per son", + "pers on", + "p erson", + "▁p late", + "▁pl ate", + "▁plat e", + "ble d", + "bl ed", + "b led", + "er rors", + "err ors", + "error s", + "▁A gain", + "▁Ag ain", + "▁Def ault", + "▁ Default", + "▁ Hard", + "t ó", + "hu s", + "h us", + "▁dim ension", + "ial e", + "ia le", + "i ale", + "▁M ult", + "▁Mu lt", + "▁Mul t", + "▁ Mult", + "▁Govern ment", + "Fun c", + "F unc", + "▁b low", + "▁bl ow", + "▁blo w", + "▁re ct", + "▁r ect", + "▁rec t", + "▁ rect", + "er ra", + "err a", + "conne ction", + "connect ion", + "conn ection", + "▁pas sing", + "ße n", + "ß en", + "p has", + "ens ional", + "ension al", + "re cord", + "rec ord", + "co hol", + "▁Harr y", + "izont al", + "izon tal", + "▁f inger", + "▁fin ger", + "▁fing er", + "▁S C", + "▁ SC", + "oper ation", + "B Y", + "▁ Bad", + "▁stor m", + "▁sto rm", + "▁ storm", + "▁N at", + "▁Na t", + "▁bu ying", + "▁buy ing", + "▁S ometimes", + "▁Some times", + "es sed", + "esse d", + "▁da mn", + "▁dam n", + "▁m eg", + "▁me g", + "ün d", + "ü nd", + "w d", + "hid den", + "h idden", + "ar do", + "ard o", + "▁d iet", + "▁di et", + "▁die t", + "ot ted", + "ott ed", + "otte d", + "▁b at", + "▁ba t", + "▁ bat", + "an cer", + "ance r", + "anc er", + "▁f mt", + "▁ fmt", + "▁ Pen", + "▁t il", + "▁ti l", + "▁ til", + "En um", + "E num", + "PA TH", + "P ATH", + "▁mat ters", + "▁matter s", + "▁matt ers", + "time out", + "-- ----------", + "---- --------", + "-------- ----", + "--- ---------", + "----- -------", + "---------- --", + "------ ------", + "--------- ---", + "------- -----", + "----------- -", + "- -----------", + "ka n", + "k an", + "▁Cor por", + "=\" ../../", + "=\"../ ../", + "▁A le", + "▁Al e", + "hent ication", + "hentic ation", + "▁com plic", + "▁comp lic", + "▁compl ic", + "▁Se curity", + "▁ Security", + "OF F", + "O FF", + "R ad", + "ap se", + "aps e", + "a pse", + "▁dan ce", + "▁perm issions", + "▁permission s", + "▁war rant", + "▁l ad", + "▁la d", + "▁ lad", + "▁i sol", + "d l", + "▁A u", + "ye s", + "y es", + "▁t v", + "▁ tv", + "▁pro vider", + "▁prov ider", + "▁provide r", + "▁ provider", + "▁ter rible", + "▁terr ible", + "▁implement ation", + "S R", + "▁h earing", + "▁he aring", + "▁hear ing", + "F R", + "t v", + "F UN", + "▁dur ante", + "▁durant e", + "osi s", + "o sis", + "▁task s", + "▁ tasks", + "▁B lo", + "▁Bl o", + "▁ Blo", + "▁br anch", + "▁ branch", + "▁E lle", + "▁El le", + "▁Ell e", + "ex pr", + "exp r", + "pr ec", + "pre c", + "p rec", + "Sig ma", + "S igma", + "imat ely", + "t k", + "ach ment", + "▁Ent er", + "▁ Enter", + "▁cre ative", + "▁creat ive", + "ap py", + "app y", + "un ched", + "unch ed", + "unc hed", + "▁' ',", + "▁'' ,", + "onde r", + "{ -", + "NU M", + "N UM", + "▁n arr", + "▁na rr", + "▁nar r", + "Mem ory", + "▁ winning", + "▁Fol low", + "▁ Follow", + "*/ \r", + "vis ion", + "v ision", + "res ents", + "resent s", + "zi one", + "z ione", + "▁requ ests", + "▁request s", + "▁ requests", + "▁m argin", + "▁mar gin", + "▁marg in", + "▁ margin", + "▁{ \"", + "▁ {\"", + "v ideo", + "c n", + "▁Im age", + "▁ Image", + "T im", + "CON FIG", + "CONF IG", + "▁all owing", + "▁combine d", + "PU T", + "P UT", + "▁instance of", + "ig in", + "igi n", + "i gin", + "▁p ero", + "▁per o", + "▁pe ro", + "▁' '", + "▁ ''", + "▁conf idence", + "▁equ ivalent", + "▁equival ent", + "pa d", + "p ad", + "ef fect", + "eff ect", + "e ffect", + "R X", + "▁l ang", + "▁la ng", + "▁lan g", + "▁ lang", + "str ong", + "▁br idge", + "▁ bridge", + "▁t reated", + "▁tre ated", + "▁treat ed", + "▁f orth", + "▁for th", + "▁fort h", + "S W", + "▁P O", + "▁ PO", + "▁list ening", + "▁listen ing", + "Ro ute", + "R oute", + "() ))", + "()) )", + "( )))", + "cp y", + "c py", + "▁g ate", + "▁ga te", + "▁ gate", + "▁ Walk", + "▁some how", + "t f", + "▁l ayout", + "▁la yout", + "▁lay out", + "▁ layout", + "um in", + "umi n", + "u min", + "▁consider ing", + "▁consid ering", + "▁pre mi", + "▁pr emi", + "▁M om", + "▁Mo m", + "a than", + "Ge n", + "G en", + "▁plan et", + "▁plane t", + "am ples", + "amp les", + "ample s", + "▁M O", + "▁ MO", + "sh op", + "s hop", + "▁prem ier", + "▁premi er", + "▁s impl", + "▁sim pl", + "▁s egu", + "▁se gu", + "▁seg u", + "L Y", + "Su m", + "S um", + "▁t ables", + "▁table s", + "▁tab les", + "▁ta bles", + "▁ tables", + "sk a", + "s ka", + "▁ ž", + "p d", + "▁s ous", + "▁so us", + "▁sou s", + "▁confer ence", + "▁D at", + "▁Da t", + "▁ Dat", + "Sc roll", + "es se", + "ess e", + "▁citizen s", + "▁dem ocr", + "▁demo cr", + "▁ Sem", + "he aders", + "head ers", + "header s", + "im ento", + "iment o", + "imen to", + "ko m", + "k om", + "Co r", + "C or", + "MI N", + "M IN", + "us her", + "ush er", + "Data base", + "Dat abase", + "▁f ormal", + "▁for mal", + "▁forma l", + "ig ne", + "ign e", + "▁organ izations", + "▁I re", + "▁Ir e", + "X ml", + "▁bom b", + "▁ma nd", + "▁ mand", + "▁c lock", + "▁cl ock", + "▁clo ck", + "▁ clock", + "▁b uck", + "▁bu ck", + "en sch", + "ens ch", + "▁v olt", + "▁vo lt", + "▁vol t", + "▁ volt", + "in ode", + "ino de", + "i node", + "Bo olean", + "▁restaur ant", + "ía n", + "í an", + "page s", + "pa ges", + "pag es", + "p ages", + "▁wor dt", + "▁word t", + "(\" /", + "▁c opyright", + "▁copy right", + "▁ copyright", + "▁r it", + "▁ri t", + "▁ rit", + "size of", + "Tr ace", + "Tra ce", + "ue nt", + "uen t", + "u ent", + "▁k o", + "▁ ko", + ": \\", + "▁b igger", + "▁big ger", + "▁perfect ly", + "ten ance", + "MA SK", + "M ASK", + "r é", + "▁e tt", + "▁et t", + "▁ ett", + "▁n ose", + "▁no se", + "▁nos e", + "▁c raft", + "▁cr aft", + "▁ craft", + "it eral", + "ite ral", + "iter al", + "▁discuss ed", + "C ap", + "▁Un less", + "Att ributes", + "Attribute s", + "Attrib utes", + "▁l unch", + "▁lun ch", + "ö l", + "at r", + "a tr", + "▁pay ing", + "▁pa ying", + "Par se", + "Pars e", + "P arse", + "() \r", + "( )\r", + "la d", + "l ad", + "▁[ ];", + "▁[] ;", + "▁ [];", + "sto ne", + "▁u nc", + "▁defens e", + "} +", + "▁ Global", + "▁Sov iet", + "▁g li", + "▁gl i", + "var iant", + "vari ant", + "St ep", + "Ste p", + "me mber", + "mem ber", + "m ember", + "Sc h", + "S ch", + "▁Commit tee", + "▁s pending", + "▁sp ending", + "▁spend ing", + "▁ Tri", + "▁Jour nal", + "▁ Journal", + "▁s ugar", + "▁su gar", + "▁sug ar", + "el ly", + "ell y", + "HT ML", + "wi ng", + "▁Wh ether", + "▁Whe ther", + "▁N E", + "▁ NE", + "iv eness", + "ive ness", + "iven ess", + "▁h av", + "▁ha v", + "▁ hav", + "▁con scious", + "▁ conscious", + "Sym bol", + "S ymbol", + "Log ger", + "▁Lit tle", + "wide t", + "wi det", + "wid et", + "pi n", + "p in", + "▁sym met", + "▁pos ts", + "▁po sts", + "▁post s", + "▁ posts", + "sh al", + "sha l", + "s hal", + "▁Co nf", + "▁ Conf", + "ma l", + "m al", + "ul o", + "u lo", + "▁M ethod", + "▁ Method", + "▁miss ed", + "▁mis sed", + "Re move", + "Rem ove", + "Aut o", + "A uto", + "VAL UE", + "▁ Force", + "p f", + "la te", + "lat e", + "l ate", + "▁pu l", + "▁ pul", + "Po p", + "P op", + "air es", + "ai res", + "aire s", + "a ires", + "res sed", + "resse d", + "AM E", + "A ME", + "achi ng", + "a ching", + "i ć", + "ec ho", + "ech o", + "e cho", + "H S", + "▁fun ny", + "▁e er", + "▁ve get", + "c f", + "trans form", + "▁g rown", + "▁gr own", + "▁grow n", + "▁gro wn", + "si te", + "s ite", + "▁b eneath", + "▁be neath", + "▁s hell", + "▁ shell", + "x d", + "Pl ay", + "P lay", + "sh ort", + "Ro le", + "R ole", + "in ator", + "ina tor", + "} <", + "\" ><", + "aj o", + "a jo", + "ex ports", + "exp orts", + "export s", + "▁N ode", + "▁No de", + "▁ Node", + "▁j ako", + "▁ja ko", + "▁jak o", + "▁y a", + "▁ ya", + "▁friend ly", + "▁ friendly", + "buf f", + "bu ff", + "b uff", + "DE FAULT", + "▁pre gn", + "▁preg n", + "Requ ired", + "Require d", + "▁b inary", + "▁bin ary", + "▁ binary", + "is ting", + "ist ing", + "isti ng", + "▁st ared", + "▁star ed", + "▁stare d", + "▁sta red", + "▁circum stances", + "re i", + "r ei", + "Trans form", + "cn t", + "c nt", + "▁ Ext", + "re port", + "rep ort", + "repo rt", + "VER SION", + "▁ analy", + "▁Ma rg", + "▁all eg", + "build er", + "b uilder", + "To String", + "La yer", + "L ayer", + "ís t", + "í st", + "Pro p", + "Pr op", + "P rop", + "▁E mp", + "▁Em p", + "▁ Emp", + "} ]", + "▁sel ling", + "▁ selling", + "▁que ue", + "▁ queue", + "▁ser iously", + "▁serious ly", + "▁L ead", + "▁Le ad", + "▁ Lead", + "text it", + "tex tit", + "test ing", + "tes ting", + "se curity", + "sec urity", + "ia ł", + "i ał", + "ú n", + "ch ip", + "chi p", + "c hip", + "▁c andidate", + "▁mini ster", + "▁minist er", + "▁ minister", + "er ia", + "eri a", + "e ria", + "▁H et", + "▁He t", + "▁b arely", + "▁bar ely", + "▁bare ly", + "▁s ty", + "▁st y", + "▁ sty", + "▁Span ish", + "time r", + "ti mer", + "tim er", + "t imer", + "кі в", + "к ів", + "(' .", + "( '.", + "▁d ebug", + "▁de bug", + "▁deb ug", + "▁ debug", + "▁contr o", + "▁j oy", + "▁jo y", + "▁ joy", + "S n", + "In v", + "I nv", + "▁pro tocol", + "▁proto col", + "▁prot ocol", + "▁ protocol", + "▁f aces", + "▁face s", + "▁fac es", + "▁fa ces", + "▁ faces", + "se d", + "s ed", + "Con f", + "Co nf", + "AR G", + "A RG", + "▁e volution", + "▁t od", + "▁to d", + "▁P romise", + "▁Prom ise", + "▁ Promise", + "▁pos ted", + "▁po sted", + "▁post ed", + "Per m", + "Pe rm", + "P erm", + "be t", + "b et", + "An g", + "A ng", + "J ust", + "▁r um", + "▁ru m", + "▁ rum", + "la yer", + "lay er", + "l ayer", + "▁beh avi", + "▁behav i", + "ip ping", + "ipp ing", + "ippi ng", + "i pping", + "▁d ynam", + "▁dy nam", + "▁dyn am", + "▁sch eme", + "▁sche me", + "▁ scheme", + "▁pro to", + "▁pr oto", + "▁prot o", + "▁ proto", + ") /", + "Col lections", + "Collection s", + "Collect ions", + "ri ev", + "rie v", + "r iev", + "▁C lick", + "▁Cl ick", + "▁ Click", + "▁ uns", + "wide tilde", + "widet ilde", + "▁remember ed", + "г і", + "in ates", + "ina tes", + "inate s", + "▁De scription", + "▁Des cription", + "▁ Description", + "▁pre pare", + "▁prep are", + "▁prepar e", + "▁ prepare", + "▁Fi nal", + "▁ Final", + "▁Qu een", + "▁Que en", + "> ;", + "▁autom atically", + "▁automatic ally", + "▁sh arp", + "▁shar p", + "▁sha rp", + "▁me at", + "at eur", + "ate ur", + "aste rn", + "▁st uck", + "ASS ERT", + "do ts", + "dot s", + "d ots", + "ook ie", + "oo kie", + "▁His tor", + "▁re views", + "IM P", + "I MP", + "▁answ ered", + "▁answer ed", + "To tal", + "T otal", + "▁s au", + "▁sa u", + "▁Me xico", + "contin ue", + "like ly", + "lik ely", + "з ва", + "us ers", + "use rs", + "user s", + "▁L ev", + "▁Le v", + "▁m ol", + "▁mo l", + "▁comm itted", + "wr it", + "ri ft", + "rif t", + "r ift", + "▁inter rupt", + "▁ interrupt", + "▁read only", + "sch ema", + "sche ma", + "s chema", + "S m", + "D ouble", + "▁ Hal", + "Mo ve", + "M ove", + "▁S eries", + "▁Serie s", + "▁ Series", + "in line", + "so c", + "s oc", + "▁t ent", + "▁te nt", + "▁ten t", + "▁a mer", + "▁am er", + "▁ amer", + "▁l ady", + "▁la dy", + "▁lad y", + "▁t ired", + "▁ti red", + "▁tire d", + "▁tir ed", + "if i", + "i fi", + "▁m ême", + "▁ même", + "ou ver", + "▁a side", + "▁as ide", + "Di d", + "D id", + "', \r", + "' ,\r", + "▁br inging", + "Draw ing", + "es so", + "ess o", + "mitt ed", + "m itted", + "▁abs olute", + "▁absolut e", + "▁ absolute", + "ha ust", + "haus t", + "(( )", + "( ()", + "▁T ask", + "▁Ta sk", + "▁ Task", + "ER S", + "E RS", + "▁^ {", + "▁ ^{", + "▁t one", + "▁to ne", + "▁ton e", + "dis t", + "di st", + "d ist", + "v s", + "▁whe el", + "▁ wheel", + "▁administr ation", + "▁admin istration", + "▁point er", + "▁po inter", + "▁ pointer", + "▁en counter", + "▁n ord", + "▁no rd", + "▁nor d", + "ke t", + "k et", + "▁b each", + "▁be ach", + "▁enjoy ed", + "cont ains", + "▁app end", + "▁ap pend", + "▁appe nd", + "▁ append", + "W ait", + "▁s quad", + "ze l", + "z el", + "▁med ium", + "▁medi um", + "▁ medium", + "▁s ending", + "▁send ing", + "▁sen ding", + "▁La dy", + "▁Lad y", + "ç ões", + "▁dest ination", + "▁destin ation", + "▁ destination", + "ny ch", + "n ych", + "▁conf lict", + "▁conflic t", + "▁v ul", + "▁vu l", + "▁bas ically", + "▁basic ally", + "re ated", + "reat ed", + "reate d", + "rea ted", + "bl ack", + "ug ins", + "ugin s", + "▁cal m", + "▁ca lm", + "ér ie", + "éri e", + "é rie", + "ha r", + "h ar", + "w atch", + "▁P ut", + "▁Pu t", + "▁ Put", + "▁d ump", + "▁du mp", + "▁ dump", + "ac her", + "ach er", + "ache r", + "a cher", + "sc roll", + "scr oll", + "▁cl aimed", + "▁ claimed", + "▁Cont rol", + "▁ Control", + "▁bl ind", + "en ti", + "ent i", + "▁Ke ep", + "▁ Keep", + "im ages", + "image s", + "ima ges", + "imag es", + "▁t ough", + "▁to ugh", + "▁tou gh", + "ge bra", + "geb ra", + "▁se pt", + "▁sep t", + "▁s kill", + "▁sk ill", + "▁ski ll", + "▁ skill", + "▁Ta y", + "▁k tó", + "ow ner", + "own er", + "par e", + "pa re", + "p are", + "▁f ee", + "▁fe e", + "▁ fee", + "▁k an", + "▁ka n", + "▁ kan", + "▁c ha", + "▁ch a", + "▁ cha", + "ov o", + "o vo", + "▁Ni ght", + "ict ure", + "▁es say", + "▁ess ay", + "▁sup pose", + "▁supp ose", + "eti c", + "Ar t", + "A rt", + "ac on", + "aco n", + "a con", + "ll a", + "l la", + "word s", + "wor ds", + "w ords", + "▁compar ison", + "▁B E", + "▁ BE", + "▁challeng es", + "▁challenge s", + "▁o l", + "▁ ol", + "cite p", + "cit ep", + "▁Fo ot", + "▁ Foot", + "▁S uch", + "▁Su ch", + "▁ Such", + "▁p apers", + "▁paper s", + "▁pa pers", + "▁pap ers", + "act iv", + "qu er", + "que r", + "q uer", + "сь кий", + "do ne", + "don e", + "d one", + "▁sh ock", + "▁dedic ated", + "▁correspon d", + "Se cond", + "Sec ond", + "▁b ull", + "▁bu ll", + "▁bul l", + "lif e", + "ind ent", + "inde nt", + "inden t", + "▁Andr ew", + "is p", + "i sp", + "F ull", + "▁Reg ister", + "▁ Register", + "Sc ale", + "Scal e", + "ic ations", + "ication s", + "pa ir", + "p air", + "▁pers pective", + "▁n os", + "▁no s", + "▁ nos", + "ap a", + "a pa", + "ost ał", + "osta ł", + "▁Pe rs", + "▁ Pers", + "ic er", + "ice r", + "i cer", + "▁pl astic", + "ci ples", + "cipl es", + "cip les", + "z ą", + "c los", + "▁ Á", + "pl ugin", + "plug in", + "▁an gle", + "▁ang le", + "▁angl e", + "▁ angle", + "▁fun ds", + "▁in du", + "▁ind u", + "▁d rawn", + "á m", + "▁seg ment", + "▁ segment", + "is me", + "ism e", + "sc r", + "s cr", + "▁li es", + "▁lie s", + "▁I L", + "▁ IL", + "▁a pi", + "▁ap i", + "▁ api", + "Ext ension", + "▁s cal", + "▁sc al", + "▁ scal", + "inst all", + "▁ Week", + "▁gen tle", + "▁gent le", + "▁d ialog", + "▁dial og", + "▁dia log", + "▁ dialog", + "▁artic les", + "The me", + "Th eme", + "S M", + "▁ Bul", + "▁l eur", + "▁le ur", + "▁s tom", + "▁st om", + "▁sto m", + "Pl ugin", + "▁st ead", + "▁ste ad", + "▁ stead", + "▁ ś", + "ip her", + "iph er", + "i pher", + "▁pr ze", + "▁prz e", + "▁ draft", + "bot tom", + "b ottom", + "▁{ };", + "▁{} ;", + "fe ature", + "feat ure", + "▁fab ric", + "ç a", + "(' #", + "re a", + "r ea", + "▁re put", + "▁rep ut", + "▁C ir", + "▁Ci r", + "▁ Cir", + "▁A L", + "▁ AL", + "▁assert Equals", + "▁ assertEquals", + "result s", + "▁ Cross", + "urs day", + "▁a udio", + "▁aud io", + "▁ audio", + "▁g ap", + "▁ga p", + "pl atform", + "▁a uss", + "▁au ss", + "▁aus s", + "▁part ial", + "▁parti al", + "▁ partial", + "u nc", + "▁cho ices", + "▁choice s", + "pr ed", + "pre d", + "p red", + "▁ heads", + "ter day", + "▁Ni ck", + "▁we ird", + "as ant", + "asa nt", + "or ders", + "cl ock", + "c lock", + "arte rs", + "C md", + "og a", + "o ga", + "Key s", + "Ke ys", + "Re port", + "Rep ort", + "Repo rt", + "▁Vil l", + "▁ Mu", + "▁ owned", + "SU CCESS", + "▁type of", + "▁ typeof", + "hd r", + "h dr", + "ua ble", + "u able", + "▁A P", + "▁ AP", + "▁sh adow", + "▁ shadow", + "STR ING", + "▁video s", + "▁vide os", + "ле ння", + "лен ня", + "ex pect", + "exp ect", + "▁Vall ey", + "▁g oto", + "▁go to", + "▁got o", + "▁ goto", + "fr astr", + "▁opera ting", + "▁License d", + "▁Lic ensed", + "Var iable", + "Vari able", + "cl one", + "▁G esch", + "▁Ge sch", + "▁Ges ch", + "▁Ban d", + "▁ Band", + "... .....", + "..... ...", + "▁hundred s", + "▁emot ional", + "▁emotion al", + ") +", + "▁Egy pt", + "▁fr anç", + "▁ š", + "▁f asc", + "▁fa sc", + "▁A dam", + "▁r ig", + "▁ri g", + "▁ rig", + "▁det ailed", + "▁detail ed", + "▁im plements", + "▁implement s", + "▁impl ements", + "▁ Hy", + "▁g rid", + "▁gr id", + "▁gri d", + "▁ grid", + "St op", + "S top", + "▁s lot", + "▁sl ot", + "▁ slot", + "▁ang ry", + "▁- =", + "▁wait ed", + "▁wa ited", + "Ver t", + "V ert", + "\": \"", + "\" :\"", + "▁e lem", + "▁el em", + "▁ele m", + "▁ elem", + "▁r ég", + "▁ré g", + "ow ed", + "owe d", + "o wed", + "Mem ber", + "Me mber", + "M ember", + "▁r atio", + "▁rat io", + "▁ ratio", + "is en", + "ise n", + "i sen", + "▁L em", + "▁Le m", + "ge ry", + "ger y", + "g ery", + "▁c ream", + "▁cre am", + "▁ét ait", + "▁ était", + "▁g eb", + "▁ge b", + "▁ geb", + "un ique", + "uni que", + "▁D eb", + "▁De b", + "▁f actory", + "▁ factory", + "ż e", + "d ialog", + "▁Con fig", + "▁Conf ig", + "▁ Config", + "Sy nc", + "S ync", + "an gers", + "ang ers", + "ange rs", + "anger s", + "▁gover ning", + "▁govern ing", + "Sp ace", + "S pace", + "▁j est", + "▁je st", + "ic ious", + "ici ous", + "icio us", + "▁emp has", + "um ps", + "ump s", + "▁E sp", + "▁Es p", + "▁ Esp", + "▁s ul", + "▁su l", + "ij a", + "i ja", + "▁l ying", + "▁ly ing", + "▁ lying", + "▁St eve", + "▁me asures", + "os to", + "ost o", + "o sto", + "? ”", + "▁p ocket", + "▁poc ket", + "▁p itch", + "▁pit ch", + "▁n atur", + "▁nat ur", + "ad ores", + "ado res", + "ador es", + "(\" \\", + "( \"\\", + "▁ex pos", + "▁exp os", + "mat erial", + "mate rial", + "m aterial", + "▁app arently", + "▁apparent ly", + "▁appar ently", + "▁B ox", + "▁Bo x", + "▁ Box", + "▁s paces", + "▁sp aces", + "▁space s", + "ex ists", + "exist s", + "OR Y", + "Go od", + "G ood", + "ien ne", + "i enne", + "▁f ruit", + "▁fr uit", + "▁fru it", + "ie ra", + "ier a", + "i era", + "▁ Lim", + "▁t rait", + "▁tr ait", + "▁tra it", + "▁ trait", + "▁ab sor", + "▁abs or", + "rai t", + "LO AD", + "▁mov ies", + "▁movie s", + "▁d ynamic", + "▁dynam ic", + "▁dyn amic", + "▁ dynamic", + "as ts", + "ast s", + "a sts", + "▁In teger", + "▁ Integer", + "▁sm oke", + "п і", + "an gel", + "ang el", + "ange l", + ">( \"", + "> (\"", + "▁in strument", + "▁fue l", + "▁fu el", + "но ї", + "atal ogue", + "atalog ue", + "▁s erial", + "▁se rial", + "▁ser ial", + "▁ serial", + "File s", + "Fil es", + "Fi les", + "F iles", + "▁bath room", + "il o", + "i lo", + "es to", + "est o", + "e sto", + "▁p m", + "▁ pm", + "ent ials", + "ential s", + "enti als", + "▁On line", + "wh ite", + "▁t ips", + "▁tip s", + "▁ti ps", + "Fi g", + "F ig", + "k é", + "bit r", + "bi tr", + "b itr", + "Map ping", + "Ma pping", + "M apping", + "▁t ak", + "▁ta k", + ")\" ,", + ") \",", + "▁K arl", + "▁Kar l", + "▁Ka rl", + "▁Hum an", + "▁rep resents", + "▁represent s", + "▁cons istent", + "▁consist ent", + "_ (", + "we n", + "w en", + "▁F ROM", + "▁FR OM", + "▁ FROM", + "▁e dit", + "▁ed it", + "▁ edit", + "▁ch apter", + "▁chap ter", + "▁wonder ed", + "▁Ma jor", + "▁Maj or", + "▁g es", + "▁ge s", + "▁ ges", + "▁dire cted", + "er os", + "ero s", + "e ros", + "li ament", + "lia ment", + "Bo ok", + "B ook", + "user name", + "ho t", + "h ot", + "▁n am", + "▁na m", + "▁ nam", + "▁Ta l", + "▁ex ports", + "▁exp orts", + "▁export s", + "▁ exports", + "( @", + "▁sh aring", + "▁shar ing", + "▁sha ring", + "ś ć", + "ues day", + "yl v", + "y lv", + "el en", + "ele n", + "e len", + "Se lection", + "Select ion", + "S election", + "▁conf ident", + "ry pto", + "rypt o", + "▁ho rs", + "ed itor", + "edit or", + "edi tor", + "▁should ers", + "▁shoulder s", + "get Name", + "en cing", + "enc ing", + "enci ng", + "SE LECT", + "SEL ECT", + "▁kind s", + "▁kin ds", + "▁W el", + "▁We l", + "Mat rix", + "in valid", + "▁ owners", + "▁Record s", + "▁ Records", + "▁Pro cess", + "▁ Process", + "▁c hat", + "▁ch at", + "▁cha t", + "▁ chat", + "▁b in", + "▁bi n", + "▁ bin", + "re dit", + "red it", + "r edit", + "oi re", + "oir e", + "o ire", + "▁T otal", + "▁To tal", + "▁Tot al", + "▁ Total", + "▁F amily", + "▁Famil y", + "▁ Family", + "AR Y", + "▁b read", + "▁br ead", + "▁bre ad", + "▁ bread", + "▁com pre", + "▁comp re", + "▁compr e", + "▁sh oes", + "▁shoe s", + "▁r az", + "▁ra z", + "▁ raz", + "▁tr ace", + "▁tra ce", + "▁ trace", + "ne j", + "n ej", + "or ted", + "ort ed", + "orte d", + "h n", + "▁pro cedure", + "▁proced ure", + "pro perties", + "pl ier", + "▁ hero", + "pan el", + "pa nel", + "p anel", + "▁mar ked", + "▁wor ried", + "\\ |", + "pt s", + "p ts", + "▁S upport", + "▁Sup port", + "▁Supp ort", + "▁ Support", + "F ail", + "▁dis appoint", + "▁ple asure", + "▁j udge", + "▁judg e", + "ze ich", + "▁for ever", + "▁fore ver", + "▁Ze it", + "uo us", + "u ous", + "inen t", + "i nent", + "▁d w", + "▁ dw", + "▁w aren", + "▁war en", + "▁wa ren", + "▁ware n", + "▁fl ash", + "▁ flash", + "▁dr ugs", + "▁dru gs", + "▁drug s", + "▁dia m", + ". ~", + "im p", + "i mp", + "in ned", + "inn ed", + "▁E V", + "▁ EV", + "St ruct", + "Str uct", + "▁just ice", + "▁offic ials", + "ff ff", + "fff f", + "f fff", + "▁ Common", + "▁ Cat", + "▁tom orrow", + "▁é l", + "▁ él", + "Text ure", + "Te xture", + "qp oint", + "q point", + "▁F ried", + "▁Fr ied", + "▁T erm", + "▁Te rm", + "▁Ter m", + "▁ Term", + "pgf qpoint", + "▁n em", + "▁ne m", + "▁ nem", + "no rm", + "nor m", + "n orm", + "▁hard ly", + "od a", + "o da", + "ze ta", + "zet a", + "z eta", + "em ic", + "emi c", + "e mic", + "▁lo aded", + "▁load ed", + "▁ loaded", + "ci ó", + "c ió", + "▁f ool", + "▁fo ol", + "▁foo l", + "▁t rick", + "▁tr ick", + "▁tri ck", + "▁d st", + "▁ds t", + "▁ dst", + "Fin d", + "Fi nd", + "F ind", + "}} ,", + "} },", + "▁frame work", + "▁ framework", + "▁mer ely", + "▁mere ly", + "▁ union", + "Fl ag", + "F lag", + "▁cris is", + "▁cri sis", + "▁fin ite", + "▁ finite", + "▁l ol", + "▁lo l", + "▁Ki m", + "sin ce", + "s ince", + "▁com pat", + "▁comp at", + "▁ compat", + "▁p ert", + "▁per t", + "▁pe rt", + "▁ pert", + "ib ilities", + "ibil ities", + "▁tamb ién", + "ib li", + "▁t een", + "▁te en", + "▁ teen", + "▁sym pt", + "de rs", + "der s", + "d ers", + "ot te", + "ott e", + "▁Ja ne", + "▁thro at", + "ma g", + "m ag", + "su p", + "s up", + "un i", + "u ni", + "$ $", + "▁ Library", + "▁att acks", + "in gen", + "ing en", + "inge n", + "(' /", + "▁h es", + "▁he s", + "▁ hes", + "co in", + "c oin", + "oun ce", + "MOD ULE", + "▁A dv", + "▁Ad v", + "▁ Adv", + ")^ {", + ") ^{", + "▁b ij", + "▁bi j", + "ev ents", + "event s", + "even ts", + "▁F ern", + "▁Fe rn", + "▁Fer n", + "▁b er", + "▁be r", + "▁ ber", + "▁sil ent", + "▁p ier", + "▁pie r", + "▁pi er", + "▁Y O", + "▁pl ain", + "▁ plain", + "B as", + "▁p ill", + "▁pi ll", + "▁pil l", + "ra se", + "ras e", + "r ase", + "▁car rying", + "▁r esp", + "▁ resp", + "Wrap per", + "W rapper", + "▁g au", + "▁ga u", + "▁h al", + "▁ha l", + "▁ hal", + "th row", + "Cl uster", + "▁Ga b", + "▁Gi rl", + "▁Gir l", + "qu ir", + "▁A rg", + "▁Ar g", + "▁ Arg", + "▁relie f", + "▁reli ef", + "d m", + "▁fr ustr", + "▁fru str", + "\\ %", + "▁stor es", + "▁sto res", + "▁bott le", + "▁bot tle", + "tw o", + "t wo", + "st ad", + "sta d", + "▁che ek", + "▁concer ns", + "▁help ful", + "▁co verage", + "▁cover age", + "is i", + "i si", + "AD D", + "A DD", + "as ync", + "asy nc", + "a sync", + "▁approxim ately", + "▁approximate ly", + "if fer", + "iff er", + "iffe r", + "ho ok", + "h ook", + "▁e num", + "▁en um", + "▁ enum", + "ov á", + "o vá", + "▁e vil", + "▁ev il", + "▁const antly", + "▁constant ly", + "ap ply", + "app ly", + "▁si è", + "▁te achers", + "▁teach ers", + "▁ Sn", + "▁Aw ards", + "▁subst ant", + "▁$ .", + "▁ $.", + "d k", + "▁mo b", + "▁ mob", + "▁ing red", + "ve re", + "ver e", + "v ere", + "Mult i", + "st al", + "sta l", + "s tal", + "yar d", + "requ ired", + "require d", + "▁intellig ence", + "▁th inks", + "▁think s", + "▁thin ks", + "▁person ally", + "▁personal ly", + "▁ trained", + "orne y", + ") \\", + "an al", + "ana l", + "a nal", + "Se ction", + "S ection", + "pl us", + "ü t", + "▁em bed", + "▁emb ed", + "▁ embed", + "▁st rings", + "▁str ings", + "▁string s", + "▁ strings", + "Be fore", + "B efore", + "pro c", + "pr oc", + "p roc", + "▁сп о", + "tr l", + "t rl", + "v r", + "Back ground", + "log ger", + "ag raph", + "agr aph", + "agra ph", + "a graph", + "bat ch", + "b atch", + "▁opt ional", + "▁option al", + "▁ optional", + "▁recogn ize", + "wal k", + "w alk", + "▁Hi t", + "▁ Hit", + "} :", + "▁care ful", + "кра ї", + "▁d isk", + "▁dis k", + "▁di sk", + "▁ disk", + "▁ ships", + "▁s uo", + "▁su o", + "▁s owie", + "▁so wie", + "▁sow ie", + "▁E ss", + "▁Es s", + "▁H ash", + "▁Ha sh", + "▁Has h", + "▁ Hash", + "▁reason able", + "▁More over", + "▁form ula", + "▁C entre", + "▁resid ents", + "R S", + "Id s", + "I ds", + "▁K now", + "▁Kn ow", + "▁r és", + "▁ré s", + "▁s table", + "▁st able", + "▁sta ble", + "▁stab le", + "▁ stable", + "▁W ould", + "▁Wo uld", + "▁ Would", + "▁break ing", + "▁bre aking", + "▁ breaking", + "▁me al", + "▁f el", + "▁fe l", + "▁ fel", + "▁Fr ed", + "Aut hor", + "Auth or", + "▁c apture", + "▁ capture", + "op ts", + "opt s", + "o pts", + "▁every where", + "▁s que", + "▁squ e", + "▁sq ue", + "▁m oder", + "▁mod er", + "▁mo der", + "▁mode r", + "set up", + "▁S upp", + "▁Su pp", + "▁Sup p", + "▁ Supp", + "▁when ever", + "▁whe never", + "{ (", + "wa rt", + "war t", + "w art", + "▁t oe", + "▁to e", + "Pre fix", + "Pref ix", + "P refix", + "ho u", + "h ou", + "ga ge", + "g age", + "> \"", + "▁fra g", + "▁ frag", + "▁The orem", + "mem ory", + "▁cont ents", + "▁content s", + "▁conten ts", + "▁ contents", + "do cs", + "doc s", + "} '", + "The n", + "Th en", + "T hen", + "aa ts", + "aat s", + "a ats", + "Sa ve", + "S ave", + "▁F unction", + "▁Fun ction", + "▁ Function", + "N N", + "dest roy", + "▁M essage", + "▁Mess age", + "▁ Message", + "▁c ancel", + "▁can cel", + "▁ cancel", + "▁super ior", + "▁P ART", + "▁PA RT", + "▁PAR T", + "▁ PART", + "I l", + "eng ine", + "▁b asket", + "▁bas ket", + "wor th", + "wort h", + "f etch", + "▁St adt", + "▁Stad t", + "▁Sta dt", + "▁con j", + "▁se iner", + "▁sein er", + "▁seine r", + "▁sei ner", + "▁confirm ed", + "▁Arg ent", + "am ar", + "ama r", + "a mar", + "pgf path", + "▁strugg le", + "Pat tern", + "i tan", + "▁m oon", + "▁mo on", + "or ough", + "oro ugh", + "o rough", + "▁stru ck", + "] ->", + "▁we apon", + "▁weap on", + "▁su bst", + "▁sub st", + "▁subs t", + "▁inst ructions", + "▁instruct ions", + "▁instruction s", + "▁oc cas", + "prote cted", + "▁L ess", + "▁Le ss", + "▁Les s", + "▁ Less", + "▁b atch", + "▁bat ch", + "▁ batch", + "▁con tra", + "▁cont ra", + "▁contr a", + "▁de ck", + "▁dec k", + "▁ deck", + "▁ign ored", + "▁ignore d", + "▁ignor ed", + "▁refuse d", + "tr igger", + "G A", + "ol ly", + "oll y", + "for ward", + "▁p refix", + "▁pre fix", + "▁pref ix", + "▁ prefix", + "▁im mediate", + "▁immedi ate", + "▁as signed", + "▁assign ed", + "▁ele cted", + "▁to night", + "▁ton ight", + "▁D ies", + "▁Die s", + "▁Di es", + "▁B each", + "▁pre ced", + "▁prec ed", + "ow ał", + "owa ł", + "▁gal ax", + "▁log ic", + "en za", + "enz a", + "▁Capt ain", + "▁f acts", + "▁fact s", + "▁fac ts", + "t é", + "▁s b", + "▁ sb", + "op ed", + "ope d", + "o ped", + "▁com bat", + "▁expl ore", + "▁explo re", + "▁( -", + "▁ (-", + "Load er", + "Lo ader", + "▁l ocked", + "▁loc ked", + "▁lock ed", + "▁ locked", + ": )", + "▁qu el", + "▁que l", + "▁q uel", + "▁ quel", + "T y", + "▁tem ps", + "▁temp s", + "▁g host", + "Mat erial", + "M aterial", + "ER CHANT", + "point er", + "po inter", + "ah a", + "a ha", + "▁sup plement", + "▁supp lement", + "▁d ismiss", + "▁cl osing", + "▁clos ing", + "▁clo sing", + "▁vul ner", + "▁ap rès", + "▁apr ès", + "▁over whel", + "▁dis ag", + "ac ia", + "aci a", + "a cia", + "ru ption", + "rupt ion", + "End point", + "Re al", + "▁T ag", + "▁Ta g", + "▁ Tag", + "▁st airs", + "▁sta irs", + "▁stair s", + "▁ stairs", + "▁e leg", + "▁el eg", + "▁ele g", + "▁vet er", + "factor y", + "fact ory", + "f actory", + "an ne", + "ann e", + "▁fr anc", + "▁fra nc", + "lu ng", + "l ung", + "▁\" '", + ".' ,", + ". ',", + "▁C ountry", + "▁Count ry", + "▁Coun try", + "▁ Country", + "^{ [", + "▁y ours", + "▁you rs", + "▁your s", + "▁yo urs", + "ail ability", + "Cl ear", + "C lear", + "ät t", + "ä tt", + "▁j oke", + "▁jo ke", + "▁ann oy", + "▁r ag", + "▁ra g", + "▁ rag", + "var i", + "va ri", + "v ari", + "ле кс", + "лек с", + "▁P sy", + "il ty", + "ilt y", + "mo unt", + "m ount", + "▁c ual", + "▁cu al", + "▁s olar", + "▁so lar", + "▁sol ar", + "}^ {(", + "}^{ (", + "} ^{(", + "Sh ort", + "▁tax es", + "App end", + "Ap pend", + "Appe nd", + "W in", + "est yle", + "esty le", + "e style", + "▁fac il", + "▁fa cil", + "▁sou ght", + "▁b are", + "▁bar e", + "▁ba re", + "▁ react", + "ja r", + "j ar", + "MA C", + "M AC", + "lo v", + "l ov", + "wa rn", + "war n", + "w arn", + "▁cru cial", + "▁m useum", + "May be", + "▁b ike", + "▁bi ke", + "▁Add ress", + "▁ Address", + "X ML", + "▁adm itted", + "▁admit ted", + "▁$ (\\", + "▁$( \\", + "▁sp ell", + "▁spe ll", + "▁spel l", + "▁ spell", + "▁v ic", + "▁vi c", + "gr e", + "g re", + "▁p roc", + "▁pro c", + "▁pr oc", + "▁ proc", + "▁N om", + "▁No m", + "▁Ra il", + "▁acc eler", + "▁con vin", + "▁conv in", + "▁Pro perty", + "▁ Property", + "▁D A", + "▁ DA", + "▁cl ip", + "▁ clip", + "▁pl ugin", + "▁plug in", + "▁ plugin", + "Lim it", + "Li mit", + "L imit", + "view s", + "br u", + "b ru", + "▁a k", + "▁ ak", + "▁e j", + "▁ ej", + "▁o pts", + "▁op ts", + "▁opt s", + "▁ opts", + "▁sl ip", + "▁gan g", + "▁ga ng", + "▁ gang", + "as ted", + "ast ed", + "aste d", + "a sted", + "ual s", + "ua ls", + "u als", + "▁d ying", + "▁dy ing", + "Col l", + "Co ll", + "C oll", + "am men", + "amm en", + "▁Pol icy", + "▁ Policy", + "ERCHANT ABILITY", + "▁Col lection", + "▁Coll ection", + "▁Collect ion", + "▁ Collection", + "▁v ec", + "▁ve c", + "▁ vec", + "st ud", + "▁la yers", + "▁lay ers", + "▁layer s", + "▁ layers", + "▁t ied", + "▁tie d", + "▁ti ed", + "}\\ \\", + "} \\\\", + "▁al ors", + "▁j ou", + "▁jo u", + "▁ch icken", + "▁chi cken", + "▁chick en", + "▁Every thing", + "▁ Low", + "▁C ook", + "▁Co ok", + "▁pe ak", + "▁PARTIC ULAR", + "▁d ear", + "▁de ar", + "i č", + "▁introdu ce", + "▁ca using", + "Bo und", + "B ound", + "hu nd", + "h und", + "mult i", + "mul ti", + "▁p are", + "▁par e", + "▁pa re", + "▁ pare", + "an nt", + "ann t", + "▁b reat", + "▁bre at", + "▁commit ment", + "▁F riend", + "▁ Friend", + "▁stat istics", + "▁statist ics", + "▁Man ager", + "▁ Manager", + "pl icate", + "plic ate", + "plica te", + "Cl oud", + "ac i", + "a ci", + "Sp an", + "S pan", + "▁C EO", + "▁CE O", + "▁W ait", + "▁Wa it", + "▁ Wait", + "▁O ber", + "▁Ob er", + "if ting", + "ift ing", + "im iento", + "imi ento", + "get Element", + "▁g le", + "▁gl e", + "▁ gle", + "▁w ieder", + "▁wie der", + "▁inst ruction", + "▁instr uction", + "▁instruct ion", + "gl y", + "g ly", + "▁bl ame", + "▁list ade", + "▁lista de", + "▁a apt", + "Fr agment", + "▁g ear", + "▁ge ar", + "mi ll", + "mil l", + "m ill", + "pro d", + "pr od", + "p rod", + "▁bur ning", + "▁burn ing", + "є ться", + "▁m é", + "▁ mé", + "è ne", + "▁com plicated", + "▁compl icated", + "▁complic ated", + "b h", + "▁t ested", + "▁te sted", + "▁test ed", + "▁st aring", + "▁star ing", + "▁sta ring", + "▁surv ive", + "▁surviv e", + "▁c ous", + "▁co us", + "▁cou s", + "▁r ib", + "▁ri b", + "▁ rib", + "am l", + "a ml", + "▁T rust", + "▁Tru st", + "▁c ad", + "▁ca d", + "▁T err", + "▁Te rr", + "▁Ter r", + "▁m apping", + "▁map ping", + "▁ma pping", + "▁ mapping", + "▁gran t", + "▁th orough", + "▁ Ü", + "▁fol ks", + "▁folk s", + "▁Cont ent", + "▁ Content", + "▁child hood", + "ck er", + "cke r", + "c ker", + "RE CT", + "REC T", + "R ECT", + "▁f inale", + "▁fin ale", + "▁final e", + "▁sh ower", + "▁show er", + "ér ic", + "éri c", + "é ric", + "▁s pat", + "▁sp at", + "od ge", + "▁p es", + "▁pe s", + "▁ pes", + "ed a", + "e da", + "D b", + "▁Ant onio", + "▁Anton io", + "▁engage d", + "val s", + "va ls", + "v als", + "▁elect ronic", + "▁electron ic", + "▁electro nic", + "le mma", + "lem ma", + "▁W y", + "mer ge", + "ap on", + "a pon", + "▁priv ile", + "▁nov embre", + "▁nove mbre", + "▁Sp orts", + "▁Sport s", + "wi ll", + "w ill", + "▁control s", + "▁contr ols", + "▁contro ls", + "▁ controls", + "▁c ategories", + "▁categ ories", + "▁categor ies", + "▁ categories", + "ip edia", + "▁A V", + "▁ AV", + "at ori", + "ator i", + "ato ri", + "▁_ __", + "▁__ _", + "▁ ___", + "▁ À", + "▁R yan", + "▁Ry an", + "▁Char lie", + "▁Charl ie", + "▁em otion", + "▁emot ion", + "▁co oking", + "▁cook ing", + "▁FIT NESS", + "ät er", + "ä ter", + "En able", + "D T", + "▁Ch ange", + "▁ Change", + "Asp Net", + "▁ord inary", + "▁ordin ary", + "▁S QL", + "▁ SQL", + "pl ane", + "plan e", + "p lane", + "▁av ait", + "up p", + "u pp", + "▁ill ness", + "UI NT", + "U INT", + "> {", + "▁zw ischen", + "▁hard ware", + "▁sound ed", + "equ iv", + "▁p iano", + "▁pi ano", + "▁pian o", + "us et", + "use t", + "u set", + "TR Y", + "▁b ab", + "▁ba b", + "▁rel iable", + "▁reli able", + "▁Bron nen", + "▁St ore", + "▁Sto re", + "▁ Store", + "A z", + "▁» ,", + "▁ »,", + "St atic", + "Stat ic", + "d w", + "gr een", + "gre en", + "g reen", + "▁' ';", + "▁'' ;", + "li j", + "l ij", + "ev a", + "e va", + "ні й", + "▁S yd", + "con vert", + "conv ert", + "▁decl are", + "▁declar e", + "br es", + "bre s", + "b res", + "IN K", + "▁acc ord", + "▁ac cord", + "▁m ars", + "▁mar s", + "▁ma rs", + "Sequ ence", + "zi p", + "z ip", + "▁Braz il", + "▁meet ings", + "▁meeting s", + "▁accur acy", + "▁M achine", + "▁Mach ine", + "▁ Machine", + "▁aut or", + "▁au tor", + "▁auto r", + "▁ autor", + "▁a insi", + "▁ain si", + "Sim ple", + "Res ources", + "Re sources", + "Resource s", + "th ey", + "the y", + "▁Ban g", + "▁e ing", + "▁ein g", + "▁ eing", + "ate ful", + "▁Some thing", + "▁Som ething", + "▁ Something", + "▁up set", + "Hist ory", + "Hi story", + "dim ensional", + "▁explan ation", + "▁c iv", + "▁ci v", + "▁c once", + "▁con ce", + "▁conc e", + "▁kö z", + "▁prom ised", + "▁promise d", + "we d", + "w ed", + "For e", + "F ore", + "Am ount", + "A mount", + "a bb", + "▁cl othing", + "▁cloth ing", + "▁clo thing", + "oe n", + "o en", + "▁Pr int", + "▁Pri nt", + "▁Prin t", + "▁ Print", + "▁s izes", + "▁size s", + "▁si zes", + "▁b anks", + "▁bank s", + "▁ban ks", + "ri bed", + "rib ed", + "ribe d", + "▁' ../", + "▁'. ./", + "FI X", + "F IX", + "▁z n", + "▁ zn", + "▁I NT", + "▁IN T", + "▁ INT", + "▁in stances", + "▁inst ances", + "▁instance s", + "Name space", + "Names pace", + "▁a sc", + "▁as c", + "▁ asc", + "▁w aves", + "▁wa ves", + "▁wave s", + "▁p om", + "▁po m", + "D uration", + "day s", + "da ys", + "d ays", + "$ (", + "▁grab bed", + "▁sur gery", + "▁surge ry", + "▁surg ery", + "▁re store", + "▁rest ore", + "▁ restore", + "Norm al", + "N ormal", + "▁L eb", + "▁Le b", + "▁anal yt", + "▁analy t", + "Lite ral", + "L iteral", + "H A", + "▁sh ares", + "▁share s", + "▁shar es", + "▁sha res", + "il let", + "ill et", + "ille t", + "▁D og", + "▁Do g", + "or no", + "orn o", + "▁man ip", + "ja v", + "j av", + "▁ess entially", + "▁essential ly", + "▁cas ual", + "op l", + "o pl", + "▁S U", + "▁ SU", + "▁engineer ing", + "▁Prim e", + "▁S W", + "▁ SW", + "▁K re", + "▁Kr e", + "▁opp on", + "pro gram", + "pr ogram", + "em per", + "emp er", + "is Empty", + "▁U nit", + "▁Un it", + "▁ Unit", + "IN TER", + "INT ER", + "INTE R", + "et he", + "eth e", + "e the", + "z d", + "CU R", + "C UR", + "▁v m", + "▁ vm", + "con v", + "co nv", + "ro pol", + "r opol", + "▁S elect", + "▁Se lect", + "▁Sel ect", + "▁ Select", + "ow y", + "o wy", + "ce ptions", + "ception s", + "cept ions", + "class es", + "▁w orden", + "▁wor den", + "▁word en", + "▁d ual", + "▁du al", + "OR K", + "▁in ches", + "▁inc hes", + "▁inch es", + "▁F A", + "▁ FA", + "▁Stat ion", + "▁ Station", + "▁person ality", + "▁personal ity", + "▁s car", + "▁sc ar", + "▁ scar", + "▁reg ime", + "▁not en", + "▁no ten", + "▁note n", + "iz a", + "i za", + "Aud io", + "A udio", + "▁dis put", + "▁disp ut", + "▁ave r", + "▁o bst", + "▁ob st", + "▁obs t", + "▁Reg ion", + "▁ Region", + "ut f", + "u tf", + "▁C ass", + "▁Cas s", + "▁Ca ss", + "hs pace", + "h space", + "▁sh ipping", + "▁ship ping", + "ik o", + "i ko", + "ic ked", + "ick ed", + "num er", + "nu mer", + "n umer", + "ri el", + "rie l", + "r iel", + "dis abled", + "disable d", + "op ol", + "o pol", + "lo oking", + "look ing", + "▁classic al", + "▁constru cted", + "▁refer enties", + "] +", + "▁min imal", + "▁minim al", + "▁mini mal", + "▁s ock", + "▁so ck", + "▁soc k", + "▁ sock", + "fa ther", + "is ión", + "isi ón", + "▁equ ally", + "▁equal ly", + "▁eq ually", + "▁red uction", + "▁redu ction", + "An t", + "A nt", + "ais on", + "ai son", + "a ison", + "▁ar gue", + "▁arg ue", + "cir cle", + "circ le", + "▁t oler", + "▁to ler", + "}\" ,", + "} \",", + "usa l", + "u sal", + "▁al gebra", + "▁gather ed", + "▁Re member", + "▁Rem ember", + "_) ;", + "_ );", + "UT E", + "U TE", + "▁K it", + "▁Ki t", + "▁ Kit", + "S y", + "HE AD", + "▁re cipe", + "▁rec ipe", + "▁recip e", + "▁sc enario", + "▁scen ario", + "VA R", + "V AR", + "▁y ard", + "▁ya rd", + "▁ yard", + "▁st ad", + "▁sta d", + "▁ stad", + "* (", + "▁valid ate", + "▁ validate", + "DE X", + "D EX", + "▁commit tee", + "▁t emporary", + "▁tempor ary", + "▁consequ ences", + "▁consequence s", + "▁égal ement", + "кти в", + "к тив", + "▁dis pl", + "▁di spl", + "▁disp l", + "▁app s", + "▁ap ps", + "▁ apps", + "▁Te il", + "▁» .", + "▁ ».", + "▁adopt ed", + "ten sor", + "t ensor", + "▁fe min", + "▁fem in", + "te ch", + "t ech", + "▁R ot", + "▁Ro t", + "▁ Rot", + "▁kn ees", + "▁kne es", + "▁knee s", + "ph ys", + "phy s", + "ow ej", + "owe j", + "ан д", + "а нд", + "he ll", + "hel l", + "h ell", + "ograf ia", + "▁ex posed", + "▁exp osed", + "▁expos ed", + "▁expose d", + "kt op", + "k top", + "ob y", + "o by", + "lo wer", + "low er", + "l ower", + "▁Se nate", + "▁s word", + "▁sw ord", + "▁swo rd", + "Fl ow", + "F low", + "▁Un fortunately", + "▁box es", + "▁ boxes", + "▁cu ando", + "▁pi lot", + "▁Al bum", + "▁Alb um", + "B al", + "So rt", + "S ort", + "FI ELD", + "▁de sert", + "▁des ert", + "CO MM", + "COM M", + "ad ows", + "ado ws", + "adow s", + "▁l oyal", + "▁lo yal", + "▁as set", + "▁ass et", + "▁ asset", + "▁m ud", + "▁mu d", + "▁ secondary", + "▁c ul", + "▁cu l", + "▁ cul", + "▁stay ing", + "▁sta ying", + "▁data set", + "▁dat aset", + "▁ dataset", + "▁U SE", + "▁US E", + "▁ USE", + "▁l oves", + "▁lo ves", + "▁love s", + "▁lov es", + "▁vel ocity", + "▁veloc ity", + "á v", + "SO C", + "S OC", + "▁compet itive", + "is ka", + "isk a", + "i ska", + "▁kn ock", + "st airs", + "sta irs", + "az y", + "a zy", + "▁v end", + "▁ve nd", + "▁ven d", + "▁ arts", + "▁B ras", + "▁Br as", + "▁Bra s", + "ue la", + "uel a", + "u ela", + "tr im", + "tri m", + "t rim", + "▁d irty", + "▁dir ty", + "▁dirt y", + "▁ dirty", + "▁webs ites", + "▁website s", + "▁In dep", + "▁Ind ep", + "s r", + "▁t icket", + "▁tick et", + "at ile", + "ati le", + "a tile", + "▁implement ed", + "▁bo wl", + "▁bow l", + "DA TE", + "DAT E", + "D ATE", + "▁al ter", + "▁alt er", + "▁ alter", + "▁S pace", + "▁ Space", + "▁accomp an", + "or don", + "ord on", + "▁do ctors", + "▁doctor s", + "ist as", + "ista s", + "C ast", + "CT L", + "C TL", + "ur ers", + "ure rs", + "urer s", + "▁ingred ients", + "▁calcul ated", + "▁calculate d", + "▁calc ulated", + "▁le ather", + "▁s ensitive", + "▁sens itive", + "▁sus pic", + "▁susp ic", + "st an", + "sta n", + "s tan", + "▁an ni", + "▁ann i", + "▁ anni", + "aw ait", + "awa it", + "a wait", + "▁Fr anç", + "▁Fran ç", + "▁ab ort", + "▁ abort", + "▁Sp irit", + "▁W alter", + "▁Walt er", + "un kt", + "unk t", + "▁vert ical", + "▁ vertical", + "OR S", + "O RS", + "be st", + "bes t", + "b est", + "▁Cl ient", + "▁ Client", + "it ated", + "ita ted", + "itate d", + "itat ed", + "▁ Č", + "▁v ille", + "▁vi lle", + "▁vill e", + "▁vil le", + "▁ ville", + "▁di plom", + "or ne", + "orn e", + "▁b ars", + "▁bar s", + "▁ba rs", + "▁ bars", + "U ri", + "AP TER", + "pon s", + "po ns", + "p ons", + "ut z", + "u tz", + "Pro to", + "Pr oto", + "▁st ir", + "▁pr imer", + "▁prim er", + "▁pri mer", + "▁prime r", + "ig ible", + "igi ble", + "ex tra", + "ext ra", + "extr a", + "▁Bo oks", + "▁Book s", + "▁E t", + "▁W elt", + "▁We lt", + "▁Wel t", + "▁Ko rea", + "▁Kor ea", + "р ито", + "▁v ibr", + "▁vi br", + "S elf", + "line ar", + "lin ear", + "▁L ang", + "▁La ng", + "▁Lan g", + "▁ Lang", + "▁de eper", + "▁deep er", + "▁term in", + "▁ter min", + "▁ termin", + "en schaft", + "ens chaft", + "ensch aft", + "▁ро ці", + "am med", + "amm ed", + "vis ible", + "v isible", + "▁IO Exception", + "▁ IOException", + "us qu", + "▁S top", + "▁St op", + "▁Sto p", + "▁ Stop", + "IN VALID", + "INVAL ID", + "▁c ub", + "▁cu b", + "▁j ew", + "▁je w", + "з і", + "ch unk", + "apt ure", + "ash board", + "▁divid ed", + "▁divide d", + "▁extens ive", + "▁s uffer", + "▁suff er", + "▁he ading", + "▁head ing", + "▁ heading", + "cre ated", + "create d", + "creat ed", + "c reated", + "▁quiet ly", + "▁n y", + "▁ ny", + "\" +", + "ik an", + "ika n", + "i kan", + "z u", + "}+ \\", + "} +\\", + "Oper ator", + "▁Le mma", + "▁Lem ma", + "ac ji", + "Serv let", + "▁K evin", + "▁Ke vin", + "st age", + "sta ge", + "b n", + "text width", + "fa iled", + "fail ed", + "f ailed", + "▁Sta ff", + "▁e nem", + "un de", + "und e", + "u nde", + "Pack et", + "P acket", + "▁A ls", + "▁Al s", + "ka r", + "k ar", + "][ '", + "] ['", + "ke d", + "k ed", + "Per s", + "Pe rs", + "P ers", + ">: :", + "> ::", + "▁a rc", + "▁ar c", + "▁ arc", + "SP E", + "S PE", + "▁M i", + "▁De ath", + "b rowser", + "▁D ave", + "▁Dav e", + "▁Da ve", + "▁s ucc", + "▁su cc", + "▁suc c", + "t oggle", + "▁t ack", + "▁ta ck", + "Com ment", + "Comm ent", + "er on", + "ero n", + "e ron", + "▁aware ness", + "▁h ug", + "▁cont emporary", + "▁contempor ary", + "ul ating", + "ula ting", + "▁T itle", + "▁Tit le", + "▁Ti tle", + "▁ Title", + "▁TH IS", + "hav ior", + "ran k", + "r ank", + "▁do zen", + "▁che ese", + "co ln", + "col n", + "▁rad ius", + "▁radi us", + "▁ radius", + "▁dim ensions", + "▁dimension s", + "rodu ction", + "rod uction", + "▁ad ds", + "▁add s", + "▁D avis", + "▁Da vis", + "pk g", + "p kg", + "{ $", + "▁cas ino", + "▁P ierre", + "▁Pier re", + "▁Pi erre", + "▁object ive", + "tr ain", + "tra in", + "pay load", + "▁r ug", + "▁ru g", + "▁ rug", + "▁se vere", + "me an", + "▁t oss", + "▁to ss", + "▁embar rass", + "▁V ery", + "▁Ver y", + "▁Ve ry", + "▁ Very", + "▁Com put", + "▁Comp ut", + "▁ Comput", + "▁forgot ten", + "▁k ernel", + "▁ker nel", + "▁ kernel", + "▁car bon", + "▁carb on", + "f w", + "▁Emp ire", + "▁qu ote", + "▁quot e", + "▁ quote", + "et z", + "e tz", + "▁m ini", + "▁min i", + "▁mi ni", + "▁p ipe", + "▁pi pe", + "▁pip e", + "▁ pipe", + "▁n ous", + "▁no us", + "▁nou s", + "▁M ove", + "▁Mo ve", + "▁Mov e", + "▁ Move", + "▁nerv ous", + "* \r", + "▁B ush", + "▁Bus h", + "▁Bu sh", + "▁pe er", + "▁ peer", + "▁Wr it", + "▁ Writ", + "▁satisf ied", + "▁pull ing", + "▁pul ling", + "▁P ur", + "▁Pu r", + "▁F L", + "▁ FL", + "am az", + "ama z", + "a maz", + "▁ mile", + "▁N eed", + "▁Ne ed", + "▁ Need", + "▁sup plies", + "▁a ño", + "▁p ace", + "▁pa ce", + "▁pac e", + "▁ pace", + "▁Vict oria", + "▁ou ght", + "▁ ought", + "▁P layer", + "▁Pl ayer", + "▁Play er", + "▁ Player", + "agnost ic", + "▁v iv", + "▁vi v", + "▁ viv", + "▁Pat rick", + "▁Patri ck", + "▁ Š", + "▁St ory", + "▁Sto ry", + "ac a", + "a ca", + "▁mount ains", + "▁mountain s", + "CL ASS", + "▁fr agment", + "▁frag ment", + "▁ fragment", + "▁sett lement", + "▁Further more", + "▁dr ivers", + "▁dri vers", + "▁driv ers", + "▁drive rs", + "▁driver s", + "Row s", + "Ro ws", + "R ows", + "▁im pression", + "▁imp ression", + "▁impress ion", + "▁in fer", + "▁inf er", + "▁Ex pl", + "▁Exp l", + "ol ute", + "olut e", + "olu te", + "ov an", + "ova n", + "o van", + "ar ance", + "aran ce", + "CA P", + "C AP", + "▁en force", + "▁Bu rn", + "Res et", + "Re set", + "mo ther", + "mot her", + "m other", + "▁ Battle", + "pad ding", + "p adding", + "▁c ried", + "▁cr ied", + "▁cri ed", + "A K", + "un s", + "u ns", + "▁siè cle", + "▁Cont in", + "▁ Contin", + "ban k", + "b ank", + "ju nit", + "j unit", + "object s", + "Ro t", + "R ot", + "is sa", + "iss a", + "▁be gun", + "▁beg un", + "* -", + "▁vis iting", + "▁visit ing", + "▁target s", + "▁tar gets", + "▁L atin", + "▁E sc", + "▁Es c", + "* ;", + "ån g", + "å ng", + "▁( {", + "▁ ({", + "▁di agram", + "▁dia gram", + "Mod els", + "Model s", + "Mode ls", + "▁part nership", + "▁partners hip", + "▁fr ån", + "Po d", + "P od", + "CA LL", + "CAL L", + "C ALL", + "mod al", + "mo dal", + "si g", + "s ig", + "it el", + "ite l", + "▁convin ced", + "▁convince d", + "▁c ot", + "▁co t", + "▁re peat", + "▁repe at", + "▁ repeat", + "▁l ists", + "▁li sts", + "▁list s", + "▁ lists", + "so und", + "s ound", + "▁gr ace", + "▁gra ce", + "▁o raz", + "▁or az", + "Not ification", + "pr ite", + "prit e", + "p rite", + "▁arriv al", + "an cell", + "ance ll", + "anc ell", + "ancel l", + "hent ic", + "de code", + "dec ode", + "▁fant astic", + "pro gress", + "pro xy", + "pr oxy", + "z ő", + "ke l", + "k el", + "▁conven ient", + "aqu e", + "a que", + "ri et", + "rie t", + "r iet", + "▁Dig ital", + "io rs", + "ior s", + "i ors", + "▁Bud d", + "and ra", + "ad dy", + "add y", + "▁o vers", + "▁over s", + "▁ov ers", + "▁consum ers", + "▁consumer s", + "▁consume rs", + "p n", + "mo use", + "m ouse", + "d eg", + "pe rm", + "per m", + "p erm", + "it és", + "ité s", + "h east", + "ho ur", + "hou r", + "h our", + "PAR AM", + "con scious", + "▁atmos phere", + "▁g ig", + "▁gi g", + "▁con tre", + "▁cont re", + "▁contr e", + "▁Fr ont", + "▁Fro nt", + "▁ Front", + "▁Ha rt", + "▁n urs", + "▁nu rs", + "▁nur s", + "ur as", + "ura s", + "u ras", + "▁T ru", + "▁Tr u", + "▁s ud", + "▁su d", + "▁per forming", + "▁conf used", + "▁che cks", + "▁check s", + "am t", + "a mt", + "Ma ke", + "M ake", + "▁R O", + "▁ RO", + "▁d f", + "▁ df", + "iz ations", + "ization s", + "▁deg li", + "Render er", + "▁p tr", + "▁pt r", + "▁ ptr", + "▁die ser", + "▁dies er", + "▁diese r", + "sub mit", + "▁top ics", + "▁topic s", + "▁princip les", + "▁prin ciples", + "▁principle s", + "var s", + "va rs", + "v ars", + "so ck", + "soc k", + "s ock", + "▁ton gue", + "▁tong ue", + "▁percent age", + "▁d ol", + "▁do l", + "▁r ice", + "▁ri ce", + "▁ric e", + "▁ rice", + "í o", + "▁Easter n", + "▁E rn", + "▁Er n", + "▁U t", + "▁ Ut", + "▁c aut", + "▁ca ut", + "▁Cl oud", + "▁ Cloud", + "▁con version", + "▁conv ersion", + "▁convers ion", + "▁M E", + "▁ ME", + "▁sur ely", + "▁sure ly", + "▁g ard", + "▁gar d", + "▁ga rd", + "pu is", + "p uis", + "▁u rg", + "▁ur g", + "▁ urg", + "im i", + "i mi", + "▁abs ence", + "L anguage", + "▁HT TP", + "▁ HTTP", + "w t", + "▁trans lation", + "▁transl ation", + "▁ translation", + "▁K ind", + "▁Ki nd", + "▁Kin d", + "▁ Kind", + "Tw o", + "T wo", + "▁Re volution", + "In sert", + "Ins ert", + "Ev ery", + "E very", + "or ient", + "ori ent", + "orie nt", + "o rient", + "▁emot ions", + "▁emotion s", + "det ails", + "detail s", + "▁f lu", + "▁ flu", + "▁opera te", + "A g", + "un ning", + "unn ing", + "▁part ie", + "▁parti e", + "tr i", + "t ri", + "▁gold en", + "▁gol den", + "is ten", + "ist en", + "iste n", + "i sten", + "▁Car los", + "▁Carl os", + "▁Carlo s", + "Child ren", + "▁neigh b", + "▁C art", + "▁Car t", + "▁Ca rt", + "▁ Cart", + "Be gin", + "B egin", + "▁s cheduled", + "▁schedule d", + "▁schedul ed", + "' >", + "▁observ ations", + "▁observation s", + "ath ers", + "ather s", + "a thers", + "▁expect ations", + "▁expectation s", + "os o", + "o so", + "z h", + "mu table", + "mut able", + "▁wr ites", + "▁writ es", + "▁write s", + "▁p ushing", + "▁push ing", + "▁br east", + "▁bre ast", + "ap ing", + "api ng", + "a ping", + "▁Sim ple", + "▁ Simple", + "▁s ocket", + "▁soc ket", + "▁sock et", + "▁ socket", + "▁sl ave", + "▁sla ve", + "▁ slave", + "il ey", + "ile y", + "i ley", + "▁ass istant", + "▁t rim", + "▁tr im", + "▁tri m", + "▁ trim", + "▁land scape", + "▁landsc ape", + "qu ant", + "▁swe at", + "en gers", + "eng ers", + "enge rs", + "enger s", + "? _", + "é p", + "> .", + "▁c urious", + "▁cur ious", + "▁Com ponent", + "▁ Component", + "▁re placement", + "▁repl acement", + "▁replace ment", + "▁Tr ack", + "▁Tra ck", + "▁ Track", + "▁Re move", + "▁Rem ove", + "▁ Remove", + "▁S ize", + "▁Si ze", + "▁ Size", + "▁cal culate", + "▁calcul ate", + "▁calc ulate", + "▁s essions", + "▁session s", + "▁type d", + "▁typ ed", + "▁ty ped", + "▁sub mit", + "▁subm it", + "▁ submit", + "▁part ition", + "▁ partition", + "edi ng", + "e ding", + "-- ---", + "---- -", + "--- --", + "- ----", + "az ioni", + "azi oni", + "lie ß", + "on al", + "ona l", + "o nal", + "▁sh ru", + "▁shr u", + "▁RE G", + "▁ REG", + "▁F ac", + "▁Fa c", + "▁ Fac", + "config uration", + "▁A mong", + "__ );", + "__) ;", + "_ _);", + "▁ Server", + "▁L OG", + "▁LO G", + "▁ LOG", + "▁ca nd", + "'] );", + "']) ;", + "' ]);", + "go v", + "g ov", + "un defined", + "und efined", + "undef ined", + "as a", + "a sa", + "▁part icles", + "▁partic les", + "▁particle s", + "▁parti cles", + "` `", + "el and", + "ela nd", + "e land", + "fo ld", + "fol d", + "f old", + "og o", + "o go", + "▁appro aches", + "▁approach es", + "on da", + "ond a", + "ag r", + "a gr", + ", $", + "▁{ {", + "▁ {{", + "▁Mo dern", + "▁Mode rn", + "▁W inter", + "▁Win ter", + "av ailable", + "▁L ud", + "▁Lu d", + "▁c asa", + "▁cas a", + "▁ca sa", + "▁C ould", + "▁Co uld", + "▁Cou ld", + "▁ Could", + "▁fif teen", + "▁pot entially", + "▁potential ly", + "^ ^", + "▁se it", + "▁sei t", + "An imation", + "Anim ation", + "к ого", + "Z one", + "el if", + "eli f", + "e lif", + "▁acknow led", + "▁own ership", + "▁owner ship", + "▁owners hip", + "▁describe s", + "▁re verse", + "▁revers e", + "▁rever se", + "▁ reverse", + "▁opp osed", + "fl ex", + "f lex", + "kr e", + "k re", + "▁mer ge", + "▁ merge", + "▁cover ing", + "▁cov ering", + "▁hon estly", + "▁honest ly", + "▁M ess", + "▁Me ss", + "▁Mes s", + "▁r arely", + "▁rare ly", + "▁incred ible", + "▁victim s", + "w l", + "iz za", + "izz a", + "i zza", + "d n", + "on de", + "ond e", + "o nde", + "▁pr zy", + "▁prz y", + "▁ HTML", + "▁pay load", + "▁ payload", + "Bu s", + "B us", + "us b", + "u sb", + "F n", + "▁display ed", + "▁o cean", + "▁Av enue", + "ac ion", + "aci on", + "acio n", + "met ric", + "m etric", + "▁attract ive", + "▁attr active", + "▁f ö", + "▁ fö", + "C reat", + "ver ter", + "vert er", + "▁Al ice", + "▁Ali ce", + "▁f raction", + "▁fr action", + "▁fra ction", + "▁fract ion", + "▁behav iour", + "▁behavi our", + "▁re venue", + "▁rev enue", + "▁reven ue", + "▁t res", + "▁tr es", + "▁tre s", + "▁ tres", + "IL D", + "I LD", + "▁É t", + "▁s ync", + "▁sy nc", + "▁syn c", + "▁ sync", + "wi ch", + "ъ т", + "om o", + "o mo", + "▁I de", + "▁Id e", + "▁ga ined", + "▁moment um", + "▁K o", + "ie u", + "i eu", + "ie lt", + "iel t", + "i elt", + "▁bon us", + "▁te xture", + "▁text ure", + "▁ texture", + "Mod al", + "Mo dal", + "NE XT", + "N EXT", + "▁годи не", + "▁l anguages", + "v t", + "▁represent ing", + "▁Dre am", + "cur r", + "cu rr", + "qu al", + "q ual", + "▁j s", + "▁ js", + "bu rn", + "bur n", + "b urn", + "▁contribut ions", + "▁contribution s", + "▁r ic", + "▁ri c", + "▁ ric", + "}- \\", + "} -\\", + "={ {", + "= {{", + "ca rt", + "car t", + "c art", + "F B", + "ju d", + "j ud", + "es p", + "e sp", + "▁elect ron", + "▁electro n", + "▁e ll", + "▁el l", + "▁ ell", + "▁Run time", + "▁ Runtime", + "a chel", + "\\ _", + "we ek", + "pack et", + "p acket", + "▁Jahr hund", + "▁th reshold", + "▁ threshold", + "ba ge", + "bag e", + "b age", + "▁con cer", + "▁conc er", + "▁conce r", + "▁b one", + "▁bo ne", + "▁bon e", + "▁ bone", + "Cur sor", + "C ursor", + "▁aw arded", + "▁sum mary", + "▁summar y", + "▁ summary", + "ag gio", + "agg io", + "aggi o", + "▁st ell", + "▁ste ll", + "▁ stell", + "▁f lesh", + "▁fl esh", + "▁fle sh", + "P air", + "▁' .", + "▁ '.", + "as er", + "ase r", + "a ser", + "▁qu art", + "▁q uart", + "▁quar t", + "ry ption", + "rypt ion", + "All oc", + "Al loc", + "ft en", + "fte n", + "f ten", + "Oper and", + "▁ind icated", + "▁indic ated", + "▁indicate d", + "($ _", + "( $_", + "get String", + "▁list ener", + "▁listen er", + "▁ listener", + "sp ir", + "spi r", + ") _", + "ve ns", + "ven s", + "v ens", + "▁food s", + "▁foo ds", + "an za", + "anz a", + "te il", + "DE SC", + "▁n otion", + "▁not ion", + "▁em ployment", + "▁employ ment", + "▁s wing", + "▁sw ing", + "▁ swing", + "nb sp", + "▁p ounds", + "▁pound s", + "to ols", + "tool s", + "too ls", + "t ools", + "▁T ax", + "▁Ta x", + "▁ Tax", + "ap ol", + "a pol", + "▁f ost", + "▁fo st", + "▁fos t", + "com pat", + "comp at", + "▁rapid ly", + "▁W is", + "▁Wi s", + "Event Listener", + "▁prem ière", + "▁premi ère", + "us o", + "u so", + "ext end", + "▁M ERCHANTABILITY", + "UT F", + "U TF", + "▁exper iments", + "▁experi ments", + "▁experiment s", + "sin gle", + "sing le", + "s ingle", + "z k", + "▁n aj", + "▁na j", + "}} }", + "} }}", + "Li n", + "L in", + "▁inter act", + "▁inte ract", + "▁c ms", + "▁cm s", + "▁Ro ger", + "▁Rog er", + "> '", + "com mit", + "comm it", + "▁out come", + "▁h its", + "▁hit s", + "▁hi ts", + "▁s park", + "▁sp ark", + "con sole", + "cons ole", + "▁ver w", + "▁ve rw", + "agnost ics", + "agnostic s", + "▁s oci", + "▁so ci", + "▁soc i", + "▁d ining", + "▁di ning", + "▁din ing", + "▁t ech", + "▁te ch", + "▁ tech", + "š t", + "fo lio", + "fol io", + "ult ane", + "ultan e", + "Jo in", + "J oin", + "▁pos it", + "Pub lic", + "P ublic", + "AspNet Core", + "▁S hop", + "▁Sh op", + "▁ Shop", + "▁co inc", + "▁coin c", + "▁re ferences", + "▁refer ences", + "▁reference s", + "ab out", + "name space", + "names pace", + "D L", + "▁I R", + "▁ IR", + "▁c ada", + "▁ca da", + "▁cad a", + "▁Jord an", + "▁g ep", + "▁ge p", + "▁b ron", + "▁br on", + "▁bro n", + "andid ate", + "EX PECT", + "EXP ECT", + "am o", + "a mo", + "▁De utsch", + "au c", + "a uc", + "▁ра йо", + "▁рай о", + "▁surround ed", + "▁n ome", + "▁no me", + "▁nom e", + "▁under lying", + "R IGHT", + "CO UNT", + "Ty p", + "T yp", + "um ph", + "ump h", + "fo ur", + "f our", + "Control s", + "▁c p", + "▁ cp", + "co st", + "cos t", + "c ost", + "▁mechan ism", + "en ess", + "ene ss", + "enes s", + "e ness", + "é qu", + "▁acquire d", + "▁f alls", + "▁fall s", + "▁fal ls", + "▁ falls", + "▁L E", + "▁ LE", + "for Each", + "▁ver tex", + "▁vert ex", + "▁ vertex", + "▁I F", + "▁ IF", + "cur s", + "cu rs", + "c urs", + "' =>", + "▁S A", + "▁ SA", + "ri ers", + "rie rs", + "rier s", + "r iers", + "▁u w", + "▁ uw", + "▁m arks", + "▁mark s", + "▁mar ks", + "▁ marks", + "▁en erg", + "▁ener g", + "ho f", + "h of", + "ylv ania", + "▁Al len", + "▁All en", + "um py", + "ump y", + "о го", + "vo ice", + "v oice", + "▁en gage", + "▁eng age", + "▁m ant", + "▁man t", + "▁ma nt", + "or se", + "ors e", + "== =", + "= ==", + "▁impro vement", + "▁improve ment", + "Op t", + "O pt", + "it ched", + "itch ed", + "soc ket", + "sock et", + "s ocket", + "▁c ycl", + "▁cy cl", + "▁ cycl", + "▁S M", + "▁ SM", + "▁S ex", + "▁Se x", + "▁neut ral", + "▁neutr al", + "▁J ess", + "▁Je ss", + "▁Jes s", + "▁d ip", + "▁di p", + "▁b orrow", + "▁bor row", + "▁av ant", + "▁t a", + "▁ ta", + "An im", + "A nim", + "▁Ga ll", + "rg b", + "r gb", + "▁gu ilty", + "▁guilt y", + "▁g y", + "▁ gy", + "Init ial", + "▁acc omp", + "▁ac comp", + "▁accom p", + "▁breath ing", + "▁breat hing", + "ber ry", + "b erry", + "GR O", + "G RO", + "rou pe", + "roup e", + "ulp t", + "t b", + "▁ ä", + "P i", + "arg v", + "▁M ust", + "▁Mus t", + "▁Mu st", + "▁ Must", + ": '", + "sv g", + "ou p", + "o up", + "▁prec isely", + "▁precise ly", + "▁T a", + "re na", + "ren a", + "r ena", + "▁f older", + "▁fol der", + "▁fold er", + "▁ folder", + "▁ Channel", + "▁re vol", + "▁rev ol", + "M iss", + "red dit", + "▁dis crim", + "▁disc rim", + "▁a ve", + "▁av e", + "▁ ave", + "pl eted", + "ple ted", + "plete d", + "plet ed", + "p leted", + "▁g ently", + "▁gent ly", + "FF FF", + "ro py", + "rop y", + "r opy", + "▁dia l", + "Not Found", + "▁\" [", + "Hom e", + "H ome", + "on te", + "ont e", + "o nte", + "▁re lie", + "▁rel ie", + "▁reli e", + "▁Con text", + "▁Cont ext", + "▁ Context", + "▁st ats", + "▁stat s", + "▁sta ts", + "▁ stats", + "▁E nergy", + "oun ced", + "ounce d", + "▁gr ave", + "▁grav e", + "▁gra ve", + "▁re cip", + "▁rec ip", + "bl og", + "blo g", + "b log", + "▁na am", + "▁w o", + "▁ wo", + "▁direct ions", + "▁dire ctions", + "▁direction s", + "▁Lin coln", + "un ci", + "unc i", + "ne q", + "n eq", + "Tag s", + "T ags", + "▁t um", + "▁tu m", + "▁s aving", + "▁sa ving", + "▁sav ing", + "ail le", + "ai lle", + "a ille", + "item ize", + "▁F amil", + "▁Fa mil", + "ms m", + "m sm", + "ne ws", + "new s", + "FF ER", + "F FER", + "▁D ead", + "▁De ad", + "▁ Dead", + "▁terr itory", + "▁territor y", + "▁territo ry", + "▁Ka t", + "o cker", + "in teger", + "inte ger", + "▁s ne", + "▁sn e", + "▁f ails", + "▁fa ils", + "▁fail s", + "▁franç ais", + "▁int roduction", + "▁introdu ction", + "▁G rant", + "▁Gr ant", + "▁Gran t", + "▁Gra nt", + "ycl e", + "yc le", + "y cle", + "'] .", + "' ].", + "▁v ier", + "▁vi er", + "▁vie r", + "▁ vier", + "nat ive", + "n ative", + "▁K le", + "▁Kl e", + "quot e", + "User s", + "Us ers", + "Use rs", + "▁ad vis", + "▁adv is", + "▁g ym", + "▁gy m", + "▁prote in", + "ا ل", + "▁M ai", + "▁Ma i", + "▁prov iders", + "▁provide rs", + "▁provider s", + "▁so il", + "gu i", + "g ui", + "▁N ation", + "▁Nat ion", + "re ation", + "reat ion", + "▁T ab", + "▁Ta b", + "▁ Tab", + "en sis", + "ens is", + "in as", + "ina s", + "i nas", + "▁dis patch", + "▁disp atch", + "▁ dispatch", + "un ion", + "uni on", + "▁b ere", + "▁be re", + "▁ber e", + "▁ bere", + "▁P ow", + "▁Po w", + "▁H ig", + "▁Hi g", + "▁stud ying", + "▁study ing", + "RE F", + "R EF", + "SS L", + "S SL", + "▁f right", + "▁fr ight", + "▁S ORT", + "▁SO RT", + "▁com pr", + "▁comp r", + "▁Mad rid", + "row ned", + "rown ed", + "r owned", + "op es", + "ope s", + "o pes", + "pd ev", + "p dev", + "▁w ash", + "▁was h", + "▁wa sh", + "▁' ../../", + "▁'../ ../", + "}} _", + "} }_", + "▁acc um", + "rol ling", + "roll ing", + "▁N C", + "▁ NC", + "▁f iction", + "▁fi ction", + "▁fict ion", + "ip t", + "i pt", + "conne cted", + "connect ed", + "lim its", + "limit s", + "▁l ap", + "▁la p", + "▁ lap", + "▁where as", + "pro m", + "pr om", + "p rom", + "▁appoint ment", + "Pro gram", + "Pr ogram", + "na h", + "n ah", + "Valid ation", + "ic ons", + "ico ns", + "icon s", + "i cons", + "äl l", + "ä ll", + "▁rad ical", + "▁radi cal", + "▁ex clusive", + "▁excl usive", + "▁exclus ive", + "em ony", + "emon y", + "▁challeng ing", + "▁m s", + "▁ ms", + "▁P rivate", + "▁Priv ate", + "▁ Private", + "▁v ida", + "▁vi da", + "▁vid a", + "▁cam pus", + "form s", + "for ms", + "pl aat", + "bs t", + "b st", + "AT ED", + "ATE D", + "▁Ab stract", + "▁Abs tract", + "▁ Abstract", + "▁int ense", + "▁intens e", + "ó g", + "▁s ă", + "▁lan ding", + "! =", + "▁scen es", + "▁Cha p", + "▁sp oken", + "▁spoke n", + "▁spo ken", + "cre d", + "cr ed", + "c red", + "▁p ride", + "▁pr ide", + "▁pri de", + "qu et", + "que t", + "▁m eter", + "▁me ter", + "▁met er", + "▁de utsch", + "uu m", + "u um", + "▁b less", + "▁bl ess", + "▁ble ss", + "▁H ann", + "▁Ha nn", + "▁Han n", + "▁input s", + "▁ inputs", + "▁R ow", + "▁Ro w", + "▁ Row", + "▁with draw", + "P al", + "ac les", + "acle s", + "acl es", + "a cles", + "as sets", + "ass ets", + "asse ts", + "asset s", + "▁v l", + "▁ vl", + "▁G ot", + "▁Go t", + "win d", + "wi nd", + "w ind", + "▁ch ocolate", + "▁h ö", + "▁ hö", + "▁al arm", + "FT WARE", + "▁J ay", + "▁Ja y", + "▁s ake", + "▁sa ke", + "▁reg istration", + "▁registr ation", + "vi d", + "v id", + "▁user name", + "▁ username", + "▁h ack", + "▁ha ck", + "index Of", + "c x", + "▁fest ival", + "case s", + "ca ses", + "cas es", + "c ases", + "CT RL", + "]; \r", + "] ;\r", + "▁Au d", + "▁ Aud", + "▁prim era", + "▁prime ra", + "▁primer a", + "ва т", + "в ат", + "▁brill iant", + "▁difficult y", + "it als", + "ital s", + "ita ls", + "▁sc ores", + "▁score s", + "▁pol ít", + "data base", + "dat abase", + "a ska", + "▁## ####", + "▁### ###", + "▁#### ##", + "▁##### #", + "▁a cid", + "▁ac id", + "at on", + "ato n", + "a ton", + "at omic", + "ato mic", + "atom ic", + "fr eq", + "fre q", + "f req", + "▁WARRAN TY", + "▁report ing", + "▁n ights", + "▁night s", + ")} {", + ") }{", + "xi c", + "x ic", + "▁s po", + "▁sp o", + "line d", + "li ned", + "lin ed", + "l ined", + "er ee", + "ere e", + "e ree", + "mer s", + "me rs", + "m ers", + "▁s erves", + "en so", + "ens o", + "▁env iron", + "▁ environ", + "Li ke", + "L ike", + "an che", + "anc he", + "anch e", + "▁cr ash", + "▁K ap", + "▁Ka p", + "no indent", + "Con n", + "Co nn", + "▁in frastructure", + "IM E", + "I ME", + "▁R oom", + "▁Ro om", + "▁ Room", + "ne ed", + "n eed", + "o rer", + "▁D est", + "▁De st", + "▁Des t", + "▁ Dest", + "ather ine", + "▁g auge", + "▁gau ge", + "▁ga uge", + "▁j et", + "▁je t", + "▁ jet", + "b ably", + "▁comm only", + "ia h", + "i ah", + "n l", + "et en", + "ete n", + "e ten", + "_ )", + "ia c", + "i ac", + "am os", + "amo s", + "a mos", + "ne ment", + "nem ent", + "n ement", + "ko n", + "k on", + "Inter val", + "▁cab in", + "▁ca bin", + "▁ eg", + "▁sh ots", + "▁shot s", + "▁ shots", + "▁A rea", + "▁Ar ea", + "▁Are a", + "▁ Area", + "sm ith", + "param eter", + "' }", + "▁h em", + "▁he m", + "▁ hem", + "▁s inging", + "▁sin ging", + "▁access ible", + "▁P rin", + "▁Pr in", + "▁Pri n", + "opt ional", + "option al", + "ancia l", + "sh ips", + "ship s", + "▁can vas", + "▁ canvas", + "▁address es", + "▁x ml", + "▁ xml", + "▁' \"", + "▁ '\"", + "▁k ar", + "▁ka r", + "▁ kar", + "ö ff", + "▁a ges", + "▁ag es", + "▁age s", + "▁ ages", + "zi ng", + "zin g", + "z ing", + "▁ö ver", + "▁C lean", + "▁Cle an", + "▁ Clean", + "he alth", + "Al i", + "A li", + "▁t s", + "▁ ts", + "at ern", + "ate rn", + "ater n", + "a tern", + "▁cho osing", + "▁bur ned", + "▁burn ed", + "br id", + "b rid", + "ro oms", + "room s", + "öt t", + "ö tt", + "K ERN", + "▁d ish", + "▁dis h", + "▁di sh", + "S a", + "De tail", + "Det ail", + "▁Hi nd", + "▁D ans", + "▁Dan s", + "▁Da ns", + "i ę", + "▁J ahren", + "▁Jah ren", + "▁Jahr en", + "▁Jahre n", + "▁Ja hren", + "ext ension", + "al las", + "all as", + "alla s", + "▁B illy", + "▁Bill y", + "▁Bil ly", + "us ammen", + "it ud", + "itu d", + "ge on", + "geo n", + "Te mp", + "T emp", + "Le g", + "L eg", + "itt el", + "itte l", + "add le", + "▁mus cle", + "▁sc ared", + "▁scar ed", + "ss on", + "s son", + "▁de note", + "▁den ote", + "ie urs", + "ieu rs", + "ieur s", + "i eurs", + "▁o range", + "▁or ange", + "▁h ub", + "▁ hub", + "▁ reb", + "ed i", + "e di", + "▁vo ices", + "▁voice s", + "F older", + "▁s uspend", + "▁sus pend", + "▁susp end", + "▁ suspend", + "▁sc rap", + "▁scr ap", + "▁a ggreg", + "▁ag greg", + "▁Gu ide", + "trans action", + "▁r iding", + "▁ri ding", + "▁rid ing", + "▁v á", + "▁ vá", + "▁b reed", + "▁br eed", + "▁bre ed", + "▁bree d", + "▁con cert", + "▁conce rt", + "▁concer t", + "appro x", + "▁ch ances", + "▁chance s", + "To k", + "T ok", + "E q", + "par ts", + "part s", + "p arts", + "▁sch olar", + "▁schol ar", + "of fs", + "off s", + "fl ush", + "flu sh", + "! ”", + "▁lo gin", + "▁log in", + "▁ login", + "▁so ort", + "▁M and", + "▁Man d", + "▁Ma nd", + "▁function al", + "▁B ou", + "▁Bo u", + "my s", + "m ys", + "▁extra ord", + "▁Build ing", + "ik t", + "i kt", + "B ad", + "ia mi", + "iam i", + "i ami", + "Dr iver", + "D river", + "êt e", + "ê te", + "▁k v", + "▁ kv", + "▁t imer", + "▁time r", + "▁tim er", + "▁ti mer", + "▁ timer", + "ition ally", + "itional ly", + "▁ath let", + "▁\" );", + "▁\") ;", + "▁ \");", + "w y", + "CF G", + "▁he aven", + "▁heav en", + "▁exper imental", + "▁experiment al", + "▁b ounds", + "▁bound s", + "▁ bounds", + "IC K", + "I CK", + "▁ex cit", + "▁exc it", + "▁qu it", + "▁qui t", + "▁q uit", + "▁univers al", + "▁S P", + "▁ SP", + "▁st ub", + "▁ stub", + "▁k le", + "▁kl e", + "▁ kle", + "▁B art", + "▁Bar t", + "▁Ba rt", + "▁\" @", + "pe l", + "p el", + "▁( !(", + "▁(! (", + "▁se lector", + "▁select or", + "▁sel ector", + "▁sele ctor", + "▁ selector", + "E B", + "▁c oc", + "▁co c", + "et ed", + "ete d", + "e ted", + "ют ь", + "ю ть", + "▁poss ess", + "▁R ick", + "▁Ric k", + "▁unus ual", + "ter min", + "term in", + "▁b ags", + "▁bag s", + "▁ba gs", + "▁lo ading", + "▁load ing", + "▁ loading", + "▁t f", + "▁ tf", + "▁) \r", + "▁ )\r", + "pro vider", + "prov ider", + "plet ion", + "▁c ursor", + "▁cur sor", + "▁ cursor", + "▁pa used", + "▁paus ed", + "▁pause d", + "▁coun sel", + "] <", + "zec h", + "▁t ie", + "▁ti e", + "▁M oon", + "▁Mo on", + "▁ armed", + "▁ob serve", + "▁observ e", + "▁obs erve", + "▁per met", + "▁perm et", + "▁J ob", + "▁Jo b", + "▁ Job", + "fö r", + "f ör", + "arg ument", + "▁egg s", + "▁eg gs", + "ás t", + "á st", + "▁incred ibly", + "wer ken", + "werk en", + "iz ard", + "izar d", + "iza rd", + "▁p ainted", + "▁pa inted", + "▁vi olent", + "▁viol ent", + "Es t", + "E st", + "ier ra", + "i erra", + "re ader", + "read er", + "rea der", + "we ise", + "wei se", + "▁J osh", + "▁Jo sh", + "▁Jos h", + "▁H im", + "▁Hi m", + "as hes", + "ash es", + "or igin", + "orig in", + "ori gin", + "▁sp ir", + "▁ spir", + "▁T ree", + "▁Tr ee", + "▁Tre e", + "▁ Tree", + "▁n iet", + "▁nie t", + "▁ni et", + "WI N", + "W IN", + "mar gin", + "m argin", + "▁inv olves", + "▁invol ves", + "▁involve s", + "▁organ is", + "▁N acional", + "bar a", + "ba ra", + "b ara", + "▁de puis", + "▁dep uis", + "pi o", + "p io", + "fe atures", + "feature s", + "feat ures", + "st ru", + "str u", + "▁restaur ants", + "▁restaurant s", + "Mil l", + "M ill", + ")) \r", + ") )\r", + "rem ote", + "▁Th ird", + "▁al gun", + "▁alg un", + "] $", + "▁em ployed", + "po t", + "p ot", + "▁Un ityEngine", + "▁ UnityEngine", + "▁integr ation", + "▁risk s", + "▁ris ks", + "▁st ro", + "▁str o", + "▁ag osto", + "▁ago sto", + "incl uding", + "▁M ind", + "▁Min d", + "▁Mi nd", + "▁st roke", + "▁str oke", + "▁stro ke", + "▁ stroke", + "▁de als", + "▁deal s", + "aj ax", + "aja x", + "a jax", + "▁\\ |", + "▁ \\|", + "ta r", + "t ar", + "▁s ab", + "▁sa b", + "pu r", + "p ur", + "▁sc rew", + "▁scr ew", + "▁in ev", + "▁\\ ;", + "▁Don ald", + "▁ Donald", + "ö d", + "cc a", + "c ca", + "es is", + "esi s", + "e sis", + "▁separ ated", + "▁separate d", + "DB G", + "D BG", + "ag ent", + "age nt", + "agen t", + "a gent", + "▁p acked", + "▁pack ed", + "▁pac ked", + "▁ packed", + "н ня", + "in tern", + "int ern", + "inter n", + "inte rn", + "▁M onte", + "▁Mon te", + "▁Mont e", + "▁Mo nte", + "▁provinc e", + "▁exp anded", + "▁appro ached", + "▁approach ed", + "CL K", + "▁o re", + "▁or e", + "▁ ore", + "B atch", + "▁impress ive", + "R M", + "▁L ocation", + "▁Loc ation", + "▁ Location", + "▁sh ame", + "▁sha me", + "wrap per", + "w rapper", + "un wrap", + "pe er", + "Bit s", + "Bi ts", + "B its", + "▁S N", + "▁ SN", + "sc ar", + "s car", + "Com e", + "Co me", + "C ome", + "▁shout ed", + "ma king", + "m aking", + "▁M aur", + "▁Ma ur", + "▁Mau r", + "▁w is", + "LE TE", + "LET E", + "▁f s", + "▁ fs", + "▁d z", + "▁ dz", + "un que", + "ue go", + "u ego", + "R andom", + "H tml", + "ze m", + "z em", + "▁Gol den", + "▁T ar", + "▁Ta r", + "▁H erm", + "▁He rm", + "▁Her m", + "▁str etch", + "▁stret ch", + "W I", + "▁disappe ared", + "▁disappear ed", + "▁cr usher", + "▁crush er", + "▁K an", + "▁Ka n", + "Ma g", + "M ag", + "ø r", + "▁Cam bridge", + "▁do po", + "▁dop o", + "at ura", + "atur a", + "atu ra", + "he art", + "▁Sp iel", + "/* *\r", + "/** \r", + "Dir ection", + "Direct ion", + "Di rection", + "D irection", + "at ting", + "att ing", + "atti ng", + "wi g", + "w ig", + "▁c odes", + "▁co des", + "▁code s", + "▁cod es", + "▁ codes", + "▁pow der", + "al ert", + "ale rt", + "aler t", + "sem bl", + "semb l", + "▁y e", + "▁ ye", + "St ar", + "S tar", + "▁ro ots", + "▁root s", + "▁H oll", + "▁Hol l", + "▁Ho ll", + "Re le", + "Rel e", + "R ele", + "▁const itu", + "n c", + "“ .", + "re ference", + "refer ence", + "if icial", + "ific ial", + "ifi cial", + "clos ure", + "▁fig ured", + "▁figure d", + "▁assum ption", + "getElement ById", + "▁A G", + "▁ AG", + "os es", + "ose s", + "o ses", + "▁_ \"", + "ep per", + "ob re", + "o bre", + "en umerate", + "▁less ons", + "▁lesson s", + "▁qual ified", + "Per son", + "Pers on", + "P erson", + "an se", + "ans e", + "▁M ort", + "▁Mor t", + "▁Mo rt", + "s ylvania", + "▁c ré", + "▁cr é", + "Bind ing", + "Bin ding", + "B inding", + "і с", + "▁V ari", + "▁Var i", + "▁Va ri", + "▁ Vari", + "▁re minded", + "▁remind ed", + "▁members hip", + "▁member ship", + "ip er", + "ipe r", + "i per", + "zt e", + "z te", + "▁c ref", + "▁cre f", + "▁cr ef", + "▁ cref", + "▁P A", + "▁ PA", + "plaat st", + "▁Env ironment", + "▁ Environment", + "▁ph rase", + "▁phr ase", + "▁ phrase", + "riv ial", + "▁p se", + "▁ps e", + "▁ pse", + "▁tour nament", + ")} ,", + ") },", + "▁Sou nd", + "▁ Sound", + "▁V el", + "▁Ve l", + "▁ Vel", + "▁B erg", + "▁Be rg", + "▁Ber g", + "el son", + "els on", + "▁else where", + "qu ality", + "qual ity", + "▁F lo", + "▁Fl o", + "ib il", + "i bil", + "UA L", + "U AL", + "▁Pl atz", + "▁d elta", + "▁del ta", + "▁ delta", + "▁B uy", + "▁Bu y", + "ri ère", + "r ière", + "▁fl our", + "▁flo ur", + "▁laugh ing", + "▁laug hing", + "▁Look ing", + "▁Lo oking", + "Ag ent", + "A gent", + "▁w x", + "▁ wx", + "▁Wa les", + "C tx", + "▁c ake", + "▁ca ke", + "▁c rate", + "▁cr ate", + "▁ crate", + "an ga", + "ang a", + "Z ero", + "▁amount s", + "Tr a", + "T ra", + "om etric", + "omet ric", + "o metric", + "▁con straints", + "▁constr aints", + "▁constraint s", + "▁templ e", + "▁temp le", + "▁install ation", + "st roke", + "str oke", + "▁N eder", + "▁Ne der", + "▁Ned er", + "ț i", + "▁I bid", + "▁o bs", + "▁ob s", + "▁ obs", + "ent ries", + "entr ies", + "▁j usqu", + "OR M", + "O RM", + "ik es", + "ike s", + "i kes", + "na k", + "n ak", + "▁m odes", + "▁mod es", + "▁mo des", + "▁mode s", + "▁Hit ler", + "▁b elt", + "▁be lt", + "▁bel t", + "▁point ing", + "▁B an", + "▁Ba n", + "ign ore", + "▁per su", + "▁pers u", + "▁Bes ides", + "yn om", + "y nom", + "▁leg is", + "▁C PU", + "▁CP U", + "▁ CPU", + "an ded", + "and ed", + "ande d", + "ui s", + "u is", + "bs ite", + "b site", + "▁Eu ro", + "▁ut ter", + "▁ utter", + "e clipse", + "▁ir re", + "▁irr e", + "▁D ocument", + "▁Doc ument", + "▁ Document", + "▁famil ie", + "ver ify", + "▁J ason", + "▁Ja son", + "▁O rt", + "▁Or t", + "▁ci udad", + "▁techn ologies", + "ni ca", + "nic a", + "n ica", + "can cel", + "c ancel", + "V irtual", + "▁ev ident", + "am an", + "ama n", + "a man", + "at oes", + "ato es", + "▁ste ady", + "▁stead y", + "▁month ly", + "▁SO FTWARE", + "Di e", + "D ie", + "▁app lying", + "▁apply ing", + "▁appl ying", + "Di g", + "D ig", + "vi er", + "v ier", + "▁W H", + "▁ WH", + "▁min ds", + "▁mind s", + "▁k am", + "▁ka m", + "▁expert ise", + "▁not ification", + "▁ notification", + "▁del iber", + "▁H E", + "▁ HE", + "ou tes", + "out es", + "oute s", + "o utes", + "spec ial", + "spe cial", + "▁p resentation", + "▁present ation", + "mi r", + "▁r ust", + "▁ru st", + "▁rus t", + "▁ rust", + "▁n ations", + "▁nat ions", + "▁nation s", + "▁G ets", + "▁Ge ts", + "▁Get s", + "▁respon ses", + "▁response s", + "▁respons es", + "ar ded", + "ard ed", + "arde d", + "im mer", + "imm er", + "▁reve al", + "▁M eg", + "▁Me g", + "▁tod os", + "▁todo s", + "▁a de", + "▁ad e", + "▁ ade", + "ateg ories", + "ategor ies", + "▁pay ments", + "▁payment s", + "ô t", + "En umer", + "Enum er", + "E numer", + "▁platform s", + "▁plat forms", + "▁life time", + "▁lif etime", + "Com plete", + "Comp lete", + "Qu est", + "Que st", + "Q uest", + "en ders", + "end ers", + "ender s", + "ende rs", + "▁c um", + "▁cu m", + "pl er", + "ple r", + "p ler", + "▁app l", + "▁ap pl", + "äh rend", + "ähr end", + "en ez", + "ene z", + "e nez", + "yn chron", + "▁argue d", + "▁K ath", + "▁Kat h", + "▁Ka th", + "▁s ynchron", + "▁syn chron", + "▁B uilder", + "▁Build er", + "▁ Builder", + "B order", + "Pl an", + "P lan", + "ri eb", + "rie b", + "r ieb", + "n m", + "FOR MAT", + "FORM AT", + "us k", + "u sk", + "▁j umped", + "▁jump ed", + "ch arg", + "char g", + "cha rg", + "▁cont ribute", + "▁contribut e", + "Me sh", + "M esh", + "Un ivers", + "▁p olar", + "▁pol ar", + "▁po lar", + "▁tr ois", + "▁tro is", + "ic io", + "ici o", + "i cio", + "Group s", + "G roups", + "▁( %", + "▁ (%", + "Lo op", + "L oop", + "▁g az", + "▁ga z", + "db g", + "d bg", + "LA Y", + "L AY", + "Jo hn", + "J ohn", + "bl ocks", + "block s", + "blo cks", + "▁l ung", + "▁lu ng", + "▁lun g", + "▁ lung", + "▁k ön", + "▁kö n", + "th rough", + "lish er", + "l isher", + "▁inv olving", + "▁De ep", + "▁ Deep", + "▁s ull", + "▁su ll", + "▁sul l", + "Ex port", + "Exp ort", + "▁K ate", + "▁Kat e", + "▁Ka te", + "per iod", + "ch arge", + "char ge", + "charg e", + "G T", + "\"> \r", + "\" >\r", + "▁Ot t", + "▁inter actions", + "▁interaction s", + "▁interact ions", + "TR ACE", + "TRA CE", + "▁d ifer", + "▁di fer", + "▁dif er", + "▁lib eral", + "▁liber al", + "▁p article", + "▁part icle", + "▁partic le", + "▁parti cle", + "▁sur ve", + "▁surv e", + "al ous", + "alo us", + "re ason", + "rea son", + "▁de pression", + "▁dep ression", + "▁depress ion", + "▁f lower", + "▁fl ower", + "▁flo wer", + "▁flow er", + "▁wa ar", + "▁h ade", + "▁had e", + "▁ha de", + "par ty", + "part y", + "▁appro val", + "gener ate", + "▁Ba rn", + "▁ma rg", + "▁m onde", + "▁mon de", + "▁mo nde", + "▁mond e", + "▁o ok", + "▁ ook", + "▁Clar k", + "▁the oret", + "vious ly", + "vi ously", + "v iously", + "▁R ud", + "▁Ru d", + "st mt", + "in ction", + "inct ion", + "▁t un", + "▁tu n", + "▁rot ation", + "▁ rotation", + "pp en", + "ppe n", + "p pen", + "sen sor", + "s ensor", + "▁K ol", + "▁Ko l", + "id elines", + "ide lines", + "idel ines", + "▁ є", + "▁comp osed", + "▁v irus", + "▁vi rus", + "▁vir us", + "' $", + "S N", + "▁V on", + "▁Vo n", + "mon t", + "mo nt", + "m ont", + "la r", + "l ar", + "▁opin ions", + "▁opinion s", + "uct ion", + "u ction", + "ru pal", + "rup al", + "under line", + "▁hor ror", + "Mus t", + "Mu st", + "M ust", + "ot to", + "ott o", + "o tto", + "Sh ould", + "▁stat ist", + "▁g em", + "▁ge m", + "▁ gem", + "▁se cre", + "▁sec re", + "▁st rip", + "▁str ip", + "▁stri p", + "▁ strip", + "▁d irt", + "▁di rt", + "▁dir t", + "ama zon", + "amaz on", + "▁R ound", + "▁Ro und", + "▁Rou nd", + "▁ Round", + "▁dis covery", + "▁disc overy", + "▁discover y", + "▁disco very", + "▁G O", + "▁ GO", + "▁substant ial", + "ib t", + "i bt", + "▁dem ands", + "▁demand s", + "▁every day", + "▁b esch", + "▁be sch", + "▁bes ch", + "▁Br idge", + "▁ HD", + "▁D ol", + "▁Do l", + "▁t rès", + "▁tr ès", + "an ni", + "ann i", + "ro it", + "() );\r", + "()); \r", + "()) ;\r", + "( ));\r", + "fa r", + "f ar", + "tim estamp", + "▁bul k", + "Bl ack", + "▁g an", + "▁ga n", + "▁ gan", + "set ting", + "ret val", + "nu ng", + "n ung", + "▁talk s", + "▁tal ks", + "▁scient ists", + "▁scientist s", + "▁v ig", + "▁vi g", + "▁quant ity", + "▁G ard", + "▁Gar d", + "▁Ga rd", + "▁mov ements", + "▁move ments", + "▁movement s", + "äh r", + "ä hr", + "ling s", + "lin gs", + "l ings", + "te am", + "ri to", + "rit o", + "r ito", + "▁as sembly", + "▁ assembly", + "i lst", + "▁happ iness", + "▁le af", + "▁ leaf", + "▁ass essment", + "▁assess ment", + "Co ord", + "ir s", + "i rs", + "sa m", + "s am", + "▁att orney", + "▁g eme", + "▁ge me", + "▁gem e", + "▁ geme", + "ID E", + "I DE", + "▁V ere", + "▁Ver e", + "▁Ve re", + "▁Anth ony", + "am iento", + "ami ento", + "▁cir cul", + "▁circ ul", + "▁Fr ances", + "▁Franc es", + "▁France s", + "▁Fran ces", + "▁p ent", + "▁pe nt", + "▁pen t", + "▁ pent", + "▁m ate", + "▁mat e", + "▁ma te", + "▁ mate", + "▁Trans port", + "▁ Transport", + "ow o", + "o wo", + "is tes", + "ist es", + "iste s", + "TR AN", + "TRA N", + "T RAN", + "IM PORT", + "IMP ORT", + "▁B reak", + "▁Bre ak", + "▁ Break", + "▁invest ors", + "TH OD", + "▁pan ic", + "▁pa nic", + "▁ panic", + "▁d etection", + "▁det ection", + "▁detect ion", + "▁sim ultane", + "nt e", + "n te", + "▁list ened", + "▁listen ed", + "Option al", + "Opt ional", + "▁a bund", + "▁ab und", + "▁c riteria", + "▁crit eria", + "▁c hip", + "▁ch ip", + "▁chi p", + "▁ chip", + "▁Con stant", + "▁Const ant", + "▁ Constant", + "▁m ining", + "▁min ing", + "▁mi ning", + "▁mini ng", + "ma tes", + "mat es", + "mate s", + "m ates", + "▁w orship", + "▁wor ship", + "ro uter", + "rou ter", + "route r", + "r outer", + "C N", + "▁M atch", + "▁Mat ch", + "▁ Match", + "▁C ole", + "▁Col e", + "▁Co le", + "▁down t", + "▁dow nt", + "▁h oles", + "▁hol es", + "▁ho les", + "▁hole s", + "▁gr ateful", + "RES ULT", + "▁Europ a", + "▁Euro pa", + "▁con sent", + "▁cons ent", + "▁conse nt", + "l ä", + "op ter", + "opt er", + "▁colle agues", + "or ous", + "oro us", + "o rous", + "▁enem ies", + "ha ng", + "han g", + "h ang", + "act ual", + "Object s", + "▁я к", + "▁fl uid", + "▁flu id", + "fix ed", + "f ixed", + "▁G raph", + "▁Gr aph", + "▁Gra ph", + "▁ Graph", + "▁scr atch", + "ce rs", + "cer s", + "c ers", + "ri bu", + "rib u", + "▁valid ation", + "▁ validation", + "▁com pletion", + "▁complet ion", + "▁B egin", + "▁Be gin", + "▁Beg in", + "▁ Begin", + "end point", + "rien t", + "C M", + "▁S ite", + "▁Si te", + "▁ Site", + "▁expl ains", + "▁explain s", + "tr es", + "tre s", + "t res", + "▁any body", + "fo reach", + "fore ach", + "for each", + "lo n", + "l on", + "Ch ain", + "▁B uff", + "▁Bu ff", + "▁ Buff", + "o cal", + "▁M organ", + "▁Mor gan", + "▁s ang", + "▁sa ng", + "▁san g", + "▁pas ses", + "@ @", + "ij d", + "i jd", + "W ord", + "▁v ý", + "ba st", + "bas t", + "b ast", + "▁enter tainment", + "▁entertain ment", + "hi n", + "h in", + "▁g rat", + "▁gr at", + "▁gra t", + "▁M ember", + "▁Me mber", + "▁Mem ber", + "▁ Member", + "▁M inn", + "▁Min n", + "▁Mi nn", + "▁pr inted", + "▁print ed", + "▁prin ted", + "▁Frank lin", + "▁I mp", + "▁Im p", + "▁ Imp", + "M achine", + "column s", + "▁de leted", + "▁del eted", + "▁delete d", + "▁delet ed", + "▁ deleted", + "▁manufact uring", + "▁re ly", + "▁r ely", + "▁rel y", + "▁con se", + "▁cons e", + "▁f ishing", + "▁fish ing", + "▁fis hing", + "bl o", + "b lo", + "- $", + "▁. \"", + "▁ .\"", + "▁clin ical", + "▁clinic al", + "def inition", + "▁evalu ation", + "▁eval uation", + "▁att acked", + "▁fro zen", + "ze nt", + "zen t", + "z ent", + "▁ú lt", + "▁r ational", + "▁rat ional", + "▁ratio nal", + "ot he", + "oth e", + "o the", + "Can cel", + "C ancel", + "hi story", + "hist ory", + "set Text", + "▁a lc", + "▁al c", + "▁h ydro", + "▁hyd ro", + "▁M aterial", + "▁Mat erial", + "▁ Material", + "IO Exception", + "**** **/", + "****** /", + "sp l", + "s pl", + "NO DE", + "att rs", + "attr s", + "▁m ie", + "▁mi e", + "r ó", + "▁j am", + "▁ja m", + "▁Id ent", + "▁Ide nt", + "▁ Ident", + "v é", + "Set ting", + "▁Sev eral", + "▁dec ay", + "And roid", + "▁S ave", + "▁Sa ve", + "▁Sav e", + "▁ Save", + "un ted", + "unt ed", + "unte d", + "us c", + "u sc", + "▁mar zo", + "▁a sleep", + "▁as leep", + "▁sold ier", + "▁D ouble", + "▁Dou ble", + "▁ Double", + "P K", + "▁cont rad", + "▁contr ad", + "▁contra d", + "▁w ins", + "▁win s", + "ce iver", + "ceive r", + "▁seas ons", + "▁C hall", + "▁Ch all", + "▁Cha ll", + "▁health care", + "ła d", + "ł ad", + "▁F ive", + "▁Fi ve", + "▁H ell", + "▁He ll", + "▁Hel l", + "▁' ,", + "▁ ',", + "ma de", + "mad e", + "m ade", + "▁respon ded", + "▁respond ed", + "▁a y", + "▁ ay", + "▁proced ures", + "▁procedure s", + "▁cle ared", + "▁clear ed", + "\"] .", + "\" ].", + "▁T arget", + "▁Tar get", + "▁ Target", + "▁S ide", + "▁Si de", + "▁Sid e", + "▁ Side", + "omi n", + "▁T ell", + "▁Te ll", + "▁Tel l", + "▁ Tell", + "▁on going", + "fl oor", + "f loor", + "▁b ones", + "▁bo nes", + "▁bon es", + "▁bone s", + "▁De lete", + "▁Del ete", + "▁ Delete", + "▁shru gged", + "O ur", + "De r", + "D er", + "▁init ialize", + "▁initial ize", + "▁ initialize", + "▁T ed", + "▁Te d", + "MA GE", + "MAG E", + "M AGE", + "▁h ire", + "▁hi re", + "▁ hire", + "▁tr acking", + "▁track ing", + "▁a sh", + "▁as h", + "▁ ash", + "▁ce iling", + "et ti", + "ett i", + "e tti", + "▁cour age", + "▁cou rage", + "ensch app", + "Mo re", + "M ore", + "▁fol g", + "▁fo lg", + "▁ folg", + "▁Gr ace", + "▁Gra ce", + "▁K elly", + "▁Kel ly", + "▁re ven", + "▁r even", + "▁rev en", + "▁reve n", + "▁ Ali", + "▁d isp", + "▁ disp", + "▁de feat", + "▁cre ature", + "▁creat ure", + "▁Kenn edy", + "▁D iego", + "▁Di ego", + "EM P", + "E MP", + "▁s team", + "end ance", + "▁ign or", + "▁ig nor", + "em en", + "eme n", + "e men", + "▁G ru", + "▁Gr u", + "▁pro posal", + "▁we iter", + "▁weit er", + "▁ лі", + "ib les", + "ible s", + "i bles", + "▁consider ation", + "▁belie ves", + "▁believe s", + "▁S oph", + "▁So ph", + "“ ,", + "▁Matt hew", + "▁circ uit", + "▁sin ger", + "▁S quare", + "ç o", + "Ed ge", + "▁a str", + "▁as tr", + "▁ast r", + "▁ astr", + "▁represent ative", + "▁comprehens ive", + "li ga", + "lig a", + "l iga", + "▁m ere", + "▁me re", + "▁mer e", + "tb l", + "t bl", + "▁contin uing", + "▁continu ing", + "ograph er", + "ograp her", + "LE D", + "L ED", + "▁/* **/", + "▁/** */", + "▁s ear", + "▁se ar", + "▁sea r", + "▁enorm ous", + "iz i", + "i zi", + "Di t", + "D it", + "th ere", + "ther e", + "the re", + "t here", + "і н", + "▁gu erra", + "▁end point", + "▁ endpoint", + "▁le sson", + "▁les son", + "▁less on", + "zo n", + "z on", + "var iable", + "vari able", + "▁research ers", + "▁e nf", + "▁en f", + "▁de fin", + "▁aw ful", + "▁lo west", + "▁low est", + "ru les", + "rule s", + "r ules", + "▁un like", + "inter val", + "▁K am", + "▁Ka m", + "▁I MP", + "▁IM P", + "▁ IMP", + "Gener al", + "Gen eral", + "▁f aire", + "▁fa ire", + "▁fair e", + "▁max im", + "▁ma xim", + "as semb", + "ass emb", + "asse mb", + "assem b", + "? >", + "pl ica", + "plic a", + "p lica", + "▁r am", + "▁ra m", + "▁ ram", + "ma te", + "mat e", + "m ate", + "m n", + "▁H i", + "▁ Hi", + "▁stag es", + "▁sta ges", + "▁Ed itor", + "▁Edit or", + "▁ Editor", + "▁t ang", + "▁tan g", + "▁ta ng", + "R D", + "▁i ch", + "▁ic h", + "▁ ich", + "▁depend ent", + "▁dep endent", + "▁ dependent", + "li fer", + "life r", + "lif er", + "l ifer", + "as cript", + "asc ript", + "a script", + "▁expos ure", + "▁m art", + "▁mar t", + "▁ma rt", + "▁ mart", + "▁Bar cel", + "xs pace", + "x space", + "SE SSION", + "▁p rest", + "▁pre st", + "▁pr est", + "▁pres t", + "UR CE", + "- .", + "ha ve", + "hav e", + "h ave", + "▁observ ation", + "▁obs ervation", + "▁comm ands", + "▁command s", + "▁ commands", + "▁e ager", + "▁out door", + "▁DE BUG", + "▁ DEBUG", + "▁h r", + "▁ hr", + "A X", + "▁p uzz", + "▁pu zz", + "bl ank", + "▁k ennis", + "▁reg arded", + "▁} ),", + "▁}) ,", + "▁ }),", + "vol ume", + "▁Tr aining", + "▁Tra ining", + "▁Train ing", + "a ñ", + "▁f ois", + "▁foi s", + "▁fo is", + "в ня", + "▁opt imal", + "▁optim al", + "▁sub scription", + "▁subs cription", + "▁ subscription", + "br idge", + "brid ge", + "b ridge", + "im ental", + "iment al", + "imen tal", + "▁Th ink", + "▁\" ;", + "▁ \";", + "▁legis l", + "▁H op", + "▁Ho p", + "▁br anches", + "▁branch es", + "▁V eg", + "▁Ve g", + "▁s print", + "▁spr int", + "▁fl ux", + "▁flu x", + "▁Fr eder", + "si s", + "s is", + "not ify", + "so m", + "s om", + "ny m", + "n ym", + "▁R é", + "le tt", + "let t", + "l ett", + "ing ham", + "▁F arm", + "▁Far m", + "▁Fa rm", + "DO M", + "D OM", + "▁sh ield", + "He re", + "Her e", + "H ere", + "▁Lu ke", + "▁un safe", + "an ton", + "ant on", + "anto n", + "▁Im per", + "▁Imp er", + "▁tele phone", + "▁un lock", + "▁ unlock", + "Own er", + "col lection", + "coll ection", + "collect ion", + "▁s nd", + "▁sn d", + "▁ snd", + "▁su iv", + "▁ent ering", + "▁enter ing", + "▁L abel", + "▁La bel", + "▁Lab el", + "▁ Label", + "se lector", + "sel ector", + "select or", + "▁G ET", + "▁ GET", + "▁qu ando", + "▁quand o", + "▁f ed", + "▁fe d", + "▁ fed", + "j Query", + "Or igin", + "▁A lan", + "▁Al an", + "math scr", + "▁pregn ant", + "▁preg nant", + "Ex pect", + "Exp ect", + "re sources", + "res ources", + "resource s", + "▁er sten", + "▁erst en", + "▁ers ten", + "▁erste n", + "al ia", + "ali a", + "a lia", + "û t", + "Cr ed", + "C red", + "▁m éd", + "▁mé d", + "▁e rh", + "▁er h", + "Frame work", + "Sl ot", + "S lot", + "d uration", + "sa l", + "s al", + "▁com position", + "▁compos ition", + "art icle", + "gp u", + "g pu", + "▁per mitted", + "▁perm itted", + "▁permit ted", + "▁F ont", + "▁Fo nt", + "▁ Font", + "▁M uch", + "▁Mu ch", + "▁p ending", + "▁pen ding", + "▁ pending", + "▁ag encies", + "Column s", + "▁k lik", + "▁kl ik", + "▁ rating", + "min d", + "mi nd", + "m ind", + "J ava", + "ab stract", + "abs tract", + "▁d umb", + "▁du mb", + "us a", + "u sa", + "Rem ote", + "▁YO U", + "▁Cre ek", + "Bot tom", + "B ottom", + "▁roll ing", + "▁ rolling", + "▁b undle", + "▁bund le", + "▁ bundle", + "▁g olf", + "▁gol f", + "gp io", + "g pio", + "▁Cha ir", + "▁c ls", + "▁cl s", + "▁ cls", + "$ }", + "▁Par liament", + "f ühr", + "Man y", + "Ma ny", + "M any", + "▁S ep", + "▁Se p", + "▁ Sep", + "▁bad ly", + "ig i", + "i gi", + "▁Geme inde", + "Il l", + "I ll", + "ua rt", + "uar t", + "u art", + "it empty", + "item pty", + "▁N iger", + "▁Ni ger", + "▁im migr", + "▁imm igr", + "Su per", + "Sup er", + "S uper", + "v á", + "ist ribute", + "istribut e", + "Hel pers", + "Helper s", + "Help ers", + "▁wat ers", + "▁join ing", + "▁jo ining", + "om itempty", + "▁Other wise", + "▁H ost", + "▁Ho st", + "▁ Host", + "▁re dd", + "▁red d", + "▁d y", + "▁ dy", + "▁con verted", + "▁convert ed", + "▁pr ayer", + "▁pray er", + "▁pra yer", + "▁У краї", + "▁Укра ї", + "▁e lections", + "re b", + "r eb", + "er ie", + "eri e", + "e rie", + "Ab s", + "A bs", + "ie mbre", + "iem bre", + "i embre", + "hol ders", + "hold ers", + "holder s", + "▁R ol", + "▁Ro l", + "ut schen", + "uts chen", + "utsch en", + "utsche n", + "ter y", + "te ry", + "t ery", + "▁narr ative", + "min us", + "m inus", + "=\" #", + "▁w and", + "▁wa nd", + "▁ wand", + "▁w ished", + "▁wish ed", + "▁wis hed", + "ic ode", + "ico de", + "i code", + "or r", + "o rr", + "[ [", + "▁detect ed", + "▁P our", + "▁Po ur", + "▁Se rv", + "▁ Serv", + "cite t", + "cit et", + "c itet", + "▁g rey", + "▁gr ey", + "▁gre y", + "▁R ap", + "▁Ra p", + "▁v oy", + "▁vo y", + "▁l leg", + "▁ll eg", + "▁cur rency", + "▁curr ency", + "▁ currency", + "▁S cript", + "▁Sc ript", + "▁ Script", + "str ument", + "stru ment", + "▁expect ing", + "▁t ickets", + "▁tick ets", + "▁ticket s", + "▁b ucket", + "▁buck et", + "▁ bucket", + "eg r", + "e gr", + "▁j acket", + "▁jack et", + "dr v", + "d rv", + "▁lo ans", + "▁loan s", + "▁k ann", + "▁kan n", + "▁ka nn", + "▁integr al", + "▁character istics", + "▁characteristic s", + "(\" .", + "( \".", + "▁man ual", + "▁d ynamics", + "▁dynam ics", + "▁dynamic s", + ": *", + "sh a", + "s ha", + "re ens", + "ree ns", + "reen s", + "on ical", + "oni cal", + "onic al", + "▁to ile", + "añ a", + "a ña", + "▁d istant", + "▁di stant", + "▁dist ant", + "▁hand led", + "▁handle d", + "Bo ol", + "B ool", + "▁pe nal", + "▁pen al", + "▁Th ings", + "▁ex ped", + "▁exp ed", + "▁He lp", + "▁Hel p", + "▁ Help", + "▁a sp", + "▁as p", + "▁ asp", + "la p", + "l ap", + "▁A uth", + "▁Aut h", + "▁Au th", + "▁ Auth", + "Bas ic", + "ach uset", + "▁B ild", + "▁Bi ld", + "▁Bil d", + "▁j ag", + "▁ja g", + "▁m emor", + "▁me mor", + "▁mem or", + "▁memo r", + "or ts", + "ort s", + "▁ap plies", + "▁appl ies", + "▁L anguage", + "▁ Language", + "spec ific", + "achuset ts", + "HA ND", + "H AND", + "▁R oute", + "▁ Route", + "mark et", + "mar ket", + "▁K y", + "▁p ose", + "▁pos e", + "▁po se", + "▁ pose", + "AC HE", + "ACH E", + "po ll", + "pol l", + "p oll", + "▁r ocks", + "▁ro cks", + "▁rock s", + "bo ne", + "bon e", + "b one", + "▁D IS", + "▁DI S", + "▁ DIS", + "W atch", + "▁sm iling", + "Mon th", + "Mont h", + "▁e fter", + "con struct", + "const ruct", + "▁ban ds", + "▁ bands", + "▁collabor ation", + "gl as", + "g las", + "▁v y", + "▁ vy", + "▁eng agement", + "▁engage ment", + "__ )", + "_ _)", + "▁w ings", + "▁win gs", + "▁wing s", + "net je", + "at iva", + "ati va", + "ativ a", + "▁With in", + "▁d ove", + "▁do ve", + "▁c b", + "▁ cb", + "ye rs", + "yer s", + "y ers", + "po w", + "p ow", + "[ (", + "▁evalu ate", + "▁eval uate", + "Point s", + "▁р і", + "▁ рі", + "od igd", + "odi gd", + "on omy", + "ono my", + "onom y", + "▁T yp", + "▁Ty p", + "▁ Typ", + "▁coord inates", + "▁coordinate s", + "pis ode", + "uck ed", + "uc ked", + "▁f lav", + "▁fl av", + "▁br ands", + "▁brand s", + "▁cal endar", + "▁ calendar", + "Li b", + "L ib", + "▁uit gen", + "▁t ale", + "▁tal e", + "▁ta le", + "▁m ic", + "▁mi c", + "▁ mic", + "RE SS", + "RES S", + "▁sp äter", + "▁integr ated", + "▁integrate d", + "▁cook ies", + "▁cookie s", + "▁uitgen odigd", + "▁P riv", + "▁Pr iv", + "▁Pri v", + "▁ Priv", + "▁phen omen", + "▁vo egen", + "Su pp", + "Sup p", + "S upp", + "▁re fers", + "▁Cl inton", + "▁Clin ton", + "▁ass ignment", + "▁assign ment", + "i nals", + "▁a sym", + "▁as ym", + "cy cle", + "cycl e", + "c ycle", + "▁Anders on", + "▁b inding", + "▁bin ding", + "▁bind ing", + "▁ binding", + "ri que", + "r ique", + "hi nd", + "hin d", + "h ind", + "▁be half", + "▁beh alf", + "▁break s", + "▁bre aks", + "▁so ap", + "▁ soap", + "▁v ä", + "▁ vä", + "▁c rying", + "▁cr ying", + "▁cry ing", + "▁ →", + "▁m sm", + "▁ms m", + "▁ msm", + "▁bo ots", + "▁boot s", + "ow ing", + "owi ng", + "o wing", + "▁b ell", + "▁be ll", + "▁bel l", + "▁ bell", + "su ite", + "suit e", + "▁Bund es", + "▁Bun des", + "Y ear", + "nd ef", + "nde f", + "n def", + "O ther", + "▁go ogle", + "▁goog le", + "▁ google", + "EN CE", + "ENC E", + "WE R", + "W ER", + "Le s", + "L es", + "Sh ared", + "Share d", + "▁E D", + "▁ ED", + "IF T", + "I FT", + "▁flo ating", + "▁float ing", + "ý m", + "{} ,", + "{ },", + "Bin ary", + "B inary", + "▁ro ce", + "ra j", + "r aj", + "▁be werken", + "B F", + "ce n", + "c en", + "▁c amb", + "▁cam b", + "▁ca mb", + "▁log ging", + "▁ logging", + "Ten sor", + "T ensor", + "▁op ens", + "▁open s", + "▁ opens", + "▁R io", + "▁klik ken", + "apor e", + "w x", + "▁Ni ch", + "na n", + "n an", + "com pare", + "comp are", + "compar e", + "th a", + "t ha", + "Sam ple", + "S ample", + "Sh ell", + "She ll", + "S hell", + "▁re ceiver", + "▁rece iver", + "▁receive r", + "▁h opes", + "▁hope s", + "▁hop es", + "▁ho pes", + "▁b yl", + "▁by l", + "▁pro xy", + "▁pr oxy", + "▁ proxy", + "▁gal l", + "▁ga ll", + "get Id", + "fe ld", + "fel d", + "f eld", + "▁\" _", + "▁H ab", + "▁Ha b", + "sim ple", + "▁execut ed", + "▁execute d", + "▁a te", + "▁at e", + "▁ ate", + "▁an imation", + "▁anim ation", + "▁ animation", + "▁r outer", + "▁ro uter", + "▁rout er", + "▁route r", + "▁rou ter", + "▁ router", + "▁gl ob", + "▁glo b", + "▁ glob", + "Ge plaatst", + "▁begin netje", + "▁K ur", + "▁Ku r", + "al igned", + "align ed", + "▁cert ificate", + "▁ Å", + "▁s oll", + "▁so ll", + "▁sol l", + "▁Im port", + "▁Imp ort", + "▁ Import", + "▁pand emic", + "▁n ic", + "▁ni c", + "▁ nic", + "v ä", + "▁S ay", + "▁Sa y", + "▁д і", + "▁ ді", + "▁N um", + "▁Nu m", + "▁ Num", + "▁rough ly", + "▁des pués", + "▁ ​", + "▁spec ify", + "Map per", + "lic ht", + "li cht", + "lich t", + "l icht", + "▁th umb", + "▁ thumb", + "wi e", + "w ie", + "▁un likely", + "▁unlike ly", + "▁ unlikely", + "▁E dd", + "▁Ed d", + "He y", + "H ey", + "▁O pt", + "▁Op t", + "▁ Opt", + "B LOCK", + "▁ ×", + "▁b a", + "▁ ba", + "▁period s", + "Me d", + "M ed", + "▁f on", + "▁fo n", + "▁ fon", + "▁b ast", + "▁bas t", + "▁ba st", + "▁ bast", + "▁F orest", + "▁Fo rest", + "▁ №", + "on ds", + "ond s", + "▁f al", + "▁fa l", + "▁g esch", + "▁ge sch", + "▁ges ch", + "▁ gesch", + "dir ection", + "di rection", + "direct ion", + "dire ction", + "d irection", + "IF Y", + "▁L A", + "▁ LA", + "▁( ((", + "▁(( (", + "▁ (((", + "GT H", + "G TH", + "it udes", + "itude s", + "itu des", + "itud es", + "▁dest ruction", + "▁destruct ion", + "▁J a", + "▁s take", + "▁st ake", + "▁sta ke", + "iffer ent", + "iffe rent", + "▁ident ical", + "▁f og", + "▁fo g", + "▁R eb", + "▁Re b", + "▁ Reb", + "ja x", + "j ax", + "▁M ars", + "▁Mar s", + "▁Ma rs", + "▁hist oric", + "▁V o", + "▁ Vo", + "▁entre pre", + "▁t ension", + "▁tens ion", + "▁W HERE", + "▁WH ERE", + "▁WHE RE", + "Count er", + "Co unter", + "C ounter", + "▁fr ames", + "▁frame s", + "▁fra mes", + "▁fram es", + "▁ frames", + "▁m uy", + "▁mu y", + "e j", + "ö t", + "e u", + "PRO C", + "PR OC", + "▁res olved", + "▁resolve d", + "▁ resolved", + "▁t ape", + "▁tap e", + "▁ta pe", + "▁sing ular", + "▁O cc", + "▁ Occ", + "▁scal ar", + "▁ scalar", + "de ss", + "des s", + "d ess", + "▁c able", + "▁cab le", + "▁ca ble", + "be ing", + "b eing", + "▁J enn", + "▁Je nn", + "▁Jen n", + "▁er st", + "▁ers t", + "▁ erst", + "Action s", + "Act ions", + "A ctions", + "Env ironment", + "vi a", + "v ia", + "▁strugg ling", + "wh e", + "w he", + "▁throw ing", + "▁thr owing", + "▁thro wing", + "Bound s", + "B ounds", + "▁M D", + "▁ MD", + "▁\" ../", + "▁\". ./", + "▁satisf y", + "▁Color ado", + "▁Act ive", + "▁Activ e", + "▁ Active", + "Task s", + "<>( );", + "<> ();", + "< >();", + "▁sl ipped", + "▁slip ped", + "▁po ison", + "▁poi son", + "z b", + "Dis patch", + "war ning", + "warn ing", + "w arning", + "▁ult imate", + "p icture", + "ex pression", + "exp ression", + "expr ession", + "express ion", + "▁T alk", + "▁Tal k", + "▁f lick", + "▁fl ick", + "▁rais ing", + "▁ra ising", + "▁ raising", + "▁trans actions", + "▁transaction s", + "▁gl ance", + "▁g ri", + "▁gr i", + "▁п рез", + "▁пре з", + "se lection", + "sel ection", + "select ion", + "s election", + "њ а", + "en dl", + "end l", + "▁A bb", + "▁b old", + "▁bo ld", + "▁bol d", + "▁ bold", + "▁maint ained", + "Ex ists", + "▁encour aged", + "▁encourage d", + "Qu al", + "Q ual", + "▁ess ere", + "▁hi red", + "▁hire d", + "let ter", + "lett er", + "lette r", + "it ches", + "itch es", + "oth ers", + "other s", + "othe rs", + "o thers", + "▁w oj", + "▁wo j", + "▁inj uries", + "▁d il", + "▁di l", + "ex ecut", + "exec ut", + "▁Ste el", + "▁G arden", + "▁Gar den", + "▁Gard en", + "\\, \\", + "\\ ,\\", + "▁An gel", + "pr im", + "p rim", + ">: ]<", + "g b", + "pe at", + "in te", + "int e", + "i nte", + "▁ap olog", + "▁reg ulations", + "▁regul ations", + "▁regulation s", + "S rc", + "Up load", + "U pload", + "ma pping", + "map ping", + "m apping", + "▁p resents", + "▁pres ents", + "▁present s", + "▁po etry", + "▁st ops", + "▁stop s", + "▁sto ps", + "▁T ol", + "▁To l", + "▁tow er", + "▁O UT", + "▁ OUT", + "Th ank", + "Than k", + "▁organ ic", + "▁d rei", + "▁dr ei", + "▁dre i", + "▁p ound", + "▁po und", + "▁pou nd", + "▁mod ules", + "▁module s", + "▁ modules", + "▁w orn", + "▁wor n", + "▁wo rn", + "▁par ad", + "▁para d", + "▁pa rad", + "▁C os", + "▁Co s", + "fi c", + "▁Jim my", + "▁lan ds", + "▁min ist", + "▁mini st", + "vs pace", + "v space", + "▁light ing", + "▁n aked", + "▁na ked", + "▁design er", + "▁St ream", + "▁Stre am", + "▁ Stream", + "TM P", + "T MP", + "Cent er", + "C enter", + "resent ation", + "ON T", + "O NT", + "▁e rs", + "▁er s", + "▁ ers", + "▁measure ment", + "▁mus cles", + "▁muscle s", + "▁I gn", + "▁ Ign", + "▁C OM", + "▁CO M", + "▁ COM", + "▁f ru", + "▁fr u", + "▁gen re", + "▁al pha", + "▁ alpha", + "▁ret irement", + "▁G on", + "▁Go n", + "ő l", + "cont ents", + "content s", + "▁he aling", + "▁heal ing", + "▁s ido", + "▁si do", + "▁sid o", + "incip al", + "Per mission", + "Perm ission", + "▁G ordon", + "▁Gor don", + "▁R ank", + "▁Ran k", + "▁ Rank", + "▁Aut om", + "▁Au tom", + "▁Auto m", + "▁ Autom", + "Con structor", + "Construct or", + "wi ki", + "wik i", + "w iki", + "▁concern ing", + "▁concer ning", + "riz ona", + "▁var iant", + "▁vari ant", + "▁ variant", + "▁arr anged", + "▁arrang ed", + "▁arrange d", + "BP ACK", + "B PACK", + "Tim estamp", + "re store", + "rest ore", + "aw are", + "awa re", + "a ware", + "▁Ob serv", + "▁ Observ", + "▁S V", + "▁ SV", + "▁Execut ive", + "▁col leg", + "▁coll eg", + "▁colle g", + "▁explicit ly", + "wr itten", + "writ ten", + "▁K ön", + "▁Kö n", + "ir us", + "i rus", + "▁H old", + "▁Hol d", + "▁Ho ld", + "▁P ract", + "▁Pr act", + "▁Pra ct", + "Char acter", + "▁red istribute", + "uer to", + "▁Stud ent", + "▁ Student", + "▁el der", + "▁D op", + "▁Do p", + "v p", + "▁H ub", + "▁Hu b", + "▁ Hub", + "▁sign als", + "▁sig nals", + "▁signal s", + "▁g ifts", + "▁gift s", + "▁streng then", + "▁strength en", + "▁L yn", + "▁Ly n", + "com mun", + "comm un", + "▁fin ance", + "▁financ e", + "no c", + "n oc", + "he lm", + "hel m", + "h elm", + "▁c uts", + "▁cut s", + "▁cu ts", + "▁advent ure", + "▁R ic", + "▁intellect ual", + "▁Out put", + "▁ Output", + "▁aw k", + "▁ awk", + "▁concentr ation", + "▁guid ance", + "Buf f", + "Bu ff", + "B uff", + "▁f illing", + "▁fil ling", + "▁fill ing", + "▁reg ul", + "▁del icious", + "([ ]", + "( []", + "▁ton s", + "▁ tons", + "act ivity", + "activ ity", + "G P", + "LO B", + "L OB", + "st adt", + "sta dt", + "stad t", + "ta l", + "t al", + "▁im g", + "▁i mg", + "▁ img", + "▁r ush", + "▁ru sh", + "▁rus h", + "att ice", + "atti ce", + "▁p ok", + "▁po k", + "st eps", + "ste ps", + "step s", + "▁l id", + "▁li d", + "▁D NA", + "B rowser", + "▁lad ies", + "▁an nées", + "▁ann ées", + "▁resc ue", + "av ity", + "avi ty", + "ro ck", + "roc k", + "r ock", + "▁glass es", + "▁B ey", + "▁Be y", + ")} $", + ") }$", + "de tail", + "det ail", + "▁d és", + "▁dé s", + "ta x", + "t ax", + "▁favour ite", + "▁prec ision", + "▁con oc", + "▁co noc", + "M s", + "▁Nat ive", + "▁ Native", + "▁P il", + "▁Pi l", + "Input Stream", + "or p", + "o rp", + "▁P ap", + "▁Pa p", + "▁p icking", + "▁pick ing", + "▁pic king", + "ip h", + "i ph", + "Load ing", + "Lo ading", + "▁pr iest", + "▁pri est", + "H ook", + "▁p ist", + "▁pi st", + "▁U ne", + "▁Un e", + "▁ Une", + "▁b il", + "▁bi l", + "▁ bil", + "▁conserv ative", + "ev al", + "eva l", + "e val", + "ik ing", + "iki ng", + "i king", + "'} ,", + "' },", + "▁sa uce", + "▁sau ce", + "as sen", + "ass en", + "asse n", + "▁occasion ally", + "▁occasional ly", + "un known", + "unk nown", + "DE D", + "D ED", + "▁dru m", + "▁d ub", + "▁du b", + "AT URE", + "us age", + "usa ge", + "get Type", + "re ply", + "rep ly", + "▁strateg ic", + "▁k ap", + "▁ka p", + "▁ kap", + "de sign", + "des ign", + "date time", + "dat etime", + "▁P rim", + "▁Pr im", + "▁Pri m", + "▁ Prim", + "Ma ster", + "M aster", + "▁T u", + "▁t ous", + "▁to us", + "▁tou s", + "▁c lar", + "▁cl ar", + "▁po em", + "al bum", + "] *", + "lo aded", + "load ed", + "▁travel ing", + "▁trav eling", + "▁F err", + "▁Fe rr", + "▁Fer r", + "▁p harm", + "▁ph arm", + "ab i", + "a bi", + "▁} \\", + "▁ }\\", + "col lect", + "coll ect", + "▁B our", + "▁Bo ur", + "▁Bou r", + "▁measure ments", + "▁measurement s", + "▁Profess ional", + "▁s ensor", + "▁sens or", + "▁sen sor", + "▁ sensor", + "ut sche", + "uts che", + "utsch e", + "▁dem anded", + "▁demand ed", + "▁p rend", + "▁pre nd", + "▁pr end", + "▁enc oding", + "▁ encoding", + "▁Gesch ichte", + "▁m ig", + "▁mi g", + "▁Re ich", + "▁m yster", + "▁my ster", + "▁myst er", + "▁M ock", + "▁Mo ck", + "▁ Mock", + "▁phys ically", + "▁physical ly", + "▁B au", + "▁Ba u", + "▁S ingle", + "▁Sing le", + "▁Sin gle", + "▁ Single", + "▁man aging", + "▁K il", + "▁Ki l", + "▁Temp le", + "▁l ev", + "▁le v", + "▁ lev", + "▁l í", + "CP U", + "C PU", + "▁G ive", + "▁Gi ve", + "ir i", + "i ri", + "N V", + "▁A I", + "▁ AI", + "▁f p", + "▁ fp", + "лекс анд", + "▁t ant", + "▁tan t", + "▁ta nt", + "▁f ot", + "▁fo t", + "Null able", + "▁gu ards", + "▁guard s", + "On ce", + "▁ch amber", + "▁cha mber", + "fil m", + "fi lm", + "▁b ias", + "▁bi as", + "▁ bias", + "▁Ta i", + "ins ic", + "insi c", + "▁m l", + "▁ ml", + "▁K a", + "▁S ER", + "▁SE R", + "▁ SER", + "▁Some one", + "}} _{", + "}}_ {", + "} }_{", + "Fix ed", + "F ixed", + "▁b ent", + "▁be nt", + "▁ben t", + "▁b id", + "▁bi d", + "▁ bid", + "▁fe wer", + "▁few er", + "▁l ugar", + "▁lug ar", + "▁lu gar", + "▁de serve", + "▁des erve", + "ss l", + "s sl", + "▁c fg", + "▁cf g", + "▁ cfg", + "re ck", + "rec k", + "▁st ability", + "▁stabil ity", + "▁stab ility", + "re size", + "res ize", + "▁assert That", + "Tr igger", + "pl ugins", + "plugin s", + "plug ins", + "▁l ets", + "▁le ts", + "▁let s", + "▁ lets", + "хі д", + "х ід", + "▁La ura", + "▁Lau ra", + "▁br ut", + "▁bru t", + "▁F I", + "▁ FI", + "is ons", + "ison s", + "iso ns", + "▁dy n", + "▁ dyn", + "ic her", + "ich er", + "iche r", + "i cher", + "ray ed", + "▁frequ ent", + "▁jed och", + "st rings", + "str ings", + "string s", + "▁U til", + "▁Ut il", + "▁ Util", + "▁b os", + "▁bo s", + "Mu s", + "M us", + "▁Portug al", + "Str ategy", + "▁sl ice", + "▁slic e", + "▁ slice", + "▁ins ight", + "▁w idget", + "▁wid get", + "▁ widget", + "▁gén éral", + "message s", + "m essages", + "▁requ irement", + "▁require ment", + "Si de", + "S ide", + "empl ates", + "emplate s", + "▁cer emony", + "▁ceremon y", + "▁phys ics", + "▁grad uate", + "▁gradu ate", + "▁ graduate", + "par a", + "pa ra", + "p ara", + "▁pre serv", + "▁pres erv", + "▁sh ops", + "▁shop s", + "▁ shops", + "ze k", + "z ek", + "▁u b", + "▁ ub", + "pre pare", + "▁O il", + "▁f ib", + "▁fi b", + "▁run time", + "▁ runtime", + "▁h ogy", + "▁ho gy", + "Warn ing", + "War ning", + "W arning", + "▁Con vert", + "▁ Convert", + "▁emer ged", + "▁emerge d", + "gu ard", + "ka l", + "k al", + "valid ation", + "ên cia", + "ê ncia", + "▁dr inks", + "▁drink s", + "the orem", + "H R", + "ie v", + "i ev", + "ploy ee", + "Us age", + "▁сп е", + "dis patch", + "disp atch", + "▁inst antly", + "▁instant ly", + "ob i", + "o bi", + "▁just ify", + "▁N ev", + "▁Ne v", + "ag ra", + "agr a", + "a gra", + "▁trans mission", + "▁transm ission", + "fl y", + "f ly", + "; ' ;", + "> ';", + "▁cou sin", + "▁cous in", + "create Element", + "Co uld", + "C ould", + "▁cap ac", + "▁p ause", + "▁pa use", + "▁paus e", + "▁ pause", + "Array List", + "kt e", + "k te", + "ord ered", + "order ed", + "▁sh aking", + "▁sha king", + "label s", + "lab els", + "▁redu cing", + "US ED", + "USE D", + "U SED", + "▁v oting", + "▁vo ting", + "▁vot ing", + "▁M ig", + "▁Mi g", + "▁C hen", + "▁Ch en", + "▁Che n", + "▁ac company", + "▁accompan y", + "▁accomp any", + "ul le", + "ull e", + "u lle", + "▁g a", + "▁ ga", + "▁equ ipped", + "▁equip ped", + "▁n un", + "▁nu n", + "Be t", + "B et", + "▁lic ensed", + "▁license d", + "AR CH", + "F N", + "▁s ter", + "▁st er", + "▁ste r", + "▁ ster", + "▁loc ale", + "▁local e", + "▁ locale", + "lin ks", + "link s", + "l inks", + "▁Cap ital", + "▁al ien", + "▁ali en", + "W r", + "р ъ", + "Car t", + "C art", + "▁Mark eting", + "▁Market ing", + "▁R T", + "▁ RT", + "File Name", + "▁t i", + "▁ ti", + "ij i", + "i ji", + "▁vers us", + "li ve", + "liv e", + "l ive", + "Sy m", + "S ym", + "ko r", + "k or", + "▁e mission", + "▁em ission", + "um m", + "u mm", + "yc z", + "y cz", + "▁clim bed", + "▁climb ed", + "▁plus ieurs", + "ya r", + "y ar", + "os ten", + "ost en", + "o sten", + "▁u sb", + "▁us b", + "▁ usb", + "▁cross ing", + "▁pol ynom", + "▁poly nom", + "▁rem oval", + "▁Ad ams", + "▁Adam s", + "▁i hre", + "▁ih re", + "▁ihr e", + "an den", + "and en", + "ande n", + "▁Ben j", + "▁P hill", + "▁Ph ill", + "▁Phil l", + "▁wound ed", + "bi ld", + "bil d", + "b ild", + "An notation", + "Process or", + "▁t in", + "▁ti n", + "fo lg", + "fol g", + "▁Stud ents", + "▁Student s", + "▁administr ative", + "IL ED", + "ILE D", + "I LED", + "▁con qu", + "▁che er", + "▁C es", + "▁Ce s", + "B ecause", + "▁J uni", + "▁Jun i", + "▁Ju ni", + "▁en contr", + "av i", + "a vi", + "ak u", + "a ku", + "▁T on", + "▁To n", + "▁sm oking", + "▁b ay", + "▁ba y", + "work s", + "wor ks", + "at tered", + "att ered", + "atter ed", + "atte red", + "▁Bo olean", + "▁ Boolean", + "▁Ba lt", + "de fer", + "def er", + "path y", + "pat hy", + "pa thy", + "A h", + "▁a kt", + "▁ak t", + "▁ akt", + "▁gover nor", + "P ad", + "▁si sters", + "▁sister s", + "▁sist ers", + "La t", + "L at", + "▁re vel", + "▁r evel", + "▁rev el", + "▁reve l", + "▁S Y", + "▁ SY", + "it os", + "ito s", + "i tos", + "▁fil ters", + "▁filter s", + "▁ filters", + "Ch unk", + "con sum", + "cons um", + "▁rem oving", + "▁H err", + "▁He rr", + "▁Her r", + "▁gener ator", + "▁ generator", + "▁C ra", + "▁Cr a", + "▁far mers", + "▁farm ers", + "▁farmer s", + "▁Mem bers", + "▁Member s", + "▁ Members", + "▁over come", + "▁C in", + "▁Ci n", + "ig keit", + "cri ptions", + "cription s", + "cript ions", + "Test s", + "Te sts", + "T ests", + "▁sh ake", + "▁sha ke", + "▁ shake", + "▁y y", + "▁ yy", + "pl acement", + "place ment", + "plac ement", + "▁Bl ood", + "▁Blo od", + "▁bul let", + "▁bull et", + "▁ bullet", + "▁v iene", + "▁vi ene", + "▁vie ne", + "▁Fin ancial", + "F uture", + "▁r ou", + "▁ro u", + "▁ rou", + "▁bi ologie", + "▁use State", + "ia ni", + "ian i", + "i ani", + "pie ce", + "p iece", + "▁spe aker", + "▁speak er", + "▁re fr", + "▁ref r", + "AR K", + "▁M IT", + "▁MI T", + "▁ MIT", + "▁T an", + "▁Ta n", + "▁B ased", + "▁Bas ed", + "▁Base d", + "▁Ba sed", + "▁ Based", + "▁cult iv", + "▁hung ry", + "▁A y", + "▁H ey", + "▁He y", + "▁ Hey", + "▁excit ement", + "ibr aries", + "Hi t", + "H it", + "▁E nde", + "▁En de", + "▁End e", + "N G", + "FI L", + "F IL", + ".\" )", + ". \")", + "F amily", + "in ery", + "ine ry", + "iner y", + "ne cess", + "ve lope", + "vel ope", + "velop e", + "▁B ot", + "▁Bo t", + "▁ Bot", + "port er", + "por ter", + "porte r", + "p orter", + "▁cl imb", + "▁clim b", + "▁E li", + "▁El i", + "ur ent", + "ure nt", + "uren t", + "u rent", + "▁mist akes", + "▁mistake s", + "áb an", + "á ban", + "mark s", + "mar ks", + "m arks", + "pk t", + "p kt", + "L ibrary", + "st ed", + "ste d", + "s ted", + "ublic e", + "ubl ice", + "▁Administr ation", + "▁Admin istration", + "▁sh apes", + "▁shape s", + "▁sha pes", + "Go d", + "G od", + "in nen", + "inn en", + "<< <<", + "ib e", + "i be", + "ê s", + "▁ Foreign", + "▁Marg aret", + "▁g ene", + "▁gen e", + "▁ge ne", + "▁dist urb", + "▁on Click", + "▁Engine ering", + "▁stop ping", + "▁sto pping", + "▁restr ictions", + "▁restrict ions", + "▁restriction s", + ", *", + "BU F", + "▁sh adows", + "▁shadow s", + "hc i", + "h ci", + "▁Christ ians", + "▁Christian s", + "▁f ence", + "▁fen ce", + "▁lux ury", + "co ord", + "▁invest igate", + "▁investig ate", + "▁convent ional", + "▁convention al", + "\" —", + "▁vis its", + "▁visit s", + "is é", + "▁S ac", + "▁Sa c", + "class Name", + "▁Psy ch", + "▁ref lected", + "▁reflect ed", + "▁V ice", + "▁Vi ce", + "▁Vic e", + "ła w", + "ł aw", + "▁Wol f", + "re nte", + "ren te", + "rent e", + "r ente", + "▁Ch ampion", + "▁sim ulation", + "es ota", + "eso ta", + "▁S oon", + "▁So on", + "▁C el", + "▁Ce l", + "▁the ories", + "▁S TR", + "▁ST R", + "▁ STR", + "▁collect ive", + "▁coord inate", + "query Selector", + "em ed", + "eme d", + "e med", + "B reak", + "▁g ef", + "▁ge f", + "▁electric ity", + "▁gather ing", + "ate rs", + "ex per", + "exp er", + "▁R oma", + "▁Rom a", + "▁Ro ma", + "▁Co oper", + "SY MBOL", + "v d", + "ain es", + "ai nes", + "aine s", + "a ines", + "▁G rad", + "▁Gr ad", + "▁Gra d", + "▁ Grad", + "wo h", + "w oh", + "▁con sequence", + "▁consequ ence", + "▁convers ations", + "▁conversation s", + "▁and ere", + "▁ander e", + "▁System s", + "▁mo ist", + "▁mois t", + "fl u", + "f lu", + "ці я", + "ни ш", + "▁r ode", + "▁ro de", + "▁rod e", + "▁p erd", + "▁per d", + "▁pe rd", + "▁s zer", + "▁sz er", + "▁in tim", + "▁int im", + "std err", + "▁ref lection", + "▁reflect ion", + "Sc an", + "S can", + "▁dis aster", + "ake spe", + "akes pe", + "▁In valid", + "▁ Invalid", + "▁hum or", + "▁Fried rich", + "▁suggest ions", + "▁suggestion s", + "uv ud", + "De lay", + "Del ay", + "br ief", + "b rief", + "gl ied", + "fa s", + "f as", + "▁S mart", + "▁Sm art", + "▁m edi", + "▁me di", + "▁med i", + "▁ medi", + "sd k", + "s dk", + "▁se us", + "▁seu s", + "▁A rizona", + "▁innoc ent", + "War n", + "W arn", + "ac ious", + "aci ous", + "acio us", + "▁c aps", + "▁cap s", + "▁ca ps", + "▁ caps", + "Dele gate", + "▁dram atic", + "bo oks", + "book s", + "▁sh ore", + "▁ shore", + "uk i", + "u ki", + "▁Russ ell", + "▁cor relation", + "▁corre lation", + "▁correl ation", + "He lp", + "Hel p", + "▁pub blic", + "zy m", + "z ym", + "com b", + "co mb", + "c omb", + "E Y", + "LEN GTH", + "▁M ün", + "▁_ .", + "▁ _.", + "▁f erm", + "▁fe rm", + "▁fer m", + "▁I an", + "▁St udio", + "▁aff airs", + "▁affair s", + "lo s", + "l os", + "Rule s", + "R ules", + "run ning", + "r unning", + "▁Post ed", + "▁Po sted", + "▁Pos ted", + "P ixel", + "▁d ancing", + "▁dan cing", + "▁agree ments", + "▁agre ements", + "▁agreement s", + "▁P ic", + "▁Pi c", + "an cia", + "anc ia", + "a ncia", + "▁m á", + "ation Token", + "des criptor", + "▁C arter", + "▁Car ter", + "▁Cart er", + "Re lease", + "Rele ase", + "**** ********", + "******** ****", + "****** ******", + "▁out standing", + "ch anges", + "change s", + "chan ges", + "AR RAY", + "▁Bar bara", + "▁Barb ara", + "▁nur se", + "▁nurs e", + "( \r", + "▁Dou glas", + "▁Doug las", + "▁nu cle", + "▁nuc le", + "o uri", + "▁St yle", + "▁ Style", + "av o", + "a vo", + "▁pain ful", + "▁s lic", + "▁sl ic", + "▁sein em", + "▁seine m", + "▁sei nem", + "SUP PORT", + "og ene", + "ogen e", + "oge ne", + "▁sat ell", + "ta gon", + "tag on", + "t agon", + "▁coll apse", + "▁ collapse", + "ve lle", + "vel le", + "v elle", + "MO N", + "M ON", + "augh ters", + "aught ers", + "aughter s", + "▁threat ened", + "▁Il legal", + "▁desper ate", + "st rict", + "str ict", + "stri ct", + "\\\" :", + "\\ \":", + "▁conf lic", + "down load", + "at os", + "ato s", + "a tos", + "▁Pos ition", + "▁ Position", + ".* ;", + ". *;", + "▁the ater", + "▁ple asant", + "▁C ette", + "he et", + "▁p ir", + "▁pi r", + "▁ac quis", + "▁acqu is", + "▁на зва", + "вер сите", + "▁res pective", + "▁respect ive", + "▁t unnel", + "▁tun nel", + "▁tunn el", + "▁De an", + "D u", + "▁un cle", + "▁unc le", + "▁off ensive", + "co lo", + "col o", + "c olo", + "▁Un like", + "se ries", + "ser ies", + "serie s", + "s eries", + "▁A rn", + "▁Ar n", + "min ute", + "▁des criptor", + "▁ descriptor", + "▁st ones", + "▁stone s", + "▁sto nes", + "IC ATION", + "▁P ad", + "▁Pa d", + "▁ Pad", + "e i", + "▁fant asy", + "\" }", + "▁or th", + "▁ orth", + "hal ten", + "halt en", + "de ep", + "▁K ay", + "▁Ka y", + "requ ency", + "▁dut ies", + "aw t", + "a wt", + "▁ne arest", + "▁near est", + "▁dis order", + "▁Ch ile", + "▁Chi le", + "▁s eq", + "▁se q", + "▁ seq", + "▁transport ation", + "O O", + "▁D ez", + "▁De z", + "ij u", + "i ju", + "▁Result s", + "▁ Results", + "je d", + "j ed", + "iv el", + "ive l", + "i vel", + "HO ST", + "H OST", + "▁ €", + "▁ Î", + "▁c hin", + "▁ch in", + "▁chi n", + "▁m att", + "▁mat t", + "▁ma tt", + "▁ge hör", + "▁s ue", + "▁su e", + "▁leg acy", + "в ся", + "SO URCE", + "W ORK", + "it is", + "iti s", + "▁$ |", + "▁n r", + "▁ nr", + "▁T amb", + "▁Ta mb", + "▁Tam b", + "▁sn ap", + "▁ snap", + "▁im pressed", + "▁imp ressed", + "▁impress ed", + "▁depos it", + "▁d ivid", + "▁di vid", + "▁div id", + "Seg ment", + "▁G as", + "▁Ga s", + "▁cr imes", + "▁crim es", + "▁crime s", + "▁cri mes", + "▁ins ult", + "▁H um", + "▁Hu m", + "▁bound ed", + "▁k icked", + "▁kick ed", + "▁| \\", + "▁ |\\", + "ad ded", + "add ed", + "Pro du", + "P rodu", + "▁. /", + "▁ ./", + "▁awk ward", + "▁ ї", + "▁CON TR", + "▁be im", + "▁bei m", + "▁place holder", + "▁ placeholder", + "sp i", + "s pi", + "▁B ei", + "▁Be i", + "▁P f", + "ient es", + "ien tes", + "iente s", + "i entes", + "dis k", + "di sk", + "d isk", + "bl k", + "ne o", + "it arian", + "ita rian", + "itar ian", + "▁c ogn", + "▁co gn", + "▁s out", + "▁so ut", + "▁sou t", + "▁tr ash", + "▁tra sh", + "▁tras h", + "▁R ab", + "▁Ra b", + "▁dec line", + "▁decl ine", + "ta t", + "t at", + "▁comb ine", + "▁T ot", + "▁To t", + "▁dr ops", + "▁dro ps", + "▁drop s", + "Time s", + "Tim es", + "T imes", + "ched uler", + "chedul er", + "▁govern ments", + "▁government s", + "Te x", + "T ex", + "▁U sed", + "▁Us ed", + "▁Use d", + "▁ Used", + "▁p d", + "▁ pd", + "▁&= &", + "▁N ag", + "▁Na g", + "▁Al ways", + "rt c", + "r tc", + "rupt ed", + "rup ted", + "▁man agers", + "▁manager s", + "▁manage rs", + "▁P itt", + "▁Pi tt", + "▁myst ery", + "▁myster y", + "ul se", + "uls e", + "cr oss", + "cro ss", + "c ross", + "quest ion", + "as ha", + "ash a", + "a sha", + "se ed", + "see d", + "s eed", + "ur able", + "ura ble", + "Fin al", + "Fi nal", + "F inal", + "++ ++", + "input s", + "▁back up", + "▁ backup", + "▁Le arning", + "▁Lear ning", + "▁Learn ing", + "▁* ,", + "▁ *,", + "lo go", + "log o", + "l ogo", + "▁se inen", + "▁sein en", + "▁seine n", + "▁sei nen", + "▁vulner able", + "direct ory", + "i ë", + "▁friend ship", + "▁friends hip", + "t u", + "▁V ec", + "▁Ve c", + "▁ Vec", + "rif ice", + "rific e", + "▁inv olve", + "▁invol ve", + "TO N", + "T ON", + "▁cor rid", + "se par", + "sep ar", + "Dest roy", + "▁j ul", + "▁ju l", + "▁inequ ality", + "▁a in", + "▁ai n", + "▁ ain", + "he x", + "h ex", + "▁w ider", + "▁wide r", + "▁wid er", + "▁j ack", + "▁ja ck", + "▁ jack", + "▁qu ot", + "▁ quot", + "▁G len", + "▁Gl en", + "▁Gle n", + "init ely", + "ih ood", + "i hood", + "▁wa ist", + "reg ular", + "▁( &", + "▁ (&", + "▁mass es", + "▁mas ses", + "▁DE FAULT", + "▁ DEFAULT", + "▁ch airs", + "▁chair s", + "▁cha irs", + "▁F ast", + "▁Fa st", + "▁ Fast", + "▁c itt", + "▁cit t", + "▁ci tt", + "_{ {\\", + "_ {{\\", + "o a", + "▁$ \\{", + "▁$\\ {", + "▁se eds", + "▁see ds", + "▁seed s", + "▁A ld", + "▁Al d", + "fa b", + "f ab", + "▁democr acy", + "DT O", + "D TO", + "▁H ij", + "▁Hi j", + "PT R", + "P TR", + "N a", + "▁Har vard", + "si d", + "s id", + "Pr ed", + "Pre d", + "P red", + "fer s", + "fe rs", + "f ers", + "▁s pare", + "▁sp are", + "AM P", + "A MP", + "▁g roupe", + "▁group e", + "▁s ender", + "▁se nder", + "▁send er", + "▁sen der", + "▁ sender", + "▁Christ opher", + "▁prisoner s", + "▁K er", + "▁Ke r", + "▁C rist", + "▁Cr ist", + "▁Cris t", + "▁A LL", + "▁AL L", + "▁ ALL", + "ri ce", + "ric e", + "r ice", + "▁an tes", + "▁ant es", + "▁ante s", + "▁ antes", + "nat ural", + "▁Su san", + "▁Sus an", + "▁J uli", + "▁Jul i", + "▁Ju li", + "▁di ab", + "▁dia b", + "ix on", + "ic ator", + "ica tor", + "▁flex ible", + "▁re serve", + "Cont ains", + "▁H il", + "▁Hi l", + "▁I sa", + "▁Is a", + "▁tow ns", + "G S", + "▁T rad", + "▁Tr ad", + "▁Tra d", + "▁L ock", + "▁Loc k", + "▁Lo ck", + "▁ Lock", + "▁G rund", + "▁Gr und", + "▁Gru nd", + "▁crit icism", + "▁c ă", + "▁polit ician", + "st able", + "sta ble", + "s table", + "Ac cept", + "Sum mary", + "▁tamb ém", + "▁també m", + "}^ {-", + "}^{ -", + "} ^{-", + "▁I M", + "▁ IM", + "id al", + "ida l", + "i dal", + "Bl ue", + "GRO UP", + "▁term inal", + "▁termin al", + "▁complex ity", + "▁loc ally", + "▁local ly", + "DO WN", + "▁N ear", + "▁Ne ar", + "Dep th", + "▁p ole", + "▁pol e", + "▁po le", + "▁e quality", + "▁equ ality", + "▁equal ity", + "Si te", + "S ite", + "▁is instance", + "Sp eed", + "Spe ed", + "S peed", + "ip pi", + "ipp i", + ", &", + "▁E nc", + "▁En c", + "▁ Enc", + "▁ma ter", + "▁mate r", + "▁sl aves", + "▁slave s", + "▁sla ves", + "AC TION", + "ACT ION", + "A CTION", + "usal em", + "usa lem", + "▁h az", + "▁ha z", + "▁Be at", + "▁w rest", + "▁wr est", + "▁l lam", + "▁ll am", + "In s", + "I ns", + "▁бу в", + "▁Fr ame", + "▁Fra me", + "▁ Frame", + "us hes", + "ush es", + "▁virtual ly", + "▁virt ually", + "▁P erm", + "▁Per m", + "▁Pe rm", + "▁ Perm", + "▁we ights", + "▁weight s", + "▁weigh ts", + "▁ weights", + "▁ll vm", + "▁ llvm", + "▁c ave", + "▁ca ve", + "▁cav e", + "st ates", + "state s", + "stat es", + "sta tes", + "DM A", + "D MA", + "el lt", + "ell t", + "if act", + "ifa ct", + "i fact", + "v endor", + "▁E mma", + "▁Em ma", + "Loc ale", + "Local e", + "▁S ET", + "▁SE T", + "▁ SET", + "▁ge ometry", + "▁ geometry", + "St yles", + "Style s", + "▁Ref eree", + "▁Refer ee", + "▁we it", + "fi ca", + "fic a", + "f ica", + "▁a ds", + "▁ad s", + "▁ ads", + "gr ay", + "gra y", + "g ray", + "▁B urg", + "▁Bur g", + "▁Bu rg", + "ion a", + "io na", + "i ona", + "dag ger", + "d agger", + "▁Jan uar", + "ister schaft", + "pp o", + "p po", + "oid s", + "oi ds", + "o ids", + "▁dé part", + "Sh ader", + "▁con straint", + "▁constr aint", + "▁ constraint", + "Se cret", + "Sec ret", + "▁P eters", + "▁Pe ters", + "▁Peter s", + "▁Pet ers", + "▁Pete rs", + "▁ey eb", + "▁eye b", + "▁m esh", + "▁me sh", + "▁mes h", + "▁ mesh", + "▁c ookie", + "▁cook ie", + "▁ cookie", + "▁P ick", + "▁Pic k", + "▁Pi ck", + "▁n ick", + "▁ni ck", + "▁nic k", + "▁ nick", + "by e", + "b ye", + "▁sav ings", + "▁saving s", + "Tr y", + "T ry", + "py thon", + "▁p atri", + "▁pat ri", + "▁pa tri", + "▁mul tip", + "▁ multip", + "▁k inda", + "▁kind a", + "▁kin da", + "▁' _", + "▁ '_", + "▁Fr anz", + "▁Fran z", + "▁cl oth", + "▁clo th", + "▁human ity", + "re sa", + "res a", + "r esa", + "bl ob", + "blo b", + "▁T X", + "▁ TX", + "▁B uch", + "▁Bu ch", + "▁Buc h", + "▁L ond", + "▁Lo nd", + "▁val ley", + "▁m urm", + "▁mur m", + "▁mu rm", + "▁T rade", + "▁Tr ade", + "▁Tra de", + "▁Trad e", + "line width", + "▁e special", + "▁espec ial", + "up per", + "upp er", + "▁h osp", + "▁ho sp", + "▁t anto", + "▁tan to", + "▁tant o", + "▁ol dest", + "▁R oose", + "▁Ro ose", + "▁h itting", + "▁hit ting", + "do g", + "d og", + "ov i", + "o vi", + "}, \r", + "} ,\r", + "▁compat ible", + "▁ compatible", + "▁We bsite", + "▁Web site", + "po ch", + "p och", + "▁B ag", + "▁Ba g", + "▁ Bag", + "▁accompl ish", + "▁accomp lish", + "Ch rist", + "as set", + "ass et", + "asse t", + "▁U ntil", + "▁Un til", + "▁ Until", + "▁g eld", + "▁ge ld", + "▁gel d", + "List en", + "Li sten", + "L isten", + "S B", + "Set up", + "ic ia", + "ici a", + "i cia", + "▁l um", + "▁lu m", + "▁jan vier", + "PA GE", + "P AGE", + "▁N u", + "/ \"", + "▁divor ce", + "Ex ecute", + "Execut e", + "Exec ute", + "De pend", + "Dep end", + "▁T s", + "ru ppe", + "rup pe", + "▁ref use", + "▁Ok tober", + "ij k", + "i jk", + "▁A my", + "▁Am y", + "▁di min", + "▁dim in", + "▁g ross", + "▁gr oss", + "▁gro ss", + "▁t rat", + "▁tr at", + "▁tra t", + "is ible", + "isi ble", + "mix er", + "m ixer", + "▁aut res", + "▁au tres", + "▁autre s", + "▁ autres", + "▁ne at", + "▁ot ros", + "▁otro s", + "Vo id", + "V oid", + "▁sc hol", + "▁Wal ker", + "▁Walk er", + "▁t ube", + "▁tu be", + "▁tub e", + "olog ists", + "ologist s", + "▁h aben", + "▁hab en", + "▁ha ben", + "ub er", + "ube r", + "u ber", + "ACT IVE", + "▁Att endance", + "▁bl ade", + "opl us", + "o plus", + "▁Or iginal", + "▁Origin al", + "▁ Original", + "▁manufact urer", + "as z", + "a sz", + "ât e", + "â te", + "re r", + "r er", + "▁J son", + "▁ Json", + "▁succeed ed", + "uff le", + "▁b acked", + "▁back ed", + "es ian", + "esi an", + "ti ck", + "t ick", + "Ex ternal", + "▁he arts", + "▁heart s", + "▁hear ts", + "ol u", + "o lu", + "VI CE", + "V ICE", + "ár io", + "á rio", + "▁fr aud", + "▁fra ud", + "ed u", + "e du", + "Pr imary", + "Prim ary", + "▁g aming", + "▁gam ing", + "▁ga ming", + "▁p lt", + "▁pl t", + "ig ator", + "iga tor", + "IE S", + "I ES", + "Comp iler", + "▁mon ument", + "ag em", + "age m", + "a gem", + "▁R ain", + "▁Ra in", + "▁mo ins", + "ok u", + "o ku", + "os ex", + "ose x", + "o sex", + "▁K ansas", + "▁gep ublice", + "▁J oy", + "▁Jo y", + "Sc ene", + "ri ces", + "ric es", + "rice s", + "r ices", + "▁ju in", + "▁uncomfort able", + "▁M oney", + "▁Mon ey", + "▁Mo ney", + "ob b", + "o bb", + "ex pl", + "exp l", + "str cmp", + "▁d read", + "▁dr ead", + "▁dre ad", + "rit ion", + "r ition", + "▁C hi", + "▁Ch i", + "▁demonstr ated", + "▁demonstrate d", + "▁vert ices", + "▁C ulture", + "▁ Culture", + "F X", + "D ictionary", + "▁D ru", + "▁Dr u", + "tr m", + "t rm", + "▁ex amine", + "▁exam ine", + "▁the rap", + "▁ther ap", + "i ème", + "▁produ ces", + "▁produce s", + "▁photograph s", + "▁thread s", + "▁ threads", + "▁M I", + "▁ MI", + "▁extraord inary", + "▁gepublice erd", + "▁guarante ed", + "▁guarantee d", + "R G", + "os c", + "o sc", + "err no", + "sc ience", + "if fs", + "iff s", + "▁Ta m", + "▁B eth", + "▁Be th", + "▁Bet h", + "▁Tr avel", + "▁Tra vel", + "▁trans late", + "▁transl ate", + "▁ translate", + "ch é", + "▁l ing", + "▁li ng", + "▁lin g", + "▁ ling", + "▁bel ongs", + "▁belong s", + "▁elect rical", + "▁electric al", + "en sk", + "ens k", + "▁Com pet", + "▁Comp et", + "c g", + "V C", + "to pic", + "top ic", + "t opic", + "▁pre sum", + "▁pres um", + "▁approxim ation", + "▁approx imation", + "▁g rim", + "▁gr im", + "▁gri m", + "_{ (", + "_ {(", + "uti on", + "ow ych", + "owy ch", + "å g", + "ster reich", + "▁character istic", + "om ing", + "omin g", + "omi ng", + "o ming", + "▁/* !", + "▁ /*!", + "▁pr ize", + "▁pri ze", + "▁Minn esota", + "▁O m", + "▁ Om", + "▁ind ices", + "▁indic es", + "▁ indices", + "▁s tem", + "▁st em", + "▁ste m", + "re gon", + "reg on", + "ни че", + "▁Sal v", + "▁Sa lv", + "és e", + "é se", + "▁a ged", + "▁ag ed", + "▁age d", + "▁ aged", + "▁P ast", + "▁Pa st", + "▁Pas t", + "▁intern ation", + "▁V ic", + "▁Vi c", + "▁res ume", + "▁ resume", + "akespe are", + "▁est ado", + "▁esta do", + "▁estad o", + "▁ab ilities", + "▁ abilities", + "▁b row", + "▁br ow", + "▁bro w", + "▁N FL", + "▁tr ends", + "▁trend s", + "▁tren ds", + "▁Aust in", + "▁L IMIT", + "▁LI MIT", + "▁ LIMIT", + "▁K or", + "▁Ko r", + "▁fol k", + "▁ folk", + "▁w ard", + "▁war d", + "▁wa rd", + "▁ ward", + "▁n est", + "▁ne st", + "▁Jun ior", + "▁Juni or", + "▁maint aining", + "▁maintain ing", + "P ub", + "OB JECT", + "▁blo ody", + "▁blood y", + "▁s j", + "▁d type", + "▁dt ype", + "▁ dtype", + "Pan e", + "P ane", + "▁b acter", + "▁grad ually", + "▁gradu ally", + "m r", + "Te am", + "▁ind icating", + "▁indic ating", + "▁decre ase", + "te k", + "t ek", + "▁Re present", + "▁Rep resent", + "▁develop ers", + "▁developer s", + "Gu id", + "Gui d", + "G uid", + "▁D iet", + "▁Die t", + "▁Di et", + "▁re tr", + "▁r etr", + "▁ret r", + "Nav igation", + "es i", + "e si", + "▁l azy", + "▁la zy", + "Stand ard", + "E r", + "A W", + "▁Ét ats", + "▁ass ured", + "▁assure d", + "Sa n", + "S an", + "▁Andr e", + "’ ,", + "fa ng", + "fan g", + "f ang", + "ér ation", + "▁indust ries", + "▁in con", + "▁inc on", + "Em it", + "E mit", + "▁ret riev", + "▁retr iev", + "en i", + "e ni", + "▁Tur key", + "▁Turk ey", + "iz ers", + "ize rs", + "izer s", + "An gle", + "Ang le", + "▁o c", + "▁ oc", + "▁pal m", + "▁pa lm", + "▁s tan", + "▁st an", + "▁sta n", + "▁ stan", + "▁C SS", + "▁CS S", + "▁ CSS", + "▁fr ances", + "▁franc es", + "▁g rin", + "▁gr in", + "▁gri n", + "▁tiem po", + "▁P rix", + "▁Pr ix", + "▁Pri x", + "]) .", + "] ).", + "▁de put", + "▁dep ut", + "▁P in", + "▁Pi n", + "▁ Pin", + "▁si xt", + "▁six t", + "▁predict ed", + "▁pred icted", + "az ure", + "azu re", + "▁Mo tor", + "▁Mot or", + "▁i hm", + "▁ih m", + "▁man us", + "ap os", + "a pos", + "▁instr uments", + "▁instrument s", + "▁co unts", + "▁coun ts", + "▁count s", + "▁aim ed", + "▁ai med", + "▁ aimed", + "pro fit", + "prof it", + "▁d ok", + "▁do k", + "▁e stud", + "▁est ud", + "ie sz", + "ies z", + "i esz", + "▁p iss", + "▁pi ss", + "▁in aug", + "▁vo ters", + "▁vote rs", + "▁vot ers", + "▁pack ages", + "▁package s", + "▁ packages", + "▁c ute", + "▁cut e", + "▁cu te", + "▁f itness", + "▁fit ness", + "▁l eurs", + "▁le urs", + "▁leur s", + "▁s orted", + "▁sort ed", + "▁sor ted", + "ph ant", + "pha nt", + "phan t", + "OP T", + "O PT", + "▁z ip", + "▁ zip", + "se ason", + "sea son", + "em i", + "e mi", + "enc oding", + "wo n", + "w on", + "el ect", + "ele ct", + "e lect", + "▁t ooth", + "▁to oth", + "▁too th", + "▁up coming", + "▁G raham", + "▁Gra ham", + "nu t", + "n ut", + "▁Ar k", + "äl t", + "ä lt", + "▁prec ious", + "ag le", + "a gle", + "né e", + "n ée", + "ar is", + "ari s", + "a ris", + "▁p ile", + "▁pi le", + "▁pil e", + "co le", + "col e", + "c ole", + "▁W ITH", + "▁WIT H", + "▁ WITH", + "rou ting", + "r outing", + "▁* **", + "▁** *", + "▁ ***", + "Appe arance", + "ll vm", + "▁O liver", + "▁Ol iver", + "▁P L", + "▁ PL", + "if ndef", + "et zt", + "etz t", + "sk iego", + "ski ego", + "▁p on", + "▁po n", + "▁ pon", + "AR GET", + "ARG ET", + "k ö", + "▁= \\", + "▁ =\\", + "su re", + "sur e", + "s ure", + "mat ches", + "match es", + "▁temper atures", + "▁temperature s", + "SE L", + "S EL", + "▁cl one", + "▁clo ne", + "▁ clone", + "▁el ler", + "▁elle r", + "▁ell er", + "▁ eller", + "er na", + "ern a", + "Man agement", + "comp any", + "▁l un", + "▁lu n", + "▁stre aming", + "▁stream ing", + "▁N i", + "▁s í", + "Cont act", + "▁C redit", + "▁Cr edit", + "▁Cre dit", + "▁O ak", + "▁пред став", + "rad ius", + "cl i", + "c li", + "IE NT", + "I ENT", + "▁Lu cy", + "▁Luc y", + "▁calcul ation", + "▁calc ulation", + "▁p ixel", + "▁ pixel", + "▁m ul", + "▁mu l", + "▁ mul", + "▁out comes", + "▁outcome s", + "▁cent ers", + "▁center s", + "▁resid ence", + "Con straint", + "▁pre serve", + "▁pres erve", + "▁preserv e", + "pe on", + "uf fix", + "uff ix", + "▁Rober ts", + "▁Robert s", + "▁Rob erts", + "▁pro mot", + "bal ance", + "▁dis g", + "▁di sg", + "PR INT", + "PRI NT", + "el fare", + "elf are", + "▁ret reat", + "Co st", + "C ost", + "al so", + "als o", + "▁F ür", + "▁Mär z", + "DI O", + "D IO", + "▁b ez", + "▁be z", + "▁ bez", + "AUT H", + "AU TH", + "De n", + "D en", + "▁a tom", + "▁at om", + "▁ atom", + "▁r oman", + "▁ro man", + "▁rom an", + "▁P el", + "▁Pe l", + "▁Roose velt", + "▁Pl ant", + "▁Plan t", + "Cont ents", + "Content s", + "▁cou pling", + "▁coup ling", + "str ucture", + "struct ure", + "▁Mar shall", + "▁Mars hall", + "▁Marshal l", + "▁Care er", + "▁Bur eau", + "▁poss ibilities", + "▁k or", + "▁ko r", + "▁ kor", + "){ \r", + ") {\r", + "mer o", + "me ro", + "m ero", + "mo v", + "m ov", + "анг л", + "AI N", + "A IN", + "mu nd", + "mun d", + "m und", + "let te", + "lett e", + "l ette", + "▁sum mar", + "▁describ ing", + "▁NA S", + "▁E mb", + "▁Em b", + "▁ Emb", + "Inst ruction", + "li est", + "lie st", + "l iest", + "▁S ig", + "▁Si g", + "▁ Sig", + "Bi ll", + "B ill", + "▁v erd", + "▁ver d", + "▁ve rd", + "pl ant", + "plan t", + "▁galax ies", + "\"] )", + "\" ])", + "▁Py Object", + "▁ PyObject", + "▁G y", + "▁m ě", + "▁organ isation", + "▁organis ation", + "He r", + "H er", + "Se p", + "S ep", + "oc om", + "oco m", + "o com", + "▁S ame", + "▁Sam e", + "▁Sa me", + "▁ Same", + "▁b ite", + "▁bit e", + "▁bi te", + "▁Se attle", + "Ob server", + "Observ er", + "’ .", + "▁m orph", + "▁mor ph", + "al ph", + "re ement", + "ree ment", + "con sin", + "cons in", + "^ -", + "▁d ann", + "▁da nn", + "▁dan n", + "trans late", + "transl ate", + "ви х", + "Re act", + "▁c ats", + "▁cat s", + "▁ca ts", + "▁b rew", + "▁br ew", + "▁bre w", + "▁ brew", + "▁d s", + "▁ ds", + "▁cir cles", + "▁circ les", + "▁circle s", + "▁d rift", + "▁dr ift", + "▁dri ft", + "ag ma", + "▁Val ent", + "PI N", + "P IN", + "AR M", + "A RM", + "▁sur viv", + "▁surv iv", + "al in", + "ali n", + "a lin", + "Pr ef", + "Pre f", + "P ref", + "friend ly", + "▁uncertain ty", + "▁f d", + "▁ fd", + "▁engine er", + "Be n", + "B en", + "ic ular", + "i cular", + "or est", + "ore st", + "ores t", + "o rest", + "▁hor izontal", + "▁horizon tal", + "▁ horizontal", + "UT C", + "U TC", + "text rm", + "tex trm", + "Li ve", + "L ive", + "Sc ore", + "S core", + "▁Germ ans", + "▁Ger mans", + "di stance", + "dist ance", + "d istance", + "ut i", + "u ti", + "▁é qu", + "▁ équ", + "▁numer ical", + "▁re ass", + "Act iv", + "▁c od", + "▁co d", + "▁ cod", + "bul let", + "en sing", + "ens ing", + "▁G em", + "▁Ge m", + "▁nav igation", + "▁navig ation", + "▁ navigation", + "add Class", + "▁simultane ously", + "▁йо го", + "▁й ого", + "▁H ö", + "▁har sh", + "prec ated", + "p recated", + "▁Equ ip", + "ad get", + "▁T YPE", + "▁ TYPE", + "▁m g", + "▁ mg", + "IG H", + "▁v in", + "▁vi n", + "▁ vin", + "▁fin dings", + "▁find ings", + "▁finding s", + "iv an", + "iva n", + "i van", + "▁pos session", + "▁poss ession", + "▁possess ion", + "▁т ого", + "▁par sed", + "▁parse d", + "▁ parsed", + "ri ors", + "rior s", + "rio rs", + "r iors", + "zeich net", + "Work er", + "▁en ables", + "▁enable s", + "▁( $\\", + "▁($ \\", + "▁C opy", + "▁Co py", + "▁Cop y", + "▁ Copy", + "▁orient ation", + "▁Ind ians", + "▁India ns", + "▁Indian s", + "▁G ary", + "▁Gar y", + "▁Ga ry", + "▁Ins urance", + "is an", + "isa n", + "i san", + "Ch at", + "C hat", + "▁com un", + "▁co mun", + "▁co ron", + "▁cor on", + "up dated", + "update d", + "The se", + "Th ese", + "SE C", + "S EC", + "▁boy friend", + "Di agnostics", + "Hi nt", + "H int", + "mu l", + "m ul", + "▁in ode", + "▁i node", + "▁ inode", + "x A", + "ef t", + "e ft", + "OP TION", + "OPT ION", + "un ct", + "unc t", + "an non", + "ann on", + "anno n", + "EN S", + "E NS", + "st rip", + "str ip", + "stri p", + "▁enthus i", + "▁W hit", + "au de", + "aud e", + "a ude", + "▁disag ree", + "▁sn apped", + "▁snap ped", + "Ph ys", + "▁S yn", + "▁Sy n", + "▁s our", + "▁so ur", + "▁sou r", + "▁L ux", + "▁Lu x", + "ug ar", + "uga r", + "u gar", + "til e", + "ti le", + "t ile", + "▁in fection", + "▁inf ection", + "▁infect ion", + "▁C hem", + "▁Ch em", + "▁Che m", + "data set", + "dat aset", + "ch ts", + "cht s", + "D ynamic", + "▁qu een", + "▁que en", + "work er", + "wor ker", + "sw ap", + "▁tim estamp", + "▁ timestamp", + "▁In tegr", + "▁Int egr", + "▁ Integr", + "▁inter views", + "▁interview s", + "su ch", + "s uch", + "▁l aughter", + "▁laugh ter", + "pro f", + "pr of", + "▁B ird", + "▁Bi rd", + "▁Bir d", + "( |", + "â n", + "▁ gra", + "& =", + "ze ns", + "zen s", + "z ens", + "get Message", + "▁O st", + "▁Os t", + "▁g ab", + "▁ga b", + "▁mort gage", + "mult icol", + "multi col", + "LE VEL", + "part ition", + "se en", + "see n", + "s een", + "▁dec lar", + "▁decl ar", + "A U", + "▁o x", + "▁ ox", + "▁l igger", + "▁lig ger", + "▁C arm", + "▁Car m", + "▁Ca rm", + "ge me", + "gem e", + "g eme", + "▁Ve gas", + "▁Veg as", + "▁E ug", + "▁Eu g", + "or us", + "o rus", + "▁b rick", + "▁br ick", + "▁as í", + "HasColumn Type", + "V R", + "lic her", + "li cher", + "lich er", + "liche r", + "l icher", + "▁F uture", + "▁Fut ure", + "▁ Future", + "▁J ug", + "▁Ju g", + "at tan", + "att an", + "atta n", + "con structor", + "construct or", + "V P", + "Comp arator", + "Compar ator", + "▁aut hentic", + "▁mon ster", + "▁trans formed", + "▁transform ed", + "▁firm s", + "▁fir ms", + "F W", + "▁c atalog", + "▁catal og", + "▁ catalog", + "bo ards", + "board s", + "▁dise ases", + "▁disease s", + "▁Benj amin", + "▁hor izon", + "▁Av ailable", + "▁ Available", + "M vc", + "St ud", + "▁l ord", + "▁lo rd", + "▁ lord", + "gen eral", + "gener al", + "▁cab inet", + "▁cabin et", + "▁Bas ic", + "▁ Basic", + "Test Case", + "an sk", + "ans k", + "▁S now", + "▁Sn ow", + "ier ten", + "iert en", + "ierte n", + "i erten", + "▁vo cal", + "Pad ding", + "P adding", + "ha lt", + "hal t", + "h alt", + "▁Alex and", + "▁Col omb", + "iv amente", + "iva mente", + "▁art ificial", + "▁Atl anta", + "▁m entre", + "▁men tre", + "▁ment re", + "▁est aba", + "▁estab a", + "▁esta ba", + "je kt", + "jek t", + "j ekt", + "▁sle pt", + "▁end less", + "▁endl ess", + "ér o", + "é ro", + "at tery", + "att ery", + "atter y", + "atte ry", + "uu r", + "u ur", + "▁weak ness", + "▁attempt ing", + "BY TE", + "▁fo under", + "▁fou nder", + "▁sa lv", + "▁sal v", + "▁Medic ine", + "ti d", + "t id", + "▁Sch we", + "▁Schw e", + "▁ ¿", + "cr ate", + "c rate", + "SER VER", + "▁comp ound", + "▁con ve", + "▁conv e", + "▁c af", + "▁ca f", + "▁hand ful", + "on ne", + "úblic a", + "▁def ensive", + "▁defens ive", + "Al ignment", + "Align ment", + "▁pr éc", + "▁pré c", + "▁signific ance", + "él é", + "é lé", + "ar ta", + "art a", + "Da m", + "D am", + "▁per pet", + "▁c aller", + "▁call er", + "▁cal ler", + "ic ients", + "ici ents", + "icient s", + "ce p", + "c ep", + "▁Mult i", + "▁Mul ti", + "▁ Multi", + "▁st olen", + "▁sto len", + "▁stole n", + "▁focus ing", + "em bed", + "emb ed", + "▁b ree", + "▁br ee", + "▁bre e", + "▁A B", + "▁ AB", + "▁occasion s", + "▁occas ions", + "se a", + "s ea", + "Pro v", + "Pr ov", + "P rov", + "▁C ategory", + "▁ Category", + "▁s q", + "▁ sq", + "V A", + "Di ff", + "D iff", + "Tr i", + "T ri", + "iss ement", + "isse ment", + "▁act ress", + "▁j ej", + "▁je j", + "▁tw isted", + "▁twist ed", + "▁N icol", + "▁Nic ol", + "▁Ni col", + "▁jun ior", + "▁junio r", + "▁juni or", + "So und", + "S ound", + "▁Bra sil", + "▁Bras il", + "▁ju ice", + "▁> >>", + "▁>> >", + "▁ >>>", + "▁A lb", + "▁soft ly", + "▁Mc K", + "▁G ren", + "▁Gr en", + "▁Gre n", + "▁ital iano", + "▁cre atures", + "▁creat ures", + "▁creature s", + "▁res idential", + "▁resident ial", + "▁resid ential", + "▁Inst agram", + "▁k iller", + "▁kill er", + "▁kil ler", + "▁John ny", + "▁enter prise", + "D to", + "ch estra", + "chestr a", + "▁T el", + "▁Te l", + "▁Act iv", + "▁ Activ", + "fa ctor", + "fac tor", + "fact or", + "f actor", + "ou st", + "ous t", + "o ust", + "▁vac uum", + "') ->", + "' )->", + "▁L eft", + "▁Le ft", + "▁ Left", + "▁de fect", + "▁def ect", + "▁defe ct", + "▁nine te", + "▁nin ete", + "fa re", + "far e", + "f are", + "▁reg ret", + "▁s har", + "▁sh ar", + "▁sha r", + "ctr ine", + "me sh", + "mes h", + "m esh", + "ci ty", + "cit y", + "c ity", + "ici t", + "i cit", + "▁F em", + "▁Fe m", + "lim ited", + "limit ed", + "ok a", + "o ka", + "!\\ !\\", + "Don ald", + "з но", + "▁pro vision", + "▁prov ision", + "▁discuss ions", + "▁discussion s", + "Dr ag", + "D rag", + "▁In cl", + "▁Inc l", + "Ex it", + "E xit", + "▁A bd", + "▁Ab d", + "st ory", + "sto ry", + "ie ve", + "iev e", + "i eve", + "▁by ł", + "ol ving", + "olv ing", + "woh ner", + "▁gu idelines", + "▁guide lines", + "▁guid elines", + "▁st raw", + "▁str aw", + "▁stra w", + "ü ss", + "▁бу ло", + "▁bur den", + "▁spat ial", + "▁stret ched", + "▁stretch ed", + "▁I nf", + "▁ Inf", + "▁type def", + "▁typed ef", + "▁ro bot", + "▁rob ot", + "▁D oc", + "▁Do c", + "▁ Doc", + "pl iers", + "plier s", + "wa l", + "w al", + "ca mp", + "cam p", + "c amp", + "▁dif fé", + "▁diff é", + "▁t el", + "▁te l", + "ar ette", + "aret te", + "▁sub sequently", + "▁h oney", + "▁hon ey", + "▁ho ney", + "FUN C", + "te sy", + "tes y", + "▁któ ry", + "▁F O", + "▁ FO", + "▁m p", + "▁ mp", + "Scal ar", + "▁Y an", + "▁Ya n", + "ck en", + "cke n", + "c ken", + "▁var iation", + "▁vari ation", + "i ą", + "op tim", + "opt im", + "az or", + "tu ple", + "t uple", + "▁gr avity", + "▁grav ity", + "▁con clude", + "▁concl ude", + "▁col lections", + "▁collection s", + "▁collect ions", + "▁colle ctions", + "és z", + "é sz", + "▁L iver", + "▁Li ver", + "▁Live r", + "▁Liv er", + "comp ile", + "▁p arl", + "▁par l", + "▁pa rl", + "Sur face", + "{ '", + "▁par agraph", + "▁para graph", + "▁ paragraph", + "pos ite", + "po site", + "ít ulo", + "ob a", + "o ba", + "bin ary", + "b inary", + "ro b", + "r ob", + "▁Pe dro", + "▁Ped ro", + "▁f is", + "▁fi s", + "▁Gr ande", + "▁Grand e", + "▁Gran de", + "▁Gra nde", + "odo x", + "▁pos ting", + "▁post ing", + "< !--", + "▁rac ial", + "CO M", + "C OM", + "▁A UT", + "▁AU T", + "▁ AUT", + "▁d ishes", + "▁dis hes", + "▁dish es", + "assert True", + "▁G row", + "▁Gr ow", + "▁Gro w", + "▁sl id", + "▁ju illet", + "Run ner", + "Sa l", + "S al", + "Sa me", + "Sam e", + "S ame", + "▁Stud y", + "▁Col onel", + "▁J oin", + "▁Jo in", + "▁ Join", + "ar ms", + "arm s", + "▁cur ves", + "▁curve s", + "▁curv es", + "He alth", + "▁M OD", + "▁MO D", + "▁ MOD", + "▁pr imo", + "▁prim o", + "▁pri mo", + "ock ets", + "ocket s", + "multi column", + "multicol umn", + "▁H unter", + "▁Hun ter", + "▁Hunt er", + "Custom er", + "ot hy", + "oth y", + "o thy", + "Des ign", + "De sign", + "ma ss", + "mas s", + "m ass", + "▁fam ille", + "▁famil le", + "▁fue ron", + "▁fu eron", + "▁fuer on", + "ä m", + "▁d ign", + "▁di gn", + "▁dig n", + "▁Ro bin", + "▁Rob in", + "▁me ets", + "▁meet s", + "▁so it", + ")\" );", + ") \");", + "▁w rapper", + "▁wrap per", + "▁ wrapper", + "▁theoret ical", + "▁u d", + "▁ ud", + "pl icity", + "plic ity", + "plicit y", + "▁w p", + "▁ wp", + "▁c amps", + "▁camp s", + "▁cam ps", + "▁A gency", + "▁Ag ency", + "g c", + "hu m", + "h um", + "AT T", + "A TT", + "B tn", + "C ent", + "▁H elen", + "▁He len", + "▁Hel en", + "▁am plit", + "▁ampl it", + "und ial", + "SH IFT", + "wi k", + "w ik", + "▁Lie utenant", + "VAL ID", + "▁B ath", + "▁Ba th", + "▁Bat h", + "▁Jeff erson", + "▁C ut", + "▁Cu t", + "▁ Cut", + "▁ser vers", + "▁serv ers", + "▁server s", + "▁serve rs", + "▁ servers", + "ly ph", + "▁CO PY", + "▁COP Y", + "▁comput ers", + "▁computer s", + "▁compute rs", + "const ruction", + "construct ion", + "▁P DF", + "▁PD F", + "▁ PDF", + "▁pro tagon", + "▁prot agon", + "▁fore head", + "custom er", + "Un is", + "U nis", + "▁sign ing", + "▁sig ning", + ". ’", + "F etch", + "▁S core", + "▁Sc ore", + "▁ Score", + "hu man", + "hum an", + "h uman", + "▁down town", + "▁downt own", + "In tern", + "Int ern", + "Inter n", + "▁bes ides", + "▁beside s", + "▁c c", + "▁ cc", + "▁D ebug", + "▁De bug", + "▁Deb ug", + "▁ Debug", + "▁Cl ose", + "▁ Close", + "el ihood", + "eli hood", + "▁al gorithms", + "▁algorithm s", + "▁H amb", + "▁Ham b", + "▁Ha mb", + "▁c ust", + "▁cu st", + "▁mo unted", + "▁mount ed", + "par en", + "pa ren", + "pare n", + "p aren", + "▁isol ated", + "▁A gr", + "▁Ag r", + "▁or bit", + "▁orb it", + "print k", + "▁t urb", + "▁tu rb", + "▁tur b", + "▁gru po", + "\"\" \"", + "\" \"\"", + "▁h ills", + "▁hill s", + "▁B od", + "▁Bo d", + "est one", + "esto ne", + "eston e", + "e stone", + "▁satisf ying", + "▁satisfy ing", + "▁I van", + "▁Iv an", + "▁associ ate", + "name d", + "na med", + "nam ed", + "n amed", + "oc cup", + "occ up", + "GP IO", + "G PIO", + "hi t", + "h it", + "▁dis tract", + "▁di stract", + "▁dist ract", + "▁bar rel", + "▁barr el", + "▁in variant", + "di d", + "d id", + "▁l ieu", + "▁li eu", + "▁lie u", + "sc ene", + "UN K", + "▁M ission", + "▁Miss ion", + "zi al", + "z ial", + "▁comp ete", + "▁compet e", + "▁cou ples", + "▁couple s", + "▁coup les", + "SH A", + "S HA", + "▁s ei", + "▁se i", + "▁m igration", + "▁migr ation", + "ac ked", + "ack ed", + "▁b arn", + "▁bar n", + "▁ba rn", + "hal f", + "h alf", + "▁neigh bour", + "▁neighb our", + "ft e", + "f te", + "▁od ds", + "▁odd s", + "▁optim ization", + "▁H end", + "▁He nd", + "▁Hen d", + "pay ment", + "M r", + "') :", + "' ):", + "vo ir", + "v oir", + "▁R ange", + "▁Rang e", + "▁Ran ge", + "▁ Range", + "▁polit icians", + "▁politician s", + "▁shel ter", + "▁tim ing", + "▁ti ming", + "Create d", + "Creat ed", + "C reated", + "▁sept embre", + "li t", + "l it", + "▁S hel", + "▁She l", + "▁Sh el", + "▁c ouch", + "▁co uch", + "▁cou ch", + "▁d är", + "ult ur", + "▁G iov", + "▁Gi ov", + "ô le", + "RE AM", + "▁M B", + "▁ MB", + "▁lie gt", + "▁o v", + "▁ ov", + "▁car pet", + "▁го дина", + "▁годи на", + "▁S ão", + "ab ling", + "abl ing", + "a bling", + "▁purs ue", + "▁Const itution", + "an j", + "▁F BI", + "▁ar row", + "▁arr ow", + "▁ arrow", + "ph ones", + "phone s", + "▁kn ocked", + "▁knock ed", + "▁de com", + "▁dec om", + "ie k", + "i ek", + "St rip", + "Str ip", + "▁V enez", + "▁Ven ez", + "▁Ve nez", + "▁p upp", + "▁pu pp", + "▁pup p", + "bi an", + "bia n", + "▁cot ton", + "h p", + "▁accept able", + "cuss ion", + "▁r ounds", + "▁round s", + "▁act ively", + "▁activ ely", + "▁active ly", + "▁among st", + "▁a bc", + "▁ab c", + "▁ abc", + "F M", + "Pop up", + "▁divers ity", + "us z", + "u sz", + "▁employ er", + "spec ially", + "special ly", + "▁sus pected", + "▁suspect ed", + "▁c rypt", + "▁cry pt", + "▁O scar", + "▁Os car", + "no r", + "n or", + "▁bab ies", + "▁m undo", + "▁li bert", + "▁lib ert", + "▁liber t", + "S G", + "ah ren", + "ahr en", + "a hren", + "▁magn itude", + "T M", + "' +", + "▁G ust", + "▁Gu st", + "▁gr ain", + "▁gra in", + "to Equal", + "▁m os", + "▁mo s", + "▁ mos", + "▁consist ently", + "▁consistent ly", + "▁domin ant", + "Con verter", + "Convert er", + "at able", + "ata ble", + "a table", + "▁J ag", + "▁Ja g", + "scri ptions", + "script ions", + "scription s", + "s criptions", + "x B", + "▁ ©", + "fol der", + "fold er", + "f older", + "▁sub stance", + "▁subst ance", + "L o", + "BU S", + "B US", + "bas ic", + "us sen", + "uss en", + "▁co ins", + "▁coin s", + ": -", + "▁N elson", + "▁Nel son", + "In ner", + "ograf ía", + "▁ex empl", + "▁exem pl", + "ch g", + "▁sy nd", + "▁syn d", + "dyn amic", + "d ynamic", + "ver ted", + "vert ed", + "▁EV ENT", + "▁ EVENT", + "se ek", + "see k", + "av ier", + "avi er", + "a vier", + "▁p rot", + "▁ prot", + "-- ----", + "---- --", + "--- ---", + "----- -", + "- -----", + "▁con vention", + "▁conv ention", + "▁convent ion", + "▁станов ника", + "gl ing", + "g ling", + "hor a", + "ho ra", + "h ora", + "▁wh ilst", + "ser ialize", + "serial ize", + "s erialize", + "▁R ing", + "([ '", + "( ['", + "▁c her", + "▁ch er", + "▁che r", + "▁ cher", + "сь кі", + "▁D anny", + "▁Dan ny", + "▁re aches", + "▁reach es", + "▁el igible", + "▁P arent", + "▁Par ent", + "▁Pa rent", + "▁ Parent", + "▁came ras", + "▁cam eras", + "▁camera s", + "▁discipl ine", + "▁s illy", + "▁sil ly", + "re ts", + "ret s", + "r ets", + "yt ics", + "▁Reg ional", + "▁Region al", + "▁B aby", + "▁Ba by", + "▁Bab y", + "te le", + "t ele", + "WAR NING", + "WARN ING", + "su pp", + "sup p", + "s upp", + "▁refer ring", + "▁merc h", + "ol ves", + "olve s", + "olv es", + "eme t", + "ck e", + "c ke", + "▁M unicip", + "▁Mun icip", + "Wh ite", + "▁ Ś", + "ri os", + "rio s", + "r ios", + "log ging", + "▁d x", + "▁ dx", + "ex ternal", + "▁Liber al", + "▁Lib eral", + "▁Init ialize", + "▁Initial ize", + "▁ Initialize", + "▁exhibit ion", + "▁ext ensions", + "▁extension s", + "▁extens ions", + "▁ extensions", + "ke eper", + "keep er", + "kee per", + "SY S", + "▁J ake", + "▁Ja ke", + "▁Jak e", + "fo oter", + "foot er", + "foo ter", + "▁ph ones", + "▁phone s", + "▁ phones", + "▁real m", + "▁contribut ed", + "▁contribute d", + "ME SS", + "▁For mat", + "▁Form at", + "▁ Format", + "Per iod", + "▁h id", + "▁hi d", + "▁ hid", + "▁me tres", + "▁D im", + "▁Di m", + "▁ Dim", + "ache lor", + "achel or", + "▁T ak", + "▁Ta k", + "▁g ram", + "▁gr am", + "▁gra m", + "▁ gram", + "▁M Y", + "▁ MY", + "on ders", + "ond ers", + "onder s", + "onde rs", + "'; \r", + "' ;\r", + "▁F ro", + "▁Fr o", + "▁advant ages", + "▁advantage s", + "io v", + "i ov", + "▁she ets", + "▁sheet s", + "ce mbre", + "c embre", + "ž e", + "] \r", + "▁D J", + "subset eq", + "UP DATE", + "▁b locked", + "▁bl ocked", + "▁block ed", + "▁pan els", + "▁pa nels", + "▁panel s", + "E A", + "nd e", + "n de", + "ê t", + "Bu l", + "B ul", + "▁m eters", + "▁me ters", + "▁met ers", + "▁meter s", + "jo ur", + "j our", + "▁rap port", + "▁rapp ort", + "▁J ak", + "▁Ja k", + "▁V AL", + "▁VA L", + "▁ VAL", + "▁pu p", + "▁k a", + "▁ ka", + "for ced", + "force d", + "ener gy", + "e nergy", + "▁V a", + "not es", + "no tes", + "note s", + "n otes", + "▁relax ed", + "C r", + "id ding", + "idd ing", + "▁def ines", + "▁define s", + "▁defin es", + "▁kiss ed", + "▁invas ion", + "▁sc reens", + "▁screen s", + "C trl", + "▁pass engers", + "▁passenger s", + "ation ship", + "ations hip", + "per cent", + "\\ }", + "▁be ating", + "▁beat ing", + "life ray", + "lifer ay", + "▁V M", + "▁ VM", + "▁Gab riel", + "▁g allery", + "▁gall ery", + "iv ot", + "ivo t", + "▁r ental", + "▁ren tal", + "▁rent al", + "▁sh ocked", + "▁shock ed", + "▁Ste in", + "Un e", + "U ne", + "▁kom mun", + "an ka", + "ank a", + "Re ady", + "Read y", + "tr ag", + "tra g", + "t rag", + "Al ign", + "Ali gn", + "▁ho sted", + "▁\\ (", + "▁S ession", + "▁ Session", + "ys k", + "y sk", + "Pen ding", + "P ending", + "elli gence", + "▁Never theless", + "bit ro", + "bitr o", + "ho lm", + "hol m", + "quir y", + "▁mechan ical", + "▁D é", + "an eous", + "ane ous", + "▁psych ological", + "▁a broad", + "▁ab road", + "▁a voir", + "▁av oir", + "▁separ ation", + "▁sep aration", + "▁Haw ai", + "iej sc", + "▁sub tle", + "bi rd", + "b ird", + "▁mark er", + "▁mar ker", + "▁ marker", + "▁Work ing", + "▁Wor king", + "▁h over", + "▁ho ver", + "▁ hover", + "%%%% %%%%", + "▁s oup", + "▁so up", + "▁sou p", + "Al ert", + "ch r", + "c hr", + "▁P CI", + "▁PC I", + "▁ PCI", + "▁m ús", + "ient ras", + "ien tras", + "▁St orage", + "▁Sto rage", + "▁ Storage", + "▁av ailability", + "▁op era", + "▁oper a", + "▁P roduction", + "▁Produ ction", + "▁Product ion", + "ia ne", + "ian e", + "i ane", + "▁Bet ter", + "▁B utton", + "▁But ton", + "▁ Button", + "▁Pe ace", + "▁Mor ris", + "▁s ib", + "▁si b", + "▁f iber", + "▁fi ber", + "▁fib er", + "Int ent", + "▁D esc", + "▁De sc", + "▁Des c", + "▁ Desc", + "ning en", + "n ingen", + "ze j", + "z ej", + "av an", + "ava n", + "a van", + "cover ed", + "cov ered", + "▁s yst", + "▁sy st", + "▁sys t", + "_ +", + "▁Re lig", + "▁Rel ig", + "▁s pite", + "▁sp ite", + "▁re prés", + "▁~ ~", + "▁ ~~", + "▁to xic", + "▁a pro", + "▁ap ro", + "▁apr o", + "X Y", + "▁tr ips", + "▁tri ps", + "▁trip s", + "▁pl aats", + "▁con vey", + "▁conv ey", + "▁conve y", + "Pr im", + "P rim", + "ok o", + "o ko", + "▁l obby", + "▁lob by", + "▁recommend ations", + "▁recommendation s", + "SP ACE", + "▁overwhel ming", + "ennes see", + "▁ac quire", + "▁acqu ire", + "w m", + "LOB AL", + "▁D EF", + "▁DE F", + "▁ DEF", + "je r", + "j er", + "▁re cur", + "▁rec ur", + "om men", + "omm en", + "▁j og", + "▁jo g", + "▁n ast", + "▁na st", + "▁nas t", + "▁L P", + "▁ LP", + "jo n", + "j on", + "▁w ishes", + "▁wish es", + "▁wis hes", + "▁N ancy", + "▁support ers", + "▁supp orters", + "^{ -\\", + "^{- \\", + "▁ Ä", + "▁disappoint ed", + "x D", + "li nt", + "lin t", + "l int", + "I p", + "än de", + "änd e", + "ä nde", + "end ment", + "dt ype", + "d type", + "▁di gest", + "▁dig est", + "▁Set tings", + "▁Setting s", + "▁ Settings", + "ér a", + "é ra", + "▁aggress ive", + "▁intellig ent", + "eder börd", + "ster dam", + "pc i", + "p ci", + "▁over flow", + "▁ overflow", + "re ach", + "rea ch", + "r each", + "cept or", + "cep tor", + "▁yield s", + "▁Se bast", + "▁ut ility", + "▁util ity", + "▁fac ulty", + "▁In ternal", + "▁Intern al", + "▁Inter nal", + "▁ Internal", + "▁attract ed", + "▁attra cted", + "рі в", + "р ів", + "▁mix ing", + "▁R uth", + "▁Ru th", + "▁esc aped", + "▁escape d", + "▁E asy", + "▁dr ain", + "▁r ings", + "▁ring s", + "▁ rings", + "qu ire", + "quir e", + "Av ailable", + "▁conv ince", + "▁convin ce", + "or sch", + "ors ch", + "ут бо", + "CP P", + "C PP", + "ч і", + "▁p rod", + "▁pro d", + "▁pr od", + "▁ prod", + "▁p ig", + "▁pi g", + "▁C atal", + "▁Cat al", + "▁Ca tal", + "▁al ias", + "▁ali as", + "▁ alias", + "▁че мпи", + "Pl ace", + "P lace", + "▁g orge", + "▁depend ence", + "▁cr uel", + "▁cru el", + "▁ther mal", + "▁therm al", + "ut down", + "ref resh", + "▁re sort", + "▁res ort", + "▁S HA", + "▁SH A", + "▁ SHA", + "fo od", + "foo d", + "f ood", + "▁N ad", + "▁Na d", + "▁pregn ancy", + "▁pro jection", + "▁project ion", + "▁pa ís", + "▁the mes", + "▁them es", + "▁theme s", + "▁fun eral", + "▁cas o", + "▁ca so", + "ле кт", + "лек т", + "Ex tra", + "Ext ra", + "▁t issue", + "▁dr agon", + "▁drag on", + "▁l ig", + "▁li g", + "▁ lig", + "▁n ei", + "▁ne i", + "▁come dy", + "▁comed y", + "▁pass enger", + "Cl one", + "i ção", + "yg on", + "y gon", + "▁H alf", + "▁Hal f", + "▁la bour", + "▁lab our", + "▁ві й", + "▁L isa", + "▁Li sa", + "▁Lis a", + "_ [", + "ba g", + "b ag", + "▁d iver", + "▁di ver", + "▁div er", + "▁dive r", + "▁M L", + "▁ ML", + "▁transl ated", + "▁translate d", + "▁per ò", + "ab ama", + "aba ma", + "▁ castle", + "* \\", + "▁reg ia", + "!! !!", + "!!! !", + "! !!!", + "*> (", + "* >(", + "▁Work s", + "▁Wor ks", + "▁N ature", + "▁Nat ure", + "▁Natur e", + "NE L", + "N EL", + "▁P om", + "▁Po m", + "tt a", + "t ta", + "▁Jam ie", + "▁p unch", + "▁pun ch", + "▁K rieg", + "▁Kr ieg", + "▁restr icted", + "▁restrict ed", + "mob ile", + "m obile", + "▁grand mother", + "Arg uments", + "Argument s", + "▁s inc", + "▁si nc", + "▁sin c", + "▁Mon th", + "▁Mont h", + "▁ Month", + "esc ape", + "e scape", + "▁opt ical", + "▁L ane", + "▁La ne", + "▁Lan e", + "▁Deutsch land", + "▁S aison", + "▁Sa ison", + "▁V irtual", + "▁ Virtual", + "pe z", + "p ez", + "In line", + "ow any", + "owa ny", + "rad io", + "r adio", + "ö ß", + "▁O thers", + "▁Other s", + "MA IN", + "M AIN", + "sc al", + "s cal", + "▁D allas", + "▁Dal las", + "▁an chor", + "▁anc hor", + "▁anch or", + "▁ anchor", + "en cias", + "enc ias", + "encia s", + "enci as", + "▁re porter", + "▁rep orter", + "▁report er", + "▁veget ables", + "▁enforce ment", + "▁Wis consin", + "▁con dem", + "▁cond em", + "▁e b", + "▁ eb", + "▁s its", + "▁sit s", + "▁si ts", + "▁calcul ations", + "▁calculation s", + "▁calc ulations", + "▁\" --", + "▁\"- -", + "ue lle", + "uel le", + "u elle", + "▁tip o", + "▁ti po", + "▁P AR", + "▁PA R", + "▁ PAR", + "co rd", + "cor d", + "c ord", + "▁ро ків", + "ph an", + "pha n", + "p han", + "▁kon nte", + "▁z ap", + "▁za p", + "wr iting", + "writ ing", + "en gu", + "eng u", + "▁pert urb", + "Fac e", + "F ace", + "ag og", + "ago g", + "▁De cl", + "▁Dec l", + "▁ Decl", + "est ly", + "▁War ren", + "▁H ills", + "▁Hill s", + "▁Hil ls", + "▁ref resh", + "▁refr esh", + "▁refres h", + "▁ refresh", + "▁fl ip", + "io p", + "i op", + "▁key board", + "is to", + "ist o", + "i sto", + "back s", + "ba cks", + "b acks", + "Enc oding", + "▁ ال", + "▁g min", + "▁follow ers", + "▁p epper", + "um ble", + "umb le", + "▁sp ray", + "▁spr ay", + "▁dr ives", + "▁dri ves", + "▁driv es", + "▁drive s", + "P ush", + "cook ie", + "c ookie", + "▁gel dig", + "▁geld ig", + "ig ung", + "igu ng", + "vis it", + "▁at omic", + "▁atom ic", + "▁ atomic", + "▁A thlet", + "▁Ath let", + "▁Or igin", + "▁Ori gin", + "▁ Origin", + "▁H appy", + "▁att ribut", + "▁n ost", + "▁no st", + "▁nos t", + "▁ nost", + "ur u", + "u ru", + "▁Ne ither", + "▁ma ar", + "ject ions", + "je ctions", + "jection s", + "▁re nov", + "▁ren ov", + "fin ity", + "f inity", + "gener ic", + "init ialize", + "initial ize", + "pgf set", + "▁hyp othes", + "▁ma cro", + "▁mac ro", + "ma ps", + "map s", + "m aps", + "▁f are", + "▁far e", + "▁fa re", + "▁ fare", + "Be st", + "B est", + "uch t", + "uc ht", + "u cht", + "co d", + "c od", + "▁h orm", + "▁hor m", + "▁ho rm", + "▁P oll", + "▁Pol l", + "▁Po ll", + "▁host ing", + "▁Re ading", + "▁Read ing", + "Cert ificate", + "▁и ма", + "▁им а", + "▁C ov", + "▁Co v", + "▁P red", + "▁Pr ed", + "▁Pre d", + "▁ Pred", + "re direct", + "red irect", + "▁l attice", + "▁port folio", + "▁o ven", + "▁ov en", + "▁ oven", + "ie len", + "iel en", + "iele n", + "i elen", + "sub scribe", + "foot note", + "▁mom ento", + "▁moment o", + "▁d ich", + "▁di ch", + "▁dic h", + "▁ent ert", + "▁enter t", + "▁g é", + "▁connect ing", + "▁n acional", + "▁o tt", + "▁ot t", + "▁ ott", + "ні в", + "н ів", + "▁rac ist", + "▁penal ty", + "ül t", + "ü lt", + "▁Israel i", + "▁( †", + "▁ос іб", + "▁b elly", + "▁bel ly", + "▁bell y", + "ні сть", + "▁encounter ed", + "T ip", + "▁gu ilt", + "▁d amp", + "▁da mp", + "▁dam p", + "ze ug", + "▁Mem ory", + "▁ Memory", + "Check ed", + "▁Sh akespeare", + "hi ll", + "h ill", + "▁w oke", + "▁wo ke", + "▁sal ary", + "eth eless", + "ethe less", + "e theless", + "er de", + "erd e", + "▁He in", + "▁g it", + "▁gi t", + "▁ git", + "=\" \"", + "= \"\"", + "ül l", + "ü ll", + "ge ben", + "geb en", + "g eben", + "Pr es", + "Pre s", + "P res", + "iev al", + "i eval", + "mark er", + "mar ker", + "▁oct obre", + "RO L", + "R OL", + "▁jan u", + "▁ja nu", + "▁) :", + "▁ ):", + "br anch", + "▁J erry", + "▁Jer ry", + "ke hr", + "▁contr acts", + "▁contract s", + "▁aff air", + "ja ck", + "j ack", + "AN G", + "A NG", + "▁dro pping", + "▁drop ping", + "▁d ic", + "▁di c", + "sch ool", + "▁Fin land", + "▁d ort", + "▁do rt", + "▁K ings", + "▁King s", + "▁Kin gs", + "▁Arg ument", + "▁ Argument", + "▁Sim ilarly", + "▁Similar ly", + "▁V erm", + "▁Ver m", + "▁Ve rm", + "▁pret end", + "! _", + "łu g", + "ł ug", + "же ння", + "жен ня", + "da ting", + "dat ing", + "d ating", + "cs v", + "c sv", + "▁dialog ue", + "▁dial ogue", + "STR U", + "▁public ly", + "wed ge", + "w edge", + "▁H och", + "▁Ho ch", + "▁spe aks", + "▁speak s", + "▁compens ation", + "an ca", + "anc a", + "text tt", + "▁Fil ter", + "▁ Filter", + "▁part ly", + "▁us eless", + "▁use less", + "▁d eter", + "▁de ter", + "▁det er", + "IE W", + "▁con secut", + "▁cons ecut", + "▁conse cut", + "▁h oly", + "▁hol y", + "▁ho ly", + "▁grad uated", + "▁graduate d", + "an dal", + "and al", + "anda l", + "ți e", + "ț ie", + "▁W ant", + "▁Wa nt", + "▁Aust ria", + "or den", + "ord en", + "fr ag", + "f rag", + "▁f oo", + "▁fo o", + "▁ foo", + "cl aimed", + "claim ed", + "▁no table", + "▁journal ist", + "▁M ail", + "▁Ma il", + "▁Mai l", + "▁ Mail", + "!( \"", + "! (\"", + "ps e", + "p se", + "▁C lay", + "▁Cl ay", + "iv i", + "i vi", + "▁sc ales", + "▁scale s", + "▁scal es", + "▁er ste", + "▁erst e", + "▁ers te", + "Data Type", + "▁D iam", + "▁Di am", + "í r", + "loc ale", + "local e", + "▁rel uct", + "ien st", + "iens t", + "ast ro", + "astr o", + "act ly", + "▁Vill age", + "▁Villa ge", + "▁Vil lage", + "▁d aughters", + "▁daughter s", + "▁manufact urers", + "▁manufacturer s", + "▁print ing", + "▁prin ting", + "Nd Ex", + "Ch anges", + "Change s", + "▁/ ******/", + "ver tex", + "vert ex", + "▁b rows", + "▁br ows", + "▁bro ws", + "▁brow s", + "▁K ö", + "not ations", + "notation s", + "▁i ls", + "▁il s", + "▁ ils", + "at el", + "ate l", + "C ir", + "▁meaning ful", + "q a", + "▁C old", + "▁Col d", + "▁Co ld", + "ue to", + "u eto", + "you r", + "yo ur", + "y our", + "m f", + "▁Ü ber", + "▁fam ilia", + "▁famil ia", + "▁ste ep", + "▁pres idential", + "▁president ial", + "▁presid ential", + "▁z á", + "▁ zá", + "▁w ars", + "▁war s", + "▁wa rs", + "▁C re", + "▁Cr e", + "▁after wards", + "▁afterward s", + "ha lb", + "hal b", + "▁strugg led", + "▁struggle d", + "Ch art", + "Char t", + "User Id", + "ac ular", + "a cular", + "iv ia", + "ivi a", + "i via", + "▁u gly", + "▁K unst", + "E s", + "▁Q String", + "▁C ow", + "▁Co w", + "Rad ius", + "▁Gr iff", + "▁V as", + "▁Va s", + "HA L", + "H AL", + "Mod ified", + "ra le", + "ral e", + "r ale", + "mem cpy", + "▁r s", + "▁ rs", + "▁h alt", + "▁ha lt", + "▁hal t", + "▁ halt", + "▁Miss iss", + "▁h uvud", + "ec a", + "e ca", + "▁Jahrhund ert", + "E urope", + "Sign ature", + "▁grand father", + "▁O regon", + "gu e", + "g ue", + "xy gen", + "fr ames", + "frame s", + "▁hab its", + "▁ha bits", + "▁habit s", + "Support ed", + "Supp orted", + "▁low ered", + "▁lower ed", + "▁rad iation", + "▁radi ation", + "ab en", + "abe n", + "a ben", + "▁Pro gress", + "▁ Progress", + "▁C osta", + "▁Co sta", + "▁Cost a", + "▁Cos ta", + "▁dev oted", + "▁gest ure", + "▁Dez ember", + "▁qu oted", + "▁quote d", + "▁quot ed", + "▁difficult ies", + "▁sustain able", + "▁d ense", + "▁den se", + "▁dens e", + "▁ih rer", + "▁ihr er", + "▁ihre r", + "▁firm ly", + "â t", + "om ent", + "ome nt", + "omen t", + "o ment", + "▁c out", + "▁co ut", + "▁cou t", + "▁ cout", + "▁p oi", + "▁po i", + "d jango", + "▁pro found", + "▁prof ound", + "▁Wil helm", + "▁fl ush", + "▁flu sh", + "▁ flush", + "▁av ril", + "LA B", + "L AB", + "▁B row", + "▁Br ow", + "▁Bro w", + "▁pro pose", + "▁prop ose", + "▁propos e", + "▁r anks", + "▁ran ks", + "▁rank s", + "WI D", + "W ID", + "▁mut ual", + "▁text s", + "▁tex ts", + "▁S ale", + "▁Sal e", + "▁Sa le", + "▁qu asi", + "▁n og", + "▁no g", + "▁ nog", + "▁nouve au", + "▁c v", + "▁ cv", + "▁no ble", + "▁nob le", + "▁dé cembre", + "▁déc embre", + "▁cl ever", + "▁cle ver", + "▁P ir", + "▁Pi r", + "▁graph ics", + "▁graphic s", + "▁ graphics", + "▁G R", + "▁ GR", + "▁s ag", + "▁sa g", + "ict ions", + "iction s", + "i ctions", + "na nt", + "nan t", + "n ant", + "▁th é", + "C G", + "▁Jac ques", + "W M", + "▁F inn", + "▁Fin n", + "▁Fi nn", + "▁dev ast", + "▁En tre", + "▁Ent re", + "▁fl uct", + "▁flu ct", + "▁Sc iences", + "▁Sci ences", + "▁Science s", + "path s", + "pat hs", + "▁sh orter", + "▁short er", + "▁suggest ion", + "ER Y", + "▁D ire", + "▁Di re", + "▁Dir e", + "at eurs", + "ate urs", + "ateur s", + "▁round ed", + "▁t art", + "▁tar t", + "▁ta rt", + "up er", + "u per", + "▁secret s", + "▁sec rets", + "▁secre ts", + "▁compan ion", + "▁K EY", + "▁ KEY", + "T ile", + "▁B ibli", + "x s", + "▁ang ular", + "▁ angular", + "pa g", + "p ag", + "er ness", + "ern ess", + "erne ss", + "▁S orry", + "▁Sor ry", + "▁ Sorry", + "▁pre diction", + "▁predict ion", + "▁pred iction", + "▁M aking", + "▁Ma king", + "▁Mak ing", + "ol are", + "ola re", + "olar e", + "rp c", + "r pc", + "▁t ens", + "▁te ns", + "▁ten s", + "en as", + "ena s", + "e nas", + "▁Re ally", + "▁Real ly", + "H I", + "port al", + "por tal", + "▁for me", + "▁form e", + "gan g", + "ga ng", + "g ang", + "▁l ane", + "▁la ne", + "▁lan e", + "▁ lane", + "▁s tag", + "▁st ag", + "▁sta g", + "▁Mar x", + "▁Ma rx", + "▁L LC", + "▁LL C", + "▁d are", + "▁da re", + "▁dar e", + "▁Olymp ic", + "▁p ant", + "▁pan t", + "▁pa nt", + "build ing", + "; ;", + "▁c ops", + "▁co ps", + "▁cop s", + "▁r ushed", + "▁rush ed", + "▁rus hed", + "▁L ot", + "▁Lo t", + "▁init iative", + "▁initi ative", + "▁inv ite", + "▁Saf ety", + "▁Safe ty", + "FA ILED", + "FAIL ED", + "▁habit ants", + "en sen", + "ens en", + "ense n", + "▁l ég", + "▁W elcome", + "▁Wel come", + "Valid ate", + "▁qu atre", + "▁G ray", + "▁Gr ay", + "▁Gra y", + "▁E ve", + "▁Ev e", + "▁C omb", + "▁Com b", + "▁Co mb", + "▁ Comb", + "▁p endant", + "a qu", + "con figure", + "config ure", + "▁A dm", + "▁Ad m", + "▁rif le", + "▁Exper ience", + "Decl aration", + "▁å r", + "▁ år", + "os pel", + "osp el", + "▁A rena", + "▁Ar ena", + "▁Are na", + "▁bo ards", + "▁board s", + "▁ boards", + "▁pur ple", + "▁p ills", + "▁pil ls", + "▁pill s", + "ueto oth", + "li que", + "l ique", + "▁pop ulations", + "▁population s", + "▁popul ations", + "▁acc ent", + "▁ac cent", + "▁r anges", + "▁range s", + "▁ran ges", + "▁rang es", + "▁Anal ysis", + "▁ Analysis", + "▁d ictionary", + "▁Dr agon", + "▁Drag on", + "re ction", + "rect ion", + "r ection", + "▁vis itor", + "▁visit or", + "seg ment", + "▁F uck", + "▁Fu ck", + "▁ident ification", + "Class Name", + "boot strap", + "▁sur faces", + "▁surface s", + "▁surf aces", + "▁scream ing", + "кт у", + "к ту", + "pl ain", + "sh adow", + "incl udes", + "include s", + "▁j azz", + "▁ja zz", + "▁á l", + "▁ ál", + "ri ka", + "rik a", + "r ika", + "ho p", + "h op", + "▁i on", + "▁io n", + "▁ ion", + "vr e", + "v re", + "▁newsp apers", + "▁newspaper s", + "▁i hn", + "▁ih n", + "▁P arse", + "▁Par se", + "▁Pars e", + "▁ Parse", + "▁strict ly", + "▁re covered", + "▁recover ed", + "▁U na", + "▁Un a", + "▁err e", + "▁er re", + "▁ erre", + "iss ues", + "issue s", + "▁exp ense", + "▁do nc", + "▁don c", + "Bi n", + "B in", + "▁Com ment", + "▁Comm ent", + "▁ Comment", + "▁sac rifice", + "▁sacrific e", + "T uple", + "() [", + "( )[", + "▁tra vers", + "▁trav ers", + "Im p", + "I mp", + "J e", + "▁Lin ux", + "▁P i", + "▁ Pi", + "▁cur ios", + "▁cu rios", + "▁r age", + "▁rag e", + "▁ra ge", + "▁ rage", + "▁e scal", + "▁es cal", + "▁esc al", + "▁al ignment", + "▁align ment", + "▁pent ru", + "▁cur r", + "▁cu rr", + "▁ curr", + "▁b este", + "▁be ste", + "▁best e", + "▁bes te", + "[] ,", + "[ ],", + "▁// !", + "H ub", + "Vis ibility", + "▁A sk", + "▁As k", + "ab ul", + "a bul", + "co lon", + "col on", + "colo n", + "▁D ays", + "▁Day s", + "▁Da ys", + "Aut hentication", + "ві т", + "▁l od", + "▁lo d", + "xF C", + "x FC", + "Look up", + "js ce", + "Al pha", + "▁harm ony", + "▁harmon y", + "▁W ard", + "▁War d", + "▁Wa rd", + "trans fer", + "▁H orn", + "▁Hor n", + "▁Ho rn", + "▁s d", + "▁ sd", + "so ap", + "▁z ich", + "▁Con sole", + "▁Cons ole", + "▁ Console", + "▁ко ли", + "▁Ph one", + "▁ Phone", + "pa per", + "p aper", + "▁z m", + "▁ zm", + "Do ne", + "Don e", + "D one", + "ph ase", + "pha se", + "phas e", + "▁Jul ia", + "▁Ju lia", + "▁Juli a", + "▁ed ited", + "▁edit ed", + "af fe", + "aff e", + "Sy ntax", + "yl l", + "y ll", + "▁Lu cas", + "▁Luc as", + "▁and eren", + "▁andere n", + "▁ander en", + "[ <", + "▁Data base", + "▁Dat abase", + "▁ Database", + "▁spect ral", + "▁spectra l", + "ass ador", + "ска та", + "с ката", + "▁import ante", + "▁important e", + "t z", + "▁s tere", + "▁st ere", + "▁ste re", + "▁ster e", + "▁m elt", + "▁me lt", + "▁mel t", + "▁C row", + "▁Cr ow", + "▁Cro w", + "it utes", + "itut es", + "itute s", + "itu tes", + "▁satisf ies", + "▁L iga", + "▁Li ga", + "▁t omb", + "▁to mb", + "▁tom b", + "▁f ühr", + "▁ führ", + "▁sol ely", + "▁sole ly", + "▁E ither", + "▁t ennis", + "▁ten nis", + "▁s igh", + "▁si gh", + "▁sig h", + "ser de", + "s erde", + "ub a", + "u ba", + "ę d", + "le z", + "l ez", + "Fac t", + "F act", + "▁sque ez", + "▁Thom pson", + "▁N L", + "▁ NL", + "▁P ara", + "▁Par a", + "▁Pa ra", + "▁? ?", + "▁ ??", + "She et", + "S heet", + "LIN K", + "L INK", + "▁l over", + "▁lo ver", + "▁love r", + "▁lov er", + "m achine", + "▁L esser", + "▁Les ser", + "▁Less er", + "▁pain tings", + "▁assum ptions", + "▁assumption s", + "▁mod ification", + "fr e", + "f re", + "▁U lt", + "▁Ul t", + "▁A F", + "▁ AF", + "R V", + "bin ding", + "bind ing", + "b inding", + "▁toile t", + "ra r", + "r ar", + "▁an ge", + "▁ang e", + "▁ ange", + "▁she ep", + "PRO TO", + "act ic", + "a ctic", + "▁S peed", + "▁Sp eed", + "▁Spe ed", + "▁ Speed", + "▁I ce", + "gn u", + "g nu", + "ow ned", + "own ed", + "Sub scription", + "yr ics", + "y rics", + "▁back ward", + ">\" .", + "> \".", + "pi t", + "p it", + "▁real istic", + "öff ent", + "az i", + "a zi", + "DE R", + "D ER", + "b ucket", + "én y", + "é ny", + "xF E", + "x FE", + "▁f ancy", + "▁fan cy", + "ex cept", + "▁S ul", + "▁Su l", + "▁l aser", + "▁la ser", + "▁las er", + "Mon itor", + "▁c omic", + "▁com ic", + "▁co mic", + "▁Arch itect", + "▁ex pr", + "▁exp r", + "▁ expr", + "ount ers", + "oun ters", + "ounter s", + "com plex", + "comp lex", + "'. $", + "' .$", + "omo t", + "o mot", + "▁M enu", + "▁Me nu", + "▁Men u", + "▁ Menu", + "astic search", + "▁ed iting", + "▁edit ing", + "Pre sent", + "Pres ent", + "P resent", + "op les", + "ople s", + "opl es", + "o ples", + "è ncia", + "gl ise", + "she et", + "s heet", + "▁he lic", + "▁hel ic", + "▁str anger", + "▁strange r", + "▁strang er", + "▁ exec", + "FE R", + "F ER", + "in ian", + "ini an", + "SET TING", + "▁M ix", + "▁Mi x", + "▁ Mix", + "▁com plain", + "▁compl ain", + "▁in crement", + "▁incre ment", + "CS S", + "C SS", + "mm a", + "m ma", + "sl ide", + "▁проти в", + "▁Lim ited", + "Con sole", + "Cons ole", + "▁eng aging", + "ul er", + "ule r", + "u ler", + "▁O ptions", + "▁Option s", + "▁Opt ions", + "▁ Options", + "▁l ens", + "▁le ns", + "▁len s", + "Ma il", + "M ail", + "▁bar rier", + "▁barr ier", + "trans port", + "▁c ups", + "▁cu ps", + "▁cup s", + "it err", + "ite rr", + "iter r", + "▁const ants", + "▁constant s", + "▁ constants", + "▁T ech", + "▁Te ch", + "iz io", + "izi o", + "▁Sw eden", + "at hon", + "ath on", + "a thon", + "▁M agn", + "▁Mag n", + "▁Ma gn", + "trans ition", + "es k", + "e sk", + "So ft", + "S oft", + "fun ctions", + "function s", + "ne a", + "n ea", + "Im plement", + "Impl ement", + "Imp lement", + "ev ery", + "ever y", + "eve ry", + "e very", + "▁Man ufact", + "▁improve ments", + "▁improvement s", + "▁Ind iana", + "▁India na", + "▁Indian a", + "▁host s", + "▁ho sts", + "C V", + "We st", + "W est", + "to wn", + "t own", + "can vas", + "▁Col umn", + "▁ Column", + "▁Par ker", + "▁Park er", + "▁es pa", + "▁esp a", + "▁Pub lish", + "av is", + "avi s", + "a vis", + "▁Z w", + "▁emphas is", + "ol v", + "o lv", + "▁re curs", + "▁rec urs", + "▁recur s", + "it aire", + "ita ire", + "▁Bi shop", + "▁Bis hop", + "ne ro", + "ner o", + "n ero", + "▁d eny", + "▁de ny", + "▁den y", + "peon ato", + "▁C ourse", + "▁Cour se", + "▁Que ens", + "▁Queen s", + "▁bl ur", + "el ed", + "ele d", + "e led", + "iz o", + "i zo", + "▁dé but", + "▁Mod ule", + "▁Mo dule", + "▁ Module", + "▁anx ious", + "▁st are", + "▁star e", + "▁sta re", + "▁Pro position", + "▁i c", + "▁ ic", + "Per cent", + "Qu ant", + "▁h ex", + "▁he x", + "▁ hex", + "ass oci", + "asso ci", + "▁arrang ement", + "▁arrange ment", + "▁bo ats", + "▁boat s", + "Un d", + "U nd", + "▁sl ots", + "▁slot s", + "necess ary", + "▁app earing", + "▁appe aring", + "▁appear ing", + "▁R ule", + "▁Ru le", + "▁ Rule", + "▁G T", + "▁ GT", + "For ce", + "et to", + "ett o", + "e tto", + "ze nia", + "zen ia", + "▁o uts", + "▁out s", + "▁ou ts", + "▁ outs", + "▁vari ations", + "▁variation s", + "▁wh ites", + "▁white s", + "▁g lo", + "▁gl o", + "▁B R", + "▁ BR", + "ic ky", + "ick y", + "▁j ury", + "▁ju ry", + "▁jur y", + "▁treat ments", + "▁treatment s", + "▁The ater", + "▁pro files", + "▁prof iles", + "▁profile s", + "▁con spir", + "▁class room", + "▁B ass", + "▁Bas s", + "▁Ba ss", + "▁law yers", + "▁lawyer s", + "v ue", + "▁A rc", + "▁Ar c", + "▁ Arc", + "▁s la", + "▁sl a", + "▁att ending", + "▁attend ing", + "n x", + "m x", + "TO P", + "T OP", + "▁b ored", + "▁bo red", + "▁bore d", + "▁bor ed", + "pre vious", + "prev ious", + "r w", + "pt ic", + "љ у", + "▁app ar", + "▁ap par", + "▁P ont", + "▁Po nt", + ": _", + "ii i", + "i ii", + "▁j erk", + "▁jer k", + "▁Pr ize", + "▁Pri ze", + "▁hand les", + "▁handle s", + "▁j ak", + "▁ja k", + "▁Afghan istan", + "▁b oring", + "▁bo ring", + "▁bor ing", + "if ik", + "ifi k", + "▁sh ade", + "▁sha de", + "air o", + "ai ro", + "a iro", + "od ay", + "oda y", + "o day", + "▁pl ates", + "▁plate s", + "▁plat es", + "▁Champion ships", + "▁che eks", + "▁cheek s", + "ri ke", + "rik e", + "r ike", + "▁kön nen", + "▁app le", + "▁ap ple", + "▁appl e", + "▁ apple", + "▁Ed die", + "▁Edd ie", + "▁s od", + "▁so d", + "pan ic", + "pa nic", + "▁Ad vent", + "▁Adv ent", + "ub re", + "u bre", + "▁d å", + "▁S ymbol", + "▁Sym bol", + "▁ Symbol", + "Sa m", + "S am", + "inher it", + "cam era", + "▁c ours", + "▁co urs", + "▁cour s", + "▁cou rs", + "▁make up", + "re gex", + "reg ex", + "▁U E", + "▁ UE", + "▁Det roit", + "▁W eight", + "▁We ight", + "▁ Weight", + "▁P iet", + "▁Pi et", + "▁a ria", + "▁ar ia", + "▁ aria", + "DI RECT", + "DIR ECT", + "ace ae", + "▁In fo", + "▁Inf o", + "▁ Info", + "an ya", + "any a", + "back end", + "▁T ennessee", + "pi cker", + "pic ker", + "pick er", + "p icker", + "▁Le o", + "▁P oss", + "▁Po ss", + "▁Pos s", + "pr ises", + "prise s", + "▁m ature", + "▁mat ure", + "сь ких", + "▁F ant", + "▁Fa nt", + "Re ason", + "▁m oy", + "▁mo y", + "▁B aker", + "▁Ba ker", + "▁Bak er", + "▁sub set", + "▁subs et", + "▁ subset", + "▁Stan ley", + "▁el even", + "▁ele ven", + "▁elev en", + "ol ate", + "ola te", + "o late", + "▁fort une", + "Status Code", + "▁ent ities", + "▁ entities", + "▁Ok ay", + "▁ Okay", + "an os", + "ano s", + "a nos", + "rel ative", + "▁order ing", + "▁ord ering", + "▁No body", + "▁Nob ody", + "▁str len", + "▁ strlen", + "▁r ope", + "▁ro pe", + "▁cig arette", + "hol ds", + "hold s", + "h olds", + "ir able", + "ira ble", + "value Of", + "St ub", + "▁phot ography", + "▁photograph y", + "es tra", + "est ra", + "estr a", + "e stra", + "▁cult ures", + "▁culture s", + "▁decl aration", + "▁declar ation", + "LI ED", + "au te", + "aut e", + "a ute", + "al ter", + "alt er", + "Sub mit", + "▁Mag ic", + "▁r hythm", + "Pay ment", + "ni h", + "n ih", + "▁inter section", + "l é", + "EN TRY", + "/ )", + "▁m og", + "▁mo g", + "ru st", + "rus t", + "r ust", + "▁threat s", + "ap or", + "a por", + "▁s igu", + "▁si gu", + "▁sig u", + "set minus", + "▁I ng", + "▁In g", + "st ation", + "stat ion", + "T ake", + "▁s hed", + "▁sh ed", + "▁she d", + "▁Fr ancia", + "▁Franc ia", + "▁Fra ncia", + "▁Fran cia", + "pos ts", + "po sts", + "post s", + "Mar ker", + "Mark er", + "Lower Case", + "▁be find", + "▁bef ind", + "▁Cz ech", + "ícul a", + "▁Per formance", + "▁W es", + "▁We s", + "▁L arry", + "▁Lar ry", + "▁o st", + "▁os t", + "▁ ost", + "▁em ails", + "▁email s", + "▁Re lease", + "▁ Release", + "▁ad apter", + "▁adapt er", + "▁ adapter", + "▁pad re", + "ac io", + "aci o", + "a cio", + "▁gen etic", + "▁ge netic", + "▁U nd", + "▁Un d", + "▁ Und", + "▁accept ance", + "▁Girl s", + "▁Gir ls", + "comp iler", + "compile r", + "su n", + "s un", + "▁whe els", + "▁wheel s", + "▁thorough ly", + "gr und", + "gru nd", + "g rund", + "unct ion", + "▁e lla", + "▁el la", + "▁ell a", + "▁ ella", + "X FF", + "ug s", + "u gs", + "ient os", + "ien tos", + "iento s", + "▁D M", + "▁ DM", + "▁polit ique", + "▁campaign s", + "▁Tok yo", + "KERN EL", + "pd ata", + "p data", + "▁lap top", + "▁lapt op", + "▁v ál", + "▁vá l", + "▁f ou", + "▁fo u", + "or b", + "o rb", + "▁T ower", + "▁To wer", + "▁Tow er", + "▁Get ting", + "▁cor ners", + "▁corner s", + "▁corn ers", + "pl ess", + "ple ss", + "ples s", + "p less", + "▁special ist", + "▁i v", + "▁ iv", + "Ui nt", + "U int", + "▁name ly", + "▁nam ely", + "▁sc aling", + "▁scal ing", + "Ext ensions", + "Extension s", + "▁cent ro", + "omorph ism", + "▁dé f", + "), \\", + ") ,\\", + "▁contr ary", + "▁contra ry", + "▁str iking", + "▁stri king", + "▁B ere", + "▁Be re", + "▁Ber e", + "▁fore cast", + "▁z ones", + "▁zone s", + "▁zo nes", + "sm art", + "s mart", + "as hi", + "ash i", + "ri n", + "r in", + "NE W", + "▁sim ulations", + "▁simulation s", + "▁R ather", + "▁Ra ther", + "▁Rat her", + "▁Writ ing", + "▁Wr iting", + "▁$ [", + "▁as sh", + "▁ass h", + "▁f ailing", + "▁fa iling", + "▁fail ing", + "▁man if", + "▁B og", + "▁Bo g", + "▁D ir", + "▁Di r", + "▁ Dir", + "conf irm", + "▁we igh", + "▁in ventory", + "▁invent ory", + "▁a pare", + "▁ap are", + "▁e u", + "▁ eu", + "char acter", + "io m", + "i om", + "▁o rb", + "▁or b", + "▁ orb", + "dev ices", + "device s", + "▁L ED", + "▁LE D", + "▁ LED", + "▁prop ortion", + "▁proport ion", + "▁Hon or", + "▁Ho nor", + "▁appro aching", + "▁approach ing", + "de leg", + "del eg", + "▁B B", + "▁ BB", + "hel pers", + "help ers", + "helper s", + "re pository", + "rep ository", + "▁inhab it", + "▁s ão", + "▁travel ed", + "▁trav eled", + "ne x", + "n ex", + "▁C lin", + "▁Cl in", + "CE PT", + "▁off ense", + "▁in cent", + "▁inc ent", + "ID S", + "I DS", + "▁coeff icients", + "▁coefficient s", + "▁l p", + "▁ lp", + "▁c d", + "▁ cd", + "mu st", + "mus t", + "m ust", + "▁soon er", + "ez e", + "e ze", + "C at", + "ma ker", + "make r", + "m aker", + "▁r anked", + "▁ran ked", + "ful ness", + "▁part ially", + "▁partial ly", + "▁parti ally", + "Pro m", + "Pr om", + "P rom", + "▁Pro bably", + "▁c ached", + "▁cache d", + "▁ca ched", + "▁ cached", + "▁bal anced", + "▁balance d", + "ah oma", + "aho ma", + "▁Mur ray", + "▁a li", + "▁al i", + "▁ ali", + "iv os", + "ivo s", + "▁b ark", + "▁bar k", + "IT EM", + "ITE M", + "▁Kir che", + "▁alloc ated", + "▁allocate d", + "Al t", + "A lt", + "▁am éric", + "íl ia", + "í lia", + "▁c ens", + "▁ce ns", + "▁lic enses", + "▁license s", + "▁ licenses", + "ac z", + "a cz", + "▁G ate", + "▁Ga te", + "▁ Gate", + "▁B L", + "▁ BL", + "▁re public", + "▁rep ublic", + "RO W", + "▁Fil ip", + "▁Ind ivid", + "▁tr ials", + "▁tri als", + "▁trial s", + "/* !", + "▁G P", + "▁ GP", + "ni ka", + "nik a", + "n ika", + "▁ex em", + "▁ad vers", + "▁adv ers", + "um ped", + "ump ed", + "▁Dev ice", + "▁ Device", + "wa ke", + "w ake", + "Ex ec", + "ar ding", + "ard ing", + "ardi ng", + "▁pobl ación", + "▁k een", + "▁ke en", + "▁b itch", + "▁bit ch", + "▁embed ded", + "▁B ond", + "▁Bo nd", + "▁Bon d", + "ri des", + "ride s", + "rid es", + "r ides", + "▁W oman", + "▁Wo man", + "ér é", + "é ré", + "▁Hash Map", + "▁ HashMap", + "▁co unting", + "▁coun ting", + "▁count ing", + "▁Init ial", + "▁ Initial", + "▁ver se", + "▁vers e", + "▁ verse", + "▁Vere in", + ">\" ,", + "> \",", + "▁an th", + "▁ant h", + "▁ anth", + "ci d", + "c id", + "▁h unt", + "▁hun t", + "ci es", + "cie s", + "c ies", + "Pi n", + "P in", + "▁# !", + "sn d", + "s nd", + "▁u k", + "▁ uk", + "▁sw ift", + "▁tempor ada", + "▁environment s", + "▁environ ments", + "claim er", + "eme tery", + "j är", + "Trans port", + "▁A rr", + "▁Ar r", + "▁ Arr", + "▁P aper", + "▁Pa per", + "▁Pap er", + "▁b ew", + "▁be w", + "▁ bew", + "▁har vest", + "▁- ----", + "▁-- ---", + "▁--- --", + "▁ -----", + "product s", + "ident ifier", + "RO OT", + "▁M ak", + "▁Ma k", + "▁App ro", + "▁Ap pro", + "▁ Appro", + "ie ri", + "ier i", + "i eri", + "▁F ly", + "▁Fl y", + "▁is set", + "▁iss et", + "▁ isset", + "▁determ ination", + "▁determin ation", + "Ge ometry", + "▁emer ging", + "sub scription", + "▁R ace", + "▁Ra ce", + "▁Config uration", + "▁ Configuration", + "▁Inter est", + "ist rz", + "istr z", + "▁S han", + "▁Sh an", + "▁Sha n", + "▁P ain", + "▁Pa in", + "CON NE", + "ma jor", + "m ajor", + "▁St ay", + "▁Sta y", + "▁bron ze", + "▁f itting", + "▁fit ting", + "▁J ar", + "▁Ja r", + "mg r", + "m gr", + "▁S har", + "▁Sh ar", + "▁Sha r", + "FL O", + "F LO", + "▁cont acts", + "▁contact s", + "▁f iring", + "▁fi ring", + "▁fir ing", + "▁prof es", + "sk é", + "s ké", + "=\" /", + "an dro", + "and ro", + "▁ens uring", + "iz en", + "ize n", + "i zen", + "ise cond", + "i second", + "ob il", + "obi l", + "o bil", + "▁re ck", + "▁rec k", + "▁ reck", + ")} (", + ") }(", + "bit map", + "▁B run", + "▁Br un", + "▁Bru n", + "▁Jer usalem", + "▁W o", + "▁Republic ans", + "▁Republican s", + "mat ic", + "m atic", + "▁d ock", + "▁do ck", + "▁doc k", + "▁M all", + "▁Mal l", + "▁Ma ll", + "k k", + "▁C OL", + "▁CO L", + "▁ COL", + "▁lat ach", + "UI nt", + "U Int", + "ци ональ", + "цион аль", + "циона ль", + "▁seg ments", + "▁segment s", + "▁re fund", + "▁ref und", + "fa c", + "f ac", + "▁Art icle", + "▁B orn", + "▁Bo rn", + "▁Bor n", + "² .", + "br and", + "bra nd", + "b rand", + "{$ \\", + "{ $\\", + "▁s s", + "▁ ss", + "▁Re sources", + "▁Res ources", + "▁Resource s", + "▁ Resources", + "▁re cycl", + "▁rec ycl", + "▁$ $\\", + "▁$$ \\", + "▁Conne ction", + "▁Connect ion", + "▁ Connection", + "▁imp erial", + "▁imper ial", + "▁pract ically", + "▁practical ly", + "▁– ,", + "▁Dis play", + "▁ Display", + "ier no", + "mo uth", + "m outh", + "ed es", + "ede s", + "e des", + "ba hn", + "b ahn", + "▁C atherine", + "▁high way", + "un ting", + "unt ing", + "▁Any way", + "Sp ell", + "Spe ll", + "▁L iste", + "▁List e", + "▁Li ste", + "▁Lis te", + "▁ret rieve", + "▁retr ieve", + "▁retriev e", + "▁z d", + "▁ zd", + "stra ße", + "▁dom inated", + "▁domin ated", + "to uch", + "t ouch", + "▁m b", + "▁ mb", + "LO NG", + "L ONG", + "as ures", + "asure s", + "TL S", + "T LS", + "▁accompl ished", + "▁accomp lished", + "▁accomplish ed", + "▁f ears", + "▁fe ars", + "▁fear s", + "▁seem ingly", + "▁d ag", + "▁da g", + "▁ dag", + "▁b ureau", + "▁bur eau", + "▁Gro ß", + "▁accord ance", + "ou x", + "o ux", + "▁col onial", + "▁colon ial", + "▁compass ion", + "th umb", + "▁s wo", + "▁sw o", + "on line", + "▁J i", + "▁work shop", + "▁works hop", + "▁l ub", + "▁lu b", + "év rier", + "ш і", + ">\" ;", + "> \";", + "▁gener ous", + "▁gene rous", + "ro us", + "rou s", + "r ous", + "av id", + "avi d", + "a vid", + "▁R aw", + "▁Ra w", + "▁ Raw", + "▁sw ap", + "▁ swap", + "h c", + "java script", + "jav ascript", + "Fact or", + "Fac tor", + "F actor", + "▁gar bage", + "▁Mi cro", + "co u", + "c ou", + "ü ber", + "▁f atal", + "▁fa tal", + "▁fat al", + "▁trans parent", + "▁b earing", + "▁be aring", + "▁bear ing", + "▁celebr ated", + "▁celebrate d", + "VI S", + "V IS", + "▁B M", + "▁ BM", + "▁pr ince", + "▁prin ce", + "to l", + "t ol", + "▁' ", + "\\ \">", + "▁du rant", + "▁dur ant", + "▁vent ure", + "▁F itz", + "▁Fi tz", + "▁C BD", + "▁CB D", + "▁b acking", + "▁back ing", + "▁w are", + "▁war e", + "▁wa re", + "▁ ware", + "ev e", + "e ve", + "O G", + "ed ish", + "edi sh", + "▁Giov anni", + "▁Sh are", + "▁Shar e", + "▁Sha re", + "▁ Share", + "▁rec ipes", + "▁recipe s", + "▁recip es", + "big g", + "bi gg", + "b igg", + "▁minor ity", + "▁na r", + "▁ nar", + "oll ary", + "ollar y", + "▁F E", + "▁ FE", + "sh irt", + "▁redu ces", + "▁reduce s", + "Ch e", + "C he", + "▁NOT E", + "▁NO TE", + "j query", + "▁F low", + "▁Fl ow", + "▁Flo w", + "▁ Flow", + "task s", + "pr event", + "pre vent", + "prev ent", + "it as", + "ita s", + "▁exam ined", + "▁examine d", + "ho n", + "h on", + "▁M ine", + "▁Min e", + "▁Mi ne", + "▁grad ient", + "▁V ien", + "▁Vi en", + "▁b eds", + "▁be ds", + "▁bed s", + "ET H", + "E TH", + "fl at", + "f lat", + "an son", + "ans on", + "▁in tu", + "▁int u", + "▁fl ows", + "▁flo ws", + "▁flow s", + "▁E ine", + "▁Ein e", + "▁aff ection", + "▁af fection", + "▁affect ion", + "▁p orts", + "▁por ts", + "▁port s", + "▁ ports", + "__ .", + "_ _.", + "re po", + "rep o", + "ail and", + "ai land", + "int age", + "inta ge", + "▁Prote ction", + "î t", + "▁[ {", + "▁l amp", + "▁la mp", + "▁benef icial", + "▁Станов ништво", + "▁l ined", + "▁li ned", + "▁line d", + "▁lin ed", + "▁ lined", + "▁Ex change", + "▁f itted", + "▁fit ted", + "▁v erk", + "▁ver k", + "▁focus es", + "vo d", + "v od", + "▁Car lo", + "▁Carl o", + "ain ted", + "aint ed", + "ainte d", + "a inted", + "▁r ape", + "▁rap e", + "▁ra pe", + "▁t ogg", + "▁to gg", + "ac ker", + "ack er", + "a cker", + "T w", + "ra h", + "r ah", + "trans l", + "▁je alous", + "▁re pository", + "▁rep ository", + "▁ repository", + "re marks", + "rem arks", + "remark s", + "▁i e", + "▁ ie", + "í d", + "▁sk ull", + "() ]", + "( )]", + "ri en", + "rie n", + "r ien", + "? (", + "▁K ids", + "▁Ki ds", + "▁Kid s", + "▁sw itched", + "▁switch ed", + "▁G ew", + "▁Ge w", + "▁be ef", + "▁Coll ins", + "▁V illa", + "▁Vill a", + "▁Vi lla", + "▁Vil la", + "▁z ona", + "▁zo na", + "▁n eu", + "▁ne u", + "▁х удо", + "▁oper ational", + "▁operation al", + "ON LY", + "▁h ockey", + "▁ś wi", + "ö k", + "Sl ice", + "Ref resh", + "▁n uts", + "▁nu ts", + "▁nut s", + "sa y", + "s ay", + "▁le aning", + "▁lean ing", + "▁H aus", + "▁Ha us", + "▁o ral", + "▁or al", + "▁ oral", + "▁ Ž", + "▁Sup pose", + "▁Supp ose", + "▁ess ence", + "EN TER", + "ENT ER", + "B ucket", + "▁C ant", + "▁Can t", + "▁Ca nt", + "▁N azi", + "▁Na zi", + "▁Naz i", + "ш ти", + "▁Vol ume", + "▁ Volume", + "▁wor thy", + "▁worth y", + "▁ worthy", + "B u", + "Ent ries", + "on ie", + "oni e", + "o nie", + "▁h ood", + "▁ho od", + "▁ hood", + "▁emp ire", + "▁dé velop", + "▁p robe", + "▁pro be", + "▁pr obe", + "▁prob e", + "▁ probe", + "▁K night", + "▁Kn ight", + "▁peace ful", + "hu b", + "h ub", + "▁ál bum", + "su it", + "s uit", + "▁sil k", + "+ =", + "▁p ione", + "▁pi one", + "' \"", + "▁N ull", + "▁Nu ll", + "▁ Null", + "Label s", + "au tres", + "aut res", + "autre s", + "to LowerCase", + "▁b uzz", + "▁bu zz", + "▁w ashed", + "▁was hed", + "▁wash ed", + "' *", + "itzer land", + "▁r amp", + "▁ra mp", + "▁ram p", + "▁k un", + "col ors", + "color s", + "colo rs", + "▁vacc ine", + "an imation", + "anim ation", + "▁Just in", + "mem set", + "▁cens us", + "in fl", + "inf l", + "▁statist ical", + "▁trop ical", + "Dis abled", + "Disable d", + "\r \r", + "▁Cra ig", + "Page s", + "Pag es", + "P ages", + "▁mag az", + "▁comput ing", + "▁flo ors", + "▁floor s", + "oin e", + "oi ne", + "o ine", + "▁tit olo", + "▁an ci", + "▁anc i", + "▁Indust ry", + "Bo ot", + "B oot", + "Cl ip", + "▁d v", + "▁ dv", + "▁met all", + "▁metal l", + "▁meta ll", + "▁Is abel", + "▁Isa bel", + "▁look up", + "▁ lookup", + "▁car ries", + "f u", + "tp l", + "t pl", + "pe rp", + "per p", + "▁St orm", + "▁Sto rm", + "eh icle", + "▁S even", + "▁Se ven", + "▁Sev en", + "љ а", + "▁l ut", + "▁lu t", + "th reshold", + "▁d ull", + "▁du ll", + "▁E ND", + "▁EN D", + "▁ END", + "▁O tto", + "▁Ot to", + "▁Ott o", + "▁there by", + "TE MP", + "T EMP", + "▁S cal", + "▁Sc al", + "▁ Scal", + "Com put", + "Comp ut", + "ip v", + "i pv", + "▁ins ane", + "▁myster ious", + "▁M is", + "▁Mi s", + "uch ar", + "uc har", + "u char", + "as ma", + "asm a", + "au ch", + "auc h", + "a uch", + "ne tt", + "net t", + "n ett", + "El em", + "E lem", + "de rive", + "der ive", + "▁murder ed", + "ak ten", + "akt en", + "akte n", + "▁a nos", + "▁an os", + "▁ano s", + "▁ anos", + "}} ^", + "} }^", + "▁F uß", + "▁Fu ß", + "▁S ister", + "▁Si ster", + "▁volunte er", + ":: _", + ": :_", + "er ta", + "ert a", + "og rá", + "▁Im Gui", + "sa me", + "sam e", + "s ame", + "Sh adow", + "▁re actions", + "▁reaction s", + "▁react ions", + "▁purch asing", + "PRE FIX", + "▁emb od", + "▁alt ogether", + "▁prom oting", + "▁promot ing", + "U V", + "▁ind uced", + "▁indu ced", + "▁eer ste", + "▁eerst e", + "Li fe", + "Lif e", + "L ife", + "hd d", + "h dd", + "ní ch", + "▁c hill", + "▁ch ill", + "▁chi ll", + "RG B", + "R GB", + "red uce", + "redu ce", + "FR OM", + "F ROM", + "dir name", + "▁t une", + "▁tu ne", + "▁tun e", + "▁r ay", + "▁ra y", + "▁ ray", + "T D", + "▁к ъ", + "▁Febru ar", + "▁suspend ed", + "▁susp ended", + "▁u pp", + "▁up p", + "▁ upp", + "er i", + "e ri", + "pr eter", + "pre ter", + "pret er", + "▁E R", + "▁ ER", + "▁c atal", + "▁cat al", + "▁ca tal", + "▁h iring", + "▁hi ring", + "▁п ів", + "▁пі в", + "▁Olymp ics", + "▁Olympic s", + "da le", + "dal e", + "d ale", + ":: {", + ": :{", + "▁expl oring", + "▁explo ring", + "▁univers ities", + "Class es", + "▁C ool", + "▁Co ol", + "th al", + "tha l", + "t hal", + "▁es crit", + "▁esc rit", + "▁cor ruption", + "▁corrupt ion", + "az ar", + "aza r", + "▁N eb", + "▁Ne b", + "▁Py thon", + "▁c him", + "▁ch im", + "▁chi m", + "▁cap ability", + "cy cl", + "c ycl", + "▁re try", + "▁r etry", + "▁ret ry", + "▁retr y", + "▁ retry", + "++ ]", + "▁t oy", + "▁to y", + "▁T erry", + "▁Ter ry", + "▁Terr y", + "View ById", + "▁v ine", + "▁vi ne", + "▁vin e", + "▁Kit chen", + "▁B iden", + "▁Bi den", + "Back end", + "gl ich", + "g lich", + "re lation", + "rel ation", + "▁rat ings", + "▁ra tings", + "▁rating s", + "Execut or", + "ibr ation", + ">( )", + "> ()", + "▁he al", + "if iable", + "ifi able", + "par k", + "p ark", + "▁P ete", + "▁Pe te", + "▁Pet e", + "▁tr aged", + "▁tra ged", + "▁trag ed", + "▁ch uck", + "▁wire less", + "▁wir eless", + "Re place", + "Rep lace", + "IR Q", + "i ß", + "▁j unto", + "▁jun to", + "Lo w", + "L ow", + "▁s id", + "▁si d", + "▁ sid", + "Tag Helpers", + "TagHelper s", + "▁comp aring", + "▁compar ing", + "▁c elle", + "▁cell e", + "▁ce lle", + "▁cel le", + "▁obt aining", + "▁obtain ing", + "▁qu ar", + "▁q uar", + "Br o", + "B ro", + "▁E C", + "▁ EC", + "in ea", + "ine a", + "i nea", + "▁F ue", + "▁Fu e", + "▁Prince ss", + "▁Prin cess", + "ij o", + "i jo", + "ge ns", + "gen s", + "g ens", + "PO L", + "P OL", + "è tres", + "▁h ind", + "▁hi nd", + "▁ hind", + "Var iant", + "Vari ant", + "▁rece ives", + "▁receive s", + "go d", + "g od", + "ik en", + "ike n", + "i ken", + "na il", + "n ail", + "▁amer ican", + "▁ american", + "br as", + "bra s", + "b ras", + "(' \\", + "( '\\", + "ie ce", + "if ference", + "iffer ence", + "iffe rence", + "▁b ubble", + "▁bub ble", + "▁B ear", + "▁Be ar", + "un ivers", + "uni vers", + "▁demand ing", + "sa ved", + "save d", + "s aved", + "▁cred entials", + "MS M", + "M SM", + "▁struct ural", + "Con s", + "Co ns", + "C ons", + "▁Way ne", + "▁blank et", + "▁re pet", + "▁rep et", + "▁repe t", + "Ne g", + "N eg", + "▁exclusive ly", + "▁exclus ively", + "IF I", + "I FI", + "▁arg uing", + "▁Re pub", + "▁Rep ub", + "▁f rowned", + "▁fr owned", + "Met ric", + "M etric", + "sk im", + "ski m", + "s kim", + "▁rele ases", + "▁release s", + "▁t ast", + "▁ta st", + "▁p reference", + "▁pre ference", + "▁prefer ence", + "▁S üd", + "▁Sü d", + "oc c", + "o cc", + "▁r x", + "▁ rx", + "activ ate", + "cl am", + "c lam", + "▁Sud denly", + "▁cr ushing", + "▁crush ing", + "▁L ower", + "▁Lo wer", + "▁Low er", + "▁ Lower", + "ei ng", + "e ing", + "wa lt", + "wal t", + "w alt", + "▁m ö", + "la gen", + "lag en", + "lage n", + "l agen", + "▁co aching", + "▁coach ing", + "▁bas ement", + "▁base ment", + "▁F IX", + "▁FI X", + "▁ FIX", + "Te le", + "T ele", + "With out", + "▁Com mons", + "▁Comm ons", + "▁Common s", + "h box", + "fl ash", + "▁por tal", + "▁port al", + "▁ portal", + "ot ype", + "o type", + "▁S or", + "▁So r", + "▁trou bles", + "▁trouble s", + "ar si", + "ars i", + "CA M", + "C AM", + "▁de notes", + "▁den otes", + "▁denote s", + "LA NG", + "LAN G", + "L ANG", + "▁Be yond", + "▁Bey ond", + "▁Bo wl", + "▁Bow l", + "▁import antly", + "▁important ly", + "▁W R", + "▁ WR", + "▁rel ating", + "▁a nder", + "▁and er", + "▁an der", + "▁ ander", + "▁gr inned", + "▁grin ned", + "▁D ak", + "▁Da k", + "▁Brook lyn", + "▁d p", + "▁ dp", + "▁P oly", + "▁Pol y", + "▁Po ly", + "▁ Poly", + "▁Sch ul", + "▁B uffer", + "▁Buff er", + "▁ Buffer", + "▁h older", + "▁hold er", + "▁hol der", + "▁ holder", + "IC AL", + "I CAL", + "▁tra iler", + "▁trail er", + "er ek", + "ere k", + "e rek", + "▁n ě", + "▁ ně", + "sh aped", + "shape d", + "sha ped", + ": `", + "▁de code", + "▁dec ode", + "▁ decode", + "▁co unted", + "▁coun ted", + "▁count ed", + "▁v amp", + "▁va mp", + "▁re late", + "▁rel ate", + "▁M ason", + "▁Ma son", + "▁Mas on", + "▁Kent ucky", + "▁Jenn ifer", + "▁mat rices", + "Cal endar", + "st s", + "s ts", + "Ass oci", + "▁f orum", + "▁for um", + "▁fo rum", + "▁s phere", + "▁sp here", + "▁spher e", + "▁S EO", + "▁SE O", + "pop up", + "▁Current ly", + "CL E", + "C LE", + "▁vol unt", + "▁stell ar", + "for all", + "Is s", + "I ss", + "im et", + "ime t", + "i met", + "q p", + "la test", + "lat est", + "late st", + "▁config ured", + "▁configure d", + "ab ol", + "a bol", + "ig ent", + "igen t", + "ige nt", + "i gent", + "▁delay ed", + "▁g ing", + "▁gi ng", + "▁ ging", + "▁s cent", + "▁sc ent", + "▁scen t", + "▁disg ust", + "▁disgu st", + "he sis", + "hes is", + "h esis", + "im en", + "ime n", + "i men", + "ul as", + "ula s", + "u las", + "um ing", + "umin g", + "umi ng", + "u ming", + "in nings", + "inn ings", + "Re nd", + "R end", + "id ity", + "idi ty", + "▁do zens", + "▁dozen s", + "wa rf", + "war f", + "▁Del hi", + "▁bi ological", + "▁corrid or", + "Vis ual", + "▁I z", + "▁s uits", + "▁su its", + "▁suit s", + "Py Object", + "ia go", + "i ago", + "▁div ide", + "▁divid e", + "pe nt", + "pen t", + "p ent", + "hel lo", + "hell o", + "h ello", + "▁b eta", + "▁be ta", + "▁bet a", + "▁ beta", + "▁ex terior", + "▁fin est", + "▁fine st", + "▁f reed", + "▁fr eed", + "▁free d", + "▁fre ed", + "Se m", + "S em", + "▁fr uits", + "▁fruit s", + "▁fru its", + "▁serv ants", + "▁servant s", + "▁pub lisher", + "▁publish er", + "▁cop per", + "ol ation", + "o lation", + "se p", + "s ep", + "ti k", + "t ik", + "▁m others", + "▁mother s", + "▁mo thers", + "A ug", + "▁je ans", + "[] )", + "[ ])", + "▁D ATA", + "▁DA TA", + "▁ DATA", + "▁reve als", + "▁reveal s", + "▁un conscious", + "▁h acer", + "▁ha cer", + "▁hace r", + "ric ulum", + "▁T ogether", + "or sz", + "ors z", + "▁c anal", + "▁can al", + "▁ca nal", + "ös t", + "ö st", + "▁equ als", + "▁equal s", + "▁eq uals", + "▁ equals", + "▁al location", + "▁all ocation", + "▁alloc ation", + "st änd", + "ac king", + "ack ing", + "▁motiv ation", + "▁R ole", + "▁Ro le", + "▁Rol e", + "▁ Role", + "App ly", + "Ap ply", + "ig es", + "ige s", + "i ges", + "* {", + "▁f ires", + "▁fire s", + "▁fi res", + "▁fir es", + "Us ed", + "Use d", + "U sed", + "▁he ute", + "sk iej", + "ski ej", + "▁Or leans", + "yl an", + "y lan", + "▁warm th", + "▁w elfare", + "▁wel fare", + "je m", + "j em", + "be z", + "b ez", + "ř e", + "ke e", + "k ee", + "▁segu ito", + "un ge", + "ung e", + "▁y oga", + "▁yo ga", + "▁d ug", + "▁du g", + "▁restore d", + "Dr oid", + "D roid", + "▁P ent", + "▁Pe nt", + "▁Pen t", + "▁ran king", + "▁rank ing", + "mo r", + "m or", + ".~ (\\", + "ograph ical", + "ographic al", + "▁p ian", + "▁pi an", + "▁g ates", + "▁gate s", + "▁ga tes", + "s quare", + "▁im plicit", + "▁impl icit", + "▁G ram", + "▁Gr am", + "▁Gra m", + "▁Apr ès", + "▁Ap rès", + "▁Ass istant", + "▁p ac", + "▁pa c", + "▁sc attering", + "▁scatter ing", + "стра тив", + "▁all ocate", + "▁alloc ate", + "▁Man hattan", + "▁inter rupted", + "▁interrupt ed", + "ér ieur", + "éri eur", + "érie ur", + "数 据", + "Sign al", + "Sig nal", + "▁Con tract", + "▁Cont ract", + "▁ Contract", + "ór ia", + "ó ria", + "WI TH", + "W ITH", + "Ag greg", + "A ggreg", + "cul es", + "cu les", + "cule s", + "c ules", + "J an", + "▁s to", + "▁st o", + "▁ sto", + "▁G PIO", + "▁GP IO", + "▁ GPIO", + "▁ident ifying", + "▁identify ing", + "▁p id", + "▁pi d", + "▁ pid", + "ę p", + "▁di git", + "▁dig it", + "el ia", + "eli a", + "e lia", + "inv oke", + "▁Fl oren", + "▁Flor en", + "▁Flo ren", + "▁sh allow", + "▁shall ow", + "get Class", + "getC lass", + "▁advert is", + "▁H R", + "▁ HR", + "ym an", + "y man", + "▁ CE", + "▁sec ured", + "▁secure d", + "▁secur ed", + "▁rel atives", + "▁relative s", + "▁relativ es", + "▁s ob", + "▁so b", + "▁s tab", + "▁st ab", + "▁sta b", + "Trans ition", + "▁w en", + "▁we n", + "▁ wen", + "sh ops", + "shop s", + "▁k ont", + "▁kon t", + "▁ko nt", + "▁h acia", + "▁ha cia", + "H y", + "sh ell", + "she ll", + "s hell", + "▁ant ib", + "▁anti b", + "env ironment", + "environ ment", + "um bs", + "umb s", + "Tr acker", + "Track er", + "Tra cker", + "en tr", + "ent r", + "▁Polit ical", + "ex tract", + "ext ract", + "extra ct", + "extr act", + "=\" {{", + "▁m erc", + "▁me rc", + "▁mer c", + "▁p oc", + "▁po c", + "▁Re set", + "▁Res et", + "▁ Reset", + "▁pur ely", + "▁pure ly", + "▁M ul", + "▁Mu l", + "▁gorge ous", + "▁Î n", + "ri ven", + "riv en", + "rive n", + "r iven", + "▁rom ance", + "▁roman ce", + "▁d av", + "▁da v", + "ér ica", + "éri ca", + "éric a", + "▁tra ject", + "▁a rise", + "▁ar ise", + "▁sw ung", + "▁p ockets", + "▁pocket s", + "▁trad itions", + "▁tradition s", + "▁re ver", + "▁r ever", + "▁rev er", + "▁reve r", + ">> >", + "> >>", + "▁n d", + "▁ nd", + "▁di vis", + "▁div is", + "▁bel oved", + "▁quant ities", + "▁é d", + "▁ éd", + "ien do", + "i endo", + "▁tal ented", + "▁talent ed", + "▁C ad", + "▁Ca d", + "▁imm igration", + "▁immigr ation", + "▁ju ris", + "▁jur is", + "▁a er", + "▁e aten", + "▁eat en", + "▁m iejsc", + "▁sum mon", + "pe ople", + "▁g ains", + "▁gain s", + "▁ga ins", + "▁restr iction", + "▁restrict ion", + "st ub", + "▁b out", + "▁bo ut", + "▁bou t", + "▁slave ry", + "▁sla very", + "▁comput ation", + "▁ar mor", + "▁arm or", + "▁e k", + "▁ ek", + "▁Muslim s", + "▁co operation", + "▁cooper ation", + "▁enh anced", + "▁enhance d", + "os lav", + "▁ab rupt", + "▁pod cast", + "▁hospital s", + "▁hosp itals", + "▁hot els", + "▁hotel s", + "▁Wik ipedia", + "G LOBAL", + "▁Commun ist", + "an gles", + "ang les", + "angle s", + "▁t high", + "▁th igh", + "▁K irk", + "▁Kir k", + "▁t ends", + "▁ten ds", + "▁tend s", + "▁M ode", + "▁Mod e", + "▁Mo de", + "▁ Mode", + "▁N atur", + "▁Nat ur", + "▁de let", + "▁del et", + "▁po pul", + "▁pop ul", + "▁Ch amber", + "▁Cha mber", + "▁Conserv ative", + "kr ieg", + "k rieg", + "▁Class ic", + "▁die sem", + "▁dies em", + "▁diese m", + "▁em power", + "▁emp ower", + "▁M es", + "▁Me s", + "▁de alt", + "▁deal t", + "▁e stad", + "▁est ad", + "▁esta d", + "▁Se it", + "▁cred its", + "▁credit s", + "sub subsection", + "Inv oke", + "▁phys ician", + "ás a", + "á sa", + "▁g ob", + "▁go b", + "▁R ug", + "▁Ru g", + "▁м іс", + "▁мі с", + "sh aller", + "shal ler", + "shall er", + "▁k ol", + "▁ko l", + "▁ kol", + "▁c ared", + "▁car ed", + "▁care d", + "▁ca red", + "▁of icial", + "no s", + "n os", + "▁j el", + "▁je l", + "▁ jel", + "null able", + "GU I", + "G UI", + "▁r app", + "▁rap p", + "▁ra pp", + "▁An nie", + "▁Ann ie", + "▁st ocks", + "▁stock s", + "▁sto cks", + "▁develop er", + "▁pl acement", + "▁place ment", + "▁plac ement", + "▁ placement", + "(\" <", + "▁l avor", + "▁la vor", + "▁lav or", + "▁acc us", + "Mar t", + "Ma rt", + "M art", + "amer ikan", + "▁sk etch", + "▁sent iment", + "An chor", + "Mer ge", + "Pe ople", + "▁rend ered", + "▁render ed", + "▁la und", + "▁n ons", + "▁no ns", + "▁non s", + "▁bl ew", + "▁ble w", + "k b", + "ate gor", + "ateg or", + "▁franç aise", + "▁français e", + "KE N", + "K EN", + "method s", + "▁Part icip", + "nost i", + "nos ti", + "n osti", + "▁com merce", + "▁commer ce", + "▁ commerce", + "▁d re", + "▁dr e", + "▁t win", + "▁tw in", + "▁ded ic", + "▁U TC", + "▁ UTC", + "We ek", + "▁differ ential", + "▁different ial", + "▁Ch oose", + "▁Cho ose", + "▁\" (", + "em ark", + "e mark", + "▁fe ared", + "▁fear ed", + "sk o", + "s ko", + "Br anch", + "▁in vention", + "▁inv ention", + "▁invent ion", + "er mine", + "erm ine", + "▁car act", + "▁ca ract", + "р ого", + "lo yd", + "▁del icate", + "Or gan", + "▁Im pro", + "▁Imp ro", + "▁r ip", + "▁ri p", + "▁ rip", + "Up dated", + "Update d", + "ul ent", + "ule nt", + "▁o bra", + "▁ob ra", + "s uspend", + "Line s", + "Lin es", + "Li nes", + "L ines", + "▁b anda", + "▁band a", + "▁ban da", + "ot ta", + "ott a", + "o tta", + "▁k ole", + "▁ko le", + "▁kol e", + "il io", + "ili o", + "i lio", + "▁output s", + "▁ outputs", + "est ro", + "estr o", + "AAAA AAAA", + "R UN", + "ne nt", + "nen t", + "n ent", + "▁d ated", + "▁da ted", + "▁dat ed", + "▁date d", + "▁ dated", + "▁s py", + "▁sp y", + "▁c rap", + "▁cr ap", + "▁in coming", + "▁inc oming", + "▁ф ев", + "▁фе в", + "PH Y", + "P HY", + "▁O range", + "▁Or ange", + "▁ob server", + "▁observ er", + "▁observe r", + "▁up stairs", + "ion ed", + "io ned", + "ione d", + "i oned", + "▁a tr", + "▁at r", + "▁ atr", + "igh bor", + "▁expect ation", + "Hi s", + "H is", + "im edia", + "i media", + "com put", + "comp ut", + "▁arg v", + "▁ argv", + "▁ear liest", + "ol len", + "oll en", + "ra ke", + "r ake", + "▁pat ience", + "▁bu yers", + "▁buy ers", + "▁buyer s", + "▁Conne ct", + "▁ Connect", + "▁Univers al", + "▁adjust ed", + "▁adj usted", + "im eq", + "ime q", + "el lers", + "ell ers", + "elle rs", + "eller s", + "▁ru in", + "▁Cr usher", + "▁Freder ick", + "ott age", + "otta ge", + "▁com prom", + "▁comp rom", + "▁compr om", + "ia sm", + "ias m", + "i asm", + "wa ve", + "w ave", + "▁encour aging", + "▁be ans", + "▁bean s", + "▁ beans", + "▁per ceived", + "… ]", + "▁gl obe", + "▁glob e", + "▁glo be", + "▁S F", + "▁ SF", + "he rent", + "her ent", + "here nt", + "▁a like", + "▁al ike", + "▁ali ke", + "▁hur ried", + "qu el", + "que l", + "q uel", + "▁mus icians", + "▁music ians", + "▁musician s", + "ar z", + "a rz", + "drop down", + "ac l", + "a cl", + "pre view", + "prev iew", + "p review", + "▁under neath", + "ze ś", + "list ener", + "listen er", + "▁C AN", + "▁CA N", + "▁ CAN", + "▁T ow", + "▁To w", + "▁pe ers", + "▁peer s", + "tl s", + "t ls", + "at ra", + "atr a", + "a tra", + "se nder", + "send er", + "sen der", + "s ender", + "TIME OUT", + "fu rt", + "fur t", + "f urt", + "▁Gu erra", + "{} )", + "{ })", + "▁D urch", + "▁Dur ch", + "▁s ki", + "▁sk i", + "▁ ski", + "il las", + "ill as", + "illa s", + "▁S of", + "▁So f", + "▁Organ ization", + "▁C leveland", + "▁b utt", + "▁but t", + "▁bu tt", + "▁sim ilarly", + "▁similar ly", + "▁assert True", + "▁ assertTrue", + "▁inev itable", + "ne ll", + "nel l", + "n ell", + "▁R af", + "▁Ra f", + "DIS ABLE", + "am ine", + "ami ne", + "amin e", + "a mine", + "▁Com plete", + "▁Comp lete", + "▁ Complete", + "▁be iden", + "▁bei den", + "▁Chall enge", + "Rad io", + "R adio", + "▁Not ice", + "He x", + "H ex", + "▁C uba", + "▁Cub a", + "▁Cu ba", + "▁aug ust", + "▁Philipp ines", + "Mar gin", + "M argin", + "ja l", + "j al", + "gener ator", + "▁t atto", + "▁ta tto", + "▁H em", + "▁He m", + "▁S alt", + "▁Sal t", + "▁Sa lt", + "un ately", + "unate ly", + "▁terr ain", + "▁terra in", + ",\\ ,", + ", \\,", + "▁c rop", + "▁cr op", + "▁cro p", + "Name d", + "Na med", + "N amed", + "▁W onder", + "▁Wo nder", + "▁Won der", + "es sen", + "ess en", + "esse n", + "▁f ist", + "▁fi st", + "▁fis t", + "▁z oom", + "▁zo om", + "▁ zoom", + "▁ru ling", + "▁rul ing", + "un likely", + "as sy", + "ass y", + "or ent", + "ore nt", + "oren t", + "o rent", + "▁g ibt", + "▁gi bt", + "▁A w", + "sim eq", + "s imeq", + "▁r aid", + "▁ra id", + "▁ raid", + "▁Com par", + "▁Comp ar", + "▁ Compar", + "▁free ly", + "▁fre ely", + "▁esp añ", + "▁espa ñ", + "▁py thon", + "▁ python", + "▁diagn osis", + "▁ch ips", + "▁chip s", + "▁chi ps", + "R azor", + "▁V ert", + "▁Ver t", + "▁Ve rt", + "▁ Vert", + "For ward", + "▁P é", + "▁compar able", + "▁anal ys", + "▁analy s", + "St d", + "S td", + "▁Franç ois", + "▁c ó", + "jo s", + "j os", + "▁p eg", + "▁pe g", + "▁ peg", + "CON ST", + "cl usive", + "▁voy age", + "▁Sch l", + "▁Sc hl", + "Group Layout", + "oi se", + "ois e", + "o ise", + "▁cr ush", + "▁cru sh", + "▁Die se", + "▁Di ese", + "▁Dies e", + "▁be kan", + "▁bek an", + "ci t", + "c it", + "▁Ein wohner", + "▁L an", + "▁La n", + "▁dress ing", + "▁s olved", + "▁sol ved", + "▁solve d", + "▁C hel", + "▁Ch el", + "▁Che l", + "par ed", + "pa red", + "pare d", + "p ared", + "▁se aled", + "▁sea led", + "▁seal ed", + "}) )", + "} ))", + "anc ouver", + "se h", + "s eh", + "ta bles", + "table s", + "tab les", + "t ables", + "▁red dit", + "▁redd it", + "▁ reddit", + "▁m our", + "▁mo ur", + "▁mou r", + "▁clean up", + "▁ cleanup", + "ov ić", + "ovi ć", + "▁Ur ban", + "oc t", + "o ct", + "▁Le gal", + "▁Leg al", + "▁J ur", + "▁Ju r", + "▁N as", + "▁Na s", + "C ity", + "▁un fortunately", + "▁unfortunate ly", + "▁P ER", + "▁PE R", + "▁ PER", + "ma kers", + "make rs", + "maker s", + "m akers", + "▁sig lo", + "▁k in", + "▁ki n", + "▁ kin", + "co des", + "code s", + "cod es", + "c odes", + "NI NG", + "N ING", + "▁C ec", + "▁Ce c", + "▁C T", + "▁ CT", + "▁R acing", + "▁Ra cing", + "da n", + "d an", + "▁He rz", + "▁Her z", + "▁gen ius", + "▁e urop", + "▁eu rop", + "serv let", + "ow ego", + "owe go", + "▁Im agine", + "▁Imp erial", + "▁Imper ial", + "Re gex", + "Reg ex", + "c é", + "HE D", + "H ED", + "det ect", + "io c", + "i oc", + "Anal ysis", + "Analy sis", + "▁* =", + "▁f ever", + "▁fe ver", + "▁Ob viously", + "F oot", + "Line ar", + "Lin ear", + "▁p ró", + "▁pr ó", + "▁satell ite", + "▁B eng", + "▁Be ng", + "▁Ben g", + "bound s", + "b ounds", + "▁J azz", + "▁Ja zz", + "▁C urt", + "▁Cur t", + "▁Cu rt", + "▁b ild", + "▁bi ld", + "▁bil d", + "▁ bild", + "▁\" \");", + "▁\"\" );", + "▁\"\") ;", + "▁gr asp", + "▁gra sp", + "▁gras p", + "▁d la", + "▁dl a", + "TR A", + "T RA", + "▁read ily", + "To r", + "T or", + "C ACHE", + "▁Const ruction", + "▁Construct ion", + "▁d ía", + "▁G rey", + "▁Gr ey", + "▁Gre y", + "run ner", + "le ading", + "▁co oked", + "▁cook ed", + "ro log", + "rol og", + "r olog", + "▁annoy ing", + "DE LETE", + "amer ican", + "▁Niger ia", + "▁d ai", + "▁da i", + "▁ dai", + "▁sac rific", + "▁serv ant", + "▁s kb", + "▁sk b", + "▁ skb", + "▁b arg", + "▁bar g", + "▁ba rg", + "pix el", + "p ixel", + "In ject", + "ca ched", + "cache d", + "c ached", + "▁cou pled", + "▁couple d", + "▁coup led", + "un gle", + "ung le", + "pro b", + "pr ob", + "p rob", + ">{ @", + "default s", + "▁por trait", + "▁port rait", + "▁d ental", + "▁den tal", + "▁dent al", + "▁d estro", + "▁dest ro", + "▁r ue", + "▁ru e", + "▁hy brid", + "▁CO MP", + "▁COM P", + "▁ COMP", + "▁B ent", + "▁Be nt", + "▁Ben t", + "Com pare", + "Comp are", + "Compar e", + "bo th", + "bot h", + "b oth", + "kl ahoma", + "ais er", + "ai ser", + "aise r", + "a iser", + "Su re", + "Sur e", + "S ure", + "▁s olving", + "▁sol ving", + "▁l ista", + "▁li sta", + "▁list a", + "▁ lista", + "▁Ev ans", + "▁Eva ns", + "▁f usion", + "▁fus ion", + "▁compl aint", + "▁complain t", + "He ap", + "al ways", + "M gr", + "▁ approx", + "display style", + "lo rd", + "lor d", + "l ord", + "in sn", + "ins n", + "▁Fe ature", + "▁ Feature", + "RP C", + "R PC", + "▁v et", + "▁ve t", + "▁ vet", + "▁kilom et", + "▁deliver ing", + "▁const itution", + "sh ine", + "▁prob able", + "▁run ner", + "▁ runner", + "hr en", + "hre n", + "h ren", + "▁N ep", + "▁Ne p", + "▁over night", + "pr ead", + "pre ad", + "p read", + "CL O", + "C LO", + "ie sa", + "ies a", + "i esa", + "▁object ives", + "▁objective s", + "con tract", + "cont ract", + "contr act", + "EX P", + "▁col ours", + "▁colour s", + "xi co", + "xic o", + "x ico", + "C lean", + "▁light ly", + "▁scen arios", + "▁scenario s", + "▁qu arters", + "▁quarter s", + "▁quart ers", + "▁quar ters", + "▁ quarters", + "▁D ear", + "▁De ar", + "▁l uc", + "▁lu c", + "▁app et", + "▁ap pet", + "▁appe t", + "▁de port", + "▁dep ort", + "Sa fe", + "▁me nos", + "▁men os", + "▁Paul o", + "▁Pa ulo", + "CI AL", + "C IAL", + "ці в", + "ц ів", + "▁R oc", + "▁Ro c", + "▁c aring", + "▁car ing", + "▁ca ring", + "▁elect ro", + "▁de cember", + "▁dec ember", + "▁dece mber", + "▁Phil osoph", + "▁col ored", + "▁color ed", + "▁ colored", + "it sch", + "its ch", + "os ti", + "ost i", + "▁N ut", + "▁Nu t", + "▁consecut ive", + "Pe er", + "ar ness", + "arn ess", + "▁ż e", + "▁ że", + "▁A round", + "▁Ar ound", + "af ka", + "▁d io", + "▁di o", + "ci p", + "c ip", + "▁to ys", + "▁toy s", + "cr o", + "c ro", + "▁m iser", + "▁mis er", + "▁mi ser", + "▁mise r", + "check box", + "▁F isher", + "▁Fish er", + "▁gover ned", + "▁govern ed", + "▁h á", + "▁En able", + "▁ Enable", + "▁t rivial", + "▁occup ation", + "ro rs", + "ror s", + "r ors", + "▁l av", + "▁la v", + "▁ lav", + "▁m ou", + "▁mo u", + "▁b ord", + "▁bo rd", + "▁bor d", + "ли ч", + "Ro om", + "R oom", + "') \r", + "' )\r", + "▁art ic", + "▁m ientras", + "ch air", + "cha ir", + "uation s", + "u ations", + "▁comm ented", + "▁comment ed", + "▁trigger ed", + "Can not", + "C annot", + "▁Marc us", + "▁p unct", + "▁pun ct", + "▁achie vement", + "▁achieve ment", + "ext ensions", + "extension s", + "ad ers", + "ade rs", + "ader s", + "a ders", + "jo urs", + "jour s", + "j ours", + "ir lines", + "irl ines", + "V IEW", + "▁Nap ole", + "Conf irm", + "▁por que", + "▁LI ABILITY", + "Wall et", + "W allet", + "Sub ject", + "al gorithm", + "▁tr iple", + "▁tri ple", + "▁trip le", + "ru b", + "r ub", + "▁se cur", + "▁sec ur", + "▁hand some", + "▁hands ome", + "▁d od", + "▁do d", + "r ès", + "ac ja", + "ch od", + "cho d", + "н ва", + "es ar", + "esa r", + "an chor", + "anc hor", + "anch or", + "▁Soph ie", + "▁Украї ни", + "Up per", + "am ous", + "amo us", + "Fe atures", + "Feature s", + "Supp ress", + "Sup press", + "▁kil om", + "▁Z u", + "▁belong ed", + "▁Red dit", + "▁pro ces", + "▁proc es", + "▁F est", + "▁Fe st", + "/ %", + "▁P am", + "▁Pa m", + "st orm", + "sto rm", + "W W", + "P aul", + "▁t ales", + "▁tal es", + "▁ta les", + "▁tale s", + "▁райо на", + "▁spread ing", + "▁ sched", + "le ased", + "lease d", + "Non Null", + "▁Re serve", + "▁Res erve", + "▁c ater", + "▁cat er", + "▁ca ter", + "▁t ire", + "▁ti re", + "▁tir e", + "▁por ch", + "qu ier", + "US A", + "U SA", + "▁Sw iss", + "▁ È", + "▁br ave", + "▁bra ve", + "▁explos ion", + "l r", + "▁class ified", + "Ab out", + "▁Pic t", + "▁Pi ct", + "▁Dub lin", + "▁separ ately", + "▁separate ly", + "▁bank ing", + "▁ban king", + "▁Christian ity", + "mi gr", + "m igr", + "Ro b", + "R ob", + "▁el f", + "▁ elf", + "▁employ ers", + "▁employer s", + "▁S low", + "▁Sl ow", + "▁j uli", + "▁ju li", + "▁jul i", + "west ern", + "w estern", + "▁anal yst", + "▁analy st", + "▁analys t", + "ob serv", + "obs erv", + "▁N ice", + "▁Nic e", + "▁Ni ce", + "▁G C", + "▁ GC", + "▁Let ter", + "▁ha rass", + "▁har ass", + "User name", + "▁A unt", + "▁Au nt", + "▁с ент", + "Su p", + "S up", + "IC ES", + "ICE S", + "RE NT", + "R ENT", + "rat io", + "r atio", + "▁an gles", + "▁ang les", + "▁angle s", + "▁angl es", + "▁ angles", + "▁l lev", + "▁ll ev", + "_ *", + "▁n it", + "▁ni t", + "▁ nit", + "▁w reck", + "▁pat rol", + "▁loyal ty", + "▁n ationale", + "▁nat ionale", + "▁national e", + "▁nation ale", + "go m", + "g om", + "}$ -", + "} $-", + "▁dis pute", + "▁disput e", + "▁disp ute", + "▁r us", + "▁ru s", + "▁ rus", + "▁П рез", + "▁Пре з", + "▁Indust rial", + "▁dem ocratic", + "▁democr atic", + "b w", + "li mp", + "lim p", + "l imp", + "ur bed", + "urb ed", + "▁mie jsce", + "▁miejsc e", + "ру д", + "▁t ex", + "▁te x", + "▁ tex", + "▁develop ments", + "▁development s", + "▁B right", + "▁Br ight", + "▁Brig ht", + "▁var ying", + "▁va rying", + "▁vary ing", + "fa ct", + "fac t", + "f act", + "▁Port al", + "▁Por tal", + "as is", + "asi s", + "a sis", + "▁cre ativity", + "▁creat ivity", + ")) ))", + "))) )", + ") )))", + ".\" ;", + ". \";", + "ie ux", + "ieu x", + "▁prov isions", + "▁provision s", + "uv e", + "u ve", + "La ng", + "L ang", + "miss ing", + "ph ony", + "▁out line", + "pa s", + "p as", + "el m", + "e lm", + "mon itor", + "TC P", + "T CP", + "ka t", + "k at", + "uc ed", + "uce d", + "u ced", + "\\\" ,", + "\\ \",", + "yn a", + "y na", + "oc ate", + "oca te", + "▁c ares", + "▁car es", + "▁care s", + "▁ca res", + "▁f ins", + "▁fin s", + "▁fi ns", + "▁he ap", + "▁ heap", + "▁small est", + "äch st", + "re cv", + "rec v", + "key word", + "▁at tra", + "▁att ra", + "▁attr a", + "▁sel bst", + "Un expected", + "Une xpected", + "Sm all", + "▁насе ље", + "▁H us", + "▁Hu s", + "Enc oder", + "Encode r", + "▁un set", + "▁uns et", + "▁home less", + "▁hom eless", + "▁Johann es", + "▁U RI", + "▁ URI", + "ant age", + "anta ge", + "▁in hib", + "▁appreci ated", + "▁appreciate d", + "ie lte", + "iel te", + "ielt e", + "i elte", + "▁st ays", + "▁stay s", + "▁sta ys", + "▁c oding", + "▁co ding", + "▁cod ing", + "▁tv å", + "pipe line", + "p ipeline", + "▁W or", + "▁Wo r", + "File Path", + "▁accept ing", + "▁Ex cell", + "▁L uther", + "▁Lu ther", + "▁Friend s", + "▁c urt", + "▁cur t", + "▁cu rt", + "▁' $", + "▁ '$", + "▁tight ly", + "▁cz ę", + "▁un necessary", + "▁F ed", + "▁Fe d", + "▁H P", + "▁ HP", + "▁String Builder", + "en burg", + "' (", + "vm a", + "v ma", + "▁Ab raham", + "W L", + "▁Re ference", + "▁Refer ence", + "▁ Reference", + "J o", + "Bl ob", + "Blo b", + "▁H ugh", + "▁Hug h", + "▁Hu gh", + "▁Bul gar", + "MESS AGE", + "▁avoid ed", + "▁po ems", + "▁poem s", + "▁O pp", + "▁Op p", + "av irus", + "avi rus", + "Pre view", + "Prev iew", + "P review", + "▁k er", + "▁ke r", + "▁ ker", + "ue va", + "u eva", + "fl ix", + "▁char ging", + "▁charg ing", + "▁motiv ated", + "▁O rd", + "▁Or d", + "▁ Ord", + "▁av eva", + "▁ave va", + "x l", + "▁flex ibility", + "ag na", + "agn a", + "▁rac ism", + "d h", + "▁b aking", + "▁ba king", + "F riend", + "ble r", + "bl er", + "b ler", + "▁Log ger", + "▁ Logger", + "Te n", + "T en", + "nav igation", + "▁att achment", + "▁attach ment", + "▁ attachment", + "▁b ajo", + "▁ba jo", + "▁pr icing", + "▁pri cing", + "▁T ip", + "▁Ti p", + "▁ Tip", + "da r", + "d ar", + "G G", + "To ols", + "Tool s", + "Too ls", + "T ools", + "vol ution", + "v olution", + "am as", + "ama s", + "a mas", + "▁b ibli", + "▁adapt ed", + "ox y", + "o xy", + "▁F reedom", + "▁Free dom", + "ri co", + "ric o", + "r ico", + "▁coll apsed", + "▁collapse d", + "z m", + "pl o", + "p lo", + "▁c ô", + "▁r t", + "▁ rt", + "än ger", + "äng er", + "änge r", + "▁D R", + "▁ DR", + "▁Bit coin", + "go w", + "g ow", + "▁ch ez", + "▁che z", + "▁ chez", + "▁ot ro", + "▁te il", + "▁ teil", + "▁St ars", + "▁Star s", + "▁Sta rs", + "▁invest ing", + "▁a board", + "▁ab oard", + "▁f lights", + "▁fl ights", + "▁flight s", + "▁genu inely", + "▁genuine ly", + "▁prom ising", + "Rot ation", + "O cc", + "▁su oi", + "▁suo i", + "string ify", + "ac ies", + "aci es", + "a cies", + "▁G round", + "▁Gr ound", + "▁Gro und", + "▁sequ ences", + "▁sequence s", + "▁c ure", + "▁cur e", + "▁cu re", + "out ine", + "▁! !", + "▁ !!", + "▁G ay", + "▁Ga y", + "▁garden s", + "▁gard ens", + "▁G las", + "▁Gl as", + "▁Tai wan", + "reg istry", + "▁# {", + "▁ #{", + "▁ins pection", + "▁insp ection", + "▁inspect ion", + "Te ll", + "T ell", + "▁` ${", + "p matrix", + "▁reg ulation", + "▁regul ation", + "fin ish", + "▁Ed ge", + "▁ Edge", + "Sp rite", + "S prite", + "▁immigr ants", + "▁elder ly", + "▁Quest ion", + "▁ Question", + "Gate way", + "fo ny", + "fon y", + "f ony", + "ît re", + "î tre", + "▁co sm", + "▁cos m", + "Ro und", + "R ound", + "▁ign oring", + "▁ignor ing", + "▁K i", + "▁sens itivity", + "âte au", + "ât eau", + "▁engine ers", + "▁engineer s", + "▁cor rel", + "▁corre l", + "ir teen", + "irt een", + "▁Sw itzerland", + "▁inher it", + "▁ inherit", + "wo r", + "w or", + "▁mid night", + "▁P un", + "▁Pu n", + "ak te", + "akt e", + "a kte", + "Dis able", + "▁es per", + "▁esp er", + "▁not ation", + "▁ notation", + "▁Univers idad", + "so l", + "s ol", + "de rn", + "der n", + "d ern", + "in ge", + "ing e", + "▁inv itation", + ")} }", + ") }}", + "▁ â", + "▁ess ays", + "▁essay s", + "ar med", + "arm ed", + "ch sel", + "chs el", + "▁confirm ation", + "unit y", + "uni ty", + "▁ Є", + "ni ce", + "nic e", + "n ice", + "▁S ue", + "▁Su e", + "▁t ray", + "▁tr ay", + "▁tra y", + "C ookie", + "▁Feder ation", + "IC T", + "I CT", + "▁p éri", + "stud ent", + "▁V ent", + "▁Ven t", + "▁Ve nt", + "K K", + "ST EM", + "aw k", + "▁re un", + "▁pe oples", + "▁people s", + "io res", + "ior es", + "iore s", + "i ores", + "ou bt", + "▁St age", + "▁Sta ge", + "▁ Stage", + "▁c harm", + "▁ch arm", + "▁char m", + "▁cha rm", + "ie ur", + "ieu r", + "i eur", + "▁util ize", + "▁utiliz e", + "▁d istribute", + "▁dist ribute", + "▁distribut e", + "▁g otta", + "▁go tta", + "▁got ta", + "▁block ing", + "H ot", + "br ew", + "bre w", + "b rew", + "▁b onds", + "▁bon ds", + "▁bond s", + "le af", + "Pro te", + "Pr ote", + "P rote", + "▁d ice", + "▁di ce", + "▁dic e", + "▁Nor man", + "▁Norm an", + "▁о кт", + "▁ок т", + "▁in spir", + "▁insp ir", + "Pr iv", + "P riv", + "▁P uerto", + "RS T", + "R ST", + "▁s f", + "▁ sf", + "▁qu ale", + "▁qual e", + "ni ck", + "nic k", + "n ick", + "▁sup press", + "▁supp ress", + "▁H ello", + "▁Hel lo", + "▁Hell o", + "▁ Hello", + "▁crow ded", + "▁crowd ed", + "hba r", + "h bar", + "▁lo ads", + "▁load s", + "▁ loads", + "▁cor rection", + "▁correct ion", + "▁corre ction", + "ad just", + "adj ust", + "▁E state", + "▁Est ate", + "▁Esta te", + "text sc", + "▁cool ing", + "iv eau", + "ive au", + "▁bet ting", + "==== ========", + "======== ====", + "re mark", + "rem ark", + "r emark", + "▁im plications", + "▁impl ications", + "▁p oz", + "▁po z", + "ün g", + "ü ng", + "▁reg ards", + "▁regard s", + "▁a mid", + "▁am id", + "▁habit antes", + "G I", + "▁F ou", + "▁Fo u", + "▁j ar", + "▁ja r", + "▁ jar", + "▁requ iring", + "▁D rupal", + "▁Dru pal", + "▁li ability", + "cz as", + "c zas", + "▁l yrics", + "▁ly rics", + "▁N ort", + "▁No rt", + "▁Nor t", + "si l", + "s il", + "▁M ey", + "▁Me y", + "UN IT", + "f uture", + "hi r", + "h ir", + "CA L", + "C AL", + "LAB EL", + "▁S weet", + "▁stat ue", + "bor ne", + "born e", + "b orne", + "Not ify", + "▁her itage", + "▁d orm", + "▁do rm", + "▁l ever", + "▁le ver", + "▁lev er", + "▁mut tered", + "} &", + "▁inter mediate", + "▁Wat son", + "▁view ing", + "▁vie wing", + "kt or", + "k tor", + "enti eth", + "xx x", + "x xx", + "at u", + "a tu", + "▁Inst all", + "▁ Install", + "Cont in", + "▁t oute", + "▁to ute", + "▁tou te", + "▁tout e", + "▁P T", + "▁ PT", + "▁u ri", + "▁ur i", + "▁ uri", + "Call ed", + "Cal led", + "C alled", + "▁O FF", + "▁OF F", + "▁ OFF", + "ig lia", + "ic hi", + "ich i", + "i chi", + "V o", + "▁exhib it", + "▁asym pt", + "▁G ulf", + "do min", + "dom in", + "d omin", + "▁départ ement", + "mi l", + "m il", + "▁B ez", + "▁Be z", + "▁l ately", + "▁late ly", + "▁lat ely", + "▁def ining", + "▁defin ing", + "▁E L", + "▁ EL", + "omorph ic", + "▁f ebru", + "▁fe bru", + "▁febr u", + "IS TER", + "IST ER", + "I STER", + "res olved", + "resolve d", + "▁S pect", + "▁Sp ect", + "▁Spec t", + "▁Spe ct", + "▁sem pre", + "▁Se pt", + "▁Sep t", + "▁cl earing", + "▁cle aring", + "▁clear ing", + "▁diam eter", + "in do", + "ind o", + "▁soc cer", + "▁D CHECK", + "▁DC HECK", + "vo te", + "v ote", + "▁nom in", + "Type d", + "Ty ped", + "Typ ed", + "Miss ing", + "W as", + "▁Cent ury", + "▁direct ors", + "▁dire ctors", + "▁director s", + "▁mode rate", + "▁moder ate", + "▁Ill uminate", + "▁ Illuminate", + "▁B apt", + "▁Ba pt", + "▁Qu ant", + "▁ Quant", + "▁tre ating", + "▁treat ing", + "ag i", + "a gi", + "Si l", + "S il", + "ring e", + "rin ge", + "r inge", + "ł ą", + "el lan", + "ell an", + "ella n", + "▁f ino", + "▁fin o", + "▁fi no", + "Capt ure", + "C apture", + "▁S ic", + "▁Si c", + "▁st amp", + "▁sta mp", + "▁stam p", + "▁B uen", + "▁Bu en", + "▁seg undo", + "▁in verse", + "▁d up", + "▁du p", + "▁ dup", + "▁br oker", + "▁bro ker", + "▁broke r", + "▁search ed", + "▁sear ched", + "be ans", + "bean s", + "▁AB C", + "is ha", + "ish a", + "i sha", + "▁Lin ked", + "▁Link ed", + "▁ Linked", + "▁Nich olas", + "▁Sw edish", + "he mal", + "hem al", + "▁E M", + "▁ EM", + "▁j ego", + "▁je go", + "lo t", + "l ot", + "▁dis cret", + "▁disc ret", + "▁discre t", + "▁E g", + "pi ck", + "pic k", + "p ick", + "am on", + "amo n", + "a mon", + "▁nav igate", + "▁navig ate", + "▁Comm ander", + "▁Command er", + "▁disappe ar", + "▁con gress", + "▁congr ess", + "▁graph ic", + "sp r", + "s pr", + "FLO AT", + "▁S erial", + "▁Se rial", + "▁Ser ial", + "▁ Serial", + "▁я нва", + "so cial", + "soc ial", + "s ocial", + "bu ch", + "b uch", + "▁se al", + "▁sea l", + "▁c ement", + "▁ce ment", + "▁Y e", + "ot ti", + "ott i", + "o tti", + "▁The od", + "remove Class", + "▁Jul ie", + "▁Ju lie", + "▁Juli e", + "▁gr öß", + "ST REAM", + "▁G B", + "▁ GB", + "▁Ben ef", + "▁Mat rix", + "▁ Matrix", + "▁ke ine", + "▁cont inent", + "▁contin ent", + "▁ja ar", + "DA I", + "D AI", + "▁S equ", + "▁Se qu", + "▁ Sequ", + "kre is", + "▁crow n", + "Init ialize", + "Initial ize", + "ax y", + "a xy", + "▁C IA", + "▁int end", + "▁inte nd", + "▁b ub", + "▁bu b", + "▁mask s", + "▁mas ks", + "▁sit uated", + "▁situ ated", + "▁E du", + "▁Ed u", + "▁particip ating", + "_{ -", + "_ {-", + "▁Tele vision", + "▁pre ferences", + "▁prefer ences", + "▁preference s", + "▁D rop", + "▁Dr op", + "▁ Drop", + "re view", + "rev iew", + "▁vi olation", + "▁viol ation", + "▁ch rist", + "▁chr ist", + "q q", + "▁M yst", + "▁My st", + "comm ands", + "command s", + "▁prim itive", + "ill ance", + "▁r anging", + "▁ran ging", + "▁rang ing", + "▁Adv anced", + ") &", + "▁sub str", + "▁subst r", + "▁subs tr", + "▁ substr", + "▁clos ure", + "▁clo sure", + "▁ closure", + "tw itter", + "ne z", + "n ez", + "▁pr zed", + "▁prz ed", + "▁prze d", + "▁mer ged", + "▁merge d", + "ur os", + "uro s", + "u ros", + "▁j er", + "▁je r", + "▁ jer", + "▁_ (", + "▁ _(", + "ar an", + "ara n", + "a ran", + "▁P atri", + "▁Pat ri", + "▁Pa tri", + "▁T un", + "▁Tu n", + "U K", + "il iation", + "ili ation", + "▁Ke ith", + "Own Property", + "op sis", + "ops is", + "Ma d", + "M ad", + "▁def ence", + "A ir", + "=$ {", + "= ${", + "cript ors", + "criptor s", + "So m", + "S om", + "▁ ±", + "▁HA VE", + "~~~~ ~~~~", + "▁be aten", + "▁beat en", + "▁int imate", + "▁intim ate", + "op ic", + "o pic", + "▁p řed", + "▁př ed", + "Sh op", + "S hop", + "Table s", + "Tab les", + "T ables", + "▁S I", + "▁ SI", + "re name", + "ren ame", + "rena me", + "r ename", + "▁product ive", + "rib ly", + "r ibly", + "▁L uck", + "▁Lu ck", + "▁Luc k", + "▁kl ub", + "}} ^{", + "}}^ {", + "} }^{", + "▁F ish", + "▁Fi sh", + "PR I", + "P RI", + "en ario", + "ena rio", + "▁pse ud", + "Or d", + "O rd", + "▁quel ques", + "▁D od", + "▁Do d", + "▁p unto", + "▁pun to", + "▁punt o", + "se nal", + "sen al", + "▁Br others", + "▁Bro thers", + "▁Brother s", + "▁diab etes", + "P aint", + "▁person as", + "▁persona s", + "в ър", + "▁n ep", + "▁ne p", + "▁El len", + "▁Ell en", + "▁Elle n", + "▁h ä", + "cr tc", + "c rtc", + "▁frustr ation", + ". ^{[", + "▁s printf", + "▁sprint f", + "▁ sprintf", + "+ -", + "En code", + "Enc ode", + "▁насе лення", + "Draw able", + "▁b ore", + "▁bo re", + "▁bor e", + "▁E ld", + "▁El d", + "T ick", + "ar ator", + "ara tor", + "▁Fin ance", + "▁agric ultural", + ")^ {-", + ")^{ -", + ") ^{-", + "may be", + "Sche dule", + "▁[ …]", + "et ection", + "ete ction", + "▁he els", + "▁En joy", + "Sy s", + "S ys", + "orsz ág", + "CONT ROL", + "cc cc", + "▁D ictionary", + "▁ Dictionary", + "Ne ed", + "N eed", + "▁He aven", + "▁vess els", + "▁vessel s", + "ec ycle", + "e cycle", + "ti es", + "▁e nde", + "▁en de", + "▁end e", + "▁ ende", + "SI NG", + "S ING", + "De scribe", + "Desc ribe", + "▁Pub lished", + "▁Publish ed", + "▁win ds", + "▁wind s", + "neh men", + "▁D ES", + "▁DE S", + "Hor izontal", + "▁L ost", + "▁Los t", + "▁Lo st", + "-- -----------", + "---- ---------", + "-------- -----", + "--- ----------", + "------------ -", + "----- --------", + "---------- ---", + "------ -------", + "--------- ----", + "------- ------", + "----------- --", + "- ------------", + "▁p x", + "▁ px", + "}( {\\", + "} ({\\", + "▁Hein rich", + "oms nitt", + "ho s", + "h os", + "Ro ll", + "R oll", + "tor ch", + "▁equ ity", + "▁eq uity", + "▁collect ing", + "▁l ifting", + "▁lif ting", + "▁lift ing", + "sub figure", + "Ne ver", + "N ever", + "▁L ength", + "▁Le ngth", + "▁ Length", + "▁w inners", + "▁win ners", + "▁winner s", + "▁U SD", + "▁US D", + "▁st esso", + "▁al tri", + "▁alt ri", + "▁produ cers", + "▁produce rs", + "▁producer s", + "mon s", + "mo ns", + "m ons", + "▁Pop ular", + "Com b", + "Co mb", + "C omb", + "ab lo", + "abl o", + "a blo", + "RE SET", + "RES ET", + "т ва", + "Over lay", + "▁id iot", + "▁idi ot", + "ex ist", + "Be havior", + "UB LE", + "ier re", + "i erre", + "mine craft", + "▁f os", + "▁fo s", + "▁encuent ra", + "▁scream ed", + "▁polynom ial", + "▁c one", + "▁con e", + "▁co ne", + "▁c ited", + "▁cit ed", + "▁ci ted", + "▁president e", + "▁presid ente", + "▁re sign", + "▁res ign", + "▁y elled", + "▁i k", + "▁ ik", + "Pl us", + "▁The me", + "▁Th eme", + "▁ Theme", + "▁re li", + "▁r eli", + "▁rel i", + "ne m", + "n em", + "▁a men", + "▁am en", + "▁ amen", + "▁ Ј", + "Th anks", + "Thank s", + "Than ks", + "▁al umin", + "▁sh elf", + "▁shel f", + "!\" );", + "! \");", + "append Child", + "▁l ogs", + "▁lo gs", + "▁log s", + "▁ logs", + "▁re gex", + "▁reg ex", + "▁ regex", + "▁p unk", + "▁pun k", + "CO RE", + "▁b orders", + "▁border s", + "▁bord ers", + "▁bor ders", + "▁Requ ired", + "▁ Required", + "▁f law", + "▁fl aw", + "▁cin ema", + "▁v í", + "▁ ví", + "▁ab ortion", + "▁abort ion", + "jour nal", + "j ournal", + "in itions", + "init ions", + "inition s", + "state ment", + "stat ement", + "▁o urs", + "▁our s", + "▁ou rs", + "▁ ours", + "ó t", + "▁Tur ner", + "▁Turn er", + "ev es", + "eve s", + "e ves", + "▁magazine s", + "▁magaz ines", + "… …", + "la ce", + "l ace", + "sl ider", + "slide r", + "▁l ocate", + "▁loc ate", + "▁des arroll", + "P an", + "To m", + "T om", + "▁Land es", + "▁Lan des", + "ol ia", + "oli a", + "o lia", + "▁u nm", + "▁un m", + "▁Sen ator", + "▁ad minister", + "▁admin ister", + "▁ко ји", + "▁' {", + "▁) {", + "▁ ){", + "▁G olf", + "▁Gol f", + "▁g ele", + "▁ge le", + "▁gel e", + "▁d rank", + "▁dr ank", + "pos ing", + "po sing", + "p osing", + "▁en semble", + "he ap", + "sign ature", + "scri ber", + "scr iber", + "scribe r", + "scrib er", + "▁ch amp", + "▁cha mp", + "ni o", + "n io", + "la yers", + "lay ers", + "layer s", + "▁tr ump", + "▁mod al", + "▁mo dal", + "▁ modal", + "on ces", + "once s", + "че ння", + "чен ня", + "▁C ort", + "▁Co rt", + "▁Cor t", + "▁sun light", + "▁M use", + "▁Mus e", + "▁Mu se", + "ém ent", + "é ment", + "▁curios ity", + "▁v r", + "▁ vr", + "O ct", + "yl on", + "y lon", + "▁rel ativ", + "st y", + "s ty", + "] /", + "az u", + "a zu", + "▁person a", + "▁pers ona", + "Me n", + "M en", + "▁w ides", + "▁wide s", + "▁wid es", + "▁K as", + "▁Ka s", + "ic ies", + "ici es", + "i cies", + "▁C off", + "▁Co ff", + "▁con solid", + "▁cons olid", + "▁inter active", + "▁interact ive", + "op ing", + "o ping", + "La nd", + "L and", + "▁energ ies", + "▁independ ently", + "▁independent ly", + "inner HTML", + "Requ ire", + "Re quire", + "▁abs urd", + "▁IN FO", + "▁ INFO", + "▁b und", + "▁bu nd", + "▁ bund", + "anz ös", + "▁G ent", + "▁Ge nt", + "▁Gen t", + "▁scholar s", + "▁C reated", + "▁Create d", + "▁Creat ed", + "▁Cre ated", + "▁ Created", + "▁mar ine", + "▁mari ne", + ".. .'", + "... '", + "EN V", + "E NV", + "ach te", + "acht e", + "a chte", + "am ents", + "ament s", + "amen ts", + "a ments", + "▁tr ucks", + "▁truck s", + "▁re wards", + "▁reward s", + "og s", + "o gs", + "Gr een", + "Gre en", + "G reen", + "▁n ä", + "▁inher ited", + "▁inherit ed", + "im ated", + "imate d", + "ima ted", + "imat ed", + "▁F REE", + "▁FR EE", + "▁ FREE", + "▁ext ens", + "da g", + "d ag", + "▁g low", + "▁gl ow", + "▁glo w", + "ar di", + "ard i", + "N F", + "▁evalu ated", + "▁evaluate d", + "▁eval uated", + "▁o ps", + "▁op s", + "▁ ops", + "▁cle aned", + "▁clean ed", + "▁Prov ince", + "▁Provinc e", + "ha bil", + "hab il", + "h abil", + "гра фі", + "▁T CP", + "▁ TCP", + "▁я кі", + "▁як і", + "▁de ce", + "▁dec e", + "▁cont empl", + "▁acquis ition", + "}) $.", + "})$ .", + "} )$.", + "=\" -", + "▁se ctors", + "▁sector s", + "▁sect ors", + ":: <", + "u ß", + "▁trab aj", + "th an", + "tha n", + "t han", + "▁S ta", + "▁St a", + "Mem bers", + "Member s", + "▁r v", + "▁ rv", + ")^ {\\", + ")^{ \\", + ") ^{\\", + "mit t", + "mi tt", + "m itt", + "▁W ang", + "▁Wa ng", + "▁W end", + "▁We nd", + "▁G lass", + "▁Gl ass", + "▁Glas s", + "▁t xt", + "▁tx t", + "▁ txt", + "▁Cam eron", + "ie ls", + "iel s", + "i els", + "▁im mer", + "▁imm er", + "▁ immer", + ".. . /", + "▁sophistic ated", + "▁R he", + "▁Rh e", + "us sy", + "uss y", + "▁Sy ria", + "▁Car oline", + "▁Carol ine", + "riter ion", + "ér c", + "é rc", + "Lo ve", + "L ove", + "▁cy cles", + "▁cycle s", + "▁cycl es", + "▁Ter ms", + "▁Term s", + "▁med ieval", + "▁medi eval", + "▁m issions", + "▁miss ions", + "▁mission s", + "Har d", + "Ha rd", + "H ard", + "▁rég ion", + "▁Ph oenix", + "De ep", + "▁sam pling", + "▁dismiss ed", + "prop ri", + "p ropri", + "▁jud ges", + "▁judge s", + "▁judg es", + "ał a", + "a ła", + "ul os", + "ulo s", + "u los", + "▁L ion", + "▁Li on", + "▁loc als", + "▁local s", + "neg ative", + "ogen eous", + "ogene ous", + "▁A pi", + "▁Ap i", + "▁ Api", + "▁d ici", + "▁di ci", + "▁dic i", + "▁author ized", + "▁ authorized", + "ze rw", + "zer w", + "▁p g", + "▁ pg", + "▁A WS", + "▁key word", + "▁ keyword", + "▁entrepre neur", + "▁п рое", + "▁про е", + "▁V ancouver", + "it ating", + "ita ting", + "itat ing", + "F ast", + "▁acknowled ged", + "▁acknowledge d", + "▁tour ist", + "▁tou rist", + "▁G rid", + "▁Gr id", + "▁ Grid", + "▁En try", + "▁Ent ry", + "▁ Entry", + "▁g ebru", + "▁ge bru", + "▁geb ru", + "sa t", + "s at", + "ber ger", + "berg er", + "▁T F", + "▁ TF", + "▁m t", + "▁ mt", + "▁Mar cel", + "▁Marc el", + "▁Tw enty", + "▁ ”", + "{} {", + "{ }{", + "hi nt", + "hin t", + "h int", + "▁an onymous", + "Cam p", + "C amp", + "▁** _", + "By Comparator", + "U C", + "▁t ö", + "Event Handler", + "▁t ours", + "▁to urs", + "▁tour s", + "▁tou rs", + "▁lon ely", + "▁Sum mary", + "▁ Summary", + "st ick", + "s tick", + "All owed", + "Allow ed", + "лі в", + "л ів", + "▁B rew", + "▁Br ew", + "▁Bre w", + "AME TER", + "▁review ed", + "ir at", + "ira t", + "i rat", + "▁n erve", + "▁nerv e", + "▁ner ve", + "▁L inda", + "▁Lin da", + "▁Lind a", + "▁dec is", + "▁sp okes", + "▁spoke s", + "▁spo kes", + "▁qu ed", + "▁que d", + "▁q ued", + "▁F T", + "▁ FT", + "▁в ін", + "▁ві н", + "ou sing", + "ous ing", + "o using", + "▁L arge", + "▁Lar ge", + "▁ Large", + "▁op ponents", + "▁oppon ents", + "▁opponent s", + "Found ation", + "EQ UAL", + "og g", + "o gg", + "Re try", + "Ret ry", + "R etry", + "CHAN NEL", + "▁i i", + "▁ ii", + "de ad", + "d ead", + "▁M ale", + "▁Mal e", + "▁Ma le", + "Com pleted", + "Comp leted", + "Complete d", + "ty p", + "t yp", + "▁Ty ler", + "Dis k", + "Di sk", + "D isk", + "Hi de", + "H ide", + "iju ana", + "▁public ations", + "▁publication s", + "fo x", + "f ox", + "vis ed", + "vi sed", + "v ised", + "Fore ign", + "Write Line", + "▁remain der", + "Pi cker", + "P icker", + "we alth", + "▁G or", + "▁Go r", + "sequ ently", + "▁coll ision", + "▁Harr ison", + "▁Harris on", + "▁work place", + "▁N ormal", + "▁Nor mal", + "▁Norm al", + "▁ Normal", + "▁B irth", + "▁Bir th", + "▁cons ume", + "▁consum e", + "Sh ift", + "▁avoid ing", + "▁C ha", + "▁Ch a", + "▁An ti", + "▁Ant i", + "▁ch arts", + "▁char ts", + "▁chart s", + "▁P av", + "▁Pa v", + "ual mente", + "an ed", + "ane d", + "a ned", + "▁A uch", + "▁Au ch", + "rd ev", + "r dev", + "▁she er", + "▁an gl", + "▁ang l", + "sub str", + "Gener ate", + "> =", + "▁B ev", + "▁Be v", + "▁camp o", + "▁cam po", + "▁lect ure", + "hy per", + "▁Balt imore", + "mi x", + "m ix", + "ke iten", + "keit en", + "▁l asted", + "▁la sted", + "▁last ed", + "▁las ted", + "▁discrim ination", + "ig te", + "igt e", + "ok al", + "oka l", + "o kal", + "Ph ase", + "▁T itel", + "▁Tit el", + "▁Fif th", + "▁di agnostic", + "su ng", + "sun g", + "s ung", + "▁giorn ata", + "os ta", + "ost a", + "o sta", + "is co", + "isc o", + "▁S ara", + "▁Sa ra", + "▁Sar a", + "m v", + "▁el ő", + "▁R osen", + "▁Ro sen", + "▁Ros en", + "▁Rose n", + "▁E SP", + "▁ES P", + "ph er", + "p her", + "▁a j", + "▁ aj", + "Path s", + "Pat hs", + "▁R alph", + "▁ž e", + "▁ že", + "▁Ag reement", + "▁Word Press", + "an try", + "▁p icks", + "▁pick s", + "▁pi cks", + "▁pic ks", + "▁N ur", + "▁Nu r", + "chedul ed", + "ki e", + "k ie", + "▁represent ations", + "▁representation s", + "++ ){", + "++) {", + "ess ment", + "▁count less", + "Block s", + "Bl ocks", + "Blo cks", + "ym e", + "y me", + "▁c lo", + "▁cl o", + "▁B ened", + "▁Be ned", + "▁Ben ed", + "ch ars", + "char s", + "cha rs", + "▁A gent", + "▁Ag ent", + "▁Age nt", + "▁ Agent", + "▁hist oria", + "▁histor ia", + "▁F loor", + "▁Fl oor", + "▁Flo or", + "▁ten ía", + "▁long est", + "▁lon gest", + "fr ica", + "▁b ef", + "▁be f", + "▁mechan isms", + "▁mechanism s", + "ла зи", + "▁h eter", + "▁he ter", + "▁het er", + "▁athlet es", + "▁period ic", + "▁V otes", + "▁Vo tes", + "▁n á", + "▁ ná", + "▁m aid", + "▁ma id", + "▁mai d", + "▁s wear", + "▁sw ear", + "▁swe ar", + "▁wip ed", + "▁graph s", + "▁grap hs", + "▁t hesis", + "▁the sis", + "▁th esis", + "▁sens ation", + "pers istence", + "▁V il", + "▁Vi l", + "ac s", + "a cs", + "▁de el", + "sc rib", + "scri b", + "scr ib", + "ie ro", + "ier o", + "i ero", + "▁dis cre", + "▁disc re", + "air y", + "ai ry", + "Data Source", + "q t", + "ic iones", + "ici ones", + "icio nes", + "icion es", + "▁res pected", + "▁respect ed", + "▁fra m", + "▁spec ialized", + "▁special ized", + "▁prés ent", + "▁pré sent", + "Tur n", + "T urn", + "▁compl aints", + "▁complain ts", + "▁complaint s", + "(\" ,", + "( \",", + "▁Rel ated", + "▁Set ting", + "▁ Setting", + "▁s ą", + "▁P le", + "▁Pl e", + "▁d isse", + "▁dis se", + "▁diss e", + "ca ps", + "cap s", + "c aps", + "▁C ash", + "▁Cas h", + "▁Ca sh", + "▁cons umed", + "▁consum ed", + "▁consume d", + "▁l b", + "▁ lb", + "Ad just", + "Ser ialize", + "Serial ize", + "S erialize", + "is y", + "i sy", + "▁pat ent", + "▁vis ibility", + "▁S ach", + "▁Sa ch", + "▁Sac h", + "ün st", + "▁cy ber", + "▁Bl ake", + "▁Bl oom", + "▁Blo om", + "▁Sh ah", + "▁Sha h", + "PO WER", + "▁in clusion", + "▁incl usion", + "se rie", + "ser ie", + "s erie", + "▁man era", + "sec onds", + "second s", + "is ches", + "isch es", + "ische s", + "isc hes", + "▁C andidate", + "W D", + "op ath", + "o path", + "▁про гра", + "▁efficient ly", + "ap ps", + "app s", + "tool bar", + "we nd", + "wen d", + "w end", + "▁Ne il", + "▁form ats", + "▁format s", + "▁forma ts", + "▁T emplate", + "▁Temp late", + "▁ Template", + "▁min istry", + "▁minist ry", + "▁Char acter", + "▁ Character", + "Un iform", + "▁fon ction", + "Wh ile", + "рі я", + "▁D L", + "▁ DL", + "▁L ayout", + "▁La yout", + "▁Lay out", + "▁ Layout", + "▁c aval", + "▁ca val", + "▁cav al", + "▁H ob", + "▁Ho b", + "SP I", + "S PI", + "▁h ely", + "▁he ly", + "▁hel y", + "Dest ination", + "), \r", + ") ,\r", + "▁ad mission", + "▁adm ission", + "▁c ss", + "▁cs s", + "▁ css", + "user Id", + "um bling", + "umb ling", + "▁bo oking", + "▁book ing", + "▁COPY RIGHT", + "▁b land", + "▁bl and", + "output s", + "▁sub mission", + "▁subm ission", + "ti t", + "t it", + "fe ctions", + "fect ions", + "fection s", + "fr agment", + "frag ment", + "▁fa ç", + "▁Through out", + "▁distingu ished", + "▁distinguish ed", + "▁ar range", + "▁arr ange", + "▁arrang e", + "ume ric", + "umer ic", + "xf e", + "x fe", + "ip age", + "ipa ge", + "i page", + "ер жа", + "▁C ars", + "▁Car s", + "▁Ca rs", + "▁P AGE", + "▁PA GE", + "▁ PAGE", + "▁a unque", + "▁insert ed", + "smith y", + "AL LOC", + "ALL OC", + "RE C", + "R EC", + "▁B ak", + "▁Ba k", + "▁Str ong", + "ac hen", + "ach en", + "ache n", + "a chen", + "▁Spec ific", + "w q", + "MO VE", + "▁mús ica", + "▁C ris", + "▁Cr is", + "ea u", + "e au", + "▁F orum", + "▁For um", + "▁Fo rum", + "li sted", + "list ed", + "l isted", + ")\\ \\", + ") \\\\", + "/ $", + "Be r", + "B er", + "▁tact ics", + "Form atter", + "Format ter", + "op ens", + "ope ns", + "open s", + "▁r h", + "▁ rh", + "▁t ram", + "▁tr am", + "▁tra m", + "V L", + "▁Pro file", + "▁Prof ile", + "▁ Profile", + "▁Ray mond", + "▁cont empor", + "▁Pl anning", + "▁Plan ning", + "▁A RM", + "▁AR M", + "▁ ARM", + "▁des ires", + "▁desire s", + "k v", + "O s", + "▁m iner", + "▁min er", + "▁mi ner", + "▁mine r", + "▁qual ify", + "ik u", + "i ku", + "▁der ni", + "ol óg", + "▁K id", + "▁Ki d", + "ane an", + "▁Hol land", + "▁Holl and", + "Aut om", + "Auto m", + "▁Hamilton ian", + "St ation", + "Stat ion", + "js p", + "j sp", + "▁YO UR", + "▁YOU R", + "▁Th ailand", + "effect ive", + "▁relie ved", + "▁O klahoma", + "▁Jul ian", + "▁Juli an", + "▁Julia n", + "▁ind ent", + "▁inde nt", + "▁ indent", + "if r", + "i fr", + "▁fl ame", + "on io", + "oni o", + "o nio", + "As sign", + "Ass ign", + "▁sh ifts", + "▁shift s", + "▁car acter", + "▁caract er", + "if icates", + "ific ates", + "ificate s", + "ifica tes", + "X R", + "▁G FP", + "▁GF P", + "FE ATURE", + "▁M aine", + "▁Ma ine", + "▁Main e", + "▁Mai ne", + "▁f rank", + "▁fr ank", + "▁al igned", + "▁align ed", + "▁ aligned", + "▁p ří", + "▁př í", + "Code Attribute", + "▁M AC", + "▁MA C", + "▁ MAC", + "▁R oot", + "▁Ro ot", + "▁ Root", + "▁F M", + "▁ FM", + "с лі", + "▁s hy", + "▁sh y", + "▁partic ul", + "▁parti cul", + "pl atz", + "▁hypothes is", + "at hol", + "ath ol", + "s With", + "J s", + "$ ^{-", + "▁#! /", + "▁l emon", + "▁le mon", + "▁a bol", + "▁ab ol", + "▁ abol", + "▁Mil an", + "▁Mi lan", + "an ten", + "ant en", + "ante n", + "a nten", + "▁s ia", + "▁si a", + "ri as", + "ria s", + "r ias", + "▁con sid", + "as so", + "ass o", + "ain ers", + "ai ners", + "ainer s", + "aine rs", + "▁cir ca", + "▁circ a", + "re try", + "ret ry", + "r etry", + "▁nue vo", + "const ants", + "constant s", + "▁Med iterr", + "ion en", + "io nen", + "ione n", + "i onen", + "c rypto", + "▁ev olved", + "▁\" ?", + "▁p úblic", + "▁comp rend", + "▁compre nd", + "▁compr end", + "al lo", + "all o", + "zo om", + "z oom", + "▁dat etime", + "▁date time", + "▁ datetime", + "▁mond iale", + "▁M ask", + "▁Ma sk", + "▁Mas k", + "▁ Mask", + "▁p row", + "▁pro w", + "▁pr ow", + "▁belong ing", + "+ '", + "OUT PUT", + "▁G rab", + "▁Gr ab", + "▁Gra b", + "M ir", + "▁accommod ate", + "▁$ ('#", + "▁ $('#", + "▁Lou ise", + "▁Louis e", + "▁da mit", + "▁dam it", + "}' ,", + "} ',", + "scri pts", + "script s", + "sn apshot", + "snap shot", + "▁sh itty", + "▁shit ty", + "▁y o", + "▁ yo", + "▁belie ving", + "▁inhabit ants", + "W P", + "▁Colomb ia", + "li sts", + "list s", + "l ists", + "▁Mur phy", + "Data set", + "Dat aset", + "▁(! $", + "▁tremend ous", + "▁se ñ", + "▁S ed", + "▁Se d", + "▁sw allowed", + "▁swallow ed", + "om p", + "o mp", + "▁L ate", + "▁La te", + "▁Lat e", + "▁an ys", + "▁any s", + "▁dead ly", + "fol low", + "f ollow", + "▁A nc", + "▁An c", + "▁h w", + "▁ hw", + "wik ipedia", + "ic ts", + "ict s", + "▁Al aska", + "▁sc ary", + "▁scar y", + "▁second o", + "▁sec ondo", + "▁her oes", + "▁hero es", + "▁veter an", + "▁behav iors", + "▁behavior s", + "▁behavi ors", + "- %", + "▁E z", + "▁с і", + "▁ сі", + "tik z", + "▁spect acular", + "▁Ch ron", + "▁( @", + "▁ (@", + "▁de mo", + "▁dem o", + "▁ demo", + "▁ser ialized", + "▁serial ized", + "▁In depend", + "▁Indep end", + "BU ILD", + "fail ure", + "▁P ORT", + "▁PO RT", + "▁ PORT", + "ю чи", + "▁med itation", + "sample s", + "sam ples", + "s amples", + "i ão", + "▁Tr uth", + "▁Tru th", + "▁co efficient", + "▁coeff icient", + "sl ug", + "ia o", + "i ao", + "de ck", + "dec k", + "▁ad oles", + "ar ius", + "ari us", + "▁H az", + "▁Ha z", + "▁Pro test", + "▁Prote st", + "ra de", + "rad e", + "r ade", + "▁cl ause", + "conne ctor", + "connect or", + "conn ector", + "RA TE", + "R ATE", + "ц ю", + "▁Conne cticut", + "V S", + "abul ary", + "HO W", + "▁d elen", + "▁de len", + "▁del en", + "▁su ited", + "▁suit ed", + "▁suite d", + "▁Sur vey", + "ze c", + "z ec", + "ți i", + "ț ii", + "▁b acks", + "▁back s", + "▁ba cks", + "▁ backs", + "com merce", + "▁And rea", + "▁Andre a", + "▁Andr ea", + "▁propag anda", + "iz ioni", + "izi oni", + "izio ni", + "▁B il", + "▁Bi l", + "▁In nov", + "▁Inn ov", + "▁forg ive", + "▁oper ates", + "▁operate s", + "▁opera tes", + "ч ний", + "▁l ingu", + "▁lin gu", + "▁ling u", + "▁c ollar", + "▁col lar", + "▁coll ar", + "сі й", + "zt en", + "zte n", + "z ten", + "im at", + "ima t", + "i mat", + "▁sh oe", + "ge nder", + "gen der", + "g ender", + "▁leg ally", + "▁legal ly", + "RO P", + "R OP", + "▁S leep", + "deleg ate", + "ID s", + "▁build s", + "▁qu er", + "▁que r", + "▁q uer", + "▁ quer", + "uls ion", + ". “", + "ri se", + "ris e", + "r ise", + "th ink", + "▁bacter ia", + "▁magn ific", + "▁prison er", + "Cl ock", + "C lock", + "R B", + "ú t", + "▁L iz", + "▁Li z", + "gr a", + "g ra", + "▁And ré", + "▁Andr é", + "▁D ennis", + "▁Den nis", + "▁sur ge", + "▁surg e", + "ex isting", + "exist ing", + "▁W ald", + "▁Wal d", + "▁Wa ld", + "▁S chema", + "▁Sch ema", + "▁Sche ma", + "▁ Schema", + "▁war nings", + "▁warn ings", + "▁warning s", + "▁qu adr", + "▁quad r", + "at te", + "att e", + "▁E ins", + "▁Ein s", + "▁ad option", + "▁adopt ion", + "▁w anna", + "▁de rive", + "▁der ive", + "▁deriv e", + "▁ derive", + "▁a rena", + "▁are na", + "▁ar ena", + "▁aren a", + "▁Den ver", + "▁F i", + "▁ Fi", + "▁Jess ica", + "acy j", + "R atio", + "▁Act ivity", + "▁Activ ity", + "▁ Activity", + "em u", + "e mu", + "▁St alin", + "▁Sta lin", + "ag gi", + "agg i", + "a ggi", + "▁f ün", + "▁f ils", + "▁fil s", + "▁fi ls", + "aj u", + "a ju", + "card s", + "car ds", + "c ards", + "▁att raction", + "▁attract ion", + "▁attr action", + "▁attra ction", + "od ot", + "odo t", + "o dot", + "F at", + "▁H aven", + "▁Ha ven", + "▁Have n", + "▁Hav en", + "▁nine teenth", + "▁ninete enth", + "▁* *\"", + "▁** \"", + "▁m aggio", + "▁mag gio", + "ma ny", + "man y", + "m any", + "win ning", + "▁G A", + "▁ GA", + "▁d ummy", + "▁ dummy", + "Un able", + "en ci", + "enc i", + "ère nt", + "è rent", + "Im g", + "I mg", + "▁t ob", + "▁to b", + "DI P", + "D IP", + "S ince", + "▁Sa fe", + "▁Saf e", + "▁ Safe", + "Gu ard", + "is ure", + "i sure", + "port e", + "por te", + "p orte", + "▁stad ium", + "in di", + "ind i", + "▁App arently", + "ug no", + "▁w olf", + "▁ne ces", + "▁overse as", + "of s", + "o fs", + "ar el", + "are l", + "a rel", + "▁F ine", + "▁Fin e", + "▁Fi ne", + "▁cor rupt", + "▁n ovember", + "▁nov ember", + "▁nove mber", + "▁interpret ed", + "ib ile", + "ibil e", + "▁w ages", + "▁wa ges", + "▁wage s", + "▁Pre tty", + "▁Her bert", + "▁reg istr", + "an swer", + "ans wer", + "▁m orte", + "▁mor te", + "▁mort e", + "▁com posite", + "▁compos ite", + "Tool bar", + "▁iter ator", + "▁ iterator", + "ant ine", + "anti ne", + "▁init ialized", + "▁initial ized", + "▁initialize d", + "▁ initialized", + "▁poor ly", + "Access or", + "▁Han nah", + "▁Hann ah", + "ol an", + "ola n", + "o lan", + "▁o tto", + "▁ot to", + "▁ott o", + "▁ otto", + "▁str ikes", + "▁stri kes", + "▁strike s", + "▁conflict s", + "▁conflic ts", + "▁su rg", + "▁historia n", + "wo man", + "w oman", + "▁l ibraries", + "be w", + "b ew", + ")- -(", + ")-- (", + "ga ther", + "g ather", + "▁L ip", + "▁Li p", + "▁f ict", + "▁fi ct", + "FIL TER", + "@ {", + "▁bl essed", + "▁bless ed", + "et ics", + "etic s", + "eti cs", + "▁f ork", + "▁for k", + "▁Me tal", + "▁Met al", + "▁Meta l", + "po lation", + "pol ation", + "p olation", + "▁negoti ations", + "▁gen us", + "▁genu s", + "▁cont rolling", + "▁control ling", + "VER T", + "VE RT", + "V ERT", + "▁P erry", + "▁Per ry", + "▁S PD", + "▁SP D", + "CA SE", + "C ASE", + "▁C rown", + "▁Cr own", + "▁Cro wn", + "▁Crow n", + "▁ind ul", + "▁indu l", + "▁e hemal", + "▁ampl itude", + "▁amplit ude", + "▁B ach", + "▁Ba ch", + "▁phot ographer", + "▁photograph er", + "n ý", + "▁inv ested", + "▁invest ed", + "▁P arte", + "▁Par te", + "▁Part e", + "▁pro long", + "C U", + "icht et", + "ichte t", + "res ume", + "▁c arb", + "▁car b", + "▁ca rb", + "ur st", + "urs t", + "▁N ixon", + "▁n eur", + "▁ne ur", + "▁neu r", + "▁ neur", + "▁corpor ations", + "▁corporation s", + "Op s", + "O ps", + "u u", + "l m", + "ap ple", + "app le", + "ch te", + "cht e", + "▁deliber ately", + "ber e", + "be re", + "b ere", + "▁fe br", + "▁provinc ia", + "▁provin cia", + "Over flow", + "▁E ight", + "▁ind ication", + "▁indic ation", + "▁pist ol", + "oc ial", + "oci al", + "o cial", + "▁r und", + "▁run d", + "▁ru nd", + "▁ rund", + "▁se hr", + "ok at", + "oka t", + "o kat", + "ül et", + "ü let", + "▁He at", + "IC S", + "I CS", + "ay e", + "a ye", + "▁eight een", + "▁t ug", + "▁tu g", + "LO T", + "L OT", + "▁L ar", + "▁La r", + "ning s", + "n ings", + "▁T odd", + "▁To dd", + "▁Tod d", + "▁organis ations", + "▁organisation s", + "▁g enes", + "▁gen es", + "▁ge nes", + "▁gene s", + "B ag", + "Ke ep", + "^{ +", + "Base d", + "Bas ed", + "B ased", + "sk in", + "ski n", + "s kin", + "▁to das", + "▁tod as", + "▁toda s", + "▁illustr ated", + "▁c f", + "▁ cf", + "▁ar riving", + "▁arriv ing", + "▁arr iving", + "▁excess ive", + "▁tra its", + "▁trait s", + "▁s ank", + "▁san k", + "▁Att ribute", + "▁ Attribute", + "▁G D", + "▁ GD", + "com par", + "comp ar", + "▁dent ro", + "br is", + "b ris", + "▁at oms", + "▁atom s", + "fr ed", + "fre d", + "f red", + "▁E val", + "▁Ev al", + "▁Eva l", + "▁ Eval", + "▁di stances", + "▁dist ances", + "▁distance s", + "st aw", + "sta w", + "краї н", + "vari ables", + "variable s", + "l c", + "wi j", + "w ij", + "▁Sim ilar", + "je k", + "j ek", + "Pe t", + "P et", + "=\" $", + "▁Ra ng", + "▁Ran g", + "ion ato", + "iona to", + "▁bek annt", + "▁bekan nt", + "! *", + "Li m", + "L im", + "▁concl usions", + "▁conclusion s", + "ain te", + "ai nte", + "aint e", + "a inte", + "▁g ł", + "▁pass ive", + "▁Ga ussian", + "▁stag ione", + "ME DI", + "MED I", + "it ol", + "ito l", + "i tol", + "▁Jer emy", + "View s", + "class List", + "▁desper ately", + "▁desperate ly", + "▁ver l", + "▁ve rl", + "br ace", + "bra ce", + "N P", + "▁c ob", + "▁co b", + "▁A rist", + "▁Ar ist", + "▁Ari st", + "da p", + "d ap", + "Fil ters", + "Filter s", + "'=> '", + "ul tan", + "ult an", + "▁F actory", + "▁ Factory", + "è le", + "▁l asting", + "▁last ing", + "▁las ting", + "▁element ary", + "▁C M", + "▁ CM", + "▁Louis iana", + "▁p ov", + "▁po v", + "PC I", + "P CI", + "è de", + "▁P ink", + "▁Pin k", + "▁Br uno", + "▁Bru no", + "▁Brun o", + "▁Y ellow", + "▁ev angel", + "▁lik elihood", + "WID TH", + "▁$ -", + "▁ $-", + "ni co", + "nic o", + "n ico", + "hu i", + "h ui", + "ak ter", + "akt er", + "akte r", + "ne urs", + "neur s", + "n eurs", + "▁bre eze", + "▁bree ze", + "▁He ader", + "▁Head er", + "▁ Header", + "om rå", + "▁D ylan", + "▁Dy lan", + "▁Bi ographie", + "▁Univers ität", + "on so", + "ons o", + "HAND LE", + "J ournal", + "ea st", + "e ast", + "▁sup pliers", + "▁supplier s", + "▁table t", + "▁tab let", + "LI C", + "L IC", + "PER TY", + "ї в", + "▁z aw", + "▁za w", + "▁su bm", + "▁sub m", + "▁Fern ando", + "▁nou velle", + "▁nouve lle", + "▁Point s", + "▁ Points", + "▁str angers", + "▁strange rs", + "▁stranger s", + "▁strang ers", + "Component Model", + "ist ro", + "istr o", + "au rus", + "aur us", + "▁san ct", + "vert ical", + "Sp ring", + "▁Har old", + "▁Back ground", + "▁ Background", + "Bal ance", + "Key word", + "~$ \\", + "~ $\\", + "mal loc", + "m alloc", + "ORM AL", + "Sk ip", + "▁Mu ham", + "▁back wards", + "▁backward s", + "c ów", + "▁back end", + "▁ backend", + "▁de emed", + "▁accur ately", + "▁accurate ly", + "▁trans c", + "▁Broad way", + "▁g rud", + "▁gr ud", + "▁gru d", + "▁N amen", + "▁Name n", + "▁Na men", + "▁Nam en", + "▁sh ifting", + "▁shift ing", + "▁ment ally", + "▁mental ly", + "▁cal ories", + "▁cons ensus", + "Perm issions", + "Permission s", + "▁ob jet", + "▁obj et", + "▁elabor ate", + "at ts", + "att s", + "▁sn ake", + "▁ref res", + "▁refr es", + "ar u", + "a ru", + "▁reflect s", + "oun ge", + "o unge", + "R ank", + "▁K urt", + "▁Kur t", + "▁Ku rt", + "▁p ied", + "▁pie d", + "▁pi ed", + "▁exped ition", + "V el", + "▁O wen", + "Le ad", + "L ead", + "▁utter ly", + "▁Ar be", + "▁bre asts", + "▁breast s", + "IP S", + "I PS", + "▁hung er", + "▁hun ger", + "at em", + "ate m", + "a tem", + "▁vers chied", + "▁versch ied", + "▁Cam era", + "▁ Camera", + "▁Mün chen", + "i vals", + "▁sp raw", + "▁spr aw", + "▁S ü", + "▁Was ser", + "▁mechan ics", + "Load ed", + "Lo aded", + "db c", + "d bc", + "▁re marks", + "▁rem arks", + "▁remark s", + "▁ remarks", + "▁} ).", + "▁}) .", + "▁ }).", + "▁pain ter", + "▁pa inter", + "▁paint er", + "▁h aut", + "▁ha ut", + "Mar shal", + "IS D", + "I SD", + "▁ve loc", + "▁vel oc", + "▁In cre", + "▁Inc re", + "W ar", + "▁com pte", + "▁comp te", + "▁compt e", + "ü g", + "▁Def inition", + "▁ Definition", + "▁G am", + "▁Ga m", + "▁H ir", + "▁Hi r", + "▁witness ed", + "▁g ren", + "▁gr en", + "▁gre n", + "▁ gren", + "▁hur ry", + "ch et", + "che t", + "c het", + "re verse", + "G F", + "▁Qu arter", + "▁s ar", + "▁sa r", + "sb urg", + "sbur g", + "s burg", + "▁D it", + "▁Di t", + "▁ Dit", + "▁Arn old", + "j k", + "▁l ambda", + "▁ lambda", + "è ge", + "▁o z", + "▁ oz", + "▁h ans", + "▁ha ns", + "▁han s", + "▁answ ering", + "▁answer ing", + "▁o live", + "▁ol ive", + "▁sp ont", + "▁spo nt", + "▁inter vals", + "▁interval s", + "> @", + "▁F ocus", + "▁ Focus", + "ч них", + "▁tri angle", + "▁r ally", + "▁P unk", + "▁Pun k", + "▁G and", + "▁Ga nd", + "se ctions", + "section s", + "sect ions", + "AC CESS", + "A CCESS", + "ha rm", + "har m", + "h arm", + "▁Sk ip", + "▁ Skip", + "▁D river", + "▁Dr iver", + "▁Drive r", + "▁ Driver", + "▁Sant iago", + "it ung", + "itu ng", + "▁B arr", + "▁Bar r", + "▁Ba rr", + "process or", + "▁real ised", + "▁realise d", + "ą z", + "le ave", + "▁C omo", + "▁Com o", + "▁Co mo", + "▁Re views", + "▁Review s", + "▁earn ings", + "▁ear nings", + "▁earning s", + "▁S creen", + "▁Sc reen", + "▁Scre en", + "▁ Screen", + "gr and", + "gra nd", + "g rand", + "▁ap ril", + "▁apr il", + "▁sil ently", + "▁silent ly", + "ed o", + "e do", + "ue st", + "ues t", + "u est", + "oo oo", + "MAGE S", + "MAG ES", + "▁Sing h", + "▁Sin gh", + "▁Per fect", + "▁revolution ary", + "▁н і", + "▁ ні", + "▁Sch ools", + "▁School s", + "R ich", + "▁ch rom", + "▁chr om", + "▁an terior", + "▁ante rior", + "▁Indones ia", + "Con straints", + "Constraint s", + "▁\" __", + "▁\"_ _", + "▁six teen", + "▁sixt een", + "ér e", + "é re", + "N il", + "je l", + "j el", + "▁thr one", + "▁thro ne", + "▁aud iences", + "▁audience s", + "▁i hren", + "▁ih ren", + "▁ihr en", + "▁ihre n", + "Qu ick", + "in burgh", + "fi co", + "fic o", + "f ico", + "▁kid n", + "▁ki dn", + "irm ingham", + "is le", + "isl e", + "iz ación", + "iza ción", + "▁Ch ampions", + "▁Champion s", + "ol er", + "ole r", + "o ler", + "▁z ak", + "▁za k", + "▁p lat", + "at ique", + "ati que", + "li ter", + "lit er", + "l iter", + "▁P rest", + "▁Pr est", + "▁Pres t", + "▁Pre st", + "in is", + "ini s", + "i nis", + "▁scient ist", + "▁m ån", + "▁må n", + "ke ley", + "kel ey", + "▁h yd", + "▁hy d", + "grad uate", + "of t", + "o ft", + "▁N GC", + "on gs", + "ong s", + "▁t ier", + "▁tie r", + "▁ti er", + "▁Sh aw", + "▁Sha w", + "un ächst", + "▁establish ing", + "▁ind icator", + "▁indic ator", + "▁Par ad", + "▁Pa rad", + "▁Para d", + "▁Tr ail", + "▁Tra il", + "UM N", + "▁sp ine", + "▁spin e", + "▁Vis ual", + "▁ Visual", + ":: $", + "▁t eles", + "▁te les", + "▁tele s", + "▁tel es", + "OP ER", + "O PER", + "▁pack aging", + "to ire", + "t oire", + "▁product ivity", + "A f", + "ні ї", + "▁de gener", + "▁deg ener", + "br it", + "b rit", + "U i", + "▁Y am", + "▁Ya m", + "▁d ough", + "▁do ugh", + "▁dou gh", + "os ph", + "osp h", + "▁cl ue", + "▁me ille", + "▁tend ency", + "▁re lay", + "▁rel ay", + "▁design ers", + "▁designer s", + "Sh are", + "▁b icy", + "▁bi cy", + "▁M asters", + "▁Ma sters", + "▁Mas ters", + "▁Master s", + "▁altern atives", + "▁alternative s", + "ет о", + "е то", + "▁coun tr", + "▁count r", + "▁W ow", + "▁Wo w", + "LO CAL", + "LOC AL", + "en ue", + "enu e", + "▁s lim", + "▁sl im", + "▁t ir", + "▁ti r", + "▁do it", + "lic a", + "li ca", + "l ica", + "ci pe", + "cip e", + "c ipe", + "iz ia", + "izi a", + "▁A ires", + "▁Air es", + "▁F alls", + "▁Fall s", + "▁Fal ls", + "▁concent rate", + "▁concentr ate", + "▁ne gl", + "▁neg l", + "▁Re in", + "? ,", + "▁G ott", + "▁Go tt", + "▁Got t", + "▁Ver ify", + "▁ Verify", + "$ ('#", + "ow ym", + "owy m", + "я в", + "Prim itive", + "▁tax i", + "▁ta xi", + "▁Com mercial", + "place holder", + "se au", + "sea u", + "s eau", + "cor rect", + "he imer", + "heim er", + "▁H of", + "▁Ho f", + "▁d ia", + "▁di a", + "▁i rr", + "▁ir r", + "▁ur ged", + "▁urg ed", + "▁urge d", + "▁a nom", + "▁an om", + "▁ano m", + "▁t arde", + "▁tar de", + "▁tard e", + "ur m", + "u rm", + "▁se ized", + "▁sei zed", + "▁seiz ed", + "DO T", + "D OT", + "op acity", + "St rings", + "String s", + "Str ings", + "▁dec iding", + "▁decid ing", + "▁listen ers", + "▁listener s", + "ár a", + "á ra", + "▁pl anted", + "▁plan ted", + "▁plant ed", + "▁é taient", + "▁ét aient", + "Z oom", + "st ví", + "ng th", + "ä ude", + "▁C av", + "▁Ca v", + "▁v endor", + "▁vend or", + "▁ vendor", + "▁ ż", + "▁meas uring", + "▁necess ity", + "▁r ivers", + "▁ri vers", + "▁river s", + "▁riv ers", + "▁labor atory", + "▁E ff", + "▁reprodu ce", + "▁S ak", + "▁Sa k", + "▁not ebook", + "▁note book", + "▁reason ably", + "isecond s", + "i seconds", + "▁Part ial", + "▁ Partial", + "GUI D", + "GU ID", + "G UID", + "▁Per iod", + "▁ Period", + "▁reve aling", + "▁reveal ing", + "▁conv iction", + "▁бу ли", + "▁altern ate", + "▁alter nate", + "cc iones", + "▁N AT", + "▁NA T", + "▁can onical", + "▁canon ical", + "mo z", + "m oz", + "▁Mé xico", + "M o", + "lim inary", + "f é", + "▁Ham burg", + "▁Hamb urg", + "▁influ ential", + "▁b olt", + "▁bo lt", + "▁bol t", + "az zo", + "azz o", + "PH P", + "P HP", + "▁Sa udi", + "▁Saud i", + "▁Sau di", + "▁r m", + "▁ rm", + "▁cer ca", + "▁decor ated", + "▁st aat", + "▁sta at", + "Lo u", + "L ou", + "▁compet itors", + "во ї", + "▁diam ond", + "▁dia mond", + "▁m obil", + "▁mo bil", + "▁mob il", + "Click Listener", + "set State", + "▁s üd", + "; \"", + "œ ur", + "▁Lud wig", + "▁clin ic", + "▁e go", + "▁eg o", + "▁ ego", + "Thread ing", + "▁f ract", + "▁fr act", + "▁fra ct", + "Ref lection", + "oss ip", + "\"] [\"", + "▁L ov", + "▁Lo v", + "Ex press", + "Exp ress", + "Expr ess", + "if acts", + "ifact s", + "▁O ften", + "▁Of ten", + "▁p ets", + "▁pe ts", + "▁pet s", + "▁address ing", + "▁m ens", + "▁me ns", + "▁men s", + "▁ED IT", + "▁ EDIT", + "ud der", + "udd er", + "Vert ical", + "Cap t", + "C apt", + "verb ose", + "UNK NOWN", + "un its", + "unit s", + "uni ts", + "per mission", + "perm ission", + "[ _", + "▁er sch", + "▁ers ch", + "▁comm unes", + "▁commun es", + "▁commune s", + "Un ityEngine", + "▁com mut", + "▁comm ut", + "kl ass", + "k lass", + "▁volt age", + "▁volta ge", + "re zent", + "rez ent", + "pe rf", + "per f", + "DR V", + "D RV", + "▁f ame", + "▁fam e", + "▁fa me", + "▁S pot", + "▁Sp ot", + "▁c asting", + "▁cas ting", + "▁cast ing", + "hi m", + "h im", + "▁en gl", + "▁eng l", + "▁intr o", + "Comp any", + "some thing", + "som ething", + "▁cl icking", + "▁click ing", + "жи ва", + "▁fl ames", + "▁flame s", + "▁random ly", + "ex tr", + "ext r", + "Equal To", + "an ners", + "ann ers", + "anner s", + "anne rs", + "▁p arks", + "▁par ks", + "▁park s", + "▁murm ured", + "▁reason ing", + "▁n er", + "▁ne r", + "▁ ner", + "▁é c", + "▁ éc", + "ow ners", + "own ers", + "owner s", + "▁me er", + "▁typ ing", + "▁ty ping", + "▁happ ily", + ".. ...", + "... ..", + ".... .", + ". ....", + "be cca", + "bec ca", + "▁P apers", + "▁Pa pers", + "▁Pap ers", + "▁Paper s", + "▁Or acle", + "▁equ ilibrium", + "man agement", + "Li te", + "L ite", + "▁des ktop", + "▁desk top", + "ă r", + "▁G ill", + "▁Gi ll", + "▁Gil l", + "do rf", + "d orf", + "i gg", + "▁qu esta", + "▁que sta", + "▁quest a", + "▁ questa", + "Warning s", + "Warn ings", + "War nings", + "over flow", + "▁V T", + "▁ VT", + "▁A bu", + "▁Ab u", + "v scale", + "J O", + "ah o", + "a ho", + "▁T ensor", + "▁Ten sor", + "▁ Tensor", + "▁hes itated", + "▁w enn", + "▁we nn", + "▁wen n", + "map sto", + "maps to", + "▁controvers ial", + "M F", + "▁l ac", + "▁la c", + "▁an ch", + "▁anc h", + "▁ anch", + "▁A A", + "▁ AA", + "it ta", + "itt a", + "i tta", + "ul in", + "uli n", + "u lin", + "▁c ler", + "▁cl er", + "▁cle r", + "▁D iana", + "▁Di ana", + "▁Fre ud", + "▁challeng ed", + "▁challenge d", + "▁se ated", + "▁sea ted", + "▁seat ed", + "▁sm iles", + "▁smile s", + "▁cr acked", + "▁crack ed", + "▁а ктив", + "ско ј", + "dict ion", + "di ction", + "d iction", + "ex press", + "exp ress", + "expr ess", + "▁im posed", + "▁imp osed", + "▁pro tests", + "▁prote sts", + "▁protest s", + "▁prot ests", + "▁w ounds", + "▁wound s", + "C ulture", + "N Y", + "prevent Default", + "ad io", + "adi o", + "▁NE W", + "▁ NEW", + "B attle", + "▁se colo", + "▁sec olo", + "▁A x", + "(\" -", + "▁ret ro", + "▁retr o", + "▁pot atoes", + "import ant", + "ie me", + "iem e", + "i eme", + "ys ide", + "y side", + "d ummy", + "▁t ilt", + "▁til t", + "▁ti lt", + "▁R ules", + "▁Ru les", + "▁Rule s", + "▁ Rules", + "▁un ters", + "▁unt ers", + "▁unter s", + "A ud", + "V ENDOR", + "ud ge", + "un al", + "una l", + "u nal", + "▁Ad ult", + "▁im pat", + "▁imp at", + "▁rep airs", + "▁repair s", + "▁F erd", + "▁Fe rd", + "▁Fer d", + "▁Az ure", + "▁ Azure", + ")) :", + ") ):", + "▁pag ina", + "▁E pisode", + "File name", + "Fil ename", + "▁j á", + "▁oblig ation", + "ig hed", + "igh ed", + "▁pers istent", + "Mus ic", + "▁C ele", + "▁Ce le", + "▁Cel e", + "▁r y", + "▁ ry", + "▁cert ification", + "ul d", + "u ld", + "▁T L", + "▁ TL", + "▁sk irt", + "▁ski rt", + "▁M ini", + "▁Min i", + "▁Mi ni", + "▁B ring", + "▁Br ing", + ">< ?", + "> %", + "▁P and", + "▁Pan d", + "▁Pa nd", + "▁S UB", + "▁SU B", + "▁ SUB", + "▁compan ions", + "▁companion s", + "▁RE AD", + "▁ READ", + "▁S olutions", + "▁Solution s", + "▁acc essed", + "▁access ed", + "▁p osto", + "▁pos to", + "▁po sto", + "▁post o", + "▁pur suit", + "▁purs uit", + "ow i", + "o wi", + "▁gro cery", + "Sp e", + "S pe", + "haus en", + "▁normal ized", + "▁tra uma", + "gg i", + "g gi", + "ie nia", + "ien ia", + "▁aut umn", + "▁so vere", + "▁sov ere", + "▁Men schen", + "▁Mens chen", + "▁D AG", + "▁DA G", + "▁S ort", + "▁So rt", + "▁Sor t", + "▁ Sort", + "| ---", + "▁l iver", + "▁li ver", + "▁live r", + "▁liv er", + "▁ liver", + "env iron", + "DE CL", + "DEC L", + "▁N ak", + "▁Na k", + "bet ween", + "▁gentle man", + "in ging", + "ing ing", + "▁su bur", + "▁sub ur", + "ST O", + "S TO", + "ace ut", + "\\ !", + "▁Fuß ball", + "na r", + "n ar", + "▁b og", + "▁bo g", + "Token s", + "Tok ens", + "▁cer emon", + "▁cere mon", + "DA Y", + "D AY", + "▁out fit", + "▁agric ulture", + "▁N in", + "▁Ni n", + "▁Sp rings", + "▁Spring s", + "▁Spr ings", + "▁Co ach", + "▁d jango", + "▁ django", + "▁C rim", + "▁Cr im", + "▁te cn", + "Th ree", + "em os", + "e mos", + "▁be an", + "▁ bean", + "pi eler", + "pie ler", + "p ieler", + "ri tz", + "rit z", + "r itz", + "ta bs", + "tab s", + "t abs", + "▁Pro blem", + "in and", + "ina nd", + "oc on", + "oco n", + "o con", + "њ и", + "▁bu yer", + "▁buy er", + "us ement", + "use ment", + "▁sett embre", + "pp e", + "p pe", + "▁D eg", + "▁De g", + "▁W a", + "▁w ives", + "▁fr anzös", + "▁mar ca", + "▁des cent", + "▁desc ent", + "▁S ha", + "▁Sh a", + "ver ts", + "vert s", + "v erts", + "▁Sh adow", + "▁ Shadow", + "▁Hug o", + "▁Hu go", + "▁A ppe", + "▁App e", + "▁Ap pe", + "▁ Appe", + "▁L ac", + "▁La c", + "al len", + "all en", + "alle n", + "os ity", + "osi ty", + "▁consult ation", + "▁T i", + "▁er ano", + "▁era no", + "▁eran o", + "▁lo vers", + "▁love rs", + "▁lov ers", + "▁lover s", + "▁уни версите", + "▁virt ue", + "▁view ers", + "M u", + "c ategories", + "▁over look", + "▁overl ook", + "▁Oper ations", + "▁Operation s", + "▁ Operations", + "è ve", + "- (", + "▁ Ż", + "je v", + "j ev", + "▁c rist", + "▁cr ist", + "▁cris t", + "▁cri st", + "product ion", + "produ ction", + "prod uction", + "p roduction", + "▁T all", + "▁Tal l", + "▁Ta ll", + "Requ ests", + "Request s", + "▁t iles", + "▁til es", + "▁tile s", + "▁ti les", + "ref lect", + "▁ar gc", + "▁arg c", + "▁ argc", + "▁t emplates", + "▁templ ates", + "▁template s", + "▁ templates", + "AR B", + "A RB", + "▁weiter e", + "▁weit ere", + ")? ;", + ") ?;", + "▁t oll", + "▁to ll", + "▁correspond ence", + "$ ;", + "L T", + "▁t am", + "▁ta m", + "de cess", + "dec ess", + "built in", + "da sh", + "das h", + "d ash", + "ze nie", + "zen ie", + "▁mole cular", + "▁chem icals", + "▁chemical s", + "▁rend ering", + "▁render ing", + "▁Sing les", + "▁Sin gles", + "▁Single s", + "Init ialized", + "Initial ized", + "Initialize d", + "▁Mar tha", + "▁Mart ha", + "ri ere", + "rie re", + "rier e", + "r iere", + "par agraph", + "para graph", + "as ters", + "ast ers", + "aster s", + "aste rs", + "a sters", + "▁dec ides", + "▁decide s", + "▁decid es", + "▁Flor ence", + "▁Flo rence", + "▁Floren ce", + "▁And ers", + "▁An ders", + "▁a pt", + "▁ap t", + "▁ apt", + "▁affili ate", + "ch el", + "che l", + "c hel", + "▁re vision", + "▁rev ision", + "Pat ch", + "P atch", + "▁fi scal", + "▁fis cal", + "wi ę", + "w ię", + "N ational", + "▁depend encies", + "TRAN S", + "TRA NS", + "▁r ack", + "▁rac k", + "▁ra ck", + "sel ling", + "s elling", + "na issance", + "c atalog", + "Sh ip", + "S hip", + "IM AGE", + "I MAGE", + "'] [", + "' ][", + "▁p rv", + "▁pr v", + "▁F en", + "▁Fe n", + "▁rad ar", + "▁ra dar", + "cond itions", + "condition s", + "▁Quest ions", + "▁Question s", + "▁v ivid", + "▁vi vid", + "▁viv id", + "op f", + "o pf", + "FA CE", + "F ACE", + "ry s", + "r ys", + "Ex tract", + "Ext ract", + "Extra ct", + "il ians", + "ili ans", + "ilia ns", + "pl ug", + "▁a té", + "▁at é", + "▁like wise", + "▁L il", + "▁Li l", + "▁Cam peonato", + "AUT O", + "AU TO", + "▁M eta", + "▁Me ta", + "▁Met a", + "▁ Meta", + "re no", + "ren o", + "r eno", + "▁Trans fer", + "▁ Transfer", + "▁Mich elle", + "▁Michel le", + "▁Miche lle", + "bi s", + "b is", + "ń st", + "▁C ultural", + "com pass", + "comp ass", + "▁my sql", + "▁ mysql", + "▁cancel led", + "▁cancell ed", + "▁ ’", + "to o", + "t oo", + "▁re bell", + "▁reb ell", + "▁rebel l", + "ég e", + "é ge", + "os z", + "o sz", + "▁com poser", + "▁comp oser", + "▁compos er", + "}\" )", + "} \")", + "▁des erves", + "▁deserve s", + "▁oh ne", + "▁J ed", + "▁Je d", + "K ernel", + "▁pract ition", + "▁in door", + "▁ind oor", + "▁config urations", + "▁configuration s", + "▁m eth", + "▁me th", + "▁met h", + "+ (", + "Quest ion", + "▁bl own", + "▁blo wn", + "▁blow n", + ") '", + "▁Ar gs", + "▁Arg s", + "▁ Args", + "F ake", + "▁d even", + "▁de ven", + "▁dev en", + "istrz ost", + "na io", + "▁\" {", + "▁L it", + "▁Li t", + "com ed", + "co med", + "come d", + "c omed", + "▁st am", + "▁sta m", + "▁pl ugins", + "▁plugin s", + "▁plug ins", + "▁ plugins", + "▁travel ling", + "▁trav elling", + "na ire", + "n aire", + "▁aut onom", + "▁auto nom", + "STRU CT", + "n h", + "né es", + "née s", + "n ées", + "▁consider ably", + "B G", + "▁lad der", + "▁h ast", + "▁has t", + "▁ha st", + "iz ado", + "iza do", + "▁s ele", + "▁se le", + "▁sel e", + "▁W ere", + "▁We re", + "▁Wer e", + "ar don", + "ard on", + "ardo n", + "B ank", + "bund le", + "b undle", + "▁anticip ated", + "▁C ot", + "▁Co t", + "▁else if", + "▁ elseif", + "▁Bl ues", + "▁Blue s", + "▁fil tered", + "▁filter ed", + "▁a uction", + "▁au ction", + "ed uc", + "edu c", + "e duc", + "▁Ex pression", + "▁Express ion", + "▁Exp ression", + "▁ Expression", + "in x", + "i nx", + "▁s ucks", + "▁su cks", + "▁suc ks", + "▁suck s", + "EL L", + "E LL", + "▁Hud son", + "it ä", + "▁fem me", + "in ho", + "▁e vt", + "▁ev t", + "▁ evt", + "istribut ions", + "istribution s", + "▁r uss", + "▁ru ss", + "▁rus s", + "▁pet ition", + "▁petit ion", + "Si g", + "S ig", + "▁T ut", + "▁Tu t", + "Part ial", + "Ent ities", + "▁b ears", + "▁be ars", + "▁bear s", + "▁h ollow", + "▁hol low", + "__ [\"", + "▁R is", + "ț ă", + "dim s", + "di ms", + "d ims", + "▁compl ained", + "▁complain ed", + "▁m apped", + "▁map ped", + "▁ma pped", + "▁initi atives", + "▁initiative s", + "▁own s", + "ch ez", + "che z", + "▁dis pon", + "▁disp on", + "▁m ush", + "▁mus h", + "▁mu sh", + "q s", + "▁er folg", + "▁Nor weg", + "▁c et", + "▁ce t", + "im ag", + "ima g", + "i mag", + "Un til", + "U ntil", + "▁s talk", + "▁st alk", + "uv o", + "u vo", + "ie rz", + "ier z", + "ri eben", + "rie ben", + "rieb en", + "X T", + "ic als", + "ical s", + "ica ls", + "std out", + "▁extra cted", + "▁extract ed", + "▁Im ages", + "▁Image s", + "▁ Images", + "un def", + "und ef", + "unde f", + "u ndef", + "▁L é", + "▁accommod ation", + "▁T ouch", + "▁To uch", + "▁ Touch", + "▁intent ions", + "▁intention s", + "▁concent rated", + "▁concentr ated", + "▁concentrate d", + "▁Насе ление", + "▁ut ilis", + "▁util is", + "li f", + "l if", + "▁comp ris", + "▁compr is", + "med ium", + "medi um", + "St ates", + "State s", + "Stat es", + "▁Би ография", + "▁Fa ith", + "U A", + "ADD RESS", + "▁r ated", + "▁rate d", + "▁rat ed", + "▁ra ted", + "▁ rated", + "▁R ena", + "▁Re na", + "▁Ren a", + "▁C ache", + "▁Ca che", + "▁ Cache", + "▁pe que", + "▁un used", + "▁unus ed", + "▁ unused", + "ni m", + "n im", + "ol ding", + "old ing", + "▁N r", + "R ay", + "ur ls", + "url s", + "▁em issions", + "▁emission s", + "I r", + "▁m å", + "be ar", + "b ear", + "▁L ub", + "▁Lu b", + "▁Out side", + "min ded", + "mind ed", + "▁PRO VID", + "▁s ó", + "▁civil ian", + "Find er", + "Fin der", + "Fi nder", + "F inder", + "▁achie ving", + "mod ified", + "la ne", + "lan e", + "l ane", + "Se nder", + "Send er", + "S ender", + "▁Cr ime", + "▁Crim e", + "REQ UI", + "▁open ly", + "▁Belg ium", + "ic ity", + "ici ty", + "icit y", + "i city", + "▁M az", + "▁Ma z", + "▁st agger", + "▁stag ger", + "}} $,", + "}}$ ,", + "} }$,", + "na te", + "nat e", + "n ate", + "'' '", + "' ''", + "▁Ge off", + "ll i", + "l li", + "Su ite", + "▁D istribution", + "▁я кий", + "Com bo", + "Comb o", + "ho oks", + "hook s", + "▁F ight", + "▁Fig ht", + "▁Fi ght", + "Set s", + "Se ts", + "S ets", + "▁m k", + "▁ mk", + "▁gu ides", + "▁guide s", + "▁guid es", + "▁princip ale", + "▁principal e", + "Pre ferences", + "ti ny", + "t iny", + "ap pen", + "app en", + "appe n", + "a ppen", + "▁ru ined", + "▁ruin ed", + "▁sl iding", + "▁slid ing", + "▁Z en", + "▁Ze n", + "▁oct ubre", + "pos er", + "po ser", + "pose r", + "p oser", + "▁F lag", + "▁Fl ag", + "▁ Flag", + "▁b oom", + "▁bo om", + "▁Det ect", + "▁activ ation", + "▁entertain ing", + "▁entert aining", + "▁protect ive", + "ál l", + "á ll", + "▁Fl ash", + "▁mid st", + "▁mi dst", + "▁Ph D", + "ij ing", + "iji ng", + "cl ub", + "get C", + "▁tro uve", + "▁trou ve", + "am bers", + "amb ers", + "amber s", + "▁g reed", + "▁gr eed", + "▁gre ed", + "am arin", + "ama rin", + "amar in", + "▁suspic ious", + "▁susp icious", + "▁dep uty", + "▁deput y", + "as per", + "asp er", + "▁fun ded", + "▁fund ed", + "al one", + "alo ne", + "▁t ract", + "▁tr act", + "▁tra ct", + "▁ tract", + "▁R ating", + "▁Ra ting", + "▁Rat ing", + "ad ays", + "ada ys", + "a days", + "▁st att", + "▁stat t", + "▁sta tt", + "▁Priv acy", + "▁_ _(", + "▁__ (", + "▁ __(", + "▁f ights", + "▁fight s", + "á j", + "\\ ]", + "or na", + "orn a", + "▁Diam ond", + "▁pro totype", + "▁proto type", + "▁prot otype", + "▁ prototype", + "▁Str ateg", + "ha do", + "had o", + "h ado", + "▁l ungs", + "▁lung s", + "▁lun gs", + "Pro totype", + "Proto type", + "ließ lich", + "▁d ive", + "▁di ve", + "▁div e", + "co v", + "c ov", + "▁M ist", + "▁Mi st", + "▁Mis t", + "▁T ypes", + "▁Type s", + "▁Ty pes", + "▁Typ es", + "▁ Types", + "▁di agonal", + "▁p review", + "▁pre view", + "▁prev iew", + "▁ preview", + "▁Cont ainer", + "▁ Container", + "DESC RIP", + "▁brit ann", + "▁C ord", + "▁Co rd", + "▁Cor d", + "ak ov", + "ako v", + "a kov", + "▁far ming", + "▁farm ing", + "▁p ère", + "▁k ills", + "▁kill s", + "▁kil ls", + "▁Car ib", + "▁Ca rib", + "ћ и", + "? ;", + "▁En sure", + "par sed", + "parse d", + "pars ed", + "än ge", + "äng e", + "▁D elta", + "▁Del ta", + "▁ Delta", + "▁g aining", + "▁gain ing", + "▁ga ining", + "▁n oting", + "▁not ing", + "▁no ting", + "▁B arb", + "▁Ba rb", + "▁фев ра", + "Em p", + "E mp", + "▁{ })", + "▁{} )", + "▁ {})", + "▁sy ntax", + "▁syn tax", + "▁synt ax", + "W alk", + "▁P ere", + "▁Per e", + "▁Pe re", + "Is Null", + "▁U V", + "▁ UV", + "▁ret val", + "▁ retval", + "▁sim plicity", + "▁simpl icity", + "▁rein force", + "Lin q", + "▁diff usion", + "▁dis orders", + "▁disorder s", + "ât re", + "â tre", + "ui ty", + "uit y", + "u ity", + "▁hel pless", + "▁help less", + "Me asure", + "▁com pression", + "▁comp ression", + "▁compr ession", + "▁compress ion", + "▁Co al", + "olut ely", + "olute ly", + "o gue", + "▁up ward", + "▁Block ly", + "▁b ride", + "▁br ide", + "parse Int", + "▁is olation", + "▁isol ation", + "▁regul atory", + "ș ti", + "ric ane", + "м б", + "▁sa lad", + "▁sal ad", + "we i", + "w ei", + "▁B asket", + "▁Bas ket", + "▁M ON", + "▁MO N", + "▁ MON", + "\"> &", + "\" >&", + "do ors", + "door s", + "▁K ill", + "▁Kil l", + "▁Ki ll", + "▁conspir acy", + "▁M iles", + "▁Mil es", + "▁Mi les", + "wa nt", + "wan t", + "w ant", + "Mod ifier", + "▁batter ies", + "▁batt eries", + "iv as", + "iva s", + "i vas", + "▁att endance", + "▁attend ance", + "▁AUT H", + "▁AU TH", + "▁ AUTH", + "▁с ві", + ".. .,", + "... ,", + "▁aggreg ate", + "▁de struct", + "▁dest ruct", + "▁four teen", + "▁both ered", + "▁bother ed", + "el te", + "elt e", + "e lte", + "▁m ism", + "▁mis m", + "▁mi sm", + "▁res ting", + "▁rest ing", + "▁P ars", + "▁Par s", + "▁Pa rs", + "▁ Pars", + "▁id le", + "▁ idle", + "▁d eren", + "▁de ren", + "▁der en", + "▁dere n", + "▁di ary", + "▁dia ry", + "▁v ague", + "▁va gue", + "▁vag ue", + "▁margin al", + "▁marg inal", + "Wr it", + "W rit", + "Bo t", + "B ot", + "▁Met ro", + "▁e arning", + "▁earn ing", + "▁ear ning", + "hist oire", + "his toire", + "▁end orse", + "▁be ard", + "▁bear d", + "▁Chair man", + "ie b", + "i eb", + "▁neut r", + "▁neu tr", + "▁am bit", + "▁amb it", + "▁Leon ard", + "ban ds", + "band s", + "b ands", + "▁D ale", + "▁Da le", + "▁Dal e", + "▁ver ified", + "Al gorithm", + "Enumer able", + "op code", + "cast le", + "cas tle", + "š e", + "▁Venez uela", + "▁de scriptions", + "▁des criptions", + "▁description s", + "▁value d", + "▁val ued", + "▁chapter s", + "▁chap ters", + "▁I ls", + "▁Il s", + "▁cl arity", + "▁clar ity", + "▁tour ists", + "▁tourist s", + "Da n", + "D an", + "▁t ribe", + "▁tr ibe", + "▁tri be", + "▁trib e", + "fol k", + "f olk", + "ac cur", + "acc ur", + "▁St ack", + "▁Sta ck", + "▁ Stack", + "▁adv ocate", + "▁advoc ate", + "▁G ene", + "▁Ge ne", + "▁Gen e", + "Im ages", + "Image s", + "▁rig id", + "▁con greg", + "▁congr eg", + "▁start up", + "▁dead line", + "co uld", + "cou ld", + "c ould", + "▁beg ann", + "▁began n", + "▁cal ci", + "▁calc i", + "▁Cir cle", + "▁Circ le", + "▁in cons", + "▁inc ons", + "▁incon s", + "aaaa aaaa", + "▁rub bed", + "ape ut", + "ua rio", + "uar io", + "u ario", + "worth y", + "wor thy", + "wort hy", + "▁fam ília", + "▁synchron ized", + "▁unf air", + "rs p", + "r sp", + "▁soc ieties", + "▁societ ies", + "bo at", + "gr o", + "g ro", + "▁k at", + "▁ka t", + "▁ kat", + "▁p oker", + "▁po ker", + "▁pok er", + "▁l ocks", + "▁loc ks", + "▁lo cks", + "▁lock s", + "▁G F", + "▁ GF", + "▁re conc", + "▁recon c", + "▁Maur ice", + "▁Mau rice", + "__( /*!", + "▁ble eding", + "äs ident", + "▁deriv ative", + "cc ió", + "c ció", + "▁cr ushed", + "▁crush ed", + "▁tempor arily", + "▁co aches", + "▁coach es", + "▁Mo vement", + "▁Move ment", + "▁Mov ement", + "}} $.", + "}}$ .", + "} }$.", + "▁K yle", + "▁Ky le", + "▁S ohn", + "▁So hn", + "▁cre ator", + "▁creat or", + "ind ust", + "▁E rik", + "▁Er ik", + "▁se iz", + "▁sei z", + "▁dim ensional", + "▁dimension al", + "▁ dimensional", + "▁I st", + "▁Is t", + "▁pre val", + "▁pr eval", + "▁prev al", + "he ads", + "head s", + "▁про ти", + "▁determ ines", + "▁determine s", + "▁determin es", + "eg y", + "e gy", + "▁U INT", + "▁UI NT", + "▁ UINT", + "▁V olk", + "▁Vol k", + "pa wn", + "p awn", + "Ph oto", + "▁C olin", + "▁Col in", + "▁Co lin", + "ap propri", + "app ropri", + "ort ion", + "st eller", + "stell er", + "É tat", + "▁im ply", + "▁imp ly", + "▁impl y", + "▁t outes", + "▁to utes", + "▁tou tes", + "▁tout es", + "▁toute s", + "VO L", + "V OL", + "an ing", + "ani ng", + "a ning", + "Tool tip", + "ig ious", + "igi ous", + "▁e ternal", + "▁etern al", + "▁P oz", + "▁Po z", + "▁bank rupt", + "▁fail ures", + "▁failure s", + "uer te", + "zu ng", + "z ung", + "▁t cp", + "▁tc p", + "▁ tcp", + "▁cont ainers", + "▁contain ers", + "▁container s", + "ou sel", + "ous el", + "ouse l", + "▁H IV", + "▁con ced", + "▁conc ed", + "▁conce d", + "▁sept iembre", + "gi rl", + "g irl", + "▁C ho", + "▁Ch o", + "▁f az", + "▁fa z", + "▁Up per", + "▁ Upper", + "▁For ces", + "▁Force s", + "äh lt", + "in ject", + "Re ceived", + "MA T", + "M AT", + "ag lia", + "ów nie", + "ówn ie", + "/ '", + "▁p ip", + "▁pi p", + "▁G est", + "▁Ge st", + "▁Ges t", + "▁l ado", + "▁la do", + "▁lad o", + "▁compat ibility", + "▁m are", + "▁mar e", + "▁ma re", + "▁ mare", + "▁Cle arly", + "▁Clear ly", + "vers ation", + "Ver s", + "V ers", + "▁ch ick", + "▁chi ck", + "▁organ ize", + "▁organiz e", + "▁econom ics", + "▁economic s", + "▁ancest ors", + "ME D", + "M ED", + "▁sc rub", + "▁scr ub", + "▁label ed", + "▁lab eled", + "▁S uz", + "▁Su z", + "▁A str", + "▁As tr", + "▁Ast r", + "allow een", + "allo ween", + "rh s", + "r hs", + "as ci", + "asc i", + "▁C ancer", + "▁Can cer", + "▁H unt", + "▁Hun t", + "▁Hu nt", + "▁switch ing", + "▁R idge", + "Se q", + "S eq", + "▁gi ugno", + "bus iness", + "▁char ming", + "▁charm ing", + "▁I o", + "▁ Io", + "▁prés ident", + "ek ing", + "e king", + "í l", + "en h", + "e nh", + "pr it", + "p rit", + "erc ise", + "án ak", + "á nak", + "▁b ugs", + "▁bu gs", + "▁bug s", + "▁light ning", + "▁never theless", + "▁length s", + "G U", + "H idden", + "Act or", + "Ac tor", + "A ctor", + "To pic", + "Top ic", + "T opic", + "▁H orse", + "▁Hor se", + "ћ е", + "el ines", + "eline s", + "eli nes", + "elin es", + "e lines", + "▁trag edy", + "▁traged y", + "int endo", + "▁abund ance", + "▁ev ac", + "it ably", + "+\\ _\\", + "▁rec ib", + "ua ted", + "uate d", + "u ated", + "рі ї", + "▁fool ish", + "▁foo lish", + "▁t m", + "▁ tm", + "▁des pair", + "▁desp air", + "TO KEN", + "▁comp romise", + "▁comprom ise", + "▁Person en", + "▁Pers onen", + "▁investig ated", + "▁investigate d", + "▁ex clude", + "▁excl ude", + "▁telev is", + "▁tele vis", + "▁pull s", + "▁pul ls", + "▁according ly", + "▁accord ingly", + "▁f ő", + "▁Le ave", + "▁ Leave", + "oper ations", + "operation s", + "cri m", + "cr im", + "c rim", + "▁r hs", + "▁rh s", + "▁ rhs", + "▁form ally", + "▁formal ly", + "▁L ily", + "▁Li ly", + "▁Lil y", + "▁Com ments", + "▁Comm ents", + "▁Comment s", + "▁se ptember", + "▁sept ember", + "ie fs", + "ief s", + "▁tre asure", + "Http Servlet", + "ді в", + "д ів", + "▁dis claimer", + "lu ss", + "l uss", + "▁ка о", + "ro gen", + "rog en", + "r ogen", + "▁Start ing", + "▁Star ting", + "▁d ém", + "▁dé m", + "▁select ing", + "▁ ↘", + "▁Pract ice", + "▁p orte", + "▁por te", + "▁port e", + "▁ porte", + "▁as sure", + "▁ass ure", + "▁frustr ated", + "S ink", + "▁esc ort", + "ais es", + "ai ses", + "aise s", + "a ises", + "▁b ush", + "▁bu sh", + "▁bus h", + "▁Se ine", + "▁F ill", + "▁Fil l", + "▁Fi ll", + "▁ Fill", + "▁S ull", + "▁Su ll", + "▁Sul l", + "Do t", + "D ot", + "vi l", + "v il", + "un ing", + "uni ng", + "u ning", + "Render ing", + "Rend ering", + "sh ake", + "sha ke", + "pt e", + "p te", + "▁b end", + "▁be nd", + "▁ben d", + "▁jewel ry", + "▁Stock holm", + "▁Hon estly", + "! [", + "▁array s", + "▁arr ays", + "▁War ner", + "▁sh aft", + "▁sha ft", + "▁C ann", + "▁Can n", + "▁Ca nn", + "▁Pitt sburgh", + "ir ical", + "iri cal", + "i rical", + "au tre", + "aut re", + "▁R ück", + "▁gen naio", + "an nte", + "ann te", + "annt e", + "ps hire", + "p shire", + "ét a", + "é ta", + "▁pr inter", + "▁print er", + "▁prin ter", + "▁dam ages", + "▁damage s", + "▁Isa ac", + "▁Famil ie", + "Code s", + "Co des", + "C odes", + "th rift", + "no b", + "n ob", + "▁c av", + "▁ca v", + "▁techn ically", + "▁technical ly", + "▁I mm", + "▁Im m", + "▁tr icks", + "▁tri cks", + "▁trick s", + "EA R", + "E AR", + "▁Sub ject", + "▁ Subject", + "▁ne eding", + "▁need ing", + "▁G ir", + "▁Gi r", + "Bo ard", + "B oard", + "▁re he", + "▁rem inder", + "▁remind er", + "▁sh iver", + "K it", + "▁strugg les", + "▁struggle s", + "▁gen om", + "▁ge nom", + "im il", + "imi l", + "i mil", + "Reg istration", + "▁gl oves", + "▁glo ves", + "▁Z ur", + "▁Zu r", + "▁B eg", + "▁Be g", + "▁in clusive", + "▁incl usive", + "og an", + "oga n", + "o gan", + "po que", + "cont rib", + "contr ib", + "▁M ama", + "▁Ma ma", + "▁Mam a", + "print s", + "▁re named", + "ють ся", + "ю ться", + "net dev", + "▁comp ile", + "▁ compile", + "▁ §", + "M UL", + "▁dr aws", + "▁draw s", + "co ck", + "c ock", + "▁M um", + "▁Mu m", + "sp ieler", + "spi eler", + "s pieler", + "▁n ail", + "▁na il", + "▁ nail", + "▁trans it", + "▁S aw", + "▁Sa w", + "▁com press", + "▁comp ress", + "▁compre ss", + "▁compr ess", + "▁ compress", + "▁purch ases", + "▁purchase s", + "▁per forms", + "▁perform s", + "▁dem ol", + "▁demo l", + "▁comm ence", + "▁C B", + "▁ CB", + "▁A ber", + "▁Ab er", + "▁c ush", + "▁cu sh", + "▁Muham mad", + "▁Net flix", + "▁Environment al", + "No rm", + "N orm", + "▁w ir", + "null ptr", + "▁refuge es", + "▁B irmingham", + "New s", + "Ne ws", + "Or ient", + "O rient", + "As sembly", + "▁introdu cing", + "fin der", + "find er", + "fi nder", + "f inder", + "▁scholar ship", + "▁scholars hip", + "if a", + "i fa", + "Si ng", + "S ing", + "ib lic", + "ibli c", + "i blic", + "istribut ed", + "istribute d", + "▁depart ments", + "▁department s", + "CR EF", + "CRE F", + "C REF", + "▁Malays ia", + "CO NF", + "CON F", + "▁Cl aud", + "▁Bu ilt", + "▁ Built", + "RAN GE", + "Re direct", + "Red irect", + "LE ASE", + "-- -------", + "---- -----", + "-------- -", + "--- ------", + "----- ----", + "------ ---", + "------- --", + "- --------", + "▁n umpy", + "▁num py", + "▁project ed", + "▁remind s", + "▁- *-", + "ib ling", + "ibli ng", + "i bling", + "▁s lower", + "▁sl ower", + "▁slow er", + "op p", + "o pp", + "ro pic", + "rop ic", + "r opic", + "▁Mont real", + "▁detect ive", + "TH READ", + "▁qu é", + "▁R osa", + "▁Ro sa", + "▁Ros a", + "▁seven th", + "▁sevent h", + "Col ors", + "Color s", + "de mo", + "dem o", + "▁E sta", + "▁Est a", + "▁Es ta", + "ff f", + "f ff", + "ick ets", + "icket s", + "Gr e", + "G re", + "á b", + "bo ost", + "▁Go ing", + "▁Su ite", + "▁ Suite", + "▁adapt ation", + "▁j ours", + "▁jour s", + "▁jo urs", + "▁jou rs", + "▁ jours", + "▁Or th", + "▁Ort h", + "х і", + "Fig ure", + "▁su pers", + "▁sup ers", + "▁super s", + "▁access ories", + "we ak", + "▁dist ress", + "fr ied", + "f ried", + "▁go og", + "▁far mer", + "▁farm er", + "it ational", + "itation al", + "itat ional", + "Go ld", + "G old", + "▁ass hole", + "▁assh ole", + "▁Cont roller", + "▁Control ler", + "▁ Controller", + "To o", + "T oo", + "▁mol to", + "▁p ropri", + "▁prop ri", + "▁ propri", + "▁al go", + "▁alg o", + "Af f", + "A ff", + "re sc", + "res c", + "r esc", + "▁D y", + "▁con gr", + "▁T es", + "▁Te s", + "▁W IN", + "▁ WIN", + "de serialize", + "des erialize", + "sy n", + "s yn", + "▁chem istry", + "m iddle", + "▁an imated", + "▁anim ated", + "▁K um", + "▁Ku m", + "file Name", + "Amer ica", + "▁dr ums", + "▁dru ms", + "▁drum s", + "▁program a", + "▁n ej", + "▁ne j", + "▁ nej", + "Read Only", + "-- -----", + "---- ---", + "--- ----", + "----- --", + "------ -", + "- ------", + "Mut ex", + "Mu tex", + "un ned", + "unn ed", + "ynam ics", + "ynamic s", + "co system", + "cos ystem", + "▁R ect", + "▁Re ct", + "▁Rec t", + "▁ Rect", + "▁an ime", + "▁anim e", + "▁need le", + "es ser", + "ess er", + "esse r", + "▁incl u", + "▁inc lu", + "Le an", + "tr aining", + "tra ining", + "train ing", + "▁b our", + "▁bo ur", + "▁bou r", + "▁ bour", + "ab ases", + "abase s", + "aba ses", + "▁tak że", + "wa rz", + "war z", + "w arz", + "▁ste pping", + "▁step ping", + "▁T IME", + "▁ TIME", + "▁Ein stein", + "▁Log in", + "▁Lo gin", + "▁ Login", + "pon ential", + "ponent ial", + "De ad", + "D ead", + "in str", + "ins tr", + "inst r", + "▁ne ural", + "▁neu ral", + "▁neur al", + "▁ub ic", + "▁Init ialized", + "▁Initialize d", + "▁Initial ized", + "▁ Initialized", + "▁facil itate", + "G D", + "}{ (", + "} {(", + "D ark", + "▁n ag", + "▁na g", + "min ipage", + "Size s", + "Si zes", + "S izes", + "▁w orm", + "▁wor m", + "▁wo rm", + "bi as", + "bia s", + "b ias", + "Su ch", + "S uch", + "wick lung", + "▁sp ouse", + "▁spo use", + "▁surviv ors", + "er st", + "ers t", + "at ype", + "aty pe", + "a type", + "}) $,", + "})$ ,", + "} )$,", + "▁n l", + "▁ nl", + "▁cogn itive", + "▁o nde", + "▁on de", + "▁ onde", + "▁en abling", + "▁soc iet", + "▁soci et", + "▁c lan", + "▁cl an", + "▁ex cluded", + "▁excl uded", + "▁exclude d", + "▁th under", + "▁ent ropy", + "▁entr opy", + "▁fast est", + "RE EN", + "REE N", + "▁Vien na", + "▁fl owing", + "▁flo wing", + "▁flow ing", + "▁aff irm", + "al om", + "alo m", + "▁h ips", + "▁hi ps", + "▁hip s", + "▁can nab", + "▁st icks", + "▁stick s", + "▁cur riculum", + "▁retain ed", + "▁ext ending", + "▁extend ing", + "ó z", + "he aded", + "head ed", + "ex c", + "e xc", + "▁je ho", + "▁for ests", + "▁fore sts", + "▁forest s", + "ma nia", + "man ia", + "m ania", + "▁C anal", + "▁Can al", + "▁Ca nal", + "▁S out", + "▁So ut", + "▁Sou t", + "▁B ahn", + "▁Ba hn", + "▁Bah n", + "▁T EXT", + "▁TE XT", + "▁ TEXT", + "▁др жа", + "▁User s", + "▁Us ers", + "▁Use rs", + "▁ Users", + "▁G EN", + "▁ GEN", + "sl ash", + "ben falls", + "Text Field", + "▁r av", + "▁ra v", + "▁ rav", + "▁continu ously", + "▁continuous ly", + "IT ER", + "ITE R", + "I TER", + "▁Jen ny", + "▁Jenn y", + "ch os", + "cho s", + "c hos", + "▁am big", + "▁amb ig", + "Aut ow", + "Auto w", + "▁V eter", + "▁Ve ter", + "▁dest in", + "H om", + "au ge", + "aug e", + "a uge", + "▁com mod", + "▁comm od", + "▁gar lic", + "< =", + "▁dram atically", + "▁dramatic ally", + "CA N", + "C AN", + "an cers", + "ance rs", + "anc ers", + "ancer s", + "() }", + "( )}", + "gh ai", + "▁tw ee", + "▁twe e", + "▁сент ября", + "GP U", + "G PU", + "▁B omb", + "▁Bo mb", + "▁young est", + "▁c age", + "▁ca ge", + "ok s", + "o ks", + "ic hes", + "ich es", + "iche s", + "i ches", + "▁T ests", + "▁Te sts", + "▁Test s", + "▁Tes ts", + "▁ Tests", + "sk ý", + "cur y", + "cu ry", + "c ury", + "na ls", + "nal s", + "n als", + "ț a", + "▁V oice", + "▁Vo ice", + "Depend ency", + "v f", + "e ous", + "▁Z a", + "▁am ateur", + "▁G host", + "▁Gh ost", + "▁dis ability", + "▁rev enge", + "▁reven ge", + "Trans lation", + "▁cour tesy", + "ски я", + "▁bl ob", + "▁blo b", + "▁ blob", + "ä ß", + "ó j", + "▁print s", + "▁prin ts", + "▁ prints", + "▁pro ves", + "▁pr oves", + "▁prov es", + "▁prove s", + ">? [<", + "▁ut ils", + "▁util s", + "▁ utils", + "ty pen", + "type n", + "typ en", + "▁t erra", + "▁ter ra", + "▁terr a", + "▁ terra", + "▁min eral", + "▁mine ral", + "▁miner al", + "▁war rior", + "▁D S", + "▁ DS", + "Em b", + "E mb", + "get Data", + "лич и", + "▁sa fer", + "▁saf er", + "▁safe r", + "▁com une", + "▁comun e", + "▁hier archy", + "Cred entials", + "res se", + "ress e", + "r esse", + "gr av", + "gra v", + "g rav", + "lo gs", + "log s", + "l ogs", + "br os", + "bro s", + "b ros", + "BUT TON", + "lit eral", + "liter al", + "l iteral", + "▁S r", + "an tal", + "ant al", + "anta l", + "▁mer cy", + "▁merc y", + "DA P", + "D AP", + "▁Mag gie", + "▁sust ained", + "▁sustain ed", + "N M", + "Re view", + "Rev iew", + "▁Buen os", + "▁de aler", + "▁deal er", + "▁file Name", + "▁ fileName", + "bb ra", + "b bra", + "Inst all", + "▁Mor ning", + "LE T", + "L ET", + "ip a", + "i pa", + "G a", + "▁Sche dule", + "▁ Schedule", + "▁rep orters", + "▁report ers", + "▁reporter s", + "▁pecul iar", + "▁sup plier", + ")$ -", + ") $-", + "ë l", + "▁roll s", + "▁né cess", + "▁p reg", + "▁pre g", + "▁pr eg", + "▁Re yn", + "▁sur render", + "▁contribut ing", + ")+ \\", + ") +\\", + "PRO P", + "PR OP", + "P ROP", + "▁dec imal", + "▁Town ship", + "gr p", + "g rp", + "▁terror ist", + "pt o", + "p to", + "on en", + "one n", + "o nen", + "▁Polit ics", + "▁Pe arl", + "▁Pear l", + "▁pil low", + "▁pill ow", + "▁gr ades", + "▁grad es", + "▁grade s", + "▁gra des", + "▁ grades", + "TH E", + "T HE", + "▁num ero", + "▁numer o", + "▁nu mero", + "i NdEx", + "M igration", + "PE ND", + "P END", + "ph oto", + "▁cent ered", + "▁center ed", + "▁r het", + "▁rh et", + "egr ünd", + "▁laund ry", + "get Node", + "▁est imation", + "▁estim ation", + "▁I v", + "▁wh oles", + "▁who les", + "▁whole s", + "▁const itutional", + "▁constitution al", + "am ination", + "amin ation", + "▁Municip al", + "ad t", + "a dt", + "th y", + "t hy", + "▁pub li", + "▁di cembre", + "▁dic embre", + "▁dice mbre", + "` )", + "▁Ch rome", + "ef e", + "e fe", + "con g", + "co ng", + "c ong", + "bre aking", + "break ing", + "es tr", + "est r", + "e str", + "▁i di", + "▁id i", + "▁ idi", + "VER Y", + "V ERY", + "▁app el", + "▁ap pel", + "▁appe l", + "▁Techn ical", + "tc x", + "t cx", + "DO UBLE", + "se k", + "s ek", + "hu ng", + "h ung", + "▁A ur", + "▁Au r", + "coll apse", + "▁adv ise", + "▁advis e", + "▁Pr imary", + "▁Pri mary", + "▁Prim ary", + "▁ Primary", + "ia z", + "i az", + "▁a nten", + "▁an ten", + "▁ant en", + "▁ante n", + "▁ anten", + "▁bro ader", + "▁broad er", + "▁ju nio", + "▁jun io", + "▁juni o", + "▁w ool", + "▁wo ol", + "▁hat red", + "▁ex agger", + "Con v", + "Co nv", + "kt ur", + "▁em peror", + "▁Pack age", + "▁ Package", + "TD M", + "T DM", + "\\{ \\", + "\\ {\\", + "whe el", + "▁fe as", + "▁js ou", + "", + "< ?>", + "INST ANCE", + "▁ch ant", + "▁cha nt", + "▁ chant", + "▁Re fer", + "▁Ref er", + "▁S hir", + "▁Sh ir", + "▁Me eting", + "▁Meet ing", + "▁n v", + "▁ nv", + "▁associ ations", + "▁association s", + "it ations", + "itation s", + "itat ions", + "or um", + "o rum", + "▁t ires", + "▁ti res", + "▁tire s", + "▁tir es", + "▁d ash", + "▁da sh", + "▁das h", + "▁ dash", + "▁} ));", + "▁}) );", + "ar to", + "art o", + "▁Ed inburgh", + "W T", + "▁inv ented", + "▁invent ed", + "ve h", + "v eh", + "▁Hind u", + "▁Насе лення", + "▁ur gent", + "▁urg ent", + "▁urge nt", + "text color", + "we rp", + "wer p", + "▁det ector", + "▁detect or", + "▁al tered", + "▁alt ered", + "▁alter ed", + "▁t b", + "▁ tb", + "▁Nav al", + "▁mem br", + "style sheet", + "styles heet", + "un ts", + "unt s", + "▁nut rition", + "▁S ylv", + "▁Sy lv", + "▁e numer", + "▁en umer", + "▁enum er", + "▁m ines", + "▁min es", + "▁mi nes", + "▁mine s", + "▁l itter", + "▁lit ter", + "▁litt er", + "ž í", + "con current", + "▁sw allow", + "Si r", + "S ir", + "tal k", + "t alk", + "▁de utschen", + "▁deutsch en", + "re peat", + "▁dom ains", + "▁domain s", + "▁Mc Donald", + "▁cand le", + "▁pl ural", + "▁sharp ly", + "▁shar ply", + "orig ine", + "origin e", + "▁c andy", + "▁can dy", + "▁cand y", + "▁kilomet res", + "▁power ed", + "▁pow ered", + "▁ powered", + "▁s ep", + "▁se p", + "▁ sep", + "▁S oci", + "▁So ci", + "▁Soc i", + "▁Ber nie", + "▁Bern ie", + "GE NER", + "GEN ER", + "Ex per", + "Exp er", + "▁Al low", + "▁All ow", + "▁ Allow", + "▁Ern st", + "▁Re becca", + "▁Cont ribut", + "ro utes", + "rou tes", + "route s", + "r outes", + "▁s uffix", + "▁suff ix", + "▁ju lio", + "▁jul io", + "▁juli o", + "▁provinc ial", + "▁provincia l", + "▁provin cial", + "▁appreci ation", + "Us ing", + "U sing", + "abs olute", + "▁cr icket", + "W ould", + "▁Equip ment", + "▁tort ure", + "ut ton", + "utt on", + "▁out break", + "▁prevent ing", + "▁mad re", + "end region", + "▁f ais", + "▁fa is", + "▁remember ing", + "▁Al ban", + "▁Alb an", + "▁a rist", + "▁ar ist", + "▁work out", + "▁u z", + "▁ uz", + "as to", + "ast o", + "a sto", + "fort unate", + "fortun ate", + "▁p aste", + "▁past e", + "▁pas te", + "▁pa ste", + "▁M R", + "▁ MR", + "▁o tra", + "▁ot ra", + "S v", + "an gen", + "ang en", + "ange n", + "▁S ierra", + "▁Si erra", + "▁n au", + "▁na u", + "▁s era", + "▁se ra", + "▁ser a", + "$ ~", + "▁cos ì", + ")( (", + ") ((", + "▁propos als", + "▁proposal s", + "▁P ero", + "▁Per o", + "▁Pe ro", + "▁te nant", + "▁ten ant", + "▁ tenant", + "Y P", + "▁Param eter", + "▁ Parameter", + "sp ell", + "spe ll", + "▁e merge", + "▁emer ge", + "▁g ek", + "▁ge k", + "ol ence", + "olen ce", + "ot os", + "oto s", + "o tos", + "▁witness es", + "▁watch es", + "▁wat ches", + "▁A ch", + "▁Ac h", + "Cr oss", + "C ross", + "; }", + "▁O NE", + "▁ON E", + "▁ ONE", + "▁care ers", + "▁career s", + "▁faith ful", + "▁J our", + "▁Jo ur", + "▁Gener ate", + "▁Gene rate", + "▁ Generate", + "▁recommend ation", + "w b", + "sk ich", + "ski ch", + "bold math", + "▁orig ins", + "▁origin s", + "▁spin ning", + "▁// \r", + "▁bomb s", + "▁bom bs", + "min ister", + "I o", + "öl ker", + "Autow ired", + "um per", + "ump er", + "ich ael", + "▁contribut ors", + "▁contributor s", + "▁n asty", + "▁na sty", + "▁nas ty", + "▁nast y", + "▁d rap", + "▁dr ap", + "▁Bud apest", + "ur ious", + "uri ous", + "hi d", + "h id", + "▁wel comed", + "▁welcome d", + "▁w agon", + "▁wa gon", + "▁embarrass ed", + "▁Har vey", + "Lo s", + "L os", + "▁S ter", + "▁St er", + "▁Ste r", + "▁enjoy able", + "ör t", + "ö rt", + "Mill is", + "-- )", + "- -)", + "▁d ashed", + "▁das hed", + "▁dash ed", + "\"> < ?", + "\" >' ,", + "> ',", + "▁all iance", + "ic ism", + "ici sm", + "▁NA SA", + "▁p ode", + "▁po de", + "▁pod e", + "č ní", + "▁respon ding", + "▁respond ing", + "▁bl owing", + "▁blo wing", + "▁blow ing", + "ic ké", + "ick é", + "▁H off", + "▁Ho ff", + "▁Hof f", + "MB ER", + "M BER", + "▁civil ization", + "ar ía", + "a ría", + "Un lock", + "ge ts", + "get s", + "g ets", + "no d", + "n od", + "▁S TE", + "▁ST E", + "▁con science", + "PE G", + "ch anging", + "chan ging", + "▁Rich mond", + "ling ton", + "l ington", + "ocr atic", + "▁trav és", + "▁up dating", + "process ing", + "Al ex", + "A lex", + "▁mil itar", + "▁milit ar", + "▁pse udo", + "▁pseud o", + "str len", + "▁be have", + "▁beh ave", + "▁behav e", + "▁distinct ive", + "▁E c", + "▁c x", + "▁ cx", + "▁journal ists", + "▁journalist s", + "vo lt", + "vol t", + "v olt", + "▁sp un", + "▁d urable", + "▁dur able", + "▁pro position", + "▁propos ition", + "▁ proposition", + "thread s", + "▁tw entieth", + "▁ф і", + "▁ фі", + "en son", + "ens on", + "enso n", + "▁self ish", + "▁sel fish", + "ar ium", + "ari um", + "a rium", + "▁de cid", + "▁dec id", + "▁psy chiat", + "▁psych iat", + "g d", + "Z Z", + "ug u", + "u gu", + "▁i ds", + "▁id s", + "▁ ids", + "Man aged", + "▁Leg isl", + "ancell ationToken", + "▁gr ants", + "▁gran ts", + "▁grant s", + "▁lie utenant", + "▁lieu tenant", + "▁Fle et", + "** /", + "* */", + "▁T ig", + "▁Ti g", + "▁accept s", + "▁system atic", + ", {\\", + "▁aus ge", + "▁dial ect", + "▁dia lect", + "st ri", + "str i", + "s tri", + "er me", + "erm e", + "▁B esch", + "▁Be sch", + "▁Bes ch", + "lo ve", + "lov e", + "l ove", + "S ensor", + "▁B IT", + "▁ BIT", + "▁mist aken", + "▁mistake n", + "p v", + "▁u tf", + "▁ut f", + "▁ utf", + "▁[ \\", + "▁ [\\", + "▁Geb iet", + "▁Mann schaft", + "PAR AMETER", + "▁u rb", + "▁ur b", + "▁ urb", + "▁R eed", + "▁Re ed", + "▁c ough", + "▁co ugh", + "▁cou gh", + "wa ld", + "wal d", + "w ald", + "▁L amb", + "▁La mb", + "▁Lam b", + "▁surv iving", + "▁surviv ing", + "▁s way", + "▁sw ay", + "WI SE", + "ä ger", + "f y", + "sk e", + "s ke", + "▁s og", + "▁so g", + "▁Im plement", + "▁Imp lement", + "▁ Implement", + "获 取", + "▁T ools", + "▁To ols", + "▁Tool s", + "▁Too ls", + "▁ Tools", + "▁ne wer", + "▁new er", + "▁exempl e", + "▁exem ple", + "▁l itt", + "▁li tt", + "▁lit t", + "▁у прав", + "Em itter", + "Emit ter", + "IS ING", + "I SING", + "▁М і", + "▁Ex amples", + "▁Example s", + "▁I con", + "▁ Icon", + "Get ter", + "▁L ay", + "▁La y", + "▁Col lect", + "▁Coll ect", + "▁ Collect", + "Sa int", + "S aint", + "or able", + "ora ble", + "▁f ick", + "▁fi ck", + "ik h", + "i kh", + "sl ave", + "▁c lay", + "▁cl ay", + "▁W A", + "▁ WA", + "Re po", + "Rep o", + "it r", + "i tr", + "pa id", + "p aid", + "▁home work", + "M iddleware", + "▁r éal", + "▁ré al", + "ê m", + "ès e", + "è se", + "▁W ells", + "▁Well s", + "▁Wel ls", + "▁e nero", + "▁en ero", + "▁ener o", + "emperature n", + "▁N aj", + "▁Na j", + "▁Re agan", + "▁comp elling", + "▁tri bes", + "▁trib es", + "▁tribe s", + "▁to String", + "▁ toString", + "pace s", + "pa ces", + "p aces", + "▁harm ful", + "▁Con se", + "▁Cons e", + "od io", + "odi o", + "▁m im", + "▁mi m", + "get Item", + "▁script s", + "▁ scripts", + "ra is", + "rai s", + "r ais", + "▁Ph ase", + "▁ Phase", + "▁An swer", + "▁$ |\\", + "▁$| \\", + "▁as sembled", + "el in", + "eli n", + "e lin", + "ph abet", + "pha bet", + "▁to ast", + "▁tut ti", + "▁tu tti", + "▁be zeichnet", + "Gre at", + "G reat", + "et tes", + "ett es", + "ette s", + "e ttes", + "F ULL", + "▁re gener", + "▁reg ener", + "▁któ re", + "is ce", + "isc e", + "▁t oda", + "▁to da", + "▁tod a", + "▁eth ical", + "i q", + "P t", + "ar in", + "ari n", + "a rin", + "ig os", + "igo s", + "i gos", + "▁work shops", + "▁workshop s", + "▁R oche", + "▁Ro che", + "▁Roc he", + "Get String", + "мини стратив", + "m ême", + "▁D aw", + "▁Da w", + "ar ians", + "ari ans", + "aria ns", + "arian s", + "▁imp acts", + "▁impact s", + "▁por table", + "▁port able", + ")- \\", + ") -\\", + "sh ots", + "shot s", + "▁re lev", + "▁rel ev", + "▁rele v", + "PR IV", + "PRI V", + "▁бу ла", + "ard less", + "ul ously", + "ulous ly", + "-- >", + "- ->", + "ol ent", + "ole nt", + "olen t", + "▁Gener ic", + "▁Gene ric", + "▁ Generic", + "▁* /,", + "▁*/ ,", + "▁comb inations", + "▁combination s", + "▁re jo", + "cap acity", + "▁tr aces", + "▁tra ces", + "▁trace s", + "▁op acity", + "▁ opacity", + "▁Off icial", + "ic ion", + "ici on", + "icio n", + "▁emotional ly", + "▁emotion ally", + "▁Jo el", + "▁Joe l", + "сько му", + "▁legend ary", + "▁p am", + "▁pa m", + "▁Tamb ién", + ". <", + "ib a", + "i ba", + "mi dt", + "mid t", + "▁en suite", + "Author ization", + "P ag", + "▁hel met", + "▁ter rito", + "▁terr ito", + "second ary", + "▁seg unda", + "▁W ire", + "▁Wi re", + "rec ated", + "▁inv oked", + "▁invoke d", + "▁Value Error", + "AL IGN", + "CUR RENT", + "\\ +\\_\\", + "▁comp ilation", + "æ r", + "▁Pal mar", + "▁Palm ar", + "▁influ ences", + "▁influence s", + "/ :", + "M ix", + "NO P", + "N OP", + "ec onom", + "e conom", + "▁t ucked", + "▁} );\r", + "▁}); \r", + "▁}) ;\r", + "▁ });\r", + "AN K", + "re ject", + "▁p ension", + "▁pens ion", + "▁gener ates", + "▁generate s", + "▁in cap", + "▁inc ap", + "▁cl icked", + "▁click ed", + "▁f us", + "▁fu s", + "our ses", + "ours es", + "ourse s", + "▁E aster", + "▁East er", + "% ;", + "zi n", + "z in", + "▁oblig ations", + "▁obligation s", + "▁T ips", + "▁Tip s", + "▁Ti ps", + "}; \r", + "} ;\r", + ".\" _", + "▁B SD", + "▁BS D", + "át ica", + "▁ex pose", + "▁exp ose", + "▁expos e", + "Par s", + "P ars", + "▁Am anda", + "▁gu essed", + "▁guess ed", + "ds i", + "d si", + "▁Le ip", + "Br oad", + "Bro ad", + "B road", + "▁Hug hes", + "▁Hugh es", + "i é", + "▁W ahl", + "▁Wa hl", + "▁former ly", + "Rel ative", + "▁Y u", + "▁Mount ains", + "▁Mountain s", + "▁E num", + "▁En um", + "▁ Enum", + "▁str ang", + "▁stra ng", + "_ -", + "re cht", + "rec ht", + "vi v", + "v iv", + "pa use", + "p ause", + "▁Lond res", + "▁el bow", + "▁Hawai i", + "▁Cas ino", + "Th reshold", + "Un its", + "Unit s", + "In clude", + "ит о", + "и то", + "as ury", + "▁ste ht", + "▁dam ned", + "▁damn ed", + "▁pack ets", + "▁packet s", + "▁W erk", + "▁Wer k", + "▁elev ator", + "ied ad", + "go vern", + "gov ern", + "g overn", + "▁CONTR ACT", + "ma ls", + "mal s", + "m als", + "▁re mem", + "▁rem em", + "▁ent onces", + "▁v as", + "▁va s", + "▁ vas", + "▁sym pathy", + "▁befind et", + "in cing", + "inc ing", + "Data Set", + "▁add itionally", + "▁addition ally", + "▁additional ly", + "▁mus ician", + "▁music ian", + "▁li stop", + "▁list op", + ">\" )", + "> \")", + "Print f", + "▁Fel ix", + "▁car ved", + "▁nice ly", + "▁nic ely", + "ch ap", + "cha p", + "▁N ieder", + "▁Ni eder", + "▁Nie der", + "▁L av", + "▁La v", + "▁mod ifications", + "▁modification s", + "mo ment", + "m oment", + "▁bal con", + "▁depend ency", + "CK ET", + "▁van ished", + "▁f ighters", + "▁fight ers", + "▁fighter s", + "▁z unächst", + "io ctl", + "ioc tl", + "▁def ens", + "▁defe ns", + "▁N em", + "▁Ne m", + "Util ity", + "Ut ility", + "▁cur v", + "▁cu rv", + "▁DA MAGES", + "▁Ro gers", + "▁Rog ers", + "▁Roger s", + "▁grat itude", + "▁Den mark", + "gr pc", + "grp c", + "g rpc", + "▁j uni", + "▁ju ni", + "▁jun i", + "▁окт ября", + "▁imm ense", + "▁prevent ed", + "▁prev ented", + "▁fo am", + "▁Ex tra", + "▁Ext ra", + "▁ Extra", + "ai med", + "aim ed", + "▁C riteria", + "▁Crit eria", + "▁ Criteria", + "▁Sim ply", + "box es", + "▁Leg end", + "▁P layers", + "▁Play ers", + "▁Player s", + "▁Mer cedes", + "▁Merc edes", + "▁Br anch", + "▁ Branch", + "TER N", + "T ERN", + "om ena", + "ome na", + "omen a", + "▁incorpor ate", + "con de", + "co nde", + "cond e", + "c onde", + "▁Est ado", + "▁Esta do", + "▁w asted", + "▁was ted", + "▁wa sted", + "▁waste d", + "▁compl aining", + "▁complain ing", + "▁war riors", + "▁warrior s", + "ot er", + "ote r", + "o ter", + "▁con ten", + "▁cont en", + "▁co nten", + "▁machine ry", + "▁mach inery", + "▁techn ological", + "▁T D", + "▁ TD", + "▁g ras", + "▁gr as", + "▁gra s", + "▁minim ize", + "▁D oor", + "▁Do or", + "▁b zw", + "▁p rac", + "▁pr ac", + "▁pra c", + "TR EE", + "T REE", + "▁W ing", + "▁Win g", + "▁Wi ng", + "▁Trans action", + "▁ Transaction", + "▁M VT", + "▁Kle in", + "com mons", + "comm ons", + "common s", + "▁} {", + "▁ }{", + "▁Her itage", + "▁f ade", + "▁fa de", + "set Value", + "▁Wal lace", + "▁Wall ace", + "M X", + "▁A CT", + "▁AC T", + "▁ ACT", + "▁foot age", + "▁ent stand", + "ar ga", + "arg a", + "▁n ails", + "▁na ils", + "▁nail s", + "▁capital ism", + "▁G arc", + "▁Gar c", + "▁Ga rc", + "▁susp ension", + "il is", + "ili s", + "uff led", + "uffle d", + "Ar c", + "A rc", + "▁Beaut iful", + "WA Y", + "W AY", + "Par allel", + "XX XX", + "di ag", + "▁D T", + "▁ DT", + "m q", + "Text View", + "ML E", + "M LE", + "en nen", + "enn en", + "enne n", + "▁infect ed", + "▁therap ist", + "IN GS", + "ING S", + "▁c idade", + "ъ н", + "▁p df", + "▁pd f", + "▁ pdf", + "▁b ump", + "▁bu mp", + "CT X", + "C TX", + "▁IN CLUDING", + "▁ INCLUDING", + "▁G ef", + "▁Ge f", + "ENT IAL", + "▁h andy", + "▁hand y", + "▁han dy", + "▁tempor al", + "▁temp oral", + "▁tempo ral", + "At A", + "IS H", + "I SH", + "▁Pat tern", + "▁ Pattern", + "▁l an", + "▁la n", + "▁ lan", + "ep endant", + "▁sh ining", + "id y", + "i dy", + "▁N T", + "▁ NT", + "▁Fr an", + "▁Fra n", + "▁nur ses", + "▁nurs es", + "▁nurse s", + "▁bet ray", + "▁sens ible", + "▁' [", + "▁th irteen", + ")} _{", + ") }_{", + "▁No ah", + "INS ERT", + "ist ically", + "istic ally", + "▁Append ix", + "▁re cher", + "▁rec her", + "Re ceiver", + "▁der nier", + "▁derni er", + "▁Part ido", + "▁max imal", + "▁maxim al", + "sn ap", + "ST OP", + "STO P", + "S TOP", + "▁ult ra", + "▁ul tra", + "▁dévelop p", + "▁t egen", + "▁te gen", + "LI B", + "L IB", + "▁bas eline", + "▁base line", + "re load", + "rel oad", + "▁Ar bitro", + "▁k all", + "▁ka ll", + "c apture", + "Ar m", + "A rm", + "qu in", + "im pse", + "imp se", + "za s", + "z as", + "▁C and", + "▁Can d", + "▁Ca nd", + "▁br ains", + "▁brain s", + "▁bra ins", + "▁host ile", + "▁mar ble", + "oo ns", + "oon s", + "o ons", + "▁L oss", + "▁Los s", + "▁Lo ss", + "Meta Data", + "▁Rep ública", + "▁and ra", + "▁ andra", + "od en", + "ode n", + "o den", + "▁document ed", + "▁M oses", + "▁Mo ses", + "▁Mos es", + "od d", + "o dd", + "▁w ax", + "▁wa x", + "us ch", + "usc h", + "u sch", + "▁diagn osed", + "in kle", + "ink le", + "▁X box", + "▁seven ty", + "▁sevent y", + "ci as", + "cia s", + "c ias", + "▁nov iembre", + "Com pute", + "Comp ute", + "Comput e", + "}) ;\r", + "}); \r", + "} );\r", + "▁Philip pe", + "▁Philipp e", + "▁F ör", + "Le ave", + "▁s age", + "▁sa ge", + "▁sag e", + "▁un pre", + "▁Fort unately", + "▁a post", + "▁ap ost", + "ent ities", + "enti ties", + "▁el los", + "▁ell os", + "author ized", + "GB T", + "G BT", + "▁ins ist", + "▁insp ire", + "▁inspir e", + "Ma ss", + "M ass", + "▁r ôle", + "fe e", + "f ee", + "ip art", + "ipa rt", + "i part", + "un ate", + "una te", + "u nate", + "▁C NN", + ": }", + "▁unh appy", + "▁import ed", + "▁imp orted", + "H IGH", + "ring s", + "rin gs", + "r ings", + "▁In stance", + "▁Inst ance", + "▁ Instance", + "B ay", + "ag les", + "agle s", + "a gles", + "me e", + "m ee", + "ber y", + "be ry", + "b ery", + "▁St ories", + "▁Sto ries", + "▁Ch ase", + "▁Cha se", + "▁car riage", + "▁mis under", + "▁imag in", + "p w", + "▁M eter", + "▁Me ter", + "▁Met er", + "▁crow ds", + "▁crowd s", + "▁F ame", + "▁Fa me", + "sk ill", + "ski ll", + "s kill", + "▁c omed", + "▁com ed", + "▁co med", + "▁come d", + "▁ comed", + "▁r anch", + "▁ran ch", + "▁l acking", + "▁lack ing", + "▁lac king", + "▁sub mar", + "▁subm ar", + "ia nte", + "ian te", + "iant e", + "i ante", + "▁l anz", + "▁lan z", + "-- ---------", + "---- -------", + "-------- ---", + "--- --------", + "----- ------", + "---------- -", + "------ -----", + "--------- --", + "------- ----", + "- ----------", + "▁ob ten", + "▁obt en", + "▁down stairs", + "Y N", + "rot ation", + "▁J esse", + "▁Jes se", + "▁Jess e", + "$ (\"#", + "▁p uls", + "▁pu ls", + "▁pul s", + "ir ling", + "irl ing", + "▁Sch aus", + "▁Sc haus", + "▁de ployed", + "▁deploy ed", + "▁{ }\",", + "▁{} \",", + "▁Mar vel", + "EN UM", + "E NUM", + "▁Mat hemat", + "▁Math emat", + "▁n n", + "▁ nn", + "com pet", + "comp et", + "k ów", + "bi l", + "b il", + "Wh ich", + "is ine", + "isi ne", + "▁r ude", + "▁ru de", + "▁n iveau", + "▁á rea", + "▁p rès", + "▁pr ès", + "at is", + "ati s", + "fu r", + "f ur", + "pack ed", + "p acked", + "м ене", + "script style", + "▁A th", + "▁At h", + "▁d esp", + "▁de sp", + "▁des p", + "elt emperaturen", + "▁tal ents", + "▁talent s", + "oc y", + "o cy", + "▁r aises", + "▁rais es", + "▁raise s", + "▁ra ises", + "LI MIT", + "L IMIT", + "▁editor ial", + "▁edit orial", + "▁An imal", + "▁Anim al", + "dr ive", + "d rive", + "bs s", + "b ss", + "▁S ev", + "▁Se v", + "ep och", + "e poch", + "▁R C", + "▁ RC", + "UN USED", + "▁mand atory", + "( ?:", + "▁B in", + "▁Bi n", + "▁ Bin", + "▁synt hetic", + "▁g own", + "▁go wn", + "▁D ob", + "▁Do b", + "ka p", + "k ap", + "▁har mon", + "▁harm on", + "▁liber ty", + "▁libert y", + "▁R ice", + "▁Ric e", + "▁pray ers", + "▁pra yers", + "▁prayer s", + "▁m ise", + "▁mis e", + "▁mi se", + "▁conf using", + "▁le ap", + "▁arriv es", + "▁arr ives", + "▁arrive s", + "ka mp", + "k amp", + "▁th ats", + "▁that s", + "AC C", + "A CC", + "▁Param eters", + "▁Parameter s", + "▁ Parameters", + "▁B io", + "▁Bi o", + "d ensity", + "▁gl impse", + "FO RE", + "FOR E", + "▁L isten", + "▁List en", + "▁Li sten", + "▁Liste n", + "▁Lis ten", + "▁ Listen", + "Pr ev", + "Pre v", + "P rev", + "}\\ ,\\", + "}\\, \\", + "} \\,\\", + "▁S EC", + "▁SE C", + "▁ SEC", + "▁expl ored", + "▁explore d", + "▁explo red", + "▁mean time", + "▁meant ime", + "AI L", + "A IL", + "▁W P", + "▁ WP", + "▁r aison", + "▁rais on", + "▁ra ison", + "▁ex iste", + "▁exist e", + "▁l esser", + "▁les ser", + "▁less er", + "▁Valid ate", + "▁ Validate", + "▁ca ution", + "▁caut ion", + "u sta", + "he ading", + "head ing", + "EF F", + "E FF", + ".' \"", + ". '\"", + "▁Gil bert", + "▁lim itation", + "▁limit ation", + "▁ret our", + "▁Common wealth", + "▁gew ann", + "▁miser able", + "▁net working", + "▁network ing", + "▁ott obre", + "▁otto bre", + "▁D ise", + "▁Dis e", + "▁Di se", + "ed ges", + "edge s", + "▁s ede", + "▁se de", + "▁sed e", + "un iform", + "uni form", + "ir os", + "iro s", + "i ros", + "▁d esen", + "▁de sen", + "▁des en", + "▁p arc", + "▁par c", + "▁pa rc", + "▁R ico", + "▁Ric o", + "N s", + "gu id", + "gui d", + "g uid", + "or io", + "ori o", + "o rio", + "ave length", + "avel ength", + "▁G le", + "▁Gl e", + "ince ton", + "inc eton", + "Am az", + "A maz", + "Con struct", + "Const ruct", + "▁m x", + "▁ mx", + "▁V ern", + "▁Ver n", + "▁Ve rn", + "▁Gener ation", + "▁ Generation", + "J ack", + "ro mag", + "rom ag", + "▁vi agra", + "▁via gra", + "▁P eg", + "▁Pe g", + "▁Up dated", + "▁Update d", + "▁ Updated", + "▁over lap", + "▁overl ap", + "Event Args", + "▁* «", + "▁quest ioned", + "▁question ed", + "So uth", + "S outh", + "not ice", + "▁perman ently", + "▁permanent ly", + "ls t", + "l st", + "fi cie", + "fic ie", + "▁qu ella", + "▁que lla", + "▁quel la", + "▁college s", + "▁colle ges", + "▁colleg es", + "▁disappoint ment", + "▁Lu ft", + "img ur", + "▁trans itions", + "▁transition s", + "▁transit ions", + "▁s eller", + "▁sell er", + "▁sel ler", + "▁O g", + "▁A DD", + "▁AD D", + "▁ ADD", + "▁P ays", + "▁Pa ys", + "▁Pay s", + "COMM AND", + "gr ades", + "grad es", + "grade s", + "gra des", + "▁fe bbra", + "▁C yr", + "▁Cy r", + "▁febbra io", + "et i", + "e ti", + "▁a rom", + "▁ar om", + "▁Cl aude", + "▁Claud e", + "▁UE FA", + "▁жи ве", + "▁Victor ian", + "▁Victoria n", + "ke eping", + "keep ing", + "kee ping", + "ê n", + "▁FIX ME", + "it ime", + "iti me", + "i time", + "ch estr", + "che str", + "ches tr", + "▁Sam sung", + "▁do ctrine", + "▁p ear", + "▁pe ar", + "▁Mediterr anean", + "▁Y a", + "▁v ault", + "▁va ult", + "▁Hist oric", + "▁Histor ic", + "▁se dan", + "▁sed an", + "▁he ated", + "▁heat ed", + "▁polít ica", + "Pro of", + ": {", + "fe m", + "f em", + "▁Frank furt", + "pect ives", + "pective s", + "M G", + "▁E ye", + "da i", + "d ai", + "▁res erves", + "▁reserv es", + "▁reserve s", + "NE R", + "N ER", + "▁tob acco", + "▁frag ments", + "▁fragment s", + "ic c", + "i cc", + "▁b ooth", + "▁bo oth", + "▁boot h", + "▁cru ise", + "▁Test ament", + "co la", + "col a", + "c ola", + "▁Le op", + "▁Leo p", + "▁n oon", + "▁no on", + "▁ noon", + "▁terr ified", + "v b", + "int el", + "inte l", + "al ie", + "ali e", + "a lie", + "▁ver ification", + "yst er", + "ys ter", + "y ster", + "AD ER", + "A DER", + "ch ied", + "chie d", + "chi ed", + "▁data sets", + "▁dat asets", + "▁dataset s", + "▁з і", + "▁ зі", + "▁m iem", + "▁mi em", + "▁mie m", + "ul ates", + "ula tes", + "ulate s", + "▁u uid", + "▁ uuid", + "▁Pict ures", + "▁Picture s", + "▁B rend", + "▁Br end", + "▁Bre nd", + "▁Bren d", + "Bill board", + "▁s tern", + "▁st ern", + "▁ste rn", + "▁ster n", + "▁de nom", + "▁den om", + "▁acc idents", + "▁accident s", + "▁p acking", + "▁pack ing", + "▁pac king", + "ци ја", + "ibli cal", + "iblic al", + "▁wh isk", + "▁whis k", + "▁l uego", + "▁lu ego", + "▁rect angle", + "▁ho oks", + "▁hook s", + "▁ hooks", + "▁neg lect", + "▁negl ect", + "▁s ober", + "▁so ber", + "▁sob er", + "pro position", + "Mult iple", + "Multi ple", + ":\" ,", + ": \",", + "▁b apt", + "▁ba pt", + "Par ts", + "Part s", + "P arts", + "▁S election", + "▁Se lection", + "▁Sel ection", + "▁Select ion", + "▁ Selection", + "▁Al pha", + "▁ Alpha", + "we ights", + "weight s", + "ha ll", + "hal l", + "h all", + "▁l ur", + "▁lu r", + "▁ép oca", + "▁re sted", + "▁r ested", + "▁res ted", + "▁rest ed", + "▁reste d", + "amb igu", + "▁taste s", + "▁tast es", + "amazon aws", + "▁conf ess", + "▁dic iembre", + "▁dici embre", + "im plement", + "impl ement", + "imp lement", + "▁absor ption", + "Ha l", + "H al", + "LE AN", + "▁Z ach", + "▁Za ch", + "▁free ze", + "▁fre eze", + "L BL", + "ST M", + "S TM", + "▁ca lc", + "▁ calc", + "={ ()", + "= */", + "▁b t", + "▁ bt", + "Re b", + "R eb", + "▁W ien", + "▁Wi en", + "an ska", + "ans ka", + "ansk a", + "▁s urn", + "▁su rn", + "▁sur n", + "iat ive", + "i ative", + "▁inv ån", + "C Y", + "▁l à", + "am ba", + "amb a", + "le en", + "lee n", + "l een", + "wa hl", + "w ahl", + "▁function ing", + "ți a", + "ț ia", + "get Context", + "ga rt", + "gar t", + "g art", + "Pe n", + "P en", + "vi k", + "v ik", + "Sl ider", + "▁Ac cept", + "▁ Accept", + "Ga p", + "G ap", + "▁J orge", + "SI G", + "S IG", + "▁period o", + "▁pat ches", + "▁patch es", + "ко ї", + "är e", + "ä re", + "eng ono", + "li sta", + "list a", + "l ista", + "hor n", + "ho rn", + "h orn", + "▁Com plex", + "▁Comp lex", + "▁ Complex", + "Se nt", + "S ent", + "tr fs", + "▁conv ex", + "▁conve x", + "Gener ation", + "▁міс це", + "com press", + "comp ress", + "▁S ax", + "▁Sa x", + "▁u id", + "▁ui d", + "▁ uid", + "▁Leb ens", + "▁Leben s", + "Com pletion", + "\\| _{", + "\\ |_{", + "in sky", + "ins ky", + "▁sc hon", + "▁sch on", + "▁m asters", + "▁ma sters", + "▁master s", + "▁mas ters", + "▁mast ers", + "in depend", + "inde pend", + "ne ys", + "ney s", + "▁l ied", + "▁li ed", + "▁lie d", + "▁a spir", + "▁asp ir", + "ч ні", + "▁break down", + "▁H arm", + "▁Har m", + "▁Ha rm", + "▁design ing", + "h f", + "▁Ang ela", + "▁Angel a", + "▁con fer", + "▁conf er", + "▁part ido", + "▁parti do", + "▁inter ference", + "ma o", + "m ao", + "▁absor bed", + "▁absorb ed", + "▁V all", + "▁Val l", + "▁Va ll", + "Error Code", + "▁Publish ing", + "va no", + "van o", + "v ano", + "BIT S", + "BI TS", + "B ITS", + "▁de er", + "▁Camp aign", + "▁g raz", + "▁gr az", + "▁gra z", + "CHAN GE", + "▁f eder", + "▁fe der", + "▁fed er", + "if fe", + "iff e", + "hand ed", + "han ded", + "h anded", + "c q", + "um bing", + "umb ing", + "▁un re", + "▁s iendo", + "▁si endo", + "▁sim pler", + "▁simple r", + "▁simpl er", + "wh y", + "w hy", + "ar ettes", + "are ttes", + "aret tes", + "arette s", + "an st", + "ans t", + "▁h ass", + "▁has s", + "▁ha ss", + "▁Enter prise", + "▁m ois", + "▁mo is", + "▁F o", + "ff en", + "f fen", + "▁MOD ULE", + "▁ MODULE", + "▁activ ated", + "▁activate d", + "▁intern acional", + "▁M ittel", + "deg ree", + "▁& (", + "get Property", + "is z", + "i sz", + "ced ure", + "▁en ters", + "▁ent ers", + "▁enter s", + "▁S ally", + "▁Sal ly", + "▁Tr ain", + "▁Tra in", + "▁lo gged", + "▁log ged", + "▁R av", + "▁Ra v", + "▁A void", + "▁Av oid", + "▁K aiser", + "▁Ka iser", + "▁ex pend", + "▁exp end", + "ap hor", + "aph or", + "▁b rass", + "▁br ass", + "▁bra ss", + "▁bras s", + "▁mel od", + "▁att itudes", + "▁attitude s", + "* \"", + "W all", + "▁o we", + "▁ owe", + "▁b amb", + "▁ba mb", + "sh ader", + "sha der", + "ce ster", + "ces ter", + "c ester", + "▁P P", + "▁ PP", + "▁migr ations", + "▁migration s", + "ent ric", + "entr ic", + "▁Set up", + "▁ Setup", + "▁Art ist", + "hr e", + "h re", + "▁pol ite", + "▁polit e", + "ah an", + "aha n", + "a han", + "▁lug lio", + "▁pre decess", + "▁S IG", + "▁SI G", + "▁ SIG", + "ті в", + "т ів", + "▁R F", + "▁ RF", + "▁D ry", + "▁Dr y", + "▁m aker", + "▁make r", + "▁ma ker", + "▁ maker", + "▁S ounds", + "▁Sound s", + "▁implement ing", + "▁a h", + "▁ ah", + "▁g ev", + "▁ge v", + "▁du plicate", + "▁L ogan", + "▁Log an", + "▁Lo gan", + "▁G rade", + "▁Gr ade", + "▁Grad e", + "▁Gra de", + "DU CT", + "ís es", + "í ses", + "ér t", + "é rt", + "▁nons ense", + "back up", + "Att achment", + "▁e cc", + "▁ec c", + "le arn", + "lear n", + "de precated", + "dep recated", + "▁A ub", + "▁Au b", + "▁G ol", + "▁Go l", + "▁over l", + "SER VICE", + "▁beautiful ly", + "RE L", + "R EL", + "▁G ian", + "▁Gi an", + "▁P apa", + "▁Pa pa", + "▁Pap a", + "respon d", + "resp ond", + "▁Carib bean", + "r n", + "C fg", + "ra i", + "r ai", + "▁sn iff", + "tt o", + "t to", + "▁r b", + "▁ rb", + "▁inc idents", + "▁incident s", + "▁d uck", + "▁du ck", + "▁PROVID ED", + "Source s", + "S ources", + "▁Chel sea", + "▁t ek", + "▁te k", + "▁ tek", + "▁на лази", + "▁pil ots", + "▁pilot s", + "▁tr aded", + "▁trad ed", + "▁tra ded", + "▁trade d", + "▁Be ijing", + "▁Greg ory", + "scal ar", + "▁incl ined", + "▁inc lined", + "▁K amp", + "▁Kam p", + "▁Ka mp", + "▁M arian", + "▁Mar ian", + "▁Ma rian", + "▁Maria n", + "▁fier ce", + "▁the ft", + "▁th eft", + "▁In to", + "▁Int o", + "▁ Into", + "con straint", + "parent Node", + "id ental", + "ident al", + "iden tal", + "▁gouver nement", + "▁S ND", + "▁SN D", + "▁Rub y", + "▁Ru by", + "▁mon aster", + "Rec ords", + "Record s", + "▁K ab", + "▁Ka b", + "▁Un iverse", + "▁Univers e", + "▁approxim ate", + "▁approx imate", + "W ater", + "▁Phys ical", + "ap pers", + "app ers", + "appe rs", + "oubt edly", + "▁tow el", + "▁sib lings", + "ic ios", + "ici os", + "icio s", + "▁out rage", + "▁tamb é", + "SR C", + "S RC", + "V i", + ".' );", + ". ');", + "L M", + "▁m itt", + "▁mit t", + "▁mi tt", + "▁ mitt", + "▁w eed", + "▁we ed", + "▁cr ops", + "▁cro ps", + "▁crop s", + "im an", + "ima n", + "i man", + "Cl aim", + "ins ula", + "▁( “", + "▁Ch anges", + "▁Change s", + "▁ Changes", + "▁invån are", + "ag ain", + "aga in", + "a gain", + "▁c nt", + "▁ cnt", + "▁G az", + "▁Ga z", + "▁a ustral", + "over lay", + "▁Me chan", + "▁sl ammed", + "▁tr ailing", + "▁tra iling", + "▁trail ing", + "▁Bi ography", + "▁appe aling", + "▁appeal ing", + "IV ER", + "IVE R", + "I VER", + "▁A ve", + "▁Av e", + "▁P lot", + "▁Pl ot", + "vo j", + "v oj", + "▁s ung", + "▁su ng", + "▁sun g", + "▁ sung", + "▁u nos", + "▁un os", + "▁uno s", + "Effect s", + "v v", + "co ok", + "c ook", + "But tons", + "Button s", + "▁trans m", + "ier to", + "iert o", + "CON TEXT", + "CONT EXT", + "▁dign ity", + "air ed", + "ai red", + "aire d", + "a ired", + "java x", + "jav ax", + "j avax", + "▁Albert o", + "▁Alber to", + "▁Rec ently", + "▁Recent ly", + "▁fac ial", + "▁fa cial", + "math op", + "mat hop", + "ał o", + "a ło", + "co tt", + "c ott", + "Vari ables", + "Variable s", + "▁R an", + "▁Ra n", + "▁b unk", + "am iliar", + "amil iar", + "CA ST", + "C AST", + "▁fr ü", + "VE D", + "V ED", + "▁NOT ICE", + "▁turn o", + "▁tur no", + "valid ator", + "▁question ing", + "}} )", + "} })", + "▁l ear", + "▁le ar", + "▁ lear", + "X amarin", + "▁dis adv", + "enc oded", + "encode d", + "▁K ot", + "▁Ko t", + "▁The ory", + "ci us", + "c ius", + "▁Dar win", + "ђ е", + "▁dé cl", + "▁déc l", + "▁mob ility", + "▁mobil ity", + "V F", + "un til", + "unt il", + "u ntil", + "▁bar riers", + "▁barrier s", + "▁barr iers", + "gi f", + "g if", + "▁R oh", + "▁Ro h", + "▁a ging", + "▁ag ing", + "▁ aging", + "▁W idget", + "▁ Widget", + "▁f arms", + "▁far ms", + "▁farm s", + "Check er", + "Che cker", + "Int roduction", + "▁Russ ians", + "▁Russian s", + "▁Russia ns", + "na ments", + "nam ents", + "nament s", + "n aments", + "▁In sert", + "▁Ins ert", + "▁ Insert", + "▁When ever", + "▁Whe never", + "er set", + "ers et", + "it ori", + "itor i", + "ito ri", + "▁D ort", + "▁Do rt", + "▁Dor t", + "▁cost ume", + "▁mathemat ical", + "▁B ast", + "▁Bas t", + "▁Ba st", + "▁nom inated", + "▁rest oration", + "pos al", + "po sal", + "▁un fortunate", + "P s", + "LI N", + "L IN", + "▁int act", + "▁prov oc", + "▁situ ée", + "▁но ября", + "er mo", + "erm o", + "▁f isher", + "▁fish er", + "▁fis her", + "▁con ting", + "▁cont ing", + "▁contin g", + "▁Do ug", + "▁Dou g", + "▁E va", + "▁Ev a", + "▁t ops", + "▁to ps", + "▁top s", + "▁Rem ote", + "▁ Remote", + "▁art work", + "qu ick", + "▁Arab ia", + "▁SD Value", + "▁Dak ota", + "ia ted", + "iat ed", + "iate d", + "i ated", + "▁Op tim", + "▁Opt im", + "but tons", + "button s", + "▁c ottage", + "▁where in", + "▁tut orial", + "▁S cre", + "▁Sc re", + "▁swe ep", + "▁Coff ee", + "}) }", + "} )}", + "host name", + "▁T emp", + "▁Te mp", + "▁Tem p", + "▁ Temp", + "▁F ut", + "▁Fu t", + "re spect", + "res pect", + "resp ect", + "oc z", + "o cz", + "▁pre domin", + "▁pred omin", + "Ind icator", + "en cial", + "enc ial", + "encia l", + "enci al", + "UM ENT", + "U MENT", + "▁SH ALL", + "▁SHA LL", + "▁comm anded", + "▁command ed", + "▁withdraw al", + "io ur", + "i our", + "REG ION", + "s printf", + "▁Pay ment", + "▁ Payment", + "▁A nim", + "▁An im", + "▁ Anim", + "pub lish", + "▁se eks", + "▁see ks", + "▁seek s", + "ou w", + "o uw", + "▁G M", + "▁ GM", + "ru gu", + "rug u", + "r ugu", + "us tain", + "ust ain", + "usta in", + "▁) )", + "▁ ))", + "▁consult ing", + "▁D ialog", + "▁ Dialog", + "▁L ars", + "▁La rs", + "▁Lar s", + "▁crit ique", + "▁circ ulation", + "▁circul ation", + "▁land sc", + "▁lands c", + "man aged", + "▁C raft", + "▁Cr aft", + "▁Cra ft", + "▁h erman", + "▁her man", + "af i", + "a fi", + "am y", + "a my", + "▁disc our", + "▁disco ur", + "<> (", + "< >(", + "▁St eph", + "▁Ste ph", + "▁Step h", + "▁toler ance", + "type name", + "typ ename", + "typen ame", + "vent ions", + "vention s", + "zi ał", + "z iał", + "▁st icking", + "▁stick ing", + "AS C", + "A SC", + "IS O", + "I SO", + "▁Sp encer", + "▁Di dn", + "▁Did n", + "gom ery", + "im iter", + "imit er", + "imi ter", + "dr u", + "d ru", + "Cl ause", + "▁sl ides", + "▁slide s", + "▁slid es", + "## #", + "# ##", + "▁S ugar", + "▁Su gar", + "H Y", + "▁Ed wards", + "▁Edward s", + "▁c ents", + "▁cent s", + "oy a", + "o ya", + "ser ts", + "sert s", + "s erts", + "▁H ass", + "▁Ha ss", + "▁Has s", + "▁in gen", + "▁ing en", + "▁ ingen", + "▁s addle", + "sol id", + "s olid", + "▁ch ampions", + "▁champion s", + "▁champ ions", + "- )", + "▁S lov", + "▁Sl ov", + "▁sh iny", + "▁* )&", + "▁*) &", + "▁Def ine", + "č e", + "▁scr ut", + "on den", + "ond en", + "onde n", + "'\" ,", + "' \",", + "uf fs", + "uff s", + "▁o lymp", + "id ential", + "ident ial", + "wa nd", + "wan d", + "w and", + "▁ann ually", + "▁annual ly", + "▁Ark ansas", + "▁s aint", + "▁sa int", + "▁gle ich", + "▁per fection", + "▁perfect ion", + "▁perf ection", + ") >", + "▁sh orts", + "▁short s", + "▁just ified", + "pe ated", + "peat ed", + "pack ages", + "package s", + "dr iven", + "drive n", + "d riven", + "▁Liber ty", + "▁str ipped", + "▁stri pped", + "▁strip ped", + "▁fün f", + "▁e cosystem", + "ix a", + "i xa", + "▁F resh", + "▁Fr esh", + "▁Fre sh", + "var t", + "va rt", + "v art", + "▁tre ats", + "▁treat s", + "▁st ance", + "▁stan ce", + "▁ stance", + "▁p ity", + "▁pi ty", + "▁pit y", + "ad ém", + "▁C hand", + "▁Ch and", + "▁Cha nd", + "in ski", + "ins ki", + "▁contin ually", + "▁continu ally", + "▁D addy", + "▁Dad dy", + "▁night mare", + "ic ional", + "ici onal", + "icio nal", + "icion al", + "▁e fect", + "ue blo", + "▁l anç", + "▁lan ç", + "▁Col lections", + "▁Collection s", + "▁Collect ions", + "▁ Collections", + "du e", + "d ue", + "am pton", + "amp ton", + "▁mem cpy", + "▁ memcpy", + "▁* *(", + "▁** (", + "is sent", + "iss ent", + "isse nt", + "issen t", + "▁In sp", + "▁Ins p", + "▁Glas gow", + "▁fur ono", + "▁kind ness", + "B i", + "▁comp eted", + "▁compet ed", + "▁compete d", + "▁o ak", + "L arge", + "▁dis gu", + "▁disg u", + "▁k ings", + "▁king s", + "▁kin gs", + "▁st uffed", + "▁stuff ed", + "▁h ilar", + "▁hi lar", + "pub lished", + "publish ed", + "▁st ressed", + "▁str essed", + "▁stress ed", + "▁Pe ak", + "▁lo ader", + "▁load er", + "▁ loader", + "Key board", + "▁re construction", + "▁v od", + "▁vo d", + "▁ vod", + "▁d un", + "▁du n", + "▁understand s", + "te nant", + "ten ant", + "▁ch aque", + "▁cha que", + "▁pre jud", + "ut at", + "uta t", + "u tat", + "▁u so", + "▁us o", + "▁ uso", + "▁He avy", + "▁cu atro", + "▁side walk", + "▁B ug", + "▁Bu g", + "▁mån aden", + "ge o", + "▁un ited", + "▁unit ed", + "▁F iles", + "▁Fil es", + "▁File s", + "▁Fi les", + "▁ Files", + "▁rug by", + "▁fin ancing", + "▁financ ing", + "▁com ply", + "▁comp ly", + "▁compl y", + "& #", + "▁r ushing", + "▁rush ing", + "▁rus hing", + "▁f en", + "▁fe n", + "▁ fen", + "mon g", + "mo ng", + "m ong", + "▁sp é", + "▁present ing", + "IN CLUDING", + "ě l", + "zeich nung", + "Back up", + "▁pe tit", + "▁pet it", + "▁all erg", + "▁alle rg", + "▁aller g", + "▁wor rying", + "▁worry ing", + "▁m amm", + "▁ma mm", + "▁oper and", + "▁opera nd", + ":%.* ]]", + "▁real ise", + "Comm ands", + "Command s", + "▁B ew", + "▁Be w", + "▁ass umes", + "▁assum es", + "▁assume s", + "▁Co vid", + "▁Cov id", + "▁qu and", + "ty ard", + "t yard", + "▁M ono", + "▁Mon o", + "▁Mo no", + "lin ked", + "link ed", + "M ARK", + "Es p", + "E sp", + "▁bless ing", + "▁eyeb rows", + "▁N V", + "▁ NV", + "▁mod eling", + "▁model ing", + "▁mode ling", + "▁gre eted", + "Work space", + "▁pe dest", + "▁ped est", + "lem agne", + "Stat istics", + "▁a ument", + "▁au ment", + "▁spe eds", + "▁speed s", + "▁synd rome", + "CONNE CT", + "za hl", + "z ahl", + "ver so", + "vers o", + "érc ito", + "▁astr onom", + "▁ap rile", + "▁apr ile", + "▁april e", + "že n", + "ž en", + "dr aft", + "d raft", + "▁g ioc", + "▁gi oc", + "▁com port", + "▁comp ort", + "▁var iance", + "▁vari ance", + "▁real izing", + "▁realiz ing", + "ED IT", + "оло ві", + "▁e star", + "▁est ar", + "▁es tar", + "▁esta r", + "▁s ost", + "▁so st", + "N ORMAL", + "▁ ó", + "▁And r", + "▁An dr", + "ATTR IB", + "▁re de", + "▁r ede", + "▁red e", + "▁t oes", + "▁to es", + "▁toe s", + "▁adv ances", + "▁advance s", + "▁Again st", + "TO M", + "T OM", + "rs s", + "r ss", + "MM MM", + "▁ne west", + "▁new est", + "▁V ER", + "▁ VER", + "▁phrase s", + "▁phr ases", + "an ter", + "ant er", + "ante r", + "La unch", + "▁c hr", + "▁ch r", + "▁ chr", + "▁manufact ured", + "$) ,", + "$ ),", + "roll ment", + "es ton", + "est on", + "esto n", + "e ston", + "▁pe int", + "” )", + "en det", + "end et", + "ende t", + "▁H air", + "▁Ha ir", + "▁up right", + "gr en", + "gre n", + "g ren", + "an ked", + "ank ed", + "wr ight", + "w right", + "▁m ast", + "▁ma st", + "▁mas t", + "▁on Change", + "▁de bris", + "▁deb ris", + "▁g rap", + "▁gr ap", + "▁gra p", + "et ry", + "etr y", + "e try", + "▁( __", + "▁(_ _", + "▁ (__", + "▁Com merce", + "BO X", + "T ax", + "▁о три", + "▁от ри", + "▁pre vention", + "▁prevent ion", + "▁prev ention", + "▁Fe el", + "▁ex otic", + "▁B ark", + "▁Bar k", + "▁S team", + "▁Ste am", + "fo n", + "f on", + "ol in", + "oli n", + "o lin", + "▁elim inated", + "▁eliminate d", + "▁b c", + "▁ bc", + "▁C ycl", + "▁Cy cl", + "▁$ (\"#", + "▁ $(\"#", + "▁P arl", + "▁Par l", + "▁Pa rl", + "man uel", + "os pher", + "osp her", + "osph er", + "W F", + "An aly", + "Anal y", + "▁nav ig", + "▁re nown", + "▁ren own", + "R x", + "▁W alt", + "▁Wal t", + "▁Wa lt", + "uf fed", + "uff ed", + "▁f oster", + "▁fo ster", + "▁fost er", + "▁fos ter", + "$ :", + "sh ore", + "Conne ctor", + "Conn ector", + "Connect or", + "▁real ization", + "▁realiz ation", + "L i", + "ct xt", + "ctx t", + "c txt", + "ah oo", + "aho o", + "▁mir acle", + "▁E T", + "▁ ET", + "▁G PS", + "▁GP S", + "▁Observ able", + "▁h f", + "▁ hf", + "▁magnific ent", + "BI N", + "B IN", + "▁D orf", + "▁Do rf", + "▁Dor f", + "ie ck", + "ve e", + "v ee", + "▁C raw", + "▁Cr aw", + "▁Cra w", + "/ #", + "▁p ci", + "▁pc i", + "▁ pci", + "ip pet", + "ipp et", + "▁Hill ary", + "▁g ir", + "▁gi r", + "▁r and", + "▁ran d", + "▁ra nd", + "▁ rand", + "▁la ying", + "▁lay ing", + "▁D ifferent", + "bo ys", + "boy s", + "vi rt", + "vir t", + "v irt", + "▁enc ryption", + "ás z", + "á sz", + "▁sm elled", + "▁smell ed", + "▁sus cept", + "cl uded", + "clude d", + "▁C arn", + "▁Car n", + "▁Ca rn", + "ig ten", + "igt en", + "igte n", + "▁Ch uck", + "▁Prov inc", + "▁per í", + "▁Mar shal", + "▁Mars hal", + "▁ Marshal", + "мо ж", + "g fx", + "os hi", + "osh i", + "▁W HE", + "▁WH E", + "▁relax ation", + ", .", + "we re", + "wer e", + "w ere", + "▁var ieties", + "▁W on", + "▁Wo n", + "▁g aps", + "▁gap s", + "▁ga ps", + "▁st ole", + "▁sto le", + "ig ua", + "igu a", + "▁Ham pshire", + "ph rase", + "▁pel ícula", + "Process ing", + "▁initial ization", + "oust ic", + "▁Jose f", + "▁Jos ef", + "ic ating", + "ica ting", + "▁good ness", + "TE S", + "T ES", + "▁c ope", + "▁co pe", + "▁cop e", + "▁ cope", + "▁ignor ance", + "▁B rist", + "▁Br ist", + "▁par as", + "▁para s", + "▁pa ras", + "▁accident ally", + "▁t and", + "▁tan d", + "▁ta nd", + "it test", + "itt est", + "itte st", + "▁sh ipped", + "▁ship ped", + "else if", + "▁u size", + "▁us ize", + "hor izontal", + "▁C arr", + "▁Car r", + "▁Ca rr", + "▁pre cip", + "▁prec ip", + "ro z", + "r oz", + "path etic", + "pat hetic", + "ri ved", + "riv ed", + "rive d", + "r ived", + "ro k", + "r ok", + "▁dig ging", + "▁M ull", + "▁Mu ll", + "▁Mul l", + "▁pe as", + "▁f oul", + "▁fo ul", + "▁fou l", + "▁travel s", + "▁trav els", + "▁N g", + "Mon t", + "Mo nt", + "M ont", + "ar de", + "ard e", + "▁Ste fan", + "^^ ^^", + "▁K iss", + "▁Ki ss", + "▁E k", + "▁ok tober", + "▁mem orable", + "▁memor able", + "') ).", + "')) .", + "' )).", + "▁V ision", + "▁Vis ion", + "▁N ina", + "▁Ni na", + "▁Nin a", + "▁S olar", + "▁So lar", + "▁Sol ar", + "▁highlight ed", + "▁me mo", + "▁mem o", + "me isterschaft", + "side bar", + "SE E", + "S EE", + "▁Nev ada", + "D a", + "▁draw er", + "ast ically", + "astic ally", + "el de", + "eld e", + "sc ribed", + "scri bed", + "scribe d", + "scrib ed", + "▁pri ests", + "▁priest s", + "▁hom mes", + "▁homme s", + "▁in structor", + "▁instruct or", + "▁sp ett", + "▁spe tt", + "\\ -", + "▁Look s", + "▁Lo oks", + "▁sle eve", + "▁strong est", + "▁t ête", + "▁Nic ole", + "▁Ni cole", + "▁Nicol e", + "im per", + "imp er", + "ip per", + "ipp er", + "▁in won", + "il ers", + "ile rs", + "iler s", + "i lers", + "▁Dep uty", + "og e", + "o ge", + "▁de pressed", + "▁dep ressed", + "▁depress ed", + "▁ar te", + "▁art e", + "▁ arte", + "▁comb ining", + "LA ST", + "L AST", + "in ted", + "int ed", + "inte d", + "▁A verage", + "▁Ave rage", + "▁poll ution", + "▁Phill ips", + "▁W M", + "▁ WM", + "}} }\\", + "}}} \\", + "} }}\\", + "Add ed", + "Ad ded", + "▁per ipher", + "Creat ion", + "C reation", + "▁ital ien", + "▁Ch oice", + "▁Cho ice", + "▁ Choice", + "▁EX PRESS", + "▁St ruct", + "▁Str uct", + "▁ Struct", + "ys z", + "y sz", + "Res ize", + "Re size", + "AR GS", + "ARG S", + "▁re po", + "▁rep o", + "▁ repo", + "▁p ref", + "▁pre f", + "▁pr ef", + "▁ pref", + "▁earth qu", + "▁F inale", + "▁Fin ale", + "▁Final e", + "▁h echo", + "▁he cho", + "requ ests", + "request s", + "C ut", + "▁des erved", + "▁deserve d", + "▁Re cent", + "▁Rec ent", + "▁ди визи", + "▁support ive", + "▁irre levant", + "' \r", + "▁c trl", + "▁ ctrl", + "▁De al", + "iz ada", + "iza da", + "u o", + "▁no rt", + "ge ometry", + "geo metry", + "▁Individ ual", + "er eg", + "ere g", + "e reg", + "cre f", + "cr ef", + "c ref", + "═ ═", + "▁com erc", + "▁come rc", + "= _", + "bu nd", + "b und", + "il en", + "ile n", + "i len", + "▁corpor ation", + "es z", + "e sz", + "▁= =>", + "▁== >", + "ab lish", + "abl ish", + "Ap r", + "A pr", + "▁r ipped", + "▁ri pped", + "▁rip ped", + "Var s", + "V ars", + "st ret", + "str et", + "stre t", + "▁Frances co", + "Na N", + "▁any time", + "▁autom ated", + "ost ream", + "o stream", + "▁draw ings", + "▁drawing s", + "▁enhance ment", + "ok rat", + "▁Iss ue", + "Cur rency", + "▁w yn", + "▁wy n", + "izar re", + "ét ico", + "mult iple", + "multi ple", + "multip le", + "▁R ate", + "▁Ra te", + "▁Rat e", + "▁ Rate", + "▁I ch", + "▁A uss", + "▁Aus s", + "▁Au ss", + "▁For mer", + "▁Form er", + "Cur ve", + "▁mar vel", + "att ro", + "attr o", + "▁с п", + "BO OL", + "go ld", + "g old", + "▁N intendo", + "▁Salv ador", + "▁S olution", + "▁Sol ution", + "AD C", + "A DC", + "▁Ben nett", + "▁F R", + "▁ FR", + "▁pu eden", + "▁pued en", + "▁puede n", + "pat ient", + "▁P G", + "▁ PG", + "▁J in", + "▁Ji n", + "▁cr ashed", + "▁crash ed", + "▁d enen", + "▁de nen", + "▁den en", + "▁S ample", + "▁Sam ple", + "▁ Sample", + "▁Que bec", + "it ories", + "itor ies", + "ito ries", + "itori es", + "▁b linked", + "▁blink ed", + "▁l ion", + "▁li on", + "▁vo ce", + "▁voc e", + "▁Imp act", + "▁M au", + "▁Ma u", + "▁N ie", + "▁Ni e", + "▁l ob", + "▁lo b", + "or neys", + "orney s", + "orne ys", + "▁coast al", + "▁s ensors", + "▁sens ors", + "▁sensor s", + "▁ill usion", + "oj i", + "o ji", + "▁I NC", + "▁IN C", + "▁Dun can", + "y k", + "▁affect ing", + "pu l", + "p ul", + "▁Napole on", + "▁com pt", + "▁comp t", + "▁prof itable", + "▁profit able", + "lo e", + "l oe", + "▁deux ième", + "▁W C", + "▁ WC", + "▁v iable", + "▁vi able", + "▁via ble", + "▁D rug", + "▁Dr ug", + "▁Dru g", + "Text Box", + "▁lum inos", + "au té", + "aut é", + "y c", + "št ě", + "▁affili ates", + "▁affiliate s", + "il da", + "ild a", + "con duct", + "cond uct", + "▁e benfalls", + "▁A MD", + "▁AM D", + "▁Mon itor", + "▁ Monitor", + "▁Compan ies", + "▁correct ed", + "▁corre cted", + "ä ck", + "SY STEM", + "other apy", + "▁п еред", + "▁bl ues", + "▁blue s", + "at isf", + "ati sf", + "atis f", + "al though", + "alth ough", + "ro st", + "ros t", + "r ost", + "SC AN", + "S CAN", + "▁R AM", + "ці ональ", + "▁vend ors", + "▁vendor s", + "▁custom s", + "▁cust oms", + "▁activ ate", + "▁ activate", + "▁b logs", + "▁bl ogs", + "▁blo gs", + "▁blog s", + "▁br ace", + "▁bra ce", + "▁ brace", + "▁st rat", + "▁str at", + "▁stra t", + "an je", + "anj e", + "▁t ide", + "▁tid e", + "▁ti de", + "get Operand", + "▁al iment", + "▁ali ment", + "▁achieve ments", + "▁achievement s", + "▁suspic ion", + "▁susp icion", + "▁touch down", + "br oad", + "bro ad", + "b road", + "io re", + "ior e", + "i ore", + "Compar ison", + "▁m um", + "▁mu m", + "Eng lish", + "▁P icture", + "▁Pict ure", + "▁M ouse", + "▁Mo use", + "▁ Mouse", + "am d", + "a md", + "▁[ `", + "▁den omin", + "▁denom in", + "▁Al eks", + "▁Ale ks", + "▁pr events", + "▁prevent s", + "▁prev ents", + "ó b", + "fe d", + "f ed", + "▁P ray", + "▁Pr ay", + "▁Pra y", + "▁sh ine", + "▁ shine", + "▁cl utch", + "mu x", + "m ux", + "App ro", + "Ap pro", + "ch io", + "chi o", + "na ge", + "n age", + "HA S", + "H AS", + "▁' )", + "▁ ')", + "▁M iche", + "▁Mich e", + "▁Mic he", + "▁Mi che", + "t g", + ":: ~", + "▁am ely", + "▁ro dz", + "▁rod z", + "z s", + "tr ait", + "tra it", + "t rait", + "▁k lass", + "▁kl ass", + "▁ klass", + "f ö", + "▁dest ac", + "▁Cl ara", + "▁Clar a", + "f requency", + "▁frequ encies", + "▁febr ero", + "▁st umbled", + "▁N ames", + "▁Name s", + "▁Na mes", + "▁Nam es", + "▁ Names", + "▁F light", + "▁Fl ight", + "▁p rey", + "▁pre y", + "▁pr ey", + "▁med io", + "▁medi o", + "▁V AR", + "▁VA R", + "▁ VAR", + "▁F loat", + "▁Flo at", + "▁ Float", + "▁Ern est", + "▁Marc atori", + "op ort", + "o port", + "▁cancel lation", + "▁cancell ation", + "▁Br yan", + "▁Bry an", + "—— ——", + "Lu c", + "L uc", + "▁li bre", + "▁lib re", + "▁t ítulo", + "* >", + "▁S andy", + "▁San dy", + "▁Sand y", + "▁Mar ina", + "Be en", + "B een", + "▁w al", + "▁wa l", + "▁ wal", + "▁K ultur", + "▁expl ode", + "▁explo de", + "▁lim iting", + "▁limit ing", + "▁presum ably", + "▁p b", + "▁ pb", + "▁M erc", + "▁Me rc", + "▁Mer c", + "le arning", + "lear ning", + "learn ing", + "C atalog", + "▁C ensus", + "lt e", + "l te", + "▁N ET", + "▁NE T", + "▁ NET", + "ra ising", + "rais ing", + "rai sing", + "сь ке", + "st aff", + "sta ff", + "▁Qu inn", + "▁mem orial", + "▁memor ial", + "▁memo rial", + "п ня", + "▁cu enta", + "lb l", + "l bl", + "▁v aries", + "▁var ies", + "▁vari es", + "▁va ries", + "▁fluct uations", + "▁осо би", + "▁ware house", + "How ever", + "▁correct ions", + "▁corre ctions", + "▁correction s", + "dh d", + "d hd", + "▁f als", + "▁fa ls", + "▁fal s", + "▁controvers y", + "▁cur se", + "▁t élé", + "▁té lé", + "ře d", + "ř ed", + "▁A U", + "▁ AU", + "▁cr ít", + "id an", + "ida n", + "i dan", + "ili ary", + "iliar y", + "ilia ry", + "▁P anel", + "▁Pan el", + "▁Pa nel", + "▁ Panel", + "cul e", + "cu le", + "c ule", + "▁P oor", + "▁Po or", + "▁B A", + "▁ BA", + "▁ignor ant", + "ème s", + "è mes", + "▁aest hetic", + "Link ed", + "Lin ked", + "get Int", + "Un icode", + "[ @", + "▁Z ent", + "▁Ze nt", + "▁Zen t", + "Man ifest", + "▁v ars", + "▁var s", + "▁va rs", + "▁ vars", + "P B", + "▁De scribe", + "▁Desc ribe", + "▁ Describe", + "▁Any thing", + "oi rs", + "oir s", + "o irs", + "▁s ocks", + "▁so cks", + "▁soc ks", + "▁sock s", + "▁im ped", + "▁imp ed", + "▁ne ue", + "▁neu e", + "▁dis pers", + "▁disp ers", + "Col lect", + "Coll ect", + "file r", + "fil er", + "fi ler", + "f iler", + "▁Fr au", + "▁Fra u", + "▁H ockey", + "▁te ens", + "▁teen s", + "▁Rober to", + "▁Robert o", + "la uf", + "l auf", + "ват ь", + "is Array", + "▁teen ager", + "Bu ilt", + "▁loud ly", + "Cap acity", + "▁advent ures", + "▁adventure s", + "▁M olly", + "▁Mol ly", + "rec ogn", + "bar s", + "ba rs", + "b ars", + "▁L or", + "▁Lo r", + "▁pu ò", + "▁m ong", + "▁mon g", + "▁mo ng", + "▁ mong", + "in ement", + "ine ment", + "i nement", + "Ass ignment", + "Assign ment", + "▁d iz", + "▁di z", + "less ness", + "▁H alloween", + "▁bit map", + "▁ bitmap", + "Ro m", + "R om", + "▁re bel", + "▁reb el", + "▁rad ial", + "▁radi al", + "me asure", + "ni t", + "n it", + "▁Ass ume", + "▁assign ments", + "▁assignment s", + "▁I sn", + "▁Is n", + "▁al tre", + "▁alt re", + "ße r", + "ß er", + "на ль", + "нал ь", + "н аль", + "▁fl ies", + "▁d roit", + "▁dro it", + "▁thick ness", + "▁en jo", + "▁d well", + "▁dw ell", + "▁hom osexual", + "▁e val", + "▁ev al", + "▁ eval", + "$_ {", + "$ _{", + "as ia", + "asi a", + "▁phil os", + "get Current", + "▁veter ans", + "▁veteran s", + "▁Ber keley", + "▁wild life", + "Co p", + "C op", + "ve rn", + "ver n", + "v ern", + "▁ Ú", + "to s", + "t os", + "▁L ed", + "▁Le d", + "▁key words", + "▁keyword s", + "▁med ications", + "▁medic ations", + "▁medication s", + "ne um", + "▁jam ais", + "▁B uc", + "▁Bu c", + "▁P D", + "▁ PD", + "▁State ment", + "▁Stat ement", + "▁ Statement", + "▁P I", + "▁ PI", + "▁Jack ie", + "▁Jac kie", + "▁ord in", + "▁k ör", + "▁kö r", + "en ze", + "enz e", + "▁util ized", + "▁utiliz ed", + "▁utilize d", + "á ct", + "az ed", + "aze d", + "a zed", + "▁sever ely", + "▁severe ly", + "▁ä ven", + "▁li bro", + "▁lib ro", + "▁E u", + "äs t", + "ä st", + "PAR T", + "PA RT", + "P ART", + "▁But ler", + "▁puzz le", + "F all", + "Count ry", + "C ountry", + "pf n", + "p fn", + "▁у країн", + "▁Or chestra", + "▁al to", + "▁alt o", + "▁anc ora", + "▁decom position", + "▁ م", + "▁appet ite", + "ad u", + "a du", + "▁TH AT", + "▁com enz", + "min a", + "mi na", + "m ina", + "▁init iated", + "▁initi ated", + "▁T at", + "▁Ta t", + "▁some time", + "▁som etime", + "▁somet ime", + "re k", + "r ek", + "br ead", + "bre ad", + "b read", + "▁Stat istics", + "▁ Statistics", + "▁C ob", + "▁Co b", + "F ollow", + "▁ge ometric", + "▁proceed ings", + "D lg", + "se ven", + "s even", + "▁[ -", + "▁ [-", + "▁Buff alo", + "▁bl acks", + "▁black s", + "▁s ov", + "▁so v", + "▁cust ody", + "▁r as", + "▁ra s", + "▁ ras", + "▁tatto o", + "öffent licht", + "Bl o", + "B lo", + "A ustral", + "▁rec uper", + "▁b em", + "▁be m", + "▁t hou", + "▁th ou", + "ori ented", + "orient ed", + "vi r", + "v ir", + "▁col ony", + "▁colon y", + "▁Stan ford", + "Abs olute", + "ad rat", + "adr at", + "▁S itu", + "▁Si tu", + "▁sou vent", + "EX EC", + "▁m ű", + "▁apart ments", + "▁apartment s", + "▁a no", + "▁an o", + "▁ ano", + "WIN DO", + "ac ci", + "acc i", + "▁L au", + "▁La u", + "co urt", + "cou rt", + "c ourt", + "▁manif old", + "▁coal ition", + "Att rib", + "Attr ib", + "asc ade", + "▁whe at", + "▁strength s", + "FR EE", + "F REE", + "EMP TY", + "▁h ey", + "▁he y", + "as cular", + "asc ular", + "▁pl asma", + "▁b ob", + "▁bo b", + "Sep arator", + "=\" ${", + "=\"$ {", + "▁Z ag", + "▁Za g", + "▁pro jet", + "▁smooth ly", + "SE QU", + "an aly", + "ana ly", + "anal y", + "att achment", + "attach ment", + "▁E S", + "▁ ES", + "▁po pped", + "▁pop ped", + "ő s", + "to m", + "t om", + "▁s ón", + "▁só n", + "▁r ott", + "▁ro tt", + "▁rot t", + "▁ rott", + "Util ities", + "Ut ilities", + "had oop", + "hado op", + "▁s otto", + "▁so tto", + "au tor", + "aut or", + "auto r", + "▁George s", + "▁Georg es", + "▁kter ý", + "▁gru ppo", + "▁instrument al", + "▁W riter", + "▁Write r", + "▁Writ er", + "▁Wr iter", + "▁ Writer", + "▁set Timeout", + "ik k", + "i kk", + "▁Do po", + "▁Dop o", + "]) ;\r", + "]); \r", + "] );\r", + "▁pract icing", + "▁Ron ald", + "▁ag rees", + "▁agree s", + "▁agre es", + "▁den oted", + "▁denote d", + "is miss", + "ism iss", + "▁interview ed", + "template s", + "t emplates", + "ř i", + "ad ministr", + "admin istr", + "▁B utter", + "▁But ter", + "▁position ed", + "▁posit ioned", + "▁Four th", + "▁overwhel med", + "▁Reg ular", + "▁rep rezent", + "▁expect s", + "Ind ices", + "▁mar ijuana", + "▁z aj", + "▁za j", + "▁B ren", + "▁Br en", + "▁Bre n", + "▁be gg", + "▁beg g", + "▁na hm", + "▁nah m", + "▁inter rog", + "▁B un", + "▁Bu n", + "▁с еред", + "▁се ред", + "▁shel ves", + "▁Fra uen", + "▁Frau en", + "▁Serge ant", + "mat ched", + "match ed", + "m atched", + "▁d onne", + "▁don ne", + "▁touch es", + "▁tou ches", + "ab ort", + "abor t", + "▁v ale", + "▁val e", + "▁va le", + "▁inst itutional", + "▁institut ional", + "▁institution al", + "▁M ons", + "▁Mon s", + "▁Mo ns", + "▁ambit ious", + "▁non etheless", + "▁none theless", + "j d", + "▁back pack", + "da o", + "d ao", + "▁surround ings", + "▁surrounding s", + "| _{", + "▁g egründ", + "dis p", + "di sp", + "d isp", + "▁moist ure", + "▁w yd", + "▁wy d", + "▁tr aders", + "▁trad ers", + "▁tra ders", + "▁trade rs", + "▁Er st", + "▁Gal axy", + "▁Per u", + "▁Pe ru", + "▁prior ities", + "▁pron ounced", + "▁C BS", + "▁CB S", + "▁Pal m", + "▁Pa lm", + "▁exp ans", + "▁ener get", + "▁energ et", + "▁Cond ition", + "▁ Condition", + "▁S ver", + "▁Sv er", + "ne sted", + "nes ted", + "n ested", + "he ro", + "her o", + "h ero", + "▁Fil ms", + "▁Film s", + "Bo n", + "B on", + "é al", + "ploy ed", + "tr ained", + "tra ined", + "train ed", + "▁els ő", + "▁l ust", + "▁lu st", + "ati num", + "atin um", + "oy le", + "o yle", + "▁J et", + "▁Je t", + "▁survey s", + "▁surve ys", + "be e", + "b ee", + "work ers", + "worker s", + "wor kers", + "rec ords", + "record s", + "cal endar", + "bb ing", + "b bing", + "reg ation", + "dash board", + "d ashboard", + "K ing", + "▁v ista", + "▁vis ta", + "▁vi sta", + "▁dep icted", + "▁occur ring", + "▁sand wich", + "rc u", + "r cu", + "ke rn", + "ker n", + "k ern", + "▁min ut", + "▁mi nut", + "▁t d", + "▁ td", + "so lete", + "sole te", + "sol ete", + "Com plex", + "Comp lex", + "▁t unn", + "▁tu nn", + "▁tun n", + "▁sc arc", + "▁scar c", + "st ead", + "ste ad", + "▁F ail", + "▁Fa il", + "▁ Fail", + "▁R s", + "▁tr ails", + "▁tra ils", + "▁trail s", + "ke m", + "k em", + "▁Rom ans", + "▁Ro mans", + "▁Roman s", + "▁Roma ns", + "at ivity", + "ativ ity", + "Pre vious", + "Prev ious", + "▁de press", + "▁dep ress", + "▁re signed", + "▁resign ed", + "get Default", + "▁Tib et", + "▁Ti bet", + "▁Fr anco", + "▁Franc o", + "▁Fran co", + "\") ));", + "\")) );", + "\" )));", + "▁in jection", + "▁inj ection", + "▁inject ion", + "rem oved", + "remove d", + "▁praise d", + "▁A sc", + "▁As c", + "er ase", + "era se", + "eras e", + "e rase", + "MA IL", + "M AIL", + "▁B oh", + "▁Bo h", + "Pol y", + "Po ly", + "P oly", + "▁cin q", + "▁Ab ove", + "▁Josh ua", + "ZE RO", + "Z ERO", + "▁sum mit", + "▁U rs", + "▁Ur s", + "▁c url", + "▁cur l", + "▁cu rl", + "▁v isa", + "▁vis a", + "▁vi sa", + "▁re sur", + "▁res ur", + "={ '", + "= {'", + "fe at", + "▁abs orb", + "▁absor b", + "▁plan ets", + "▁plane ts", + "▁planet s", + "▁prin cess", + "▁prince ss", + "▁Jahrhund erts", + "▁Jahrhundert s", + "x p", + "▁N BC", + "▁F UN", + "▁ FUN", + "▁ne uen", + "▁neu en", + "▁neue n", + "▁dé jà", + "▁O z", + "bb en", + "b ben", + "VID EO", + "▁ej empl", + "▁cons iders", + "▁consider s", + "▁consid ers", + "at ri", + "atr i", + "a tri", + "▁ar rog", + "▁arr og", + "io so", + "ios o", + "i oso", + "▁h ace", + "▁ha ce", + "▁contact ed", + "▁un ple", + "▁spons ored", + "▁tr ainer", + "▁tra iner", + "▁train er", + "sb i", + "s bi", + "C riterion", + "но то", + "sch eme", + "sche me", + "enn ial", + "per form", + "perf orm", + "▁fix ing", + "ar b", + "a rb", + "EX IT", + "▁ca fé", + "▁caf é", + "itut ed", + "itute d", + "itu ted", + "ri ages", + "ria ges", + "riage s", + "T ur", + "▁hab er", + "▁ha ber", + "el asticsearch", + "r h", + "▁v oll", + "▁vo ll", + "▁vol l", + "CL U", + "M il", + "▁mem bres", + "▁membr es", + "▁membre s", + "▁remark ed", + "=\" _", + "Le ss", + "Les s", + "L ess", + "(\" \");", + "▁Y ale", + "▁Ya le", + "ber ries", + "▁rele asing", + "▁im ports", + "▁import s", + "▁imp orts", + "id ea", + "ide a", + "▁( +", + "▁ar qu", + "ific ación", + "ifica ción", + "▁R angers", + "▁Range rs", + "▁Rang ers", + "▁Ran gers", + "M ic", + "▁n ederbörd", + "▁imag inary", + "▁imagin ary", + "▁special ists", + "▁specialist s", + "▁ho of", + "Mod ules", + "Module s", + "▁sad ly", + "ce il", + "Tab Index", + "at ionale", + "ation ale", + "ational e", + "▁Part ner", + "tb ody", + "t body", + "▁le verage", + "▁lever age", + "D N", + "▁P rec", + "▁Pr ec", + "▁Pre c", + "▁S é", + "▁M am", + "▁Ma m", + "▁a fin", + "▁af in", + "is Valid", + "Ps e", + "P se", + "▁cho pped", + "▁chop ped", + "▁Min or", + "▁Mi nor", + "▁d abei", + "Da vid", + "D avid", + "uss ia", + "▁дере вня", + "▁Id entity", + "▁Ident ity", + "▁ Identity", + "▁L GBT", + "ци је", + "▁Or ts", + "▁Ort s", + "▁part i", + "▁par ti", + "▁B achelor", + "ug a", + "u ga", + "▁O PT", + "▁OP T", + "▁ OPT", + "▁S eth", + "▁Se th", + "▁Set h", + "▁LI ABLE", + "▁inaug ur", + "▁Shan ghai", + "▁relax ing", + "\" %", + "▁o bey", + "▁ob ey", + "▁A irlines", + "▁Air lines", + "Link s", + "Lin ks", + "L inks", + "▁C elt", + "▁Ce lt", + "▁Cel t", + "▁Ad min", + "▁Adm in", + "▁ Admin", + "ag ation", + "▁wor ries", + "IN TE", + "INT E", + "ar ith", + "ari th", + "Fat alf", + "]] )", + "] ])", + "co lm", + "col m", + "▁arch ae", + "▁br ushed", + "▁brush ed", + "▁t ät", + "▁struct ured", + "▁structure d", + "▁home m", + "▁hom em", + "▁ho mem", + "[: ,", + "▁n avy", + "▁na vy", + "▁nav y", + "get Key", + "power ed", + "pow ered", + "▁s ucked", + "▁suc ked", + "▁suck ed", + "▁z omb", + "▁zo mb", + "iss ant", + "issa nt", + "▁M ight", + "▁Mi ght", + "▁Mig ht", + "▁P ull", + "▁Pu ll", + "▁Pul l", + "ri r", + "r ir", + "▁п і", + "▁ пі", + "▁se as", + "▁sea s", + "▁W rest", + "▁Wr est", + "▁t ense", + "▁ten se", + "▁tens e", + "▁a tm", + "▁at m", + "▁have t", + "▁ha vet", + "▁hav et", + "▁pier ws", + "▁trag ic", + "▁D iff", + "▁Di ff", + "▁ Diff", + "▁conf idential", + "▁confident ial", + "success ful", + "ę ż", + "▁Ch ain", + "▁Cha in", + "▁ Chain", + "▁Ken ya", + "Ch oice", + "oc ur", + "o cur", + "an iu", + "ani u", + "▁consult ant", + "▁Ad vis", + "▁Adv is", + "Li f", + "L if", + "▁L ors", + "▁Lo rs", + "▁Lor s", + "avor ite", + "avo rite", + "▁util izing", + "▁utiliz ing", + "▁v intage", + "Mat cher", + "Match er", + "▁m embre", + "▁me mbre", + "▁mem bre", + "▁membr e", + "▁Ex pect", + "▁Exp ect", + "▁ Expect", + "▁tr acing", + "▁tra cing", + "no g", + "n og", + "▁d ej", + "▁de j", + "▁lo ops", + "▁loop s", + "▁on click", + "▁G PU", + "▁GP U", + "▁ GPU", + "▁Album s", + "▁Alb ums", + "▁Arch ives", + "ва та", + "ват а", + "▁st ove", + "▁sto ve", + "an cies", + "anc ies", + "▁geme ente", + "mo b", + "m ob", + "PD F", + "P DF", + "es o", + "e so", + "▁v ég", + "▁vé g", + "Res olve", + "▁te aches", + "▁teach es", + "▁tea ches", + "▁f id", + "▁fi d", + "Some thing", + "Som ething", + "▁ne bo", + "▁Valent ine", + "row ning", + "rown ing", + "▁а ле", + "▁ал е", + "aw i", + "a wi", + "is hi", + "ish i", + "▁S PI", + "▁SP I", + "▁ SPI", + "▁s pel", + "▁sp el", + "▁spe l", + "▁б іль", + "▁бі ль", + "▁particip ant", + "▁N ed", + "▁Ne d", + "▁G ast", + "▁Ga st", + "▁Gas t", + "▁bl ond", + "▁blo nd", + "▁s aves", + "▁sa ves", + "▁save s", + "▁sav es", + "col ored", + "color ed", + "colo red", + "▁A CTION", + "▁AC TION", + "▁ACT ION", + "▁ ACTION", + "▁Polit iker", + "}$ )", + "} $)", + "▁D um", + "▁Du m", + "den try", + "d entry", + "Stud ent", + "▁~ =", + "lo ads", + "load s", + "▁F oster", + "▁Fo ster", + "一 个", + "▁P K", + "▁ PK", + "▁S B", + "▁ SB", + "▁H ern", + "▁He rn", + "▁Her n", + "▁Ex hib", + "Listener s", + "Listen ers", + "Su n", + "S un", + "pl ac", + "▁B ever", + "▁Be ver", + "▁Bev er", + "▁incl uy", + "▁inclu y", + "▁d c", + "▁ dc", + "ar gc", + "arg c", + "▁g ed", + "▁ge d", + "▁ ged", + "▁Form ula", + "▁em pt", + "▁emp t", + "▁ empt", + "un register", + "▁Queens land", + "ánd ez", + "ot ive", + "oti ve", + "▁al ley", + "▁all ey", + "▁alle y", + "▁Democr at", + "▁trav ail", + "▁$ ,", + "▁ $,", + "R P", + "pers onal", + "person al", + "▁péri ode", + "HO ME", + "om es", + "ome s", + "o mes", + "▁recogn ised", + "he ng", + "hen g", + "h eng", + "▁J ung", + "▁Jun g", + "▁Ju ng", + "▁Ro land", + "▁Rol and", + "▁conv icted", + "Loc ked", + "Lock ed", + "L ocked", + "▁m ari", + "▁mar i", + "▁ma ri", + "▁Lux em", + "refer to", + "De leted", + "Dele ted", + "Delete d", + "Del eted", + "int ent", + "inte nt", + "▁St aats", + "▁Sta ats", + "▁обла сті", + "▁са ве", + "▁Pro tocol", + "▁ Protocol", + "ają c", + "ch k", + "Type Info", + "▁p kt", + "▁ pkt", + "▁sc andal", + "▁scan dal", + "▁individ ually", + "▁individual ly", + "FM T", + "F MT", + "▁n j", + "ab ile", + "abil e", + "abi le", + "▁R ivers", + "▁River s", + "PRO PERTY", + "V B", + "wo rt", + "wor t", + "w ort", + "▁split ting", + "▁spl itting", + "ach ten", + "acht en", + "achte n", + "a chten", + "▁AR ISING", + "▁s ip", + "▁si p", + "▁f res", + "▁fr es", + "▁fre s", + "▁g room", + "▁gr oom", + "▁gro om", + "H ol", + "▁c anon", + "▁can on", + "▁ca non", + "▁abrupt ly", + "▁after ward", + "▁R unning", + "▁Run ning", + "▁ Running", + "▁j i", + "▁ ji", + "▁Palest inian", + "R W", + "pgf scope", + "▁country side", + "▁countr yside", + "▁fort unate", + "▁ fortunate", + "▁c él", + "▁Po inter", + "▁Point er", + "▁ Pointer", + "ens ors", + "ensor s", + "enso rs", + "ra ting", + "rat ing", + "r ating", + "▁buff ers", + "▁buffer s", + "▁buf fers", + "▁re mot", + "▁rem ot", + "▁Prop Types", + "▁N ah", + "▁Na h", + "al tern", + "alt ern", + "alter n", + "▁eas iest", + "▁in vas", + "▁inv as", + "▁cl k", + "▁ clk", + "copy right", + "c opyright", + "▁bl anc", + "SA MP", + "S AMP", + "▁Co hen", + "▁S hell", + "▁She ll", + "▁Sh ell", + "▁Shel l", + "▁ Shell", + "▁destroy ing", + "▁destro ying", + "▁Z el", + "▁Ze l", + "date r", + "da ter", + "dat er", + "d ater", + "če n", + "č en", + "▁f iling", + "▁fil ing", + "▁fi ling", + "▁integr ate", + "xi t", + "x it", + "▁R ET", + "▁RE T", + "▁ RET", + "le ne", + "len e", + "l ene", + "cal ls", + "call s", + "c alls", + "▁sl aughter", + "init ialized", + "initial ized", + "initialize d", + "un ches", + "unch es", + "unc hes", + "▁Tr ace", + "▁Tra ce", + "▁ Trace", + "eff icient", + "▁Wood s", + "▁long itud", + "G N", + "▁K ont", + "▁Kon t", + "▁Ko nt", + "▁chunk s", + "á ch", + "▁unem ployment", + "ac om", + "aco m", + "a com", + "▁sl owed", + "▁slow ed", + "▁out lined", + "▁outline d", + "xff ff", + "xf fff", + "x ffff", + "▁ik ke", + "▁work space", + "▁works pace", + "M c", + "▁k icking", + "▁kick ing", + "▁embed ding", + "ch nitt", + "chn itt", + "er ten", + "ert en", + "▁In terior", + "▁Inter ior", + "▁S ongs", + "▁Son gs", + "▁Song s", + "mm c", + "m mc", + "▁analy zed", + "▁analyze d", + "▁Cou pe", + "▁favor ites", + "▁favorite s", + "▁t t", + "▁ tt", + "R outing", + "▁Sil va", + "▁andere m", + "▁ander em", + "▁h onom", + "▁hon om", + "▁ho nom", + ".\" ]", + ". \"]", + "▁W u", + "le gt", + "leg t", + "▁s poon", + "▁sp oon", + "▁spo on", + "▁j ap", + "▁ja p", + "▁Ext ension", + "▁ Extension", + "er ne", + "ern e", + "▁v agy", + "▁va gy", + "▁vag y", + "▁ф унк", + "▁anal ytics", + "▁analyt ics", + "▁s ug", + "▁su g", + "▁A sync", + "▁As ync", + "▁ Async", + "▁pe aks", + "▁peak s", + "▁G ym", + "▁Gy m", + "▁law suit", + "▁laws uit", + "< >", + "ial is", + "i alis", + "et ric", + "etr ic", + "face d", + "fa ced", + "fac ed", + "f aced", + "▁dis rupt", + "▁f å", + "Input s", + "`) ;", + "` );", + "▁M end", + "▁Me nd", + "▁Men d", + "go n", + "g on", + "▁\" ,\"", + "▁\", \"", + "▁ \",\"", + "▁n erves", + "▁nerv es", + "▁nerve s", + "▁ner ves", + "▁doubt s", + "▁doub ts", + "sa p", + "s ap", + "▁s ow", + "▁so w", + ",\\ ,\\", + ",\\, \\", + ", \\,\\", + "▁B S", + "▁ BS", + "▁G lad", + "▁Gl ad", + "▁a ster", + "▁as ter", + "▁ast er", + "▁ aster", + "œuv re", + "▁Bang l", + "▁Ban gl", + "▁i Pad", + "use ppe", + "▁conduct ing", + "▁( {\\", + "▁({ \\", + "▁ ({\\", + "▁Har bor", + "ps z", + "p sz", + "▁FI FA", + "_* *", + "_ **", + "em or", + "e mor", + "▁ ▁", + "▁▁ ▁▁", + "▁▁▁ ▁", + "▁ ▁▁▁", + "▁▁ ▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁", + "▁▁▁▁▁ ▁▁▁", + "▁▁▁▁▁▁ ▁▁", + "▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁▁ ▁", + "▁ ▁▁▁▁▁▁▁", + "▁▁ ▁▁▁", + "▁▁▁▁ ▁", + "▁▁▁ ▁▁", + "▁ ▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁", + "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁", + "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁", + "▁▁ ▁▁▁▁", + "▁▁▁▁ ▁▁", + "▁▁▁▁▁ ▁", + "▁▁▁ ▁▁▁", + "▁ ▁▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁▁▁", + "▁▁▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁ ▁▁", + "▁▁▁ ▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁▁▁", + "▁▁▁▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁ ▁", + "▁ ▁▁▁▁▁▁▁▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁ ▁", + "▁▁▁▁▁▁▁▁▁▁ ▁▁▁", + "▁▁▁ ▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁▁▁▁", + "▁▁▁▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁ ▁▁", + "▁ ▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁", + "▁▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁", + "▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁", + "▁▁▁▁▁▁▁ ▁▁▁", + "▁ ▁▁▁▁▁▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁", + "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁", + "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁", + "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁ ▁", + "▁ ▁▁", + "▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁", + "▁▁▁▁▁ ▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁", + "▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁▁ ▁▁", + "▁ ▁▁▁▁▁▁▁▁", + "▁▁ ▁▁▁▁▁", + "▁▁▁▁ ▁▁▁", + "▁▁▁▁▁ ▁▁", + "▁▁▁▁▁▁ ▁", + "▁▁▁ ▁▁▁▁", + "▁ ▁▁▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁▁", + "▁▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁ ▁", + "▁▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁▁", + "▁▁▁▁▁▁▁ ▁▁▁▁", + "▁ ▁▁▁▁▁▁▁▁▁▁" + ] + } +} \ No newline at end of file diff --git a/checkpoint-20000/tokenizer_config.json b/checkpoint-20000/tokenizer_config.json new file mode 100644 index 0000000000000000000000000000000000000000..81730cd96b4768bd1a77a4bd8269c72ea708870b --- /dev/null +++ b/checkpoint-20000/tokenizer_config.json @@ -0,0 +1,42 @@ +{ + "add_bos_token": true, + "add_eos_token": false, + "added_tokens_decoder": { + "0": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "1": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "2": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + } + }, + "additional_special_tokens": [], + "bos_token": "", + "clean_up_tokenization_spaces": false, + "eos_token": "", + "legacy": true, + "model_max_length": 1000000000000000019884624838656, + "pad_token": null, + "sp_model_kwargs": {}, + "spaces_between_special_tokens": false, + "tokenizer_class": "LlamaTokenizer", + "unk_token": "", + "use_default_system_prompt": false +} diff --git a/checkpoint-20000/trainer_state.json b/checkpoint-20000/trainer_state.json new file mode 100644 index 0000000000000000000000000000000000000000..279dca70fb2f54777521bdaa8823011aa6f589f2 --- /dev/null +++ b/checkpoint-20000/trainer_state.json @@ -0,0 +1,12111 @@ +{ + "best_metric": null, + "best_model_checkpoint": null, + "epoch": 0.9064128710627691, + "eval_steps": 2000, + "global_step": 20000, + "is_hyper_param_search": false, + "is_local_process_zero": true, + "is_world_process_zero": true, + "log_history": [ + { + "epoch": 0.0, + "learning_rate": 2.0000000000000003e-06, + "loss": 6.5194, + "step": 10 + }, + { + "epoch": 0.0, + "learning_rate": 4.000000000000001e-06, + "loss": 6.4472, + "step": 20 + }, + { + "epoch": 0.0, + "learning_rate": 6e-06, + "loss": 6.313, + "step": 30 + }, + { + "epoch": 0.0, + "learning_rate": 8.000000000000001e-06, + "loss": 6.188, + "step": 40 + }, + { + "epoch": 0.0, + "learning_rate": 1e-05, + "loss": 6.0095, + "step": 50 + }, + { + "epoch": 0.0, + "learning_rate": 1.2e-05, + "loss": 5.8336, + "step": 60 + }, + { + "epoch": 0.0, + "learning_rate": 1.4e-05, + "loss": 5.4948, + "step": 70 + }, + { + "epoch": 0.0, + "learning_rate": 1.6000000000000003e-05, + "loss": 5.2933, + "step": 80 + }, + { + "epoch": 0.0, + "learning_rate": 1.8e-05, + "loss": 4.908, + "step": 90 + }, + { + "epoch": 0.0, + "learning_rate": 2e-05, + "loss": 4.6039, + "step": 100 + }, + { + "epoch": 0.0, + "learning_rate": 1.9999989771610435e-05, + "loss": 4.37, + "step": 110 + }, + { + "epoch": 0.01, + "learning_rate": 1.9999959086462666e-05, + "loss": 4.2062, + "step": 120 + }, + { + "epoch": 0.01, + "learning_rate": 1.999990794461946e-05, + "loss": 4.0018, + "step": 130 + }, + { + "epoch": 0.01, + "learning_rate": 1.999983634618544e-05, + "loss": 3.914, + "step": 140 + }, + { + "epoch": 0.01, + "learning_rate": 1.9999744291307077e-05, + "loss": 3.7417, + "step": 150 + }, + { + "epoch": 0.01, + "learning_rate": 1.9999631780172678e-05, + "loss": 3.652, + "step": 160 + }, + { + "epoch": 0.01, + "learning_rate": 1.999949881301241e-05, + "loss": 3.6293, + "step": 170 + }, + { + "epoch": 0.01, + "learning_rate": 1.9999345390098276e-05, + "loss": 3.5554, + "step": 180 + }, + { + "epoch": 0.01, + "learning_rate": 1.9999171511744134e-05, + "loss": 3.4717, + "step": 190 + }, + { + "epoch": 0.01, + "learning_rate": 1.9998977178305683e-05, + "loss": 3.3474, + "step": 200 + }, + { + "epoch": 0.01, + "learning_rate": 1.9998762390180467e-05, + "loss": 3.3879, + "step": 210 + }, + { + "epoch": 0.01, + "learning_rate": 1.999852714780787e-05, + "loss": 3.3087, + "step": 220 + }, + { + "epoch": 0.01, + "learning_rate": 1.9998271451669127e-05, + "loss": 3.2531, + "step": 230 + }, + { + "epoch": 0.01, + "learning_rate": 1.9997995302287306e-05, + "loss": 3.2259, + "step": 240 + }, + { + "epoch": 0.01, + "learning_rate": 1.999769870022732e-05, + "loss": 3.1982, + "step": 250 + }, + { + "epoch": 0.01, + "learning_rate": 1.9997381646095923e-05, + "loss": 3.2029, + "step": 260 + }, + { + "epoch": 0.01, + "learning_rate": 1.9997044140541704e-05, + "loss": 3.1327, + "step": 270 + }, + { + "epoch": 0.01, + "learning_rate": 1.9996686184255093e-05, + "loss": 3.1122, + "step": 280 + }, + { + "epoch": 0.01, + "learning_rate": 1.999630777796835e-05, + "loss": 3.0607, + "step": 290 + }, + { + "epoch": 0.01, + "learning_rate": 1.9995908922455574e-05, + "loss": 3.0865, + "step": 300 + }, + { + "epoch": 0.01, + "learning_rate": 1.9995489618532696e-05, + "loss": 3.0345, + "step": 310 + }, + { + "epoch": 0.01, + "learning_rate": 1.9995049867057475e-05, + "loss": 3.066, + "step": 320 + }, + { + "epoch": 0.01, + "learning_rate": 1.99945896689295e-05, + "loss": 3.0605, + "step": 330 + }, + { + "epoch": 0.02, + "learning_rate": 1.9994109025090193e-05, + "loss": 2.9867, + "step": 340 + }, + { + "epoch": 0.02, + "learning_rate": 1.9993607936522795e-05, + "loss": 2.9954, + "step": 350 + }, + { + "epoch": 0.02, + "learning_rate": 1.9993086404252368e-05, + "loss": 2.9902, + "step": 360 + }, + { + "epoch": 0.02, + "learning_rate": 1.99925444293458e-05, + "loss": 2.967, + "step": 370 + }, + { + "epoch": 0.02, + "learning_rate": 1.9991982012911796e-05, + "loss": 2.9373, + "step": 380 + }, + { + "epoch": 0.02, + "learning_rate": 1.9991399156100888e-05, + "loss": 2.9242, + "step": 390 + }, + { + "epoch": 0.02, + "learning_rate": 1.99907958601054e-05, + "loss": 2.8879, + "step": 400 + }, + { + "epoch": 0.02, + "learning_rate": 1.9990172126159493e-05, + "loss": 2.8951, + "step": 410 + }, + { + "epoch": 0.02, + "learning_rate": 1.9989527955539117e-05, + "loss": 2.9223, + "step": 420 + }, + { + "epoch": 0.02, + "learning_rate": 1.998886334956204e-05, + "loss": 2.9071, + "step": 430 + }, + { + "epoch": 0.02, + "learning_rate": 1.9988178309587834e-05, + "loss": 2.8767, + "step": 440 + }, + { + "epoch": 0.02, + "learning_rate": 1.9987472837017875e-05, + "loss": 2.8798, + "step": 450 + }, + { + "epoch": 0.02, + "learning_rate": 1.998674693329532e-05, + "loss": 2.8751, + "step": 460 + }, + { + "epoch": 0.02, + "learning_rate": 1.9986000599905144e-05, + "loss": 2.8694, + "step": 470 + }, + { + "epoch": 0.02, + "learning_rate": 1.9985233838374095e-05, + "loss": 2.8434, + "step": 480 + }, + { + "epoch": 0.02, + "learning_rate": 1.9984446650270735e-05, + "loss": 2.8669, + "step": 490 + }, + { + "epoch": 0.02, + "learning_rate": 1.9983639037205383e-05, + "loss": 2.8698, + "step": 500 + }, + { + "epoch": 0.02, + "learning_rate": 1.9982811000830168e-05, + "loss": 2.7942, + "step": 510 + }, + { + "epoch": 0.02, + "learning_rate": 1.9981962542838973e-05, + "loss": 2.8396, + "step": 520 + }, + { + "epoch": 0.02, + "learning_rate": 1.998109366496748e-05, + "loss": 2.8324, + "step": 530 + }, + { + "epoch": 0.02, + "learning_rate": 1.9980204368993125e-05, + "loss": 2.8112, + "step": 540 + }, + { + "epoch": 0.02, + "learning_rate": 1.9979294656735128e-05, + "loss": 2.789, + "step": 550 + }, + { + "epoch": 0.03, + "learning_rate": 1.9978364530054465e-05, + "loss": 2.7973, + "step": 560 + }, + { + "epoch": 0.03, + "learning_rate": 1.997741399085387e-05, + "loss": 2.7944, + "step": 570 + }, + { + "epoch": 0.03, + "learning_rate": 1.997644304107785e-05, + "loss": 2.8026, + "step": 580 + }, + { + "epoch": 0.03, + "learning_rate": 1.9975451682712653e-05, + "loss": 2.7717, + "step": 590 + }, + { + "epoch": 0.03, + "learning_rate": 1.997443991778627e-05, + "loss": 2.7765, + "step": 600 + }, + { + "epoch": 0.03, + "learning_rate": 1.9973407748368456e-05, + "loss": 2.7911, + "step": 610 + }, + { + "epoch": 0.03, + "learning_rate": 1.9972355176570695e-05, + "loss": 2.7744, + "step": 620 + }, + { + "epoch": 0.03, + "learning_rate": 1.9971282204546206e-05, + "loss": 2.7749, + "step": 630 + }, + { + "epoch": 0.03, + "learning_rate": 1.997018883448995e-05, + "loss": 2.7949, + "step": 640 + }, + { + "epoch": 0.03, + "learning_rate": 1.9969075068638603e-05, + "loss": 2.73, + "step": 650 + }, + { + "epoch": 0.03, + "learning_rate": 1.996794090927058e-05, + "loss": 2.7475, + "step": 660 + }, + { + "epoch": 0.03, + "learning_rate": 1.9966786358705997e-05, + "loss": 2.7215, + "step": 670 + }, + { + "epoch": 0.03, + "learning_rate": 1.9965611419306697e-05, + "loss": 2.7395, + "step": 680 + }, + { + "epoch": 0.03, + "learning_rate": 1.9964416093476227e-05, + "loss": 2.7544, + "step": 690 + }, + { + "epoch": 0.03, + "learning_rate": 1.996320038365984e-05, + "loss": 2.7504, + "step": 700 + }, + { + "epoch": 0.03, + "learning_rate": 1.9961964292344485e-05, + "loss": 2.7467, + "step": 710 + }, + { + "epoch": 0.03, + "learning_rate": 1.9960707822058807e-05, + "loss": 2.7522, + "step": 720 + }, + { + "epoch": 0.03, + "learning_rate": 1.995943097537314e-05, + "loss": 2.7601, + "step": 730 + }, + { + "epoch": 0.03, + "learning_rate": 1.99581337548995e-05, + "loss": 2.7437, + "step": 740 + }, + { + "epoch": 0.03, + "learning_rate": 1.9956816163291583e-05, + "loss": 2.7516, + "step": 750 + }, + { + "epoch": 0.03, + "learning_rate": 1.9955478203244758e-05, + "loss": 2.7282, + "step": 760 + }, + { + "epoch": 0.03, + "learning_rate": 1.9954119877496058e-05, + "loss": 2.7259, + "step": 770 + }, + { + "epoch": 0.04, + "learning_rate": 1.995274118882418e-05, + "loss": 2.7284, + "step": 780 + }, + { + "epoch": 0.04, + "learning_rate": 1.9951342140049483e-05, + "loss": 2.723, + "step": 790 + }, + { + "epoch": 0.04, + "learning_rate": 1.9949922734033958e-05, + "loss": 2.7367, + "step": 800 + }, + { + "epoch": 0.04, + "learning_rate": 1.9948482973681267e-05, + "loss": 2.7136, + "step": 810 + }, + { + "epoch": 0.04, + "learning_rate": 1.9947022861936686e-05, + "loss": 2.7344, + "step": 820 + }, + { + "epoch": 0.04, + "learning_rate": 1.9945542401787137e-05, + "loss": 2.7196, + "step": 830 + }, + { + "epoch": 0.04, + "learning_rate": 1.9944041596261162e-05, + "loss": 2.7228, + "step": 840 + }, + { + "epoch": 0.04, + "learning_rate": 1.994252044842893e-05, + "loss": 2.6978, + "step": 850 + }, + { + "epoch": 0.04, + "learning_rate": 1.9940978961402217e-05, + "loss": 2.7169, + "step": 860 + }, + { + "epoch": 0.04, + "learning_rate": 1.993941713833441e-05, + "loss": 2.7058, + "step": 870 + }, + { + "epoch": 0.04, + "learning_rate": 1.9937834982420492e-05, + "loss": 2.7083, + "step": 880 + }, + { + "epoch": 0.04, + "learning_rate": 1.993623249689705e-05, + "loss": 2.7348, + "step": 890 + }, + { + "epoch": 0.04, + "learning_rate": 1.9934609685042248e-05, + "loss": 2.7023, + "step": 900 + }, + { + "epoch": 0.04, + "learning_rate": 1.9932966550175842e-05, + "loss": 2.69, + "step": 910 + }, + { + "epoch": 0.04, + "learning_rate": 1.9931303095659153e-05, + "loss": 2.6818, + "step": 920 + }, + { + "epoch": 0.04, + "learning_rate": 1.9929619324895074e-05, + "loss": 2.724, + "step": 930 + }, + { + "epoch": 0.04, + "learning_rate": 1.9927915241328056e-05, + "loss": 2.6865, + "step": 940 + }, + { + "epoch": 0.04, + "learning_rate": 1.992619084844411e-05, + "loss": 2.6784, + "step": 950 + }, + { + "epoch": 0.04, + "learning_rate": 1.992444614977078e-05, + "loss": 2.6982, + "step": 960 + }, + { + "epoch": 0.04, + "learning_rate": 1.992268114887717e-05, + "loss": 2.698, + "step": 970 + }, + { + "epoch": 0.04, + "learning_rate": 1.992089584937389e-05, + "loss": 2.6747, + "step": 980 + }, + { + "epoch": 0.04, + "learning_rate": 1.9919090254913095e-05, + "loss": 2.6793, + "step": 990 + }, + { + "epoch": 0.05, + "learning_rate": 1.9917264369188453e-05, + "loss": 2.685, + "step": 1000 + }, + { + "epoch": 0.05, + "learning_rate": 1.9915418195935128e-05, + "loss": 2.6685, + "step": 1010 + }, + { + "epoch": 0.05, + "learning_rate": 1.9913551738929803e-05, + "loss": 2.672, + "step": 1020 + }, + { + "epoch": 0.05, + "learning_rate": 1.9911665001990648e-05, + "loss": 2.7005, + "step": 1030 + }, + { + "epoch": 0.05, + "learning_rate": 1.9909757988977315e-05, + "loss": 2.678, + "step": 1040 + }, + { + "epoch": 0.05, + "learning_rate": 1.9907830703790943e-05, + "loss": 2.6533, + "step": 1050 + }, + { + "epoch": 0.05, + "learning_rate": 1.9905883150374134e-05, + "loss": 2.6703, + "step": 1060 + }, + { + "epoch": 0.05, + "learning_rate": 1.9903915332710952e-05, + "loss": 2.6778, + "step": 1070 + }, + { + "epoch": 0.05, + "learning_rate": 1.990192725482693e-05, + "loss": 2.6672, + "step": 1080 + }, + { + "epoch": 0.05, + "learning_rate": 1.9899918920789017e-05, + "loss": 2.6442, + "step": 1090 + }, + { + "epoch": 0.05, + "learning_rate": 1.9897890334705636e-05, + "loss": 2.662, + "step": 1100 + }, + { + "epoch": 0.05, + "learning_rate": 1.9895841500726606e-05, + "loss": 2.6608, + "step": 1110 + }, + { + "epoch": 0.05, + "learning_rate": 1.9893772423043188e-05, + "loss": 2.6562, + "step": 1120 + }, + { + "epoch": 0.05, + "learning_rate": 1.9891683105888048e-05, + "loss": 2.6866, + "step": 1130 + }, + { + "epoch": 0.05, + "learning_rate": 1.9889573553535258e-05, + "loss": 2.6592, + "step": 1140 + }, + { + "epoch": 0.05, + "learning_rate": 1.988744377030028e-05, + "loss": 2.6526, + "step": 1150 + }, + { + "epoch": 0.05, + "learning_rate": 1.988529376053997e-05, + "loss": 2.644, + "step": 1160 + }, + { + "epoch": 0.05, + "learning_rate": 1.988312352865254e-05, + "loss": 2.6692, + "step": 1170 + }, + { + "epoch": 0.05, + "learning_rate": 1.9880933079077605e-05, + "loss": 2.663, + "step": 1180 + }, + { + "epoch": 0.05, + "learning_rate": 1.9878722416296104e-05, + "loss": 2.6357, + "step": 1190 + }, + { + "epoch": 0.05, + "learning_rate": 1.9876491544830352e-05, + "loss": 2.6277, + "step": 1200 + }, + { + "epoch": 0.05, + "learning_rate": 1.9874240469243987e-05, + "loss": 2.6691, + "step": 1210 + }, + { + "epoch": 0.06, + "learning_rate": 1.9871969194141985e-05, + "loss": 2.6788, + "step": 1220 + }, + { + "epoch": 0.06, + "learning_rate": 1.986967772417065e-05, + "loss": 2.6312, + "step": 1230 + }, + { + "epoch": 0.06, + "learning_rate": 1.9867366064017584e-05, + "loss": 2.6423, + "step": 1240 + }, + { + "epoch": 0.06, + "learning_rate": 1.9865034218411698e-05, + "loss": 2.6013, + "step": 1250 + }, + { + "epoch": 0.06, + "learning_rate": 1.9862682192123203e-05, + "loss": 2.6355, + "step": 1260 + }, + { + "epoch": 0.06, + "learning_rate": 1.9860309989963585e-05, + "loss": 2.6463, + "step": 1270 + }, + { + "epoch": 0.06, + "learning_rate": 1.9857917616785606e-05, + "loss": 2.6404, + "step": 1280 + }, + { + "epoch": 0.06, + "learning_rate": 1.9855505077483288e-05, + "loss": 2.6601, + "step": 1290 + }, + { + "epoch": 0.06, + "learning_rate": 1.9853072376991913e-05, + "loss": 2.6469, + "step": 1300 + }, + { + "epoch": 0.06, + "learning_rate": 1.9850619520288e-05, + "loss": 2.6393, + "step": 1310 + }, + { + "epoch": 0.06, + "learning_rate": 1.9848146512389305e-05, + "loss": 2.6231, + "step": 1320 + }, + { + "epoch": 0.06, + "learning_rate": 1.984565335835481e-05, + "loss": 2.6386, + "step": 1330 + }, + { + "epoch": 0.06, + "learning_rate": 1.9843140063284694e-05, + "loss": 2.6451, + "step": 1340 + }, + { + "epoch": 0.06, + "learning_rate": 1.9840606632320362e-05, + "loss": 2.6009, + "step": 1350 + }, + { + "epoch": 0.06, + "learning_rate": 1.9838053070644388e-05, + "loss": 2.621, + "step": 1360 + }, + { + "epoch": 0.06, + "learning_rate": 1.983547938348054e-05, + "loss": 2.633, + "step": 1370 + }, + { + "epoch": 0.06, + "learning_rate": 1.9832885576093755e-05, + "loss": 2.6157, + "step": 1380 + }, + { + "epoch": 0.06, + "learning_rate": 1.983027165379013e-05, + "loss": 2.6275, + "step": 1390 + }, + { + "epoch": 0.06, + "learning_rate": 1.9827637621916897e-05, + "loss": 2.6063, + "step": 1400 + }, + { + "epoch": 0.06, + "learning_rate": 1.9824983485862446e-05, + "loss": 2.6351, + "step": 1410 + }, + { + "epoch": 0.06, + "learning_rate": 1.9822309251056286e-05, + "loss": 2.6623, + "step": 1420 + }, + { + "epoch": 0.06, + "learning_rate": 1.981961492296903e-05, + "loss": 2.6489, + "step": 1430 + }, + { + "epoch": 0.07, + "learning_rate": 1.981690050711242e-05, + "loss": 2.6471, + "step": 1440 + }, + { + "epoch": 0.07, + "learning_rate": 1.9814166009039266e-05, + "loss": 2.6274, + "step": 1450 + }, + { + "epoch": 0.07, + "learning_rate": 1.9811411434343467e-05, + "loss": 2.633, + "step": 1460 + }, + { + "epoch": 0.07, + "learning_rate": 1.9808636788660008e-05, + "loss": 2.6094, + "step": 1470 + }, + { + "epoch": 0.07, + "learning_rate": 1.9805842077664913e-05, + "loss": 2.6053, + "step": 1480 + }, + { + "epoch": 0.07, + "learning_rate": 1.9803027307075258e-05, + "loss": 2.6303, + "step": 1490 + }, + { + "epoch": 0.07, + "learning_rate": 1.9800192482649164e-05, + "loss": 2.6214, + "step": 1500 + }, + { + "epoch": 0.07, + "learning_rate": 1.9797337610185763e-05, + "loss": 2.6238, + "step": 1510 + }, + { + "epoch": 0.07, + "learning_rate": 1.979446269552521e-05, + "loss": 2.6193, + "step": 1520 + }, + { + "epoch": 0.07, + "learning_rate": 1.9791567744548644e-05, + "loss": 2.6114, + "step": 1530 + }, + { + "epoch": 0.07, + "learning_rate": 1.9788652763178215e-05, + "loss": 2.6314, + "step": 1540 + }, + { + "epoch": 0.07, + "learning_rate": 1.9785717757377033e-05, + "loss": 2.6047, + "step": 1550 + }, + { + "epoch": 0.07, + "learning_rate": 1.9782762733149167e-05, + "loss": 2.6028, + "step": 1560 + }, + { + "epoch": 0.07, + "learning_rate": 1.977978769653965e-05, + "loss": 2.6117, + "step": 1570 + }, + { + "epoch": 0.07, + "learning_rate": 1.977679265363445e-05, + "loss": 2.603, + "step": 1580 + }, + { + "epoch": 0.07, + "learning_rate": 1.9773777610560458e-05, + "loss": 2.5901, + "step": 1590 + }, + { + "epoch": 0.07, + "learning_rate": 1.977074257348548e-05, + "loss": 2.6346, + "step": 1600 + }, + { + "epoch": 0.07, + "learning_rate": 1.9767687548618227e-05, + "loss": 2.5964, + "step": 1610 + }, + { + "epoch": 0.07, + "learning_rate": 1.9764612542208297e-05, + "loss": 2.6068, + "step": 1620 + }, + { + "epoch": 0.07, + "learning_rate": 1.976151756054616e-05, + "loss": 2.5897, + "step": 1630 + }, + { + "epoch": 0.07, + "learning_rate": 1.975840260996315e-05, + "loss": 2.6059, + "step": 1640 + }, + { + "epoch": 0.07, + "learning_rate": 1.9755267696831454e-05, + "loss": 2.6095, + "step": 1650 + }, + { + "epoch": 0.08, + "learning_rate": 1.9752112827564098e-05, + "loss": 2.6109, + "step": 1660 + }, + { + "epoch": 0.08, + "learning_rate": 1.9748938008614925e-05, + "loss": 2.6161, + "step": 1670 + }, + { + "epoch": 0.08, + "learning_rate": 1.974574324647859e-05, + "loss": 2.6231, + "step": 1680 + }, + { + "epoch": 0.08, + "learning_rate": 1.9742528547690554e-05, + "loss": 2.6016, + "step": 1690 + }, + { + "epoch": 0.08, + "learning_rate": 1.9739293918827047e-05, + "loss": 2.5802, + "step": 1700 + }, + { + "epoch": 0.08, + "learning_rate": 1.9736039366505087e-05, + "loss": 2.5746, + "step": 1710 + }, + { + "epoch": 0.08, + "learning_rate": 1.973276489738243e-05, + "loss": 2.6299, + "step": 1720 + }, + { + "epoch": 0.08, + "learning_rate": 1.9729470518157595e-05, + "loss": 2.5615, + "step": 1730 + }, + { + "epoch": 0.08, + "learning_rate": 1.972615623556981e-05, + "loss": 2.6017, + "step": 1740 + }, + { + "epoch": 0.08, + "learning_rate": 1.972282205639904e-05, + "loss": 2.5797, + "step": 1750 + }, + { + "epoch": 0.08, + "learning_rate": 1.9719467987465934e-05, + "loss": 2.5667, + "step": 1760 + }, + { + "epoch": 0.08, + "learning_rate": 1.9716094035631843e-05, + "loss": 2.5938, + "step": 1770 + }, + { + "epoch": 0.08, + "learning_rate": 1.9712700207798783e-05, + "loss": 2.5997, + "step": 1780 + }, + { + "epoch": 0.08, + "learning_rate": 1.970928651090943e-05, + "loss": 2.6088, + "step": 1790 + }, + { + "epoch": 0.08, + "learning_rate": 1.9705852951947115e-05, + "loss": 2.5769, + "step": 1800 + }, + { + "epoch": 0.08, + "learning_rate": 1.9702399537935785e-05, + "loss": 2.5784, + "step": 1810 + }, + { + "epoch": 0.08, + "learning_rate": 1.9698926275940017e-05, + "loss": 2.6015, + "step": 1820 + }, + { + "epoch": 0.08, + "learning_rate": 1.9695433173064987e-05, + "loss": 2.5902, + "step": 1830 + }, + { + "epoch": 0.08, + "learning_rate": 1.9691920236456462e-05, + "loss": 2.5692, + "step": 1840 + }, + { + "epoch": 0.08, + "learning_rate": 1.968838747330077e-05, + "loss": 2.6207, + "step": 1850 + }, + { + "epoch": 0.08, + "learning_rate": 1.9684834890824813e-05, + "loss": 2.5922, + "step": 1860 + }, + { + "epoch": 0.08, + "learning_rate": 1.9681262496296028e-05, + "loss": 2.5989, + "step": 1870 + }, + { + "epoch": 0.09, + "learning_rate": 1.9677670297022383e-05, + "loss": 2.5859, + "step": 1880 + }, + { + "epoch": 0.09, + "learning_rate": 1.9674058300352364e-05, + "loss": 2.5726, + "step": 1890 + }, + { + "epoch": 0.09, + "learning_rate": 1.9670426513674954e-05, + "loss": 2.6198, + "step": 1900 + }, + { + "epoch": 0.09, + "learning_rate": 1.9666774944419613e-05, + "loss": 2.5914, + "step": 1910 + }, + { + "epoch": 0.09, + "learning_rate": 1.9663103600056276e-05, + "loss": 2.6187, + "step": 1920 + }, + { + "epoch": 0.09, + "learning_rate": 1.965941248809534e-05, + "loss": 2.5771, + "step": 1930 + }, + { + "epoch": 0.09, + "learning_rate": 1.965570161608762e-05, + "loss": 2.5923, + "step": 1940 + }, + { + "epoch": 0.09, + "learning_rate": 1.965197099162437e-05, + "loss": 2.6079, + "step": 1950 + }, + { + "epoch": 0.09, + "learning_rate": 1.9648220622337245e-05, + "loss": 2.6138, + "step": 1960 + }, + { + "epoch": 0.09, + "learning_rate": 1.9644450515898293e-05, + "loss": 2.5875, + "step": 1970 + }, + { + "epoch": 0.09, + "learning_rate": 1.9640660680019938e-05, + "loss": 2.5786, + "step": 1980 + }, + { + "epoch": 0.09, + "learning_rate": 1.9636851122454965e-05, + "loss": 2.5824, + "step": 1990 + }, + { + "epoch": 0.09, + "learning_rate": 1.9633021850996496e-05, + "loss": 2.6021, + "step": 2000 + }, + { + "epoch": 0.09, + "eval_accuracy": 0.5305171973647798, + "eval_loss": 2.3284668922424316, + "eval_runtime": 9.9238, + "eval_samples_per_second": 137.749, + "eval_steps_per_second": 1.108, + "step": 2000 + }, + { + "epoch": 0.09, + "learning_rate": 1.9629172873477995e-05, + "loss": 2.5867, + "step": 2010 + }, + { + "epoch": 0.09, + "learning_rate": 1.9625304197773226e-05, + "loss": 2.5904, + "step": 2020 + }, + { + "epoch": 0.09, + "learning_rate": 1.962141583179625e-05, + "loss": 2.571, + "step": 2030 + }, + { + "epoch": 0.09, + "learning_rate": 1.9617507783501416e-05, + "loss": 2.5682, + "step": 2040 + }, + { + "epoch": 0.09, + "learning_rate": 1.9613580060883336e-05, + "loss": 2.5904, + "step": 2050 + }, + { + "epoch": 0.09, + "learning_rate": 1.960963267197686e-05, + "loss": 2.5614, + "step": 2060 + }, + { + "epoch": 0.09, + "learning_rate": 1.960566562485707e-05, + "loss": 2.5949, + "step": 2070 + }, + { + "epoch": 0.09, + "learning_rate": 1.9601678927639275e-05, + "loss": 2.555, + "step": 2080 + }, + { + "epoch": 0.09, + "learning_rate": 1.959767258847897e-05, + "loss": 2.5861, + "step": 2090 + }, + { + "epoch": 0.1, + "learning_rate": 1.9593646615571834e-05, + "loss": 2.5877, + "step": 2100 + }, + { + "epoch": 0.1, + "learning_rate": 1.958960101715371e-05, + "loss": 2.5815, + "step": 2110 + }, + { + "epoch": 0.1, + "learning_rate": 1.9585535801500593e-05, + "loss": 2.5512, + "step": 2120 + }, + { + "epoch": 0.1, + "learning_rate": 1.9581450976928603e-05, + "loss": 2.5319, + "step": 2130 + }, + { + "epoch": 0.1, + "learning_rate": 1.957734655179397e-05, + "loss": 2.5692, + "step": 2140 + }, + { + "epoch": 0.1, + "learning_rate": 1.9573222534493034e-05, + "loss": 2.5709, + "step": 2150 + }, + { + "epoch": 0.1, + "learning_rate": 1.9569078933462206e-05, + "loss": 2.5987, + "step": 2160 + }, + { + "epoch": 0.1, + "learning_rate": 1.9564915757177955e-05, + "loss": 2.5647, + "step": 2170 + }, + { + "epoch": 0.1, + "learning_rate": 1.9560733014156798e-05, + "loss": 2.5883, + "step": 2180 + }, + { + "epoch": 0.1, + "learning_rate": 1.9556530712955282e-05, + "loss": 2.5858, + "step": 2190 + }, + { + "epoch": 0.1, + "learning_rate": 1.9552308862169962e-05, + "loss": 2.5903, + "step": 2200 + }, + { + "epoch": 0.1, + "learning_rate": 1.9548067470437386e-05, + "loss": 2.5687, + "step": 2210 + }, + { + "epoch": 0.1, + "learning_rate": 1.9543806546434074e-05, + "loss": 2.5815, + "step": 2220 + }, + { + "epoch": 0.1, + "learning_rate": 1.95395260988765e-05, + "loss": 2.5657, + "step": 2230 + }, + { + "epoch": 0.1, + "learning_rate": 1.9535226136521088e-05, + "loss": 2.5691, + "step": 2240 + }, + { + "epoch": 0.1, + "learning_rate": 1.9530906668164172e-05, + "loss": 2.5632, + "step": 2250 + }, + { + "epoch": 0.1, + "learning_rate": 1.9526567702642e-05, + "loss": 2.5308, + "step": 2260 + }, + { + "epoch": 0.1, + "learning_rate": 1.9522209248830686e-05, + "loss": 2.564, + "step": 2270 + }, + { + "epoch": 0.1, + "learning_rate": 1.951783131564623e-05, + "loss": 2.5459, + "step": 2280 + }, + { + "epoch": 0.1, + "learning_rate": 1.9513433912044473e-05, + "loss": 2.587, + "step": 2290 + }, + { + "epoch": 0.1, + "learning_rate": 1.9509017047021085e-05, + "loss": 2.5739, + "step": 2300 + }, + { + "epoch": 0.1, + "learning_rate": 1.950458072961155e-05, + "loss": 2.5777, + "step": 2310 + }, + { + "epoch": 0.11, + "learning_rate": 1.950012496889114e-05, + "loss": 2.5725, + "step": 2320 + }, + { + "epoch": 0.11, + "learning_rate": 1.9495649773974913e-05, + "loss": 2.5745, + "step": 2330 + }, + { + "epoch": 0.11, + "learning_rate": 1.9491155154017675e-05, + "loss": 2.5686, + "step": 2340 + }, + { + "epoch": 0.11, + "learning_rate": 1.948664111821397e-05, + "loss": 2.5904, + "step": 2350 + }, + { + "epoch": 0.11, + "learning_rate": 1.948210767579806e-05, + "loss": 2.5503, + "step": 2360 + }, + { + "epoch": 0.11, + "learning_rate": 1.9477554836043907e-05, + "loss": 2.5743, + "step": 2370 + }, + { + "epoch": 0.11, + "learning_rate": 1.947298260826516e-05, + "loss": 2.5746, + "step": 2380 + }, + { + "epoch": 0.11, + "learning_rate": 1.946839100181512e-05, + "loss": 2.5761, + "step": 2390 + }, + { + "epoch": 0.11, + "learning_rate": 1.9463780026086735e-05, + "loss": 2.5883, + "step": 2400 + }, + { + "epoch": 0.11, + "learning_rate": 1.945914969051258e-05, + "loss": 2.5673, + "step": 2410 + }, + { + "epoch": 0.11, + "learning_rate": 1.9454500004564825e-05, + "loss": 2.5564, + "step": 2420 + }, + { + "epoch": 0.11, + "learning_rate": 1.9449830977755234e-05, + "loss": 2.5568, + "step": 2430 + }, + { + "epoch": 0.11, + "learning_rate": 1.9445142619635127e-05, + "loss": 2.5582, + "step": 2440 + }, + { + "epoch": 0.11, + "learning_rate": 1.9440434939795382e-05, + "loss": 2.5595, + "step": 2450 + }, + { + "epoch": 0.11, + "learning_rate": 1.943570794786639e-05, + "loss": 2.5521, + "step": 2460 + }, + { + "epoch": 0.11, + "learning_rate": 1.9430961653518056e-05, + "loss": 2.5493, + "step": 2470 + }, + { + "epoch": 0.11, + "learning_rate": 1.9426196066459766e-05, + "loss": 2.5564, + "step": 2480 + }, + { + "epoch": 0.11, + "learning_rate": 1.942141119644038e-05, + "loss": 2.5652, + "step": 2490 + }, + { + "epoch": 0.11, + "learning_rate": 1.9416607053248203e-05, + "loss": 2.5486, + "step": 2500 + }, + { + "epoch": 0.11, + "learning_rate": 1.941178364671096e-05, + "loss": 2.5633, + "step": 2510 + }, + { + "epoch": 0.11, + "learning_rate": 1.940694098669579e-05, + "loss": 2.5736, + "step": 2520 + }, + { + "epoch": 0.11, + "learning_rate": 1.9402079083109217e-05, + "loss": 2.5312, + "step": 2530 + }, + { + "epoch": 0.12, + "learning_rate": 1.939719794589712e-05, + "loss": 2.5523, + "step": 2540 + }, + { + "epoch": 0.12, + "learning_rate": 1.9392297585044748e-05, + "loss": 2.5435, + "step": 2550 + }, + { + "epoch": 0.12, + "learning_rate": 1.9387378010576653e-05, + "loss": 2.5447, + "step": 2560 + }, + { + "epoch": 0.12, + "learning_rate": 1.9382439232556696e-05, + "loss": 2.5613, + "step": 2570 + }, + { + "epoch": 0.12, + "learning_rate": 1.9377481261088036e-05, + "loss": 2.5827, + "step": 2580 + }, + { + "epoch": 0.12, + "learning_rate": 1.937250410631308e-05, + "loss": 2.5472, + "step": 2590 + }, + { + "epoch": 0.12, + "learning_rate": 1.9367507778413483e-05, + "loss": 2.5242, + "step": 2600 + }, + { + "epoch": 0.12, + "learning_rate": 1.9362492287610126e-05, + "loss": 2.5497, + "step": 2610 + }, + { + "epoch": 0.12, + "learning_rate": 1.9357457644163086e-05, + "loss": 2.5683, + "step": 2620 + }, + { + "epoch": 0.12, + "learning_rate": 1.9352403858371618e-05, + "loss": 2.5524, + "step": 2630 + }, + { + "epoch": 0.12, + "learning_rate": 1.9347330940574145e-05, + "loss": 2.5521, + "step": 2640 + }, + { + "epoch": 0.12, + "learning_rate": 1.9342238901148222e-05, + "loss": 2.5512, + "step": 2650 + }, + { + "epoch": 0.12, + "learning_rate": 1.933712775051052e-05, + "loss": 2.5571, + "step": 2660 + }, + { + "epoch": 0.12, + "learning_rate": 1.933199749911681e-05, + "loss": 2.5624, + "step": 2670 + }, + { + "epoch": 0.12, + "learning_rate": 1.932684815746193e-05, + "loss": 2.5375, + "step": 2680 + }, + { + "epoch": 0.12, + "learning_rate": 1.9321679736079777e-05, + "loss": 2.5468, + "step": 2690 + }, + { + "epoch": 0.12, + "learning_rate": 1.9316492245543276e-05, + "loss": 2.5677, + "step": 2700 + }, + { + "epoch": 0.12, + "learning_rate": 1.9311285696464362e-05, + "loss": 2.5439, + "step": 2710 + }, + { + "epoch": 0.12, + "learning_rate": 1.9306060099493956e-05, + "loss": 2.5453, + "step": 2720 + }, + { + "epoch": 0.12, + "learning_rate": 1.930081546532195e-05, + "loss": 2.5596, + "step": 2730 + }, + { + "epoch": 0.12, + "learning_rate": 1.929555180467717e-05, + "loss": 2.5487, + "step": 2740 + }, + { + "epoch": 0.12, + "learning_rate": 1.9290269128327374e-05, + "loss": 2.567, + "step": 2750 + }, + { + "epoch": 0.13, + "learning_rate": 1.9284967447079218e-05, + "loss": 2.5375, + "step": 2760 + }, + { + "epoch": 0.13, + "learning_rate": 1.9279646771778234e-05, + "loss": 2.5614, + "step": 2770 + }, + { + "epoch": 0.13, + "learning_rate": 1.927430711330881e-05, + "loss": 2.5561, + "step": 2780 + }, + { + "epoch": 0.13, + "learning_rate": 1.926894848259416e-05, + "loss": 2.557, + "step": 2790 + }, + { + "epoch": 0.13, + "learning_rate": 1.9263570890596327e-05, + "loss": 2.5625, + "step": 2800 + }, + { + "epoch": 0.13, + "learning_rate": 1.9258174348316126e-05, + "loss": 2.514, + "step": 2810 + }, + { + "epoch": 0.13, + "learning_rate": 1.925275886679315e-05, + "loss": 2.5545, + "step": 2820 + }, + { + "epoch": 0.13, + "learning_rate": 1.924732445710572e-05, + "loss": 2.5612, + "step": 2830 + }, + { + "epoch": 0.13, + "learning_rate": 1.92418711303709e-05, + "loss": 2.5577, + "step": 2840 + }, + { + "epoch": 0.13, + "learning_rate": 1.923639889774443e-05, + "loss": 2.516, + "step": 2850 + }, + { + "epoch": 0.13, + "learning_rate": 1.9230907770420737e-05, + "loss": 2.536, + "step": 2860 + }, + { + "epoch": 0.13, + "learning_rate": 1.9225397759632905e-05, + "loss": 2.5547, + "step": 2870 + }, + { + "epoch": 0.13, + "learning_rate": 1.9219868876652637e-05, + "loss": 2.5592, + "step": 2880 + }, + { + "epoch": 0.13, + "learning_rate": 1.9214321132790247e-05, + "loss": 2.5764, + "step": 2890 + }, + { + "epoch": 0.13, + "learning_rate": 1.9208754539394632e-05, + "loss": 2.537, + "step": 2900 + }, + { + "epoch": 0.13, + "learning_rate": 1.920316910785325e-05, + "loss": 2.5297, + "step": 2910 + }, + { + "epoch": 0.13, + "learning_rate": 1.9197564849592093e-05, + "loss": 2.5446, + "step": 2920 + }, + { + "epoch": 0.13, + "learning_rate": 1.919194177607567e-05, + "loss": 2.5511, + "step": 2930 + }, + { + "epoch": 0.13, + "learning_rate": 1.9186299898806983e-05, + "loss": 2.5469, + "step": 2940 + }, + { + "epoch": 0.13, + "learning_rate": 1.9180639229327483e-05, + "loss": 2.5429, + "step": 2950 + }, + { + "epoch": 0.13, + "learning_rate": 1.9174959779217087e-05, + "loss": 2.5394, + "step": 2960 + }, + { + "epoch": 0.13, + "learning_rate": 1.9169261560094122e-05, + "loss": 2.5503, + "step": 2970 + }, + { + "epoch": 0.14, + "learning_rate": 1.9163544583615303e-05, + "loss": 2.5425, + "step": 2980 + }, + { + "epoch": 0.14, + "learning_rate": 1.9157808861475723e-05, + "loss": 2.5261, + "step": 2990 + }, + { + "epoch": 0.14, + "learning_rate": 1.9152054405408823e-05, + "loss": 2.5452, + "step": 3000 + }, + { + "epoch": 0.14, + "learning_rate": 1.914628122718637e-05, + "loss": 2.5342, + "step": 3010 + }, + { + "epoch": 0.14, + "learning_rate": 1.9140489338618423e-05, + "loss": 2.5413, + "step": 3020 + }, + { + "epoch": 0.14, + "learning_rate": 1.9134678751553325e-05, + "loss": 2.5623, + "step": 3030 + }, + { + "epoch": 0.14, + "learning_rate": 1.912884947787766e-05, + "loss": 2.5459, + "step": 3040 + }, + { + "epoch": 0.14, + "learning_rate": 1.9123001529516246e-05, + "loss": 2.524, + "step": 3050 + }, + { + "epoch": 0.14, + "learning_rate": 1.9117134918432106e-05, + "loss": 2.5516, + "step": 3060 + }, + { + "epoch": 0.14, + "learning_rate": 1.911124965662643e-05, + "loss": 2.5663, + "step": 3070 + }, + { + "epoch": 0.14, + "learning_rate": 1.9105345756138575e-05, + "loss": 2.5605, + "step": 3080 + }, + { + "epoch": 0.14, + "learning_rate": 1.9099423229046015e-05, + "loss": 2.5279, + "step": 3090 + }, + { + "epoch": 0.14, + "learning_rate": 1.909348208746433e-05, + "loss": 2.5512, + "step": 3100 + }, + { + "epoch": 0.14, + "learning_rate": 1.9087522343547195e-05, + "loss": 2.523, + "step": 3110 + }, + { + "epoch": 0.14, + "learning_rate": 1.9081544009486316e-05, + "loss": 2.5283, + "step": 3120 + }, + { + "epoch": 0.14, + "learning_rate": 1.9075547097511435e-05, + "loss": 2.5236, + "step": 3130 + }, + { + "epoch": 0.14, + "learning_rate": 1.9069531619890314e-05, + "loss": 2.5417, + "step": 3140 + }, + { + "epoch": 0.14, + "learning_rate": 1.9063497588928676e-05, + "loss": 2.5548, + "step": 3150 + }, + { + "epoch": 0.14, + "learning_rate": 1.90574450169702e-05, + "loss": 2.5413, + "step": 3160 + }, + { + "epoch": 0.14, + "learning_rate": 1.905137391639651e-05, + "loss": 2.5521, + "step": 3170 + }, + { + "epoch": 0.14, + "learning_rate": 1.904528429962712e-05, + "loss": 2.5547, + "step": 3180 + }, + { + "epoch": 0.14, + "learning_rate": 1.9039176179119418e-05, + "loss": 2.528, + "step": 3190 + }, + { + "epoch": 0.15, + "learning_rate": 1.9033049567368655e-05, + "loss": 2.5322, + "step": 3200 + }, + { + "epoch": 0.15, + "learning_rate": 1.90269044769079e-05, + "loss": 2.533, + "step": 3210 + }, + { + "epoch": 0.15, + "learning_rate": 1.902074092030804e-05, + "loss": 2.5438, + "step": 3220 + }, + { + "epoch": 0.15, + "learning_rate": 1.901455891017772e-05, + "loss": 2.5053, + "step": 3230 + }, + { + "epoch": 0.15, + "learning_rate": 1.900835845916334e-05, + "loss": 2.5348, + "step": 3240 + }, + { + "epoch": 0.15, + "learning_rate": 1.900213957994903e-05, + "loss": 2.5244, + "step": 3250 + }, + { + "epoch": 0.15, + "learning_rate": 1.899590228525661e-05, + "loss": 2.5434, + "step": 3260 + }, + { + "epoch": 0.15, + "learning_rate": 1.898964658784558e-05, + "loss": 2.5258, + "step": 3270 + }, + { + "epoch": 0.15, + "learning_rate": 1.8983372500513075e-05, + "loss": 2.5363, + "step": 3280 + }, + { + "epoch": 0.15, + "learning_rate": 1.8977080036093863e-05, + "loss": 2.5525, + "step": 3290 + }, + { + "epoch": 0.15, + "learning_rate": 1.89707692074603e-05, + "loss": 2.5336, + "step": 3300 + }, + { + "epoch": 0.15, + "learning_rate": 1.8964440027522306e-05, + "loss": 2.5109, + "step": 3310 + }, + { + "epoch": 0.15, + "learning_rate": 1.8958092509227347e-05, + "loss": 2.5359, + "step": 3320 + }, + { + "epoch": 0.15, + "learning_rate": 1.8951726665560395e-05, + "loss": 2.536, + "step": 3330 + }, + { + "epoch": 0.15, + "learning_rate": 1.8945342509543923e-05, + "loss": 2.5076, + "step": 3340 + }, + { + "epoch": 0.15, + "learning_rate": 1.8938940054237856e-05, + "loss": 2.5351, + "step": 3350 + }, + { + "epoch": 0.15, + "learning_rate": 1.8932519312739554e-05, + "loss": 2.5101, + "step": 3360 + }, + { + "epoch": 0.15, + "learning_rate": 1.8926080298183784e-05, + "loss": 2.5267, + "step": 3370 + }, + { + "epoch": 0.15, + "learning_rate": 1.89196230237427e-05, + "loss": 2.5512, + "step": 3380 + }, + { + "epoch": 0.15, + "learning_rate": 1.8913147502625802e-05, + "loss": 2.5042, + "step": 3390 + }, + { + "epoch": 0.15, + "learning_rate": 1.8906653748079927e-05, + "loss": 2.5479, + "step": 3400 + }, + { + "epoch": 0.15, + "learning_rate": 1.89001417733892e-05, + "loss": 2.5267, + "step": 3410 + }, + { + "epoch": 0.15, + "learning_rate": 1.889361159187502e-05, + "loss": 2.5475, + "step": 3420 + }, + { + "epoch": 0.16, + "learning_rate": 1.8887063216896043e-05, + "loss": 2.5353, + "step": 3430 + }, + { + "epoch": 0.16, + "learning_rate": 1.8880496661848132e-05, + "loss": 2.551, + "step": 3440 + }, + { + "epoch": 0.16, + "learning_rate": 1.8873911940164344e-05, + "loss": 2.5408, + "step": 3450 + }, + { + "epoch": 0.16, + "learning_rate": 1.88673090653149e-05, + "loss": 2.528, + "step": 3460 + }, + { + "epoch": 0.16, + "learning_rate": 1.886068805080715e-05, + "loss": 2.5241, + "step": 3470 + }, + { + "epoch": 0.16, + "learning_rate": 1.885404891018556e-05, + "loss": 2.5586, + "step": 3480 + }, + { + "epoch": 0.16, + "learning_rate": 1.8847391657031674e-05, + "loss": 2.5153, + "step": 3490 + }, + { + "epoch": 0.16, + "learning_rate": 1.884071630496409e-05, + "loss": 2.5022, + "step": 3500 + }, + { + "epoch": 0.16, + "learning_rate": 1.8834022867638423e-05, + "loss": 2.527, + "step": 3510 + }, + { + "epoch": 0.16, + "learning_rate": 1.8827311358747295e-05, + "loss": 2.512, + "step": 3520 + }, + { + "epoch": 0.16, + "learning_rate": 1.882058179202029e-05, + "loss": 2.5374, + "step": 3530 + }, + { + "epoch": 0.16, + "learning_rate": 1.8813834181223935e-05, + "loss": 2.5514, + "step": 3540 + }, + { + "epoch": 0.16, + "learning_rate": 1.880706854016166e-05, + "loss": 2.5169, + "step": 3550 + }, + { + "epoch": 0.16, + "learning_rate": 1.88002848826738e-05, + "loss": 2.4966, + "step": 3560 + }, + { + "epoch": 0.16, + "learning_rate": 1.8793483222637524e-05, + "loss": 2.5155, + "step": 3570 + }, + { + "epoch": 0.16, + "learning_rate": 1.8786663573966845e-05, + "loss": 2.509, + "step": 3580 + }, + { + "epoch": 0.16, + "learning_rate": 1.877982595061256e-05, + "loss": 2.5304, + "step": 3590 + }, + { + "epoch": 0.16, + "learning_rate": 1.877297036656225e-05, + "loss": 2.5268, + "step": 3600 + }, + { + "epoch": 0.16, + "learning_rate": 1.8766096835840226e-05, + "loss": 2.5605, + "step": 3610 + }, + { + "epoch": 0.16, + "learning_rate": 1.8759205372507528e-05, + "loss": 2.5112, + "step": 3620 + }, + { + "epoch": 0.16, + "learning_rate": 1.8752295990661857e-05, + "loss": 2.5627, + "step": 3630 + }, + { + "epoch": 0.16, + "learning_rate": 1.8745368704437594e-05, + "loss": 2.5212, + "step": 3640 + }, + { + "epoch": 0.17, + "learning_rate": 1.8738423528005733e-05, + "loss": 2.5379, + "step": 3650 + }, + { + "epoch": 0.17, + "learning_rate": 1.8731460475573864e-05, + "loss": 2.5574, + "step": 3660 + }, + { + "epoch": 0.17, + "learning_rate": 1.8724479561386152e-05, + "loss": 2.5381, + "step": 3670 + }, + { + "epoch": 0.17, + "learning_rate": 1.87174807997233e-05, + "loss": 2.5339, + "step": 3680 + }, + { + "epoch": 0.17, + "learning_rate": 1.871046420490252e-05, + "loss": 2.5476, + "step": 3690 + }, + { + "epoch": 0.17, + "learning_rate": 1.8703429791277502e-05, + "loss": 2.5304, + "step": 3700 + }, + { + "epoch": 0.17, + "learning_rate": 1.8696377573238393e-05, + "loss": 2.5252, + "step": 3710 + }, + { + "epoch": 0.17, + "learning_rate": 1.8689307565211757e-05, + "loss": 2.5276, + "step": 3720 + }, + { + "epoch": 0.17, + "learning_rate": 1.868221978166056e-05, + "loss": 2.5171, + "step": 3730 + }, + { + "epoch": 0.17, + "learning_rate": 1.8675114237084117e-05, + "loss": 2.5023, + "step": 3740 + }, + { + "epoch": 0.17, + "learning_rate": 1.8667990946018086e-05, + "loss": 2.5093, + "step": 3750 + }, + { + "epoch": 0.17, + "learning_rate": 1.866084992303443e-05, + "loss": 2.5555, + "step": 3760 + }, + { + "epoch": 0.17, + "learning_rate": 1.8653691182741374e-05, + "loss": 2.5282, + "step": 3770 + }, + { + "epoch": 0.17, + "learning_rate": 1.8646514739783404e-05, + "loss": 2.5215, + "step": 3780 + }, + { + "epoch": 0.17, + "learning_rate": 1.863932060884121e-05, + "loss": 2.5001, + "step": 3790 + }, + { + "epoch": 0.17, + "learning_rate": 1.8632108804631653e-05, + "loss": 2.4973, + "step": 3800 + }, + { + "epoch": 0.17, + "learning_rate": 1.862487934190778e-05, + "loss": 2.5067, + "step": 3810 + }, + { + "epoch": 0.17, + "learning_rate": 1.861763223545873e-05, + "loss": 2.517, + "step": 3820 + }, + { + "epoch": 0.17, + "learning_rate": 1.8610367500109757e-05, + "loss": 2.529, + "step": 3830 + }, + { + "epoch": 0.17, + "learning_rate": 1.8603085150722165e-05, + "loss": 2.5225, + "step": 3840 + }, + { + "epoch": 0.17, + "learning_rate": 1.8595785202193295e-05, + "loss": 2.5309, + "step": 3850 + }, + { + "epoch": 0.17, + "learning_rate": 1.8588467669456494e-05, + "loss": 2.5283, + "step": 3860 + }, + { + "epoch": 0.18, + "learning_rate": 1.8581132567481075e-05, + "loss": 2.5573, + "step": 3870 + }, + { + "epoch": 0.18, + "learning_rate": 1.8573779911272293e-05, + "loss": 2.5339, + "step": 3880 + }, + { + "epoch": 0.18, + "learning_rate": 1.856640971587132e-05, + "loss": 2.5111, + "step": 3890 + }, + { + "epoch": 0.18, + "learning_rate": 1.855902199635519e-05, + "loss": 2.5247, + "step": 3900 + }, + { + "epoch": 0.18, + "learning_rate": 1.855161676783681e-05, + "loss": 2.529, + "step": 3910 + }, + { + "epoch": 0.18, + "learning_rate": 1.8544194045464888e-05, + "loss": 2.5396, + "step": 3920 + }, + { + "epoch": 0.18, + "learning_rate": 1.8536753844423923e-05, + "loss": 2.5122, + "step": 3930 + }, + { + "epoch": 0.18, + "learning_rate": 1.8529296179934167e-05, + "loss": 2.5119, + "step": 3940 + }, + { + "epoch": 0.18, + "learning_rate": 1.8521821067251604e-05, + "loss": 2.5135, + "step": 3950 + }, + { + "epoch": 0.18, + "learning_rate": 1.8514328521667904e-05, + "loss": 2.5477, + "step": 3960 + }, + { + "epoch": 0.18, + "learning_rate": 1.8506818558510404e-05, + "loss": 2.5173, + "step": 3970 + }, + { + "epoch": 0.18, + "learning_rate": 1.8499291193142072e-05, + "loss": 2.5303, + "step": 3980 + }, + { + "epoch": 0.18, + "learning_rate": 1.8491746440961463e-05, + "loss": 2.5448, + "step": 3990 + }, + { + "epoch": 0.18, + "learning_rate": 1.8484184317402725e-05, + "loss": 2.5355, + "step": 4000 + }, + { + "epoch": 0.18, + "eval_accuracy": 0.5364902773874621, + "eval_loss": 2.274355888366699, + "eval_runtime": 9.8852, + "eval_samples_per_second": 138.288, + "eval_steps_per_second": 1.113, + "step": 4000 + }, + { + "epoch": 0.18, + "learning_rate": 1.8476604837935515e-05, + "loss": 2.5192, + "step": 4010 + }, + { + "epoch": 0.18, + "learning_rate": 1.846900801806501e-05, + "loss": 2.5216, + "step": 4020 + }, + { + "epoch": 0.18, + "learning_rate": 1.846139387333186e-05, + "loss": 2.5109, + "step": 4030 + }, + { + "epoch": 0.18, + "learning_rate": 1.845376241931215e-05, + "loss": 2.492, + "step": 4040 + }, + { + "epoch": 0.18, + "learning_rate": 1.8446113671617376e-05, + "loss": 2.4837, + "step": 4050 + }, + { + "epoch": 0.18, + "learning_rate": 1.843844764589441e-05, + "loss": 2.5299, + "step": 4060 + }, + { + "epoch": 0.18, + "learning_rate": 1.8430764357825482e-05, + "loss": 2.5008, + "step": 4070 + }, + { + "epoch": 0.18, + "learning_rate": 1.842306382312811e-05, + "loss": 2.4974, + "step": 4080 + }, + { + "epoch": 0.19, + "learning_rate": 1.8415346057555122e-05, + "loss": 2.5336, + "step": 4090 + }, + { + "epoch": 0.19, + "learning_rate": 1.8407611076894572e-05, + "loss": 2.524, + "step": 4100 + }, + { + "epoch": 0.19, + "learning_rate": 1.839985889696974e-05, + "loss": 2.5193, + "step": 4110 + }, + { + "epoch": 0.19, + "learning_rate": 1.839208953363909e-05, + "loss": 2.4849, + "step": 4120 + }, + { + "epoch": 0.19, + "learning_rate": 1.8384303002796236e-05, + "loss": 2.5555, + "step": 4130 + }, + { + "epoch": 0.19, + "learning_rate": 1.8376499320369917e-05, + "loss": 2.5041, + "step": 4140 + }, + { + "epoch": 0.19, + "learning_rate": 1.8368678502323947e-05, + "loss": 2.4856, + "step": 4150 + }, + { + "epoch": 0.19, + "learning_rate": 1.8360840564657202e-05, + "loss": 2.5083, + "step": 4160 + }, + { + "epoch": 0.19, + "learning_rate": 1.8352985523403584e-05, + "loss": 2.5207, + "step": 4170 + }, + { + "epoch": 0.19, + "learning_rate": 1.8345113394631973e-05, + "loss": 2.5169, + "step": 4180 + }, + { + "epoch": 0.19, + "learning_rate": 1.8337224194446205e-05, + "loss": 2.5269, + "step": 4190 + }, + { + "epoch": 0.19, + "learning_rate": 1.8329317938985052e-05, + "loss": 2.5056, + "step": 4200 + }, + { + "epoch": 0.19, + "learning_rate": 1.8321394644422155e-05, + "loss": 2.5142, + "step": 4210 + }, + { + "epoch": 0.19, + "learning_rate": 1.8313454326966035e-05, + "loss": 2.5418, + "step": 4220 + }, + { + "epoch": 0.19, + "learning_rate": 1.8305497002860015e-05, + "loss": 2.5119, + "step": 4230 + }, + { + "epoch": 0.19, + "learning_rate": 1.829752268838222e-05, + "loss": 2.5243, + "step": 4240 + }, + { + "epoch": 0.19, + "learning_rate": 1.8289531399845528e-05, + "loss": 2.4917, + "step": 4250 + }, + { + "epoch": 0.19, + "learning_rate": 1.8281523153597543e-05, + "loss": 2.4768, + "step": 4260 + }, + { + "epoch": 0.19, + "learning_rate": 1.8273497966020553e-05, + "loss": 2.4815, + "step": 4270 + }, + { + "epoch": 0.19, + "learning_rate": 1.8265455853531516e-05, + "loss": 2.5219, + "step": 4280 + }, + { + "epoch": 0.19, + "learning_rate": 1.8257396832581997e-05, + "loss": 2.4825, + "step": 4290 + }, + { + "epoch": 0.19, + "learning_rate": 1.8249320919658158e-05, + "loss": 2.5093, + "step": 4300 + }, + { + "epoch": 0.2, + "learning_rate": 1.8241228131280716e-05, + "loss": 2.5584, + "step": 4310 + }, + { + "epoch": 0.2, + "learning_rate": 1.823311848400491e-05, + "loss": 2.5098, + "step": 4320 + }, + { + "epoch": 0.2, + "learning_rate": 1.8224991994420466e-05, + "loss": 2.5519, + "step": 4330 + }, + { + "epoch": 0.2, + "learning_rate": 1.8216848679151565e-05, + "loss": 2.4879, + "step": 4340 + }, + { + "epoch": 0.2, + "learning_rate": 1.820868855485681e-05, + "loss": 2.5185, + "step": 4350 + }, + { + "epoch": 0.2, + "learning_rate": 1.8200511638229178e-05, + "loss": 2.5258, + "step": 4360 + }, + { + "epoch": 0.2, + "learning_rate": 1.8192317945996016e-05, + "loss": 2.5009, + "step": 4370 + }, + { + "epoch": 0.2, + "learning_rate": 1.8184107494918976e-05, + "loss": 2.517, + "step": 4380 + }, + { + "epoch": 0.2, + "learning_rate": 1.8175880301793995e-05, + "loss": 2.4987, + "step": 4390 + }, + { + "epoch": 0.2, + "learning_rate": 1.816763638345126e-05, + "loss": 2.498, + "step": 4400 + }, + { + "epoch": 0.2, + "learning_rate": 1.815937575675518e-05, + "loss": 2.5115, + "step": 4410 + }, + { + "epoch": 0.2, + "learning_rate": 1.8151098438604323e-05, + "loss": 2.5069, + "step": 4420 + }, + { + "epoch": 0.2, + "learning_rate": 1.8142804445931425e-05, + "loss": 2.5153, + "step": 4430 + }, + { + "epoch": 0.2, + "learning_rate": 1.8134493795703325e-05, + "loss": 2.5119, + "step": 4440 + }, + { + "epoch": 0.2, + "learning_rate": 1.812616650492093e-05, + "loss": 2.5026, + "step": 4450 + }, + { + "epoch": 0.2, + "learning_rate": 1.81178225906192e-05, + "loss": 2.5119, + "step": 4460 + }, + { + "epoch": 0.2, + "learning_rate": 1.81094620698671e-05, + "loss": 2.5089, + "step": 4470 + }, + { + "epoch": 0.2, + "learning_rate": 1.810108495976755e-05, + "loss": 2.527, + "step": 4480 + }, + { + "epoch": 0.2, + "learning_rate": 1.8092691277457432e-05, + "loss": 2.4969, + "step": 4490 + }, + { + "epoch": 0.2, + "learning_rate": 1.8084281040107505e-05, + "loss": 2.5204, + "step": 4500 + }, + { + "epoch": 0.2, + "learning_rate": 1.8075854264922417e-05, + "loss": 2.5072, + "step": 4510 + }, + { + "epoch": 0.2, + "learning_rate": 1.8067410969140627e-05, + "loss": 2.524, + "step": 4520 + }, + { + "epoch": 0.21, + "learning_rate": 1.8058951170034407e-05, + "loss": 2.5161, + "step": 4530 + }, + { + "epoch": 0.21, + "learning_rate": 1.8050474884909772e-05, + "loss": 2.5365, + "step": 4540 + }, + { + "epoch": 0.21, + "learning_rate": 1.804198213110648e-05, + "loss": 2.4983, + "step": 4550 + }, + { + "epoch": 0.21, + "learning_rate": 1.8033472925997963e-05, + "loss": 2.498, + "step": 4560 + }, + { + "epoch": 0.21, + "learning_rate": 1.8024947286991316e-05, + "loss": 2.4998, + "step": 4570 + }, + { + "epoch": 0.21, + "learning_rate": 1.8016405231527253e-05, + "loss": 2.4966, + "step": 4580 + }, + { + "epoch": 0.21, + "learning_rate": 1.8007846777080064e-05, + "loss": 2.5147, + "step": 4590 + }, + { + "epoch": 0.21, + "learning_rate": 1.7999271941157596e-05, + "loss": 2.5035, + "step": 4600 + }, + { + "epoch": 0.21, + "learning_rate": 1.7990680741301195e-05, + "loss": 2.499, + "step": 4610 + }, + { + "epoch": 0.21, + "learning_rate": 1.7982073195085692e-05, + "loss": 2.4885, + "step": 4620 + }, + { + "epoch": 0.21, + "learning_rate": 1.7973449320119355e-05, + "loss": 2.5061, + "step": 4630 + }, + { + "epoch": 0.21, + "learning_rate": 1.796480913404385e-05, + "loss": 2.4925, + "step": 4640 + }, + { + "epoch": 0.21, + "learning_rate": 1.795615265453422e-05, + "loss": 2.4839, + "step": 4650 + }, + { + "epoch": 0.21, + "learning_rate": 1.7947479899298837e-05, + "loss": 2.5002, + "step": 4660 + }, + { + "epoch": 0.21, + "learning_rate": 1.7938790886079355e-05, + "loss": 2.5347, + "step": 4670 + }, + { + "epoch": 0.21, + "learning_rate": 1.7930085632650706e-05, + "loss": 2.5222, + "step": 4680 + }, + { + "epoch": 0.21, + "learning_rate": 1.7921364156821024e-05, + "loss": 2.5128, + "step": 4690 + }, + { + "epoch": 0.21, + "learning_rate": 1.7912626476431648e-05, + "loss": 2.5115, + "step": 4700 + }, + { + "epoch": 0.21, + "learning_rate": 1.7903872609357057e-05, + "loss": 2.5147, + "step": 4710 + }, + { + "epoch": 0.21, + "learning_rate": 1.7895102573504843e-05, + "loss": 2.5246, + "step": 4720 + }, + { + "epoch": 0.21, + "learning_rate": 1.788631638681567e-05, + "loss": 2.5282, + "step": 4730 + }, + { + "epoch": 0.21, + "learning_rate": 1.787751406726325e-05, + "loss": 2.4971, + "step": 4740 + }, + { + "epoch": 0.22, + "learning_rate": 1.7868695632854294e-05, + "loss": 2.4834, + "step": 4750 + }, + { + "epoch": 0.22, + "learning_rate": 1.785986110162848e-05, + "loss": 2.4973, + "step": 4760 + }, + { + "epoch": 0.22, + "learning_rate": 1.785101049165841e-05, + "loss": 2.5288, + "step": 4770 + }, + { + "epoch": 0.22, + "learning_rate": 1.784214382104958e-05, + "loss": 2.4988, + "step": 4780 + }, + { + "epoch": 0.22, + "learning_rate": 1.7833261107940347e-05, + "loss": 2.4955, + "step": 4790 + }, + { + "epoch": 0.22, + "learning_rate": 1.782436237050188e-05, + "loss": 2.5097, + "step": 4800 + }, + { + "epoch": 0.22, + "learning_rate": 1.7815447626938125e-05, + "loss": 2.5047, + "step": 4810 + }, + { + "epoch": 0.22, + "learning_rate": 1.780651689548578e-05, + "loss": 2.512, + "step": 4820 + }, + { + "epoch": 0.22, + "learning_rate": 1.7797570194414246e-05, + "loss": 2.4946, + "step": 4830 + }, + { + "epoch": 0.22, + "learning_rate": 1.7788607542025592e-05, + "loss": 2.476, + "step": 4840 + }, + { + "epoch": 0.22, + "learning_rate": 1.7779628956654513e-05, + "loss": 2.5146, + "step": 4850 + }, + { + "epoch": 0.22, + "learning_rate": 1.777063445666831e-05, + "loss": 2.5086, + "step": 4860 + }, + { + "epoch": 0.22, + "learning_rate": 1.7761624060466824e-05, + "loss": 2.4862, + "step": 4870 + }, + { + "epoch": 0.22, + "learning_rate": 1.775259778648243e-05, + "loss": 2.5173, + "step": 4880 + }, + { + "epoch": 0.22, + "learning_rate": 1.7743555653179978e-05, + "loss": 2.5241, + "step": 4890 + }, + { + "epoch": 0.22, + "learning_rate": 1.773449767905676e-05, + "loss": 2.5003, + "step": 4900 + }, + { + "epoch": 0.22, + "learning_rate": 1.7725423882642467e-05, + "loss": 2.5295, + "step": 4910 + }, + { + "epoch": 0.22, + "learning_rate": 1.771633428249917e-05, + "loss": 2.4967, + "step": 4920 + }, + { + "epoch": 0.22, + "learning_rate": 1.770722889722126e-05, + "loss": 2.5178, + "step": 4930 + }, + { + "epoch": 0.22, + "learning_rate": 1.769810774543543e-05, + "loss": 2.4951, + "step": 4940 + }, + { + "epoch": 0.22, + "learning_rate": 1.768897084580061e-05, + "loss": 2.4986, + "step": 4950 + }, + { + "epoch": 0.22, + "learning_rate": 1.767981821700796e-05, + "loss": 2.5109, + "step": 4960 + }, + { + "epoch": 0.23, + "learning_rate": 1.7670649877780803e-05, + "loss": 2.5234, + "step": 4970 + }, + { + "epoch": 0.23, + "learning_rate": 1.7661465846874618e-05, + "loss": 2.5029, + "step": 4980 + }, + { + "epoch": 0.23, + "learning_rate": 1.7652266143076964e-05, + "loss": 2.5181, + "step": 4990 + }, + { + "epoch": 0.23, + "learning_rate": 1.7643050785207478e-05, + "loss": 2.5092, + "step": 5000 + }, + { + "epoch": 0.23, + "learning_rate": 1.7633819792117815e-05, + "loss": 2.5061, + "step": 5010 + }, + { + "epoch": 0.23, + "learning_rate": 1.762457318269161e-05, + "loss": 2.5022, + "step": 5020 + }, + { + "epoch": 0.23, + "learning_rate": 1.7615310975844447e-05, + "loss": 2.5213, + "step": 5030 + }, + { + "epoch": 0.23, + "learning_rate": 1.7606033190523823e-05, + "loss": 2.507, + "step": 5040 + }, + { + "epoch": 0.23, + "learning_rate": 1.7596739845709096e-05, + "loss": 2.519, + "step": 5050 + }, + { + "epoch": 0.23, + "learning_rate": 1.7587430960411454e-05, + "loss": 2.5171, + "step": 5060 + }, + { + "epoch": 0.23, + "learning_rate": 1.757810655367388e-05, + "loss": 2.5059, + "step": 5070 + }, + { + "epoch": 0.23, + "learning_rate": 1.7568766644571108e-05, + "loss": 2.5114, + "step": 5080 + }, + { + "epoch": 0.23, + "learning_rate": 1.7559411252209583e-05, + "loss": 2.5041, + "step": 5090 + }, + { + "epoch": 0.23, + "learning_rate": 1.7550040395727422e-05, + "loss": 2.4847, + "step": 5100 + }, + { + "epoch": 0.23, + "learning_rate": 1.754065409429438e-05, + "loss": 2.5067, + "step": 5110 + }, + { + "epoch": 0.23, + "learning_rate": 1.7531252367111812e-05, + "loss": 2.4977, + "step": 5120 + }, + { + "epoch": 0.23, + "learning_rate": 1.752183523341262e-05, + "loss": 2.4925, + "step": 5130 + }, + { + "epoch": 0.23, + "learning_rate": 1.7512402712461222e-05, + "loss": 2.5229, + "step": 5140 + }, + { + "epoch": 0.23, + "learning_rate": 1.7502954823553522e-05, + "loss": 2.4954, + "step": 5150 + }, + { + "epoch": 0.23, + "learning_rate": 1.749349158601686e-05, + "loss": 2.4876, + "step": 5160 + }, + { + "epoch": 0.23, + "learning_rate": 1.7484013019209968e-05, + "loss": 2.4912, + "step": 5170 + }, + { + "epoch": 0.23, + "learning_rate": 1.7474519142522938e-05, + "loss": 2.5208, + "step": 5180 + }, + { + "epoch": 0.24, + "learning_rate": 1.7465009975377193e-05, + "loss": 2.4989, + "step": 5190 + }, + { + "epoch": 0.24, + "learning_rate": 1.745548553722542e-05, + "loss": 2.5165, + "step": 5200 + }, + { + "epoch": 0.24, + "learning_rate": 1.7445945847551553e-05, + "loss": 2.4886, + "step": 5210 + }, + { + "epoch": 0.24, + "learning_rate": 1.7436390925870722e-05, + "loss": 2.4798, + "step": 5220 + }, + { + "epoch": 0.24, + "learning_rate": 1.7426820791729223e-05, + "loss": 2.5086, + "step": 5230 + }, + { + "epoch": 0.24, + "learning_rate": 1.741723546470447e-05, + "loss": 2.4916, + "step": 5240 + }, + { + "epoch": 0.24, + "learning_rate": 1.740763496440495e-05, + "loss": 2.4957, + "step": 5250 + }, + { + "epoch": 0.24, + "learning_rate": 1.739801931047019e-05, + "loss": 2.5054, + "step": 5260 + }, + { + "epoch": 0.24, + "learning_rate": 1.7388388522570734e-05, + "loss": 2.4975, + "step": 5270 + }, + { + "epoch": 0.24, + "learning_rate": 1.737874262040806e-05, + "loss": 2.4723, + "step": 5280 + }, + { + "epoch": 0.24, + "learning_rate": 1.7369081623714582e-05, + "loss": 2.4917, + "step": 5290 + }, + { + "epoch": 0.24, + "learning_rate": 1.735940555225359e-05, + "loss": 2.5188, + "step": 5300 + }, + { + "epoch": 0.24, + "learning_rate": 1.7349714425819203e-05, + "loss": 2.5201, + "step": 5310 + }, + { + "epoch": 0.24, + "learning_rate": 1.7340008264236355e-05, + "loss": 2.4911, + "step": 5320 + }, + { + "epoch": 0.24, + "learning_rate": 1.7330287087360712e-05, + "loss": 2.5128, + "step": 5330 + }, + { + "epoch": 0.24, + "learning_rate": 1.7320550915078683e-05, + "loss": 2.4931, + "step": 5340 + }, + { + "epoch": 0.24, + "learning_rate": 1.7310799767307337e-05, + "loss": 2.4939, + "step": 5350 + }, + { + "epoch": 0.24, + "learning_rate": 1.730103366399438e-05, + "loss": 2.5136, + "step": 5360 + }, + { + "epoch": 0.24, + "learning_rate": 1.729125262511811e-05, + "loss": 2.5051, + "step": 5370 + }, + { + "epoch": 0.24, + "learning_rate": 1.728145667068739e-05, + "loss": 2.5114, + "step": 5380 + }, + { + "epoch": 0.24, + "learning_rate": 1.7271645820741586e-05, + "loss": 2.466, + "step": 5390 + }, + { + "epoch": 0.24, + "learning_rate": 1.7261820095350535e-05, + "loss": 2.5067, + "step": 5400 + }, + { + "epoch": 0.25, + "learning_rate": 1.7251979514614504e-05, + "loss": 2.514, + "step": 5410 + }, + { + "epoch": 0.25, + "learning_rate": 1.7242124098664157e-05, + "loss": 2.4983, + "step": 5420 + }, + { + "epoch": 0.25, + "learning_rate": 1.72322538676605e-05, + "loss": 2.4783, + "step": 5430 + }, + { + "epoch": 0.25, + "learning_rate": 1.722236884179484e-05, + "loss": 2.4695, + "step": 5440 + }, + { + "epoch": 0.25, + "learning_rate": 1.7212469041288763e-05, + "loss": 2.4844, + "step": 5450 + }, + { + "epoch": 0.25, + "learning_rate": 1.7202554486394068e-05, + "loss": 2.475, + "step": 5460 + }, + { + "epoch": 0.25, + "learning_rate": 1.7192625197392745e-05, + "loss": 2.5036, + "step": 5470 + }, + { + "epoch": 0.25, + "learning_rate": 1.718268119459692e-05, + "loss": 2.534, + "step": 5480 + }, + { + "epoch": 0.25, + "learning_rate": 1.717272249834882e-05, + "loss": 2.475, + "step": 5490 + }, + { + "epoch": 0.25, + "learning_rate": 1.7162749129020728e-05, + "loss": 2.4817, + "step": 5500 + }, + { + "epoch": 0.25, + "learning_rate": 1.7152761107014945e-05, + "loss": 2.5154, + "step": 5510 + }, + { + "epoch": 0.25, + "learning_rate": 1.714275845276375e-05, + "loss": 2.4787, + "step": 5520 + }, + { + "epoch": 0.25, + "learning_rate": 1.7132741186729347e-05, + "loss": 2.5196, + "step": 5530 + }, + { + "epoch": 0.25, + "learning_rate": 1.7122709329403845e-05, + "loss": 2.5128, + "step": 5540 + }, + { + "epoch": 0.25, + "learning_rate": 1.711266290130918e-05, + "loss": 2.5025, + "step": 5550 + }, + { + "epoch": 0.25, + "learning_rate": 1.7102601922997122e-05, + "loss": 2.5246, + "step": 5560 + }, + { + "epoch": 0.25, + "learning_rate": 1.709252641504918e-05, + "loss": 2.4984, + "step": 5570 + }, + { + "epoch": 0.25, + "learning_rate": 1.7082436398076608e-05, + "loss": 2.4903, + "step": 5580 + }, + { + "epoch": 0.25, + "learning_rate": 1.7072331892720323e-05, + "loss": 2.4873, + "step": 5590 + }, + { + "epoch": 0.25, + "learning_rate": 1.7062212919650895e-05, + "loss": 2.4894, + "step": 5600 + }, + { + "epoch": 0.25, + "learning_rate": 1.7052079499568477e-05, + "loss": 2.4858, + "step": 5610 + }, + { + "epoch": 0.25, + "learning_rate": 1.7041931653202788e-05, + "loss": 2.5158, + "step": 5620 + }, + { + "epoch": 0.26, + "learning_rate": 1.703176940131305e-05, + "loss": 2.4952, + "step": 5630 + }, + { + "epoch": 0.26, + "learning_rate": 1.702159276468796e-05, + "loss": 2.504, + "step": 5640 + }, + { + "epoch": 0.26, + "learning_rate": 1.7011401764145637e-05, + "loss": 2.4712, + "step": 5650 + }, + { + "epoch": 0.26, + "learning_rate": 1.7001196420533584e-05, + "loss": 2.503, + "step": 5660 + }, + { + "epoch": 0.26, + "learning_rate": 1.699097675472865e-05, + "loss": 2.4978, + "step": 5670 + }, + { + "epoch": 0.26, + "learning_rate": 1.6980742787636977e-05, + "loss": 2.5121, + "step": 5680 + }, + { + "epoch": 0.26, + "learning_rate": 1.697049454019397e-05, + "loss": 2.5233, + "step": 5690 + }, + { + "epoch": 0.26, + "learning_rate": 1.696023203336424e-05, + "loss": 2.5124, + "step": 5700 + }, + { + "epoch": 0.26, + "learning_rate": 1.6949955288141566e-05, + "loss": 2.5144, + "step": 5710 + }, + { + "epoch": 0.26, + "learning_rate": 1.6939664325548868e-05, + "loss": 2.4903, + "step": 5720 + }, + { + "epoch": 0.26, + "learning_rate": 1.6929359166638132e-05, + "loss": 2.4857, + "step": 5730 + }, + { + "epoch": 0.26, + "learning_rate": 1.69190398324904e-05, + "loss": 2.5045, + "step": 5740 + }, + { + "epoch": 0.26, + "learning_rate": 1.69087063442157e-05, + "loss": 2.4727, + "step": 5750 + }, + { + "epoch": 0.26, + "learning_rate": 1.6898358722953028e-05, + "loss": 2.4956, + "step": 5760 + }, + { + "epoch": 0.26, + "learning_rate": 1.688799698987028e-05, + "loss": 2.4701, + "step": 5770 + }, + { + "epoch": 0.26, + "learning_rate": 1.6877621166164222e-05, + "loss": 2.5074, + "step": 5780 + }, + { + "epoch": 0.26, + "learning_rate": 1.6867231273060452e-05, + "loss": 2.4902, + "step": 5790 + }, + { + "epoch": 0.26, + "learning_rate": 1.6856827331813344e-05, + "loss": 2.5153, + "step": 5800 + }, + { + "epoch": 0.26, + "learning_rate": 1.684640936370601e-05, + "loss": 2.5026, + "step": 5810 + }, + { + "epoch": 0.26, + "learning_rate": 1.6835977390050256e-05, + "loss": 2.4931, + "step": 5820 + }, + { + "epoch": 0.26, + "learning_rate": 1.6825531432186545e-05, + "loss": 2.5182, + "step": 5830 + }, + { + "epoch": 0.26, + "learning_rate": 1.6815071511483933e-05, + "loss": 2.4823, + "step": 5840 + }, + { + "epoch": 0.27, + "learning_rate": 1.680459764934006e-05, + "loss": 2.5198, + "step": 5850 + }, + { + "epoch": 0.27, + "learning_rate": 1.6794109867181066e-05, + "loss": 2.4722, + "step": 5860 + }, + { + "epoch": 0.27, + "learning_rate": 1.6783608186461576e-05, + "loss": 2.4904, + "step": 5870 + }, + { + "epoch": 0.27, + "learning_rate": 1.6773092628664654e-05, + "loss": 2.4845, + "step": 5880 + }, + { + "epoch": 0.27, + "learning_rate": 1.6762563215301735e-05, + "loss": 2.5111, + "step": 5890 + }, + { + "epoch": 0.27, + "learning_rate": 1.6752019967912613e-05, + "loss": 2.4876, + "step": 5900 + }, + { + "epoch": 0.27, + "learning_rate": 1.6741462908065373e-05, + "loss": 2.5221, + "step": 5910 + }, + { + "epoch": 0.27, + "learning_rate": 1.6730892057356363e-05, + "loss": 2.518, + "step": 5920 + }, + { + "epoch": 0.27, + "learning_rate": 1.6720307437410134e-05, + "loss": 2.4853, + "step": 5930 + }, + { + "epoch": 0.27, + "learning_rate": 1.6709709069879413e-05, + "loss": 2.5022, + "step": 5940 + }, + { + "epoch": 0.27, + "learning_rate": 1.6699096976445046e-05, + "loss": 2.5092, + "step": 5950 + }, + { + "epoch": 0.27, + "learning_rate": 1.668847117881596e-05, + "loss": 2.4856, + "step": 5960 + }, + { + "epoch": 0.27, + "learning_rate": 1.6677831698729106e-05, + "loss": 2.5005, + "step": 5970 + }, + { + "epoch": 0.27, + "learning_rate": 1.666717855794944e-05, + "loss": 2.5036, + "step": 5980 + }, + { + "epoch": 0.27, + "learning_rate": 1.6656511778269856e-05, + "loss": 2.4962, + "step": 5990 + }, + { + "epoch": 0.27, + "learning_rate": 1.664583138151115e-05, + "loss": 2.5063, + "step": 6000 + }, + { + "epoch": 0.27, + "eval_accuracy": 0.539072438522612, + "eval_loss": 2.253763437271118, + "eval_runtime": 9.8813, + "eval_samples_per_second": 138.342, + "eval_steps_per_second": 1.113, + "step": 6000 + }, + { + "epoch": 0.27, + "learning_rate": 1.663513738952198e-05, + "loss": 2.4694, + "step": 6010 + }, + { + "epoch": 0.27, + "learning_rate": 1.6624429824178794e-05, + "loss": 2.4673, + "step": 6020 + }, + { + "epoch": 0.27, + "learning_rate": 1.6613708707385832e-05, + "loss": 2.4789, + "step": 6030 + }, + { + "epoch": 0.27, + "learning_rate": 1.660297406107505e-05, + "loss": 2.495, + "step": 6040 + }, + { + "epoch": 0.27, + "learning_rate": 1.6592225907206065e-05, + "loss": 2.4933, + "step": 6050 + }, + { + "epoch": 0.27, + "learning_rate": 1.6581464267766144e-05, + "loss": 2.4915, + "step": 6060 + }, + { + "epoch": 0.28, + "learning_rate": 1.6570689164770138e-05, + "loss": 2.5032, + "step": 6070 + }, + { + "epoch": 0.28, + "learning_rate": 1.6559900620260435e-05, + "loss": 2.4912, + "step": 6080 + }, + { + "epoch": 0.28, + "learning_rate": 1.654909865630692e-05, + "loss": 2.5178, + "step": 6090 + }, + { + "epoch": 0.28, + "learning_rate": 1.6538283295006933e-05, + "loss": 2.4834, + "step": 6100 + }, + { + "epoch": 0.28, + "learning_rate": 1.6527454558485222e-05, + "loss": 2.4941, + "step": 6110 + }, + { + "epoch": 0.28, + "learning_rate": 1.6516612468893892e-05, + "loss": 2.5131, + "step": 6120 + }, + { + "epoch": 0.28, + "learning_rate": 1.650575704841237e-05, + "loss": 2.485, + "step": 6130 + }, + { + "epoch": 0.28, + "learning_rate": 1.6494888319247345e-05, + "loss": 2.5086, + "step": 6140 + }, + { + "epoch": 0.28, + "learning_rate": 1.648400630363274e-05, + "loss": 2.4829, + "step": 6150 + }, + { + "epoch": 0.28, + "learning_rate": 1.6473111023829646e-05, + "loss": 2.5099, + "step": 6160 + }, + { + "epoch": 0.28, + "learning_rate": 1.6462202502126307e-05, + "loss": 2.4983, + "step": 6170 + }, + { + "epoch": 0.28, + "learning_rate": 1.6451280760838036e-05, + "loss": 2.4665, + "step": 6180 + }, + { + "epoch": 0.28, + "learning_rate": 1.6440345822307204e-05, + "loss": 2.5018, + "step": 6190 + }, + { + "epoch": 0.28, + "learning_rate": 1.6429397708903172e-05, + "loss": 2.5068, + "step": 6200 + }, + { + "epoch": 0.28, + "learning_rate": 1.6418436443022254e-05, + "loss": 2.5092, + "step": 6210 + }, + { + "epoch": 0.28, + "learning_rate": 1.6407462047087667e-05, + "loss": 2.5059, + "step": 6220 + }, + { + "epoch": 0.28, + "learning_rate": 1.639647454354949e-05, + "loss": 2.4755, + "step": 6230 + }, + { + "epoch": 0.28, + "learning_rate": 1.638547395488462e-05, + "loss": 2.5195, + "step": 6240 + }, + { + "epoch": 0.28, + "learning_rate": 1.6374460303596718e-05, + "loss": 2.5125, + "step": 6250 + }, + { + "epoch": 0.28, + "learning_rate": 1.6363433612216163e-05, + "loss": 2.4828, + "step": 6260 + }, + { + "epoch": 0.28, + "learning_rate": 1.635239390330002e-05, + "loss": 2.4812, + "step": 6270 + }, + { + "epoch": 0.28, + "learning_rate": 1.6341341199431974e-05, + "loss": 2.5017, + "step": 6280 + }, + { + "epoch": 0.29, + "learning_rate": 1.6330275523222294e-05, + "loss": 2.5011, + "step": 6290 + }, + { + "epoch": 0.29, + "learning_rate": 1.6319196897307795e-05, + "loss": 2.4904, + "step": 6300 + }, + { + "epoch": 0.29, + "learning_rate": 1.6308105344351776e-05, + "loss": 2.4735, + "step": 6310 + }, + { + "epoch": 0.29, + "learning_rate": 1.6297000887043978e-05, + "loss": 2.5133, + "step": 6320 + }, + { + "epoch": 0.29, + "learning_rate": 1.6285883548100552e-05, + "loss": 2.4806, + "step": 6330 + }, + { + "epoch": 0.29, + "learning_rate": 1.6274753350263987e-05, + "loss": 2.4784, + "step": 6340 + }, + { + "epoch": 0.29, + "learning_rate": 1.6263610316303084e-05, + "loss": 2.4876, + "step": 6350 + }, + { + "epoch": 0.29, + "learning_rate": 1.62524544690129e-05, + "loss": 2.4851, + "step": 6360 + }, + { + "epoch": 0.29, + "learning_rate": 1.6241285831214707e-05, + "loss": 2.4619, + "step": 6370 + }, + { + "epoch": 0.29, + "learning_rate": 1.623010442575594e-05, + "loss": 2.4809, + "step": 6380 + }, + { + "epoch": 0.29, + "learning_rate": 1.621891027551015e-05, + "loss": 2.5083, + "step": 6390 + }, + { + "epoch": 0.29, + "learning_rate": 1.6207703403376973e-05, + "loss": 2.4874, + "step": 6400 + }, + { + "epoch": 0.29, + "learning_rate": 1.619648383228205e-05, + "loss": 2.489, + "step": 6410 + }, + { + "epoch": 0.29, + "learning_rate": 1.6185251585177013e-05, + "loss": 2.4943, + "step": 6420 + }, + { + "epoch": 0.29, + "learning_rate": 1.6174006685039425e-05, + "loss": 2.505, + "step": 6430 + }, + { + "epoch": 0.29, + "learning_rate": 1.6162749154872725e-05, + "loss": 2.4801, + "step": 6440 + }, + { + "epoch": 0.29, + "learning_rate": 1.6151479017706192e-05, + "loss": 2.5019, + "step": 6450 + }, + { + "epoch": 0.29, + "learning_rate": 1.6140196296594903e-05, + "loss": 2.508, + "step": 6460 + }, + { + "epoch": 0.29, + "learning_rate": 1.612890101461967e-05, + "loss": 2.4834, + "step": 6470 + }, + { + "epoch": 0.29, + "learning_rate": 1.6117593194886998e-05, + "loss": 2.4867, + "step": 6480 + }, + { + "epoch": 0.29, + "learning_rate": 1.6106272860529047e-05, + "loss": 2.5108, + "step": 6490 + }, + { + "epoch": 0.29, + "learning_rate": 1.6094940034703577e-05, + "loss": 2.4923, + "step": 6500 + }, + { + "epoch": 0.3, + "learning_rate": 1.6083594740593896e-05, + "loss": 2.5038, + "step": 6510 + }, + { + "epoch": 0.3, + "learning_rate": 1.6072237001408822e-05, + "loss": 2.5141, + "step": 6520 + }, + { + "epoch": 0.3, + "learning_rate": 1.6060866840382632e-05, + "loss": 2.5012, + "step": 6530 + }, + { + "epoch": 0.3, + "learning_rate": 1.6049484280775012e-05, + "loss": 2.4999, + "step": 6540 + }, + { + "epoch": 0.3, + "learning_rate": 1.6038089345871015e-05, + "loss": 2.4975, + "step": 6550 + }, + { + "epoch": 0.3, + "learning_rate": 1.6026682058981006e-05, + "loss": 2.5073, + "step": 6560 + }, + { + "epoch": 0.3, + "learning_rate": 1.6015262443440618e-05, + "loss": 2.4875, + "step": 6570 + }, + { + "epoch": 0.3, + "learning_rate": 1.6003830522610712e-05, + "loss": 2.5146, + "step": 6580 + }, + { + "epoch": 0.3, + "learning_rate": 1.599238631987731e-05, + "loss": 2.4881, + "step": 6590 + }, + { + "epoch": 0.3, + "learning_rate": 1.598092985865157e-05, + "loss": 2.481, + "step": 6600 + }, + { + "epoch": 0.3, + "learning_rate": 1.5969461162369718e-05, + "loss": 2.4918, + "step": 6610 + }, + { + "epoch": 0.3, + "learning_rate": 1.595798025449301e-05, + "loss": 2.4875, + "step": 6620 + }, + { + "epoch": 0.3, + "learning_rate": 1.5946487158507693e-05, + "loss": 2.4693, + "step": 6630 + }, + { + "epoch": 0.3, + "learning_rate": 1.5934981897924937e-05, + "loss": 2.5047, + "step": 6640 + }, + { + "epoch": 0.3, + "learning_rate": 1.5923464496280797e-05, + "loss": 2.5147, + "step": 6650 + }, + { + "epoch": 0.3, + "learning_rate": 1.5911934977136167e-05, + "loss": 2.4647, + "step": 6660 + }, + { + "epoch": 0.3, + "learning_rate": 1.5900393364076735e-05, + "loss": 2.4744, + "step": 6670 + }, + { + "epoch": 0.3, + "learning_rate": 1.5888839680712918e-05, + "loss": 2.4781, + "step": 6680 + }, + { + "epoch": 0.3, + "learning_rate": 1.587727395067983e-05, + "loss": 2.5232, + "step": 6690 + }, + { + "epoch": 0.3, + "learning_rate": 1.5865696197637234e-05, + "loss": 2.4996, + "step": 6700 + }, + { + "epoch": 0.3, + "learning_rate": 1.5854106445269483e-05, + "loss": 2.4779, + "step": 6710 + }, + { + "epoch": 0.3, + "learning_rate": 1.584250471728548e-05, + "loss": 2.5024, + "step": 6720 + }, + { + "epoch": 0.31, + "learning_rate": 1.5830891037418615e-05, + "loss": 2.4704, + "step": 6730 + }, + { + "epoch": 0.31, + "learning_rate": 1.5819265429426748e-05, + "loss": 2.5011, + "step": 6740 + }, + { + "epoch": 0.31, + "learning_rate": 1.5807627917092118e-05, + "loss": 2.4715, + "step": 6750 + }, + { + "epoch": 0.31, + "learning_rate": 1.579597852422133e-05, + "loss": 2.5069, + "step": 6760 + }, + { + "epoch": 0.31, + "learning_rate": 1.5784317274645294e-05, + "loss": 2.4801, + "step": 6770 + }, + { + "epoch": 0.31, + "learning_rate": 1.5772644192219164e-05, + "loss": 2.4633, + "step": 6780 + }, + { + "epoch": 0.31, + "learning_rate": 1.5760959300822313e-05, + "loss": 2.4838, + "step": 6790 + }, + { + "epoch": 0.31, + "learning_rate": 1.574926262435826e-05, + "loss": 2.4959, + "step": 6800 + }, + { + "epoch": 0.31, + "learning_rate": 1.573755418675464e-05, + "loss": 2.4952, + "step": 6810 + }, + { + "epoch": 0.31, + "learning_rate": 1.572583401196315e-05, + "loss": 2.4767, + "step": 6820 + }, + { + "epoch": 0.31, + "learning_rate": 1.5714102123959485e-05, + "loss": 2.4918, + "step": 6830 + }, + { + "epoch": 0.31, + "learning_rate": 1.5702358546743314e-05, + "loss": 2.5085, + "step": 6840 + }, + { + "epoch": 0.31, + "learning_rate": 1.569060330433821e-05, + "loss": 2.5108, + "step": 6850 + }, + { + "epoch": 0.31, + "learning_rate": 1.5678836420791618e-05, + "loss": 2.5056, + "step": 6860 + }, + { + "epoch": 0.31, + "learning_rate": 1.5667057920174785e-05, + "loss": 2.4979, + "step": 6870 + }, + { + "epoch": 0.31, + "learning_rate": 1.565526782658273e-05, + "loss": 2.5092, + "step": 6880 + }, + { + "epoch": 0.31, + "learning_rate": 1.5643466164134196e-05, + "loss": 2.4869, + "step": 6890 + }, + { + "epoch": 0.31, + "learning_rate": 1.5631652956971576e-05, + "loss": 2.4805, + "step": 6900 + }, + { + "epoch": 0.31, + "learning_rate": 1.561982822926089e-05, + "loss": 2.4754, + "step": 6910 + }, + { + "epoch": 0.31, + "learning_rate": 1.5607992005191717e-05, + "loss": 2.5099, + "step": 6920 + }, + { + "epoch": 0.31, + "learning_rate": 1.5596144308977167e-05, + "loss": 2.476, + "step": 6930 + }, + { + "epoch": 0.31, + "learning_rate": 1.5584285164853802e-05, + "loss": 2.5084, + "step": 6940 + }, + { + "epoch": 0.31, + "learning_rate": 1.5572414597081617e-05, + "loss": 2.4775, + "step": 6950 + }, + { + "epoch": 0.32, + "learning_rate": 1.5560532629943968e-05, + "loss": 2.4663, + "step": 6960 + }, + { + "epoch": 0.32, + "learning_rate": 1.5548639287747537e-05, + "loss": 2.4791, + "step": 6970 + }, + { + "epoch": 0.32, + "learning_rate": 1.5536734594822266e-05, + "loss": 2.4713, + "step": 6980 + }, + { + "epoch": 0.32, + "learning_rate": 1.552481857552132e-05, + "loss": 2.4699, + "step": 6990 + }, + { + "epoch": 0.32, + "learning_rate": 1.5512891254221046e-05, + "loss": 2.4678, + "step": 7000 + }, + { + "epoch": 0.32, + "learning_rate": 1.5500952655320892e-05, + "loss": 2.4733, + "step": 7010 + }, + { + "epoch": 0.32, + "learning_rate": 1.5489002803243396e-05, + "loss": 2.5095, + "step": 7020 + }, + { + "epoch": 0.32, + "learning_rate": 1.5477041722434096e-05, + "loss": 2.4851, + "step": 7030 + }, + { + "epoch": 0.32, + "learning_rate": 1.5465069437361516e-05, + "loss": 2.4988, + "step": 7040 + }, + { + "epoch": 0.32, + "learning_rate": 1.54530859725171e-05, + "loss": 2.4799, + "step": 7050 + }, + { + "epoch": 0.32, + "learning_rate": 1.5441091352415148e-05, + "loss": 2.4921, + "step": 7060 + }, + { + "epoch": 0.32, + "learning_rate": 1.5429085601592794e-05, + "loss": 2.5083, + "step": 7070 + }, + { + "epoch": 0.32, + "learning_rate": 1.541706874460994e-05, + "loss": 2.466, + "step": 7080 + }, + { + "epoch": 0.32, + "learning_rate": 1.5405040806049202e-05, + "loss": 2.4906, + "step": 7090 + }, + { + "epoch": 0.32, + "learning_rate": 1.5393001810515865e-05, + "loss": 2.4883, + "step": 7100 + }, + { + "epoch": 0.32, + "learning_rate": 1.538095178263784e-05, + "loss": 2.4842, + "step": 7110 + }, + { + "epoch": 0.32, + "learning_rate": 1.5368890747065604e-05, + "loss": 2.4967, + "step": 7120 + }, + { + "epoch": 0.32, + "learning_rate": 1.535681872847215e-05, + "loss": 2.4957, + "step": 7130 + }, + { + "epoch": 0.32, + "learning_rate": 1.5344735751552935e-05, + "loss": 2.5003, + "step": 7140 + }, + { + "epoch": 0.32, + "learning_rate": 1.533264184102585e-05, + "loss": 2.4989, + "step": 7150 + }, + { + "epoch": 0.32, + "learning_rate": 1.5320537021631126e-05, + "loss": 2.4865, + "step": 7160 + }, + { + "epoch": 0.32, + "learning_rate": 1.5308421318131333e-05, + "loss": 2.4966, + "step": 7170 + }, + { + "epoch": 0.33, + "learning_rate": 1.5296294755311295e-05, + "loss": 2.4821, + "step": 7180 + }, + { + "epoch": 0.33, + "learning_rate": 1.528415735797806e-05, + "loss": 2.4826, + "step": 7190 + }, + { + "epoch": 0.33, + "learning_rate": 1.5272009150960828e-05, + "loss": 2.4998, + "step": 7200 + }, + { + "epoch": 0.33, + "learning_rate": 1.5259850159110917e-05, + "loss": 2.4705, + "step": 7210 + }, + { + "epoch": 0.33, + "learning_rate": 1.5247680407301708e-05, + "loss": 2.4692, + "step": 7220 + }, + { + "epoch": 0.33, + "learning_rate": 1.52354999204286e-05, + "loss": 2.4782, + "step": 7230 + }, + { + "epoch": 0.33, + "learning_rate": 1.5223308723408936e-05, + "loss": 2.5029, + "step": 7240 + }, + { + "epoch": 0.33, + "learning_rate": 1.5211106841181988e-05, + "loss": 2.5012, + "step": 7250 + }, + { + "epoch": 0.33, + "learning_rate": 1.519889429870887e-05, + "loss": 2.4967, + "step": 7260 + }, + { + "epoch": 0.33, + "learning_rate": 1.5186671120972514e-05, + "loss": 2.469, + "step": 7270 + }, + { + "epoch": 0.33, + "learning_rate": 1.5174437332977606e-05, + "loss": 2.4666, + "step": 7280 + }, + { + "epoch": 0.33, + "learning_rate": 1.5162192959750532e-05, + "loss": 2.5038, + "step": 7290 + }, + { + "epoch": 0.33, + "learning_rate": 1.5149938026339341e-05, + "loss": 2.4995, + "step": 7300 + }, + { + "epoch": 0.33, + "learning_rate": 1.5137672557813672e-05, + "loss": 2.485, + "step": 7310 + }, + { + "epoch": 0.33, + "learning_rate": 1.5125396579264728e-05, + "loss": 2.4878, + "step": 7320 + }, + { + "epoch": 0.33, + "learning_rate": 1.5113110115805208e-05, + "loss": 2.5114, + "step": 7330 + }, + { + "epoch": 0.33, + "learning_rate": 1.5100813192569254e-05, + "loss": 2.4687, + "step": 7340 + }, + { + "epoch": 0.33, + "learning_rate": 1.5088505834712414e-05, + "loss": 2.521, + "step": 7350 + }, + { + "epoch": 0.33, + "learning_rate": 1.5076188067411582e-05, + "loss": 2.4765, + "step": 7360 + }, + { + "epoch": 0.33, + "learning_rate": 1.5063859915864936e-05, + "loss": 2.4709, + "step": 7370 + }, + { + "epoch": 0.33, + "learning_rate": 1.5051521405291905e-05, + "loss": 2.5008, + "step": 7380 + }, + { + "epoch": 0.33, + "learning_rate": 1.5039172560933109e-05, + "loss": 2.4881, + "step": 7390 + }, + { + "epoch": 0.34, + "learning_rate": 1.5026813408050305e-05, + "loss": 2.4938, + "step": 7400 + }, + { + "epoch": 0.34, + "learning_rate": 1.5014443971926338e-05, + "loss": 2.4877, + "step": 7410 + }, + { + "epoch": 0.34, + "learning_rate": 1.5002064277865094e-05, + "loss": 2.4864, + "step": 7420 + }, + { + "epoch": 0.34, + "learning_rate": 1.4989674351191436e-05, + "loss": 2.4753, + "step": 7430 + }, + { + "epoch": 0.34, + "learning_rate": 1.4977274217251166e-05, + "loss": 2.5124, + "step": 7440 + }, + { + "epoch": 0.34, + "learning_rate": 1.4964863901410962e-05, + "loss": 2.493, + "step": 7450 + }, + { + "epoch": 0.34, + "learning_rate": 1.4952443429058334e-05, + "loss": 2.4917, + "step": 7460 + }, + { + "epoch": 0.34, + "learning_rate": 1.4940012825601569e-05, + "loss": 2.4878, + "step": 7470 + }, + { + "epoch": 0.34, + "learning_rate": 1.4927572116469672e-05, + "loss": 2.4643, + "step": 7480 + }, + { + "epoch": 0.34, + "learning_rate": 1.4915121327112338e-05, + "loss": 2.4884, + "step": 7490 + }, + { + "epoch": 0.34, + "learning_rate": 1.4902660482999865e-05, + "loss": 2.4961, + "step": 7500 + }, + { + "epoch": 0.34, + "learning_rate": 1.4890189609623122e-05, + "loss": 2.4694, + "step": 7510 + }, + { + "epoch": 0.34, + "learning_rate": 1.4877708732493508e-05, + "loss": 2.471, + "step": 7520 + }, + { + "epoch": 0.34, + "learning_rate": 1.4865217877142872e-05, + "loss": 2.4625, + "step": 7530 + }, + { + "epoch": 0.34, + "learning_rate": 1.4852717069123483e-05, + "loss": 2.4878, + "step": 7540 + }, + { + "epoch": 0.34, + "learning_rate": 1.484020633400797e-05, + "loss": 2.4999, + "step": 7550 + }, + { + "epoch": 0.34, + "learning_rate": 1.4827685697389265e-05, + "loss": 2.4931, + "step": 7560 + }, + { + "epoch": 0.34, + "learning_rate": 1.4815155184880557e-05, + "loss": 2.4862, + "step": 7570 + }, + { + "epoch": 0.34, + "learning_rate": 1.4802614822115235e-05, + "loss": 2.496, + "step": 7580 + }, + { + "epoch": 0.34, + "learning_rate": 1.479006463474685e-05, + "loss": 2.4618, + "step": 7590 + }, + { + "epoch": 0.34, + "learning_rate": 1.4777504648449044e-05, + "loss": 2.4749, + "step": 7600 + }, + { + "epoch": 0.34, + "learning_rate": 1.4764934888915494e-05, + "loss": 2.4874, + "step": 7610 + }, + { + "epoch": 0.35, + "learning_rate": 1.4752355381859888e-05, + "loss": 2.4869, + "step": 7620 + }, + { + "epoch": 0.35, + "learning_rate": 1.4739766153015842e-05, + "loss": 2.473, + "step": 7630 + }, + { + "epoch": 0.35, + "learning_rate": 1.4727167228136862e-05, + "loss": 2.4901, + "step": 7640 + }, + { + "epoch": 0.35, + "learning_rate": 1.4714558632996297e-05, + "loss": 2.4881, + "step": 7650 + }, + { + "epoch": 0.35, + "learning_rate": 1.4701940393387264e-05, + "loss": 2.4849, + "step": 7660 + }, + { + "epoch": 0.35, + "learning_rate": 1.468931253512262e-05, + "loss": 2.4872, + "step": 7670 + }, + { + "epoch": 0.35, + "learning_rate": 1.4676675084034897e-05, + "loss": 2.4706, + "step": 7680 + }, + { + "epoch": 0.35, + "learning_rate": 1.4664028065976245e-05, + "loss": 2.4929, + "step": 7690 + }, + { + "epoch": 0.35, + "learning_rate": 1.4651371506818395e-05, + "loss": 2.5027, + "step": 7700 + }, + { + "epoch": 0.35, + "learning_rate": 1.463870543245259e-05, + "loss": 2.4725, + "step": 7710 + }, + { + "epoch": 0.35, + "learning_rate": 1.4626029868789535e-05, + "loss": 2.4946, + "step": 7720 + }, + { + "epoch": 0.35, + "learning_rate": 1.4613344841759354e-05, + "loss": 2.465, + "step": 7730 + }, + { + "epoch": 0.35, + "learning_rate": 1.4600650377311523e-05, + "loss": 2.4928, + "step": 7740 + }, + { + "epoch": 0.35, + "learning_rate": 1.4587946501414832e-05, + "loss": 2.4926, + "step": 7750 + }, + { + "epoch": 0.35, + "learning_rate": 1.4575233240057314e-05, + "loss": 2.4775, + "step": 7760 + }, + { + "epoch": 0.35, + "learning_rate": 1.4562510619246213e-05, + "loss": 2.4851, + "step": 7770 + }, + { + "epoch": 0.35, + "learning_rate": 1.454977866500791e-05, + "loss": 2.4875, + "step": 7780 + }, + { + "epoch": 0.35, + "learning_rate": 1.4537037403387882e-05, + "loss": 2.4923, + "step": 7790 + }, + { + "epoch": 0.35, + "learning_rate": 1.4524286860450646e-05, + "loss": 2.5041, + "step": 7800 + }, + { + "epoch": 0.35, + "learning_rate": 1.451152706227971e-05, + "loss": 2.4803, + "step": 7810 + }, + { + "epoch": 0.35, + "learning_rate": 1.4498758034977507e-05, + "loss": 2.4748, + "step": 7820 + }, + { + "epoch": 0.35, + "learning_rate": 1.4485979804665358e-05, + "loss": 2.473, + "step": 7830 + }, + { + "epoch": 0.36, + "learning_rate": 1.4473192397483403e-05, + "loss": 2.4936, + "step": 7840 + }, + { + "epoch": 0.36, + "learning_rate": 1.4460395839590563e-05, + "loss": 2.501, + "step": 7850 + }, + { + "epoch": 0.36, + "learning_rate": 1.4447590157164466e-05, + "loss": 2.5057, + "step": 7860 + }, + { + "epoch": 0.36, + "learning_rate": 1.4434775376401424e-05, + "loss": 2.4603, + "step": 7870 + }, + { + "epoch": 0.36, + "learning_rate": 1.442195152351634e-05, + "loss": 2.4675, + "step": 7880 + }, + { + "epoch": 0.36, + "learning_rate": 1.4409118624742696e-05, + "loss": 2.507, + "step": 7890 + }, + { + "epoch": 0.36, + "learning_rate": 1.4396276706332461e-05, + "loss": 2.4854, + "step": 7900 + }, + { + "epoch": 0.36, + "learning_rate": 1.4383425794556072e-05, + "loss": 2.4905, + "step": 7910 + }, + { + "epoch": 0.36, + "learning_rate": 1.437056591570235e-05, + "loss": 2.4925, + "step": 7920 + }, + { + "epoch": 0.36, + "learning_rate": 1.435769709607847e-05, + "loss": 2.4565, + "step": 7930 + }, + { + "epoch": 0.36, + "learning_rate": 1.4344819362009885e-05, + "loss": 2.4914, + "step": 7940 + }, + { + "epoch": 0.36, + "learning_rate": 1.4331932739840298e-05, + "loss": 2.4601, + "step": 7950 + }, + { + "epoch": 0.36, + "learning_rate": 1.4319037255931582e-05, + "loss": 2.4923, + "step": 7960 + }, + { + "epoch": 0.36, + "learning_rate": 1.4306132936663749e-05, + "loss": 2.4638, + "step": 7970 + }, + { + "epoch": 0.36, + "learning_rate": 1.4293219808434875e-05, + "loss": 2.4854, + "step": 7980 + }, + { + "epoch": 0.36, + "learning_rate": 1.4280297897661063e-05, + "loss": 2.5125, + "step": 7990 + }, + { + "epoch": 0.36, + "learning_rate": 1.4267367230776383e-05, + "loss": 2.4939, + "step": 8000 + }, + { + "epoch": 0.36, + "eval_accuracy": 0.5401815307188504, + "eval_loss": 2.244050979614258, + "eval_runtime": 9.925, + "eval_samples_per_second": 137.733, + "eval_steps_per_second": 1.108, + "step": 8000 + }, + { + "epoch": 0.36, + "learning_rate": 1.4254427834232811e-05, + "loss": 2.4725, + "step": 8010 + }, + { + "epoch": 0.36, + "learning_rate": 1.4241479734500187e-05, + "loss": 2.4881, + "step": 8020 + }, + { + "epoch": 0.36, + "learning_rate": 1.422852295806615e-05, + "loss": 2.4651, + "step": 8030 + }, + { + "epoch": 0.36, + "learning_rate": 1.4215557531436095e-05, + "loss": 2.5104, + "step": 8040 + }, + { + "epoch": 0.36, + "learning_rate": 1.4202583481133107e-05, + "loss": 2.4719, + "step": 8050 + }, + { + "epoch": 0.37, + "learning_rate": 1.418960083369791e-05, + "loss": 2.4504, + "step": 8060 + }, + { + "epoch": 0.37, + "learning_rate": 1.417660961568883e-05, + "loss": 2.4851, + "step": 8070 + }, + { + "epoch": 0.37, + "learning_rate": 1.4163609853681704e-05, + "loss": 2.4842, + "step": 8080 + }, + { + "epoch": 0.37, + "learning_rate": 1.4150601574269862e-05, + "loss": 2.4873, + "step": 8090 + }, + { + "epoch": 0.37, + "learning_rate": 1.4137584804064055e-05, + "loss": 2.4766, + "step": 8100 + }, + { + "epoch": 0.37, + "learning_rate": 1.41245595696924e-05, + "loss": 2.492, + "step": 8110 + }, + { + "epoch": 0.37, + "learning_rate": 1.4111525897800333e-05, + "loss": 2.4844, + "step": 8120 + }, + { + "epoch": 0.37, + "learning_rate": 1.4098483815050548e-05, + "loss": 2.4887, + "step": 8130 + }, + { + "epoch": 0.37, + "learning_rate": 1.4085433348122946e-05, + "loss": 2.4792, + "step": 8140 + }, + { + "epoch": 0.37, + "learning_rate": 1.4072374523714577e-05, + "loss": 2.4944, + "step": 8150 + }, + { + "epoch": 0.37, + "learning_rate": 1.4059307368539594e-05, + "loss": 2.4783, + "step": 8160 + }, + { + "epoch": 0.37, + "learning_rate": 1.4046231909329184e-05, + "loss": 2.4608, + "step": 8170 + }, + { + "epoch": 0.37, + "learning_rate": 1.4033148172831526e-05, + "loss": 2.4837, + "step": 8180 + }, + { + "epoch": 0.37, + "learning_rate": 1.402005618581173e-05, + "loss": 2.477, + "step": 8190 + }, + { + "epoch": 0.37, + "learning_rate": 1.4006955975051788e-05, + "loss": 2.4932, + "step": 8200 + }, + { + "epoch": 0.37, + "learning_rate": 1.399384756735051e-05, + "loss": 2.489, + "step": 8210 + }, + { + "epoch": 0.37, + "learning_rate": 1.3980730989523473e-05, + "loss": 2.4782, + "step": 8220 + }, + { + "epoch": 0.37, + "learning_rate": 1.3967606268402975e-05, + "loss": 2.4819, + "step": 8230 + }, + { + "epoch": 0.37, + "learning_rate": 1.3954473430837965e-05, + "loss": 2.4772, + "step": 8240 + }, + { + "epoch": 0.37, + "learning_rate": 1.3941332503694001e-05, + "loss": 2.4997, + "step": 8250 + }, + { + "epoch": 0.37, + "learning_rate": 1.3928183513853188e-05, + "loss": 2.4828, + "step": 8260 + }, + { + "epoch": 0.37, + "learning_rate": 1.3915026488214118e-05, + "loss": 2.5103, + "step": 8270 + }, + { + "epoch": 0.38, + "learning_rate": 1.3901861453691834e-05, + "loss": 2.503, + "step": 8280 + }, + { + "epoch": 0.38, + "learning_rate": 1.3888688437217757e-05, + "loss": 2.4911, + "step": 8290 + }, + { + "epoch": 0.38, + "learning_rate": 1.3875507465739633e-05, + "loss": 2.4989, + "step": 8300 + }, + { + "epoch": 0.38, + "learning_rate": 1.3862318566221481e-05, + "loss": 2.4716, + "step": 8310 + }, + { + "epoch": 0.38, + "learning_rate": 1.3849121765643549e-05, + "loss": 2.5075, + "step": 8320 + }, + { + "epoch": 0.38, + "learning_rate": 1.3835917091002236e-05, + "loss": 2.5114, + "step": 8330 + }, + { + "epoch": 0.38, + "learning_rate": 1.3822704569310053e-05, + "loss": 2.4933, + "step": 8340 + }, + { + "epoch": 0.38, + "learning_rate": 1.3809484227595564e-05, + "loss": 2.4884, + "step": 8350 + }, + { + "epoch": 0.38, + "learning_rate": 1.3796256092903333e-05, + "loss": 2.4812, + "step": 8360 + }, + { + "epoch": 0.38, + "learning_rate": 1.3783020192293858e-05, + "loss": 2.4746, + "step": 8370 + }, + { + "epoch": 0.38, + "learning_rate": 1.3769776552843532e-05, + "loss": 2.4646, + "step": 8380 + }, + { + "epoch": 0.38, + "learning_rate": 1.3756525201644577e-05, + "loss": 2.5032, + "step": 8390 + }, + { + "epoch": 0.38, + "learning_rate": 1.3743266165804983e-05, + "loss": 2.4692, + "step": 8400 + }, + { + "epoch": 0.38, + "learning_rate": 1.3729999472448474e-05, + "loss": 2.4748, + "step": 8410 + }, + { + "epoch": 0.38, + "learning_rate": 1.3716725148714429e-05, + "loss": 2.465, + "step": 8420 + }, + { + "epoch": 0.38, + "learning_rate": 1.3703443221757838e-05, + "loss": 2.4649, + "step": 8430 + }, + { + "epoch": 0.38, + "learning_rate": 1.3690153718749248e-05, + "loss": 2.4688, + "step": 8440 + }, + { + "epoch": 0.38, + "learning_rate": 1.36768566668747e-05, + "loss": 2.4741, + "step": 8450 + }, + { + "epoch": 0.38, + "learning_rate": 1.3663552093335676e-05, + "loss": 2.4869, + "step": 8460 + }, + { + "epoch": 0.38, + "learning_rate": 1.3650240025349055e-05, + "loss": 2.4578, + "step": 8470 + }, + { + "epoch": 0.38, + "learning_rate": 1.3636920490147034e-05, + "loss": 2.4768, + "step": 8480 + }, + { + "epoch": 0.38, + "learning_rate": 1.3623593514977098e-05, + "loss": 2.5064, + "step": 8490 + }, + { + "epoch": 0.39, + "learning_rate": 1.361025912710194e-05, + "loss": 2.4767, + "step": 8500 + }, + { + "epoch": 0.39, + "learning_rate": 1.3596917353799426e-05, + "loss": 2.475, + "step": 8510 + }, + { + "epoch": 0.39, + "learning_rate": 1.3583568222362526e-05, + "loss": 2.4926, + "step": 8520 + }, + { + "epoch": 0.39, + "learning_rate": 1.3570211760099265e-05, + "loss": 2.4748, + "step": 8530 + }, + { + "epoch": 0.39, + "learning_rate": 1.3556847994332662e-05, + "loss": 2.507, + "step": 8540 + }, + { + "epoch": 0.39, + "learning_rate": 1.3543476952400676e-05, + "loss": 2.491, + "step": 8550 + }, + { + "epoch": 0.39, + "learning_rate": 1.3530098661656155e-05, + "loss": 2.468, + "step": 8560 + }, + { + "epoch": 0.39, + "learning_rate": 1.351671314946677e-05, + "loss": 2.5024, + "step": 8570 + }, + { + "epoch": 0.39, + "learning_rate": 1.3503320443214968e-05, + "loss": 2.4747, + "step": 8580 + }, + { + "epoch": 0.39, + "learning_rate": 1.3489920570297916e-05, + "loss": 2.4857, + "step": 8590 + }, + { + "epoch": 0.39, + "learning_rate": 1.3476513558127433e-05, + "loss": 2.4804, + "step": 8600 + }, + { + "epoch": 0.39, + "learning_rate": 1.346309943412995e-05, + "loss": 2.4737, + "step": 8610 + }, + { + "epoch": 0.39, + "learning_rate": 1.3449678225746445e-05, + "loss": 2.4841, + "step": 8620 + }, + { + "epoch": 0.39, + "learning_rate": 1.3436249960432386e-05, + "loss": 2.4936, + "step": 8630 + }, + { + "epoch": 0.39, + "learning_rate": 1.3422814665657677e-05, + "loss": 2.5065, + "step": 8640 + }, + { + "epoch": 0.39, + "learning_rate": 1.340937236890661e-05, + "loss": 2.4979, + "step": 8650 + }, + { + "epoch": 0.39, + "learning_rate": 1.339592309767779e-05, + "loss": 2.4755, + "step": 8660 + }, + { + "epoch": 0.39, + "learning_rate": 1.3382466879484092e-05, + "loss": 2.4979, + "step": 8670 + }, + { + "epoch": 0.39, + "learning_rate": 1.336900374185261e-05, + "loss": 2.4854, + "step": 8680 + }, + { + "epoch": 0.39, + "learning_rate": 1.3355533712324586e-05, + "loss": 2.4722, + "step": 8690 + }, + { + "epoch": 0.39, + "learning_rate": 1.3342056818455359e-05, + "loss": 2.4854, + "step": 8700 + }, + { + "epoch": 0.39, + "learning_rate": 1.3328573087814314e-05, + "loss": 2.4955, + "step": 8710 + }, + { + "epoch": 0.4, + "learning_rate": 1.3315082547984819e-05, + "loss": 2.4944, + "step": 8720 + }, + { + "epoch": 0.4, + "learning_rate": 1.330158522656418e-05, + "loss": 2.5024, + "step": 8730 + }, + { + "epoch": 0.4, + "learning_rate": 1.328808115116356e-05, + "loss": 2.4808, + "step": 8740 + }, + { + "epoch": 0.4, + "learning_rate": 1.3274570349407956e-05, + "loss": 2.4916, + "step": 8750 + }, + { + "epoch": 0.4, + "learning_rate": 1.3261052848936116e-05, + "loss": 2.4632, + "step": 8760 + }, + { + "epoch": 0.4, + "learning_rate": 1.3247528677400486e-05, + "loss": 2.4657, + "step": 8770 + }, + { + "epoch": 0.4, + "learning_rate": 1.3233997862467169e-05, + "loss": 2.4718, + "step": 8780 + }, + { + "epoch": 0.4, + "learning_rate": 1.3220460431815859e-05, + "loss": 2.478, + "step": 8790 + }, + { + "epoch": 0.4, + "learning_rate": 1.320691641313977e-05, + "loss": 2.4887, + "step": 8800 + }, + { + "epoch": 0.4, + "learning_rate": 1.3193365834145606e-05, + "loss": 2.4611, + "step": 8810 + }, + { + "epoch": 0.4, + "learning_rate": 1.3179808722553486e-05, + "loss": 2.469, + "step": 8820 + }, + { + "epoch": 0.4, + "learning_rate": 1.31662451060969e-05, + "loss": 2.4403, + "step": 8830 + }, + { + "epoch": 0.4, + "learning_rate": 1.3152675012522629e-05, + "loss": 2.4769, + "step": 8840 + }, + { + "epoch": 0.4, + "learning_rate": 1.3139098469590716e-05, + "loss": 2.4568, + "step": 8850 + }, + { + "epoch": 0.4, + "learning_rate": 1.31255155050744e-05, + "loss": 2.4885, + "step": 8860 + }, + { + "epoch": 0.4, + "learning_rate": 1.3111926146760047e-05, + "loss": 2.4722, + "step": 8870 + }, + { + "epoch": 0.4, + "learning_rate": 1.309833042244711e-05, + "loss": 2.4638, + "step": 8880 + }, + { + "epoch": 0.4, + "learning_rate": 1.308472835994806e-05, + "loss": 2.4892, + "step": 8890 + }, + { + "epoch": 0.4, + "learning_rate": 1.3071119987088339e-05, + "loss": 2.4763, + "step": 8900 + }, + { + "epoch": 0.4, + "learning_rate": 1.3057505331706288e-05, + "loss": 2.494, + "step": 8910 + }, + { + "epoch": 0.4, + "learning_rate": 1.3043884421653115e-05, + "loss": 2.4811, + "step": 8920 + }, + { + "epoch": 0.4, + "learning_rate": 1.303025728479281e-05, + "loss": 2.4878, + "step": 8930 + }, + { + "epoch": 0.41, + "learning_rate": 1.3016623949002104e-05, + "loss": 2.4671, + "step": 8940 + }, + { + "epoch": 0.41, + "learning_rate": 1.3002984442170416e-05, + "loss": 2.4678, + "step": 8950 + }, + { + "epoch": 0.41, + "learning_rate": 1.2989338792199782e-05, + "loss": 2.4962, + "step": 8960 + }, + { + "epoch": 0.41, + "learning_rate": 1.2975687027004804e-05, + "loss": 2.4836, + "step": 8970 + }, + { + "epoch": 0.41, + "learning_rate": 1.29620291745126e-05, + "loss": 2.5108, + "step": 8980 + }, + { + "epoch": 0.41, + "learning_rate": 1.2948365262662734e-05, + "loss": 2.4853, + "step": 8990 + }, + { + "epoch": 0.41, + "learning_rate": 1.2934695319407176e-05, + "loss": 2.463, + "step": 9000 + }, + { + "epoch": 0.41, + "learning_rate": 1.2921019372710217e-05, + "loss": 2.4847, + "step": 9010 + }, + { + "epoch": 0.41, + "learning_rate": 1.2907337450548446e-05, + "loss": 2.4742, + "step": 9020 + }, + { + "epoch": 0.41, + "learning_rate": 1.289364958091067e-05, + "loss": 2.4816, + "step": 9030 + }, + { + "epoch": 0.41, + "learning_rate": 1.2879955791797853e-05, + "loss": 2.4556, + "step": 9040 + }, + { + "epoch": 0.41, + "learning_rate": 1.2866256111223085e-05, + "loss": 2.4868, + "step": 9050 + }, + { + "epoch": 0.41, + "learning_rate": 1.2852550567211498e-05, + "loss": 2.4913, + "step": 9060 + }, + { + "epoch": 0.41, + "learning_rate": 1.2838839187800218e-05, + "loss": 2.4818, + "step": 9070 + }, + { + "epoch": 0.41, + "learning_rate": 1.282512200103831e-05, + "loss": 2.5155, + "step": 9080 + }, + { + "epoch": 0.41, + "learning_rate": 1.2811399034986726e-05, + "loss": 2.4636, + "step": 9090 + }, + { + "epoch": 0.41, + "learning_rate": 1.2797670317718234e-05, + "loss": 2.47, + "step": 9100 + }, + { + "epoch": 0.41, + "learning_rate": 1.2783935877317362e-05, + "loss": 2.4984, + "step": 9110 + }, + { + "epoch": 0.41, + "learning_rate": 1.2770195741880356e-05, + "loss": 2.4898, + "step": 9120 + }, + { + "epoch": 0.41, + "learning_rate": 1.2756449939515107e-05, + "loss": 2.4708, + "step": 9130 + }, + { + "epoch": 0.41, + "learning_rate": 1.2742698498341098e-05, + "loss": 2.4779, + "step": 9140 + }, + { + "epoch": 0.41, + "learning_rate": 1.2728941446489347e-05, + "loss": 2.47, + "step": 9150 + }, + { + "epoch": 0.42, + "learning_rate": 1.2715178812102353e-05, + "loss": 2.4753, + "step": 9160 + }, + { + "epoch": 0.42, + "learning_rate": 1.2701410623334037e-05, + "loss": 2.5039, + "step": 9170 + }, + { + "epoch": 0.42, + "learning_rate": 1.2687636908349671e-05, + "loss": 2.4783, + "step": 9180 + }, + { + "epoch": 0.42, + "learning_rate": 1.2673857695325846e-05, + "loss": 2.4995, + "step": 9190 + }, + { + "epoch": 0.42, + "learning_rate": 1.2660073012450389e-05, + "loss": 2.4753, + "step": 9200 + }, + { + "epoch": 0.42, + "learning_rate": 1.2646282887922325e-05, + "loss": 2.4616, + "step": 9210 + }, + { + "epoch": 0.42, + "learning_rate": 1.2632487349951805e-05, + "loss": 2.4776, + "step": 9220 + }, + { + "epoch": 0.42, + "learning_rate": 1.2618686426760058e-05, + "loss": 2.4758, + "step": 9230 + }, + { + "epoch": 0.42, + "learning_rate": 1.2604880146579326e-05, + "loss": 2.4691, + "step": 9240 + }, + { + "epoch": 0.42, + "learning_rate": 1.2591068537652813e-05, + "loss": 2.4921, + "step": 9250 + }, + { + "epoch": 0.42, + "learning_rate": 1.257725162823462e-05, + "loss": 2.4803, + "step": 9260 + }, + { + "epoch": 0.42, + "learning_rate": 1.2563429446589695e-05, + "loss": 2.4763, + "step": 9270 + }, + { + "epoch": 0.42, + "learning_rate": 1.2549602020993769e-05, + "loss": 2.4785, + "step": 9280 + }, + { + "epoch": 0.42, + "learning_rate": 1.2535769379733305e-05, + "loss": 2.5066, + "step": 9290 + }, + { + "epoch": 0.42, + "learning_rate": 1.2521931551105427e-05, + "loss": 2.4683, + "step": 9300 + }, + { + "epoch": 0.42, + "learning_rate": 1.2508088563417875e-05, + "loss": 2.4796, + "step": 9310 + }, + { + "epoch": 0.42, + "learning_rate": 1.2494240444988943e-05, + "loss": 2.4638, + "step": 9320 + }, + { + "epoch": 0.42, + "learning_rate": 1.2480387224147426e-05, + "loss": 2.4631, + "step": 9330 + }, + { + "epoch": 0.42, + "learning_rate": 1.2466528929232548e-05, + "loss": 2.4953, + "step": 9340 + }, + { + "epoch": 0.42, + "learning_rate": 1.245266558859392e-05, + "loss": 2.4954, + "step": 9350 + }, + { + "epoch": 0.42, + "learning_rate": 1.2438797230591468e-05, + "loss": 2.481, + "step": 9360 + }, + { + "epoch": 0.42, + "learning_rate": 1.2424923883595389e-05, + "loss": 2.4852, + "step": 9370 + }, + { + "epoch": 0.43, + "learning_rate": 1.2411045575986079e-05, + "loss": 2.4744, + "step": 9380 + }, + { + "epoch": 0.43, + "learning_rate": 1.2397162336154085e-05, + "loss": 2.4688, + "step": 9390 + }, + { + "epoch": 0.43, + "learning_rate": 1.2383274192500048e-05, + "loss": 2.4656, + "step": 9400 + }, + { + "epoch": 0.43, + "learning_rate": 1.2369381173434636e-05, + "loss": 2.4552, + "step": 9410 + }, + { + "epoch": 0.43, + "learning_rate": 1.235548330737849e-05, + "loss": 2.4615, + "step": 9420 + }, + { + "epoch": 0.43, + "learning_rate": 1.2341580622762164e-05, + "loss": 2.4731, + "step": 9430 + }, + { + "epoch": 0.43, + "learning_rate": 1.2327673148026079e-05, + "loss": 2.4722, + "step": 9440 + }, + { + "epoch": 0.43, + "learning_rate": 1.2313760911620447e-05, + "loss": 2.4791, + "step": 9450 + }, + { + "epoch": 0.43, + "learning_rate": 1.229984394200522e-05, + "loss": 2.4814, + "step": 9460 + }, + { + "epoch": 0.43, + "learning_rate": 1.2285922267650038e-05, + "loss": 2.4528, + "step": 9470 + }, + { + "epoch": 0.43, + "learning_rate": 1.2271995917034166e-05, + "loss": 2.4879, + "step": 9480 + }, + { + "epoch": 0.43, + "learning_rate": 1.2258064918646424e-05, + "loss": 2.4689, + "step": 9490 + }, + { + "epoch": 0.43, + "learning_rate": 1.2244129300985153e-05, + "loss": 2.4963, + "step": 9500 + }, + { + "epoch": 0.43, + "learning_rate": 1.2230189092558138e-05, + "loss": 2.4701, + "step": 9510 + }, + { + "epoch": 0.43, + "learning_rate": 1.2216244321882553e-05, + "loss": 2.4841, + "step": 9520 + }, + { + "epoch": 0.43, + "learning_rate": 1.2202295017484911e-05, + "loss": 2.4951, + "step": 9530 + }, + { + "epoch": 0.43, + "learning_rate": 1.2188341207900991e-05, + "loss": 2.4291, + "step": 9540 + }, + { + "epoch": 0.43, + "learning_rate": 1.2174382921675799e-05, + "loss": 2.4742, + "step": 9550 + }, + { + "epoch": 0.43, + "learning_rate": 1.2160420187363484e-05, + "loss": 2.4867, + "step": 9560 + }, + { + "epoch": 0.43, + "learning_rate": 1.2146453033527315e-05, + "loss": 2.4603, + "step": 9570 + }, + { + "epoch": 0.43, + "learning_rate": 1.213248148873958e-05, + "loss": 2.4703, + "step": 9580 + }, + { + "epoch": 0.43, + "learning_rate": 1.2118505581581568e-05, + "loss": 2.4585, + "step": 9590 + }, + { + "epoch": 0.44, + "learning_rate": 1.2104525340643479e-05, + "loss": 2.4888, + "step": 9600 + }, + { + "epoch": 0.44, + "learning_rate": 1.2090540794524382e-05, + "loss": 2.4635, + "step": 9610 + }, + { + "epoch": 0.44, + "learning_rate": 1.2076551971832154e-05, + "loss": 2.4772, + "step": 9620 + }, + { + "epoch": 0.44, + "learning_rate": 1.2062558901183422e-05, + "loss": 2.4872, + "step": 9630 + }, + { + "epoch": 0.44, + "learning_rate": 1.2048561611203501e-05, + "loss": 2.4838, + "step": 9640 + }, + { + "epoch": 0.44, + "learning_rate": 1.2034560130526341e-05, + "loss": 2.4642, + "step": 9650 + }, + { + "epoch": 0.44, + "learning_rate": 1.2020554487794455e-05, + "loss": 2.5052, + "step": 9660 + }, + { + "epoch": 0.44, + "learning_rate": 1.2006544711658884e-05, + "loss": 2.4885, + "step": 9670 + }, + { + "epoch": 0.44, + "learning_rate": 1.1992530830779116e-05, + "loss": 2.4674, + "step": 9680 + }, + { + "epoch": 0.44, + "learning_rate": 1.1978512873823036e-05, + "loss": 2.4788, + "step": 9690 + }, + { + "epoch": 0.44, + "learning_rate": 1.1964490869466869e-05, + "loss": 2.4905, + "step": 9700 + }, + { + "epoch": 0.44, + "learning_rate": 1.1950464846395123e-05, + "loss": 2.5041, + "step": 9710 + }, + { + "epoch": 0.44, + "learning_rate": 1.1936434833300517e-05, + "loss": 2.4659, + "step": 9720 + }, + { + "epoch": 0.44, + "learning_rate": 1.1922400858883942e-05, + "loss": 2.4741, + "step": 9730 + }, + { + "epoch": 0.44, + "learning_rate": 1.1908362951854393e-05, + "loss": 2.4725, + "step": 9740 + }, + { + "epoch": 0.44, + "learning_rate": 1.1894321140928901e-05, + "loss": 2.478, + "step": 9750 + }, + { + "epoch": 0.44, + "learning_rate": 1.1880275454832493e-05, + "loss": 2.47, + "step": 9760 + }, + { + "epoch": 0.44, + "learning_rate": 1.1866225922298116e-05, + "loss": 2.474, + "step": 9770 + }, + { + "epoch": 0.44, + "learning_rate": 1.185217257206659e-05, + "loss": 2.4519, + "step": 9780 + }, + { + "epoch": 0.44, + "learning_rate": 1.183811543288654e-05, + "loss": 2.4818, + "step": 9790 + }, + { + "epoch": 0.44, + "learning_rate": 1.1824054533514349e-05, + "loss": 2.4663, + "step": 9800 + }, + { + "epoch": 0.44, + "learning_rate": 1.1809989902714085e-05, + "loss": 2.4877, + "step": 9810 + }, + { + "epoch": 0.45, + "learning_rate": 1.1795921569257456e-05, + "loss": 2.4713, + "step": 9820 + }, + { + "epoch": 0.45, + "learning_rate": 1.178184956192374e-05, + "loss": 2.4738, + "step": 9830 + }, + { + "epoch": 0.45, + "learning_rate": 1.1767773909499729e-05, + "loss": 2.457, + "step": 9840 + }, + { + "epoch": 0.45, + "learning_rate": 1.1753694640779677e-05, + "loss": 2.4695, + "step": 9850 + }, + { + "epoch": 0.45, + "learning_rate": 1.1739611784565232e-05, + "loss": 2.4408, + "step": 9860 + }, + { + "epoch": 0.45, + "learning_rate": 1.1725525369665383e-05, + "loss": 2.4893, + "step": 9870 + }, + { + "epoch": 0.45, + "learning_rate": 1.1711435424896395e-05, + "loss": 2.4603, + "step": 9880 + }, + { + "epoch": 0.45, + "learning_rate": 1.169734197908176e-05, + "loss": 2.4992, + "step": 9890 + }, + { + "epoch": 0.45, + "learning_rate": 1.1683245061052126e-05, + "loss": 2.4855, + "step": 9900 + }, + { + "epoch": 0.45, + "learning_rate": 1.1669144699645249e-05, + "loss": 2.4751, + "step": 9910 + }, + { + "epoch": 0.45, + "learning_rate": 1.1655040923705926e-05, + "loss": 2.4548, + "step": 9920 + }, + { + "epoch": 0.45, + "learning_rate": 1.1640933762085943e-05, + "loss": 2.4694, + "step": 9930 + }, + { + "epoch": 0.45, + "learning_rate": 1.1626823243644006e-05, + "loss": 2.469, + "step": 9940 + }, + { + "epoch": 0.45, + "learning_rate": 1.161270939724569e-05, + "loss": 2.5118, + "step": 9950 + }, + { + "epoch": 0.45, + "learning_rate": 1.1598592251763378e-05, + "loss": 2.4749, + "step": 9960 + }, + { + "epoch": 0.45, + "learning_rate": 1.1584471836076208e-05, + "loss": 2.4817, + "step": 9970 + }, + { + "epoch": 0.45, + "learning_rate": 1.1570348179069998e-05, + "loss": 2.4811, + "step": 9980 + }, + { + "epoch": 0.45, + "learning_rate": 1.1556221309637204e-05, + "loss": 2.4543, + "step": 9990 + }, + { + "epoch": 0.45, + "learning_rate": 1.1542091256676846e-05, + "loss": 2.463, + "step": 10000 + }, + { + "epoch": 0.45, + "eval_accuracy": 0.5409716963389947, + "eval_loss": 2.238548755645752, + "eval_runtime": 9.8782, + "eval_samples_per_second": 138.385, + "eval_steps_per_second": 1.114, + "step": 10000 + }, + { + "epoch": 0.45, + "learning_rate": 1.1527958049094466e-05, + "loss": 2.5025, + "step": 10010 + }, + { + "epoch": 0.45, + "learning_rate": 1.1513821715802052e-05, + "loss": 2.4632, + "step": 10020 + }, + { + "epoch": 0.45, + "learning_rate": 1.149968228571799e-05, + "loss": 2.4893, + "step": 10030 + }, + { + "epoch": 0.46, + "learning_rate": 1.1485539787767e-05, + "loss": 2.4654, + "step": 10040 + }, + { + "epoch": 0.46, + "learning_rate": 1.1471394250880077e-05, + "loss": 2.4884, + "step": 10050 + }, + { + "epoch": 0.46, + "learning_rate": 1.1457245703994433e-05, + "loss": 2.4646, + "step": 10060 + }, + { + "epoch": 0.46, + "learning_rate": 1.1443094176053439e-05, + "loss": 2.5017, + "step": 10070 + }, + { + "epoch": 0.46, + "learning_rate": 1.1428939696006564e-05, + "loss": 2.4983, + "step": 10080 + }, + { + "epoch": 0.46, + "learning_rate": 1.1414782292809314e-05, + "loss": 2.4971, + "step": 10090 + }, + { + "epoch": 0.46, + "learning_rate": 1.1400621995423175e-05, + "loss": 2.4909, + "step": 10100 + }, + { + "epoch": 0.46, + "learning_rate": 1.1386458832815554e-05, + "loss": 2.467, + "step": 10110 + }, + { + "epoch": 0.46, + "learning_rate": 1.1372292833959723e-05, + "loss": 2.4878, + "step": 10120 + }, + { + "epoch": 0.46, + "learning_rate": 1.135812402783475e-05, + "loss": 2.5128, + "step": 10130 + }, + { + "epoch": 0.46, + "learning_rate": 1.1343952443425452e-05, + "loss": 2.4584, + "step": 10140 + }, + { + "epoch": 0.46, + "learning_rate": 1.1329778109722325e-05, + "loss": 2.4873, + "step": 10150 + }, + { + "epoch": 0.46, + "learning_rate": 1.1315601055721488e-05, + "loss": 2.4796, + "step": 10160 + }, + { + "epoch": 0.46, + "learning_rate": 1.130142131042463e-05, + "loss": 2.4332, + "step": 10170 + }, + { + "epoch": 0.46, + "learning_rate": 1.1287238902838942e-05, + "loss": 2.4768, + "step": 10180 + }, + { + "epoch": 0.46, + "learning_rate": 1.1273053861977062e-05, + "loss": 2.4962, + "step": 10190 + }, + { + "epoch": 0.46, + "learning_rate": 1.1258866216857015e-05, + "loss": 2.4744, + "step": 10200 + }, + { + "epoch": 0.46, + "learning_rate": 1.124467599650215e-05, + "loss": 2.4636, + "step": 10210 + }, + { + "epoch": 0.46, + "learning_rate": 1.1230483229941092e-05, + "loss": 2.4826, + "step": 10220 + }, + { + "epoch": 0.46, + "learning_rate": 1.1216287946207667e-05, + "loss": 2.4625, + "step": 10230 + }, + { + "epoch": 0.46, + "learning_rate": 1.1202090174340855e-05, + "loss": 2.4428, + "step": 10240 + }, + { + "epoch": 0.46, + "learning_rate": 1.1187889943384722e-05, + "loss": 2.4797, + "step": 10250 + }, + { + "epoch": 0.46, + "learning_rate": 1.117368728238837e-05, + "loss": 2.4933, + "step": 10260 + }, + { + "epoch": 0.47, + "learning_rate": 1.115948222040587e-05, + "loss": 2.4521, + "step": 10270 + }, + { + "epoch": 0.47, + "learning_rate": 1.11452747864962e-05, + "loss": 2.4748, + "step": 10280 + }, + { + "epoch": 0.47, + "learning_rate": 1.1131065009723195e-05, + "loss": 2.4887, + "step": 10290 + }, + { + "epoch": 0.47, + "learning_rate": 1.111685291915548e-05, + "loss": 2.4836, + "step": 10300 + }, + { + "epoch": 0.47, + "learning_rate": 1.1102638543866418e-05, + "loss": 2.5095, + "step": 10310 + }, + { + "epoch": 0.47, + "learning_rate": 1.108842191293404e-05, + "loss": 2.4714, + "step": 10320 + }, + { + "epoch": 0.47, + "learning_rate": 1.1074203055440995e-05, + "loss": 2.4761, + "step": 10330 + }, + { + "epoch": 0.47, + "learning_rate": 1.1059982000474486e-05, + "loss": 2.4847, + "step": 10340 + }, + { + "epoch": 0.47, + "learning_rate": 1.104575877712621e-05, + "loss": 2.4751, + "step": 10350 + }, + { + "epoch": 0.47, + "learning_rate": 1.1031533414492301e-05, + "loss": 2.4657, + "step": 10360 + }, + { + "epoch": 0.47, + "learning_rate": 1.1017305941673269e-05, + "loss": 2.4617, + "step": 10370 + }, + { + "epoch": 0.47, + "learning_rate": 1.100307638777394e-05, + "loss": 2.5021, + "step": 10380 + }, + { + "epoch": 0.47, + "learning_rate": 1.0988844781903402e-05, + "loss": 2.4764, + "step": 10390 + }, + { + "epoch": 0.47, + "learning_rate": 1.0974611153174934e-05, + "loss": 2.5, + "step": 10400 + }, + { + "epoch": 0.47, + "learning_rate": 1.0960375530705958e-05, + "loss": 2.4802, + "step": 10410 + }, + { + "epoch": 0.47, + "learning_rate": 1.0946137943617967e-05, + "loss": 2.4398, + "step": 10420 + }, + { + "epoch": 0.47, + "learning_rate": 1.0931898421036484e-05, + "loss": 2.4764, + "step": 10430 + }, + { + "epoch": 0.47, + "learning_rate": 1.0917656992090984e-05, + "loss": 2.4588, + "step": 10440 + }, + { + "epoch": 0.47, + "learning_rate": 1.0903413685914843e-05, + "loss": 2.4786, + "step": 10450 + }, + { + "epoch": 0.47, + "learning_rate": 1.0889168531645277e-05, + "loss": 2.4669, + "step": 10460 + }, + { + "epoch": 0.47, + "learning_rate": 1.0874921558423288e-05, + "loss": 2.4847, + "step": 10470 + }, + { + "epoch": 0.47, + "learning_rate": 1.0860672795393588e-05, + "loss": 2.468, + "step": 10480 + }, + { + "epoch": 0.48, + "learning_rate": 1.0846422271704561e-05, + "loss": 2.4586, + "step": 10490 + }, + { + "epoch": 0.48, + "learning_rate": 1.083217001650819e-05, + "loss": 2.4695, + "step": 10500 + }, + { + "epoch": 0.48, + "learning_rate": 1.0817916058959994e-05, + "loss": 2.4669, + "step": 10510 + }, + { + "epoch": 0.48, + "learning_rate": 1.0803660428218982e-05, + "loss": 2.4742, + "step": 10520 + }, + { + "epoch": 0.48, + "learning_rate": 1.0789403153447584e-05, + "loss": 2.4924, + "step": 10530 + }, + { + "epoch": 0.48, + "learning_rate": 1.077514426381159e-05, + "loss": 2.5009, + "step": 10540 + }, + { + "epoch": 0.48, + "learning_rate": 1.0760883788480095e-05, + "loss": 2.4916, + "step": 10550 + }, + { + "epoch": 0.48, + "learning_rate": 1.0746621756625442e-05, + "loss": 2.4864, + "step": 10560 + }, + { + "epoch": 0.48, + "learning_rate": 1.0732358197423149e-05, + "loss": 2.4607, + "step": 10570 + }, + { + "epoch": 0.48, + "learning_rate": 1.071809314005187e-05, + "loss": 2.4872, + "step": 10580 + }, + { + "epoch": 0.48, + "learning_rate": 1.070382661369331e-05, + "loss": 2.4654, + "step": 10590 + }, + { + "epoch": 0.48, + "learning_rate": 1.0689558647532197e-05, + "loss": 2.4703, + "step": 10600 + }, + { + "epoch": 0.48, + "learning_rate": 1.0675289270756186e-05, + "loss": 2.4827, + "step": 10610 + }, + { + "epoch": 0.48, + "learning_rate": 1.066101851255583e-05, + "loss": 2.473, + "step": 10620 + }, + { + "epoch": 0.48, + "learning_rate": 1.0646746402124504e-05, + "loss": 2.4486, + "step": 10630 + }, + { + "epoch": 0.48, + "learning_rate": 1.0632472968658348e-05, + "loss": 2.4877, + "step": 10640 + }, + { + "epoch": 0.48, + "learning_rate": 1.0618198241356206e-05, + "loss": 2.4764, + "step": 10650 + }, + { + "epoch": 0.48, + "learning_rate": 1.0603922249419579e-05, + "loss": 2.4597, + "step": 10660 + }, + { + "epoch": 0.48, + "learning_rate": 1.0589645022052544e-05, + "loss": 2.4598, + "step": 10670 + }, + { + "epoch": 0.48, + "learning_rate": 1.057536658846171e-05, + "loss": 2.4909, + "step": 10680 + }, + { + "epoch": 0.48, + "learning_rate": 1.0561086977856157e-05, + "loss": 2.4626, + "step": 10690 + }, + { + "epoch": 0.48, + "learning_rate": 1.0546806219447363e-05, + "loss": 2.4911, + "step": 10700 + }, + { + "epoch": 0.49, + "learning_rate": 1.0532524342449165e-05, + "loss": 2.4544, + "step": 10710 + }, + { + "epoch": 0.49, + "learning_rate": 1.0518241376077678e-05, + "loss": 2.4779, + "step": 10720 + }, + { + "epoch": 0.49, + "learning_rate": 1.050395734955126e-05, + "loss": 2.4778, + "step": 10730 + }, + { + "epoch": 0.49, + "learning_rate": 1.0489672292090419e-05, + "loss": 2.4548, + "step": 10740 + }, + { + "epoch": 0.49, + "learning_rate": 1.0475386232917789e-05, + "loss": 2.4474, + "step": 10750 + }, + { + "epoch": 0.49, + "learning_rate": 1.046109920125804e-05, + "loss": 2.4791, + "step": 10760 + }, + { + "epoch": 0.49, + "learning_rate": 1.0446811226337839e-05, + "loss": 2.4879, + "step": 10770 + }, + { + "epoch": 0.49, + "learning_rate": 1.0432522337385782e-05, + "loss": 2.4726, + "step": 10780 + }, + { + "epoch": 0.49, + "learning_rate": 1.041823256363233e-05, + "loss": 2.4786, + "step": 10790 + }, + { + "epoch": 0.49, + "learning_rate": 1.0403941934309763e-05, + "loss": 2.465, + "step": 10800 + }, + { + "epoch": 0.49, + "learning_rate": 1.0389650478652103e-05, + "loss": 2.4702, + "step": 10810 + }, + { + "epoch": 0.49, + "learning_rate": 1.037535822589506e-05, + "loss": 2.4907, + "step": 10820 + }, + { + "epoch": 0.49, + "learning_rate": 1.036106520527599e-05, + "loss": 2.4662, + "step": 10830 + }, + { + "epoch": 0.49, + "learning_rate": 1.03467714460338e-05, + "loss": 2.4916, + "step": 10840 + }, + { + "epoch": 0.49, + "learning_rate": 1.0332476977408927e-05, + "loss": 2.468, + "step": 10850 + }, + { + "epoch": 0.49, + "learning_rate": 1.0318181828643244e-05, + "loss": 2.4903, + "step": 10860 + }, + { + "epoch": 0.49, + "learning_rate": 1.0303886028980019e-05, + "loss": 2.4821, + "step": 10870 + }, + { + "epoch": 0.49, + "learning_rate": 1.028958960766386e-05, + "loss": 2.4746, + "step": 10880 + }, + { + "epoch": 0.49, + "learning_rate": 1.0275292593940634e-05, + "loss": 2.4571, + "step": 10890 + }, + { + "epoch": 0.49, + "learning_rate": 1.026099501705743e-05, + "loss": 2.4814, + "step": 10900 + }, + { + "epoch": 0.49, + "learning_rate": 1.0246696906262484e-05, + "loss": 2.4966, + "step": 10910 + }, + { + "epoch": 0.49, + "learning_rate": 1.0232398290805123e-05, + "loss": 2.5007, + "step": 10920 + }, + { + "epoch": 0.5, + "learning_rate": 1.0218099199935715e-05, + "loss": 2.4785, + "step": 10930 + }, + { + "epoch": 0.5, + "learning_rate": 1.0203799662905592e-05, + "loss": 2.4657, + "step": 10940 + }, + { + "epoch": 0.5, + "learning_rate": 1.0189499708966997e-05, + "loss": 2.4478, + "step": 10950 + }, + { + "epoch": 0.5, + "learning_rate": 1.0175199367373032e-05, + "loss": 2.456, + "step": 10960 + }, + { + "epoch": 0.5, + "learning_rate": 1.0160898667377594e-05, + "loss": 2.4703, + "step": 10970 + }, + { + "epoch": 0.5, + "learning_rate": 1.0146597638235303e-05, + "loss": 2.4726, + "step": 10980 + }, + { + "epoch": 0.5, + "learning_rate": 1.0132296309201463e-05, + "loss": 2.4659, + "step": 10990 + }, + { + "epoch": 0.5, + "learning_rate": 1.0117994709531987e-05, + "loss": 2.528, + "step": 11000 + }, + { + "epoch": 0.5, + "learning_rate": 1.0103692868483338e-05, + "loss": 2.5046, + "step": 11010 + }, + { + "epoch": 0.5, + "learning_rate": 1.0089390815312476e-05, + "loss": 2.4595, + "step": 11020 + }, + { + "epoch": 0.5, + "learning_rate": 1.00750885792768e-05, + "loss": 2.4854, + "step": 11030 + }, + { + "epoch": 0.5, + "learning_rate": 1.0060786189634075e-05, + "loss": 2.4941, + "step": 11040 + }, + { + "epoch": 0.5, + "learning_rate": 1.0046483675642386e-05, + "loss": 2.4553, + "step": 11050 + }, + { + "epoch": 0.5, + "learning_rate": 1.0032181066560066e-05, + "loss": 2.4882, + "step": 11060 + }, + { + "epoch": 0.5, + "learning_rate": 1.001787839164565e-05, + "loss": 2.4697, + "step": 11070 + }, + { + "epoch": 0.5, + "learning_rate": 1.0003575680157802e-05, + "loss": 2.4672, + "step": 11080 + }, + { + "epoch": 0.5, + "learning_rate": 9.989272961355266e-06, + "loss": 2.4758, + "step": 11090 + }, + { + "epoch": 0.5, + "learning_rate": 9.974970264496798e-06, + "loss": 2.4676, + "step": 11100 + }, + { + "epoch": 0.5, + "learning_rate": 9.960667618841101e-06, + "loss": 2.4688, + "step": 11110 + }, + { + "epoch": 0.5, + "learning_rate": 9.946365053646796e-06, + "loss": 2.4346, + "step": 11120 + }, + { + "epoch": 0.5, + "learning_rate": 9.932062598172308e-06, + "loss": 2.5007, + "step": 11130 + }, + { + "epoch": 0.5, + "learning_rate": 9.917760281675867e-06, + "loss": 2.4631, + "step": 11140 + }, + { + "epoch": 0.51, + "learning_rate": 9.903458133415398e-06, + "loss": 2.4774, + "step": 11150 + }, + { + "epoch": 0.51, + "learning_rate": 9.889156182648498e-06, + "loss": 2.4702, + "step": 11160 + }, + { + "epoch": 0.51, + "learning_rate": 9.87485445863234e-06, + "loss": 2.493, + "step": 11170 + }, + { + "epoch": 0.51, + "learning_rate": 9.860552990623657e-06, + "loss": 2.4554, + "step": 11180 + }, + { + "epoch": 0.51, + "learning_rate": 9.846251807878638e-06, + "loss": 2.4582, + "step": 11190 + }, + { + "epoch": 0.51, + "learning_rate": 9.831950939652903e-06, + "loss": 2.4747, + "step": 11200 + }, + { + "epoch": 0.51, + "learning_rate": 9.817650415201415e-06, + "loss": 2.4689, + "step": 11210 + }, + { + "epoch": 0.51, + "learning_rate": 9.80335026377845e-06, + "loss": 2.4748, + "step": 11220 + }, + { + "epoch": 0.51, + "learning_rate": 9.789050514637507e-06, + "loss": 2.4528, + "step": 11230 + }, + { + "epoch": 0.51, + "learning_rate": 9.774751197031264e-06, + "loss": 2.464, + "step": 11240 + }, + { + "epoch": 0.51, + "learning_rate": 9.760452340211525e-06, + "loss": 2.4807, + "step": 11250 + }, + { + "epoch": 0.51, + "learning_rate": 9.746153973429138e-06, + "loss": 2.4558, + "step": 11260 + }, + { + "epoch": 0.51, + "learning_rate": 9.731856125933962e-06, + "loss": 2.455, + "step": 11270 + }, + { + "epoch": 0.51, + "learning_rate": 9.717558826974789e-06, + "loss": 2.4982, + "step": 11280 + }, + { + "epoch": 0.51, + "learning_rate": 9.703262105799286e-06, + "loss": 2.4671, + "step": 11290 + }, + { + "epoch": 0.51, + "learning_rate": 9.688965991653934e-06, + "loss": 2.466, + "step": 11300 + }, + { + "epoch": 0.51, + "learning_rate": 9.674670513783989e-06, + "loss": 2.4909, + "step": 11310 + }, + { + "epoch": 0.51, + "learning_rate": 9.660375701433384e-06, + "loss": 2.455, + "step": 11320 + }, + { + "epoch": 0.51, + "learning_rate": 9.64608158384471e-06, + "loss": 2.4938, + "step": 11330 + }, + { + "epoch": 0.51, + "learning_rate": 9.631788190259118e-06, + "loss": 2.485, + "step": 11340 + }, + { + "epoch": 0.51, + "learning_rate": 9.617495549916297e-06, + "loss": 2.4972, + "step": 11350 + }, + { + "epoch": 0.51, + "learning_rate": 9.603203692054376e-06, + "loss": 2.4789, + "step": 11360 + }, + { + "epoch": 0.52, + "learning_rate": 9.588912645909905e-06, + "loss": 2.4842, + "step": 11370 + }, + { + "epoch": 0.52, + "learning_rate": 9.574622440717748e-06, + "loss": 2.4695, + "step": 11380 + }, + { + "epoch": 0.52, + "learning_rate": 9.560333105711073e-06, + "loss": 2.4725, + "step": 11390 + }, + { + "epoch": 0.52, + "learning_rate": 9.54604467012125e-06, + "loss": 2.4497, + "step": 11400 + }, + { + "epoch": 0.52, + "learning_rate": 9.531757163177819e-06, + "loss": 2.4851, + "step": 11410 + }, + { + "epoch": 0.52, + "learning_rate": 9.517470614108422e-06, + "loss": 2.4984, + "step": 11420 + }, + { + "epoch": 0.52, + "learning_rate": 9.503185052138725e-06, + "loss": 2.4936, + "step": 11430 + }, + { + "epoch": 0.52, + "learning_rate": 9.4889005064924e-06, + "loss": 2.473, + "step": 11440 + }, + { + "epoch": 0.52, + "learning_rate": 9.474617006391015e-06, + "loss": 2.4945, + "step": 11450 + }, + { + "epoch": 0.52, + "learning_rate": 9.460334581054019e-06, + "loss": 2.4932, + "step": 11460 + }, + { + "epoch": 0.52, + "learning_rate": 9.446053259698649e-06, + "loss": 2.4301, + "step": 11470 + }, + { + "epoch": 0.52, + "learning_rate": 9.431773071539894e-06, + "loss": 2.4555, + "step": 11480 + }, + { + "epoch": 0.52, + "learning_rate": 9.41749404579041e-06, + "loss": 2.4897, + "step": 11490 + }, + { + "epoch": 0.52, + "learning_rate": 9.403216211660498e-06, + "loss": 2.4859, + "step": 11500 + }, + { + "epoch": 0.52, + "learning_rate": 9.388939598357995e-06, + "loss": 2.4884, + "step": 11510 + }, + { + "epoch": 0.52, + "learning_rate": 9.374664235088262e-06, + "loss": 2.4721, + "step": 11520 + }, + { + "epoch": 0.52, + "learning_rate": 9.36039015105409e-06, + "loss": 2.4489, + "step": 11530 + }, + { + "epoch": 0.52, + "learning_rate": 9.346117375455658e-06, + "loss": 2.4761, + "step": 11540 + }, + { + "epoch": 0.52, + "learning_rate": 9.33184593749047e-06, + "loss": 2.4561, + "step": 11550 + }, + { + "epoch": 0.52, + "learning_rate": 9.317575866353293e-06, + "loss": 2.4629, + "step": 11560 + }, + { + "epoch": 0.52, + "learning_rate": 9.303307191236087e-06, + "loss": 2.4816, + "step": 11570 + }, + { + "epoch": 0.52, + "learning_rate": 9.289039941327979e-06, + "loss": 2.5062, + "step": 11580 + }, + { + "epoch": 0.53, + "learning_rate": 9.274774145815155e-06, + "loss": 2.4586, + "step": 11590 + }, + { + "epoch": 0.53, + "learning_rate": 9.260509833880848e-06, + "loss": 2.4809, + "step": 11600 + }, + { + "epoch": 0.53, + "learning_rate": 9.246247034705235e-06, + "loss": 2.4802, + "step": 11610 + }, + { + "epoch": 0.53, + "learning_rate": 9.23198577746542e-06, + "loss": 2.4742, + "step": 11620 + }, + { + "epoch": 0.53, + "learning_rate": 9.217726091335333e-06, + "loss": 2.4741, + "step": 11630 + }, + { + "epoch": 0.53, + "learning_rate": 9.203468005485702e-06, + "loss": 2.4874, + "step": 11640 + }, + { + "epoch": 0.53, + "learning_rate": 9.189211549083985e-06, + "loss": 2.4788, + "step": 11650 + }, + { + "epoch": 0.53, + "learning_rate": 9.174956751294288e-06, + "loss": 2.4903, + "step": 11660 + }, + { + "epoch": 0.53, + "learning_rate": 9.160703641277347e-06, + "loss": 2.455, + "step": 11670 + }, + { + "epoch": 0.53, + "learning_rate": 9.146452248190425e-06, + "loss": 2.4857, + "step": 11680 + }, + { + "epoch": 0.53, + "learning_rate": 9.132202601187292e-06, + "loss": 2.4862, + "step": 11690 + }, + { + "epoch": 0.53, + "learning_rate": 9.117954729418125e-06, + "loss": 2.4894, + "step": 11700 + }, + { + "epoch": 0.53, + "learning_rate": 9.103708662029492e-06, + "loss": 2.457, + "step": 11710 + }, + { + "epoch": 0.53, + "learning_rate": 9.089464428164247e-06, + "loss": 2.4887, + "step": 11720 + }, + { + "epoch": 0.53, + "learning_rate": 9.075222056961515e-06, + "loss": 2.486, + "step": 11730 + }, + { + "epoch": 0.53, + "learning_rate": 9.06098157755659e-06, + "loss": 2.4873, + "step": 11740 + }, + { + "epoch": 0.53, + "learning_rate": 9.046743019080915e-06, + "loss": 2.4694, + "step": 11750 + }, + { + "epoch": 0.53, + "learning_rate": 9.032506410661991e-06, + "loss": 2.4844, + "step": 11760 + }, + { + "epoch": 0.53, + "learning_rate": 9.018271781423334e-06, + "loss": 2.4693, + "step": 11770 + }, + { + "epoch": 0.53, + "learning_rate": 9.004039160484409e-06, + "loss": 2.4867, + "step": 11780 + }, + { + "epoch": 0.53, + "learning_rate": 8.98980857696058e-06, + "loss": 2.464, + "step": 11790 + }, + { + "epoch": 0.53, + "learning_rate": 8.975580059963027e-06, + "loss": 2.4595, + "step": 11800 + }, + { + "epoch": 0.54, + "learning_rate": 8.961353638598724e-06, + "loss": 2.4671, + "step": 11810 + }, + { + "epoch": 0.54, + "learning_rate": 8.947129341970342e-06, + "loss": 2.4666, + "step": 11820 + }, + { + "epoch": 0.54, + "learning_rate": 8.932907199176206e-06, + "loss": 2.4859, + "step": 11830 + }, + { + "epoch": 0.54, + "learning_rate": 8.91868723931025e-06, + "loss": 2.4529, + "step": 11840 + }, + { + "epoch": 0.54, + "learning_rate": 8.904469491461917e-06, + "loss": 2.462, + "step": 11850 + }, + { + "epoch": 0.54, + "learning_rate": 8.890253984716152e-06, + "loss": 2.4492, + "step": 11860 + }, + { + "epoch": 0.54, + "learning_rate": 8.876040748153301e-06, + "loss": 2.4945, + "step": 11870 + }, + { + "epoch": 0.54, + "learning_rate": 8.861829810849067e-06, + "loss": 2.4905, + "step": 11880 + }, + { + "epoch": 0.54, + "learning_rate": 8.847621201874447e-06, + "loss": 2.49, + "step": 11890 + }, + { + "epoch": 0.54, + "learning_rate": 8.833414950295685e-06, + "loss": 2.4897, + "step": 11900 + }, + { + "epoch": 0.54, + "learning_rate": 8.81921108517419e-06, + "loss": 2.4593, + "step": 11910 + }, + { + "epoch": 0.54, + "learning_rate": 8.805009635566502e-06, + "loss": 2.4447, + "step": 11920 + }, + { + "epoch": 0.54, + "learning_rate": 8.790810630524205e-06, + "loss": 2.4568, + "step": 11930 + }, + { + "epoch": 0.54, + "learning_rate": 8.776614099093897e-06, + "loss": 2.483, + "step": 11940 + }, + { + "epoch": 0.54, + "learning_rate": 8.762420070317102e-06, + "loss": 2.4614, + "step": 11950 + }, + { + "epoch": 0.54, + "learning_rate": 8.748228573230237e-06, + "loss": 2.4272, + "step": 11960 + }, + { + "epoch": 0.54, + "learning_rate": 8.73403963686453e-06, + "loss": 2.4839, + "step": 11970 + }, + { + "epoch": 0.54, + "learning_rate": 8.719853290245977e-06, + "loss": 2.4769, + "step": 11980 + }, + { + "epoch": 0.54, + "learning_rate": 8.705669562395276e-06, + "loss": 2.4887, + "step": 11990 + }, + { + "epoch": 0.54, + "learning_rate": 8.691488482327762e-06, + "loss": 2.4559, + "step": 12000 + }, + { + "epoch": 0.54, + "eval_accuracy": 0.5414407901370168, + "eval_loss": 2.2359259128570557, + "eval_runtime": 9.8425, + "eval_samples_per_second": 138.887, + "eval_steps_per_second": 1.118, + "step": 12000 + }, + { + "epoch": 0.54, + "learning_rate": 8.67731007905336e-06, + "loss": 2.4765, + "step": 12010 + }, + { + "epoch": 0.54, + "learning_rate": 8.66313438157651e-06, + "loss": 2.4874, + "step": 12020 + }, + { + "epoch": 0.55, + "learning_rate": 8.648961418896134e-06, + "loss": 2.5224, + "step": 12030 + }, + { + "epoch": 0.55, + "learning_rate": 8.634791220005539e-06, + "loss": 2.4972, + "step": 12040 + }, + { + "epoch": 0.55, + "learning_rate": 8.620623813892397e-06, + "loss": 2.4834, + "step": 12050 + }, + { + "epoch": 0.55, + "learning_rate": 8.606459229538645e-06, + "loss": 2.4802, + "step": 12060 + }, + { + "epoch": 0.55, + "learning_rate": 8.592297495920475e-06, + "loss": 2.4945, + "step": 12070 + }, + { + "epoch": 0.55, + "learning_rate": 8.57813864200822e-06, + "loss": 2.4804, + "step": 12080 + }, + { + "epoch": 0.55, + "learning_rate": 8.563982696766343e-06, + "loss": 2.4684, + "step": 12090 + }, + { + "epoch": 0.55, + "learning_rate": 8.549829689153346e-06, + "loss": 2.4806, + "step": 12100 + }, + { + "epoch": 0.55, + "learning_rate": 8.535679648121725e-06, + "loss": 2.4539, + "step": 12110 + }, + { + "epoch": 0.55, + "learning_rate": 8.521532602617901e-06, + "loss": 2.4654, + "step": 12120 + }, + { + "epoch": 0.55, + "learning_rate": 8.507388581582183e-06, + "loss": 2.4793, + "step": 12130 + }, + { + "epoch": 0.55, + "learning_rate": 8.493247613948673e-06, + "loss": 2.4696, + "step": 12140 + }, + { + "epoch": 0.55, + "learning_rate": 8.47910972864524e-06, + "loss": 2.4889, + "step": 12150 + }, + { + "epoch": 0.55, + "learning_rate": 8.464974954593443e-06, + "loss": 2.4896, + "step": 12160 + }, + { + "epoch": 0.55, + "learning_rate": 8.45084332070848e-06, + "loss": 2.478, + "step": 12170 + }, + { + "epoch": 0.55, + "learning_rate": 8.436714855899114e-06, + "loss": 2.454, + "step": 12180 + }, + { + "epoch": 0.55, + "learning_rate": 8.422589589067645e-06, + "loss": 2.4744, + "step": 12190 + }, + { + "epoch": 0.55, + "learning_rate": 8.40846754910981e-06, + "loss": 2.4624, + "step": 12200 + }, + { + "epoch": 0.55, + "learning_rate": 8.394348764914758e-06, + "loss": 2.4692, + "step": 12210 + }, + { + "epoch": 0.55, + "learning_rate": 8.380233265364973e-06, + "loss": 2.4601, + "step": 12220 + }, + { + "epoch": 0.55, + "learning_rate": 8.36612107933622e-06, + "loss": 2.476, + "step": 12230 + }, + { + "epoch": 0.55, + "learning_rate": 8.352012235697492e-06, + "loss": 2.4928, + "step": 12240 + }, + { + "epoch": 0.56, + "learning_rate": 8.33790676331093e-06, + "loss": 2.5132, + "step": 12250 + }, + { + "epoch": 0.56, + "learning_rate": 8.323804691031797e-06, + "loss": 2.4658, + "step": 12260 + }, + { + "epoch": 0.56, + "learning_rate": 8.309706047708378e-06, + "loss": 2.469, + "step": 12270 + }, + { + "epoch": 0.56, + "learning_rate": 8.29561086218197e-06, + "loss": 2.4982, + "step": 12280 + }, + { + "epoch": 0.56, + "learning_rate": 8.281519163286772e-06, + "loss": 2.4755, + "step": 12290 + }, + { + "epoch": 0.56, + "learning_rate": 8.26743097984987e-06, + "loss": 2.4668, + "step": 12300 + }, + { + "epoch": 0.56, + "learning_rate": 8.25334634069114e-06, + "loss": 2.4874, + "step": 12310 + }, + { + "epoch": 0.56, + "learning_rate": 8.239265274623227e-06, + "loss": 2.4933, + "step": 12320 + }, + { + "epoch": 0.56, + "learning_rate": 8.22518781045145e-06, + "loss": 2.4909, + "step": 12330 + }, + { + "epoch": 0.56, + "learning_rate": 8.211113976973768e-06, + "loss": 2.4741, + "step": 12340 + }, + { + "epoch": 0.56, + "learning_rate": 8.197043802980712e-06, + "loss": 2.4819, + "step": 12350 + }, + { + "epoch": 0.56, + "learning_rate": 8.18297731725533e-06, + "loss": 2.4838, + "step": 12360 + }, + { + "epoch": 0.56, + "learning_rate": 8.168914548573113e-06, + "loss": 2.4663, + "step": 12370 + }, + { + "epoch": 0.56, + "learning_rate": 8.154855525701965e-06, + "loss": 2.4944, + "step": 12380 + }, + { + "epoch": 0.56, + "learning_rate": 8.140800277402116e-06, + "loss": 2.4747, + "step": 12390 + }, + { + "epoch": 0.56, + "learning_rate": 8.12674883242607e-06, + "loss": 2.4589, + "step": 12400 + }, + { + "epoch": 0.56, + "learning_rate": 8.112701219518567e-06, + "loss": 2.4612, + "step": 12410 + }, + { + "epoch": 0.56, + "learning_rate": 8.09865746741649e-06, + "loss": 2.4959, + "step": 12420 + }, + { + "epoch": 0.56, + "learning_rate": 8.084617604848838e-06, + "loss": 2.4851, + "step": 12430 + }, + { + "epoch": 0.56, + "learning_rate": 8.07058166053665e-06, + "loss": 2.4846, + "step": 12440 + }, + { + "epoch": 0.56, + "learning_rate": 8.056549663192942e-06, + "loss": 2.4935, + "step": 12450 + }, + { + "epoch": 0.56, + "learning_rate": 8.04252164152266e-06, + "loss": 2.4802, + "step": 12460 + }, + { + "epoch": 0.57, + "learning_rate": 8.028497624222626e-06, + "loss": 2.4761, + "step": 12470 + }, + { + "epoch": 0.57, + "learning_rate": 8.014477639981455e-06, + "loss": 2.4767, + "step": 12480 + }, + { + "epoch": 0.57, + "learning_rate": 8.000461717479525e-06, + "loss": 2.4622, + "step": 12490 + }, + { + "epoch": 0.57, + "learning_rate": 7.986449885388889e-06, + "loss": 2.4456, + "step": 12500 + }, + { + "epoch": 0.57, + "learning_rate": 7.972442172373256e-06, + "loss": 2.4738, + "step": 12510 + }, + { + "epoch": 0.57, + "learning_rate": 7.958438607087884e-06, + "loss": 2.484, + "step": 12520 + }, + { + "epoch": 0.57, + "learning_rate": 7.944439218179565e-06, + "loss": 2.4505, + "step": 12530 + }, + { + "epoch": 0.57, + "learning_rate": 7.930444034286532e-06, + "loss": 2.4804, + "step": 12540 + }, + { + "epoch": 0.57, + "learning_rate": 7.916453084038432e-06, + "loss": 2.4537, + "step": 12550 + }, + { + "epoch": 0.57, + "learning_rate": 7.902466396056234e-06, + "loss": 2.4594, + "step": 12560 + }, + { + "epoch": 0.57, + "learning_rate": 7.888483998952204e-06, + "loss": 2.4833, + "step": 12570 + }, + { + "epoch": 0.57, + "learning_rate": 7.874505921329823e-06, + "loss": 2.45, + "step": 12580 + }, + { + "epoch": 0.57, + "learning_rate": 7.860532191783729e-06, + "loss": 2.4693, + "step": 12590 + }, + { + "epoch": 0.57, + "learning_rate": 7.846562838899679e-06, + "loss": 2.4696, + "step": 12600 + }, + { + "epoch": 0.57, + "learning_rate": 7.832597891254463e-06, + "loss": 2.4672, + "step": 12610 + }, + { + "epoch": 0.57, + "learning_rate": 7.818637377415872e-06, + "loss": 2.4988, + "step": 12620 + }, + { + "epoch": 0.57, + "learning_rate": 7.804681325942616e-06, + "loss": 2.488, + "step": 12630 + }, + { + "epoch": 0.57, + "learning_rate": 7.790729765384286e-06, + "loss": 2.4743, + "step": 12640 + }, + { + "epoch": 0.57, + "learning_rate": 7.776782724281275e-06, + "loss": 2.4833, + "step": 12650 + }, + { + "epoch": 0.57, + "learning_rate": 7.762840231164745e-06, + "loss": 2.4573, + "step": 12660 + }, + { + "epoch": 0.57, + "learning_rate": 7.748902314556539e-06, + "loss": 2.468, + "step": 12670 + }, + { + "epoch": 0.57, + "learning_rate": 7.73496900296915e-06, + "loss": 2.4519, + "step": 12680 + }, + { + "epoch": 0.58, + "learning_rate": 7.721040324905642e-06, + "loss": 2.4748, + "step": 12690 + }, + { + "epoch": 0.58, + "learning_rate": 7.707116308859609e-06, + "loss": 2.4708, + "step": 12700 + }, + { + "epoch": 0.58, + "learning_rate": 7.693196983315094e-06, + "loss": 2.4529, + "step": 12710 + }, + { + "epoch": 0.58, + "learning_rate": 7.679282376746567e-06, + "loss": 2.4409, + "step": 12720 + }, + { + "epoch": 0.58, + "learning_rate": 7.665372517618818e-06, + "loss": 2.4931, + "step": 12730 + }, + { + "epoch": 0.58, + "learning_rate": 7.651467434386951e-06, + "loss": 2.4605, + "step": 12740 + }, + { + "epoch": 0.58, + "learning_rate": 7.637567155496277e-06, + "loss": 2.4621, + "step": 12750 + }, + { + "epoch": 0.58, + "learning_rate": 7.623671709382297e-06, + "loss": 2.481, + "step": 12760 + }, + { + "epoch": 0.58, + "learning_rate": 7.609781124470613e-06, + "loss": 2.4536, + "step": 12770 + }, + { + "epoch": 0.58, + "learning_rate": 7.595895429176891e-06, + "loss": 2.473, + "step": 12780 + }, + { + "epoch": 0.58, + "learning_rate": 7.582014651906788e-06, + "loss": 2.4774, + "step": 12790 + }, + { + "epoch": 0.58, + "learning_rate": 7.5681388210559056e-06, + "loss": 2.4565, + "step": 12800 + }, + { + "epoch": 0.58, + "learning_rate": 7.5542679650097286e-06, + "loss": 2.4743, + "step": 12810 + }, + { + "epoch": 0.58, + "learning_rate": 7.540402112143551e-06, + "loss": 2.4498, + "step": 12820 + }, + { + "epoch": 0.58, + "learning_rate": 7.526541290822453e-06, + "loss": 2.4811, + "step": 12830 + }, + { + "epoch": 0.58, + "learning_rate": 7.5126855294012e-06, + "loss": 2.4997, + "step": 12840 + }, + { + "epoch": 0.58, + "learning_rate": 7.498834856224226e-06, + "loss": 2.4737, + "step": 12850 + }, + { + "epoch": 0.58, + "learning_rate": 7.48498929962554e-06, + "loss": 2.4443, + "step": 12860 + }, + { + "epoch": 0.58, + "learning_rate": 7.471148887928698e-06, + "loss": 2.4566, + "step": 12870 + }, + { + "epoch": 0.58, + "learning_rate": 7.457313649446719e-06, + "loss": 2.4765, + "step": 12880 + }, + { + "epoch": 0.58, + "learning_rate": 7.44348361248205e-06, + "loss": 2.4601, + "step": 12890 + }, + { + "epoch": 0.58, + "learning_rate": 7.429658805326485e-06, + "loss": 2.469, + "step": 12900 + }, + { + "epoch": 0.59, + "learning_rate": 7.415839256261133e-06, + "loss": 2.4644, + "step": 12910 + }, + { + "epoch": 0.59, + "learning_rate": 7.402024993556338e-06, + "loss": 2.4645, + "step": 12920 + }, + { + "epoch": 0.59, + "learning_rate": 7.3882160454716325e-06, + "loss": 2.4595, + "step": 12930 + }, + { + "epoch": 0.59, + "learning_rate": 7.374412440255673e-06, + "loss": 2.4701, + "step": 12940 + }, + { + "epoch": 0.59, + "learning_rate": 7.360614206146198e-06, + "loss": 2.4651, + "step": 12950 + }, + { + "epoch": 0.59, + "learning_rate": 7.346821371369945e-06, + "loss": 2.4749, + "step": 12960 + }, + { + "epoch": 0.59, + "learning_rate": 7.333033964142609e-06, + "loss": 2.5187, + "step": 12970 + }, + { + "epoch": 0.59, + "learning_rate": 7.31925201266879e-06, + "loss": 2.471, + "step": 12980 + }, + { + "epoch": 0.59, + "learning_rate": 7.305475545141916e-06, + "loss": 2.4607, + "step": 12990 + }, + { + "epoch": 0.59, + "learning_rate": 7.291704589744209e-06, + "loss": 2.4629, + "step": 13000 + }, + { + "epoch": 0.59, + "learning_rate": 7.2779391746466e-06, + "loss": 2.4691, + "step": 13010 + }, + { + "epoch": 0.59, + "learning_rate": 7.264179328008702e-06, + "loss": 2.4992, + "step": 13020 + }, + { + "epoch": 0.59, + "learning_rate": 7.250425077978726e-06, + "loss": 2.4771, + "step": 13030 + }, + { + "epoch": 0.59, + "learning_rate": 7.236676452693438e-06, + "loss": 2.4698, + "step": 13040 + }, + { + "epoch": 0.59, + "learning_rate": 7.2229334802780956e-06, + "loss": 2.4695, + "step": 13050 + }, + { + "epoch": 0.59, + "learning_rate": 7.209196188846399e-06, + "loss": 2.4729, + "step": 13060 + }, + { + "epoch": 0.59, + "learning_rate": 7.195464606500415e-06, + "loss": 2.4422, + "step": 13070 + }, + { + "epoch": 0.59, + "learning_rate": 7.181738761330546e-06, + "loss": 2.459, + "step": 13080 + }, + { + "epoch": 0.59, + "learning_rate": 7.168018681415441e-06, + "loss": 2.4536, + "step": 13090 + }, + { + "epoch": 0.59, + "learning_rate": 7.154304394821973e-06, + "loss": 2.4786, + "step": 13100 + }, + { + "epoch": 0.59, + "learning_rate": 7.14059592960515e-06, + "loss": 2.4563, + "step": 13110 + }, + { + "epoch": 0.59, + "learning_rate": 7.12689331380808e-06, + "loss": 2.4681, + "step": 13120 + }, + { + "epoch": 0.6, + "learning_rate": 7.113196575461896e-06, + "loss": 2.4908, + "step": 13130 + }, + { + "epoch": 0.6, + "learning_rate": 7.099505742585719e-06, + "loss": 2.4829, + "step": 13140 + }, + { + "epoch": 0.6, + "learning_rate": 7.085820843186584e-06, + "loss": 2.4811, + "step": 13150 + }, + { + "epoch": 0.6, + "learning_rate": 7.07214190525938e-06, + "loss": 2.4819, + "step": 13160 + }, + { + "epoch": 0.6, + "learning_rate": 7.0584689567868156e-06, + "loss": 2.4804, + "step": 13170 + }, + { + "epoch": 0.6, + "learning_rate": 7.0448020257393335e-06, + "loss": 2.4538, + "step": 13180 + }, + { + "epoch": 0.6, + "learning_rate": 7.031141140075081e-06, + "loss": 2.4562, + "step": 13190 + }, + { + "epoch": 0.6, + "learning_rate": 7.01748632773982e-06, + "loss": 2.4731, + "step": 13200 + }, + { + "epoch": 0.6, + "learning_rate": 7.003837616666906e-06, + "loss": 2.4594, + "step": 13210 + }, + { + "epoch": 0.6, + "learning_rate": 6.990195034777202e-06, + "loss": 2.4747, + "step": 13220 + }, + { + "epoch": 0.6, + "learning_rate": 6.976558609979041e-06, + "loss": 2.4613, + "step": 13230 + }, + { + "epoch": 0.6, + "learning_rate": 6.962928370168148e-06, + "loss": 2.4849, + "step": 13240 + }, + { + "epoch": 0.6, + "learning_rate": 6.949304343227611e-06, + "loss": 2.4788, + "step": 13250 + }, + { + "epoch": 0.6, + "learning_rate": 6.9356865570277985e-06, + "loss": 2.4661, + "step": 13260 + }, + { + "epoch": 0.6, + "learning_rate": 6.922075039426315e-06, + "loss": 2.4745, + "step": 13270 + }, + { + "epoch": 0.6, + "learning_rate": 6.908469818267938e-06, + "loss": 2.4808, + "step": 13280 + }, + { + "epoch": 0.6, + "learning_rate": 6.8948709213845755e-06, + "loss": 2.4845, + "step": 13290 + }, + { + "epoch": 0.6, + "learning_rate": 6.881278376595182e-06, + "loss": 2.5033, + "step": 13300 + }, + { + "epoch": 0.6, + "learning_rate": 6.867692211705735e-06, + "loss": 2.4862, + "step": 13310 + }, + { + "epoch": 0.6, + "learning_rate": 6.854112454509143e-06, + "loss": 2.4932, + "step": 13320 + }, + { + "epoch": 0.6, + "learning_rate": 6.840539132785224e-06, + "loss": 2.4466, + "step": 13330 + }, + { + "epoch": 0.6, + "learning_rate": 6.826972274300617e-06, + "loss": 2.4699, + "step": 13340 + }, + { + "epoch": 0.61, + "learning_rate": 6.8134119068087425e-06, + "loss": 2.484, + "step": 13350 + }, + { + "epoch": 0.61, + "learning_rate": 6.79985805804975e-06, + "loss": 2.4772, + "step": 13360 + }, + { + "epoch": 0.61, + "learning_rate": 6.786310755750446e-06, + "loss": 2.4542, + "step": 13370 + }, + { + "epoch": 0.61, + "learning_rate": 6.772770027624249e-06, + "loss": 2.4706, + "step": 13380 + }, + { + "epoch": 0.61, + "learning_rate": 6.759235901371124e-06, + "loss": 2.4257, + "step": 13390 + }, + { + "epoch": 0.61, + "learning_rate": 6.745708404677541e-06, + "loss": 2.4684, + "step": 13400 + }, + { + "epoch": 0.61, + "learning_rate": 6.7321875652163926e-06, + "loss": 2.4852, + "step": 13410 + }, + { + "epoch": 0.61, + "learning_rate": 6.718673410646971e-06, + "loss": 2.466, + "step": 13420 + }, + { + "epoch": 0.61, + "learning_rate": 6.705165968614873e-06, + "loss": 2.4785, + "step": 13430 + }, + { + "epoch": 0.61, + "learning_rate": 6.6916652667519855e-06, + "loss": 2.4711, + "step": 13440 + }, + { + "epoch": 0.61, + "learning_rate": 6.678171332676387e-06, + "loss": 2.4601, + "step": 13450 + }, + { + "epoch": 0.61, + "learning_rate": 6.664684193992326e-06, + "loss": 2.5161, + "step": 13460 + }, + { + "epoch": 0.61, + "learning_rate": 6.651203878290139e-06, + "loss": 2.4911, + "step": 13470 + }, + { + "epoch": 0.61, + "learning_rate": 6.6377304131462175e-06, + "loss": 2.4763, + "step": 13480 + }, + { + "epoch": 0.61, + "learning_rate": 6.624263826122923e-06, + "loss": 2.4514, + "step": 13490 + }, + { + "epoch": 0.61, + "learning_rate": 6.610804144768562e-06, + "loss": 2.47, + "step": 13500 + }, + { + "epoch": 0.61, + "learning_rate": 6.597351396617304e-06, + "loss": 2.4567, + "step": 13510 + }, + { + "epoch": 0.61, + "learning_rate": 6.583905609189141e-06, + "loss": 2.4374, + "step": 13520 + }, + { + "epoch": 0.61, + "learning_rate": 6.570466809989824e-06, + "loss": 2.4939, + "step": 13530 + }, + { + "epoch": 0.61, + "learning_rate": 6.5570350265108005e-06, + "loss": 2.464, + "step": 13540 + }, + { + "epoch": 0.61, + "learning_rate": 6.543610286229183e-06, + "loss": 2.4703, + "step": 13550 + }, + { + "epoch": 0.61, + "learning_rate": 6.530192616607658e-06, + "loss": 2.4654, + "step": 13560 + }, + { + "epoch": 0.62, + "learning_rate": 6.516782045094463e-06, + "loss": 2.456, + "step": 13570 + }, + { + "epoch": 0.62, + "learning_rate": 6.5033785991233e-06, + "loss": 2.4836, + "step": 13580 + }, + { + "epoch": 0.62, + "learning_rate": 6.489982306113309e-06, + "loss": 2.4499, + "step": 13590 + }, + { + "epoch": 0.62, + "learning_rate": 6.47659319346899e-06, + "loss": 2.4631, + "step": 13600 + }, + { + "epoch": 0.62, + "learning_rate": 6.463211288580152e-06, + "loss": 2.4528, + "step": 13610 + }, + { + "epoch": 0.62, + "learning_rate": 6.4498366188218635e-06, + "loss": 2.472, + "step": 13620 + }, + { + "epoch": 0.62, + "learning_rate": 6.4364692115543944e-06, + "loss": 2.465, + "step": 13630 + }, + { + "epoch": 0.62, + "learning_rate": 6.423109094123148e-06, + "loss": 2.4635, + "step": 13640 + }, + { + "epoch": 0.62, + "learning_rate": 6.409756293858628e-06, + "loss": 2.4981, + "step": 13650 + }, + { + "epoch": 0.62, + "learning_rate": 6.396410838076357e-06, + "loss": 2.4745, + "step": 13660 + }, + { + "epoch": 0.62, + "learning_rate": 6.3830727540768445e-06, + "loss": 2.4769, + "step": 13670 + }, + { + "epoch": 0.62, + "learning_rate": 6.3697420691455095e-06, + "loss": 2.4806, + "step": 13680 + }, + { + "epoch": 0.62, + "learning_rate": 6.356418810552645e-06, + "loss": 2.4537, + "step": 13690 + }, + { + "epoch": 0.62, + "learning_rate": 6.3431030055533405e-06, + "loss": 2.4497, + "step": 13700 + }, + { + "epoch": 0.62, + "learning_rate": 6.329794681387451e-06, + "loss": 2.4794, + "step": 13710 + }, + { + "epoch": 0.62, + "learning_rate": 6.316493865279516e-06, + "loss": 2.483, + "step": 13720 + }, + { + "epoch": 0.62, + "learning_rate": 6.303200584438722e-06, + "loss": 2.4723, + "step": 13730 + }, + { + "epoch": 0.62, + "learning_rate": 6.289914866058846e-06, + "loss": 2.4575, + "step": 13740 + }, + { + "epoch": 0.62, + "learning_rate": 6.276636737318178e-06, + "loss": 2.4786, + "step": 13750 + }, + { + "epoch": 0.62, + "learning_rate": 6.263366225379504e-06, + "loss": 2.4861, + "step": 13760 + }, + { + "epoch": 0.62, + "learning_rate": 6.250103357390007e-06, + "loss": 2.4715, + "step": 13770 + }, + { + "epoch": 0.62, + "learning_rate": 6.2368481604812515e-06, + "loss": 2.4597, + "step": 13780 + }, + { + "epoch": 0.62, + "learning_rate": 6.223600661769094e-06, + "loss": 2.4618, + "step": 13790 + }, + { + "epoch": 0.63, + "learning_rate": 6.210360888353657e-06, + "loss": 2.4722, + "step": 13800 + }, + { + "epoch": 0.63, + "learning_rate": 6.197128867319244e-06, + "loss": 2.4829, + "step": 13810 + }, + { + "epoch": 0.63, + "learning_rate": 6.183904625734319e-06, + "loss": 2.4703, + "step": 13820 + }, + { + "epoch": 0.63, + "learning_rate": 6.17068819065141e-06, + "loss": 2.4897, + "step": 13830 + }, + { + "epoch": 0.63, + "learning_rate": 6.157479589107092e-06, + "loss": 2.4974, + "step": 13840 + }, + { + "epoch": 0.63, + "learning_rate": 6.144278848121912e-06, + "loss": 2.4877, + "step": 13850 + }, + { + "epoch": 0.63, + "learning_rate": 6.131085994700328e-06, + "loss": 2.4798, + "step": 13860 + }, + { + "epoch": 0.63, + "learning_rate": 6.11790105583067e-06, + "loss": 2.4666, + "step": 13870 + }, + { + "epoch": 0.63, + "learning_rate": 6.104724058485086e-06, + "loss": 2.4675, + "step": 13880 + }, + { + "epoch": 0.63, + "learning_rate": 6.091555029619453e-06, + "loss": 2.4579, + "step": 13890 + }, + { + "epoch": 0.63, + "learning_rate": 6.078393996173375e-06, + "loss": 2.4621, + "step": 13900 + }, + { + "epoch": 0.63, + "learning_rate": 6.0652409850700775e-06, + "loss": 2.4689, + "step": 13910 + }, + { + "epoch": 0.63, + "learning_rate": 6.052096023216395e-06, + "loss": 2.4858, + "step": 13920 + }, + { + "epoch": 0.63, + "learning_rate": 6.038959137502678e-06, + "loss": 2.4593, + "step": 13930 + }, + { + "epoch": 0.63, + "learning_rate": 6.025830354802767e-06, + "loss": 2.4603, + "step": 13940 + }, + { + "epoch": 0.63, + "learning_rate": 6.01270970197392e-06, + "loss": 2.4746, + "step": 13950 + }, + { + "epoch": 0.63, + "learning_rate": 5.999597205856766e-06, + "loss": 2.459, + "step": 13960 + }, + { + "epoch": 0.63, + "learning_rate": 5.9864928932752575e-06, + "loss": 2.4795, + "step": 13970 + }, + { + "epoch": 0.63, + "learning_rate": 5.973396791036585e-06, + "loss": 2.4831, + "step": 13980 + }, + { + "epoch": 0.63, + "learning_rate": 5.960308925931167e-06, + "loss": 2.4637, + "step": 13990 + }, + { + "epoch": 0.63, + "learning_rate": 5.9472293247325485e-06, + "loss": 2.5186, + "step": 14000 + }, + { + "epoch": 0.63, + "eval_accuracy": 0.5415494826024122, + "eval_loss": 2.234656810760498, + "eval_runtime": 9.8993, + "eval_samples_per_second": 138.09, + "eval_steps_per_second": 1.111, + "step": 14000 + }, + { + "epoch": 0.63, + "learning_rate": 5.934158014197391e-06, + "loss": 2.4902, + "step": 14010 + }, + { + "epoch": 0.64, + "learning_rate": 5.9210950210653795e-06, + "loss": 2.4741, + "step": 14020 + }, + { + "epoch": 0.64, + "learning_rate": 5.908040372059195e-06, + "loss": 2.4564, + "step": 14030 + }, + { + "epoch": 0.64, + "learning_rate": 5.894994093884439e-06, + "loss": 2.4434, + "step": 14040 + }, + { + "epoch": 0.64, + "learning_rate": 5.8819562132296e-06, + "loss": 2.4497, + "step": 14050 + }, + { + "epoch": 0.64, + "learning_rate": 5.868926756765979e-06, + "loss": 2.5057, + "step": 14060 + }, + { + "epoch": 0.64, + "learning_rate": 5.85590575114765e-06, + "loss": 2.4718, + "step": 14070 + }, + { + "epoch": 0.64, + "learning_rate": 5.842893223011394e-06, + "loss": 2.4651, + "step": 14080 + }, + { + "epoch": 0.64, + "learning_rate": 5.829889198976655e-06, + "loss": 2.4535, + "step": 14090 + }, + { + "epoch": 0.64, + "learning_rate": 5.816893705645475e-06, + "loss": 2.4601, + "step": 14100 + }, + { + "epoch": 0.64, + "learning_rate": 5.803906769602451e-06, + "loss": 2.4967, + "step": 14110 + }, + { + "epoch": 0.64, + "learning_rate": 5.7909284174146675e-06, + "loss": 2.4893, + "step": 14120 + }, + { + "epoch": 0.64, + "learning_rate": 5.777958675631657e-06, + "loss": 2.4555, + "step": 14130 + }, + { + "epoch": 0.64, + "learning_rate": 5.764997570785329e-06, + "loss": 2.47, + "step": 14140 + }, + { + "epoch": 0.64, + "learning_rate": 5.752045129389932e-06, + "loss": 2.4638, + "step": 14150 + }, + { + "epoch": 0.64, + "learning_rate": 5.739101377941991e-06, + "loss": 2.4654, + "step": 14160 + }, + { + "epoch": 0.64, + "learning_rate": 5.72616634292025e-06, + "loss": 2.4784, + "step": 14170 + }, + { + "epoch": 0.64, + "learning_rate": 5.713240050785625e-06, + "loss": 2.4875, + "step": 14180 + }, + { + "epoch": 0.64, + "learning_rate": 5.700322527981146e-06, + "loss": 2.4501, + "step": 14190 + }, + { + "epoch": 0.64, + "learning_rate": 5.687413800931905e-06, + "loss": 2.4733, + "step": 14200 + }, + { + "epoch": 0.64, + "learning_rate": 5.674513896044998e-06, + "loss": 2.4574, + "step": 14210 + }, + { + "epoch": 0.64, + "learning_rate": 5.661622839709478e-06, + "loss": 2.4738, + "step": 14220 + }, + { + "epoch": 0.64, + "learning_rate": 5.648740658296293e-06, + "loss": 2.4581, + "step": 14230 + }, + { + "epoch": 0.65, + "learning_rate": 5.635867378158237e-06, + "loss": 2.4966, + "step": 14240 + }, + { + "epoch": 0.65, + "learning_rate": 5.623003025629894e-06, + "loss": 2.4455, + "step": 14250 + }, + { + "epoch": 0.65, + "learning_rate": 5.610147627027589e-06, + "loss": 2.4658, + "step": 14260 + }, + { + "epoch": 0.65, + "learning_rate": 5.597301208649318e-06, + "loss": 2.4797, + "step": 14270 + }, + { + "epoch": 0.65, + "learning_rate": 5.584463796774732e-06, + "loss": 2.4531, + "step": 14280 + }, + { + "epoch": 0.65, + "learning_rate": 5.571635417665022e-06, + "loss": 2.4901, + "step": 14290 + }, + { + "epoch": 0.65, + "learning_rate": 5.558816097562937e-06, + "loss": 2.4704, + "step": 14300 + }, + { + "epoch": 0.65, + "learning_rate": 5.546005862692665e-06, + "loss": 2.4684, + "step": 14310 + }, + { + "epoch": 0.65, + "learning_rate": 5.533204739259823e-06, + "loss": 2.4764, + "step": 14320 + }, + { + "epoch": 0.65, + "learning_rate": 5.5204127534513895e-06, + "loss": 2.4556, + "step": 14330 + }, + { + "epoch": 0.65, + "learning_rate": 5.507629931435645e-06, + "loss": 2.4633, + "step": 14340 + }, + { + "epoch": 0.65, + "learning_rate": 5.4948562993621266e-06, + "loss": 2.4738, + "step": 14350 + }, + { + "epoch": 0.65, + "learning_rate": 5.482091883361571e-06, + "loss": 2.4838, + "step": 14360 + }, + { + "epoch": 0.65, + "learning_rate": 5.469336709545864e-06, + "loss": 2.4699, + "step": 14370 + }, + { + "epoch": 0.65, + "learning_rate": 5.456590804007976e-06, + "loss": 2.4543, + "step": 14380 + }, + { + "epoch": 0.65, + "learning_rate": 5.443854192821938e-06, + "loss": 2.434, + "step": 14390 + }, + { + "epoch": 0.65, + "learning_rate": 5.4311269020427395e-06, + "loss": 2.4642, + "step": 14400 + }, + { + "epoch": 0.65, + "learning_rate": 5.418408957706331e-06, + "loss": 2.4769, + "step": 14410 + }, + { + "epoch": 0.65, + "learning_rate": 5.405700385829518e-06, + "loss": 2.4864, + "step": 14420 + }, + { + "epoch": 0.65, + "learning_rate": 5.3930012124099585e-06, + "loss": 2.4804, + "step": 14430 + }, + { + "epoch": 0.65, + "learning_rate": 5.380311463426056e-06, + "loss": 2.4896, + "step": 14440 + }, + { + "epoch": 0.65, + "learning_rate": 5.367631164836965e-06, + "loss": 2.4535, + "step": 14450 + }, + { + "epoch": 0.66, + "learning_rate": 5.354960342582478e-06, + "loss": 2.4588, + "step": 14460 + }, + { + "epoch": 0.66, + "learning_rate": 5.34229902258303e-06, + "loss": 2.475, + "step": 14470 + }, + { + "epoch": 0.66, + "learning_rate": 5.3296472307395896e-06, + "loss": 2.4587, + "step": 14480 + }, + { + "epoch": 0.66, + "learning_rate": 5.3170049929336586e-06, + "loss": 2.4349, + "step": 14490 + }, + { + "epoch": 0.66, + "learning_rate": 5.304372335027184e-06, + "loss": 2.4759, + "step": 14500 + }, + { + "epoch": 0.66, + "learning_rate": 5.291749282862505e-06, + "loss": 2.4796, + "step": 14510 + }, + { + "epoch": 0.66, + "learning_rate": 5.2791358622623336e-06, + "loss": 2.4795, + "step": 14520 + }, + { + "epoch": 0.66, + "learning_rate": 5.266532099029651e-06, + "loss": 2.4616, + "step": 14530 + }, + { + "epoch": 0.66, + "learning_rate": 5.253938018947713e-06, + "loss": 2.4727, + "step": 14540 + }, + { + "epoch": 0.66, + "learning_rate": 5.2413536477799365e-06, + "loss": 2.483, + "step": 14550 + }, + { + "epoch": 0.66, + "learning_rate": 5.228779011269906e-06, + "loss": 2.4836, + "step": 14560 + }, + { + "epoch": 0.66, + "learning_rate": 5.216214135141262e-06, + "loss": 2.4657, + "step": 14570 + }, + { + "epoch": 0.66, + "learning_rate": 5.203659045097706e-06, + "loss": 2.4742, + "step": 14580 + }, + { + "epoch": 0.66, + "learning_rate": 5.191113766822905e-06, + "loss": 2.4922, + "step": 14590 + }, + { + "epoch": 0.66, + "learning_rate": 5.178578325980457e-06, + "loss": 2.4533, + "step": 14600 + }, + { + "epoch": 0.66, + "learning_rate": 5.1660527482138365e-06, + "loss": 2.4693, + "step": 14610 + }, + { + "epoch": 0.66, + "learning_rate": 5.153537059146343e-06, + "loss": 2.492, + "step": 14620 + }, + { + "epoch": 0.66, + "learning_rate": 5.141031284381042e-06, + "loss": 2.4795, + "step": 14630 + }, + { + "epoch": 0.66, + "learning_rate": 5.128535449500725e-06, + "loss": 2.4912, + "step": 14640 + }, + { + "epoch": 0.66, + "learning_rate": 5.11604958006784e-06, + "loss": 2.4671, + "step": 14650 + }, + { + "epoch": 0.66, + "learning_rate": 5.103573701624458e-06, + "loss": 2.4684, + "step": 14660 + }, + { + "epoch": 0.66, + "learning_rate": 5.091107839692208e-06, + "loss": 2.4717, + "step": 14670 + }, + { + "epoch": 0.67, + "learning_rate": 5.078652019772226e-06, + "loss": 2.4664, + "step": 14680 + }, + { + "epoch": 0.67, + "learning_rate": 5.066206267345111e-06, + "loss": 2.4638, + "step": 14690 + }, + { + "epoch": 0.67, + "learning_rate": 5.053770607870863e-06, + "loss": 2.4742, + "step": 14700 + }, + { + "epoch": 0.67, + "learning_rate": 5.041345066788832e-06, + "loss": 2.4715, + "step": 14710 + }, + { + "epoch": 0.67, + "learning_rate": 5.028929669517678e-06, + "loss": 2.4495, + "step": 14720 + }, + { + "epoch": 0.67, + "learning_rate": 5.016524441455304e-06, + "loss": 2.4717, + "step": 14730 + }, + { + "epoch": 0.67, + "learning_rate": 5.004129407978808e-06, + "loss": 2.4551, + "step": 14740 + }, + { + "epoch": 0.67, + "learning_rate": 4.991744594444439e-06, + "loss": 2.4574, + "step": 14750 + }, + { + "epoch": 0.67, + "learning_rate": 4.979370026187535e-06, + "loss": 2.4722, + "step": 14760 + }, + { + "epoch": 0.67, + "learning_rate": 4.967005728522479e-06, + "loss": 2.4583, + "step": 14770 + }, + { + "epoch": 0.67, + "learning_rate": 4.95465172674264e-06, + "loss": 2.4863, + "step": 14780 + }, + { + "epoch": 0.67, + "learning_rate": 4.942308046120328e-06, + "loss": 2.497, + "step": 14790 + }, + { + "epoch": 0.67, + "learning_rate": 4.929974711906736e-06, + "loss": 2.4474, + "step": 14800 + }, + { + "epoch": 0.67, + "learning_rate": 4.9176517493318935e-06, + "loss": 2.4806, + "step": 14810 + }, + { + "epoch": 0.67, + "learning_rate": 4.905339183604614e-06, + "loss": 2.4521, + "step": 14820 + }, + { + "epoch": 0.67, + "learning_rate": 4.893037039912441e-06, + "loss": 2.4732, + "step": 14830 + }, + { + "epoch": 0.67, + "learning_rate": 4.880745343421597e-06, + "loss": 2.4738, + "step": 14840 + }, + { + "epoch": 0.67, + "learning_rate": 4.868464119276936e-06, + "loss": 2.4462, + "step": 14850 + }, + { + "epoch": 0.67, + "learning_rate": 4.856193392601881e-06, + "loss": 2.481, + "step": 14860 + }, + { + "epoch": 0.67, + "learning_rate": 4.8439331884984e-06, + "loss": 2.4777, + "step": 14870 + }, + { + "epoch": 0.67, + "learning_rate": 4.831683532046909e-06, + "loss": 2.4696, + "step": 14880 + }, + { + "epoch": 0.67, + "learning_rate": 4.8194444483062645e-06, + "loss": 2.4729, + "step": 14890 + }, + { + "epoch": 0.68, + "learning_rate": 4.807215962313688e-06, + "loss": 2.4823, + "step": 14900 + }, + { + "epoch": 0.68, + "learning_rate": 4.794998099084726e-06, + "loss": 2.4952, + "step": 14910 + }, + { + "epoch": 0.68, + "learning_rate": 4.782790883613189e-06, + "loss": 2.453, + "step": 14920 + }, + { + "epoch": 0.68, + "learning_rate": 4.770594340871107e-06, + "loss": 2.4983, + "step": 14930 + }, + { + "epoch": 0.68, + "learning_rate": 4.758408495808683e-06, + "loss": 2.4949, + "step": 14940 + }, + { + "epoch": 0.68, + "learning_rate": 4.7462333733542235e-06, + "loss": 2.4553, + "step": 14950 + }, + { + "epoch": 0.68, + "learning_rate": 4.734068998414118e-06, + "loss": 2.4503, + "step": 14960 + }, + { + "epoch": 0.68, + "learning_rate": 4.7219153958727485e-06, + "loss": 2.4675, + "step": 14970 + }, + { + "epoch": 0.68, + "learning_rate": 4.709772590592483e-06, + "loss": 2.4864, + "step": 14980 + }, + { + "epoch": 0.68, + "learning_rate": 4.697640607413576e-06, + "loss": 2.4899, + "step": 14990 + }, + { + "epoch": 0.68, + "learning_rate": 4.685519471154173e-06, + "loss": 2.4719, + "step": 15000 + }, + { + "epoch": 0.68, + "learning_rate": 4.673409206610199e-06, + "loss": 2.4789, + "step": 15010 + }, + { + "epoch": 0.68, + "learning_rate": 4.66130983855537e-06, + "loss": 2.492, + "step": 15020 + }, + { + "epoch": 0.68, + "learning_rate": 4.6492213917410815e-06, + "loss": 2.4628, + "step": 15030 + }, + { + "epoch": 0.68, + "learning_rate": 4.6371438908964165e-06, + "loss": 2.4774, + "step": 15040 + }, + { + "epoch": 0.68, + "learning_rate": 4.6250773607280375e-06, + "loss": 2.4933, + "step": 15050 + }, + { + "epoch": 0.68, + "learning_rate": 4.613021825920189e-06, + "loss": 2.4983, + "step": 15060 + }, + { + "epoch": 0.68, + "learning_rate": 4.600977311134612e-06, + "loss": 2.4851, + "step": 15070 + }, + { + "epoch": 0.68, + "learning_rate": 4.588943841010496e-06, + "loss": 2.4699, + "step": 15080 + }, + { + "epoch": 0.68, + "learning_rate": 4.576921440164456e-06, + "loss": 2.4793, + "step": 15090 + }, + { + "epoch": 0.68, + "learning_rate": 4.56491013319044e-06, + "loss": 2.4855, + "step": 15100 + }, + { + "epoch": 0.68, + "learning_rate": 4.552909944659726e-06, + "loss": 2.4873, + "step": 15110 + }, + { + "epoch": 0.69, + "learning_rate": 4.540920899120821e-06, + "loss": 2.4707, + "step": 15120 + }, + { + "epoch": 0.69, + "learning_rate": 4.528943021099466e-06, + "loss": 2.4558, + "step": 15130 + }, + { + "epoch": 0.69, + "learning_rate": 4.516976335098526e-06, + "loss": 2.4868, + "step": 15140 + }, + { + "epoch": 0.69, + "learning_rate": 4.505020865598001e-06, + "loss": 2.4713, + "step": 15150 + }, + { + "epoch": 0.69, + "learning_rate": 4.493076637054916e-06, + "loss": 2.4521, + "step": 15160 + }, + { + "epoch": 0.69, + "learning_rate": 4.481143673903327e-06, + "loss": 2.4822, + "step": 15170 + }, + { + "epoch": 0.69, + "learning_rate": 4.4692220005542294e-06, + "loss": 2.4968, + "step": 15180 + }, + { + "epoch": 0.69, + "learning_rate": 4.457311641395526e-06, + "loss": 2.4652, + "step": 15190 + }, + { + "epoch": 0.69, + "learning_rate": 4.445412620791978e-06, + "loss": 2.45, + "step": 15200 + }, + { + "epoch": 0.69, + "learning_rate": 4.433524963085147e-06, + "loss": 2.4471, + "step": 15210 + }, + { + "epoch": 0.69, + "learning_rate": 4.421648692593352e-06, + "loss": 2.4728, + "step": 15220 + }, + { + "epoch": 0.69, + "learning_rate": 4.409783833611617e-06, + "loss": 2.4617, + "step": 15230 + }, + { + "epoch": 0.69, + "learning_rate": 4.397930410411623e-06, + "loss": 2.4828, + "step": 15240 + }, + { + "epoch": 0.69, + "learning_rate": 4.3860884472416555e-06, + "loss": 2.4692, + "step": 15250 + }, + { + "epoch": 0.69, + "learning_rate": 4.374257968326561e-06, + "loss": 2.4842, + "step": 15260 + }, + { + "epoch": 0.69, + "learning_rate": 4.362438997867676e-06, + "loss": 2.4953, + "step": 15270 + }, + { + "epoch": 0.69, + "learning_rate": 4.350631560042821e-06, + "loss": 2.4676, + "step": 15280 + }, + { + "epoch": 0.69, + "learning_rate": 4.338835679006206e-06, + "loss": 2.4856, + "step": 15290 + }, + { + "epoch": 0.69, + "learning_rate": 4.327051378888405e-06, + "loss": 2.4651, + "step": 15300 + }, + { + "epoch": 0.69, + "learning_rate": 4.315278683796299e-06, + "loss": 2.4919, + "step": 15310 + }, + { + "epoch": 0.69, + "learning_rate": 4.303517617813031e-06, + "loss": 2.4883, + "step": 15320 + }, + { + "epoch": 0.69, + "learning_rate": 4.2917682049979535e-06, + "loss": 2.4892, + "step": 15330 + }, + { + "epoch": 0.7, + "learning_rate": 4.2800304693865824e-06, + "loss": 2.4552, + "step": 15340 + }, + { + "epoch": 0.7, + "learning_rate": 4.268304434990542e-06, + "loss": 2.4524, + "step": 15350 + }, + { + "epoch": 0.7, + "learning_rate": 4.2565901257975236e-06, + "loss": 2.468, + "step": 15360 + }, + { + "epoch": 0.7, + "learning_rate": 4.24488756577123e-06, + "loss": 2.4851, + "step": 15370 + }, + { + "epoch": 0.7, + "learning_rate": 4.2331967788513295e-06, + "loss": 2.477, + "step": 15380 + }, + { + "epoch": 0.7, + "learning_rate": 4.2215177889534075e-06, + "loss": 2.4709, + "step": 15390 + }, + { + "epoch": 0.7, + "learning_rate": 4.209850619968916e-06, + "loss": 2.4456, + "step": 15400 + }, + { + "epoch": 0.7, + "learning_rate": 4.198195295765123e-06, + "loss": 2.4752, + "step": 15410 + }, + { + "epoch": 0.7, + "learning_rate": 4.186551840185069e-06, + "loss": 2.4709, + "step": 15420 + }, + { + "epoch": 0.7, + "learning_rate": 4.174920277047512e-06, + "loss": 2.4657, + "step": 15430 + }, + { + "epoch": 0.7, + "learning_rate": 4.16330063014689e-06, + "loss": 2.473, + "step": 15440 + }, + { + "epoch": 0.7, + "learning_rate": 4.151692923253252e-06, + "loss": 2.4582, + "step": 15450 + }, + { + "epoch": 0.7, + "learning_rate": 4.140097180112229e-06, + "loss": 2.4701, + "step": 15460 + }, + { + "epoch": 0.7, + "learning_rate": 4.128513424444978e-06, + "loss": 2.461, + "step": 15470 + }, + { + "epoch": 0.7, + "learning_rate": 4.1169416799481285e-06, + "loss": 2.4839, + "step": 15480 + }, + { + "epoch": 0.7, + "learning_rate": 4.105381970293747e-06, + "loss": 2.4982, + "step": 15490 + }, + { + "epoch": 0.7, + "learning_rate": 4.093834319129274e-06, + "loss": 2.4623, + "step": 15500 + }, + { + "epoch": 0.7, + "learning_rate": 4.082298750077485e-06, + "loss": 2.4681, + "step": 15510 + }, + { + "epoch": 0.7, + "learning_rate": 4.070775286736438e-06, + "loss": 2.4705, + "step": 15520 + }, + { + "epoch": 0.7, + "learning_rate": 4.05926395267943e-06, + "loss": 2.475, + "step": 15530 + }, + { + "epoch": 0.7, + "learning_rate": 4.047764771454935e-06, + "loss": 2.4782, + "step": 15540 + }, + { + "epoch": 0.7, + "learning_rate": 4.036277766586588e-06, + "loss": 2.4762, + "step": 15550 + }, + { + "epoch": 0.71, + "learning_rate": 4.0248029615730864e-06, + "loss": 2.4666, + "step": 15560 + }, + { + "epoch": 0.71, + "learning_rate": 4.013340379888199e-06, + "loss": 2.4874, + "step": 15570 + }, + { + "epoch": 0.71, + "learning_rate": 4.001890044980662e-06, + "loss": 2.4638, + "step": 15580 + }, + { + "epoch": 0.71, + "learning_rate": 3.990451980274187e-06, + "loss": 2.486, + "step": 15590 + }, + { + "epoch": 0.71, + "learning_rate": 3.979026209167355e-06, + "loss": 2.4787, + "step": 15600 + }, + { + "epoch": 0.71, + "learning_rate": 3.9676127550336295e-06, + "loss": 2.4796, + "step": 15610 + }, + { + "epoch": 0.71, + "learning_rate": 3.9562116412212455e-06, + "loss": 2.4748, + "step": 15620 + }, + { + "epoch": 0.71, + "learning_rate": 3.944822891053227e-06, + "loss": 2.49, + "step": 15630 + }, + { + "epoch": 0.71, + "learning_rate": 3.933446527827275e-06, + "loss": 2.471, + "step": 15640 + }, + { + "epoch": 0.71, + "learning_rate": 3.922082574815765e-06, + "loss": 2.4741, + "step": 15650 + }, + { + "epoch": 0.71, + "learning_rate": 3.910731055265697e-06, + "loss": 2.4513, + "step": 15660 + }, + { + "epoch": 0.71, + "learning_rate": 3.899391992398607e-06, + "loss": 2.4789, + "step": 15670 + }, + { + "epoch": 0.71, + "learning_rate": 3.888065409410581e-06, + "loss": 2.4613, + "step": 15680 + }, + { + "epoch": 0.71, + "learning_rate": 3.876751329472146e-06, + "loss": 2.478, + "step": 15690 + }, + { + "epoch": 0.71, + "learning_rate": 3.865449775728279e-06, + "loss": 2.4754, + "step": 15700 + }, + { + "epoch": 0.71, + "learning_rate": 3.854160771298307e-06, + "loss": 2.4561, + "step": 15710 + }, + { + "epoch": 0.71, + "learning_rate": 3.842884339275907e-06, + "loss": 2.4551, + "step": 15720 + }, + { + "epoch": 0.71, + "learning_rate": 3.831620502729014e-06, + "loss": 2.48, + "step": 15730 + }, + { + "epoch": 0.71, + "learning_rate": 3.820369284699823e-06, + "loss": 2.487, + "step": 15740 + }, + { + "epoch": 0.71, + "learning_rate": 3.8091307082046958e-06, + "loss": 2.4888, + "step": 15750 + }, + { + "epoch": 0.71, + "learning_rate": 3.7979047962341408e-06, + "loss": 2.4476, + "step": 15760 + }, + { + "epoch": 0.71, + "learning_rate": 3.7866915717527587e-06, + "loss": 2.4976, + "step": 15770 + }, + { + "epoch": 0.72, + "learning_rate": 3.7754910576991954e-06, + "loss": 2.4457, + "step": 15780 + }, + { + "epoch": 0.72, + "learning_rate": 3.7643032769860943e-06, + "loss": 2.4718, + "step": 15790 + }, + { + "epoch": 0.72, + "learning_rate": 3.753128252500051e-06, + "loss": 2.4773, + "step": 15800 + }, + { + "epoch": 0.72, + "learning_rate": 3.7419660071015673e-06, + "loss": 2.4611, + "step": 15810 + }, + { + "epoch": 0.72, + "learning_rate": 3.7308165636250014e-06, + "loss": 2.4912, + "step": 15820 + }, + { + "epoch": 0.72, + "learning_rate": 3.7196799448785246e-06, + "loss": 2.4799, + "step": 15830 + }, + { + "epoch": 0.72, + "learning_rate": 3.70855617364407e-06, + "loss": 2.4868, + "step": 15840 + }, + { + "epoch": 0.72, + "learning_rate": 3.6974452726772925e-06, + "loss": 2.4607, + "step": 15850 + }, + { + "epoch": 0.72, + "learning_rate": 3.686347264707516e-06, + "loss": 2.4613, + "step": 15860 + }, + { + "epoch": 0.72, + "learning_rate": 3.67526217243769e-06, + "loss": 2.461, + "step": 15870 + }, + { + "epoch": 0.72, + "learning_rate": 3.6641900185443445e-06, + "loss": 2.486, + "step": 15880 + }, + { + "epoch": 0.72, + "learning_rate": 3.6531308256775375e-06, + "loss": 2.4613, + "step": 15890 + }, + { + "epoch": 0.72, + "learning_rate": 3.642084616460818e-06, + "loss": 2.4438, + "step": 15900 + }, + { + "epoch": 0.72, + "learning_rate": 3.631051413491171e-06, + "loss": 2.4679, + "step": 15910 + }, + { + "epoch": 0.72, + "learning_rate": 3.620031239338977e-06, + "loss": 2.4533, + "step": 15920 + }, + { + "epoch": 0.72, + "learning_rate": 3.6090241165479625e-06, + "loss": 2.4828, + "step": 15930 + }, + { + "epoch": 0.72, + "learning_rate": 3.5980300676351544e-06, + "loss": 2.4579, + "step": 15940 + }, + { + "epoch": 0.72, + "learning_rate": 3.587049115090836e-06, + "loss": 2.4736, + "step": 15950 + }, + { + "epoch": 0.72, + "learning_rate": 3.5760812813785006e-06, + "loss": 2.4806, + "step": 15960 + }, + { + "epoch": 0.72, + "learning_rate": 3.565126588934803e-06, + "loss": 2.4707, + "step": 15970 + }, + { + "epoch": 0.72, + "learning_rate": 3.554185060169516e-06, + "loss": 2.4677, + "step": 15980 + }, + { + "epoch": 0.72, + "learning_rate": 3.5432567174654806e-06, + "loss": 2.4921, + "step": 15990 + }, + { + "epoch": 0.73, + "learning_rate": 3.53234158317857e-06, + "loss": 2.4755, + "step": 16000 + }, + { + "epoch": 0.73, + "eval_accuracy": 0.5415931026049723, + "eval_loss": 2.23403000831604, + "eval_runtime": 9.8805, + "eval_samples_per_second": 138.354, + "eval_steps_per_second": 1.113, + "step": 16000 + }, + { + "epoch": 0.73, + "learning_rate": 3.5214396796376315e-06, + "loss": 2.4601, + "step": 16010 + }, + { + "epoch": 0.73, + "learning_rate": 3.5105510291444446e-06, + "loss": 2.4698, + "step": 16020 + }, + { + "epoch": 0.73, + "learning_rate": 3.499675653973691e-06, + "loss": 2.474, + "step": 16030 + }, + { + "epoch": 0.73, + "learning_rate": 3.488813576372876e-06, + "loss": 2.4743, + "step": 16040 + }, + { + "epoch": 0.73, + "learning_rate": 3.477964818562316e-06, + "loss": 2.4599, + "step": 16050 + }, + { + "epoch": 0.73, + "learning_rate": 3.467129402735074e-06, + "loss": 2.472, + "step": 16060 + }, + { + "epoch": 0.73, + "learning_rate": 3.456307351056921e-06, + "loss": 2.4705, + "step": 16070 + }, + { + "epoch": 0.73, + "learning_rate": 3.4454986856662898e-06, + "loss": 2.4786, + "step": 16080 + }, + { + "epoch": 0.73, + "learning_rate": 3.4347034286742277e-06, + "loss": 2.4673, + "step": 16090 + }, + { + "epoch": 0.73, + "learning_rate": 3.4239216021643538e-06, + "loss": 2.4549, + "step": 16100 + }, + { + "epoch": 0.73, + "learning_rate": 3.4131532281928105e-06, + "loss": 2.4825, + "step": 16110 + }, + { + "epoch": 0.73, + "learning_rate": 3.40239832878823e-06, + "loss": 2.4727, + "step": 16120 + }, + { + "epoch": 0.73, + "learning_rate": 3.3916569259516597e-06, + "loss": 2.4705, + "step": 16130 + }, + { + "epoch": 0.73, + "learning_rate": 3.3809290416565656e-06, + "loss": 2.4846, + "step": 16140 + }, + { + "epoch": 0.73, + "learning_rate": 3.370214697848728e-06, + "loss": 2.4725, + "step": 16150 + }, + { + "epoch": 0.73, + "learning_rate": 3.3595139164462575e-06, + "loss": 2.4895, + "step": 16160 + }, + { + "epoch": 0.73, + "learning_rate": 3.348826719339493e-06, + "loss": 2.4706, + "step": 16170 + }, + { + "epoch": 0.73, + "learning_rate": 3.338153128391012e-06, + "loss": 2.485, + "step": 16180 + }, + { + "epoch": 0.73, + "learning_rate": 3.327493165435528e-06, + "loss": 2.4644, + "step": 16190 + }, + { + "epoch": 0.73, + "learning_rate": 3.316846852279907e-06, + "loss": 2.4653, + "step": 16200 + }, + { + "epoch": 0.73, + "learning_rate": 3.3062142107030626e-06, + "loss": 2.4959, + "step": 16210 + }, + { + "epoch": 0.74, + "learning_rate": 3.2955952624559653e-06, + "loss": 2.4861, + "step": 16220 + }, + { + "epoch": 0.74, + "learning_rate": 3.284990029261562e-06, + "loss": 2.4701, + "step": 16230 + }, + { + "epoch": 0.74, + "learning_rate": 3.2743985328147353e-06, + "loss": 2.4711, + "step": 16240 + }, + { + "epoch": 0.74, + "learning_rate": 3.2638207947822885e-06, + "loss": 2.4783, + "step": 16250 + }, + { + "epoch": 0.74, + "learning_rate": 3.253256836802853e-06, + "loss": 2.4762, + "step": 16260 + }, + { + "epoch": 0.74, + "learning_rate": 3.242706680486898e-06, + "loss": 2.4604, + "step": 16270 + }, + { + "epoch": 0.74, + "learning_rate": 3.2321703474166312e-06, + "loss": 2.4659, + "step": 16280 + }, + { + "epoch": 0.74, + "learning_rate": 3.2216478591460097e-06, + "loss": 2.4723, + "step": 16290 + }, + { + "epoch": 0.74, + "learning_rate": 3.2111392372006434e-06, + "loss": 2.4733, + "step": 16300 + }, + { + "epoch": 0.74, + "learning_rate": 3.2006445030778e-06, + "loss": 2.4744, + "step": 16310 + }, + { + "epoch": 0.74, + "learning_rate": 3.190163678246314e-06, + "loss": 2.4804, + "step": 16320 + }, + { + "epoch": 0.74, + "learning_rate": 3.179696784146584e-06, + "loss": 2.4829, + "step": 16330 + }, + { + "epoch": 0.74, + "learning_rate": 3.1692438421905037e-06, + "loss": 2.4611, + "step": 16340 + }, + { + "epoch": 0.74, + "learning_rate": 3.158804873761424e-06, + "loss": 2.4778, + "step": 16350 + }, + { + "epoch": 0.74, + "learning_rate": 3.1483799002141136e-06, + "loss": 2.4949, + "step": 16360 + }, + { + "epoch": 0.74, + "learning_rate": 3.1379689428747085e-06, + "loss": 2.4535, + "step": 16370 + }, + { + "epoch": 0.74, + "learning_rate": 3.127572023040676e-06, + "loss": 2.4756, + "step": 16380 + }, + { + "epoch": 0.74, + "learning_rate": 3.1171891619807637e-06, + "loss": 2.4812, + "step": 16390 + }, + { + "epoch": 0.74, + "learning_rate": 3.106820380934963e-06, + "loss": 2.4504, + "step": 16400 + }, + { + "epoch": 0.74, + "learning_rate": 3.096465701114458e-06, + "loss": 2.4971, + "step": 16410 + }, + { + "epoch": 0.74, + "learning_rate": 3.086125143701594e-06, + "loss": 2.4903, + "step": 16420 + }, + { + "epoch": 0.74, + "learning_rate": 3.0757987298498106e-06, + "loss": 2.4753, + "step": 16430 + }, + { + "epoch": 0.75, + "learning_rate": 3.0654864806836325e-06, + "loss": 2.4555, + "step": 16440 + }, + { + "epoch": 0.75, + "learning_rate": 3.0551884172985992e-06, + "loss": 2.4669, + "step": 16450 + }, + { + "epoch": 0.75, + "learning_rate": 3.0449045607612305e-06, + "loss": 2.486, + "step": 16460 + }, + { + "epoch": 0.75, + "learning_rate": 3.034634932108985e-06, + "loss": 2.4763, + "step": 16470 + }, + { + "epoch": 0.75, + "learning_rate": 3.024379552350214e-06, + "loss": 2.4611, + "step": 16480 + }, + { + "epoch": 0.75, + "learning_rate": 3.0141384424641228e-06, + "loss": 2.4502, + "step": 16490 + }, + { + "epoch": 0.75, + "learning_rate": 3.0039116234007225e-06, + "loss": 2.4697, + "step": 16500 + }, + { + "epoch": 0.75, + "learning_rate": 2.9936991160807925e-06, + "loss": 2.4622, + "step": 16510 + }, + { + "epoch": 0.75, + "learning_rate": 2.9835009413958314e-06, + "loss": 2.472, + "step": 16520 + }, + { + "epoch": 0.75, + "learning_rate": 2.9733171202080226e-06, + "loss": 2.4652, + "step": 16530 + }, + { + "epoch": 0.75, + "learning_rate": 2.963147673350181e-06, + "loss": 2.4879, + "step": 16540 + }, + { + "epoch": 0.75, + "learning_rate": 2.952992621625722e-06, + "loss": 2.4528, + "step": 16550 + }, + { + "epoch": 0.75, + "learning_rate": 2.942851985808609e-06, + "loss": 2.4515, + "step": 16560 + }, + { + "epoch": 0.75, + "learning_rate": 2.9327257866433178e-06, + "loss": 2.4785, + "step": 16570 + }, + { + "epoch": 0.75, + "learning_rate": 2.9226140448447895e-06, + "loss": 2.4765, + "step": 16580 + }, + { + "epoch": 0.75, + "learning_rate": 2.912516781098389e-06, + "loss": 2.4486, + "step": 16590 + }, + { + "epoch": 0.75, + "learning_rate": 2.902434016059874e-06, + "loss": 2.4713, + "step": 16600 + }, + { + "epoch": 0.75, + "learning_rate": 2.8923657703553254e-06, + "loss": 2.4536, + "step": 16610 + }, + { + "epoch": 0.75, + "learning_rate": 2.8823120645811333e-06, + "loss": 2.4894, + "step": 16620 + }, + { + "epoch": 0.75, + "learning_rate": 2.8722729193039435e-06, + "loss": 2.4423, + "step": 16630 + }, + { + "epoch": 0.75, + "learning_rate": 2.8622483550606116e-06, + "loss": 2.4793, + "step": 16640 + }, + { + "epoch": 0.75, + "learning_rate": 2.8522383923581674e-06, + "loss": 2.4523, + "step": 16650 + }, + { + "epoch": 0.76, + "learning_rate": 2.8422430516737733e-06, + "loss": 2.47, + "step": 16660 + }, + { + "epoch": 0.76, + "learning_rate": 2.8322623534546734e-06, + "loss": 2.4773, + "step": 16670 + }, + { + "epoch": 0.76, + "learning_rate": 2.822296318118164e-06, + "loss": 2.4868, + "step": 16680 + }, + { + "epoch": 0.76, + "learning_rate": 2.8123449660515424e-06, + "loss": 2.4751, + "step": 16690 + }, + { + "epoch": 0.76, + "learning_rate": 2.8024083176120665e-06, + "loss": 2.4977, + "step": 16700 + }, + { + "epoch": 0.76, + "learning_rate": 2.7924863931269288e-06, + "loss": 2.45, + "step": 16710 + }, + { + "epoch": 0.76, + "learning_rate": 2.7825792128931783e-06, + "loss": 2.4585, + "step": 16720 + }, + { + "epoch": 0.76, + "learning_rate": 2.772686797177726e-06, + "loss": 2.4805, + "step": 16730 + }, + { + "epoch": 0.76, + "learning_rate": 2.7628091662172572e-06, + "loss": 2.4609, + "step": 16740 + }, + { + "epoch": 0.76, + "learning_rate": 2.7529463402182354e-06, + "loss": 2.4742, + "step": 16750 + }, + { + "epoch": 0.76, + "learning_rate": 2.7430983393568144e-06, + "loss": 2.4473, + "step": 16760 + }, + { + "epoch": 0.76, + "learning_rate": 2.7332651837788427e-06, + "loss": 2.4716, + "step": 16770 + }, + { + "epoch": 0.76, + "learning_rate": 2.7234468935997783e-06, + "loss": 2.4421, + "step": 16780 + }, + { + "epoch": 0.76, + "learning_rate": 2.7136434889046913e-06, + "loss": 2.4503, + "step": 16790 + }, + { + "epoch": 0.76, + "learning_rate": 2.7038549897481835e-06, + "loss": 2.4651, + "step": 16800 + }, + { + "epoch": 0.76, + "learning_rate": 2.6940814161543706e-06, + "loss": 2.457, + "step": 16810 + }, + { + "epoch": 0.76, + "learning_rate": 2.684322788116843e-06, + "loss": 2.4748, + "step": 16820 + }, + { + "epoch": 0.76, + "learning_rate": 2.674579125598602e-06, + "loss": 2.4787, + "step": 16830 + }, + { + "epoch": 0.76, + "learning_rate": 2.6648504485320527e-06, + "loss": 2.4896, + "step": 16840 + }, + { + "epoch": 0.76, + "learning_rate": 2.655136776818923e-06, + "loss": 2.4548, + "step": 16850 + }, + { + "epoch": 0.76, + "learning_rate": 2.645438130330269e-06, + "loss": 2.4798, + "step": 16860 + }, + { + "epoch": 0.76, + "learning_rate": 2.635754528906386e-06, + "loss": 2.4825, + "step": 16870 + }, + { + "epoch": 0.77, + "learning_rate": 2.626085992356815e-06, + "loss": 2.4685, + "step": 16880 + }, + { + "epoch": 0.77, + "learning_rate": 2.616432540460255e-06, + "loss": 2.4365, + "step": 16890 + }, + { + "epoch": 0.77, + "learning_rate": 2.6067941929645692e-06, + "loss": 2.4293, + "step": 16900 + }, + { + "epoch": 0.77, + "learning_rate": 2.5971709695867096e-06, + "loss": 2.4729, + "step": 16910 + }, + { + "epoch": 0.77, + "learning_rate": 2.5875628900126914e-06, + "loss": 2.47, + "step": 16920 + }, + { + "epoch": 0.77, + "learning_rate": 2.5779699738975495e-06, + "loss": 2.4668, + "step": 16930 + }, + { + "epoch": 0.77, + "learning_rate": 2.5683922408653027e-06, + "loss": 2.4559, + "step": 16940 + }, + { + "epoch": 0.77, + "learning_rate": 2.5588297105089067e-06, + "loss": 2.4613, + "step": 16950 + }, + { + "epoch": 0.77, + "learning_rate": 2.5492824023902185e-06, + "loss": 2.498, + "step": 16960 + }, + { + "epoch": 0.77, + "learning_rate": 2.5397503360399555e-06, + "loss": 2.4832, + "step": 16970 + }, + { + "epoch": 0.77, + "learning_rate": 2.5302335309576553e-06, + "loss": 2.4554, + "step": 16980 + }, + { + "epoch": 0.77, + "learning_rate": 2.5207320066116392e-06, + "loss": 2.4544, + "step": 16990 + }, + { + "epoch": 0.77, + "learning_rate": 2.511245782438957e-06, + "loss": 2.4382, + "step": 17000 + }, + { + "epoch": 0.77, + "learning_rate": 2.5017748778453755e-06, + "loss": 2.4771, + "step": 17010 + }, + { + "epoch": 0.77, + "learning_rate": 2.4923193122053136e-06, + "loss": 2.473, + "step": 17020 + }, + { + "epoch": 0.77, + "learning_rate": 2.482879104861813e-06, + "loss": 2.4811, + "step": 17030 + }, + { + "epoch": 0.77, + "learning_rate": 2.4734542751264967e-06, + "loss": 2.4655, + "step": 17040 + }, + { + "epoch": 0.77, + "learning_rate": 2.4640448422795305e-06, + "loss": 2.4916, + "step": 17050 + }, + { + "epoch": 0.77, + "learning_rate": 2.4546508255695846e-06, + "loss": 2.477, + "step": 17060 + }, + { + "epoch": 0.77, + "learning_rate": 2.44527224421379e-06, + "loss": 2.4873, + "step": 17070 + }, + { + "epoch": 0.77, + "learning_rate": 2.4359091173977033e-06, + "loss": 2.4731, + "step": 17080 + }, + { + "epoch": 0.77, + "learning_rate": 2.426561464275269e-06, + "loss": 2.491, + "step": 17090 + }, + { + "epoch": 0.77, + "learning_rate": 2.417229303968771e-06, + "loss": 2.4704, + "step": 17100 + }, + { + "epoch": 0.78, + "learning_rate": 2.407912655568806e-06, + "loss": 2.4689, + "step": 17110 + }, + { + "epoch": 0.78, + "learning_rate": 2.3986115381342347e-06, + "loss": 2.4711, + "step": 17120 + }, + { + "epoch": 0.78, + "learning_rate": 2.389325970692148e-06, + "loss": 2.4638, + "step": 17130 + }, + { + "epoch": 0.78, + "learning_rate": 2.380055972237826e-06, + "loss": 2.438, + "step": 17140 + }, + { + "epoch": 0.78, + "learning_rate": 2.3708015617347e-06, + "loss": 2.475, + "step": 17150 + }, + { + "epoch": 0.78, + "learning_rate": 2.3615627581143132e-06, + "loss": 2.4604, + "step": 17160 + }, + { + "epoch": 0.78, + "learning_rate": 2.3523395802762817e-06, + "loss": 2.4708, + "step": 17170 + }, + { + "epoch": 0.78, + "learning_rate": 2.3431320470882557e-06, + "loss": 2.4791, + "step": 17180 + }, + { + "epoch": 0.78, + "learning_rate": 2.333940177385885e-06, + "loss": 2.4956, + "step": 17190 + }, + { + "epoch": 0.78, + "learning_rate": 2.3247639899727736e-06, + "loss": 2.4711, + "step": 17200 + }, + { + "epoch": 0.78, + "learning_rate": 2.315603503620444e-06, + "loss": 2.4586, + "step": 17210 + }, + { + "epoch": 0.78, + "learning_rate": 2.306458737068302e-06, + "loss": 2.4329, + "step": 17220 + }, + { + "epoch": 0.78, + "learning_rate": 2.2973297090235946e-06, + "loss": 2.457, + "step": 17230 + }, + { + "epoch": 0.78, + "learning_rate": 2.2882164381613713e-06, + "loss": 2.462, + "step": 17240 + }, + { + "epoch": 0.78, + "learning_rate": 2.279118943124452e-06, + "loss": 2.4808, + "step": 17250 + }, + { + "epoch": 0.78, + "learning_rate": 2.2700372425233783e-06, + "loss": 2.4858, + "step": 17260 + }, + { + "epoch": 0.78, + "learning_rate": 2.260971354936383e-06, + "loss": 2.4725, + "step": 17270 + }, + { + "epoch": 0.78, + "learning_rate": 2.251921298909362e-06, + "loss": 2.4557, + "step": 17280 + }, + { + "epoch": 0.78, + "learning_rate": 2.2428870929558012e-06, + "loss": 2.4702, + "step": 17290 + }, + { + "epoch": 0.78, + "learning_rate": 2.2338687555567884e-06, + "loss": 2.4876, + "step": 17300 + }, + { + "epoch": 0.78, + "learning_rate": 2.2248663051609267e-06, + "loss": 2.4866, + "step": 17310 + }, + { + "epoch": 0.78, + "learning_rate": 2.2158797601843407e-06, + "loss": 2.4528, + "step": 17320 + }, + { + "epoch": 0.79, + "learning_rate": 2.2069091390105958e-06, + "loss": 2.4904, + "step": 17330 + }, + { + "epoch": 0.79, + "learning_rate": 2.197954459990704e-06, + "loss": 2.4492, + "step": 17340 + }, + { + "epoch": 0.79, + "learning_rate": 2.1890157414430448e-06, + "loss": 2.4789, + "step": 17350 + }, + { + "epoch": 0.79, + "learning_rate": 2.1800930016533673e-06, + "loss": 2.4603, + "step": 17360 + }, + { + "epoch": 0.79, + "learning_rate": 2.1711862588747157e-06, + "loss": 2.4672, + "step": 17370 + }, + { + "epoch": 0.79, + "learning_rate": 2.162295531327415e-06, + "loss": 2.4695, + "step": 17380 + }, + { + "epoch": 0.79, + "learning_rate": 2.153420837199042e-06, + "loss": 2.4806, + "step": 17390 + }, + { + "epoch": 0.79, + "learning_rate": 2.1445621946443486e-06, + "loss": 2.4707, + "step": 17400 + }, + { + "epoch": 0.79, + "learning_rate": 2.135719621785275e-06, + "loss": 2.455, + "step": 17410 + }, + { + "epoch": 0.79, + "learning_rate": 2.126893136710868e-06, + "loss": 2.4655, + "step": 17420 + }, + { + "epoch": 0.79, + "learning_rate": 2.1180827574772846e-06, + "loss": 2.5176, + "step": 17430 + }, + { + "epoch": 0.79, + "learning_rate": 2.109288502107709e-06, + "loss": 2.4658, + "step": 17440 + }, + { + "epoch": 0.79, + "learning_rate": 2.1005103885923683e-06, + "loss": 2.4609, + "step": 17450 + }, + { + "epoch": 0.79, + "learning_rate": 2.0917484348884443e-06, + "loss": 2.4808, + "step": 17460 + }, + { + "epoch": 0.79, + "learning_rate": 2.0830026589200835e-06, + "loss": 2.49, + "step": 17470 + }, + { + "epoch": 0.79, + "learning_rate": 2.074273078578315e-06, + "loss": 2.442, + "step": 17480 + }, + { + "epoch": 0.79, + "learning_rate": 2.0655597117210557e-06, + "loss": 2.4991, + "step": 17490 + }, + { + "epoch": 0.79, + "learning_rate": 2.0568625761730475e-06, + "loss": 2.4852, + "step": 17500 + }, + { + "epoch": 0.79, + "learning_rate": 2.0481816897258256e-06, + "loss": 2.4643, + "step": 17510 + }, + { + "epoch": 0.79, + "learning_rate": 2.039517070137691e-06, + "loss": 2.4727, + "step": 17520 + }, + { + "epoch": 0.79, + "learning_rate": 2.030868735133661e-06, + "loss": 2.4714, + "step": 17530 + }, + { + "epoch": 0.79, + "learning_rate": 2.022236702405447e-06, + "loss": 2.4597, + "step": 17540 + }, + { + "epoch": 0.8, + "learning_rate": 2.0136209896114044e-06, + "loss": 2.4604, + "step": 17550 + }, + { + "epoch": 0.8, + "learning_rate": 2.005021614376511e-06, + "loss": 2.4699, + "step": 17560 + }, + { + "epoch": 0.8, + "learning_rate": 1.9964385942923116e-06, + "loss": 2.4238, + "step": 17570 + }, + { + "epoch": 0.8, + "learning_rate": 1.9878719469169104e-06, + "loss": 2.4799, + "step": 17580 + }, + { + "epoch": 0.8, + "learning_rate": 1.9793216897748967e-06, + "loss": 2.4426, + "step": 17590 + }, + { + "epoch": 0.8, + "learning_rate": 1.9707878403573532e-06, + "loss": 2.4655, + "step": 17600 + }, + { + "epoch": 0.8, + "learning_rate": 1.9622704161217844e-06, + "loss": 2.476, + "step": 17610 + }, + { + "epoch": 0.8, + "learning_rate": 1.9537694344920945e-06, + "loss": 2.4877, + "step": 17620 + }, + { + "epoch": 0.8, + "learning_rate": 1.945284912858556e-06, + "loss": 2.441, + "step": 17630 + }, + { + "epoch": 0.8, + "learning_rate": 1.9368168685777667e-06, + "loss": 2.5043, + "step": 17640 + }, + { + "epoch": 0.8, + "learning_rate": 1.9283653189726172e-06, + "loss": 2.4792, + "step": 17650 + }, + { + "epoch": 0.8, + "learning_rate": 1.9199302813322564e-06, + "loss": 2.454, + "step": 17660 + }, + { + "epoch": 0.8, + "learning_rate": 1.9115117729120548e-06, + "loss": 2.4713, + "step": 17670 + }, + { + "epoch": 0.8, + "learning_rate": 1.90310981093357e-06, + "loss": 2.4868, + "step": 17680 + }, + { + "epoch": 0.8, + "learning_rate": 1.8947244125845077e-06, + "loss": 2.4803, + "step": 17690 + }, + { + "epoch": 0.8, + "learning_rate": 1.886355595018693e-06, + "loss": 2.4637, + "step": 17700 + }, + { + "epoch": 0.8, + "learning_rate": 1.8780033753560322e-06, + "loss": 2.4517, + "step": 17710 + }, + { + "epoch": 0.8, + "learning_rate": 1.869667770682475e-06, + "loss": 2.4766, + "step": 17720 + }, + { + "epoch": 0.8, + "learning_rate": 1.8613487980499856e-06, + "loss": 2.4674, + "step": 17730 + }, + { + "epoch": 0.8, + "learning_rate": 1.8530464744765008e-06, + "loss": 2.4586, + "step": 17740 + }, + { + "epoch": 0.8, + "learning_rate": 1.8447608169459019e-06, + "loss": 2.4749, + "step": 17750 + }, + { + "epoch": 0.8, + "learning_rate": 1.836491842407976e-06, + "loss": 2.4648, + "step": 17760 + }, + { + "epoch": 0.81, + "learning_rate": 1.8282395677783792e-06, + "loss": 2.4878, + "step": 17770 + }, + { + "epoch": 0.81, + "learning_rate": 1.8200040099386084e-06, + "loss": 2.4559, + "step": 17780 + }, + { + "epoch": 0.81, + "learning_rate": 1.8117851857359635e-06, + "loss": 2.4712, + "step": 17790 + }, + { + "epoch": 0.81, + "learning_rate": 1.8035831119835111e-06, + "loss": 2.4596, + "step": 17800 + }, + { + "epoch": 0.81, + "learning_rate": 1.795397805460053e-06, + "loss": 2.492, + "step": 17810 + }, + { + "epoch": 0.81, + "learning_rate": 1.787229282910088e-06, + "loss": 2.4697, + "step": 17820 + }, + { + "epoch": 0.81, + "learning_rate": 1.7790775610437838e-06, + "loss": 2.4374, + "step": 17830 + }, + { + "epoch": 0.81, + "learning_rate": 1.770942656536937e-06, + "loss": 2.4926, + "step": 17840 + }, + { + "epoch": 0.81, + "learning_rate": 1.7628245860309435e-06, + "loss": 2.489, + "step": 17850 + }, + { + "epoch": 0.81, + "learning_rate": 1.7547233661327567e-06, + "loss": 2.4658, + "step": 17860 + }, + { + "epoch": 0.81, + "learning_rate": 1.7466390134148713e-06, + "loss": 2.4838, + "step": 17870 + }, + { + "epoch": 0.81, + "learning_rate": 1.7385715444152595e-06, + "loss": 2.4489, + "step": 17880 + }, + { + "epoch": 0.81, + "learning_rate": 1.7305209756373732e-06, + "loss": 2.4781, + "step": 17890 + }, + { + "epoch": 0.81, + "learning_rate": 1.722487323550075e-06, + "loss": 2.4737, + "step": 17900 + }, + { + "epoch": 0.81, + "learning_rate": 1.714470604587638e-06, + "loss": 2.4854, + "step": 17910 + }, + { + "epoch": 0.81, + "learning_rate": 1.7064708351496774e-06, + "loss": 2.4807, + "step": 17920 + }, + { + "epoch": 0.81, + "learning_rate": 1.6984880316011554e-06, + "loss": 2.4651, + "step": 17930 + }, + { + "epoch": 0.81, + "learning_rate": 1.6905222102723074e-06, + "loss": 2.4797, + "step": 17940 + }, + { + "epoch": 0.81, + "learning_rate": 1.6825733874586458e-06, + "loss": 2.4639, + "step": 17950 + }, + { + "epoch": 0.81, + "learning_rate": 1.674641579420897e-06, + "loss": 2.5059, + "step": 17960 + }, + { + "epoch": 0.81, + "learning_rate": 1.6667268023849848e-06, + "loss": 2.4473, + "step": 17970 + }, + { + "epoch": 0.81, + "learning_rate": 1.6588290725419998e-06, + "loss": 2.4591, + "step": 17980 + }, + { + "epoch": 0.82, + "learning_rate": 1.6509484060481451e-06, + "loss": 2.4699, + "step": 17990 + }, + { + "epoch": 0.82, + "learning_rate": 1.6430848190247362e-06, + "loss": 2.4813, + "step": 18000 + }, + { + "epoch": 0.82, + "eval_accuracy": 0.5416867783481749, + "eval_loss": 2.233830690383911, + "eval_runtime": 9.9255, + "eval_samples_per_second": 137.726, + "eval_steps_per_second": 1.108, + "step": 18000 + }, + { + "epoch": 0.82, + "learning_rate": 1.6352383275581274e-06, + "loss": 2.4915, + "step": 18010 + }, + { + "epoch": 0.82, + "learning_rate": 1.6274089476997257e-06, + "loss": 2.4732, + "step": 18020 + }, + { + "epoch": 0.82, + "learning_rate": 1.6195966954659093e-06, + "loss": 2.467, + "step": 18030 + }, + { + "epoch": 0.82, + "learning_rate": 1.6118015868380387e-06, + "loss": 2.4746, + "step": 18040 + }, + { + "epoch": 0.82, + "learning_rate": 1.6040236377623874e-06, + "loss": 2.4808, + "step": 18050 + }, + { + "epoch": 0.82, + "learning_rate": 1.596262864150141e-06, + "loss": 2.4675, + "step": 18060 + }, + { + "epoch": 0.82, + "learning_rate": 1.5885192818773399e-06, + "loss": 2.4639, + "step": 18070 + }, + { + "epoch": 0.82, + "learning_rate": 1.5807929067848593e-06, + "loss": 2.4783, + "step": 18080 + }, + { + "epoch": 0.82, + "learning_rate": 1.573083754678374e-06, + "loss": 2.4318, + "step": 18090 + }, + { + "epoch": 0.82, + "learning_rate": 1.5653918413283276e-06, + "loss": 2.4574, + "step": 18100 + }, + { + "epoch": 0.82, + "learning_rate": 1.5577171824698945e-06, + "loss": 2.464, + "step": 18110 + }, + { + "epoch": 0.82, + "learning_rate": 1.550059793802957e-06, + "loss": 2.4461, + "step": 18120 + }, + { + "epoch": 0.82, + "learning_rate": 1.5424196909920663e-06, + "loss": 2.5064, + "step": 18130 + }, + { + "epoch": 0.82, + "learning_rate": 1.53479688966641e-06, + "loss": 2.5071, + "step": 18140 + }, + { + "epoch": 0.82, + "learning_rate": 1.527191405419789e-06, + "loss": 2.4901, + "step": 18150 + }, + { + "epoch": 0.82, + "learning_rate": 1.5196032538105653e-06, + "loss": 2.4794, + "step": 18160 + }, + { + "epoch": 0.82, + "learning_rate": 1.5120324503616613e-06, + "loss": 2.4578, + "step": 18170 + }, + { + "epoch": 0.82, + "learning_rate": 1.5044790105605e-06, + "loss": 2.4956, + "step": 18180 + }, + { + "epoch": 0.82, + "learning_rate": 1.4969429498589861e-06, + "loss": 2.4597, + "step": 18190 + }, + { + "epoch": 0.82, + "learning_rate": 1.489424283673473e-06, + "loss": 2.4543, + "step": 18200 + }, + { + "epoch": 0.83, + "learning_rate": 1.4819230273847295e-06, + "loss": 2.4628, + "step": 18210 + }, + { + "epoch": 0.83, + "learning_rate": 1.474439196337909e-06, + "loss": 2.4726, + "step": 18220 + }, + { + "epoch": 0.83, + "learning_rate": 1.4669728058425215e-06, + "loss": 2.4595, + "step": 18230 + }, + { + "epoch": 0.83, + "learning_rate": 1.4595238711723958e-06, + "loss": 2.4566, + "step": 18240 + }, + { + "epoch": 0.83, + "learning_rate": 1.452092407565654e-06, + "loss": 2.4618, + "step": 18250 + }, + { + "epoch": 0.83, + "learning_rate": 1.4446784302246753e-06, + "loss": 2.4595, + "step": 18260 + }, + { + "epoch": 0.83, + "learning_rate": 1.437281954316071e-06, + "loss": 2.4806, + "step": 18270 + }, + { + "epoch": 0.83, + "learning_rate": 1.4299029949706478e-06, + "loss": 2.4581, + "step": 18280 + }, + { + "epoch": 0.83, + "learning_rate": 1.4225415672833798e-06, + "loss": 2.4576, + "step": 18290 + }, + { + "epoch": 0.83, + "learning_rate": 1.4151976863133775e-06, + "loss": 2.4914, + "step": 18300 + }, + { + "epoch": 0.83, + "learning_rate": 1.407871367083855e-06, + "loss": 2.4491, + "step": 18310 + }, + { + "epoch": 0.83, + "learning_rate": 1.4005626245821036e-06, + "loss": 2.486, + "step": 18320 + }, + { + "epoch": 0.83, + "learning_rate": 1.3932714737594544e-06, + "loss": 2.4876, + "step": 18330 + }, + { + "epoch": 0.83, + "learning_rate": 1.3859979295312554e-06, + "loss": 2.4538, + "step": 18340 + }, + { + "epoch": 0.83, + "learning_rate": 1.3787420067768342e-06, + "loss": 2.4468, + "step": 18350 + }, + { + "epoch": 0.83, + "learning_rate": 1.371503720339471e-06, + "loss": 2.4683, + "step": 18360 + }, + { + "epoch": 0.83, + "learning_rate": 1.36428308502637e-06, + "loss": 2.4853, + "step": 18370 + }, + { + "epoch": 0.83, + "learning_rate": 1.3570801156086254e-06, + "loss": 2.481, + "step": 18380 + }, + { + "epoch": 0.83, + "learning_rate": 1.349894826821192e-06, + "loss": 2.4568, + "step": 18390 + }, + { + "epoch": 0.83, + "learning_rate": 1.342727233362856e-06, + "loss": 2.4875, + "step": 18400 + }, + { + "epoch": 0.83, + "learning_rate": 1.3355773498962054e-06, + "loss": 2.4554, + "step": 18410 + }, + { + "epoch": 0.83, + "learning_rate": 1.3284451910475992e-06, + "loss": 2.4949, + "step": 18420 + }, + { + "epoch": 0.84, + "learning_rate": 1.3213307714071343e-06, + "loss": 2.4547, + "step": 18430 + }, + { + "epoch": 0.84, + "learning_rate": 1.314234105528629e-06, + "loss": 2.4623, + "step": 18440 + }, + { + "epoch": 0.84, + "learning_rate": 1.307155207929568e-06, + "loss": 2.4404, + "step": 18450 + }, + { + "epoch": 0.84, + "learning_rate": 1.3000940930911032e-06, + "loss": 2.4754, + "step": 18460 + }, + { + "epoch": 0.84, + "learning_rate": 1.2930507754579924e-06, + "loss": 2.4613, + "step": 18470 + }, + { + "epoch": 0.84, + "learning_rate": 1.2860252694386044e-06, + "loss": 2.4751, + "step": 18480 + }, + { + "epoch": 0.84, + "learning_rate": 1.2790175894048529e-06, + "loss": 2.4724, + "step": 18490 + }, + { + "epoch": 0.84, + "learning_rate": 1.272027749692203e-06, + "loss": 2.4683, + "step": 18500 + }, + { + "epoch": 0.84, + "learning_rate": 1.2650557645996053e-06, + "loss": 2.4751, + "step": 18510 + }, + { + "epoch": 0.84, + "learning_rate": 1.258101648389507e-06, + "loss": 2.4795, + "step": 18520 + }, + { + "epoch": 0.84, + "learning_rate": 1.2511654152877805e-06, + "loss": 2.4547, + "step": 18530 + }, + { + "epoch": 0.84, + "learning_rate": 1.2442470794837281e-06, + "loss": 2.4755, + "step": 18540 + }, + { + "epoch": 0.84, + "learning_rate": 1.2373466551300394e-06, + "loss": 2.4778, + "step": 18550 + }, + { + "epoch": 0.84, + "learning_rate": 1.2304641563427543e-06, + "loss": 2.4878, + "step": 18560 + }, + { + "epoch": 0.84, + "learning_rate": 1.223599597201256e-06, + "loss": 2.4586, + "step": 18570 + }, + { + "epoch": 0.84, + "learning_rate": 1.2167529917482123e-06, + "loss": 2.471, + "step": 18580 + }, + { + "epoch": 0.84, + "learning_rate": 1.2099243539895822e-06, + "loss": 2.4661, + "step": 18590 + }, + { + "epoch": 0.84, + "learning_rate": 1.2031136978945513e-06, + "loss": 2.4942, + "step": 18600 + }, + { + "epoch": 0.84, + "learning_rate": 1.1963210373955348e-06, + "loss": 2.4489, + "step": 18610 + }, + { + "epoch": 0.84, + "learning_rate": 1.1895463863881219e-06, + "loss": 2.4902, + "step": 18620 + }, + { + "epoch": 0.84, + "learning_rate": 1.1827897587310744e-06, + "loss": 2.4806, + "step": 18630 + }, + { + "epoch": 0.84, + "learning_rate": 1.176051168246266e-06, + "loss": 2.4844, + "step": 18640 + }, + { + "epoch": 0.85, + "learning_rate": 1.1693306287186913e-06, + "loss": 2.464, + "step": 18650 + }, + { + "epoch": 0.85, + "learning_rate": 1.1626281538964057e-06, + "loss": 2.4944, + "step": 18660 + }, + { + "epoch": 0.85, + "learning_rate": 1.1559437574905153e-06, + "loss": 2.46, + "step": 18670 + }, + { + "epoch": 0.85, + "learning_rate": 1.1492774531751416e-06, + "loss": 2.4967, + "step": 18680 + }, + { + "epoch": 0.85, + "learning_rate": 1.1426292545873952e-06, + "loss": 2.479, + "step": 18690 + }, + { + "epoch": 0.85, + "learning_rate": 1.1359991753273504e-06, + "loss": 2.5162, + "step": 18700 + }, + { + "epoch": 0.85, + "learning_rate": 1.1293872289580133e-06, + "loss": 2.4849, + "step": 18710 + }, + { + "epoch": 0.85, + "learning_rate": 1.1227934290052989e-06, + "loss": 2.4682, + "step": 18720 + }, + { + "epoch": 0.85, + "learning_rate": 1.1162177889579906e-06, + "loss": 2.4756, + "step": 18730 + }, + { + "epoch": 0.85, + "learning_rate": 1.1096603222677406e-06, + "loss": 2.493, + "step": 18740 + }, + { + "epoch": 0.85, + "learning_rate": 1.1031210423490036e-06, + "loss": 2.4884, + "step": 18750 + }, + { + "epoch": 0.85, + "learning_rate": 1.096599962579048e-06, + "loss": 2.4543, + "step": 18760 + }, + { + "epoch": 0.85, + "learning_rate": 1.0900970962978985e-06, + "loss": 2.4616, + "step": 18770 + }, + { + "epoch": 0.85, + "learning_rate": 1.0836124568083263e-06, + "loss": 2.4939, + "step": 18780 + }, + { + "epoch": 0.85, + "learning_rate": 1.077146057375814e-06, + "loss": 2.4483, + "step": 18790 + }, + { + "epoch": 0.85, + "learning_rate": 1.0706979112285343e-06, + "loss": 2.4408, + "step": 18800 + }, + { + "epoch": 0.85, + "learning_rate": 1.0642680315573162e-06, + "loss": 2.4837, + "step": 18810 + }, + { + "epoch": 0.85, + "learning_rate": 1.0578564315156215e-06, + "loss": 2.4425, + "step": 18820 + }, + { + "epoch": 0.85, + "learning_rate": 1.0514631242195195e-06, + "loss": 2.4882, + "step": 18830 + }, + { + "epoch": 0.85, + "learning_rate": 1.0450881227476583e-06, + "loss": 2.5087, + "step": 18840 + }, + { + "epoch": 0.85, + "learning_rate": 1.0387314401412375e-06, + "loss": 2.4761, + "step": 18850 + }, + { + "epoch": 0.85, + "learning_rate": 1.0323930894039825e-06, + "loss": 2.4945, + "step": 18860 + }, + { + "epoch": 0.86, + "learning_rate": 1.026073083502116e-06, + "loss": 2.4795, + "step": 18870 + }, + { + "epoch": 0.86, + "learning_rate": 1.0197714353643351e-06, + "loss": 2.4768, + "step": 18880 + }, + { + "epoch": 0.86, + "learning_rate": 1.0134881578817834e-06, + "loss": 2.4765, + "step": 18890 + }, + { + "epoch": 0.86, + "learning_rate": 1.0072232639080215e-06, + "loss": 2.4482, + "step": 18900 + }, + { + "epoch": 0.86, + "learning_rate": 1.0009767662590053e-06, + "loss": 2.4471, + "step": 18910 + }, + { + "epoch": 0.86, + "learning_rate": 9.947486777130565e-07, + "loss": 2.4803, + "step": 18920 + }, + { + "epoch": 0.86, + "learning_rate": 9.885390110108396e-07, + "loss": 2.482, + "step": 18930 + }, + { + "epoch": 0.86, + "learning_rate": 9.823477788553305e-07, + "loss": 2.5003, + "step": 18940 + }, + { + "epoch": 0.86, + "learning_rate": 9.761749939117982e-07, + "loss": 2.4727, + "step": 18950 + }, + { + "epoch": 0.86, + "learning_rate": 9.700206688077707e-07, + "loss": 2.4685, + "step": 18960 + }, + { + "epoch": 0.86, + "learning_rate": 9.638848161330161e-07, + "loss": 2.4901, + "step": 18970 + }, + { + "epoch": 0.86, + "learning_rate": 9.577674484395127e-07, + "loss": 2.4798, + "step": 18980 + }, + { + "epoch": 0.86, + "learning_rate": 9.516685782414248e-07, + "loss": 2.4721, + "step": 18990 + }, + { + "epoch": 0.86, + "learning_rate": 9.455882180150744e-07, + "loss": 2.5014, + "step": 19000 + }, + { + "epoch": 0.86, + "learning_rate": 9.39526380198923e-07, + "loss": 2.471, + "step": 19010 + }, + { + "epoch": 0.86, + "learning_rate": 9.334830771935344e-07, + "loss": 2.4707, + "step": 19020 + }, + { + "epoch": 0.86, + "learning_rate": 9.274583213615662e-07, + "loss": 2.4536, + "step": 19030 + }, + { + "epoch": 0.86, + "learning_rate": 9.214521250277208e-07, + "loss": 2.4662, + "step": 19040 + }, + { + "epoch": 0.86, + "learning_rate": 9.154645004787488e-07, + "loss": 2.4724, + "step": 19050 + }, + { + "epoch": 0.86, + "learning_rate": 9.094954599633953e-07, + "loss": 2.4818, + "step": 19060 + }, + { + "epoch": 0.86, + "learning_rate": 9.035450156924009e-07, + "loss": 2.4598, + "step": 19070 + }, + { + "epoch": 0.86, + "learning_rate": 8.976131798384502e-07, + "loss": 2.474, + "step": 19080 + }, + { + "epoch": 0.87, + "learning_rate": 8.916999645361768e-07, + "loss": 2.4635, + "step": 19090 + }, + { + "epoch": 0.87, + "learning_rate": 8.858053818821089e-07, + "loss": 2.4736, + "step": 19100 + }, + { + "epoch": 0.87, + "learning_rate": 8.799294439346661e-07, + "loss": 2.4871, + "step": 19110 + }, + { + "epoch": 0.87, + "learning_rate": 8.740721627141246e-07, + "loss": 2.4839, + "step": 19120 + }, + { + "epoch": 0.87, + "learning_rate": 8.68233550202594e-07, + "loss": 2.4924, + "step": 19130 + }, + { + "epoch": 0.87, + "learning_rate": 8.624136183440001e-07, + "loss": 2.4486, + "step": 19140 + }, + { + "epoch": 0.87, + "learning_rate": 8.566123790440406e-07, + "loss": 2.4702, + "step": 19150 + }, + { + "epoch": 0.87, + "learning_rate": 8.508298441701923e-07, + "loss": 2.4545, + "step": 19160 + }, + { + "epoch": 0.87, + "learning_rate": 8.450660255516497e-07, + "loss": 2.4544, + "step": 19170 + }, + { + "epoch": 0.87, + "learning_rate": 8.393209349793363e-07, + "loss": 2.4588, + "step": 19180 + }, + { + "epoch": 0.87, + "learning_rate": 8.335945842058524e-07, + "loss": 2.5121, + "step": 19190 + }, + { + "epoch": 0.87, + "learning_rate": 8.278869849454718e-07, + "loss": 2.4971, + "step": 19200 + }, + { + "epoch": 0.87, + "learning_rate": 8.221981488740971e-07, + "loss": 2.4697, + "step": 19210 + }, + { + "epoch": 0.87, + "learning_rate": 8.165280876292625e-07, + "loss": 2.4947, + "step": 19220 + }, + { + "epoch": 0.87, + "learning_rate": 8.10876812810083e-07, + "loss": 2.4556, + "step": 19230 + }, + { + "epoch": 0.87, + "learning_rate": 8.052443359772466e-07, + "loss": 2.4741, + "step": 19240 + }, + { + "epoch": 0.87, + "learning_rate": 7.996306686529886e-07, + "loss": 2.4592, + "step": 19250 + }, + { + "epoch": 0.87, + "learning_rate": 7.940358223210631e-07, + "loss": 2.4832, + "step": 19260 + }, + { + "epoch": 0.87, + "learning_rate": 7.884598084267225e-07, + "loss": 2.4762, + "step": 19270 + }, + { + "epoch": 0.87, + "learning_rate": 7.82902638376698e-07, + "loss": 2.4659, + "step": 19280 + }, + { + "epoch": 0.87, + "learning_rate": 7.773643235391682e-07, + "loss": 2.4634, + "step": 19290 + }, + { + "epoch": 0.87, + "learning_rate": 7.71844875243739e-07, + "loss": 2.4579, + "step": 19300 + }, + { + "epoch": 0.88, + "learning_rate": 7.663443047814289e-07, + "loss": 2.4547, + "step": 19310 + }, + { + "epoch": 0.88, + "learning_rate": 7.608626234046279e-07, + "loss": 2.4457, + "step": 19320 + }, + { + "epoch": 0.88, + "learning_rate": 7.553998423270948e-07, + "loss": 2.4728, + "step": 19330 + }, + { + "epoch": 0.88, + "learning_rate": 7.499559727239192e-07, + "loss": 2.4711, + "step": 19340 + }, + { + "epoch": 0.88, + "learning_rate": 7.445310257315041e-07, + "loss": 2.461, + "step": 19350 + }, + { + "epoch": 0.88, + "learning_rate": 7.391250124475436e-07, + "loss": 2.4891, + "step": 19360 + }, + { + "epoch": 0.88, + "learning_rate": 7.337379439310011e-07, + "loss": 2.4915, + "step": 19370 + }, + { + "epoch": 0.88, + "learning_rate": 7.283698312020814e-07, + "loss": 2.4784, + "step": 19380 + }, + { + "epoch": 0.88, + "learning_rate": 7.230206852422161e-07, + "loss": 2.4649, + "step": 19390 + }, + { + "epoch": 0.88, + "learning_rate": 7.176905169940351e-07, + "loss": 2.4806, + "step": 19400 + }, + { + "epoch": 0.88, + "learning_rate": 7.123793373613441e-07, + "loss": 2.4849, + "step": 19410 + }, + { + "epoch": 0.88, + "learning_rate": 7.070871572091076e-07, + "loss": 2.4658, + "step": 19420 + }, + { + "epoch": 0.88, + "learning_rate": 7.0181398736342e-07, + "loss": 2.4855, + "step": 19430 + }, + { + "epoch": 0.88, + "learning_rate": 6.965598386114903e-07, + "loss": 2.5001, + "step": 19440 + }, + { + "epoch": 0.88, + "learning_rate": 6.913247217016128e-07, + "loss": 2.4582, + "step": 19450 + }, + { + "epoch": 0.88, + "learning_rate": 6.861086473431522e-07, + "loss": 2.4426, + "step": 19460 + }, + { + "epoch": 0.88, + "learning_rate": 6.809116262065152e-07, + "loss": 2.4672, + "step": 19470 + }, + { + "epoch": 0.88, + "learning_rate": 6.757336689231342e-07, + "loss": 2.4626, + "step": 19480 + }, + { + "epoch": 0.88, + "learning_rate": 6.705747860854405e-07, + "loss": 2.4726, + "step": 19490 + }, + { + "epoch": 0.88, + "learning_rate": 6.654349882468491e-07, + "loss": 2.4695, + "step": 19500 + }, + { + "epoch": 0.88, + "learning_rate": 6.603142859217293e-07, + "loss": 2.4723, + "step": 19510 + }, + { + "epoch": 0.88, + "learning_rate": 6.552126895853883e-07, + "loss": 2.4674, + "step": 19520 + }, + { + "epoch": 0.89, + "learning_rate": 6.501302096740503e-07, + "loss": 2.4626, + "step": 19530 + }, + { + "epoch": 0.89, + "learning_rate": 6.450668565848317e-07, + "loss": 2.4773, + "step": 19540 + }, + { + "epoch": 0.89, + "learning_rate": 6.400226406757226e-07, + "loss": 2.4693, + "step": 19550 + }, + { + "epoch": 0.89, + "learning_rate": 6.349975722655633e-07, + "loss": 2.4922, + "step": 19560 + }, + { + "epoch": 0.89, + "learning_rate": 6.299916616340262e-07, + "loss": 2.4772, + "step": 19570 + }, + { + "epoch": 0.89, + "learning_rate": 6.250049190215901e-07, + "loss": 2.4792, + "step": 19580 + }, + { + "epoch": 0.89, + "learning_rate": 6.200373546295246e-07, + "loss": 2.4621, + "step": 19590 + }, + { + "epoch": 0.89, + "learning_rate": 6.150889786198711e-07, + "loss": 2.46, + "step": 19600 + }, + { + "epoch": 0.89, + "learning_rate": 6.101598011154064e-07, + "loss": 2.4741, + "step": 19610 + }, + { + "epoch": 0.89, + "learning_rate": 6.052498321996458e-07, + "loss": 2.459, + "step": 19620 + }, + { + "epoch": 0.89, + "learning_rate": 6.003590819167982e-07, + "loss": 2.4543, + "step": 19630 + }, + { + "epoch": 0.89, + "learning_rate": 5.954875602717702e-07, + "loss": 2.4536, + "step": 19640 + }, + { + "epoch": 0.89, + "learning_rate": 5.906352772301193e-07, + "loss": 2.4733, + "step": 19650 + }, + { + "epoch": 0.89, + "learning_rate": 5.858022427180598e-07, + "loss": 2.5068, + "step": 19660 + }, + { + "epoch": 0.89, + "learning_rate": 5.809884666224208e-07, + "loss": 2.4655, + "step": 19670 + }, + { + "epoch": 0.89, + "learning_rate": 5.761939587906362e-07, + "loss": 2.4941, + "step": 19680 + }, + { + "epoch": 0.89, + "learning_rate": 5.714187290307272e-07, + "loss": 2.4348, + "step": 19690 + }, + { + "epoch": 0.89, + "learning_rate": 5.66662787111274e-07, + "loss": 2.472, + "step": 19700 + }, + { + "epoch": 0.89, + "learning_rate": 5.619261427614054e-07, + "loss": 2.4812, + "step": 19710 + }, + { + "epoch": 0.89, + "learning_rate": 5.572088056707648e-07, + "loss": 2.4567, + "step": 19720 + }, + { + "epoch": 0.89, + "learning_rate": 5.525107854895107e-07, + "loss": 2.4716, + "step": 19730 + }, + { + "epoch": 0.89, + "learning_rate": 5.478320918282731e-07, + "loss": 2.484, + "step": 19740 + }, + { + "epoch": 0.9, + "learning_rate": 5.431727342581583e-07, + "loss": 2.4682, + "step": 19750 + }, + { + "epoch": 0.9, + "learning_rate": 5.38532722310705e-07, + "loss": 2.4756, + "step": 19760 + }, + { + "epoch": 0.9, + "learning_rate": 5.339120654778884e-07, + "loss": 2.473, + "step": 19770 + }, + { + "epoch": 0.9, + "learning_rate": 5.293107732120794e-07, + "loss": 2.4958, + "step": 19780 + }, + { + "epoch": 0.9, + "learning_rate": 5.247288549260454e-07, + "loss": 2.4707, + "step": 19790 + }, + { + "epoch": 0.9, + "learning_rate": 5.201663199929097e-07, + "loss": 2.4914, + "step": 19800 + }, + { + "epoch": 0.9, + "learning_rate": 5.15623177746154e-07, + "loss": 2.4894, + "step": 19810 + }, + { + "epoch": 0.9, + "learning_rate": 5.110994374795819e-07, + "loss": 2.4628, + "step": 19820 + }, + { + "epoch": 0.9, + "learning_rate": 5.065951084473087e-07, + "loss": 2.4489, + "step": 19830 + }, + { + "epoch": 0.9, + "learning_rate": 5.021101998637412e-07, + "loss": 2.4862, + "step": 19840 + }, + { + "epoch": 0.9, + "learning_rate": 4.976447209035584e-07, + "loss": 2.4711, + "step": 19850 + }, + { + "epoch": 0.9, + "learning_rate": 4.93198680701692e-07, + "loss": 2.4756, + "step": 19860 + }, + { + "epoch": 0.9, + "learning_rate": 4.887720883533053e-07, + "loss": 2.4947, + "step": 19870 + }, + { + "epoch": 0.9, + "learning_rate": 4.843649529137861e-07, + "loss": 2.4581, + "step": 19880 + }, + { + "epoch": 0.9, + "learning_rate": 4.799772833987082e-07, + "loss": 2.5007, + "step": 19890 + }, + { + "epoch": 0.9, + "learning_rate": 4.7560908878383495e-07, + "loss": 2.5006, + "step": 19900 + }, + { + "epoch": 0.9, + "learning_rate": 4.712603780050806e-07, + "loss": 2.4506, + "step": 19910 + }, + { + "epoch": 0.9, + "learning_rate": 4.6693115995851136e-07, + "loss": 2.4519, + "step": 19920 + }, + { + "epoch": 0.9, + "learning_rate": 4.626214435003118e-07, + "loss": 2.4831, + "step": 19930 + }, + { + "epoch": 0.9, + "learning_rate": 4.5833123744677297e-07, + "loss": 2.4764, + "step": 19940 + }, + { + "epoch": 0.9, + "learning_rate": 4.5406055057427453e-07, + "loss": 2.4708, + "step": 19950 + }, + { + "epoch": 0.9, + "learning_rate": 4.4980939161926583e-07, + "loss": 2.4668, + "step": 19960 + }, + { + "epoch": 0.91, + "learning_rate": 4.455777692782504e-07, + "loss": 2.4599, + "step": 19970 + }, + { + "epoch": 0.91, + "learning_rate": 4.413656922077636e-07, + "loss": 2.4717, + "step": 19980 + }, + { + "epoch": 0.91, + "learning_rate": 4.371731690243586e-07, + "loss": 2.4609, + "step": 19990 + }, + { + "epoch": 0.91, + "learning_rate": 4.330002083045881e-07, + "loss": 2.4797, + "step": 20000 + }, + { + "epoch": 0.91, + "eval_accuracy": 0.5417811691733867, + "eval_loss": 2.2338173389434814, + "eval_runtime": 9.8192, + "eval_samples_per_second": 139.217, + "eval_steps_per_second": 1.12, + "step": 20000 + } + ], + "logging_steps": 10, + "max_steps": 22065, + "num_input_tokens_seen": 0, + "num_train_epochs": 1, + "save_steps": 10000, + "total_flos": 1.133439721930752e+20, + "train_batch_size": 4, + "trial_name": null, + "trial_params": null +} diff --git a/checkpoint-20000/training_args.bin b/checkpoint-20000/training_args.bin new file mode 100644 index 0000000000000000000000000000000000000000..4793ec6dee2eae23d1f3821508b7907ed56716bb --- /dev/null +++ b/checkpoint-20000/training_args.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:96b8baeb7fe2c3b0d6996a0ed15501705ce8aa377ed7c36383783f4e6a77263b +size 4856 diff --git a/config.json b/config.json new file mode 100644 index 0000000000000000000000000000000000000000..dd89ae776fae9251e8e17d6f521eec4cac48b559 --- /dev/null +++ b/config.json @@ -0,0 +1,26 @@ +{ + "_name_or_path": "RefalMachine/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_mean_init_03_07_24", + "architectures": [ + "MistralForCausalLM" + ], + "attention_dropout": 0.0, + "bos_token_id": 1, + "eos_token_id": 2, + "hidden_act": "silu", + "hidden_size": 4096, + "initializer_range": 0.02, + "intermediate_size": 14336, + "max_position_embeddings": 32768, + "model_type": "mistral", + "num_attention_heads": 32, + "num_hidden_layers": 32, + "num_key_value_heads": 8, + "rms_norm_eps": 1e-05, + "rope_theta": 10000.0, + "sliding_window": 4096, + "tie_word_embeddings": false, + "torch_dtype": "bfloat16", + "transformers_version": "4.37.2", + "use_cache": true, + "vocab_size": 55329 +} diff --git a/eval_results.json b/eval_results.json new file mode 100644 index 0000000000000000000000000000000000000000..2805963867c25f4e16935d8e33208c14f2832e93 --- /dev/null +++ b/eval_results.json @@ -0,0 +1,10 @@ +{ + "epoch": 1.0, + "eval_accuracy": 0.541759001631102, + "eval_loss": 2.233785390853882, + "eval_runtime": 8.8105, + "eval_samples": 1367, + "eval_samples_per_second": 155.155, + "eval_steps_per_second": 1.249, + "perplexity": 9.335136421381748 +} \ No newline at end of file diff --git a/generation_config.json b/generation_config.json new file mode 100644 index 0000000000000000000000000000000000000000..69b7806611a4865cd48c3e991dbd7d8312e0c5d3 --- /dev/null +++ b/generation_config.json @@ -0,0 +1,6 @@ +{ + "_from_model_config": true, + "bos_token_id": 1, + "eos_token_id": 2, + "transformers_version": "4.37.2" +} diff --git a/llmtf_eval/daru_treewayabstractive.jsonl b/llmtf_eval/daru_treewayabstractive.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..7dc1eb0156e38b91d344431ca47e66b3eee33761 --- /dev/null +++ b/llmtf_eval/daru_treewayabstractive.jsonl @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:6bbb32fa2ed8684c5a9a1b81df38d6ff87afe101a743f7165865c6c4423d0ce6 +size 15377146 diff --git a/llmtf_eval/daru_treewayabstractive_params.jsonl b/llmtf_eval/daru_treewayabstractive_params.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..7fe2e3d0459270a86389d1de18a40d21043bcc53 --- /dev/null +++ b/llmtf_eval/daru_treewayabstractive_params.jsonl @@ -0,0 +1,56 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_part1_lr2e5_bs256", + "generation_config": { + "_from_model_config": true, + "bos_token_id": 1, + "do_sample": true, + "eos_token_id": [ + 2, + 13 + ], + "max_length": 32768, + "max_new_tokens": 512, + "pad_token_id": 2, + "stop_strings": [ + "\n", + "\n\n" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.38.2" + }, + "conversation_template": { + "system_message_template": "{content}\n", + "user_message_template": "{content}\n", + "bot_message_template": "{content}\n\n", + "bot_message_template_incomplete": "{content}", + "user_role": "user", + "bot_role": "bot", + "system_role": "system", + "suffix": "", + "add_special_tokens": false, + "global_prefix": "" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": true, + "space_token": 28705, + "trust_remote_code": [ + false + ], + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 5, + "batch_size": 1, + "max_sample_per_dataset": 500, + "method": "generate" + } +} diff --git a/llmtf_eval/daru_treewayabstractive_total.jsonl b/llmtf_eval/daru_treewayabstractive_total.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..4989344952d485a9e4db353fc3bc4f6711deb55d --- /dev/null +++ b/llmtf_eval/daru_treewayabstractive_total.jsonl @@ -0,0 +1,8 @@ +{ + "task_name": "daru/treewayabstractive", + "results": { + "rouge1": 0.33586892382831746, + "rouge2": 0.13427587549847808 + }, + "leaderboard_result": 0.23507239966339777 +} diff --git a/llmtf_eval/daru_treewayextractive.jsonl b/llmtf_eval/daru_treewayextractive.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..866a85baa6a2e220eda3cb08291a809a0f3dd2a2 --- /dev/null +++ b/llmtf_eval/daru_treewayextractive.jsonl @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:2ee52b8817eefb1cdaf82dfbbb73d5536d984d4697ebdbe0133e31558fc5a0f4 +size 1473480283 diff --git a/llmtf_eval/daru_treewayextractive_params.jsonl b/llmtf_eval/daru_treewayextractive_params.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..a10bf5c5ee9e2f6749860713f7f997e8fff4b345 --- /dev/null +++ b/llmtf_eval/daru_treewayextractive_params.jsonl @@ -0,0 +1,52 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_part1_lr2e5_bs256", + "generation_config": { + "_from_model_config": true, + "bos_token_id": 1, + "do_sample": true, + "eos_token_id": [ + 2 + ], + "max_length": 32768, + "max_new_tokens": 1, + "pad_token_id": 2, + "stop_strings": [], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.38.2" + }, + "conversation_template": { + "system_message_template": "{content}\n", + "user_message_template": "{content}\n", + "bot_message_template": "{content}\n\n", + "bot_message_template_incomplete": "{content}", + "user_role": "user", + "bot_role": "bot", + "system_role": "system", + "suffix": "", + "add_special_tokens": false, + "global_prefix": "" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": true, + "space_token": 28705, + "trust_remote_code": [ + false + ], + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 5, + "batch_size": 1, + "max_sample_per_dataset": 500, + "method": "calculate_logsoftmax" + } +} diff --git a/llmtf_eval/daru_treewayextractive_total.jsonl b/llmtf_eval/daru_treewayextractive_total.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..8c81d4b9781530256733a5e1e94aa84f6fd4933c --- /dev/null +++ b/llmtf_eval/daru_treewayextractive_total.jsonl @@ -0,0 +1,7 @@ +{ + "task_name": "daru/treewayextractive", + "results": { + "map": 0.5145036174539751 + }, + "leaderboard_result": 0.5145036174539751 +} diff --git a/llmtf_eval/darumeru_MultiQ.jsonl b/llmtf_eval/darumeru_MultiQ.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..71cb28a648fe175f64e148eef6f9e44ed33d757d --- /dev/null +++ b/llmtf_eval/darumeru_MultiQ.jsonl @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:850d5b15ac8d14fb80f7eb82fbdd14be443f289ef611a5bded784341f815f34b +size 21461569 diff --git a/llmtf_eval/darumeru_MultiQ_params.jsonl b/llmtf_eval/darumeru_MultiQ_params.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..e5e839296672a5212cf9c5126e80f233bf355422 --- /dev/null +++ b/llmtf_eval/darumeru_MultiQ_params.jsonl @@ -0,0 +1,56 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_part1_lr2e5_bs256", + "generation_config": { + "_from_model_config": true, + "bos_token_id": 1, + "do_sample": true, + "eos_token_id": [ + 2, + 13 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 2, + "stop_strings": [ + "\n", + "\n\n" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.38.2" + }, + "conversation_template": { + "system_message_template": "{content}\n", + "user_message_template": "{content}\n", + "bot_message_template": "{content}\n\n", + "bot_message_template_incomplete": "{content}", + "user_role": "user", + "bot_role": "bot", + "system_role": "system", + "suffix": "", + "add_special_tokens": false, + "global_prefix": "" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": true, + "space_token": 28705, + "trust_remote_code": [ + false + ], + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 5, + "batch_size": 1, + "max_sample_per_dataset": 10000000000000, + "method": "generate" + } +} diff --git a/llmtf_eval/darumeru_MultiQ_total.jsonl b/llmtf_eval/darumeru_MultiQ_total.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..1c6add8687af3c621220714705db6566b06f41a6 --- /dev/null +++ b/llmtf_eval/darumeru_MultiQ_total.jsonl @@ -0,0 +1,8 @@ +{ + "task_name": "darumeru/MultiQ", + "results": { + "f1": 0.6075691304658802, + "em": 0.5277246653919694 + }, + "leaderboard_result": 0.5676468979289249 +} diff --git a/llmtf_eval/darumeru_PARus.jsonl b/llmtf_eval/darumeru_PARus.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..7d1edb4ad0d4ab54214ab6eda27e5ee09a876221 --- /dev/null +++ b/llmtf_eval/darumeru_PARus.jsonl @@ -0,0 +1,3800 @@ +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.468555748462677, + "2": 0.5309432148933411 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина открыл вентиль.", + "choice1": "Унитаз переполнился водой.", + "choice2": "Вода потекла из крана." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 0 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Мужчина открыл вентиль.\" и два фрагмента текста: 1. Унитаз переполнился водой. 2. Вода потекла из крана. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 529, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.37723666429519653, + "2": 0.6219581365585327 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Девушка нашла жука у себя в каше.", + "choice1": "Она налила молока в миску.", + "choice2": "Она потеряла аппетит." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 1 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Девушка нашла жука у себя в каше.\" и два текста: 1. Она налила молока в миску. 2. Она потеряла аппетит. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 518, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7544258832931519, + "2": 0.24492622911930084 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина вышла на пенсию.", + "choice1": "Она начала получать пенсию.", + "choice2": "Она выплатила ипотеку." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 2 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Женщина вышла на пенсию.\" и два возможных продолжения текста: 1. Она начала получать пенсию. 2. Она выплатила ипотеку. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 519, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.1644081324338913, + "2": 0.8349334597587585 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я решил экономить энергию.", + "choice1": "Я подмел пол в пустой комнате.", + "choice2": "Я выключил свет в пустой комнате." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 3 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Я решил экономить энергию.\" и два фрагмента текста: 1) Я подмел пол в пустой комнате. 2) Я выключил свет в пустой комнате. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 517, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.24495550990104675, + "2": 0.754516065120697 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Котлета для гамбургера подрумянилась.", + "choice1": "Повар заморозил её.", + "choice2": "Повар поджарил её." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 4 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Котлета для гамбургера подрумянилась.\" и два фрагмента текста: 1. Повар заморозил её. 2. Повар поджарил её. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 534, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5923764705657959, + "2": 0.4071340262889862 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я сомневалась в предложении коммивояжера.", + "choice1": "Я отклонила его предложение.", + "choice2": "Он уговорил меня купить продукт." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 5 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Я сомневалась в предложении коммивояжера.\" и два текста продолжения: 1) Я отклонила его предложение. 2) Он уговорил меня купить продукт. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 514, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5308629870414734, + "2": 0.46848493814468384 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я решил остаться дома на ночь.", + "choice1": "Прогноз обещал бурю.", + "choice2": "Мои друзья уговорили меня погулять." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 6 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Я решил остаться дома на ночь.\" и два текста: 1. Прогноз обещал бурю. 2. Мои друзья уговорили меня погулять. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 516, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7545165419578552, + "2": 0.2449556589126587 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мои глаза стали красными и опухшими.", + "choice1": "Я рыдала.", + "choice2": "Я смеялась." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 7 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Мои глаза стали красными и опухшими.\" и два возможных продолжения текста: 1. Я рыдала. 2. Я смеялась. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 520, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.3484499454498291, + "2": 0.6509901881217957 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Пламя свечи погасло.", + "choice1": "Я дул на фитиль.", + "choice2": "Я подносил спичку к фитилю." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 8 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Пламя свечи погасло.\" и два фрагмента текста: 1) Я дул на фитиль. 2) Я подносил спичку к фитилю. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 519, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.8928080797195435, + "2": 0.10663072764873505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина сильно выпил на вечеринке.", + "choice1": "У него болела голова на следующий день.", + "choice2": "У него был насморк на следующий день." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 9 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Мужчина сильно выпил на вечеринке.\" и два возможных продолжения текста: 1. У него болела голова на следующий день. 2. У него был насморк на следующий день. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: ", + "info": { + "prompt_len": 511, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5619344711303711, + "2": 0.43763500452041626 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Шар для боулинга сбил кегли.", + "choice1": "Мужчина пустил шар для боулинга по дорожке.", + "choice2": "Мужчина уронил шар на ногу." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 10 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Шар для боулинга сбил кегли.\" и два текста продолжения: 1) Мужчина пустил шар для боулинга по дорожке. 2) Мужчина уронил шар на ногу. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 520, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.40701547265052795, + "2": 0.5922039747238159 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Общество узнало о смерти человека.", + "choice1": "Его семья похоронила его на кладбище.", + "choice2": "Его некролог появился в газете." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 11 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Общество узнало о смерти человека.\" и два возможных продолжения текста: 1. Его семья похоронила его на кладбище. 2. Его некролог появился в газете. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: ", + "info": { + "prompt_len": 505, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.34837237000465393, + "2": 0.6508452296257019 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мой компьютер разбился.", + "choice1": "Я установил новые колонки.", + "choice2": "Я потерял все мои данные." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 12 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Мой компьютер разбился.\" и два фрагмента текста: 1. Я установил новые колонки. 2. Я потерял все мои данные. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 526, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.24487553536891937, + "2": 0.7542697787284851 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина уволилась с должности.", + "choice1": "Она хотела занять руководящую должность в фирме.", + "choice2": "Она считала, что её начальники вели себя неэтично." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 13 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Женщина уволилась с должности.\" и два фрагмента текста: 1. Она хотела занять руководящую должность в фирме. 2. Она считала, что её начальники вели себя неэтично. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 540, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6220424771308899, + "2": 0.3772878348827362 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Участница игры поймала мяч.", + "choice1": "Её напарник бросил его ей.", + "choice2": "Её противник пытался перехватить его." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 14 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Участница игры поймала мяч.\" и два текста: 1. Её напарник бросил его ей. 2. Её противник пытался перехватить его. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 516, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.34841620922088623, + "2": 0.6509271264076233 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Судья стучал молоточком.", + "choice1": "В зале стало шумно.", + "choice2": "Жюри огласило свой вердикт." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 15 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Судья стучал молоточком.\" и два возможных продолжения текста: 1. В зале стало шумно. 2. Жюри огласило свой вердикт. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 524, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4997500777244568, + "2": 0.4997500777244568 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина прогнала детей со своей территории.", + "choice1": "Дети попали мячом в её двор.", + "choice2": "Дети топтались по её саду." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 16 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Женщина прогнала детей со своей территории.\" и два фрагмента текста: 1) Дети попали мячом в её двор. 2) Дети топтались по её саду. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 522, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5309588313102722, + "2": 0.4685695171356201 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Похитители отпустили заложника.", + "choice1": "Они получили выкуп.", + "choice2": "Они сбежали из тюрьмы." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 17 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Похитители отпустили заложника.\" и два текста продолжения: 1) Они получили выкуп. 2) Они сбежали из тюрьмы. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 508, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.20169048011302948, + "2": 0.7977012991905212 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Глаза повара заслезились.", + "choice1": "Он выбежал прочь из-за лука.", + "choice2": "Он резал лук." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 18 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Глаза повара заслезились.\" и два возможных продолжения текста: 1. Он выбежал прочь из-за лука. 2. Он резал лук. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: ", + "info": { + "prompt_len": 506, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5618693828582764, + "2": 0.4375843405723572 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина сунула палец под холодную воду.", + "choice1": "Она обожгла палец тостером.", + "choice2": "Она надела на палец кольцо с бриллиантом." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 19 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Женщина сунула палец под холодную воду.\" и два фрагмента текста: 1. Она обожгла палец тостером. 2. Она надела на палец кольцо с бриллиантом. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 538, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5922675728797913, + "2": 0.4070591628551483 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ученица ошиблась в слове.", + "choice1": "Учитель поправил её.", + "choice2": "Учитель прогнал её." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 20 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Ученица ошиблась в слове.\" и два текста: 1. Учитель поправил её. 2. Учитель прогнал её. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 513, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.32055798172950745, + "2": 0.678621232509613 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ко мне вернулось самообладание после внезапного порыва гнева.", + "choice1": "Моё сердце забилось сильнее.", + "choice2": "Я сделал глубокий вдох." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 21 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Ко мне вернулось самообладание после внезапного порыва гнева.\" и два текста: 1. Моё сердце забилось сильнее. 2. Я сделал глубокий вдох. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 519, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5308066606521606, + "2": 0.4684351980686188 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я сунул руки под струю воды из крана.", + "choice1": "Мыло смылось с моих рук.", + "choice2": "Вода полилась мне на лицо." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 22 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Я сунул руки под струю воды из крана.\" и два возможных продолжения текста: 1. Мыло смылось с моих рук. 2. Вода полилась мне на лицо. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 528, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.499660849571228, + "2": 0.499660849571228 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина одет в свой лучший костюм.", + "choice1": "У него запланирована встреча с важным клиентом.", + "choice2": "Его жена купила ему новый галстук." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 23 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Мужчина одет в свой лучший костюм.\" и два возможных продолжения текста: 1. У него запланирована встреча с важным клиентом. 2. Его жена купила ему новый галстук. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 531, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6509561538696289, + "2": 0.3484317362308502 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина признался в своей любви к женщине.", + "choice1": "Женщина отвергла его.", + "choice2": "Женщина позавидовала ему." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 24 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Мужчина признался в своей любви к женщине.\" и два фрагмента текста: 1) Женщина отвергла его. 2) Женщина позавидовала ему. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 517, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.3484503924846649, + "2": 0.6509909629821777 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "У водителя спустило колесо.", + "choice1": "Он шёл на предельной скорости.", + "choice2": "Он наехал на гвоздь." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 25 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"У водителя спустило колесо.\" и два фрагмента текста: 1) Он шёл на предельной скорости. 2) Он наехал на гвоздь. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 515, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5308101177215576, + "2": 0.4684382677078247 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мне не было видно экрана.", + "choice1": "Позади меня слишком громко шептались.", + "choice2": "Передо мной сидел высокий человек." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 26 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Мне не было видно экрана.\" и два текста продолжения: 1) Позади меня слишком громко шептались. 2) Передо мной сидел высокий человек. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 511, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5308706164360046, + "2": 0.46849164366722107 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Водитель включил фары автомобиля.", + "choice1": "Он услышал гром.", + "choice2": "Солнце уже садилось." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 27 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Водитель включил фары автомобиля.\" и два возможных продолжения текста: 1. Он услышал гром. 2. Солнце уже садилось. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: ", + "info": { + "prompt_len": 499, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.407010018825531, + "2": 0.5921961069107056 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Девочка отказывалась есть овощи.", + "choice1": "Её отец сказал ей выпить молока.", + "choice2": "Её отец оставил её без сладкого." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 28 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Девочка отказывалась есть овощи.\" и два текста продолжения: 1) Её отец сказал ей выпить молока. 2) Её отец оставил её без сладкого. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 511, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5308466553688049, + "2": 0.4684705436229706 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина прикрыла рот рукой.", + "choice1": "Она выдохнула.", + "choice2": "Она чихнула." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 29 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Женщина прикрыла рот рукой.\" и два фрагмента текста: 1. Она выдохнула. 2. Она чихнула. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 526, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4375999867916107, + "2": 0.5618895292282104 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Секретарь попросил абонента оставаться на линии.", + "choice1": "Телефон абонента выключился.", + "choice2": "Абонент терпеливо ждал." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 30 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Секретарь попросил абонента оставаться на линии.\" и два возможных продолжения текста: 1. Телефон абонента выключился. 2. Абонент терпеливо ждал. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: ", + "info": { + "prompt_len": 508, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.18230938911437988, + "2": 0.8170539736747742 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина ходила с костылями.", + "choice1": "Она побрила ноги.", + "choice2": "Она сломала ногу." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 31 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Женщина ходила с костылями.\" и два текста: 1. Она побрила ноги. 2. Она сломала ногу. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 514, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.49985015392303467, + "2": 0.49985015392303467 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я кашлянул.", + "choice1": "Я надышался дыма.", + "choice2": "Я понизил голос." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 32 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Я кашлянул.\" и два возможных продолжения текста: 1. Я надышался дыма. 2. Я понизил голос. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 517, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5617799758911133, + "2": 0.4375147223472595 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Часы пробили.", + "choice1": "Это было в начале часа.", + "choice2": "Час, казалось, тянулся бесконечно." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 33 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Часы пробили.\" и два фрагмента текста: 1) Это было в начале часа. 2) Час, казалось, тянулся бесконечно. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 515, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.622220516204834, + "2": 0.3773958086967468 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Шеф-повар ударил яйцом по краю чаши.", + "choice1": "Яйцо треснуло.", + "choice2": "Яйцо протухло." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 34 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Шеф-повар ударил яйцом по краю чаши.\" и два фрагмента текста: 1. Яйцо треснуло. 2. Яйцо протухло. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 535, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.34836360812187195, + "2": 0.6508288383483887 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Полиция обыскала машину нарушителя.", + "choice1": "Они пытались добиться от него признания.", + "choice2": "Они искали запрещённые препараты." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 35 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Полиция обыскала машину нарушителя.\" и два текста продолжения: 1) Они пытались добиться от него признания. 2) Они искали запрещённые препараты. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 512, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.49968525767326355, + "2": 0.49968525767326355 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Пара путешествовала на юг на зиму.", + "choice1": "Они были на пенсии.", + "choice2": "Они были в разводе." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 36 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Пара путешествовала на юг на зиму.\" и два возможных продолжения текста: 1. Они были на пенсии. 2. Они были в разводе. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: ", + "info": { + "prompt_len": 502, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.24494963884353638, + "2": 0.7544980645179749 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина чувствовал себя обязанным присутствовать на мероприятии.", + "choice1": "Друг предлагал ему пойти, но он отклонил предложение.", + "choice2": "Он обещал своему другу, что пойдёт." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 37 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Мужчина чувствовал себя обязанным присутствовать на мероприятии.\" и два фрагмента текста: 1. Друг предлагал ему пойти, но он отклонил предложение. 2. Он обещал своему другу, что пойдёт. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 541, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.2687404453754425, + "2": 0.7305122017860413 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Невеста сильно нервничала перед свадьбой.", + "choice1": "Гости принесли на свадьбу подарки.", + "choice2": "Она отменила свадьбу." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 38 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Невеста сильно нервничала перед свадьбой.\" и два текста: 1. Гости принесли на свадьбу подарки. 2. Она отменила свадьбу. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 518, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7306390404701233, + "2": 0.26878711581230164 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина старел.", + "choice1": "Его волосы поседели.", + "choice2": "Он продал свои пожитки." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 39 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Мужчина старел.\" и два возможных продолжения текста: 1. Его волосы поседели. 2. Он продал свои пожитки. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 520, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5922478437423706, + "2": 0.4070456027984619 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Друзья решили разделить гамбургер.", + "choice1": "Они разрезали котлету пополам.", + "choice2": "Они заказали картошку фри с гамбургером." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 40 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Друзья решили разделить гамбургер.\" и два фрагмента текста: 1) Они разрезали котлету пополам. 2) Они заказали картошку фри с гамбургером. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 525, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5924094319343567, + "2": 0.40715664625167847 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я открутил крышку с бутылки газировки.", + "choice1": "Газировка зашипела.", + "choice2": "Газировка протекла." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 41 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Я открутил крышку с бутылки газировки.\" и два текста продолжения: 1) Газировка зашипела. 2) Газировка протекла. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 514, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4374225437641144, + "2": 0.5616616606712341 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Пара студентов вызвали особое внимание учителя.", + "choice1": "Студенты получили отличные оценки.", + "choice2": "Их ответы на задания были идентичны." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 42 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Пара студентов вызвали особое внимание учителя.\" и два текста: 1. Студенты получили отличные оценки. 2. Их ответы на задания были идентичны. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 517, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.3206337094306946, + "2": 0.6787815093994141 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Студент спешил добраться до школы вовремя.", + "choice1": "Он забыл свою домашнюю работу дома.", + "choice2": "Он принёс свой обед в школу." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 43 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Студент спешил добраться до школы вовремя.\" и два возможных продолжения текста: 1. Он забыл свою домашнюю работу дома. 2. Он принёс свой обед в школу. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: ", + "info": { + "prompt_len": 508, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.40713271498680115, + "2": 0.5923745632171631 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Журналист написал биографию известного гуманиста.", + "choice1": "Журналисту было сложно интервьюировать гуманиста.", + "choice2": "Журналист был заинтригован работами гуманиста." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 44 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Журналист написал биографию известного гуманиста.\" и два возможных продолжения текста: 1. Журналисту было сложно интервьюировать гуманиста. 2. Журналист был заинтригован работами гуманиста. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 536, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.2939944267272949, + "2": 0.7052559852600098 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Человек бросил вызов власти церкви.", + "choice1": "Он пожертвовал деньги на церковь.", + "choice2": "Он был отлучен от церкви." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 45 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Человек бросил вызов власти церкви.\" и два фрагмента текста: 1. Он пожертвовал деньги на церковь. 2. Он был отлучен от церкви. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 529, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5308027863502502, + "2": 0.46843183040618896 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Волосы женщины то и дело падали ей на лицо.", + "choice1": "Она заколола волосы на затылке с помощью клипсы.", + "choice2": "Она намылила волосы шампунем." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 46 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Волосы женщины то и дело падали ей на лицо.\" и два текста: 1. Она заколола волосы на затылке с помощью клипсы. 2. Она намылила волосы шампунем. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 529, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6221457719802856, + "2": 0.37735047936439514 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Кольцо невозможно было снять с пальца.", + "choice1": "Мой палец распух.", + "choice2": "Мой ноготь сломался." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 47 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Кольцо невозможно было снять с пальца.\" и два фрагмента текста: 1) Мой палец распух. 2) Мой ноготь сломался. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 516, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.3483683466911316, + "2": 0.6508377194404602 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я потянул резинку.", + "choice1": "Она пролетела через всю комнату.", + "choice2": "Она натянулась." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 48 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Я потянул резинку.\" и два возможных продолжения текста: 1. Она пролетела через всю комнату. 2. Она натянулась. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 521, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5923987627029419, + "2": 0.4071493446826935 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я вдавил свою руку во влажный цемент.", + "choice1": "Отпечатки моих рук застыли на поверхности цемента.", + "choice2": "В цементе появились трещины." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 49 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Я вдавил свою руку во влажный цемент.\" и два фрагмента текста: 1) Отпечатки моих рук застыли на поверхности цемента. 2) В цементе появились трещины. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 528, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4997294247150421, + "2": 0.4997294247150421 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мою кожу покрыла сыпь.", + "choice1": "Я наткнулась на ядовитый плющ у себя во дворе.", + "choice2": "Я уничтожила ядовитый плющ у себя во дворе." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 50 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Мою кожу покрыла сыпь.\" и два текста продолжения: 1) Я наткнулась на ядовитый плющ у себя во дворе. 2) Я уничтожила ядовитый плющ у себя во дворе. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 524, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.37726935744285583, + "2": 0.6220120191574097 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Моя подписка на журнал истекла.", + "choice1": "Я отказался от нового выпуска.", + "choice2": "Я перестал получать новые выпуски." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 51 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Моя подписка на журнал истекла.\" и два текста продолжения: 1) Я отказался от нового выпуска. 2) Я перестал получать новые выпуски. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 510, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.650835394859314, + "2": 0.3483670949935913 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Детектив обнаружил неувязку в деле.", + "choice1": "Он окончательно сформулировал свою версию.", + "choice2": "Она разрушила его версию." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 52 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Детектив обнаружил неувязку в деле.\" и два возможных продолжения текста: 1. Он окончательно сформулировал свою версию. 2. Она разрушила его версию. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: ", + "info": { + "prompt_len": 505, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7054567337036133, + "2": 0.29407811164855957 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мальчик закатил истерику.", + "choice1": "Брат забрал его игрушки.", + "choice2": "Он поделился своими игрушками с братом." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 53 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Мальчик закатил истерику.\" и два возможных продолжения текста: 1. Брат забрал его игрушки. 2. Он поделился своими игрушками с братом. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: ", + "info": { + "prompt_len": 506, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6786750555038452, + "2": 0.32058340311050415 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ребенок научился читать.", + "choice1": "Он начал посещать школу.", + "choice2": "Он пропускал занятия в школе." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 54 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Ребенок научился читать.\" и два фрагмента текста: 1. Он начал посещать школу. 2. Он пропускал занятия в школе. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 526, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.3483985662460327, + "2": 0.6508942246437073 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мальчик не стал ужинать.", + "choice1": "Его мать приготовила его любимое блюдо.", + "choice2": "Он наелся в обед." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 55 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Мальчик не стал ужинать.\" и два текста: 1. Его мать приготовила его любимое блюдо. 2. Он наелся в обед. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 518, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.3774096667766571, + "2": 0.622243344783783 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина расточала комплименты подруге.", + "choice1": "Она хотела попросить подругу об одолжении.", + "choice2": "Её раздражало нытьё подруги." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 56 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Женщина расточала комплименты подруге.\" и два возможных продолжения текста: 1. Она хотела попросить подругу об одолжении. 2. Её раздражало нытьё подруги. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 531, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.622077226638794, + "2": 0.3773089051246643 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Из моего кармана пропал ключ.", + "choice1": "В кармане была дыра.", + "choice2": "Брюки были новые." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 57 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Из моего кармана пропал ключ.\" и два фрагмента текста: 1) В кармане была дыра. 2) Брюки были новые. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 515, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4375843107700348, + "2": 0.5618693828582764 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина потерял сознание.", + "choice1": "Он решил подремать.", + "choice2": "Он бежал марафон." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 58 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Мужчина потерял сознание.\" и два текста продолжения: 1) Он решил подремать. 2) Он бежал марафон. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 506, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5307896733283997, + "2": 0.46842023730278015 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Человек проиграл в конкурсе.", + "choice1": "Конкурс был подстроен.", + "choice2": "Он запугивал других конкурсантов." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 59 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Человек проиграл в конкурсе.\" и два возможных продолжения текста: 1. Конкурс был подстроен. 2. Он запугивал других конкурсантов. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: ", + "info": { + "prompt_len": 501, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.34842705726623535, + "2": 0.6509473919868469 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мать вызвала скорую помощь.", + "choice1": "Её сын потерял кошку.", + "choice2": "Её сын выпал из кровати." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 60 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Мать вызвала скорую помощь.\" и два фрагмента текста: 1. Её сын потерял кошку. 2. Её сын выпал из кровати. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 528, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6220188140869141, + "2": 0.3772734999656677 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Водитель ударил по тормозам.", + "choice1": "На дороге появился олень.", + "choice2": "Радио в машине отключилось." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 61 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Водитель ударил по тормозам.\" и два текста: 1. На дороге появился олень. 2. Радио в машине отключилось. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 512, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7054258584976196, + "2": 0.2940652370452881 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Замок открылся.", + "choice1": "Я повернул ключ в замке.", + "choice2": "Я сделал дубликат ключа." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 62 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Замок открылся.\" и два возможных продолжения текста: 1. Я повернул ключ в замке. 2. Я сделал дубликат ключа. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 519, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6510571241378784, + "2": 0.3484857678413391 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я надел резиновые перчатки.", + "choice1": "Я собрался помыть руки.", + "choice2": "Я собрался убраться в ванной." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 63 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Я надел резиновые перчатки.\" и два фрагмента текста: 1) Я собрался помыть руки. 2) Я собрался убраться в ванной. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 519, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.650943398475647, + "2": 0.34842491149902344 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Эти виды животных оказались под угрозой исчезновения.", + "choice1": "Их среда обитания была разрушена.", + "choice2": "Угрожавшие им хищники вымерли." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 64 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Эти виды животных оказались под угрозой исчезновения.\" и два текста продолжения: 1) Их среда обитания была разрушена. 2) Угрожавшие им хищники вымерли. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 516, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.437519371509552, + "2": 0.5617859959602356 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина заметил, что женщина выглядит по-другому.", + "choice1": "Женщина изменила стрижку.", + "choice2": "Женщина надела браслет." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 65 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Мужчина заметил, что женщина выглядит по-другому.\" и два возможных продолжения текста: 1. Женщина изменила стрижку. 2. Женщина надела браслет. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: ", + "info": { + "prompt_len": 507, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7052610516548157, + "2": 0.29399654269218445 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Студентка забыла сделать домашку.", + "choice1": "Она придумала, как оправдаться перед учителем.", + "choice2": "Учитель перевёл её в следующий класс." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 66 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Студентка забыла сделать домашку.\" и два фрагмента текста: 1. Она придумала, как оправдаться перед учителем. 2. Учитель перевёл её в следующий класс. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 537, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.40698501467704773, + "2": 0.5921596884727478 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Собака залаяла.", + "choice1": "Кот развалился на диване.", + "choice2": "Раздался стук в дверь." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 67 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Собака залаяла.\" и два фрагмента текста: 1. Кот развалился на диване. 2. Раздался стук в дверь. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 530, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5307173728942871, + "2": 0.4683564305305481 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Были объявлены планы заменить местный парк торговым центром.", + "choice1": "Экологи начали сбор подписей под петицией.", + "choice2": "Экологи выпустили документальный фильм." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 68 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Были объявлены планы заменить местный парк торговым центром.\" и два текста: 1. Экологи начали сбор подписей под петицией. 2. Экологи выпустили документальный фильм. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 526, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6786667108535767, + "2": 0.320579469203949 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Супруги были рады видеть друг друга.", + "choice1": "Они поцеловались.", + "choice2": "Они отдохнули." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 69 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Супруги были рады видеть друг друга.\" и два возможных продолжения текста: 1. Они поцеловались. 2. Они отдохнули. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 519, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5307860970497131, + "2": 0.46841707825660706 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина попросила мужчину выйти.", + "choice1": "Он оскорбил её.", + "choice2": "Он поблагодарил её." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 70 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Женщина попросила мужчину выйти.\" и два текста: 1. Он оскорбил её. 2. Он поблагодарил её. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 511, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.622097909450531, + "2": 0.3773214519023895 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ветка дерева упала в реку.", + "choice1": "Ветка поплыла вниз по течению.", + "choice2": "Течение реки стало сильнее." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 71 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Ветка дерева упала в реку.\" и два фрагмента текста: 1) Ветка поплыла вниз по течению. 2) Течение реки стало сильнее. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 518, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6786520481109619, + "2": 0.32057252526283264 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Учитель задал студентам домашнее задание.", + "choice1": "Студенты сдали записи.", + "choice2": "Студенты застонали." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 72 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Учитель задал студентам домашнее задание.\" и два текста продолжения: 1) Студенты сдали записи. 2) Студенты застонали. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 513, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.03305574879050255, + "2": 0.9660305976867676 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Лето сменилось осенью.", + "choice1": "Людей эвакуировали из домов.", + "choice2": "Листья упали с деревьев." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 73 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Лето сменилось осенью.\" и два возможных продолжения текста: 1. Людей эвакуировали из домов. 2. Листья упали с деревьев. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: ", + "info": { + "prompt_len": 502, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.16441375017166138, + "2": 0.8349619507789612 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Политик был признан виновным в мошенничестве.", + "choice1": "Он начал кампанию за переизбрание.", + "choice2": "Он был отстранён от должности." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 74 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Политик был признан виновным в мошенничестве.\" и два фрагмента текста: 1. Он начал кампанию за переизбрание. 2. Он был отстранён от должности. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 535, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5308496952056885, + "2": 0.4684731960296631 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я потянул за собой повозку.", + "choice1": "Объекты в повозке упали.", + "choice2": "Колеса повозки повернулись вперёд." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 75 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Я потянул за собой повозку.\" и два текста: 1. Объекты в повозке упали. 2. Колеса повозки повернулись вперёд. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 522, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.2448316067457199, + "2": 0.754134476184845 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Лоббист уговорил законодателей поддержать законопроект.", + "choice1": "Президент наложил вето на законопроект.", + "choice2": "Парламент принял законопроект." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 76 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Лоббист уговорил законодателей поддержать законопроект.\" и два возможных продолжения текста: 1. Президент наложил вето на законопроект. 2. Парламент принял законопроект. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 526, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.8513889908790588, + "2": 0.1479492038488388 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В моём шкафу был беспорядок.", + "choice1": "Я разобрал шкаф.", + "choice2": "Я украсил шкаф." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 77 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"В моём шкафу был беспорядок.\" и два фрагмента текста: 1) Я разобрал шкаф. 2) Я украсил шкаф. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 516, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.3484403192996979, + "2": 0.6509721875190735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я остался там допоздна.", + "choice1": "У меня были яркие сны в ту ночь.", + "choice2": "Утром я чувствовал себя усталым." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 78 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Я остался там допоздна.\" и два текста продолжения: 1) У меня были яркие сны в ту ночь. 2) Утром я чувствовал себя усталым. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 513, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4996313154697418, + "2": 0.4996313154697418 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В кармане звенело, когда он шёл.", + "choice1": "Карман был наполнен монетами.", + "choice2": "Он зашил дырку в кармане." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 79 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"В кармане звенело, когда он шёл.\" и два возможных продолжения текста: 1. Карман был наполнен монетами. 2. Он зашил дырку в кармане. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 529, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5618325471878052, + "2": 0.43755561113357544 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Все в классе уставились на студента.", + "choice1": "Зазвонил телефон студента.", + "choice2": "Студент делал записи." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 80 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Все в классе уставились на студента.\" и два фрагмента текста: 1) Зазвонил телефон студента. 2) Студент делал записи. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 516, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5924932956695557, + "2": 0.40721431374549866 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Лошадь взбрыкнула.", + "choice1": "Муха укусила лошадь.", + "choice2": "Всадник погладил лошадь." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 81 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Лошадь взбрыкнула.\" и два текста продолжения: 1) Муха укусила лошадь. 2) Всадник погладил лошадь. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 509, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.8665022253990173, + "2": 0.13288243114948273 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Похитители драгоценностей были пойманы.", + "choice1": "Украденные ювелирные изделия были возвращены владельцам.", + "choice2": "Стоимость похищенных ювелирных изделий была подсчитана." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 82 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Похитители драгоценностей были пойманы.\" и два возможных продолжения текста: 1. Украденные ювелирные изделия были возвращены владельцам. 2. Стоимость похищенных ювелирных изделий была подсчитана. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: ", + "info": { + "prompt_len": 517, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.49956652522087097, + "2": 0.49956652522087097 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Политическое насилие вызвало раскол в стране.", + "choice1": "Многие горожане переехали в столицу.", + "choice2": "Многие горожане укрылись на других территориях." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 83 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Политическое насилие вызвало раскол в стране.\" и два фрагмента текста: 1. Многие горожане переехали в столицу. 2. Многие горожане укрылись на других территориях. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 535, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.06003405898809433, + "2": 0.9390907287597656 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина была арестована.", + "choice1": "Она записалась на реабилитацию.", + "choice2": "Она совершила нападение." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 84 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Женщина была арестована.\" и два возможных продолжения текста: 1. Она записалась на реабилитацию. 2. Она совершила нападение. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: ", + "info": { + "prompt_len": 501, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5921674966812134, + "2": 0.4069903790950775 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина читала газету.", + "choice1": "Она узнала результаты выборов.", + "choice2": "Ей отдали голоса на выборах." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 85 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Женщина читала газету.\" и два текста: 1. Она узнала результаты выборов. 2. Ей отдали голоса на выборах. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 512, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4374425411224365, + "2": 0.5616873502731323 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Больной ребёнок кашлянул на своего друга.", + "choice1": "Его друг заболел.", + "choice2": "Его друг чихнул." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 86 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Больной ребёнок кашлянул на своего друга.\" и два возможных продолжения текста: 1. Его друг заболел. 2. Его друг чихнул. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 522, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6787217259407043, + "2": 0.32060545682907104 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Пара обручилась.", + "choice1": "Они планировали свадьбу.", + "choice2": "Они провели какое-то время порознь." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 87 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Пара обручилась.\" и два фрагмента текста: 1) Они планировали свадьбу. 2) Они провели какое-то время порознь. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 515, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.8168767094612122, + "2": 0.18226982653141022 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина связалась с агентом по недвижимости.", + "choice1": "Женщина планировала купить квартиру.", + "choice2": "Женщине требовалась уборка дома." + }, + "outputs": "1", + "meta": { + "task": "cause", + "id": 88 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Женщина связалась с агентом по недвижимости.\" и два фрагмента текста: 1. Женщина планировала купить квартиру. 2. Женщине требовалась уборка дома. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 533, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7306370139122009, + "2": 0.26878637075424194 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина выиграл в лотерею.", + "choice1": "Он стал богат.", + "choice2": "Он задолжал денег." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 89 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Мужчина выиграл в лотерею.\" и два текста продолжения: 1) Он стал богат. 2) Он задолжал денег. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 506, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.34843936562538147, + "2": 0.6509703993797302 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я зажгла свечу.", + "choice1": "Со свечи закапал воск.", + "choice2": "Воск на свече затвердел." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 90 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Я зажгла свечу.\" и два возможных продолжения текста: 1. Со свечи закапал воск. 2. Воск на свече затвердел. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: ", + "info": { + "prompt_len": 505, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4070029854774475, + "2": 0.5921858549118042 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я провёл день на пляже.", + "choice1": "Я вывихнул лодыжку.", + "choice2": "Моё лицо сгорело." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 91 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Я провёл день на пляже.\" и два фрагмента текста: 1. Я вывихнул лодыжку. 2. Моё лицо сгорело. Определи, какой из двух фрагментов является следствием описанной ситуации? Напиши ответ, 1, если первый ответ является следствием, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: ", + "info": { + "prompt_len": 529, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4070771038532257, + "2": 0.5922936797142029 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мужчина получил штраф за парковку.", + "choice1": "Он парковался параллельно улице.", + "choice2": "Согласно счётчику, срок его парковки истёк." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 92 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Мужчина получил штраф за парковку.\" и два текста: 1. Он парковался параллельно улице. 2. Согласно счётчику, срок его парковки истёк. Определи, какой из двух текстов может быть причиной описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 520, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6508510708808899, + "2": 0.34837549924850464 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание некоторой заданной ситуации: \"{premise}\" и два текста: 1. {choice1} 2. {choice2} Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина стала знаменитой.", + "choice1": "Фотографы всюду следуют за ней.", + "choice2": "Её семья её избегает." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 93 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание некоторой заданной ситуации: \"Женщина стала знаменитой.\" и два текста: 1. Фотографы всюду следуют за ней. 2. Её семья её избегает. Определи, какой из двух текстов может быть следствием описанной ситуации? Напиши цифру 1, если первый, или 2 если второй ответ.\nОтвет: ", + "info": { + "prompt_len": 512, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7305065393447876, + "2": 0.26873835921287537 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Девушка хотела носить серьги.", + "choice1": "Она проколола уши.", + "choice2": "Она сделала татуировку." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 94 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Девушка хотела носить серьги.\" и два возможных продолжения текста: 1. Она проколола уши. 2. Она сделала татуировку. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 520, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.3484129011631012, + "2": 0.6509209871292114 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В ушах звенело.", + "choice1": "Я ходил в музей.", + "choice2": "Я ходил на концерт." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 95 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"В ушах звенело.\" и два возможных продолжения текста: 1. Я ходил в музей. 2. Я ходил на концерт. Определи, какой из двух вариантов является причиной описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: ", + "info": { + "prompt_len": 518, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6221426725387573, + "2": 0.3773486316204071 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я прибралась дома.", + "choice1": "Я была завалена работой.", + "choice2": "Я ждала друзей." + }, + "outputs": "2", + "meta": { + "task": "cause", + "id": 96 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Я прибралась дома.\" и два фрагмента текста: 1) Я была завалена работой. 2) Я ждала друзей. Определи, какой из двух фрагментов является причиной описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 513, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5308439135551453, + "2": 0.4684680998325348 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два фрагмента текста: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст)." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Авиакомпания повредила мой багаж.", + "choice1": "Они предложили мне компенсацию.", + "choice2": "Они отменили мой рейс." + }, + "outputs": "1", + "meta": { + "task": "effect", + "id": 97 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Авиакомпания повредила мой багаж.\" и два фрагмента текста: 1) Они предложили мне компенсацию. 2) Они отменили мой рейс. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: ", + "info": { + "prompt_len": 517, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.2449507862329483, + "2": 0.7545015811920166 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дана текстовая ситуация: \"{premise}\" и два текста продолжения: 1) {choice1} 2) {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Чинить компьютер было бы слишком дорого.", + "choice1": "Я взял его, чтобы отремонтировать.", + "choice2": "Я купил новый." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 98 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДана текстовая ситуация: \"Чинить компьютер было бы слишком дорого.\" и два текста продолжения: 1) Я взял его, чтобы отремонтировать. 2) Я купил новый. Определи, какой из двух фрагментов является результатом описанной ситуации? В качестве ответа выведи одну цифру 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 509, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.18232248723506927, + "2": 0.8171126842498779 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дано описание ситуации: \"{premise}\" и два возможных продолжения текста: 1. {choice1} 2. {choice2} Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина была в плохом настроении.", + "choice1": "Она вежливо общалась с подругой.", + "choice2": "Она попросила подругу оставить её в покое." + }, + "outputs": "2", + "meta": { + "task": "effect", + "id": 99 + } + }, + "prompt": "Дана текстовая ситуация: \"Сёрфер поймал волну.\" и два возможных продолжения текста: 1. Волна вынесла его на берег. 2. Он направил доску в океан. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 1\n\nДано описание ситуации: \"Он сделал ошибку в расчётах.\" и два фрагмента текста: 1. Он перепроверил свою работу. 2. Он слишком спешил закончить работу. Определи, какой из двух фрагментов является причиной описанной ситуации? Напиши ответ, 1, если первый ответ является причиной, 2 - если второй ответ. Ничего не добавляй в ответ, и не объясняй.\nОтвет: 2\n\nДана текстовая ситуация: \"Я опустил кубик льда в тёплую воду.\" и два возможных продолжения текста: 1. Кубик льда прилип к моим пальцам. 2. Лёд растаял. Определи, какой из двух вариантов является результатом описанной ситуации? Ответь 1, если первый ответ подходит больше или 2, если второй. Ничего не добавляй лишнего в ответ.\nОтвет: 2\n\nДано описание ситуации: \"Кнопка на моей рубашке расстегнулась.\" и два фрагмента текста: 1) Я застегнул кнопку. 2) Я приклеил кнопку. Определи, какой из двух фрагментов является следствием описанной ситуации? В качестве ответа выведи цифру 1 (первый текст) или 2 (второй текст).\nОтвет: 1\n\nДано описание ситуации: \"Мой рейс задержали.\" и два возможных продолжения текста: 1. В районе бушевали смерчи. 2. Я пошла в службу безопасности аэропорта. Определи, какой из двух фрагментов является причиной описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: 1\n\nДано описание ситуации: \"Женщина была в плохом настроении.\" и два возможных продолжения текста: 1. Она вежливо общалась с подругой. 2. Она попросила подругу оставить её в покое. Определи, какой из двух фрагментов является результатом описанной ситуации? Выведи одну цифру правильного ответа.\nОтвет: ", + "info": { + "prompt_len": 511, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} diff --git a/llmtf_eval/darumeru_PARus_params.jsonl b/llmtf_eval/darumeru_PARus_params.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..46c1c6d4f4be458c196be570a414cca658ae060d --- /dev/null +++ b/llmtf_eval/darumeru_PARus_params.jsonl @@ -0,0 +1,56 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_part1_lr2e5_bs256", + "generation_config": { + "_from_model_config": true, + "bos_token_id": 1, + "do_sample": true, + "eos_token_id": [ + 2, + 13 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 2, + "stop_strings": [ + "\n", + "\n\n" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.38.2" + }, + "conversation_template": { + "system_message_template": "{content}\n", + "user_message_template": "{content}\n", + "bot_message_template": "{content}\n\n", + "bot_message_template_incomplete": "{content}", + "user_role": "user", + "bot_role": "bot", + "system_role": "system", + "suffix": "", + "add_special_tokens": false, + "global_prefix": "" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": true, + "space_token": 28705, + "trust_remote_code": [ + false + ], + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 5, + "batch_size": 1, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/darumeru_PARus_total.jsonl b/llmtf_eval/darumeru_PARus_total.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..71deedb722ad3c15fb36d0016255256aed55581c --- /dev/null +++ b/llmtf_eval/darumeru_PARus_total.jsonl @@ -0,0 +1,7 @@ +{ + "task_name": "darumeru/PARus", + "results": { + "acc": 0.83 + }, + "leaderboard_result": 0.83 +} diff --git a/llmtf_eval/darumeru_RCB.jsonl b/llmtf_eval/darumeru_RCB.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..e6c7e0a041ec6267a5a18d70e5b7ee022b36927e --- /dev/null +++ b/llmtf_eval/darumeru_RCB.jsonl @@ -0,0 +1,9680 @@ +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.19078770279884338, + "2": 0.40389755368232727, + "3": 0.40389755368232727 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Его подозревают в причинении смерти по неосторожности и незаконном хранении и ношении огнестрельного оружия.", + "hypothesis": "Он по неосторожности убил кого-то." + }, + "outputs": "3", + "meta": { + "verb": "подозревать", + "negation": "no_negation", + "genre": "kp", + "id": 0 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"Его подозревают в причинении смерти по неосторожности и незаконном хранении и ношении огнестрельного оружия.\" Гипотеза: \"Он по неосторожности убил кого-то.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 717, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.17235156893730164, + "2": 0.4134499430656433, + "3": 0.4134499430656433 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Нынешняя погода - хороший повод задуматься о здоровом образе жизни. Ни в коем случае нельзя употреблять алкоголь, который усугубляет ситуацию. Одеваться следует по погоде и прикрывать голову.", + "hypothesis": "Здоровый образ жизни хорош только по нынешней погоде." + }, + "outputs": "2", + "meta": { + "verb": "задуматься", + "negation": "no_negation", + "genre": "interfax", + "id": 1 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Нынешняя погода - хороший повод задуматься о здоровом образе жизни. Ни в коем случае нельзя употреблять алкоголь, который усугубляет ситуацию. Одеваться следует по погоде и прикрывать голову.\" Гипотеза: \"Здоровый образ жизни хорош только по нынешней погоде.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 733, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.2672901749610901, + "2": 0.34320735931396484, + "3": 0.3889048993587494 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Единственная отдушина для меня – надежда на бессмертие. Как же сохранить бытие после кончины. Ах, и не думайте, что страх смерти обратил меня к религии и вере.", + "hypothesis": "Страх смерти обратил меня к религии и вере." + }, + "outputs": "2", + "meta": { + "verb": "думать", + "negation": "negation", + "genre": "fiction", + "id": 2 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Единственная отдушина для меня – надежда на бессмертие. Как же сохранить бытие после кончины. Ах, и не думайте, что страх смерти обратил меня к религии и вере.\" Гипотеза: \"Страх смерти обратил меня к религии и вере.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 726, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.3202708661556244, + "2": 0.15128524601459503, + "3": 0.5280373692512512 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Она же была уверена, что я жду и хочу. Женщина часто думает, что ее ждут больше, чем приносимых ею благ. Она именно так думала, так помнила, откладывая дома доллар за долларом.", + "hypothesis": "Все именно так, как она думала." + }, + "outputs": "3", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 3 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Она же была уверена, что я жду и хочу. Женщина часто думает, что ее ждут больше, чем приносимых ею благ. Она именно так думала, так помнила, откладывая дома доллар за долларом.\" и гипотеза: \"Все именно так, как она думала.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 731, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.43296995759010315, + "2": 0.0752389058470726, + "3": 0.4906192421913147 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В конце концов, все мы очень одиноки, и все мы об этом знаем. Это, как говорится, что-то такое, о чем можно даже и не говорить. Во всяком случае, я уверен, что все вы это прекрасно понимаете.", + "hypothesis": "Все мы очень одиноки, и все мы об этом знаем." + }, + "outputs": "1", + "meta": { + "verb": "говорить,понимать", + "negation": "negation", + "genre": "fiction", + "id": 4 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"В конце концов, все мы очень одиноки, и все мы об этом знаем. Это, как говорится, что-то такое, о чем можно даже и не говорить. Во всяком случае, я уверен, что все вы это прекрасно понимаете.\" и гипотеза: \"Все мы очень одиноки, и все мы об этом знаем.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 714, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.4133400321006775, + "2": 0.22124499082565308, + "3": 0.36477130651474 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "На прошлом заседании подсудимый, сославшись на недомогание, не смог участвовать в процессе, и слушание перенесли. Подсудимый сказал, что сегодня у него нормальное состояние и ответил на все вопросы судьи, адвоката и прокурора. - Вы полностью признаете себя виновным?", + "hypothesis": "Подсудимый виновен." + }, + "outputs": "2", + "meta": { + "verb": "признать", + "negation": "no_negation", + "genre": "kp", + "id": 5 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"На прошлом заседании подсудимый, сославшись на недомогание, не смог участвовать в процессе, и слушание перенесли. Подсудимый сказал, что сегодня у него нормальное состояние и ответил на все вопросы судьи, адвоката и прокурора. - Вы полностью признаете себя виновным?\" Гипотеза: \"Подсудимый виновен.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 719, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.6386146545410156, + "2": 0.12575067579746246, + "3": 0.23493322730064392 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "- Избитую женщину обнаружили родственники, которые и отвезли ее в медицинское учреждение. Мужчину задержали полицейские. Он признал свою вину.", + "hypothesis": "Мужчина был виноват." + }, + "outputs": "3", + "meta": { + "verb": "признать", + "negation": "no_negation", + "genre": "kp", + "id": 6 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"- Избитую женщину обнаружили родственники, которые и отвезли ее в медицинское учреждение. Мужчину задержали полицейские. Он признал свою вину.\" Гипотеза: \"Мужчина был виноват.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 690, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.24064768850803375, + "2": 0.3089977502822876, + "3": 0.4495890736579895 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— Я спрашиваю подростка, что означает сия фраза. — Ну, \"буря\" он понимает. А вот \"мглою\" он считает \"могилой\".", + "hypothesis": "\"Мглою\" значит \"могилой\"." + }, + "outputs": "2", + "meta": { + "verb": "считать", + "negation": "no_negation", + "genre": "fiction", + "id": 7 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"— Я спрашиваю подростка, что означает сия фраза. — Ну, \"буря\" он понимает. А вот \"мглою\" он считает \"могилой\".\" Гипотеза: \"\"Мглою\" значит \"могилой\".\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 724, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.36253631114959717, + "2": 0.17125004529953003, + "3": 0.46550583839416504 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— Он если что попросит, сделать надо без вопросов. А? Но я понял все и так — вот царь и бог, а мое дело слушаться.", + "hypothesis": "Вот царь и бог, а мое дело слушаться." + }, + "outputs": "1", + "meta": { + "verb": "понять", + "negation": "no_negation", + "genre": "fiction", + "id": 8 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"— Он если что попросит, сделать надо без вопросов. А? Но я понял все и так — вот царь и бог, а мое дело слушаться.\" Гипотеза: \"Вот царь и бог, а мое дело слушаться.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 698, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.28303131461143494, + "2": 0.2497742623090744, + "3": 0.4666397273540497 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Три выстрела в голову. — Как бы не так! Это он ей выдал горячо желаемое за действительное, если только они его самого сначала не обманули, побоявшись сказать, что я опять у них из рук ускользнул.", + "hypothesis": "Я опять у них из рук ускользнул." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 9 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Три выстрела в голову. — Как бы не так! Это он ей выдал горячо желаемое за действительное, если только они его самого сначала не обманули, побоявшись сказать, что я опять у них из рук ускользнул.\" Гипотеза: \"Я опять у них из рук ускользнул.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 750, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.3836089074611664, + "2": 0.18120400607585907, + "3": 0.4346858263015747 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина свою вину не признала, утверждая, что супруг угрожал ей расправой, а она защищалась.", + "hypothesis": "Супруг угрожал женщине расправой, а она защищалась." + }, + "outputs": "3", + "meta": { + "verb": "утверждать", + "negation": "no_negation", + "genre": "kp", + "id": 10 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"Женщина свою вину не признала, утверждая, что супруг угрожал ей расправой, а она защищалась.\" Гипотеза: \"Супруг угрожал женщине расправой, а она защищалась.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 723, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.04547211155295372, + "2": 0.9133317470550537, + "3": 0.04012899845838547 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Лабораторные исследования доказали, что в составе жидкостей превышена концентрация метанола.", + "hypothesis": "В составе жидкостей мало метанола." + }, + "outputs": "2", + "meta": { + "verb": "доказать", + "negation": "no_negation", + "genre": "kp", + "id": 11 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Лабораторные исследования доказали, что в составе жидкостей превышена концентрация метанола.\" Гипотеза: \"В составе жидкостей мало метанола.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 708, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.42415863275527954, + "2": 0.09464257955551147, + "3": 0.4806347191333771 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Все эти проблемы надо решать комплексно, поскольку, как мы видим, бедственное состояние правоохранительной системы и как следствие потеря управляемости в сфере борьбы с преступностью обусловлены множеством тесно друг с другом связанных причин. И возвращаясь к началу статьи. В дискуссии, какая система лучше для эффективного расследования дел, следует исходить из того, что прежде всего любая система должна строиться на принципе личной ответственности следователей за законность методов, используемых оперативниками для получения доказательств, а не на том, который господствует сегодня: разделяй и ни за что не отвечай.", + "hypothesis": "Есть множество тесно друг с другом связанных причин." + }, + "outputs": "3", + "meta": { + "verb": "обусловить", + "negation": "no_negation", + "genre": "fiction", + "id": 12 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Все эти проблемы надо решать комплексно, поскольку, как мы видим, бедственное состояние правоохранительной системы и как следствие потеря управляемости в сфере борьбы с преступностью обусловлены множеством тесно друг с другом связанных причин. И возвращаясь к началу статьи. В дискуссии, какая система лучше для эффективного расследования дел, следует исходить из того, что прежде всего любая система должна строиться на принципе личной ответственности следователей за законность методов, используемых оперативниками для получения доказательств, а не на том, который господствует сегодня: разделяй и ни за что не отвечай.\" Гипотеза: \"Есть множество тесно друг с другом связанных причин.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 801, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.39188772439956665, + "2": 0.16336312890052795, + "3": 0.44406697154045105 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"В ближайшие часы мы можем рассмотреть вопрос о краткосрочном продлении мандата этой миссии\", - сказал французский дипломат журналистам.", + "hypothesis": "В ближайшие часы будет рассмотрен вопрос о краткосрочном продлении мандата этой миссии." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 13 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"\"В ближайшие часы мы можем рассмотреть вопрос о краткосрочном продлении мандата этой миссии\", - сказал французский дипломат журналистам.\" и гипотеза: \"В ближайшие часы будет рассмотрен вопрос о краткосрочном продлении мандата этой миссии.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 719, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.19960780441761017, + "2": 0.25630149245262146, + "3": 0.5425902009010315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Как правило, следователю приходилось предъявлять доказательства, убеждать прокурора в необходимости применения тех или иных санкций. Прокуратура. Она представляла собой сугубо гражданский компактный орган.", + "hypothesis": "Необходимо применение тех или иных санкций." + }, + "outputs": "2", + "meta": { + "verb": "убеждать", + "negation": "no_negation", + "genre": "fiction", + "id": 14 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Как правило, следователю приходилось предъявлять доказательства, убеждать прокурора в необходимости применения тех или иных санкций. Прокуратура. Она представляла собой сугубо гражданский компактный орган.\" и гипотеза: \"Необходимо применение тех или иных санкций.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 696, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.20574581623077393, + "2": 0.29935839772224426, + "3": 0.4935585558414459 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "На предстоящем заседании прокуратура расскажет суду о сути инкриминируемого фигуранту деяния, а он выскажется о том, признает ли вину.", + "hypothesis": "Фигурант инкриминирует прокуратуре некое деяние." + }, + "outputs": "2", + "meta": { + "verb": "рассказать", + "negation": "no_negation", + "genre": "interfax", + "id": 15 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"На предстоящем заседании прокуратура расскажет суду о сути инкриминируемого фигуранту деяния, а он выскажется о том, признает ли вину.\" Гипотеза: \"Фигурант инкриминирует прокуратуре некое деяние.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 702, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.38348323106765747, + "2": 0.18114465475082397, + "3": 0.4345434308052063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Всё бегом, всё жадно, всё с лапшою на шее... – Он нас оскорбляет!.. – снова не выдержал тот же самый голос, который обозвал подсудимого сумасшедшим. Камера показала: это был вскочивший лысый с малиновыми ушами, надо полагать – директор банка.", + "hypothesis": "Это был вскочивший лысый с малиновыми ушами." + }, + "outputs": "2", + "meta": { + "verb": "показать", + "negation": "no_negation", + "genre": "fiction", + "id": 16 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Всё бегом, всё жадно, всё с лапшою на шее... – Он нас оскорбляет!.. – снова не выдержал тот же самый голос, который обозвал подсудимого сумасшедшим. Камера показала: это был вскочивший лысый с малиновыми ушами, надо полагать – директор банка.\" Гипотеза: \"Это был вскочивший лысый с малиновыми ушами.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 744, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.29936328530311584, + "2": 0.26418718695640564, + "3": 0.43557101488113403 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мне кажется, главный источник всех накопившихся у нас недоразумений, обид и претензий — в том, что Вы для себя не решили этого, главного, вопроса. Буду очень рад, если окажется, что я ошибаюсь. В этом случае вопрос о \"форме сотрудничества\" решить будет уже сравнительно легко.", + "hypothesis": "Я ошибаюсь." + }, + "outputs": "3", + "meta": { + "verb": "оказаться", + "negation": "negation", + "genre": "fiction", + "id": 17 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Мне кажется, главный источник всех накопившихся у нас недоразумений, обид и претензий — в том, что Вы для себя не решили этого, главного, вопроса. Буду очень рад, если окажется, что я ошибаюсь. В этом случае вопрос о \"форме сотрудничества\" решить будет уже сравнительно легко.\" Гипотеза: \"Я ошибаюсь.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 744, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.24972820281982422, + "2": 0.2829791009426117, + "3": 0.4665536880493164 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "И все произошло так стремительно, что я не успел собраться. Но главное не в этом. Я ведь только подозревал, но не был уверен, что причиной всему был мой несчастный завтрак.", + "hypothesis": "Причиной всему был мой несчастный завтрак." + }, + "outputs": "3", + "meta": { + "verb": "подозревать,уверять", + "negation": "no_negation", + "genre": "fiction", + "id": 18 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"И все произошло так стремительно, что я не успел собраться. Но главное не в этом. Я ведь только подозревал, но не был уверен, что причиной всему был мой несчастный завтрак.\" Гипотеза: \"Причиной всему был мой несчастный завтрак.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 705, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.26269984245300293, + "2": 0.18055078387260437, + "3": 0.5561355352401733 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мне принадлежат комментарии, я же не удержался и от нескольких \"!\" и \"?\" в тексте письма. Хочу только предварительно договориться с Вами относительно характеров. Тут, я думаю, должно быть единство взглядов.", + "hypothesis": "Тут должно быть единство взглядов." + }, + "outputs": "1", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 19 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Мне принадлежат комментарии, я же не удержался и от нескольких \"!\" и \"?\" в тексте письма. Хочу только предварительно договориться с Вами относительно характеров. Тут, я думаю, должно быть единство взглядов.\" Гипотеза: \"Тут должно быть единство взглядов.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 739, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.28928932547569275, + "2": 0.28928932547569275, + "3": 0.4209134876728058 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "И, возможно, лучше бы она не приходила снова в кинотеатр. Да, ведь после того, как он нагнал ее и что-то врал, а она села в автобус и уехала не оглядываясь, — после этого она нарочно не приходила туда. Но в конце концов убедила себя, что это нелепо, и почему она должна всего бояться?", + "hypothesis": "Она должна всего бояться." + }, + "outputs": "2", + "meta": { + "verb": "убедить", + "negation": "no_negation", + "genre": "fiction", + "id": 20 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"И, возможно, лучше бы она не приходила снова в кинотеатр. Да, ведь после того, как он нагнал ее и что-то врал, а она села в автобус и уехала не оглядываясь, — после этого она нарочно не приходила туда. Но в конце концов убедила себя, что это нелепо, и почему она должна всего бояться?\" Гипотеза: \"Она должна всего бояться.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 766, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.24274329841136932, + "2": 0.24274329841136932, + "3": 0.5138875842094421 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Позвольте мне объяснить — почему. В течение многих столетий человек верил в то, что на все вопросы существует лишь один правильный ответ, а все остальные — ложны. Если нам известен правильный ответ на нравственный или политический вопрос, мы уверены, что все остальные разумные существа должны прийти к тому же заключению, а если они к нему не приходят, то, значит, они неразумны и их не следует в этом поощрять.", + "hypothesis": "Все Остальные разумные существа должны прийти к тому же заключению." + }, + "outputs": "1", + "meta": { + "verb": "следовать", + "negation": "no_negation", + "genre": "fiction", + "id": 21 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Позвольте мне объяснить — почему. В течение многих столетий человек верил в то, что на все вопросы существует лишь один правильный ответ, а все остальные — ложны. Если нам известен правильный ответ на нравственный или политический вопрос, мы уверены, что все остальные разумные существа должны прийти к тому же заключению, а если они к нему не приходят, то, значит, они неразумны и их не следует в этом поощрять.\" Гипотеза: \"Все Остальные разумные существа должны прийти к тому же заключению.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 778, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.3939873278141022, + "2": 0.09961558878421783, + "3": 0.5058897137641907 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Тем не менее, я не думаю, что их надо так уже строго судить за это. Надеюсь, что они сделают какие-то выводы сами\".", + "hypothesis": "Они сделают какие-то выводы сами." + }, + "outputs": "3", + "meta": { + "verb": "надеяться", + "negation": "no_negation", + "genre": "interfax", + "id": 22 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Тем не менее, я не думаю, что их надо так уже строго судить за это. Надеюсь, что они сделают какие-то выводы сами\".\" Гипотеза: \"Они сделают какие-то выводы сами.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 718, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.27857711911201477, + "2": 0.3156692385673523, + "3": 0.40532732009887695 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Предполагалось, что такое упражнение позволит развить речевые навыки у школьников. Одна из девочек на уроке объявила, что принесла копилку причудливой формы. Учительница, увидев этот предмет, поняла, что девочка ошиблась.", + "hypothesis": "Девочка ошиблась." + }, + "outputs": "1", + "meta": { + "verb": "понять", + "negation": "no_negation", + "genre": "interfax", + "id": 23 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Предполагалось, что такое упражнение позволит развить речевые навыки у школьников. Одна из девочек на уроке объявила, что принесла копилку причудливой формы. Учительница, увидев этот предмет, поняла, что девочка ошиблась.\" и гипотеза: \"Девочка ошиблась.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 728, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.24273563921451569, + "2": 0.24273563921451569, + "3": 0.5138713717460632 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Такие дела чисто не делаются. Прощайте». Оба понимали, что рукопожатия не будет.", + "hypothesis": "Рукопожатия не будет." + }, + "outputs": "1", + "meta": { + "verb": "понимать", + "negation": "no_negation", + "genre": "fiction", + "id": 24 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Такие дела чисто не делаются. Прощайте». Оба понимали, что рукопожатия не будет.\" и гипотеза: \"Рукопожатия не будет.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 681, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.2642662525177002, + "2": 0.29945287108421326, + "3": 0.4357013702392578 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Было очень смешно, особенно когда жених начинал перечислять свои положительные качества. Дурной спектакль. Более постыдное зрелище трудно представить.", + "hypothesis": "Есть более постыдное зрелище." + }, + "outputs": "3", + "meta": { + "verb": "представить", + "negation": "no_negation", + "genre": "fiction", + "id": 25 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Было очень смешно, особенно когда жених начинал перечислять свои положительные качества. Дурной спектакль. Более постыдное зрелище трудно представить.\" Гипотеза: \"Есть более постыдное зрелище.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 693, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.4298158586025238, + "2": 0.13954077661037445, + "3": 0.4298158586025238 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "С партийным билетом не расстанусь, что бы ни случилось. Верила ли я в коммунизм? Честно скажу, не буду врать: я верила в возможность справедливого устройства жизни.", + "hypothesis": "Возможно справедливое устройство жизни." + }, + "outputs": "1", + "meta": { + "verb": "верить", + "negation": "no_negation", + "genre": "fiction", + "id": 26 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"С партийным билетом не расстанусь, что бы ни случилось. Верила ли я в коммунизм? Честно скажу, не буду врать: я верила в возможность справедливого устройства жизни.\" Гипотеза: \"Возможно справедливое устройство жизни.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 704, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.2738298177719116, + "2": 0.21325886249542236, + "3": 0.5115814208984375 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Размазал шарфом след вороний. \"Зима. Влюбленных метит снег\", – Сказал мне мельком посторонний, На вид хороший человек.", + "hypothesis": "Зима. Влюбленных метит снег." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 27 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Размазал шарфом след вороний. \"Зима. Влюбленных метит снег\", – Сказал мне мельком посторонний, На вид хороший человек.\" Гипотеза: \"Зима. Влюбленных метит снег.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 724, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.12432553619146347, + "2": 0.49171704053878784, + "3": 0.3829496204853058 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Иные считают, что бытие Божие совершается в заоблачных высях, в других мирах и галактиках. А я говорю — Бог живет с нами, среди и внутри нас.", + "hypothesis": "Бытие Божие совершается в заоблачных высях, в других мирах и галактиках." + }, + "outputs": "3", + "meta": { + "verb": "считать", + "negation": "no_negation", + "genre": "fiction", + "id": 28 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Иные считают, что бытие Божие совершается в заоблачных высях, в других мирах и галактиках. А я говорю — Бог живет с нами, среди и внутри нас.\" Гипотеза: \"Бытие Божие совершается в заоблачных высях, в других мирах и галактиках.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 713, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.2664799690246582, + "2": 0.2351677417755127, + "3": 0.49785012006759644 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Комплекс неполноценности, вероятно, разыгрывал из себя повелителя. Да и Толик как-то однажды признался, чего хотел бы больше всего: чтобы она, как крепостная девка, поцеловала ему руку. Пожалел, наверное, потом, что сказал.", + "hypothesis": "Он это сказал." + }, + "outputs": "3", + "meta": { + "verb": "пожалеть", + "negation": "no_negation", + "genre": "fiction", + "id": 29 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Комплекс неполноценности, вероятно, разыгрывал из себя повелителя. Да и Толик как-то однажды признался, чего хотел бы больше всего: чтобы она, как крепостная девка, поцеловала ему руку. Пожалел, наверное, потом, что сказал.\" Гипотеза: \"Он это сказал.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 752, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.2735891044139862, + "2": 0.14644168317317963, + "3": 0.5791881084442139 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "- Я ни на чем не настаиваю и, разумеется, настаивать ни на чем не буду. Вы - женщина взрослая, вы сами способны определить, что вам нужно. Подумайте, прислушайтесь к себе, присмотритесь.", + "hypothesis": "Что-то вам нужно." + }, + "outputs": "2", + "meta": { + "verb": "определить", + "negation": "no_negation", + "genre": "fiction", + "id": 30 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"- Я ни на чем не настаиваю и, разумеется, настаивать ни на чем не буду. Вы - женщина взрослая, вы сами способны определить, что вам нужно. Подумайте, прислушайтесь к себе, присмотритесь.\" Гипотеза: \"Что-то вам нужно.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 737, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.41353705525398254, + "2": 0.17238788306713104, + "3": 0.41353705525398254 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Возгорание быстро потушили, никто не пострадал. Как выяснилось, происшествие случилось из-за нарушения правил пожарной безопасности. Хозяева квартиры решили самостоятельно почистить газовую колонку, после чего ушли в соседнюю комнату, и в это время вспыхнул пожар.", + "hypothesis": "Хозяева самостоятельно чистили газовую колонку, после чего ушли в соседнюю комнату, и в это время вспыхнул пожар." + }, + "outputs": "1", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "kp", + "id": 31 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Возгорание быстро потушили, никто не пострадал. Как выяснилось, происшествие случилось из-за нарушения правил пожарной безопасности. Хозяева квартиры решили самостоятельно почистить газовую колонку, после чего ушли в соседнюю комнату, и в это время вспыхнул пожар.\" Гипотеза: \"Хозяева самостоятельно чистили газовую колонку, после чего ушли в соседнюю комнату, и в это время вспыхнул пожар.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 759, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.4939914345741272, + "2": 0.20592626929283142, + "3": 0.29962095618247986 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Он не даст соврать, ведь я и правда мечтал о старшем брате. Когда понял, что папа не способен ни защитить, ни протянуть руку помощи в нужный момент.", + "hypothesis": "Я и правда мечтал о старшем брате." + }, + "outputs": "1", + "meta": { + "verb": "соврать", + "negation": "negation", + "genre": "fiction", + "id": 32 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Он не даст соврать, ведь я и правда мечтал о старшем брате. Когда понял, что папа не способен ни защитить, ни протянуть руку помощи в нужный момент.\" Гипотеза: \"Я и правда мечтал о старшем брате.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 723, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.13195745646953583, + "2": 0.4064575731754303, + "3": 0.46057677268981934 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Наша позиция не изменилась, мы проголосуем за\", - сказал он в ответ на просьбу уточнить, не изменилась ли позиция руководства фракции по данному вопросу.", + "hypothesis": "У фракции нет позиции." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 33 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"\"Наша позиция не изменилась, мы проголосуем за\", - сказал он в ответ на просьбу уточнить, не изменилась ли позиция руководства фракции по данному вопросу.\" и гипотеза: \"У фракции нет позиции.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 713, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.2891993522644043, + "2": 0.2891993522644043, + "3": 0.42078253626823425 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ну кто говорит, что ничего не поменялось? Библию нельзя было перевезти через границу. Это забыли?", + "hypothesis": "Библию нельзя было перевезти через границу." + }, + "outputs": "1", + "meta": { + "verb": "забыть", + "negation": "no_negation", + "genre": "fiction", + "id": 34 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Ну кто говорит, что ничего не поменялось? Библию нельзя было перевезти через границу. Это забыли?\" и гипотеза: \"Библию нельзя было перевезти через границу.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 684, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.5540505051612854, + "2": 0.10909900069236755, + "3": 0.33604860305786133 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я говорю: \"С тех пор как люди научились вот так жить, прошли тысячи лет!\"", + "hypothesis": "С тех пор как люди научились вот так жить, прошли тысячи лет!" + }, + "outputs": "3", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 35 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Я говорю: \"С тех пор как люди научились вот так жить, прошли тысячи лет!\"\" Гипотеза: \"С тех пор как люди научились вот так жить, прошли тысячи лет!\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 687, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.3542760908603668, + "2": 0.24349015951156616, + "3": 0.4014474153518677 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мы были нищими, но нищета тех лет Слыла законной и благословенной, Как маргарин, намазанный на хлеб, И тусклый свет в конце вселенной. И веришь ли, бывали сыты мы Отчаянной устойчивостью мира.", + "hypothesis": "Мы бывали сыты Отчаянной устойчивостью мира." + }, + "outputs": "3", + "meta": { + "verb": "верить", + "negation": "no_negation", + "genre": "fiction", + "id": 36 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Мы были нищими, но нищета тех лет Слыла законной и благословенной, Как маргарин, намазанный на хлеб, И тусклый свет в конце вселенной. И веришь ли, бывали сыты мы Отчаянной устойчивостью мира.\" Гипотеза: \"Мы бывали сыты Отчаянной устойчивостью мира.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 730, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.24969856441020966, + "2": 0.28294554352760315, + "3": 0.46649831533432007 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Он ни при чём. Он хороший. Это мама... так не вовремя... – Вот-вот, – сказала мать.", + "hypothesis": "Вот-вот, я невовремя." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 37 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"– Он ни при чём. Он хороший. Это мама... так не вовремя... – Вот-вот, – сказала мать.\" Гипотеза: \"Вот-вот, я невовремя.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 710, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.37312155961990356, + "2": 0.08325467258691788, + "3": 0.5428886413574219 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Возможны ли какие-то радикальные сценарии? - Не думаю. Радикальных моментов не будет и не должно быть, я считаю.", + "hypothesis": "Радикальных моментов не будет и не должно быть." + }, + "outputs": "1", + "meta": { + "verb": "считать", + "negation": "no_negation", + "genre": "interfax", + "id": 38 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Возможны ли какие-то радикальные сценарии? - Не думаю. Радикальных моментов не будет и не должно быть, я считаю.\" Гипотеза: \"Радикальных моментов не будет и не должно быть.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 696, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.32644912600517273, + "2": 0.19800139963626862, + "3": 0.4749806821346283 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Легкомыслие и дар давали мне дыхание, но не сделал десятой доли того, что должен был сделать. Я не старался, не обманывал себя, смотрел своими глазами. Верил в простоту жизни и сделал, как вижу, как увидят, больше многих, но мало.", + "hypothesis": "Я сделал больше многих, но мало." + }, + "outputs": "1", + "meta": { + "verb": "видеть", + "negation": "no_negation", + "genre": "fiction", + "id": 39 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Легкомыслие и дар давали мне дыхание, но не сделал десятой доли того, что должен был сделать. Я не старался, не обманывал себя, смотрел своими глазами. Верил в простоту жизни и сделал, как вижу, как увидят, больше многих, но мало.\" Гипотеза: \"Я сделал больше многих, но мало.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 757, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.29955118894577026, + "2": 0.20587830245494843, + "3": 0.4938763976097107 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Борода его приподнялась, и ее кончик стал ему виден. Он только что ел и хотел сейчас убедиться, чиста ли она. Конечно, думал я, слово \"стыдно\" он сказал только для того, чтобы при этом удобно рассмотреть бороду.", + "hypothesis": "Cлово \"стыдно\" он сказал только для того, чтобы при этом удобно рассмотреть бороду." + }, + "outputs": "1", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 40 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"Борода его приподнялась, и ее кончик стал ему виден. Он только что ел и хотел сейчас убедиться, чиста ли она. Конечно, думал я, слово \"стыдно\" он сказал только для того, чтобы при этом удобно рассмотреть бороду.\" Гипотеза: \"Cлово \"стыдно\" он сказал только для того, чтобы при этом удобно рассмотреть бороду.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 756, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.4244321584701538, + "2": 0.20048756897449493, + "3": 0.37456005811691284 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Это уже слушали без таинственности, а с замиранием, потрясенные тем, что, оказывается, были мы для иностранцев попрошайками. От стыда горело у меня лицо, я чувствовал, как жарко, обжигая все внутри, ходит во мне кровь. В то же время ясно помню, что плавали уже в моем воображении лица тех иностранцев, и я плевался в их рожи мстительно да отчаянно, как только мог, мстил им за жгучий свой, мучительный стыд.", + "hypothesis": "Были мы для иностранцев попрошайками." + }, + "outputs": "3", + "meta": { + "verb": "оказаться", + "negation": "no_negation", + "genre": "fiction", + "id": 41 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Это уже слушали без таинственности, а с замиранием, потрясенные тем, что, оказывается, были мы для иностранцев попрошайками. От стыда горело у меня лицо, я чувствовал, как жарко, обжигая все внутри, ходит во мне кровь. В то же время ясно помню, что плавали уже в моем воображении лица тех иностранцев, и я плевался в их рожи мстительно да отчаянно, как только мог, мстил им за жгучий свой, мучительный стыд.\" Гипотеза: \"Были мы для иностранцев попрошайками.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 800, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.1861570030450821, + "2": 0.5060271620750427, + "3": 0.30692097544670105 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Он был влюблен и готов перешагнуть через страх. Как пылкий и честный жених, он собирался забыть прежние увлечения ради новой любви. — Признаюсь, я не уверена, что ваша пара — это хорошая идея, — сказала врач.", + "hypothesis": "Ваша пара — это хорошая идея." + }, + "outputs": "3", + "meta": { + "verb": "уверять", + "negation": "negation", + "genre": "fiction", + "id": 42 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Он был влюблен и готов перешагнуть через страх. Как пылкий и честный жених, он собирался забыть прежние увлечения ради новой любви. — Признаюсь, я не уверена, что ваша пара — это хорошая идея, — сказала врач.\" Гипотеза: \"Ваша пара — это хорошая идея.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 737, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "2" + ] + }, + "predict": { + "1": 0.210989311337471, + "2": 0.39417991042137146, + "3": 0.39417991042137146 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Большинство застрявших в пробках водителей жаловались на неубранные дороги. В выходные в городе не прекращался снегопад и, похоже, городские власти вновь оказались к этому не готовы. Впрочем, если верить заявлениям чиновников, они сделали все, что смогли.", + "hypothesis": "Дороги были не убраны." + }, + "outputs": "1", + "meta": { + "verb": "жаловаться", + "negation": "no_negation", + "genre": "kp", + "id": 43 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Большинство застрявших в пробках водителей жаловались на неубранные дороги. В выходные в городе не прекращался снегопад и, похоже, городские власти вновь оказались к этому не готовы. Впрочем, если верить заявлениям чиновников, они сделали все, что смогли.\" и гипотеза: \"Дороги были не убраны.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 738, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.4906696379184723, + "2": 0.07524663209915161, + "3": 0.433014452457428 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Отмена \"зимнего\" времени воспринята россиянами положительно и не принесла большинству граждан технических неудобств, показал опрос.", + "hypothesis": "Отмена \"зимнего\" времени воспринята россиянами положительно." + }, + "outputs": "1", + "meta": { + "verb": "показать", + "negation": "no_negation", + "genre": "interfax", + "id": 44 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Отмена \"зимнего\" времени воспринята россиянами положительно и не принесла большинству граждан технических неудобств, показал опрос.\" и гипотеза: \"Отмена \"зимнего\" времени воспринята россиянами положительно.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 695, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.20589639246463776, + "2": 0.4939197599887848, + "3": 0.2995775043964386 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Получалось, что на связь с людьми с регулярностью добросовестного разведчика он выходил по воскресеньям. Его уважение к человеческим движениям распространялось и на отдыхающих. Можно даже сказать, что в некоторые моменты он их уважал особенно.", + "hypothesis": "Он не уважал отдыхающих." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 45 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Получалось, что на связь с людьми с регулярностью добросовестного разведчика он выходил по воскресеньям. Его уважение к человеческим движениям распространялось и на отдыхающих. Можно даже сказать, что в некоторые моменты он их уважал особенно.\" Гипотеза: \"Он не уважал отдыхающих.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 714, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.24055373668670654, + "2": 0.3088771104812622, + "3": 0.4494135081768036 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Все решают они. Самодовольства невпроворот. Три статуи в сквере увидят или пару репродукций в журнале, уже считают себя вправе рассуждать о скульптуре и живописи.", + "hypothesis": "На двух репродукциях в журнале были три статуи в сквере." + }, + "outputs": "2", + "meta": { + "verb": "увидеть", + "negation": "no_negation", + "genre": "fiction", + "id": 46 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Все решают они. Самодовольства невпроворот. Три статуи в сквере увидят или пару репродукций в журнале, уже считают себя вправе рассуждать о скульптуре и живописи.\" Гипотеза: \"На двух репродукциях в журнале были три статуи в сквере.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 708, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.27344462275505066, + "2": 0.14636436104774475, + "3": 0.5788822770118713 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мы должны их провести так, чтобы показать международному сообществу, иностранным наблюдателям то, что у нас есть гражданское общество. Мы должны показать, что республика идет в правильном направлении, и все наши действия находятся в демократическом русле. Я думаю все, кто участвует в выборах, не только кандидаты, но и народ, сделают все, чтобы показать свою политическую зрелость. - Почему вы решили баллотироваться в президенты?", + "hypothesis": "Все, кто участвует в выборах, не только кандидаты, но и народ, сделают все, чтобы показать свою политическую зрелость ." + }, + "outputs": "3", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "interfax", + "id": 47 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Мы должны их провести так, чтобы показать международному сообществу, иностранным наблюдателям то, что у нас есть гражданское общество. Мы должны показать, что республика идет в правильном направлении, и все наши действия находятся в демократическом русле. Я думаю все, кто участвует в выборах, не только кандидаты, но и народ, сделают все, чтобы показать свою политическую зрелость. - Почему вы решили баллотироваться в президенты?\" Гипотеза: \"Все, кто участвует в выборах, не только кандидаты, но и народ, сделают все, чтобы показать свою политическую зрелость .\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 793, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.27850690484046936, + "2": 0.31558966636657715, + "3": 0.40522515773773193 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Шикарно!. Я чуть не разрыдалась. Наклонялся так близко, что я чувствовала его дыхание — отвратительное.", + "hypothesis": "Его дыхание — отвратительное." + }, + "outputs": "1", + "meta": { + "verb": "чувствовать", + "negation": "no_negation", + "genre": "fiction", + "id": 48 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Шикарно!. Я чуть не разрыдалась. Наклонялся так близко, что я чувствовала его дыхание — отвратительное.\" Гипотеза: \"Его дыхание — отвратительное.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 691, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.21099670231342316, + "2": 0.39419370889663696, + "3": 0.39419370889663696 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Это не значит, что всему обществу надо становиться стукачами. Но все должны играть по единым правилам. И если, кто-то думает, что он может эти правила не соблюдать, то его сосед говорит: Хорошо, но я не хочу платить за тебя налоги.", + "hypothesis": "Он может эти правила не соблюдать" + }, + "outputs": "2", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "kp", + "id": 49 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Это не значит, что всему обществу надо становиться стукачами. Но все должны играть по единым правилам. И если, кто-то думает, что он может эти правила не соблюдать, то его сосед говорит: Хорошо, но я не хочу платить за тебя налоги.\" Гипотеза: \"Он может эти правила не соблюдать\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 751, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.29949069023132324, + "2": 0.20583674311637878, + "3": 0.49377667903900146 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Его подозревают в совершении преступления по статье \"Причинение тяжкого вреда здоровью, с применением предмета, используемого в качестве оружия\".", + "hypothesis": "Кто-то нанёс тяжкий вред здоровью, с применением предмета, используемого в качестве оружия." + }, + "outputs": "1", + "meta": { + "verb": "подозревать", + "negation": "no_negation", + "genre": "kp", + "id": 50 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"Его подозревают в совершении преступления по статье \"Причинение тяжкого вреда здоровью, с применением предмета, используемого в качестве оружия\".\" Гипотеза: \"Кто-то нанёс тяжкий вред здоровью, с применением предмета, используемого в качестве оружия.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 732, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.20969578623771667, + "2": 0.34572988748550415, + "3": 0.44392597675323486 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "И потом... мама приносит с фермы молоко... стало быть, мы сами воруем? Рассказать? Скажут, совсем спятила.", + "hypothesis": "Я совсем спятила." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 51 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"И потом... мама приносит с фермы молоко... стало быть, мы сами воруем? Рассказать? Скажут, совсем спятила.\" Гипотеза: \"Я совсем спятила.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 711, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.4752168655395508, + "2": 0.15428031980991364, + "3": 0.370099276304245 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я всегда знал им цену. Да, предадут, но предадут, если буду слаб, а тогда я был уверен, что никогда не дам им такой возможности! Меня мало заботили их убеждения, лишь бы следовали моим правилам... Тогда они следовали!..", + "hypothesis": "Никогда не дам им такой возможности." + }, + "outputs": "3", + "meta": { + "verb": "уверять", + "negation": "no_negation", + "genre": "fiction", + "id": 52 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Я всегда знал им цену. Да, предадут, но предадут, если буду слаб, а тогда я был уверен, что никогда не дам им такой возможности! Меня мало заботили их убеждения, лишь бы следовали моим правилам... Тогда они следовали!..\" Гипотеза: \"Никогда не дам им такой возможности.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 739, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.0515577532351017, + "2": 0.8064990043640137, + "3": 0.14014849066734314 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Прямо сейчас эту проблему власти уже не решат, но в следующем году обещают исправиться.", + "hypothesis": "Власти решат эту проблему прямо сейчас." + }, + "outputs": "2", + "meta": { + "verb": "обещать", + "negation": "negation", + "genre": "kp", + "id": 53 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Прямо сейчас эту проблему власти уже не решат, но в следующем году обещают исправиться.\" и гипотеза: \"Власти решат эту проблему прямо сейчас.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 705, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.25819316506385803, + "2": 0.25819316506385803, + "3": 0.4823683202266693 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Плевать на все — пойду прямиком к ней, позвоню в дверь. Теперь плевать. Если откроет муж или сын, совру, например, что с работы, попрошу ее выйти на пару секунд.", + "hypothesis": "Я с работы." + }, + "outputs": "2", + "meta": { + "verb": "соврать", + "negation": "no_negation", + "genre": "fiction", + "id": 54 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Плевать на все — пойду прямиком к ней, позвоню в дверь. Теперь плевать. Если откроет муж или сын, совру, например, что с работы, попрошу ее выйти на пару секунд.\" и гипотеза: \"Я с работы.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 703, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.1510276049375534, + "2": 0.6768587231636047, + "3": 0.17113669216632843 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Если вам кто-то утверждает, что он знал заранее, он вам врет\", - сказал он в эфире телеканала \"Дождь\", заверив, что и сам он узнал об этих решениях в момент их оглашения.", + "hypothesis": "Он знал заранее." + }, + "outputs": "2", + "meta": { + "verb": "врать", + "negation": "no_negation", + "genre": "interfax", + "id": 55 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"\"Если вам кто-то утверждает, что он знал заранее, он вам врет\", - сказал он в эфире телеканала \"Дождь\", заверив, что и сам он узнал об этих решениях в момент их оглашения.\" Гипотеза: \"Он знал заранее.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 705, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.434613436460495, + "2": 0.18117383122444153, + "3": 0.38354501128196716 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "У Вас есть представление о том, каким образом это можно контролировать? - Конечно. Мы же говорим о тех людях, у которых есть собственность за границей, но она не отражена в декларации о доходах.", + "hypothesis": "У некоторых людей есть собственность за границей, но она не отражена в декларации о доходах." + }, + "outputs": "1", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "interfax", + "id": 56 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"У Вас есть представление о том, каким образом это можно контролировать? - Конечно. Мы же говорим о тех людях, у которых есть собственность за границей, но она не отражена в декларации о доходах.\" Гипотеза: \"У некоторых людей есть собственность за границей, но она не отражена в декларации о доходах.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 718, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.30689293146133423, + "2": 0.1861400008201599, + "3": 0.505980908870697 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "На комиссии депутаты дали старт подготовке к процедуре выборов. Они приняли решение об объявлении конкурса по отбору кандидатур на должность мэра города. Теперь аналогичное решение должен принять муниципалитет.", + "hypothesis": "Депутаты объявят конкурс по отбору кандидатур на должность мэра." + }, + "outputs": "3", + "meta": { + "verb": "принять", + "negation": "no_negation", + "genre": "kp", + "id": 57 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"На комиссии депутаты дали старт подготовке к процедуре выборов. Они приняли решение об объявлении конкурса по отбору кандидатур на должность мэра города. Теперь аналогичное решение должен принять муниципалитет.\" Гипотеза: \"Депутаты объявят конкурс по отбору кандидатур на должность мэра.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 732, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.2108531892299652, + "2": 0.39392560720443726, + "3": 0.39392560720443726 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Судя по озвученным данным, количество болеющих снижается.", + "hypothesis": "Количество болеющих равно нулю." + }, + "outputs": "2", + "meta": { + "verb": "судить", + "negation": "no_negation", + "genre": "kp", + "id": 58 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Судя по озвученным данным, количество болеющих снижается.\" Гипотеза: \"Количество болеющих равно нулю.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 675, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.3544068932533264, + "2": 0.18970033526420593, + "3": 0.4550674557685852 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Если понадобится, постановление правительства о выделении топлива будет подписано\", - сказал Песков.", + "hypothesis": "Постановление о выделении топлива подписано." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 59 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"\"Если понадобится, постановление правительства о выделении топлива будет подписано\", - сказал Песков.\" Гипотеза: \"Постановление о выделении топлива подписано.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 718, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.3342492878437042, + "2": 0.1789107620716095, + "3": 0.4863298237323761 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "У меня есть только одна претензия. И, пожалуй, она не к писателю, а ко времени и месту... Объясняю. В предисловии автор сообщает, что книгу эту он в детстве читал, да забыл, — давая понять читателю, что как бы восстанавливает ее по памяти.", + "hypothesis": "Автор как бы восстанавливает книгу по памяти." + }, + "outputs": "3", + "meta": { + "verb": "понять", + "negation": "no_negation", + "genre": "fiction", + "id": 60 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"У меня есть только одна претензия. И, пожалуй, она не к писателю, а ко времени и месту... Объясняю. В предисловии автор сообщает, что книгу эту он в детстве читал, да забыл, — давая понять читателю, что как бы восстанавливает ее по памяти.\" Гипотеза: \"Автор как бы восстанавливает книгу по памяти.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 753, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.3070148229598999, + "2": 0.1862139254808426, + "3": 0.5061818957328796 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Суд решил, что предварительного слушания не будет.", + "hypothesis": "Предварительного слушания не будет." + }, + "outputs": "1", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "interfax", + "id": 61 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Суд решил, что предварительного слушания не будет.\" Гипотеза: \"Предварительного слушания не будет.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 698, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.5486485362052917, + "2": 0.1571904420852661, + "3": 0.2936704158782959 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Этот факт подтвердили соседи подозреваемого.", + "hypothesis": "Это факт." + }, + "outputs": "1", + "meta": { + "verb": "подтвердить", + "negation": "no_negation", + "genre": "kp", + "id": 62 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Этот факт подтвердили соседи подозреваемого.\" Гипотеза: \"Это факт.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 689, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.28299790620803833, + "2": 0.24974478781223297, + "3": 0.4665846526622772 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— Свалится она в будке с этой табуретки, — ворчливо сказали у плиты. — Где они двушки берут, хотела бы я знать. — Может быть, не надо было продавать дачу, — неуверенно сказал другой голос.", + "hypothesis": "Не надо было продавать дачу." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 63 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"— Свалится она в будке с этой табуретки, — ворчливо сказали у плиты. — Где они двушки берут, хотела бы я знать. — Может быть, не надо было продавать дачу, — неуверенно сказал другой голос.\" и гипотеза: \"Не надо было продавать дачу.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 735, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.38869765400886536, + "2": 0.11136374622583389, + "3": 0.49909767508506775 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Клялись мы друг другу так: «честное пионерское» или «честное ленинское». Самая большая клятва — «честное сталинское слово». Родители знали, если я сказала «честное сталинское», я не обманываю.", + "hypothesis": "Я не обманываю." + }, + "outputs": "2", + "meta": { + "verb": "знать", + "negation": "no_negation", + "genre": "fiction", + "id": 64 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Клялись мы друг другу так: «честное пионерское» или «честное ленинское». Самая большая клятва — «честное сталинское слово». Родители знали, если я сказала «честное сталинское», я не обманываю.\" и гипотеза: \"Я не обманываю.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 710, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.43698787689208984, + "2": 0.1251991242170334, + "3": 0.43698787689208984 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "И обрабатывающая промышленность уже начинает преобладать, ее продукция идет на экспорт. Это огромная работа всей страны, всех граждан. Вот для ее осуществления как считали парламентарии, надо приводить в парламент новых людей, принимать новые законы.", + "hypothesis": "Для осуществления этой огромной работы надо приводить в парламент новых людей, принимать новые законы." + }, + "outputs": "3", + "meta": { + "verb": "считать", + "negation": "no_negation", + "genre": "interfax", + "id": 65 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"И обрабатывающая промышленность уже начинает преобладать, ее продукция идет на экспорт. Это огромная работа всей страны, всех граждан. Вот для ее осуществления как считали парламентарии, надо приводить в парламент новых людей, принимать новые законы.\" Гипотеза: \"Для осуществления этой огромной работы надо приводить в парламент новых людей, принимать новые законы.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 718, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.3718318045139313, + "2": 0.25555601716041565, + "3": 0.3718318045139313 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— Вот, на ногах, да скучно одному... — ...И страшно, — усмехнулся воин. Он совсем не удивился, что я держу в Гарнизон. Незнакомец сказал: — Думал, счастье ищешь.", + "hypothesis": "Счастье ищешь." + }, + "outputs": "3", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 66 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"— Вот, на ногах, да скучно одному... — ...И страшно, — усмехнулся воин. Он совсем не удивился, что я держу в Гарнизон. Незнакомец сказал: — Думал, счастье ищешь.\" Гипотеза: \"Счастье ищешь.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 715, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.24265646934509277, + "2": 0.24265646934509277, + "3": 0.5137037634849548 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ели, смакуя каждое блюдо. Разговоры и шутки умолкали, иногда повисала полная тишина. Тогда кто-нибудь обязательно говорил: — Ангел молчания пролетел.", + "hypothesis": ": — Ангел молчания летал над едящими постоянно." + }, + "outputs": "2", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 67 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Ели, смакуя каждое блюдо. Разговоры и шутки умолкали, иногда повисала полная тишина. Тогда кто-нибудь обязательно говорил: — Ангел молчания пролетел.\" Гипотеза: \": — Ангел молчания летал над едящими постоянно.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 730, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.33605262637138367, + "2": 0.10910030454397202, + "3": 0.5540571212768555 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "А как же иначе? Прежнее — на слом, подступающее — невнятно. Как говорил сам писатель, очень интересный период!", + "hypothesis": "Очень интересный период." + }, + "outputs": "1", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 68 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"А как же иначе? Прежнее — на слом, подступающее — невнятно. Как говорил сам писатель, очень интересный период!\" Гипотеза: \"Очень интересный период.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 689, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.2785505950450897, + "2": 0.3156391680240631, + "3": 0.4052886962890625 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я не оказалась \"железной леди\", какою ты хотел сделать меня для людей, — ты учил меня быть ею, но не скрывал, как тебе эти леди противны. Ты учил меня — такую беспомощную — социальной паранойе. Ты ничего не понимал: ты гордился тем, что я никогда не вру, но учил врать.", + "hypothesis": "Тебе эти люди противны." + }, + "outputs": "2", + "meta": { + "verb": "скрывать", + "negation": "negation", + "genre": "fiction", + "id": 69 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Я не оказалась \"железной леди\", какою ты хотел сделать меня для людей, — ты учил меня быть ею, но не скрывал, как тебе эти леди противны. Ты учил меня — такую беспомощную — социальной паранойе. Ты ничего не понимал: ты гордился тем, что я никогда не вру, но учил врать.\" Гипотеза: \"Тебе эти люди противны.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 771, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.33629247546195984, + "2": 0.2311302274465561, + "3": 0.43180808424949646 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Почему ты так спрашиваешь? – Мать намазала кусок хлеба маслом и протянула дочери. – Просто беспокоимся, что худенькая... Это кто в городе, они все худеть стараются... а тут же силы нужны... – Но в глаза дочери мать не смотрела.", + "hypothesis": "Дочь худенькая." + }, + "outputs": "3", + "meta": { + "verb": "беспокоиться", + "negation": "no_negation", + "genre": "fiction", + "id": 70 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"– Почему ты так спрашиваешь? – Мать намазала кусок хлеба маслом и протянула дочери. – Просто беспокоимся, что худенькая... Это кто в городе, они все худеть стараются... а тут же силы нужны... – Но в глаза дочери мать не смотрела.\" Гипотеза: \"Дочь худенькая.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 747, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.22711077332496643, + "2": 0.4807935059070587, + "3": 0.2916159927845001 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В результате хозяин дома три раза ударил обидчика ножом в шею. Тот упал на землю и потерял сознание. Мужчина подумал, что он умер, и сбежал.", + "hypothesis": "Обидчик умер." + }, + "outputs": "2", + "meta": { + "verb": "подумать", + "negation": "no_negation", + "genre": "kp", + "id": 71 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"В результате хозяин дома три раза ударил обидчика ножом в шею. Тот упал на землю и потерял сознание. Мужчина подумал, что он умер, и сбежал.\" Гипотеза: \"Обидчик умер.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 717, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.25833478569984436, + "2": 0.25833478569984436, + "3": 0.48263290524482727 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Пользователи спорят: что это – цвета российского или французского флага.", + "hypothesis": "Это цвета российского или французского флага." + }, + "outputs": "3", + "meta": { + "verb": "спорить", + "negation": "no_negation", + "genre": "kp", + "id": 72 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Пользователи спорят: что это – цвета российского или французского флага.\" Гипотеза: \"Это цвета российского или французского флага.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 700, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.38309556245803833, + "2": 0.1243729218840599, + "3": 0.49190446734428406 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Взысканием долга занимались судебные приставы. Накануне в Центральный отдел пришли двое мужчин. Сказали, что представляют интересы кредитора.", + "hypothesis": "Двое мужчин представляли интересы кредитора." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "kp", + "id": 73 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Взысканием долга занимались судебные приставы. Накануне в Центральный отдел пришли двое мужчин. Сказали, что представляют интересы кредитора.\" и гипотеза: \"Двое мужчин представляли интересы кредитора.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 712, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.31792891025543213, + "2": 0.21850913763046265, + "3": 0.46258383989334106 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Так, так. Она посмотрела слева от себя, потом справа от себя. – А ты нам нарисуешь горы, – сказала она мне.", + "hypothesis": "Она нарисовала мне горы." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 74 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"– Так, так. Она посмотрела слева от себя, потом справа от себя. – А ты нам нарисуешь горы, – сказала она мне.\" и гипотеза: \"Она нарисовала мне горы.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 690, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.22706611454486847, + "2": 0.22706611454486847, + "3": 0.5447033047676086 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я уже упоминал, что совершенно не знал и не понимал, как с ней обстоят дела в действительности, да что там — не знал, есть ли она вообще. И уж во всяком случае, был уверен, что меня это явление совершенно точно не затронет, я не дам прикоснуться к себе пальцем, а если будет что-то такое, то напишу в прокуратуру, обращусь в следственные органы, разошлю письма по газетам. «Они, эти деды, — думал я, — просто-напросто привыкли издеваться над теми, кто не решается им ответить, и когда появлюсь я — всё это прекратится».", + "hypothesis": "Деды привыкли издеваться над теми, кто не решается им ответить, и когда появлюсь я — всё это прекратится." + }, + "outputs": "1", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 75 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Я уже упоминал, что совершенно не знал и не понимал, как с ней обстоят дела в действительности, да что там — не знал, есть ли она вообще. И уж во всяком случае, был уверен, что меня это явление совершенно точно не затронет, я не дам прикоснуться к себе пальцем, а если будет что-то такое, то напишу в прокуратуру, обращусь в следственные органы, разошлю письма по газетам. «Они, эти деды, — думал я, — просто-напросто привыкли издеваться над теми, кто не решается им ответить, и когда появлюсь я — всё это прекратится».\" Гипотеза: \"Деды привыкли издеваться над теми, кто не решается им ответить, и когда появлюсь я — всё это прекратится.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 817, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "2" + ] + }, + "predict": { + "1": 0.3313852846622467, + "2": 0.37550872564315796, + "3": 0.292446494102478 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "После него толстяк больше не возникал. Я молчал. Более того, мне показалось, что мои чувства оскорбили.", + "hypothesis": "Мои чувства оскорбили." + }, + "outputs": "1", + "meta": { + "verb": "показаться", + "negation": "no_negation", + "genre": "fiction", + "id": 76 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"После него толстяк больше не возникал. Я молчал. Более того, мне показалось, что мои чувства оскорбили.\" Гипотеза: \"Мои чувства оскорбили.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 688, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.2555617094039917, + "2": 0.37184008955955505, + "3": 0.37184008955955505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "А вы не верили. Вот вам и ответ! - назидательно сказал журналистам губернатор.", + "hypothesis": "Журналисты были не правы." + }, + "outputs": "3", + "meta": { + "verb": "верить", + "negation": "negation", + "genre": "kp", + "id": 77 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"А вы не верили. Вот вам и ответ! - назидательно сказал журналистам губернатор.\" Гипотеза: \"Журналисты были не правы.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 703, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.3595179319381714, + "2": 0.11671838909387589, + "3": 0.5230954885482788 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ее направили специалистам Центра «Амурский тигр» для исследования. - Шкура принадлежит взрослой особи амурского тигра. В последнее время сотрудникам полиции удавалось быстро расследовать подобные дела, надеемся и сейчас у них не возникнет трудностей.", + "hypothesis": "И сейчас у сотрудников полиции не возникнет трудностей с расследованием." + }, + "outputs": "2", + "meta": { + "verb": "надеяться", + "negation": "no_negation", + "genre": "kp", + "id": 78 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Ее направили специалистам Центра «Амурский тигр» для исследования. - Шкура принадлежит взрослой особи амурского тигра. В последнее время сотрудникам полиции удавалось быстро расследовать подобные дела, надеемся и сейчас у них не возникнет трудностей.\" Гипотеза: \"И сейчас у сотрудников полиции не возникнет трудностей с расследованием.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 722, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.3202417492866516, + "2": 0.1512714922428131, + "3": 0.527989387512207 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Если вам кто-то утверждает, что он знал заранее, он вам врет\", - сказал он в эфире телеканала \"Дождь\", заверив, что и сам он узнал об этих решениях в момент их оглашения.", + "hypothesis": "Он и сам узнал об этих решениях в момент их оглашения." + }, + "outputs": "1", + "meta": { + "verb": "заверить", + "negation": "no_negation", + "genre": "interfax", + "id": 79 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"\"Если вам кто-то утверждает, что он знал заранее, он вам врет\", - сказал он в эфире телеканала \"Дождь\", заверив, что и сам он узнал об этих решениях в момент их оглашения.\" Гипотеза: \"Он и сам узнал об этих решениях в момент их оглашения.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 750, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.13588093221187592, + "2": 0.5374194979667664, + "3": 0.3259614109992981 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В областном центре задержаны подозреваемые в кражах аккумуляторов.", + "hypothesis": "Аккумуляторы невозможно украсть." + }, + "outputs": "2", + "meta": { + "verb": "подозревать", + "negation": "no_negation", + "genre": "kp", + "id": 80 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"В областном центре задержаны подозреваемые в кражах аккумуляторов.\" Гипотеза: \"Аккумуляторы невозможно украсть.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 706, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.09954755008220673, + "2": 0.5055442452430725, + "3": 0.39371824264526367 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Он считает, что новое сооружение принесет большую пользу.", + "hypothesis": "Новое сооружение уже принесло большую пользу." + }, + "outputs": "2", + "meta": { + "verb": "считать", + "negation": "no_negation", + "genre": "kp", + "id": 81 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Он считает, что новое сооружение принесет большую пользу.\" Гипотеза: \"Новое сооружение уже принесло большую пользу.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 698, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.3906785547733307, + "2": 0.3042607605457306, + "3": 0.3042607605457306 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Сегодня я почувствовал: \"что-то кончилось\". Ссоры. Я не могу ее понять: в чем причина?", + "hypothesis": "Что-то кончилось." + }, + "outputs": "1", + "meta": { + "verb": "почувствовать", + "negation": "no_negation", + "genre": "fiction", + "id": 82 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Сегодня я почувствовал: \"что-то кончилось\". Ссоры. Я не могу ее понять: в чем причина?\" Гипотеза: \"Что-то кончилось.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 709, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.26637619733810425, + "2": 0.2350761741399765, + "3": 0.4976562261581421 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— А я и не знаю, — отвечаю честно. — У нас тут тоже один ходил, неизвестно откуда, каждую неделю приезжал, вот на эту скамейку садился с блокнотиком. Я, говорит, писатель... Писать не будете?", + "hypothesis": "Он был писатель." + }, + "outputs": "3", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 83 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"— А я и не знаю, — отвечаю честно. — У нас тут тоже один ходил, неизвестно откуда, каждую неделю приезжал, вот на эту скамейку садился с блокнотиком. Я, говорит, писатель... Писать не будете?\" и гипотеза: \"Он был писатель.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 731, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.568016529083252, + "2": 0.12674161791801453, + "3": 0.3040373623371124 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Его признали виновным в совершении убийства.", + "hypothesis": "Он совершил убийство." + }, + "outputs": "3", + "meta": { + "verb": "признать", + "negation": "no_negation", + "genre": "kp", + "id": 84 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Его признали виновным в совершении убийства.\" и гипотеза: \"Он совершил убийство.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 665, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.17768238484859467, + "2": 0.6201724410057068, + "3": 0.20134051144123077 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Слишком много вопросов. — Не дремлют — там. Они умнее, чем мы думаем.", + "hypothesis": "Они дремлют." + }, + "outputs": "2", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 85 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Слишком много вопросов. — Не дремлют — там. Они умнее, чем мы думаем.\" Гипотеза: \"Они дремлют.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 683, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.44408226013183594, + "2": 0.16336874663829803, + "3": 0.3919011950492859 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Он выразил надежду, что в этом деле восторжествует справедливость. \"Наш подход прост и принципиален - когда происходит преступление, этим должен заниматься суд. Пострадавшая сторона имеет право на справедливость, и мы надеемся, что так и будет\", - подчеркнул тогда британский премьер.", + "hypothesis": "Так и будет." + }, + "outputs": "3", + "meta": { + "verb": "надеяться", + "negation": "no_negation", + "genre": "interfax", + "id": 86 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Он выразил надежду, что в этом деле восторжествует справедливость. \"Наш подход прост и принципиален - когда происходит преступление, этим должен заниматься суд. Пострадавшая сторона имеет право на справедливость, и мы надеемся, что так и будет\", - подчеркнул тогда британский премьер.\" Гипотеза: \"Так и будет.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 717, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.267254501581192, + "2": 0.34316155314445496, + "3": 0.38885298371315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Что на уме, то и на языке. Не может хоть изредка промолчать даже в такое опасное время. Он говорит: это не армяне, а мы сами плохие.", + "hypothesis": "Мы сами плохие." + }, + "outputs": "3", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 87 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Что на уме, то и на языке. Не может хоть изредка промолчать даже в такое опасное время. Он говорит: это не армяне, а мы сами плохие.\" Гипотеза: \"Мы сами плохие.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 719, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.22099900245666504, + "2": 0.41288045048713684, + "3": 0.36436572670936584 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мне показалось, здоровяк высыпал в огонь горсть серебряного песка.", + "hypothesis": "Здоровяк высыпал из огня две горсти серебряного песка." + }, + "outputs": "2", + "meta": { + "verb": "показаться", + "negation": "no_negation", + "genre": "fiction", + "id": 88 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Мне показалось, здоровяк высыпал в огонь горсть серебряного песка.\" Гипотеза: \"Здоровяк высыпал из огня две горсти серебряного песка.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 688, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.3232727646827698, + "2": 0.07213190197944641, + "3": 0.6039530038833618 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "- Сегодня мы оцениваем ее готовность. Работы выполнены качественно и в срок. Думаю, что ребята, которые в следующем году начнут здесь обучаться, будут приходить за новыми знаниями с радостью и удовольствием.", + "hypothesis": "Ребята, которые в следующем году начнут здесь обучаться, будут приходить за новыми знаниями с радостью и удовольствием." + }, + "outputs": "1", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "kp", + "id": 89 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"- Сегодня мы оцениваем ее готовность. Работы выполнены качественно и в срок. Думаю, что ребята, которые в следующем году начнут здесь обучаться, будут приходить за новыми знаниями с радостью и удовольствием.\" Гипотеза: \"Ребята, которые в следующем году начнут здесь обучаться, будут приходить за новыми знаниями с радостью и удовольствием.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 754, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.24355140328407288, + "2": 0.4015483558177948, + "3": 0.35436519980430603 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Мы не можем посадить на трон кентавра, – ответил шеф Девятого отделения. – Не сажайте – от этого ничего не изменится. – Да как вы не понимаете? Есть возможность все сделать легально.", + "hypothesis": "Невозможно сделать что-либо легально." + }, + "outputs": "2", + "meta": { + "verb": "понимать", + "negation": "negation", + "genre": "fiction", + "id": 90 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"– Мы не можем посадить на трон кентавра, – ответил шеф Девятого отделения. – Не сажайте – от этого ничего не изменится. – Да как вы не понимаете? Есть возможность все сделать легально.\" Гипотеза: \"Невозможно сделать что-либо легально.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 740, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.2740641236305237, + "2": 0.21344134211540222, + "3": 0.5120192170143127 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— На иконе? — А чего? Он говорит, это просто размалеванная доска.", + "hypothesis": "Это просто размалеванная доска." + }, + "outputs": "3", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 91 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"— На иконе? — А чего? Он говорит, это просто размалеванная доска.\" Гипотеза: \"Это просто размалеванная доска.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 704, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.7107740640640259, + "2": 0.08488985896110535, + "3": 0.2036401778459549 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Произведено физическое отделение корабля от станции\", - сказал собеседник агентства.", + "hypothesis": "Корабль отделился от станции." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 92 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"\"Произведено физическое отделение корабля от станции\", - сказал собеседник агентства.\" Гипотеза: \"Корабль отделился от станции.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 699, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.5151123404502869, + "2": 0.130240797996521, + "3": 0.35403120517730713 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Даже одного случая достаточно для того, чтобы санитарные врачи забили тревогу. Объявлен карантин в Калининском районе. Тот факт, что бешенство проникло на территорию города, говорит о неблагополучной ситуации по бешенству.", + "hypothesis": "Ситуация по бешенству неблагополучна." + }, + "outputs": "1", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "kp", + "id": 93 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Даже одного случая достаточно для того, чтобы санитарные врачи забили тревогу. Объявлен карантин в Калининском районе. Тот факт, что бешенство проникло на территорию города, говорит о неблагополучной ситуации по бешенству.\" и гипотеза: \"Ситуация по бешенству неблагополучна.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 737, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.32632017135620117, + "2": 0.19792316854000092, + "3": 0.474793016910553 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Мы ожидаем, что это произойдет в ближайшие дни\", - сказал он.", + "hypothesis": "Это произойдет в ближайшие дни." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 94 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"\"Мы ожидаем, что это произойдет в ближайшие дни\", - сказал он.\" и гипотеза: \"Это произойдет в ближайшие дни.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 673, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.12572018802165985, + "2": 0.6384598612785339, + "3": 0.23487628996372223 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Мы не ожидаем, что это произойдет в ближайшие дни\", - сказал он.", + "hypothesis": "Это произойдет в ближайшие дни." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "negation", + "genre": "interfax", + "id": 95 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"\"Мы не ожидаем, что это произойдет в ближайшие дни\", - сказал он.\" Гипотеза: \"Это произойдет в ближайшие дни.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 677, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.15697617828845978, + "2": 0.7035183906555176, + "3": 0.13853098452091217 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В настоящее время пострадавший находится на лечении в больнице. Врачи установили, что его здоровью причинен тяжкий вред. Как следует из материалов уголовного дела, подозреваемый находился в гостях у знакомого.", + "hypothesis": "Пострадавший здоров." + }, + "outputs": "2", + "meta": { + "verb": "установить", + "negation": "no_negation", + "genre": "kp", + "id": 96 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"В настоящее время пострадавший находится на лечении в больнице. Врачи установили, что его здоровью причинен тяжкий вред. Как следует из материалов уголовного дела, подозреваемый находился в гостях у знакомого.\" Гипотеза: \"Пострадавший здоров.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 702, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.36245501041412354, + "2": 0.17121164500713348, + "3": 0.46540144085884094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "- Я знаю о петиции работников завода, - сказала она.", + "hypothesis": "Работники завода составили петицию." + }, + "outputs": "1", + "meta": { + "verb": "знать", + "negation": "no_negation", + "genre": "kp", + "id": 97 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"- Я знаю о петиции работников завода, - сказала она.\" Гипотеза: \"Работники завода составили петицию.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 699, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.2875537574291229, + "2": 0.1744101494550705, + "3": 0.5372210741043091 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Что именно стало призом – не уточняется. Но, судя по кадрам, видео конкурса снимали почти все посетители клуба.", + "hypothesis": "Почти все посетители клуба снимали конкурс на видео." + }, + "outputs": "1", + "meta": { + "verb": "судить", + "negation": "no_negation", + "genre": "kp", + "id": 98 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Что именно стало призом – не уточняется. Но, судя по кадрам, видео конкурса снимали почти все посетители клуба.\" Гипотеза: \"Почти все посетители клуба снимали конкурс на видео.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 694, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.3888383209705353, + "2": 0.11140404641628265, + "3": 0.4992782771587372 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Как уточнил журналистам источник в экстренных службах столицы, всего из здания вывели восемь человек.", + "hypothesis": "Из здания вывели восемь человек." + }, + "outputs": "1", + "meta": { + "verb": "уточнить", + "negation": "no_negation", + "genre": "kp", + "id": 99 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Как уточнил журналистам источник в экстренных службах столицы, всего из здания вывели восемь человек.\" Гипотеза: \"Из здания вывели восемь человек.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 716, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.4042240083217621, + "2": 0.1909419149160385, + "3": 0.4042240083217621 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "- Ну как он не понимает, что это - лето, что оно - короткое, что оно вот-вот кончится и что каждый раз у меня в лапах сверкает радуга.", + "hypothesis": "Лето короткое, оно вот-вот кончится." + }, + "outputs": "1", + "meta": { + "verb": "понимать", + "negation": "negation", + "genre": "fiction", + "id": 100 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"- Ну как он не понимает, что это - лето, что оно - короткое, что оно вот-вот кончится и что каждый раз у меня в лапах сверкает радуга.\" Гипотеза: \"Лето короткое, оно вот-вот кончится.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 731, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.32018303871154785, + "2": 0.15124376118183136, + "3": 0.5278925895690918 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "«Хочу поблагодарить наших болельщиков за поддержку. Мы играем для них. Надеюсь всех увидеть во второй половине сезона на трибунах», - заключила специалист.", + "hypothesis": "Специалист увидит всех во второй половине сезона на трибунах." + }, + "outputs": "3", + "meta": { + "verb": "надеяться", + "negation": "no_negation", + "genre": "kp", + "id": 101 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"«Хочу поблагодарить наших болельщиков за поддержку. Мы играем для них. Надеюсь всех увидеть во второй половине сезона на трибунах», - заключила специалист.\" Гипотеза: \"Специалист увидит всех во второй половине сезона на трибунах.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 725, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.30600887537002563, + "2": 0.34675347805023193, + "3": 0.34675347805023193 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Это хорошо, – сказал председатель профкома. – А я думал, прогуливаешь.", + "hypothesis": "Ты прогуливаешь." + }, + "outputs": "2", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 102 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"– Это хорошо, – сказал председатель профкома. – А я думал, прогуливаешь.\" Гипотеза: \"Ты прогуливаешь.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 701, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.2540489733219147, + "2": 0.3262053430080414, + "3": 0.4188559353351593 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Автомобиль едет по своей полосе, потом вдруг выезжает на заснеженную разделительную полосу – как предположили пользователи сети, для обгона.", + "hypothesis": "Автомобиль обогнал разделительную полосу." + }, + "outputs": "2", + "meta": { + "verb": "предположить", + "negation": "no_negation", + "genre": "kp", + "id": 103 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Автомобиль едет по своей полосе, потом вдруг выезжает на заснеженную разделительную полосу – как предположили пользователи сети, для обгона.\" и гипотеза: \"Автомобиль обогнал разделительную полосу.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 714, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.31543198227882385, + "2": 0.2783677577972412, + "3": 0.40502268075942993 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— Я от жизни натерпелась. Я шла из поликлиники, какой-то урод на меня бросился и изнасиловал. — Да что ты говоришь!", + "hypothesis": "Она шла из поликлиника, какой-то урод на нее бросился и изнасиловал" + }, + "outputs": "3", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 104 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"— Я от жизни натерпелась. Я шла из поликлиники, какой-то урод на меня бросился и изнасиловал. — Да что ты говоришь!\" и гипотеза: \"Она шла из поликлиника, какой-то урод на нее бросился и изнасиловал\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 705, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.25649335980415344, + "2": 0.19975724816322327, + "3": 0.5429964065551758 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Что значит — кто ее знает? Ну, вы по себе посудите — вы станете ни с того ни с того в пропасть кидаться?.. Да, я понимаю, что вы не лошадь... Ну что вы, что вы!", + "hypothesis": "Вы не лошадь." + }, + "outputs": "1", + "meta": { + "verb": "понимать", + "negation": "no_negation", + "genre": "fiction", + "id": 105 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Что значит — кто ее знает? Ну, вы по себе посудите — вы станете ни с того ни с того в пропасть кидаться?.. Да, я понимаю, что вы не лошадь... Ну что вы, что вы!\" Гипотеза: \"Вы не лошадь.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 707, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.44970837235450745, + "2": 0.24071155488491058, + "3": 0.30907973647117615 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Но там, на репетициях, так интересно! А в госпитале все время одно и то же! Перечитала и подумала: какая же я эгоистичная!", + "hypothesis": "Я эгоистичная!" + }, + "outputs": "1", + "meta": { + "verb": "подумать", + "negation": "no_negation", + "genre": "fiction", + "id": 106 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Но там, на репетициях, так интересно! А в госпитале все время одно и то же! Перечитала и подумала: какая же я эгоистичная!\" Гипотеза: \"Я эгоистичная!\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 695, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.262607216835022, + "2": 0.18048711121082306, + "3": 0.5559394359588623 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Юным пешеходам стражи порядка раздавали волшебные письма от «Полицейского Деда Мороза», в которых сказано о магических правилах и волшебных заклинаниях, которые защитят детишек в незнакомых ситуациях.", + "hypothesis": "В незнакомых ситуациях детишек защищают только магические правила и заклинания." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "kp", + "id": 107 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Юным пешеходам стражи порядка раздавали волшебные письма от «Полицейского Деда Мороза», в которых сказано о магических правилах и волшебных заклинаниях, которые защитят детишек в незнакомых ситуациях.\" Гипотеза: \"В незнакомых ситуациях детишек защищают только магические правила и заклинания.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 741, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.273857980966568, + "2": 0.273857980966568, + "3": 0.4515154957771301 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Осадил скакуна и заставил его встать у обочины. — А ведь ты мне все наврала! — предположил он, открывая дверцу машины.", + "hypothesis": "А ведь ты мне все наврала!" + }, + "outputs": "3", + "meta": { + "verb": "предположить", + "negation": "no_negation", + "genre": "fiction", + "id": 108 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Осадил скакуна и заставил его встать у обочины. — А ведь ты мне все наврала! — предположил он, открывая дверцу машины.\" Гипотеза: \"А ведь ты мне все наврала!\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 698, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.2684197425842285, + "2": 0.08714313805103302, + "3": 0.643905520439148 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "- А угрозы очередного газового кризиса это все не создает? - Что касается возможности газового кризиса, то вопрос будет больше зависеть от того, не придет ли кому в голову снова незаконно отбирать транзитный газ. Надеюсь, что этого не произойдет.", + "hypothesis": "Этого не произойдет." + }, + "outputs": "2", + "meta": { + "verb": "надеяться", + "negation": "no_negation", + "genre": "interfax", + "id": 109 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"- А угрозы очередного газового кризиса это все не создает? - Что касается возможности газового кризиса, то вопрос будет больше зависеть от того, не придет ли кому в голову снова незаконно отбирать транзитный газ. Надеюсь, что этого не произойдет.\" Гипотеза: \"Этого не произойдет.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 745, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.2212313711643219, + "2": 0.36474883556365967, + "3": 0.4133145809173584 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщина рассказывала доверчивым людям о наложенном на них проклятии и предлагала решить проблему.", + "hypothesis": "Доверчивые люди проклинали женщин." + }, + "outputs": "2", + "meta": { + "verb": "рассказывать", + "negation": "no_negation", + "genre": "kp", + "id": 110 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"Женщина рассказывала доверчивым людям о наложенном на них проклятии и предлагала решить проблему.\" Гипотеза: \"Доверчивые люди проклинали женщин.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 714, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.499176025390625, + "2": 0.11138122528791428, + "3": 0.38875865936279297 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Результаты проведенной экспертизы гильз, найденных на месте преступления, показали, что выстрелы были сделаны из пистолета, принадлежащего отцу семейства\", - сообщается в заявлении.", + "hypothesis": "Выстрелы были сделаны из пистолета, принадлежащего отцу семейства." + }, + "outputs": "1", + "meta": { + "verb": "показать", + "negation": "no_negation", + "genre": "interfax", + "id": 111 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"\"Результаты проведенной экспертизы гильз, найденных на месте преступления, показали, что выстрелы были сделаны из пистолета, принадлежащего отцу семейства\", - сообщается в заявлении.\" Гипотеза: \"Выстрелы были сделаны из пистолета, принадлежащего отцу семейства.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 728, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.455232709646225, + "2": 0.1897692233324051, + "3": 0.35453560948371887 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Так, она заявила, что считает вхождение полуострова в состав нашей страны законным.", + "hypothesis": "Вхождение полуострова в состав нашей страны законно." + }, + "outputs": "3", + "meta": { + "verb": "считать", + "negation": "no_negation", + "genre": "kp", + "id": 112 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Так, она заявила, что считает вхождение полуострова в состав нашей страны законным.\" Гипотеза: \"Вхождение полуострова в состав нашей страны законно.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 704, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.23338831961154938, + "2": 0.20596449077129364, + "3": 0.5598694682121277 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Вот почему на этот раз я пишу к Вам по-русски. Я — не чиновник, не официальное лицо и даже не издатель, а всего лишь писатель. Много это или мало — дело другое, но, думаю, Вы согласитесь со мной: претензии ко мне могут быть лишь чисто литературные.", + "hypothesis": "Вы обязаны соглашаться со мной." + }, + "outputs": "2", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 113 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Вот почему на этот раз я пишу к Вам по-русски. Я — не чиновник, не официальное лицо и даже не издатель, а всего лишь писатель. Много это или мало — дело другое, но, думаю, Вы согласитесь со мной: претензии ко мне могут быть лишь чисто литературные.\" и гипотеза: \"Вы обязаны соглашаться со мной.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 743, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.4133963882923126, + "2": 0.17232924699783325, + "3": 0.4133963882923126 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Задача поначалу казалась сложной. Но оперативникам удалось быстро найти следы. Личности подозреваемых установили, их задержали.", + "hypothesis": "Оперативники нашли следы быстро." + }, + "outputs": "1", + "meta": { + "verb": "удаться", + "negation": "no_negation", + "genre": "kp", + "id": 114 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Задача поначалу казалась сложной. Но оперативникам удалось быстро найти следы. Личности подозреваемых установили, их задержали.\" и гипотеза: \"Оперативники нашли следы быстро.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 685, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.38336050510406494, + "2": 0.23251990973949432, + "3": 0.38336050510406494 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Мы передадим проект резолюции в ближайшие часы\", - сказал он журналистам.", + "hypothesis": "Они уже передали проект резолюции." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 115 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"\"Мы передадим проект резолюции в ближайшие часы\", - сказал он журналистам.\" Гипотеза: \"Они уже передали проект резолюции.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 677, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.39079535007476807, + "2": 0.30435171723365784, + "3": 0.30435171723365784 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "- Для вас занятия сегодня отменяются. - Но я хочу посмотреть на президента. - Вы не пройдете внутрь, сами понимаете.", + "hypothesis": "Вы не пройдете внутрь." + }, + "outputs": "2", + "meta": { + "verb": "понимать", + "negation": "no_negation", + "genre": "interfax", + "id": 116 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"- Для вас занятия сегодня отменяются. - Но я хочу посмотреть на президента. - Вы не пройдете внутрь, сами понимаете.\" Гипотеза: \"Вы не пройдете внутрь.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 688, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.3137792646884918, + "2": 0.16795393824577332, + "3": 0.517334520816803 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Нельзя же так. Теряешь к себе последнее уважение. И все же - здесь она пыталась быть честной сама с собой - приятно было оказаться по другую сторону баррикады, чувствовать себя победителем в том сражении, которое называется жизнью, хоть на вечер, но быть защищенной от всех неприятностей.", + "hypothesis": "Я победитель в том сражении, которое называется жизнью." + }, + "outputs": "1", + "meta": { + "verb": "чувствовать", + "negation": "no_negation", + "genre": "fiction", + "id": 117 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Нельзя же так. Теряешь к себе последнее уважение. И все же - здесь она пыталась быть честной сама с собой - приятно было оказаться по другую сторону баррикады, чувствовать себя победителем в том сражении, которое называется жизнью, хоть на вечер, но быть защищенной от всех неприятностей.\" Гипотеза: \"Я победитель в том сражении, которое называется жизнью.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 748, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.8343068361282349, + "2": 0.036656882613897324, + "3": 0.12794509530067444 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мать умершего мужчины тоже подтвердила, что девочка - ее внучка. Кроме того, в качестве доказательства выступили семейные фотографии, судя по которым отец и дочка действительно были близки. В результате суд официально признал мужчину отцом своей дочки.", + "hypothesis": "Мужчина - отец девочки." + }, + "outputs": "3", + "meta": { + "verb": "признать", + "negation": "no_negation", + "genre": "kp", + "id": 118 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Мать умершего мужчины тоже подтвердила, что девочка - ее внучка. Кроме того, в качестве доказательства выступили семейные фотографии, судя по которым отец и дочка действительно были близки. В результате суд официально признал мужчину отцом своей дочки.\" Гипотеза: \"Мужчина - отец девочки.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 711, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.30691322684288025, + "2": 0.18615230917930603, + "3": 0.506014347076416 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Хорошо бы, подумаю я, вернуться в город, тогда можно было бы сходить в дом культуры железнодорожников на дискотеку, дискотека длится всю ночь, там играет громкая музыка, и я бы не слышал, как жалобно кричат Ракеты на реке, но, вообще, конечно, страшно возвращаться, если я вернусь, все сразу же изберут меня императором таким-то, и я не смогу ждать, императоры не имеют возможности ждать, им ждать некогда; однако к зиме все равно я вынужден буду вернуться.", + "hypothesis": "Хорошо бы вернуться в город, тогда можно было бы сходить в дом культуры железнодорожников." + }, + "outputs": "1", + "meta": { + "verb": "подумать", + "negation": "no_negation", + "genre": "fiction", + "id": 119 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Хорошо бы, подумаю я, вернуться в город, тогда можно было бы сходить в дом культуры железнодорожников на дискотеку, дискотека длится всю ночь, там играет громкая музыка, и я бы не слышал, как жалобно кричат Ракеты на реке, но, вообще, конечно, страшно возвращаться, если я вернусь, все сразу же изберут меня императором таким-то, и я не смогу ждать, императоры не имеют возможности ждать, им ждать некогда; однако к зиме все равно я вынужден буду вернуться.\" Гипотеза: \"Хорошо бы вернуться в город, тогда можно было бы сходить в дом культуры железнодорожников.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 822, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.2673106789588928, + "2": 0.3432336747646332, + "3": 0.3889347314834595 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я никогда не говорил, что не буду больше баллотироваться.", + "hypothesis": "Я не буду больше баллотироваться." + }, + "outputs": "2", + "meta": { + "verb": "говорить", + "negation": "negation", + "genre": "interfax", + "id": 120 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"Я никогда не говорил, что не буду больше баллотироваться.\" Гипотеза: \"Я не буду больше баллотироваться.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 702, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.23920662701129913, + "2": 0.1862943023443222, + "3": 0.5738268494606018 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Там отмечается, что сейчас нужно искать выход, чтобы прервать эту дурную бесконечность. \"Все это может закончиться большой кровью. Думаем, вы понимаете это не хуже нас!\"", + "hypothesis": "Вы понимаете это не хуже нас!" + }, + "outputs": "1", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "interfax", + "id": 121 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Там отмечается, что сейчас нужно искать выход, чтобы прервать эту дурную бесконечность. \"Все это может закончиться большой кровью. Думаем, вы понимаете это не хуже нас!\"\" Гипотеза: \"Вы понимаете это не хуже нас!\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 722, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.5919081568717957, + "2": 0.09077205508947372, + "3": 0.31682559847831726 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Однако в подразделениях социальной сферы подобные меры проводиться не будут. Также глава города считает, что количество обслуживающих чиновников машин слишком большое. - Решено оптимизировать работу автотранспортного цеха, - добавил градоначальник.", + "hypothesis": "Работа автотранспортного цеха будет оптимизирована." + }, + "outputs": "3", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "kp", + "id": 122 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Однако в подразделениях социальной сферы подобные меры проводиться не будут. Также глава города считает, что количество обслуживающих чиновников машин слишком большое. - Решено оптимизировать работу автотранспортного цеха, - добавил градоначальник.\" Гипотеза: \"Работа автотранспортного цеха будет оптимизирована.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 736, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.2445860356092453, + "2": 0.16810137033462524, + "3": 0.5867313742637634 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Но долгое время, хоть и взрослый, но испуганный, был уверен, что они (чекисты) засекли меня, и ждал наказания. Больше я ни на какие выборы никогда не ходил, даже в наши дни. Справедливости ради должен сказать, что не делал этого не из принципа и не из страха.", + "hypothesis": "Я не делал этого не из принципа и не из страха." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 123 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Но долгое время, хоть и взрослый, но испуганный, был уверен, что они (чекисты) засекли меня, и ждал наказания. Больше я ни на какие выборы никогда не ходил, даже в наши дни. Справедливости ради должен сказать, что не делал этого не из принципа и не из страха.\" и гипотеза: \"Я не делал этого не из принципа и не из страха.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 752, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.23314815759658813, + "2": 0.20575255155563354, + "3": 0.5592933893203735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Видимо, получил европейское воспитание. Писал, что играет на фортепьяно и поёт. Надеюсь, представится случай послушать.", + "hypothesis": "Он играет на фортепьяно и поёт." + }, + "outputs": "3", + "meta": { + "verb": "писать", + "negation": "no_negation", + "genre": "fiction", + "id": 124 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Видимо, получил европейское воспитание. Писал, что играет на фортепьяно и поёт. Надеюсь, представится случай послушать.\" и гипотеза: \"Он играет на фортепьяно и поёт.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 694, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.36470526456832886, + "2": 0.2212049514055252, + "3": 0.4132652282714844 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Вы их всяким говном кормите, – сказал я. – То есть как говном?", + "hypothesis": "Их кормят всяким говном." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 125 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"– Вы их всяким говном кормите, – сказал я. – То есть как говном?\" Гипотеза: \"Их кормят всяким говном.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 688, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.29138538241386414, + "2": 0.4804132878780365, + "3": 0.22693118453025818 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Его признали виновным в применении насилия в отношении сотрудника полиции.", + "hypothesis": "Он признал виновным сотрудника полиции." + }, + "outputs": "2", + "meta": { + "verb": "признать", + "negation": "no_negation", + "genre": "kp", + "id": 126 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Его признали виновным в применении насилия в отношении сотрудника полиции.\" Гипотеза: \"Он признал виновным сотрудника полиции.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 676, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.16335724294185638, + "2": 0.44405099749565125, + "3": 0.39187362790107727 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Неделю петлял вдоль побережья, забирая к югу. Ночевал там, где заставал его закат. Наконец осознал, что кружит — узнал портье, рыжего, с серьгой, — и понял, что ночевал в этом мотеле неделю назад.", + "hypothesis": "Он никогда не ночевал в мотелях." + }, + "outputs": "2", + "meta": { + "verb": "понять", + "negation": "no_negation", + "genre": "fiction", + "id": 127 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Неделю петлял вдоль побережья, забирая к югу. Ночевал там, где заставал его закат. Наконец осознал, что кружит — узнал портье, рыжего, с серьгой, — и понял, что ночевал в этом мотеле неделю назад.\" Гипотеза: \"Он никогда не ночевал в мотелях.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 748, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.3835158050060272, + "2": 0.18116003274917603, + "3": 0.43458035588264465 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "При этом правозащитник заявил, что примет решение о том, продолжать ли голодовку, в зависимости от вердикта врачей. \"Я сам настроен на продолжение голодовки, но посмотрим, что скажут врачи. Буду ориентироваться на их рекомендацию\", - сказал правозащитник.", + "hypothesis": "Правозащитник продолжит голодовку." + }, + "outputs": "3", + "meta": { + "verb": "принять", + "negation": "no_negation", + "genre": "interfax", + "id": 128 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"При этом правозащитник заявил, что примет решение о том, продолжать ли голодовку, в зависимости от вердикта врачей. \"Я сам настроен на продолжение голодовки, но посмотрим, что скажут врачи. Буду ориентироваться на их рекомендацию\", - сказал правозащитник.\" Гипотеза: \"Правозащитник продолжит голодовку.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 724, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.2829788327217102, + "2": 0.24972794950008392, + "3": 0.4665532112121582 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Экономика построена на труде людей. А труд, заключающийся в том, что мои деньги прокручивают во всемирной «пирамиде», я не признаю. Я умею считать и потому точно знаю, что либо обещанные мне проценты меньше инфляции, либо больше — но такой банк завтра прогорит.", + "hypothesis": "Либо обещанные мне проценты меньше инфляции, либо больше — но такой банк завтра прогорит." + }, + "outputs": "1", + "meta": { + "verb": "знать", + "negation": "no_negation", + "genre": "fiction", + "id": 129 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Экономика построена на труде людей. А труд, заключающийся в том, что мои деньги прокручивают во всемирной «пирамиде», я не признаю. Я умею считать и потому точно знаю, что либо обещанные мне проценты меньше инфляции, либо больше — но такой банк завтра прогорит.\" Гипотеза: \"Либо обещанные мне проценты меньше инфляции, либо больше — но такой банк завтра прогорит.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 776, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.25834569334983826, + "2": 0.25834569334983826, + "3": 0.48265329003334045 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Считай, что я пошутил. — А о том, что ты будешь первосвященником?.. — Об этом тоже не нужно говорить!", + "hypothesis": "Ты первосвященник" + }, + "outputs": "2", + "meta": { + "verb": "говорить", + "negation": "negation", + "genre": "fiction", + "id": 130 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"Считай, что я пошутил. — А о том, что ты будешь первосвященником?.. — Об этом тоже не нужно говорить!\" Гипотеза: \"Ты первосвященник\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 719, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.47512808442115784, + "2": 0.15425150096416473, + "3": 0.37003013491630554 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В ушах звучали слова несчастного. Я видел, как раскалённое железо с шипением погружается в плоть. — Я надеюсь и молю Небесного Отца, что твой поиск закончится.", + "hypothesis": "Твой поиск закончится." + }, + "outputs": "3", + "meta": { + "verb": "надеяться", + "negation": "no_negation", + "genre": "fiction", + "id": 131 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"В ушах звучали слова несчастного. Я видел, как раскалённое железо с шипением погружается в плоть. — Я надеюсь и молю Небесного Отца, что твой поиск закончится.\" Гипотеза: \"Твой поиск закончится.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 728, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.43469366431236267, + "2": 0.18120726943016052, + "3": 0.3836158215999603 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Звоню, но никто не подходит. Звоню минуты две, чтобы мама могла убедиться — я сделал все, что в моих силах. — Да, странная девушка, — говорит мама и тут же спрашивает: — А какое впечатление на тебя произвела Света?", + "hypothesis": "Света - странная девушка." + }, + "outputs": "2", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 132 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Звоню, но никто не подходит. Звоню минуты две, чтобы мама могла убедиться — я сделал все, что в моих силах. — Да, странная девушка, — говорит мама и тут же спрашивает: — А какое впечатление на тебя произвела Света?\" Гипотеза: \"Света - странная девушка.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 738, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.24968275427818298, + "2": 0.28292763233184814, + "3": 0.46646878123283386 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Не заплатить за проезд и поиграть с собственной жизнью решили два уфимских подростка.", + "hypothesis": "Оба подростка были из Уфы." + }, + "outputs": "1", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "kp", + "id": 133 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Не заплатить за проезд и поиграть с собственной жизнью решили два уфимских подростка.\" и гипотеза: \"Оба подростка были из Уфы.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 703, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.20952072739601135, + "2": 0.3454412817955017, + "3": 0.44355538487434387 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Он находится в шоке\", - пишет издание. Мужчина уже дал показания. У следствия есть версия, что спортсмен принял подругу за грабителя.", + "hypothesis": "Подруга была грабителем." + }, + "outputs": "2", + "meta": { + "verb": "принять за", + "negation": "no_negation", + "genre": "interfax", + "id": 134 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"\"Он находится в шоке\", - пишет издание. Мужчина уже дал показания. У следствия есть версия, что спортсмен принял подругу за грабителя.\" и гипотеза: \"Подруга была грабителем.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 688, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.25560611486434937, + "2": 0.3719047009944916, + "3": 0.3719047009944916 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Я понял. – Ни хрена ты не понял, – сказала она. – Ладно, забудь, я пошутила.", + "hypothesis": "Ни хрена ты не понял." + }, + "outputs": "3", + "meta": { + "verb": "пошутить", + "negation": "no_negation", + "genre": "fiction", + "id": 135 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"– Я понял. – Ни хрена ты не понял, – сказала она. – Ладно, забудь, я пошутила.\" Гипотеза: \"Ни хрена ты не понял.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 689, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.6502963900566101, + "2": 0.07766682654619217, + "3": 0.27108386158943176 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мать умершего мужчины тоже подтвердила, что девочка - ее внучка. Кроме того, в качестве доказательства выступили семейные фотографии, судя по которым отец и дочка действительно были близки. В результате суд официально признал мужчину отцом своей дочки.", + "hypothesis": "Девочка – внучка матери умершего мужчины." + }, + "outputs": "1", + "meta": { + "verb": "подтвердить", + "negation": "no_negation", + "genre": "kp", + "id": 136 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Мать умершего мужчины тоже подтвердила, что девочка - ее внучка. Кроме того, в качестве доказательства выступили семейные фотографии, судя по которым отец и дочка действительно были близки. В результате суд официально признал мужчину отцом своей дочки.\" Гипотеза: \"Девочка – внучка матери умершего мужчины.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 716, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.2914399802684784, + "2": 0.22697368264198303, + "3": 0.48050329089164734 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Как бы там ни было в таких случаях на самом деле покупатель имеет право обратиться с претензией к торговой сети или к производителю хлеба. Они обязаны поменять булку на качественную либо вернуть деньги. Если покупатель считает, что такая «начинка» нанесла вред его психике или здоровью, он также может потребовать материальную компенсацию.", + "hypothesis": "Покупатель потребовал материальную компенсацию." + }, + "outputs": "3", + "meta": { + "verb": "мочь", + "negation": "no_negation", + "genre": "kp", + "id": 137 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Как бы там ни было в таких случаях на самом деле покупатель имеет право обратиться с претензией к торговой сети или к производителю хлеба. Они обязаны поменять булку на качественную либо вернуть деньги. Если покупатель считает, что такая «начинка» нанесла вред его психике или здоровью, он также может потребовать материальную компенсацию.\" Гипотеза: \"Покупатель потребовал материальную компенсацию.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 758, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.5303949117660522, + "2": 0.10444094985723495, + "3": 0.36453476548194885 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Надоедливо и пронзительно пели птицы. В колоколе одеяла гулко и мерно раскачивалось звучание. Звук множился и ширился в нем, он понял, что это стучало его сердце.", + "hypothesis": "Это стучало его сердце." + }, + "outputs": "3", + "meta": { + "verb": "понять", + "negation": "no_negation", + "genre": "fiction", + "id": 138 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Надоедливо и пронзительно пели птицы. В колоколе одеяла гулко и мерно раскачивалось звучание. Звук множился и ширился в нем, он понял, что это стучало его сердце.\" Гипотеза: \"Это стучало его сердце.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 710, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.26832911372184753, + "2": 0.16274982690811157, + "3": 0.5680527091026306 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Возгорание произошло в ресторане, расположенном в квартале, где находится здание центральной почты. \"Причины возгорания пока не известны. Есть опасения, что огонь может перекинуться на жилые дома\", - сказал собеседник агентства.", + "hypothesis": "Причины возгорания пока не известны. Есть опасения, что огонь может перекинуться на жилые дома." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 139 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Возгорание произошло в ресторане, расположенном в квартале, где находится здание центральной почты. \"Причины возгорания пока не известны. Есть опасения, что огонь может перекинуться на жилые дома\", - сказал собеседник агентства.\" Гипотеза: \"Причины возгорания пока не известны. Есть опасения, что огонь может перекинуться на жилые дома.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 761, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.23256388306617737, + "2": 0.3834330141544342, + "3": 0.3834330141544342 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Глянул на ноги, смутился: – Я люблю так. Чаю хотите? Надеюсь, ваш брат не заедет сюда на тракторе?", + "hypothesis": "Чаю нет." + }, + "outputs": "2", + "meta": { + "verb": "хотеть", + "negation": "no_negation", + "genre": "fiction", + "id": 140 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"Глянул на ноги, смутился: – Я люблю так. Чаю хотите? Надеюсь, ваш брат не заедет сюда на тракторе?\" Гипотеза: \"Чаю нет.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 718, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.28914135694503784, + "2": 0.28914135694503784, + "3": 0.4206981658935547 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Продавщица закинула голову назад, так что чуть не сломала себе шею, и из этого неудобного положения долго и молча разглядывала меня. Я уже думал, что это никогда не кончится и книги мне не видать, а я очень хотел заполучить эту книгу, но тут продавщица процедила: Семьдесят четыре копейки в кассу, – и повернулась ко мне спиной. Я обрадовался и пошел в кассу; когда я отходил от прилавка, я услышал одно слово, сказанное вполголоса и с такой ненавистью, что потом я не мог смотреть в глаза этому человеку, это слово было: скотина.", + "hypothesis": "Продавщица сказала одно слово: скотина." + }, + "outputs": "3", + "meta": { + "verb": "услышать", + "negation": "no_negation", + "genre": "fiction", + "id": 141 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Продавщица закинула голову назад, так что чуть не сломала себе шею, и из этого неудобного положения долго и молча разглядывала меня. Я уже думал, что это никогда не кончится и книги мне не видать, а я очень хотел заполучить эту книгу, но тут продавщица процедила: Семьдесят четыре копейки в кассу, – и повернулась ко мне спиной. Я обрадовался и пошел в кассу; когда я отходил от прилавка, я услышал одно слово, сказанное вполголоса и с такой ненавистью, что потом я не мог смотреть в глаза этому человеку, это слово было: скотина.\" Гипотеза: \"Продавщица сказала одно слово: скотина.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 827, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.35400670766830444, + "2": 0.13023178279399872, + "3": 0.5150766968727112 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Мы знаем, что обсуждение закончилось. Это его позиция, мы принимаем к сведению. Разумеется, российская сторона продолжит терпеливо разъяснять суть этого вопроса, — сказал Песков журналистам.", + "hypothesis": "Российская сторона продолжит терпеливо разъяснять суть этого вопроса." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "kp", + "id": 142 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Мы знаем, что обсуждение закончилось. Это его позиция, мы принимаем к сведению. Разумеется, российская сторона продолжит терпеливо разъяснять суть этого вопроса, — сказал Песков журналистам.\" Гипотеза: \"Российская сторона продолжит терпеливо разъяснять суть этого вопроса.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 729, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.18619723618030548, + "2": 0.30698731541633606, + "3": 0.5061364769935608 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "И точно - не комедия. - Какой фильм Вы могли бы назвать идеальным? - Я думаю, такого фильма не существует.", + "hypothesis": "Фильмов не существует." + }, + "outputs": "2", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "interfax", + "id": 143 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"И точно - не комедия. - Какой фильм Вы могли бы назвать идеальным? - Я думаю, такого фильма не существует.\" и гипотеза: \"Фильмов не существует.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 707, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.3262332081794739, + "2": 0.2540706992149353, + "3": 0.4188917577266693 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "По деревенским меркам, невеста. Ничем Бог не обделил: ни статью, ни красотой, ни умом. Не мог только предвидеть Бог, что женихи этих невест погибнут на полях сражений.", + "hypothesis": "Женихи этих невест погибли на полях сражений." + }, + "outputs": "1", + "meta": { + "verb": "предвидеть", + "negation": "negation", + "genre": "fiction", + "id": 144 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"По деревенским меркам, невеста. Ничем Бог не обделил: ни статью, ни красотой, ни умом. Не мог только предвидеть Бог, что женихи этих невест погибнут на полях сражений.\" и гипотеза: \"Женихи этих невест погибли на полях сражений.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 711, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.5151224732398987, + "2": 0.13024336099624634, + "3": 0.35403814911842346 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "С заявлением об угоне женщина обратилась в полицию. К счастью, стражам порядка удалось найти и автомобиль и его похитителя. - Сотрудники уголовного розыска задержали подозреваемого в угоне.", + "hypothesis": "Стражи порядка нашли автомобиль и похитителя." + }, + "outputs": "3", + "meta": { + "verb": "удаться", + "negation": "no_negation", + "genre": "kp", + "id": 145 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"С заявлением об угоне женщина обратилась в полицию. К счастью, стражам порядка удалось найти и автомобиль и его похитителя. - Сотрудники уголовного розыска задержали подозреваемого в угоне.\" Гипотеза: \"Стражи порядка нашли автомобиль и похитителя.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 707, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.4527774453163147, + "2": 0.14699532091617584, + "3": 0.3995746970176697 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Служебное правительство примет все необходимые меры и не допустит манипуляций и дискредитации избирательного процесса.", + "hypothesis": "Манипуляций и дискредитации избирательного процесса не будет." + }, + "outputs": "3", + "meta": { + "verb": "допустить", + "negation": "negation", + "genre": "kp", + "id": 146 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Служебное правительство примет все необходимые меры и не допустит манипуляций и дискредитации избирательного процесса.\" Гипотеза: \"Манипуляций и дискредитации избирательного процесса не будет.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 695, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.2133716195821762, + "2": 0.27397459745407104, + "3": 0.5118519067764282 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Как помню, в первый раз жизни защемило сердце. Позже стал осознавать, что так проявляет себя моя тревожность. Неведомые чувства пугали, но казались сладостными.", + "hypothesis": "Эти чувства, что казались сладостными, уже были мне знакомы." + }, + "outputs": "2", + "meta": { + "verb": "казаться", + "negation": "no_negation", + "genre": "fiction", + "id": 147 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Как помню, в первый раз жизни защемило сердце. Позже стал осознавать, что так проявляет себя моя тревожность. Неведомые чувства пугали, но казались сладостными.\" Гипотеза: \"Эти чувства, что казались сладостными, уже были мне знакомы.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 729, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.18954293429851532, + "2": 0.354112833738327, + "3": 0.4546898603439331 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я говорю ей: \"Пойми! Ведь ты превратишься в животное!\". Я говорю ей: \"Мир начинается у твоего порога.\"", + "hypothesis": "Животное превратится в порог." + }, + "outputs": "2", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 148 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Я говорю ей: \"Пойми! Ведь ты превратишься в животное!\". Я говорю ей: \"Мир начинается у твоего порога.\"\" Гипотеза: \"Животное превратится в порог.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 694, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.3888183534145355, + "2": 0.11139833182096481, + "3": 0.49925267696380615 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Церковь призывает помнить, что главная свобода для человека - это свобода от греха, от лжи, от безнравственности. При этом Церковь не осуждает грешников, она молится о них и стремится им помочь. Но всегда осуждает грех, который никак нельзя признать нормой\", - подчеркнул он.", + "hypothesis": "Церковь всегда осуждает грех, который никак нельзя признать нормой." + }, + "outputs": "1", + "meta": { + "verb": "подчеркнуть", + "negation": "no_negation", + "genre": "interfax", + "id": 149 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Церковь призывает помнить, что главная свобода для человека - это свобода от греха, от лжи, от безнравственности. При этом Церковь не осуждает грешников, она молится о них и стремится им помочь. Но всегда осуждает грех, который никак нельзя признать нормой\", - подчеркнул он.\" Гипотеза: \"Церковь всегда осуждает грех, который никак нельзя признать нормой.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 768, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.2673061788082123, + "2": 0.34322792291641235, + "3": 0.38892820477485657 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Он сообщил, что такое решение принято в связи с тем, что существует риск ненужных интерпретаций.", + "hypothesis": "Будут ненужные интерпретации данного решения." + }, + "outputs": "3", + "meta": { + "verb": "сообщить", + "negation": "no_negation", + "genre": "interfax", + "id": 150 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"Он сообщил, что такое решение принято в связи с тем, что существует риск ненужных интерпретаций.\" Гипотеза: \"Будут ненужные интерпретации данного решения.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 711, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.3701185882091522, + "2": 0.1542883813381195, + "3": 0.47524169087409973 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Звук разбил воздух, осколки его просыпались над городком. — Без четверти четыре, — сказал Лишка. — Думаю, было достаточно.", + "hypothesis": "Было достаточно." + }, + "outputs": "3", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 151 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Звук разбил воздух, осколки его просыпались над городком. — Без четверти четыре, — сказал Лишка. — Думаю, было достаточно.\" Гипотеза: \"Было достаточно.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 714, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.3941712975502014, + "2": 0.2109847068786621, + "3": 0.3941712975502014 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— Да брось, кому там подслушивать. Неохота лезть в крапиву, смотри, стеной стоит. — Ну вот, нарвался на сборище жуликов, — подумал учитель, — и не уйдешь теперь, придется все выслушивать, вот дурацкая ситуация.", + "hypothesis": "Не уйдешь теперь, придется все выслушивать, вот дурацкая ситуация." + }, + "outputs": "1", + "meta": { + "verb": "подумать", + "negation": "no_negation", + "genre": "fiction", + "id": 152 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"— Да брось, кому там подслушивать. Неохота лезть в крапиву, смотри, стеной стоит. — Ну вот, нарвался на сборище жуликов, — подумал учитель, — и не уйдешь теперь, придется все выслушивать, вот дурацкая ситуация.\" Гипотеза: \"Не уйдешь теперь, придется все выслушивать, вот дурацкая ситуация.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 753, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.2427273988723755, + "2": 0.2427273988723755, + "3": 0.5138538479804993 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Хотите, чтобы я в правительстве был? Переносите столицу в мою деревню. Так и скажет.", + "hypothesis": "Переносите столицу в мою деревню." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 153 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Хотите, чтобы я в правительстве был? Переносите столицу в мою деревню. Так и скажет.\" и гипотеза: \"Переносите столицу в мою деревню.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 704, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.2808859050273895, + "2": 0.19304989278316498, + "3": 0.5247639417648315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Это продолжится. - Каким вы видите дальнейшее развитие программы, кто - следующий? - Пока я этого сказать не могу.", + "hypothesis": "Программа будет развиваться в дальнейшем." + }, + "outputs": "3", + "meta": { + "verb": "видеть", + "negation": "no_negation", + "genre": "interfax", + "id": 154 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Это продолжится. - Каким вы видите дальнейшее развитие программы, кто - следующий? - Пока я этого сказать не могу.\" и гипотеза: \"Программа будет развиваться в дальнейшем.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 683, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "1" + ] + }, + "predict": { + "1": 0.37170371413230896, + "2": 0.2554679811000824, + "3": 0.37170371413230896 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Угрожая ножом, он потребовал отдать ему все деньги, которые та сможет найти.", + "hypothesis": "Она отдала ему все деньги, которые смогла найти." + }, + "outputs": "2", + "meta": { + "verb": "потребовать", + "negation": "no_negation", + "genre": "kp", + "id": 155 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Угрожая ножом, он потребовал отдать ему все деньги, которые та сможет найти.\" Гипотеза: \"Она отдала ему все деньги, которые смогла найти.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 684, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.39937418699264526, + "2": 0.1469215452671051, + "3": 0.4525502324104309 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Она заплакала, пытаясь содрать кофту с плеча, чтобы вытащить жало и избавиться от насекомого. От движения яд проник глубже, ей стало трудно и жарко дышать, и она опять закричала. Наконец к ней кто-то подошел, залитые слезами и болью глаза ничего не различали, она послушно повернулась, и чьи-то руки сорвали блузку, она только запомнила запах земли и травяного укропа.", + "hypothesis": "Был запах земли и травяного укропа." + }, + "outputs": "1", + "meta": { + "verb": "запомнить", + "negation": "no_negation", + "genre": "fiction", + "id": 156 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Она заплакала, пытаясь содрать кофту с плеча, чтобы вытащить жало и избавиться от насекомого. От движения яд проник глубже, ей стало трудно и жарко дышать, и она опять закричала. Наконец к ней кто-то подошел, залитые слезами и болью глаза ничего не различали, она послушно повернулась, и чьи-то руки сорвали блузку, она только запомнила запах земли и травяного укропа.\" Гипотеза: \"Был запах земли и травяного укропа.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 763, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.24986061453819275, + "2": 0.22050119936466217, + "3": 0.5289549231529236 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Доверчивость. Кто-то не хочет об этом вспоминать, потому что неприятно, мы пережили много разочарований. Ну кто сказал, что ничего не изменилось?", + "hypothesis": "Ничего не изменилось." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 157 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Доверчивость. Кто-то не хочет об этом вспоминать, потому что неприятно, мы пережили много разочарований. Ну кто сказал, что ничего не изменилось?\" Гипотеза: \"Ничего не изменилось.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 716, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.3259795904159546, + "2": 0.13588851690292358, + "3": 0.5374494791030884 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Как рассказывают очевидцы, инцидент произошел около восьми утра. Всем пассажирам удалось вовремя покинуть салон. - Классным было утро, ничего не скажешь.", + "hypothesis": "Утро было классным." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "negation", + "genre": "kp", + "id": 158 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Как рассказывают очевидцы, инцидент произошел около восьми утра. Всем пассажирам удалось вовремя покинуть салон. - Классным было утро, ничего не скажешь.\" Гипотеза: \"Утро было классным.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 694, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.27398601174354553, + "2": 0.21338051557540894, + "3": 0.5118732452392578 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Плевать на все — пойду прямиком к ней, позвоню в дверь. Теперь плевать. Если откроет муж или сын, совру, например, что с работы, попрошу ее выйти на пару секунд.", + "hypothesis": "Она выйдет на пару секунд." + }, + "outputs": "3", + "meta": { + "verb": "попросить", + "negation": "no_negation", + "genre": "fiction", + "id": 159 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Плевать на все — пойду прямиком к ней, позвоню в дверь. Теперь плевать. Если откроет муж или сын, совру, например, что с работы, попрошу ее выйти на пару секунд.\" Гипотеза: \"Она выйдет на пару секунд.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 744, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.2829909920692444, + "2": 0.2497386634349823, + "3": 0.46657323837280273 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": " – А я знаю? – сказала секретарша.", + "hypothesis": "Секретарша знала." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 160 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \" – А я знаю? – сказала секретарша.\" Гипотеза: \"Секретарша знала.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 700, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.138607919216156, + "2": 0.4837891757488251, + "3": 0.3767753839492798 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– О господи! – сказал я. – Она умерла давно, – сказала она, – целую жизнь назад.", + "hypothesis": "Она воскресла." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 161 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"– О господи! – сказал я. – Она умерла давно, – сказала она, – целую жизнь назад.\" Гипотеза: \"Она воскресла.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 706, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.41327735781669617, + "2": 0.22121143341064453, + "3": 0.3647159934043884 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Решение по передаче акций банку принято Арбитражным судом Владимирской области.", + "hypothesis": "Арбитражный суд Владимирской области передал акции банку." + }, + "outputs": "3", + "meta": { + "verb": "принять", + "negation": "no_negation", + "genre": "kp", + "id": 162 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Решение по передаче акций банку принято Арбитражным судом Владимирской области.\" Гипотеза: \"Арбитражный суд Владимирской области передал акции банку.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 705, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.567893922328949, + "2": 0.08708935976028442, + "3": 0.3444451093673706 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "У многоэтажного дома была обнаружена женщина, которая, судя по травмам, погибла от падения с высоты.", + "hypothesis": "Женщина погибла от падения с высоты." + }, + "outputs": "1", + "meta": { + "verb": "судить", + "negation": "no_negation", + "genre": "kp", + "id": 163 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"У многоэтажного дома была обнаружена женщина, которая, судя по травмам, погибла от падения с высоты.\" и гипотеза: \"Женщина погибла от падения с высоты.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 709, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.2923866808414459, + "2": 0.3313175141811371, + "3": 0.37543192505836487 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Кажется, такие мужчины называются брачными аферистами. Боже мой, что мне делать? Сказать ему, что я догадалась об обмане, или положить бумажник на место и пока притвориться, будто я не в курсе и всё прекрасно?", + "hypothesis": "Я догадалась об обмане." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 164 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Кажется, такие мужчины называются брачными аферистами. Боже мой, что мне делать? Сказать ему, что я догадалась об обмане, или положить бумажник на место и пока притвориться, будто я не в курсе и всё прекрасно?\" и гипотеза: \"Я догадалась об обмане.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 712, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.33113911747932434, + "2": 0.12181928008794785, + "3": 0.5459561347961426 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Надеюсь, что это профессиональная работа.", + "hypothesis": "Это профессиональная работа." + }, + "outputs": "3", + "meta": { + "verb": "надеяться", + "negation": "no_negation", + "genre": "interfax", + "id": 165 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Надеюсь, что это профессиональная работа.\" Гипотеза: \"Это профессиональная работа.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 670, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.49184104800224304, + "2": 0.12435689568519592, + "3": 0.3830462098121643 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Глава региона получил травмы, степень их тяжести уточняется, сказал Горелых.", + "hypothesis": "Степень тяжести травм уточняется." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 166 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Глава региона получил травмы, степень их тяжести уточняется, сказал Горелых.\" Гипотеза: \"Степень тяжести травм уточняется.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 682, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.12427971512079239, + "2": 0.49153581261634827, + "3": 0.38280847668647766 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Министерство здравоохранения Новосибирской области посчитало, сколько людей воспользовались услугами центров здоровья в ушедшем году.", + "hypothesis": "Никто не пользовался услугами центров здоровья в ушедшем году." + }, + "outputs": "2", + "meta": { + "verb": "посчитать", + "negation": "no_negation", + "genre": "kp", + "id": 167 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Министерство здравоохранения Новосибирской области посчитало, сколько людей воспользовались услугами центров здоровья в ушедшем году.\" Гипотеза: \"Никто не пользовался услугами центров здоровья в ушедшем году.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 716, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.2445373684167862, + "2": 0.16806791722774506, + "3": 0.5866146683692932 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Но стал уже сомневаться в этом. Может, он и правда пробивался к своим? Думал, что время должно это показать.", + "hypothesis": "Время должно это показать." + }, + "outputs": "3", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "fiction", + "id": 168 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Но стал уже сомневаться в этом. Может, он и правда пробивался к своим? Думал, что время должно это показать.\" Гипотеза: \"Время должно это показать.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 688, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.3363644778728485, + "2": 0.23117971420288086, + "3": 0.4319005310535431 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Уверена, что ты не запомнил тот день. Я уже заметила, что мы запоминаем совсем разное. В тот день я решила уйти от тебя. Все прекратить.", + "hypothesis": "Я уйду от тебя." + }, + "outputs": "3", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "fiction", + "id": 169 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Уверена, что ты не запомнил тот день. Я уже заметила, что мы запоминаем совсем разное. В тот день я решила уйти от тебя. Все прекратить.\" Гипотеза: \"Я уйду от тебя.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 732, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.22128574550151825, + "2": 0.41341617703437805, + "3": 0.36483851075172424 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "И, возможно, лучше бы она не приходила снова в кинотеатр. Да, ведь после того, как он нагнал ее и что-то врал, а она села в автобус и уехала не оглядываясь, — после этого она нарочно не приходила туда. Но в конце концов убедила себя, что это нелепо, и почему она должна всего бояться?", + "hypothesis": "Она не приходила снова в кинотеатр." + }, + "outputs": "2", + "meta": { + "verb": "быть возможным", + "negation": "no_negation", + "genre": "fiction", + "id": 170 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"И, возможно, лучше бы она не приходила снова в кинотеатр. Да, ведь после того, как он нагнал ее и что-то врал, а она села в автобус и уехала не оглядываясь, — после этого она нарочно не приходила туда. Но в конце концов убедила себя, что это нелепо, и почему она должна всего бояться?\" Гипотеза: \"Она не приходила снова в кинотеатр.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 770, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.22048117220401764, + "2": 0.24983792006969452, + "3": 0.5289068222045898 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Сто карманов на штанах. Все это ядовито. А я чувствую, что одежда должна переливаться в природу.", + "hypothesis": "Любая одежда легко переливается в природу." + }, + "outputs": "2", + "meta": { + "verb": "чувствовать", + "negation": "no_negation", + "genre": "fiction", + "id": 171 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Сто карманов на штанах. Все это ядовито. А я чувствую, что одежда должна переливаться в природу.\" Гипотеза: \"Любая одежда легко переливается в природу.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 714, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.3466620147228241, + "2": 0.30592817068099976, + "3": 0.3466620147228241 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Электричества в комнате не было. В темноте я нащупал кровать и лег, не раздеваясь. Заснул сразу, но чувствовал сквозь сон, как меня донимает запах сырости.", + "hypothesis": "Меня донимал запах сырости." + }, + "outputs": "1", + "meta": { + "verb": "чувствовать", + "negation": "no_negation", + "genre": "fiction", + "id": 172 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Электричества в комнате не было. В темноте я нащупал кровать и лег, не раздеваясь. Заснул сразу, но чувствовал сквозь сон, как меня донимает запах сырости.\" Гипотеза: \"Меня донимал запах сырости.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 729, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.28106236457824707, + "2": 0.1931711733341217, + "3": 0.5250936150550842 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Однажды сторож засмотрелся на женщину, и на Дерево села бабочка. Вскоре на нем появились гусеницы, но Колдовской лист не велел их трогать. Он сказал, что настало время исчезнуть нашему племени и появиться новому.", + "hypothesis": "Настало время исчезнуть нашему племени и появиться новому." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 173 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Однажды сторож засмотрелся на женщину, и на Дерево села бабочка. Вскоре на нем появились гусеницы, но Колдовской лист не велел их трогать. Он сказал, что настало время исчезнуть нашему племени и появиться новому.\" и гипотеза: \"Настало время исчезнуть нашему племени и появиться новому.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 738, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.38853639364242554, + "2": 0.11131754517555237, + "3": 0.49889060854911804 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Насилие с применением огнестрельного оружия - это национальная эпидемия и национальная трагедия, которая требует больше, чем просто слов\", - сказал мэр в ходе пресс-конференции в понедельник.", + "hypothesis": "Насилие с применением огнестрельного оружия – это национальная эпидемия и национальная трагедия." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 174 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"\"Насилие с применением огнестрельного оружия - это национальная эпидемия и национальная трагедия, которая требует больше, чем просто слов\", - сказал мэр в ходе пресс-конференции в понедельник.\" и гипотеза: \"Насилие с применением огнестрельного оружия – это национальная эпидемия и национальная трагедия.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 710, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.3719104826450348, + "2": 0.25561007857322693, + "3": 0.3719104826450348 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Он признал вину, рассказал, что прогуливался, увидел на Ленинградской припаркованную \"Ниву\" и решил ее угнать. Однако на территории гаражного кооператива машина застряла в глубоком снегу. Чтобы замести следы, угонщик решил сжечь авто.", + "hypothesis": "Угонщик сжег авто." + }, + "outputs": "1", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "kp", + "id": 175 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Он признал вину, рассказал, что прогуливался, увидел на Ленинградской припаркованную \"Ниву\" и решил ее угнать. Однако на территории гаражного кооператива машина застряла в глубоком снегу. Чтобы замести следы, угонщик решил сжечь авто.\" Гипотеза: \"Угонщик сжег авто.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 722, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.4839428961277008, + "2": 0.13865196704864502, + "3": 0.37689509987831116 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Буквально всё. Такой талантливый писатель. – Не писатель, а драматург, – говорил Ивановский.", + "hypothesis": "Не писатель, а драматург." + }, + "outputs": "1", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 176 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"– Буквально всё. Такой талантливый писатель. – Не писатель, а драматург, – говорил Ивановский.\" Гипотеза: \"Не писатель, а драматург.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 685, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.15710042417049408, + "2": 0.5483343601226807, + "3": 0.29350224137306213 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Я не собираюсь подавать апелляцию\", - сказал он в зале суда.", + "hypothesis": "Я подам апелляцию." + }, + "outputs": "2", + "meta": { + "verb": "собираться", + "negation": "negation", + "genre": "interfax", + "id": 177 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"\"Я не собираюсь подавать апелляцию\", - сказал он в зале суда.\" Гипотеза: \"Я подам апелляцию.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 699, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.31544867157936096, + "2": 0.27838248014450073, + "3": 0.4050441384315491 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Сосед по камере жестоко избил мигранта в ходе неожиданно случившегося конфликта. Мужчина скончался вследствие полученных травм. Возбуждено уголовное дела, решается вопрос об аресте подозреваемого и предъявлении ему обвинений.", + "hypothesis": "Подозреваемый арестован и ему предъявили обвинения." + }, + "outputs": "2", + "meta": { + "verb": "решать", + "negation": "no_negation", + "genre": "kp", + "id": 178 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Сосед по камере жестоко избил мигранта в ходе неожиданно случившегося конфликта. Мужчина скончался вследствие полученных травм. Возбуждено уголовное дела, решается вопрос об аресте подозреваемого и предъявлении ему обвинений.\" Гипотеза: \"Подозреваемый арестован и ему предъявили обвинения.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 709, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.11588633060455322, + "2": 0.6668798327445984, + "3": 0.21650417149066925 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Некоторое время назад он начал говорить о том, что готов расстаться с жизнью.", + "hypothesis": "Он некоторое время назад расстался с жизнью." + }, + "outputs": "2", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "kp", + "id": 179 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Некоторое время назад он начал говорить о том, что готов расстаться с жизнью.\" Гипотеза: \"Он некоторое время назад расстался с жизнью.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 716, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.24938395619392395, + "2": 0.15125901997089386, + "3": 0.5982410311698914 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Но о чем другом? Где посмотреть эту «таблицу соответствия»? Бывает, и бывает часто, что думаешь «ни о чем», это очень богатая область, «ни о чем» не значит ни о чем вообще, но означает ни о чем конкретно, «идентифицировать» объект размышлений нельзя, нельзя вычленить из потока мыслей какую-то «главную» мысль, ту, «о чем» весь этот поток, как будто листаешь книгу на неизвестном тебе языке, смысл отдельных слов угадывается, но общий смысл, конечно, непонятен, да и никакой смысл непонятен, ты «заглядываешь» в себя и с некоторым удивлением констатируешь: это я, или, быть может, как какой-нибудь турист, пишешь несуществующим мелом на несуществующей стене древних или относительно новых развалин: здесь был я, но ведь когда-нибудь всё повторится, а ты даже не будешь знать об этом.", + "hypothesis": "Это я, или, быть может, как какой-нибудь турист, пишешь несуществующим мелом на несуществующей стене древних или относительно новых развалин: здесь был я, но ведь когда-нибудь всё повторится, а ты даже не будешь знать об этом." + }, + "outputs": "1", + "meta": { + "verb": "констатировать", + "negation": "no_negation", + "genre": "fiction", + "id": 180 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"Но о чем другом? Где посмотреть эту «таблицу соответствия»? Бывает, и бывает часто, что думаешь «ни о чем», это очень богатая область, «ни о чем» не значит ни о чем вообще, но означает ни о чем конкретно, «идентифицировать» объект размышлений нельзя, нельзя вычленить из потока мыслей какую-то «главную» мысль, ту, «о чем» весь этот поток, как будто листаешь книгу на неизвестном тебе языке, смысл отдельных слов угадывается, но общий смысл, конечно, непонятен, да и никакой смысл непонятен, ты «заглядываешь» в себя и с некоторым удивлением констатируешь: это я, или, быть может, как какой-нибудь турист, пишешь несуществующим мелом на несуществующей стене древних или относительно новых развалин: здесь был я, но ведь когда-нибудь всё повторится, а ты даже не будешь знать об этом.\" Гипотеза: \"Это я, или, быть может, как какой-нибудь турист, пишешь несуществующим мелом на несуществующей стене древних или относительно новых развалин: здесь был я, но ведь когда-нибудь всё повторится, а ты даже не будешь знать об этом.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 939, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.3648061752319336, + "2": 0.22126613557338715, + "3": 0.4133795499801636 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– Что с ней? – спросил я. – С ней? С ней ничего, – сказала она. – Она умерла.", + "hypothesis": "С ней ничего, она умерла." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 181 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"– Что с ней? – спросил я. – С ней? С ней ничего, – сказала она. – Она умерла.\" Гипотеза: \"С ней ничего, она умерла.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 711, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.3431600332260132, + "2": 0.2672533094882965, + "3": 0.38885125517845154 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Всегда во всех местах отцовой службы висела, Каблуков был уверен, что какая-то актриса времен родительской молодости. \"Ты с ней один раз наперегонки бегал. После войны – не помнишь?\" С ней?", + "hypothesis": "После войны Каблуков бегал с ней наперегонки." + }, + "outputs": "3", + "meta": { + "verb": "помнить", + "negation": "negation", + "genre": "fiction", + "id": 182 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Всегда во всех местах отцовой службы висела, Каблуков был уверен, что какая-то актриса времен родительской молодости. \"Ты с ней один раз наперегонки бегал. После войны – не помнишь?\" С ней?\" Гипотеза: \"После войны Каблуков бегал с ней наперегонки.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 742, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.181181401014328, + "2": 0.38356104493141174, + "3": 0.4346315860748291 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Но на нем вшей не нашли, откуда они взялись, ума не приложу. Решил коротко постричься и избавиться от них раз и навсегда, отчего пришел в прекрасное расположение духа и отправился спать.", + "hypothesis": "Я пришёл в дурное расположение духа." + }, + "outputs": "2", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "fiction", + "id": 183 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Но на нем вшей не нашли, откуда они взялись, ума не приложу. Решил коротко постричься и избавиться от них раз и навсегда, отчего пришел в прекрасное расположение духа и отправился спать.\" и гипотеза: \"Я пришёл в дурное расположение духа.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 726, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.3698989450931549, + "2": 0.1541968137025833, + "3": 0.4749596416950226 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Идти, двигаться, что-то делать! Вырваться из этого болота, скуки, нудной работы, нищеты. Я чувствовала, как словно песок сквозь пальцы, струится время.", + "hypothesis": "Время струится, словно песок сквозь пальцы." + }, + "outputs": "1", + "meta": { + "verb": "чувствовать", + "negation": "no_negation", + "genre": "fiction", + "id": 184 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Идти, двигаться, что-то делать! Вырваться из этого болота, скуки, нудной работы, нищеты. Я чувствовала, как словно песок сквозь пальцы, струится время.\" и гипотеза: \"Время струится, словно песок сквозь пальцы.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 706, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.44399940967559814, + "2": 0.16333827376365662, + "3": 0.39182811975479126 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "По ее словам, главным фактором в выборе места, где она будет баллотироваться, был фактор времени. \"Я была готова идти в любом муниципальном совете. На всех встречах с горожанами я слышала спасибо за город.", + "hypothesis": "Ее благодарили за город." + }, + "outputs": "1", + "meta": { + "verb": "слышать", + "negation": "no_negation", + "genre": "interfax", + "id": 185 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"По ее словам, главным фактором в выборе места, где она будет баллотироваться, был фактор времени. \"Я была готова идти в любом муниципальном совете. На всех встречах с горожанами я слышала спасибо за город.\" Гипотеза: \"Ее благодарили за город.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 709, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.48387691378593445, + "2": 0.13863305747509003, + "3": 0.37684372067451477 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Конечно, будем, но об этом - потом\", - сказала она.", + "hypothesis": "Об этом - потом." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 186 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"\"Конечно, будем, но об этом - потом\", - сказала она.\" Гипотеза: \"Об этом - потом.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 677, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.2497319132089615, + "2": 0.22038762271404266, + "3": 0.5286824703216553 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Полицейские установили, что один из них решил вернуться обратно в центр за сигаретами. Злоумышленник оставшимся в квартире свидетелям пояснил, что потерпевший попросил его забрать забытый телефон. После чего подозреваемый скрылся и не выходил на связь.", + "hypothesis": "Один из них решил вернуться обратно в центр за сигаретами." + }, + "outputs": "1", + "meta": { + "verb": "установить", + "negation": "no_negation", + "genre": "kp", + "id": 187 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Полицейские установили, что один из них решил вернуться обратно в центр за сигаретами. Злоумышленник оставшимся в квартире свидетелям пояснил, что потерпевший попросил его забрать забытый телефон. После чего подозреваемый скрылся и не выходил на связь.\" Гипотеза: \"Один из них решил вернуться обратно в центр за сигаретами.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 744, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.31865745782852173, + "2": 0.31865745782852173, + "3": 0.3610861897468567 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Женщину подозревают в получении взятки.", + "hypothesis": "Женщина дала подозреваемому взятку." + }, + "outputs": "2", + "meta": { + "verb": "подозревать", + "negation": "no_negation", + "genre": "kp", + "id": 188 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Женщину подозревают в получении взятки.\" Гипотеза: \"Женщина дала подозреваемому взятку.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 675, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.29147738218307495, + "2": 0.227002814412117, + "3": 0.4805649518966675 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Он требовал убрать с кровати прелые листья и еловый валежник. В помещении устоялся запах ладана, от него пошли мысли похоронах. Он надеялся на чудо.", + "hypothesis": "Произойдет чудо." + }, + "outputs": "3", + "meta": { + "verb": "надеяться", + "negation": "no_negation", + "genre": "fiction", + "id": 189 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Он требовал убрать с кровати прелые листья и еловый валежник. В помещении устоялся запах ладана, от него пошли мысли похоронах. Он надеялся на чудо.\" Гипотеза: \"Произойдет чудо.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 731, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.22705700993537903, + "2": 0.29154694080352783, + "3": 0.4806796610355377 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Одни и те же сказки. И голос звал ее налить чаю. А мне показалось.", + "hypothesis": "Она налила чаю." + }, + "outputs": "2", + "meta": { + "verb": "звать", + "negation": "no_negation", + "genre": "fiction", + "id": 190 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"Одни и те же сказки. И голос звал ее налить чаю. А мне показалось.\" Гипотеза: \"Она налила чаю.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 711, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.5684077143669128, + "2": 0.12682890892028809, + "3": 0.304246723651886 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Ранее он уже привлекался к уголовной ответственности за аналогичное преступление. Тогда суд назначил ему два года условно, запретил занимать должности, связанные с работой в интернете и посещать митинги, шествия и массовые мероприятия. - В судебном заседании подсудимый вину признал полностью, с предъявленным обвинением согласился.", + "hypothesis": "Подсудимый был виноват." + }, + "outputs": "3", + "meta": { + "verb": "согласиться", + "negation": "no_negation", + "genre": "kp", + "id": 191 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Ранее он уже привлекался к уголовной ответственности за аналогичное преступление. Тогда суд назначил ему два года условно, запретил занимать должности, связанные с работой в интернете и посещать митинги, шествия и массовые мероприятия. - В судебном заседании подсудимый вину признал полностью, с предъявленным обвинением согласился.\" Гипотеза: \"Подсудимый был виноват.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 746, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.2891595661640167, + "2": 0.2891595661640167, + "3": 0.42072468996047974 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Но лучше, когда огромное количество людей имеет возможность прикоснуться к олимпийскому огню. Всякие происшествия возможны, но всеобщее участие в Олимпиаде все прощает\", - сказал он, напомнив, что в руках одного из участников пробега факел случайно погас. \"Мы не беспокоимся, потому что у нас есть резервный олимпийский огонь.", + "hypothesis": "В руках еще одного участника пробега может случайно погаснуть факел." + }, + "outputs": "1", + "meta": { + "verb": "беспокоиться", + "negation": "negation", + "genre": "interfax", + "id": 192 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Но лучше, когда огромное количество людей имеет возможность прикоснуться к олимпийскому огню. Всякие происшествия возможны, но всеобщее участие в Олимпиаде все прощает\", - сказал он, напомнив, что в руках одного из участников пробега факел случайно погас. \"Мы не беспокоимся, потому что у нас есть резервный олимпийский огонь.\" Гипотеза: \"В руках еще одного участника пробега может случайно погаснуть факел.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 767, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.16328886151313782, + "2": 0.391709566116333, + "3": 0.4438650906085968 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Сегодня все силы надо отдать на развитие государства. Все остальное будет определять народ. - Кого вы считаете главным конкурентом на предстоящих выборах?", + "hypothesis": "У вас нет конкурентов на предстоящих выборах." + }, + "outputs": "2", + "meta": { + "verb": "считать", + "negation": "no_negation", + "genre": "interfax", + "id": 193 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Сегодня все силы надо отдать на развитие государства. Все остальное будет определять народ. - Кого вы считаете главным конкурентом на предстоящих выборах?\" и гипотеза: \"У вас нет конкурентов на предстоящих выборах.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 714, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.4346082806587219, + "2": 0.18117167055606842, + "3": 0.38354045152664185 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В отделе полиции, он рассказал, что действительно занимается ремонтом машин. Но в этот раз ему нужны были деньги. Вот парень и решился на угон.", + "hypothesis": "Парень угнал машину." + }, + "outputs": "3", + "meta": { + "verb": "решиться", + "negation": "no_negation", + "genre": "kp", + "id": 194 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"В отделе полиции, он рассказал, что действительно занимается ремонтом машин. Но в этот раз ему нужны были деньги. Вот парень и решился на угон.\" и гипотеза: \"Парень угнал машину.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 689, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.1633402407169342, + "2": 0.3918328285217285, + "3": 0.44400477409362793 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Как мне не хватало тех мук, той горячей тяжести, что напоминала мне о моей вине и предательстве! О, я катался и грыз землю в отчаянии. А в редкий миг просветления понял, что мне нужно.", + "hypothesis": "Я не был виноват и никого не предавал." + }, + "outputs": "2", + "meta": { + "verb": "напоминать", + "negation": "no_negation", + "genre": "fiction", + "id": 195 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Как мне не хватало тех мук, той горячей тяжести, что напоминала мне о моей вине и предательстве! О, я катался и грыз землю в отчаянии. А в редкий миг просветления понял, что мне нужно.\" Гипотеза: \"Я не был виноват и никого не предавал.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 714, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "2" + ] + }, + "predict": { + "1": 0.2672266364097595, + "2": 0.38881248235702515, + "3": 0.3431257903575897 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Он был влюблен и готов перешагнуть через страх. Как пылкий и честный жених, он собирался забыть прежние увлечения ради новой любви. — Признаюсь, я не уверена, что ваша пара — это хорошая идея, — сказала врач.", + "hypothesis": "Я не уверена." + }, + "outputs": "3", + "meta": { + "verb": "признаться", + "negation": "no_negation", + "genre": "fiction", + "id": 196 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Он был влюблен и готов перешагнуть через страх. Как пылкий и честный жених, он собирался забыть прежние увлечения ради новой любви. — Признаюсь, я не уверена, что ваша пара — это хорошая идея, — сказала врач.\" Гипотеза: \"Я не уверена.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 713, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.35424181818962097, + "2": 0.1896119862794876, + "3": 0.4548555016517639 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Насколько бессмысленны и случайны точные физические законы природы, настолько же строго и неслучайно всё беззаконное и невозможное, сколько я себя помню, я чувствовал это, это примерно то же, когда говорят: беда не приходит одна, но и не только беда, и не только не одна; как я потом узнал от нее, она была в моем районе и ехала в том же автобусе, что и я, по какой-то однократной надобности, и никогда больше я ее здесь не встретил бы, а жила она совсем в другом районе города, далеко от меня; но получилось так, что мы встретились дней через десять, в вагоне метро, не на моей и не на ее ветке, она потом сказала, что ехала от подруги, а куда я ехал, я уже и не помню; я вошел в вагон и увидел ее, она стоя читала книгу, я подошел к ней, она подняла на меня глаза, голубые и красивые, но теперь не злые, а равнодушные.", + "hypothesis": "она была в моем районе и ехала в том же автобусе, что и я." + }, + "outputs": "1", + "meta": { + "verb": "узнать", + "negation": "no_negation", + "genre": "fiction", + "id": 197 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Насколько бессмысленны и случайны точные физические законы природы, настолько же строго и неслучайно всё беззаконное и невозможное, сколько я себя помню, я чувствовал это, это примерно то же, когда говорят: беда не приходит одна, но и не только беда, и не только не одна; как я потом узнал от нее, она была в моем районе и ехала в том же автобусе, что и я, по какой-то однократной надобности, и никогда больше я ее здесь не встретил бы, а жила она совсем в другом районе города, далеко от меня; но получилось так, что мы встретились дней через десять, в вагоне метро, не на моей и не на ее ветке, она потом сказала, что ехала от подруги, а куда я ехал, я уже и не помню; я вошел в вагон и увидел ее, она стоя читала книгу, я подошел к ней, она подняла на меня глаза, голубые и красивые, но теперь не злые, а равнодушные.\" Гипотеза: \"она была в моем районе и ехала в том же автобусе, что и я.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 906, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.22678638994693756, + "2": 0.15586784482002258, + "3": 0.6164692640304565 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Молюсь за обоих. Просто хочу обнять своего сына, а прав он или виноват - пусть скажет следствие. (…) Хочется сказать всем оскорбляющим милицию: опомнитесь, милиционеры - это не безликие роботы в форме.", + "hypothesis": "Все оскорбляющие милицию должны опомниться, милиционеры - это не безликие роботы в форме." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "kp", + "id": 198 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Молюсь за обоих. Просто хочу обнять своего сына, а прав он или виноват - пусть скажет следствие. (…) Хочется сказать всем оскорбляющим милицию: опомнитесь, милиционеры - это не безликие роботы в форме.\" Гипотеза: \"Все оскорбляющие милицию должны опомниться, милиционеры - это не безликие роботы в форме.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 732, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.49928683042526245, + "2": 0.11140595376491547, + "3": 0.38884496688842773 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Негодяй схватил кухонный нож, нагрел его на огне и несколько раз приложил к лицу своей жертвы. Травмы, нанесенные женщине, квалифицировали как принесшие тяжкий вред здоровью. - Задержанный признал свою вину.", + "hypothesis": "Задержанный был виноват." + }, + "outputs": "3", + "meta": { + "verb": "признать", + "negation": "no_negation", + "genre": "kp", + "id": 199 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Негодяй схватил кухонный нож, нагрел его на огне и несколько раз приложил к лицу своей жертвы. Травмы, нанесенные женщине, квалифицировали как принесшие тяжкий вред здоровью. - Задержанный признал свою вину.\" Гипотеза: \"Задержанный был виноват.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 748, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.1862127184867859, + "2": 0.506178617477417, + "3": 0.3070128560066223 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Вот его он должен был позвать и сказать, что ты соврал про телефон. А он не позвал и не сказал.", + "hypothesis": "Он позвал его." + }, + "outputs": "2", + "meta": { + "verb": "быть должным", + "negation": "no_negation", + "genre": "fiction", + "id": 200 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"Вот его он должен был позвать и сказать, что ты соврал про телефон. А он не позвал и не сказал.\" Гипотеза: \"Он позвал его.\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 714, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.1469472050666809, + "2": 0.39944392442703247, + "3": 0.4526292681694031 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Вдумайтесь: считается, что это общественная организация, а это министерство, и все знают, как обстоит дело в действительности. Но тогда возникает вопрос, кем же «считается», что это общественная организация? Можно ли так говорить, если не существует людей, которые бы так думали?", + "hypothesis": "Это общественная организация" + }, + "outputs": "2", + "meta": { + "verb": "считаться", + "negation": "no_negation", + "genre": "fiction", + "id": 201 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Вдумайтесь: считается, что это общественная организация, а это министерство, и все знают, как обстоит дело в действительности. Но тогда возникает вопрос, кем же «считается», что это общественная организация? Можно ли так говорить, если не существует людей, которые бы так думали?\" Гипотеза: \"Это общественная организация\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 743, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.31557586789131165, + "2": 0.2784947156906128, + "3": 0.40520742535591125 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Правда, они не имеют каких-то особо организованных корней. У нас это получилось типа норвежского случая, когда один человек, просто, скажем, бандит взял и решил убить ни в чем не повинных людей и себя убить. Расследование показало, что, как ни печально, мы столкнулись с таким делом.", + "hypothesis": "Бандит убил ни в чем не повинных людей и себя убил." + }, + "outputs": "1", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "interfax", + "id": 202 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Правда, они не имеют каких-то особо организованных корней. У нас это получилось типа норвежского случая, когда один человек, просто, скажем, бандит взял и решил убить ни в чем не повинных людей и себя убить. Расследование показало, что, как ни печально, мы столкнулись с таким делом.\" Гипотеза: \"Бандит убил ни в чем не повинных людей и себя убил.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 758, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.34042859077453613, + "2": 0.0975344181060791, + "3": 0.5612718462944031 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Когда он целует колени, закрывает глаза. Он сухими губами жадно хватает кожу, как воду, прижавшись щекой к твоему бедру. Он чертовски красив и не помнит об этом, когда счастлив.", + "hypothesis": "Он чертовски красив." + }, + "outputs": "1", + "meta": { + "verb": "помнить", + "negation": "negation", + "genre": "fiction", + "id": 203 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Когда он целует колени, закрывает глаза. Он сухими губами жадно хватает кожу, как воду, прижавшись щекой к твоему бедру. Он чертовски красив и не помнит об этом, когда счастлив.\" и гипотеза: \"Он чертовски красив.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 732, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.42982807755470276, + "2": 0.13954474031925201, + "3": 0.42982807755470276 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Я добиваюсь того, чтобы мои голоса не крали. Я добиваюсь того, чтобы люди поняли, что их много, и они вместе. И они это поняли, и это ужасно приятно.", + "hypothesis": "Мои голоса не украдут." + }, + "outputs": "3", + "meta": { + "verb": "понять", + "negation": "no_negation", + "genre": "interfax", + "id": 204 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Я добиваюсь того, чтобы мои голоса не крали. Я добиваюсь того, чтобы люди поняли, что их много, и они вместе. И они это поняли, и это ужасно приятно.\" и гипотеза: \"Мои голоса не украдут.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 698, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.3090505301952362, + "2": 0.24068878591060638, + "3": 0.4496658444404602 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "А ты прогуливаешь. – Я не прогуливаю, – сказал я. – А я прогуливаю, – сказал художник и засмеялся; потом он подмигнул мне.", + "hypothesis": "Художник прогуливал." + }, + "outputs": "3", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 205 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"А ты прогуливаешь. – Я не прогуливаю, – сказал я. – А я прогуливаю, – сказал художник и засмеялся; потом он подмигнул мне.\" Гипотеза: \"Художник прогуливал.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 702, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.7177629470825195, + "2": 0.07565165311098099, + "3": 0.20564252138137817 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Из оцепенения меня вывел голос. Сердце не лжёт, это был голос моего отца.", + "hypothesis": "Это был голос моего отца." + }, + "outputs": "1", + "meta": { + "verb": "лгать", + "negation": "negation", + "genre": "fiction", + "id": 206 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Из оцепенения меня вывел голос. Сердце не лжёт, это был голос моего отца.\" Гипотеза: \"Это был голос моего отца.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 683, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.3363266587257385, + "2": 0.2311537116765976, + "3": 0.43185198307037354 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Тогда он решил привлечь к себе внимание. В момент совершения поджога храм был закрыт, поэтому никто не пострадал – нанесен только материальный ущерб. Подозреваемый был ранее судим.", + "hypothesis": "Подозреваемый привлек к себе внимание." + }, + "outputs": "3", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "kp", + "id": 207 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Тогда он решил привлечь к себе внимание. В момент совершения поджога храм был закрыт, поэтому никто не пострадал – нанесен только материальный ущерб. Подозреваемый был ранее судим.\" Гипотеза: \"Подозреваемый привлек к себе внимание.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 725, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "2", + "2" + ] + }, + "predict": { + "1": 0.1512022763490677, + "2": 0.5277478098869324, + "3": 0.3200952112674713 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "— В палату мы не пойдем, — заявил он. — Это бессмысленно. Да ты не беспокойся, там все в порядке.", + "hypothesis": "Он зазывал в палату." + }, + "outputs": "2", + "meta": { + "verb": "беспокоиться", + "negation": "negation", + "genre": "fiction", + "id": 208 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"— В палату мы не пойдем, — заявил он. — Это бессмысленно. Да ты не беспокойся, там все в порядке.\" Гипотеза: \"Он зазывал в палату.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 692, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "1", + "1" + ] + }, + "predict": { + "1": 0.46079787611961365, + "2": 0.13202080130577087, + "3": 0.40665268898010254 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "В Липецком районном суде вынесли приговор жителю села Доброе, его признали виновным в хищении огнестрельного оружия и боеприпасов.", + "hypothesis": "Житель села Доброе похитил огнестрельное оружие и боеприпасы." + }, + "outputs": "1", + "meta": { + "verb": "признать", + "negation": "no_negation", + "genre": "kp", + "id": 209 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"В Липецком районном суде вынесли приговор жителю села Доброе, его признали виновным в хищении огнестрельного оружия и боеприпасов.\" Гипотеза: \"Житель села Доброе похитил огнестрельное оружие и боеприпасы.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 733, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.27390795946121216, + "2": 0.27390795946121216, + "3": 0.45159783959388733 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Приведено описание ситуации и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "\"Ты меня всю жизнь обманывал!\" — кричит жена вам в лицо, а вы в ответ улыбаетесь ей так нагло, что мы, русские люди, на сеансе прямо за голову хватаемся! Разве можно так? Надо повиниться, пасть на колени, назвать себя подлецом, негодяем, последней сволочью... Миллионы русских, просмотрев французские фильмы, поняли: нельзя верить ни одному ихнему слову!", + "hypothesis": "Нельзя верить ни одному ихнему слову!" + }, + "outputs": "3", + "meta": { + "verb": "понять", + "negation": "no_negation", + "genre": "fiction", + "id": 210 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nПриведено описание ситуации и гипотеза. Ситуация: \"\"Ты меня всю жизнь обманывал!\" — кричит жена вам в лицо, а вы в ответ улыбаетесь ей так нагло, что мы, русские люди, на сеансе прямо за голову хватаемся! Разве можно так? Надо повиниться, пасть на колени, назвать себя подлецом, негодяем, последней сволочью... Миллионы русских, просмотрев французские фильмы, поняли: нельзя верить ни одному ихнему слову!\" Гипотеза: \"Нельзя верить ни одному ихнему слову!\". Определи отношение гипотезы к ситуации, выбери один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 780, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.4189460873603821, + "2": 0.10592616349458694, + "3": 0.4747281074523926 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Даже оппозиция говорит о власти и доказывает, что их программа лучше нашей. Но у нас есть и программа, и достижения. И о них надо говорить, - сказал он.", + "hypothesis": "О нашей программе и наших достижениях надо говорить." + }, + "outputs": "1", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "interfax", + "id": 211 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Даже оппозиция говорит о власти и доказывает, что их программа лучше нашей. Но у нас есть и программа, и достижения. И о них надо говорить, - сказал он.\" Гипотеза: \"О нашей программе и наших достижениях надо говорить.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 724, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.28930264711380005, + "2": 0.28930264711380005, + "3": 0.4209328889846802 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Не похож. Тем более что он ни разу в жизни не курил, даже не пробовал. — Угомонись, это все лирика, — строго сказал я, понимая, что именно сейчас мне нужно встать, наврать про неотложные дела и уйти.", + "hypothesis": "У меня именно сейчас были неотложные дела." + }, + "outputs": "2", + "meta": { + "verb": "наврать", + "negation": "no_negation", + "genre": "fiction", + "id": 212 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Не похож. Тем более что он ни разу в жизни не курил, даже не пробовал. — Угомонись, это все лирика, — строго сказал я, понимая, что именно сейчас мне нужно встать, наврать про неотложные дела и уйти.\" Гипотеза: \"У меня именно сейчас были неотложные дела.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 743, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.4188503623008728, + "2": 0.10590196400880814, + "3": 0.47461965680122375 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Забавно, конечно, но сколько можно? Устройство этого ящика, оклеенного звездами из фольги, можно нарисовать с закрытыми глазами. Правда, приходится признать, что изобретатель чудесного ящика — человек талантливый.", + "hypothesis": "изобретатель чудесного ящика — человек талантливый." + }, + "outputs": "1", + "meta": { + "verb": "признать", + "negation": "no_negation", + "genre": "fiction", + "id": 213 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Забавно, конечно, но сколько можно? Устройство этого ящика, оклеенного звездами из фольги, можно нарисовать с закрытыми глазами. Правда, приходится признать, что изобретатель чудесного ящика — человек талантливый.\" и гипотеза: \"изобретатель чудесного ящика — человек талантливый.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 740, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "3", + "3" + ] + }, + "predict": { + "1": 0.306875079870224, + "2": 0.18612916767597198, + "3": 0.505951464176178 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовые ситуация: \"{premise}\" и гипотеза: \"{hypothesis}\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Надо сказать, что по данным наших наблюдателей везде, где мы находились, участки открылись вовремя\", - отметил он. При этом, по его словам, активность избирателей \"достаточно высокая для воскресного дня и для парламентских выборов\". \"Я думаю, что активность избирателей на этих выборах будет такая же, как и на президентских\", - сказал он.", + "hypothesis": "Активность избирателей на этих выборах будет такая же, как и на президентских." + }, + "outputs": "3", + "meta": { + "verb": "думать", + "negation": "no_negation", + "genre": "interfax", + "id": 214 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовые ситуация: \"Надо сказать, что по данным наших наблюдателей везде, где мы находились, участки открылись вовремя\", - отметил он. При этом, по его словам, активность избирателей \"достаточно высокая для воскресного дня и для парламентских выборов\". \"Я думаю, что активность избирателей на этих выборах будет такая же, как и на президентских\", - сказал он.\" и гипотеза: \"Активность избирателей на этих выборах будет такая же, как и на президентских.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 741, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "1", + "3" + ] + }, + "predict": { + "1": 0.2625640332698822, + "2": 0.1804574429988861, + "3": 0.5558480620384216 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Кому они нужны? Ее нужно забрать в сумасшедший дом или отдать в дом престарелых». Но я объясняю ситуацию, говорю, что взять ее некуда и пока, чтоб она не боялась, нужно только подписать странную расписку.", + "hypothesis": "Взять ее некуда и пока, чтоб она не боялась, нужно только подписать странную расписку." + }, + "outputs": "1", + "meta": { + "verb": "говорить", + "negation": "no_negation", + "genre": "fiction", + "id": 215 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Кому они нужны? Ее нужно забрать в сумасшедший дом или отдать в дом престарелых». Но я объясняю ситуацию, говорю, что взять ее некуда и пока, чтоб она не боялась, нужно только подписать странную расписку.\" Гипотеза: \"Взять ее некуда и пока, чтоб она не боялась, нужно только подписать странную расписку.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 734, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.3069485127925873, + "2": 0.1861737072467804, + "3": 0.5060725808143616 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны текстовая ситуация и гипотеза. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "– А я вас все равно люблю, – скажу я. – Но как же я вернусь? – Мы не знаем, – скажут они.", + "hypothesis": "Мы не знаем." + }, + "outputs": "2", + "meta": { + "verb": "сказать", + "negation": "no_negation", + "genre": "fiction", + "id": 216 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"– А я вас все равно люблю, – скажу я. – Но как же я вернусь? – Мы не знаем, – скажут они.\" Гипотеза: \"Мы не знаем.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 690, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.2212771624326706, + "2": 0.3648243248462677, + "3": 0.41340014338493347 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "По ее словам, она помнит лишь, что собиралась выйти из дома, а все остальные события злополучного утра стерлись из ее памяти, и пришла в себя она лишь в больнице.", + "hypothesis": "Она не рассказала, что помнит." + }, + "outputs": "2", + "meta": { + "verb": "помнить", + "negation": "no_negation", + "genre": "kp", + "id": 217 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"По ее словам, она помнит лишь, что собиралась выйти из дома, а все остальные события злополучного утра стерлись из ее памяти, и пришла в себя она лишь в больнице.\" Гипотеза: \"Она не рассказала, что помнит.\". Определи логическое отношение гипотезы к ситуации. Напиши 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. Ничего не дописывай и не добавляй.\nОтвет: ", + "info": { + "prompt_len": 723, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "3", + "1" + ] + }, + "predict": { + "1": 0.6214339137077332, + "2": 0.08410193026065826, + "3": 0.29354459047317505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Допросив гостя, следователи восстановили картину убийства. Хозяин квартиры пьянствовал в компании двух братьев и поссорился со старшим. Младший решил заступиться за родственника, взял нож и несколько раз ударил собутыльника в область шеи и груди.", + "hypothesis": "Младший брат заступился за родственника, взял нож и несколько раз ударил собутыльника в область шеи и груди." + }, + "outputs": "3", + "meta": { + "verb": "решить", + "negation": "no_negation", + "genre": "kp", + "id": 218 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nСитуация: \"Допросив гостя, следователи восстановили картину убийства. Хозяин квартиры пьянствовал в компании двух братьев и поссорился со старшим. Младший решил заступиться за родственника, взял нож и несколько раз ударил собутыльника в область шеи и груди.\" Гипотеза: \"Младший брат заступился за родственника, взял нож и несколько раз ударил собутыльника в область шеи и груди.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: ", + "info": { + "prompt_len": 736, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "2", + "3" + ] + }, + "predict": { + "1": 0.19800157845020294, + "2": 0.3264494240283966, + "3": 0.4749810993671417 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Даны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"{premise}\" Гипотеза: \"{hypothesis}\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "premise": "Это стало для меня откровением, я понял, что есть весь народ, а не просто прослойка интеллигенции. Есть израильтяне, а есть евреи. Из политических соображений некоторые считают, что так говорить нельзя, потому что это разрушит народ в мире.", + "hypothesis": "Разговоры разрушают народ в мире." + }, + "outputs": "2", + "meta": { + "verb": "считать", + "negation": "no_negation", + "genre": "fiction", + "id": 219 + } + }, + "prompt": "Даны текстовая ситуация и гипотеза. Ситуация: \"Он не мог понять, как он сам не догадался сделать это в свое время. Как теперь оказался на окраине любых мыслей, как он стал наблюдателем, ничтожнейшим из наблюдателей — бесцельным. Он всегда чувствовал себя каким-то отдельным существом, не человеком, а только учеником людей.\" Гипотеза: \"Он какое-то отдельное существо, не человек, а только ученик людей.\". Укажи цифру одного из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 1\n\nДаны текстовые ситуация: \"Я уверен, что вместе мы победим. Да, парламентское большинство думает иначе.\" и гипотеза: \"Вместе мы победим.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 3\n\nДаны текстовые ситуация: \"Потом сделала вид, что приняла за чистую монету его бормотание о вечерней прохладе, и предложила, чтобы согреться, чаю, потом коньяку. Она заботливо усыпила его неуверенность в себе, она дала ему возможность беспрепятственно взять инициативу в свои руки и распустить хвост. Она подождала, пока он обманет свое самолюбие с помощью самых забитых фраз и убедит себя в том, что все вокруг — это результат его обаяния.\" и гипотеза: \"Все вокруг — это результат его обаяния.\". Определи отношение гипотезы к ситуации, напиши: 1 если гипотеза следует из ситуации, 2 если гипотеза противоречит ситуации, 3 если гипотеза независима от ситуации.\nОтвет: 3\n\nДаны текстовая ситуация и гипотеза. Ситуация: \"Как вы могли говорить, что вы это поняли?\" Гипотеза: \"Вы это поняли.\". Укажи один из вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: 2\n\nСитуация: \"Мы оглянулись, я увидел просунувшуюся голову кузнеца. Он сказал: — Готово! Просили в миг, как закончу мечи править, сказать, вижу, не спите.\" Гипотеза: \"Вы не спите.\". Определи логическое отношение гипотезы к ситуации, возможен один из трех вариантов: 1 - гипотеза следует из ситуации, 2 - гипотеза противоречит ситуации, 3 - гипотеза независима от ситуации.\nОтвет: 3\n\nДаны некоторая текстовая ситуация и гипотеза к ней. Ситуация: \"Это стало для меня откровением, я понял, что есть весь народ, а не просто прослойка интеллигенции. Есть израильтяне, а есть евреи. Из политических соображений некоторые считают, что так говорить нельзя, потому что это разрушит народ в мире.\" Гипотеза: \"Разговоры разрушают народ в мире.\". Определи логическое отношение гипотезы к ситуации. Напиши: 1 - если гипотеза следует из ситуации, 2 - если гипотеза противоречит ситуации, 3 - если гипотеза независима от ситуации. В ответ напиши только цифру 1, 2 или 3, больше ничего не добавляй.\nОтвет: ", + "info": { + "prompt_len": 751, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "3" + } +} diff --git a/llmtf_eval/darumeru_RCB_params.jsonl b/llmtf_eval/darumeru_RCB_params.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..46c1c6d4f4be458c196be570a414cca658ae060d --- /dev/null +++ b/llmtf_eval/darumeru_RCB_params.jsonl @@ -0,0 +1,56 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_part1_lr2e5_bs256", + "generation_config": { + "_from_model_config": true, + "bos_token_id": 1, + "do_sample": true, + "eos_token_id": [ + 2, + 13 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 2, + "stop_strings": [ + "\n", + "\n\n" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.38.2" + }, + "conversation_template": { + "system_message_template": "{content}\n", + "user_message_template": "{content}\n", + "bot_message_template": "{content}\n\n", + "bot_message_template_incomplete": "{content}", + "user_role": "user", + "bot_role": "bot", + "system_role": "system", + "suffix": "", + "add_special_tokens": false, + "global_prefix": "" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": true, + "space_token": 28705, + "trust_remote_code": [ + false + ], + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 5, + "batch_size": 1, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/darumeru_RCB_total.jsonl b/llmtf_eval/darumeru_RCB_total.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..0f3122fe3b9e7be7924651d107507aeefa6dce01 --- /dev/null +++ b/llmtf_eval/darumeru_RCB_total.jsonl @@ -0,0 +1,8 @@ +{ + "task_name": "darumeru/RCB", + "results": { + "acc": 0.4318181818181818, + "f1_macro": 0.43187628672014355 + }, + "leaderboard_result": 0.4318472342691627 +} diff --git a/llmtf_eval/darumeru_RWSD.jsonl b/llmtf_eval/darumeru_RWSD.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..8c8173ce456438d31c055d7821dd12751cf73bf6 --- /dev/null +++ b/llmtf_eval/darumeru_RWSD.jsonl @@ -0,0 +1,7956 @@ +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2612011730670929, + "Нет": 0.7100183367729187 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.", + "span1_index": 4, + "span1_text": "слоны", + "span2_index": 13, + "span2_text": "их матери" + }, + "outputs": "Нет", + "meta": { + "id": 0 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"их матери\" к объекту фрагмента \"слоны\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 733, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1972804218530655, + "Нет": 0.7802591919898987 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.", + "span1_index": 14, + "span1_text": "матери", + "span2_index": 13, + "span2_text": "их увидела" + }, + "outputs": "Нет", + "meta": { + "id": 1 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.\"\nОбъект из текста: \"матери\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"их увидела\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 732, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.14491882920265198, + "Нет": 0.8339503407478333 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.", + "span1_index": 6, + "span1_text": "Артура и Селесту", + "span2_index": 13, + "span2_text": "их увидела" + }, + "outputs": "Да", + "meta": { + "id": 2 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"Артура и Селесту\" и \"их увидела\". Текст: \"Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.\" Ответь, относится ли \"их увидела\" к \"Артура и Селесту\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 731, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.15858665108680725, + "Нет": 0.80536949634552 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.", + "span1_index": 0, + "span1_text": "Бернард", + "span2_index": 13, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 3 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.\"\nФрагменты из этого текста: \"Бернард\" и \"он\".\nОтвет:", + "info": { + "prompt_len": 757, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1770356297492981, + "Нет": 0.7934186458587646 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.", + "span1_index": 27, + "span1_text": "любой", + "span2_index": 40, + "span2_text": "им" + }, + "outputs": "Нет", + "meta": { + "id": 4 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.\"\nФрагменты из этого текста: \"любой\" и \"им\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 757, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1440809667110443, + "Нет": 0.8291288018226624 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.", + "span1_index": 1, + "span1_text": "Дик", + "span2_index": 14, + "span2_text": "он перепрыгнул" + }, + "outputs": "Нет", + "meta": { + "id": 5 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Дик\" и второй фрагмент: \"он перепрыгнул\" - определи, относится ли первый фрагмент ко второму в тексте: \"Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 783, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.15948376059532166, + "Нет": 0.809925377368927 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Лавочники оставались в городе, чтобы управлять своими магазинчиками, и жили в комнатах позади них.", + "span1_index": 7, + "span1_text": "магазинчиками", + "span2_index": 13, + "span2_text": "них" + }, + "outputs": "Да", + "meta": { + "id": 6 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Лавочники оставались в городе, чтобы управлять своими магазинчиками, и жили в комнатах позади них.\"\nВ тексте фрагмент \"них\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"магазинчиками\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 690, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2537219524383545, + "Нет": 0.608647346496582 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что он сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.", + "span1_index": 4, + "span1_text": "государственному чиновнику", + "span2_index": 13, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 7 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что он сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"государственному чиновнику\"\n2-е выражение: \"он\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 798, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.3389807641506195, + "Нет": 0.6332994103431702 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Тогда папа выяснил, сколько мужчина задолжал магазину, к этим деньгам он добавил его счет в забегаловке. Вычтя всю эту сумму из зарплаты мужчины, он выписал ему чек.", + "span1_index": 4, + "span1_text": "мужчина", + "span2_index": 10, + "span2_text": "он добавил" + }, + "outputs": "Нет", + "meta": { + "id": 8 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Тогда папа выяснил, сколько мужчина задолжал магазину, к этим деньгам он добавил его счет в забегаловке. Вычтя всю эту сумму из зарплаты мужчины, он выписал ему чек.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"он добавил\" на слово/словосочетание \"мужчина\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 712, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.1301398128271103, + "Нет": 0.8486181497573853 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Дядя Фрэнка все еще может победить его в теннисе, хотя он на 30 лет старше.", + "span1_index": 0, + "span1_text": "Дядя Фрэнка", + "span2_index": 10, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 9 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Дядя Фрэнка все еще может победить его в теннисе, хотя он на 30 лет старше.\"\nПостарайся определить, относится ли здесь \"он\" к \"Дядя Фрэнка\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 833, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.2609618604183197, + "Нет": 0.7093677520751953 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.", + "span1_index": 8, + "span1_text": "хозяин", + "span2_index": 14, + "span2_text": "он перепрыгнул" + }, + "outputs": "Да", + "meta": { + "id": 10 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"он перепрыгнул\" к объекту фрагмента \"хозяин\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 754, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.28707507252693176, + "Нет": 0.688657283782959 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.", + "span1_index": 4, + "span1_text": "слоны", + "span2_index": 13, + "span2_text": "их увидела" + }, + "outputs": "Нет", + "meta": { + "id": 11 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.\"\nОбъект из текста: \"слоны\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"их увидела\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 733, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.23865245282649994, + "Нет": 0.7351013422012329 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.", + "span1_index": 8, + "span1_text": "хозяин", + "span2_index": 14, + "span2_text": "он взревел" + }, + "outputs": "Нет", + "meta": { + "id": 12 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"хозяин\" и \"он взревел\". Текст: \"Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.\" Ответь, относится ли \"он взревел\" к \"хозяин\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 747, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.15913145244121552, + "Нет": 0.8081362843513489 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что он сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.", + "span1_index": 0, + "span1_text": "Бернард", + "span2_index": 41, + "span2_text": "им" + }, + "outputs": "Да", + "meta": { + "id": 13 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что он сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.\"\nФрагменты из этого текста: \"Бернард\" и \"им\".\nОтвет:", + "info": { + "prompt_len": 758, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.17749565839767456, + "Нет": 0.7954803109169006 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Конюшня была очень вместительной, с четырьмя хорошими стойлами; фрамуга большого окна открывалась на лужайку, делая ее прохладной и полной свежего воздуха.", + "span1_index": 13, + "span1_text": "лужайку", + "span2_index": 15, + "span2_text": "ее" + }, + "outputs": "Нет", + "meta": { + "id": 14 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Конюшня была очень вместительной, с четырьмя хорошими стойлами; фрамуга большого окна открывалась на лужайку, делая ее прохладной и полной свежего воздуха.\"\nФрагменты из этого текста: \"лужайку\" и \"ее\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 729, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.1293697953224182, + "Нет": 0.8435969948768616 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Конюшня была очень вместительной, с четырьмя хорошими стойлами; фрамуга большого окна открывалась на лужайку, делая ее прохладной и полной свежего воздуха.", + "span1_index": 0, + "span1_text": "Конюшня", + "span2_index": 15, + "span2_text": "ее" + }, + "outputs": "Да", + "meta": { + "id": 15 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Конюшня\" и второй фрагмент: \"ее\" - определи, относится ли первый фрагмент ко второму в тексте: \"Конюшня была очень вместительной, с четырьмя хорошими стойлами; фрамуга большого окна открывалась на лужайку, делая ее прохладной и полной свежего воздуха.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 751, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1773916631937027, + "Нет": 0.7950142621994019 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Дядя Фрэнка все еще может победить его в теннисе, хотя он на 30 лет моложе.", + "span1_index": 0, + "span1_text": "Дядя Фрэнка", + "span2_index": 10, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 16 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Дядя Фрэнка все еще может победить его в теннисе, хотя он на 30 лет моложе.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"Дядя Фрэнка\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 695, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.29440122842788696, + "Нет": 0.5854867100715637 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Конюшня была очень вместительной, с четырьмя хорошими стойлами; фрамуга большого окна открывалась на лужайку, делая ее прохладной и полной свежего воздуха.", + "span1_index": 8, + "span1_text": "фрамуга", + "span2_index": 15, + "span2_text": "ее" + }, + "outputs": "Нет", + "meta": { + "id": 17 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Конюшня была очень вместительной, с четырьмя хорошими стойлами; фрамуга большого окна открывалась на лужайку, делая ее прохладной и полной свежего воздуха.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"фрамуга\"\n2-е выражение: \"ее\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 767, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.28534969687461853, + "Нет": 0.6845183372497559 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.", + "span1_index": 8, + "span1_text": "хозяин", + "span2_index": 14, + "span2_text": "он был там" + }, + "outputs": "Да", + "meta": { + "id": 18 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"он был там\" на слово/словосочетание \"хозяин\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 739, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.23871678113937378, + "Нет": 0.7352994680404663 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.", + "span1_index": 1, + "span1_text": "Дик", + "span2_index": 32, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 19 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.\"\nПостарайся определить, относится ли здесь \"его\" к \"Дик\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 876, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.2164570838212967, + "Нет": 0.7555094361305237 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Дядя Фрэнка все еще может победить его в теннисе, хотя он на 30 лет моложе.", + "span1_index": 1, + "span1_text": "Фрэнка", + "span2_index": 10, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 20 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Дядя Фрэнка все еще может победить его в теннисе, хотя он на 30 лет моложе.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"он\" к объекту фрагмента \"Фрэнка\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 706, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.33740484714508057, + "Нет": 0.6303552389144897 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.", + "span1_index": 8, + "span1_text": "хозяин", + "span2_index": 32, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 21 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.\"\nОбъект из текста: \"хозяин\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 751, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2861289978027344, + "Нет": 0.6863877773284912 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мистер Тейлор был человеком с неуверенным характером и предпочитал думать, что Дэвид был просто неотесанный чурбан, и что любой шаг, который он предпринимал в любом направлении по собственной инициативе, был просто еще одним доказательством его врожденного идиотизма.", + "span1_index": 0, + "span1_text": "Мистер Тейлор", + "span2_index": 34, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 22 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"Мистер Тейлор\" и \"его\". Текст: \"Мистер Тейлор был человеком с неуверенным характером и предпочитал думать, что Дэвид был просто неотесанный чурбан, и что любой шаг, который он предпринимал в любом направлении по собственной инициативе, был просто еще одним доказательством его врожденного идиотизма.\" Ответь, относится ли \"его\" к \"Мистер Тейлор\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 729, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1762009859085083, + "Нет": 0.7896779775619507 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Лавочники оставались в городе, чтобы управлять своими магазинчиками, и жили в комнатах позади них.", + "span1_index": 11, + "span1_text": "комнатах", + "span2_index": 13, + "span2_text": "них" + }, + "outputs": "Нет", + "meta": { + "id": 23 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Лавочники оставались в городе, чтобы управлять своими магазинчиками, и жили в комнатах позади них.\"\nФрагменты из этого текста: \"комнатах\" и \"них\".\nОтвет:", + "info": { + "prompt_len": 710, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.16007353365421295, + "Нет": 0.8129205107688904 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.", + "span1_index": 4, + "span1_text": "государственному чиновнику", + "span2_index": 13, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 24 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.\"\nФрагменты из этого текста: \"государственному чиновнику\" и \"он\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 759, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1598268300294876, + "Нет": 0.8116676807403564 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.", + "span1_index": 1, + "span1_text": "Дик", + "span2_index": 14, + "span2_text": "он был там" + }, + "outputs": "Нет", + "meta": { + "id": 25 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Дик\" и второй фрагмент: \"он был там\" - определи, относится ли первый фрагмент ко второму в тексте: \"Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 782, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1768260896205902, + "Нет": 0.7924795150756836 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.", + "span1_index": 4, + "span1_text": "государственному чиновнику", + "span2_index": 40, + "span2_text": "им" + }, + "outputs": "Нет", + "meta": { + "id": 26 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Бернард, который не сказал государственному чиновнику, что ему было меньше 21 года, когда он подал иск о поместье, не считал, что сделал что-то нечестное. Тем не менее, любой, кто знал, что ему было 19 лет, мог забрать у него востребованное им.\"\nВ тексте фрагмент \"им\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"государственному чиновнику\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 738, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.2998065948486328, + "Нет": 0.5601124167442322 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Каждый день после обеда мистер Шмидт долго дремал. Марк давал ему поспать в течение часа, затем будил его, ругал его и заставлял его работать. Ему нужно было заставить его закончить свою работу, потому что его работа была прекрасной.", + "span1_index": 8, + "span1_text": "Марк", + "span2_index": 24, + "span2_text": "Ему нужно было" + }, + "outputs": "Да", + "meta": { + "id": 27 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Каждый день после обеда мистер Шмидт долго дремал. Марк давал ему поспать в течение часа, затем будил его, ругал его и заставлял его работать. Ему нужно было заставить его закончить свою работу, потому что его работа была прекрасной.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"Марк\"\n2-е выражение: \"Ему нужно было\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 781, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.21588708460330963, + "Нет": 0.7535198926925659 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.", + "span1_index": 1, + "span1_text": "Дик", + "span2_index": 14, + "span2_text": "он взревел" + }, + "outputs": "Да", + "meta": { + "id": 28 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Однажды Дик дразнил жеребят и не знал, что хозяин был на соседнем поле; но он был там, наблюдая за происходящим; он перепрыгнул через изгородь одним махом и, схватив Дика за руку, ударил его так сильно, что он взревел от боли и удивления.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"он взревел\" на слово/словосочетание \"Дик\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 739, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.21730348467826843, + "Нет": 0.7584636807441711 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Каждый день после обеда мистер Шмидт долго дремал. Марк давал ему поспать в течение часа, затем будил его, ругал его и заставлял его работать. Ему нужно было заставить его закончить свою работу, потому что его работа была прекрасной.", + "span1_index": 4, + "span1_text": "мистер Шмидт", + "span2_index": 24, + "span2_text": "Ему нужно было" + }, + "outputs": "Нет", + "meta": { + "id": 29 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Каждый день после обеда мистер Шмидт долго дремал. Марк давал ему поспать в течение часа, затем будил его, ругал его и заставлял его работать. Ему нужно было заставить его закончить свою работу, потому что его работа была прекрасной.\"\nПостарайся определить, относится ли здесь \"Ему нужно было\" к \"мистер Шмидт\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 863, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.33819469809532166, + "Нет": 0.6318308711051941 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.", + "span1_index": 33, + "span1_text": "новости", + "span2_index": 13, + "span2_text": "их матери" + }, + "outputs": "Нет", + "meta": { + "id": 30 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"их матери\" к объекту фрагмента \"новости\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 733, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.21678803861141205, + "Нет": 0.7566645741462708 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Лавочники оставались в городе, чтобы управлять своими магазинчиками, и жили в комнатах позади них.", + "span1_index": 0, + "span1_text": "Лавочники", + "span2_index": 13, + "span2_text": "них" + }, + "outputs": "Нет", + "meta": { + "id": 31 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Лавочники оставались в городе, чтобы управлять своими магазинчиками, и жили в комнатах позади них.\"\nОбъект из текста: \"Лавочники\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"них\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 703, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.21676519513130188, + "Нет": 0.7565848231315613 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Каждый день после обеда мистер Шмидт долго дремал. Марк давал ему поспать в течение часа, затем будил его, ругал его и заставлял его работать. Ему нужно было заставить его закончить свою работу, потому что его работа была прекрасной.", + "span1_index": 4, + "span1_text": "мистер Шмидт", + "span2_index": 17, + "span2_text": "его работа" + }, + "outputs": "Да", + "meta": { + "id": 32 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"мистер Шмидт\" и \"его работа\". Текст: \"Каждый день после обеда мистер Шмидт долго дремал. Марк давал ему поспать в течение часа, затем будил его, ругал его и заставлял его работать. Ему нужно было заставить его закончить свою работу, потому что его работа была прекрасной.\" Ответь, относится ли \"его работа\" к \"мистер Шмидт\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 727, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.19579413533210754, + "Нет": 0.7743808031082153 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.", + "span1_index": 6, + "span1_text": "Артура и Селесту", + "span2_index": 13, + "span2_text": "их матери" + }, + "outputs": "Да", + "meta": { + "id": 33 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Между тем, в лесу слоны зовут Артура и Селесту и ищут повсюду, а их матери очень волнуются. К счастью, пролетая над городом, старая птица марабу их увидела и быстро полетела назад, чтобы сообщить новости.\"\nФрагменты из этого текста: \"Артура и Селесту\" и \"их матери\".\nОтвет:", + "info": { + "prompt_len": 744, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2390163391828537, + "Нет": 0.7362221479415894 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 0, + "span1_text": "Матери", + "span2_index": 9, + "span2_text": "их вернули" + }, + "outputs": "Нет", + "meta": { + "id": 34 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nФрагменты из этого текста: \"Матери\" и \"их вернули\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 729, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.14419806003570557, + "Нет": 0.8298025727272034 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.", + "span1_index": 5, + "span1_text": "мистера Сингера", + "span2_index": 7, + "span2_text": "Он слышал" + }, + "outputs": "Нет", + "meta": { + "id": 35 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"мистера Сингера\" и второй фрагмент: \"Он слышал\" - определи, относится ли первый фрагмент ко второму в тексте: \"Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 788, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.26058581471443176, + "Нет": 0.7083456516265869 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Пони вел себя хорошо, сэр, и не показывал никаких пороков; но под конец он просто вскинул копыта и толкнул молодого джентльмена в изгородь из терна. Он хотел, чтобы я выручил его, но я надеюсь, вы извините меня, сэр, я не чувствовал склонности к этому.", + "span1_index": 19, + "span1_text": "молодого джентльмена", + "span2_index": 25, + "span2_text": "Он хотел" + }, + "outputs": "Да", + "meta": { + "id": 36 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Пони вел себя хорошо, сэр, и не показывал никаких пороков; но под конец он просто вскинул копыта и толкнул молодого джентльмена в изгородь из терна. Он хотел, чтобы я выручил его, но я надеюсь, вы извините меня, сэр, я не чувствовал склонности к этому.\"\nВ тексте фрагмент \"Он хотел\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"молодого джентльмена\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 744, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.32270920276641846, + "Нет": 0.532057523727417 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 19, + "span1_text": "хозяину", + "span2_index": 15, + "span2_text": "ему больше не разрешается" + }, + "outputs": "Нет", + "meta": { + "id": 37 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"хозяину\"\n2-е выражение: \"ему больше не разрешается\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 856, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.160492941737175, + "Нет": 0.815050482749939 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 7, + "span1_text": "нового грума", + "span2_index": 35, + "span2_text": "его ремесло" + }, + "outputs": "Нет", + "meta": { + "id": 38 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"его ремесло\" на слово/словосочетание \"нового грума\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 737, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.13010473549365997, + "Нет": 0.8483893871307373 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.", + "span1_index": 3, + "span1_text": "пони", + "span2_index": 10, + "span2_text": "его сбросил" + }, + "outputs": "Нет", + "meta": { + "id": 39 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.\"\nПостарайся определить, относится ли здесь \"его сбросил\" к \"пони\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 848, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.21677251160144806, + "Нет": 0.7566103935241699 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 0, + "span1_text": "Бабар", + "span2_index": 4, + "span2_text": "он дает" + }, + "outputs": "Нет", + "meta": { + "id": 40 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"он дает\" к объекту фрагмента \"Бабар\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 737, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2390720397233963, + "Нет": 0.7363937497138977 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Так Марк и спал. Было уже светло, когда он проснулся с рукой Уоррена на его плече.", + "span1_index": 12, + "span1_text": "Уоррена", + "span2_index": 14, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 41 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Так Марк и спал. Было уже светло, когда он проснулся с рукой Уоррена на его плече.\"\nОбъект из текста: \"Уоррена\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 704, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.16029003262519836, + "Нет": 0.8140199780464172 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 19, + "span1_text": "старый кучер", + "span2_index": 35, + "span2_text": "его ремесло" + }, + "outputs": "Да", + "meta": { + "id": 42 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"старый кучер\" и \"его ремесло\". Текст: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\" Ответь, относится ли \"его ремесло\" к \"старый кучер\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 745, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.23696786165237427, + "Нет": 0.7299124002456665 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Равно надоедлив и Си Кей Декстер Хэвен, бледный молодой денди, держащий трость с нефритовой ручкой, с пуделем, спящим у его ног.", + "span1_index": 3, + "span1_text": "Си Кей Декстер Хэвен", + "span2_index": 19, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 43 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Равно надоедлив и Си Кей Декстер Хэвен, бледный молодой денди, держащий трость с нефритовой ручкой, с пуделем, спящим у его ног.\"\nФрагменты из этого текста: \"Си Кей Декстер Хэвен\" и \"его\".\nОтвет:", + "info": { + "prompt_len": 733, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2169007956981659, + "Нет": 0.7570581436157227 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 0, + "span1_text": "Сэр Клиффорд", + "span2_index": 35, + "span2_text": "его ремесло" + }, + "outputs": "Нет", + "meta": { + "id": 44 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\"\nФрагменты из этого текста: \"Сэр Клиффорд\" и \"его ремесло\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 761, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.12977933883666992, + "Нет": 0.846267580986023 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Лайонел держит в плену ученого, доктора Варди, который изобрел устройство, превращающее животных в невидимых; Лайонел планирует использовать его на Джеффри и отправить его украсть ядерный материал из армейского хранилища.", + "span1_index": 0, + "span1_text": "Лайонел", + "span2_index": 17, + "span2_text": "его украсть" + }, + "outputs": "Нет", + "meta": { + "id": 45 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Лайонел\" и второй фрагмент: \"его украсть\" - определи, относится ли первый фрагмент ко второму в тексте: \"Лайонел держит в плену ученого, доктора Варди, который изобрел устройство, превращающее животных в невидимых; Лайонел планирует использовать его на Джеффри и отправить его украсть ядерный материал из армейского хранилища.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 764, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.1772909313440323, + "Нет": 0.794562816619873 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Все пуговицы на спине клетчатого платья Доры были застегнуты снаружи вовнутрь. Мод следовало бы подумать о том, чтобы привести ее в порядок, но нет, она оставила бедную маленькую Дору делать все, на что она способна, в одиночку.", + "span1_index": 28, + "span1_text": "Дору", + "span2_index": 24, + "span2_text": "она способна" + }, + "outputs": "Да", + "meta": { + "id": 46 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Все пуговицы на спине клетчатого платья Доры были застегнуты снаружи вовнутрь. Мод следовало бы подумать о том, чтобы привести ее в порядок, но нет, она оставила бедную маленькую Дору делать все, на что она способна, в одиночку.\"\nВ тексте фрагмент \"она способна\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"Дору\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 728, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2070562094449997, + "Нет": 0.6789112091064453 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Стол ломился от еды, а на полу рядом с ним стояли глиняные кувшины, корзины и пятилитровое ведро молока.", + "span1_index": 6, + "span1_text": "полу", + "span2_index": 9, + "span2_text": "ним" + }, + "outputs": "Нет", + "meta": { + "id": 47 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Стол ломился от еды, а на полу рядом с ним стояли глиняные кувшины, корзины и пятилитровое ведро молока.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"полу\"\n2-е выражение: \"ним\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 759, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.16021870076656342, + "Нет": 0.8136577606201172 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.", + "span1_index": 0, + "span1_text": "Марк", + "span2_index": 37, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 48 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"его\" на слово/словосочетание \"Марк\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 741, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1446678638458252, + "Нет": 0.8325061202049255 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Вы полагаете, что Питер виноват в болезни капитана? Может быть, он подкупил повара, чтобы положить что-то в его еду.", + "span1_index": 3, + "span1_text": "Питер", + "span2_index": 17, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 49 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Вы полагаете, что Питер виноват в болезни капитана? Может быть, он подкупил повара, чтобы положить что-то в его еду.\"\nПостарайся определить, относится ли здесь \"его\" к \"Питер\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 837, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.28554847836494446, + "Нет": 0.684995174407959 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "На вывесках над дверями лавочек были изображения, показывающие, какого рода работы выполняют внутри. Хотя все больше людей учились читать, каждый ремесленник все еще использовал такие знаки, не желая потерять возможного клиента только потому, что он оказался неграмотным.", + "span1_index": 30, + "span1_text": "клиента", + "span2_index": 34, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 50 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"На вывесках над дверями лавочек были изображения, показывающие, какого рода работы выполняют внутри. Хотя все больше людей учились читать, каждый ремесленник все еще использовал такие знаки, не желая потерять возможного клиента только потому, что он оказался неграмотным.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"он\" к объекту фрагмента \"клиента\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 734, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.23902437090873718, + "Нет": 0.7362468838691711 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мать Эммы давно умерла, и ее образованием заправляла женщина-совершенство в качестве гувернантки.", + "span1_index": 0, + "span1_text": "Мать", + "span2_index": 5, + "span2_text": "ее" + }, + "outputs": "Нет", + "meta": { + "id": 51 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Мать Эммы давно умерла, и ее образованием заправляла женщина-совершенство в качестве гувернантки.\"\nОбъект из текста: \"Мать\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"ее\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 706, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.14482679963111877, + "Нет": 0.8334207534790039 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "В одном Марк был уверен. Гарри знал гораздо меньше, чем он.", + "span1_index": 5, + "span1_text": "Гарри", + "span2_index": 10, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 52 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"Гарри\" и \"он\". Текст: \"В одном Марк был уверен. Гарри знал гораздо меньше, чем он.\" Ответь, относится ли \"он\" к \"Гарри\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 686, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.21518027782440186, + "Нет": 0.751052975654602 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Вы полагаете, что Питер виноват в болезни капитана? Может быть, он подкупил повара, чтобы положить что-то в его еду.", + "span1_index": 7, + "span1_text": "капитана", + "span2_index": 17, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 53 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Вы полагаете, что Питер виноват в болезни капитана? Может быть, он подкупил повара, чтобы положить что-то в его еду.\"\nФрагменты из этого текста: \"капитана\" и \"его\".\nОтвет:", + "info": { + "prompt_len": 719, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1294914036989212, + "Нет": 0.8443899750709534 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Как насчет того раза, когда вы нарезали луковицы тюльпанов в гамбургеры, потому что вы думали, что они были луком?", + "span1_index": 10, + "span1_text": "гамбургеры", + "span2_index": 16, + "span2_text": "они" + }, + "outputs": "Нет", + "meta": { + "id": 54 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Как насчет того раза, когда вы нарезали луковицы тюльпанов в гамбургеры, потому что вы думали, что они были луком?\"\nФрагменты из этого текста: \"гамбургеры\" и \"они\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 723, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.1596817821264267, + "Нет": 0.8109310269355774 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мои родители умерли, я не зарабатывал достаточно, чтобы содержать себя или свою искалеченную сестру Нелли, и без нашей доброй покровительницы мы пошли бы в богадельню. Нелли называет ее своим ангелом, и она имеет полное право на это.", + "span1_index": 20, + "span1_text": "покровительницы", + "span2_index": 28, + "span2_text": "ее" + }, + "outputs": "Да", + "meta": { + "id": 55 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"покровительницы\" и второй фрагмент: \"ее\" - определи, относится ли первый фрагмент ко второму в тексте: \"Когда мои родители умерли, я не зарабатывал достаточно, чтобы содержать себя или свою искалеченную сестру Нелли, и без нашей доброй покровительницы мы пошли бы в богадельню. Нелли называет ее своим ангелом, и она имеет полное право на это.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 771, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.17695015668869019, + "Нет": 0.7930355668067932 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 19, + "span1_text": "хозяину", + "span2_index": 57, + "span2_text": "он больше не наказывал" + }, + "outputs": "Да", + "meta": { + "id": 56 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nВ тексте фрагмент \"он больше не наказывал\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"хозяину\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 797, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.2850980758666992, + "Нет": 0.5669852495193481 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 19, + "span1_text": "хозяину", + "span2_index": 43, + "span2_text": "его таким злым" + }, + "outputs": "Да", + "meta": { + "id": 57 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"хозяину\"\n2-е выражение: \"его таким злым\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 854, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.3668382465839386, + "Нет": 0.6048140525817871 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мама подошла и села рядом с Алисой. Она нежно погладила ее волосы и позволила ребенку выплакаться.", + "span1_index": 6, + "span1_text": "Алисой", + "span2_index": 7, + "span2_text": "Она" + }, + "outputs": "Нет", + "meta": { + "id": 58 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Мама подошла и села рядом с Алисой. Она нежно погладила ее волосы и позволила ребенку выплакаться.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"Она\" на слово/словосочетание \"Алисой\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 694, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.0933777317404747, + "Нет": 0.8859432935714722 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я пошел и съел немного салата, скорее чтобы скоротать время, а не потому, что мне его хотелось.", + "span1_index": 9, + "span1_text": "время", + "span2_index": 15, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 59 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Я пошел и съел немного салата, скорее чтобы скоротать время, а не потому, что мне его хотелось.\"\nПостарайся определить, относится ли здесь \"его\" к \"время\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 830, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.3104683458805084, + "Нет": 0.6572614312171936 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мой хозяин и хозяйка решили навестить друзей, которые жили в сорока шести милях от нашего дома, и Джеймс должен был отвезти их.", + "span1_index": 1, + "span1_text": "хозяин и хозяйка", + "span2_index": 21, + "span2_text": "их" + }, + "outputs": "Да", + "meta": { + "id": 60 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Мой хозяин и хозяйка решили навестить друзей, которые жили в сорока шести милях от нашего дома, и Джеймс должен был отвезти их.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"их\" к объекту фрагмента \"хозяин и хозяйка\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 715, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2173980325460434, + "Нет": 0.7587936520576477 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.", + "span1_index": 12, + "span1_text": "Джон", + "span2_index": 10, + "span2_text": "его сбросил" + }, + "outputs": "Нет", + "meta": { + "id": 61 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.\"\nОбъект из текста: \"Джон\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его сбросил\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 722, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.07421179115772247, + "Нет": 0.9040847420692444 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Затем он взял кусок железа по форме копыта лошади, с улыбкой приложил к нему и вогнал несколько гвоздей сквозь подкову в копыто так, чтобы она сидела прочно.", + "span1_index": 10, + "span1_text": "улыбкой", + "span2_index": 24, + "span2_text": "она" + }, + "outputs": "Нет", + "meta": { + "id": 62 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"улыбкой\" и \"она\". Текст: \"Затем он взял кусок железа по форме копыта лошади, с улыбкой приложил к нему и вогнал несколько гвоздей сквозь подкову в копыто так, чтобы она сидела прочно.\" Ответь, относится ли \"она\" к \"улыбкой\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 712, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.1955581158399582, + "Нет": 0.7734473347663879 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 0, + "span1_text": "Сэр Клиффорд", + "span2_index": 18, + "span2_text": "Его старый кучер" + }, + "outputs": "Да", + "meta": { + "id": 63 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\"\nФрагменты из этого текста: \"Сэр Клиффорд\" и \"Его старый кучер\".\nОтвет:", + "info": { + "prompt_len": 762, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.19656580686569214, + "Нет": 0.7774328589439392 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 6, + "span1_text": "Билли", + "span2_index": 43, + "span2_text": "его таким злым" + }, + "outputs": "Нет", + "meta": { + "id": 64 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nФрагменты из этого текста: \"Билли\" и \"его таким злым\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 814, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.16039180755615234, + "Нет": 0.8145368695259094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.", + "span1_index": 1, + "span1_text": "Татьяна", + "span2_index": 5, + "span2_text": "ее не побеспокоить" + }, + "outputs": "Нет", + "meta": { + "id": 65 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Татьяна\" и второй фрагмент: \"ее не побеспокоить\" - определи, относится ли первый фрагмент ко второму в тексте: \"Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 762, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.12949666380882263, + "Нет": 0.844424307346344 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк слышал, как ноги Стива топочут вниз по лестнице. Дверь мастерской закрылась за ним. Он подбежал посмотреть в окно.", + "span1_index": 4, + "span1_text": "Стива", + "span2_index": 13, + "span2_text": "ним" + }, + "outputs": "Да", + "meta": { + "id": 66 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Марк слышал, как ноги Стива топочут вниз по лестнице. Дверь мастерской закрылась за ним. Он подбежал посмотреть в окно.\"\nВ тексте фрагмент \"ним\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"Стива\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 698, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.30495524406433105, + "Нет": 0.5697313547134399 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.", + "span1_index": 6, + "span1_text": "мать", + "span2_index": 5, + "span2_text": "ее узкую койку" + }, + "outputs": "Нет", + "meta": { + "id": 67 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"мать\"\n2-е выражение: \"ее узкую койку\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 776, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.21658942103385925, + "Нет": 0.7559713125228882 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Уэйнрайты обращались с мистером Кроули, как с принцем, пока он не изменил свое завещание в их пользу; тогда они стали обращаться с ним, как с грязью. Люди говорили, что он умер, только чтобы избавиться от их вечного нытья.", + "span1_index": 26, + "span1_text": "Люди", + "span2_index": 15, + "span2_text": "их вечного нытья" + }, + "outputs": "Нет", + "meta": { + "id": 68 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Уэйнрайты обращались с мистером Кроули, как с принцем, пока он не изменил свое завещание в их пользу; тогда они стали обращаться с ним, как с грязью. Люди говорили, что он умер, только чтобы избавиться от их вечного нытья.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их вечного нытья\" на слово/словосочетание \"Люди\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 730, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1964113414287567, + "Нет": 0.7768219113349915 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "На вывесках над дверями лавочек были изображения, показывающие, какого рода работы выполняют внутри. Хотя все больше людей учились читать, каждый ремесленник все еще использовал такие знаки, не желая потерять возможного клиента только потому, что он оказался неграмотным.", + "span1_index": 20, + "span1_text": "ремесленник", + "span2_index": 34, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 69 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"На вывесках над дверями лавочек были изображения, показывающие, какого рода работы выполняют внутри. Хотя все больше людей учились читать, каждый ремесленник все еще использовал такие знаки, не желая потерять возможного клиента только потому, что он оказался неграмотным.\"\nПостарайся определить, относится ли здесь \"он\" к \"ремесленник\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 863, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.25958043336868286, + "Нет": 0.7056126594543457 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 19, + "span1_text": "хозяину", + "span2_index": 15, + "span2_text": "ему крылья" + }, + "outputs": "Да", + "meta": { + "id": 70 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"ему крылья\" к объекту фрагмента \"хозяину\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 807, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.19672207534313202, + "Нет": 0.7780508995056152 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.", + "span1_index": 3, + "span1_text": "пони", + "span2_index": 10, + "span2_text": "его как надо" + }, + "outputs": "Да", + "meta": { + "id": 71 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.\"\nОбъект из текста: \"пони\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его как надо\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 722, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.17813846468925476, + "Нет": 0.7983612418174744 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.", + "span1_index": 0, + "span1_text": "Марк", + "span2_index": 7, + "span2_text": "Он слышал" + }, + "outputs": "Да", + "meta": { + "id": 72 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"Марк\" и \"Он слышал\". Текст: \"Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.\" Ответь, относится ли \"Он слышал\" к \"Марк\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 746, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.15919674932956696, + "Нет": 0.8084678053855896 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Затем он взял кусок железа по форме копыта лошади, с улыбкой приложил к нему и вогнал несколько гвоздей сквозь подкову в копыто так, чтобы она сидела прочно.", + "span1_index": 6, + "span1_text": "форме", + "span2_index": 24, + "span2_text": "она" + }, + "outputs": "Нет", + "meta": { + "id": 73 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Затем он взял кусок железа по форме копыта лошади, с улыбкой приложил к нему и вогнал несколько гвоздей сквозь подкову в копыто так, чтобы она сидела прочно.\"\nФрагменты из этого текста: \"форме\" и \"она\".\nОтвет:", + "info": { + "prompt_len": 726, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.17755648493766785, + "Нет": 0.7957529425621033 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 0, + "span1_text": "Бабар", + "span2_index": 4, + "span2_text": "он любит" + }, + "outputs": "Нет", + "meta": { + "id": 74 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nФрагменты из этого текста: \"Бабар\" и \"он любит\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 745, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.19650599360466003, + "Нет": 0.7771962881088257 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 1, + "span1_text": "Артура и Селесты", + "span2_index": 9, + "span2_text": "их вернули" + }, + "outputs": "Да", + "meta": { + "id": 75 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Артура и Селесты\" и второй фрагмент: \"их вернули\" - определи, относится ли первый фрагмент ко второму в тексте: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 755, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.07422303408384323, + "Нет": 0.9042216539382935 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.", + "span1_index": 0, + "span1_text": "Мальчик", + "span2_index": 10, + "span2_text": "его сбросил" + }, + "outputs": "Да", + "meta": { + "id": 76 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.\"\nВ тексте фрагмент \"его сбросил\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"Мальчик\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 710, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.3987157940864563, + "Нет": 0.45180419087409973 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Грант усердно трудился, чтобы собрать свои бобы, так что ему и его семье было достаточно еды на эту зиму. Его друг Генри позволил ему складывать их в своем сарае, где они будут сушиться. Позже он и Татьяна собирались их шелушить и готовить их для их воскресных обедов.", + "span1_index": 6, + "span1_text": "бобы", + "span2_index": 25, + "span2_text": "их воскресных обедов" + }, + "outputs": "Нет", + "meta": { + "id": 77 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Грант усердно трудился, чтобы собрать свои бобы, так что ему и его семье было достаточно еды на эту зиму. Его друг Генри позволил ему складывать их в своем сарае, где они будут сушиться. Позже он и Татьяна собирались их шелушить и готовить их для их воскресных обедов.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"бобы\"\n2-е выражение: \"их воскресных обедов\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 796, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.2859843969345093, + "Нет": 0.6860409379005432 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.", + "span1_index": 1, + "span1_text": "мистер Бонд", + "span2_index": 15, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 78 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"он\" на слово/словосочетание \"мистер Бонд\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 715, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.1606830209493637, + "Нет": 0.8160157799720764 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 0, + "span1_text": "Бабар", + "span2_index": 34, + "span2_text": "ему" + }, + "outputs": "Да", + "meta": { + "id": 79 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nПостарайся определить, относится ли здесь \"ему\" к \"Бабар\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 863, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.23839238286018372, + "Нет": 0.7343002557754517 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Затем он взял кусок железа по форме копыта лошади, с улыбкой приложил к нему и вогнал несколько гвоздей сквозь подкову в копыто так, чтобы она сидела прочно.", + "span1_index": 19, + "span1_text": "подкову", + "span2_index": 24, + "span2_text": "она" + }, + "outputs": "Да", + "meta": { + "id": 80 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Затем он взял кусок железа по форме копыта лошади, с улыбкой приложил к нему и вогнал несколько гвоздей сквозь подкову в копыто так, чтобы она сидела прочно.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"она\" к объекту фрагмента \"подкову\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 719, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.33878013491630554, + "Нет": 0.6329246163368225 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 8, + "span1_text": "Нелли", + "span2_index": 9, + "span2_text": "она посылала" + }, + "outputs": "Нет", + "meta": { + "id": 81 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nОбъект из текста: \"Нелли\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она посылала\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 748, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.14456699788570404, + "Нет": 0.8319256901741028 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сержант Холмс попросил девушек описать злоумышленника. Нэнси не только дала полицейскому отличное описание грузного тридцатилетнего грабителя, но и нарисовала грубый набросок его лица.", + "span1_index": 15, + "span1_text": "грабителя", + "span2_index": 21, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 82 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"грабителя\" и \"его\". Текст: \"Сержант Холмс попросил девушек описать злоумышленника. Нэнси не только дала полицейскому отличное описание грузного тридцатилетнего грабителя, но и нарисовала грубый набросок его лица.\" Ответь, относится ли \"его\" к \"грабителя\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 712, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.2366042584180832, + "Нет": 0.7287924289703369 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 0, + "span1_text": "Матери", + "span2_index": 10, + "span2_text": "Они очень рады" + }, + "outputs": "Да", + "meta": { + "id": 83 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nФрагменты из этого текста: \"Матери\" и \"Они очень рады\".\nОтвет:", + "info": { + "prompt_len": 728, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2849664092063904, + "Нет": 0.6835988759994507 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 1, + "span1_text": "покровительница", + "span2_index": 11, + "span2_text": "ей работу" + }, + "outputs": "Нет", + "meta": { + "id": 84 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nФрагменты из этого текста: \"покровительница\" и \"ей работу\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 756, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.17729690670967102, + "Нет": 0.7945895791053772 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Политики в далеком Вашингтоне не могли знать поселенцев, поэтому они должны были установить правила для управления ими.", + "span1_index": 0, + "span1_text": "Политики", + "span2_index": 9, + "span2_text": "они" + }, + "outputs": "Да", + "meta": { + "id": 85 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Политики\" и второй фрагмент: \"они\" - определи, относится ли первый фрагмент ко второму в тексте: \"Политики в далеком Вашингтоне не могли знать поселенцев, поэтому они должны были установить правила для управления ими.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 736, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.11625570803880692, + "Нет": 0.859019935131073 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Стол ломился от еды, а на полу рядом с ним стояли глиняные кувшины, корзины и пятилитровое ведро молока.", + "span1_index": 16, + "span1_text": "ведро", + "span2_index": 9, + "span2_text": "ним" + }, + "outputs": "Нет", + "meta": { + "id": 86 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Стол ломился от еды, а на полу рядом с ним стояли глиняные кувшины, корзины и пятилитровое ведро молока.\"\nВ тексте фрагмент \"ним\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"ведро\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 701, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.33232828974723816, + "Нет": 0.5147201418876648 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 12, + "span1_text": "богатый старик", + "span2_index": 4, + "span2_text": "он жаждет" + }, + "outputs": "Нет", + "meta": { + "id": 87 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"богатый старик\"\n2-е выражение: \"он жаждет\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 787, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.11614445596933365, + "Нет": 0.8581978678703308 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Татьяна знала, что бабушке всегда нравилось угощать гостей ее большого дома множеством разной еды. Теперь Татьяна наблюдала, как бабушка взяла маленькую маму Татьяны в широкие тощие объятия, а затем подтолкнула ее к столу, сняла платок с плеч, усадила ее на почетное место и сказала просто: \"Там побольше\".", + "span1_index": 0, + "span1_text": "Татьяна", + "span2_index": 8, + "span2_text": "ее к столу" + }, + "outputs": "Нет", + "meta": { + "id": 88 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Татьяна знала, что бабушке всегда нравилось угощать гостей ее большого дома множеством разной еды. Теперь Татьяна наблюдала, как бабушка взяла маленькую маму Татьяны в широкие тощие объятия, а затем подтолкнула ее к столу, сняла платок с плеч, усадила ее на почетное место и сказала просто: \"Там побольше\".\"\nОпредели, ссылается ли местоимение в фрагменте текста \"ее к столу\" на слово/словосочетание \"Татьяна\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 745, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.19691482186317444, + "Нет": 0.7788131833076477 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.", + "span1_index": 1, + "span1_text": "Татьяна", + "span2_index": 9, + "span2_text": "Она" + }, + "outputs": "Да", + "meta": { + "id": 89 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.\"\nПостарайся определить, относится ли здесь \"Она\" к \"Татьяна\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 853, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.26070553064346313, + "Нет": 0.708670973777771 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 0, + "span1_text": "Матери", + "span2_index": 17, + "span2_text": "они убежали" + }, + "outputs": "Нет", + "meta": { + "id": 90 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"они убежали\" к объекту фрагмента \"Матери\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 721, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.26117438077926636, + "Нет": 0.7099454998970032 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Никто не присоединяется к Facebook, чтобы быть грустным и одиноким. Но новое исследование психолога Университета Висконсина Джорджа Линкольна утверждает, что именно такими он и заставляет нас себя чувствовать.", + "span1_index": 16, + "span1_text": "Джорджа Линкольна", + "span2_index": 22, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 91 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Никто не присоединяется к Facebook, чтобы быть грустным и одиноким. Но новое исследование психолога Университета Висконсина Джорджа Линкольна утверждает, что именно такими он и заставляет нас себя чувствовать.\"\nОбъект из текста: \"Джорджа Линкольна\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"он\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 727, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.1966639757156372, + "Нет": 0.7778211236000061 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Вы полагаете, что Питер виноват в болезни капитана? Может быть, он подкупил повара, чтобы положить что-то в его еду.", + "span1_index": 3, + "span1_text": "Питер", + "span2_index": 10, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 92 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"Питер\" и \"он\". Текст: \"Вы полагаете, что Питер виноват в болезни капитана? Может быть, он подкупил повара, чтобы положить что-то в его еду.\" Ответь, относится ли \"он\" к \"Питер\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 700, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1432107388973236, + "Нет": 0.8241209983825684 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Политики в далеком Вашингтоне не могли знать поселенцев, поэтому они должны были установить правила для управления ими.", + "span1_index": 7, + "span1_text": "поселенцев", + "span2_index": 9, + "span2_text": "они" + }, + "outputs": "Нет", + "meta": { + "id": 93 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Политики в далеком Вашингтоне не могли знать поселенцев, поэтому они должны были установить правила для управления ими.\"\nФрагменты из этого текста: \"поселенцев\" и \"они\".\nОтвет:", + "info": { + "prompt_len": 714, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.2166796624660492, + "Нет": 0.7562862634658813 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 12, + "span1_text": "богатый старик", + "span2_index": 4, + "span2_text": "он дает" + }, + "outputs": "Да", + "meta": { + "id": 94 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nФрагменты из этого текста: \"богатый старик\" и \"он дает\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 747, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.1441638469696045, + "Нет": 0.8296056985855103 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Уэйнрайты обращались с мистером Кроули, как с принцем, пока он не изменил свое завещание в их пользу; тогда они стали обращаться с ним, как с грязью. Люди говорили, что он умер, только чтобы избавиться от их вечного нытья.", + "span1_index": 0, + "span1_text": "Уэйнрайты", + "span2_index": 15, + "span2_text": "их вечного нытья" + }, + "outputs": "Да", + "meta": { + "id": 95 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Уэйнрайты\" и второй фрагмент: \"их вечного нытья\" - определи, относится ли первый фрагмент ко второму в тексте: \"Уэйнрайты обращались с мистером Кроули, как с принцем, пока он не изменил свое завещание в их пользу; тогда они стали обращаться с ним, как с грязью. Люди говорили, что он умер, только чтобы избавиться от их вечного нытья.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 777, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.21614587306976318, + "Нет": 0.754423201084137 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 1, + "span1_text": "Артура и Селесты", + "span2_index": 17, + "span2_text": "они убежали" + }, + "outputs": "Да", + "meta": { + "id": 96 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nВ тексте фрагмент \"они убежали\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"Артура и Селесты\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 712, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.41619282960891724, + "Нет": 0.41619282960891724 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 1, + "span1_text": "покровительница", + "span2_index": 11, + "span2_text": "ей от себя обеды" + }, + "outputs": "Нет", + "meta": { + "id": 97 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"покровительница\"\n2-е выражение: \"ей от себя обеды\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 797, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Да" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.3109089434146881, + "Нет": 0.6581941843032837 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 8, + "span1_text": "Нелли", + "span2_index": 11, + "span2_text": "ей работу" + }, + "outputs": "Да", + "meta": { + "id": 98 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"ей работу\" на слово/словосочетание \"Нелли\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 733, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.19680778682231903, + "Нет": 0.7783898711204529 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 19, + "span1_text": "старый кучер", + "span2_index": 35, + "span2_text": "его место" + }, + "outputs": "Да", + "meta": { + "id": 99 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\"\nПостарайся определить, относится ли здесь \"его место\" к \"старый кучер\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 877, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.21605812013149261, + "Нет": 0.7541168928146362 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я попросил Дэйва принести мне куртку с другой стороны яхты. Пока его не было, я положил руку на лебедку, и она внезапно подалась вперед.", + "span1_index": 9, + "span1_text": "яхты", + "span2_index": 20, + "span2_text": "она" + }, + "outputs": "Нет", + "meta": { + "id": 100 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Я попросил Дэйва принести мне куртку с другой стороны яхты. Пока его не было, я положил руку на лебедку, и она внезапно подалась вперед.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"она\" к объекту фрагмента \"яхты\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 717, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.21610239148139954, + "Нет": 0.7542714476585388 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 1, + "span1_text": "покровительница", + "span2_index": 9, + "span2_text": "она еще была способна" + }, + "outputs": "Нет", + "meta": { + "id": 101 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nОбъект из текста: \"покровительница\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она еще была способна\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 750, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.06631015986204147, + "Нет": 0.9153834581375122 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Еще до того, как они достигли города, они услышали звук, похожий на треск попкорна. Он напугал Дору, и та спросила, что это, а папа ответил, что это петарды.", + "span1_index": 6, + "span1_text": "города", + "span2_index": 14, + "span2_text": "Он" + }, + "outputs": "Нет", + "meta": { + "id": 102 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"города\" и \"Он\". Текст: \"Еще до того, как они достигли города, они услышали звук, похожий на треск попкорна. Он напугал Дору, и та спросила, что это, а папа ответил, что это петарды.\" Ответь, относится ли \"Он\" к \"города\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 717, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2581644058227539, + "Нет": 0.7017635703086853 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Каждый день после обеда мистер Шмидт долго дремал. Марк давал ему поспать в течение часа, затем будил его, ругал его и заставлял его работать. Ему нужно было заставить его закончить свою работу, потому что его работа была прекрасной.", + "span1_index": 8, + "span1_text": "Марк", + "span2_index": 17, + "span2_text": "его работа" + }, + "outputs": "Нет", + "meta": { + "id": 103 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Каждый день после обеда мистер Шмидт долго дремал. Марк давал ему поспать в течение часа, затем будил его, ругал его и заставлял его работать. Ему нужно было заставить его закончить свою работу, потому что его работа была прекрасной.\"\nФрагменты из этого текста: \"Марк\" и \"его работа\".\nОтвет:", + "info": { + "prompt_len": 740, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.19642171263694763, + "Нет": 0.7768629193305969 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 0, + "span1_text": "Матери", + "span2_index": 17, + "span2_text": "они также ругают" + }, + "outputs": "Да", + "meta": { + "id": 104 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nФрагменты из этого текста: \"Матери\" и \"они также ругают\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 730, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.14410194754600525, + "Нет": 0.8292495608329773 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Как насчет того раза, когда вы нарезали луковицы тюльпанов в гамбургеры, потому что вы думали, что они были луком?", + "span1_index": 7, + "span1_text": "луковицы тюльпанов", + "span2_index": 16, + "span2_text": "они" + }, + "outputs": "Да", + "meta": { + "id": 105 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"луковицы тюльпанов\" и второй фрагмент: \"они\" - определи, относится ли первый фрагмент ко второму в тексте: \"Как насчет того раза, когда вы нарезали луковицы тюльпанов в гамбургеры, потому что вы думали, что они были луком?\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 749, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.12925542891025543, + "Нет": 0.8428512215614319 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мы видели мальчика, пытающегося заставить пони перепрыгнуть через ворота; пони не стал прыгать, и мальчик стегнул его кнутом, но он только снова повернул в сторону.", + "span1_index": 2, + "span1_text": "мальчика", + "span2_index": 19, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 106 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Мы видели мальчика, пытающегося заставить пони перепрыгнуть через ворота; пони не стал прыгать, и мальчик стегнул его кнутом, но он только снова повернул в сторону.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"мальчика\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 706, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.4113768935203552, + "Нет": 0.43790844082832336 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Грант усердно трудился, чтобы собрать свои бобы, так что ему и его семье было достаточно еды на эту зиму. Его друг Генри позволил ему складывать их в своем сарае, где они будут сушиться. Позже он и Татьяна собирались их шелушить и готовить их для их воскресных обедов.", + "span1_index": 6, + "span1_text": "бобы", + "span2_index": 25, + "span2_text": "их шелушить" + }, + "outputs": "Да", + "meta": { + "id": 107 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Грант усердно трудился, чтобы собрать свои бобы, так что ему и его семье было достаточно еды на эту зиму. Его друг Генри позволил ему складывать их в своем сарае, где они будут сушиться. Позже он и Татьяна собирались их шелушить и готовить их для их воскресных обедов.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"бобы\"\n2-е выражение: \"их шелушить\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 795, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.21583721041679382, + "Нет": 0.7533458471298218 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Татьяна управлялась с двумя гитарами и волынкой и еще успевала указывать пальцем на Фрименов: \"Разве не замечательно, что они пришли, мама!\"", + "span1_index": 13, + "span1_text": "Фрименов", + "span2_index": 18, + "span2_text": "они" + }, + "outputs": "Да", + "meta": { + "id": 108 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Татьяна управлялась с двумя гитарами и волынкой и еще успевала указывать пальцем на Фрименов: \"Разве не замечательно, что они пришли, мама!\"\"\nОпредели, ссылается ли местоимение в фрагменте текста \"они\" на слово/словосочетание \"Фрименов\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 708, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.16016177833080292, + "Нет": 0.8133686780929565 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Политики в далеком Вашингтоне не могли знать поселенцев, поэтому они должны были установить правила для управления ими.", + "span1_index": 0, + "span1_text": "Политики", + "span2_index": 16, + "span2_text": "ими" + }, + "outputs": "Нет", + "meta": { + "id": 109 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Политики в далеком Вашингтоне не могли знать поселенцев, поэтому они должны были установить правила для управления ими.\"\nПостарайся определить, относится ли здесь \"ими\" к \"Политики\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 832, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.19670426845550537, + "Нет": 0.7779805064201355 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 0, + "span1_text": "Бабар", + "span2_index": 4, + "span2_text": "он жаждет" + }, + "outputs": "Да", + "meta": { + "id": 110 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"он жаждет\" к объекту фрагмента \"Бабар\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 739, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1780400425195694, + "Нет": 0.7979201078414917 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сержант Холмс попросил девушек описать злоумышленника. Нэнси не только дала полицейскому отличное описание грузного тридцатилетнего грабителя, но и нарисовала грубый набросок его лица.", + "span1_index": 0, + "span1_text": "Сержант Холмс", + "span2_index": 21, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 111 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Сержант Холмс попросил девушек описать злоумышленника. Нэнси не только дала полицейскому отличное описание грузного тридцатилетнего грабителя, но и нарисовала грубый набросок его лица.\"\nОбъект из текста: \"Сержант Холмс\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 724, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.3394126892089844, + "Нет": 0.6341063380241394 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 6, + "span1_text": "Билли", + "span2_index": 15, + "span2_text": "ему больше не разрешается" + }, + "outputs": "Да", + "meta": { + "id": 112 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"Билли\" и \"ему больше не разрешается\". Текст: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\" Ответь, относится ли \"ему больше не разрешается\" к \"Билли\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 802, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2149192988872528, + "Нет": 0.7501420378684998 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.", + "span1_index": 7, + "span1_text": "черного коня", + "span2_index": 15, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 113 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.\"\nФрагменты из этого текста: \"черного коня\" и \"он\".\nОтвет:", + "info": { + "prompt_len": 735, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.1968015730381012, + "Нет": 0.7783653140068054 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Политики в далеком Вашингтоне не могли знать поселенцев, поэтому они должны были установить правила для управления ими.", + "span1_index": 7, + "span1_text": "поселенцев", + "span2_index": 16, + "span2_text": "ими" + }, + "outputs": "Да", + "meta": { + "id": 114 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Политики в далеком Вашингтоне не могли знать поселенцев, поэтому они должны были установить правила для управления ими.\"\nФрагменты из этого текста: \"поселенцев\" и \"ими\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 715, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.14417070150375366, + "Нет": 0.8296451568603516 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.", + "span1_index": 5, + "span1_text": "мистера Сингера", + "span2_index": 37, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 115 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"мистера Сингера\" и второй фрагмент: \"его\" - определи, относится ли первый фрагмент ко второму в тексте: \"Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 787, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.15994563698768616, + "Нет": 0.812270998954773 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я попросил Дэйва принести мне куртку с другой стороны яхты. Пока его не было, я положил руку на лебедку, и она внезапно подалась вперед.", + "span1_index": 18, + "span1_text": "лебедку", + "span2_index": 20, + "span2_text": "она" + }, + "outputs": "Да", + "meta": { + "id": 116 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Я попросил Дэйва принести мне куртку с другой стороны яхты. Пока его не было, я положил руку на лебедку, и она внезапно подалась вперед.\"\nВ тексте фрагмент \"она\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"лебедку\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 705, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.3118789792060852, + "Нет": 0.5473647117614746 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 1, + "span1_text": "Артура и Селесты", + "span2_index": 10, + "span2_text": "Они очень рады" + }, + "outputs": "Нет", + "meta": { + "id": 117 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"Артура и Селесты\"\n2-е выражение: \"Они очень рады\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 771, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.3117670714855194, + "Нет": 0.6600108742713928 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 1, + "span1_text": "Артура и Селесты", + "span2_index": 17, + "span2_text": "они также ругают" + }, + "outputs": "Нет", + "meta": { + "id": 118 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"они также ругают\" на слово/словосочетание \"Артура и Селесты\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 712, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.14471526443958282, + "Нет": 0.8327789306640625 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После довольно продолжительной беседы Нэнси убедила экономку в том, что причины для тревоги не было. Она не сказала о неприятности на автобусной станции в Гамильтоне, зная, что упоминание о ней только усилит беспокойство миссис Грюн.", + "span1_index": 6, + "span1_text": "экономку", + "span2_index": 15, + "span2_text": "Она" + }, + "outputs": "Нет", + "meta": { + "id": 119 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"После довольно продолжительной беседы Нэнси убедила экономку в том, что причины для тревоги не было. Она не сказала о неприятности на автобусной станции в Гамильтоне, зная, что упоминание о ней только усилит беспокойство миссис Грюн.\"\nПостарайся определить, относится ли здесь \"Она\" к \"экономку\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 862, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2845616340637207, + "Нет": 0.6826279163360596 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мой хозяин и хозяйка решили навестить друзей, которые жили в сорока шести милях от нашего дома, и Джеймс должен был отвезти их.", + "span1_index": 6, + "span1_text": "друзей", + "span2_index": 21, + "span2_text": "их" + }, + "outputs": "Нет", + "meta": { + "id": 120 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Мой хозяин и хозяйка решили навестить друзей, которые жили в сорока шести милях от нашего дома, и Джеймс должен был отвезти их.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"их\" к объекту фрагмента \"друзей\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 711, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.19645628333091736, + "Нет": 0.7769996523857117 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Пони вел себя хорошо, сэр, и не показывал никаких пороков; но под конец он просто вскинул копыта и толкнул молодого джентльмена в изгородь из терна. Он хотел, чтобы я выручил его, но я надеюсь, вы извините меня, сэр, я не чувствовал склонности к этому.", + "span1_index": 0, + "span1_text": "Пони", + "span2_index": 25, + "span2_text": "Он хотел" + }, + "outputs": "Нет", + "meta": { + "id": 121 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Пони вел себя хорошо, сэр, и не показывал никаких пороков; но под конец он просто вскинул копыта и толкнул молодого джентльмена в изгородь из терна. Он хотел, чтобы я выручил его, но я надеюсь, вы извините меня, сэр, я не чувствовал склонности к этому.\"\nОбъект из текста: \"Пони\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"Он хотел\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 752, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1301766186952591, + "Нет": 0.848858118057251 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.", + "span1_index": 1, + "span1_text": "мистер Бонд", + "span2_index": 17, + "span2_text": "его ног" + }, + "outputs": "Нет", + "meta": { + "id": 122 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"мистер Бонд\" и \"его ног\". Текст: \"Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.\" Ответь, относится ли \"его ног\" к \"мистер Бонд\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 722, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.19529032707214355, + "Нет": 0.772388219833374 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Так Марк и спал. Было уже светло, когда он проснулся с рукой Уоррена на его плече.", + "span1_index": 1, + "span1_text": "Марк", + "span2_index": 14, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 123 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Так Марк и спал. Было уже светло, когда он проснулся с рукой Уоррена на его плече.\"\nФрагменты из этого текста: \"Марк\" и \"его\".\nОтвет:", + "info": { + "prompt_len": 710, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.11602892726659775, + "Нет": 0.8573442697525024 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Нелегко cделать петли на одинаковом расстоянии друг от друга, и очень трудно вырезать их точно по размеру. Малейшее скольжение ножниц сделает отверстие слишком большим, и даже одна недоразрезанная нить сделает его слишком маленьким.", + "span1_index": 18, + "span1_text": "скольжение", + "span2_index": 30, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 124 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Нелегко cделать петли на одинаковом расстоянии друг от друга, и очень трудно вырезать их точно по размеру. Малейшее скольжение ножниц сделает отверстие слишком большим, и даже одна недоразрезанная нить сделает его слишком маленьким.\"\nФрагменты из этого текста: \"скольжение\" и \"его\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 742, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.11626232415437698, + "Нет": 0.8590688705444336 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 6, + "span1_text": "Билли", + "span2_index": 15, + "span2_text": "ему крылья" + }, + "outputs": "Нет", + "meta": { + "id": 125 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Билли\" и второй фрагмент: \"ему крылья\" - определи, относится ли первый фрагмент ко второму в тексте: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 835, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.11599954217672348, + "Нет": 0.8571271300315857 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Затем он взял кусок железа по форме копыта лошади, с улыбкой приложил к нему и вогнал несколько гвоздей сквозь подкову в копыто так, чтобы она сидела прочно.", + "span1_index": 8, + "span1_text": "лошади", + "span2_index": 24, + "span2_text": "она" + }, + "outputs": "Нет", + "meta": { + "id": 126 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Затем он взял кусок железа по форме копыта лошади, с улыбкой приложил к нему и вогнал несколько гвоздей сквозь подкову в копыто так, чтобы она сидела прочно.\"\nВ тексте фрагмент \"она\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"лошади\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 707, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.22860229015350342, + "Нет": 0.6614826321601868 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я попросил Дэйва принести мне куртку с другой стороны яхты. Пока его не было, я положил руку на лебедку, и она внезапно подалась вперед.", + "span1_index": 5, + "span1_text": "куртку", + "span2_index": 20, + "span2_text": "она" + }, + "outputs": "Нет", + "meta": { + "id": 127 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Я попросил Дэйва принести мне куртку с другой стороны яхты. Пока его не было, я положил руку на лебедку, и она внезапно подалась вперед.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"куртку\"\n2-е выражение: \"она\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 764, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.19569145143032074, + "Нет": 0.7739747166633606 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Нелегко cделать петли на одинаковом расстоянии друг от друга, и очень трудно вырезать их точно по размеру. Малейшее скольжение ножниц сделает отверстие слишком большим, и даже одна недоразрезанная нить сделает его слишком маленьким.", + "span1_index": 21, + "span1_text": "отверстие", + "span2_index": 30, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 128 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Нелегко cделать петли на одинаковом расстоянии друг от друга, и очень трудно вырезать их точно по размеру. Малейшее скольжение ножниц сделает отверстие слишком большим, и даже одна недоразрезанная нить сделает его слишком маленьким.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"его\" на слово/словосочетание \"отверстие\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 722, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.1443682312965393, + "Нет": 0.830781877040863 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Жизнь человека и жизнь лошади стоят больше, чем несколько лисьих хвостов; по крайней мере, они должны бы стоить.", + "span1_index": 0, + "span1_text": "Жизнь человека и жизнь лошади", + "span2_index": 14, + "span2_text": "они" + }, + "outputs": "Да", + "meta": { + "id": 129 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Жизнь человека и жизнь лошади стоят больше, чем несколько лисьих хвостов; по крайней мере, они должны бы стоить.\"\nПостарайся определить, относится ли здесь \"они\" к \"Жизнь человека и жизнь лошади\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 836, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.3384445905685425, + "Нет": 0.6322977542877197 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мама подошла и села рядом с Алисой. Она нежно погладила ее волосы и позволила ребенку выплакаться.", + "span1_index": 6, + "span1_text": "Алисой", + "span2_index": 10, + "span2_text": "ее" + }, + "outputs": "Да", + "meta": { + "id": 130 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Мама подошла и села рядом с Алисой. Она нежно погладила ее волосы и позволила ребенку выплакаться.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"ее\" к объекту фрагмента \"Алисой\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 708, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1971963346004486, + "Нет": 0.7799266576766968 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.", + "span1_index": 7, + "span1_text": "черного коня", + "span2_index": 17, + "span2_text": "его глубокому сожалению" + }, + "outputs": "Нет", + "meta": { + "id": 131 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.\"\nОбъект из текста: \"черного коня\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его глубокому сожалению\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 731, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.19690322875976562, + "Нет": 0.7787673473358154 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 0, + "span1_text": "Матери", + "span2_index": 20, + "span2_text": "их, потому что" + }, + "outputs": "Нет", + "meta": { + "id": 132 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"Матери\" и \"их, потому что\". Текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\" Ответь, относится ли \"их, потому что\" к \"Матери\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 714, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.23592476546764374, + "Нет": 0.7266994714736938 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 12, + "span1_text": "богатый старик", + "span2_index": 4, + "span2_text": "он любит" + }, + "outputs": "Да", + "meta": { + "id": 133 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nФрагменты из этого текста: \"богатый старик\" и \"он любит\".\nОтвет:", + "info": { + "prompt_len": 746, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.14423665404319763, + "Нет": 0.8300246596336365 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я попросил Дэйва принести мне куртку с другой стороны яхты. Пока его не было, я положил руку на лебедку, и она внезапно подалась вперед.", + "span1_index": 16, + "span1_text": "руку", + "span2_index": 20, + "span2_text": "она" + }, + "outputs": "Нет", + "meta": { + "id": 134 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Я попросил Дэйва принести мне куртку с другой стороны яхты. Пока его не было, я положил руку на лебедку, и она внезапно подалась вперед.\"\nФрагменты из этого текста: \"руку\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 725, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.16046583652496338, + "Нет": 0.8149127960205078 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.", + "span1_index": 1, + "span1_text": "мистер Бонд", + "span2_index": 17, + "span2_text": "его повсюду" + }, + "outputs": "Нет", + "meta": { + "id": 135 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"мистер Бонд\" и второй фрагмент: \"его повсюду\" - определи, относится ли первый фрагмент ко второму в тексте: \"Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 760, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.09308158606290817, + "Нет": 0.8831335306167603 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Стол ломился от еды, а на полу рядом с ним стояли глиняные кувшины, корзины и пятилитровое ведро молока.", + "span1_index": 0, + "span1_text": "Стол", + "span2_index": 9, + "span2_text": "ним" + }, + "outputs": "Да", + "meta": { + "id": 136 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Стол ломился от еды, а на полу рядом с ним стояли глиняные кувшины, корзины и пятилитровое ведро молока.\"\nВ тексте фрагмент \"ним\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"Стол\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 701, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.26585832238197327, + "Нет": 0.5991209745407104 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Еще до того, как они достигли города, они услышали звук, похожий на треск попкорна. Он напугал Дору, и та спросила, что это, а папа ответил, что это петарды.", + "span1_index": 9, + "span1_text": "звук", + "span2_index": 14, + "span2_text": "Он" + }, + "outputs": "Да", + "meta": { + "id": 137 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Еще до того, как они достигли города, они услышали звук, похожий на треск попкорна. Он напугал Дору, и та спросила, что это, а папа ответил, что это петарды.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"звук\"\n2-е выражение: \"Он\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 774, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.14434008300304413, + "Нет": 0.8306198716163635 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Осел пожелал, чтобы чирей под хвостом исчез, и он послушался.", + "span1_index": 5, + "span1_text": "хвостом", + "span2_index": 8, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 138 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Осел пожелал, чтобы чирей под хвостом исчез, и он послушался.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"он\" на слово/словосочетание \"хвостом\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 685, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.19689564406871796, + "Нет": 0.7787373661994934 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мама подошла и села рядом с Алисой. Она нежно погладила ее волосы и позволила ребенку выплакаться.", + "span1_index": 0, + "span1_text": "Мама", + "span2_index": 10, + "span2_text": "ее" + }, + "outputs": "Нет", + "meta": { + "id": 139 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Мама подошла и села рядом с Алисой. Она нежно погладила ее волосы и позволила ребенку выплакаться.\"\nПостарайся определить, относится ли здесь \"ее\" к \"Мама\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 833, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.21544434130191803, + "Нет": 0.7519746422767639 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Татьяна управлялась с двумя гитарами и волынкой и еще успевала указывать пальцем на Фрименов: \"Разве не замечательно, что они пришли, мама!\"", + "span1_index": 3, + "span1_text": "двумя гитарами и волынкой", + "span2_index": 18, + "span2_text": "они" + }, + "outputs": "Нет", + "meta": { + "id": 140 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Татьяна управлялась с двумя гитарами и волынкой и еще успевала указывать пальцем на Фрименов: \"Разве не замечательно, что они пришли, мама!\"\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"они\" к объекту фрагмента \"двумя гитарами и волынкой\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 729, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.26142168045043945, + "Нет": 0.71061772108078 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.", + "span1_index": 12, + "span1_text": "капитана", + "span2_index": 37, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 141 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.\"\nОбъект из текста: \"капитана\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 756, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.19669288396835327, + "Нет": 0.7779354453086853 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.", + "span1_index": 7, + "span1_text": "черного коня", + "span2_index": 17, + "span2_text": "его повсюду" + }, + "outputs": "Да", + "meta": { + "id": 142 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"черного коня\" и \"его повсюду\". Текст: \"Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.\" Ответь, относится ли \"его повсюду\" к \"черного коня\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 720, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.14305780827999115, + "Нет": 0.8232409358024597 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Никто не присоединяется к Facebook, чтобы быть грустным и одиноким. Но новое исследование психолога Университета Висконсина Джорджа Линкольна утверждает, что именно такими он и заставляет нас себя чувствовать.", + "span1_index": 4, + "span1_text": "Facebook", + "span2_index": 22, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 143 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Никто не присоединяется к Facebook, чтобы быть грустным и одиноким. Но новое исследование психолога Университета Висконсина Джорджа Линкольна утверждает, что именно такими он и заставляет нас себя чувствовать.\"\nФрагменты из этого текста: \"Facebook\" и \"он\".\nОтвет:", + "info": { + "prompt_len": 730, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.14449094235897064, + "Нет": 0.8314880132675171 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Осел пожелал, чтобы чирей под хвостом исчез, и он послушался.", + "span1_index": 3, + "span1_text": "чирей", + "span2_index": 8, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 144 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Осел пожелал, чтобы чирей под хвостом исчез, и он послушался.\"\nФрагменты из этого текста: \"чирей\" и \"он\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 707, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.17699679732322693, + "Нет": 0.7932445406913757 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 8, + "span1_text": "Нелли", + "span2_index": 9, + "span2_text": "она еще была способна" + }, + "outputs": "Да", + "meta": { + "id": 145 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Нелли\" и второй фрагмент: \"она еще была способна\" - определи, относится ли первый фрагмент ко второму в тексте: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 779, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.30997708439826965, + "Нет": 0.6562214493751526 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 8, + "span1_text": "Нелли", + "span2_index": 11, + "span2_text": "ей от себя обеды" + }, + "outputs": "Да", + "meta": { + "id": 146 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nВ тексте фрагмент \"ей от себя обеды\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"Нелли\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 737, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.28678226470947266, + "Нет": 0.5703346729278564 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 19, + "span1_text": "хозяину", + "span2_index": 57, + "span2_text": "он и был" + }, + "outputs": "Нет", + "meta": { + "id": 147 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"хозяину\"\n2-е выражение: \"он и был\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 853, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.28573060035705566, + "Нет": 0.6854320764541626 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 8, + "span1_text": "Нелли", + "span2_index": 9, + "span2_text": "она заболела" + }, + "outputs": "Да", + "meta": { + "id": 148 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"она заболела\" на слово/словосочетание \"Нелли\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 734, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.16059283912181854, + "Нет": 0.8155577778816223 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Лайонел держит в плену ученого, доктора Варди, который изобрел устройство, превращающее животных в невидимых; Лайонел планирует использовать его на Джеффри и отправить его украсть ядерный материал из армейского хранилища.", + "span1_index": 19, + "span1_text": "Джеффри", + "span2_index": 17, + "span2_text": "его украсть" + }, + "outputs": "Да", + "meta": { + "id": 149 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Лайонел держит в плену ученого, доктора Варди, который изобрел устройство, превращающее животных в невидимых; Лайонел планирует использовать его на Джеффри и отправить его украсть ядерный материал из армейского хранилища.\"\nПостарайся определить, относится ли здесь \"его украсть\" к \"Джеффри\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 860, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2607397437095642, + "Нет": 0.7087640166282654 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.", + "span1_index": 0, + "span1_text": "Марк", + "span2_index": 14, + "span2_text": "ему" + }, + "outputs": "Нет", + "meta": { + "id": 150 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"ему\" к объекту фрагмента \"Марк\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 756, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2384747862815857, + "Нет": 0.7345540523529053 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 7, + "span1_text": "нового грума", + "span2_index": 35, + "span2_text": "его место" + }, + "outputs": "Нет", + "meta": { + "id": 151 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\"\nОбъект из текста: \"нового грума\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его место\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 750, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.21698138117790222, + "Нет": 0.7573394179344177 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.", + "span1_index": 6, + "span1_text": "мать", + "span2_index": 5, + "span2_text": "ее не побеспокоить" + }, + "outputs": "Да", + "meta": { + "id": 152 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"мать\" и \"ее не побеспокоить\". Текст: \"Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.\" Ответь, относится ли \"ее не побеспокоить\" к \"мать\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 724, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.17707499861717224, + "Нет": 0.7935950756072998 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк слышал, как ноги Стива топочут вниз по лестнице. Дверь мастерской закрылась за ним. Он подбежал посмотреть в окно.", + "span1_index": 0, + "span1_text": "Марк", + "span2_index": 13, + "span2_text": "ним" + }, + "outputs": "Нет", + "meta": { + "id": 153 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Марк слышал, как ноги Стива топочут вниз по лестнице. Дверь мастерской закрылась за ним. Он подбежал посмотреть в окно.\"\nФрагменты из этого текста: \"Марк\" и \"ним\".\nОтвет:", + "info": { + "prompt_len": 718, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.23845024406909943, + "Нет": 0.7344784736633301 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 6, + "span1_text": "Билли", + "span2_index": 57, + "span2_text": "он больше не наказывал" + }, + "outputs": "Нет", + "meta": { + "id": 154 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nФрагменты из этого текста: \"Билли\" и \"он больше не наказывал\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 816, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.16037864983081818, + "Нет": 0.8144700527191162 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 0, + "span1_text": "Сэр Клиффорд", + "span2_index": 23, + "span2_text": "он ищет" + }, + "outputs": "Да", + "meta": { + "id": 155 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Сэр Клиффорд\" и второй фрагмент: \"он ищет\" - определи, относится ли первый фрагмент ко второму в тексте: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 782, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.08331570029258728, + "Нет": 0.8957282304763794 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 0, + "span1_text": "Бабар", + "span2_index": 4, + "span2_text": "он может" + }, + "outputs": "Да", + "meta": { + "id": 156 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nВ тексте фрагмент \"он может\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"Бабар\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 724, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2482517510652542, + "Нет": 0.6339330673217773 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Еще до того, как они достигли города, они услышали звук, похожий на треск попкорна. Он напугал Дору, и та спросила, что это, а папа ответил, что это петарды.", + "span1_index": 13, + "span1_text": "попкорна", + "span2_index": 14, + "span2_text": "Он" + }, + "outputs": "Нет", + "meta": { + "id": 157 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Еще до того, как они достигли города, они услышали звук, похожий на треск попкорна. Он напугал Дору, и та спросила, что это, а папа ответил, что это петарды.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"попкорна\"\n2-е выражение: \"Он\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 776, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.1962035894393921, + "Нет": 0.7760002613067627 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 1, + "span1_text": "Артура и Селесты", + "span2_index": 20, + "span2_text": "их, потому что" + }, + "outputs": "Да", + "meta": { + "id": 158 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их, потому что\" на слово/словосочетание \"Артура и Селесты\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 712, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.10459423810243607, + "Нет": 0.8757568001747131 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк слышал, как ноги Стива топочут вниз по лестнице. Дверь мастерской закрылась за ним. Он подбежал посмотреть в окно.", + "span1_index": 0, + "span1_text": "Марк", + "span2_index": 14, + "span2_text": "Он" + }, + "outputs": "Да", + "meta": { + "id": 159 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Марк слышал, как ноги Стива топочут вниз по лестнице. Дверь мастерской закрылась за ним. Он подбежал посмотреть в окно.\"\nПостарайся определить, относится ли здесь \"Он\" к \"Марк\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 837, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.286258727312088, + "Нет": 0.6866990327835083 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 7, + "span1_text": "нового грума", + "span2_index": 23, + "span2_text": "он ищет" + }, + "outputs": "Нет", + "meta": { + "id": 160 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"он ищет\" к объекту фрагмента \"нового грума\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 750, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.21728068590164185, + "Нет": 0.758384108543396 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Равно надоедлив и Си Кей Декстер Хэвен, бледный молодой денди, держащий трость с нефритовой ручкой, с пуделем, спящим у его ног.", + "span1_index": 16, + "span1_text": "пуделем", + "span2_index": 19, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 161 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Равно надоедлив и Си Кей Декстер Хэвен, бледный молодой денди, держащий трость с нефритовой ручкой, с пуделем, спящим у его ног.\"\nОбъект из текста: \"пуделем\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 723, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.14417079091072083, + "Нет": 0.8296456933021545 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мы видели мальчика, пытающегося заставить пони перепрыгнуть через ворота; пони не стал прыгать, и мальчик стегнул его кнутом, но он только снова повернул в сторону.", + "span1_index": 5, + "span1_text": "пони", + "span2_index": 19, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 162 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"пони\" и \"он\". Текст: \"Мы видели мальчика, пытающегося заставить пони перепрыгнуть через ворота; пони не стал прыгать, и мальчик стегнул его кнутом, но он только снова повернул в сторону.\" Ответь, относится ли \"он\" к \"пони\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 708, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2828904688358307, + "Нет": 0.6786189675331116 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 1, + "span1_text": "покровительница", + "span2_index": 9, + "span2_text": "она заболела" + }, + "outputs": "Нет", + "meta": { + "id": 163 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nФрагменты из этого текста: \"покровительница\" и \"она заболела\".\nОтвет:", + "info": { + "prompt_len": 756, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.28699544072151184, + "Нет": 0.6884663105010986 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.", + "span1_index": 1, + "span1_text": "Татьяна", + "span2_index": 5, + "span2_text": "ее узкую койку" + }, + "outputs": "Да", + "meta": { + "id": 164 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.\"\nФрагменты из этого текста: \"Татьяна\" и \"ее узкую койку\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 740, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.14410188794136047, + "Нет": 0.8292491436004639 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 6, + "span1_text": "Билли", + "span2_index": 57, + "span2_text": "он и был" + }, + "outputs": "Да", + "meta": { + "id": 165 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Билли\" и второй фрагмент: \"он и был\" - определи, относится ли первый фрагмент ко второму в тексте: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 835, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.10388760268688202, + "Нет": 0.8698402643203735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Нелегко cделать петли на одинаковом расстоянии друг от друга, и очень трудно вырезать их точно по размеру. Малейшее скольжение ножниц сделает отверстие слишком большим, и даже одна недоразрезанная нить сделает его слишком маленьким.", + "span1_index": 5, + "span1_text": "расстоянии", + "span2_index": 30, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 166 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Нелегко cделать петли на одинаковом расстоянии друг от друга, и очень трудно вырезать их точно по размеру. Малейшее скольжение ножниц сделает отверстие слишком большим, и даже одна недоразрезанная нить сделает его слишком маленьким.\"\nВ тексте фрагмент \"его\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"расстоянии\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 722, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.27127474546432495, + "Нет": 0.611327052116394 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мать Эммы давно умерла, и ее образованием заправляла женщина-совершенство в качестве гувернантки.", + "span1_index": 1, + "span1_text": "Эммы", + "span2_index": 5, + "span2_text": "ее" + }, + "outputs": "Да", + "meta": { + "id": 167 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Мать Эммы давно умерла, и ее образованием заправляла женщина-совершенство в качестве гувернантки.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"Эммы\"\n2-е выражение: \"ее\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 753, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.3116733133792877, + "Нет": 0.6598123908042908 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 1, + "span1_text": "Артура и Селесты", + "span2_index": 8, + "span2_text": "забрать их" + }, + "outputs": "Да", + "meta": { + "id": 168 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"забрать их\" на слово/словосочетание \"Артура и Селесты\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 711, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.23879504203796387, + "Нет": 0.735540509223938 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.", + "span1_index": 5, + "span1_text": "мистера Сингера", + "span2_index": 10, + "span2_text": "он зовет" + }, + "outputs": "Да", + "meta": { + "id": 169 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Марк был в шаге от мистера Сингера. Он слышал, как он зовет капитана, обещая ему на жаргоне, на котором все говорили той ночью, что на судне все останется нетронутым, кроме разве что боеприпасов, но капитан и вся его команда почли за лучшее оставаться в каюте, пока работа не будет закончена.\"\nПостарайся определить, относится ли здесь \"он зовет\" к \"мистера Сингера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 885, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.33820420503616333, + "Нет": 0.6318486332893372 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Пони вел себя хорошо, сэр, и не показывал никаких пороков; но под конец он просто вскинул копыта и толкнул молодого джентльмена в изгородь из терна. Он хотел, чтобы я выручил его, но я надеюсь, вы извините меня, сэр, я не чувствовал склонности к этому.", + "span1_index": 19, + "span1_text": "молодого джентльмена", + "span2_index": 30, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 170 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Пони вел себя хорошо, сэр, и не показывал никаких пороков; но под конец он просто вскинул копыта и толкнул молодого джентльмена в изгородь из терна. Он хотел, чтобы я выручил его, но я надеюсь, вы извините меня, сэр, я не чувствовал склонности к этому.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"его\" к объекту фрагмента \"молодого джентльмена\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 756, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.28611937165260315, + "Нет": 0.6863647103309631 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мои родители умерли, я не зарабатывал достаточно, чтобы содержать себя или свою искалеченную сестру Нелли, и без нашей доброй покровительницы мы пошли бы в богадельню. Нелли называет ее своим ангелом, и она имеет полное право на это.", + "span1_index": 15, + "span1_text": "Нелли", + "span2_index": 28, + "span2_text": "ее" + }, + "outputs": "Нет", + "meta": { + "id": 171 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Когда мои родители умерли, я не зарабатывал достаточно, чтобы содержать себя или свою искалеченную сестру Нелли, и без нашей доброй покровительницы мы пошли бы в богадельню. Нелли называет ее своим ангелом, и она имеет полное право на это.\"\nОбъект из текста: \"Нелли\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"ее\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 739, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1298738569021225, + "Нет": 0.8468839526176453 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.", + "span1_index": 6, + "span1_text": "мать", + "span2_index": 9, + "span2_text": "Она" + }, + "outputs": "Нет", + "meta": { + "id": 172 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"мать\" и \"Она\". Текст: \"Когда Татьяна добралась до каюты, ее мать уже спала. Она двигалась осторожно, чтобы ее не побеспокоить, пока раздевалась и забиралась обратно на ее узкую койку напротив.\" Ответь, относится ли \"Она\" к \"мать\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 714, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1952051818370819, + "Нет": 0.7720514535903931 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.", + "span1_index": 12, + "span1_text": "Джон", + "span2_index": 10, + "span2_text": "его как надо" + }, + "outputs": "Нет", + "meta": { + "id": 173 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.\"\nФрагменты из этого текста: \"Джон\" и \"его как надо\".\nОтвет:", + "info": { + "prompt_len": 729, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.1445736140012741, + "Нет": 0.8319637179374695 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "В одном Марк был уверен. Гарри знал гораздо меньше, чем он.", + "span1_index": 2, + "span1_text": "Марк", + "span2_index": 10, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 174 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"В одном Марк был уверен. Гарри знал гораздо меньше, чем он.\"\nФрагменты из этого текста: \"Марк\" и \"он\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 703, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1297876238822937, + "Нет": 0.8463215231895447 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Лайонел держит в плену ученого, доктора Варди, который изобрел устройство, превращающее животных в невидимых; Лайонел планирует использовать его на Джеффри и отправить его украсть ядерный материал из армейского хранилища.", + "span1_index": 5, + "span1_text": "доктора Варди", + "span2_index": 17, + "span2_text": "его украсть" + }, + "outputs": "Нет", + "meta": { + "id": 175 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"доктора Варди\" и второй фрагмент: \"его украсть\" - определи, относится ли первый фрагмент ко второму в тексте: \"Лайонел держит в плену ученого, доктора Варди, который изобрел устройство, превращающее животных в невидимых; Лайонел планирует использовать его на Джеффри и отправить его украсть ядерный материал из армейского хранилища.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 764, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.11586622148752213, + "Нет": 0.8561420440673828 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я сидел там, чувствуя себя скорее как чувак, о котором я когда-то читал в книге, который убил другого парня и спрятал труп под столом, накрытым для праздника, а затем должен был стать душой вечеринки в комнате, где он лежал все это время.", + "span1_index": 23, + "span1_text": "столом", + "span2_index": 37, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 176 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Я сидел там, чувствуя себя скорее как чувак, о котором я когда-то читал в книге, который убил другого парня и спрятал труп под столом, накрытым для праздника, а затем должен был стать душой вечеринки в комнате, где он лежал все это время.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"столом\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 724, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.2682892084121704, + "Нет": 0.604599118232727 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После довольно продолжительной беседы Нэнси убедила экономку в том, что причины для тревоги не было. Она не сказала о неприятности на автобусной станции в Гамильтоне, зная, что упоминание о ней только усилит беспокойство миссис Грюн.", + "span1_index": 4, + "span1_text": "Нэнси", + "span2_index": 15, + "span2_text": "Она" + }, + "outputs": "Да", + "meta": { + "id": 177 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"После довольно продолжительной беседы Нэнси убедила экономку в том, что причины для тревоги не было. Она не сказала о неприятности на автобусной станции в Гамильтоне, зная, что упоминание о ней только усилит беспокойство миссис Грюн.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"Нэнси\"\n2-е выражение: \"Она\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 782, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.15991464257240295, + "Нет": 0.8121135830879211 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Грант усердно трудился, чтобы собрать свои бобы, так что ему и его семье было достаточно еды на эту зиму. Его друг Генри позволил ему складывать их в своем сарае, где они будут сушиться. Позже он и Татьяна собирались их шелушить и готовить их для их воскресных обедов.", + "span1_index": 34, + "span1_text": "он и Татьяна", + "span2_index": 25, + "span2_text": "их воскресных обедов" + }, + "outputs": "Да", + "meta": { + "id": 178 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Грант усердно трудился, чтобы собрать свои бобы, так что ему и его семье было достаточно еды на эту зиму. Его друг Генри позволил ему складывать их в своем сарае, где они будут сушиться. Позже он и Татьяна собирались их шелушить и готовить их для их воскресных обедов.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их воскресных обедов\" на слово/словосочетание \"он и Татьяна\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 737, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2379143089056015, + "Нет": 0.7328276634216309 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 1, + "span1_text": "покровительница", + "span2_index": 42, + "span2_text": "нее" + }, + "outputs": "Нет", + "meta": { + "id": 179 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nПостарайся определить, относится ли здесь \"нее\" к \"покровительница\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 873, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.21688130497932434, + "Нет": 0.7569901347160339 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Вы полагаете, что Питер виноват в болезни капитана? Может быть, он подкупил повара, чтобы положить что-то в его еду.", + "span1_index": 7, + "span1_text": "капитана", + "span2_index": 10, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 180 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Вы полагаете, что Питер виноват в болезни капитана? Может быть, он подкупил повара, чтобы положить что-то в его еду.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"он\" к объекту фрагмента \"капитана\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 712, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.23844709992408752, + "Нет": 0.7344687581062317 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.", + "span1_index": 0, + "span1_text": "Сэр Клиффорд", + "span2_index": 35, + "span2_text": "его место" + }, + "outputs": "Нет", + "meta": { + "id": 181 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Сэр Клиффорд хочет, чтобы я нашла ему нового грума, лет двадцати или двадцати одного, который знает свое дело. Его старый кучер слабеет, и он ищет человека, который бы работал вместе с ним и вникал в его ремесло, кто смог бы, когда старик выйдет на пенсию, занять его место.\"\nОбъект из текста: \"Сэр Клиффорд\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"его место\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 752, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.21672388911247253, + "Нет": 0.7564406991004944 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Татьяна знала, что бабушке всегда нравилось угощать гостей ее большого дома множеством разной еды. Теперь Татьяна наблюдала, как бабушка взяла маленькую маму Татьяны в широкие тощие объятия, а затем подтолкнула ее к столу, сняла платок с плеч, усадила ее на почетное место и сказала просто: \"Там побольше\".", + "span1_index": 3, + "span1_text": "бабушке", + "span2_index": 8, + "span2_text": "ее к столу" + }, + "outputs": "Нет", + "meta": { + "id": 182 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"бабушке\" и \"ее к столу\". Текст: \"Татьяна знала, что бабушке всегда нравилось угощать гостей ее большого дома множеством разной еды. Теперь Татьяна наблюдала, как бабушка взяла маленькую маму Татьяны в широкие тощие объятия, а затем подтолкнула ее к столу, сняла платок с плеч, усадила ее на почетное место и сказала просто: \"Там побольше\".\" Ответь, относится ли \"ее к столу\" к \"бабушке\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 752, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.10363738238811493, + "Нет": 0.8677451610565186 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Жизнь человека и жизнь лошади стоят больше, чем несколько лисьих хвостов; по крайней мере, они должны бы стоить.", + "span1_index": 8, + "span1_text": "несколько лисьих хвостов", + "span2_index": 14, + "span2_text": "они" + }, + "outputs": "Нет", + "meta": { + "id": 183 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Жизнь человека и жизнь лошади стоят больше, чем несколько лисьих хвостов; по крайней мере, они должны бы стоить.\"\nФрагменты из этого текста: \"несколько лисьих хвостов\" и \"они\".\nОтвет:", + "info": { + "prompt_len": 719, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.15999449789524078, + "Нет": 0.8125191926956177 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я сидел там, чувствуя себя скорее как чувак, о котором я когда-то читал в книге, который убил другого парня и спрятал труп под столом, накрытым для праздника, а затем должен был стать душой вечеринки в комнате, где он лежал все это время.", + "span1_index": 26, + "span1_text": "праздника", + "span2_index": 37, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 184 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Я сидел там, чувствуя себя скорее как чувак, о котором я когда-то читал в книге, который убил другого парня и спрятал труп под столом, накрытым для праздника, а затем должен был стать душой вечеринки в комнате, где он лежал все это время.\"\nФрагменты из этого текста: \"праздника\" и \"он\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 746, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.12947054207324982, + "Нет": 0.8442539572715759 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.", + "span1_index": 6, + "span1_text": "Билли", + "span2_index": 43, + "span2_text": "его на стул" + }, + "outputs": "Да", + "meta": { + "id": 185 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"Билли\" и второй фрагмент: \"его на стул\" - определи, относится ли первый фрагмент ко второму в тексте: \"После того, как я увидел, как Билли ловит мух и отрывает им крылья, я надрал ему уши. Я показал хозяину мух, некоторые из которых были раздавлены, а некоторые ползали в беспомощности, и я показал ему крылья на подоконнике. Я никогда раньше не видел его таким злым, но, поскольку Билли все еще выл и скулил, как трус, которым он и был, он больше не наказывал его, но посадил его на стул до конца дня, и сказал, что ему больше не разрешается играть на этой неделе.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 835, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.14467251300811768, + "Нет": 0.8325328826904297 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.", + "span1_index": 1, + "span1_text": "мистер Бонд", + "span2_index": 17, + "span2_text": "его глубокому сожалению" + }, + "outputs": "Да", + "meta": { + "id": 186 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.\"\nВ тексте фрагмент \"его глубокому сожалению\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"мистер Бонд\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 719, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.2922977805137634, + "Нет": 0.5813035368919373 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Пони вел себя хорошо, сэр, и не показывал никаких пороков; но под конец он просто вскинул копыта и толкнул молодого джентльмена в изгородь из терна. Он хотел, чтобы я выручил его, но я надеюсь, вы извините меня, сэр, я не чувствовал склонности к этому.", + "span1_index": 0, + "span1_text": "Пони", + "span2_index": 30, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 187 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Пони вел себя хорошо, сэр, и не показывал никаких пороков; но под конец он просто вскинул копыта и толкнул молодого джентльмена в изгородь из терна. Он хотел, чтобы я выручил его, но я надеюсь, вы извините меня, сэр, я не чувствовал склонности к этому.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"Пони\"\n2-е выражение: \"его\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 797, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.31169775128364563, + "Нет": 0.6598641276359558 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мама подошла и села рядом с Алисой. Она нежно погладила ее волосы и позволила ребенку выплакаться.", + "span1_index": 0, + "span1_text": "Мама", + "span2_index": 7, + "span2_text": "Она" + }, + "outputs": "Да", + "meta": { + "id": 188 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Мама подошла и села рядом с Алисой. Она нежно погладила ее волосы и позволила ребенку выплакаться.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"Она\" на слово/словосочетание \"Мама\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 693, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.14479279518127441, + "Нет": 0.8332250118255615 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.", + "span1_index": 12, + "span1_text": "богатый старик", + "span2_index": 34, + "span2_text": "ему" + }, + "outputs": "Нет", + "meta": { + "id": 189 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Бабар задается вопросом, как он может получить новую одежду. К счастью, очень богатый старик, который всегда любил маленьких слонят, сразу понимает, что он жаждет хорошего костюма. Поскольку он любит делать других счастливыми, он дает ему свой кошелек.\"\nПостарайся определить, относится ли здесь \"ему\" к \"богатый старик\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 865, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.36656662821769714, + "Нет": 0.6043661832809448 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.", + "span1_index": 0, + "span1_text": "Матери", + "span2_index": 8, + "span2_text": "забрать их" + }, + "outputs": "Нет", + "meta": { + "id": 190 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Матери Артура и Селесты пришли в город, чтобы забрать их. Они очень рады, что их вернули, но они также ругают их, потому что они убежали.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"забрать их\" к объекту фрагмента \"Матери\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 721, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.16077189147472382, + "Нет": 0.8164670467376709 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Все пуговицы на спине клетчатого платья Доры были застегнуты снаружи вовнутрь. Мод следовало бы подумать о том, чтобы привести ее в порядок, но нет, она оставила бедную маленькую Дору делать все, на что она способна, в одиночку.", + "span1_index": 11, + "span1_text": "Мод", + "span2_index": 24, + "span2_text": "она способна" + }, + "outputs": "Нет", + "meta": { + "id": 191 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Все пуговицы на спине клетчатого платья Доры были застегнуты снаружи вовнутрь. Мод следовало бы подумать о том, чтобы привести ее в порядок, но нет, она оставила бедную маленькую Дору делать все, на что она способна, в одиночку.\"\nОбъект из текста: \"Мод\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она способна\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 741, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.28513380885124207, + "Нет": 0.6840004920959473 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 8, + "span1_text": "Нелли", + "span2_index": 42, + "span2_text": "нее" + }, + "outputs": "Да", + "meta": { + "id": 192 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"Нелли\" и \"нее\". Текст: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\" Ответь, относится ли \"нее\" к \"Нелли\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 735, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.17645125091075897, + "Нет": 0.790799617767334 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.", + "span1_index": 7, + "span1_text": "черного коня", + "span2_index": 17, + "span2_text": "его ног" + }, + "outputs": "Да", + "meta": { + "id": 193 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Когда мистер Бонд, ветеринар, пришел взглянуть на черного коня, который стонал от боли на траве, он осмотрел его повсюду и покачал головой; к его глубокому сожалению, одна из его ног была сломана.\"\nФрагменты из этого текста: \"черного коня\" и \"его ног\".\nОтвет:", + "info": { + "prompt_len": 736, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.16049057245254517, + "Нет": 0.8150384426116943 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Марк слышал, как ноги Стива топочут вниз по лестнице. Дверь мастерской закрылась за ним. Он подбежал посмотреть в окно.", + "span1_index": 4, + "span1_text": "Стива", + "span2_index": 14, + "span2_text": "Он" + }, + "outputs": "Нет", + "meta": { + "id": 194 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nТекст: \"Марк слышал, как ноги Стива топочут вниз по лестнице. Дверь мастерской закрылась за ним. Он подбежал посмотреть в окно.\"\nФрагменты из этого текста: \"Стива\" и \"Он\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет:", + "info": { + "prompt_len": 719, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.19577611982822418, + "Нет": 0.7743095755577087 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Один выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"{span1_text}\" и второй фрагмент: \"{span2_text}\" - определи, относится ли первый фрагмент ко второму в тексте: \"{text}\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.", + "span1_index": 1, + "span1_text": "покровительница", + "span2_index": 9, + "span2_text": "она посылала" + }, + "outputs": "Да", + "meta": { + "id": 195 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nОдин выделенный фрагмент текста может либо относиться к другому выделенному фрагменту текста, если они связаны по смыслу в тексте, либо не относиться, если по смыслу в тексте первый и второй фрагменты относятся к разным сущностям/объектам. Есть первый фрагмент: \"покровительница\" и второй фрагмент: \"она посылала\" - определи, относится ли первый фрагмент ко второму в тексте: \"Наша покровительница сняла комнату для моей искалеченной сестры Нелли, она давала ей работу по вязанию и рукоделию, когда она еще была способна это делать, а когда она заболела, она посылала ей от себя обеды и много приятных удобных вещей и была для нее как мама.\"\nЕсли относится, напиши Да. Если фрагменты не связаны друг с другом, напиши Нет.\nОтвет:", + "info": { + "prompt_len": 779, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.19554802775382996, + "Нет": 0.7734074592590332 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочитайте текст: \"{text}\"\nВ тексте фрагмент \"{span2_text}\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"{span1_text}\". Напиши Да, если это так, и Нет, если не относится." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я сидел там, чувствуя себя скорее как чувак, о котором я когда-то читал в книге, который убил другого парня и спрятал труп под столом, накрытым для праздника, а затем должен был стать душой вечеринки в комнате, где он лежал все это время.", + "span1_index": 7, + "span1_text": "чувак", + "span2_index": 37, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 196 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочитайте текст: \"Я сидел там, чувствуя себя скорее как чувак, о котором я когда-то читал в книге, который убил другого парня и спрятал труп под столом, накрытым для праздника, а затем должен был стать душой вечеринки в комнате, где он лежал все это время.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"чувак\". Напиши Да, если это так, и Нет, если не относится.\nОтвет:", + "info": { + "prompt_len": 724, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.22275298833847046, + "Нет": 0.6445571184158325 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Все выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"{text}\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"{span1_text}\"\n2-е выражение: \"{span2_text}\"\nОпредели, к какому классу относится эта пара, и напиши название класса." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Нелегко cделать петли на одинаковом расстоянии друг от друга, и очень трудно вырезать их точно по размеру. Малейшее скольжение ножниц сделает отверстие слишком большим, и даже одна недоразрезанная нить сделает его слишком маленьким.", + "span1_index": 16, + "span1_text": "размеру", + "span2_index": 30, + "span2_text": "его" + }, + "outputs": "Нет", + "meta": { + "id": 197 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nВсе выделенные из текстов пары выражений нужно поделить на 2 класса: Да и Нет. По условию, пара извлеченных из текста выражений относится к классу Да, если одно из них относится к другому по смыслу, а к классу Нет, если ни одно из выражений не относится к другому. Дан текст: \"Нелегко cделать петли на одинаковом расстоянии друг от друга, и очень трудно вырезать их точно по размеру. Малейшее скольжение ножниц сделает отверстие слишком большим, и даже одна недоразрезанная нить сделает его слишком маленьким.\"\nВ нем выделена такая пара выражений:\n1-е выражение: \"размеру\"\n2-е выражение: \"его\"\nОпредели, к какому классу относится эта пара, и напиши название класса.\nОтвет:", + "info": { + "prompt_len": 781, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1602330356836319, + "Нет": 0.8137305378913879 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Прочти текст: \"{text}\"\nОпредели, ссылается ли местоимение в фрагменте текста \"{span2_text}\" на слово/словосочетание \"{span1_text}\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.", + "span1_index": 0, + "span1_text": "Мальчик", + "span2_index": 10, + "span2_text": "его как надо" + }, + "outputs": "Нет", + "meta": { + "id": 198 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПрочти текст: \"Мальчик продолжал стегать пони плетью, и в конце концов пони его сбросил. Джон рассмеялся довольно громко. \"Объездил его как надо\", - сказал он.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"его как надо\" на слово/словосочетание \"Мальчик\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет:", + "info": { + "prompt_len": 709, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.11655564606189728, + "Нет": 0.8612362146377563 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Чтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"{text}\"\nПостарайся определить, относится ли здесь \"{span2_text}\" к \"{span1_text}\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я сидел там, чувствуя себя скорее как чувак, о котором я когда-то читал в книге, который убил другого парня и спрятал труп под столом, накрытым для праздника, а затем должен был стать душой вечеринки в комнате, где он лежал все это время.", + "span1_index": 21, + "span1_text": "труп", + "span2_index": 37, + "span2_text": "он" + }, + "outputs": "Да", + "meta": { + "id": 199 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Я сидел там, чувствуя себя скорее как чувак, о котором я когда-то читал в книге, который убил другого парня и спрятал труп под столом, накрытым для праздника, а затем должен был стать душой вечеринки в комнате, где он лежал все это время.\"\nПостарайся определить, относится ли здесь \"он\" к \"труп\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет:", + "info": { + "prompt_len": 863, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.17752985656261444, + "Нет": 0.7956336140632629 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Перед тобой текст: \"{text}\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"{span2_text}\" к объекту фрагмента \"{span1_text}\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Первое, что я хорошо запомнил, был большой солнечный луг с чистым прудом посередине него. Несколько тенистых деревьев склонились над ним.", + "span1_index": 11, + "span1_text": "прудом", + "span2_index": 19, + "span2_text": "ним" + }, + "outputs": "Да", + "meta": { + "id": 200 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nПеред тобой текст: \"Первое, что я хорошо запомнил, был большой солнечный луг с чистым прудом посередине него. Несколько тенистых деревьев склонились над ним.\"\nОпираясь на текст, скажи, относится ли местоимение во фрагменте текста \"ним\" к объекту фрагмента \"прудом\"? В качестве ответа выдай одно слово: Да, если относится, или Нет, если не относится. Напиши только правильный ответ без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 715, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.1970943659543991, + "Нет": 0.7795233130455017 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст: \"{text}\"\nОбъект из текста: \"{span1_text}\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"{span2_text}\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Первое, что я хорошо запомнил, был большой солнечный луг с чистым прудом посередине него. Несколько тенистых деревьев склонились над ним.", + "span1_index": 8, + "span1_text": "луг", + "span2_index": 19, + "span2_text": "ним" + }, + "outputs": "Нет", + "meta": { + "id": 201 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст: \"Первое, что я хорошо запомнил, был большой солнечный луг с чистым прудом посередине него. Несколько тенистых деревьев склонились над ним.\"\nОбъект из текста: \"луг\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"ним\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет:", + "info": { + "prompt_len": 715, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "Да": 0.11652010679244995, + "Нет": 0.860973596572876 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан небольшой текст и два выделенных в нем фрагмента, \"{span1_text}\" и \"{span2_text}\". Текст: \"{text}\" Ответь, относится ли \"{span2_text}\" к \"{span1_text}\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Я пошел и съел немного салата, скорее чтобы скоротать время, а не потому, что мне его хотелось.", + "span1_index": 5, + "span1_text": "салата", + "span2_index": 15, + "span2_text": "его" + }, + "outputs": "Да", + "meta": { + "id": 202 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nДан небольшой текст и два выделенных в нем фрагмента, \"салата\" и \"его\". Текст: \"Я пошел и съел немного салата, скорее чтобы скоротать время, а не потому, что мне его хотелось.\" Ответь, относится ли \"его\" к \"салата\" в этом тексте? Напиши Да, если относится, если не относится — напиши Нет.\nОтвет:", + "info": { + "prompt_len": 696, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "Да": 0.17659184336662292, + "Нет": 0.7914296984672546 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"{text}\"\nФрагменты из этого текста: \"{span1_text}\" и \"{span2_text}\"." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "text": "Дядя Фрэнка все еще может победить его в теннисе, хотя он на 30 лет старше.", + "span1_index": 1, + "span1_text": "Фрэнка", + "span2_index": 10, + "span2_text": "он" + }, + "outputs": "Нет", + "meta": { + "id": 203 + } + }, + "prompt": "Прочитайте текст: \"Сэм подвинул стул к роялю, но он был сломан, так что ему пришлось петь.\"\nВ тексте фрагмент \"он\" точно относится к какому-то из других выражений текста. Определи, относится ли этот фрагмент к выражению \"стул\". Напиши Да, если это так, и Нет, если не относится.\nОтвет: Нет\n\nДан небольшой текст: \"Я вытащила бутылку воды из сумки, чтобы она была под рукой.\"\nОбъект из текста: \"сумки\"\nТекстовый фрагмент, который может относиться к двум или нескольким объектам в тексте, включая указанный: \"она\"\nНужно ответить, относится ли фрагмент к названному объекту. Ответь Да, если относится, или Нет.\nОтвет: Нет\n\nПрочти текст: \"Папа посмотрел на лица детей, такие озадаченные и грустные теперь. Было и так достаточно скверно, что ему пришлось отказывать им в столь многих вещах, потому что он не мог себе их позволить.\"\nОпредели, ссылается ли местоимение в фрагменте текста \"их\" на слово/словосочетание \"детей\". Ссылается? Напиши: Да. Нет отсылки? Напиши: Нет\nОтвет: Нет\n\nЧтобы определить, относится ли одно слово к другому, нужно посмотреть на контекст, в котором оба слова употребляются в предложении. Связь слов обоснована как общим смыслом, так и логикой построения предложений. Если для избежания повторов слово или словосочетание, описывающее персону или объект, заменено местоимением, то между словом и местоимением однозначно есть связь, так как местоимение изначально соотнесено с этим словом (обозначением персоны или объекта), которое местоимением заменяется. Вопрос в том, что иногда не сразу понятно, к какой из персон (к какому из объектов) в предложении относится местоимение. Решим один из подобных непростых случаев. Используй такой текст: \"Томсон посетил могилу Купера в 1765. К этому времени он был мертв уже 5 лет.\"\nПостарайся определить, относится ли здесь \"он был мертв\" к \"Купера\". Выведи Да, если относится, и Нет, если нет. Напиши ответ одним словом без лишних комментариев.\nОтвет: Да\n\nТекст: \"Карол была убеждена, что Ребекка подозревает, что она украла часы.\"\nФрагменты из этого текста: \"Карол\" и \"она\" Местоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет.\nОтвет: Да\n\nМестоимение относится к слову, если и слово, и местоимение ссылаются на один и тот же объект. На основе текста определи, ссылаются ли оба выделенных фрагмента на один объект. Если ссылаются, выведи Да, иначе - Нет. Текст: \"Дядя Фрэнка все еще может победить его в теннисе, хотя он на 30 лет старше.\"\nФрагменты из этого текста: \"Фрэнка\" и \"он\".\nОтвет:", + "info": { + "prompt_len": 712, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "Нет" + } +} diff --git a/llmtf_eval/darumeru_RWSD_params.jsonl b/llmtf_eval/darumeru_RWSD_params.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..46c1c6d4f4be458c196be570a414cca658ae060d --- /dev/null +++ b/llmtf_eval/darumeru_RWSD_params.jsonl @@ -0,0 +1,56 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_part1_lr2e5_bs256", + "generation_config": { + "_from_model_config": true, + "bos_token_id": 1, + "do_sample": true, + "eos_token_id": [ + 2, + 13 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 2, + "stop_strings": [ + "\n", + "\n\n" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.38.2" + }, + "conversation_template": { + "system_message_template": "{content}\n", + "user_message_template": "{content}\n", + "bot_message_template": "{content}\n\n", + "bot_message_template_incomplete": "{content}", + "user_role": "user", + "bot_role": "bot", + "system_role": "system", + "suffix": "", + "add_special_tokens": false, + "global_prefix": "" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": true, + "space_token": 28705, + "trust_remote_code": [ + false + ], + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 5, + "batch_size": 1, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/darumeru_RWSD_total.jsonl b/llmtf_eval/darumeru_RWSD_total.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..59086f5f780c6b4aeb23dc9fc3a41bb9d92a6327 --- /dev/null +++ b/llmtf_eval/darumeru_RWSD_total.jsonl @@ -0,0 +1,7 @@ +{ + "task_name": "darumeru/RWSD", + "results": { + "acc": 0.5490196078431373 + }, + "leaderboard_result": 0.5490196078431373 +} diff --git a/llmtf_eval/darumeru_USE.jsonl b/llmtf_eval/darumeru_USE.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..a7070725c40cd2ca722acf337070b3d0bfc8a7cb --- /dev/null +++ b/llmtf_eval/darumeru_USE.jsonl @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:372df4d628d308552eb2645c1c48065b4f9be6b7d8d66dd6f1dbd4fe966ff3ed +size 10564046 diff --git a/llmtf_eval/darumeru_USE_params.jsonl b/llmtf_eval/darumeru_USE_params.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..e5e839296672a5212cf9c5126e80f233bf355422 --- /dev/null +++ b/llmtf_eval/darumeru_USE_params.jsonl @@ -0,0 +1,56 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_part1_lr2e5_bs256", + "generation_config": { + "_from_model_config": true, + "bos_token_id": 1, + "do_sample": true, + "eos_token_id": [ + 2, + 13 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 2, + "stop_strings": [ + "\n", + "\n\n" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.38.2" + }, + "conversation_template": { + "system_message_template": "{content}\n", + "user_message_template": "{content}\n", + "bot_message_template": "{content}\n\n", + "bot_message_template_incomplete": "{content}", + "user_role": "user", + "bot_role": "bot", + "system_role": "system", + "suffix": "", + "add_special_tokens": false, + "global_prefix": "" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": true, + "space_token": 28705, + "trust_remote_code": [ + false + ], + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 5, + "batch_size": 1, + "max_sample_per_dataset": 10000000000000, + "method": "generate" + } +} diff --git a/llmtf_eval/darumeru_USE_total.jsonl b/llmtf_eval/darumeru_USE_total.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..b5a91ace350de6e0e89ab20058b6c16f08fe87f0 --- /dev/null +++ b/llmtf_eval/darumeru_USE_total.jsonl @@ -0,0 +1,7 @@ +{ + "task_name": "darumeru/USE", + "results": { + "grade_norm": 0.06568627450980391 + }, + "leaderboard_result": 0.06568627450980391 +} diff --git a/llmtf_eval/darumeru_ruMMLU.jsonl b/llmtf_eval/darumeru_ruMMLU.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..87cf03e309ce18b17c3cc640d82c5c66ad05de57 --- /dev/null +++ b/llmtf_eval/darumeru_ruMMLU.jsonl @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:e4db4d10cbe929e0af7e28ae92270e65041c37b3d380547c95fafe99800a9d80 +size 89191811 diff --git a/llmtf_eval/darumeru_ruMMLU_params.jsonl b/llmtf_eval/darumeru_ruMMLU_params.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..46c1c6d4f4be458c196be570a414cca658ae060d --- /dev/null +++ b/llmtf_eval/darumeru_ruMMLU_params.jsonl @@ -0,0 +1,56 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_part1_lr2e5_bs256", + "generation_config": { + "_from_model_config": true, + "bos_token_id": 1, + "do_sample": true, + "eos_token_id": [ + 2, + 13 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 2, + "stop_strings": [ + "\n", + "\n\n" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.38.2" + }, + "conversation_template": { + "system_message_template": "{content}\n", + "user_message_template": "{content}\n", + "bot_message_template": "{content}\n\n", + "bot_message_template_incomplete": "{content}", + "user_role": "user", + "bot_role": "bot", + "system_role": "system", + "suffix": "", + "add_special_tokens": false, + "global_prefix": "" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": true, + "space_token": 28705, + "trust_remote_code": [ + false + ], + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 5, + "batch_size": 1, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/darumeru_ruMMLU_total.jsonl b/llmtf_eval/darumeru_ruMMLU_total.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..637f4f2b3735473876bac9c45fada3d879b719df --- /dev/null +++ b/llmtf_eval/darumeru_ruMMLU_total.jsonl @@ -0,0 +1,7 @@ +{ + "task_name": "darumeru/ruMMLU", + "results": { + "acc": 0.4443779307592537 + }, + "leaderboard_result": 0.4443779307592537 +} diff --git a/llmtf_eval/darumeru_ruOpenBookQA.jsonl b/llmtf_eval/darumeru_ruOpenBookQA.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..35ce23e37e58bca52e24c41251d05a81cc93500b --- /dev/null +++ b/llmtf_eval/darumeru_ruOpenBookQA.jsonl @@ -0,0 +1,104760 @@ +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15343643724918365, + "B": 0.04129685461521149, + "C": 0.6068528890609741, + "D": 0.1122564971446991 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой объект с меньшей вероятностью вызовет загрязнение среды", + "option_a": "эндуро", + "option_b": "мотоцикл", + "option_c": "горный велосипед", + "option_d": "Чоппер" + }, + "outputs": "C", + "meta": { + "id": 35 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой объект с меньшей вероятностью вызовет загрязнение среды\nA) эндуро\nB) мотоцикл\nC) горный велосипед\nD) Чоппер\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.23745542764663696, + "B": 0.23745542764663696, + "C": 0.1849304735660553, + "D": 0.286425918340683 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кому нужно совсем немного воды?", + "option_a": "рыба", + "option_b": "тихоходка", + "option_c": "киты", + "option_d": "лягушки" + }, + "outputs": "B", + "meta": { + "id": 539 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКому нужно совсем немного воды?\nA) рыба\nB) тихоходка\nC) киты\nD) лягушки\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 419, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6651840806007385, + "B": 0.1085883155465126, + "C": 0.05129348859190941, + "D": 0.06187175586819649 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животному необходимо сжигать сложные углеводы, чтобы", + "option_a": "двигаться", + "option_b": "не спать", + "option_c": "сидеть", + "option_d": "спать" + }, + "outputs": "A", + "meta": { + "id": 2137 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖивотному необходимо сжигать сложные углеводы, чтобы\nA) двигаться\nB) не спать\nC) сидеть\nD) спать\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 420, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.1961253136396408, + "B": 0.07215046882629395, + "C": 0.4419752061367035, + "D": 0.20877431333065033 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет подходящей пищей для травоядных?", + "option_a": "жуки-палочники", + "option_b": "морские огурцы", + "option_c": "жуки-листоеды", + "option_d": "редис" + }, + "outputs": "D", + "meta": { + "id": 432 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что будет подходящей пищей для травоядных?\nA) жуки-палочники\nB) морские огурцы\nC) жуки-листоеды\nD) редис\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2342860996723175, + "B": 0.17140737175941467, + "C": 0.38627246022224426, + "D": 0.11780644208192825 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Организм, который может выжить без помощи других клеток, - это", + "option_a": "песок", + "option_b": "воздух", + "option_c": "пивные дрожжи", + "option_d": "сахар" + }, + "outputs": "C", + "meta": { + "id": 1394 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Организм, который может выжить без помощи других клеток, - это\nA. песок\nB. воздух\nC. пивные дрожжи\nD. сахар\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.22225213050842285, + "B": 0.20878656208515167, + "C": 0.3037826418876648, + "D": 0.15275150537490845 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У некоторых рыб плавники могут использоваться для", + "option_a": "похлопывания по спине", + "option_b": "жестов вроде «дай пять»", + "option_c": "хождения по грунту", + "option_d": "магических пассов" + }, + "outputs": "C", + "meta": { + "id": 1094 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ некоторых рыб плавники могут использоваться для\nA. похлопывания по спине\nB. жестов вроде «дай пять»\nC. хождения по грунту\nD. магических пассов\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13470406830310822, + "B": 0.6426371335983276, + "C": 0.04955485463142395, + "D": 0.08170213550329208 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие черты можно передать с помощью репродукции и генетического материала?", + "option_a": "привычки", + "option_b": "форма носа", + "option_c": "деньги", + "option_d": "полет мысли" + }, + "outputs": "B", + "meta": { + "id": 696 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие черты можно передать с помощью репродукции и генетического материала?\nA. привычки\nB. форма носа\nC. деньги\nD. полет мысли\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.018734589219093323, + "B": 0.019942866638302803, + "C": 0.9026831388473511, + "D": 0.01553152035921812 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Оползень может принести огромные проблемы", + "option_a": "космосу", + "option_b": "путешествиям во времени", + "option_c": "жилым регионам", + "option_d": "Юпитеру" + }, + "outputs": "C", + "meta": { + "id": 214 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Оползень может принести огромные проблемы\nA. космосу\nB. путешествиям во времени\nC. жилым регионам\nD. Юпитеру\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03512915223836899, + "B": 0.015588467009365559, + "C": 0.8511013984680176, + "D": 0.06562989205121994 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Загрязнение - это", + "option_a": "деревья в зеленом лесу", + "option_b": "когда ветер разносит семена", + "option_c": "бросать обертку от конфеты вниз", + "option_d": "когда рыба плавает в море" + }, + "outputs": "C", + "meta": { + "id": 845 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗагрязнение - это\nA) деревья в зеленом лесу\nB) когда ветер разносит семена\nC) бросать обертку от конфеты вниз\nD) когда рыба плавает в море\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.09795835614204407, + "B": 0.3419082760810852, + "C": 0.09795835614204407, + "D": 0.3874328136444092 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие животные или насекомые впадают в спячку, чтобы сохранить энергию и меньше есть зимой?", + "option_a": "Стулья", + "option_b": "Птицы", + "option_c": "Люди", + "option_d": "Пчелы" + }, + "outputs": "D", + "meta": { + "id": 974 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие животные или насекомые впадают в спячку, чтобы сохранить энергию и меньше есть зимой?\nA) Стулья\nB) Птицы\nC) Люди\nD) Пчелы\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2741435766220093, + "B": 0.10085179656744003, + "C": 0.17700041830539703, + "D": 0.3747098743915558 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером животного-потребителя в пищевой цепи не может быть", + "option_a": "волк, поедающий оленя", + "option_b": "олень, жующий траву", + "option_c": "белка, поедающая жука", + "option_d": "растение, начинающее фотосинтез" + }, + "outputs": "D", + "meta": { + "id": 1522 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примером животного-потребителя в пищевой цепи не может быть\nA) волк, поедающий оленя\nB) олень, жующий траву\nC) белка, поедающая жука\nD) растение, начинающее фотосинтез\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 471, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.13088685274124146, + "B": 0.04815058037638664, + "C": 0.0700586810708046, + "D": 0.707567572593689 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Белые медведи белые из-за унаследованной", + "option_a": "длины меха", + "option_b": "короткой шерсти", + "option_c": "любви к снегу", + "option_d": "генетической характеристики" + }, + "outputs": "D", + "meta": { + "id": 1466 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Белые медведи белые из-за унаследованной\nA. длины меха\nB. короткой шерсти\nC. любви к снегу\nD. генетической характеристики\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.20645545423030853, + "B": 0.06296535581350327, + "C": 0.1418946236371994, + "D": 0.5272024869918823 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Олень", + "option_a": "жил бы в местности, лишенной фауны или флоры", + "option_b": "жил бы в водной среде", + "option_c": "жил бы в густонаселенном городе", + "option_d": "жил бы в зоне, окруженной деревьями" + }, + "outputs": "D", + "meta": { + "id": 1788 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Олень\nA. жил бы в местности, лишенной фауны или флоры\nB. жил бы в водной среде\nC. жил бы в густонаселенном городе\nD. жил бы в зоне, окруженной деревьями\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.12622688710689545, + "B": 0.2358228713274002, + "C": 0.2672223150730133, + "D": 0.30280256271362305 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда листья превращаются из зеленых в золотые, можно отметить еще одно изменение:", + "option_a": "больше дождей", + "option_b": "ярче светит солнце", + "option_c": "темнота наступает раньше", + "option_d": "более теплой становится погода" + }, + "outputs": "C", + "meta": { + "id": 1173 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда листья превращаются из зеленых в золотые, можно отметить еще одно изменение:\nA. больше дождей\nB. ярче светит солнце\nC. темнота наступает раньше\nD. более теплой становится погода\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.16662922501564026, + "B": 0.35275405645370483, + "C": 0.2580803632736206, + "D": 0.14704976975917816 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что меняет окружающую среду?", + "option_a": "обработка ковра пылесосом", + "option_b": "телевизионные сигналы", + "option_c": "огород на заднем дворе", + "option_d": "дневной сон" + }, + "outputs": "C", + "meta": { + "id": 960 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто меняет окружающую среду?\nA) обработка ковра пылесосом\nB) телевизионные сигналы\nC) огород на заднем дворе\nD) дневной сон\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5618872046470642, + "B": 0.046122509986162186, + "C": 0.11777795851230621, + "D": 0.09172556549310684 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зачем медведю есть так много, что при ходьбе у него шатается жир?", + "option_a": "чтобы подготовиться к снежному сезону", + "option_b": "потому что он чувствует себя подавленным", + "option_c": "чтобы быть более доступной целью для охотников", + "option_d": "чтобы другие животные могли весело прыгать на его животе" + }, + "outputs": "A", + "meta": { + "id": 805 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗачем медведю есть так много, что при ходьбе у него шатается жир?\nA. чтобы подготовиться к снежному сезону\nB. потому что он чувствует себя подавленным\nC. чтобы быть более доступной целью для охотников\nD. чтобы другие животные могли весело прыгать на его животе\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 467, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09454215317964554, + "B": 0.04195282608270645, + "C": 0.5791409015655518, + "D": 0.22679482400417328 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птицы кормят своих детенышей", + "option_a": "телепатией", + "option_b": "полетом", + "option_c": "срыгиванием", + "option_d": "перегноем" + }, + "outputs": "C", + "meta": { + "id": 2205 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПтицы кормят своих детенышей\nA) телепатией\nB) полетом\nC) срыгиванием\nD) перегноем\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5040700435638428, + "B": 0.06821846216917038, + "C": 0.17420195043087006, + "D": 0.09324358403682709 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Луна", + "option_a": "имеет меньше вещества, чем Земля", + "option_b": "самостоятельно вращается вокруг Солнца", + "option_c": "весит больше, чем Земля", + "option_d": "имеет большую массу, чем Земля." + }, + "outputs": "A", + "meta": { + "id": 1137 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛуна\nA) имеет меньше вещества, чем Земля\nB) самостоятельно вращается вокруг Солнца\nC) весит больше, чем Земля\nD) имеет большую массу, чем Земля.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.28977328538894653, + "B": 0.15510447323322296, + "C": 0.2402305006980896, + "D": 0.19915807247161865 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем больше коэффициент трения, тем сильнее трение, поэтому наибольшее трение будет при", + "option_a": "хлопании руки об руку", + "option_b": "разбивании речных камней", + "option_c": "прижатии зеркал друг к другу", + "option_d": "падении камня" + }, + "outputs": "B", + "meta": { + "id": 1622 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧем больше коэффициент трения, тем сильнее трение, поэтому наибольшее трение будет при\nA. хлопании руки об руку\nB. разбивании речных камней\nC. прижатии зеркал друг к другу\nD. падении камня\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06968693435192108, + "B": 0.7492051720619202, + "C": 0.04789508134126663, + "D": 0.06968693435192108 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сверчки живут в", + "option_a": "пустыне", + "option_b": "лесах в гниющих деревьях", + "option_c": "снегу", + "option_d": "лучах солнечного света" + }, + "outputs": "B", + "meta": { + "id": 1327 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сверчки живут в\nA) пустыне\nB) лесах в гниющих деревьях\nC) снегу\nD) лучах солнечного света\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3801429271697998, + "B": 0.10891277343034744, + "C": 0.1584671437740326, + "D": 0.26126816868782043 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С годами у пустынной крысы развились черты, которые помогают ей жить в условиях нехватки воды. Примером чего являются эти черты?", + "option_a": "Приобретенные характеристики", + "option_b": "Приобретенные интересы", + "option_c": "Полученная статистика", + "option_d": "Полученная эвристика" + }, + "outputs": "A", + "meta": { + "id": 2165 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nС годами у пустынной крысы развились черты, которые помогают ей жить в условиях нехватки воды. Примером чего являются эти черты?\nA) Приобретенные характеристики\nB) Приобретенные интересы\nC) Полученная статистика\nD) Полученная эвристика\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5628745555877686, + "B": 0.07156146317720413, + "C": 0.12559428811073303, + "D": 0.0918867439031601 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая польза от организмов, сохранившихся в осадочных породах?", + "option_a": "топливо", + "option_b": "вода", + "option_c": "еда", + "option_d": "одежда" + }, + "outputs": "A", + "meta": { + "id": 2125 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая польза от организмов, сохранившихся в осадочных породах?\nA) топливо\nB) вода\nC) еда\nD) одежда\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.019161472097039223, + "B": 0.012371576391160488, + "C": 0.9232514500617981, + "D": 0.014922969043254852 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что пищеварительная система расщепляет на простые вещества?", + "option_a": "металлы", + "option_b": "камни", + "option_c": "питательные вещества", + "option_d": "пища из пластика" + }, + "outputs": "C", + "meta": { + "id": 1780 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что пищеварительная система расщепляет на простые вещества?\nA) металлы\nB) камни\nC) питательные вещества\nD) пища из пластика\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.4867737591266632, + "B": 0.2299356460571289, + "C": 0.07012641429901123, + "D": 0.13101337850093842 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное теплокровное?", + "option_a": "саламандра", + "option_b": "попугай", + "option_c": "жаба", + "option_d": "головастик" + }, + "outputs": "B", + "meta": { + "id": 2046 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое животное теплокровное?\nA) саламандра\nB) попугай\nC) жаба\nD) головастик\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.07453971356153488, + "B": 0.03521006926894188, + "C": 0.19034384191036224, + "D": 0.664365291595459 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из чего сделан берег реки?", + "option_a": "животные", + "option_b": "океаны", + "option_c": "кости", + "option_d": "суглинок" + }, + "outputs": "D", + "meta": { + "id": 915 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИз чего сделан берег реки?\nA) животные\nB) океаны\nC) кости\nD) суглинок\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15019947290420532, + "B": 0.6731473207473755, + "C": 0.04876263067126274, + "D": 0.04042563959956169 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Толстые перья пригодятся птицам", + "option_a": "которые живут в теплом климате", + "option_b": "которые живут в холодном климате", + "option_c": "которым нравится более пышное оперенье", + "option_d": "которые страдают от облысения по мужскому типу" + }, + "outputs": "B", + "meta": { + "id": 1361 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТолстые перья пригодятся птицам\nA. которые живут в теплом климате\nB. которые живут в холодном климате\nC. которым нравится более пышное оперенье\nD. которые страдают от облысения по мужскому типу\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05031905323266983, + "B": 0.7871224284172058, + "C": 0.05031905323266983, + "D": 0.04440641403198242 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Езда на двухколесном транспортном средстве, приводимом в движение человеком, благоприятна для окружающей среды, потому что такой транспорт", + "option_a": "помогает людям оставаться в форме", + "option_b": "работает без топлива", + "option_c": "дешевле поддерживать", + "option_d": "хорош тем, что им веселее управлять" + }, + "outputs": "B", + "meta": { + "id": 788 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕзда на двухколесном транспортном средстве, приводимом в движение человеком, благоприятна для окружающей среды, потому что такой транспорт\nA. помогает людям оставаться в форме\nB. работает без топлива\nC. дешевле поддерживать\nD. хорош тем, что им веселее управлять\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06459195166826248, + "B": 0.030511079356074333, + "C": 0.7392157912254333, + "D": 0.12067365646362305 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если кошке дать цианид, она", + "option_a": "сблеванет", + "option_b": "закашляется", + "option_c": "скончается", + "option_d": "съест и не подавится" + }, + "outputs": "C", + "meta": { + "id": 2147 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли кошке дать цианид, она\nA. сблеванет\nB. закашляется\nC. скончается\nD. съест и не подавится\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6041689515113831, + "B": 0.06367893517017365, + "C": 0.041114214807748795, + "D": 0.14350271224975586 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Единственная стадия процесса круговорота воды, которой не существует, - это", + "option_a": "оценка", + "option_b": "испарение", + "option_c": "выпадение осадков", + "option_d": "конденсация" + }, + "outputs": "A", + "meta": { + "id": 814 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕдинственная стадия процесса круговорота воды, которой не существует, - это\nA) оценка\nB) испарение\nC) выпадение осадков\nD) конденсация\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.16105259954929352, + "B": 0.32029134035110474, + "C": 0.18249650299549103, + "D": 0.26553085446357727 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воздействие тепла при более высоких температурах без способности регулировать внутреннюю температуру объекта приведет к истечению срока действия которого из них?", + "option_a": "туз пик", + "option_b": "запаянная пробирка с воздухом", + "option_c": "большой мост", + "option_d": "скучающий призрак" + }, + "outputs": "B", + "meta": { + "id": 2040 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВоздействие тепла при более высоких температурах без способности регулировать внутреннюю температуру объекта приведет к истечению срока действия которого из них?\nA) туз пик\nB) запаянная пробирка с воздухом\nC) большой мост\nD) скучающий призрак\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6415295004844666, + "B": 0.06761671602725983, + "C": 0.056056223809719086, + "D": 0.09242109209299088 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Организм-продуцент сам отвечает за:", + "option_a": "жизнеобеспечение", + "option_b": "воздух", + "option_c": "укрытие", + "option_d": "тело" + }, + "outputs": "A", + "meta": { + "id": 592 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Организм-продуцент сам отвечает за:\nA) жизнеобеспечение\nB) воздух\nC) укрытие\nD) тело\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.35732004046440125, + "B": 0.20359480381011963, + "C": 0.23070316016674042, + "D": 0.08487094938755035 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что происходит, когда температура гексана поднимается выше 70 градусов по Цельсию?", + "option_a": "кипит", + "option_b": "возгоняется", + "option_c": "плавится", + "option_d": "замерзает" + }, + "outputs": "A", + "meta": { + "id": 1079 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто происходит, когда температура гексана поднимается выше 70 градусов по Цельсию?\nA) кипит\nB) возгоняется\nC) плавится\nD) замерзает\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.11201080679893494, + "B": 0.04970449581742287, + "C": 0.5688378810882568, + "D": 0.20926377177238464 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой среде мало осадков?", + "option_a": "тропики", + "option_b": "тропический лес", + "option_c": "песочница", + "option_d": "песчаная пустыня" + }, + "outputs": "D", + "meta": { + "id": 2025 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В какой среде мало осадков?\nA) тропики\nB) тропический лес\nC) песочница\nD) песчаная пустыня\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.3417584300041199, + "B": 0.0338386669754982, + "C": 0.28332769870758057, + "D": 0.26616171002388 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что обязательно требуется человеку для удалённого управления какой-либо машиной или устройством?", + "option_a": "информация о погоде", + "option_b": "еда", + "option_c": "все это неверно", + "option_d": "цветочное растение" + }, + "outputs": "C", + "meta": { + "id": 727 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто обязательно требуется человеку для удалённого управления какой-либо машиной или устройством?\nA) информация о погоде\nB) еда\nC) все это неверно\nD) цветочное растение\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.12762024998664856, + "B": 0.23842601478099823, + "C": 0.3061450719833374, + "D": 0.25380319356918335 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ночной хищник, скорее всего, будет исследовать ближайший", + "option_a": "грозовой фронт", + "option_b": "скотный двор", + "option_c": "порог реки", + "option_d": "горный перевал" + }, + "outputs": "B", + "meta": { + "id": 2111 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНочной хищник, скорее всего, будет исследовать ближайший\nA. грозовой фронт\nB. скотный двор\nC. порог реки\nD. горный перевал\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4157802164554596, + "B": 0.1349840760231018, + "C": 0.1349840760231018, + "D": 0.16282187402248383 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему растение не приживается в помещении?", + "option_a": "хлорофилл получает меньше световой энергии для поглощения", + "option_b": "это не из-за других растений", + "option_c": "корни имеют меньше световой энергии для поглощения", + "option_d": "температура не так хороша" + }, + "outputs": "A", + "meta": { + "id": 2014 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПочему растение не приживается в помещении?\nA) хлорофилл получает меньше световой энергии для поглощения\nB) это не из-за других растений\nC) корни имеют меньше световой энергии для поглощения\nD) температура не так хороша\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.19835299253463745, + "B": 0.09369531273841858, + "C": 0.27111637592315674, + "D": 0.37057217955589294 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чему нужна розетка?", + "option_a": "холодный чай со льдом", + "option_b": "пенистое пиво", + "option_c": "торшер с бахромой", + "option_d": "аккумуляторная воздуходувка для листьев" + }, + "outputs": "C", + "meta": { + "id": 512 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чему нужна розетка?\nA) холодный чай со льдом\nB) пенистое пиво\nC) торшер с бахромой\nD) аккумуляторная воздуходувка для листьев\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.22296687960624695, + "B": 0.09894095361232758, + "C": 0.36761021614074707, + "D": 0.22296687960624695 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Место, где обитают пингвины со стаями черных и белых млекопитающих,", + "option_a": "полно песка", + "option_b": "непригодно для проживания игуан", + "option_c": "окрашено кремом", + "option_d": "тепло и ветрено" + }, + "outputs": "B", + "meta": { + "id": 1651 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМесто, где обитают пингвины со стаями черных и белых млекопитающих,\nA. полно песка\nB. непригодно для проживания игуан\nC. окрашено кремом\nD. тепло и ветрено\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.017445139586925507, + "B": 0.8947649002075195, + "C": 0.02240000292658806, + "D": 0.015395279973745346 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "испарение - первая стадия в каком цикле", + "option_a": "лунный", + "option_b": "круговорот H2O", + "option_c": "рост", + "option_d": "менструальный" + }, + "outputs": "B", + "meta": { + "id": 1244 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: испарение - первая стадия в каком цикле\nA) лунный\nB) круговорот H2O\nC) рост\nD) менструальный\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2406463474035263, + "B": 0.12100459635257721, + "C": 0.3289245665073395, + "D": 0.1995028406381607 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шторм, движущийся над землей, вызовет больше дождя", + "option_a": "над арктическими льдами", + "option_b": "в песчаной местности", + "option_c": "на лугу", + "option_d": "в пустыне" + }, + "outputs": "C", + "meta": { + "id": 277 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nШторм, движущийся над землей, вызовет больше дождя\nA. над арктическими льдами\nB. в песчаной местности\nC. на лугу\nD. в пустыне\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.036516398191452026, + "B": 0.8311094045639038, + "C": 0.023576758801937103, + "D": 0.04404718428850174 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения собирают питательные вещества из", + "option_a": "трута", + "option_b": "участка почвы под травой", + "option_c": "бетонной площадки", + "option_d": "магазинов и хранилищ" + }, + "outputs": "B", + "meta": { + "id": 1539 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Растения собирают питательные вещества из\nA. трута\nB. участка почвы под травой\nC. бетонной площадки\nD. магазинов и хранилищ\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.15924008190631866, + "B": 0.15924008190631866, + "C": 0.40663379430770874, + "D": 0.1804426610469818 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Имея надежные растительные источники пищи в поле, заяц может отреагировать:", + "option_a": "найти помощника", + "option_b": "иметь большие пометы", + "option_c": "съесть больше еды", + "option_d": "найти новое поле" + }, + "outputs": "B", + "meta": { + "id": 1231 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Имея надежные растительные источники пищи в поле, заяц может отреагировать:\nA. найти помощника\nB. иметь большие пометы\nC. съесть больше еды\nD. найти новое поле\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6957828998565674, + "B": 0.05365302041172981, + "C": 0.044479914009571075, + "D": 0.09416397660970688 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что верно", + "option_a": "анемометр измеряет скорость урагана", + "option_b": "анемометр измеряет громкость грома", + "option_c": "анемометр измеряет радугу", + "option_d": "анемометр измеряет разряд молнии" + }, + "outputs": "A", + "meta": { + "id": 1351 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что верно\nA) анемометр измеряет скорость урагана\nB) анемометр измеряет громкость грома\nC) анемометр измеряет радугу\nD) анемометр измеряет разряд молнии\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.18648919463157654, + "B": 0.6114745736122131, + "C": 0.07774025946855545, + "D": 0.06054418161511421 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Положение объекта изменяется, когда", + "option_a": "объект находится в положении", + "option_b": "объект изменяет свое местоположение", + "option_c": "объект чувствует себя эмоционально перемещенным", + "option_d": "объекты рассматривают возможность перемещения" + }, + "outputs": "B", + "meta": { + "id": 1080 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПоложение объекта изменяется, когда\nA) объект находится в положении\nB) объект изменяет свое местоположение\nC) объект чувствует себя эмоционально перемещенным\nD) объекты рассматривают возможность перемещения\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.21714338660240173, + "B": 0.5902568697929382, + "C": 0.054902441799640656, + "D": 0.062212616205215454 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что вызывает химическую реакцию?", + "option_a": "наливание воды в миску", + "option_b": "смешивание и нагревание съедобных предметов", + "option_c": "поглаживание кошки", + "option_d": "катание мяча по полу" + }, + "outputs": "B", + "meta": { + "id": 1901 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто вызывает химическую реакцию?\nA. наливание воды в миску\nB. смешивание и нагревание съедобных предметов\nC. поглаживание кошки\nD. катание мяча по полу\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2779352366924286, + "B": 0.12333300709724426, + "C": 0.1794484704732895, + "D": 0.3149418830871582 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что быстро меняет поверхность Земли?", + "option_a": "ураган", + "option_b": "торнадо", + "option_c": "наводнение", + "option_d": "землетрясение" + }, + "outputs": "D", + "meta": { + "id": 1403 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто быстро меняет поверхность Земли?\nA. ураган\nB. торнадо\nC. наводнение\nD. землетрясение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.31183740496635437, + "B": 0.27519553899765015, + "C": 0.1473015546798706, + "D": 0.15680168569087982 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чего солнечный свет с трудом достигает у больших деревьев в лесах?", + "option_a": "верхушек", + "option_b": "нижних областей", + "option_c": "облаков", + "option_d": "крон" + }, + "outputs": "B", + "meta": { + "id": 2297 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧего солнечный свет с трудом достигает у больших деревьев в лесах?\nA. верхушек\nB. нижних областей\nC. облаков\nD. крон\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.34156888723373413, + "B": 0.12565618753433228, + "C": 0.24989712238311768, + "D": 0.12565618753433228 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животному нужно другое животное, чтобы", + "option_a": "передавать генетическую информацию", + "option_b": "есть", + "option_c": "удалять отходы", + "option_d": "летать" + }, + "outputs": "A", + "meta": { + "id": 1991 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Животному нужно другое животное, чтобы\nA) передавать генетическую информацию\nB) есть\nC) удалять отходы\nD) летать\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.15211693942546844, + "B": 0.040941718965768814, + "C": 0.3649095892906189, + "D": 0.3649095892906189 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если чертополох намерен разрастаться, он требует", + "option_a": "сена", + "option_b": "морских ракушек", + "option_c": "крупного рогатого скота", + "option_d": "питательных веществ" + }, + "outputs": "D", + "meta": { + "id": 1254 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли чертополох намерен разрастаться, он требует\nA. сена\nB. морских ракушек\nC. крупного рогатого скота\nD. питательных веществ\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.626943826675415, + "B": 0.10234576463699341, + "C": 0.10894649475812912, + "D": 0.04834471642971039 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что могло бы лучше защитить внутренние органы животного?", + "option_a": "внутренняя структура, усиленная кальцием", + "option_b": "рюкзак на спине", + "option_c": "ни один из них", + "option_d": "оболочка из хлопка" + }, + "outputs": "A", + "meta": { + "id": 824 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто могло бы лучше защитить внутренние органы животного?\nA) внутренняя структура, усиленная кальцием\nB) рюкзак на спине\nC) ни один из них\nD) оболочка из хлопка\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.11405602097511292, + "B": 0.2570292055606842, + "C": 0.33003202080726624, + "D": 0.226827472448349 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кенгуру может иметь несколько детенышей одновременно на разных этапах жизни - уже выросшего из сумки, еще растущего в сумке и зародыш внутри. У этих животных проявляются замечательные инстинкты", + "option_a": "галлюцинаций", + "option_b": "танца", + "option_c": "крика", + "option_d": "медсестры" + }, + "outputs": "D", + "meta": { + "id": 2224 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКенгуру может иметь несколько детенышей одновременно на разных этапах жизни - уже выросшего из сумки, еще растущего в сумке и зародыш внутри. У этих животных проявляются замечательные инстинкты\nA) галлюцинаций\nB) танца\nC) крика\nD) медсестры\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7864834666252136, + "B": 0.011942120268940926, + "C": 0.039156705141067505, + "D": 0.011218583211302757 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сейсмограф - это своего рода инструмент для измерения силы", + "option_a": "подземных толчков", + "option_b": "рек", + "option_c": "вулканической активности", + "option_d": "озерной рыбы" + }, + "outputs": "A", + "meta": { + "id": 2097 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСейсмограф - это своего рода инструмент для измерения силы\nA. подземных толчков\nB. рек\nC. вулканической активности\nD. озерной рыбы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3506763279438019, + "B": 0.05377795919775963, + "C": 0.11384794116020203, + "D": 0.3506763279438019 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если лес, в котором живут животные, вырубается", + "option_a": "то все животные умирают", + "option_b": "то животные просто восстанавливаются", + "option_c": "то животные легко адаптируются", + "option_d": "то животным становится негде жить" + }, + "outputs": "D", + "meta": { + "id": 1400 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если лес, в котором живут животные, вырубается\nA) то все животные умирают\nB) то животные просто восстанавливаются\nC) то животные легко адаптируются\nD) то животным становится негде жить\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0896122083067894, + "B": 0.05105949565768242, + "C": 0.6621496081352234, + "D": 0.15727432072162628 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Два попугая, каждый в отдельном доме, каждый в комнате без окон, могут обмениваться информацией посредством", + "option_a": "семян", + "option_b": "пожимания плечами", + "option_c": "криков", + "option_d": "заметок" + }, + "outputs": "C", + "meta": { + "id": 1128 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДва попугая, каждый в отдельном доме, каждый в комнате без окон, могут обмениваться информацией посредством\nA) семян\nB) пожимания плечами\nC) криков\nD) заметок\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.21307231485843658, + "B": 0.12923488020896912, + "C": 0.3980714678764343, + "D": 0.17664314806461334 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди, перемещающиеся в окружающую среду, обычно приводят к тому, что аборигенные виды теряют что?", + "option_a": "красота", + "option_b": "дом", + "option_c": "ум", + "option_d": "молодость" + }, + "outputs": "B", + "meta": { + "id": 975 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люди, перемещающиеся в окружающую среду, обычно приводят к тому, что аборигенные виды теряют что?\nA) красота\nB) дом\nC) ум\nD) молодость\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.07347986847162247, + "B": 0.12896119058132172, + "C": 0.06902795284986496, + "D": 0.697157621383667 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животным управляет", + "option_a": "пульт управления", + "option_b": "друг", + "option_c": "погода", + "option_d": "набор нейронов" + }, + "outputs": "D", + "meta": { + "id": 1545 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖивотным управляет\nA) пульт управления\nB) друг\nC) погода\nD) набор нейронов\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 416, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.28705060482025146, + "B": 0.18533378839492798, + "C": 0.25332126021385193, + "D": 0.16355648636817932 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После того, как цветы декоративного лимона упадут, у вас останется", + "option_a": "знак пчелы", + "option_b": "что-то кислое", + "option_c": "ванна для птиц", + "option_d": "вечеринка" + }, + "outputs": "B", + "meta": { + "id": 188 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПосле того, как цветы декоративного лимона упадут, у вас останется\nA. знак пчелы\nB. что-то кислое\nC. ванна для птиц\nD. вечеринка\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5466932654380798, + "B": 0.06950424611568451, + "C": 0.1382257044315338, + "D": 0.1382257044315338 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кому из них меньше всего нужно дышать воздухом?", + "option_a": "зоопланктон", + "option_b": "канарейка", + "option_c": "медведь", + "option_d": "кот" + }, + "outputs": "A", + "meta": { + "id": 82 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кому из них меньше всего нужно дышать воздухом?\nA) зоопланктон\nB) канарейка\nC) медведь\nD) кот\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.27345162630081177, + "B": 0.16585679352283478, + "C": 0.30986127257347107, + "D": 0.15580803155899048 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек смотрит на небольшой организм на столе невооруженным человеческим глазом. Желая рассмотреть этот организм более внимательно, человек использует", + "option_a": "бинокль", + "option_b": "телескоп", + "option_c": "лабораторное оборудование", + "option_d": "измерительную линейку" + }, + "outputs": "C", + "meta": { + "id": 1081 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловек смотрит на небольшой организм на столе невооруженным человеческим глазом. Желая рассмотреть этот организм более внимательно, человек использует\nA. бинокль\nB. телескоп\nC. лабораторное оборудование\nD. измерительную линейку\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.296247661113739, + "B": 0.0661017894744873, + "C": 0.23071789741516113, + "D": 0.31535398960113525 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Горячей жидкостью может оказаться", + "option_a": "чашка вчерашнего кофе", + "option_b": "высокий стакан молока", + "option_c": "теплая чашка какао", + "option_d": "вода из макарон, пузырящаяся на плите" + }, + "outputs": "D", + "meta": { + "id": 450 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГорячей жидкостью может оказаться\nA. чашка вчерашнего кофе\nB. высокий стакан молока\nC. теплая чашка какао\nD. вода из макарон, пузырящаяся на плите\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.09779013693332672, + "B": 0.02801734395325184, + "C": 0.2658211886882782, + "D": 0.5627434253692627 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если хищник хочет оставаться незамеченным для жертвы до самого последнего момента, какой метод будет эффективным?", + "option_a": "хищник мочится, чтобы сбить с толку добычу", + "option_b": "очень громко рычит, чтобы напугать жертву", + "option_c": "ни один из этих методов не годится", + "option_d": "прячется за кустом того же цвета, что и он сам" + }, + "outputs": "D", + "meta": { + "id": 1319 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли хищник хочет оставаться незамеченным для жертвы до самого последнего момента, какой метод будет эффективным?\nA) хищник мочится, чтобы сбить с толку добычу\nB) очень громко рычит, чтобы напугать жертву\nC) ни один из этих методов не годится\nD) прячется за кустом того же цвета, что и он сам\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 473, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19040322303771973, + "B": 0.09574074298143387, + "C": 0.5175695419311523, + "D": 0.12293355166912079 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что люди воспринимают ухом?", + "option_a": "немое кино", + "option_b": "дегустация", + "option_c": "виолончель", + "option_d": "комикс" + }, + "outputs": "C", + "meta": { + "id": 471 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто люди воспринимают ухом?\nA) немое кино\nB) дегустация\nC) виолончель\nD) комикс\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8204531669616699, + "B": 0.015996292233467102, + "C": 0.012457923032343388, + "D": 0.015996292233467102 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животные похожи на людей в том, что если у них закончится кислород, дыхание станет невозможным и", + "option_a": "они погибнут", + "option_b": "они будут печатать газету", + "option_c": "они начнут программировать", + "option_d": "они будут смеяться" + }, + "outputs": "A", + "meta": { + "id": 1160 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Животные похожи на людей в том, что если у них закончится кислород, дыхание станет невозможным и\nA. они погибнут\nB. они будут печатать газету\nC. они начнут программировать\nD. они будут смеяться\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5257032513618469, + "B": 0.05898226797580719, + "C": 0.1816781908273697, + "D": 0.09135352075099945 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Хомяк недоедал, потому что", + "option_a": "запасы зерна подходили к концу", + "option_b": "он объявил голодовку", + "option_c": "у него парализовало рот", + "option_d": "он потерял ключ к кладовой с едой" + }, + "outputs": "A", + "meta": { + "id": 557 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nХомяк недоедал, потому что\nA) запасы зерна подходили к концу\nB) он объявил голодовку\nC) у него парализовало рот\nD) он потерял ключ к кладовой с едой\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6167461276054382, + "B": 0.057366326451301575, + "C": 0.05389067530632019, + "D": 0.14649005234241486 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что покрывает более 90% поверхности Земли и 0% поверхности Луны", + "option_a": ", вещество, молекула которого содержит 2 атома водорода и 1 атом кислорода", + "option_b": "химический элемент с символом S", + "option_c": "элемент с символом Fe", + "option_d": "минерал силикат магния и железа" + }, + "outputs": "A", + "meta": { + "id": 1866 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто покрывает более 90% поверхности Земли и 0% поверхности Луны\nA) , вещество, молекула которого содержит 2 атома водорода и 1 атом кислорода\nB) химический элемент с символом S\nC) элемент с символом Fe\nD) минерал силикат магния и железа\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.012926477938890457, + "B": 0.010067152790725231, + "C": 0.9062161445617676, + "D": 0.03981635719537735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примеры загрязнения включают все, кроме", + "option_a": "кислотных дождей", + "option_b": "смога", + "option_c": "чечевичного супа", + "option_d": "химических стоков" + }, + "outputs": "C", + "meta": { + "id": 1376 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примеры загрязнения включают все, кроме\nA. кислотных дождей\nB. смога\nC. чечевичного супа\nD. химических стоков\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4852953553199768, + "B": 0.1306154727935791, + "C": 0.13903945684432983, + "D": 0.09556031972169876 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если ледник, проходящий мимо дока, задел там какие-то большие валуны, на валунах", + "option_a": "будут выбоины", + "option_b": "будут пятна", + "option_c": "будут ракушки", + "option_d": "будет грязь" + }, + "outputs": "A", + "meta": { + "id": 889 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если ледник, проходящий мимо дока, задел там какие-то большие валуны, на валунах\nA) будут выбоины\nB) будут пятна\nC) будут ракушки\nD) будет грязь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.585288941860199, + "B": 0.0843188688158989, + "C": 0.10826756805181503, + "D": 0.07921024411916733 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы слышите, что на улице снег, вы можете ожидать, что", + "option_a": "снаружи образовались заносы", + "option_b": "нет никакого снега снаружи", + "option_c": "снаружи много огня", + "option_d": "лягушки падают с неба" + }, + "outputs": "A", + "meta": { + "id": 419 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вы слышите, что на улице снег, вы можете ожидать, что\nA. снаружи образовались заносы\nB. нет никакого снега снаружи\nC. снаружи много огня\nD. лягушки падают с неба\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.46616512537002563, + "B": 0.11072392761707306, + "C": 0.16110236942768097, + "D": 0.11786500364542007 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Механическое выветривание разрушает механическими средствами ____", + "option_a": "песчаные дюны", + "option_b": "деревья", + "option_c": "холмы", + "option_d": "валуны" + }, + "outputs": "D", + "meta": { + "id": 1860 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМеханическое выветривание разрушает механическими средствами ____\nA. песчаные дюны\nB. деревья\nC. холмы\nD. валуны\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1736181378364563, + "B": 0.19673514366149902, + "C": 0.41648828983306885, + "D": 0.1193258985877037 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если организм умирает, то что будет с численностью бактерий-симбионтов, населяющих этот организм?", + "option_a": "возрастет", + "option_b": "уменьшится", + "option_c": "останется на прежнем уровне", + "option_d": "даст взрывной рост" + }, + "outputs": "B", + "meta": { + "id": 231 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если организм умирает, то что будет с численностью бактерий-симбионтов, населяющих этот организм?\nA) возрастет\nB) уменьшится\nC) останется на прежнем уровне\nD) даст взрывной рост\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.14791910350322723, + "B": 0.5850313901901245, + "C": 0.05792595446109772, + "D": 0.12262924760580063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая среда часто бывает зеленой?", + "option_a": "арктика", + "option_b": "рощи", + "option_c": "пустыни", + "option_d": "океаны" + }, + "outputs": "B", + "meta": { + "id": 100 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какая среда часто бывает зеленой?\nA. арктика\nB. рощи\nC. пустыни\nD. океаны\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.27776965498924255, + "B": 0.061978790909051895, + "C": 0.40415245294570923, + "D": 0.17934156954288483 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для действия какого объекта больше всего характерна вибрация воздуха?", + "option_a": "кровяные тельца", + "option_b": "кирпич", + "option_c": "альт", + "option_d": "фонарик" + }, + "outputs": "C", + "meta": { + "id": 1299 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для действия какого объекта больше всего характерна вибрация воздуха?\nA. кровяные тельца\nB. кирпич\nC. альт\nD. фонарик\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13960546255111694, + "B": 0.552150309085846, + "C": 0.09594933688640594, + "D": 0.1486092507839203 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является источником волокон?", + "option_a": "вода", + "option_b": "растения", + "option_c": "камни", + "option_d": "воздух" + }, + "outputs": "B", + "meta": { + "id": 2118 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что является источником волокон?\nA) вода\nB) растения\nC) камни\nD) воздух\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09140419214963913, + "B": 0.7189496755599976, + "C": 0.06282112002372742, + "D": 0.04317628592252731 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "К кому или к чему относится процесс взросления?", + "option_a": "питание растений", + "option_b": "живое существо", + "option_c": "круг интересов", + "option_d": "химическая реакция" + }, + "outputs": "B", + "meta": { + "id": 493 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: К кому или к чему относится процесс взросления?\nA) питание растений\nB) живое существо\nC) круг интересов\nD) химическая реакция\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0757145881652832, + "B": 0.5594593286514282, + "C": 0.1328832358121872, + "D": 0.18162985146045685 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы можете сделать пулю, исчезающую без следа, из", + "option_a": "металла", + "option_b": "замороженной воды", + "option_c": "свинца", + "option_d": "сплавов" + }, + "outputs": "B", + "meta": { + "id": 842 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВы можете сделать пулю, исчезающую без следа, из\nA) металла\nB) замороженной воды\nC) свинца\nD) сплавов\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3554733395576477, + "B": 0.2156054824590683, + "C": 0.19027118384838104, + "D": 0.13077135384082794 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие насекомые могут годами откладывать яйца на взрослой стадии своего жизненного цикла?", + "option_a": "все", + "option_b": "матки", + "option_c": "большие", + "option_d": "самцы" + }, + "outputs": "B", + "meta": { + "id": 235 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие насекомые могут годами откладывать яйца на взрослой стадии своего жизненного цикла?\nA) все\nB) матки\nC) большие\nD) самцы\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6900416612625122, + "B": 0.049986451864242554, + "C": 0.056642066687345505, + "D": 0.08241372555494308 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения и деревья поглощают углекислый газ, поэтому, если деревья будут вырублены, уровень углерода будет", + "option_a": "возрастать", + "option_b": "летать", + "option_c": "кричать", + "option_d": "снижаться" + }, + "outputs": "A", + "meta": { + "id": 1851 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРастения и деревья поглощают углекислый газ, поэтому, если деревья будут вырублены, уровень углерода будет\nA) возрастать\nB) летать\nC) кричать\nD) снижаться\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8349402546882629, + "B": 0.025213010609149933, + "C": 0.020902320742607117, + "D": 0.012677897699177265 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая роль делает планктон похожим на фермера?", + "option_a": "он производит пищу", + "option_b": "он нуждается в пище", + "option_c": "он может заболеть", + "option_d": "он живет в океане" + }, + "outputs": "A", + "meta": { + "id": 2055 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая роль делает планктон похожим на фермера?\nA. он производит пищу\nB. он нуждается в пище\nC. он может заболеть\nD. он живет в океане\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.23461604118347168, + "B": 0.11082477867603302, + "C": 0.3206821084022522, + "D": 0.22040139138698578 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Усвоенная характеристика:", + "option_a": "малыш, стучащий палкой, пока родитель бьет молотком", + "option_b": "ребенок с глазами того же цвета, что и родитель", + "option_c": "ребенок, покрытый веснушками", + "option_d": "младенец с диагнозом серповидноклеточная анемия" + }, + "outputs": "A", + "meta": { + "id": 501 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУсвоенная характеристика:\nA. малыш, стучащий палкой, пока родитель бьет молотком\nB. ребенок с глазами того же цвета, что и родитель\nC. ребенок, покрытый веснушками\nD. младенец с диагнозом серповидноклеточная анемия\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.21351170539855957, + "B": 0.14674431085586548, + "C": 0.37472471594810486, + "D": 0.20057570934295654 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы нашли бревно с отверстием. Кто скорее всего высунется оттуда?", + "option_a": "рыба с большими жабрами", + "option_b": "белка небольшого размера", + "option_c": "никто из перечисленных животных", + "option_d": "динозавр из юрского периода" + }, + "outputs": "B", + "meta": { + "id": 755 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВы нашли бревно с отверстием. Кто скорее всего высунется оттуда?\nA) рыба с большими жабрами\nB) белка небольшого размера\nC) никто из перечисленных животных\nD) динозавр из юрского периода\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8405916690826416, + "B": 0.014463177882134914, + "C": 0.01638892851769924, + "D": 0.019768821075558662 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В национальных парках действуют правила,", + "option_a": "которые защищают уязвимых обитателей животных в парках", + "option_b": "которые открывают парки для добычи природных ресурсов", + "option_c": "которые допускают замусоривание", + "option_d": "ограничивающие рост хрупких видов животных" + }, + "outputs": "A", + "meta": { + "id": 328 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В национальных парках действуют правила,\nA) которые защищают уязвимых обитателей животных в парках\nB) которые открывают парки для добычи природных ресурсов\nC) которые допускают замусоривание\nD) ограничивающие рост хрупких видов животных\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.15877395868301392, + "B": 0.09630127996206284, + "C": 0.5205997824668884, + "D": 0.16901400685310364 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером электрического проводника может быть", + "option_a": "дерево", + "option_b": "лед", + "option_c": "резина", + "option_d": "монета" + }, + "outputs": "D", + "meta": { + "id": 1410 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примером электрического проводника может быть\nA) дерево\nB) лед\nC) резина\nD) монета\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.15824443101882935, + "B": 0.09016496688127518, + "C": 0.2777276635169983, + "D": 0.40409132838249207 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Секундомер полезен", + "option_a": "при определении текущего времени", + "option_b": "при вычислении ответов в тесте с таблицей умножения", + "option_c": "при установке будильника", + "option_d": "при отслеживании промежуточного времени на пробежках" + }, + "outputs": "D", + "meta": { + "id": 1169 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Секундомер полезен\nA) при определении текущего времени\nB) при вычислении ответов в тесте с таблицей умножения\nC) при установке будильника\nD) при отслеживании промежуточного времени на пробежках\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.20013734698295593, + "B": 0.10063537210226059, + "C": 0.29119810461997986, + "D": 0.32997068762779236 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У деревьев годовые кольца нарастают по одному в год; значит", + "option_a": "дереву с восемью кольцами - пять лет", + "option_b": "дереву с шестью кольцами - семь лет", + "option_c": "дереву с девятью кольцами - девять лет", + "option_d": "определение возраста дерева невозможно на основе колец" + }, + "outputs": "C", + "meta": { + "id": 1493 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ деревьев годовые кольца нарастают по одному в год; значит\nA. дереву с восемью кольцами - пять лет\nB. дереву с шестью кольцами - семь лет\nC. дереву с девятью кольцами - девять лет\nD. определение возраста дерева невозможно на основе колец\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.4032081365585327, + "B": 0.14833199977874756, + "C": 0.10194697976112366, + "D": 0.2603307366371155 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Над головой темно, хотя летний день и еще только полдень. Из-за отсутствия солнечного затмения реальная причина этой темноты заключается в том, что", + "option_a": "на небе нет облаков", + "option_b": "собирается шторм", + "option_c": "светит солнце", + "option_d": "облака полностью отсутствуют" + }, + "outputs": "B", + "meta": { + "id": 1613 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Над головой темно, хотя летний день и еще только полдень. Из-за отсутствия солнечного затмения реальная причина этой темноты заключается в том, что\nA. на небе нет облаков\nB. собирается шторм\nC. светит солнце\nD. облака полностью отсутствуют\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03870416805148125, + "B": 0.020716847851872444, + "C": 0.8809027671813965, + "D": 0.02205296978354454 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каким процессом или явлением, связанным с жизнью гор, были образованы Альпы?", + "option_a": "сель", + "option_b": "таяние", + "option_c": "складчатость", + "option_d": "извержение" + }, + "outputs": "C", + "meta": { + "id": 1973 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКаким процессом или явлением, связанным с жизнью гор, были образованы Альпы?\nA) сель\nB) таяние\nC) складчатость\nD) извержение\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15467172861099243, + "B": 0.056900545954704285, + "C": 0.5071491003036499, + "D": 0.23956027626991272 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого примерно противоположно уборке дома по параметру приобретенности поведения?", + "option_a": "стрижка газона", + "option_b": "уборка двора", + "option_c": "инстинктивное поведение", + "option_d": "мытье посуды" + }, + "outputs": "C", + "meta": { + "id": 858 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из этого примерно противоположно уборке дома по параметру приобретенности поведения?\nA) стрижка газона\nB) уборка двора\nC) инстинктивное поведение\nD) мытье посуды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.18649417161941528, + "B": 0.18649417161941528, + "C": 0.3074769079685211, + "D": 0.19852200150489807 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это явление невозможно в полнолуние", + "option_a": "туман", + "option_b": "лунное затмение", + "option_c": "солнечное затмение", + "option_d": "сумерки" + }, + "outputs": "C", + "meta": { + "id": 507 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЭто явление невозможно в полнолуние\nA. туман\nB. лунное затмение\nC. солнечное затмение\nD. сумерки\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.13315077126026154, + "B": 0.07586701959371567, + "C": 0.18199552595615387, + "D": 0.5605856776237488 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ищейки могут найти еду по", + "option_a": "информации из социальных сетях", + "option_b": "сохраненным файлам в своем телефоне", + "option_c": "геометкам в Интернете", + "option_d": "запаху" + }, + "outputs": "D", + "meta": { + "id": 582 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ищейки могут найти еду по\nA. информации из социальных сетях\nB. сохраненным файлам в своем телефоне\nC. геометкам в Интернете\nD. запаху\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4528219401836395, + "B": 0.08916591852903366, + "C": 0.11449131369590759, + "D": 0.18876425921916962 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У многих животных, которые рождают живых детенышей, есть", + "option_a": "жабры", + "option_b": "чешуя", + "option_c": "экзоскелеты", + "option_d": "ноги" + }, + "outputs": "D", + "meta": { + "id": 2123 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У многих животных, которые рождают живых детенышей, есть\nA. жабры\nB. чешуя\nC. экзоскелеты\nD. ноги\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2546963393688202, + "B": 0.03446940332651138, + "C": 0.15448114275932312, + "D": 0.4758354127407074 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы положительно повлиять на окружающую среду", + "option_a": "выбрасывайте пластиковые бутылки в урны для мусора", + "option_b": "используйте пластиковые ножи и вилки для каждого приема пищи", + "option_c": "покупайте менее экономичный автомобиль", + "option_d": "металлолом из старых зданий перерабатывайте для использования в новом строительстве" + }, + "outputs": "D", + "meta": { + "id": 754 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы положительно повлиять на окружающую среду\nA. выбрасывайте пластиковые бутылки в урны для мусора\nB. используйте пластиковые ножи и вилки для каждого приема пищи\nC. покупайте менее экономичный автомобиль\nD. металлолом из старых зданий перерабатывайте для использования в новом строительстве\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8193765878677368, + "B": 0.02183564566075802, + "C": 0.029845790937542915, + "D": 0.023243926465511322 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Многие семьи переживают зиму благодаря", + "option_a": "печи", + "option_b": "кондиционеру", + "option_c": "телевизору", + "option_d": "холодильнику" + }, + "outputs": "A", + "meta": { + "id": 1521 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Многие семьи переживают зиму благодаря\nA. печи\nB. кондиционеру\nC. телевизору\nD. холодильнику\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.11364568769931793, + "B": 0.5771404504776001, + "C": 0.09421559423208237, + "D": 0.10676025599241257 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого могло способствовать исчезновению вида?", + "option_a": "Обилие растительности", + "option_b": "Длительный период без осадков", + "option_c": "Достаточное укрытие и товарищеские отношения", + "option_d": "Хороший запас добычи" + }, + "outputs": "B", + "meta": { + "id": 1808 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из этого могло способствовать исчезновению вида?\nA. Обилие растительности\nB. Длительный период без осадков\nC. Достаточное укрытие и товарищеские отношения\nD. Хороший запас добычи\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2515305280685425, + "B": 0.08166000247001648, + "C": 0.30340370535850525, + "D": 0.28502142429351807 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Винт нагревается, когда ставится на пути солнечного света, кто в этом виноват?", + "option_a": "теплопроводность", + "option_b": "градостроительное устройство", + "option_c": "нагревательный элемент", + "option_d": "конвекция" + }, + "outputs": "A", + "meta": { + "id": 608 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Винт нагревается, когда ставится на пути солнечного света, кто в этом виноват?\nA) теплопроводность\nB) градостроительное устройство\nC) нагревательный элемент\nD) конвекция\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.18123279511928558, + "B": 0.5942394733428955, + "C": 0.04304656758904457, + "D": 0.08560831844806671 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вырубка деревьев может нанести ущерб экосистемам, таким как", + "option_a": "города", + "option_b": "джунгли", + "option_c": "поля", + "option_d": "океаны" + }, + "outputs": "B", + "meta": { + "id": 440 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вырубка деревьев может нанести ущерб экосистемам, таким как\nA. города\nB. джунгли\nC. поля\nD. океаны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1426507532596588, + "B": 0.6005820631980896, + "C": 0.11109651625156403, + "D": 0.06738343834877014 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У медвежонка золотистый мех средней длины. Причина этого, скорее всего, в том, что", + "option_a": "его родители - белые медведи", + "option_b": "носители гена из предыдущего поколения разделяют эту характеристику", + "option_c": "у матери-медведицы голубые глаза", + "option_d": "у всех родителей черный мех" + }, + "outputs": "B", + "meta": { + "id": 632 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ медвежонка золотистый мех средней длины. Причина этого, скорее всего, в том, что\nA) его родители - белые медведи\nB) носители гена из предыдущего поколения разделяют эту характеристику\nC) у матери-медведицы голубые глаза\nD) у всех родителей черный мех\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06400469690561295, + "B": 0.2233983427286148, + "C": 0.1272885501384735, + "D": 0.5359047651290894 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая установка, вероятно, преломляет свет?", + "option_a": "банджо и флейта", + "option_b": "два зеркала друг напротив друга", + "option_c": "кот в шляпе", + "option_d": "драгоценные камни, расположенные под соответствующим углом к свету" + }, + "outputs": "D", + "meta": { + "id": 31 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какая установка, вероятно, преломляет свет?\nA) банджо и флейта\nB) два зеркала друг напротив друга\nC) кот в шляпе\nD) драгоценные камни, расположенные под соответствующим углом к свету\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7734795212745667, + "B": 0.023357057943940163, + "C": 0.04645105451345444, + "D": 0.026467012241482735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что мне делать, чтобы оставаться здоровым", + "option_a": "Не забывать проветривать помещение", + "option_b": "Никогда ни с кем не разговаривать", + "option_c": "Есть гамбургеры почти каждый день", + "option_d": "Никогда не вставать со стула" + }, + "outputs": "A", + "meta": { + "id": 848 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что мне делать, чтобы оставаться здоровым\nA. Не забывать проветривать помещение\nB. Никогда ни с кем не разговаривать\nC. Есть гамбургеры почти каждый день\nD. Никогда не вставать со стула\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.3160949945449829, + "B": 0.07053033262491226, + "C": 0.38128334283828735, + "D": 0.07053033262491226 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Количество потребленных питательных веществ будет по возможности максимально эффективно", + "option_a": "использовано внутри организма", + "option_b": "сожжено в огне", + "option_c": "распределено в почве", + "option_d": "превращено в золотую пшеницу." + }, + "outputs": "A", + "meta": { + "id": 1727 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКоличество потребленных питательных веществ будет по возможности максимально эффективно\nA) использовано внутри организма\nB) сожжено в огне\nC) распределено в почве\nD) превращено в золотую пшеницу.\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09500370174646378, + "B": 0.4532373249530792, + "C": 0.16673670709133148, + "D": 0.20112285017967224 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что меньше всего пострадает от сильной жары?", + "option_a": "Овца", + "option_b": "Мертвая роща", + "option_c": "Озеро", + "option_d": "машина" + }, + "outputs": "B", + "meta": { + "id": 1405 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что меньше всего пострадает от сильной жары?\nA) Овца\nB) Мертвая роща\nC) Озеро\nD) машина\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.09852169454097748, + "B": 0.0527348667383194, + "C": 0.043718744069337845, + "D": 0.7749332189559937 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При стирке белья, посуды или принятии ванны жизненно важно иметь", + "option_a": "семь ведер для воды", + "option_b": "водонагреватель в городе", + "option_c": "большую щетку для мытья", + "option_d": "достаточно воды, нагретой до приемлемой температуры" + }, + "outputs": "D", + "meta": { + "id": 2020 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: При стирке белья, посуды или принятии ванны жизненно важно иметь\nA) семь ведер для воды\nB) водонагреватель в городе\nC) большую щетку для мытья\nD) достаточно воды, нагретой до приемлемой температуры\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.12591417133808136, + "B": 0.6806855201721191, + "C": 0.05587407201528549, + "D": 0.07637079805135727 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делают некоторые животные, чтобы приспособиться к высоким температурам?", + "option_a": "они бегут", + "option_b": "они потеют", + "option_c": "они охотятся", + "option_d": "они летают" + }, + "outputs": "B", + "meta": { + "id": 1004 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто делают некоторые животные, чтобы приспособиться к высоким температурам?\nA) они бегут\nB) они потеют\nC) они охотятся\nD) они летают\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5232782959938049, + "B": 0.051811568439006805, + "C": 0.1808401495218277, + "D": 0.06249668076634407 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В пустыне кактус - редкий источник", + "option_a": "влаги", + "option_b": "укрытия", + "option_c": "пищи", + "option_d": "тени" + }, + "outputs": "A", + "meta": { + "id": 989 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ пустыне кактус - редкий источник\nA) влаги\nB) укрытия\nC) пищи\nD) тени\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09361790865659714, + "B": 0.026821978390216827, + "C": 0.7838531136512756, + "D": 0.044221971184015274 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что используют некоторые животные для адаптации к высоким температурам?", + "option_a": "огонь", + "option_b": "пищу", + "option_c": "пот", + "option_d": "одеяла" + }, + "outputs": "C", + "meta": { + "id": 429 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что используют некоторые животные для адаптации к высоким температурам?\nA) огонь\nB) пищу\nC) пот\nD) одеяла\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2203272581100464, + "B": 0.28290581703186035, + "C": 0.20697830617427826, + "D": 0.20697830617427826 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что меняется раз в 3 месяца?", + "option_a": "город", + "option_b": "время года", + "option_c": "холм", + "option_d": "волна" + }, + "outputs": "B", + "meta": { + "id": 1325 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто меняется раз в 3 месяца?\nA) город\nB) время года\nC) холм\nD) волна\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2741231322288513, + "B": 0.16626408696174622, + "C": 0.3106222152709961, + "D": 0.1467275470495224 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы выжить, лошадь полагалась на своего хозяина, который приносил ей", + "option_a": "упряжь", + "option_b": "повод", + "option_c": "седло", + "option_d": "зерно" + }, + "outputs": "D", + "meta": { + "id": 25 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы выжить, лошадь полагалась на своего хозяина, который приносил ей\nA) упряжь\nB) повод\nC) седло\nD) зерно\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.18160085380077362, + "B": 0.2994091808795929, + "C": 0.21905241906642914, + "D": 0.18160085380077362 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Неприрученное существо, лишенное дикого пространства обитания, возможно, занимает", + "option_a": "торговые центры", + "option_b": "безлюдную среду обитания в черте города, вроде окраин и промзон", + "option_c": "небольшой кратер", + "option_d": "далекую планету" + }, + "outputs": "B", + "meta": { + "id": 2185 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНеприрученное существо, лишенное дикого пространства обитания, возможно, занимает\nA. торговые центры\nB. безлюдную среду обитания в черте города, вроде окраин и промзон\nC. небольшой кратер\nD. далекую планету\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.11059340089559555, + "B": 0.4956452250480652, + "C": 0.19409744441509247, + "D": 0.11772606521844864 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые животные легко попадают в лапы хищников, потому что они медленные, в то время как хищники", + "option_a": "вежливые", + "option_b": "быстрые", + "option_c": "манипулятивные", + "option_d": "сумасшедшие" + }, + "outputs": "B", + "meta": { + "id": 2076 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые животные легко попадают в лапы хищников, потому что они медленные, в то время как хищники\nA) вежливые\nB) быстрые\nC) манипулятивные\nD) сумасшедшие\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05735842511057854, + "B": 0.04467078670859337, + "C": 0.7918086051940918, + "D": 0.06105772405862808 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если дождь не чистый, то вода в этой области будет", + "option_a": "безопасной", + "option_b": "отличной", + "option_c": "небезопасной", + "option_d": "чистой" + }, + "outputs": "C", + "meta": { + "id": 957 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если дождь не чистый, то вода в этой области будет\nA) безопасной\nB) отличной\nC) небезопасной\nD) чистой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.08659877628087997, + "B": 0.029927734285593033, + "C": 0.6011146306991577, + "D": 0.23539985716342926 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Цветы при увеличении числа опылителей", + "option_a": "уменьшают размножение", + "option_b": "увеличивают потребление воды", + "option_c": "увеличивают визуальную привлекательность", + "option_d": "лучше размножаются" + }, + "outputs": "D", + "meta": { + "id": 361 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Цветы при увеличении числа опылителей\nA. уменьшают размножение\nB. увеличивают потребление воды\nC. увеличивают визуальную привлекательность\nD. лучше размножаются\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.33085301518440247, + "B": 0.034871652722358704, + "C": 0.45222246646881104, + "D": 0.0785844698548317 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнечная энергия может быть использована для", + "option_a": "раскрашивания воздуха", + "option_b": "зябких ощущений", + "option_c": "приготовления пасты", + "option_d": "путешествия во времени" + }, + "outputs": "C", + "meta": { + "id": 1005 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСолнечная энергия может быть использована для\nA) раскрашивания воздуха\nB) зябких ощущений\nC) приготовления пасты\nD) путешествия во времени\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.29457613825798035, + "B": 0.3553266227245331, + "C": 0.15767523646354675, + "D": 0.13071738183498383 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На столбе с чем используется шкив?", + "option_a": "флаг", + "option_b": "термометр", + "option_c": "растения", + "option_d": "еда" + }, + "outputs": "A", + "meta": { + "id": 2152 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На столбе с чем используется шкив?\nA) флаг\nB) термометр\nC) растения\nD) еда\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.33799687027931213, + "B": 0.09683772921562195, + "C": 0.3175186812877655, + "D": 0.12434211373329163 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобиль застрял в кювете, и пассажиры автомобиля должны выйти и вытолкнуть его обратно на дорогу. Двое из трех пассажиров толкают машину, но она завязла в грязи, и лишь когда третий пассажир помогает им", + "option_a": "машина быстро освобождается из грязи", + "option_b": "машина окончательно тонет в грязи", + "option_c": "машина застревает в грязи намертво", + "option_d": "машина слишком тяжелая, чтобы толкать ее" + }, + "outputs": "A", + "meta": { + "id": 2215 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Автомобиль застрял в кювете, и пассажиры автомобиля должны выйти и вытолкнуть его обратно на дорогу. Двое из трех пассажиров толкают машину, но она завязла в грязи, и лишь когда третий пассажир помогает им\nA) машина быстро освобождается из грязи\nB) машина окончательно тонет в грязи\nC) машина застревает в грязи намертво\nD) машина слишком тяжелая, чтобы толкать ее\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 495, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.41443169116973877, + "B": 0.11873666942119598, + "C": 0.20838934183120728, + "D": 0.12639451026916504 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ветер - это ресурс, который", + "option_a": "можно извлекать повторно", + "option_b": "раньше не использовался", + "option_c": "является источником воды", + "option_d": "бесполезен в сельском хозяйстве" + }, + "outputs": "A", + "meta": { + "id": 1482 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ветер - это ресурс, который\nA) можно извлекать повторно\nB) раньше не использовался\nC) является источником воды\nD) бесполезен в сельском хозяйстве\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.34596067667007446, + "B": 0.08747255802154541, + "C": 0.25311022996902466, + "D": 0.18517941236495972 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выветривание - это возможная причина того, что", + "option_a": "папоротники могут питаться", + "option_b": "маяк излучает видимый свет", + "option_c": "собаки всегда едят домашнее задание", + "option_d": "кошки могут охотиться на добычу" + }, + "outputs": "A", + "meta": { + "id": 368 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Выветривание - это возможная причина того, что\nA. папоротники могут питаться\nB. маяк излучает видимый свет\nC. собаки всегда едят домашнее задание\nD. кошки могут охотиться на добычу\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 466, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.19203497469425201, + "B": 0.3166121542453766, + "C": 0.16947028040885925, + "D": 0.24657779932022095 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько ящериц обитает в пустыне?", + "option_a": "все", + "option_b": "не так много", + "option_c": "пятнадцать", + "option_d": "ни одной" + }, + "outputs": "B", + "meta": { + "id": 1814 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСколько ящериц обитает в пустыне?\nA) все\nB) не так много\nC) пятнадцать\nD) ни одной\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.39431512355804443, + "B": 0.06852168589830399, + "C": 0.34798187017440796, + "D": 0.06047018617391586 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На что похоже содержимое электромагнитов?", + "option_a": "похоже на мотки нитей", + "option_b": "похоже на мышей", + "option_c": "все варианты верны", + "option_d": "похоже на туфли" + }, + "outputs": "A", + "meta": { + "id": 1869 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа что похоже содержимое электромагнитов?\nA) похоже на мотки нитей\nB) похоже на мышей\nC) все варианты верны\nD) похоже на туфли\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7789521813392639, + "B": 0.034224770963191986, + "C": 0.034224770963191986, + "D": 0.02837333269417286 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растениям требуется", + "option_a": "H2O", + "option_b": "кислород", + "option_c": "Fe", + "option_d": "облака" + }, + "outputs": "A", + "meta": { + "id": 1152 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРастениям требуется\nA. H2O\nB. кислород\nC. Fe\nD. облака\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 417, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02230081520974636, + "B": 0.02230081520974636, + "C": 0.8908029198646545, + "D": 0.030481597408652306 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зимой медведи впадают в спячку", + "option_a": "для общения с другими медведями", + "option_b": "потому что им пора вставать на подзарядку", + "option_c": "потому что окружающая среда более холодная и в ней меньше еды", + "option_d": "потому что у них рождаются детеныши" + }, + "outputs": "C", + "meta": { + "id": 1863 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗимой медведи впадают в спячку\nA) для общения с другими медведями\nB) потому что им пора вставать на подзарядку\nC) потому что окружающая среда более холодная и в ней меньше еды\nD) потому что у них рождаются детеныши\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7563728094100952, + "B": 0.04267163574695587, + "C": 0.03537603095173836, + "D": 0.05147181823849678 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какова причина существования ягод?", + "option_a": "воспроизводство", + "option_b": "корм для животных", + "option_c": "рост птиц", + "option_d": "хранение корма" + }, + "outputs": "A", + "meta": { + "id": 1699 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какова причина существования ягод?\nA. воспроизводство\nB. корм для животных\nC. рост птиц\nD. хранение корма\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1216769814491272, + "B": 0.15623633563518524, + "C": 0.5453183650970459, + "D": 0.11430493742227554 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Приготовление еды приведет к переносу энергии в эту еду?", + "option_a": "это неверно", + "option_b": "возможно", + "option_c": "это доказуемо", + "option_d": "все эти варианты верны одновременно" + }, + "outputs": "C", + "meta": { + "id": 1323 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПриготовление еды приведет к переносу энергии в эту еду?\nA) это неверно\nB) возможно\nC) это доказуемо\nD) все эти варианты верны одновременно\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8205876350402832, + "B": 0.02477959915995598, + "C": 0.04629438742995262, + "D": 0.029889902099967003 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы вы хотели сделать металлический каркас кровати, с чего бы вы начали?", + "option_a": "добыча руды", + "option_b": "приготовление обеда", + "option_c": "нарезка хлеба", + "option_d": "слив воды" + }, + "outputs": "A", + "meta": { + "id": 296 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли бы вы хотели сделать металлический каркас кровати, с чего бы вы начали?\nA) добыча руды\nB) приготовление обеда\nC) нарезка хлеба\nD) слив воды\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15278033912181854, + "B": 0.2088259607553482, + "C": 0.34429579973220825, + "D": 0.22229407727718353 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Видимость во время движения ухудшается сильнее, чем хуже _____", + "option_a": "музыка", + "option_b": "дороги", + "option_c": "местные прогнозы", + "option_d": "деревья" + }, + "outputs": "C", + "meta": { + "id": 1027 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВидимость во время движения ухудшается сильнее, чем хуже _____\nA) музыка\nB) дороги\nC) местные прогнозы\nD) деревья\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.17263846099376678, + "B": 0.09836641699075699, + "C": 0.469279944896698, + "D": 0.19562497735023499 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что обычно происходит от нескольких секунд до половины минуты?", + "option_a": "час", + "option_b": "вулкан", + "option_c": "телесериал", + "option_d": "землетрясение" + }, + "outputs": "D", + "meta": { + "id": 1550 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто обычно происходит от нескольких секунд до половины минуты?\nA) час\nB) вулкан\nC) телесериал\nD) землетрясение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.35731369256973267, + "B": 0.21672171354293823, + "C": 0.13992604613304138, + "D": 0.1687830537557602 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это животное может использовать камень в качестве укрытия", + "option_a": "Дельфин", + "option_b": "Многоножка", + "option_c": "Чайка", + "option_d": "Собака" + }, + "outputs": "B", + "meta": { + "id": 1480 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЭто животное может использовать камень в качестве укрытия\nA. Дельфин\nB. Многоножка\nC. Чайка\nD. Собака\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04266796261072159, + "B": 0.8050853610038757, + "C": 0.04266796261072159, + "D": 0.048349134624004364 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы восстановить в городе комфортную тень, которую создавали деревья, теперь поваленные штормом:", + "option_a": "вырастите жабры и живите на плоту", + "option_b": "посадите новые деревья", + "option_c": "достаньте свой топор", + "option_d": "используйте большую газонокосилку" + }, + "outputs": "B", + "meta": { + "id": 1030 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы восстановить в городе комфортную тень, которую создавали деревья, теперь поваленные штормом:\nA. вырастите жабры и живите на плоту\nB. посадите новые деревья\nC. достаньте свой топор\nD. используйте большую газонокосилку\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12892766296863556, + "B": 0.08324195444583893, + "C": 0.5099188089370728, + "D": 0.22627510130405426 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Рыхлая грязь в саду может появиться из-за", + "option_a": "мифов о сотворении", + "option_b": "фаз луны", + "option_c": "полевок", + "option_d": "канюков" + }, + "outputs": "C", + "meta": { + "id": 1118 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Рыхлая грязь в саду может появиться из-за\nA) мифов о сотворении\nB) фаз луны\nC) полевок\nD) канюков\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.25357553362846375, + "B": 0.3927454650402069, + "C": 0.09930160641670227, + "D": 0.21022151410579681 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наибольшую плотность будет иметь", + "option_a": "гелий", + "option_b": "золото", + "option_c": "апельсиновый сок", + "option_d": "дерево" + }, + "outputs": "B", + "meta": { + "id": 1281 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНаибольшую плотность будет иметь\nA) гелий\nB) золото\nC) апельсиновый сок\nD) дерево\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 419, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.19481557607650757, + "B": 0.19481557607650757, + "C": 0.4390236735343933, + "D": 0.07166864722967148 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На какой уровень человеку поможет переместиться пандус?", + "option_a": "более кривой", + "option_b": "более высокий", + "option_c": "для инвалидов", + "option_d": "более темный уровень" + }, + "outputs": "B", + "meta": { + "id": 159 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На какой уровень человеку поможет переместиться пандус?\nA. более кривой\nB. более высокий\nC. для инвалидов\nD. более темный уровень\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.17010612785816193, + "B": 0.1501181423664093, + "C": 0.43438124656677246, + "D": 0.1597999483346939 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Камень превращается в песок примерно за", + "option_a": "за день", + "option_b": "за неделю", + "option_c": "тысячелетие", + "option_d": "за две недели" + }, + "outputs": "C", + "meta": { + "id": 72 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Камень превращается в песок примерно за\nA) за день\nB) за неделю\nC) тысячелетие\nD) за две недели\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2323152869939804, + "B": 0.14090634882450104, + "C": 0.29829874634742737, + "D": 0.21824000775814056 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком из предложенных вариантов отсутствуют молекулы?", + "option_a": "собака", + "option_b": "речь", + "option_c": "книга", + "option_d": "виноград" + }, + "outputs": "B", + "meta": { + "id": 818 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ каком из предложенных вариантов отсутствуют молекулы?\nA. собака\nB. речь\nC. книга\nD. виноград\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1184946671128273, + "B": 0.04095066338777542, + "C": 0.6818897724151611, + "D": 0.07650590687990189 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из этих действий может привести к сбору семян животными", + "option_a": "Пчелы производят нектар", + "option_b": "пчелы производят мед", + "option_c": "пчелы собирают нектар", + "option_d": "пчелы жалят человека" + }, + "outputs": "C", + "meta": { + "id": 284 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое из этих действий может привести к сбору семян животными\nA. Пчелы производят нектар\nB. пчелы производят мед\nC. пчелы собирают нектар\nD. пчелы жалят человека\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16793181002140045, + "B": 0.0451982356607914, + "C": 0.5861396193504333, + "D": 0.1154177263379097 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, скорее всего, происходит перед ливнем?", + "option_a": "газообразный хлор выбрасывается в атмосферу", + "option_b": "электромагнитное поле земли переворачивается", + "option_c": "капли атмосферной воды сталкиваются", + "option_d": "реки и озера переполняются" + }, + "outputs": "C", + "meta": { + "id": 257 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, скорее всего, происходит перед ливнем?\nA) газообразный хлор выбрасывается в атмосферу\nB) электромагнитное поле земли переворачивается\nC) капли атмосферной воды сталкиваются\nD) реки и озера переполняются\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.17694498598575592, + "B": 0.5450289249420166, + "C": 0.07851886749267578, + "D": 0.13780489563941956 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Этот предмет в вашем кармане, скорее всего, может передавать вашему телу вибрацию", + "option_a": "ваша кредитная карта", + "option_b": "ваш телефон", + "option_c": "ваша библиотечная карточка", + "option_d": "ваш кошелек" + }, + "outputs": "B", + "meta": { + "id": 1537 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЭтот предмет в вашем кармане, скорее всего, может передавать вашему телу вибрацию\nA) ваша кредитная карта\nB) ваш телефон\nC) ваша библиотечная карточка\nD) ваш кошелек\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.24597151577472687, + "B": 0.4316934645175934, + "C": 0.08500547707080841, + "D": 0.1491892784833908 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сила, действующая на объект в направлении, противоположном направлению движения объекта, может вызвать уменьшение скорости этого объекта при каком движении?", + "option_a": "вниз", + "option_b": "назад", + "option_c": "вперед", + "option_d": "вверх" + }, + "outputs": "C", + "meta": { + "id": 324 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСила, действующая на объект в направлении, противоположном направлению движения объекта, может вызвать уменьшение скорости этого объекта при каком движении?\nA) вниз\nB) назад\nC) вперед\nD) вверх\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.20365868508815765, + "B": 0.24565927684307098, + "C": 0.20365868508815765, + "D": 0.27836841344833374 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ультрафиолетовый свет обнаруживается в спектре", + "option_a": "планет-гигантов в окрестностях Юпитера", + "option_b": "пылающего газового шара, вокруг которого мы вращаемся по орбите", + "option_c": "источников света, которые мы создаем", + "option_d": "огненных шаров, освещенных газом" + }, + "outputs": "B", + "meta": { + "id": 1229 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУльтрафиолетовый свет обнаруживается в спектре\nA) планет-гигантов в окрестностях Юпитера\nB) пылающего газового шара, вокруг которого мы вращаемся по орбите\nC) источников света, которые мы создаем\nD) огненных шаров, освещенных газом\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.20197519659996033, + "B": 0.15729844570159912, + "C": 0.35447752475738525, + "D": 0.16744333505630493 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда орлы охотятся в поле, некоторые питательные вещества они получают из", + "option_a": "бобов", + "option_b": "грызунов.", + "option_c": "оленей", + "option_d": "рыбы" + }, + "outputs": "B", + "meta": { + "id": 640 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда орлы охотятся в поле, некоторые питательные вещества они получают из\nA. бобов\nB. грызунов.\nC. оленей\nD. рыбы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.11293305456638336, + "B": 0.07761767506599426, + "C": 0.41959717869758606, + "D": 0.32678261399269104 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какое время человек будет чувствовать наибольшую жару на улице?", + "option_a": "вечер", + "option_b": "полночь", + "option_c": "утро", + "option_d": "полдень" + }, + "outputs": "D", + "meta": { + "id": 1017 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ какое время человек будет чувствовать наибольшую жару на улице?\nA. вечер\nB. полночь\nC. утро\nD. полдень\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2571229636669159, + "B": 0.10718479752540588, + "C": 0.27370595932006836, + "D": 0.27370595932006836 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто, скорее всего, умрет от старости?", + "option_a": "разумные старшеклассники", + "option_b": "дети", + "option_c": "младенцы", + "option_d": "взрослые" + }, + "outputs": "D", + "meta": { + "id": 152 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто, скорее всего, умрет от старости?\nA. разумные старшеклассники\nB. дети\nC. младенцы\nD. взрослые\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.062077105045318604, + "B": 0.02754654921591282, + "C": 0.022836890071630478, + "D": 0.8569479584693909 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнечный свет - это излучение, испускаемое", + "option_a": "белым карликом", + "option_b": "красным гигантом", + "option_c": "соседним квазаром", + "option_d": "нашей единственной желтой звездой" + }, + "outputs": "D", + "meta": { + "id": 2090 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Солнечный свет - это излучение, испускаемое\nA. белым карликом\nB. красным гигантом\nC. соседним квазаром\nD. нашей единственной желтой звездой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4259030520915985, + "B": 0.10116084665060043, + "C": 0.15668100118637085, + "D": 0.15668100118637085 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В списке целей цветка было бы", + "option_a": "производить потомство", + "option_b": "разрушать корни и умереть", + "option_c": "производить углекислый газ", + "option_d": "оставаться бесплодным." + }, + "outputs": "A", + "meta": { + "id": 639 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В списке целей цветка было бы\nA. производить потомство\nB. разрушать корни и умереть\nC. производить углекислый газ\nD. оставаться бесплодным.\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3836246728897095, + "B": 0.2476867139339447, + "C": 0.13257715106010437, + "D": 0.0666639655828476 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "когда источник света движется прямо над объектом, размер тени этого объекта будет", + "option_a": "меньше", + "option_b": "больше", + "option_c": "длиннее", + "option_d": "значительнее" + }, + "outputs": "A", + "meta": { + "id": 359 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nкогда источник света движется прямо над объектом, размер тени этого объекта будет\nA. меньше\nB. больше\nC. длиннее\nD. значительнее\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02681761421263218, + "B": 0.015280216000974178, + "C": 0.888077437877655, + "D": 0.034434497356414795 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человеку в лесу, случайно столкнувшемуся с диким волком, нечего будет бояться, потому что", + "option_a": "волки любят людей", + "option_b": "волки слушают людей", + "option_c": "волки уклоняются от встреч с людьми", + "option_d": "волки курят людей" + }, + "outputs": "C", + "meta": { + "id": 1134 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловеку в лесу, случайно столкнувшемуся с диким волком, нечего будет бояться, потому что\nA) волки любят людей\nB) волки слушают людей\nC) волки уклоняются от встреч с людьми\nD) волки курят людей\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.15566349029541016, + "B": 0.42313721776008606, + "C": 0.22648903727531433, + "D": 0.11388583481311798 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобиль едет по шоссе, пытаясь превысить скорость. Однако в лобовое стекло машины дует сильный ветер. Несмотря на то, что водитель пытается ускориться, сильный ветер", + "option_a": "переворачивает машину", + "option_b": "помогает машине двигаться быстрее", + "option_c": "может сдвинуть машину вбок", + "option_d": "конфликтует с целью водителя" + }, + "outputs": "D", + "meta": { + "id": 1687 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Автомобиль едет по шоссе, пытаясь превысить скорость. Однако в лобовое стекло машины дует сильный ветер. Несмотря на то, что водитель пытается ускориться, сильный ветер\nA) переворачивает машину\nB) помогает машине двигаться быстрее\nC) может сдвинуть машину вбок\nD) конфликтует с целью водителя\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 471, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.07810711860656738, + "B": 0.3966606855392456, + "C": 0.034659821540117264, + "D": 0.4222430884838104 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое влияние оказывает опреснение воды из океана на находящуюся поблизости рыбу?", + "option_a": "помогает ей", + "option_b": "разрушает среду ее обитания", + "option_c": "дает ей деньги", + "option_d": "улучшает среду ее обитания" + }, + "outputs": "B", + "meta": { + "id": 2022 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое влияние оказывает опреснение воды из океана на находящуюся поблизости рыбу?\nA. помогает ей\nB. разрушает среду ее обитания\nC. дает ей деньги\nD. улучшает среду ее обитания\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.6956614851951599, + "B": 0.02236200124025345, + "C": 0.10021954029798508, + "D": 0.01853874884545803 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "За последнее десятилетие в воздухе стало больше углекислого газа, чем когда-либо прежде, вероятно, потому, что", + "option_a": "стало больше крупного рогатого скота", + "option_b": "стало больше растений", + "option_c": "увеличилось население", + "option_d": "стали меньше акватории" + }, + "outputs": "C", + "meta": { + "id": 2051 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗа последнее десятилетие в воздухе стало больше углекислого газа, чем когда-либо прежде, вероятно, потому, что\nA) стало больше крупного рогатого скота\nB) стало больше растений\nC) увеличилось население\nD) стали меньше акватории\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1421424001455307, + "B": 0.08621371537446976, + "C": 0.386383056640625, + "D": 0.32032281160354614 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда аэроглиссер перемещается с травы на воду, он", + "option_a": "взрывается", + "option_b": "тонет", + "option_c": "ускоряется", + "option_d": "замедляется" + }, + "outputs": "C", + "meta": { + "id": 1546 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда аэроглиссер перемещается с травы на воду, он\nA. взрывается\nB. тонет\nC. ускоряется\nD. замедляется\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2241964042186737, + "B": 0.12000368535518646, + "C": 0.306440144777298, + "D": 0.25404781103134155 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Собака может научиться делать то, чему ее учат, это называется выученным поведением, например:", + "option_a": "есть пищу, когда она голодна", + "option_b": "лаять, когда она хочет", + "option_c": "откинуться назад и не мешать стричь ей когти", + "option_d": "помочиться, когда мочевой пузырь полон" + }, + "outputs": "C", + "meta": { + "id": 2044 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСобака может научиться делать то, чему ее учат, это называется выученным поведением, например:\nA) есть пищу, когда она голодна\nB) лаять, когда она хочет\nC) откинуться назад и не мешать стричь ей когти\nD) помочиться, когда мочевой пузырь полон\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0832928717136383, + "B": 0.034721631556749344, + "C": 0.6974026560783386, + "D": 0.1290065199136734 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой организм использует ксилему для транспортировки полезных веществ?", + "option_a": "зеленые водоросли", + "option_b": "печеночник", + "option_c": "кактус сагуаро", + "option_d": "мох сфагнум" + }, + "outputs": "C", + "meta": { + "id": 518 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой организм использует ксилему для транспортировки полезных веществ?\nA. зеленые водоросли\nB. печеночник\nC. кактус сагуаро\nD. мох сфагнум\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.16205212473869324, + "B": 0.6409285664558411, + "C": 0.049423106014728546, + "D": 0.07191019505262375 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков пример доказывает, что в полдень солнце находится прямо над головой?", + "option_a": "солнечные часы легче всего определяют время по теням", + "option_b": "тени длиннее всего в полдень", + "option_c": "тени исчезают в полдень", + "option_d": "солнце очень жаркое в полдень" + }, + "outputs": "C", + "meta": { + "id": 479 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Каков пример доказывает, что в полдень солнце находится прямо над головой?\nA. солнечные часы легче всего определяют время по теням\nB. тени длиннее всего в полдень\nC. тени исчезают в полдень\nD. солнце очень жаркое в полдень\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7701475620269775, + "B": 0.02986185997724533, + "C": 0.04344875365495682, + "D": 0.06729473918676376 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кому питательные вещества нужны для роста?", + "option_a": "птицы", + "option_b": "металлы", + "option_c": "компьютеры", + "option_d": "грязь" + }, + "outputs": "A", + "meta": { + "id": 1350 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКому питательные вещества нужны для роста?\nA) птицы\nB) металлы\nC) компьютеры\nD) грязь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6463356018066406, + "B": 0.14421696960926056, + "C": 0.03646375983953476, + "D": 0.03646375983953476 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Река может толкать консервные банки по воде, потому что", + "option_a": "она движется", + "option_b": "она мокрая", + "option_c": "она громкая", + "option_d": "она прозрачная" + }, + "outputs": "A", + "meta": { + "id": 205 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Река может толкать консервные банки по воде, потому что\nA. она движется\nB. она мокрая\nC. она громкая\nD. она прозрачная\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04355860501527786, + "B": 0.8218905925750732, + "C": 0.029937362298369408, + "D": 0.04355860501527786 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером заботы о сохранении природы является отказ от", + "option_a": "солнечного света", + "option_b": "нефти и продуктов ее переработки", + "option_c": "жиров", + "option_d": "чая" + }, + "outputs": "B", + "meta": { + "id": 1938 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером заботы о сохранении природы является отказ от\nA. солнечного света\nB. нефти и продуктов ее переработки\nC. жиров\nD. чая\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.21005815267562866, + "B": 0.15368182957172394, + "C": 0.26972001791000366, + "D": 0.2871154546737671 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сетчатка может уловить свет", + "option_a": "костров", + "option_b": "разомкнутых электрических цепей", + "option_c": "темной спальней", + "option_d": "движущихся животных" + }, + "outputs": "A", + "meta": { + "id": 488 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСетчатка может уловить свет\nA. костров\nB. разомкнутых электрических цепей\nC. темной спальней\nD. движущихся животных\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04490985348820686, + "B": 0.8473867774009705, + "C": 0.028995981439948082, + "D": 0.03086606226861477 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если растения собираются распространяться, их семена должны", + "option_a": "быть съеденными", + "option_b": "отправиться в другое место", + "option_c": "пройти тест", + "option_d": "быть промытыми" + }, + "outputs": "B", + "meta": { + "id": 522 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли растения собираются распространяться, их семена должны\nA) быть съеденными\nB) отправиться в другое место\nC) пройти тест\nD) быть промытыми\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.33876273036003113, + "B": 0.09117675572633743, + "C": 0.2187216579914093, + "D": 0.23282799124717712 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда стоишь в десятках километров от горы Эльбрус", + "option_a": "гора кажется очень близкой", + "option_b": "гора кажется неинтересной", + "option_c": "гора выглядит так же, как с близкого расстояния", + "option_d": "гора кажется меньше, чем на фотографиях" + }, + "outputs": "D", + "meta": { + "id": 1358 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда стоишь в десятках километров от горы Эльбрус\nA) гора кажется очень близкой\nB) гора кажется неинтересной\nC) гора выглядит так же, как с близкого расстояния\nD) гора кажется меньше, чем на фотографиях\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 467, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16092707216739655, + "B": 0.08613806217908859, + "C": 0.5276595950126648, + "D": 0.1420176476240158 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У людей могут быть побочные реакции на то, что они получают в", + "option_a": "дисконтном магазине", + "option_b": "у юриста", + "option_c": "в аптеке", + "option_d": "в каталоге" + }, + "outputs": "C", + "meta": { + "id": 1029 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У людей могут быть побочные реакции на то, что они получают в\nA. дисконтном магазине\nB. у юриста\nC. в аптеке\nD. в каталоге\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6073748469352722, + "B": 0.11235304921865463, + "C": 0.07254058122634888, + "D": 0.05307181924581528 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У коренных жителей южных регионов более темный оттенок кожи из-за", + "option_a": "солнечного излучения", + "option_b": "маскировки", + "option_c": "недостатка питательных веществ", + "option_d": "морковного рациона" + }, + "outputs": "A", + "meta": { + "id": 1558 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ коренных жителей южных регионов более темный оттенок кожи из-за\nA) солнечного излучения\nB) маскировки\nC) недостатка питательных веществ\nD) морковного рациона\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.04171044006943703, + "B": 0.022325990721583366, + "C": 0.8377766609191895, + "D": 0.05355726554989815 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одна из необычных особенностей кенгуру:", + "option_a": "у них есть рога", + "option_b": "они говорят по-английски", + "option_c": "у них перепончатые лапы", + "option_d": "они могут летать" + }, + "outputs": "C", + "meta": { + "id": 1877 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОдна из необычных особенностей кенгуру:\nA. у них есть рога\nB. они говорят по-английски\nC. у них перепончатые лапы\nD. они могут летать\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15475720167160034, + "B": 0.4478047788143158, + "C": 0.12052502483129501, + "D": 0.211528018116951 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что в лимане часто бывает солоноватым?", + "option_a": "водяные колеса", + "option_b": "вода", + "option_c": "воздух", + "option_d": "рыба" + }, + "outputs": "B", + "meta": { + "id": 641 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что в лимане часто бывает солоноватым?\nA) водяные колеса\nB) вода\nC) воздух\nD) рыба\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2239913046360016, + "B": 0.19767163693904877, + "C": 0.2876105308532715, + "D": 0.11262989789247513 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда рефлектор будет наиболее эффективным?", + "option_a": "лето", + "option_b": "зима", + "option_c": "осень", + "option_d": "весна" + }, + "outputs": "A", + "meta": { + "id": 1641 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда рефлектор будет наиболее эффективным?\nA. лето\nB. зима\nC. осень\nD. весна\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2085183560848236, + "B": 0.25152114033699036, + "C": 0.25152114033699036, + "D": 0.1728677898645401 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сухое дерево легко делает что?", + "option_a": "замерзает", + "option_b": "горит", + "option_c": "испаряется", + "option_d": "тает" + }, + "outputs": "B", + "meta": { + "id": 473 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сухое дерево легко делает что?\nA. замерзает\nB. горит\nC. испаряется\nD. тает\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.33903777599334717, + "B": 0.15044710040092468, + "C": 0.19317787885665894, + "D": 0.19317787885665894 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример адаптации:", + "option_a": "есть чипсы", + "option_b": "наносить крем для загара", + "option_c": "читать книгу", + "option_d": "пить воду" + }, + "outputs": "B", + "meta": { + "id": 104 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПример адаптации:\nA) есть чипсы\nB) наносить крем для загара\nC) читать книгу\nD) пить воду\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.25694984197616577, + "B": 0.17659886181354523, + "C": 0.1879885196685791, + "D": 0.3099406659603119 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из перечисленных объектов дышит?", + "option_a": "баскетбольный мяч", + "option_b": "веревка", + "option_c": "пила", + "option_d": "зебра" + }, + "outputs": "D", + "meta": { + "id": 1673 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой из перечисленных объектов дышит?\nA. баскетбольный мяч\nB. веревка\nC. пила\nD. зебра\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03033277951180935, + "B": 0.01839776150882244, + "C": 0.8864538073539734, + "D": 0.03658831864595413 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Рыбу можно ловить в воде гораздо быстрее из-за перепончатых лап, которыми обладает", + "option_a": "гепард", + "option_b": "бегемот", + "option_c": "пингвин", + "option_d": "змея" + }, + "outputs": "C", + "meta": { + "id": 288 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРыбу можно ловить в воде гораздо быстрее из-за перепончатых лап, которыми обладает\nA) гепард\nB) бегемот\nC) пингвин\nD) змея\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0889054462313652, + "B": 0.04470446705818176, + "C": 0.6171261072158813, + "D": 0.1882128119468689 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Слово «влажный» означает высокие показатели чего?", + "option_a": "роста", + "option_b": "твердости", + "option_c": "водянистости", + "option_d": "температуры" + }, + "outputs": "C", + "meta": { + "id": 1694 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Слово «влажный» означает высокие показатели чего?\nA. роста\nB. твердости\nC. водянистости\nD. температуры\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.18119020760059357, + "B": 0.1098974198102951, + "C": 0.38357967138290405, + "D": 0.263630211353302 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек умирает от укуса змеи, он, вероятно, укушен", + "option_a": "ужом", + "option_b": "питоном", + "option_c": "черной мамбой", + "option_d": "удавом" + }, + "outputs": "C", + "meta": { + "id": 1108 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли человек умирает от укуса змеи, он, вероятно, укушен\nA) ужом\nB) питоном\nC) черной мамбой\nD) удавом\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.09931433200836182, + "B": 0.038892053067684174, + "C": 0.04407047480344772, + "D": 0.7811678051948547 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Состояние газа, испаренного с поверхности жидкости при повышенном давлении и более высоких температурах, является", + "option_a": "стадией, которая происходит только один раз на планете", + "option_b": ", стадией, когда молекулы воды не могут выйти в атмосферу", + "option_c": "стадией, когда влага навсегда покидает атмосферу без рециркуляции", + "option_d": "частью того, как природа пополняет, очищает и рециркулирует воду" + }, + "outputs": "D", + "meta": { + "id": 1239 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Состояние газа, испаренного с поверхности жидкости при повышенном давлении и более высоких температурах, является\nA. стадией, которая происходит только один раз на планете\nB. , стадией, когда молекулы воды не могут выйти в атмосферу\nC. стадией, когда влага навсегда покидает атмосферу без рециркуляции\nD. частью того, как природа пополняет, очищает и рециркулирует воду\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 491, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.09177837520837784, + "B": 0.02799082174897194, + "C": 0.2655695378780365, + "D": 0.5622106790542603 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное холоднокровно?", + "option_a": "кошка", + "option_b": "собака", + "option_c": "крыса", + "option_d": "черепаха" + }, + "outputs": "D", + "meta": { + "id": 1486 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое животное холоднокровно?\nA. кошка\nB. собака\nC. крыса\nD. черепаха\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.11695306748151779, + "B": 0.6730184555053711, + "C": 0.055244721472263336, + "D": 0.09695751219987869 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Несмотря на то, что некоторые думают, наша планета вращается вокруг этого объекта", + "option_a": "плутон", + "option_b": "солнце", + "option_c": "млечный путь", + "option_d": "луна" + }, + "outputs": "B", + "meta": { + "id": 841 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Несмотря на то, что некоторые думают, наша планета вращается вокруг этого объекта\nA. плутон\nB. солнце\nC. млечный путь\nD. луна\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16295835375785828, + "B": 0.11922287940979004, + "C": 0.5019470453262329, + "D": 0.11199953407049179 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зимой могут заклинить замки и двери, если это произойдет. Что именно?", + "option_a": "испарившаяся вода выпита человеком", + "option_b": "замерзшая вода течет по ручью", + "option_c": "замерзшая вода неоднократно меняет агрегатное состояние", + "option_d": "ни то, ни другое, ни третье" + }, + "outputs": "C", + "meta": { + "id": 1747 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Зимой могут заклинить замки и двери, если это произойдет. Что именно?\nA. испарившаяся вода выпита человеком\nB. замерзшая вода течет по ручью\nC. замерзшая вода неоднократно меняет агрегатное состояние\nD. ни то, ни другое, ни третье\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 467, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.1866600066423416, + "B": 0.13656339049339294, + "C": 0.32759854197502136, + "D": 0.22515496611595154 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Колибри переносят на себе", + "option_a": "Пыльцу", + "option_b": "энергию", + "option_c": "Пчел", + "option_d": "Мед" + }, + "outputs": "A", + "meta": { + "id": 1419 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Колибри переносят на себе\nA. Пыльцу\nB. энергию\nC. Пчел\nD. Мед\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.34478920698165894, + "B": 0.14372952282428741, + "C": 0.20912522077560425, + "D": 0.1845523715019226 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие организмы разлагаются?", + "option_a": "живые люди", + "option_b": "собранная репа", + "option_c": "спящие собаки", + "option_d": "зимующие медведи" + }, + "outputs": "B", + "meta": { + "id": 609 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие организмы разлагаются?\nA) живые люди\nB) собранная репа\nC) спящие собаки\nD) зимующие медведи\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3365524709224701, + "B": 0.2041293978691101, + "C": 0.2041293978691101, + "D": 0.14934425055980682 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нитрат серебра на затвердевшем кремнии заставляет свет", + "option_a": "рассеиваться", + "option_b": "преломляться", + "option_c": "становиться горячим", + "option_d": "усиливаться" + }, + "outputs": "B", + "meta": { + "id": 2083 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Нитрат серебра на затвердевшем кремнии заставляет свет\nA) рассеиваться\nB) преломляться\nC) становиться горячим\nD) усиливаться\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.24536962807178497, + "B": 0.2959722578525543, + "C": 0.09026643633842468, + "D": 0.27804020047187805 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где вы, скорее всего, найдете взрослого козодоя?", + "option_a": "вода", + "option_b": "лес", + "option_c": "океан", + "option_d": "небо" + }, + "outputs": "B", + "meta": { + "id": 757 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде вы, скорее всего, найдете взрослого козодоя?\nA. вода\nB. лес\nC. океан\nD. небо\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0492672361433506, + "B": 0.020537640899419785, + "C": 0.12580829858779907, + "D": 0.7706692814826965 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Небесное тело в нашей солнечной системе, не имеющее орбиты - это", + "option_a": "Сатурн", + "option_b": "Юпитер", + "option_c": "Уран.", + "option_d": "метеор" + }, + "outputs": "D", + "meta": { + "id": 301 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНебесное тело в нашей солнечной системе, не имеющее орбиты - это\nA) Сатурн\nB) Юпитер\nC) Уран.\nD) метеор\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.11620083451271057, + "B": 0.15882770717144012, + "C": 0.10254687815904617, + "D": 0.5543631911277771 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из-за хозяйственной деятельности человека на лесозаготовках некоторые животные теряют запасы", + "option_a": "воздуха", + "option_b": "воды", + "option_c": "денег", + "option_d": "пищи" + }, + "outputs": "D", + "meta": { + "id": 1441 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из-за хозяйственной деятельности человека на лесозаготовках некоторые животные теряют запасы\nA) воздуха\nB) воды\nC) денег\nD) пищи\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3514035940170288, + "B": 0.0691954642534256, + "C": 0.12144183367490768, + "D": 0.3514035940170288 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При разрушении, что происходит с формой и цельностью объекта", + "option_a": "они превращаются в воду", + "option_b": "они не меняются", + "option_c": "они остаются прежними", + "option_d": "они изменяются" + }, + "outputs": "D", + "meta": { + "id": 1377 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПри разрушении, что происходит с формой и цельностью объекта\nA. они превращаются в воду\nB. они не меняются\nC. они остаются прежними\nD. они изменяются\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07857122272253036, + "B": 0.6180105805397034, + "C": 0.0947749987244606, + "D": 0.1378968060016632 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Потолок пещеры стал ближе к земле из-за:", + "option_a": "удачи", + "option_b": "образования осадочных пород", + "option_c": "магии", + "option_d": "дерева." + }, + "outputs": "B", + "meta": { + "id": 464 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПотолок пещеры стал ближе к земле из-за:\nA. удачи\nB. образования осадочных пород\nC. магии\nD. дерева.\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.26110315322875977, + "B": 0.13975845277309418, + "C": 0.2304227203130722, + "D": 0.24528370797634125 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является правдой?", + "option_a": "можно встретить дикого динозавра в его доме", + "option_b": "можно встретить дикую акулу в лесу", + "option_c": "можно встретить дикого орла в фургоне", + "option_d": "можно встретить дикую кабаниху в лесу" + }, + "outputs": "D", + "meta": { + "id": 108 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто является правдой?\nA. можно встретить дикого динозавра в его доме\nB. можно встретить дикую акулу в лесу\nC. можно встретить дикого орла в фургоне\nD. можно встретить дикую кабаниху в лесу\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05172010138630867, + "B": 0.7139739990234375, + "C": 0.09662587195634842, + "D": 0.07525230199098587 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в пище не хватает энергии для немедленного использования, то ее", + "option_a": "немедленно выбрасывают", + "option_b": "перерабатывают позже", + "option_c": "оставляют гнить", + "option_d": "выкидывают" + }, + "outputs": "B", + "meta": { + "id": 569 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если в пище не хватает энергии для немедленного использования, то ее\nA. немедленно выбрасывают\nB. перерабатывают позже\nC. оставляют гнить\nD. выкидывают\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.18283399939537048, + "B": 0.2071780413389206, + "C": 0.28317883610725403, + "D": 0.24990443885326385 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кровь поглощает кислород в", + "option_a": "органах обеих нижних конечностей тела", + "option_b": "носовых костях, выступающих над ртом", + "option_c": "органах, которые развиваются в детстве", + "option_d": "внутренних каналах уха" + }, + "outputs": "C", + "meta": { + "id": 153 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКровь поглощает кислород в\nA. органах обеих нижних конечностей тела\nB. носовых костях, выступающих над ртом\nC. органах, которые развиваются в детстве\nD. внутренних каналах уха\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.786066472530365, + "B": 0.02373715117573738, + "C": 0.041659995913505554, + "D": 0.026897713541984558 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "H2O обеспечивает проводимость", + "option_a": "электрического тока", + "option_b": "земли", + "option_c": "нейронов", + "option_d": "людей" + }, + "outputs": "A", + "meta": { + "id": 1069 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nH2O обеспечивает проводимость\nA) электрического тока\nB) земли\nC) нейронов\nD) людей\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 416, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1656825989484787, + "B": 0.25661420822143555, + "C": 0.35075002908706665, + "D": 0.13735568523406982 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Грибы", + "option_a": "всегда безопасны для проглатывания", + "option_b": "действуют как хищники в пищевой цепи", + "option_c": "могут выполнять свою работу в пищевой цепи без проглатывания", + "option_d": "занимают верхнюю часть пищевой цепи" + }, + "outputs": "C", + "meta": { + "id": 1448 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГрибы\nA. всегда безопасны для проглатывания\nB. действуют как хищники в пищевой цепи\nC. могут выполнять свою работу в пищевой цепи без проглатывания\nD. занимают верхнюю часть пищевой цепи\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.26906803250312805, + "B": 0.10536855459213257, + "C": 0.26906803250312805, + "D": 0.25276604294776917 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что труднее поднять? Выберите правильный вариант", + "option_a": "Пурпурная гиря в 3 кг", + "option_b": "Гиря розового цвета в 2 кг", + "option_c": "Гиря зеленого цвета в 5 кг", + "option_d": "Гиря синего цвета в 8 кг" + }, + "outputs": "D", + "meta": { + "id": 2333 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто труднее поднять? Выберите правильный вариант\nA. Пурпурная гиря в 3 кг\nB. Гиря розового цвета в 2 кг\nC. Гиря зеленого цвета в 5 кг\nD. Гиря синего цвета в 8 кг\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.24805141985416412, + "B": 0.20564186573028564, + "C": 0.21890461444854736, + "D": 0.21890461444854736 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бурундук будет есть все кроме этого:", + "option_a": "виноград", + "option_b": "вяленое мясо", + "option_c": "орехи", + "option_d": "желудь" + }, + "outputs": "B", + "meta": { + "id": 681 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Бурундук будет есть все кроме этого:\nA. виноград\nB. вяленое мясо\nC. орехи\nD. желудь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1325264275074005, + "B": 0.085565485060215, + "C": 0.49239543080329895, + "D": 0.21849913895130157 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком предмете много влаги?", + "option_a": "дрова", + "option_b": "лампочка", + "option_c": "мокрая собака", + "option_d": "книга" + }, + "outputs": "C", + "meta": { + "id": 2192 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каком предмете много влаги?\nA) дрова\nB) лампочка\nC) мокрая собака\nD) книга\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03686808422207832, + "B": 0.839113712310791, + "C": 0.028712891042232513, + "D": 0.03253597021102905 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Крот может избежать обнаружения ястребами, совами и другими хищниками,", + "option_a": "медленно двигаясь", + "option_b": "перемещаясь под почвой", + "option_c": "устанавливая ловушки", + "option_d": "создавая приманки для строительства." + }, + "outputs": "B", + "meta": { + "id": 34 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКрот может избежать обнаружения ястребами, совами и другими хищниками,\nA. медленно двигаясь\nB. перемещаясь под почвой\nC. устанавливая ловушки\nD. создавая приманки для строительства.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.14271359145641327, + "B": 0.6008466482162476, + "C": 0.04932049661874771, + "D": 0.15191781520843506 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Топография Земли широко варьируется от самых глубоких впадин до самых высоких", + "option_a": "сказок", + "option_b": "вершин", + "option_c": "деревьев", + "option_d": "зданий" + }, + "outputs": "B", + "meta": { + "id": 308 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Топография Земли широко варьируется от самых глубоких впадин до самых высоких\nA) сказок\nB) вершин\nC) деревьев\nD) зданий\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.12833060324192047, + "B": 0.47680604457855225, + "C": 0.09994397312402725, + "D": 0.21158139407634735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гены - это средство, которое может передать", + "option_a": "прическу", + "option_b": "размер руки", + "option_c": "лак для ногтей", + "option_d": "лексику" + }, + "outputs": "B", + "meta": { + "id": 377 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГены - это средство, которое может передать\nA. прическу\nB. размер руки\nC. лак для ногтей\nD. лексику\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5267671346664429, + "B": 0.027917634695768356, + "C": 0.24882718920707703, + "D": 0.04061992093920708 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда я ищу нечто совершенно необходимое гетеротрофному организму, я могу искать", + "option_a": "витамины", + "option_b": "аспирин", + "option_c": "перекись водорода", + "option_d": "вазелин." + }, + "outputs": "A", + "meta": { + "id": 1469 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда я ищу нечто совершенно необходимое гетеротрофному организму, я могу искать\nA. витамины\nB. аспирин\nC. перекись водорода\nD. вазелин.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1049305871129036, + "B": 0.07211766391992569, + "C": 0.6427778005599976, + "D": 0.11890193819999695 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дневное небо над головой мрачное и темное, несмотря на час дня. Лучше всего взять с собой этим летним днем ​​", + "option_a": "бикини", + "option_b": "обед для пикника", + "option_c": "зонтик", + "option_d": "садовые ножницы" + }, + "outputs": "C", + "meta": { + "id": 1608 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Дневное небо над головой мрачное и темное, несмотря на час дня. Лучше всего взять с собой этим летним днем ​​\nA. бикини\nB. обед для пикника\nC. зонтик\nD. садовые ножницы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.029480133205652237, + "B": 0.04029456898570061, + "C": 0.8615358471870422, + "D": 0.024439889937639236 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что заставляет слои горных пород складываться друг на друга?", + "option_a": "строительство", + "option_b": "дождевые черви", + "option_c": "сильные подземные толчки", + "option_d": "торнадо" + }, + "outputs": "C", + "meta": { + "id": 552 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто заставляет слои горных пород складываться друг на друга?\nA. строительство\nB. дождевые черви\nC. сильные подземные толчки\nD. торнадо\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.654252290725708, + "B": 0.08317884057760239, + "C": 0.05370429903268814, + "D": 0.08317884057760239 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каких обстоятельствах портативный способ создания света наиболее полезен?", + "option_a": "угольно-черные пещеры", + "option_b": "солнечные дни", + "option_c": "яркие комнаты", + "option_d": "поверхность Солнца" + }, + "outputs": "A", + "meta": { + "id": 1064 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каких обстоятельствах портативный способ создания света наиболее полезен?\nA. угольно-черные пещеры\nB. солнечные дни\nC. яркие комнаты\nD. поверхность Солнца\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.17647689580917358, + "B": 0.29096120595932007, + "C": 0.19997452199459076, + "D": 0.241215318441391 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Закончите фразу: хищники живут в одной среде с…", + "option_a": "их логовами", + "option_b": "их источником воды", + "option_c": "их потомством", + "option_d": "их будущей жертвой" + }, + "outputs": "D", + "meta": { + "id": 90 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗакончите фразу: хищники живут в одной среде с…\nA. их логовами\nB. их источником воды\nC. их потомством\nD. их будущей жертвой\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7471295595169067, + "B": 0.06132813170552254, + "C": 0.03959641605615616, + "D": 0.04486861824989319 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может образоваться, если перекрыть реку плотиной?", + "option_a": "подъем уровня H2O", + "option_b": "металлы", + "option_c": "пожары", + "option_d": "горы" + }, + "outputs": "A", + "meta": { + "id": 563 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто может образоваться, если перекрыть реку плотиной?\nA) подъем уровня H2O\nB) металлы\nC) пожары\nD) горы\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.18461185693740845, + "B": 0.0928286761045456, + "C": 0.44286084175109863, + "D": 0.19651830196380615 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Термометр будет использоваться, чтобы", + "option_a": "определить, является ли он воздушным", + "option_b": "определить, ветрено ли", + "option_c": "определить, насколько жарко в пустыне", + "option_d": "определить, скоро ли прилив" + }, + "outputs": "C", + "meta": { + "id": 2184 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Термометр будет использоваться, чтобы\nA) определить, является ли он воздушным\nB) определить, ветрено ли\nC) определить, насколько жарко в пустыне\nD) определить, скоро ли прилив\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.24370664358139038, + "B": 0.18979892134666443, + "C": 0.24370664358139038, + "D": 0.22894121706485748 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Горы существуют на планете рядом с", + "option_a": "Сатурном", + "option_b": "Марсом", + "option_c": "Нептуном", + "option_d": "Ураном" + }, + "outputs": "B", + "meta": { + "id": 1261 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГоры существуют на планете рядом с\nA. Сатурном\nB. Марсом\nC. Нептуном\nD. Ураном\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.40012702345848083, + "B": 0.17755529284477234, + "C": 0.17755529284477234, + "D": 0.1382802128791809 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем больше заводов и автомобилей выбрасывают в воздух продукты сгорания, тем сложнее будет", + "option_a": "лечь", + "option_b": "улететь в космос", + "option_c": "сесть", + "option_d": "полюбоваться звездами" + }, + "outputs": "D", + "meta": { + "id": 1944 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧем больше заводов и автомобилей выбрасывают в воздух продукты сгорания, тем сложнее будет\nA. лечь\nB. улететь в космос\nC. сесть\nD. полюбоваться звездами\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.12398058921098709, + "B": 0.35874971747398376, + "C": 0.2465648353099823, + "D": 0.19202488660812378 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Палочка брюшного тифа может вызвать у вас", + "option_a": "понижение температуры", + "option_b": "тяжелейшую лихорадку", + "option_c": "отвращение", + "option_d": "хохот" + }, + "outputs": "B", + "meta": { + "id": 2207 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПалочка брюшного тифа может вызвать у вас\nA. понижение температуры\nB. тяжелейшую лихорадку\nC. отвращение\nD. хохот\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5444067120552063, + "B": 0.03269416093826294, + "C": 0.22694246470928192, + "D": 0.025462239980697632 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Более высокое показание барометра означает", + "option_a": "большее давление воздуха в атмосфере", + "option_b": "атмосферу с недостаточным давлением воздуха", + "option_c": "более низкое давление воздуха в атмосфере", + "option_d": ", что барометр сломан" + }, + "outputs": "A", + "meta": { + "id": 1657 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБолее высокое показание барометра означает\nA) большее давление воздуха в атмосфере\nB) атмосферу с недостаточным давлением воздуха\nC) более низкое давление воздуха в атмосфере\nD) , что барометр сломан\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7767460346221924, + "B": 0.03412783890962601, + "C": 0.03412783890962601, + "D": 0.03412783890962601 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как гравитация влияет на вещества и предметы на планете?", + "option_a": "предметы опускаются на самую низкую возможную поверхность", + "option_b": "предметы перемещаются вверх, пока это возможно", + "option_c": "предметы двигаются вбок до упора", + "option_d": "предметы остаются на том же месте даже когда не имеют опоры" + }, + "outputs": "A", + "meta": { + "id": 1805 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКак гравитация влияет на вещества и предметы на планете?\nA. предметы опускаются на самую низкую возможную поверхность\nB. предметы перемещаются вверх, пока это возможно\nC. предметы двигаются вбок до упора\nD. предметы остаются на том же месте даже когда не имеют опоры\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02515346370637417, + "B": 0.0208529531955719, + "C": 0.886690080165863, + "D": 0.034380704164505005 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мальчик бьет другого ребенка по лицу. Ребенок плачет, потому что", + "option_a": "он был счастлив", + "option_b": "он сидел", + "option_c": "ему был причинен вред", + "option_d": "ему было одиноко" + }, + "outputs": "C", + "meta": { + "id": 101 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мальчик бьет другого ребенка по лицу. Ребенок плачет, потому что\nA. он был счастлив\nB. он сидел\nC. ему был причинен вред\nD. ему было одиноко\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.20140138268470764, + "B": 0.09513527154922485, + "C": 0.37626731395721436, + "D": 0.258604496717453 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Было жарко во время Рождества в", + "option_a": "Мурманске", + "option_b": "Варшаве", + "option_c": "Осло", + "option_d": "Каире" + }, + "outputs": "D", + "meta": { + "id": 1000 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Было жарко во время Рождества в\nA) Мурманске\nB) Варшаве\nC) Осло\nD) Каире\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.21477513015270233, + "B": 0.37694212794303894, + "C": 0.10145259648561478, + "D": 0.2017625868320465 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где лучше всего стрелять в животных?", + "option_a": "национальный парк", + "option_b": "небо", + "option_c": "море", + "option_d": "лес" + }, + "outputs": "D", + "meta": { + "id": 1131 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде лучше всего стрелять в животных?\nA. национальный парк\nB. небо\nC. море\nD. лес\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 420, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11534879356622696, + "B": 0.051185715943574905, + "C": 0.623569667339325, + "D": 0.13913720846176147 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "если на объект действуют две равные силы, направленные друг на друга в противоположных направлениях, то где этот объект окажется?", + "option_a": "на 60 градусов левее", + "option_b": "на полкорпуса выше", + "option_c": "на месте между ними", + "option_d": "порвется пополам" + }, + "outputs": "C", + "meta": { + "id": 484 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: если на объект действуют две равные силы, направленные друг на друга в противоположных направлениях, то где этот объект окажется?\nA) на 60 градусов левее\nB) на полкорпуса выше\nC) на месте между ними\nD) порвется пополам\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.49178817868232727, + "B": 0.055177100002765656, + "C": 0.1408996731042862, + "D": 0.10973277688026428 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Миллилитры (мл) - это единица измерения, обычно используемая в пределах значений от 1 до 1000 для измерения", + "option_a": "пространства внутри контейнера", + "option_b": "высоты контейнера", + "option_c": "веса контейнера", + "option_d": "длины контейнера." + }, + "outputs": "A", + "meta": { + "id": 750 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Миллилитры (мл) - это единица измерения, обычно используемая в пределах значений от 1 до 1000 для измерения\nA) пространства внутри контейнера\nB) высоты контейнера\nC) веса контейнера\nD) длины контейнера.\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 471, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.16082033514976501, + "B": 0.30045193433761597, + "C": 0.24908339977264404, + "D": 0.21981531381607056 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек хочет использовать сырье для изготовления вещей. Учитывая желание творить из сырья, человек", + "option_a": "делает камни из дерева", + "option_b": "делает книги из деревьев", + "option_c": "делает кукурузу из собак", + "option_d": "делает мех из скатертей" + }, + "outputs": "B", + "meta": { + "id": 1062 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловек хочет использовать сырье для изготовления вещей. Учитывая желание творить из сырья, человек\nA. делает камни из дерева\nB. делает книги из деревьев\nC. делает кукурузу из собак\nD. делает мех из скатертей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.09511037915945053, + "B": 0.014585648663341999, + "C": 0.7963494658470154, + "D": 0.03724576160311699 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример хищнического поведения:", + "option_a": "птица, добывающая клювом червей", + "option_b": "мышь, укрывающаяся в норе", + "option_c": "волчица, выкармливающая помет щенков", + "option_d": "орел, присевший на ветку" + }, + "outputs": "A", + "meta": { + "id": 1191 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пример хищнического поведения:\nA) птица, добывающая клювом червей\nB) мышь, укрывающаяся в норе\nC) волчица, выкармливающая помет щенков\nD) орел, присевший на ветку\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06109387055039406, + "B": 0.7922773361206055, + "C": 0.06109387055039406, + "D": 0.032701194286346436 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что заставляет электрический вентилятор работать?", + "option_a": "лопасти вращаются сами", + "option_b": "ток из розетки позволяет лопастям вращаться", + "option_c": "воздух толкает вентилятор", + "option_d": "розетки позволяют вентилятору думать" + }, + "outputs": "B", + "meta": { + "id": 541 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что заставляет электрический вентилятор работать?\nA) лопасти вращаются сами\nB) ток из розетки позволяет лопастям вращаться\nC) воздух толкает вентилятор\nD) розетки позволяют вентилятору думать\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05560529604554176, + "B": 0.023179737851023674, + "C": 0.8171138763427734, + "D": 0.067072793841362 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Диафрагма микрофона преобразует звуковую энергию в", + "option_a": "световую энергию", + "option_b": "атомную энергию", + "option_c": "электричество низкого напряжения", + "option_d": "тепловую энергию" + }, + "outputs": "C", + "meta": { + "id": 1025 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Диафрагма микрофона преобразует звуковую энергию в\nA. световую энергию\nB. атомную энергию\nC. электричество низкого напряжения\nD. тепловую энергию\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03574238717556, + "B": 0.031542543321847916, + "C": 0.8659587502479553, + "D": 0.023077018558979034 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что образуют природные геологические процессы?", + "option_a": "животные", + "option_b": "воздушный поток", + "option_c": "безжизненная материя", + "option_d": "компании" + }, + "outputs": "C", + "meta": { + "id": 59 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что образуют природные геологические процессы?\nA. животные\nB. воздушный поток\nC. безжизненная материя\nD. компании\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.20267784595489502, + "B": 0.051244981586933136, + "C": 0.48619887232780457, + "D": 0.16802585124969482 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что вызывает смену времен года на орбите Земли?", + "option_a": "Марс", + "option_b": "Сатурн", + "option_c": "местная звезда", + "option_d": "вулканический свет" + }, + "outputs": "C", + "meta": { + "id": 494 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто вызывает смену времен года на орбите Земли?\nA) Марс\nB) Сатурн\nC) местная звезда\nD) вулканический свет\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.12985599040985107, + "B": 0.12198840826749802, + "C": 0.4824735224246979, + "D": 0.214096337556839 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы пропустили восходящую луну сегодня, вам придется подождать, пока вы увидите ее снова", + "option_a": "30 лет", + "option_b": "10 месяцев", + "option_c": "10 минут", + "option_d": "24 часа" + }, + "outputs": "D", + "meta": { + "id": 949 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если вы пропустили восходящую луну сегодня, вам придется подождать, пока вы увидите ее снова\nA. 30 лет\nB. 10 месяцев\nC. 10 минут\nD. 24 часа\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2411336749792099, + "B": 0.1657285988330841, + "C": 0.32959067821502686, + "D": 0.155687615275383 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После вождения капот автомобиля кажется", + "option_a": "пушистым", + "option_b": "мягким", + "option_c": "более горячим", + "option_d": "холодным" + }, + "outputs": "C", + "meta": { + "id": 876 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПосле вождения капот автомобиля кажется\nA. пушистым\nB. мягким\nC. более горячим\nD. холодным\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.1916157752275467, + "B": 0.3810734748840332, + "C": 0.10256453603506088, + "D": 0.24603953957557678 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая среда была бы самой яркой, если бы вы там проснулись?", + "option_a": "дождливая среда", + "option_b": "подводная среда", + "option_c": "замерзшие районы", + "option_d": "лесные районы" + }, + "outputs": "C", + "meta": { + "id": 470 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какая среда была бы самой яркой, если бы вы там проснулись?\nA. дождливая среда\nB. подводная среда\nC. замерзшие районы\nD. лесные районы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03365059196949005, + "B": 0.020410116761922836, + "C": 0.8678602576255798, + "D": 0.029696544632315636 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что могло бы случиться, чтобы растение появилось на новом месте?", + "option_a": "растение не способно переместиться", + "option_b": "растение спонтанно появилось там", + "option_c": "его зародыши в оболочке должны рассеяться на новых территориях", + "option_d": "растение пешком добралось до нового места" + }, + "outputs": "C", + "meta": { + "id": 2222 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто могло бы случиться, чтобы растение появилось на новом месте?\nA. растение не способно переместиться\nB. растение спонтанно появилось там\nC. его зародыши в оболочке должны рассеяться на новых территориях\nD. растение пешком добралось до нового места\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.1912580132484436, + "B": 0.2167237251996994, + "C": 0.2614187002182007, + "D": 0.2614187002182007 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы помочь вашему телу восстанавливать клетки", + "option_a": "пейте соду", + "option_b": "жуйте жвачку", + "option_c": "ешьте сахар-сырец", + "option_d": "ешьте курицу" + }, + "outputs": "D", + "meta": { + "id": 1312 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы помочь вашему телу восстанавливать клетки\nA) пейте соду\nB) жуйте жвачку\nC) ешьте сахар-сырец\nD) ешьте курицу\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08222581446170807, + "B": 0.5361796617507935, + "C": 0.093174047768116, + "D": 0.2235129326581955 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При употреблении и переваривании большой порции пищи однозначно сформируется это.", + "option_a": "болезнь", + "option_b": "фекалии", + "option_c": "топливо", + "option_d": "удобрения" + }, + "outputs": "B", + "meta": { + "id": 1300 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: При употреблении и переваривании большой порции пищи однозначно сформируется это.\nA. болезнь\nB. фекалии\nC. топливо\nD. удобрения\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.2820618748664856, + "B": 0.15097685158252716, + "C": 0.26497262716293335, + "D": 0.19385811686515808 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек помещает жидкое вещество в стеклянный стакан, и оно", + "option_a": "затвердевает", + "option_b": "немедленно испаряется", + "option_c": "плавит стекло", + "option_d": "принимает форму стакана" + }, + "outputs": "D", + "meta": { + "id": 354 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек помещает жидкое вещество в стеклянный стакан, и оно\nA) затвердевает\nB) немедленно испаряется\nC) плавит стекло\nD) принимает форму стакана\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.2577087879180908, + "B": 0.15630827844142914, + "C": 0.10742900520563126, + "D": 0.3991471827030182 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, переваривается организмом?", + "option_a": "Кексики", + "option_b": "воздух", + "option_c": "огонь", + "option_d": "вода" + }, + "outputs": "A", + "meta": { + "id": 261 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, вероятно, переваривается организмом?\nA. Кексики\nB. воздух\nC. огонь\nD. вода\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.21990236639976501, + "B": 0.2340848445892334, + "C": 0.26525288820266724, + "D": 0.1419796347618103 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если ученый работает зимой на южном полюсе, какой сезон сейчас в арктическом регионе", + "option_a": "Осень", + "option_b": "Зима", + "option_c": "Весна", + "option_d": "Лето" + }, + "outputs": "D", + "meta": { + "id": 1911 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли ученый работает зимой на южном полюсе, какой сезон сейчас в арктическом регионе\nA. Осень\nB. Зима\nC. Весна\nD. Лето\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8190122842788696, + "B": 0.01596819795668125, + "C": 0.01596819795668125, + "D": 0.01596819795668125 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Полную неспособность однажды дышащего организма функционировать можно описать как?", + "option_a": "состояние мертвеца", + "option_b": "состояние активности", + "option_c": "состояние ловкости", + "option_d": "состояние задумчивости" + }, + "outputs": "A", + "meta": { + "id": 784 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Полную неспособность однажды дышащего организма функционировать можно описать как?\nA) состояние мертвеца\nB) состояние активности\nC) состояние ловкости\nD) состояние задумчивости\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02336953952908516, + "B": 0.016061633825302124, + "C": 0.8769354820251465, + "D": 0.04647587984800339 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При солнечном затмении важно не забыть:", + "option_a": "сделать снимок", + "option_b": "посмотреть в окно", + "option_c": "не смотреть на него незащищенным взглядом", + "option_d": "прикрыть голову руками" + }, + "outputs": "C", + "meta": { + "id": 2139 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: При солнечном затмении важно не забыть:\nA) сделать снимок\nB) посмотреть в окно\nC) не смотреть на него незащищенным взглядом\nD) прикрыть голову руками\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.31945595145225525, + "B": 0.11752127856016159, + "C": 0.14175771176815033, + "D": 0.3400590717792511 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ручей течет медленно, а вода движется очень плавно, но если лист упадет в него,", + "option_a": "он будет держаться на месте", + "option_b": "он растает", + "option_c": "он заплачет", + "option_d": "он переместится по течению" + }, + "outputs": "D", + "meta": { + "id": 1031 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРучей течет медленно, а вода движется очень плавно, но если лист упадет в него,\nA) он будет держаться на месте\nB) он растает\nC) он заплачет\nD) он переместится по течению\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3381403684616089, + "B": 0.23240025341510773, + "C": 0.15972620248794556, + "D": 0.13241766393184662 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Принятие более короткого горячего душа", + "option_a": "увеличит потребление воды", + "option_b": "поможет сохранить запас воды", + "option_c": "поможет в потреблении воды", + "option_d": "приведет к перегрузке водонагревателя" + }, + "outputs": "B", + "meta": { + "id": 1644 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПринятие более короткого горячего душа\nA. увеличит потребление воды\nB. поможет сохранить запас воды\nC. поможет в потреблении воды\nD. приведет к перегрузке водонагревателя\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.32471081614494324, + "B": 0.09903120249509811, + "C": 0.32471081614494324, + "D": 0.11221706122159958 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вещество может поглощать солнечную энергию, то что может произойти или произойдет с этим веществом?", + "option_a": "температура будет поддерживаться", + "option_b": "уровень тепла будет экспоненциально снижаться", + "option_c": "будет наблюдаться повышение уровня тепла", + "option_d": "вещество будет постепенно охлаждаться" + }, + "outputs": "C", + "meta": { + "id": 255 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вещество может поглощать солнечную энергию, то что может произойти или произойдет с этим веществом?\nA) температура будет поддерживаться\nB) уровень тепла будет экспоненциально снижаться\nC) будет наблюдаться повышение уровня тепла\nD) вещество будет постепенно охлаждаться\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.036484651267528534, + "B": 0.020788326859474182, + "C": 0.8839421272277832, + "D": 0.023556258529424667 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кролики отлично сохраняют температуру тела из-за", + "option_a": "замороженной тундры", + "option_b": "здания суда", + "option_c": "своей адаптации", + "option_d": "океана" + }, + "outputs": "C", + "meta": { + "id": 774 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКролики отлично сохраняют температуру тела из-за\nA) замороженной тундры\nB) здания суда\nC) своей адаптации\nD) океана\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.24348725378513336, + "B": 0.2937016785144806, + "C": 0.1387348473072052, + "D": 0.24348725378513336 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бабочка на миг соприкасается со столом для пикника, и на ее крыле происходит едва заметное", + "option_a": "умирание", + "option_b": "истирание", + "option_c": "озлобление", + "option_d": "возмещение" + }, + "outputs": "B", + "meta": { + "id": 1628 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБабочка на миг соприкасается со столом для пикника, и на ее крыле происходит едва заметное\nA. умирание\nB. истирание\nC. озлобление\nD. возмещение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3174348771572113, + "B": 0.08026010543107986, + "C": 0.20495136082172394, + "D": 0.2982024550437927 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каждые четыре сезона кедр расширяет", + "option_a": "ствол", + "option_b": "зрение", + "option_c": "голосовой диапазон", + "option_d": "объем легких" + }, + "outputs": "A", + "meta": { + "id": 253 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Каждые четыре сезона кедр расширяет\nA) ствол\nB) зрение\nC) голосовой диапазон\nD) объем легких\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.45635172724723816, + "B": 0.24426747858524323, + "C": 0.08441658318042755, + "D": 0.051201242953538895 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Компания, которая производит долговечные продукты, вероятно, будет?", + "option_a": "Продавать больше", + "option_b": "Производить больше", + "option_c": "Производить меньше", + "option_d": "Продавать меньше" + }, + "outputs": "D", + "meta": { + "id": 687 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКомпания, которая производит долговечные продукты, вероятно, будет?\nA) Продавать больше\nB) Производить больше\nC) Производить меньше\nD) Продавать меньше\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1557687669992447, + "B": 0.06912197172641754, + "C": 0.21291066706180573, + "D": 0.5107461214065552 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как вы могли бы выяснить, какие детали необходимы, чтобы ваша машина могла ездить?", + "option_a": "очень хорошо подумать, пока не поймете это", + "option_b": "спросить человека, который изобрел машину", + "option_c": "бросить машину в озеро и посмотреть, плавает ли она", + "option_d": "разобрать ее и определить, из чего он состоит" + }, + "outputs": "D", + "meta": { + "id": 1045 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как вы могли бы выяснить, какие детали необходимы, чтобы ваша машина могла ездить?\nA) очень хорошо подумать, пока не поймете это\nB) спросить человека, который изобрел машину\nC) бросить машину в озеро и посмотреть, плавает ли она\nD) разобрать ее и определить, из чего он состоит\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 480, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3550630509853363, + "B": 0.3550630509853363, + "C": 0.13904468715190887, + "D": 0.05796244740486145 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Семья готовила большую часть еды, используя газовую плиту и", + "option_a": "удачу", + "option_b": "электричество", + "option_c": "лед", + "option_d": "магию" + }, + "outputs": "B", + "meta": { + "id": 2113 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСемья готовила большую часть еды, используя газовую плиту и\nA) удачу\nB) электричество\nC) лед\nD) магию\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.09923741221427917, + "B": 0.08227070420980453, + "C": 0.6079028248786926, + "D": 0.15370190143585205 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кролик, скорее всего, съест именно это", + "option_a": "форель", + "option_b": "одуванчики", + "option_c": "полевые мыши", + "option_d": "пауки" + }, + "outputs": "B", + "meta": { + "id": 1008 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кролик, скорее всего, съест именно это\nA) форель\nB) одуванчики\nC) полевые мыши\nD) пауки\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.0455496646463871, + "B": 0.7125166654586792, + "C": 0.0622590072453022, + "D": 0.12381681799888611 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бананы, ананасы и кокосы доставляют из мест, которые", + "option_a": "находятся далеко в Арктике", + "option_b": "являются островами", + "option_c": "достаточно влажны", + "option_d": "являются очень теплыми" + }, + "outputs": "D", + "meta": { + "id": 994 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБананы, ананасы и кокосы доставляют из мест, которые\nA) находятся далеко в Арктике\nB) являются островами\nC) достаточно влажны\nD) являются очень теплыми\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11784522235393524, + "B": 0.026294825598597527, + "C": 0.6781525015830994, + "D": 0.13353613018989563 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы Джон пошел в дальний магазин, в каких единицах он бы оценил свое путешествие?", + "option_a": "декаметр", + "option_b": "сантиметр", + "option_c": "километр", + "option_d": "метр" + }, + "outputs": "C", + "meta": { + "id": 207 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если бы Джон пошел в дальний магазин, в каких единицах он бы оценил свое путешествие?\nA) декаметр\nB) сантиметр\nC) километр\nD) метр\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15298165380954742, + "B": 0.47121667861938477, + "C": 0.08716632425785065, + "D": 0.22258701920509338 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тепло для выживания требуется…", + "option_a": "луне", + "option_b": "ищейке", + "option_c": "океану", + "option_d": "компьютеру" + }, + "outputs": "B", + "meta": { + "id": 1449 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТепло для выживания требуется…\nA) луне\nB) ищейке\nC) океану\nD) компьютеру\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15428924560546875, + "B": 0.06846544146537781, + "C": 0.5058949589729309, + "D": 0.18610838055610657 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тихий город в пустыне увидит больше _____, чем большой город.", + "option_a": "зданий", + "option_b": "автомобилей", + "option_c": "звезд", + "option_d": "людей" + }, + "outputs": "C", + "meta": { + "id": 1978 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТихий город в пустыне увидит больше _____, чем большой город.\nA. зданий\nB. автомобилей\nC. звезд\nD. людей\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1510164439678192, + "B": 0.05218988284468651, + "C": 0.5972815752029419, + "D": 0.12519702315330505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где мама-медведица может найти еду?", + "option_a": "на вершине самых высоких деревьев", + "option_b": "в самых глубоких шахтах", + "option_c": "в дупле срубленного дуба", + "option_d": "на дне озера" + }, + "outputs": "C", + "meta": { + "id": 1635 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде мама-медведица может найти еду?\nA. на вершине самых высоких деревьев\nB. в самых глубоких шахтах\nC. в дупле срубленного дуба\nD. на дне озера\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10097726434469223, + "B": 0.042093586176633835, + "C": 0.746126651763916, + "D": 0.054049234837293625 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из сценариев является точным?", + "option_a": "Солнце, движущееся вокруг Земли", + "option_b": "ни один из них", + "option_c": "Земля, движущаяся вокруг Солнца", + "option_d": "Солнце, вращающееся вокруг Марса" + }, + "outputs": "C", + "meta": { + "id": 1100 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой из сценариев является точным?\nA) Солнце, движущееся вокруг Земли\nB) ни один из них\nC) Земля, движущаяся вокруг Солнца\nD) Солнце, вращающееся вокруг Марса\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.26768413186073303, + "B": 0.22191794216632843, + "C": 0.22191794216632843, + "D": 0.2084726095199585 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Плавающая стрелка на компасе всегда указывает направление от", + "option_a": "востока", + "option_b": "севера", + "option_c": "запада", + "option_d": "юга" + }, + "outputs": "D", + "meta": { + "id": 2321 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПлавающая стрелка на компасе всегда указывает направление от\nA. востока\nB. севера\nC. запада\nD. юга\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.23891451954841614, + "B": 0.18606680631637573, + "C": 0.25432318449020386, + "D": 0.23891451954841614 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если яркая вещь в небе, отличная от нашего Солнца, сделает что-то целиком менее чем за месяц, скорее всего речь о", + "option_a": "лунном цикле", + "option_b": "горящих облаках", + "option_c": "умирающем воздухе", + "option_d": "восходящих звездах" + }, + "outputs": "A", + "meta": { + "id": 1220 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если яркая вещь в небе, отличная от нашего Солнца, сделает что-то целиком менее чем за месяц, скорее всего речь о\nA. лунном цикле\nB. горящих облаках\nC. умирающем воздухе\nD. восходящих звездах\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.049622152000665665, + "B": 0.03203846886754036, + "C": 0.7291921973228455, + "D": 0.15284699201583862 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Насекомое может притвориться птичьим пометом, чтобы", + "option_a": "дать социальный комментарий", + "option_b": "насмешить других насекомых", + "option_c": "слиться с окружающей средой", + "option_d": "привлечь птиц" + }, + "outputs": "C", + "meta": { + "id": 2328 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНасекомое может притвориться птичьим пометом, чтобы\nA. дать социальный комментарий\nB. насмешить других насекомых\nC. слиться с окружающей средой\nD. привлечь птиц\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.041941553354263306, + "B": 0.8424186706542969, + "C": 0.034770771861076355, + "D": 0.034770771861076355 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Семена могут прорасти, когда", + "option_a": "проглочены", + "option_b": "помещены под землю", + "option_c": "оставлены в покое", + "option_d": "пожарены" + }, + "outputs": "B", + "meta": { + "id": 558 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСемена могут прорасти, когда\nA) проглочены\nB) помещены под землю\nC) оставлены в покое\nD) пожарены\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1725110113620758, + "B": 0.11856497824192047, + "C": 0.5656418800354004, + "D": 0.08148843795061111 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда колеса визжат на асфальте, трение", + "option_a": "устраняет движение вперед", + "option_b": "останавливает движение", + "option_c": "работает против движения", + "option_d": "делает вещи грубыми" + }, + "outputs": "C", + "meta": { + "id": 1933 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда колеса визжат на асфальте, трение\nA) устраняет движение вперед\nB) останавливает движение\nC) работает против движения\nD) делает вещи грубыми\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.22244839370250702, + "B": 0.13492178916931152, + "C": 0.39040911197662354, + "D": 0.17324298620224 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Полицейский может сказать, что машина ускоряется, потому что она", + "option_a": "едет по дороге", + "option_b": "едет по холму вверх", + "option_c": "движется вперед", + "option_d": "все быстрее едет" + }, + "outputs": "D", + "meta": { + "id": 139 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПолицейский может сказать, что машина ускоряется, потому что она\nA) едет по дороге\nB) едет по холму вверх\nC) движется вперед\nD) все быстрее едет\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03191569820046425, + "B": 0.8231167197227478, + "C": 0.04362358897924423, + "D": 0.040980566293001175 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди плачут, когда рождаются, лошади могут ходить, когда родились, а птицы могут щебетать, когда родились, благодаря", + "option_a": "ТВ", + "option_b": "инстинктивному поведению", + "option_c": "обучению у мамы", + "option_d": "школе" + }, + "outputs": "B", + "meta": { + "id": 1990 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люди плачут, когда рождаются, лошади могут ходить, когда родились, а птицы могут щебетать, когда родились, благодаря\nA) ТВ\nB) инстинктивному поведению\nC) обучению у мамы\nD) школе\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.21479372680187225, + "B": 0.13868124783039093, + "C": 0.33267903327941895, + "D": 0.18955478072166443 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шахтер, скорее всего,", + "option_a": "грязный", + "option_b": "мокрый", + "option_c": "загорелый", + "option_d": "обветренный" + }, + "outputs": "A", + "meta": { + "id": 857 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Шахтер, скорее всего,\nA) грязный\nB) мокрый\nC) загорелый\nD) обветренный\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.13392403721809387, + "B": 0.07630760967731476, + "C": 0.6002058982849121, + "D": 0.1181875467300415 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, что происходит в каменистых местах, порождает:", + "option_a": "новые виды оранжевых пчел", + "option_b": "места, где разводятся гуси", + "option_c": "материалы, подобные тальку", + "option_d": "трубки для хранения бумажных полотенец" + }, + "outputs": "C", + "meta": { + "id": 971 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: То, что происходит в каменистых местах, порождает:\nA) новые виды оранжевых пчел\nB) места, где разводятся гуси\nC) материалы, подобные тальку\nD) трубки для хранения бумажных полотенец\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3762502372264862, + "B": 0.09513095766305923, + "C": 0.12215056270360947, + "D": 0.3119224011898041 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может послужить убежищем мелким животным?", + "option_a": "воздух", + "option_b": "ветер", + "option_c": "солнце", + "option_d": "гранит" + }, + "outputs": "D", + "meta": { + "id": 1458 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто может послужить убежищем мелким животным?\nA. воздух\nB. ветер\nC. солнце\nD. гранит\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4545501172542572, + "B": 0.10796511918306351, + "C": 0.18948468565940857, + "D": 0.12234050780534744 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Облака состоят из частиц влаги, которые удерживаются в небе до тех пор, пока", + "option_a": "вес не начнет работать против них", + "option_b": "налетит шторм", + "option_c": "погода начинает меняться", + "option_d": "наступит зима" + }, + "outputs": "A", + "meta": { + "id": 1186 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОблака состоят из частиц влаги, которые удерживаются в небе до тех пор, пока\nA. вес не начнет работать против них\nB. налетит шторм\nC. погода начинает меняться\nD. наступит зима\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.33367857336997986, + "B": 0.33367857336997986, + "C": 0.15761861205101013, + "D": 0.04515848308801651 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пустыни обычно", + "option_a": "холодные", + "option_b": "душные", + "option_c": "теплые", + "option_d": "лесистые" + }, + "outputs": "B", + "meta": { + "id": 1126 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пустыни обычно\nA) холодные\nB) душные\nC) теплые\nD) лесистые\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.18458063900470734, + "B": 0.16289184987545013, + "C": 0.3239491283893585, + "D": 0.26856327056884766 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если что-то окажется снаружи в течение дня, то что это что-то получит днем, но не ночью?", + "option_a": "ночник в подарок", + "option_b": "пар", + "option_c": "благодарность", + "option_d": "лучи ближайшей к нам звезды" + }, + "outputs": "D", + "meta": { + "id": 1591 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли что-то окажется снаружи в течение дня, то что это что-то получит днем, но не ночью?\nA) ночник в подарок\nB) пар\nC) благодарность\nD) лучи ближайшей к нам звезды\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07787148654460907, + "B": 0.7388240694999695, + "C": 0.053520239889621735, + "D": 0.07787148654460907 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером простой машины, требующей для работы механической энергии, может быть", + "option_a": "радиоприемник, которому нужны четыре батареи", + "option_b": "фонарь, для работы которого нужно повернуть кривошип", + "option_c": "компьютер, который необходимо подключить к сети", + "option_d": "плита, работающая на газе" + }, + "outputs": "B", + "meta": { + "id": 865 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примером простой машины, требующей для работы механической энергии, может быть\nA) радиоприемник, которому нужны четыре батареи\nB) фонарь, для работы которого нужно повернуть кривошип\nC) компьютер, который необходимо подключить к сети\nD) плита, работающая на газе\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 479, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21951039135456085, + "B": 0.15086713433265686, + "C": 0.36191144585609436, + "D": 0.2062109112739563 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая клетка должна выполнять все возможные жизненные функции одновременно?", + "option_a": "клетка цветка", + "option_b": "клетка легкого", + "option_c": "бактериальная клетка", + "option_d": "клетка хвоста" + }, + "outputs": "C", + "meta": { + "id": 850 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая клетка должна выполнять все возможные жизненные функции одновременно?\nA) клетка цветка\nB) клетка легкого\nC) бактериальная клетка\nD) клетка хвоста\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.15206648409366608, + "B": 0.05255277082324028, + "C": 0.34268712997436523, + "D": 0.3883153796195984 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Во время грозы животное, скорее всего, спрячется в", + "option_a": "пруд", + "option_b": "песок", + "option_c": "горный каньон", + "option_d": "пещеру" + }, + "outputs": "D", + "meta": { + "id": 1061 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Во время грозы животное, скорее всего, спрячется в\nA. пруд\nB. песок\nC. горный каньон\nD. пещеру\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1902492791414261, + "B": 0.27681106328964233, + "C": 0.26003992557525635, + "D": 0.1678943932056427 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как выглядит ваше тело и как оно функционирует - это то, что", + "option_a": "запрограммировано ушедшими с Земли", + "option_b": "получено от родителей", + "option_c": "передано из яиц", + "option_d": "переданных из завтрашнего дня" + }, + "outputs": "B", + "meta": { + "id": 905 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как выглядит ваше тело и как оно функционирует - это то, что\nA. запрограммировано ушедшими с Земли\nB. получено от родителей\nC. передано из яиц\nD. переданных из завтрашнего дня\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.12798361480236053, + "B": 0.6105756759643555, + "C": 0.05679238587617874, + "D": 0.12798361480236053 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Щенка могут забрать у людей, если они", + "option_a": "нежно играют с ним", + "option_b": "держат его на улице без укрытия", + "option_c": "кормят его качественной едой", + "option_d": "дали ему чистой воды" + }, + "outputs": "B", + "meta": { + "id": 789 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Щенка могут забрать у людей, если они\nA. нежно играют с ним\nB. держат его на улице без укрытия\nC. кормят его качественной едой\nD. дали ему чистой воды\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.27389901876449585, + "B": 0.18824785947799683, + "C": 0.257304310798645, + "D": 0.16612814366817474 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в стакане со смесью веществ происходит химическая реакция, какой из этих причин она скорее всего могла быть вызвана?", + "option_a": "человек, кричащий на стакан", + "option_b": "человек, включающий обогреватель в комнате со стаканом", + "option_c": "человек, пристально смотрящий на стакан", + "option_d": "человек, проходящий мимо стакана" + }, + "outputs": "B", + "meta": { + "id": 1172 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли в стакане со смесью веществ происходит химическая реакция, какой из этих причин она скорее всего могла быть вызвана?\nA. человек, кричащий на стакан\nB. человек, включающий обогреватель в комнате со стаканом\nC. человек, пристально смотрящий на стакан\nD. человек, проходящий мимо стакана\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 475, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2651994824409485, + "B": 0.11055158823728561, + "C": 0.3405228853225708, + "D": 0.18226876854896545 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Собака может дышать", + "option_a": "под океаном", + "option_b": "в церкви", + "option_c": "в космосе", + "option_d": "в саркофаге" + }, + "outputs": "B", + "meta": { + "id": 1667 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСобака может дышать\nA) под океаном\nB) в церкви\nC) в космосе\nD) в саркофаге\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.15832239389419556, + "B": 0.19097326695919037, + "C": 0.20328998565673828, + "D": 0.3797956705093384 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У тигра с коротким хвостом, скорее всего", + "option_a": "есть дети с длинными хвостами", + "option_b": "были родители с длинными хвостами", + "option_c": "есть братья и сестры с длинными хвостами", + "option_d": "были предки с этим признаком" + }, + "outputs": "D", + "meta": { + "id": 1750 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У тигра с коротким хвостом, скорее всего\nA) есть дети с длинными хвостами\nB) были родители с длинными хвостами\nC) есть братья и сестры с длинными хвостами\nD) были предки с этим признаком\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.4058026075363159, + "B": 0.08506084978580475, + "C": 0.2789037823677063, + "D": 0.07990726828575134 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скольжение имеет свой показатель трения, что можно увидеть на примере", + "option_a": "катания игрушечного автомобиля", + "option_b": "автогонок", + "option_c": "беговой дорожки", + "option_d": "носорога" + }, + "outputs": "B", + "meta": { + "id": 2138 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Скольжение имеет свой показатель трения, что можно увидеть на примере\nA. катания игрушечного автомобиля\nB. автогонок\nC. беговой дорожки\nD. носорога\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1883322149515152, + "B": 0.3986992835998535, + "C": 0.12159640341997147, + "D": 0.21340835094451904 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В комнате без света, но с зеркалами может быть светло, если", + "option_a": "свет включен в другом доме", + "option_b": "соединенная с нею проемом соседняя комната ярко освещена", + "option_c": "комната полностью темная", + "option_d": "соединенная с нею проемом соседняя комната достаточно темная" + }, + "outputs": "B", + "meta": { + "id": 1572 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В комнате без света, но с зеркалами может быть светло, если\nA) свет включен в другом доме\nB) соединенная с нею проемом соседняя комната ярко освещена\nC) комната полностью темная\nD) соединенная с нею проемом соседняя комната достаточно темная\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7573883533477783, + "B": 0.02936713397502899, + "C": 0.04014011472463608, + "D": 0.01673288829624653 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В таких местах, как Северный полюс, очень мало видов растений и животных, потому что температуры всегда очень", + "option_a": "низкие", + "option_b": "душные", + "option_c": "высокие", + "option_d": "скучные" + }, + "outputs": "A", + "meta": { + "id": 2190 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В таких местах, как Северный полюс, очень мало видов растений и животных, потому что температуры всегда очень\nA) низкие\nB) душные\nC) высокие\nD) скучные\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.3333083689212799, + "B": 0.12261731177568436, + "C": 0.2763223648071289, + "D": 0.12261731177568436 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является наиболее вероятным фактором увеличения площади океана?", + "option_a": "ледники сильно остывают", + "option_b": "площадь суши увеличивается в десять раз", + "option_c": "ледникам становится намного горячее", + "option_d": "земля сжимается со временем из-за холода" + }, + "outputs": "C", + "meta": { + "id": 461 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто является наиболее вероятным фактором увеличения площади океана?\nA. ледники сильно остывают\nB. площадь суши увеличивается в десять раз\nC. ледникам становится намного горячее\nD. земля сжимается со временем из-за холода\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.225508913397789, + "B": 0.1367780566215515, + "C": 0.32811352610588074, + "D": 0.2400529682636261 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что доспехи легко притягивают к себе?", + "option_a": "палочку", + "option_b": "бумажный листок", + "option_c": "украшение для холодильника", + "option_d": "деревянную шестеренку" + }, + "outputs": "C", + "meta": { + "id": 2244 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто доспехи легко притягивают к себе?\nA) палочку\nB) бумажный листок\nC) украшение для холодильника\nD) деревянную шестеренку\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6003783345222473, + "B": 0.06736057996749878, + "C": 0.1426023542881012, + "D": 0.06736057996749878 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди часто рвут", + "option_a": "личные документы", + "option_b": "испарение", + "option_c": "напряжение", + "option_d": "дождь" + }, + "outputs": "A", + "meta": { + "id": 1593 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛюди часто рвут\nA) личные документы\nB) испарение\nC) напряжение\nD) дождь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.13695736229419708, + "B": 0.02379962056875229, + "C": 0.7403844594955444, + "D": 0.03686157241463661 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что было бы наиболее полезно при определении климата области?", + "option_a": "Общее количество осадков за прошлый год", + "option_b": "Отчет о наводнении трехлетней давности", + "option_c": "Среднесуточные температуры за пять лет", + "option_d": "Отчет о торнадо" + }, + "outputs": "C", + "meta": { + "id": 690 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто было бы наиболее полезно при определении климата области?\nA. Общее количество осадков за прошлый год\nB. Отчет о наводнении трехлетней давности\nC. Среднесуточные температуры за пять лет\nD. Отчет о торнадо\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19632650911808014, + "B": 0.11907804012298584, + "C": 0.39044189453125, + "D": 0.18443170189857483 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Есть существа, у которых, в зависимости от вида, разное количество частей тела. У паукообразных есть определенное количество, в то время как у людей - другое, и эти многочисленные различия можно отнести к", + "option_a": "выживанию", + "option_b": "росту в окружающей среде", + "option_c": "унаследованным характеристикам", + "option_d": "способностям развития" + }, + "outputs": "C", + "meta": { + "id": 2180 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Есть существа, у которых, в зависимости от вида, разное количество частей тела. У паукообразных есть определенное количество, в то время как у людей - другое, и эти многочисленные различия можно отнести к\nA. выживанию\nB. росту в окружающей среде\nC. унаследованным характеристикам\nD. способностям развития\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 480, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1056155115365982, + "B": 0.09320537745952606, + "C": 0.15366968512535095, + "D": 0.6077753901481628 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда пес угодил мордой в костер, это вызвало", + "option_a": "радость", + "option_b": "детей", + "option_c": "красивую кожу", + "option_d": "шрамы" + }, + "outputs": "D", + "meta": { + "id": 75 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда пес угодил мордой в костер, это вызвало\nA) радость\nB) детей\nC) красивую кожу\nD) шрамы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.17931316792964935, + "B": 0.5523234605789185, + "C": 0.07474885135889053, + "D": 0.10875892639160156 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какими могут стать бактерии?", + "option_a": "энергичными", + "option_b": "патогенными", + "option_c": "электронными", + "option_d": "здоровенными" + }, + "outputs": "B", + "meta": { + "id": 1073 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какими могут стать бактерии?\nA) энергичными\nB) патогенными\nC) электронными\nD) здоровенными\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.4131043553352356, + "B": 0.1722075194120407, + "C": 0.1722075194120407, + "D": 0.13411535322666168 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное рождает живых детенышей?", + "option_a": "Акула", + "option_b": "Черепаха", + "option_c": "Жираф", + "option_d": "Паук" + }, + "outputs": "C", + "meta": { + "id": 838 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое животное рождает живых детенышей?\nA) Акула\nB) Черепаха\nC) Жираф\nD) Паук\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7834690809249878, + "B": 0.03233763203024864, + "C": 0.047050975263118744, + "D": 0.01842542737722397 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда вы нажимаете на тормоз в машине, из-за трения", + "option_a": "скорость падает", + "option_b": "скорость не меняется", + "option_c": "машина летит", + "option_d": "скорость увеличивается" + }, + "outputs": "A", + "meta": { + "id": 1896 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда вы нажимаете на тормоз в машине, из-за трения\nA) скорость падает\nB) скорость не меняется\nC) машина летит\nD) скорость увеличивается\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.27409180998802185, + "B": 0.04763001203536987, + "C": 0.18838036060333252, + "D": 0.39880120754241943 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Распространение семян произошло, когда семена растения", + "option_a": "были проданы человеку в другой стране", + "option_b": "были генетически модифицированы для устойчивости к пестицидам", + "option_c": "были уничтожены радиацией во время обработки", + "option_d": "были посажены в том же саду" + }, + "outputs": "A", + "meta": { + "id": 275 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРаспространение семян произошло, когда семена растения\nA. были проданы человеку в другой стране\nB. были генетически модифицированы для устойчивости к пестицидам\nC. были уничтожены радиацией во время обработки\nD. были посажены в том же саду\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3904200494289398, + "B": 0.05283760651946068, + "C": 0.3040594458580017, + "D": 0.16275128722190857 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие две буквы больше всего ассоциируются с болезненной красной кожей?", + "option_a": "O и A", + "option_b": "Q и P", + "option_c": "F и J", + "option_d": "U и V" + }, + "outputs": "D", + "meta": { + "id": 924 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие две буквы больше всего ассоциируются с болезненной красной кожей?\nA) O и A\nB) Q и P\nC) F и J\nD) U и V\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05053585022687912, + "B": 0.015412564389407635, + "C": 0.8414974808692932, + "D": 0.04747404158115387 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек допивает бутылку воды и замечает, что на дне бутылки есть небольшой символ, состоящий из трех стрелок треугольной формы. Этот символ говорит человеку, что он должен", + "option_a": "повторно использовать бутылку", + "option_b": "сжечь бутылку", + "option_c": "сдать бутылку в переработку", + "option_d": "переделать бутылку" + }, + "outputs": "C", + "meta": { + "id": 1078 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловек допивает бутылку воды и замечает, что на дне бутылки есть небольшой символ, состоящий из трех стрелок треугольной формы. Этот символ говорит человеку, что он должен\nA. повторно использовать бутылку\nB. сжечь бутылку\nC. сдать бутылку в переработку\nD. переделать бутылку\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.14964814484119415, + "B": 0.46094873547554016, + "C": 0.06640596687793732, + "D": 0.2467280924320221 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди вносят свой вклад в загрязнение окружающей среды,", + "option_a": "покупая продукты, сделанные из переработанных продуктов", + "option_b": "оставляя мусор на общественных пляжах", + "option_c": "переходя на энергоэффективные приборы", + "option_d": "часто перерабатывая бумагу и пластик." + }, + "outputs": "B", + "meta": { + "id": 27 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛюди вносят свой вклад в загрязнение окружающей среды,\nA) покупая продукты, сделанные из переработанных продуктов\nB) оставляя мусор на общественных пляжах\nC) переходя на энергоэффективные приборы\nD) часто перерабатывая бумагу и пластик.\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.27061837911605835, + "B": 0.369891494512558, + "C": 0.11281052976846695, + "D": 0.13607549667358398 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Орлы едят", + "option_a": "ястребов", + "option_b": "мелких роющих млекопитающих", + "option_c": "растений и зерна", + "option_d": "летающих насекомых" + }, + "outputs": "B", + "meta": { + "id": 1383 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Орлы едят\nA. ястребов\nB. мелких роющих млекопитающих\nC. растений и зерна\nD. летающих насекомых\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3133189380168915, + "B": 0.08432865142822266, + "C": 0.2943359315395355, + "D": 0.1900375485420227 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кошке легче всего ухватиться, когда она взбирается наверх, за", + "option_a": "столб с ковровым покрытием", + "option_b": "пластиковый столб", + "option_c": "ледяной столб", + "option_d": "металлический столб" + }, + "outputs": "A", + "meta": { + "id": 752 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кошке легче всего ухватиться, когда она взбирается наверх, за\nA. столб с ковровым покрытием\nB. пластиковый столб\nC. ледяной столб\nD. металлический столб\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8665114641189575, + "B": 0.014005852863192558, + "C": 0.02458103746175766, + "D": 0.01161126047372818 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Девушка хочет помочь защитить окружающую среду, поэтому она решает", + "option_a": "ходить пешком на работу", + "option_b": "бросить работу", + "option_c": "поехать на работу", + "option_d": "навестить друга" + }, + "outputs": "A", + "meta": { + "id": 704 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДевушка хочет помочь защитить окружающую среду, поэтому она решает\nA) ходить пешком на работу\nB) бросить работу\nC) поехать на работу\nD) навестить друга\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4136907756328583, + "B": 0.14296771585941315, + "C": 0.15218834578990936, + "D": 0.13430573046207428 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Больше грязи и песка накапливается на ровной местности у реки всякий раз, когда", + "option_a": "один за другим идут дни с очень большим количеством осадков за день", + "option_b": "на берегу реки охотятся на оленей", + "option_c": "птицы летают над этой территорией", + "option_d": "вертолет летит слишком низко над землей" + }, + "outputs": "A", + "meta": { + "id": 547 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБольше грязи и песка накапливается на ровной местности у реки всякий раз, когда\nA) один за другим идут дни с очень большим количеством осадков за день\nB) на берегу реки охотятся на оленей\nC) птицы летают над этой территорией\nD) вертолет летит слишком низко над землей\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.48374423384666443, + "B": 0.14753365516662598, + "C": 0.13859504461288452, + "D": 0.08948369324207306 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Во что превращается электрическая энергия при включении лампочки?", + "option_a": "энергия, которую можно увидеть и использовать, чтобы увидеть материю вокруг нас", + "option_b": "энергия, полученная в результате движения", + "option_c": "энергия, невидимо спрятанная внутри объекта", + "option_d": "энергия солнца и ветра" + }, + "outputs": "A", + "meta": { + "id": 1969 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВо что превращается электрическая энергия при включении лампочки?\nA) энергия, которую можно увидеть и использовать, чтобы увидеть материю вокруг нас\nB) энергия, полученная в результате движения\nC) энергия, невидимо спрятанная внутри объекта\nD) энергия солнца и ветра\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7922858595848083, + "B": 0.028859011828899384, + "C": 0.03072025626897812, + "D": 0.018632778897881508 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какими должны быть все животные в холодную погоду, чтобы выжить и сохранять активность?", + "option_a": "теплокровными", + "option_b": "готовыми к космическим странствиям", + "option_c": "замерзшими", + "option_d": "лежащими" + }, + "outputs": "A", + "meta": { + "id": 1393 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какими должны быть все животные в холодную погоду, чтобы выжить и сохранять активность?\nA) теплокровными\nB) готовыми к космическим странствиям\nC) замерзшими\nD) лежащими\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.14494678378105164, + "B": 0.0775844156742096, + "C": 0.6102487444877625, + "D": 0.08791466802358627 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для установления чего нужны измерения утром и вечером?", + "option_a": "соленость воды в прибрежной зоне", + "option_b": "длина волны", + "option_c": "период приливов и отливов", + "option_d": "высота горы" + }, + "outputs": "C", + "meta": { + "id": 2188 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДля установления чего нужны измерения утром и вечером?\nA. соленость воды в прибрежной зоне\nB. длина волны\nC. период приливов и отливов\nD. высота горы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.418075293302536, + "B": 0.13572917878627777, + "C": 0.1974847912788391, + "D": 0.13572917878627777 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воду можно кипятить в кастрюле над", + "option_a": "углями", + "option_b": "автомобильной покрышкой", + "option_c": "кубиком льда", + "option_d": "ванной" + }, + "outputs": "A", + "meta": { + "id": 300 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВоду можно кипятить в кастрюле над\nA) углями\nB) автомобильной покрышкой\nC) кубиком льда\nD) ванной\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.1515338271856308, + "B": 0.1423528641462326, + "C": 0.4968603253364563, + "D": 0.11086452752351761 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы летите из Москвы в Австралию в декабре, по прибытии вам, скорее всего, захочется надеть:", + "option_a": "шорты", + "option_b": "варежки", + "option_c": "плотное пальто", + "option_d": "лыжную маску." + }, + "outputs": "A", + "meta": { + "id": 2234 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вы летите из Москвы в Австралию в декабре, по прибытии вам, скорее всего, захочется надеть:\nA) шорты\nB) варежки\nC) плотное пальто\nD) лыжную маску.\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.20346780121326447, + "B": 0.07967913895845413, + "C": 0.29604393243789673, + "D": 0.3570971190929413 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Маленькие, обычно красные пластиковые квадраты часто помещают на транспортные средства, такие как велосипеды, чтобы", + "option_a": "создать свет", + "option_b": "продемонстрировать цвет", + "option_c": "идентифицировать водителей", + "option_d": "отражать свет фар" + }, + "outputs": "D", + "meta": { + "id": 679 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Маленькие, обычно красные пластиковые квадраты часто помещают на транспортные средства, такие как велосипеды, чтобы\nA) создать свет\nB) продемонстрировать цвет\nC) идентифицировать водителей\nD) отражать свет фар\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.039222970604896545, + "B": 0.014429324306547642, + "C": 0.025324255228042603, + "D": 0.8927107453346252 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делают с животными и растениями люди, сбрасывающие мусор в океан?", + "option_a": "разводят им мух", + "option_b": "типологизируют их", + "option_c": "читают их мысли", + "option_d": "загрязняют среду их обитания" + }, + "outputs": "D", + "meta": { + "id": 1199 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто делают с животными и растениями люди, сбрасывающие мусор в океан?\nA) разводят им мух\nB) типологизируют их\nC) читают их мысли\nD) загрязняют среду их обитания\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2023243010044098, + "B": 0.07443094998598099, + "C": 0.33357638120651245, + "D": 0.2943801283836365 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "что из этого можно считать стадией круговорота воды?", + "option_a": "все последующие варианты", + "option_b": "комбинация гвоздей и молотков", + "option_c": "комбинация хлора и газа", + "option_d": "выпадение осадков" + }, + "outputs": "D", + "meta": { + "id": 2012 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nчто из этого можно считать стадией круговорота воды?\nA) все последующие варианты\nB) комбинация гвоздей и молотков\nC) комбинация хлора и газа\nD) выпадение осадков\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12646394968032837, + "B": 0.07670426368713379, + "C": 0.46987059712409973, + "D": 0.2677241861820221 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дороги нужно ремонтировать весной, потому что", + "option_a": "они холодные", + "option_b": "дорога просит об этом", + "option_c": "лед разрушает их", + "option_d": "они неровные" + }, + "outputs": "C", + "meta": { + "id": 1389 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Дороги нужно ремонтировать весной, потому что\nA) они холодные\nB) дорога просит об этом\nC) лед разрушает их\nD) они неровные\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.019372640177607536, + "B": 0.006289375480264425, + "C": 0.020622069016098976, + "D": 0.9334260821342468 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Основная причина, по которой люди хотят использовать ветер в качестве источника энергии, заключается в том, что", + "option_a": "в нем легко приготовить печенье", + "option_b": "он поет песни", + "option_c": "он заставляет улыбнуться", + "option_d": "он вечный источник энергии" + }, + "outputs": "D", + "meta": { + "id": 1704 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОсновная причина, по которой люди хотят использовать ветер в качестве источника энергии, заключается в том, что\nA) в нем легко приготовить печенье\nB) он поет песни\nC) он заставляет улыбнуться\nD) он вечный источник энергии\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.300192266702652, + "B": 0.0713019073009491, + "C": 0.3621009886264801, + "D": 0.1606813371181488 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если пчелиный улей раньше спал в холодное время, но теперь не спит, хотя снег ещё не растаял, - то улей, вероятно,", + "option_a": "оттаял", + "option_b": "вымер", + "option_c": "почуял весну", + "option_d": "заморожен" + }, + "outputs": "C", + "meta": { + "id": 424 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли пчелиный улей раньше спал в холодное время, но теперь не спит, хотя снег ещё не растаял, - то улей, вероятно,\nA) оттаял\nB) вымер\nC) почуял весну\nD) заморожен\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.3468615412712097, + "B": 0.10578679293394089, + "C": 0.18566161394119263, + "D": 0.2537693381309509 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто из них выживет с большей вероятностью?", + "option_a": "человек, дрейфующий на плоту в море без припасов", + "option_b": "кошка, оставленная в пустыне", + "option_c": "потерявшаяся у реки собака с маленькими щенками", + "option_d": "никто из них" + }, + "outputs": "C", + "meta": { + "id": 649 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто из них выживет с большей вероятностью?\nA) человек, дрейфующий на плоту в море без припасов\nB) кошка, оставленная в пустыне\nC) потерявшаяся у реки собака с маленькими щенками\nD) никто из них\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 470, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.2397639900445938, + "B": 0.16478723287582397, + "C": 0.22523744404315948, + "D": 0.27168819308280945 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Озеро, в которое ежедневно наливают два ведра ледяной воды, вероятно,", + "option_a": "сузится", + "option_b": "разольется", + "option_c": "высохнет", + "option_d": "испарится" + }, + "outputs": "B", + "meta": { + "id": 972 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Озеро, в которое ежедневно наливают два ведра ледяной воды, вероятно,\nA. сузится\nB. разольется\nC. высохнет\nD. испарится\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1930263787508011, + "B": 0.10998310893774033, + "C": 0.40863683819770813, + "D": 0.18133150041103363 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие отношения наиболее вероятны?", + "option_a": "птицы едят жирафов", + "option_b": "одуванчики едят червей", + "option_c": "волки едят полевок", + "option_d": "петунии поедают мышей" + }, + "outputs": "C", + "meta": { + "id": 241 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие отношения наиболее вероятны?\nA. птицы едят жирафов\nB. одуванчики едят червей\nC. волки едят полевок\nD. петунии поедают мышей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.38648858666419983, + "B": 0.24953578412532806, + "C": 0.04913650453090668, + "D": 0.22021454572677612 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как человек может надуть воздушный шар и использовать тот же воздух для наполнения футбольного мяча?", + "option_a": "это способность человека видеть соответствия", + "option_b": "это закон термодинамики", + "option_c": "это сдвиг в космосе", + "option_d": "все эти объяснения верны" + }, + "outputs": "A", + "meta": { + "id": 885 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как человек может надуть воздушный шар и использовать тот же воздух для наполнения футбольного мяча?\nA. это способность человека видеть соответствия\nB. это закон термодинамики\nC. это сдвиг в космосе\nD. все эти объяснения верны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1507444679737091, + "B": 0.21933190524578094, + "C": 0.3397078812122345, + "D": 0.21933190524578094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если дерево срубят, что с ним будет?", + "option_a": "рост", + "option_b": "подавление жизненной силы", + "option_c": "энергия", + "option_d": "жизнь" + }, + "outputs": "B", + "meta": { + "id": 1512 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли дерево срубят, что с ним будет?\nA) рост\nB) подавление жизненной силы\nC) энергия\nD) жизнь\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.4928864538669586, + "B": 0.1099778339266777, + "C": 0.13265858590602875, + "D": 0.11707080155611038 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что преобразует солнечный свет, воду и углекислый газ в рост?", + "option_a": "объект, который вращается вокруг Земли", + "option_b": "объект, который цветет", + "option_c": "объект, который летает в небе", + "option_d": "объект, который живет в пещерах" + }, + "outputs": "B", + "meta": { + "id": 1442 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто преобразует солнечный свет, воду и углекислый газ в рост?\nA. объект, который вращается вокруг Земли\nB. объект, который цветет\nC. объект, который летает в небе\nD. объект, который живет в пещерах\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.10137022286653519, + "B": 0.20159874856472015, + "C": 0.29332447052001953, + "D": 0.35381683707237244 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Клетка может фотосинтезировать, если это клетка", + "option_a": "хорька", + "option_b": "крачки", + "option_c": "попугая", + "option_d": "ивы" + }, + "outputs": "D", + "meta": { + "id": 1424 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКлетка может фотосинтезировать, если это клетка\nA) хорька\nB) крачки\nC) попугая\nD) ивы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5989154577255249, + "B": 0.09184665977954865, + "C": 0.08105438947677612, + "D": 0.09184665977954865 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, могло бы заменить солнце в нашей солнечной системе?", + "option_a": "другая звезда", + "option_b": "Луна", + "option_c": "Юпитер", + "option_d": "Венера" + }, + "outputs": "A", + "meta": { + "id": 2056 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, вероятно, могло бы заменить солнце в нашей солнечной системе?\nA. другая звезда\nB. Луна\nC. Юпитер\nD. Венера\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.49893540143966675, + "B": 0.1953859031200409, + "C": 0.08670196682214737, + "D": 0.07651422917842865 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наклон Земли контролирует", + "option_a": "времена года", + "option_b": "приливы", + "option_c": "закаты", + "option_d": "часы" + }, + "outputs": "A", + "meta": { + "id": 1402 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Наклон Земли контролирует\nA. времена года\nB. приливы\nC. закаты\nD. часы\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5019919276237488, + "B": 0.05632193014025688, + "C": 0.1846725344657898, + "D": 0.11923354119062424 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мертвые организмы - источник чего для разлагателей?", + "option_a": "питание", + "option_b": "гордость", + "option_c": "океаны", + "option_d": "люди" + }, + "outputs": "A", + "meta": { + "id": 1409 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМертвые организмы - источник чего для разлагателей?\nA) питание\nB) гордость\nC) океаны\nD) люди\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21064746379852295, + "B": 0.12002329528331757, + "C": 0.39354124665260315, + "D": 0.16405239701271057 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В 60-е годы люди смотрели по телевизору, как люди впервые прошли", + "option_a": "по высокой крыше в большом городе", + "option_b": "по краю обрыва в горах", + "option_c": "по спутнику планеты без большого количества воздуха в нашей солнечной системе", + "option_d": ") на пляж в Бразилии" + }, + "outputs": "C", + "meta": { + "id": 1315 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В 60-е годы люди смотрели по телевизору, как люди впервые прошли\nA) по высокой крыше в большом городе\nB) по краю обрыва в горах\nC) по спутнику планеты без большого количества воздуха в нашей солнечной системе\nD) ) на пляж в Бразилии\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 474, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19699904322624207, + "B": 0.19699904322624207, + "C": 0.32479652762413025, + "D": 0.1850634664297104 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вещь, которая превращается из большого предмета в узенький предмет, видна над нами некоторое время, находящееся в промежутке", + "option_a": "между неделей и месяцем", + "option_b": "между днем и парой недель", + "option_c": "между месяцем и декадой", + "option_d": "между минутой и часом" + }, + "outputs": "C", + "meta": { + "id": 1179 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вещь, которая превращается из большого предмета в узенький предмет, видна над нами некоторое время, находящееся в промежутке\nA. между неделей и месяцем\nB. между днем и парой недель\nC. между месяцем и декадой\nD. между минутой и часом\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.22500185668468475, + "B": 0.12820219993591309, + "C": 0.28890809416770935, + "D": 0.27140405774116516 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чему из этого учат?", + "option_a": "мытье пола", + "option_b": "рыжие волосы", + "option_c": "избегание неприятных запахов", + "option_d": "прямая ходьба" + }, + "outputs": "A", + "meta": { + "id": 376 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧему из этого учат?\nA. мытье пола\nB. рыжие волосы\nC. избегание неприятных запахов\nD. прямая ходьба\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.31121590733528137, + "B": 0.2423751950263977, + "C": 0.1381012201309204, + "D": 0.17732547223567963 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кактусы хранят жидкости в своих", + "option_a": "цветах", + "option_b": "стволах", + "option_c": "супермаркетах", + "option_d": "шкафчиках" + }, + "outputs": "B", + "meta": { + "id": 1511 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКактусы хранят жидкости в своих\nA. цветах\nB. стволах\nC. супермаркетах\nD. шкафчиках\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6341384053230286, + "B": 0.0806216448545456, + "C": 0.0806216448545456, + "D": 0.08582130074501038 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда человек нажимает на педаль велосипеда, велосипед", + "option_a": "быстро ускоряется", + "option_b": "очень слабо замедляется", + "option_c": "не реагирует", + "option_d": "останавливается" + }, + "outputs": "A", + "meta": { + "id": 1760 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда человек нажимает на педаль велосипеда, велосипед\nA) быстро ускоряется\nB) очень слабо замедляется\nC) не реагирует\nD) останавливается\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.37454691529273987, + "B": 0.12159757316112518, + "C": 0.13778811693191528, + "D": 0.241825670003891 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером выветривания являются", + "option_a": "песок", + "option_b": "острые валуны", + "option_c": "высокие деревья", + "option_d": "коралловые рифы" + }, + "outputs": "A", + "meta": { + "id": 1308 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примером выветривания являются\nA. песок\nB. острые валуны\nC. высокие деревья\nD. коралловые рифы\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7075120210647583, + "B": 0.035224948078393936, + "C": 0.02577112428843975, + "D": 0.04248939827084541 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что действует без контакта между объектами?", + "option_a": "притяжение противоположных зарядов", + "option_b": "трение", + "option_c": "вес", + "option_d": "давление" + }, + "outputs": "A", + "meta": { + "id": 2009 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто действует без контакта между объектами?\nA. притяжение противоположных зарядов\nB. трение\nC. вес\nD. давление\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.336241751909256, + "B": 0.09049823880195618, + "C": 0.24599970877170563, + "D": 0.20394092798233032 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гравитация больше всего влияет на воду, когда она", + "option_a": "покоится в океане или озере", + "option_b": "полна морских обитателей", + "option_c": "быстро течет с волнами", + "option_d": "находится на изогнутой поверхности" + }, + "outputs": "D", + "meta": { + "id": 1578 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Гравитация больше всего влияет на воду, когда она\nA) покоится в океане или озере\nB) полна морских обитателей\nC) быстро течет с волнами\nD) находится на изогнутой поверхности\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.37032759189605713, + "B": 0.10610063374042511, + "C": 0.18621240556240082, + "D": 0.23910146951675415 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая из следующих культур была основным продуктом питания человека?", + "option_a": "пшеница", + "option_b": "ячмень", + "option_c": "кукуруза", + "option_d": "рис" + }, + "outputs": "A", + "meta": { + "id": 2106 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая из следующих культур была основным продуктом питания человека?\nA) пшеница\nB) ячмень\nC) кукуруза\nD) рис\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.21050888299942017, + "B": 0.09943735599517822, + "C": 0.25392216444015503, + "D": 0.34707048535346985 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда кислота пролилась на растение, оно начало", + "option_a": "расти", + "option_b": "петь", + "option_c": "цвести", + "option_d": "дымиться" + }, + "outputs": "D", + "meta": { + "id": 306 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда кислота пролилась на растение, оно начало\nA) расти\nB) петь\nC) цвести\nD) дымиться\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5203025341033936, + "B": 0.07495669275522232, + "C": 0.15868330001831055, + "D": 0.08493705838918686 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дом коалы может быть разрушен из-за", + "option_a": "лесного пожара", + "option_b": "магии", + "option_c": "разбитого сердца", + "option_d": "привязанности" + }, + "outputs": "A", + "meta": { + "id": 936 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДом коалы может быть разрушен из-за\nA) лесного пожара\nB) магии\nC) разбитого сердца\nD) привязанности\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.25196006894111633, + "B": 0.14356252551078796, + "C": 0.2682100832462311, + "D": 0.2223539799451828 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если существо движется регулярно, то это существо", + "option_a": "вероятно, сильное", + "option_b": "вряд ли здоровое", + "option_c": "вот-вот умрет", + "option_d": "мало двигается" + }, + "outputs": "A", + "meta": { + "id": 2127 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если существо движется регулярно, то это существо\nA. вероятно, сильное\nB. вряд ли здоровое\nC. вот-вот умрет\nD. мало двигается\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15288810431957245, + "B": 0.28563255071640015, + "C": 0.23679772019386292, + "D": 0.2224508672952652 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример объединения двух веществ:", + "option_a": "установка ноутбука на стол", + "option_b": "заливка сиропа в молоко", + "option_c": "строительство крыши дома", + "option_d": "размещение одежды в чемодане" + }, + "outputs": "B", + "meta": { + "id": 4 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пример объединения двух веществ:\nA) установка ноутбука на стол\nB) заливка сиропа в молоко\nC) строительство крыши дома\nD) размещение одежды в чемодане\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.14502495527267456, + "B": 0.17493346333503723, + "C": 0.39421865344047546, + "D": 0.13623833656311035 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Федор, который живет в Екатеринбурге, заметил, что время между восходом и заходом солнца было самым коротким за весь год. Какой месяц, скорее всего, будет следующим?", + "option_a": "июль", + "option_b": "апрель.", + "option_c": "сентябрь", + "option_d": "январь" + }, + "outputs": "D", + "meta": { + "id": 2096 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Федор, который живет в Екатеринбурге, заметил, что время между восходом и заходом солнца было самым коротким за весь год. Какой месяц, скорее всего, будет следующим?\nA) июль\nB) апрель.\nC) сентябрь\nD) январь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 471, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.039230167865753174, + "B": 0.02696247398853302, + "C": 0.8387778997421265, + "D": 0.060760870575904846 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где найти живого дышащего дятла?", + "option_a": "на луне", + "option_b": "в наперстке", + "option_c": "в лесу", + "option_d": "в шкафу" + }, + "outputs": "C", + "meta": { + "id": 2291 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где найти живого дышащего дятла?\nA) на луне\nB) в наперстке\nC) в лесу\nD) в шкафу\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.17539434134960175, + "B": 0.19874781370162964, + "C": 0.32767975330352783, + "D": 0.21156594157218933 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если я хочу получить больше энергии после чрезмерных нагрузок", + "option_a": "Я могу расчесать волосы", + "option_b": "Я могу пойти на пробежку", + "option_c": "Я могу съесть яблоко", + "option_d": "Я могу умыться" + }, + "outputs": "C", + "meta": { + "id": 1549 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если я хочу получить больше энергии после чрезмерных нагрузок\nA. Я могу расчесать волосы\nB. Я могу пойти на пробежку\nC. Я могу съесть яблоко\nD. Я могу умыться\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2863744795322418, + "B": 0.05639047920703888, + "C": 0.19682210683822632, + "D": 0.3677121102809906 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения не смогли бы стоять, если бы им не хватало", + "option_a": "нескольких листьев, поддерживаемых на торсе", + "option_b": "геля, который формирует цветы", + "option_c": "способность цвести каждую ночь", + "option_d": "крошечных опорных структур внутри" + }, + "outputs": "D", + "meta": { + "id": 1721 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Растения не смогли бы стоять, если бы им не хватало\nA. нескольких листьев, поддерживаемых на торсе\nB. геля, который формирует цветы\nC. способность цвести каждую ночь\nD. крошечных опорных структур внутри\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2651773691177368, + "B": 0.04328901320695877, + "C": 0.319864958524704, + "D": 0.2822798192501068 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что гарантирует, что к кончикам ваших пальцев будет поступать достаточно газа, который производят растения?", + "option_a": "ваша система кровообращения", + "option_b": "ваша поджелудочная железа", + "option_c": "теплые носки", + "option_d": "ваша нервная система" + }, + "outputs": "A", + "meta": { + "id": 2001 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что гарантирует, что к кончикам ваших пальцев будет поступать достаточно газа, который производят растения?\nA. ваша система кровообращения\nB. ваша поджелудочная железа\nC. теплые носки\nD. ваша нервная система\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 466, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07009454816579819, + "B": 0.7079298496246338, + "C": 0.061858221888542175, + "D": 0.09000317752361298 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером создания альтернативного топлива является превращение какого материала в топливо?", + "option_a": "песок", + "option_b": "растительность", + "option_c": "минералы", + "option_d": "горные породы" + }, + "outputs": "B", + "meta": { + "id": 1769 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером создания альтернативного топлива является превращение какого материала в топливо?\nA. песок\nB. растительность\nC. минералы\nD. горные породы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.31099748611450195, + "B": 0.10747785866260529, + "C": 0.21374525129795074, + "D": 0.25782597064971924 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для сборки велосипеда необходимо все это, кроме одного. Чего именно?", + "option_a": "Спицы", + "option_b": "Болты", + "option_c": "Гайки", + "option_d": "Гвозди" + }, + "outputs": "D", + "meta": { + "id": 203 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДля сборки велосипеда необходимо все это, кроме одного. Чего именно?\nA. Спицы\nB. Болты\nC. Гайки\nD. Гвозди\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.13417236506938934, + "B": 0.06746610254049301, + "C": 0.2506669759750366, + "D": 0.49851080775260925 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дверной звонок был нажат, но звука не было. Что могло быть причиной этого?", + "option_a": "атмосферное давление", + "option_b": "высокая температура", + "option_c": "снеговик во дворе", + "option_d": "разряженные батарейки" + }, + "outputs": "D", + "meta": { + "id": 2072 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Дверной звонок был нажат, но звука не было. Что могло быть причиной этого?\nA. атмосферное давление\nB. высокая температура\nC. снеговик во дворе\nD. разряженные батарейки\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.6032900214195251, + "B": 0.0219748392701149, + "C": 0.028216252103447914, + "D": 0.25148868560791016 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человеку нужно есть фрукты и овощи, чтобы вести здоровый образ жизни, поэтому другие люди должны", + "option_a": "затоплять поля", + "option_b": "есть чипсы", + "option_c": "покупать рогалики", + "option_d": "заниматься сельским хозяйством" + }, + "outputs": "D", + "meta": { + "id": 187 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловеку нужно есть фрукты и овощи, чтобы вести здоровый образ жизни, поэтому другие люди должны\nA) затоплять поля\nB) есть чипсы\nC) покупать рогалики\nD) заниматься сельским хозяйством\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4276893734931946, + "B": 0.14780549705028534, + "C": 0.14780549705028534, + "D": 0.1388504058122635 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По сравнению с обычным пловцом, на организм аквалангиста приходится больше", + "option_a": "давления", + "option_b": "тепла", + "option_c": "воды", + "option_d": "воздуха" + }, + "outputs": "A", + "meta": { + "id": 2098 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПо сравнению с обычным пловцом, на организм аквалангиста приходится больше\nA) давления\nB) тепла\nC) воды\nD) воздуха\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.562628448009491, + "B": 0.02322245016694069, + "C": 0.15142939984798431, + "D": 0.15142939984798431 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Увеличительное стекло", + "option_a": "может улучшить ощущения пользователя", + "option_b": "поможет усилить запах наблюдаемого образца", + "option_c": "может размыть ноги муравья", + "option_d": "позволит пользователю лучше видеть ноги муравья" + }, + "outputs": "D", + "meta": { + "id": 244 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУвеличительное стекло\nA. может улучшить ощущения пользователя\nB. поможет усилить запах наблюдаемого образца\nC. может размыть ноги муравья\nD. позволит пользователю лучше видеть ноги муравья\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21999876201152802, + "B": 0.07602953165769577, + "C": 0.4110117554664612, + "D": 0.1941482275724411 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если дерево падает в лесу, а затем покрывается грязью, от него когда-нибудь могут остаться:", + "option_a": "туалетная бумага", + "option_b": "домики для снежных людей", + "option_c": "отпечатки на скальных породах", + "option_d": "следы на пляже" + }, + "outputs": "C", + "meta": { + "id": 682 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли дерево падает в лесу, а затем покрывается грязью, от него когда-нибудь могут остаться:\nA) туалетная бумага\nB) домики для снежных людей\nC) отпечатки на скальных породах\nD) следы на пляже\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.2617947459220886, + "B": 0.09047384560108185, + "C": 0.179928719997406, + "D": 0.38090911507606506 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чему лейкоциты позволяют оставаться в организме?", + "option_a": "кислород", + "option_b": "вирусы", + "option_c": "паразиты", + "option_d": "бактерии" + }, + "outputs": "A", + "meta": { + "id": 80 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чему лейкоциты позволяют оставаться в организме?\nA. кислород\nB. вирусы\nC. паразиты\nD. бактерии\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5444125533103943, + "B": 0.05738065764307976, + "C": 0.17674487829208374, + "D": 0.09460470825433731 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Более светлые объекты отражают больше света, например,", + "option_a": "светло-сиреневую дверь легко увидеть", + "option_b": "экраны телефонов почти не отражают", + "option_c": "зеркало не может быть темным", + "option_d": "легко увидеть черную дверь" + }, + "outputs": "A", + "meta": { + "id": 647 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБолее светлые объекты отражают больше света, например,\nA) светло-сиреневую дверь легко увидеть\nB) экраны телефонов почти не отражают\nC) зеркало не может быть темным\nD) легко увидеть черную дверь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.07831638306379318, + "B": 0.1764887124300003, + "C": 0.29098066687583923, + "D": 0.3977234363555908 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что и как образует долины?", + "option_a": "сильные ветры, приносящие дождь и град", + "option_b": "лужи воды, заполняющиеся до тех пор, пока не образуется глубокое озеро", + "option_c": "дождевая вода, часто льющаяся вниз", + "option_d": "постоянное движение воды по прямому или извилистому пути" + }, + "outputs": "D", + "meta": { + "id": 69 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто и как образует долины?\nA. сильные ветры, приносящие дождь и град\nB. лужи воды, заполняющиеся до тех пор, пока не образуется глубокое озеро\nC. дождевая вода, часто льющаяся вниз\nD. постоянное движение воды по прямому или извилистому пути\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 470, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.17781221866607666, + "B": 0.5145167112350464, + "C": 0.0789036899805069, + "D": 0.1384802907705307 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если два ястреба найдут мертвую лису, они", + "option_a": "подерутся", + "option_b": "съедят", + "option_c": "умрут от голода", + "option_d": "полетят прочь" + }, + "outputs": "A", + "meta": { + "id": 200 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли два ястреба найдут мертвую лису, они\nA) подерутся\nB) съедят\nC) умрут от голода\nD) полетят прочь\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5379981398582458, + "B": 0.06036171689629555, + "C": 0.23873522877693176, + "D": 0.07750598341226578 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Транспирация включает в себя", + "option_a": "перемещение H2O по системе нарцисса", + "option_b": "перемещение пыльцы по системе растения", + "option_c": "производство новых молекул кислорода", + "option_d": "производство новых саженцев" + }, + "outputs": "A", + "meta": { + "id": 1852 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТранспирация включает в себя\nA) перемещение H2O по системе нарцисса\nB) перемещение пыльцы по системе растения\nC) производство новых молекул кислорода\nD) производство новых саженцев\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0895957425236702, + "B": 0.4550047516822815, + "C": 0.2759743332862854, + "D": 0.0895957425236702 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кондор кричал от боли, когда его крыло было обожжено", + "option_a": "льдом", + "option_b": "пламенем костра", + "option_c": "электричеством", + "option_d": "водой" + }, + "outputs": "B", + "meta": { + "id": 317 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКондор кричал от боли, когда его крыло было обожжено\nA. льдом\nB. пламенем костра\nC. электричеством\nD. водой\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16763274371623993, + "B": 0.07918409258127213, + "C": 0.485061377286911, + "D": 0.17844413220882416 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобиль может быть приведен в действие всем, кроме", + "option_a": "движения атмосферы", + "option_b": "очищенных продуктов ископаемого топлива", + "option_c": "толчка кота", + "option_d": "тепла солнца" + }, + "outputs": "C", + "meta": { + "id": 441 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nАвтомобиль может быть приведен в действие всем, кроме\nA. движения атмосферы\nB. очищенных продуктов ископаемого топлива\nC. толчка кота\nD. тепла солнца\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2251119315624237, + "B": 0.14534318447113037, + "C": 0.3275358974933624, + "D": 0.19866056740283966 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Самолет летит по воздуху вокруг", + "option_a": "пещеры", + "option_b": "черной дыры", + "option_c": "подводной лодки", + "option_d": "планеты" + }, + "outputs": "D", + "meta": { + "id": 445 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Самолет летит по воздуху вокруг\nA. пещеры\nB. черной дыры\nC. подводной лодки\nD. планеты\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.0873209536075592, + "B": 0.2863143980503082, + "C": 0.3453610837459564, + "D": 0.22298188507556915 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы определить, насколько твердым может быть определенный минерал, человек может:", + "option_a": "измерить его вес", + "option_b": "попытаться оставить на нем отметку", + "option_c": "раздавить его, чтобы увидеть изнутри", + "option_d": "посмотреть, может ли он отскочить" + }, + "outputs": "B", + "meta": { + "id": 1302 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы определить, насколько твердым может быть определенный минерал, человек может:\nA) измерить его вес\nB) попытаться оставить на нем отметку\nC) раздавить его, чтобы увидеть изнутри\nD) посмотреть, может ли он отскочить\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.09852779656648636, + "B": 0.18407414853572845, + "C": 0.4148175120353699, + "D": 0.23635587096214294 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мрамор не может образовываться, пока лава", + "option_a": "оскорбляет вулкан", + "option_b": "затвердевает", + "option_c": "остывает", + "option_d": "еще горячая" + }, + "outputs": "D", + "meta": { + "id": 791 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мрамор не может образовываться, пока лава\nA) оскорбляет вулкан\nB) затвердевает\nC) остывает\nD) еще горячая\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.1650838702917099, + "B": 0.02868727408349514, + "C": 0.6950290203094482, + "D": 0.04173973575234413 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Земля получает тепло от:", + "option_a": "звезды, вокруг которой она вращается", + "option_b": "солнца другой ближайшей галактики", + "option_c": "парниковых газов в ее атмосфере", + "option_d": "часто случающихся солнечных затмений" + }, + "outputs": "A", + "meta": { + "id": 1016 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Земля получает тепло от:\nA) звезды, вокруг которой она вращается\nB) солнца другой ближайшей галактики\nC) парниковых газов в ее атмосфере\nD) часто случающихся солнечных затмений\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.19874149560928345, + "B": 0.04720523580908775, + "C": 0.5402353405952454, + "D": 0.12831714749336243 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Весы", + "option_a": ", помогают пользователям узнать, нужно ли им сбросить несколько фунтов.", + "option_b": "измеряют рост пользователя", + "option_c": "измеряют, сколько жира на животе у пользователя", + "option_d": "помогают пользователям определить уровень сахара в крови" + }, + "outputs": "A", + "meta": { + "id": 2154 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВесы\nA. , помогают пользователям узнать, нужно ли им сбросить несколько фунтов.\nB. измеряют рост пользователя\nC. измеряют, сколько жира на животе у пользователя\nD. помогают пользователям определить уровень сахара в крови\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2244318276643753, + "B": 0.21083419024944305, + "C": 0.15424957871437073, + "D": 0.3476068079471588 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если сорняк вырывается, то что с ним происходит?", + "option_a": "процветает", + "option_b": "становится некрасивым", + "option_c": "функционирует", + "option_d": "погибает" + }, + "outputs": "D", + "meta": { + "id": 1774 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли сорняк вырывается, то что с ним происходит?\nA. процветает\nB. становится некрасивым\nC. функционирует\nD. погибает\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03426609933376312, + "B": 0.03426609933376312, + "C": 0.025069614872336388, + "D": 0.8837343454360962 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда клетка поглощает кислород и использует клеточное дыхание, она затем испускает", + "option_a": "воду", + "option_b": "дым", + "option_c": "солнечный свет", + "option_d": "CO2" + }, + "outputs": "D", + "meta": { + "id": 2285 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда клетка поглощает кислород и использует клеточное дыхание, она затем испускает\nA) воду\nB) дым\nC) солнечный свет\nD) CO2\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2524837553501129, + "B": 0.2687675356864929, + "C": 0.14386090636253357, + "D": 0.2228161245584488 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Область, где большую часть года выпадает снег, часто бывает", + "option_a": "дождливой", + "option_b": "высотной", + "option_c": "ветреной", + "option_d": "лесистой" + }, + "outputs": "B", + "meta": { + "id": 1156 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Область, где большую часть года выпадает снег, часто бывает\nA. дождливой\nB. высотной\nC. ветреной\nD. лесистой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.2680604159832001, + "B": 0.13478924334049225, + "C": 0.2680604159832001, + "D": 0.22222989797592163 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что наиболее вероятно?", + "option_a": "самка мухи откладывает яйца, пока является личинкой", + "option_b": "самец мухи откладывает яйца, пока является личинкой", + "option_c": "самец мухи откладывает яйца, когда он взрослый", + "option_d": "самка мухи откладывает яйца, когда она стала взрослой" + }, + "outputs": "D", + "meta": { + "id": 1489 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что наиболее вероятно?\nA. самка мухи откладывает яйца, пока является личинкой\nB. самец мухи откладывает яйца, пока является личинкой\nC. самец мухи откладывает яйца, когда он взрослый\nD. самка мухи откладывает яйца, когда она стала взрослой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 482, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2870510518550873, + "B": 0.09319183230400085, + "C": 0.3055642545223236, + "D": 0.163556769490242 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стоя на искрящихся проводах, вы ничего не чувствуете, потому что", + "option_a": "на вас брюки", + "option_b": "вы просто невосприимчивы", + "option_c": "на вас каска", + "option_d": "на вас кроссовки" + }, + "outputs": "D", + "meta": { + "id": 2231 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСтоя на искрящихся проводах, вы ничего не чувствуете, потому что\nA. на вас брюки\nB. вы просто невосприимчивы\nC. на вас каска\nD. на вас кроссовки\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.4376782178878784, + "B": 0.11066237837076187, + "C": 0.18245141208171844, + "D": 0.09765921533107758 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если с дуба удалить листья, это может привести к тому, что дерево", + "option_a": "потеряет воду", + "option_b": "потеряет желуди", + "option_c": "потеряет энергию", + "option_d": "потеряет кору" + }, + "outputs": "C", + "meta": { + "id": 1652 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли с дуба удалить листья, это может привести к тому, что дерево\nA. потеряет воду\nB. потеряет желуди\nC. потеряет энергию\nD. потеряет кору\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8319790959358215, + "B": 0.014314990490674973, + "C": 0.02512359246611595, + "D": 0.01956627331674099 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что имеет хорошо ощутимые ароматы?", + "option_a": "сыр", + "option_b": "металлы", + "option_c": "звезды", + "option_d": "велосипеды" + }, + "outputs": "A", + "meta": { + "id": 1413 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что имеет хорошо ощутимые ароматы?\nA. сыр\nB. металлы\nC. звезды\nD. велосипеды\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1363680213689804, + "B": 0.07299253344535828, + "C": 0.5741308331489563, + "D": 0.14516299962997437 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Толстые перья можно использовать для", + "option_a": "лазания, раскалывания орехов и снятия кожуры фруктов", + "option_b": "ухаживания и поиска пищи", + "option_c": "сохранения устойчивости к погодным условиям, гибкости опоры в полете и защиты от бактерий", + "option_d": "убийства добычи, чистки и кормления детенышей" + }, + "outputs": "C", + "meta": { + "id": 829 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТолстые перья можно использовать для\nA) лазания, раскалывания орехов и снятия кожуры фруктов\nB) ухаживания и поиска пищи\nC) сохранения устойчивости к погодным условиям, гибкости опоры в полете и защиты от бактерий\nD) убийства добычи, чистки и кормления детенышей\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 473, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.31203749775886536, + "B": 0.21446004509925842, + "C": 0.1300765872001648, + "D": 0.25868818163871765 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая плотная среда часто бывает темного цвета?", + "option_a": "равнины", + "option_b": "лесной массив", + "option_c": "горы", + "option_d": "пустыня" + }, + "outputs": "B", + "meta": { + "id": 1115 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая плотная среда часто бывает темного цвета?\nA) равнины\nB) лесной массив\nC) горы\nD) пустыня\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.24752219021320343, + "B": 0.09105832874774933, + "C": 0.3383227288722992, + "D": 0.23252560198307037 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы хотите, чтобы в летние месяцы в вашем доме было прохладно", + "option_a": "посадите плющ вокруг деревьев", + "option_b": "посадите деревья, которые будут возвышаться над домом", + "option_c": "посадите кусты вокруг фундамента", + "option_d": "посадите кусты, которые не вырастают выше трав" + }, + "outputs": "B", + "meta": { + "id": 425 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вы хотите, чтобы в летние месяцы в вашем доме было прохладно\nA. посадите плющ вокруг деревьев\nB. посадите деревья, которые будут возвышаться над домом\nC. посадите кусты вокруг фундамента\nD. посадите кусты, которые не вырастают выше трав\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 466, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.025178004056215286, + "B": 0.8875551819801331, + "C": 0.016256140545010567, + "D": 0.013476813212037086 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кролики - травоядные животные, то есть они", + "option_a": "едят металл", + "option_b": "едят растительность", + "option_c": "едят людей", + "option_d": "едят динозавров" + }, + "outputs": "B", + "meta": { + "id": 1859 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кролики - травоядные животные, то есть они\nA. едят металл\nB. едят растительность\nC. едят людей\nD. едят динозавров\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3783338963985443, + "B": 0.17871227860450745, + "C": 0.20250754058361053, + "D": 0.09565778821706772 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что сделано из минералов?", + "option_a": "Стоунхендж", + "option_b": "автомобильные двигатели", + "option_c": "спирт", + "option_d": "электричество" + }, + "outputs": "A", + "meta": { + "id": 1960 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что сделано из минералов?\nA) Стоунхендж\nB) автомобильные двигатели\nC) спирт\nD) электричество\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4427773952484131, + "B": 0.10516884922981262, + "C": 0.1530197709798813, + "D": 0.16288872063159943 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сойки находят питание в", + "option_a": "металлических синих колокольчиках", + "option_b": "пластиковых бусинах", + "option_c": "философии", + "option_d": "шелковице" + }, + "outputs": "D", + "meta": { + "id": 2258 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сойки находят питание в\nA. металлических синих колокольчиках\nB. пластиковых бусинах\nC. философии\nD. шелковице\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.14250124990940094, + "B": 0.1516917645931244, + "C": 0.38735851645469666, + "D": 0.23494482040405273 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Розе легче всего расти", + "option_a": "в бетонных джунглях", + "option_b": "в чьем-то животе", + "option_c": "на вспаханной земле", + "option_d": "на кирпиче" + }, + "outputs": "C", + "meta": { + "id": 1369 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Розе легче всего расти\nA. в бетонных джунглях\nB. в чьем-то животе\nC. на вспаханной земле\nD. на кирпиче\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.35456886887550354, + "B": 0.10158568620681763, + "C": 0.13885116577148438, + "D": 0.2939479351043701 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из перечисленного может побудить больше людей носить маски?", + "option_a": "Велогонка с сотнями участников", + "option_b": "использование электрических газонокосилок", + "option_c": "автобус, в котором в качестве топлива используется нефтепродукт", + "option_d": "зараженное мясо гамбургера из продуктового магазина" + }, + "outputs": "C", + "meta": { + "id": 943 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из перечисленного может побудить больше людей носить маски?\nA. Велогонка с сотнями участников\nB. использование электрических газонокосилок\nC. автобус, в котором в качестве топлива используется нефтепродукт\nD. зараженное мясо гамбургера из продуктового магазина\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 477, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1717781275510788, + "B": 0.05238936468958855, + "C": 0.5995645523071289, + "D": 0.11806125938892365 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Проводник электричества необходим, чтобы", + "option_a": "вонзить нож для масла в хлеб", + "option_b": "испечь капкейк в микроволновке", + "option_c": "привести в движение двухколесный велосипед", + "option_d": "раскачать качели" + }, + "outputs": "B", + "meta": { + "id": 1311 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Проводник электричества необходим, чтобы\nA. вонзить нож для масла в хлеб\nB. испечь капкейк в микроволновке\nC. привести в движение двухколесный велосипед\nD. раскачать качели\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 466, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.23758137226104736, + "B": 0.16328713297843933, + "C": 0.34567883610725403, + "D": 0.17381824553012848 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После того, как цыплят выпустили в поле, популяция червей", + "option_a": "дала взрывной рост", + "option_b": "увеличилась", + "option_c": "уменьшилась", + "option_d": "колебалась" + }, + "outputs": "C", + "meta": { + "id": 2182 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: После того, как цыплят выпустили в поле, популяция червей\nA) дала взрывной рост\nB) увеличилась\nC) уменьшилась\nD) колебалась\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.15809676051139832, + "B": 0.26065748929977417, + "C": 0.3346908390522003, + "D": 0.13951990008354187 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком месте больше всего солнечного света?", + "option_a": "север Канады", + "option_b": "Сахара", + "option_c": "тропические леса Бразилии", + "option_d": "север России" + }, + "outputs": "B", + "meta": { + "id": 1835 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ каком месте больше всего солнечного света?\nA. север Канады\nB. Сахара\nC. тропические леса Бразилии\nD. север России\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.17252792418003082, + "B": 0.32232457399368286, + "C": 0.1954997479915619, + "D": 0.2215302288532257 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является побочным продуктом работы лампочки?", + "option_a": "вкус", + "option_b": "смерть", + "option_c": "звук", + "option_d": "тепло" + }, + "outputs": "D", + "meta": { + "id": 267 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто является побочным продуктом работы лампочки?\nA. вкус\nB. смерть\nC. звук\nD. тепло\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7121702432632446, + "B": 0.04552752152085304, + "C": 0.051589444279670715, + "D": 0.051589444279670715 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Могучая река течет по местности тысячелетиями. Впоследствии можно отметить, что там, где когда-то были реки, теперь есть", + "option_a": "массивные каньоны", + "option_b": "большие кирпичи", + "option_c": "старые носки", + "option_d": "небольшие ручьи" + }, + "outputs": "A", + "meta": { + "id": 1740 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Могучая река течет по местности тысячелетиями. Впоследствии можно отметить, что там, где когда-то были реки, теперь есть\nA) массивные каньоны\nB) большие кирпичи\nC) старые носки\nD) небольшие ручьи\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.37331777811050415, + "B": 0.09438951313495636, + "C": 0.2565773129463196, + "D": 0.14619334042072296 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Твердость минералов можно измерить определенными способами, например, чем?", + "option_a": "приложение давления с помощью острого, жесткого предмета, чтобы оставить следы", + "option_b": "нагрев минералов до высоких температур", + "option_c": "ударяя минералы более твердым камнем", + "option_d": "беря кусочки металла и сравнивая текстуру с минералами" + }, + "outputs": "A", + "meta": { + "id": 223 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Твердость минералов можно измерить определенными способами, например, чем?\nA) приложение давления с помощью острого, жесткого предмета, чтобы оставить следы\nB) нагрев минералов до высоких температур\nC) ударяя минералы более твердым камнем\nD) беря кусочки металла и сравнивая текстуру с минералами\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 475, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.33525824546813965, + "B": 0.3149459958076477, + "C": 0.16857843101024628, + "D": 0.07963081449270248 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Использование ветра для питания заводов - хорошая идея, потому что", + "option_a": "он не содержит грязи", + "option_b": "его можно получать непрерывно", + "option_c": "он электрический и мощный", + "option_d": "использует очень мало бензина" + }, + "outputs": "B", + "meta": { + "id": 543 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИспользование ветра для питания заводов - хорошая идея, потому что\nA) он не содержит грязи\nB) его можно получать непрерывно\nC) он электрический и мощный\nD) использует очень мало бензина\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15915395319461823, + "B": 0.10275750607252121, + "C": 0.43262526392936707, + "D": 0.21753764152526855 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из них больше всего пострадает от яда?", + "option_a": "мертвый", + "option_b": "минеральный", + "option_c": "деятельный", + "option_d": "разлагающийся" + }, + "outputs": "C", + "meta": { + "id": 251 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой из них больше всего пострадает от яда?\nA) мертвый\nB) минеральный\nC) деятельный\nD) разлагающийся\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.22236908972263336, + "B": 0.1626887172460556, + "C": 0.14357230067253113, + "D": 0.390269935131073 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Болезнь отрицательно сказывается на здоровье кого?", + "option_a": "камня", + "option_b": "кирпича", + "option_c": "пластмассы", + "option_d": "ламы" + }, + "outputs": "D", + "meta": { + "id": 2326 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБолезнь отрицательно сказывается на здоровье кого?\nA) камня\nB) кирпича\nC) пластмассы\nD) ламы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.12626194953918457, + "B": 0.6023620963096619, + "C": 0.10467483103275299, + "D": 0.11142578721046448 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что травоядные животные делают с растениями", + "option_a": "сжигают их", + "option_b": "перекусывают ими", + "option_c": "продают их", + "option_d": "сажают их" + }, + "outputs": "B", + "meta": { + "id": 743 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что травоядные животные делают с растениями\nA) сжигают их\nB) перекусывают ими\nC) продают их\nD) сажают их\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4329303801059723, + "B": 0.1094619408249855, + "C": 0.14961674809455872, + "D": 0.1695379614830017 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если я чувствую слабость после большой активности, и чтобы исправить это,я могу", + "option_a": "воспользоваться ванной", + "option_b": "больше заниматься спортом", + "option_c": "устроить вечеринку", + "option_d": "съесть яблоко" + }, + "outputs": "D", + "meta": { + "id": 849 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если я чувствую слабость после большой активности, и чтобы исправить это,я могу\nA. воспользоваться ванной\nB. больше заниматься спортом\nC. устроить вечеринку\nD. съесть яблоко\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.32367825508117676, + "B": 0.23680806159973145, + "C": 0.1528947800397873, + "D": 0.17325249314308167 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет труднее увидеть при росте светового загрязнения?", + "option_a": "небо", + "option_b": "звезды", + "option_c": "луна", + "option_d": "солнце" + }, + "outputs": "B", + "meta": { + "id": 138 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что будет труднее увидеть при росте светового загрязнения?\nA) небо\nB) звезды\nC) луна\nD) солнце\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5370142459869385, + "B": 0.09331908077001572, + "C": 0.13577847182750702, + "D": 0.1275520771741867 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого поможет человеку пройти через темный подвал?", + "option_a": "свеча и спичка", + "option_b": "перегоревшая электрическая лампа", + "option_c": "масляный фонарь без масла", + "option_d": "сломанный военный фонарь" + }, + "outputs": "A", + "meta": { + "id": 16 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из этого поможет человеку пройти через темный подвал?\nA) свеча и спичка\nB) перегоревшая электрическая лампа\nC) масляный фонарь без масла\nD) сломанный военный фонарь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1511528193950653, + "B": 0.4655834436416626, + "C": 0.16090133786201477, + "D": 0.12531009316444397 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Собаки делают толстую шкуру тоньше за счет", + "option_a": "стрижки", + "option_b": "линьки", + "option_c": "бритья", + "option_d": "продажи" + }, + "outputs": "B", + "meta": { + "id": 2116 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСобаки делают толстую шкуру тоньше за счет\nA. стрижки\nB. линьки\nC. бритья\nD. продажи\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.14497455954551697, + "B": 0.649730920791626, + "C": 0.030388319864869118, + "D": 0.047066349536180496 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой цвет имеют замороженные осадки, покрывающие опавшие листья в северном полушарии?", + "option_a": "серый", + "option_b": "белый", + "option_c": "желтый", + "option_d": "зеленый" + }, + "outputs": "B", + "meta": { + "id": 2286 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой цвет имеют замороженные осадки, покрывающие опавшие листья в северном полушарии?\nA) серый\nB) белый\nC) желтый\nD) зеленый\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.030501211062073708, + "B": 0.023754365742206573, + "C": 0.028653237968683243, + "D": 0.8913760185241699 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где охраняются лоси?", + "option_a": "собачьи будки", + "option_b": "статуи", + "option_c": "кошачьи поилки", + "option_d": "природные парки" + }, + "outputs": "D", + "meta": { + "id": 1616 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде охраняются лоси?\nA) собачьи будки\nB) статуи\nC) кошачьи поилки\nD) природные парки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.329962819814682, + "B": 0.4800930321216583, + "C": 0.03702079877257347, + "D": 0.06103697419166565 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из признаков указывают на неживое дерево?", + "option_a": "оно расположено горизонтально на территории парка", + "option_b": "ни один из перечисленных здесь признаков", + "option_c": "оно свежее и зеленое с сильными корнями", + "option_d": "оно высокое и с цветами" + }, + "outputs": "A", + "meta": { + "id": 605 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие из признаков указывают на неживое дерево?\nA) оно расположено горизонтально на территории парка\nB) ни один из перечисленных здесь признаков\nC) оно свежее и зеленое с сильными корнями\nD) оно высокое и с цветами\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.09379954636096954, + "B": 0.041623298078775406, + "C": 0.2889229655265808, + "D": 0.5397791266441345 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как на аукционе продавец может избежать слишком больших убытков?", + "option_a": "заставить покупателя остерегаться", + "option_b": "блокировать аукцион", + "option_c": "запечатывать заявки", + "option_d": "установить резервную цену" + }, + "outputs": "D", + "meta": { + "id": 462 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКак на аукционе продавец может избежать слишком больших убытков?\nA) заставить покупателя остерегаться\nB) блокировать аукцион\nC) запечатывать заявки\nD) установить резервную цену\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.14589564502239227, + "B": 0.3725575804710388, + "C": 0.13705629110336304, + "D": 0.272568941116333 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Приготовление пищи требует добавления чего?", + "option_a": "замороженная вода", + "option_b": "открытое пламя", + "option_c": "холод", + "option_d": "воздух" + }, + "outputs": "B", + "meta": { + "id": 660 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПриготовление пищи требует добавления чего?\nA. замороженная вода\nB. открытое пламя\nC. холод\nD. воздух\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.2493378072977066, + "B": 0.320156067609787, + "C": 0.14206840097904205, + "D": 0.19418448209762573 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, например, производит перебирание пальцами гитарных струн?", + "option_a": "ослабление самой толстой гитарной струны", + "option_b": "прекращение воспроизведения музыкальных звуков", + "option_c": "исчезновение гитары", + "option_d": "создание музыки с помощью инструмента" + }, + "outputs": "D", + "meta": { + "id": 145 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что, например, производит перебирание пальцами гитарных струн?\nA. ослабление самой толстой гитарной струны\nB. прекращение воспроизведения музыкальных звуков\nC. исчезновение гитары\nD. создание музыки с помощью инструмента\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.26490017771720886, + "B": 0.1820630580186844, + "C": 0.09154705703258514, + "D": 0.38542747497558594 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зачем благотворителям жертвовать специальные соломинки в помощь бедным странам?", + "option_a": "они загрязняют воду", + "option_b": "им нужна соломинка", + "option_c": "они отравляют воду", + "option_d": "они очищают воду" + }, + "outputs": "D", + "meta": { + "id": 1674 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗачем благотворителям жертвовать специальные соломинки в помощь бедным странам?\nA. они загрязняют воду\nB. им нужна соломинка\nC. они отравляют воду\nD. они очищают воду\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5309581160545349, + "B": 0.059571847319602966, + "C": 0.1619330644607544, + "D": 0.11129486560821533 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое действие совершает пот после того, как он образуется?", + "option_a": "он испаряется или падает", + "option_b": "он сжимается", + "option_c": "он расширяется", + "option_d": "он поднимается" + }, + "outputs": "A", + "meta": { + "id": 2238 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое действие совершает пот после того, как он образуется?\nA. он испаряется или падает\nB. он сжимается\nC. он расширяется\nD. он поднимается\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.20490272343158722, + "B": 0.3173595368862152, + "C": 0.08024106174707413, + "D": 0.3378274738788605 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Имея вытянутые ноги, это существо может ловить окуня сверху.", + "option_a": "пчела", + "option_b": "орел", + "option_c": "воробей", + "option_d": "акула" + }, + "outputs": "B", + "meta": { + "id": 2239 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Имея вытянутые ноги, это существо может ловить окуня сверху.\nA. пчела\nB. орел\nC. воробей\nD. акула\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6254609823226929, + "B": 0.04256315529346466, + "C": 0.09591755270957947, + "D": 0.07951843738555908 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В пустынной среде обитают", + "option_a": "насекомые", + "option_b": "банановые деревья", + "option_c": "секвойи", + "option_d": "рыба" + }, + "outputs": "A", + "meta": { + "id": 2036 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В пустынной среде обитают\nA. насекомые\nB. банановые деревья\nC. секвойи\nD. рыба\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8277190923690796, + "B": 0.012568250298500061, + "C": 0.026606988161802292, + "D": 0.011806778609752655 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Утилизация старых автомобилей положительно влияет", + "option_a": "на повторное использование металла", + "option_b": "на погоду", + "option_c": "на продолжительность жизни человека", + "option_d": "на экономику" + }, + "outputs": "A", + "meta": { + "id": 417 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Утилизация старых автомобилей положительно влияет\nA. на повторное использование металла\nB. на погоду\nC. на продолжительность жизни человека\nD. на экономику\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06941929459571838, + "B": 0.01988896168768406, + "C": 0.746327817440033, + "D": 0.11445307731628418 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Важно утилизировать металлы, потому что они", + "option_a": "опасны для производства", + "option_b": "трудно добываются", + "option_c": "из числа невозобновляемых ресурсов", + "option_d": "дорого стоят" + }, + "outputs": "C", + "meta": { + "id": 2236 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВажно утилизировать металлы, потому что они\nA) опасны для производства\nB) трудно добываются\nC) из числа невозобновляемых ресурсов\nD) дорого стоят\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09800361841917038, + "B": 0.07632528990507126, + "C": 0.6802799105644226, + "D": 0.09206587821245193 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Электрическая проводимость возникает, когда напряжение протекает через", + "option_a": "центральную нервную систему", + "option_b": "длинную ветку дерева", + "option_c": "кусок стальной ваты", + "option_d": "водоем" + }, + "outputs": "C", + "meta": { + "id": 64 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Электрическая проводимость возникает, когда напряжение протекает через\nA. центральную нервную систему\nB. длинную ветку дерева\nC. кусок стальной ваты\nD. водоем\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03613970801234245, + "B": 0.018172185868024826, + "C": 0.8755849599838257, + "D": 0.033950112760066986 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы хотите смотреть телевизор, он должен сначала быть", + "option_a": "дополнен китайскими деталями", + "option_b": "протерт от пыли", + "option_c": "подключен", + "option_d": "куплен в безоблачный день" + }, + "outputs": "C", + "meta": { + "id": 1334 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вы хотите смотреть телевизор, он должен сначала быть\nA) дополнен китайскими деталями\nB) протерт от пыли\nC) подключен\nD) куплен в безоблачный день\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.13011698424816132, + "B": 0.05424082651734352, + "C": 0.5478129386901855, + "D": 0.17784881591796875 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди - это на 60%", + "option_a": "Воздух", + "option_b": "Солнечный свет", + "option_c": "Вода", + "option_d": "Растения" + }, + "outputs": "C", + "meta": { + "id": 699 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛюди - это на 60%\nA. Воздух\nB. Солнечный свет\nC. Вода\nD. Растения\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6238093376159668, + "B": 0.06574901938438416, + "C": 0.08986826241016388, + "D": 0.04810301214456558 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Идущий с океана к побережью ураган набирает силу, и это из-за", + "option_a": "того, что моря имеют влажность из-за высоких температур и много жидкости", + "option_b": "того, что океан довольно влажный", + "option_c": "соли из океана", + "option_d": "море прохладное и спокойное" + }, + "outputs": "A", + "meta": { + "id": 1197 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИдущий с океана к побережью ураган набирает силу, и это из-за\nA. того, что моря имеют влажность из-за высоких температур и много жидкости\nB. того, что океан довольно влажный\nC. соли из океана\nD. море прохладное и спокойное\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13152647018432617, + "B": 0.6679465770721436, + "C": 0.05150650814175606, + "D": 0.09039673954248428 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Измерение - это способ сбора точных данных; какой пример описывает это?", + "option_a": "налить воды в литровый кувшин, чтобы оставить ее про запас", + "option_b": "перелить молоко в емкость с делениями, чтобы увидеть, сколько осталось", + "option_c": "завернуться в одеяло и убедиться, что одеяло достаточно теплое", + "option_d": "понаблюдать, как долго кошка будет играть со своим хвостом" + }, + "outputs": "B", + "meta": { + "id": 2103 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИзмерение - это способ сбора точных данных; какой пример описывает это?\nA. налить воды в литровый кувшин, чтобы оставить ее про запас\nB. перелить молоко в емкость с делениями, чтобы увидеть, сколько осталось\nC. завернуться в одеяло и убедиться, что одеяло достаточно теплое\nD. понаблюдать, как долго кошка будет играть со своим хвостом\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 485, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.20372024178504944, + "B": 0.054830558598041534, + "C": 0.3805994987487793, + "D": 0.23084527254104614 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие животные не соревнуются за еду?", + "option_a": "дельфин и рыба", + "option_b": "гиена и медведь", + "option_c": "орел и ворон", + "option_d": "кит и кошка" + }, + "outputs": "D", + "meta": { + "id": 575 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие животные не соревнуются за еду?\nA) дельфин и рыба\nB) гиена и медведь\nC) орел и ворон\nD) кит и кошка\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2065058797597885, + "B": 0.385803759098053, + "C": 0.1608269214630127, + "D": 0.1608269214630127 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кого из перечисленных ниже вариантов ястреб коснется когтями?", + "option_a": "орехи и ягоды", + "option_b": "мышь", + "option_c": "лев", + "option_d": "носорог" + }, + "outputs": "B", + "meta": { + "id": 772 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кого из перечисленных ниже вариантов ястреб коснется когтями?\nA. орехи и ягоды\nB. мышь\nC. лев\nD. носорог\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15095821022987366, + "B": 0.21964289247989655, + "C": 0.3002162277698517, + "D": 0.2488880157470703 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каждые двадцать четыре часа и пятьдесят минут луна может воздействовать на водоемы, заставляя их", + "option_a": "умереть", + "option_b": "плавать", + "option_c": "набухать", + "option_d": "гореть" + }, + "outputs": "C", + "meta": { + "id": 2168 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Каждые двадцать четыре часа и пятьдесят минут луна может воздействовать на водоемы, заставляя их\nA. умереть\nB. плавать\nC. набухать\nD. гореть\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8446561694145203, + "B": 0.022509323433041573, + "C": 0.018660884350538254, + "D": 0.015470417216420174 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая привычка самая здоровая для человека?", + "option_a": "полноценный сон", + "option_b": "есть только конфеты", + "option_c": "чрезмерное употребление алкоголя", + "option_d": "прыжки с парашютом без парашюта" + }, + "outputs": "A", + "meta": { + "id": 1891 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая привычка самая здоровая для человека?\nA. полноценный сон\nB. есть только конфеты\nC. чрезмерное употребление алкоголя\nD. прыжки с парашютом без парашюта\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.221885085105896, + "B": 0.2514287233352661, + "C": 0.2514287233352661, + "D": 0.1958128958940506 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воробьи набирают подъемную силу с большей грацией, чем стервятник, благодаря", + "option_a": "умственным способностям", + "option_b": "размеру", + "option_c": "цвету пера", + "option_d": "силе воли" + }, + "outputs": "B", + "meta": { + "id": 1067 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Воробьи набирают подъемную силу с большей грацией, чем стервятник, благодаря\nA) умственным способностям\nB) размеру\nC) цвету пера\nD) силе воли\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4230327904224396, + "B": 0.10695943981409073, + "C": 0.19982653856277466, + "D": 0.1656620055437088 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, уменьшит количество еды в окружающей среде?", + "option_a": "испарение воды", + "option_b": "сила тяжести", + "option_c": "дерево", + "option_d": "время" + }, + "outputs": "A", + "meta": { + "id": 120 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, вероятно, уменьшит количество еды в окружающей среде?\nA) испарение воды\nB) сила тяжести\nC) дерево\nD) время\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.25265786051750183, + "B": 0.17364902794361115, + "C": 0.268952876329422, + "D": 0.20946070551872253 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воздушные массы толкаются западными ветрами, но останавливаются", + "option_a": "извилистыми воздушными потоками", + "option_b": "гравитацией", + "option_c": "токами", + "option_d": "солнечным светом" + }, + "outputs": "A", + "meta": { + "id": 973 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Воздушные массы толкаются западными ветрами, но останавливаются\nA) извилистыми воздушными потоками\nB) гравитацией\nC) токами\nD) солнечным светом\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.08346394449472427, + "B": 0.20021958649158478, + "C": 0.5793545842170715, + "D": 0.06919403374195099 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Олень ест много травы, но олень не может производить больше еды для себя, потому что в пищевой цепочке олень не может быть", + "option_a": "управляющим", + "option_b": "потребителем", + "option_c": "производителем", + "option_d": "заградителем" + }, + "outputs": "C", + "meta": { + "id": 1715 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОлень ест много травы, но олень не может производить больше еды для себя, потому что в пищевой цепочке олень не может быть\nA) управляющим\nB) потребителем\nC) производителем\nD) заградителем\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.10808058828115463, + "B": 0.5156236290931702, + "C": 0.24356338381767273, + "D": 0.06158246472477913 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, скорее всего, требует помощи специальных тканей на концах стеблей?", + "option_a": "космическое путешествие с участием человека", + "option_b": "быстрый рост бамбука", + "option_c": "кошки, копающие когтями", + "option_d": "медленный рост млекопитающих" + }, + "outputs": "B", + "meta": { + "id": 1826 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что, скорее всего, требует помощи специальных тканей на концах стеблей?\nA) космическое путешествие с участием человека\nB) быстрый рост бамбука\nC) кошки, копающие когтями\nD) медленный рост млекопитающих\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.013425908982753754, + "B": 0.8842027187347412, + "C": 0.030255751684308052, + "D": 0.028422651812434196 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда свет попадает в глаз через зрачок, он падает на что?", + "option_a": "мозг", + "option_b": "сетчатку глаза", + "option_c": "сетку для овощей", + "option_d": "нос" + }, + "outputs": "B", + "meta": { + "id": 1804 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда свет попадает в глаз через зрачок, он падает на что?\nA) мозг\nB) сетчатку глаза\nC) сетку для овощей\nD) нос\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4106532335281372, + "B": 0.2339831441640854, + "C": 0.12524214386940002, + "D": 0.11765412241220474 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На мышь, скорее всего, будет охотиться животное с", + "option_a": "острыми зубами", + "option_b": "длинной шеей", + "option_c": "густым мехом", + "option_d": "перепончатыми лапами" + }, + "outputs": "A", + "meta": { + "id": 1707 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа мышь, скорее всего, будет охотиться животное с\nA) острыми зубами\nB) длинной шеей\nC) густым мехом\nD) перепончатыми лапами\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5086921453475952, + "B": 0.13691264390945435, + "C": 0.1001674234867096, + "D": 0.16514816880226135 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "24 часа равны одному чему?", + "option_a": "минута", + "option_b": "момент", + "option_c": "год", + "option_d": "цикл день-ночь" + }, + "outputs": "D", + "meta": { + "id": 1372 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\n24 часа равны одному чему?\nA) минута\nB) момент\nC) год\nD) цикл день-ночь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.41248127818107605, + "B": 0.1339130699634552, + "C": 0.2663179337978363, + "D": 0.08122237771749496 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Частота пульса увеличивается", + "option_a": "с увеличением темпа бега", + "option_b": "когда человек засыпает", + "option_c": "когда бегун замедляется", + "option_d": "когда принимаешь позы йоги" + }, + "outputs": "A", + "meta": { + "id": 1827 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧастота пульса увеличивается\nA) с увеличением темпа бега\nB) когда человек засыпает\nC) когда бегун замедляется\nD) когда принимаешь позы йоги\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.037369079887866974, + "B": 0.018790353089571, + "C": 0.8505163788795471, + "D": 0.057878363877534866 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пчелы", + "option_a": "производят мед из фруктов", + "option_b": "продают свой мед фермерам", + "option_c": "собирают мед из цветов", + "option_d": "производят мед из сладкой жидкости, содержащейся в цветах" + }, + "outputs": "D", + "meta": { + "id": 645 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПчелы\nA) производят мед из фруктов\nB) продают свой мед фермерам\nC) собирают мед из цветов\nD) производят мед из сладкой жидкости, содержащейся в цветах\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.027518363669514656, + "B": 0.01891307532787323, + "C": 0.911283016204834, + "D": 0.012998753227293491 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вытягивание застрявшего автомобиля требует большой", + "option_a": "тактичности", + "option_b": "бури", + "option_c": "силы", + "option_d": "силы тяжести" + }, + "outputs": "C", + "meta": { + "id": 1002 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВытягивание застрявшего автомобиля требует большой\nA. тактичности\nB. бури\nC. силы\nD. силы тяжести\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0675894096493721, + "B": 0.07194855064153671, + "C": 0.7266546487808228, + "D": 0.0675894096493721 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пауки ловят свою жертву", + "option_a": "соблазнением", + "option_b": "обманом", + "option_c": "шелковистой нитью", + "option_d": "мухобойкой" + }, + "outputs": "C", + "meta": { + "id": 427 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пауки ловят свою жертву\nA. соблазнением\nB. обманом\nC. шелковистой нитью\nD. мухобойкой\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8795814514160156, + "B": 0.009179256856441498, + "C": 0.014217110350728035, + "D": 0.006715686991810799 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой вид транспорта имеет нулевые выбросы?", + "option_a": "педальные велосипеды", + "option_b": "скоростные катера", + "option_c": "гибридные автомобили", + "option_d": "мотоциклы" + }, + "outputs": "A", + "meta": { + "id": 1266 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой вид транспорта имеет нулевые выбросы?\nA) педальные велосипеды\nB) скоростные катера\nC) гибридные автомобили\nD) мотоциклы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3458152711391449, + "B": 0.1441572606563568, + "C": 0.23767514526844025, + "D": 0.17388685047626495 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мантия - это", + "option_a": "твердая масса", + "option_b": "магия", + "option_c": "страсть", + "option_d": "гнев" + }, + "outputs": "A", + "meta": { + "id": 357 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМантия - это\nA) твердая масса\nB) магия\nC) страсть\nD) гнев\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10314957797527313, + "B": 0.10980214178562164, + "C": 0.5576213002204895, + "D": 0.17006488144397736 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Слишком туманно, чтобы увидеть на шоссе дальше двух метров. Это из-за", + "option_a": "пепла от вулкана", + "option_b": "пара гелия в воздухе", + "option_c": "пара H2O, сконденсировавшегося в воздухе", + "option_d": "лесного пожара поблизости" + }, + "outputs": "C", + "meta": { + "id": 2275 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСлишком туманно, чтобы увидеть на шоссе дальше двух метров. Это из-за\nA) пепла от вулкана\nB) пара гелия в воздухе\nC) пара H2O, сконденсировавшегося в воздухе\nD) лесного пожара поблизости\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2459760308265686, + "B": 0.5543155670166016, + "C": 0.03543620556592941, + "D": 0.10253807157278061 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Объект можно увидеть, если он отражает свет в сторону чего?", + "option_a": "ухо", + "option_b": "орган зрения", + "option_c": "ноги", + "option_d": "мозг" + }, + "outputs": "B", + "meta": { + "id": 2228 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Объект можно увидеть, если он отражает свет в сторону чего?\nA. ухо\nB. орган зрения\nC. ноги\nD. мозг\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.017060425132513046, + "B": 0.00805877335369587, + "C": 0.01933199167251587, + "D": 0.931467592716217 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делают с почвой дождевые черви?", + "option_a": "сжимают", + "option_b": "загрязняют", + "option_c": "уплотняют", + "option_d": "разрыхляют" + }, + "outputs": "D", + "meta": { + "id": 2233 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что делают с почвой дождевые черви?\nA) сжимают\nB) загрязняют\nC) уплотняют\nD) разрыхляют\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.25460559129714966, + "B": 0.09366416186094284, + "C": 0.16438572108745575, + "D": 0.4197736382484436 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Млекопитающие - одни из немногих животных, у которых температура тела в основной массе случаев", + "option_a": "колеблется", + "option_b": "повышается", + "option_c": "внезапно падает", + "option_d": "остается неизменной" + }, + "outputs": "D", + "meta": { + "id": 468 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМлекопитающие - одни из немногих животных, у которых температура тела в основной массе случаев\nA) колеблется\nB) повышается\nC) внезапно падает\nD) остается неизменной\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15317857265472412, + "B": 0.3046319782733917, + "C": 0.3046319782733917, + "D": 0.16305775940418243 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего используются специализированные клеточные ткани на концах стеблей растений?", + "option_a": "для одежды", + "option_b": "для роста вверх", + "option_c": "для животных", + "option_d": "для людей" + }, + "outputs": "B", + "meta": { + "id": 2176 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего используются специализированные клеточные ткани на концах стеблей растений?\nA) для одежды\nB) для роста вверх\nC) для животных\nD) для людей\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.25208425521850586, + "B": 0.2683422863483429, + "C": 0.22246357798576355, + "D": 0.16275782883167267 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В декабре около 15:00 я не буду использовать", + "option_a": "путешествия во времени", + "option_b": "солнцезащитные очки", + "option_c": "магию", + "option_d": "планеты" + }, + "outputs": "B", + "meta": { + "id": 901 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ декабре около 15:00 я не буду использовать\nA) путешествия во времени\nB) солнцезащитные очки\nC) магию\nD) планеты\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.522967517375946, + "B": 0.10297840088605881, + "C": 0.14983271062374115, + "D": 0.08537209779024124 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые бабочки могут испытывать неполные метаморфозы,", + "option_a": "пропуская кокон", + "option_b": "съедая больше фруктов", + "option_c": "летя дальше", + "option_d": "быстро размножаясь" + }, + "outputs": "A", + "meta": { + "id": 38 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые бабочки могут испытывать неполные метаморфозы,\nA) пропуская кокон\nB) съедая больше фруктов\nC) летя дальше\nD) быстро размножаясь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4868432283401489, + "B": 0.17909963428974152, + "C": 0.11563540995121002, + "D": 0.10862941294908524 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример повышенного спроса, влекущего за собой увеличение производства:", + "option_a": "у людей рождаются дети, поэтому шьют детскую одежду", + "option_b": "собаки едят сухие корма, поэтому магазины продают их", + "option_c": "кошки едят мышей, поэтому мыши боятся кошек", + "option_d": "солдат кормят консервированными бобами, поэтому бобы сажают, когда идет война" + }, + "outputs": "D", + "meta": { + "id": 1269 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВыберите пример повышенного спроса, влекущего за собой увеличение производства:\nA) у людей рождаются дети, поэтому шьют детскую одежду\nB) собаки едят сухие корма, поэтому магазины продают их\nC) кошки едят мышей, поэтому мыши боятся кошек\nD) солдат кормят консервированными бобами, поэтому бобы сажают, когда идет война\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 488, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8405662178993225, + "B": 0.014462740160524845, + "C": 0.01857052557170391, + "D": 0.0325922891497612 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда солнце садится, как это называется?", + "option_a": "закат", + "option_b": "полдень", + "option_c": "утро", + "option_d": "рассвет" + }, + "outputs": "A", + "meta": { + "id": 2042 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда солнце садится, как это называется?\nA) закат\nB) полдень\nC) утро\nD) рассвет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5664025545120239, + "B": 0.0924626812338829, + "C": 0.15244518220424652, + "D": 0.07665425539016724 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая из них, вероятно, требует наибольшей силы?", + "option_a": "поднятие штанги", + "option_b": "умение давить подушку", + "option_c": "рукопожатие", + "option_d": "нажатие кнопки на клавиатуре" + }, + "outputs": "A", + "meta": { + "id": 1648 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая из них, вероятно, требует наибольшей силы?\nA. поднятие штанги\nB. умение давить подушку\nC. рукопожатие\nD. нажатие кнопки на клавиатуре\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7110310196876526, + "B": 0.0661361813545227, + "C": 0.0661361813545227, + "D": 0.04838626831769943 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет в результате разведения двух волков?", + "option_a": "волчата", + "option_b": "котята", + "option_c": "лисята", + "option_d": "страусята" + }, + "outputs": "A", + "meta": { + "id": 480 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что будет в результате разведения двух волков?\nA) волчата\nB) котята\nC) лисята\nD) страусята\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1260150671005249, + "B": 0.09219459444284439, + "C": 0.4983992874622345, + "D": 0.19517596065998077 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что разрыхляет почву?", + "option_a": "тепло", + "option_b": "ветер", + "option_c": "дома сусликов", + "option_d": "птичьи гнезда" + }, + "outputs": "C", + "meta": { + "id": 1650 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто разрыхляет почву?\nA. тепло\nB. ветер\nC. дома сусликов\nD. птичьи гнезда\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.25824716687202454, + "B": 0.11459648609161377, + "C": 0.20112308859825134, + "D": 0.3529820144176483 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем больше пчел приманивает одуванчик, тем больше он", + "option_a": "попадает на страницы газет", + "option_b": "становится вином", + "option_c": "становится розой", + "option_d": "преуспевает в воспроизведении" + }, + "outputs": "D", + "meta": { + "id": 1071 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧем больше пчел приманивает одуванчик, тем больше он\nA) попадает на страницы газет\nB) становится вином\nC) становится розой\nD) преуспевает в воспроизведении\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0723094791173935, + "B": 0.02498948760330677, + "C": 0.5342987775802612, + "D": 0.3240686058998108 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Переработка отходов происходит", + "option_a": "когда уголь превращается в тепловую энергию", + "option_b": "когда ископаемое топливо используется в автомобилях", + "option_c": "когда старые бутылки Pepsi превращаются в футболки", + "option_d": "когда плиты из пенополистирола превращаются в мусор" + }, + "outputs": "C", + "meta": { + "id": 1235 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПереработка отходов происходит\nA) когда уголь превращается в тепловую энергию\nB) когда ископаемое топливо используется в автомобилях\nC) когда старые бутылки Pepsi превращаются в футболки\nD) когда плиты из пенополистирола превращаются в мусор\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.047904204577207565, + "B": 0.703947126865387, + "C": 0.11491621285676956, + "D": 0.06547728180885315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Причина, по которой мухи всегда могут найти пищу, заключается в том, что они могут чувствовать запах", + "option_a": "неприятный для людей", + "option_b": "разложения организмов", + "option_c": "умирающих животных", + "option_d": "гниющих деревьев" + }, + "outputs": "B", + "meta": { + "id": 146 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПричина, по которой мухи всегда могут найти пищу, заключается в том, что они могут чувствовать запах\nA. неприятный для людей\nB. разложения организмов\nC. умирающих животных\nD. гниющих деревьев\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.20573870837688446, + "B": 0.38437050580978394, + "C": 0.1505216509103775, + "D": 0.17056338489055634 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда в Самаре темнеет раньше всего, это", + "option_a": "время, когда Чили находится ближе всего к солнцу", + "option_b": "время, когда Самара находится ближе всего к солнцу", + "option_c": "время, когда США ближе всего к солнцу", + "option_d": "время, когда Африка ближе всего к солнцу" + }, + "outputs": "A", + "meta": { + "id": 654 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда в Самаре темнеет раньше всего, это\nA) время, когда Чили находится ближе всего к солнцу\nB) время, когда Самара находится ближе всего к солнцу\nC) время, когда США ближе всего к солнцу\nD) время, когда Африка ближе всего к солнцу\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.043004244565963745, + "B": 0.5238989591598511, + "C": 0.2985086143016815, + "D": 0.04577777907252312 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Даже такие предметы, как масса камней, могут быть изменены в результате этого процесса.", + "option_a": "Климат", + "option_b": "Выветривание", + "option_c": "Выветривание", + "option_d": "Погода" + }, + "outputs": "B", + "meta": { + "id": 260 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДаже такие предметы, как масса камней, могут быть изменены в результате этого процесса.\nA) Климат\nB) Выветривание\nC) Выветривание\nD) Погода\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.11921072006225586, + "B": 0.05289943888783455, + "C": 0.3908769190311432, + "D": 0.3908769190311432 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек хочет снизить риск наводнения", + "option_a": "он будет жить в долине", + "option_b": "он будет жить на вершине горы", + "option_c": "он будет жить в пойме", + "option_d": "он будет жить ниже уровня моря" + }, + "outputs": "B", + "meta": { + "id": 1176 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли человек хочет снизить риск наводнения\nA. он будет жить в долине\nB. он будет жить на вершине горы\nC. он будет жить в пойме\nD. он будет жить ниже уровня моря\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.2652586102485657, + "B": 0.11057624220848083, + "C": 0.2652586102485657, + "D": 0.2652586102485657 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кому, вероятно, нужно меньше всего еды?", + "option_a": "кошка", + "option_b": "собака", + "option_c": "акула", + "option_d": "змея" + }, + "outputs": "D", + "meta": { + "id": 1336 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кому, вероятно, нужно меньше всего еды?\nA. кошка\nB. собака\nC. акула\nD. змея\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1729925274848938, + "B": 0.5005704164505005, + "C": 0.14341583847999573, + "D": 0.08171588182449341 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что едят орлы?", + "option_a": "трава", + "option_b": "грызуны", + "option_c": "киты", + "option_d": "яблоки" + }, + "outputs": "B", + "meta": { + "id": 1829 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто едят орлы?\nA. трава\nB. грызуны\nC. киты\nD. яблоки\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 421, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.513163685798645, + "B": 0.07392823696136475, + "C": 0.2009577751159668, + "D": 0.07392823696136475 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если что-то потребляет воздух, то", + "option_a": "оно способно расти", + "option_b": "оно выращено в домашних условиях", + "option_c": "оно вырастет в новую форму жизни", + "option_d": "оно было выведено из скорлупы" + }, + "outputs": "A", + "meta": { + "id": 505 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если что-то потребляет воздух, то\nA) оно способно расти\nB) оно выращено в домашних условиях\nC) оно вырастет в новую форму жизни\nD) оно было выведено из скорлупы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.10163997113704681, + "B": 0.4848971962928772, + "C": 0.1478852778673172, + "D": 0.1783837229013443 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой объект поглотил бы больше всего солнечной энергии?", + "option_a": "уголь", + "option_b": "зеркала", + "option_c": "белая бумага", + "option_d": "вода" + }, + "outputs": "A", + "meta": { + "id": 191 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой объект поглотил бы больше всего солнечной энергии?\nA. уголь\nB. зеркала\nC. белая бумага\nD. вода\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.041028764098882675, + "B": 0.010373695753514767, + "C": 0.877233624458313, + "D": 0.02337748371064663 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На Камчатке происходят сильные землетрясения из-за", + "option_a": "техтоники", + "option_b": "эрозии", + "option_c": "вулканической активности", + "option_d": "пожара" + }, + "outputs": "A", + "meta": { + "id": 498 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На Камчатке происходят сильные землетрясения из-за\nA. техтоники\nB. эрозии\nC. вулканической активности\nD. пожара\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3960004150867462, + "B": 0.10658206045627594, + "C": 0.19912150502204895, + "D": 0.19912150502204895 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы согреть чашку кофе, можно", + "option_a": "использовать нагретую поверхность", + "option_b": "нагреть ее горелкой", + "option_c": "поставить на солнце", + "option_d": "оставить ее в духовке" + }, + "outputs": "A", + "meta": { + "id": 548 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы согреть чашку кофе, можно\nA) использовать нагретую поверхность\nB) нагреть ее горелкой\nC) поставить на солнце\nD) оставить ее в духовке\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4447110593318939, + "B": 0.1124405637383461, + "C": 0.17415134608745575, + "D": 0.14437654614448547 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой ситуации будет наибольшая влажность?", + "option_a": "перед ураганом", + "option_b": "во время снегопада", + "option_c": "в пустыне", + "option_d": "на горе" + }, + "outputs": "A", + "meta": { + "id": 528 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В какой ситуации будет наибольшая влажность?\nA. перед ураганом\nB. во время снегопада\nC. в пустыне\nD. на горе\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6826265454292297, + "B": 0.03398597240447998, + "C": 0.05263850837945938, + "D": 0.05964724346995354 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Такие события, как грозы и _______, могут заставить животных покинуть окружающую среду.", + "option_a": "цунами", + "option_b": "солнечные затмения", + "option_c": "больше доступной еды", + "option_d": "автокатастрофы" + }, + "outputs": "A", + "meta": { + "id": 307 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Такие события, как грозы и _______, могут заставить животных покинуть окружающую среду.\nA. цунами\nB. солнечные затмения\nC. больше доступной еды\nD. автокатастрофы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03103872388601303, + "B": 0.852126955986023, + "C": 0.022708414122462273, + "D": 0.0398545116186142 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птицы отправляются на юг искать", + "option_a": "отпуск", + "option_b": "другой климат", + "option_c": "страховку", + "option_d": "друзей" + }, + "outputs": "B", + "meta": { + "id": 2077 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПтицы отправляются на юг искать\nA. отпуск\nB. другой климат\nC. страховку\nD. друзей\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 420, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.5248838663101196, + "B": 0.14127057790756226, + "C": 0.07103530317544937, + "D": 0.15038174390792847 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У кого детеныши не проходят стадию куколки?", + "option_a": "муравей", + "option_b": "жираф", + "option_c": "бабочка", + "option_d": "пчела" + }, + "outputs": "B", + "meta": { + "id": 1993 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ кого детеныши не проходят стадию куколки?\nA. муравей\nB. жираф\nC. бабочка\nD. пчела\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.13445773720741272, + "B": 0.04365203529596329, + "C": 0.6828327775001526, + "D": 0.08681243658065796 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если источник семени фасоли находится очень далеко, и этот единичный боб дает росток там, где нет других ростков фасоли, то боб является", + "option_a": "плохим семенем", + "option_b": "свежей скорлупой", + "option_c": "принесенным издалека семенем", + "option_d": "мясистой печенью" + }, + "outputs": "C", + "meta": { + "id": 126 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если источник семени фасоли находится очень далеко, и этот единичный боб дает росток там, где нет других ростков фасоли, то боб является\nA) плохим семенем\nB) свежей скорлупой\nC) принесенным издалека семенем\nD) мясистой печенью\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 483, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.44146934151649475, + "B": 0.1624075174331665, + "C": 0.18403179943561554, + "D": 0.09850513190031052 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек получает в подарок фруктовое вино, как можно измерить его объем?", + "option_a": "использовать цилиндр с маркировкой единиц измерения", + "option_b": "ни один из приведенных ответов не верен", + "option_c": "использовать рулетку", + "option_d": "использовать термометр" + }, + "outputs": "A", + "meta": { + "id": 1415 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если человек получает в подарок фруктовое вино, как можно измерить его объем?\nA) использовать цилиндр с маркировкой единиц измерения\nB) ни один из приведенных ответов не верен\nC) использовать рулетку\nD) использовать термометр\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.21453064680099487, + "B": 0.06542815268039703, + "C": 0.3765130341053009, + "D": 0.2587733864784241 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что не может быть примером севооборота?", + "option_a": "посадка болгарского перца в один год и острого перца в следующий", + "option_b": "посадка кабачков в один год и фасоли в следующий", + "option_c": "посадка томатов в один год и люцерны в следующий", + "option_d": "посадка кукурузы в один год и латука в следующий" + }, + "outputs": "A", + "meta": { + "id": 483 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что не может быть примером севооборота?\nA. посадка болгарского перца в один год и острого перца в следующий\nB. посадка кабачков в один год и фасоли в следующий\nC. посадка томатов в один год и люцерны в следующий\nD. посадка кукурузы в один год и латука в следующий\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 492, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5900482535362244, + "B": 0.045499637722969055, + "C": 0.09632273018360138, + "D": 0.13165757060050964 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого, скорее всего, приведет к потере управления автомобилем?", + "option_a": "шоссе после того, как из облаков выпали осадки", + "option_b": "хорошее шоссе с сухим асфальтом", + "option_c": "дорога из сухого булыжника", + "option_d": "все варианты верны" + }, + "outputs": "A", + "meta": { + "id": 1755 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из этого, скорее всего, приведет к потере управления автомобилем?\nA) шоссе после того, как из облаков выпали осадки\nB) хорошее шоссе с сухим асфальтом\nC) дорога из сухого булыжника\nD) все варианты верны\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.17873699963092804, + "B": 0.05451170727610588, + "C": 0.4027900695800781, + "D": 0.27683329582214355 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой пункт лишний в этом списке?", + "option_a": "кошки и мыши", + "option_b": "собаки и землеройки", + "option_c": "медведи и лосось", + "option_d": "львы и гиены" + }, + "outputs": "D", + "meta": { + "id": 2260 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой пункт лишний в этом списке?\nA) кошки и мыши\nB) собаки и землеройки\nC) медведи и лосось\nD) львы и гиены\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8532283902168274, + "B": 0.02006600983440876, + "C": 0.012170649133622646, + "D": 0.012170649133622646 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Окружающая среда в пустыне", + "option_a": "иссушенная", + "option_b": "холодная", + "option_c": "дождливая", + "option_d": "тропическая" + }, + "outputs": "A", + "meta": { + "id": 129 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОкружающая среда в пустыне\nA) иссушенная\nB) холодная\nC) дождливая\nD) тропическая\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 421, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.2849074900150299, + "B": 0.20844276249408722, + "C": 0.22188617289066315, + "D": 0.1623353809118271 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие отношения верны?", + "option_a": "у птиц теплая кровь; у змей теплая кровь", + "option_b": "у птиц холодная кровь; у змей теплая кровь", + "option_c": "у змей и у птиц одинаково холодная кровь", + "option_d": "у птиц горячая кровь; у змей холодная кровь" + }, + "outputs": "D", + "meta": { + "id": 2064 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие отношения верны?\nA. у птиц теплая кровь; у змей теплая кровь\nB. у птиц холодная кровь; у змей теплая кровь\nC. у змей и у птиц одинаково холодная кровь\nD. у птиц горячая кровь; у змей холодная кровь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.2759226858615875, + "B": 0.16735556721687317, + "C": 0.16735556721687317, + "D": 0.312661349773407 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно повесить на стену, чтобы сосед перестал жаловаться на вашу ночную игру на гитаре?", + "option_a": "краска", + "option_b": "обои", + "option_c": "ковер", + "option_d": "шторы" + }, + "outputs": "C", + "meta": { + "id": 1918 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что можно повесить на стену, чтобы сосед перестал жаловаться на вашу ночную игру на гитаре?\nA) краска\nB) обои\nC) ковер\nD) шторы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.20817629992961884, + "B": 0.16212786734104156, + "C": 0.2673036754131317, + "D": 0.2845432758331299 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если не учитывать отражения в атмосфере и другие оптические феномены, сколько солнц будет на закате?", + "option_a": "2", + "option_b": "42", + "option_c": "20", + "option_d": "1" + }, + "outputs": "D", + "meta": { + "id": 1416 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если не учитывать отражения в атмосфере и другие оптические феномены, сколько солнц будет на закате?\nA. 2\nB. 42\nC. 20\nD. 1\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2161746621131897, + "B": 0.12317260354757309, + "C": 0.12317260354757309, + "D": 0.45764175057411194 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это необходимо растению, чтобы выжить", + "option_a": "насекомые, чтобы поесть", + "option_b": "жидкая пища", + "option_c": "еда руками", + "option_d": "питательный материал" + }, + "outputs": "D", + "meta": { + "id": 680 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Это необходимо растению, чтобы выжить\nA. насекомые, чтобы поесть\nB. жидкая пища\nC. еда руками\nD. питательный материал\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.37946969270706177, + "B": 0.07019484043121338, + "C": 0.2608054578304291, + "D": 0.16838866472244263 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что необходимо для фотосинтеза", + "option_a": "химическое вещество с атомным номером 18", + "option_b": "то, у чего занимает 8,3 минуты, чтобы добраться от звезды до Земли", + "option_c": "8-я запись в таблице Менделеева", + "option_d": "наиболее распространенное химическое вещество в атмосфере" + }, + "outputs": "B", + "meta": { + "id": 1619 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто необходимо для фотосинтеза\nA) химическое вещество с атомным номером 18\nB) то, у чего занимает 8,3 минуты, чтобы добраться от звезды до Земли\nC) 8-я запись в таблице Менделеева\nD) наиболее распространенное химическое вещество в атмосфере\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06515596807003021, + "B": 0.034875474870204926, + "C": 0.7937621474266052, + "D": 0.06515596807003021 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для них пища является источником энергии.", + "option_a": "воды", + "option_b": "пески", + "option_c": "муравьеды", + "option_d": "пластики" + }, + "outputs": "C", + "meta": { + "id": 676 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДля них пища является источником энергии.\nA) воды\nB) пески\nC) муравьеды\nD) пластики\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.030813219025731087, + "B": 0.017556842416524887, + "C": 0.8459360599517822, + "D": 0.06523158401250839 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одинокая лиса ищет свою следующую трапезу на лугу, который когда-то изобиловал едой. Однако в этом сезоне все кролики съедены, а поле сухое и бесплодное. Лиса может начать", + "option_a": "летать", + "option_b": "говорить", + "option_c": "голодать", + "option_d": "плавать" + }, + "outputs": "C", + "meta": { + "id": 1957 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОдинокая лиса ищет свою следующую трапезу на лугу, который когда-то изобиловал едой. Однако в этом сезоне все кролики съедены, а поле сухое и бесплодное. Лиса может начать\nA. летать\nB. говорить\nC. голодать\nD. плавать\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 470, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6443588733673096, + "B": 0.04968762397766113, + "C": 0.09282870590686798, + "D": 0.07229506224393845 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем больше материи входит в состав планеты, тем больше вероятность, что планета будет сильнее _____ другие тела", + "option_a": "притягивать", + "option_b": "освещать", + "option_c": "рикошетить", + "option_d": "отталкивать" + }, + "outputs": "A", + "meta": { + "id": 62 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чем больше материи входит в состав планеты, тем больше вероятность, что планета будет сильнее _____ другие тела\nA. притягивать\nB. освещать\nC. рикошетить\nD. отталкивать\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6891655921936035, + "B": 0.032232705503702164, + "C": 0.05314274877309799, + "D": 0.03888006508350372 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если дерево отделено от корней, оно", + "option_a": "высохнет", + "option_b": "убежит", + "option_c": "сгруппируется", + "option_d": "станет сильнее" + }, + "outputs": "A", + "meta": { + "id": 1110 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли дерево отделено от корней, оно\nA. высохнет\nB. убежит\nC. сгруппируется\nD. станет сильнее\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2002074420452118, + "B": 0.06918983906507492, + "C": 0.579319417476654, + "D": 0.088841512799263 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Корабль движется с помощью магнитного компаса, потому что он", + "option_a": "непредсказуем", + "option_b": "водонепроницаем", + "option_c": "предсказуем", + "option_d": "традиционен" + }, + "outputs": "C", + "meta": { + "id": 94 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКорабль движется с помощью магнитного компаса, потому что он\nA. непредсказуем\nB. водонепроницаем\nC. предсказуем\nD. традиционен\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2661181390285492, + "B": 0.1109345480799675, + "C": 0.36374038457870483, + "D": 0.171818807721138 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В году есть 4 сезона, то есть новый", + "option_a": "начинается каждый день", + "option_b": "начинается каждый квартал", + "option_c": "это фальшивка", + "option_d": "всегда будет седьмым" + }, + "outputs": "B", + "meta": { + "id": 2135 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ году есть 4 сезона, то есть новый\nA. начинается каждый день\nB. начинается каждый квартал\nC. это фальшивка\nD. всегда будет седьмым\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.21059440076351166, + "B": 0.11999308317899704, + "C": 0.3261749744415283, + "D": 0.23863470554351807 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лист бумаги имеет другую форму, когда", + "option_a": "на нем есть слова", + "option_b": "он стоит на столе", + "option_c": "на нем есть рисунок", + "option_d": "он превращен в бумажный веер" + }, + "outputs": "D", + "meta": { + "id": 2038 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛист бумаги имеет другую форму, когда\nA) на нем есть слова\nB) он стоит на столе\nC) на нем есть рисунок\nD) он превращен в бумажный веер\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.35012286901474, + "B": 0.17605283856391907, + "C": 0.19949398934841156, + "D": 0.1653863489627838 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Учитель в передней части класса читал с ноутбука. Для ученика в середине класса ноутбук учителя выглядел больше, чем", + "option_a": "экран проектора за учителем", + "option_b": "ноутбук, который держит ученик, идущий за окном", + "option_c": "собственный ноутбук ученика", + "option_d": "соседний студенческий ноутбук" + }, + "outputs": "B", + "meta": { + "id": 1821 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Учитель в передней части класса читал с ноутбука. Для ученика в середине класса ноутбук учителя выглядел больше, чем\nA. экран проектора за учителем\nB. ноутбук, который держит ученик, идущий за окном\nC. собственный ноутбук ученика\nD. соседний студенческий ноутбук\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 477, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4947676360607147, + "B": 0.20624983310699463, + "C": 0.04898862913250923, + "D": 0.16062752902507782 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Организмы-декомпозиторы (разлагатели) важны для", + "option_a": "дельфинов", + "option_b": "огня", + "option_c": "камней", + "option_d": "строительства" + }, + "outputs": "A", + "meta": { + "id": 1523 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Организмы-декомпозиторы (разлагатели) важны для\nA) дельфинов\nB) огня\nC) камней\nD) строительства\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.20184111595153809, + "B": 0.2591691017150879, + "C": 0.18961217999458313, + "D": 0.29367709159851074 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если кто-то услышит хруст во время прогулки под деревом, что из этого, вероятно, произошло?", + "option_a": "лаяла собака", + "option_b": "мышь убежала", + "option_c": "утка начала крякать", + "option_d": "растоптаны сухие листья" + }, + "outputs": "D", + "meta": { + "id": 1465 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли кто-то услышит хруст во время прогулки под деревом, что из этого, вероятно, произошло?\nA) лаяла собака\nB) мышь убежала\nC) утка начала крякать\nD) растоптаны сухие листья\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5572344660758972, + "B": 0.11680268496274948, + "C": 0.13235479593276978, + "D": 0.055173683911561966 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животное может делать некоторые важные вещи, не будучи обученным и даже не видя, как это делается", + "option_a": "это так", + "option_b": "это не так", + "option_c": "трудно ответить утвердительно", + "option_d": "все варианты правильны" + }, + "outputs": "A", + "meta": { + "id": 591 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖивотное может делать некоторые важные вещи, не будучи обученным и даже не видя, как это делается\nA) это так\nB) это не так\nC) трудно ответить утвердительно\nD) все варианты правильны\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.16413567960262299, + "B": 0.11280868947505951, + "C": 0.27061396837234497, + "D": 0.36988547444343567 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Иногда кукурузу", + "option_a": "можно выращивать в арктических условиях", + "option_b": "можно использовать в качестве растопки", + "option_c": "можно сделать источником топлива паровоза", + "option_d": "можно сделать источником топлива экономичного автомобиля." + }, + "outputs": "D", + "meta": { + "id": 1862 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Иногда кукурузу\nA. можно выращивать в арктических условиях\nB. можно использовать в качестве растопки\nC. можно сделать источником топлива паровоза\nD. можно сделать источником топлива экономичного автомобиля.\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.014710744842886925, + "B": 0.9101216197013855, + "C": 0.013819466345012188, + "D": 0.013819466345012188 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фундаментальная особенность всей жизни - производить", + "option_a": "полярные сияния", + "option_b": "потомство", + "option_c": "магнетизм", + "option_d": "электричество" + }, + "outputs": "B", + "meta": { + "id": 373 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nФундаментальная особенность всей жизни - производить\nA) полярные сияния\nB) потомство\nC) магнетизм\nD) электричество\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.17216449975967407, + "B": 0.3216456174850464, + "C": 0.09809637814760208, + "D": 0.36447224020957947 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может быть лучшим материалом для компонента электронного устройства?", + "option_a": "хлопковая нить", + "option_b": "коричневая медная панель", + "option_c": "катушка резины", + "option_d": "полоска пластика" + }, + "outputs": "B", + "meta": { + "id": 1153 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может быть лучшим материалом для компонента электронного устройства?\nA) хлопковая нить\nB) коричневая медная панель\nC) катушка резины\nD) полоска пластика\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03206547349691391, + "B": 0.019448691979050636, + "C": 0.8803150057792664, + "D": 0.036334943026304245 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Количество колец, найденных на спиле ствола дерева, подскажет", + "option_a": "разновидность дерева", + "option_b": "прочность", + "option_c": "возраст", + "option_d": "рост" + }, + "outputs": "C", + "meta": { + "id": 190 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКоличество колец, найденных на спиле ствола дерева, подскажет\nA) разновидность дерева\nB) прочность\nC) возраст\nD) рост\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15481030941009521, + "B": 0.28922373056411743, + "C": 0.28922373056411743, + "D": 0.1754230558872223 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что часто формируется миллионы лет?", + "option_a": "человек", + "option_b": "русло реки", + "option_c": "общество", + "option_d": "динозавр" + }, + "outputs": "B", + "meta": { + "id": 1872 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что часто формируется миллионы лет?\nA) человек\nB) русло реки\nC) общество\nD) динозавр\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3625166714191437, + "B": 0.05917922034859657, + "C": 0.3405528962612152, + "D": 0.10386276245117188 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего используется гидролокатор", + "option_a": "дезориентации врагов", + "option_b": "сбора потерянных вещей", + "option_c": "предупреждения других", + "option_d": "помощи во сне" + }, + "outputs": "B", + "meta": { + "id": 12 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего используется гидролокатор\nA. дезориентации врагов\nB. сбора потерянных вещей\nC. предупреждения других\nD. помощи во сне\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15519782900810242, + "B": 0.5088741183280945, + "C": 0.12086819857358932, + "D": 0.13696160912513733 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером электрического изолятора может быть", + "option_a": "волшебный котел", + "option_b": "посуда", + "option_c": "апельсиновый сок", + "option_d": "молоко" + }, + "outputs": "B", + "meta": { + "id": 2298 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером электрического изолятора может быть\nA. волшебный котел\nB. посуда\nC. апельсиновый сок\nD. молоко\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.08561552315950394, + "B": 0.43479153513908386, + "C": 0.29882755875587463, + "D": 0.09701511263847351 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда популяция хищников уменьшается в окружающей среде, что происходит с другими популяциями?", + "option_a": "появятся новые хищники", + "option_b": "количество добычи уменьшится", + "option_c": "количество нехищных животных будет расти", + "option_d": "все популяции увеличатся" + }, + "outputs": "C", + "meta": { + "id": 1561 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда популяция хищников уменьшается в окружающей среде, что происходит с другими популяциями?\nA. появятся новые хищники\nB. количество добычи уменьшится\nC. количество нехищных животных будет расти\nD. все популяции увеличатся\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03750807046890259, + "B": 0.027441492304205894, + "C": 0.03992713615298271, + "D": 0.8536797165870667 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего всем живым существам нужна энергия?", + "option_a": "умирать", + "option_b": "наблюдать", + "option_c": "разлагаться", + "option_d": "сохранять тонус и жизнеспособность" + }, + "outputs": "D", + "meta": { + "id": 1059 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДля чего всем живым существам нужна энергия?\nA. умирать\nB. наблюдать\nC. разлагаться\nD. сохранять тонус и жизнеспособность\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.14086472988128662, + "B": 0.1030588448047638, + "C": 0.461877703666687, + "D": 0.23224669694900513 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наполнение бутылки водой и последующее ее помещение в морозильную камеру может привести к", + "option_a": "ослаблению крышки бутылки", + "option_b": "сдуванию бутылки", + "option_c": "аккуратным кубикам льда в бутылке", + "option_d": "разрыву бутылки" + }, + "outputs": "D", + "meta": { + "id": 1363 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНаполнение бутылки водой и последующее ее помещение в морозильную камеру может привести к\nA) ослаблению крышки бутылки\nB) сдуванию бутылки\nC) аккуратным кубикам льда в бутылке\nD) разрыву бутылки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.21467484533786774, + "B": 0.1570594608783722, + "C": 0.27564796805381775, + "D": 0.27564796805381775 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лягушка, скорее всего, съест", + "option_a": "мышь", + "option_b": "другую лягушку", + "option_c": "кленовый лист", + "option_d": "таракана" + }, + "outputs": "D", + "meta": { + "id": 132 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛягушка, скорее всего, съест\nA) мышь\nB) другую лягушку\nC) кленовый лист\nD) таракана\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.21173806488513947, + "B": 0.11333522200584412, + "C": 0.22539398074150085, + "D": 0.3955787718296051 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это животное эволюционировало, используя для размножения защитные контейнеры вместо живых маленьких существ:", + "option_a": "носорог", + "option_b": "хомяк", + "option_c": "мангуст", + "option_d": "утконос" + }, + "outputs": "D", + "meta": { + "id": 475 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Это животное эволюционировало, используя для размножения защитные контейнеры вместо живых маленьких существ:\nA. носорог\nB. хомяк\nC. мангуст\nD. утконос\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7615795135498047, + "B": 0.033461470156908035, + "C": 0.03791680932044983, + "D": 0.05516863614320755 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "До наступления зимы белки должны собрать орехи, чтобы пережить", + "option_a": "декабрь", + "option_b": "камни", + "option_c": "одеяла", + "option_d": "микроволны" + }, + "outputs": "A", + "meta": { + "id": 407 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДо наступления зимы белки должны собрать орехи, чтобы пережить\nA) декабрь\nB) камни\nC) одеяла\nD) микроволны\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.030781514942646027, + "B": 0.014540158212184906, + "C": 0.8995677828788757, + "D": 0.01987404003739357 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является источником гравитации на планете?", + "option_a": "люди", + "option_b": "растения", + "option_c": "масса", + "option_d": "воздух" + }, + "outputs": "C", + "meta": { + "id": 2120 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что является источником гравитации на планете?\nA. люди\nB. растения\nC. масса\nD. воздух\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.23839886486530304, + "B": 0.23839886486530304, + "C": 0.28756392002105713, + "D": 0.12760570645332336 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда в горах замерзает дождь, он раскалывает", + "option_a": "деревья", + "option_b": "гранит", + "option_c": "медведей", + "option_d": "машины" + }, + "outputs": "B", + "meta": { + "id": 835 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда в горах замерзает дождь, он раскалывает\nA) деревья\nB) гранит\nC) медведей\nD) машины\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04575488343834877, + "B": 0.8110246658325195, + "C": 0.035633936524391174, + "D": 0.0487058162689209 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что образуют слои горных пород в ходе землетрясения?", + "option_a": "испарение", + "option_b": "складки", + "option_c": "раковины", + "option_d": "расплавы" + }, + "outputs": "B", + "meta": { + "id": 20 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто образуют слои горных пород в ходе землетрясения?\nA. испарение\nB. складки\nC. раковины\nD. расплавы\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03623635694384575, + "B": 0.01510555949062109, + "C": 0.8779265284538269, + "D": 0.023395948112010956 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одним из возобновляемых источников топлива является", + "option_a": "ископаемое топливо", + "option_b": "уголь", + "option_c": "растительное масло", + "option_d": "нефтяное топливо." + }, + "outputs": "C", + "meta": { + "id": 1149 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОдним из возобновляемых источников топлива является\nA. ископаемое топливо\nB. уголь\nC. растительное масло\nD. нефтяное топливо.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.21211618185043335, + "B": 0.1758504956960678, + "C": 0.2723625600337982, + "D": 0.22579650580883026 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Они могут смотреть на океан?", + "option_a": "собаки", + "option_b": "бревна", + "option_c": "пустныни", + "option_d": "болота" + }, + "outputs": "A", + "meta": { + "id": 1107 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Они могут смотреть на океан?\nA. собаки\nB. бревна\nC. пустныни\nD. болота\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.17031338810920715, + "B": 0.12460393458604813, + "C": 0.49281811714172363, + "D": 0.11705456674098969 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Этот белый объект виден из-за близости к Земле", + "option_a": "Венера", + "option_b": "Марс", + "option_c": "наша Луна", + "option_d": "Нептун" + }, + "outputs": "C", + "meta": { + "id": 43 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Этот белый объект виден из-за близости к Земле\nA. Венера\nB. Марс\nC. наша Луна\nD. Нептун\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2209649235010147, + "B": 0.1518668234348297, + "C": 0.36430954933166504, + "D": 0.14266566932201385 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда полотенце из микрофибры используется для сбора лужи молока, тогда полотенце", + "option_a": "целиком становится молочно-белым", + "option_b": "частично превращается в молоко", + "option_c": "содержит молоко", + "option_d": "становится влажнее молока" + }, + "outputs": "C", + "meta": { + "id": 888 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда полотенце из микрофибры используется для сбора лужи молока, тогда полотенце\nA. целиком становится молочно-белым\nB. частично превращается в молоко\nC. содержит молоко\nD. становится влажнее молока\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.31618010997772217, + "B": 0.0964294821023941, + "C": 0.1801539808511734, + "D": 0.2970237135887146 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером преломления может служить то, что", + "option_a": "свет от телевизора освещает стену", + "option_b": "свет от огня пляшет по углам", + "option_c": "соленья в банке кажутся крупнее", + "option_d": "включение света заставляет предметы отбрасывать тени" + }, + "outputs": "C", + "meta": { + "id": 381 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером преломления может служить то, что\nA. свет от телевизора освещает стену\nB. свет от огня пляшет по углам\nC. соленья в банке кажутся крупнее\nD. включение света заставляет предметы отбрасывать тени\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7335485816001892, + "B": 0.026719506829977036, + "C": 0.04405301809310913, + "D": 0.03887665271759033 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зайчик хочет съесть клубнику, но не может ее найти. Однако он находит много маленьких белых бутонов. Если заяц подождет несколько дней", + "option_a": "там будут ягоды", + "option_b": "будут зеленые цветы", + "option_c": "там будет восемь зайцев", + "option_d": ", там будут дополнительные пчелы" + }, + "outputs": "A", + "meta": { + "id": 1935 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗайчик хочет съесть клубнику, но не может ее найти. Однако он находит много маленьких белых бутонов. Если заяц подождет несколько дней\nA. там будут ягоды\nB. будут зеленые цветы\nC. там будет восемь зайцев\nD. , там будут дополнительные пчелы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.08623894304037094, + "B": 0.038268305361270905, + "C": 0.678321897983551, + "D": 0.15135407447814941 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лягушки зарываются в грязь, чтобы", + "option_a": "найти еду", + "option_b": "выносить детенышей", + "option_c": "сохранить энергию", + "option_d": "вздремнуть" + }, + "outputs": "C", + "meta": { + "id": 113 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛягушки зарываются в грязь, чтобы\nA) найти еду\nB) выносить детенышей\nC) сохранить энергию\nD) вздремнуть\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.29540908336639404, + "B": 0.07950827479362488, + "C": 0.29540908336639404, + "D": 0.2030314952135086 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, как Земля вращается и движется в пространстве, может влиять на то, как", + "option_a": "запасается тепло солнца", + "option_b": "мелеют океаны", + "option_c": "звезды видны в небе", + "option_d": "растут растения, которые мы можем есть" + }, + "outputs": "C", + "meta": { + "id": 2245 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: То, как Земля вращается и движется в пространстве, может влиять на то, как\nA) запасается тепло солнца\nB) мелеют океаны\nC) звезды видны в небе\nD) растут растения, которые мы можем есть\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4277588129043579, + "B": 0.07433333247900009, + "C": 0.20205897092819214, + "D": 0.18981683254241943 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Двадцать четыре часа - это", + "option_a": "суточный цикл", + "option_b": "две тысячи четыреста минут", + "option_c": "десятая часть месяца", + "option_d": "двадцать четыре полных оборота часовой стрелки на часах" + }, + "outputs": "A", + "meta": { + "id": 1090 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Двадцать четыре часа - это\nA) суточный цикл\nB) две тысячи четыреста минут\nC) десятая часть месяца\nD) двадцать четыре полных оборота часовой стрелки на часах\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.31220942735671997, + "B": 0.130148246884346, + "C": 0.16711366176605225, + "D": 0.2932935953140259 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может показать, что водоем является источником воды?", + "option_a": "птица, сидящая на берегу", + "option_b": "ребенок, плещущийся в ванне", + "option_c": "человек, пьющий из стакана воды", + "option_d": "олень, пьющий из озера" + }, + "outputs": "D", + "meta": { + "id": 623 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может показать, что водоем является источником воды?\nA. птица, сидящая на берегу\nB. ребенок, плещущийся в ванне\nC. человек, пьющий из стакана воды\nD. олень, пьющий из озера\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06839112192392349, + "B": 0.6095634698867798, + "C": 0.12003014981746674, + "D": 0.1360119879245758 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы можете использовать дерево, чтобы", + "option_a": "построить человека", + "option_b": "построить скамейку", + "option_c": "построить машину", + "option_d": "построить компьютер" + }, + "outputs": "B", + "meta": { + "id": 1610 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вы можете использовать дерево, чтобы\nA. построить человека\nB. построить скамейку\nC. построить машину\nD. построить компьютер\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02657618559896946, + "B": 0.01715887524187565, + "C": 0.880082368850708, + "D": 0.03866812214255333 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В чугунной печи используется топливо из этого материала", + "option_a": "лазеры", + "option_b": "свет", + "option_c": "древесина", + "option_d": "звук" + }, + "outputs": "C", + "meta": { + "id": 1065 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ чугунной печи используется топливо из этого материала\nA. лазеры\nB. свет\nC. древесина\nD. звук\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15042592585086823, + "B": 0.07105616480112076, + "C": 0.6333167552947998, + "D": 0.08051718771457672 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Один из слоев нашей планеты - это земная кора. Его можно найти", + "option_a": "на вершине Луны", + "option_b": "в центре земли", + "option_c": "чуть выше его мантии", + "option_d": "рядом с Солнцем." + }, + "outputs": "C", + "meta": { + "id": 763 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОдин из слоев нашей планеты - это земная кора. Его можно найти\nA) на вершине Луны\nB) в центре земли\nC) чуть выше его мантии\nD) рядом с Солнцем.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.31539642810821533, + "B": 0.16881954669952393, + "C": 0.16881954669952393, + "D": 0.21676857769489288 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие объекты растут", + "option_a": "пищевые продукты", + "option_b": "дышащие предметы", + "option_c": "большие предметы", + "option_d": "движущиеся предметы" + }, + "outputs": "B", + "meta": { + "id": 2217 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие объекты растут\nA) пищевые продукты\nB) дышащие предметы\nC) большие предметы\nD) движущиеся предметы\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 420, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.37360304594039917, + "B": 0.08336210995912552, + "C": 0.19997531175613403, + "D": 0.2412162721157074 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Электропроводимость может возникнуть, когда", + "option_a": "человек нажимает кнопку выключателя", + "option_b": "человек заводит собаку", + "option_c": "человек отправляется в поездку", + "option_d": "человек помещает пластик в машину" + }, + "outputs": "A", + "meta": { + "id": 1979 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Электропроводимость может возникнуть, когда\nA) человек нажимает кнопку выключателя\nB) человек заводит собаку\nC) человек отправляется в поездку\nD) человек помещает пластик в машину\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4407835900783539, + "B": 0.06350089609622955, + "C": 0.2673487663269043, + "D": 0.06350089609622955 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему люди должны экономить бензин при заправке своих автомобилей?", + "option_a": ", потому что он может испортить их двигатели", + "option_b": ", потому что его трудно найти", + "option_c": ", потому что чем больше он используется, тем больше он стоит", + "option_d": ", потому что его можно использовать только один раз" + }, + "outputs": "D", + "meta": { + "id": 1917 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПочему люди должны экономить бензин при заправке своих автомобилей?\nA. , потому что он может испортить их двигатели\nB. , потому что его трудно найти\nC. , потому что чем больше он используется, тем больше он стоит\nD. , потому что его можно использовать только один раз\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5689677596092224, + "B": 0.06795351207256317, + "C": 0.11926212161779404, + "D": 0.13514170050621033 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является источником энергии для жизни на Земле?", + "option_a": "ближайшая звезда", + "option_b": "планеты", + "option_c": "реки", + "option_d": "горы" + }, + "outputs": "A", + "meta": { + "id": 895 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто является источником энергии для жизни на Земле?\nA. ближайшая звезда\nB. планеты\nC. реки\nD. горы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.24268214404582977, + "B": 0.1775500476360321, + "C": 0.29273054003715515, + "D": 0.15668737888336182 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что-то в месте с пониженной температурой становится каким?", + "option_a": "теплым", + "option_b": "холодным", + "option_c": "горячим", + "option_d": "поджаренным" + }, + "outputs": "B", + "meta": { + "id": 469 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто-то в месте с пониженной температурой становится каким?\nA) теплым\nB) холодным\nC) горячим\nD) поджаренным\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.10619264096021652, + "B": 0.3945535123348236, + "C": 0.25474292039871216, + "D": 0.17508207261562347 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Семена путешествуют, и в этом им чаще помогает", + "option_a": "Рыба", + "option_b": "Молва", + "option_c": "Знание", + "option_d": "Лодка" + }, + "outputs": "A", + "meta": { + "id": 1571 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Семена путешествуют, и в этом им чаще помогает\nA) Рыба\nB) Молва\nC) Знание\nD) Лодка\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.10619580000638962, + "B": 0.18637943267822266, + "C": 0.2393159121274948, + "D": 0.42001253366470337 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Смена ночи на день происходит", + "option_a": "три раза в день", + "option_b": "двадцать девять раз в месяц", + "option_c": "шесть раз в неделю", + "option_d": "семь раз в неделю" + }, + "outputs": "D", + "meta": { + "id": 3 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Смена ночи на день происходит\nA) три раза в день\nB) двадцать девять раз в месяц\nC) шесть раз в неделю\nD) семь раз в неделю\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.06900293380022049, + "B": 0.03259468078613281, + "C": 0.7896968126296997, + "D": 0.06482226401567459 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Возобновляемые ресурсы", + "option_a": "обеспечиваются солнечными и нефтяными запасами", + "option_b": "обеспечиваются самой крупной звездой и ветром", + "option_c": "обеспечиваются солнцем и окаменелостями", + "option_d": "обеспечиваемыми солнцем и углем" + }, + "outputs": "B", + "meta": { + "id": 283 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Возобновляемые ресурсы\nA. обеспечиваются солнечными и нефтяными запасами\nB. обеспечиваются самой крупной звездой и ветром\nC. обеспечиваются солнцем и окаменелостями\nD. обеспечиваемыми солнцем и углем\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.1935577690601349, + "B": 0.06283900141716003, + "C": 0.560077965259552, + "D": 0.09143021702766418 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда ученый, наконец, завершил свое новое изобретение, он вознес хвалу своей", + "option_a": "бабушке", + "option_b": "счастливой звезде", + "option_c": "матери", + "option_d": "наблюдательности" + }, + "outputs": "D", + "meta": { + "id": 360 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда ученый, наконец, завершил свое новое изобретение, он вознес хвалу своей\nA. бабушке\nB. счастливой звезде\nC. матери\nD. наблюдательности\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6200317740440369, + "B": 0.03497980162501335, + "C": 0.1383478045463562, + "D": 0.04781172052025795 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лисы едят", + "option_a": "мышей", + "option_b": "волков", + "option_c": "человека", + "option_d": "медведей" + }, + "outputs": "A", + "meta": { + "id": 1844 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛисы едят\nA) мышей\nB) волков\nC) человека\nD) медведей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.31942421197891235, + "B": 0.12508831918239594, + "C": 0.21953684091567993, + "D": 0.170975461602211 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где лучше всего использовать теплицу?", + "option_a": "Мурманск", + "option_b": "Ростов-на-Дону", + "option_c": "Астрахань", + "option_d": "Сочи" + }, + "outputs": "A", + "meta": { + "id": 619 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде лучше всего использовать теплицу?\nA) Мурманск\nB) Ростов-на-Дону\nC) Астрахань\nD) Сочи\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.2566221058368683, + "B": 0.1656876802444458, + "C": 0.1877487450838089, + "D": 0.3095453381538391 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В конечном итоге мы исчерпаем наш запас", + "option_a": "воды", + "option_b": "угля", + "option_c": "воздуха", + "option_d": "времени" + }, + "outputs": "B", + "meta": { + "id": 908 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В конечном итоге мы исчерпаем наш запас\nA) воды\nB) угля\nC) воздуха\nD) времени\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15249380469322205, + "B": 0.04369020834565163, + "C": 0.36581364274024963, + "D": 0.36581364274024963 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое влияние оказывает эрозия на реку?", + "option_a": "иссушает", + "option_b": "оставляет без изменений", + "option_c": "расширяет", + "option_d": "сужает" + }, + "outputs": "C", + "meta": { + "id": 2270 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое влияние оказывает эрозия на реку?\nA) иссушает\nB) оставляет без изменений\nC) расширяет\nD) сужает\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.014112919569015503, + "B": 0.009111986495554447, + "C": 0.9294478297233582, + "D": 0.009111986495554447 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дыхание нужно нашему телу, чтобы", + "option_a": "мыслить спокойно", + "option_b": "говорить часами", + "option_c": "обеспечивать тело кислородом", + "option_d": "бегать" + }, + "outputs": "C", + "meta": { + "id": 799 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДыхание нужно нашему телу, чтобы\nA. мыслить спокойно\nB. говорить часами\nC. обеспечивать тело кислородом\nD. бегать\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7504442930221558, + "B": 0.03977208957076073, + "C": 0.051068373024463654, + "D": 0.05436200276017189 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лиса ест", + "option_a": "полевок", + "option_b": "облака", + "option_c": "морковь", + "option_d": "неосторожные одуванчики" + }, + "outputs": "A", + "meta": { + "id": 457 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛиса ест\nA) полевок\nB) облака\nC) морковь\nD) неосторожные одуванчики\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2530703544616699, + "B": 0.1534949243068695, + "C": 0.2693919837474823, + "D": 0.23773759603500366 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из этих явлений обычно завершается в кратчайшие сроки?", + "option_a": "все это", + "option_b": "проливной дождь", + "option_c": "сильнейшее землетрясение", + "option_d": "извержение вулкана" + }, + "outputs": "C", + "meta": { + "id": 1147 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое из этих явлений обычно завершается в кратчайшие сроки?\nA) все это\nB) проливной дождь\nC) сильнейшее землетрясение\nD) извержение вулкана\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4661128520965576, + "B": 0.15132468938827515, + "C": 0.10400383919477463, + "D": 0.16108430922031403 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто может слышать звуки?", + "option_a": "валуны", + "option_b": "бетонные статуи", + "option_c": "камни", + "option_d": "жирафы" + }, + "outputs": "D", + "meta": { + "id": 76 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто может слышать звуки?\nA. валуны\nB. бетонные статуи\nC. камни\nD. жирафы\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.18381115794181824, + "B": 0.04101381078362465, + "C": 0.6415639519691467, + "D": 0.04365897551178932 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Увеличение времени сна ведет к", + "option_a": "худшему состоянию здоровья", + "option_b": "беспокойству", + "option_c": "лучшему самочувствию", + "option_d": "бессоннице" + }, + "outputs": "C", + "meta": { + "id": 1418 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Увеличение времени сна ведет к\nA. худшему состоянию здоровья\nB. беспокойству\nC. лучшему самочувствию\nD. бессоннице\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.10554289817810059, + "B": 0.5705595016479492, + "C": 0.11234981566667557, + "D": 0.12730903923511505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Земля - ​​источник", + "option_a": "радости", + "option_b": "природных ресурсов", + "option_c": "человечества", + "option_d": "интеллекта" + }, + "outputs": "B", + "meta": { + "id": 48 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗемля - ​​источник\nA) радости\nB) природных ресурсов\nC) человечества\nD) интеллекта\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 417, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.07518624514341354, + "B": 0.031342294067144394, + "C": 0.7133472561836243, + "D": 0.13195598125457764 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что нужно четырехлистному клеверу, чтобы прокормить себя?", + "option_a": "ирландские песни", + "option_b": "удача", + "option_c": "солнце", + "option_d": "горный козел" + }, + "outputs": "C", + "meta": { + "id": 1447 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто нужно четырехлистному клеверу, чтобы прокормить себя?\nA) ирландские песни\nB) удача\nC) солнце\nD) горный козел\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1613883525133133, + "B": 0.43869897723197937, + "C": 0.1337956190109253, + "D": 0.18287694454193115 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делает кактус с водой", + "option_a": "выплевывает", + "option_b": "накапливает внутри", + "option_c": "пачкает", + "option_d": "фильтрует и выпускает" + }, + "outputs": "B", + "meta": { + "id": 2171 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что делает кактус с водой\nA) выплевывает\nB) накапливает внутри\nC) пачкает\nD) фильтрует и выпускает\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.20922988653182983, + "B": 0.10520739108324051, + "C": 0.3908928632736206, + "D": 0.20922988653182983 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мантия - это", + "option_a": "ядро в самой глубокой части нашей планеты", + "option_b": "ближайшая к нам планета", + "option_c": "своего рода скала, найденная на Земле", + "option_d": "уровень нашей планеты" + }, + "outputs": "D", + "meta": { + "id": 786 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мантия - это\nA) ядро в самой глубокой части нашей планеты\nB) ближайшая к нам планета\nC) своего рода скала, найденная на Земле\nD) уровень нашей планеты\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.21478264033794403, + "B": 0.2433806210756302, + "C": 0.21478264033794403, + "D": 0.2590773105621338 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Железная подкова с красной и синей полосами держится над скрепкой и", + "option_a": "плавит ее", + "option_b": "роняет ее", + "option_c": "горит", + "option_d": "дергает ее" + }, + "outputs": "D", + "meta": { + "id": 1683 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖелезная подкова с красной и синей полосами держится над скрепкой и\nA) плавит ее\nB) роняет ее\nC) горит\nD) дергает ее\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1047566682100296, + "B": 0.06763599067926407, + "C": 0.1622503101825714, + "D": 0.6028330326080322 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения могут использовать воду и сахарозу для создания своих собственных", + "option_a": "эмоций", + "option_b": "панд", + "option_c": "друзей", + "option_d": "питательных смесей" + }, + "outputs": "D", + "meta": { + "id": 1988 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРастения могут использовать воду и сахарозу для создания своих собственных\nA. эмоций\nB. панд\nC. друзей\nD. питательных смесей\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.013945366255939007, + "B": 0.01086066197603941, + "C": 0.9184131026268005, + "D": 0.02159900590777397 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему опасно держать животное в боксе в помещениях без циркуляции воздуха? Оно", + "option_a": "запутается", + "option_b": "заговорит", + "option_c": "перегреется", + "option_d": "испугается" + }, + "outputs": "C", + "meta": { + "id": 879 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПочему опасно держать животное в боксе в помещениях без циркуляции воздуха? Оно\nA) запутается\nB) заговорит\nC) перегреется\nD) испугается\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.20987893640995026, + "B": 0.10553374886512756, + "C": 0.3460318446159363, + "D": 0.2378239929676056 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что опасного может произойти во время эксперимента?", + "option_a": "разбрызгивание лимонного сока", + "option_b": "разговоры студентов", + "option_c": "открытие рюкзака", + "option_d": "таяние льда" + }, + "outputs": "A", + "meta": { + "id": 940 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что опасного может произойти во время эксперимента?\nA) разбрызгивание лимонного сока\nB) разговоры студентов\nC) открытие рюкзака\nD) таяние льда\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08034475147724152, + "B": 0.6319604516029358, + "C": 0.09691428393125534, + "D": 0.12444038689136505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую роль в процессе воспроизводства дерева играет белка?", + "option_a": "пожиратель коры", + "option_b": "переносчик семян", + "option_c": "разрушитель крон", + "option_d": "убийца надежд" + }, + "outputs": "B", + "meta": { + "id": 325 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какую роль в процессе воспроизводства дерева играет белка?\nA. пожиратель коры\nB. переносчик семян\nC. разрушитель крон\nD. убийца надежд\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2635534107685089, + "B": 0.1032090112566948, + "C": 0.29864516854286194, + "D": 0.21849346160888672 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые животные представлены", + "option_a": "на публичных выставках для просмотра", + "option_b": "в ящиках для хранения", + "option_c": "в бочках для путешествий", + "option_d": "в палатках для сна." + }, + "outputs": "A", + "meta": { + "id": 1672 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНекоторые животные представлены\nA. на публичных выставках для просмотра\nB. в ящиках для хранения\nC. в бочках для путешествий\nD. в палатках для сна.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.846954882144928, + "B": 0.014572663232684135, + "C": 0.019918469712138176, + "D": 0.012860330753028393 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Осенью белки заняты", + "option_a": "запасанием орехов", + "option_b": "хранением воды", + "option_c": "посадкой цветов", + "option_d": "сном круглые сутки" + }, + "outputs": "A", + "meta": { + "id": 797 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОсенью белки заняты\nA. запасанием орехов\nB. хранением воды\nC. посадкой цветов\nD. сном круглые сутки\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.15841799974441528, + "B": 0.2780322730541229, + "C": 0.2304968535900116, + "D": 0.2611871659755707 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животным обычно требуется теплая температура тела для выживания, примером может служить", + "option_a": "птица на дереве", + "option_b": "змея в пустыне", + "option_c": "лиса на снегу", + "option_d": "акула в воде" + }, + "outputs": "C", + "meta": { + "id": 1861 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Животным обычно требуется теплая температура тела для выживания, примером может служить\nA) птица на дереве\nB) змея в пустыне\nC) лиса на снегу\nD) акула в воде\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05515366792678833, + "B": 0.027733005583286285, + "C": 0.8104772567749023, + "D": 0.06249729543924332 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек хочет наблюдать затмение", + "option_a": "лучше обойтись без солнцезащитных очков", + "option_b": "лучше всего использовать телескоп", + "option_c": "лучше всего использовать защиту для глаз", + "option_d": "лучше всего просто посмотреть на него" + }, + "outputs": "C", + "meta": { + "id": 1129 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли человек хочет наблюдать затмение\nA) лучше обойтись без солнцезащитных очков\nB) лучше всего использовать телескоп\nC) лучше всего использовать защиту для глаз\nD) лучше всего просто посмотреть на него\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1842176765203476, + "B": 0.10496407002210617, + "C": 0.41514095664024353, + "D": 0.23654016852378845 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, замыкает цепь?", + "option_a": "птичий глаз", + "option_b": "собачья лапа", + "option_c": "клавиши вашего телефона", + "option_d": "деревянная линейка" + }, + "outputs": "C", + "meta": { + "id": 747 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, вероятно, замыкает цепь?\nA) птичий глаз\nB) собачья лапа\nC) клавиши вашего телефона\nD) деревянная линейка\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08571363240480423, + "B": 0.024557368829846382, + "C": 0.04309952259063721, + "D": 0.8132283091545105 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Звезды - это", + "option_a": "теплые огни, которые плавают туда-сюда", + "option_b": "сгустки азота", + "option_c": "огни в небе", + "option_d": "огромные шары газа, горящие за миллиарды километров от нас" + }, + "outputs": "D", + "meta": { + "id": 1019 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Звезды - это\nA. теплые огни, которые плавают туда-сюда\nB. сгустки азота\nC. огни в небе\nD. огромные шары газа, горящие за миллиарды километров от нас\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.031848978251218796, + "B": 0.026403730735182762, + "C": 0.8743714690208435, + "D": 0.018147001042962074 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стандарт загрязнения - это", + "option_a": ", способ заставить фабрики производить больше продукции", + "option_b": "стандарт, который применяется к каждому отдельному человеку", + "option_c": "способ ограничить количество ущерба, наносимого окружающей среде крупными производителями", + "option_d": "лучший способ уменьшить отравление деревьев в Сибири" + }, + "outputs": "C", + "meta": { + "id": 202 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСтандарт загрязнения - это\nA. , способ заставить фабрики производить больше продукции\nB. стандарт, который применяется к каждому отдельному человеку\nC. способ ограничить количество ущерба, наносимого окружающей среде крупными производителями\nD. лучший способ уменьшить отравление деревьев в Сибири\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.10768529027700424, + "B": 0.4259035885334015, + "C": 0.06531443446874619, + "D": 0.31159770488739014 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое вредное явление может вызвать потепление атмосферы?", + "option_a": "тающие ледяные шапки", + "option_b": "кислотные дожди", + "option_c": "ядерная война", + "option_d": "загрязняющие газы" + }, + "outputs": "D", + "meta": { + "id": 657 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое вредное явление может вызвать потепление атмосферы?\nA. тающие ледяные шапки\nB. кислотные дожди\nC. ядерная война\nD. загрязняющие газы\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1813400387763977, + "B": 0.05530558526515961, + "C": 0.09118350595235825, + "D": 0.5945911407470703 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Место, подверженное землетрясениям, каких вы бы хотели избежать:", + "option_a": "Москва", + "option_b": "Тверь", + "option_c": "Санкт-Петербург", + "option_d": "Камчатка" + }, + "outputs": "D", + "meta": { + "id": 1139 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМесто, подверженное землетрясениям, каких вы бы хотели избежать:\nA) Москва\nB) Тверь\nC) Санкт-Петербург\nD) Камчатка\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.11400575190782547, + "B": 0.3738104999065399, + "C": 0.2911238968372345, + "D": 0.1463862955570221 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы я воссоздавал входящую и выходящую воду, мне нужно было бы убедиться, что", + "option_a": "я окрашиваю воду в оранжевый цвет", + "option_b": "Я повторяю это дважды", + "option_c": "Я использую солнце для силы тяжести", + "option_d": "Я включаю животных" + }, + "outputs": "B", + "meta": { + "id": 2153 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли бы я воссоздавал входящую и выходящую воду, мне нужно было бы убедиться, что\nA) я окрашиваю воду в оранжевый цвет\nB) Я повторяю это дважды\nC) Я использую солнце для силы тяжести\nD) Я включаю животных\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.208033949136734, + "B": 0.11135254800319672, + "C": 0.4404078722000122, + "D": 0.14297950267791748 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если жидкость исчезнет, ​​то что она, вероятно, сделала?", + "option_a": "расплавилась", + "option_b": "конденсировалась", + "option_c": "превратилась в газ", + "option_d": "затвердела" + }, + "outputs": "C", + "meta": { + "id": 290 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если жидкость исчезнет, ​​то что она, вероятно, сделала?\nA. расплавилась\nB. конденсировалась\nC. превратилась в газ\nD. затвердела\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.13664939999580383, + "B": 0.025277595967054367, + "C": 0.5077140927314758, + "D": 0.2717597782611847 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пара туристов приехала в США и сидит на лугу, наслаждаясь перекусом, когда мимо них проносится нечто с ужасным запахом. Что это может быть?", + "option_a": "енот на прогулке", + "option_b": "человек с отличным одеколоном", + "option_c": "ожившее пугало", + "option_d": "маленький скунс, занятый своими делами" + }, + "outputs": "D", + "meta": { + "id": 319 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пара туристов приехала в США и сидит на лугу, наслаждаясь перекусом, когда мимо них проносится нечто с ужасным запахом. Что это может быть?\nA. енот на прогулке\nB. человек с отличным одеколоном\nC. ожившее пугало\nD. маленький скунс, занятый своими делами\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 487, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.28291693329811096, + "B": 0.2657758891582489, + "C": 0.2069864571094513, + "D": 0.16120120882987976 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере приближения автомобиля к вам ночью", + "option_a": "фары остаются включенными", + "option_b": "фары уходят в темноту", + "option_c": "фары становятся более яркими", + "option_d": "фары выключаются" + }, + "outputs": "C", + "meta": { + "id": 669 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПо мере приближения автомобиля к вам ночью\nA) фары остаются включенными\nB) фары уходят в темноту\nC) фары становятся более яркими\nD) фары выключаются\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05813201144337654, + "B": 0.6652856469154358, + "C": 0.13945144414901733, + "D": 0.08458156883716583 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой среде обитания обитают кабаны?", + "option_a": "мировой океан", + "option_b": "умеренный пояс", + "option_c": "арктический пояс", + "option_d": "пустыня" + }, + "outputs": "B", + "meta": { + "id": 63 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В какой среде обитания обитают кабаны?\nA. мировой океан\nB. умеренный пояс\nC. арктический пояс\nD. пустыня\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.16668666899204254, + "B": 0.24252767860889435, + "C": 0.3314960300922394, + "D": 0.17743705213069916 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько раз в год расширяется и нарастает внешняя оболочка дерева?", + "option_a": "1000 раз", + "option_b": "один раз", + "option_c": "десять раз", + "option_d": "100 раз" + }, + "outputs": "B", + "meta": { + "id": 1206 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сколько раз в год расширяется и нарастает внешняя оболочка дерева?\nA) 1000 раз\nB) один раз\nC) десять раз\nD) 100 раз\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5183976292610168, + "B": 0.19070784747600555, + "C": 0.06590685248374939, + "D": 0.10207853466272354 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой пример лучше всего показывает влияние вибрации на материю?", + "option_a": "фортепьяно", + "option_b": "бумажный самолетик", + "option_c": "подушка", + "option_d": "коробка конфет" + }, + "outputs": "A", + "meta": { + "id": 550 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой пример лучше всего показывает влияние вибрации на материю?\nA. фортепьяно\nB. бумажный самолетик\nC. подушка\nD. коробка конфет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.17941807210445404, + "B": 0.04261552542448044, + "C": 0.6262305974960327, + "D": 0.07026112079620361 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобиль останавливается при нажатии на тормоза, потому что", + "option_a": "дороги имеют трение", + "option_b": "дороги неровные", + "option_c": "шины перестают вращаться из-за давления на обод колеса", + "option_d": "шины не могут создавать трение" + }, + "outputs": "C", + "meta": { + "id": 1055 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nАвтомобиль останавливается при нажатии на тормоза, потому что\nA. дороги имеют трение\nB. дороги неровные\nC. шины перестают вращаться из-за давления на обод колеса\nD. шины не могут создавать трение\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.012447351589798927, + "B": 0.008036614395678043, + "C": 0.928906261920929, + "D": 0.020522212609648705 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему электромобили лучше влияют на атмосферу, чем традиционные автомобили?", + "option_a": "у них есть Bluetooth", + "option_b": "они идут быстрее", + "option_c": "они оставляют больше пригодного для дыхания воздуха", + "option_d": "они больше" + }, + "outputs": "C", + "meta": { + "id": 248 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПочему электромобили лучше влияют на атмосферу, чем традиционные автомобили?\nA) у них есть Bluetooth\nB) они идут быстрее\nC) они оставляют больше пригодного для дыхания воздуха\nD) они больше\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.20733849704265594, + "B": 0.0811949148774147, + "C": 0.4672445058822632, + "D": 0.16147539019584656 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мне нужна электрическая энергия, чтобы", + "option_a": "Бегать", + "option_b": "Прокатиться на велосипеде", + "option_c": "приготовить хлеб", + "option_d": "Поплавать" + }, + "outputs": "C", + "meta": { + "id": 1439 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМне нужна электрическая энергия, чтобы\nA) Бегать\nB) Прокатиться на велосипеде\nC) приготовить хлеб\nD) Поплавать\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.24446748197078705, + "B": 0.04248207435011864, + "C": 0.24446748197078705, + "D": 0.3786386251449585 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Небольшой угол наклона оси человеческой планеты отвечает за распределение энергии, которую получают…", + "option_a": "все страны", + "option_b": "марсианские континенты", + "option_c": "свободные страны", + "option_d": "полярные области" + }, + "outputs": "A", + "meta": { + "id": 1503 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНебольшой угол наклона оси человеческой планеты отвечает за распределение энергии, которую получают…\nA. все страны\nB. марсианские континенты\nC. свободные страны\nD. полярные области\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.10049097239971161, + "B": 0.7425334453582764, + "C": 0.03935283049941063, + "D": 0.05053003504872322 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Волк съест", + "option_a": "гору", + "option_b": "козла", + "option_c": "дерево", + "option_d": "облако" + }, + "outputs": "B", + "meta": { + "id": 1809 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВолк съест\nA. гору\nB. козла\nC. дерево\nD. облако\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2348860651254654, + "B": 0.12572546303272247, + "C": 0.3417571783065796, + "D": 0.22065503895282745 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы держите дома молодую птицу и ей стало трудно летать", + "option_a": "заприте ее в клетке на неделю", + "option_b": "откажитесь от нее и найдите новую птицу", + "option_c": "уберите из клетки все насесты", + "option_d": "попробуйте посадить ее на диету" + }, + "outputs": "D", + "meta": { + "id": 2000 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вы держите дома молодую птицу и ей стало трудно летать\nA) заприте ее в клетке на неделю\nB) откажитесь от нее и найдите новую птицу\nC) уберите из клетки все насесты\nD) попробуйте посадить ее на диету\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 466, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.3367527723312378, + "B": 0.10932762175798416, + "C": 0.26226332783699036, + "D": 0.11637865006923676 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Карелия - край гигантских озер, где", + "option_a": "ледники плавают в озерах", + "option_b": "много купающихся", + "option_c": "ледники вырывали озера", + "option_d": "озера заполнены угрями" + }, + "outputs": "C", + "meta": { + "id": 510 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКарелия - край гигантских озер, где\nA. ледники плавают в озерах\nB. много купающихся\nC. ледники вырывали озера\nD. озера заполнены угрями\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.32727938890457153, + "B": 0.1203993707895279, + "C": 0.2249356210231781, + "D": 0.21130746603012085 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В чем сидят самки птиц?", + "option_a": "разнообразные укрытия", + "option_b": "мусорные баки", + "option_c": "только дымоходы", + "option_d": "ящики" + }, + "outputs": "A", + "meta": { + "id": 2289 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В чем сидят самки птиц?\nA) разнообразные укрытия\nB) мусорные баки\nC) только дымоходы\nD) ящики\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5686271786689758, + "B": 0.04667576029896736, + "C": 0.09881258010864258, + "D": 0.1437714695930481 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые минералы произошли из материала, который сформировался", + "option_a": "на далеких звездах", + "option_b": "по просьбе человека", + "option_c": "в память о динозаврах", + "option_d": "вчера" + }, + "outputs": "A", + "meta": { + "id": 1041 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНекоторые минералы произошли из материала, который сформировался\nA. на далеких звездах\nB. по просьбе человека\nC. в память о динозаврах\nD. вчера\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6997614502906799, + "B": 0.061144471168518066, + "C": 0.07851105183362961, + "D": 0.07375431060791016 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Система трубок, которая перемещает воду и питательные вещества в нужные участки, чтобы максимально использовать их, может быть найдена в", + "option_a": "лилии", + "option_b": "двери", + "option_c": "столе", + "option_d": "камне" + }, + "outputs": "A", + "meta": { + "id": 1072 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСистема трубок, которая перемещает воду и питательные вещества в нужные участки, чтобы максимально использовать их, может быть найдена в\nA) лилии\nB) двери\nC) столе\nD) камне\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21253162622451782, + "B": 0.08859636634588242, + "C": 0.4226696193218231, + "D": 0.16551978886127472 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Больше времени на прогулки, когда", + "option_a": "зима", + "option_b": "совы охотятся", + "option_c": "лето", + "option_d": "эвакуация" + }, + "outputs": "C", + "meta": { + "id": 1075 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБольше времени на прогулки, когда\nA) зима\nB) совы охотятся\nC) лето\nD) эвакуация\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 421, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3142858147621155, + "B": 0.27735623717308044, + "C": 0.15803281962871552, + "D": 0.15803281962871552 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каменный круг вращается, чтобы", + "option_a": "собирать пчел", + "option_b": "шлифовать драгоценные камни", + "option_c": "рассматривать ограненные бриллианты", + "option_d": "ловить клоунов" + }, + "outputs": "B", + "meta": { + "id": 2063 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКаменный круг вращается, чтобы\nA) собирать пчел\nB) шлифовать драгоценные камни\nC) рассматривать ограненные бриллианты\nD) ловить клоунов\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3134501874446869, + "B": 0.21543096005916595, + "C": 0.1576126515865326, + "D": 0.2293250560760498 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Электричество, передаваемое через проводник", + "option_a": ", останавливает работу проводника", + "option_b": "отводит тепло обратно к проводнику", + "option_c": "заставляет огонь течь через проводник", + "option_d": "движется, как уличный транспорт на зеленый свет" + }, + "outputs": "D", + "meta": { + "id": 635 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЭлектричество, передаваемое через проводник\nA) , останавливает работу проводника\nB) отводит тепло обратно к проводнику\nC) заставляет огонь течь через проводник\nD) движется, как уличный транспорт на зеленый свет\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3001668453216553, + "B": 0.08078881353139877, + "C": 0.3001668453216553, + "D": 0.2063014656305313 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фонари", + "option_a": "освещают возраст человека", + "option_b": "требуют для правильной работы пульт дистанционного управления", + "option_c": "упрощают поиск слов", + "option_d": "упрощают поиск игрушек для кошки под диваном" + }, + "outputs": "D", + "meta": { + "id": 1037 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nФонари\nA. освещают возраст человека\nB. требуют для правильной работы пульт дистанционного управления\nC. упрощают поиск слов\nD. упрощают поиск игрушек для кошки под диваном\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.25855931639671326, + "B": 0.09511866420507431, + "C": 0.06959030032157898, + "D": 0.5142066478729248 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где лучше всего использовать воду для работы маяка?", + "option_a": "тундра", + "option_b": "горы", + "option_c": "пустыня", + "option_d": "океан" + }, + "outputs": "D", + "meta": { + "id": 2336 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде лучше всего использовать воду для работы маяка?\nA) тундра\nB) горы\nC) пустыня\nD) океан\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7748671770095825, + "B": 0.03198258951306343, + "C": 0.030044859275221825, + "D": 0.017119044438004494 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего северным птицам пух и толстые перья?", + "option_a": "чтобы не замерзнуть", + "option_b": "чтобы не согреваться", + "option_c": "чтобы тело оставалось холодным", + "option_d": "чтобы замерзнуть" + }, + "outputs": "A", + "meta": { + "id": 2317 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДля чего северным птицам пух и толстые перья?\nA. чтобы не замерзнуть\nB. чтобы не согреваться\nC. чтобы тело оставалось холодным\nD. чтобы замерзнуть\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.21285149455070496, + "B": 0.10054392367601395, + "C": 0.30969709157943726, + "D": 0.2733067274093628 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ночное времяпрепровождение в пустыне может привести к тому, что животные", + "option_a": "дрожат", + "option_b": "прыгают", + "option_c": "испытывают жажду", + "option_d": "бегут" + }, + "outputs": "A", + "meta": { + "id": 1290 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ночное времяпрепровождение в пустыне может привести к тому, что животные\nA) дрожат\nB) прыгают\nC) испытывают жажду\nD) бегут\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7415778040885925, + "B": 0.03258265554904938, + "C": 0.06087241321802139, + "D": 0.06087241321802139 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что положительно влияет на окружающую среду?", + "option_a": "размещение семян саженцев в земле", + "option_b": "вырубка леса в засушливой среде", + "option_c": "внедрение новых видов в землю", + "option_d": "обработка почвы на данной территории" + }, + "outputs": "A", + "meta": { + "id": 274 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто положительно влияет на окружающую среду?\nA) размещение семян саженцев в земле\nB) вырубка леса в засушливой среде\nC) внедрение новых видов в землю\nD) обработка почвы на данной территории\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13314120471477509, + "B": 0.4946795701980591, + "C": 0.1937192976474762, + "D": 0.09740817546844482 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Подвесной вентилятор означает", + "option_a": "вращение магнитных предметов", + "option_b": "движение воздуха в помещении", + "option_c": "духоту и застоявшийся воздух", + "option_d": "атаку инопланетян" + }, + "outputs": "B", + "meta": { + "id": 57 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Подвесной вентилятор означает\nA) вращение магнитных предметов\nB) движение воздуха в помещении\nC) духоту и застоявшийся воздух\nD) атаку инопланетян\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.18513938784599304, + "B": 0.12724432349205017, + "C": 0.34588590264320374, + "D": 0.2693762183189392 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если стоять на пластиковой сумке, она", + "option_a": "испаряется", + "option_b": "расплавляется", + "option_c": "поднимается в воздух", + "option_d": "деформируется" + }, + "outputs": "D", + "meta": { + "id": 472 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли стоять на пластиковой сумке, она\nA) испаряется\nB) расплавляется\nC) поднимается в воздух\nD) деформируется\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.31514233350753784, + "B": 0.45852938294410706, + "C": 0.06605742126703262, + "D": 0.04540055990219116 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чего также становится больше при увеличении доступности источников пищи в окружающей среде?", + "option_a": "Мусор", + "option_b": "Животные / растения", + "option_c": "Водоемы", + "option_d": "Воздух" + }, + "outputs": "B", + "meta": { + "id": 2049 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧего также становится больше при увеличении доступности источников пищи в окружающей среде?\nA) Мусор\nB) Животные / растения\nC) Водоемы\nD) Воздух\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2374732941389084, + "B": 0.18494439125061035, + "C": 0.3049217462539673, + "D": 0.163212850689888 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Планета, содержащая множество экосистем, является по счету _________ от центра своей солнечной системы", + "option_a": "пятой", + "option_b": "первой", + "option_c": "четвертой", + "option_d": "третьей" + }, + "outputs": "D", + "meta": { + "id": 1526 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПланета, содержащая множество экосистем, является по счету _________ от центра своей солнечной системы\nA) пятой\nB) первой\nC) четвертой\nD) третьей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.012569457292556763, + "B": 0.010420446284115314, + "C": 0.015161659568548203, + "D": 0.9380186796188354 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения, как и все другие организмы, требуют этого, чтобы выжить?", + "option_a": "Интернет", + "option_b": "обувь", + "option_c": "игры", + "option_d": "пропитание" + }, + "outputs": "D", + "meta": { + "id": 597 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРастения, как и все другие организмы, требуют этого, чтобы выжить?\nA) Интернет\nB) обувь\nC) игры\nD) пропитание\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.40132656693458557, + "B": 0.35416942834854126, + "C": 0.06551475822925568, + "D": 0.04502759128808975 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из перечисленного может удовлетворить потребности белки в калориях?", + "option_a": "рыба", + "option_b": "орехи", + "option_c": "кора дерева", + "option_d": "листья" + }, + "outputs": "B", + "meta": { + "id": 559 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из перечисленного может удовлетворить потребности белки в калориях?\nA. рыба\nB. орехи\nC. кора дерева\nD. листья\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19530536234378815, + "B": 0.1260986328125, + "C": 0.440127432346344, + "D": 0.1521039754152298 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как можно показать, что электрический проводник является средством передвижения электричества?", + "option_a": "воткнуть вилку в электрическую розетку безопасно, если она пластиковая", + "option_b": "электричество не может хорошо проводить через резиновые подошвы обуви", + "option_c": "попытка схватиться за электрифицированный забор может убить вас", + "option_d": "электричество - вещь непостоянная" + }, + "outputs": "C", + "meta": { + "id": 1470 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКак можно показать, что электрический проводник является средством передвижения электричества?\nA) воткнуть вилку в электрическую розетку безопасно, если она пластиковая\nB) электричество не может хорошо проводить через резиновые подошвы обуви\nC) попытка схватиться за электрифицированный забор может убить вас\nD) электричество - вещь непостоянная\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 483, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1973567008972168, + "B": 0.11970289796590805, + "C": 0.3253861665725708, + "D": 0.2697546184062958 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда электричество проходит по проводнику?", + "option_a": "когда он вынесен на улицу", + "option_b": "когда он подключен к батарее", + "option_c": "когда он прикреплен к человеку", + "option_d": "когда он находится рядом с лампочкой" + }, + "outputs": "B", + "meta": { + "id": 521 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда электричество проходит по проводнику?\nA. когда он вынесен на улицу\nB. когда он подключен к батарее\nC. когда он прикреплен к человеку\nD. когда он находится рядом с лампочкой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3427334129810333, + "B": 0.22128532826900482, + "C": 0.1520870327949524, + "D": 0.20787832140922546 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет отражать больше всего света", + "option_a": "серебряная ложка", + "option_b": "Банное полотенце", + "option_c": "лист бумаги", + "option_d": "Автомобильная шина" + }, + "outputs": "A", + "meta": { + "id": 1125 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что будет отражать больше всего света\nA) серебряная ложка\nB) Банное полотенце\nC) лист бумаги\nD) Автомобильная шина\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.3042832911014557, + "B": 0.05991693213582039, + "C": 0.11193956434726715, + "D": 0.44272956252098083 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Причиной какого явления может быть вырубка леса?", + "option_a": "глобальное потепление", + "option_b": "гибель океанов", + "option_c": "солевые растворы", + "option_d": "гибель деревьев" + }, + "outputs": "D", + "meta": { + "id": 1262 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПричиной какого явления может быть вырубка леса?\nA) глобальное потепление\nB) гибель океанов\nC) солевые растворы\nD) гибель деревьев\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1491887867450714, + "B": 0.3809669017791748, + "C": 0.19156219065189362, + "D": 0.20391690731048584 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Радуге нужны", + "option_a": "лепреконы и горшки с золотом", + "option_b": "солнце и влажный воздух", + "option_c": "дождь и темное небо", + "option_d": "солнце и ясное небо" + }, + "outputs": "B", + "meta": { + "id": 387 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Радуге нужны\nA) лепреконы и горшки с золотом\nB) солнце и влажный воздух\nC) дождь и темное небо\nD) солнце и ясное небо\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.22952936589717865, + "B": 0.3339632451534271, + "C": 0.1577530801296234, + "D": 0.1787576526403427 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Использование резиновых перчаток при работе с электроникой может", + "option_a": "полностью разрушить электронику", + "option_b": "поддерживать быстрое движение электричества", + "option_c": "остановить работу электроники", + "option_d": "препятствовать быстрому перемещению электричества" + }, + "outputs": "D", + "meta": { + "id": 1113 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИспользование резиновых перчаток при работе с электроникой может\nA. полностью разрушить электронику\nB. поддерживать быстрое движение электричества\nC. остановить работу электроники\nD. препятствовать быстрому перемещению электричества\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07703116536140442, + "B": 0.7779871821403503, + "C": 0.030165836215019226, + "D": 0.06386107951402664 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Единственный способ для млекопитающих создать семью -", + "option_a": "украсть детей", + "option_b": "произвести потомство", + "option_c": "отложить яйца", + "option_d": "усыновить детей" + }, + "outputs": "B", + "meta": { + "id": 985 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕдинственный способ для млекопитающих создать семью -\nA) украсть детей\nB) произвести потомство\nC) отложить яйца\nD) усыновить детей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7830919623374939, + "B": 0.01960432529449463, + "C": 0.03898785263299942, + "D": 0.02086869440972805 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У мальчика могут быть каштановые волосы из-за", + "option_a": "наследственности", + "option_b": "удачи", + "option_c": "магии", + "option_d": "огня" + }, + "outputs": "A", + "meta": { + "id": 572 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ мальчика могут быть каштановые волосы из-за\nA. наследственности\nB. удачи\nC. магии\nD. огня\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.607188880443573, + "B": 0.036464523524045944, + "C": 0.028398603200912476, + "D": 0.22337232530117035 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Медведю в дикой природе нужно найти других животных, чтобы поесть. О медведях известно, что", + "option_a": "они никогда не убивают", + "option_b": "они едят только цветы", + "option_c": "они послушны людям", + "option_d": "они убийцы" + }, + "outputs": "D", + "meta": { + "id": 1895 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМедведю в дикой природе нужно найти других животных, чтобы поесть. О медведях известно, что\nA. они никогда не убивают\nB. они едят только цветы\nC. они послушны людям\nD. они убийцы\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.11288527399301529, + "B": 0.11288527399301529, + "C": 0.07758484780788422, + "D": 0.6496099233627319 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое действие можно рассматривать как действие, которое приносит пользу окружающей среде", + "option_a": "строительство бассейна на земле", + "option_b": "сжигание мусора", + "option_c": "охота на оленей", + "option_d": "выкуп алюминиевых банок" + }, + "outputs": "D", + "meta": { + "id": 775 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое действие можно рассматривать как действие, которое приносит пользу окружающей среде\nA. строительство бассейна на земле\nB. сжигание мусора\nC. охота на оленей\nD. выкуп алюминиевых банок\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6905195116996765, + "B": 0.05324715003371239, + "C": 0.08247079700231552, + "D": 0.026774346828460693 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Использование менструальной чаши вместо прокладок или тампонов может помочь избежать", + "option_a": "отходов", + "option_b": "таблеток", + "option_c": "крови", + "option_d": "гриппа" + }, + "outputs": "A", + "meta": { + "id": 909 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Использование менструальной чаши вместо прокладок или тампонов может помочь избежать\nA. отходов\nB. таблеток\nC. крови\nD. гриппа\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.31183457374572754, + "B": 0.14730022847652435, + "C": 0.24285702407360077, + "D": 0.18913723528385162 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лист поглощает солнечный свет для фотосинтеза до тех пор, пока", + "option_a": "солнечные панели размещаются на крыше", + "option_b": "солнечные лучи не станут слишком яркими", + "option_c": "кресло не загораживает солнечные лучи", + "option_d": "солнечный чай подается в саду" + }, + "outputs": "C", + "meta": { + "id": 729 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лист поглощает солнечный свет для фотосинтеза до тех пор, пока\nA) солнечные панели размещаются на крыше\nB) солнечные лучи не станут слишком яркими\nC) кресло не загораживает солнечные лучи\nD) солнечный чай подается в саду\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0472831204533577, + "B": 0.8381133079528809, + "C": 0.01739448495209217, + "D": 0.01739448495209217 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гречка и пшеница - одни из любимых продуктов", + "option_a": "медведей", + "option_b": "людей", + "option_c": "рыб", + "option_d": "пришельцев" + }, + "outputs": "B", + "meta": { + "id": 158 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Гречка и пшеница - одни из любимых продуктов\nA. медведей\nB. людей\nC. рыб\nD. пришельцев\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1572801172733307, + "B": 0.2760351896286011, + "C": 0.31278884410858154, + "D": 0.1782217025756836 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зимние снегопады следуют за осенним листопадом примерно через", + "option_a": "два дня", + "option_b": "два месяца", + "option_c": "два года", + "option_d": "12 месяцев" + }, + "outputs": "B", + "meta": { + "id": 322 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Зимние снегопады следуют за осенним листопадом примерно через\nA. два дня\nB. два месяца\nC. два года\nD. 12 месяцев\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09536605328321457, + "B": 0.08958811312913895, + "C": 0.6619715690612793, + "D": 0.09536605328321457 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Много железа содержится", + "option_a": "в небе", + "option_b": "в чашках с кофе", + "option_c": "во втором слое Земли", + "option_d": "в пустоте" + }, + "outputs": "C", + "meta": { + "id": 1474 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Много железа содержится\nA) в небе\nB) в чашках с кофе\nC) во втором слое Земли\nD) в пустоте\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2313033640384674, + "B": 0.1917572170495987, + "C": 0.27900511026382446, + "D": 0.21728938817977905 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если корове предлагается выбор, она откажется", + "option_a": "от тюка сена", + "option_b": "от моркови", + "option_c": "от яблока", + "option_d": "от свинины" + }, + "outputs": "D", + "meta": { + "id": 724 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли корове предлагается выбор, она откажется\nA) от тюка сена\nB) от моркови\nC) от яблока\nD) от свинины\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08872435241937637, + "B": 0.5435025691986084, + "C": 0.17644944787025452, + "D": 0.1070219874382019 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что мешает солнечному свету достигать подножия больших деревьев?", + "option_a": "луны", + "option_b": "тень от кроны", + "option_c": "облака", + "option_d": "кофейная гуща" + }, + "outputs": "B", + "meta": { + "id": 720 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто мешает солнечному свету достигать подножия больших деревьев?\nA. луны\nB. тень от кроны\nC. облака\nD. кофейная гуща\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16278880834579468, + "B": 0.06374900788068771, + "C": 0.442505806684494, + "D": 0.2521321773529053 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Окружающая среда, которая покрыта снегом, часто бывает белой из-за снега и другого фактора. Какого?", + "option_a": "холодный воздух, который течет по кругу", + "option_b": "температуры, которые ниже, чем в тропиках", + "option_c": "условия, которые не позволяют производить или хранить достаточно тепла", + "option_d": "холодный ветер, который иногда встречается с теплыми фронтами" + }, + "outputs": "C", + "meta": { + "id": 1193 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Окружающая среда, которая покрыта снегом, часто бывает белой из-за снега и другого фактора. Какого?\nA) холодный воздух, который течет по кругу\nB) температуры, которые ниже, чем в тропиках\nC) условия, которые не позволяют производить или хранить достаточно тепла\nD) холодный ветер, который иногда встречается с теплыми фронтами\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 491, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.02092023193836212, + "B": 0.8895508646965027, + "C": 0.02226947247982025, + "D": 0.018462039530277252 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бензин не может существовать без сырья, такого как", + "option_a": "песок", + "option_b": "ископаемые вещества", + "option_c": "вода", + "option_d": "воздух" + }, + "outputs": "B", + "meta": { + "id": 1364 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Бензин не может существовать без сырья, такого как\nA) песок\nB) ископаемые вещества\nC) вода\nD) воздух\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.23537150025367737, + "B": 0.08134221285581589, + "C": 0.11835221946239471, + "D": 0.49828144907951355 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплицы - это конструкции, используемые для размещения растений во время", + "option_a": "ясной погоды", + "option_b": "спячки", + "option_c": "карнавала", + "option_d": "заморозков" + }, + "outputs": "D", + "meta": { + "id": 1909 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Теплицы - это конструкции, используемые для размещения растений во время\nA) ясной погоды\nB) спячки\nC) карнавала\nD) заморозков\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1830386519432068, + "B": 0.6388676166534424, + "C": 0.07630185782909393, + "D": 0.03385874256491661 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой тип волны может вызвать бренчание струны?", + "option_a": "Приливная", + "option_b": "Механическая", + "option_c": "Светлая", + "option_d": "Темная" + }, + "outputs": "B", + "meta": { + "id": 1712 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой тип волны может вызвать бренчание струны?\nA) Приливная\nB) Механическая\nC) Светлая\nD) Темная\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.262459933757782, + "B": 0.102780781686306, + "C": 0.262459933757782, + "D": 0.262459933757782 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно приготовить в печи?", + "option_a": "мороженое с фруктами", + "option_b": "взбитые сливки", + "option_c": "бутерброды с мороженым", + "option_d": "лазанья" + }, + "outputs": "D", + "meta": { + "id": 314 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто можно приготовить в печи?\nA) мороженое с фруктами\nB) взбитые сливки\nC) бутерброды с мороженым\nD) лазанья\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.12273183465003967, + "B": 0.6232837438583374, + "C": 0.0843522772192955, + "D": 0.10831046104431152 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для работы холодильника", + "option_a": "требуется дополнительный льдогенератор", + "option_b": "требуется электрическая розетка", + "option_c": "необходимы батарейки AA", + "option_d": "требуется холодильник" + }, + "outputs": "B", + "meta": { + "id": 1840 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для работы холодильника\nA. требуется дополнительный льдогенератор\nB. требуется электрическая розетка\nC. необходимы батарейки AA\nD. требуется холодильник\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.25760799646377563, + "B": 0.15624716877937317, + "C": 0.2919081151485443, + "D": 0.20062533020973206 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто из этих учеников увидит учителя больше?", + "option_a": "девочка посередине", + "option_b": "девочка сзади", + "option_c": "мальчик вне класса", + "option_d": "мальчик, сидящий впереди" + }, + "outputs": "D", + "meta": { + "id": 30 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто из этих учеников увидит учителя больше?\nA. девочка посередине\nB. девочка сзади\nC. мальчик вне класса\nD. мальчик, сидящий впереди\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.040432896465063095, + "B": 0.03798319026827812, + "C": 0.7629127502441406, + "D": 0.10990800708532333 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Плохое место в городе, с точки зрения природы и здоровья Земли, скорее всего окажется", + "option_a": "опыленными цветами", + "option_b": "компостом в куче", + "option_c": "грудой мусора", + "option_d": "поливными садами" + }, + "outputs": "C", + "meta": { + "id": 1757 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПлохое место в городе, с точки зрения природы и здоровья Земли, скорее всего окажется\nA. опыленными цветами\nB. компостом в куче\nC. грудой мусора\nD. поливными садами\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3884897232055664, + "B": 0.08143186569213867, + "C": 0.1342584639787674, + "D": 0.3025560975074768 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из следующих предметов могут участвовать в процессе фотосинтеза?", + "option_a": "летающая оса", + "option_b": "стремительный гепард", + "option_c": "мокрая грязь", + "option_d": "желтый тюльпан" + }, + "outputs": "D", + "meta": { + "id": 66 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие из следующих предметов могут участвовать в процессе фотосинтеза?\nA. летающая оса\nB. стремительный гепард\nC. мокрая грязь\nD. желтый тюльпан\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.12808966636657715, + "B": 0.2711658179759979, + "C": 0.28865450620651245, + "D": 0.23930300772190094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Под землей можно спрятаться от какой угрозы?", + "option_a": "еда", + "option_b": "охотники", + "option_c": "грязь", + "option_d": "вода" + }, + "outputs": "B", + "meta": { + "id": 1889 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Под землей можно спрятаться от какой угрозы?\nA) еда\nB) охотники\nC) грязь\nD) вода\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02060038410127163, + "B": 0.02060038410127163, + "C": 0.8759505748748779, + "D": 0.04642367735505104 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из-за недостатка средств к существованию 1 из 4 человек", + "option_a": "воспитывает единорогов", + "option_b": "видит фей", + "option_c": "хронически недоедает", + "option_d": "ненавидит волшебников" + }, + "outputs": "C", + "meta": { + "id": 988 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИз-за недостатка средств к существованию 1 из 4 человек\nA. воспитывает единорогов\nB. видит фей\nC. хронически недоедает\nD. ненавидит волшебников\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0703730657696724, + "B": 0.035385798662900925, + "C": 0.05148603394627571, + "D": 0.8053770661354065 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может причинить вред животному?", + "option_a": "привязанность", + "option_b": "объятия", + "option_c": "любовь", + "option_d": "удары" + }, + "outputs": "D", + "meta": { + "id": 833 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто может причинить вред животному?\nA. привязанность\nB. объятия\nC. любовь\nD. удары\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6313295364379883, + "B": 0.09095164388418198, + "C": 0.07540155947208405, + "D": 0.05872279033064842 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку Ford терял клиентов, его прибыль", + "option_a": "резко упала", + "option_b": "выросла", + "option_c": "осталась прежней", + "option_d": "колебалась" + }, + "outputs": "A", + "meta": { + "id": 1952 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПоскольку Ford терял клиентов, его прибыль\nA) резко упала\nB) выросла\nC) осталась прежней\nD) колебалась\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.07017424702644348, + "B": 0.018887143582105637, + "C": 0.6254562735557556, + "D": 0.24493220448493958 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Собака с очень толстым хвостом, которая спаривается с другой собакой с толстым хвостом, имеет высокую вероятность создания помета из", + "option_a": "ситцевых котят", + "option_b": "бесхвостых щенков", + "option_c": "маленьких хвостатых щенков", + "option_d": "толстохвостых щенков" + }, + "outputs": "D", + "meta": { + "id": 683 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСобака с очень толстым хвостом, которая спаривается с другой собакой с толстым хвостом, имеет высокую вероятность создания помета из\nA. ситцевых котят\nB. бесхвостых щенков\nC. маленьких хвостатых щенков\nD. толстохвостых щенков\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 471, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.21579588949680328, + "B": 0.2027214914560318, + "C": 0.2949580252170563, + "D": 0.19043922424316406 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой зверь хорошо себя чувствует в необычно жарких и сухих местах?", + "option_a": "медуза", + "option_b": "лисица фенек", + "option_c": "песец", + "option_d": "белый медведь" + }, + "outputs": "B", + "meta": { + "id": 1791 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой зверь хорошо себя чувствует в необычно жарких и сухих местах?\nA. медуза\nB. лисица фенек\nC. песец\nD. белый медведь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7348876595497131, + "B": 0.011878352612257004, + "C": 0.11269867420196533, + "D": 0.01525210589170456 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из ресурсов вы можете использовать столько, сколько хотите, не уменьшая их количества вообще?", + "option_a": "солнечный свет", + "option_b": "природный газ", + "option_c": "доброжелательность", + "option_d": "ископаемое топливо" + }, + "outputs": "A", + "meta": { + "id": 243 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие из ресурсов вы можете использовать столько, сколько хотите, не уменьшая их количества вообще?\nA) солнечный свет\nB) природный газ\nC) доброжелательность\nD) ископаемое топливо\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.047899436205625534, + "B": 0.027292275801301003, + "C": 0.849037766456604, + "D": 0.03092619962990284 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы вещь была перемещена толчком,", + "option_a": "кого-то заставят съесть крекеры", + "option_b": "кому-то нужно похудеть", + "option_c": "кому-то нужно немного напрячься", + "option_d": "нужно открыть тренажерный зал" + }, + "outputs": "C", + "meta": { + "id": 751 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы вещь была перемещена толчком,\nA. кого-то заставят съесть крекеры\nB. кому-то нужно похудеть\nC. кому-то нужно немного напрячься\nD. нужно открыть тренажерный зал\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.07412011921405792, + "B": 0.037269942462444305, + "C": 0.6606255173683167, + "D": 0.17780494689941406 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если кто-то умирает от жажды, он может напиться,", + "option_a": "выпив кислоту", + "option_b": "разыскивая долину", + "option_c": "ловя губами дождь", + "option_d": "найдя снег" + }, + "outputs": "C", + "meta": { + "id": 386 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли кто-то умирает от жажды, он может напиться,\nA) выпив кислоту\nB) разыскивая долину\nC) ловя губами дождь\nD) найдя снег\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21671798825263977, + "B": 0.0703580230474472, + "C": 0.4048824906349182, + "D": 0.23069506883621216 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В чем легче увидеть себя?", + "option_a": "смоляная яма", + "option_b": "глубокая пещера", + "option_c": "чистое горное озеро", + "option_d": "бездна" + }, + "outputs": "C", + "meta": { + "id": 67 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ чем легче увидеть себя?\nA) смоляная яма\nB) глубокая пещера\nC) чистое горное озеро\nD) бездна\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4871669113636017, + "B": 0.08465690910816193, + "C": 0.1683603972196579, + "D": 0.13111919164657593 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Доминирующая черта всегда будет видна, когда", + "option_a": "присутствует доминантный аллель", + "option_b": "обе черты отсутствуют", + "option_c": "она отсутствует", + "option_d": "присутствуют только рецессивные аллели" + }, + "outputs": "A", + "meta": { + "id": 1876 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Доминирующая черта всегда будет видна, когда\nA. присутствует доминантный аллель\nB. обе черты отсутствуют\nC. она отсутствует\nD. присутствуют только рецессивные аллели\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.20201456546783447, + "B": 0.13884246349334717, + "C": 0.4017539620399475, + "D": 0.14779703319072723 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Многие виды растений могут воспроизводиться только в том случае, если в окружающей среде есть", + "option_a": "грибы", + "option_b": "муравьи", + "option_c": "пчелы", + "option_d": "пауки." + }, + "outputs": "C", + "meta": { + "id": 954 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМногие виды растений могут воспроизводиться только в том случае, если в окружающей среде есть\nA. грибы\nB. муравьи\nC. пчелы\nD. пауки.\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.2075267881155014, + "B": 0.22091110050678253, + "C": 0.18314173817634583, + "D": 0.301949679851532 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример успешного воспроизведения?", + "option_a": "Глиняная табличка разделяется на две идентичные половинки", + "option_b": "Птица щебечет другой птице", + "option_c": "Лань бежит рядом со своим олененком", + "option_d": "Меньший айсберг отделяется от большего" + }, + "outputs": "C", + "meta": { + "id": 315 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Выберите пример успешного воспроизведения?\nA. Глиняная табличка разделяется на две идентичные половинки\nB. Птица щебечет другой птице\nC. Лань бежит рядом со своим олененком\nD. Меньший айсберг отделяется от большего\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 478, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.3309345245361328, + "B": 0.06516487151384354, + "C": 0.2274477630853653, + "D": 0.27435436844825745 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кварц может создавать радугу, когда свет падает", + "option_a": "вокруг области кристалла", + "option_b": "в комнате, где находится кварц", + "option_c": "через любую из его сторон", + "option_d": ", в зеркало, закрепленное на куске кварца" + }, + "outputs": "C", + "meta": { + "id": 1088 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кварц может создавать радугу, когда свет падает\nA) вокруг области кристалла\nB) в комнате, где находится кварц\nC) через любую из его сторон\nD) , в зеркало, закрепленное на куске кварца\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.17086201906204224, + "B": 0.0669105276465416, + "C": 0.20609892904758453, + "D": 0.4944056272506714 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Природный ресурс:", + "option_a": "плиты из пенопласта", + "option_b": "нейлоновые колготки.", + "option_c": "оконное стекло", + "option_d": "соленые волны" + }, + "outputs": "D", + "meta": { + "id": 51 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Природный ресурс:\nA. плиты из пенопласта\nB. нейлоновые колготки.\nC. оконное стекло\nD. соленые волны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6134331822395325, + "B": 0.0417446531355381, + "C": 0.10014021396636963, + "D": 0.09407302737236023 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное испускает то, к чему многие аутичные люди будут особенно чувствительны?", + "option_a": "скунс", + "option_b": "собака", + "option_c": "кошка", + "option_d": "корова" + }, + "outputs": "A", + "meta": { + "id": 503 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое животное испускает то, к чему многие аутичные люди будут особенно чувствительны?\nA. скунс\nB. собака\nC. кошка\nD. корова\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.13131891191005707, + "B": 0.09025408327579498, + "C": 0.4879089593887329, + "D": 0.21650828421115875 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Температура тела кошки будет самой высокой, если погрузить ее", + "option_a": "в яблочный сок", + "option_b": "в воду", + "option_c": "в жидкий азот", + "option_d": "в лаву" + }, + "outputs": "D", + "meta": { + "id": 2261 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Температура тела кошки будет самой высокой, если погрузить ее\nA. в яблочный сок\nB. в воду\nC. в жидкий азот\nD. в лаву\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1007913202047348, + "B": 0.07849635183811188, + "C": 0.16617679595947266, + "D": 0.6174216866493225 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из объектов требует энергии для роста?", + "option_a": "машина", + "option_b": "письменный стол", + "option_c": "дом", + "option_d": "бегемот" + }, + "outputs": "D", + "meta": { + "id": 53 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой из объектов требует энергии для роста?\nA) машина\nB) письменный стол\nC) дом\nD) бегемот\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6184122562408447, + "B": 0.05403625965118408, + "C": 0.14688579738140106, + "D": 0.06938393414020538 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Неодушевленные предметы могут быть опылителями, например", + "option_a": "ветер", + "option_b": "птицы", + "option_c": "пчелы", + "option_d": "олени" + }, + "outputs": "A", + "meta": { + "id": 969 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНеодушевленные предметы могут быть опылителями, например\nA) ветер\nB) птицы\nC) пчелы\nD) олени\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.21961189806461334, + "B": 0.2488528937101364, + "C": 0.19380682706832886, + "D": 0.23377566039562225 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Карты могут быть перерисованы из-за", + "option_a": "лавины", + "option_b": "землетрясения", + "option_c": "ледника", + "option_d": "глубокого замерзания" + }, + "outputs": "B", + "meta": { + "id": 2061 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Карты могут быть перерисованы из-за\nA) лавины\nB) землетрясения\nC) ледника\nD) глубокого замерзания\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.2733006179332733, + "B": 0.22657418251037598, + "C": 0.17645615339279175, + "D": 0.22657418251037598 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скорее всего, белка", + "option_a": "запасает еду на лето", + "option_b": "запасает еду на весну", + "option_c": "имеет незначительную потребность в хранении еды", + "option_d": "хранит еду для наступающих суровых условий" + }, + "outputs": "D", + "meta": { + "id": 144 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСкорее всего, белка\nA) запасает еду на лето\nB) запасает еду на весну\nC) имеет незначительную потребность в хранении еды\nD) хранит еду для наступающих суровых условий\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.1595476120710373, + "B": 0.11672752350568771, + "C": 0.3172983229160309, + "D": 0.35954609513282776 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Очистка воды используется для удаления вредных веществ перед чем?", + "option_a": "опорожнение", + "option_b": "испарение", + "option_c": "поглощение", + "option_d": "удаление" + }, + "outputs": "C", + "meta": { + "id": 1612 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОчистка воды используется для удаления вредных веществ перед чем?\nA) опорожнение\nB) испарение\nC) поглощение\nD) удаление\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0985739603638649, + "B": 0.5005999207496643, + "C": 0.14342428743839264, + "D": 0.19603773951530457 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую роль в пищевой цепи играют грибы?", + "option_a": "строители", + "option_b": "разложители", + "option_c": "создатели", + "option_d": "потребители" + }, + "outputs": "B", + "meta": { + "id": 2043 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакую роль в пищевой цепи играют грибы?\nA) строители\nB) разложители\nC) создатели\nD) потребители\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4194493591785431, + "B": 0.12017425894737244, + "C": 0.19813385605812073, + "D": 0.09359180182218552 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животные приспосабливаются к этому", + "option_a": "природа местности", + "option_b": "ступни", + "option_c": "кожа", + "option_d": "внешний вид" + }, + "outputs": "A", + "meta": { + "id": 96 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Животные приспосабливаются к этому\nA) природа местности\nB) ступни\nC) кожа\nD) внешний вид\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.20905332267284393, + "B": 0.08186645805835724, + "C": 0.4425658881664276, + "D": 0.1733112931251526 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поджаривание хлеба делает его", + "option_a": "меньше", + "option_b": "длиннее", + "option_c": "тверже", + "option_d": "шире" + }, + "outputs": "C", + "meta": { + "id": 1184 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПоджаривание хлеба делает его\nA) меньше\nB) длиннее\nC) тверже\nD) шире\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 417, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.22125375270843506, + "B": 0.17231258749961853, + "C": 0.32192230224609375, + "D": 0.2078486531972885 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Функция ваших легких будет нарушена на", + "option_a": "поверхности колец Сатурна", + "option_b": "небольшой парусной лодке", + "option_c": "продуваемом ветрами пляже", + "option_d": "красивом лугу" + }, + "outputs": "A", + "meta": { + "id": 2082 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nФункция ваших легких будет нарушена на\nA) поверхности колец Сатурна\nB) небольшой парусной лодке\nC) продуваемом ветрами пляже\nD) красивом лугу\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.13466811180114746, + "B": 0.2515931725502014, + "C": 0.12650898098945618, + "D": 0.414806991815567 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При температуре выше 100 градусов по Цельсию во что превращаетс] вода?", + "option_a": "холодный душ", + "option_b": "твердое тело", + "option_c": "лед", + "option_d": "частицы пара" + }, + "outputs": "D", + "meta": { + "id": 790 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПри температуре выше 100 градусов по Цельсию во что превращаетс] вода?\nA. холодный душ\nB. твердое тело\nC. лед\nD. частицы пара\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2028014063835144, + "B": 0.37888288497924805, + "C": 0.10855177044868469, + "D": 0.2028014063835144 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком месте в 1824 году произошла катастрофа, вызванная пришедшей в город волной из залива?", + "option_a": "Москва", + "option_b": "Санкт-Петербург", + "option_c": "Екатеринбург", + "option_d": "Астрахань" + }, + "outputs": "B", + "meta": { + "id": 318 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каком месте в 1824 году произошла катастрофа, вызванная пришедшей в город волной из залива?\nA) Москва\nB) Санкт-Петербург\nC) Екатеринбург\nD) Астрахань\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2514943480491638, + "B": 0.11159995198249817, + "C": 0.30336010456085205, + "D": 0.20849615335464478 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, имеет негативное влияние?", + "option_a": "снег на ледниковую среду", + "option_b": "тепло на ледниковую среду", + "option_c": "холод на ледниковую среду", + "option_d": "жизнь на ледниковую среду" + }, + "outputs": "B", + "meta": { + "id": 546 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что, вероятно, имеет негативное влияние?\nA) снег на ледниковую среду\nB) тепло на ледниковую среду\nC) холод на ледниковую среду\nD) жизнь на ледниковую среду\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.12837617099285126, + "B": 0.05696658417582512, + "C": 0.5753421187400818, + "D": 0.14546926319599152 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, что умерло миллионы лет назад, все еще может быть актуальным", + "option_a": "потому что мы помним о прошлом", + "option_b": "потому что мы водим машины", + "option_c": "потому что мы все еще видим прошлое", + "option_d": "потому что мы скучаем по умершим" + }, + "outputs": "B", + "meta": { + "id": 1846 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТо, что умерло миллионы лет назад, все еще может быть актуальным\nA. потому что мы помним о прошлом\nB. потому что мы водим машины\nC. потому что мы все еще видим прошлое\nD. потому что мы скучаем по умершим\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5951771140098572, + "B": 0.1504843384027481, + "C": 0.03154323250055313, + "D": 0.05200599506497383 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Свалки могут вызывать", + "option_a": "неприятные запахи", + "option_b": "перенаселение", + "option_c": "разрастание травы", + "option_d": "шумовое загрязнение" + }, + "outputs": "A", + "meta": { + "id": 902 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСвалки могут вызывать\nA. неприятные запахи\nB. перенаселение\nC. разрастание травы\nD. шумовое загрязнение\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.25371894240379333, + "B": 0.1638132631778717, + "C": 0.30604344606399536, + "D": 0.1638132631778717 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, имеющий определенные предпочтения, - это что-то вроде", + "option_a": "ему легко становится скучно", + "option_b": "ему нравятся светловолосые девушки", + "option_c": "он ненавидит то пить колу, то есть горох", + "option_d": "ему нравится ужинать" + }, + "outputs": "B", + "meta": { + "id": 1182 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловек, имеющий определенные предпочтения, - это что-то вроде\nA) ему легко становится скучно\nB) ему нравятся светловолосые девушки\nC) он ненавидит то пить колу, то есть горох\nD) ему нравится ужинать\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.2850925922393799, + "B": 0.18406961858272552, + "C": 0.18406961858272552, + "D": 0.25159332156181335 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Земноводные вылупляются из", + "option_a": "деревьев", + "option_b": "скал", + "option_c": "неба", + "option_d": "кальциевых капсул жизни" + }, + "outputs": "D", + "meta": { + "id": 71 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Земноводные вылупляются из\nA) деревьев\nB) скал\nC) неба\nD) кальциевых капсул жизни\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.25968649983406067, + "B": 0.13900017738342285, + "C": 0.22917254269123077, + "D": 0.2942633628845215 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Попугай ел много корма. Это может привести к тому, что", + "option_a": "родители попугая будут ругать его", + "option_b": "попугай не сможет оторваться от земли", + "option_c": "попугай станет летать быстрее", + "option_d": "попугай окажется в больнице" + }, + "outputs": "B", + "meta": { + "id": 1773 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Попугай ел много корма. Это может привести к тому, что\nA) родители попугая будут ругать его\nB) попугай не сможет оторваться от земли\nC) попугай станет летать быстрее\nD) попугай окажется в больнице\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.42343011498451233, + "B": 0.03938513621687889, + "C": 0.2910189926624298, + "D": 0.1374676376581192 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Часть клетки, которая отделяет внутреннюю часть от внешней среды, также обеспечивает клетку", + "option_a": "питательными веществами", + "option_b": "пищей", + "option_c": "поддержкой", + "option_d": "энергией" + }, + "outputs": "C", + "meta": { + "id": 228 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧасть клетки, которая отделяет внутреннюю часть от внешней среды, также обеспечивает клетку\nA. питательными веществами\nB. пищей\nC. поддержкой\nD. энергией\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09186263382434845, + "B": 0.12556131184101105, + "C": 0.6376530528068542, + "D": 0.07615679502487183 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что вызывает эрозию?", + "option_a": "салаты", + "option_b": "бетон", + "option_c": "штормы", + "option_d": "автомобили" + }, + "outputs": "C", + "meta": { + "id": 2316 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто вызывает эрозию?\nA. салаты\nB. бетон\nC. штормы\nD. автомобили\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 419, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10231183469295502, + "B": 0.040065888315439224, + "C": 0.6671569347381592, + "D": 0.13984368741512299 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сильные дожди вызывают наводнения, которые", + "option_a": "питают поля", + "option_b": "создают плотины", + "option_c": "вымывают посевы", + "option_d": "кормят рыбу" + }, + "outputs": "C", + "meta": { + "id": 1488 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сильные дожди вызывают наводнения, которые\nA) питают поля\nB) создают плотины\nC) вымывают посевы\nD) кормят рыбу\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.07572311908006668, + "B": 0.05204369127750397, + "C": 0.6749128699302673, + "D": 0.14146941900253296 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что происходит с водой быстрее, когда солнце начинает интенсивнее согревать ее?", + "option_a": "объем воды сохраняется", + "option_b": "уровень воды повышается, поскольку влага удерживается в воде", + "option_c": "тепло вызывает потерю объема воды, поскольку влага испаряется в воздух", + "option_d": "тепло заставляет воду закипать, когда она достигает более высоких температур" + }, + "outputs": "C", + "meta": { + "id": 1216 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто происходит с водой быстрее, когда солнце начинает интенсивнее согревать ее?\nA. объем воды сохраняется\nB. уровень воды повышается, поскольку влага удерживается в воде\nC. тепло вызывает потерю объема воды, поскольку влага испаряется в воздух\nD. тепло заставляет воду закипать, когда она достигает более высоких температур\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12183567136526108, + "B": 0.12183567136526108, + "C": 0.5460295677185059, + "D": 0.1380578875541687 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда у животного растут глаза, что происходит?", + "option_a": "они высыхают", + "option_b": "они закрываются", + "option_c": "они видят больше", + "option_d": "они выскакивают" + }, + "outputs": "C", + "meta": { + "id": 1277 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда у животного растут глаза, что происходит?\nA. они высыхают\nB. они закрываются\nC. они видят больше\nD. они выскакивают\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.20325784385204315, + "B": 0.1685066670179367, + "C": 0.335115522146225, + "D": 0.19094306230545044 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Коралл - это тип живых организмов, которые можно идентифицировать в", + "option_a": "Тихом океане исключительно", + "option_b": "любых местах, заполненных жидкостью", + "option_c": "открытых местах с соленой водой", + "option_d": "источниках воды в Евразии." + }, + "outputs": "C", + "meta": { + "id": 262 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКоралл - это тип живых организмов, которые можно идентифицировать в\nA) Тихом океане исключительно\nB) любых местах, заполненных жидкостью\nC) открытых местах с соленой водой\nD) источниках воды в Евразии.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.19489356875419617, + "B": 0.23508653044700623, + "C": 0.266387939453125, + "D": 0.19489356875419617 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Свет, который может обжечь кожу, излучается", + "option_a": "фонариком", + "option_b": "лазером", + "option_c": "лампочкой", + "option_d": "люминесцентным светом." + }, + "outputs": "B", + "meta": { + "id": 2280 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСвет, который может обжечь кожу, излучается\nA. фонариком\nB. лазером\nC. лампочкой\nD. люминесцентным светом.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.022180190309882164, + "B": 0.02083636075258255, + "C": 0.8859845399856567, + "D": 0.0343533493578434 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Звук можно услышать, когда он достигает чего?", + "option_a": "глаза", + "option_b": "мозг", + "option_c": "орган слуха", + "option_d": "шея" + }, + "outputs": "C", + "meta": { + "id": 1185 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗвук можно услышать, когда он достигает чего?\nA. глаза\nB. мозг\nC. орган слуха\nD. шея\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03562537208199501, + "B": 0.017913561314344406, + "C": 0.8108296990394592, + "D": 0.10308542102575302 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если я хочу избежать слишком большого количества ультрафиолетовых лучей, я могу", + "option_a": "надеть бикини", + "option_b": "надеть шорты", + "option_c": "уйти в тень", + "option_d": "ничего не надеть" + }, + "outputs": "C", + "meta": { + "id": 1730 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли я хочу избежать слишком большого количества ультрафиолетовых лучей, я могу\nA) надеть бикини\nB) надеть шорты\nC) уйти в тень\nD) ничего не надеть\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6194246411323547, + "B": 0.06949751079082489, + "C": 0.1076398491859436, + "D": 0.07875099778175354 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Засуха может вызвать появление", + "option_a": "пересохшей травы", + "option_b": "пышных лужаек", + "option_c": "переполненных прудов", + "option_d": "цветущих цветов" + }, + "outputs": "A", + "meta": { + "id": 1941 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗасуха может вызвать появление\nA) пересохшей травы\nB) пышных лужаек\nC) переполненных прудов\nD) цветущих цветов\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.12368128448724747, + "B": 0.09632308781147003, + "C": 0.3158312439918518, + "D": 0.40553534030914307 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, у которого есть домашнее животное-амфибия, скорее всего, будет кормить его", + "option_a": "оленем", + "option_b": "воском", + "option_c": "стейком", + "option_d": "мучными червями" + }, + "outputs": "D", + "meta": { + "id": 1495 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек, у которого есть домашнее животное-амфибия, скорее всего, будет кормить его\nA) оленем\nB) воском\nC) стейком\nD) мучными червями\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4120858609676361, + "B": 0.08114451169967651, + "C": 0.19465559720993042, + "D": 0.16137515008449554 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Крошечные частицы влаги можно найти", + "option_a": "в том, чем мы все дышим", + "option_b": "под океанскими волнами", + "option_c": "исключительно в горячем паре", + "option_d": "только в кучевых облаках" + }, + "outputs": "A", + "meta": { + "id": 209 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКрошечные частицы влаги можно найти\nA. в том, чем мы все дышим\nB. под океанскими волнами\nC. исключительно в горячем паре\nD. только в кучевых облаках\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.09388230741024017, + "B": 0.6937016248703003, + "C": 0.053492527455091476, + "D": 0.09993720054626465 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером инстинктивного поведения является", + "option_a": "птица, умирающая от инфекции", + "option_b": "птенец, падающий из гнезда", + "option_c": "лошадь, выполняющая команды своего всадника", + "option_d": "стадо зебр, направляющееся в сторону дождевых облаков в конце засушливого сезона" + }, + "outputs": "D", + "meta": { + "id": 768 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером инстинктивного поведения является\nA) птица, умирающая от инфекции\nB) птенец, падающий из гнезда\nC) лошадь, выполняющая команды своего всадника\nD) стадо зебр, направляющееся в сторону дождевых облаков в конце засушливого сезона\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.2890010178089142, + "B": 0.09987607598304749, + "C": 0.16466781497001648, + "D": 0.37108463048934937 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Студент оставляет ногтем линию на образце минерала, а значит, этот минерал можно охарактеризовать как что?", + "option_a": "минерал", + "option_b": "жидкий минерал", + "option_c": "мягкий минерал", + "option_d": "минеральный расплав" + }, + "outputs": "C", + "meta": { + "id": 2310 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСтудент оставляет ногтем линию на образце минерала, а значит, этот минерал можно охарактеризовать как что?\nA. минерал\nB. жидкий минерал\nC. мягкий минерал\nD. минеральный расплав\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6201035380363464, + "B": 0.0839218869805336, + "C": 0.10122911632061005, + "D": 0.0788373127579689 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Утром в ясную погоду небо", + "option_a": "яркое", + "option_b": "облачное", + "option_c": "грозовое", + "option_d": "темное" + }, + "outputs": "A", + "meta": { + "id": 1928 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Утром в ясную погоду небо\nA) яркое\nB) облачное\nC) грозовое\nD) темное\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19899187982082367, + "B": 0.06876974552869797, + "C": 0.5409159660339355, + "D": 0.1065126582980156 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ястреб предпочел бы это на обед", + "option_a": "Попкорн", + "option_b": "Трава", + "option_c": "Цыпленок", + "option_d": "Яблоко" + }, + "outputs": "C", + "meta": { + "id": 1346 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЯстреб предпочел бы это на обед\nA. Попкорн\nB. Трава\nC. Цыпленок\nD. Яблоко\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4247526228427887, + "B": 0.1884828358888626, + "C": 0.16633552312850952, + "D": 0.09477512538433075 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чистка туалета - это навык", + "option_a": "усвоенный", + "option_b": "врожденный", + "option_c": "генетический", + "option_d": "предопределенный" + }, + "outputs": "A", + "meta": { + "id": 836 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧистка туалета - это навык\nA) усвоенный\nB) врожденный\nC) генетический\nD) предопределенный\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.17620493471622467, + "B": 0.05720537155866623, + "C": 0.15550032258033752, + "D": 0.5777537822723389 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из перечисленного встречается в лесах?", + "option_a": "Скорпионы", + "option_b": "Киты", + "option_c": "Верблюды", + "option_d": "Сверчки" + }, + "outputs": "D", + "meta": { + "id": 1736 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из перечисленного встречается в лесах?\nA) Скорпионы\nB) Киты\nC) Верблюды\nD) Сверчки\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2068634331226349, + "B": 0.0714900866150856, + "C": 0.3864717483520508, + "D": 0.22020494937896729 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если кто-то страдает от частых падений", + "option_a": ", им следует выйти из дома", + "option_b": "им следует просто перестать пытаться ходить", + "option_c": "им следует попробовать расстелить ковер или бросить коврики", + "option_d": "им следует попробовать надеть обувь с гладкой подошвой" + }, + "outputs": "C", + "meta": { + "id": 1759 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли кто-то страдает от частых падений\nA. , им следует выйти из дома\nB. им следует просто перестать пытаться ходить\nC. им следует попробовать расстелить ковер или бросить коврики\nD. им следует попробовать надеть обувь с гладкой подошвой\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7348016500473022, + "B": 0.0322849303483963, + "C": 0.05000387877225876, + "D": 0.038943059742450714 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы помочь животным не замерзнуть в укрытиях зимой", + "option_a": "прикрепите термоизоляторы к их укрытиям", + "option_b": "поместите их укрытия на цемент", + "option_c": "поставьте укрытия прямо на пути ветра", + "option_d": "прикрепите черепицу к их укрытиям" + }, + "outputs": "A", + "meta": { + "id": 671 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы помочь животным не замерзнуть в укрытиях зимой\nA. прикрепите термоизоляторы к их укрытиям\nB. поместите их укрытия на цемент\nC. поставьте укрытия прямо на пути ветра\nD. прикрепите черепицу к их укрытиям\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.2538197636604309, + "B": 0.2538197636604309, + "C": 0.19767503440380096, + "D": 0.19767503440380096 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером тектонических изменений на Земле является случай, когда вулкан, напоминающий высокую гору, сильно взрывается и", + "option_a": "превращает глубокий кратер в вулканическую породу и лед", + "option_b": "испускает потоки магмы вниз, образуя огромное озеро лавы", + "option_c": "хлещет вверх, открывая холмы снега", + "option_d": "заполняет глубокий кратер очень горячей водой" + }, + "outputs": "B", + "meta": { + "id": 1015 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером тектонических изменений на Земле является случай, когда вулкан, напоминающий высокую гору, сильно взрывается и\nA. превращает глубокий кратер в вулканическую породу и лед\nB. испускает потоки магмы вниз, образуя огромное озеро лавы\nC. хлещет вверх, открывая холмы снега\nD. заполняет глубокий кратер очень горячей водой\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 486, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6367554068565369, + "B": 0.043331749737262726, + "C": 0.11065148562192917, + "D": 0.04612640663981438 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стадо оленей может быть вынуждено искать новый дом, если", + "option_a": "ресурсов в районе становится слишком мало для выживания стада", + "option_b": "вода в этом районе становится слегка соленой", + "option_c": "весной рождается больше детенышей", + "option_d": "лось перемещается в место, где живут олени" + }, + "outputs": "A", + "meta": { + "id": 204 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСтадо оленей может быть вынуждено искать новый дом, если\nA. ресурсов в районе становится слишком мало для выживания стада\nB. вода в этом районе становится слегка соленой\nC. весной рождается больше детенышей\nD. лось перемещается в место, где живут олени\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.014662559144198895, + "B": 0.011419213376939297, + "C": 0.9071404337882996, + "D": 0.025733593851327896 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из перечисленного нельзя считать возобновляемыми источниками энергии?", + "option_a": "Солнце", + "option_b": "Ветер", + "option_c": "Природный газ", + "option_d": "Гидроэнергетика" + }, + "outputs": "C", + "meta": { + "id": 693 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из перечисленного нельзя считать возобновляемыми источниками энергии?\nA) Солнце\nB) Ветер\nC) Природный газ\nD) Гидроэнергетика\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.17344149947166443, + "B": 0.17344149947166443, + "C": 0.44289839267730713, + "D": 0.08721185475587845 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько раз равноденствие бывает в первой половине года", + "option_a": "три раза", + "option_b": "четыре раза", + "option_c": "дважды", + "option_d": "один раз" + }, + "outputs": "D", + "meta": { + "id": 1454 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСколько раз равноденствие бывает в первой половине года\nA) три раза\nB) четыре раза\nC) дважды\nD) один раз\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5771600604057312, + "B": 0.06475556641817093, + "C": 0.1553405374288559, + "D": 0.0831478014588356 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дрожжи, поставленные в прогретую духовку из кухонного шкафчика,", + "option_a": "поднимаются", + "option_b": "замерзают", + "option_c": "опускаются", + "option_d": "превращаются в противогрибковый крем" + }, + "outputs": "A", + "meta": { + "id": 1875 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДрожжи, поставленные в прогретую духовку из кухонного шкафчика,\nA) поднимаются\nB) замерзают\nC) опускаются\nD) превращаются в противогрибковый крем\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.25272756814956665, + "B": 0.22303131222724915, + "C": 0.3245086371898651, + "D": 0.07707756012678146 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Источником чего, в первую очередь, является солнце?", + "option_a": "Свет", + "option_b": "Энергия", + "option_c": "Тепло", + "option_d": "Питательные вещества" + }, + "outputs": "A", + "meta": { + "id": 801 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Источником чего, в первую очередь, является солнце?\nA. Свет\nB. Энергия\nC. Тепло\nD. Питательные вещества\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.45831969380378723, + "B": 0.09024849534034729, + "C": 0.1583910584449768, + "D": 0.11588136851787567 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В течение нескольких лет на жаре и под прямыми лучами солнечного света большой валун может быть", + "option_a": "разрушен", + "option_b": "катапультирован", + "option_c": "заморожен", + "option_d": "прогнившим" + }, + "outputs": "A", + "meta": { + "id": 2203 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ течение нескольких лет на жаре и под прямыми лучами солнечного света большой валун может быть\nA. разрушен\nB. катапультирован\nC. заморожен\nD. прогнившим\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.07983220368623734, + "B": 0.24590051174163818, + "C": 0.3808581531047821, + "D": 0.21700641512870789 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Содержание органического вещества в почве может быть увеличено", + "option_a": "выкапыванием цветов из почвы", + "option_b": "разлагающимся трупом мыши", + "option_c": "скунсами, распыляющими свой секрет на почву", + "option_d": "животными, поедающими посевы, посаженные в почву" + }, + "outputs": "B", + "meta": { + "id": 2021 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Содержание органического вещества в почве может быть увеличено\nA. выкапыванием цветов из почвы\nB. разлагающимся трупом мыши\nC. скунсами, распыляющими свой секрет на почву\nD. животными, поедающими посевы, посаженные в почву\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 475, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.1637338250875473, + "B": 0.11253248900175095, + "C": 0.4450746178627014, + "D": 0.19750066101551056 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой ситуации большая часть спасательных операций может быть проведена по воздуху?", + "option_a": "выселение", + "option_b": "взрыв бомбы", + "option_c": "пожар", + "option_d": "затопление" + }, + "outputs": "D", + "meta": { + "id": 634 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ какой ситуации большая часть спасательных операций может быть проведена по воздуху?\nA) выселение\nB) взрыв бомбы\nC) пожар\nD) затопление\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.02665337733924389, + "B": 0.8291622400283813, + "C": 0.06006431579589844, + "D": 0.02075767144560814 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если растение эффективно питается, причина, скорее всего,", + "option_a": "пластиковые трубы", + "option_b": "сосуды специальной ткани - ксилемы", + "option_c": "внутренние стенки желудка растения", + "option_d": "металлические трубы" + }, + "outputs": "B", + "meta": { + "id": 1719 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если растение эффективно питается, причина, скорее всего,\nA. пластиковые трубы\nB. сосуды специальной ткани - ксилемы\nC. внутренние стенки желудка растения\nD. металлические трубы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.04130927473306656, + "B": 0.020771609619259834, + "C": 0.8297189474105835, + "D": 0.0681074783205986 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тепло заставляет вас потеть, поэтому в какое время дня вы потеете больше всего?", + "option_a": "раннее утро", + "option_b": "ночное время", + "option_c": "полдень", + "option_d": "во время метели" + }, + "outputs": "C", + "meta": { + "id": 1453 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТепло заставляет вас потеть, поэтому в какое время дня вы потеете больше всего?\nA) раннее утро\nB) ночное время\nC) полдень\nD) во время метели\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5153504610061646, + "B": 0.12240646779537201, + "C": 0.16730980575084686, + "D": 0.07424327731132507 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как ребенок с новым биноклем сможет разглядеть друга, стоящего вдалеке?", + "option_a": "лучше", + "option_b": "хуже", + "option_c": "так же, как и без бинокля", + "option_d": "все варианты верны одновременно" + }, + "outputs": "A", + "meta": { + "id": 517 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как ребенок с новым биноклем сможет разглядеть друга, стоящего вдалеке?\nA) лучше\nB) хуже\nC) так же, как и без бинокля\nD) все варианты верны одновременно\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2248253971338272, + "B": 0.17509420216083527, + "C": 0.34821638464927673, + "D": 0.16448578238487244 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что наиболее полезно при запоре слона?", + "option_a": "сыр", + "option_b": "овес", + "option_c": "жевательная резинка", + "option_d": "пустые обещания" + }, + "outputs": "B", + "meta": { + "id": 1258 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что наиболее полезно при запоре слона?\nA. сыр\nB. овес\nC. жевательная резинка\nD. пустые обещания\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.6420283317565918, + "B": 0.07203357666730881, + "C": 0.09845823794603348, + "D": 0.04650837928056717 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что должно произойти в первую очередь для того, чтобы инструмент заработал?", + "option_a": "его нужно очистить", + "option_b": "ничего из этого", + "option_c": "его нужно изобрести", + "option_d": "его нужно продать" + }, + "outputs": "C", + "meta": { + "id": 881 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто должно произойти в первую очередь для того, чтобы инструмент заработал?\nA. его нужно очистить\nB. ничего из этого\nC. его нужно изобрести\nD. его нужно продать\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.17220909893512726, + "B": 0.07641732692718506, + "C": 0.49830353260040283, + "D": 0.15197397768497467 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Температура тела комодского варана была бы самой высокой, если бы его погрузили в", + "option_a": "жидкий азот", + "option_b": "яблочный сок", + "option_c": "лаву", + "option_d": "воду" + }, + "outputs": "C", + "meta": { + "id": 2095 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Температура тела комодского варана была бы самой высокой, если бы его погрузили в\nA. жидкий азот\nB. яблочный сок\nC. лаву\nD. воду\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3130645155906677, + "B": 0.14788120985031128, + "C": 0.27627846598625183, + "D": 0.17837877571582794 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто, скорее всего, виноват в переселении животных в удаленные места обитания?", + "option_a": "зоопарк", + "option_b": "торговый центр", + "option_c": "благотворительный фонд дикой природы", + "option_d": "кролик" + }, + "outputs": "B", + "meta": { + "id": 674 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто, скорее всего, виноват в переселении животных в удаленные места обитания?\nA) зоопарк\nB) торговый центр\nC) благотворительный фонд дикой природы\nD) кролик\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.021368252113461494, + "B": 0.9086012244224548, + "C": 0.015633346512913704, + "D": 0.01379638072103262 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек хочет помочь окружающей среде, он должен", + "option_a": "оставлять кран открытым", + "option_b": "повторно использовать бумагу", + "option_c": "подолгу смотреть телевизор", + "option_d": "ежегодно покупать новую машину" + }, + "outputs": "B", + "meta": { + "id": 1601 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли человек хочет помочь окружающей среде, он должен\nA) оставлять кран открытым\nB) повторно использовать бумагу\nC) подолгу смотреть телевизор\nD) ежегодно покупать новую машину\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16388943791389465, + "B": 0.11263945698738098, + "C": 0.41850632429122925, + "D": 0.22401030361652374 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда построили новый пригород, для чего стало меньше места?", + "option_a": "Пистолеты", + "option_b": "Криминал", + "option_c": "Головастики", + "option_d": "Воздух" + }, + "outputs": "C", + "meta": { + "id": 1642 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда построили новый пригород, для чего стало меньше места?\nA) Пистолеты\nB) Криминал\nC) Головастики\nD) Воздух\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8545057773590088, + "B": 0.017734700813889503, + "C": 0.016660211607813835, + "D": 0.012188869528472424 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Химические вещества в Duracell преобразуются в", + "option_a": "напряжение", + "option_b": "солнечный свет", + "option_c": "магию", + "option_d": "океанское течение" + }, + "outputs": "A", + "meta": { + "id": 758 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Химические вещества в Duracell преобразуются в\nA. напряжение\nB. солнечный свет\nC. магию\nD. океанское течение\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.09064918011426926, + "B": 0.07515081018209457, + "C": 0.5552935600280762, + "D": 0.21745607256889343 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек меняет привычки животных. Какое влияние это оказывает на животных?", + "option_a": "постыдное", + "option_b": "враждебное и вредное", + "option_c": "позитивное", + "option_d": "полезное и счастливое" + }, + "outputs": "B", + "meta": { + "id": 303 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловек меняет привычки животных. Какое влияние это оказывает на животных?\nA. постыдное\nB. враждебное и вредное\nC. позитивное\nD. полезное и счастливое\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5033648610115051, + "B": 0.1195596382021904, + "C": 0.11231588572263718, + "D": 0.1195596382021904 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что все, вероятно, стало возможным благодаря складчатости горных пород?", + "option_a": "Гималаи, спелеология и долины", + "option_b": "реки, молнии, огонь", + "option_c": "дубы, водопады, телевизоры", + "option_d": "кошки, прерии, собаки, птицы" + }, + "outputs": "A", + "meta": { + "id": 1211 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто все, вероятно, стало возможным благодаря складчатости горных пород?\nA) Гималаи, спелеология и долины\nB) реки, молнии, огонь\nC) дубы, водопады, телевизоры\nD) кошки, прерии, собаки, птицы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.015689952298998833, + "B": 0.014739345759153366, + "C": 0.025868358090519905, + "D": 0.9118910431861877 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие ресурсы можно использовать снова?", + "option_a": "конечные", + "option_b": "топливные", + "option_c": "одноразовые", + "option_d": "возобновляемые" + }, + "outputs": "D", + "meta": { + "id": 116 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие ресурсы можно использовать снова?\nA) конечные\nB) топливные\nC) одноразовые\nD) возобновляемые\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.26941871643066406, + "B": 0.08216806501150131, + "C": 0.3459404706954956, + "D": 0.2233559638261795 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "До чего солнечный свет идет дольше?", + "option_a": "Уран", + "option_b": "Плутон", + "option_c": "Марс", + "option_d": "Земля" + }, + "outputs": "B", + "meta": { + "id": 1295 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДо чего солнечный свет идет дольше?\nA. Уран\nB. Плутон\nC. Марс\nD. Земля\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2207830399274826, + "B": 0.08645988255739212, + "C": 0.46739768981933594, + "D": 0.14254823327064514 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, что измеряется, например ведро с солью, нужно сначала", + "option_a": "наклонить", + "option_b": "сжечь", + "option_c": "собрать", + "option_d": "потерять" + }, + "outputs": "C", + "meta": { + "id": 1900 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: То, что измеряется, например ведро с солью, нужно сначала\nA) наклонить\nB) сжечь\nC) собрать\nD) потерять\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.4968075156211853, + "B": 0.15151771903038025, + "C": 0.09782719612121582, + "D": 0.10413651168346405 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зеленый лук, получивший больше воды, обычно будет", + "option_a": "менее здоровым", + "option_b": "старше", + "option_c": "выше", + "option_d": "холоднее" + }, + "outputs": "C", + "meta": { + "id": 1201 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Зеленый лук, получивший больше воды, обычно будет\nA) менее здоровым\nB) старше\nC) выше\nD) холоднее\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.2651691734790802, + "B": 0.07136931270360947, + "C": 0.20651395618915558, + "D": 0.36244329810142517 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У матерей много ролей, одна из которых", + "option_a": "вынашивание и роды", + "option_b": "приготовление хорошего обеда", + "option_c": "организация забав", + "option_d": "наблюдение за младенцами" + }, + "outputs": "A", + "meta": { + "id": 2274 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ матерей много ролей, одна из которых\nA) вынашивание и роды\nB) приготовление хорошего обеда\nC) организация забав\nD) наблюдение за младенцами\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2070392370223999, + "B": 0.06721579283475876, + "C": 0.3413499891757965, + "D": 0.30124032497406006 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером искусственной адаптации для выживания является", + "option_a": "Прогулка на улице", + "option_b": "Выращивание травы в поле", + "option_c": "Питье воды в теплый день", + "option_d": "Нанесение солнцезащитного крема в солнечном месте" + }, + "outputs": "D", + "meta": { + "id": 1047 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером искусственной адаптации для выживания является\nA) Прогулка на улице\nB) Выращивание травы в поле\nC) Питье воды в теплый день\nD) Нанесение солнцезащитного крема в солнечном месте\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.22890016436576843, + "B": 0.24366295337677002, + "C": 0.2593778669834137, + "D": 0.18976488709449768 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сдвиг плиты, вероятно, непосредственно создал", + "option_a": "кислород", + "option_b": "океанские брызги", + "option_c": "человеческую жизнь", + "option_d": "Альпы" + }, + "outputs": "D", + "meta": { + "id": 2186 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСдвиг плиты, вероятно, непосредственно создал\nA) кислород\nB) океанские брызги\nC) человеческую жизнь\nD) Альпы\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5136246085166931, + "B": 0.10766156762838364, + "C": 0.0695115327835083, + "D": 0.14715591073036194 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие отношения ресурсов верны?", + "option_a": "ветер возобновляемый; металл невозобновляемый", + "option_b": "ветер пригоден для вторичной переработки, металл нет", + "option_c": "ветер радует, металл нет", + "option_d": "ветер невозобновляемый; металл возобновляемый" + }, + "outputs": "A", + "meta": { + "id": 282 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие отношения ресурсов верны?\nA) ветер возобновляемый; металл невозобновляемый\nB) ветер пригоден для вторичной переработки, металл нет\nC) ветер радует, металл нет\nD) ветер невозобновляемый; металл возобновляемый\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13388098776340485, + "B": 0.41238248348236084, + "C": 0.17190659046173096, + "D": 0.2073589414358139 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в комнате будет влажно или сухо, это зависит от количества водяного пара в воздухе, поэтому, если комната хочет быть влажной", + "option_a": ", используйте осушитель", + "option_b": "наполните ванну", + "option_c": "откройте окно", + "option_d": "надейтесь, что пойдет дождь" + }, + "outputs": "B", + "meta": { + "id": 1843 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли в комнате будет влажно или сухо, это зависит от количества водяного пара в воздухе, поэтому, если комната хочет быть влажной\nA. , используйте осушитель\nB. наполните ванну\nC. откройте окно\nD. надейтесь, что пойдет дождь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.11133570969104767, + "B": 0.22141748666763306, + "C": 0.07651983946561813, + "D": 0.5311529636383057 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Звук может использоваться для общения", + "option_a": "планетами", + "option_b": "растениями", + "option_c": "водой", + "option_d": "существами" + }, + "outputs": "D", + "meta": { + "id": 216 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗвук может использоваться для общения\nA. планетами\nB. растениями\nC. водой\nD. существами\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2039492130279541, + "B": 0.35794204473495483, + "C": 0.19159257411956787, + "D": 0.17998455464839935 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В теплой комнате источником тепла, вероятно, является", + "option_a": "небольшой потолочный вентилятор", + "option_b": "ряд металлических труб вдоль стены", + "option_c": "выключенная плита", + "option_d": "куча коробок" + }, + "outputs": "B", + "meta": { + "id": 947 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ теплой комнате источником тепла, вероятно, является\nA) небольшой потолочный вентилятор\nB) ряд металлических труб вдоль стены\nC) выключенная плита\nD) куча коробок\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.30361732840538025, + "B": 0.12656652927398682, + "C": 0.2852220833301544, + "D": 0.20867294073104858 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При письме деревянно-графитовым инструментом резкость становится сильнее от нажатия, и на бумаге остается больше", + "option_a": "кальмара", + "option_b": "минерала", + "option_c": "света", + "option_d": "белил" + }, + "outputs": "B", + "meta": { + "id": 220 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПри письме деревянно-графитовым инструментом резкость становится сильнее от нажатия, и на бумаге остается больше\nA) кальмара\nB) минерала\nC) света\nD) белил\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.17207789421081543, + "B": 0.1831759661436081, + "C": 0.3877834975719452, + "D": 0.17207789421081543 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кегли, оставленные в снегу, становятся", + "option_a": "горячими", + "option_b": "твердыми", + "option_c": "мягкими", + "option_d": "липкими" + }, + "outputs": "B", + "meta": { + "id": 1806 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кегли, оставленные в снегу, становятся\nA) горячими\nB) твердыми\nC) мягкими\nD) липкими\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15608252584934235, + "B": 0.3517374098300934, + "C": 0.2573365867137909, + "D": 0.15608252584934235 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Моя рубашка стала мне мала, что мне сделать, чтобы сохранить и повторно использовать ткань?", + "option_a": "Пройдите с ней по взлетно-посадочной полосе", + "option_b": "Сделайте из нее сумку", + "option_c": "Используйте ее, чтобы защитить свое тело от пуль", + "option_d": "Отслеживайте погоду по ее состоянию" + }, + "outputs": "B", + "meta": { + "id": 2300 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Моя рубашка стала мне мала, что мне сделать, чтобы сохранить и повторно использовать ткань?\nA. Пройдите с ней по взлетно-посадочной полосе\nB. Сделайте из нее сумку\nC. Используйте ее, чтобы защитить свое тело от пуль\nD. Отслеживайте погоду по ее состоянию\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 484, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09264242649078369, + "B": 0.034081246703863144, + "C": 0.4419723153114319, + "D": 0.36640793085098267 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "что из этого приведет к обращению вспять опустынивания?", + "option_a": "удаление всей воды из пустынь", + "option_b": "вырубка как можно большего количества деревьев", + "option_c": "посев семян каждого срубленного дерева", + "option_d": "все эти варианты" + }, + "outputs": "C", + "meta": { + "id": 1660 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nчто из этого приведет к обращению вспять опустынивания?\nA. удаление всей воды из пустынь\nB. вырубка как можно большего количества деревьев\nC. посев семян каждого срубленного дерева\nD. все эти варианты\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0685180127620697, + "B": 0.6920074224472046, + "C": 0.05680342763662338, + "D": 0.12025284767150879 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У уроженцев Карибского бассейна темный оттенок кожи, что связано с", + "option_a": "единорогами", + "option_b": "солнечным излучением", + "option_c": "недостатком питательных веществ", + "option_d": "маскировкой" + }, + "outputs": "B", + "meta": { + "id": 587 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У уроженцев Карибского бассейна темный оттенок кожи, что связано с\nA) единорогами\nB) солнечным излучением\nC) недостатком питательных веществ\nD) маскировкой\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.20326527953147888, + "B": 0.48760804533958435, + "C": 0.12328661978244781, + "D": 0.12328661978244781 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "выключатель включает что-то, подсоединенное к источнику питания, потому что:", + "option_a": "цепь разомкнута", + "option_b": "кусок меди замыкает цепь", + "option_c": "изоляция добавляет ток", + "option_d": "свет выключается" + }, + "outputs": "B", + "meta": { + "id": 1627 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nвыключатель включает что-то, подсоединенное к источнику питания, потому что:\nA. цепь разомкнута\nB. кусок меди замыкает цепь\nC. изоляция добавляет ток\nD. свет выключается\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15857475996017456, + "B": 0.5199466347694397, + "C": 0.12349815666675568, + "D": 0.13146309554576874 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кошка и змея являются хищниками для ряда одних и тех же животных. Если в среде обитания кошки и змеи всего семь мышей, будет", + "option_a": "совместная трапеза между ними", + "option_b": "конкуренция за мышей между змеей и кошкой", + "option_c": "война между мышами и кошками", + "option_d": "для каждого из них по десять мышей" + }, + "outputs": "B", + "meta": { + "id": 1459 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКошка и змея являются хищниками для ряда одних и тех же животных. Если в среде обитания кошки и змеи всего семь мышей, будет\nA) совместная трапеза между ними\nB) конкуренция за мышей между змеей и кошкой\nC) война между мышами и кошками\nD) для каждого из них по десять мышей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7606682181358337, + "B": 0.055102623999118805, + "C": 0.04031393676996231, + "D": 0.055102623999118805 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кому питательные вещества необходимы для выживания?", + "option_a": "барсуки", + "option_b": "скалы", + "option_c": "здания", + "option_d": "облака" + }, + "outputs": "A", + "meta": { + "id": 372 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКому питательные вещества необходимы для выживания?\nA) барсуки\nB) скалы\nC) здания\nD) облака\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3549428880214691, + "B": 0.11523307859897614, + "C": 0.15750494599342346, + "D": 0.259681761264801 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда что-то конденсируется,", + "option_a": "внутри него становится влажно", + "option_b": "это испаряется жидкое озеро", + "option_c": "оно становится расплавленной жидкостью", + "option_d": ", оно превращается в более похожую на воду форму" + }, + "outputs": "D", + "meta": { + "id": 201 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда что-то конденсируется,\nA. внутри него становится влажно\nB. это испаряется жидкое озеро\nC. оно становится расплавленной жидкостью\nD. , оно превращается в более похожую на воду форму\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.15460051596164703, + "B": 0.14523373544216156, + "C": 0.42024773359298706, + "D": 0.21131382882595062 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На больших высотах риск затопления невелик, но что произойдет на низких высотах?", + "option_a": "больше паводковых вод будут чистыми", + "option_b": "ущерб от наводнения будет уменьшен", + "option_c": "риск наводнения будет меньше", + "option_d": "ущерб от воды будет более очевидным" + }, + "outputs": "D", + "meta": { + "id": 2266 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа больших высотах риск затопления невелик, но что произойдет на низких высотах?\nA) больше паводковых вод будут чистыми\nB) ущерб от наводнения будет уменьшен\nC) риск наводнения будет меньше\nD) ущерб от воды будет более очевидным\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01154304388910532, + "B": 0.007933410815894604, + "C": 0.91697758436203, + "D": 0.019031262025237083 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Предохранитель может использоваться для экстренного размыкания цепи и прекращения прохождения токов, вызывающих перегрев элементов в", + "option_a": "термостате", + "option_b": "солнечной энергии", + "option_c": "в электрической цепи.", + "option_d": "магнитных полях" + }, + "outputs": "C", + "meta": { + "id": 694 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Предохранитель может использоваться для экстренного размыкания цепи и прекращения прохождения токов, вызывающих перегрев элементов в\nA. термостате\nB. солнечной энергии\nC. в электрической цепи.\nD. магнитных полях\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.477873295545578, + "B": 0.0780106708407402, + "C": 0.12861785292625427, + "D": 0.19920723140239716 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Компас был бы полезен", + "option_a": "капитану ВМФ", + "option_b": "капитану КВН", + "option_c": "капитану команды телеигры «Что? Где? Когда?»", + "option_d": "Капитану Очевидность" + }, + "outputs": "A", + "meta": { + "id": 1399 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Компас был бы полезен\nA) капитану ВМФ\nB) капитану КВН\nC) капитану команды телеигры «Что? Где? Когда?»\nD) Капитану Очевидность\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21222072839736938, + "B": 0.1552640199661255, + "C": 0.29007136821746826, + "D": 0.2559870779514313 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто бы мог увидеть розовую розу ночью?", + "option_a": "собаки", + "option_b": "люди", + "option_c": "лемуры", + "option_d": "кроты" + }, + "outputs": "C", + "meta": { + "id": 123 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто бы мог увидеть розовую розу ночью?\nA) собаки\nB) люди\nC) лемуры\nD) кроты\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.5211597681045532, + "B": 0.20408907532691956, + "C": 0.09056397527456284, + "D": 0.05160180479288101 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда Луна, Солнце и Земля выстраиваются в линию, приливы", + "option_a": "становятся ниже", + "option_b": "увеличиваются", + "option_c": "исчезают", + "option_d": "заводят Инстаграм" + }, + "outputs": "B", + "meta": { + "id": 395 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда Луна, Солнце и Земля выстраиваются в линию, приливы\nA. становятся ниже\nB. увеличиваются\nC. исчезают\nD. заводят Инстаграм\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.26540347933769226, + "B": 0.1512223482131958, + "C": 0.34078481793403625, + "D": 0.07143238186836243 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что общего между паром и льдом?", + "option_a": "химическая формула", + "option_b": "форма", + "option_c": "температура", + "option_d": "внешний вид" + }, + "outputs": "A", + "meta": { + "id": 238 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто общего между паром и льдом?\nA. химическая формула\nB. форма\nC. температура\nD. внешний вид\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5507855415344238, + "B": 0.08446569740772247, + "C": 0.12289686501026154, + "D": 0.07934818416833878 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что происходит, когда ртуть попадает в воду?", + "option_a": "растворяется", + "option_b": "затвердевает", + "option_c": "плавает", + "option_d": "тонет" + }, + "outputs": "D", + "meta": { + "id": 741 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что происходит, когда ртуть попадает в воду?\nA) растворяется\nB) затвердевает\nC) плавает\nD) тонет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.20326146483421326, + "B": 0.045353759080171585, + "C": 0.43030449748039246, + "D": 0.2778254747390747 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что преобразует углекислый газ, воду и солнечную энергию в кислород?", + "option_a": "омела", + "option_b": "хризантема", + "option_c": "гриб", + "option_d": "родинка" + }, + "outputs": "B", + "meta": { + "id": 1499 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что преобразует углекислый газ, воду и солнечную энергию в кислород?\nA) омела\nB) хризантема\nC) гриб\nD) родинка\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.06364990025758743, + "B": 0.04656726121902466, + "C": 0.6428411602973938, + "D": 0.19605547189712524 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Возобновляемые ресурсы", + "option_a": "часто поступают из ископаемого топлива", + "option_b": "биоразлагаются столетия", + "option_c": "следует использовать консервативно", + "option_d": "можно использовать до бесконечности" + }, + "outputs": "D", + "meta": { + "id": 1425 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВозобновляемые ресурсы\nA. часто поступают из ископаемого топлива\nB. биоразлагаются столетия\nC. следует использовать консервативно\nD. можно использовать до бесконечности\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8277665972709656, + "B": 0.022059231996536255, + "C": 0.03209599107503891, + "D": 0.014242510311305523 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сила, приложенная к движущемуся предмету против направления его движения,", + "option_a": "тормозит его", + "option_b": "расплавляет его", + "option_c": "ускоряет его", + "option_d": "сжигает его" + }, + "outputs": "A", + "meta": { + "id": 780 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСила, приложенная к движущемуся предмету против направления его движения,\nA) тормозит его\nB) расплавляет его\nC) ускоряет его\nD) сжигает его\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.025352083146572113, + "B": 0.01537681557238102, + "C": 0.8936917185783386, + "D": 0.03058044984936714 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одним из способов, которым люди могут вызвать загрязнение окружающей среды, является", + "option_a": "размещение пластмасс в специальных контейнерах", + "option_b": "предотвращение разлива нефти в океанах", + "option_c": "использование химикатов против насекомых на сельскохозяйственных культурах", + "option_d": "принятие законов против загрязнения" + }, + "outputs": "C", + "meta": { + "id": 713 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОдним из способов, которым люди могут вызвать загрязнение окружающей среды, является\nA) размещение пластмасс в специальных контейнерах\nB) предотвращение разлива нефти в океанах\nC) использование химикатов против насекомых на сельскохозяйственных культурах\nD) принятие законов против загрязнения\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5019930601119995, + "B": 0.1734841763973236, + "C": 0.09285938739776611, + "D": 0.09884829074144363 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что замедляет передачу тепла?", + "option_a": "деревянная стена", + "option_b": "ветер", + "option_c": "солнце", + "option_d": "световые лучи" + }, + "outputs": "A", + "meta": { + "id": 221 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто замедляет передачу тепла?\nA. деревянная стена\nB. ветер\nC. солнце\nD. световые лучи\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.36400946974754333, + "B": 0.08122149854898453, + "C": 0.3419552743434906, + "D": 0.10429046303033829 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего, вероятно, в наибольшей степени уменьшит загрязнение?", + "option_a": "использование грузовика вместо автомобиля", + "option_b": "использование автомобиля вместо автобуса", + "option_c": "использование велосипеда вместо мотоцикла", + "option_d": "использование мотоцикла вместо велосипеда" + }, + "outputs": "C", + "meta": { + "id": 2263 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего, вероятно, в наибольшей степени уменьшит загрязнение?\nA. использование грузовика вместо автомобиля\nB. использование автомобиля вместо автобуса\nC. использование велосипеда вместо мотоцикла\nD. использование мотоцикла вместо велосипеда\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7976123690605164, + "B": 0.030926786363124847, + "C": 0.03292139619588852, + "D": 0.02905302867293358 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Норвежское правительство поддерживает специальную камеру хранения в 1300 км от Полярного круга для использования в случае антропогенных или стихийных бедствий. Хранилище построено в арктической вечной мерзлоте и содержит", + "option_a": "семена для воспроизводства съедобных культур", + "option_b": "семена арктических животных", + "option_c": "семена, которые ошпарены кипятком", + "option_d": "проростки семян" + }, + "outputs": "A", + "meta": { + "id": 2202 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Норвежское правительство поддерживает специальную камеру хранения в 1300 км от Полярного круга для использования в случае антропогенных или стихийных бедствий. Хранилище построено в арктической вечной мерзлоте и содержит\nA) семена для воспроизводства съедобных культур\nB) семена арктических животных\nC) семена, которые ошпарены кипятком\nD) проростки семян\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 499, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.332205593585968, + "B": 0.1384838968515396, + "C": 0.2283213585615158, + "D": 0.1892850399017334 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из перечисленных объектов может пострадать от яда?", + "option_a": "робот", + "option_b": "Дерево", + "option_c": "дом", + "option_d": "машина" + }, + "outputs": "B", + "meta": { + "id": 1104 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой из перечисленных объектов может пострадать от яда?\nA) робот\nB) Дерево\nC) дом\nD) машина\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11646164953708649, + "B": 0.04560703784227371, + "C": 0.6295856833457947, + "D": 0.14047956466674805 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гены родителей определяют у кролика", + "option_a": "выбор партнера", + "option_b": "пищевые предпочтения", + "option_c": "цвет шерсти", + "option_d": "место обитания" + }, + "outputs": "C", + "meta": { + "id": 332 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГены родителей определяют у кролика\nA. выбор партнера\nB. пищевые предпочтения\nC. цвет шерсти\nD. место обитания\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.17930005490779877, + "B": 0.09015772491693497, + "C": 0.4873880445957184, + "D": 0.14864493906497955 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда животным нужно подзарядиться, они не могут использовать электричество, и поэтому им остается", + "option_a": "вздремнуть", + "option_b": "полагаться на воду", + "option_c": "использовать источники топлива", + "option_d": "полагаться на калории" + }, + "outputs": "D", + "meta": { + "id": 184 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда животным нужно подзарядиться, они не могут использовать электричество, и поэтому им остается\nA. вздремнуть\nB. полагаться на воду\nC. использовать источники топлива\nD. полагаться на калории\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.31993368268013, + "B": 0.46550074219703674, + "C": 0.035895563662052155, + "D": 0.06706174463033676 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Водоросли осуществляют фотосинтез, и поэтому их можно найти в этой части водоема", + "option_a": "сверху", + "option_b": "снизу", + "option_c": "нигде", + "option_d": "в середине" + }, + "outputs": "A", + "meta": { + "id": 2191 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Водоросли осуществляют фотосинтез, и поэтому их можно найти в этой части водоема\nA. сверху\nB. снизу\nC. нигде\nD. в середине\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8041297197341919, + "B": 0.045365896075963974, + "C": 0.03533099591732025, + "D": 0.018911318853497505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пыльная буря возникла из-за", + "option_a": "неустойчивой практики ведения сельского хозяйства", + "option_b": "кеглей для боулинга", + "option_c": "радикальной реформы", + "option_d": "двух футбольных команд" + }, + "outputs": "A", + "meta": { + "id": 1517 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПыльная буря возникла из-за\nA) неустойчивой практики ведения сельского хозяйства\nB) кеглей для боулинга\nC) радикальной реформы\nD) двух футбольных команд\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.22173167765140533, + "B": 0.11149368435144424, + "C": 0.1263388991355896, + "D": 0.4694059491157532 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером предмета домашнего обихода, который способен быть изолятором, может быть", + "option_a": "бриллиантовая брошь", + "option_b": "серебряный подсвечник", + "option_c": "золототая чаша", + "option_d": "пластиковый половник" + }, + "outputs": "D", + "meta": { + "id": 2302 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером предмета домашнего обихода, который способен быть изолятором, может быть\nA. бриллиантовая брошь\nB. серебряный подсвечник\nC. золототая чаша\nD. пластиковый половник\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.19269141554832458, + "B": 0.46224266290664673, + "C": 0.1500682234764099, + "D": 0.12441092729568481 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Разрыв бумаги пополам", + "option_a": "увеличивает лист бумаги", + "option_b": "оставляет бумагу неизменной", + "option_c": "изменяет форму бумаги", + "option_d": "превращает бумагу в газообразную форму" + }, + "outputs": "C", + "meta": { + "id": 556 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРазрыв бумаги пополам\nA) увеличивает лист бумаги\nB) оставляет бумагу неизменной\nC) изменяет форму бумаги\nD) превращает бумагу в газообразную форму\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10092386603355408, + "B": 0.04207133129239082, + "C": 0.7457321286201477, + "D": 0.05074770748615265 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно найти там, где происходит фотосинтез?", + "option_a": "немного хлорного пигмента", + "option_b": "немного синего пигмента", + "option_c": "зеленую пигментацию листьев", + "option_d": "немного хлорида" + }, + "outputs": "C", + "meta": { + "id": 1504 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что можно найти там, где происходит фотосинтез?\nA) немного хлорного пигмента\nB) немного синего пигмента\nC) зеленую пигментацию листьев\nD) немного хлорида\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.1743168830871582, + "B": 0.4181644916534424, + "C": 0.13575813174247742, + "D": 0.18555936217308044 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воспроизведение музыки на определенной частоте может", + "option_a": "треснуть зеркало", + "option_b": "послать звук наружу", + "option_c": "повредить зубы", + "option_d": "разбить стекло" + }, + "outputs": "D", + "meta": { + "id": 1533 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВоспроизведение музыки на определенной частоте может\nA. треснуть зеркало\nB. послать звук наружу\nC. повредить зубы\nD. разбить стекло\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.32302796840667725, + "B": 0.06360797584056854, + "C": 0.25157442688941956, + "D": 0.23633229732513428 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы на неделю застряли в пустыне без одежды, вы, скорее всего,", + "option_a": "испаритесь", + "option_b": "обнаружите лес", + "option_c": "замерзнете", + "option_d": "погибнете" + }, + "outputs": "D", + "meta": { + "id": 1573 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вы на неделю застряли в пустыне без одежды, вы, скорее всего,\nA. испаритесь\nB. обнаружите лес\nC. замерзнете\nD. погибнете\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1704297810792923, + "B": 0.5249606966972351, + "C": 0.09710796922445297, + "D": 0.12468910217285156 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птицам комфортнее обитать в таких местах, как", + "option_a": "подводные пути", + "option_b": "рощи растений", + "option_c": "городские перекрестки", + "option_d": "собачьи площадки" + }, + "outputs": "B", + "meta": { + "id": 1873 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Птицам комфортнее обитать в таких местах, как\nA. подводные пути\nB. рощи растений\nC. городские перекрестки\nD. собачьи площадки\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4272811710834503, + "B": 0.2591591477394104, + "C": 0.0953393206000328, + "D": 0.10803359746932983 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Уклон - это мера разницы в высоте от вершины до основания", + "option_a": "пирамиды", + "option_b": "башни", + "option_c": "монетки", + "option_d": "коробки" + }, + "outputs": "A", + "meta": { + "id": 1879 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУклон - это мера разницы в высоте от вершины до основания\nA. пирамиды\nB. башни\nC. монетки\nD. коробки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.23819050192832947, + "B": 0.03652769699692726, + "C": 0.47369837760925293, + "D": 0.18550294637680054 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если какой-либо вид растений или животных прекращает свое существование на Земле по естественным причинам или в результате деятельности человека, утрата растения или животного", + "option_a": "- это обратимое исчезновение", + "option_b": "может быть животному наградой", + "option_c": "может быть обратимой", + "option_d": "не может быть отменено" + }, + "outputs": "D", + "meta": { + "id": 1236 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли какой-либо вид растений или животных прекращает свое существование на Земле по естественным причинам или в результате деятельности человека, утрата растения или животного\nA) - это обратимое исчезновение\nB) может быть животному наградой\nC) может быть обратимой\nD) не может быть отменено\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.10572005808353424, + "B": 0.06023746728897095, + "C": 0.6893813610076904, + "D": 0.07734643667936325 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, способствует размножению растений?", + "option_a": "охота и собирательство семьи барсуков", + "option_b": "рост человеческого загрязнения", + "option_c": "приготовление рисового плова", + "option_d": "гравитация на Марсе" + }, + "outputs": "A", + "meta": { + "id": 1767 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что, вероятно, способствует размножению растений?\nA. охота и собирательство семьи барсуков\nB. рост человеческого загрязнения\nC. приготовление рисового плова\nD. гравитация на Марсе\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6830809116363525, + "B": 0.03400859609246254, + "C": 0.08684398978948593, + "D": 0.04366790130734444 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что обычно происходит в течение многих лет?", + "option_a": "разрушение горных пород", + "option_b": "вспышка молнии", + "option_c": "прилив", + "option_d": "наводнение" + }, + "outputs": "A", + "meta": { + "id": 953 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что обычно происходит в течение многих лет?\nA. разрушение горных пород\nB. вспышка молнии\nC. прилив\nD. наводнение\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6491498947143555, + "B": 0.053285468369722366, + "C": 0.07283259928226471, + "D": 0.06427454948425293 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На что сильно влияют времена года?", + "option_a": "Окружающая среда", + "option_b": "Настроение", + "option_c": "Поведение", + "option_d": "Потребление" + }, + "outputs": "A", + "meta": { + "id": 1999 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На что сильно влияют времена года?\nA) Окружающая среда\nB) Настроение\nC) Поведение\nD) Потребление\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.012376954779028893, + "B": 0.9236527681350708, + "C": 0.01026085577905178, + "D": 0.01026085577905178 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бабочки часто имеют на крыльях окраску, похожую на глаза, чтобы", + "option_a": "выглядеть красиво", + "option_b": "отпугивать хищников", + "option_c": "видеть цветы", + "option_d": "веселиться" + }, + "outputs": "B", + "meta": { + "id": 1140 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБабочки часто имеют на крыльях окраску, похожую на глаза, чтобы\nA) выглядеть красиво\nB) отпугивать хищников\nC) видеть цветы\nD) веселиться\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.20442895591259003, + "B": 0.29744234681129456, + "C": 0.1920432299375534, + "D": 0.21761347353458405 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животные по-разному переносят разную температуру. Когда становится жарко, какие животные тяжело дышат?", + "option_a": "мертвые", + "option_b": "собаки", + "option_c": "рыбы", + "option_d": "киты" + }, + "outputs": "B", + "meta": { + "id": 1093 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖивотные по-разному переносят разную температуру. Когда становится жарко, какие животные тяжело дышат?\nA) мертвые\nB) собаки\nC) рыбы\nD) киты\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.26914891600608826, + "B": 0.10540022701025009, + "C": 0.32465556263923645, + "D": 0.19691355526447296 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков пример того, что если организм перегревается, этот организм может умереть?", + "option_a": "собака, тяжело дышащая под жарким солнцем", + "option_b": "дождевой червь, высыхающий на тротуаре", + "option_c": "медведь, сбрасывающий мех, чтобы охладиться", + "option_d": "птица, останавливающаяся, чтобы отдохнуть после долгого полета" + }, + "outputs": "B", + "meta": { + "id": 659 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКаков пример того, что если организм перегревается, этот организм может умереть?\nA) собака, тяжело дышащая под жарким солнцем\nB) дождевой червь, высыхающий на тротуаре\nC) медведь, сбрасывающий мех, чтобы охладиться\nD) птица, останавливающаяся, чтобы отдохнуть после долгого полета\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 466, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19676706194877625, + "B": 0.18484553694725037, + "C": 0.36760926246643066, + "D": 0.1532423347234726 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мальчик потерялся в густо засаженной деревьями местности, и единственный помощник, который у него есть, - это небольшой компас. Мальчик знает, что его дом находится к югу от него, но стрелка на компасе сообщает, что он сейчас идет строго на север. Таким образом, чтобы попасть домой, мальчик", + "option_a": "поворачивает направо", + "option_b": "поворачивает налево", + "option_c": "разворачивается", + "option_d": "держится того же курса" + }, + "outputs": "C", + "meta": { + "id": 1452 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мальчик потерялся в густо засаженной деревьями местности, и единственный помощник, который у него есть, - это небольшой компас. Мальчик знает, что его дом находится к югу от него, но стрелка на компасе сообщает, что он сейчас идет строго на север. Таким образом, чтобы попасть домой, мальчик\nA. поворачивает направо\nB. поворачивает налево\nC. разворачивается\nD. держится того же курса\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 504, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.045833297073841095, + "B": 0.029592199251055717, + "C": 0.8124145865440369, + "D": 0.08043994009494781 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В направлении какого объекта поворачиваются листья растения?", + "option_a": "собака", + "option_b": "человек", + "option_c": "солнце", + "option_d": "пыль" + }, + "outputs": "C", + "meta": { + "id": 1720 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ направлении какого объекта поворачиваются листья растения?\nA) собака\nB) человек\nC) солнце\nD) пыль\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09708038717508316, + "B": 0.048815082758665085, + "C": 0.5946894288063049, + "D": 0.2055191844701767 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы выжить в своей среде обитания, верблюды наследственно закрепили такое изменение организма", + "option_a": "слоновьи уши", + "option_b": "длинные морды, чтобы пить из нор", + "option_c": "горбы на спине", + "option_d": "все перечисленные варианты сразу" + }, + "outputs": "C", + "meta": { + "id": 1632 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы выжить в своей среде обитания, верблюды наследственно закрепили такое изменение организма\nA. слоновьи уши\nB. длинные морды, чтобы пить из нор\nC. горбы на спине\nD. все перечисленные варианты сразу\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.3535955846309662, + "B": 0.04785395413637161, + "C": 0.09516896307468414, + "D": 0.42651766538619995 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Восходы в январе", + "option_a": "поздние", + "option_b": "зеленые", + "option_c": "старые", + "option_d": "ранние" + }, + "outputs": "A", + "meta": { + "id": 1981 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Восходы в январе\nA) поздние\nB) зеленые\nC) старые\nD) ранние\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0654108002781868, + "B": 0.029025865718722343, + "C": 0.7968666553497314, + "D": 0.06962943077087402 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каждая частичка роста и жизни на Земле связана с силой", + "option_a": "солнечных пришельцев", + "option_b": "магических сфер", + "option_c": "дневного света", + "option_d": "волшебных бобов" + }, + "outputs": "C", + "meta": { + "id": 1291 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКаждая частичка роста и жизни на Земле связана с силой\nA) солнечных пришельцев\nB) магических сфер\nC) дневного света\nD) волшебных бобов\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03175898268818855, + "B": 0.01699936017394066, + "C": 0.8719007968902588, + "D": 0.035987645387649536 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнце - это ближайший к Земле", + "option_a": "аккумулятор", + "option_b": "человек", + "option_c": "источник звездного света", + "option_d": "спутник" + }, + "outputs": "C", + "meta": { + "id": 1709 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСолнце - это ближайший к Земле\nA. аккумулятор\nB. человек\nC. источник звездного света\nD. спутник\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21011097729206085, + "B": 0.16363458335399628, + "C": 0.39253896474838257, + "D": 0.13565784692764282 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "От какой стены отражается наиболее неприятное эхо?", + "option_a": "Любой", + "option_b": "Выпуклой", + "option_c": "Вогнутой", + "option_d": "Плоской" + }, + "outputs": "C", + "meta": { + "id": 2032 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОт какой стены отражается наиболее неприятное эхо?\nA) Любой\nB) Выпуклой\nC) Вогнутой\nD) Плоской\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0702391043305397, + "B": 0.048274584114551544, + "C": 0.75514155626297, + "D": 0.0702391043305397 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На что влияет увеличение размера цветка?", + "option_a": "улучшает запах", + "option_b": "делает его красивее", + "option_c": "увеличивает количество опылителей", + "option_d": "уменьшает размер рыльца" + }, + "outputs": "C", + "meta": { + "id": 2218 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа что влияет увеличение размера цветка?\nA) улучшает запах\nB) делает его красивее\nC) увеличивает количество опылителей\nD) уменьшает размер рыльца\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.24718716740608215, + "B": 0.46180641651153564, + "C": 0.08542560040950775, + "D": 0.09679988026618958 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шипучка - это сочетание каких элементов?", + "option_a": "жидкость в сахарной оболочке", + "option_b": "кристаллы сахарозы и ароматизаторы, растворенные в воде", + "option_c": "газированная вода в банке", + "option_d": "леденцы из магазина" + }, + "outputs": "B", + "meta": { + "id": 1434 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nШипучка - это сочетание каких элементов?\nA. жидкость в сахарной оболочке\nB. кристаллы сахарозы и ароматизаторы, растворенные в воде\nC. газированная вода в банке\nD. леденцы из магазина\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15123893320560455, + "B": 0.6367396712303162, + "C": 0.07604771107435226, + "D": 0.05563769116997719 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков пример вращения Земли вокруг своей оси?", + "option_a": "облачность варьируется в зависимости от сезона", + "option_b": "созвездия видны только в некоторых частях мира в определенные месяцы", + "option_c": "в Антарктиде всегда холодно", + "option_d": "экватор движется вверх и вниз вокруг Земли" + }, + "outputs": "B", + "meta": { + "id": 1577 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКаков пример вращения Земли вокруг своей оси?\nA) облачность варьируется в зависимости от сезона\nB) созвездия видны только в некоторых частях мира в определенные месяцы\nC) в Антарктиде всегда холодно\nD) экватор движется вверх и вниз вокруг Земли\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1665433943271637, + "B": 0.18871839344501495, + "C": 0.35257235169410706, + "D": 0.20088966190814972 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, скорее всего, не увидит, куда идти, если он заблудится", + "option_a": "в небольшой реке", + "option_b": "в густом лесу", + "option_c": "в пустыне", + "option_d": "на горе" + }, + "outputs": "B", + "meta": { + "id": 626 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловек, скорее всего, не увидит, куда идти, если он заблудится\nA. в небольшой реке\nB. в густом лесу\nC. в пустыне\nD. на горе\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04833346977829933, + "B": 0.7560626864433289, + "C": 0.04540509358048439, + "D": 0.08482787758111954 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Следствием загрязнения может быть то, что", + "option_a": "вода превращается в мороженое", + "option_b": "рыба становится несъедобной", + "option_c": "увеличивается документооборот", + "option_d": "мусорное ведро переполняется" + }, + "outputs": "B", + "meta": { + "id": 24 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Следствием загрязнения может быть то, что\nA) вода превращается в мороженое\nB) рыба становится несъедобной\nC) увеличивается документооборот\nD) мусорное ведро переполняется\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2352374643087387, + "B": 0.10438600182533264, + "C": 0.2837505340576172, + "D": 0.266558974981308 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Приобретенная характеристика:", + "option_a": "постоянный рубец, полученный много лет назад", + "option_b": "веснушки из-за генов вашей мамы", + "option_c": "большой нос, такой же, как у вашего отца", + "option_d": "каштановые, вьющиеся волосы, напоминающие волосы вашей сестры" + }, + "outputs": "A", + "meta": { + "id": 438 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПриобретенная характеристика:\nA. постоянный рубец, полученный много лет назад\nB. веснушки из-за генов вашей мамы\nC. большой нос, такой же, как у вашего отца\nD. каштановые, вьющиеся волосы, напоминающие волосы вашей сестры\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.24159564077854156, + "B": 0.05738399177789688, + "C": 0.29141998291015625, + "D": 0.33022210001945496 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку вода менее плотная, она плавает поверх", + "option_a": "растительного масла", + "option_b": "меда", + "option_c": "упавшего в воду жука", + "option_d": "воды" + }, + "outputs": "B", + "meta": { + "id": 263 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПоскольку вода менее плотная, она плавает поверх\nA. растительного масла\nB. меда\nC. упавшего в воду жука\nD. воды\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.500630259513855, + "B": 0.043744586408138275, + "C": 0.23648101091384888, + "D": 0.07212263345718384 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Жабры позволяют", + "option_a": "камбале потреблять кислород", + "option_b": "жирафам дышать под водой", + "option_c": "дышать тюленям и цаплям", + "option_d": "дышать морским птицам" + }, + "outputs": "A", + "meta": { + "id": 783 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Жабры позволяют\nA) камбале потреблять кислород\nB) жирафам дышать под водой\nC) дышать тюленям и цаплям\nD) дышать морским птицам\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.044051844626665115, + "B": 0.7808375954627991, + "C": 0.04138287901878357, + "D": 0.06409505754709244 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой персонаж Диснея был травоядным?", + "option_a": "Плуто", + "option_b": "Бэмби", + "option_c": "Чеширский кот", + "option_d": "Симба" + }, + "outputs": "B", + "meta": { + "id": 867 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой персонаж Диснея был травоядным?\nA. Плуто\nB. Бэмби\nC. Чеширский кот\nD. Симба\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08091781288385391, + "B": 0.72121262550354, + "C": 0.06708322465419769, + "D": 0.06708322465419769 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Магма пробивается из вулканов и", + "option_a": "танцует на пустынных равнинах", + "option_b": "имеет достаточно высокий градус, чтобы плавить сталь", + "option_c": "привлекает инопланетян", + "option_d": "может замораживать воду в любое время" + }, + "outputs": "B", + "meta": { + "id": 2140 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМагма пробивается из вулканов и\nA. танцует на пустынных равнинах\nB. имеет достаточно высокий градус, чтобы плавить сталь\nC. привлекает инопланетян\nD. может замораживать воду в любое время\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.33566713333129883, + "B": 0.14895138144493103, + "C": 0.17966966331005096, + "D": 0.2167229801416397 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что содержит семена?", + "option_a": "свекла", + "option_b": "мандарины", + "option_c": "морковь", + "option_d": "картофель" + }, + "outputs": "B", + "meta": { + "id": 1171 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто содержит семена?\nA. свекла\nB. мандарины\nC. морковь\nD. картофель\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 418, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.31121590733528137, + "B": 0.2923602759838104, + "C": 0.15648917853832245, + "D": 0.1470079869031906 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нагревание льда", + "option_a": "меняет его химический состав", + "option_b": "оставляет лужу", + "option_c": "требует морозильника", + "option_d": "делает его еще холоднее" + }, + "outputs": "B", + "meta": { + "id": 1163 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Нагревание льда\nA) меняет его химический состав\nB) оставляет лужу\nC) требует морозильника\nD) делает его еще холоднее\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.30092471837997437, + "B": 0.17146171629428864, + "C": 0.2826926112174988, + "D": 0.1335345357656479 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ива сама производит", + "option_a": "энергию", + "option_b": "дождь", + "option_c": "солнечный свет", + "option_d": "снег" + }, + "outputs": "A", + "meta": { + "id": 665 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ива сама производит\nA) энергию\nB) дождь\nC) солнечный свет\nD) снег\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2601262629032135, + "B": 0.22956062853336334, + "C": 0.33400872349739075, + "D": 0.10186690092086792 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Механизм, который использует ____, - это одноместные качели", + "option_a": "шкив", + "option_b": "маятник", + "option_c": "рычаг", + "option_d": "удочка" + }, + "outputs": "B", + "meta": { + "id": 331 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМеханизм, который использует ____, - это одноместные качели\nA) шкив\nB) маятник\nC) рычаг\nD) удочка\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.81050044298172, + "B": 0.02159910462796688, + "C": 0.03142651170492172, + "D": 0.019061142578721046 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дрожь - это когда животное выделяет тепло, трясясь, чтобы поддержать в теле что?", + "option_a": "приемлемую температуру", + "option_b": "хорошее настроение", + "option_c": "холод", + "option_d": "потомство" + }, + "outputs": "A", + "meta": { + "id": 887 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДрожь - это когда животное выделяет тепло, трясясь, чтобы поддержать в теле что?\nA. приемлемую температуру\nB. хорошее настроение\nC. холод\nD. потомство\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2039351761341095, + "B": 0.10915863513946533, + "C": 0.3158609867095947, + "D": 0.2787463366985321 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Давление будет достаточно высоким в таких местах, как", + "option_a": "дно реки", + "option_b": "дно дома", + "option_c": "дно горы", + "option_d": "дно моря" + }, + "outputs": "D", + "meta": { + "id": 977 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Давление будет достаточно высоким в таких местах, как\nA. дно реки\nB. дно дома\nC. дно горы\nD. дно моря\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2852305471897125, + "B": 0.05276234447956085, + "C": 0.344053715467453, + "D": 0.19603587687015533 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно считать исчерпаемым?", + "option_a": "солнечная энергия", + "option_b": "ветер", + "option_c": "нефть", + "option_d": "вода" + }, + "outputs": "C", + "meta": { + "id": 2243 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто можно считать исчерпаемым?\nA. солнечная энергия\nB. ветер\nC. нефть\nD. вода\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 420, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8233931660652161, + "B": 0.0248643197119236, + "C": 0.018191125243902206, + "D": 0.023357868194580078 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда звук издается внутри комнаты, иногда бывает", + "option_a": "эхо", + "option_b": "электрический заряд", + "option_c": "свет", + "option_d": "видео" + }, + "outputs": "A", + "meta": { + "id": 2062 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда звук издается внутри комнаты, иногда бывает\nA. эхо\nB. электрический заряд\nC. свет\nD. видео\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.10909727215766907, + "B": 0.3807868957519531, + "C": 0.3577161729335785, + "D": 0.066170834004879 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сало медведя", + "option_a": "бесполезно и даже опасно для его здоровья", + "option_b": "позволяет ему есть больше", + "option_c": "позволяет ему сохранять телесный комфорт", + "option_d": "затрудняет жизнь медведя" + }, + "outputs": "C", + "meta": { + "id": 962 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСало медведя\nA. бесполезно и даже опасно для его здоровья\nB. позволяет ему есть больше\nC. позволяет ему сохранять телесный комфорт\nD. затрудняет жизнь медведя\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19091768562793732, + "B": 0.23029068112373352, + "C": 0.31477004289627075, + "D": 0.14868685603141785 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой камень мягче ногтя?", + "option_a": "Медь", + "option_b": "Кальцит", + "option_c": "Графит", + "option_d": "Кварц" + }, + "outputs": "C", + "meta": { + "id": 2269 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой камень мягче ногтя?\nA. Медь\nB. Кальцит\nC. Графит\nD. Кварц\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3883931338787079, + "B": 0.07184550911188126, + "C": 0.28415447473526, + "D": 0.09225145727396011 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком из перечисленных вариантов есть молекулы?", + "option_a": "мысли", + "option_b": "суицид", + "option_c": "терапия", + "option_d": "эскимо" + }, + "outputs": "D", + "meta": { + "id": 186 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ каком из перечисленных вариантов есть молекулы?\nA. мысли\nB. суицид\nC. терапия\nD. эскимо\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3709111511707306, + "B": 0.1546187698841095, + "C": 0.1752060204744339, + "D": 0.19853444397449493 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Навык, которым обладают некоторые люди:", + "option_a": "остроумный разговор", + "option_b": "зрение", + "option_c": "биение сердца", + "option_d": "десять пальцев" + }, + "outputs": "A", + "meta": { + "id": 677 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНавык, которым обладают некоторые люди:\nA. остроумный разговор\nB. зрение\nC. биение сердца\nD. десять пальцев\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.25214335322380066, + "B": 0.1627959907054901, + "C": 0.30414292216300964, + "D": 0.1627959907054901 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кого, вероятно, можно будет увидеть в вольере в зоопарке?", + "option_a": "человек", + "option_b": "бактерии", + "option_c": "бегемот", + "option_d": "динозавр" + }, + "outputs": "C", + "meta": { + "id": 2320 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКого, вероятно, можно будет увидеть в вольере в зоопарке?\nA. человек\nB. бактерии\nC. бегемот\nD. динозавр\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.18842661380767822, + "B": 0.08900643140077591, + "C": 0.3988991379737854, + "D": 0.2419445663690567 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что наиболее точно?", + "option_a": "замораживание - это когда твердые вещества нагреваются выше их точки плавления; плавление - это когда твердые вещества охлаждаются от жидкого до твердого состояния", + "option_b": "плавление - это когда твердые вещества нагреваются выше их точки плавления; кипение - это когда твердые вещества охлаждают от жидкого состояния до твердого", + "option_c": "плавление - это когда твердые вещества нагреваются выше их точки плавления; замораживание - это когда твердые вещества охлаждаются от жидкого до твердого состояния", + "option_d": "замораживание - это когда твердые вещества нагреваются выше их точки плавления; кипение - это когда твердые вещества охлаждаются из жидкого состояния в твердое" + }, + "outputs": "C", + "meta": { + "id": 773 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что наиболее точно?\nA. замораживание - это когда твердые вещества нагреваются выше их точки плавления; плавление - это когда твердые вещества охлаждаются от жидкого до твердого состояния\nB. плавление - это когда твердые вещества нагреваются выше их точки плавления; кипение - это когда твердые вещества охлаждают от жидкого состояния до твердого\nC. плавление - это когда твердые вещества нагреваются выше их точки плавления; замораживание - это когда твердые вещества охлаждаются от жидкого до твердого состояния\nD. замораживание - это когда твердые вещества нагреваются выше их точки плавления; кипение - это когда твердые вещества охлаждаются из жидкого состояния в твердое\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 555, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1382918357849121, + "B": 0.18902252614498138, + "C": 0.33174487948417664, + "D": 0.2750261723995209 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Банки из-под газировки можно отнести в место, известное как", + "option_a": "океан", + "option_b": "кладбище", + "option_c": "свалка металлолома", + "option_d": "архив" + }, + "outputs": "C", + "meta": { + "id": 866 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБанки из-под газировки можно отнести в место, известное как\nA) океан\nB) кладбище\nC) свалка металлолома\nD) архив\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10657058656215668, + "B": 0.05358705297112465, + "C": 0.6949275135993958, + "D": 0.07324481755495071 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если дерево упадет, то что?", + "option_a": "скорее всего выживет", + "option_b": "скорее всего станет пышнее", + "option_c": "скорее всего сгниет", + "option_d": "скорее всего вырастет выше" + }, + "outputs": "C", + "meta": { + "id": 792 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли дерево упадет, то что?\nA. скорее всего выживет\nB. скорее всего станет пышнее\nC. скорее всего сгниет\nD. скорее всего вырастет выше\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.02568204142153263, + "B": 0.020001191645860672, + "C": 0.02568204142153263, + "D": 0.9053230881690979 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что заставляет землю устраивать землетрясение?", + "option_a": "дождь", + "option_b": "извержение гейзера", + "option_c": "штиль", + "option_d": "смещение участков земной коры" + }, + "outputs": "D", + "meta": { + "id": 898 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто заставляет землю устраивать землетрясение?\nA) дождь\nB) извержение гейзера\nC) штиль\nD) смещение участков земной коры\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.014928800985217094, + "B": 0.9236121773719788, + "C": 0.010260405018925667, + "D": 0.011626562103629112 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В декабре в северном полушарии вам понадобятся", + "option_a": "короткие шорты", + "option_b": "варежки", + "option_c": "лосьон для загара", + "option_d": "охлаждающие вентиляторы" + }, + "outputs": "B", + "meta": { + "id": 2148 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ декабре в северном полушарии вам понадобятся\nA) короткие шорты\nB) варежки\nC) лосьон для загара\nD) охлаждающие вентиляторы\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02158951200544834, + "B": 0.012301333248615265, + "C": 0.918009340763092, + "D": 0.01579522341489792 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Приготовление пищи при правильной температуре", + "option_a": "- слишком трудная работа, и ее следует избегать", + "option_b": "позволяет бактериям процветать", + "option_c": "искореняет возможные болезни, вызываемые патогенными организмами", + "option_d": "оставляет мясо сырым и недостаточно приготовленным" + }, + "outputs": "C", + "meta": { + "id": 173 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Приготовление пищи при правильной температуре\nA. - слишком трудная работа, и ее следует избегать\nB. позволяет бактериям процветать\nC. искореняет возможные болезни, вызываемые патогенными организмами\nD. оставляет мясо сырым и недостаточно приготовленным\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 471, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.04975961148738861, + "B": 0.01719646155834198, + "C": 0.8285719156265259, + "D": 0.06389261037111282 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Песчаные отмели являются частью большинства морей, потому что есть", + "option_a": "места, где рыба ест", + "option_b": "много камней в море", + "option_c": "волны, которые наносят и уносят ил", + "option_d": "песок, который нужно ссыпать куда-нибудь" + }, + "outputs": "C", + "meta": { + "id": 1218 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПесчаные отмели являются частью большинства морей, потому что есть\nA) места, где рыба ест\nB) много камней в море\nC) волны, которые наносят и уносят ил\nD) песок, который нужно ссыпать куда-нибудь\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.17086108028888702, + "B": 0.08591434359550476, + "C": 0.40987440943717957, + "D": 0.2646348178386688 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите источник, передающий энергию для открытия дверной ручки?", + "option_a": "дизельное топливо", + "option_b": "рука призрака", + "option_c": "вы", + "option_d": "электричество" + }, + "outputs": "C", + "meta": { + "id": 1181 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Выберите источник, передающий энергию для открытия дверной ручки?\nA. дизельное топливо\nB. рука призрака\nC. вы\nD. электричество\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11790839582681656, + "B": 0.059288062155246735, + "C": 0.6374067664146423, + "D": 0.0977494940161705 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая из бывших планет еще не очистила свою орбиту?", + "option_a": "планета Венера", + "option_b": "Земля", + "option_c": "Бывшая девятая планета", + "option_d": "планета Марс" + }, + "outputs": "C", + "meta": { + "id": 309 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая из бывших планет еще не очистила свою орбиту?\nA. планета Венера\nB. Земля\nC. Бывшая девятая планета\nD. планета Марс\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.25013285875320435, + "B": 0.26626503467559814, + "C": 0.22074146568775177, + "D": 0.16149790585041046 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кола и ментос вместе будут", + "option_a": "тихо испаряться", + "option_b": "быстро расширяться", + "option_c": "медленно замораживаться", + "option_d": "внезапно исчезать" + }, + "outputs": "B", + "meta": { + "id": 907 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кола и ментос вместе будут\nA) тихо испаряться\nB) быстро расширяться\nC) медленно замораживаться\nD) внезапно исчезать\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.13562080264091492, + "B": 0.036501843482255936, + "C": 0.6078102588653564, + "D": 0.15367849171161652 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы быть экологичнее", + "option_a": "нажимайте педаль в грузовике до упора", + "option_b": "запрыгивайте в седан", + "option_c": "используйте силу ног, чтобы крутить педали", + "option_d": "катайтесь на мотоцикле по городу" + }, + "outputs": "C", + "meta": { + "id": 1926 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы быть экологичнее\nA. нажимайте педаль в грузовике до упора\nB. запрыгивайте в седан\nC. используйте силу ног, чтобы крутить педали\nD. катайтесь на мотоцикле по городу\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09140297025442123, + "B": 0.7653076648712158, + "C": 0.04317570850253105, + "D": 0.033625274896621704 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для вашего здоровья жизненно важно", + "option_a": "хорошо проводить время", + "option_b": "иметь жизнеспособную колонию бактерий", + "option_c": "иметь самолет", + "option_d": "водить водный мотоцикл" + }, + "outputs": "B", + "meta": { + "id": 1183 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для вашего здоровья жизненно важно\nA) хорошо проводить время\nB) иметь жизнеспособную колонию бактерий\nC) иметь самолет\nD) водить водный мотоцикл\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.45327216386795044, + "B": 0.18895193934440613, + "C": 0.07399464398622513, + "D": 0.1667495220899582 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Прошедшая неделя была теплой, влажной и туманной. Поскольку завтра ожидается немного прохладная погода, разумный человек может предположить, что завтра будет", + "option_a": "туманно", + "option_b": "ясно", + "option_c": "жарко", + "option_d": "дождливо" + }, + "outputs": "D", + "meta": { + "id": 1945 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПрошедшая неделя была теплой, влажной и туманной. Поскольку завтра ожидается немного прохладная погода, разумный человек может предположить, что завтра будет\nA) туманно\nB) ясно\nC) жарко\nD) дождливо\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2212085723876953, + "B": 0.20780621469020844, + "C": 0.2668284475803375, + "D": 0.2212085723876953 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда шарик с водой заморожен, он будет содержать", + "option_a": "гораздо меньше воды", + "option_b": "в два раза больше льда", + "option_c": "большее количество воды", + "option_d": "такое же количество воды" + }, + "outputs": "D", + "meta": { + "id": 22 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда шарик с водой заморожен, он будет содержать\nA. гораздо меньше воды\nB. в два раза больше льда\nC. большее количество воды\nD. такое же количество воды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2197873741388321, + "B": 0.10382019728422165, + "C": 0.24905171990394592, + "D": 0.340413361787796 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого передается генетически, а не приобретается?", + "option_a": "богатство", + "option_b": "мудрость", + "option_c": "срок тюремного заключения", + "option_d": "рост" + }, + "outputs": "D", + "meta": { + "id": 1746 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из этого передается генетически, а не приобретается?\nA. богатство\nB. мудрость\nC. срок тюремного заключения\nD. рост\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.018148507922887802, + "B": 0.012473274022340775, + "C": 0.018148507922887802, + "D": 0.930840790271759 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животные не могут расти или оставаться здоровыми без", + "option_a": "носков", + "option_b": "цветного льда", + "option_c": "ресторанов", + "option_d": "надлежащего питания" + }, + "outputs": "D", + "meta": { + "id": 1970 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖивотные не могут расти или оставаться здоровыми без\nA) носков\nB) цветного льда\nC) ресторанов\nD) надлежащего питания\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2791496217250824, + "B": 0.10931656509637833, + "C": 0.3584352135658264, + "D": 0.14036524295806885 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое растение поглощает больше всего солнечного света?", + "option_a": "то, которое растет в тундре", + "option_b": "то, которое ест насекомых", + "option_c": "то, которое растет из фиников", + "option_d": "то, которое больше всего нравится божьим коровкам" + }, + "outputs": "C", + "meta": { + "id": 2089 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое растение поглощает больше всего солнечного света?\nA) то, которое растет в тундре\nB) то, которое ест насекомых\nC) то, которое растет из фиников\nD) то, которое больше всего нравится божьим коровкам\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.14215905964374542, + "B": 0.04072925075888634, + "C": 0.6782029271125793, + "D": 0.07609225809574127 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В осадочных породах вы найдете больше всего", + "option_a": "канавок", + "option_b": "тел птеродактилей", + "option_c": "гальки", + "option_d": "крыльев кур" + }, + "outputs": "B", + "meta": { + "id": 6 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В осадочных породах вы найдете больше всего\nA) канавок\nB) тел птеродактилей\nC) гальки\nD) крыльев кур\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1563258320093155, + "B": 0.08907178044319153, + "C": 0.3991920053958893, + "D": 0.27436038851737976 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Урожаи у фермера с каждым годом все хуже, какой метод может быть причиной этого?", + "option_a": "Переход к устойчивому ведению сельского хозяйства", + "option_b": "Разведение домашнего скота и сельскохозяйственных культур", + "option_c": "Выращивание только кукурузы", + "option_d": "Использование гидропоники в сельском хозяйстве" + }, + "outputs": "C", + "meta": { + "id": 1594 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУрожаи у фермера с каждым годом все хуже, какой метод может быть причиной этого?\nA) Переход к устойчивому ведению сельского хозяйства\nB) Разведение домашнего скота и сельскохозяйственных культур\nC) Выращивание только кукурузы\nD) Использование гидропоники в сельском хозяйстве\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5509709119796753, + "B": 0.05807190760970116, + "C": 0.16803663969039917, + "D": 0.07004808634519577 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что утки могут благодаря их перепончатым придаткам?", + "option_a": "перемещаться", + "option_b": "мечтать о сезонной пицце", + "option_c": "петь", + "option_d": "заниматься балетом" + }, + "outputs": "A", + "meta": { + "id": 1036 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что утки могут благодаря их перепончатым придаткам?\nA) перемещаться\nB) мечтать о сезонной пицце\nC) петь\nD) заниматься балетом\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1357119083404541, + "B": 0.1056925430893898, + "C": 0.47368109226226807, + "D": 0.22375111281871796 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Конденсация - это этап в процессе круговорота воды, когда", + "option_a": "лед брызгает водой в мой стакан", + "option_b": "влажная пленка возникаетна моих очках", + "option_c": "капля дождя падает мне в глаза", + "option_d": "пот падает мне в глаза" + }, + "outputs": "B", + "meta": { + "id": 1832 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКонденсация - это этап в процессе круговорота воды, когда\nA) лед брызгает водой в мой стакан\nB) влажная пленка возникаетна моих очках\nC) капля дождя падает мне в глаза\nD) пот падает мне в глаза\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4300343692302704, + "B": 0.12320691347122192, + "C": 0.14861591160297394, + "D": 0.16840386390686035 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой этап жизненный цикл обязательно включает в себя?", + "option_a": "транспортировка воды", + "option_b": "воспроизведение идей", + "option_c": "убийство родственников", + "option_d": "репликация сущностей" + }, + "outputs": "D", + "meta": { + "id": 1467 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой этап жизненный цикл обязательно включает в себя?\nA. транспортировка воды\nB. воспроизведение идей\nC. убийство родственников\nD. репликация сущностей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.10788021981716156, + "B": 0.7034673690795898, + "C": 0.06146829202771187, + "D": 0.07414491474628448 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где бы вы, скорее всего, нашли железо?", + "option_a": "океан", + "option_b": "шахта", + "option_c": "воздух", + "option_d": "лес" + }, + "outputs": "B", + "meta": { + "id": 2068 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где бы вы, скорее всего, нашли железо?\nA) океан\nB) шахта\nC) воздух\nD) лес\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7933317422866821, + "B": 0.02395654283463955, + "C": 0.03949765861034393, + "D": 0.01986067183315754 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что такое хищники?", + "option_a": "мясоеды", + "option_b": "едоки растений", + "option_c": "травоядные", + "option_d": "мирные грибоеды" + }, + "outputs": "A", + "meta": { + "id": 1884 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что такое хищники?\nA. мясоеды\nB. едоки растений\nC. травоядные\nD. мирные грибоеды\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.22744940221309662, + "B": 0.13795502483844757, + "C": 0.4523371458053589, + "D": 0.06516534835100174 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая температура крови у амфибии?", + "option_a": "низкая", + "option_b": "человеческая", + "option_c": "высокая", + "option_d": "огненная" + }, + "outputs": "A", + "meta": { + "id": 519 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая температура крови у амфибии?\nA. низкая\nB. человеческая\nC. высокая\nD. огненная\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.20957417786121368, + "B": 0.08207042515277863, + "C": 0.5027422904968262, + "D": 0.10538051277399063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если почва рыхлая, что происходит с насыщением почвы кислородом?", + "option_a": "упрощается", + "option_b": "становится скучным", + "option_c": "усложняется", + "option_d": "просит пощады" + }, + "outputs": "A", + "meta": { + "id": 2254 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли почва рыхлая, что происходит с насыщением почвы кислородом?\nA. упрощается\nB. становится скучным\nC. усложняется\nD. просит пощады\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15344615280628204, + "B": 0.08743098378181458, + "C": 0.3680981993675232, + "D": 0.32484549283981323 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "если жидкость меняет свое состояние на газ, то эта жидкость", + "option_a": "слизистая", + "option_b": "холодная", + "option_c": "горячая", + "option_d": "конденсирующаяся" + }, + "outputs": "C", + "meta": { + "id": 652 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nесли жидкость меняет свое состояние на газ, то эта жидкость\nA) слизистая\nB) холодная\nC) горячая\nD) конденсирующаяся\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.33467844128608704, + "B": 0.16828688979148865, + "C": 0.2029927372932434, + "D": 0.16828688979148865 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может делать вода в закрытой банке, помещенная в морозильную камеру?", + "option_a": "испариться", + "option_b": "вытечь", + "option_c": "испачкать банку", + "option_d": "разорвать банку" + }, + "outputs": "D", + "meta": { + "id": 1243 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто может делать вода в закрытой банке, помещенная в морозильную камеру?\nA. испариться\nB. вытечь\nC. испачкать банку\nD. разорвать банку\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2502993941307068, + "B": 0.1720280945301056, + "C": 0.26644232869148254, + "D": 0.18312296271324158 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После шторма", + "option_a": "будет не хватать питьевой воды", + "option_b": "пруды могут высохнуть", + "option_c": "русла ручьев могут расшириться", + "option_d": "цветы увянут и засохнут" + }, + "outputs": "C", + "meta": { + "id": 1328 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПосле шторма\nA. будет не хватать питьевой воды\nB. пруды могут высохнуть\nC. русла ручьев могут расшириться\nD. цветы увянут и засохнут\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03926471248269081, + "B": 0.7886528968811035, + "C": 0.0325515940785408, + "D": 0.08848439902067184 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнце отвечает за то, что", + "option_a": "щенки учатся новым трюкам", + "option_b": "растения прорастают, цветут и увядают", + "option_c": "цветы вянут в вазе", + "option_d": "дети растут и стареют" + }, + "outputs": "B", + "meta": { + "id": 2178 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСолнце отвечает за то, что\nA. щенки учатся новым трюкам\nB. растения прорастают, цветут и увядают\nC. цветы вянут в вазе\nD. дети растут и стареют\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3347521424293518, + "B": 0.07951060682535172, + "C": 0.3144705295562744, + "D": 0.10867810249328613 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Между львами возрастает конкуренция", + "option_a": "когда антилопы напуганы и на них труднее охотиться", + "option_b": "когда популяция львов уменьшается", + "option_c": "когда есть множество вариантов добычи", + "option_d": "когда в сообщество попадают новые виды добычи" + }, + "outputs": "A", + "meta": { + "id": 1398 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Между львами возрастает конкуренция\nA. когда антилопы напуганы и на них труднее охотиться\nB. когда популяция львов уменьшается\nC. когда есть множество вариантов добычи\nD. когда в сообщество попадают новые виды добычи\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.16540996730327606, + "B": 0.22608861327171326, + "C": 0.35017287731170654, + "D": 0.15538828074932098 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы просыпаетесь к северу от экватора и замечаете, что восход солнца происходит раньше, чем вчера, и позже, чем на следующий день, какой это может быть день", + "option_a": "21 февраля", + "option_b": "21 декабря", + "option_c": "31 сентября", + "option_d": "21 мая" + }, + "outputs": "B", + "meta": { + "id": 363 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВы просыпаетесь к северу от экватора и замечаете, что восход солнца происходит раньше, чем вчера, и позже, чем на следующий день, какой это может быть день\nA. 21 февраля\nB. 21 декабря\nC. 31 сентября\nD. 21 мая\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.19715970754623413, + "B": 0.07253100723028183, + "C": 0.39209890365600586, + "D": 0.26948538422584534 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Желтый карлик - источник", + "option_a": "холода", + "option_b": "звука", + "option_c": "жизни", + "option_d": "тепла" + }, + "outputs": "D", + "meta": { + "id": 1977 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖелтый карлик - источник\nA) холода\nB) звука\nC) жизни\nD) тепла\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.16835300624370575, + "B": 0.13956953585147858, + "C": 0.4299044609069824, + "D": 0.1792108416557312 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Производство лампочек влияет на", + "option_a": "мозг", + "option_b": "океан", + "option_c": "воздух", + "option_d": "клетки крови" + }, + "outputs": "B", + "meta": { + "id": 646 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Производство лампочек влияет на\nA) мозг\nB) океан\nC) воздух\nD) клетки крови\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.08334771543741226, + "B": 0.0210736021399498, + "C": 0.6978618502616882, + "D": 0.1557140350341797 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди проходят несколько этапов своей жизни. Первый - младенчество, последний -", + "option_a": "стадия 7", + "option_b": "старшая школа", + "option_c": "старость", + "option_d": "половое созревание" + }, + "outputs": "C", + "meta": { + "id": 148 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛюди проходят несколько этапов своей жизни. Первый - младенчество, последний -\nA) стадия 7\nB) старшая школа\nC) старость\nD) половое созревание\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.06361904740333557, + "B": 0.024913577362895012, + "C": 0.728081464767456, + "D": 0.143367737531662 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тайфун потенциально может вызвать", + "option_a": "чрезмерное увлажнение отдельно взятой грядки", + "option_b": "уменьшение озер", + "option_c": "наводнение в регионе", + "option_d": "высыхание рек" + }, + "outputs": "A", + "meta": { + "id": 856 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТайфун потенциально может вызвать\nA. чрезмерное увлажнение отдельно взятой грядки\nB. уменьшение озер\nC. наводнение в регионе\nD. высыхание рек\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2795487642288208, + "B": 0.05859660357236862, + "C": 0.43297359347343445, + "D": 0.10284024477005005 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зима в северном полушарии", + "option_a": "коррелирует с длинными солнечными днями в южном полушарии.", + "option_b": "приходится в южном полушарии на дни влажной осени", + "option_c": "коррелирует с холодными месяцами в южном полушарии", + "option_d": "такая же, как и в южном полушарии" + }, + "outputs": "A", + "meta": { + "id": 2110 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗима в северном полушарии\nA) коррелирует с длинными солнечными днями в южном полушарии.\nB) приходится в южном полушарии на дни влажной осени\nC) коррелирует с холодными месяцами в южном полушарии\nD) такая же, как и в южном полушарии\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.009173834696412086, + "B": 0.007605376187711954, + "C": 0.935756504535675, + "D": 0.009173834696412086 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мужчина подключает телевизор к розетке за шкафом. Теперь он может включить телевизор, чтобы он мог смотреть свое любимое шоу. Мужчина знает, что, воткнув шнур в розетку", + "option_a": "он разомкнул контур", + "option_b": "он заключил хорошую сделку", + "option_c": "он замкнул контур", + "option_d": "он изобрел новые схемы" + }, + "outputs": "C", + "meta": { + "id": 1733 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМужчина подключает телевизор к розетке за шкафом. Теперь он может включить телевизор, чтобы он мог смотреть свое любимое шоу. Мужчина знает, что, воткнув шнур в розетку\nA. он разомкнул контур\nB. он заключил хорошую сделку\nC. он замкнул контур\nD. он изобрел новые схемы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 474, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3612618148326874, + "B": 0.2813510000705719, + "C": 0.18165385723114014, + "D": 0.08580721169710159 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто наиболее способствовал развитию науки о падении чего-либо?", + "option_a": "Ньютон", + "option_b": "Галилей", + "option_c": "Эйнштейн", + "option_d": "Резерфорд" + }, + "outputs": "A", + "meta": { + "id": 1481 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто наиболее способствовал развитию науки о падении чего-либо?\nA. Ньютон\nB. Галилей\nC. Эйнштейн\nD. Резерфорд\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.32576021552085876, + "B": 0.13579706847667694, + "C": 0.15387824177742004, + "D": 0.30602341890335083 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, использующий компас, может найти свой путь, когда он теряется", + "option_a": "во времени", + "option_b": "в игре", + "option_c": "в разговоре", + "option_d": "на воде" + }, + "outputs": "D", + "meta": { + "id": 1502 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек, использующий компас, может найти свой путь, когда он теряется\nA) во времени\nB) в игре\nC) в разговоре\nD) на воде\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.725029706954956, + "B": 0.03391009196639061, + "C": 0.0674382671713829, + "D": 0.023306041955947876 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую потребность медведя удовлетворяет темная пещера?", + "option_a": "в убежище для безопасности", + "option_b": "в упражнениях для здоровья", + "option_c": "в еде, которую он может съесть", + "option_d": "в друзьях для общения" + }, + "outputs": "A", + "meta": { + "id": 443 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакую потребность медведя удовлетворяет темная пещера?\nA) в убежище для безопасности\nB) в упражнениях для здоровья\nC) в еде, которую он может съесть\nD) в друзьях для общения\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.17415842413902283, + "B": 0.1536942571401596, + "C": 0.36869335174560547, + "D": 0.21007513999938965 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой среде обитания будут жить живые существа?", + "option_a": "Среда обитания с множеством игрушек", + "option_b": "Среда обитания с изменяющейся погодой", + "option_c": "Среда обитания, которую выбирает большинство животных", + "option_d": "Среда обитания с большим количеством воды" + }, + "outputs": "D", + "meta": { + "id": 980 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ какой среде обитания будут жить живые существа?\nA) Среда обитания с множеством игрушек\nB) Среда обитания с изменяющейся погодой\nC) Среда обитания, которую выбирает большинство животных\nD) Среда обитания с большим количеством воды\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.05348522961139679, + "B": 0.04720054566860199, + "C": 0.12053082138299942, + "D": 0.7383407950401306 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Возможность наслаждаться египетскими сушеными финиками в маленьком городке под Московй стала возможной, потому что", + "option_a": "свежие продукты лучше, чем сушеные", + "option_b": "транспортировка еды едва окупается", + "option_c": "перевозимая еда имеет прекрасный вкус", + "option_d": "транспортировка еды стала проще, дешевле и быстрее" + }, + "outputs": "D", + "meta": { + "id": 1076 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВозможность наслаждаться египетскими сушеными финиками в маленьком городке под Московй стала возможной, потому что\nA. свежие продукты лучше, чем сушеные\nB. транспортировка еды едва окупается\nC. перевозимая еда имеет прекрасный вкус\nD. транспортировка еды стала проще, дешевле и быстрее\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21693946421146393, + "B": 0.11611932516098022, + "C": 0.3807406425476074, + "D": 0.14006666839122772 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда погода меняется, как с Рождества на Пасху,", + "option_a": "воздух может похолодать", + "option_b": "земля может замерзнуть", + "option_c": "земля может нагреться", + "option_d": "растения могут погибнуть" + }, + "outputs": "C", + "meta": { + "id": 802 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда погода меняется, как с Рождества на Пасху,\nA) воздух может похолодать\nB) земля может замерзнуть\nC) земля может нагреться\nD) растения могут погибнуть\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7420793771743774, + "B": 0.06902413070201874, + "C": 0.05049913749098778, + "D": 0.05049913749098778 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы бы использовали сейсмометр, если бы", + "option_a": "раздался загадочный грохот у берегов Японии", + "option_b": "кто-то пукнул в классе", + "option_c": "дети топали по полу", + "option_d": "хотели отследить жужжание пчелы" + }, + "outputs": "A", + "meta": { + "id": 1284 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВы бы использовали сейсмометр, если бы\nA) раздался загадочный грохот у берегов Японии\nB) кто-то пукнул в классе\nC) дети топали по полу\nD) хотели отследить жужжание пчелы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0846690759062767, + "B": 0.8033178448677063, + "C": 0.029260851442813873, + "D": 0.02140769548714161 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое влияние на здоровье существа оказывает то, что существо становится сильнее?", + "option_a": "плохое воздействие", + "option_b": "хорошее влияние", + "option_c": "минимальный эффект", + "option_d": "неожиданные осложнения" + }, + "outputs": "B", + "meta": { + "id": 819 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое влияние на здоровье существа оказывает то, что существо становится сильнее?\nA. плохое воздействие\nB. хорошее влияние\nC. минимальный эффект\nD. неожиданные осложнения\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06026938185095787, + "B": 0.7815852165222168, + "C": 0.03655523061752319, + "D": 0.07269874960184097 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторым животным помогают в поиске источников пищи", + "option_a": "неоновые вывески", + "option_b": "ароматы", + "option_c": "созвездия", + "option_d": "брачные крики" + }, + "outputs": "B", + "meta": { + "id": 2247 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНекоторым животным помогают в поиске источников пищи\nA) неоновые вывески\nB) ароматы\nC) созвездия\nD) брачные крики\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2505492568016052, + "B": 0.13410934805870056, + "C": 0.28390949964523315, + "D": 0.20771262049674988 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример ощущения", + "option_a": "Вода находится передо мной", + "option_b": "Мои штаны прилегают к моей коже", + "option_c": "Растения растут в лучах солнца", + "option_d": "Телевизор включился" + }, + "outputs": "B", + "meta": { + "id": 1925 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПример ощущения\nA) Вода находится передо мной\nB) Мои штаны прилегают к моей коже\nC) Растения растут в лучах солнца\nD) Телевизор включился\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1843579262495041, + "B": 0.06782149523496628, + "C": 0.41545701026916504, + "D": 0.25198742747306824 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Без надежных источников пищи или воды", + "option_a": "собак нужно кормить, но не поить", + "option_b": "животные должны сами создать себе источники пищи и воды", + "option_c": "существам труднее выжить", + "option_d": "нужно заботиться обо всех организмах" + }, + "outputs": "C", + "meta": { + "id": 2293 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБез надежных источников пищи или воды\nA) собак нужно кормить, но не поить\nB) животные должны сами создать себе источники пищи и воды\nC) существам труднее выжить\nD) нужно заботиться обо всех организмах\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.32002905011177063, + "B": 0.1511710286140442, + "C": 0.26531341671943665, + "D": 0.16092070937156677 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Верхний слой почвы содержит больше всего питательных веществ там, где я", + "option_a": "хожу в поход", + "option_b": "перехожу вброд", + "option_c": "бегаю трусцой", + "option_d": "катаюсь на коньках" + }, + "outputs": "A", + "meta": { + "id": 524 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВерхний слой почвы содержит больше всего питательных веществ там, где я\nA) хожу в поход\nB) перехожу вброд\nC) бегаю трусцой\nD) катаюсь на коньках\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.18682701885700226, + "B": 0.09394253045320511, + "C": 0.32789164781570435, + "D": 0.30802568793296814 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером схемы может быть", + "option_a": "скалолазание", + "option_b": "пробег на милю", + "option_c": "плавание кругами", + "option_d": "питание лампочки от батареи" + }, + "outputs": "D", + "meta": { + "id": 2295 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером схемы может быть\nA. скалолазание\nB. пробег на милю\nC. плавание кругами\nD. питание лампочки от батареи\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.495386004447937, + "B": 0.18224234879016876, + "C": 0.11766449362039566, + "D": 0.08086954057216644 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поглощение солнечных лучей", + "option_a": "повышает количество градусов Фаренгейта этого объекта", + "option_b": "снижает количество градусов Цельсия этого объекта", + "option_c": "вызывает охлаждение объекта", + "option_d": "вызывает снижение температуры объекта" + }, + "outputs": "A", + "meta": { + "id": 698 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПоглощение солнечных лучей\nA. повышает количество градусов Фаренгейта этого объекта\nB. снижает количество градусов Цельсия этого объекта\nC. вызывает охлаждение объекта\nD. вызывает снижение температуры объекта\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2821536958217621, + "B": 0.4651928246021271, + "C": 0.07133962959051132, + "D": 0.0916018933057785 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если начнется кислотный дождь, вам следует:", + "option_a": "Ловить воду ртом", + "option_b": "Переместить машину в гараж", + "option_c": "Танцевать под дождем", + "option_d": "Прокатиться на велосипеде" + }, + "outputs": "B", + "meta": { + "id": 1679 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если начнется кислотный дождь, вам следует:\nA. Ловить воду ртом\nB. Переместить машину в гараж\nC. Танцевать под дождем\nD. Прокатиться на велосипеде\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12473543733358383, + "B": 0.13278017938137054, + "C": 0.46344834566116333, + "D": 0.20565396547317505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На человека в костюме водолаза возле затонувшего корабля кто-то распыляет темное вещество. Кто бы это мог быть?", + "option_a": "шланг", + "option_b": "медведь", + "option_c": "головоногий моллюск", + "option_d": "карандаш" + }, + "outputs": "C", + "meta": { + "id": 1348 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На человека в костюме водолаза возле затонувшего корабля кто-то распыляет темное вещество. Кто бы это мог быть?\nA) шланг\nB) медведь\nC) головоногий моллюск\nD) карандаш\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 469, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.256937175989151, + "B": 0.22674624621868134, + "C": 0.20010286569595337, + "D": 0.1658911108970642 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как преломление влияет на внешний вид вещей", + "option_a": "Они выглядят черными", + "option_b": "Они кажутся разделенными на части", + "option_c": "Они просто исчезают", + "option_d": "Они кажутся такими же" + }, + "outputs": "B", + "meta": { + "id": 1563 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКак преломление влияет на внешний вид вещей\nA. Они выглядят черными\nB. Они кажутся разделенными на части\nC. Они просто исчезают\nD. Они кажутся такими же\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6326687932014465, + "B": 0.0856224074959755, + "C": 0.12457986176013947, + "D": 0.0856224074959755 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Живое состоит из клеток, как", + "option_a": "виноград", + "option_b": "грязь", + "option_c": "вода", + "option_d": "камни" + }, + "outputs": "A", + "meta": { + "id": 5 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖивое состоит из клеток, как\nA) виноград\nB) грязь\nC) вода\nD) камни\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 415, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.33100247383117676, + "B": 0.166438490152359, + "C": 0.20076315104961395, + "D": 0.18859951198101044 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У более старых растений, скорее всего, будет больше листьев, чем когда", + "option_a": "их было семнадцать", + "option_b": "они были ростками", + "option_c": "они ели хот-доги", + "option_d": "не существовала ботаника" + }, + "outputs": "B", + "meta": { + "id": 1101 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У более старых растений, скорее всего, будет больше листьев, чем когда\nA. их было семнадцать\nB. они были ростками\nC. они ели хот-доги\nD. не существовала ботаника\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.10629644244909286, + "B": 0.4763875901699066, + "C": 0.18655605614185333, + "D": 0.16463515162467957 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У команды есть пицца после игры, и они съедают ее большую часть, но не выбрасывают остальную пиццу. Позже пицца становится несъедобной из-за", + "option_a": "необходимости играть в игры", + "option_b": "отсутствия консервирования", + "option_c": "необходмости ложиться спать раньше, чем предполагалось", + "option_d": "выгорания на солнце" + }, + "outputs": "B", + "meta": { + "id": 1543 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У команды есть пицца после игры, и они съедают ее большую часть, но не выбрасывают остальную пиццу. Позже пицца становится несъедобной из-за\nA. необходимости играть в игры\nB. отсутствия консервирования\nC. необходмости ложиться спать раньше, чем предполагалось\nD. выгорания на солнце\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 478, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.17221009731292725, + "B": 0.41311055421829224, + "C": 0.1833166927099228, + "D": 0.17221009731292725 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это животное процветает, когда заходит солнце", + "option_a": "бычья акула", + "option_b": "луговая собачка", + "option_c": "полярная сова", + "option_d": "пятнистый жираф" + }, + "outputs": "C", + "meta": { + "id": 1640 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЭто животное процветает, когда заходит солнце\nA. бычья акула\nB. луговая собачка\nC. полярная сова\nD. пятнистый жираф\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.18831554055213928, + "B": 0.07374542206525803, + "C": 0.3518197238445282, + "D": 0.33050405979156494 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птица собирается отложить яйцо, поэтому ей нужно устроить безопасное круглое место, чтобы положить туда яйцо. Птица строит, используя", + "option_a": "ленту", + "option_b": "жевательную резинку", + "option_c": "камни", + "option_d": "палочки" + }, + "outputs": "D", + "meta": { + "id": 1457 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Птица собирается отложить яйцо, поэтому ей нужно устроить безопасное круглое место, чтобы положить туда яйцо. Птица строит, используя\nA) ленту\nB) жевательную резинку\nC) камни\nD) палочки\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8358482122421265, + "B": 0.013510228134691715, + "C": 0.028601152822375298, + "D": 0.011922734789550304 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Электромобиль вызывает", + "option_a": "меньше выбросов CO2", + "option_b": "равные с другими машинами выбросы CO2", + "option_c": "выбросы электричества", + "option_d": "больше выбросов CO2" + }, + "outputs": "A", + "meta": { + "id": 1335 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЭлектромобиль вызывает\nA. меньше выбросов CO2\nB. равные с другими машинами выбросы CO2\nC. выбросы электричества\nD. больше выбросов CO2\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.4479842782020569, + "B": 0.08821333199739456, + "C": 0.15481923520565033, + "D": 0.16480423510074615 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "О чем может свидетельствовать то, что шерсть животного стала гуще?", + "option_a": "это могло быть что-то плохое", + "option_b": "это могло быть летом", + "option_c": "полушарие могло быть обращено в сторону от солнца", + "option_d": "животное могло умирать" + }, + "outputs": "C", + "meta": { + "id": 1968 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nО чем может свидетельствовать то, что шерсть животного стала гуще?\nA. это могло быть что-то плохое\nB. это могло быть летом\nC. полушарие могло быть обращено в сторону от солнца\nD. животное могло умирать\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.3122609555721283, + "B": 0.107914499938488, + "C": 0.3122609555721283, + "D": 0.13856495916843414 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы положите лист бумаги на горячий предмет, останется", + "option_a": "влажное пятно", + "option_b": "пушистый завиток", + "option_c": "одиночный след", + "option_d": "немного льда" + }, + "outputs": "C", + "meta": { + "id": 2093 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вы положите лист бумаги на горячий предмет, останется\nA. влажное пятно\nB. пушистый завиток\nC. одиночный след\nD. немного льда\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2713474631309509, + "B": 0.12817548215389252, + "C": 0.3484170436859131, + "D": 0.15460912883281708 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Будет ли ледник двигаться с большей скоростью, чем морское судно?", + "option_a": "возможно, он движется быстрее", + "option_b": "все эти варианты верны", + "option_c": "это, вероятно, неверно", + "option_d": "есть шансы в пользу ледника" + }, + "outputs": "C", + "meta": { + "id": 192 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБудет ли ледник двигаться с большей скоростью, чем морское судно?\nA) возможно, он движется быстрее\nB) все эти варианты верны\nC) это, вероятно, неверно\nD) есть шансы в пользу ледника\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02839083969593048, + "B": 0.0195127185434103, + "C": 0.8832131028175354, + "D": 0.03424588963389397 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "A переключатель подключает что-то к батареям, потому что:", + "option_a": "электроны затем начинают возмущаться", + "option_b": "переключатель позволяет кислоте высвободиться", + "option_c": "кусок металла замыкает цепь", + "option_d": "цепь размыкается" + }, + "outputs": "C", + "meta": { + "id": 151 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nA переключатель подключает что-то к батареям, потому что:\nA) электроны затем начинают возмущаться\nB) переключатель позволяет кислоте высвободиться\nC) кусок металла замыкает цепь\nD) цепь размыкается\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08770564943552017, + "B": 0.04142921417951584, + "C": 0.22396424412727356, + "D": 0.6087978482246399 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Алмазы существуют из-за существования", + "option_a": "автомобилей", + "option_b": "рабочей силы", + "option_c": "машин для кормления растений", + "option_d": "необработанного углерода" + }, + "outputs": "D", + "meta": { + "id": 1962 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nАлмазы существуют из-за существования\nA) автомобилей\nB) рабочей силы\nC) машин для кормления растений\nD) необработанного углерода\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.11581335216760635, + "B": 0.05823460593819618, + "C": 0.5190393924713135, + "D": 0.26098939776420593 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дерево можно заменить, посадив что?", + "option_a": "брод", + "option_b": "ферму", + "option_c": "траву", + "option_d": "высокий куст" + }, + "outputs": "D", + "meta": { + "id": 1732 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДерево можно заменить, посадив что?\nA) брод\nB) ферму\nC) траву\nD) высокий куст\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.4765613377094269, + "B": 0.10633520781993866, + "C": 0.18662409484386444, + "D": 0.1204935759305954 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человеку нужен кальций, где он может его найти?", + "option_a": "в картофельном хлебе на завтрак", + "option_b": "в куске мела для рисования в классе", + "option_c": "в ванильном мороженом", + "option_d": "в цветке растения" + }, + "outputs": "B", + "meta": { + "id": 1734 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли человеку нужен кальций, где он может его найти?\nA) в картофельном хлебе на завтрак\nB) в куске мела для рисования в классе\nC) в ванильном мороженом\nD) в цветке растения\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.22570642828941345, + "B": 0.24026325345039368, + "C": 0.15512561798095703, + "D": 0.2898128032684326 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У кого из перечисленных ниже животных нулевая популяция?", + "option_a": "бурый медведь", + "option_b": "саблезубый тигр", + "option_c": "благородный олень", + "option_d": "венценосный журавль" + }, + "outputs": "B", + "meta": { + "id": 595 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У кого из перечисленных ниже животных нулевая популяция?\nA. бурый медведь\nB. саблезубый тигр\nC. благородный олень\nD. венценосный журавль\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7779501080513, + "B": 0.04671953618526459, + "C": 0.022068746387958527, + "D": 0.01257439237087965 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если часть дерева, содержащая хлоропласты, имеет более плоскую поверхность, она имеет более", + "option_a": "выраженную способность поглощать солнечный свет", + "option_b": "яркие цвета", + "option_c": "короткую жизнь", + "option_d": "уверенных в себе друзей" + }, + "outputs": "A", + "meta": { + "id": 1385 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли часть дерева, содержащая хлоропласты, имеет более плоскую поверхность, она имеет более\nA. выраженную способность поглощать солнечный свет\nB. яркие цвета\nC. короткую жизнь\nD. уверенных в себе друзей\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1701056957244873, + "B": 0.2634648382663727, + "C": 0.3382955491542816, + "D": 0.11691182106733322 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда луна полная, она имеет другой", + "option_a": "размер", + "option_b": "внешний вид", + "option_c": "расстояние", + "option_d": "вес" + }, + "outputs": "B", + "meta": { + "id": 714 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда луна полная, она имеет другой\nA) размер\nB) внешний вид\nC) расстояние\nD) вес\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 417, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03693407028913498, + "B": 0.01857161521911621, + "C": 0.017446419224143028, + "D": 0.894830584526062 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гусеница - это первая часть обыденного четырехэтапного жизненного цикла", + "option_a": "машины", + "option_b": "компании", + "option_c": "двигателя", + "option_d": "красочного беспозвоночного" + }, + "outputs": "D", + "meta": { + "id": 210 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Гусеница - это первая часть обыденного четырехэтапного жизненного цикла\nA. машины\nB. компании\nC. двигателя\nD. красочного беспозвоночного\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.021381838247179985, + "B": 0.022760849446058273, + "C": 0.9091788530349731, + "D": 0.016652192920446396 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное, скорее всего, является опылителем?", + "option_a": "медведь", + "option_b": "паук", + "option_c": "шмель", + "option_d": "крокодил" + }, + "outputs": "C", + "meta": { + "id": 2132 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое животное, скорее всего, является опылителем?\nA) медведь\nB) паук\nC) шмель\nD) крокодил\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.20834662020206451, + "B": 0.5663447380065918, + "C": 0.04102587699890137, + "D": 0.0924532413482666 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После долгой и тяжелой тренировки многие профессионалы помогут своему телу восстановиться, потребляя", + "option_a": "электролиты", + "option_b": "углеводы", + "option_c": "сахар", + "option_d": "белок" + }, + "outputs": "D", + "meta": { + "id": 826 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: После долгой и тяжелой тренировки многие профессионалы помогут своему телу восстановиться, потребляя\nA. электролиты\nB. углеводы\nC. сахар\nD. белок\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05055754631757736, + "B": 0.7908530831336975, + "C": 0.039374254643917084, + "D": 0.044616881757974625 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой пункт списка является примером охоты?", + "option_a": "Кошки, питающиеся кошачьим кормом", + "option_b": "морская выдра раскалывает ракорины моллюсков камнем", + "option_c": "Люди идут в рестораны", + "option_d": "Собака ест собачий корм" + }, + "outputs": "B", + "meta": { + "id": 1692 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой пункт списка является примером охоты?\nA. Кошки, питающиеся кошачьим кормом\nB. морская выдра раскалывает ракорины моллюсков камнем\nC. Люди идут в рестораны\nD. Собака ест собачий корм\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.20927098393440247, + "B": 0.08195169270038605, + "C": 0.3450295031070709, + "D": 0.2860395312309265 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы вы смотрели лунное затмение с Луны", + "option_a": "вы бы переместились в другое измерение", + "option_b": "время пошло бы назад", + "option_c": "вы бы видели солнечное затмение", + "option_d": "вы были бы сброшены с Луны" + }, + "outputs": "C", + "meta": { + "id": 709 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли бы вы смотрели лунное затмение с Луны\nA) вы бы переместились в другое измерение\nB) время пошло бы назад\nC) вы бы видели солнечное затмение\nD) вы были бы сброшены с Луны\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.36487698554992676, + "B": 0.09225534647703171, + "C": 0.23558229207992554, + "D": 0.19530458748340607 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Хлорофилл", + "option_a": "- это цвет щеки смущенного человека", + "option_b": "хорошо впишется в арктику", + "option_c": "не будет ущемлен в день Святого Патрика", + "option_d": "- цвет, используемый также для описания кого-то грустного" + }, + "outputs": "C", + "meta": { + "id": 1797 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nХлорофилл\nA. - это цвет щеки смущенного человека\nB. хорошо впишется в арктику\nC. не будет ущемлен в день Святого Патрика\nD. - цвет, используемый также для описания кого-то грустного\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7021544575691223, + "B": 0.08386039733886719, + "C": 0.05763635039329529, + "D": 0.065310537815094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Этот материал обладает наименьшей теплопроводностью", + "option_a": "термобелье", + "option_b": "медь", + "option_c": "алюминий", + "option_d": "сталь" + }, + "outputs": "A", + "meta": { + "id": 2006 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЭтот материал обладает наименьшей теплопроводностью\nA) термобелье\nB) медь\nC) алюминий\nD) сталь\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7371296882629395, + "B": 0.060507290065288544, + "C": 0.03669952601194382, + "D": 0.02684994786977768 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если оставить сливочное масло на прилавке, когда день станет жарче, что произойдет с маслом?", + "option_a": "превращается из твердого в полужидкое", + "option_b": "сильно затвердевает", + "option_c": "начинает гнить", + "option_d": "его необходимо покрасить" + }, + "outputs": "A", + "meta": { + "id": 1440 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если оставить сливочное масло на прилавке, когда день станет жарче, что произойдет с маслом?\nA. превращается из твердого в полужидкое\nB. сильно затвердевает\nC. начинает гнить\nD. его необходимо покрасить\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 469, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.10753336548805237, + "B": 0.2423301488161087, + "C": 0.27459603548049927, + "D": 0.29230594635009766 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какое время вы, скорее всего, увидите радугу?", + "option_a": "3 часа ночи", + "option_b": "21:00", + "option_c": "10:00 A.M.", + "option_d": "Полночь" + }, + "outputs": "C", + "meta": { + "id": 923 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ какое время вы, скорее всего, увидите радугу?\nA. 3 часа ночи\nB. 21:00\nC. 10:00 A.M.\nD. Полночь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.20611701905727386, + "B": 0.3192402720451355, + "C": 0.233561173081398, + "D": 0.12501628696918488 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В северном полушарии зима", + "option_a": "через месяц после марта", + "option_b": "через месяц после ноября", + "option_c": "через месяц после августа", + "option_d": "через месяц после июня" + }, + "outputs": "B", + "meta": { + "id": 1455 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В северном полушарии зима\nA. через месяц после марта\nB. через месяц после ноября\nC. через месяц после августа\nD. через месяц после июня\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.2955973148345947, + "B": 0.21626360714435577, + "C": 0.23021142184734344, + "D": 0.14863567054271698 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое покрытие тела есть у животного, которое кудахает?", + "option_a": "Кожа", + "option_b": "Мех", + "option_c": "Чешуя", + "option_d": "Перья" + }, + "outputs": "D", + "meta": { + "id": 809 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое покрытие тела есть у животного, которое кудахает?\nA) Кожа\nB) Мех\nC) Чешуя\nD) Перья\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.22303451597690582, + "B": 0.25273123383522034, + "C": 0.30485206842422485, + "D": 0.1270812451839447 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На поле выпадает больше осадков, и еды много, поэтому зайцы, живущие там, будут", + "option_a": "умирать намного раньше", + "option_b": "искать новую землю", + "option_c": "производить большие пометы", + "option_d": "есть меньше еды" + }, + "outputs": "C", + "meta": { + "id": 1675 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа поле выпадает больше осадков, и еды много, поэтому зайцы, живущие там, будут\nA. умирать намного раньше\nB. искать новую землю\nC. производить большие пометы\nD. есть меньше еды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1449844390153885, + "B": 0.03235040232539177, + "C": 0.044217757880687714, + "D": 0.736291766166687 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Использование зеркал для фокусировки собранного света от небесных тел позволяет провести", + "option_a": "концерт небесной музыки", + "option_b": "смещение небесных тел", + "option_c": "радиационные эксперименты", + "option_d": "детальное наблюдение" + }, + "outputs": "D", + "meta": { + "id": 863 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИспользование зеркал для фокусировки собранного света от небесных тел позволяет провести\nA. концерт небесной музыки\nB. смещение небесных тел\nC. радиационные эксперименты\nD. детальное наблюдение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.17120909690856934, + "B": 0.1038435623049736, + "C": 0.465394526720047, + "D": 0.19400529563426971 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из следующих действий скорее могут включать электрический свет в помещении?", + "option_a": "Прыгать на месте", + "option_b": "Хлопать в ладоши", + "option_c": "Поворачивать дверную ручку", + "option_d": "Потирать нос" + }, + "outputs": "B", + "meta": { + "id": 1111 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие из следующих действий скорее могут включать электрический свет в помещении?\nA. Прыгать на месте\nB. Хлопать в ладоши\nC. Поворачивать дверную ручку\nD. Потирать нос\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8575859069824219, + "B": 0.013861585408449173, + "C": 0.012232805602252483, + "D": 0.012232805602252483 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что могут сделать пищевая сода и уксус вместе?", + "option_a": "вступить в реакцию нейтрализации", + "option_b": "стать жесткими", + "option_c": "закипеть", + "option_d": "ничего" + }, + "outputs": "A", + "meta": { + "id": 1063 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что могут сделать пищевая сода и уксус вместе?\nA. вступить в реакцию нейтрализации\nB. стать жесткими\nC. закипеть\nD. ничего\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12346753478050232, + "B": 0.08485790342092514, + "C": 0.6674591302871704, + "D": 0.051468923687934875 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если некто использует в пищу других животных, то это", + "option_a": "нечто неодушевленное", + "option_b": "продуцент", + "option_c": "хищник", + "option_d": "травоядное животное" + }, + "outputs": "C", + "meta": { + "id": 2179 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если некто использует в пищу других животных, то это\nA. нечто неодушевленное\nB. продуцент\nC. хищник\nD. травоядное животное\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.173873633146286, + "B": 0.47263747453689575, + "C": 0.10545967519283295, + "D": 0.173873633146286 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "если два объекта имеют одинаковый заряд, то как эти два материала будут влиять друг на друга?", + "option_a": "собираться вместе", + "option_b": "притягиваться", + "option_c": "страдать от насекомых", + "option_d": "отталкиваться" + }, + "outputs": "D", + "meta": { + "id": 1595 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nесли два объекта имеют одинаковый заряд, то как эти два материала будут влиять друг на друга?\nA. собираться вместе\nB. притягиваться\nC. страдать от насекомых\nD. отталкиваться\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.21254950761795044, + "B": 0.10687659680843353, + "C": 0.22625774145126343, + "D": 0.3970947265625 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человеку нужно переместить валун из расщелины на обрыв. Человек использует", + "option_a": "быструю машину и мяч", + "option_b": "палку с листом", + "option_c": "небольшую тарелку супа", + "option_d": "доску с приподнятым концом" + }, + "outputs": "D", + "meta": { + "id": 294 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человеку нужно переместить валун из расщелины на обрыв. Человек использует\nA) быструю машину и мяч\nB) палку с листом\nC) небольшую тарелку супа\nD) доску с приподнятым концом\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 467, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.15356579422950745, + "B": 0.03647506982088089, + "C": 0.07253933697938919, + "D": 0.6882340908050537 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что положительно сказывается на силе тела?", + "option_a": "частый физический контакт", + "option_b": "нерегулярные движения тела", + "option_c": "снижение физического усилия", + "option_d": "активные физические упражнения" + }, + "outputs": "D", + "meta": { + "id": 1164 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что положительно сказывается на силе тела?\nA) частый физический контакт\nB) нерегулярные движения тела\nC) снижение физического усилия\nD) активные физические упражнения\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.24044063687324524, + "B": 0.34983906149864197, + "C": 0.14583460986614227, + "D": 0.16525226831436157 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется неживое состояние белковых тел", + "option_a": "инерция", + "option_b": "смерть", + "option_c": "покой", + "option_d": "сон" + }, + "outputs": "B", + "meta": { + "id": 910 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как называется неживое состояние белковых тел\nA. инерция\nB. смерть\nC. покой\nD. сон\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5142127275466919, + "B": 0.07885707914829254, + "C": 0.09511978924274445, + "D": 0.16694042086601257 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Осадки - это когда град с облаков падает на землю, а также", + "option_a": "дождь", + "option_b": "вода", + "option_c": "ручей", + "option_d": "облака" + }, + "outputs": "A", + "meta": { + "id": 1798 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Осадки - это когда град с облаков падает на землю, а также\nA) дождь\nB) вода\nC) ручей\nD) облака\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8063742518424988, + "B": 0.015721796080470085, + "C": 0.033283039927482605, + "D": 0.05487445741891861 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делают все живые существа?", + "option_a": "развиваются", + "option_b": "плавают", + "option_c": "летают", + "option_d": "сокращаются" + }, + "outputs": "A", + "meta": { + "id": 1432 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто делают все живые существа?\nA) развиваются\nB) плавают\nC) летают\nD) сокращаются\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 417, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.1676057130098343, + "B": 0.1082143783569336, + "C": 0.4555995464324951, + "D": 0.1676057130098343 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из водоемов содержит больше всего воды на Земле?", + "option_a": "Галилейское море", + "option_b": "Море спокойствия", + "option_c": "Каспийское море", + "option_d": "Саргассово море" + }, + "outputs": "D", + "meta": { + "id": 199 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой из водоемов содержит больше всего воды на Земле?\nA. Галилейское море\nB. Море спокойствия\nC. Каспийское море\nD. Саргассово море\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7431567311286926, + "B": 0.03938586264848709, + "C": 0.04192603379487991, + "D": 0.04192603379487991 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На выживание организма положительно влияет", + "option_a": "доступ к жизненно важным и необходимым объектам", + "option_b": "доступ к грязной, испорченной воде", + "option_c": "доступ к пище, не содержащей питательных веществ", + "option_d": "доступ к дорогам и автомагистралям" + }, + "outputs": "A", + "meta": { + "id": 598 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа выживание организма положительно влияет\nA. доступ к жизненно важным и необходимым объектам\nB. доступ к грязной, испорченной воде\nC. доступ к пище, не содержащей питательных веществ\nD. доступ к дорогам и автомагистралям\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.30738770961761475, + "B": 0.30738770961761475, + "C": 0.10623035579919815, + "D": 0.21126428246498108 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, будет на вкус больше всего похоже на сахар?", + "option_a": "табак", + "option_b": "мандарин", + "option_c": "мясо", + "option_d": "рис" + }, + "outputs": "B", + "meta": { + "id": 655 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что, вероятно, будет на вкус больше всего похоже на сахар?\nA. табак\nB. мандарин\nC. мясо\nD. рис\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.008660515770316124, + "B": 0.008660515770316124, + "C": 0.9403707981109619, + "D": 0.0076428791508078575 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое влияние оказывают упражнения на здоровье человека?", + "option_a": "убивают", + "option_b": "ухудшают", + "option_c": "укрепляют", + "option_d": "ослабляют" + }, + "outputs": "C", + "meta": { + "id": 808 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое влияние оказывают упражнения на здоровье человека?\nA) убивают\nB) ухудшают\nC) укрепляют\nD) ослабляют\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2348661720752716, + "B": 0.1338227093219757, + "C": 0.30157414078712463, + "D": 0.2348661720752716 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Все живые существа состоят из частей, содержащих", + "option_a": "кровеносный сосуд", + "option_b": "сердце", + "option_c": "скелет", + "option_d": "ядро ​​" + }, + "outputs": "D", + "meta": { + "id": 141 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Все живые существа состоят из частей, содержащих\nA. кровеносный сосуд\nB. сердце\nC. скелет\nD. ядро ​​\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.2659124732017517, + "B": 0.16128405928611755, + "C": 0.23466692864894867, + "D": 0.22044917941093445 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Было бы неожиданно увидеть мышь с", + "option_a": "большими зубами", + "option_b": "ушами", + "option_c": "кладкой яиц", + "option_d": "длинным хвостом" + }, + "outputs": "C", + "meta": { + "id": 2079 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБыло бы неожиданно увидеть мышь с\nA. большими зубами\nB. ушами\nC. кладкой яиц\nD. длинным хвостом\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3971557915210724, + "B": 0.21258218586444855, + "C": 0.15552844107151031, + "D": 0.08861743658781052 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из предложенного списка вращается?", + "option_a": "все они", + "option_b": "Земля", + "option_c": "планета Марс", + "option_d": "планета Венера" + }, + "outputs": "A", + "meta": { + "id": 1670 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из предложенного списка вращается?\nA) все они\nB) Земля\nC) планета Марс\nD) планета Венера\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2454414665699005, + "B": 0.1795687973499298, + "C": 0.3151530921459198, + "D": 0.13137534260749817 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Осадки иногда приводят к образованию", + "option_a": "гор", + "option_b": "пещер", + "option_c": "вулканов", + "option_d": "землетрясений" + }, + "outputs": "B", + "meta": { + "id": 1887 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОсадки иногда приводят к образованию\nA. гор\nB. пещер\nC. вулканов\nD. землетрясений\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.037095412611961365, + "B": 0.09472645074129105, + "C": 0.034847911447286606, + "D": 0.7931348085403442 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что отличает процветающих животных от тех, которые вымирают, так это", + "option_a": "тип животного", + "option_b": "лишение способности приспосабливаться", + "option_c": "способность оставаться на одном месте", + "option_d": "способность адаптироваться" + }, + "outputs": "D", + "meta": { + "id": 1690 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто отличает процветающих животных от тех, которые вымирают, так это\nA. тип животного\nB. лишение способности приспосабливаться\nC. способность оставаться на одном месте\nD. способность адаптироваться\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.16966041922569275, + "B": 0.5921730399131775, + "C": 0.058633070439100266, + "D": 0.10954099893569946 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если птица зеленого цвета, другая птица может понять это,", + "option_a": "отвернувшись от нее", + "option_b": "заметив ее", + "option_c": "прикоснувшись к ней", + "option_d": "убив ее" + }, + "outputs": "B", + "meta": { + "id": 1267 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если птица зеленого цвета, другая птица может понять это,\nA) отвернувшись от нее\nB) заметив ее\nC) прикоснувшись к ней\nD) убив ее\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.14404729008674622, + "B": 0.04978141188621521, + "C": 0.606461763381958, + "D": 0.13531990349292755 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Способность духовки превращать ингредиенты теста в пирог проистекает из ее", + "option_a": "темного внутреннего пространства", + "option_b": "засушливой среды", + "option_c": "более высоких температур", + "option_d": "просторного внутреннего пространства" + }, + "outputs": "C", + "meta": { + "id": 163 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Способность духовки превращать ингредиенты теста в пирог проистекает из ее\nA. темного внутреннего пространства\nB. засушливой среды\nC. более высоких температур\nD. просторного внутреннего пространства\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.34636977314949036, + "B": 0.11970219016075134, + "C": 0.26975303888320923, + "D": 0.13564033806324005 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из железа делают", + "option_a": "предметы, которые крепят кровлю к крыше", + "option_b": "пакеты для печенья", + "option_c": "гончарную глину для печей", + "option_d": "завязки для мешков для хлеба" + }, + "outputs": "A", + "meta": { + "id": 717 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из железа делают\nA) предметы, которые крепят кровлю к крыше\nB) пакеты для печенья\nC) гончарную глину для печей\nD) завязки для мешков для хлеба\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.26098835468292236, + "B": 0.07477441430091858, + "C": 0.3797358274459839, + "D": 0.2163669317960739 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Который из них замерзнет последним?", + "option_a": "наперсток с водой", + "option_b": "пруд с водой", + "option_c": "океан воды", + "option_d": "стакан воды" + }, + "outputs": "C", + "meta": { + "id": 1373 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Который из них замерзнет последним?\nA. наперсток с водой\nB. пруд с водой\nC. океан воды\nD. стакан воды\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.09072832763195038, + "B": 0.04026045650243759, + "C": 0.10280867666006088, + "D": 0.71363365650177 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из чего сделан мокрый снег?", + "option_a": "ветер", + "option_b": "огонь", + "option_c": "ледниковый лед", + "option_d": "затвердевшая в полете вода" + }, + "outputs": "D", + "meta": { + "id": 1119 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИз чего сделан мокрый снег?\nA. ветер\nB. огонь\nC. ледниковый лед\nD. затвердевшая в полете вода\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.10245560109615326, + "B": 0.5895913243293762, + "C": 0.1235850527882576, + "D": 0.10245560109615326 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является правдой?", + "option_a": "горячий кофе всегда будет горячим", + "option_b": "горячий кофе может травмировать из-за своей температуры", + "option_c": "горячий кофе холодный", + "option_d": "горячий кофе не может нагреться настолько, чтобы обжечь человека" + }, + "outputs": "B", + "meta": { + "id": 1796 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто является правдой?\nA) горячий кофе всегда будет горячим\nB) горячий кофе может травмировать из-за своей температуры\nC) горячий кофе холодный\nD) горячий кофе не может нагреться настолько, чтобы обжечь человека\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1483185738325119, + "B": 0.1229604184627533, + "C": 0.517682671546936, + "D": 0.10851218551397324 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если что-то является живым, то ему требуется", + "option_a": "нечто, чтобы заинтересовать его", + "option_b": "что-то, что вселяет в него надежду", + "option_c": "источник сил для движения вперед", + "option_d": "что-то, о чем стоит подумать" + }, + "outputs": "C", + "meta": { + "id": 981 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если что-то является живым, то ему требуется\nA. нечто, чтобы заинтересовать его\nB. что-то, что вселяет в него надежду\nC. источник сил для движения вперед\nD. что-то, о чем стоит подумать\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1713663637638092, + "B": 0.03592034429311752, + "C": 0.182418555021286, + "D": 0.5618886947631836 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в окружающей среде наступит продолжительная засуха", + "option_a": "животные начнут интенсивнее плодиться", + "option_b": "растения продолжат процветать", + "option_c": "головастики быстрее созреют и превратятся в лягушек", + "option_d": "пруды могут высохнуть и убить популяцию рыб" + }, + "outputs": "D", + "meta": { + "id": 515 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли в окружающей среде наступит продолжительная засуха\nA. животные начнут интенсивнее плодиться\nB. растения продолжат процветать\nC. головастики быстрее созреют и превратятся в лягушек\nD. пруды могут высохнуть и убить популяцию рыб\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8507333993911743, + "B": 0.010709152556955814, + "C": 0.015581726096570492, + "D": 0.016586661338806152 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы лучше понять мир вокруг нас, специалисты", + "option_a": "наблюдают, проверяют данные, фиксируют факты и рассматривают версии", + "option_b": "обсуждают темы с непрофессионалами", + "option_c": "смотрят несколько образовательных программ", + "option_d": "делают записи в книгах" + }, + "outputs": "A", + "meta": { + "id": 86 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы лучше понять мир вокруг нас, специалисты\nA. наблюдают, проверяют данные, фиксируют факты и рассматривают версии\nB. обсуждают темы с непрофессионалами\nC. смотрят несколько образовательных программ\nD. делают записи в книгах\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.41033968329429626, + "B": 0.09746422618627548, + "C": 0.1251465231180191, + "D": 0.23380449414253235 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На чье здоровье влияет болезнь?", + "option_a": "одушевленный объект", + "option_b": "синий объект", + "option_c": "мертвый объект", + "option_d": "неодушевленный объект" + }, + "outputs": "A", + "meta": { + "id": 2227 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа чье здоровье влияет болезнь?\nA. одушевленный объект\nB. синий объект\nC. мертвый объект\nD. неодушевленный объект\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7447574734687805, + "B": 0.03707928955554962, + "C": 0.053950052708387375, + "D": 0.021127143874764442 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Привлекательная женщина получила свой цвет глаз благодаря", + "option_a": "хромосомам", + "option_b": "доминированию в поведении", + "option_c": "слюне", + "option_d": "электронным письмам" + }, + "outputs": "A", + "meta": { + "id": 1283 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Привлекательная женщина получила свой цвет глаз благодаря\nA) хромосомам\nB) доминированию в поведении\nC) слюне\nD) электронным письмам\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.337482750415802, + "B": 0.12415297329425812, + "C": 0.23194827139377594, + "D": 0.19229185581207275 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого приведет к увеличению популяции в данной среде обитания?", + "option_a": "все перечисленное", + "option_b": "жестокий голод и холод", + "option_c": "сильная засуха и жара", + "option_d": "обильный выбор блюд" + }, + "outputs": "D", + "meta": { + "id": 403 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из этого приведет к увеличению популяции в данной среде обитания?\nA) все перечисленное\nB) жестокий голод и холод\nC) сильная засуха и жара\nD) обильный выбор блюд\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.26034024357795715, + "B": 0.08997117727994919, + "C": 0.09577380865812302, + "D": 0.48637956380844116 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пространство, где есть место для размножения многоклеточных организмов, скорее всего,", + "option_a": "суровое", + "option_b": "пустынное", + "option_c": "заполнено вакуумом", + "option_d": "обитаемое" + }, + "outputs": "D", + "meta": { + "id": 195 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПространство, где есть место для размножения многоклеточных организмов, скорее всего,\nA) суровое\nB) пустынное\nC) заполнено вакуумом\nD) обитаемое\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.18399730324745178, + "B": 0.046521805226802826, + "C": 0.08691416680812836, + "D": 0.6422137022018433 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы можете использовать такие растения, как звездчатый анис, для", + "option_a": "объятий", + "option_b": "бега", + "option_c": "плавания", + "option_d": "приправы" + }, + "outputs": "D", + "meta": { + "id": 1587 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВы можете использовать такие растения, как звездчатый анис, для\nA. объятий\nB. бега\nC. плавания\nD. приправы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.6248863935470581, + "B": 0.042524050921201706, + "C": 0.09002342075109482, + "D": 0.115592360496521 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скелетная система", + "option_a": "состоит из тканей и паренхиматозных органов", + "option_b": "состоят из легких и сердца", + "option_c": "состоит из лейкоцитов", + "option_d": "состоит из кальцинированного материала" + }, + "outputs": "D", + "meta": { + "id": 8 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСкелетная система\nA. состоит из тканей и паренхиматозных органов\nB. состоят из легких и сердца\nC. состоит из лейкоцитов\nD. состоит из кальцинированного материала\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.12801335752010345, + "B": 0.6920336484909058, + "C": 0.050130750983953476, + "D": 0.056805577129125595 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В зависимости от типа птицы, у нее могут быть отличные от другой птицы", + "option_a": "бюджеты", + "option_b": "предпочтения в питании", + "option_c": "автомобили", + "option_d": "новогодние желания" + }, + "outputs": "B", + "meta": { + "id": 2050 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ зависимости от типа птицы, у нее могут быть отличные от другой птицы\nA) бюджеты\nB) предпочтения в питании\nC) автомобили\nD) новогодние желания\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.19423195719718933, + "B": 0.19423195719718933, + "C": 0.2826058268547058, + "D": 0.24939876794815063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Посмотрите на испарение в действии:", + "option_a": "бегите в городской совет", + "option_b": "оставьте два каменных кувшина с разными уровнями жидкости", + "option_c": "прогуляйтесь по солнцу", + "option_d": "станьте человеком" + }, + "outputs": "B", + "meta": { + "id": 110 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Посмотрите на испарение в действии:\nA. бегите в городской совет\nB. оставьте два каменных кувшина с разными уровнями жидкости\nC. прогуляйтесь по солнцу\nD. станьте человеком\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.40707823634147644, + "B": 0.12415183335542679, + "C": 0.1594141125679016, + "D": 0.1594141125679016 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Цветущие растения обеспечивают жизнедеятельность многих животных, таких как", + "option_a": "белки", + "option_b": "тюлени", + "option_c": "дельфины", + "option_d": "киты" + }, + "outputs": "A", + "meta": { + "id": 40 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЦветущие растения обеспечивают жизнедеятельность многих животных, таких как\nA) белки\nB) тюлени\nC) дельфины\nD) киты\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.1546136438846588, + "B": 0.07774461805820465, + "C": 0.42028340697288513, + "D": 0.28885629773139954 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где самый теплый декабрь?", + "option_a": "Канада", + "option_b": "Россия", + "option_c": "Италия", + "option_d": "Австралия" + }, + "outputs": "D", + "meta": { + "id": 912 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где самый теплый декабрь?\nA) Канада\nB) Россия\nC) Италия\nD) Австралия\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.23408709466457367, + "B": 0.11057493090629578, + "C": 0.23408709466457367, + "D": 0.30057379603385925 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой элемент в результате разложения образуется?", + "option_a": "Углерод", + "option_b": "Фосфор", + "option_c": "Кремний", + "option_d": "Водород" + }, + "outputs": "A", + "meta": { + "id": 1430 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой элемент в результате разложения образуется?\nA) Углерод\nB) Фосфор\nC) Кремний\nD) Водород\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8649585843086243, + "B": 0.011590451933443546, + "C": 0.00902665313333273, + "D": 0.015842270106077194 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воспроизводство - это когда организм передает генетическую информацию от себя к чему?", + "option_a": "молодняк", + "option_b": "общество", + "option_c": "мозг", + "option_d": "ноги" + }, + "outputs": "A", + "meta": { + "id": 1857 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Воспроизводство - это когда организм передает генетическую информацию от себя к чему?\nA. молодняк\nB. общество\nC. мозг\nD. ноги\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3184088170528412, + "B": 0.23295286297798157, + "C": 0.1704319715499878, + "D": 0.14129306375980377 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человеческие астронавты посетили", + "option_a": "ближайший к Земле небесный объект", + "option_b": "ближайшую к Земле планету", + "option_c": "ближайшее к Земле Солнце", + "option_d": "ближайшее к Земле созвездие" + }, + "outputs": "A", + "meta": { + "id": 1124 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловеческие астронавты посетили\nA. ближайший к Земле небесный объект\nB. ближайшую к Земле планету\nC. ближайшее к Земле Солнце\nD. ближайшее к Земле созвездие\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.20267289876937866, + "B": 0.08448663353919983, + "C": 0.24447017908096313, + "D": 0.40306317806243896 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Во время сильной бури большой валун может быть", + "option_a": "сломан", + "option_b": "окрашен", + "option_c": "заострен", + "option_d": "сглажен" + }, + "outputs": "D", + "meta": { + "id": 1811 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВо время сильной бури большой валун может быть\nA. сломан\nB. окрашен\nC. заострен\nD. сглажен\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.14664003252983093, + "B": 0.330458402633667, + "C": 0.16616491973400116, + "D": 0.29162850975990295 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто из них живет на суше во взрослом состоянии?", + "option_a": "тигровые акулы", + "option_b": "пузатые жабы", + "option_c": "электрические угри", + "option_d": "сомы" + }, + "outputs": "B", + "meta": { + "id": 2011 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто из них живет на суше во взрослом состоянии?\nA. тигровые акулы\nB. пузатые жабы\nC. электрические угри\nD. сомы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.18293491005897522, + "B": 0.07625861465930939, + "C": 0.15165837109088898, + "D": 0.5293396711349487 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делает электромонтаж лучше?", + "option_a": "веревка", + "option_b": "пластик", + "option_c": "конопля", + "option_d": "вольфрам" + }, + "outputs": "D", + "meta": { + "id": 198 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что делает электромонтаж лучше?\nA. веревка\nB. пластик\nC. конопля\nD. вольфрам\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08227422833442688, + "B": 0.6079289317131042, + "C": 0.11970829218626022, + "D": 0.13564728200435638 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере того, как зима переходит в весну, вы увидите, как", + "option_a": "усиливаются метели", + "option_b": "растут листья", + "option_c": "медведи переходят в спячку", + "option_d": "листья становятся оранжевыми" + }, + "outputs": "B", + "meta": { + "id": 1352 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: По мере того, как зима переходит в весну, вы увидите, как\nA) усиливаются метели\nB) растут листья\nC) медведи переходят в спячку\nD) листья становятся оранжевыми\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1270029991865158, + "B": 0.6058974266052246, + "C": 0.08728780597448349, + "D": 0.09891003370285034 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если объект подвергается химическому изменению, тогда что в этом объекте после изменения обязательно будет новым?", + "option_a": "тепло", + "option_b": "химические характеристики", + "option_c": "внешний вид", + "option_d": "температура" + }, + "outputs": "B", + "meta": { + "id": 334 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли объект подвергается химическому изменению, тогда что в этом объекте после изменения обязательно будет новым?\nA. тепло\nB. химические характеристики\nC. внешний вид\nD. температура\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.28753161430358887, + "B": 0.11986100673675537, + "C": 0.3060758113861084, + "D": 0.18564435839653015 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере того, как часы тикают, близится полдень и день становится теплее, гостиная в коттедже", + "option_a": "будет прогреваться соответственно улице", + "option_b": "будет все прохладней", + "option_c": "будет становиться прохладнее", + "option_d": "будет охлаждаться" + }, + "outputs": "A", + "meta": { + "id": 1392 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПо мере того, как часы тикают, близится полдень и день становится теплее, гостиная в коттедже\nA) будет прогреваться соответственно улице\nB) будет все прохладней\nC) будет становиться прохладнее\nD) будет охлаждаться\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2026108354330063, + "B": 0.04246953874826431, + "C": 0.4860381484031677, + "D": 0.1788034588098526 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что разлагается разлагателями?", + "option_a": "живые активные существа", + "option_b": "металлы", + "option_c": "пластик и огонь", + "option_d": "безжизненные формы жизни" + }, + "outputs": "D", + "meta": { + "id": 1723 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто разлагается разлагателями?\nA. живые активные существа\nB. металлы\nC. пластик и огонь\nD. безжизненные формы жизни\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.1611652970314026, + "B": 0.26571667194366455, + "C": 0.24961771070957184, + "D": 0.23449411988258362 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Качество почвы улучшается, когда", + "option_a": "дождевая вода затопляет землю", + "option_b": "микроскопические насекомые населяют ландшафт", + "option_c": "прорастают небольшие деревья", + "option_d": "организмы погибают и гниют" + }, + "outputs": "D", + "meta": { + "id": 229 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКачество почвы улучшается, когда\nA. дождевая вода затопляет землю\nB. микроскопические насекомые населяют ландшафт\nC. прорастают небольшие деревья\nD. организмы погибают и гниют\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.6837818026542664, + "B": 0.04653193801641464, + "C": 0.07671818882226944, + "D": 0.05974818766117096 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Жуков иногда поедают", + "option_a": "тля", + "option_b": "киты", + "option_c": "слоны", + "option_d": "синие сойки" + }, + "outputs": "D", + "meta": { + "id": 1700 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Жуков иногда поедают\nA. тля\nB. киты\nC. слоны\nD. синие сойки\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3908692002296448, + "B": 0.12689664959907532, + "C": 0.1846335381269455, + "D": 0.15306657552719116 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Существо, проявляющее инстинктивное поведение, может", + "option_a": "использовать камни, чтобы открывать раковины", + "option_b": "торговать с другими существами", + "option_c": "использовать инструменты, чтобы красить дома", + "option_d": "лазить по деревьям, чтобы добраться до фруктов" + }, + "outputs": "D", + "meta": { + "id": 1462 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Существо, проявляющее инстинктивное поведение, может\nA. использовать камни, чтобы открывать раковины\nB. торговать с другими существами\nC. использовать инструменты, чтобы красить дома\nD. лазить по деревьям, чтобы добраться до фруктов\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.30337920784950256, + "B": 0.11160698533058167, + "C": 0.2677312195301056, + "D": 0.195876345038414 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На", + "option_a": "Айсбергах", + "option_b": "Мексике", + "option_c": "Англии", + "option_d": "Техасе нет земноводных." + }, + "outputs": "A", + "meta": { + "id": 847 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа\nA) Айсбергах\nB) Мексике\nC) Англии\nD) Техасе нет земноводных.\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 419, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4349231421947479, + "B": 0.1599992960691452, + "C": 0.15030542016029358, + "D": 0.14119887351989746 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Розничный торговец получает заказ на алюминий, который нужно доставлять еженедельно. Откуда, вероятно, придет алюминий?", + "option_a": "от торговца", + "option_b": "из загадочного места", + "option_c": "от Санта-Клауса", + "option_d": "из школы" + }, + "outputs": "A", + "meta": { + "id": 2248 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Розничный торговец получает заказ на алюминий, который нужно доставлять еженедельно. Откуда, вероятно, придет алюминий?\nA) от торговца\nB) из загадочного места\nC) от Санта-Клауса\nD) из школы\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.45791614055633545, + "B": 0.1232464611530304, + "C": 0.13965652883052826, + "D": 0.13965652883052826 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего может изменить форму и структуру яйца?", + "option_a": "Уронить его из окна здания", + "option_b": "Положить его на подушку", + "option_c": "Оставить его в картонной коробке", + "option_d": "Держать его в руке" + }, + "outputs": "A", + "meta": { + "id": 1950 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из следующего может изменить форму и структуру яйца?\nA) Уронить его из окна здания\nB) Положить его на подушку\nC) Оставить его в картонной коробке\nD) Держать его в руке\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.014969968236982822, + "B": 0.015935448929667473, + "C": 0.9261592030525208, + "D": 0.010952262207865715 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда я играю на скрипке, струны создают звук через", + "option_a": "речь", + "option_b": "параллельное расположение", + "option_c": "колебание", + "option_d": "пот" + }, + "outputs": "C", + "meta": { + "id": 952 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда я играю на скрипке, струны создают звук через\nA. речь\nB. параллельное расположение\nC. колебание\nD. пот\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1995031088590622, + "B": 0.25616705417633057, + "C": 0.3089964687824249, + "D": 0.1288088858127594 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Олень может голодать и недоедать. Чтобы исправить это, олень может", + "option_a": "съесть другого оленя", + "option_b": "съесть одуванчики", + "option_c": "съесть детенышей", + "option_d": "съесть валуны" + }, + "outputs": "B", + "meta": { + "id": 834 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Олень может голодать и недоедать. Чтобы исправить это, олень может\nA. съесть другого оленя\nB. съесть одуванчики\nC. съесть детенышей\nD. съесть валуны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.1825893074274063, + "B": 0.1254916787147522, + "C": 0.43800899386405945, + "D": 0.1825893074274063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скелетная система защищает", + "option_a": "поджелудочную железу", + "option_b": "ногти на ногах", + "option_c": "глаза", + "option_d": "волосы" + }, + "outputs": "A", + "meta": { + "id": 2226 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Скелетная система защищает\nA) поджелудочную железу\nB) ногти на ногах\nC) глаза\nD) волосы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03901394456624985, + "B": 0.7836160063743591, + "C": 0.056764956563711166, + "D": 0.06847160309553146 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стадо крупного рогатого скота медленно пробирается через большое поле. Пастух понимает, что он забыл принести зерно для скота, но коровы и быки прекрасно выживут в поле, потому что", + "option_a": "они охотятся на мясо", + "option_b": "они едят грубые корма", + "option_c": "они едят насекомых", + "option_d": "они едят добычу" + }, + "outputs": "B", + "meta": { + "id": 2161 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Стадо крупного рогатого скота медленно пробирается через большое поле. Пастух понимает, что он забыл принести зерно для скота, но коровы и быки прекрасно выживут в поле, потому что\nA. они охотятся на мясо\nB. они едят грубые корма\nC. они едят насекомых\nD. они едят добычу\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 477, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0504785031080246, + "B": 0.034693337976932526, + "C": 0.04184814915060997, + "D": 0.8405425548553467 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Хотя оленей можно встретить во многих различных местах, они в основном живут", + "option_a": "рядом с хижинами в небольших городах", + "option_b": "в полях", + "option_c": "в густонаселенных парках", + "option_d": "в лесах" + }, + "outputs": "D", + "meta": { + "id": 162 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Хотя оленей можно встретить во многих различных местах, они в основном живут\nA. рядом с хижинами в небольших городах\nB. в полях\nC. в густонаселенных парках\nD. в лесах\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.22032476961612701, + "B": 0.03378789871931076, + "C": 0.5626190304756165, + "D": 0.08628042787313461 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример какого ресурса для выращивания растений - почва?", + "option_a": "Природные ресурсы", + "option_b": "Обильные ресурсы", + "option_c": "Возобновляемые ресурсы", + "option_d": "Вторичные ресурсы" + }, + "outputs": "C", + "meta": { + "id": 1338 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПример какого ресурса для выращивания растений - почва?\nA. Природные ресурсы\nB. Обильные ресурсы\nC. Возобновляемые ресурсы\nD. Вторичные ресурсы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.33108580112457275, + "B": 0.18864700198173523, + "C": 0.21376506984233856, + "D": 0.1664804071187973 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто преследует стрекоз на юге?", + "option_a": "пустельги", + "option_b": "электричество", + "option_c": "облака", + "option_d": "белые медведи" + }, + "outputs": "A", + "meta": { + "id": 837 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто преследует стрекоз на юге?\nA) пустельги\nB) электричество\nC) облака\nD) белые медведи\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16263896226882935, + "B": 0.12666334211826324, + "C": 0.41531315445899963, + "D": 0.18429408967494965 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Семена можно найти внутри объекта, который часто можно увидеть в", + "option_a": "субботу", + "option_b": "День святого Валентина", + "option_c": "Хэллоуин", + "option_d": "День дурака" + }, + "outputs": "C", + "meta": { + "id": 667 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Семена можно найти внутри объекта, который часто можно увидеть в\nA) субботу\nB) День святого Валентина\nC) Хэллоуин\nD) День дурака\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5306093096733093, + "B": 0.06745939701795578, + "C": 0.13415904343128204, + "D": 0.09815285354852676 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если боб находится в миле от места происхождения, а затем развивается в растение, которое производит много бобов, то, скорее всего, этот исходный боб", + "option_a": "был транспортирован из другого места", + "option_b": "был синим", + "option_c": "был честным", + "option_d": "был плоским" + }, + "outputs": "A", + "meta": { + "id": 1954 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли боб находится в миле от места происхождения, а затем развивается в растение, которое производит много бобов, то, скорее всего, этот исходный боб\nA. был транспортирован из другого места\nB. был синим\nC. был честным\nD. был плоским\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.444617360830307, + "B": 0.11241687089204788, + "C": 0.1741146445274353, + "D": 0.19729775190353394 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как объект преобразует электрическую энергию в звук, видно на примере", + "option_a": "iphone", + "option_b": "мягкого ковра", + "option_c": "внешней стены", + "option_d": "деревянного стола" + }, + "outputs": "A", + "meta": { + "id": 230 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКак объект преобразует электрическую энергию в звук, видно на примере\nA) iphone\nB) мягкого ковра\nC) внешней стены\nD) деревянного стола\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.045167598873376846, + "B": 0.02004300057888031, + "C": 0.8522500991821289, + "D": 0.03104320727288723 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Все хищники также плотоядны, потому что хищники", + "option_a": "слушают музыку", + "option_b": "готовят пищу", + "option_c": "глотают мясо", + "option_d": "готовят овощи" + }, + "outputs": "C", + "meta": { + "id": 2169 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВсе хищники также плотоядны, потому что хищники\nA. слушают музыку\nB. готовят пищу\nC. глотают мясо\nD. готовят овощи\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.40774431824684143, + "B": 0.06252962350845337, + "C": 0.24730943143367767, + "D": 0.15000076591968536 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что лечит витамин D?", + "option_a": "каркас тела", + "option_b": "зрение", + "option_c": "печаль", + "option_d": "повреждения мозга" + }, + "outputs": "A", + "meta": { + "id": 1886 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что лечит витамин D?\nA. каркас тела\nB. зрение\nC. печаль\nD. повреждения мозга\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.10593481361865997, + "B": 0.03439199924468994, + "C": 0.0878230407834053, + "D": 0.7353333234786987 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Питательные вещества в почве", + "option_a": "расходуются немедленно", + "option_b": "не важны для пищевой цепи", + "option_c": "передаются сперва высшим хищникам", + "option_d": "передаются организмам-продуцентам" + }, + "outputs": "D", + "meta": { + "id": 1321 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПитательные вещества в почве\nA. расходуются немедленно\nB. не важны для пищевой цепи\nC. передаются сперва высшим хищникам\nD. передаются организмам-продуцентам\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09519945085048676, + "B": 0.6608151197433472, + "C": 0.04786929115653038, + "D": 0.13012219965457916 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Макс бросил немного порошка со вкусом апельсина в стакан воды и перемешивал, пока порошок не растворился. Его сестра попробовала получившийся напиток, и на вкус он был как", + "option_a": "кола", + "option_b": "цитрусовые", + "option_c": "темное шоколадное молоко", + "option_d": "яблоки" + }, + "outputs": "B", + "meta": { + "id": 1971 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМакс бросил немного порошка со вкусом апельсина в стакан воды и перемешивал, пока порошок не растворился. Его сестра попробовала получившийся напиток, и на вкус он был как\nA. кола\nB. цитрусовые\nC. темное шоколадное молоко\nD. яблоки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 471, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.15990562736988068, + "B": 0.23266130685806274, + "C": 0.29874303936958313, + "D": 0.23266130685806274 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько времени требуется Земле, чтобы совершить полный оборот один раз", + "option_a": "1440 минут", + "option_b": "46 часов", + "option_c": "1400 минут", + "option_d": "28 часов" + }, + "outputs": "A", + "meta": { + "id": 944 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сколько времени требуется Земле, чтобы совершить полный оборот один раз\nA. 1440 минут\nB. 46 часов\nC. 1400 минут\nD. 28 часов\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.24252760410308838, + "B": 0.4823237359523773, + "C": 0.07873718440532684, + "D": 0.10110054165124893 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример того, что севооборот обновляет почву", + "option_a": "посадка рядов моркови и гороха рядом друг с другом", + "option_b": "обработка почвы между посевами", + "option_c": "посадка поля моркови с разными сортами моркови на нем", + "option_d": "посадка гороха в один сезон, затем моркови в следующий" + }, + "outputs": "D", + "meta": { + "id": 18 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Выберите пример того, что севооборот обновляет почву\nA. посадка рядов моркови и гороха рядом друг с другом\nB. обработка почвы между посевами\nC. посадка поля моркови с разными сортами моркови на нем\nD. посадка гороха в один сезон, затем моркови в следующий\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 483, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.07631735503673553, + "B": 0.038374774158000946, + "C": 0.7707780003547668, + "D": 0.055834971368312836 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобили являются большими загрязнителями, потому что они выделяют токсины в воздух, позволяя", + "option_a": "здоровее дышать", + "option_b": "производить конфеты", + "option_c": "дышать менее здоровым воздухом", + "option_d": "облагораживать пространство" + }, + "outputs": "C", + "meta": { + "id": 1188 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Автомобили являются большими загрязнителями, потому что они выделяют токсины в воздух, позволяя\nA) здоровее дышать\nB) производить конфеты\nC) дышать менее здоровым воздухом\nD) облагораживать пространство\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.38250571489334106, + "B": 0.18068291246891022, + "C": 0.1697358787059784, + "D": 0.15945209562778473 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего при включении в розетку может замкнуть цепь?", + "option_a": "резина", + "option_b": "стекло", + "option_c": "пластик", + "option_d": "золото" + }, + "outputs": "D", + "meta": { + "id": 171 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из следующего при включении в розетку может замкнуть цепь?\nA) резина\nB) стекло\nC) пластик\nD) золото\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2982137203216553, + "B": 0.10305989533662796, + "C": 0.3379204273223877, + "D": 0.1808757781982422 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если животное в своей метаморфозе пропускает стадию куколки, то это…", + "option_a": "процесс неполного перехода", + "option_b": "очень пассивная метаморфоза", + "option_c": "истинная и полная метаморфоза", + "option_d": "очень агрессивная метаморфоза" + }, + "outputs": "A", + "meta": { + "id": 1451 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если животное в своей метаморфозе пропускает стадию куколки, то это…\nA) процесс неполного перехода\nB) очень пассивная метаморфоза\nC) истинная и полная метаморфоза\nD) очень агрессивная метаморфоза\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2200247347354889, + "B": 0.05226045474410057, + "C": 0.11063537746667862, + "D": 0.5618528723716736 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сейсмометр может определить, насколько землетрясения", + "option_a": "небольшие", + "option_b": "быстрые", + "option_c": "длинные", + "option_d": "сильные" + }, + "outputs": "D", + "meta": { + "id": 1506 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сейсмометр может определить, насколько землетрясения\nA. небольшие\nB. быстрые\nC. длинные\nD. сильные\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6846563816070557, + "B": 0.052795033901929855, + "C": 0.07681631296873093, + "D": 0.07681631296873093 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для измерения чего используют домашние весы?", + "option_a": "упитанность", + "option_b": "электропроводность", + "option_c": "длина", + "option_d": "рост" + }, + "outputs": "A", + "meta": { + "id": 327 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДля измерения чего используют домашние весы?\nA) упитанность\nB) электропроводность\nC) длина\nD) рост\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.19716289639472961, + "B": 0.34603169560432434, + "C": 0.17399565875530243, + "D": 0.16345380246639252 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример образования радуги при преломлении лучей света", + "option_a": "солнечный свет отражается от зеркала", + "option_b": "фонарик светит на грани драгоценного камня", + "option_c": "фонарик светит в зеркало", + "option_d": "ученый смотрит на только что сформированный алмаз" + }, + "outputs": "B", + "meta": { + "id": 155 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВыберите пример образования радуги при преломлении лучей света\nA. солнечный свет отражается от зеркала\nB. фонарик светит на грани драгоценного камня\nC. фонарик светит в зеркало\nD. ученый смотрит на только что сформированный алмаз\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1324041187763214, + "B": 0.09099992364645004, + "C": 0.5236684679985046, + "D": 0.18097499012947083 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько часов потребуется планете, чтобы совершить вращательное движение?", + "option_a": "22", + "option_b": "двадцать часов", + "option_c": "24", + "option_d": "двадцать один час" + }, + "outputs": "C", + "meta": { + "id": 1560 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСколько часов потребуется планете, чтобы совершить вращательное движение?\nA) 22\nB) двадцать часов\nC) 24\nD) двадцать один час\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.18532469868659973, + "B": 0.25330883264541626, + "C": 0.2870365083217621, + "D": 0.19727711379528046 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто, вероятно, больше всего полагается на внешний вид при воспроизводстве?", + "option_a": "акула", + "option_b": "павлин", + "option_c": "паук", + "option_d": "лошадь" + }, + "outputs": "B", + "meta": { + "id": 1353 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто, вероятно, больше всего полагается на внешний вид при воспроизводстве?\nA. акула\nB. павлин\nC. паук\nD. лошадь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.209882453083992, + "B": 0.5034818053245544, + "C": 0.07253343611955643, + "D": 0.11958742141723633 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример маскировки - когда на что похож организм?", + "option_a": "облака", + "option_b": "местная флора", + "option_c": "здания", + "option_d": "океаны" + }, + "outputs": "B", + "meta": { + "id": 1223 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пример маскировки - когда на что похож организм?\nA) облака\nB) местная флора\nC) здания\nD) океаны\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02512068673968315, + "B": 0.020825780928134918, + "C": 0.8855347037315369, + "D": 0.02512068673968315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Рельеф поверхности нашего единственного естественного спутника", + "option_a": "гладкий", + "option_b": "из сыра", + "option_c": "гористый", + "option_d": "полный золота" + }, + "outputs": "C", + "meta": { + "id": 2107 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРельеф поверхности нашего единственного естественного спутника\nA. гладкий\nB. из сыра\nC. гористый\nD. полный золота\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.24076320230960846, + "B": 0.29041585326194763, + "C": 0.16547395288944244, + "D": 0.17614611983299255 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одна из унаследованных характеристик меха - это", + "option_a": "способность нравиться", + "option_b": "оттенок", + "option_c": "вес", + "option_d": "длина" + }, + "outputs": "B", + "meta": { + "id": 79 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОдна из унаследованных характеристик меха - это\nA. способность нравиться\nB. оттенок\nC. вес\nD. длина\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.027470294386148453, + "B": 0.014703787863254547, + "C": 0.8545757532119751, + "D": 0.05815460905432701 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто нуждается в питательных веществах для выживания?", + "option_a": "песок", + "option_b": "пластик", + "option_c": "детеныш анаконды", + "option_d": "чучело совы" + }, + "outputs": "C", + "meta": { + "id": 870 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто нуждается в питательных веществах для выживания?\nA. песок\nB. пластик\nC. детеныш анаконды\nD. чучело совы\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3184000551700592, + "B": 0.19311939179897308, + "C": 0.2329464554786682, + "D": 0.1504015475511551 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы найти партнера, животное может использовать", + "option_a": "красивое яркое оперение на хвосте", + "option_b": "приложения для социальных сетей и знакомств", + "option_c": "совет друзей-животных", + "option_d": "встречи и общественные собрания" + }, + "outputs": "A", + "meta": { + "id": 648 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы найти партнера, животное может использовать\nA) красивое яркое оперение на хвосте\nB) приложения для социальных сетей и знакомств\nC) совет друзей-животных\nD) встречи и общественные собрания\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.19433419406414032, + "B": 0.15134760737419128, + "C": 0.1714993268251419, + "D": 0.3864796757698059 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В засушливом песчаном месте очень мало", + "option_a": "тепла", + "option_b": "песка", + "option_c": "солнца", + "option_d": "питательных веществ" + }, + "outputs": "D", + "meta": { + "id": 562 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В засушливом песчаном месте очень мало\nA) тепла\nB) песка\nC) солнца\nD) питательных веществ\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05377975478768349, + "B": 0.7424066066741943, + "C": 0.07824907451868057, + "D": 0.07824907451868057 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что лучше всего объясняет, что грязная дорога позже станет сухой?", + "option_a": "инопланетные тепловые лучи", + "option_b": "испарение", + "option_c": "осадки", + "option_d": "проливной дождь" + }, + "outputs": "B", + "meta": { + "id": 1368 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что лучше всего объясняет, что грязная дорога позже станет сухой?\nA) инопланетные тепловые лучи\nB) испарение\nC) осадки\nD) проливной дождь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.259513258934021, + "B": 0.10818122327327728, + "C": 0.2151440531015396, + "D": 0.3332216441631317 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В отличие от птичьих яиц, яйца рептилий", + "option_a": "неоново-зеленые", + "option_b": "симметричные", + "option_c": "волшебные", + "option_d": "с косточками, как арбузы" + }, + "outputs": "B", + "meta": { + "id": 1136 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ отличие от птичьих яиц, яйца рептилий\nA) неоново-зеленые\nB) симметричные\nC) волшебные\nD) с косточками, как арбузы\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3951798379421234, + "B": 0.16473546624183655, + "C": 0.21152453124523163, + "D": 0.12052303552627563 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если один минерал может поцарапать другим минералом, то первый минерал мягче, что можно проверить с помощью", + "option_a": "алмаза и стали", + "option_b": "камня и стекла", + "option_c": "рубина и горчицы", + "option_d": "алмаза и агата" + }, + "outputs": "D", + "meta": { + "id": 423 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если один минерал может поцарапать другим минералом, то первый минерал мягче, что можно проверить с помощью\nA) алмаза и стали\nB) камня и стекла\nC) рубина и горчицы\nD) алмаза и агата\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 471, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.050575271248817444, + "B": 0.021082911640405655, + "C": 0.061005424708127975, + "D": 0.8421538472175598 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мне нужно подключить кухонный комбайн к сети, потому что он", + "option_a": "используется для измельчения металла", + "option_b": "- это масляная машина", + "option_c": "- это машина с батарейным питанием.", + "option_d": "- это электродвигатель" + }, + "outputs": "D", + "meta": { + "id": 50 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМне нужно подключить кухонный комбайн к сети, потому что он\nA) используется для измельчения металла\nB) - это масляная машина\nC) - это машина с батарейным питанием.\nD) - это электродвигатель\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.26514506340026855, + "B": 0.04904690757393837, + "C": 0.52730393409729, + "D": 0.052210163325071335 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что имеет массу больше Луны?", + "option_a": "Атлантический океан", + "option_b": "Уральские горы", + "option_c": "ваша родная планета", + "option_d": "плутон" + }, + "outputs": "C", + "meta": { + "id": 1743 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто имеет массу больше Луны?\nA) Атлантический океан\nB) Уральские горы\nC) ваша родная планета\nD) плутон\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.050926871597766876, + "B": 0.037258896976709366, + "C": 0.796630322933197, + "D": 0.06142953410744667 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Оползень имеет", + "option_a": "самолеты", + "option_b": "единороги", + "option_c": "множественные причины", + "option_d": "пожары" + }, + "outputs": "C", + "meta": { + "id": 1023 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Оползень имеет\nA. самолеты\nB. единороги\nC. множественные причины\nD. пожары\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.11564069986343384, + "B": 0.6251477003097534, + "C": 0.11564069986343384, + "D": 0.07466324418783188 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда спрос на кукурузу возрастает", + "option_a": "фермеры выращивают разные культуры", + "option_b": "фермеры должны собирать больше кукурузы", + "option_c": "фермеры перестают сажать кукурузу", + "option_d": "фермеры просят людей перестать есть кукурузу" + }, + "outputs": "B", + "meta": { + "id": 516 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда спрос на кукурузу возрастает\nA. фермеры выращивают разные культуры\nB. фермеры должны собирать больше кукурузы\nC. фермеры перестают сажать кукурузу\nD. фермеры просят людей перестать есть кукурузу\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.19111837446689606, + "B": 0.27807560563087463, + "C": 0.24540084600448608, + "D": 0.21656548976898193 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Семена, застрявшие в шерсти животного", + "option_a": "немедленно отпадут", + "option_b": "прицепятся к этому животному", + "option_c": "прорастут в шерсти животного", + "option_d": "не смогут снова прорасти" + }, + "outputs": "B", + "meta": { + "id": 1366 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСемена, застрявшие в шерсти животного\nA) немедленно отпадут\nB) прицепятся к этому животному\nC) прорастут в шерсти животного\nD) не смогут снова прорасти\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.23147770762443542, + "B": 0.07999655604362488, + "C": 0.49003830552101135, + "D": 0.10271760821342468 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У многих птиц острые клювы, а вот у других - загнутые: таковы, например,", + "option_a": "пеликаны", + "option_b": "соколы-сапсаны", + "option_c": "туканы", + "option_d": "змеи" + }, + "outputs": "B", + "meta": { + "id": 2213 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ многих птиц острые клювы, а вот у других - загнутые: таковы, например,\nA. пеликаны\nB. соколы-сапсаны\nC. туканы\nD. змеи\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.3111554682254791, + "B": 0.3525853455066681, + "C": 0.13807439804077148, + "D": 0.08914753049612045 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Внутри большинства плодов встречаются", + "option_a": "маленькие ягоды", + "option_b": "маленькие твердые кусочки", + "option_c": "синие черви", + "option_d": "маленькие острые пятнышки" + }, + "outputs": "B", + "meta": { + "id": 1858 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВнутри большинства плодов встречаются\nA. маленькие ягоды\nB. маленькие твердые кусочки\nC. синие черви\nD. маленькие острые пятнышки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2019961029291153, + "B": 0.21502374112606049, + "C": 0.2760959565639496, + "D": 0.22889159619808197 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Я могу использовать секундомер, чтобы отслеживать", + "option_a": "количество веснушек на моей спине", + "option_b": "сколько времени длится дорога", + "option_c": "сколько зефира я могу съесть за 10 минут", + "option_d": "сколько веса я потеряю за 6 месяцев" + }, + "outputs": "C", + "meta": { + "id": 442 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЯ могу использовать секундомер, чтобы отслеживать\nA) количество веснушек на моей спине\nB) сколько времени длится дорога\nC) сколько зефира я могу съесть за 10 минут\nD) сколько веса я потеряю за 6 месяцев\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.23176132142543793, + "B": 0.23176132142543793, + "C": 0.24670864641666412, + "D": 0.18049588799476624 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере того, как температура жидкости становится выше,", + "option_a": "камни будут таять быстрее, когда жидкость выливается на них", + "option_b": "мороженое будет расплываться быстрее, когда на него наливается жидкость", + "option_c": "жидкость легче затвердевает", + "option_d": "жидкость охладит все, к чему прикасается" + }, + "outputs": "B", + "meta": { + "id": 1468 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: По мере того, как температура жидкости становится выше,\nA) камни будут таять быстрее, когда жидкость выливается на них\nB) мороженое будет расплываться быстрее, когда на него наливается жидкость\nC) жидкость легче затвердевает\nD) жидкость охладит все, к чему прикасается\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 470, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06243985518813133, + "B": 0.051764462143182755, + "C": 0.7145863175392151, + "D": 0.11665301024913788 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наблюдение за звездами в городе может стать труднее, поскольку", + "option_a": "звезды гаснут", + "option_b": "на море используются прожекторы", + "option_c": "мешает уличное освещение", + "option_d": "космические корабли начинают зависать над землей" + }, + "outputs": "C", + "meta": { + "id": 664 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНаблюдение за звездами в городе может стать труднее, поскольку\nA. звезды гаснут\nB. на море используются прожекторы\nC. мешает уличное освещение\nD. космические корабли начинают зависать над землей\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.31963157653808594, + "B": 0.31963157653808594, + "C": 0.0974821150302887, + "D": 0.1607208549976349 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если животное способно к размножению, то", + "option_a": "это животное находилось в состоянии течки", + "option_b": "это животное было оплодотворено", + "option_c": "это животное повзрослело", + "option_d": "это животное заинтересовано" + }, + "outputs": "C", + "meta": { + "id": 532 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли животное способно к размножению, то\nA. это животное находилось в состоянии течки\nB. это животное было оплодотворено\nC. это животное повзрослело\nD. это животное заинтересовано\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2241058200597763, + "B": 0.17453378438949585, + "C": 0.2703232169151306, + "D": 0.23855938017368317 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда два декоративных предмета для холодильника ставятся спиной друг к другу,", + "option_a": "они будут сыпать искрами", + "option_b": "они слипаются", + "option_c": "они будут липкими", + "option_d": "они отказываются касаться" + }, + "outputs": "D", + "meta": { + "id": 1994 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда два декоративных предмета для холодильника ставятся спиной друг к другу,\nA. они будут сыпать искрами\nB. они слипаются\nC. они будут липкими\nD. они отказываются касаться\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08429800719022751, + "B": 0.033011578023433685, + "C": 0.04512147605419159, + "D": 0.7997972369194031 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как долго формировался Сулакский каньон? A", + "option_a": "несколько дней", + "option_b": "пару минут", + "option_c": "пара миллиардов долларов", + "option_d": "очень много времени" + }, + "outputs": "D", + "meta": { + "id": 2223 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКак долго формировался Сулакский каньон? A\nA) несколько дней\nB) пару минут\nC) пара миллиардов долларов\nD) очень много времени\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.5543790459632874, + "B": 0.06621114164590836, + "C": 0.19158829748630524, + "D": 0.06219960376620293 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это было бы связано с недостатком солнечного света:", + "option_a": "широкая песчаная пустыня", + "option_b": "сцена на тропическом пляже", + "option_c": "углекислота в грунтовых водах", + "option_d": "рисовая плантация на севере" + }, + "outputs": "C", + "meta": { + "id": 150 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЭто было бы связано с недостатком солнечного света:\nA) широкая песчаная пустыня\nB) сцена на тропическом пляже\nC) углекислота в грунтовых водах\nD) рисовая плантация на севере\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.21793708205223083, + "B": 0.10958565026521683, + "C": 0.3170965909957886, + "D": 0.24695506691932678 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек соударяет две палочки, и", + "option_a": "они загораются", + "option_b": "они разваливаются", + "option_c": "они горят", + "option_d": "частицы внутри них сотрясаются" + }, + "outputs": "D", + "meta": { + "id": 87 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловек соударяет две палочки, и\nA) они загораются\nB) они разваливаются\nC) они горят\nD) частицы внутри них сотрясаются\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.27995654940605164, + "B": 0.09088858962059021, + "C": 0.3172323405742645, + "D": 0.1924111545085907 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как спастись женщине, если она заблудилась в горах?", + "option_a": "Она сможет изменить свою внешность, чтобы с большей вероятностью получить помощь", + "option_b": "Она может использовать макияж в качестве камуфляжа", + "option_c": "она может использовать зеркало, чтобы подать кому-то сигнал", + "option_d": "Она может разбить зеркало, чтобы использовать осколки для оружия" + }, + "outputs": "C", + "meta": { + "id": 350 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как спастись женщине, если она заблудилась в горах?\nA. Она сможет изменить свою внешность, чтобы с большей вероятностью получить помощь\nB. Она может использовать макияж в качестве камуфляжа\nC. она может использовать зеркало, чтобы подать кому-то сигнал\nD. Она может разбить зеркало, чтобы использовать осколки для оружия\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 478, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.29659780859947205, + "B": 0.13161447644233704, + "C": 0.21699558198451996, + "D": 0.20384849607944489 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что образует каверны?", + "option_a": "все ответы верны", + "option_b": "застывание лавы", + "option_c": "выщелачивание", + "option_d": "растворение углекислотой" + }, + "outputs": "A", + "meta": { + "id": 1883 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто образует каверны?\nA. все ответы верны\nB. застывание лавы\nC. выщелачивание\nD. растворение углекислотой\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4902006685733795, + "B": 0.23155440390110016, + "C": 0.0706201046705246, + "D": 0.10937855392694473 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фикус может помочь дыханию, потому что он:", + "option_a": "поглощает кислород", + "option_b": "выделяет углекислый газ", + "option_c": "поглощает гелий", + "option_d": "выделяет кислород" + }, + "outputs": "D", + "meta": { + "id": 535 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nФикус может помочь дыханию, потому что он:\nA) поглощает кислород\nB) выделяет углекислый газ\nC) поглощает гелий\nD) выделяет кислород\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.38436394929885864, + "B": 0.10345015674829483, + "C": 0.1602267324924469, + "D": 0.23312851786613464 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шторм, движущийся над землей, вызовет больше дождя над", + "option_a": "лугом", + "option_b": "песчаной пустыней", + "option_c": "арктической ледяной пустыней", + "option_d": "солончаком" + }, + "outputs": "A", + "meta": { + "id": 1695 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Шторм, движущийся над землей, вызовет больше дождя над\nA) лугом\nB) песчаной пустыней\nC) арктической ледяной пустыней\nD) солончаком\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.14485034346580505, + "B": 0.0775328055024147, + "C": 0.5055773854255676, + "D": 0.1859915405511856 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ящериц можно найти под", + "option_a": "деловыми костюмами", + "option_b": "космическими кораблями", + "option_c": "садовыми статуями", + "option_d": "любовью" + }, + "outputs": "C", + "meta": { + "id": 1745 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ящериц можно найти под\nA. деловыми костюмами\nB. космическими кораблями\nC. садовыми статуями\nD. любовью\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.0726977065205574, + "B": 0.2701047658920288, + "C": 0.0726977065205574, + "D": 0.537167489528656 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что позволяет насыщать почву новым материалом?", + "option_a": "сетевое телевидение", + "option_b": "лесные пожары", + "option_c": "магнетизм", + "option_d": "свободные радикалы" + }, + "outputs": "B", + "meta": { + "id": 1535 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто позволяет насыщать почву новым материалом?\nA. сетевое телевидение\nB. лесные пожары\nC. магнетизм\nD. свободные радикалы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0517214834690094, + "B": 0.020254425704479218, + "C": 0.042878616601228714, + "D": 0.861240029335022 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если водоем теряет всю воду, то какой это теперь водоем?", + "option_a": "процветающий", + "option_b": "растущий", + "option_c": "текущий", + "option_d": "несуществующий" + }, + "outputs": "D", + "meta": { + "id": 1559 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли водоем теряет всю воду, то какой это теперь водоем?\nA. процветающий\nB. растущий\nC. текущий\nD. несуществующий\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16791440546512604, + "B": 0.2025434374809265, + "C": 0.3784009516239166, + "D": 0.19027194380760193 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, в последнее время увеличило выбросы CO2 в атмосфере?", + "option_a": "устойчивое рыболовство", + "option_b": "электромобили", + "option_c": "мотоциклы", + "option_d": "популяции муравьев" + }, + "outputs": "C", + "meta": { + "id": 452 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, вероятно, в последнее время увеличило выбросы CO2 в атмосфере?\nA) устойчивое рыболовство\nB) электромобили\nC) мотоциклы\nD) популяции муравьев\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.13855132460594177, + "B": 0.3122302293777466, + "C": 0.14748713374137878, + "D": 0.3122302293777466 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где растут грибы?", + "option_a": "Сахара", + "option_b": "Арктика", + "option_c": "международная космическая станция", + "option_d": "Амазонка" + }, + "outputs": "D", + "meta": { + "id": 1586 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где растут грибы?\nA) Сахара\nB) Арктика\nC) международная космическая станция\nD) Амазонка\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.2076738178730011, + "B": 0.4130086898803711, + "C": 0.17216762900352478, + "D": 0.12596052885055542 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На первый взгляд машина вдали выглядела очень маленькой, но незадолго до того, как она врезалась в человека, она вдруг оказалась", + "option_a": "большой", + "option_b": "микроскопической", + "option_c": "сверху", + "option_d": "несуществующей" + }, + "outputs": "A", + "meta": { + "id": 2158 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа первый взгляд машина вдали выглядела очень маленькой, но незадолго до того, как она врезалась в человека, она вдруг оказалась\nA) большой\nB) микроскопической\nC) сверху\nD) несуществующей\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1954735815525055, + "B": 0.23578615486621857, + "C": 0.2671807110309601, + "D": 0.1954735815525055 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что меняет добыча полезных ископаемых?", + "option_a": "температуру", + "option_b": "уровень воды", + "option_c": "биологическую среду", + "option_d": "атмосферное давление" + }, + "outputs": "C", + "meta": { + "id": 2086 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто меняет добыча полезных ископаемых?\nA) температуру\nB) уровень воды\nC) биологическую среду\nD) атмосферное давление\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05378134548664093, + "B": 0.030643686652183533, + "C": 0.7903110980987549, + "D": 0.07825139909982681 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Листья - это часть растения с наибольшим количеством", + "option_a": "корней", + "option_b": "почек", + "option_c": "хлоропластов", + "option_d": "бактерий" + }, + "outputs": "C", + "meta": { + "id": 1790 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Листья - это часть растения с наибольшим количеством\nA. корней\nB. почек\nC. хлоропластов\nD. бактерий\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.14254623651504517, + "B": 0.08645866811275482, + "C": 0.5296235084533691, + "D": 0.1719435751438141 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выученное поведение проявляется, когда кто-то", + "option_a": "щурится при ярком свете", + "option_b": "вдыхает и выдыхает во время сна", + "option_c": "моргает и глотает воздух", + "option_d": "прибивает рамку с изображением" + }, + "outputs": "D", + "meta": { + "id": 2197 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Выученное поведение проявляется, когда кто-то\nA) щурится при ярком свете\nB) вдыхает и выдыхает во время сна\nC) моргает и глотает воздух\nD) прибивает рамку с изображением\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 466, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.19998598098754883, + "B": 0.12912064790725708, + "C": 0.3977195918560028, + "D": 0.176486998796463 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков пример правильного применения электропроводника?", + "option_a": "отключение электроэнергии из-за грозы", + "option_b": "сбой в работе тостера из-за использования алюминия", + "option_c": "лампочка перегорела из-за неисправного соединения", + "option_d": "выключатель света включает свет из-за стали внутри проводки" + }, + "outputs": "D", + "meta": { + "id": 1043 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Каков пример правильного применения электропроводника?\nA. отключение электроэнергии из-за грозы\nB. сбой в работе тостера из-за использования алюминия\nC. лампочка перегорела из-за неисправного соединения\nD. выключатель света включает свет из-за стали внутри проводки\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 480, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2535734176635742, + "B": 0.0726499930024147, + "C": 0.3689471483230591, + "D": 0.21021972596645355 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Перепончатые лапы помогают в том, что", + "option_a": "пингвины откладывают икру на льду", + "option_b": "рыба прячется в коралловых рифах", + "option_c": "чайки приманивают рыбу с берега", + "option_d": "утки преследуют добычу под водой" + }, + "outputs": "D", + "meta": { + "id": 426 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Перепончатые лапы помогают в том, что\nA) пингвины откладывают икру на льду\nB) рыба прячется в коралловых рифах\nC) чайки приманивают рыбу с берега\nD) утки преследуют добычу под водой\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19279798865318298, + "B": 0.12447972595691681, + "C": 0.40815332531929016, + "D": 0.19279798865318298 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет с годичными кольцами в результате уменьшения количества воды? Они будут", + "option_a": "Терять форму", + "option_b": "Становиться шире", + "option_c": "Сужаться", + "option_d": "Полностью исчезать" + }, + "outputs": "C", + "meta": { + "id": 1375 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто будет с годичными кольцами в результате уменьшения количества воды? Они будут\nA. Терять форму\nB. Становиться шире\nC. Сужаться\nD. Полностью исчезать\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.42745593190193176, + "B": 0.16739414632320404, + "C": 0.13036668300628662, + "D": 0.13036668300628662 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В лесу, где никого нет, пожар может быть вызван", + "option_a": "электричеством", + "option_b": "птицей", + "option_c": "оползнем", + "option_d": "внезапным наводнением" + }, + "outputs": "A", + "meta": { + "id": 1286 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ лесу, где никого нет, пожар может быть вызван\nA. электричеством\nB. птицей\nC. оползнем\nD. внезапным наводнением\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.030699757859110832, + "B": 0.018620343878865242, + "C": 0.028839755803346634, + "D": 0.8971784710884094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Катастрофа BP стала причиной чего?", + "option_a": "лава в парке", + "option_b": "спутники в космосе", + "option_c": "молния в лесу", + "option_d": "топливо в Персидском заливе" + }, + "outputs": "D", + "meta": { + "id": 846 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Катастрофа BP стала причиной чего?\nA) лава в парке\nB) спутники в космосе\nC) молния в лесу\nD) топливо в Персидском заливе\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08513764292001724, + "B": 0.04021617770195007, + "C": 0.07997941225767136, + "D": 0.758823573589325 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Млекопитающие могут дышать благодаря", + "option_a": "кислородным баллонам", + "option_b": "вулканам", + "option_c": "радугам", + "option_d": "органам с ветвящейся структурой" + }, + "outputs": "D", + "meta": { + "id": 796 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМлекопитающие могут дышать благодаря\nA) кислородным баллонам\nB) вулканам\nC) радугам\nD) органам с ветвящейся структурой\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10626021772623062, + "B": 0.05687699466943741, + "C": 0.6929036378860474, + "D": 0.06445007771253586 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Резина может защитить от", + "option_a": "холода", + "option_b": "ожогов", + "option_c": "электричества", + "option_d": "огня" + }, + "outputs": "C", + "meta": { + "id": 131 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРезина может защитить от\nA. холода\nB. ожогов\nC. электричества\nD. огня\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03400135412812233, + "B": 0.020622866228222847, + "C": 0.8769065141677856, + "D": 0.03619425743818283 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для того, чтобы животное впадало в спячку, оно должно принадлежать к тому виду, который", + "option_a": "находится в космосе", + "option_b": "делает пирожные", + "option_c": "имеет соответствующий инстинкт", + "option_d": "ест исключительно бамбук" + }, + "outputs": "C", + "meta": { + "id": 506 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДля того, чтобы животное впадало в спячку, оно должно принадлежать к тому виду, который\nA) находится в космосе\nB) делает пирожные\nC) имеет соответствующий инстинкт\nD) ест исключительно бамбук\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.30808794498443604, + "B": 0.37162500619888306, + "C": 0.12064897269010544, + "D": 0.09396151453256607 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет более доступно в районе, где часто идет дождь?", + "option_a": "грязь", + "option_b": "вода", + "option_c": "воздух", + "option_d": "огонь" + }, + "outputs": "B", + "meta": { + "id": 942 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто будет более доступно в районе, где часто идет дождь?\nA. грязь\nB. вода\nC. воздух\nD. огонь\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06628673523664474, + "B": 0.042797937989234924, + "C": 0.7586115598678589, + "D": 0.0622706264257431 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что не создает загрязнения?", + "option_a": "природное топливо, такое как уголь или газ", + "option_b": "здания, которые производят большое количество предметов", + "option_c": "мельницы, которые вырабатывают энергию от ветра", + "option_d": "транспортные приспособления с четырьмя колесами" + }, + "outputs": "C", + "meta": { + "id": 2099 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто не создает загрязнения?\nA. природное топливо, такое как уголь или газ\nB. здания, которые производят большое количество предметов\nC. мельницы, которые вырабатывают энергию от ветра\nD. транспортные приспособления с четырьмя колесами\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.17980287969112396, + "B": 0.14906182885169983, + "C": 0.27848416566848755, + "D": 0.296444833278656 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером смеси является", + "option_a": "свет", + "option_b": "молекула", + "option_c": "золото.", + "option_d": "терракота" + }, + "outputs": "D", + "meta": { + "id": 258 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером смеси является\nA. свет\nB. молекула\nC. золото.\nD. терракота\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.046309564262628555, + "B": 0.028088171035051346, + "C": 0.771123468875885, + "D": 0.11109087616205215 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда продуценты (организмы-производители) создают пищу в экосистеме, часть питательных веществ - это", + "option_a": "цветы", + "option_b": "энергия", + "option_c": "трава", + "option_d": "углеводы" + }, + "outputs": "D", + "meta": { + "id": 2041 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда продуценты (организмы-производители) создают пищу в экосистеме, часть питательных веществ - это\nA. цветы\nB. энергия\nC. трава\nD. углеводы\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4075418710708618, + "B": 0.04295459762215614, + "C": 0.06652938574552536, + "D": 0.4075418710708618 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из предложенных пунктов представляет собой пример измерения?", + "option_a": "рыбак, использующий удочку", + "option_b": "собака, использующая палку", + "option_c": "кошка, играющая с мышью", + "option_d": "бегун, использующий шагомер" + }, + "outputs": "D", + "meta": { + "id": 1738 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой из предложенных пунктов представляет собой пример измерения?\nA) рыбак, использующий удочку\nB) собака, использующая палку\nC) кошка, играющая с мышью\nD) бегун, использующий шагомер\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04221641272306442, + "B": 0.8479393720626831, + "C": 0.024054188281297684, + "D": 0.018733419477939606 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У Никиты была новая игрушка. На ней было много кнопок. На одной из кнопок было изображение коровы, и каждый раз, когда Бобби нажимал эту кнопку, игрушка издавала мычание. Это потому, что", + "option_a": "цепь размыкалась, когда он нажимал кнопку", + "option_b": "цепь замыкалась, когда была нажата кнопка", + "option_c": "корова находилась внутри игрушки", + "option_d": "его новая игрушка была одержима" + }, + "outputs": "B", + "meta": { + "id": 2235 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ Никиты была новая игрушка. На ней было много кнопок. На одной из кнопок было изображение коровы, и каждый раз, когда Бобби нажимал эту кнопку, игрушка издавала мычание. Это потому, что\nA) цепь размыкалась, когда он нажимал кнопку\nB) цепь замыкалась, когда была нажата кнопка\nC) корова находилась внутри игрушки\nD) его новая игрушка была одержима\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 493, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.15152622759342194, + "B": 0.20711179077625275, + "C": 0.2830882668495178, + "D": 0.3013458847999573 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если объект находится рядом с планетой, а планета вращается вокруг чего-то другого, то объект, вращающийся вокруг планеты, скорее всего,", + "option_a": "уголь", + "option_b": "Солнце", + "option_c": "пчелы", + "option_d": "Луна" + }, + "outputs": "D", + "meta": { + "id": 1980 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли объект находится рядом с планетой, а планета вращается вокруг чего-то другого, то объект, вращающийся вокруг планеты, скорее всего,\nA) уголь\nB) Солнце\nC) пчелы\nD) Луна\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.028435466811060905, + "B": 0.02080383151769638, + "C": 0.8846014142036438, + "D": 0.026712648570537567 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Земная кора состоит из разных видов", + "option_a": "муки", + "option_b": "выпечки", + "option_c": "камня", + "option_d": "звездочек" + }, + "outputs": "C", + "meta": { + "id": 806 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Земная кора состоит из разных видов\nA. муки\nB. выпечки\nC. камня\nD. звездочек\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2551126480102539, + "B": 0.16471309959888458, + "C": 0.42060965299606323, + "D": 0.05692332610487938 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда вы выходите из темного кинотеатра, мир", + "option_a": "выглядит темнее", + "option_b": "выглядит так же", + "option_c": "выглядит ярче", + "option_d": "выглядит более французским" + }, + "outputs": "C", + "meta": { + "id": 530 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда вы выходите из темного кинотеатра, мир\nA. выглядит темнее\nB. выглядит так же\nC. выглядит ярче\nD. выглядит более французским\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.23448872566223145, + "B": 0.10405372828245163, + "C": 0.22028176486492157, + "D": 0.3411790728569031 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У лигров меньше шансов на процветание, когда", + "option_a": "есть большие стада антилоп", + "option_b": "есть легкодоступная добыча", + "option_c": "в регионе изобилие пищи", + "option_d": "наступает голод" + }, + "outputs": "D", + "meta": { + "id": 1897 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У лигров меньше шансов на процветание, когда\nA. есть большие стада антилоп\nB. есть легкодоступная добыча\nC. в регионе изобилие пищи\nD. наступает голод\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06933297961950302, + "B": 0.7453998327255249, + "C": 0.04765181243419647, + "D": 0.05747906118631363 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птицы рожают детенышей еще в яйце. Млекопитающие, однако, рожают своих детенышей", + "option_a": "в рубашке", + "option_b": "уже живыми", + "option_c": "мертвыми", + "option_d": "старыми" + }, + "outputs": "B", + "meta": { + "id": 708 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Птицы рожают детенышей еще в яйце. Млекопитающие, однако, рожают своих детенышей\nA. в рубашке\nB. уже живыми\nC. мертвыми\nD. старыми\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5420359969139099, + "B": 0.0780876949429512, + "C": 0.08848494291305542, + "D": 0.21226432919502258 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для измерения длины чего используется линейка?", + "option_a": "расстояние между городами", + "option_b": "воздух", + "option_c": "мотивация", + "option_d": "личные вещи" + }, + "outputs": "D", + "meta": { + "id": 1483 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДля измерения длины чего используется линейка?\nA. расстояние между городами\nB. воздух\nC. мотивация\nD. личные вещи\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.41191962361335754, + "B": 0.15153677761554718, + "C": 0.16131003201007843, + "D": 0.1337307244539261 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно увидеть на одиночном шесте, на котором используется шкив?", + "option_a": "национальную символику", + "option_b": "красные карточки", + "option_c": "рубашки", + "option_d": "нижнее белье" + }, + "outputs": "A", + "meta": { + "id": 2290 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто можно увидеть на одиночном шесте, на котором используется шкив?\nA. национальную символику\nB. красные карточки\nC. рубашки\nD. нижнее белье\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.20242805778980255, + "B": 0.21548356115818024, + "C": 0.3337474465370178, + "D": 0.1576511412858963 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как поднять массивные вещи очень высоко?", + "option_a": "с помощью воздушного змея с прикрепленной тетивой", + "option_b": "с помощью ткани, натянутой на вершины шестов", + "option_c": "с помощью верёвки, закреплённой наверху и спущенной вниз через блок", + "option_d": "с помощью флагштока, наклоненного вниз" + }, + "outputs": "C", + "meta": { + "id": 2251 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как поднять массивные вещи очень высоко?\nA) с помощью воздушного змея с прикрепленной тетивой\nB) с помощью ткани, натянутой на вершины шестов\nC) с помощью верёвки, закреплённой наверху и спущенной вниз через блок\nD) с помощью флагштока, наклоненного вниз\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 483, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3987016975879669, + "B": 0.10080757737159729, + "C": 0.1662035882472992, + "D": 0.2134096473455429 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Блестящие предметы могут отражать свет, поэтому все они будут блестеть в темноте, кроме", + "option_a": "гвоздя", + "option_b": "кольца", + "option_c": "конфетти", + "option_d": "розетки" + }, + "outputs": "D", + "meta": { + "id": 2181 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБлестящие предметы могут отражать свет, поэтому все они будут блестеть в темноте, кроме\nA) гвоздя\nB) кольца\nC) конфетти\nD) розетки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1713578999042511, + "B": 0.03374237194657326, + "C": 0.7214436531066895, + "D": 0.014065912924706936 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Летучие мыши охотятся с помощью эхолокации, потому что", + "option_a": "летучие мыши могут слышать только эхо", + "option_b": "их щебетание отражается обратно от встречных объектов", + "option_c": "эхо - это форма звука", + "option_d": "им нравится слушать эхо" + }, + "outputs": "B", + "meta": { + "id": 561 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Летучие мыши охотятся с помощью эхолокации, потому что\nA) летучие мыши могут слышать только эхо\nB) их щебетание отражается обратно от встречных объектов\nC) эхо - это форма звука\nD) им нравится слушать эхо\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.21132764220237732, + "B": 0.11311553418636322, + "C": 0.42027518153190613, + "D": 0.1364433765411377 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где зимой бывает август?", + "option_a": "Зимбабве", + "option_b": "Китай", + "option_c": "Сибирь", + "option_d": "Исландия" + }, + "outputs": "A", + "meta": { + "id": 2052 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде зимой бывает август?\nA. Зимбабве\nB. Китай\nC. Сибирь\nD. Исландия\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16313481330871582, + "B": 0.05296211689710617, + "C": 0.569396436214447, + "D": 0.127049520611763 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Химическая реакция может быть вызвана", + "option_a": "насыпанием соды в молоко", + "option_b": "наливанием уксуса в миску", + "option_c": "комбинированием раствора соды и уксуса", + "option_d": "при рассыпании пищевой соды из коробки" + }, + "outputs": "C", + "meta": { + "id": 1629 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nХимическая реакция может быть вызвана\nA. насыпанием соды в молоко\nB. наливанием уксуса в миску\nC. комбинированием раствора соды и уксуса\nD. при рассыпании пищевой соды из коробки\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03652675449848175, + "B": 0.019551360979676247, + "C": 0.8849622011184692, + "D": 0.028447065502405167 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Радиатор - это то, что может", + "option_a": "очищать воду из туалета", + "option_b": "запускать ракету на Луну", + "option_c": "поддерживать комфорт в комнате", + "option_d": "фильтровать воду из-под крана" + }, + "outputs": "C", + "meta": { + "id": 1305 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРадиатор - это то, что может\nA) очищать воду из туалета\nB) запускать ракету на Луну\nC) поддерживать комфорт в комнате\nD) фильтровать воду из-под крана\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06568236649036407, + "B": 0.017678169533610344, + "C": 0.8517819046974182, + "D": 0.014655716717243195 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Звезды появляются в разных частях неба в разное время года, из-за чего?", + "option_a": "Вращение Солнца", + "option_b": "Изменение погоды", + "option_c": "Вращение Земли", + "option_d": "Изменение времени" + }, + "outputs": "C", + "meta": { + "id": 1148 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗвезды появляются в разных частях неба в разное время года, из-за чего?\nA. Вращение Солнца\nB. Изменение погоды\nC. Вращение Земли\nD. Изменение времени\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.15265072882175446, + "B": 0.09258734434843063, + "C": 0.32316160202026367, + "D": 0.3661900758743286 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что представляет собой оригинальная форма того, что движет большинством автомобилей?", + "option_a": "банка с водой", + "option_b": "большой дуб", + "option_c": "большая речная плотина", + "option_d": "месторождение нефти" + }, + "outputs": "D", + "meta": { + "id": 2211 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что представляет собой оригинальная форма того, что движет большинством автомобилей?\nA. банка с водой\nB. большой дуб\nC. большая речная плотина\nD. месторождение нефти\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.15961217880249023, + "B": 0.06250502169132233, + "C": 0.46185314655303955, + "D": 0.23223434388637543 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, будет собирать водяной пар из воздуха на сторонах своей емкости?", + "option_a": "теплый песок", + "option_b": "солнечный свет", + "option_c": "горячий напиток", + "option_d": "холодный напиток" + }, + "outputs": "D", + "meta": { + "id": 2035 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, вероятно, будет собирать водяной пар из воздуха на сторонах своей емкости?\nA. теплый песок\nB. солнечный свет\nC. горячий напиток\nD. холодный напиток\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.18517306447029114, + "B": 0.06812136620283127, + "C": 0.32498884201049805, + "D": 0.36826062202453613 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что в первую очередь движет гидрологическим циклом от осадков через испарение к ​​образованию облаков?", + "option_a": "преследующий дворецкий, который упирается в кнопку звонка", + "option_b": "то, насколько загрязнена одежда", + "option_c": "энергия пистолета", + "option_d": "энергия центральной звезды Солнечной системы" + }, + "outputs": "D", + "meta": { + "id": 1581 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто в первую очередь движет гидрологическим циклом от осадков через испарение к ​​образованию облаков?\nA) преследующий дворецкий, который упирается в кнопку звонка\nB) то, насколько загрязнена одежда\nC) энергия пистолета\nD) энергия центральной звезды Солнечной системы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 471, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.14412018656730652, + "B": 0.09305097162723541, + "C": 0.5354714393615723, + "D": 0.14412018656730652 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Опунция поглощает питательные вещества из участка", + "option_a": "над ней", + "option_b": "далеко от себя", + "option_c": "рядом с собой", + "option_d": "прямо под собой" + }, + "outputs": "D", + "meta": { + "id": 1177 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Опунция поглощает питательные вещества из участка\nA. над ней\nB. далеко от себя\nC. рядом с собой\nD. прямо под собой\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.18382881581783295, + "B": 0.18382881581783295, + "C": 0.3030824661254883, + "D": 0.2674693465232849 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С помощью металлического кухонного инструмента можно создать из сыра", + "option_a": "молоко", + "option_b": "сыр с плесенью", + "option_c": "плавленый сыр", + "option_d": "маленькие кусочки" + }, + "outputs": "D", + "meta": { + "id": 840 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nС помощью металлического кухонного инструмента можно создать из сыра\nA) молоко\nB) сыр с плесенью\nC) плавленый сыр\nD) маленькие кусочки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3954104483127594, + "B": 0.17546232044696808, + "C": 0.1283709704875946, + "D": 0.12059336155653 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобиль проезжает, не останавливаясь на заправочной станции, потому что его двигатель", + "option_a": "бензиновый", + "option_b": "дизельный", + "option_c": "угольный", + "option_d": "электрический" + }, + "outputs": "D", + "meta": { + "id": 1096 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nАвтомобиль проезжает, не останавливаясь на заправочной станции, потому что его двигатель\nA. бензиновый\nB. дизельный\nC. угольный\nD. электрический\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.04381246119737625, + "B": 0.03412117809057236, + "C": 0.7765944004058838, + "D": 0.11187903583049774 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы кто-то выпустил в мир загрязняющее вещество, то это было бы все, кроме", + "option_a": "пластика", + "option_b": "яда", + "option_c": "деревьев", + "option_d": "дыма" + }, + "outputs": "C", + "meta": { + "id": 945 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли бы кто-то выпустил в мир загрязняющее вещество, то это было бы все, кроме\nA) пластика\nB) яда\nC) деревьев\nD) дыма\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2943837642669678, + "B": 0.09557241946458817, + "C": 0.33358052372932434, + "D": 0.13905704021453857 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для роста бамбука потребуется следующее:", + "option_a": "свет и грязь", + "option_b": "свет и деньги", + "option_c": "свет и электричество", + "option_d": "масло и вода" + }, + "outputs": "A", + "meta": { + "id": 339 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДля роста бамбука потребуется следующее:\nA) свет и грязь\nB) свет и деньги\nC) свет и электричество\nD) масло и вода\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.20189227163791656, + "B": 0.17816931009292603, + "C": 0.35433200001716614, + "D": 0.13875840604305267 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Москва серьезно пострадала от урагана в", + "option_a": "2015 г.", + "option_b": "2017 г.", + "option_c": "2012 г.", + "option_d": "2009 г." + }, + "outputs": "B", + "meta": { + "id": 1890 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Москва серьезно пострадала от урагана в\nA. 2015 г.\nB. 2017 г.\nC. 2012 г.\nD. 2009 г.\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03832346946001053, + "B": 0.023244358599185944, + "C": 0.8193919062614441, + "D": 0.07159766554832458 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Торф образуется из разлагающейся растительности, уплотненной почвой в", + "option_a": "море, географически разделенном с океаном", + "option_b": "чистой пресноводной реке", + "option_c": "естественном болоте или заболоченной реке", + "option_d": "озере, окруженном пустыней" + }, + "outputs": "C", + "meta": { + "id": 448 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТорф образуется из разлагающейся растительности, уплотненной почвой в\nA. море, географически разделенном с океаном\nB. чистой пресноводной реке\nC. естественном болоте или заболоченной реке\nD. озере, окруженном пустыней\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.27836114168167114, + "B": 0.0661165714263916, + "C": 0.4311341941356659, + "D": 0.10240335017442703 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Приложение дополнительной силы к движущемуся составу:", + "option_a": "заставит его продвинуться дальше за то же время", + "option_b": "заставит конструкцию занимать меньше места", + "option_c": "заставит состав пройти меньшее расстояние за то же время", + "option_d": "увеличит массу структуры" + }, + "outputs": "A", + "meta": { + "id": 523 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПриложение дополнительной силы к движущемуся составу:\nA) заставит его продвинуться дальше за то же время\nB) заставит конструкцию занимать меньше места\nC) заставит состав пройти меньшее расстояние за то же время\nD) увеличит массу структуры\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2724684476852417, + "B": 0.05711248889565468, + "C": 0.30874720215797424, + "D": 0.29004114866256714 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда микроскоп действует, это", + "option_a": "наблюдение", + "option_b": "включение", + "option_c": "просмотр", + "option_d": "увеличение" + }, + "outputs": "D", + "meta": { + "id": 1167 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда микроскоп действует, это\nA. наблюдение\nB. включение\nC. просмотр\nD. увеличение\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.12197928875684738, + "B": 0.2011098712682724, + "C": 0.2278873175382614, + "D": 0.39995473623275757 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является источником кинетической энергии?", + "option_a": "Выносливость", + "option_b": "Быстрота", + "option_c": "Скорость", + "option_d": "Движение" + }, + "outputs": "D", + "meta": { + "id": 405 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что является источником кинетической энергии?\nA) Выносливость\nB) Быстрота\nC) Скорость\nD) Движение\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.21109411120414734, + "B": 0.032372329384088516, + "C": 0.27105021476745605, + "D": 0.3943757116794586 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Цветок может усматривать весь смысл своей жизни в том, чтобы", + "option_a": "размножать животный мир", + "option_b": "заставлять цвести новые цветы", + "option_c": "кормить пчел и производить мед", + "option_d": "распространяя вокруг свои генетические компоненты" + }, + "outputs": "D", + "meta": { + "id": 1205 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЦветок может усматривать весь смысл своей жизни в том, чтобы\nA. размножать животный мир\nB. заставлять цвести новые цветы\nC. кормить пчел и производить мед\nD. распространяя вокруг свои генетические компоненты\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.18362045288085938, + "B": 0.056001074612140656, + "C": 0.09828495234251022, + "D": 0.602068305015564 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ветер может", + "option_a": "испытывать такие эмоции, как любовь", + "option_b": "иметь ребенка", + "option_c": "воспитывать семью из четырех человек", + "option_d": "превращать статуи в пыль" + }, + "outputs": "D", + "meta": { + "id": 1141 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ветер может\nA. испытывать такие эмоции, как любовь\nB. иметь ребенка\nC. воспитывать семью из четырех человек\nD. превращать статуи в пыль\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.07339013367891312, + "B": 0.05369337275624275, + "C": 0.7890183329582214, + "D": 0.026998722925782204 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что происходит с водой в организме, когда активность животных возрастает", + "option_a": "количество воды уменьшается", + "option_b": "количество воды остается прежним", + "option_c": "количество воды увеличивается", + "option_d": "вода затвердевает" + }, + "outputs": "A", + "meta": { + "id": 2117 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто происходит с водой в организме, когда активность животных возрастает\nA) количество воды уменьшается\nB) количество воды остается прежним\nC) количество воды увеличивается\nD) вода затвердевает\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.09669666737318039, + "B": 0.055096108466386795, + "C": 0.05864949896931648, + "D": 0.7605782747268677 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Койоты замечают, что их территория становится все более и более сухой. Это означает, что для того, чтобы должным образом восстанавливать баланс жидкости в организме, койотам необходимо", + "option_a": "смягчать воду", + "option_b": "увлажнять свой мех", + "option_c": "мигрировать для высыхания", + "option_d": "мигрировать на поиски воды" + }, + "outputs": "D", + "meta": { + "id": 1162 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКойоты замечают, что их территория становится все более и более сухой. Это означает, что для того, чтобы должным образом восстанавливать баланс жидкости в организме, койотам необходимо\nA) смягчать воду\nB) увлажнять свой мех\nC) мигрировать для высыхания\nD) мигрировать на поиски воды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 479, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6004449129104614, + "B": 0.11823460459709167, + "C": 0.05945209786295891, + "D": 0.07633800059556961 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример окаменелости - кости какого животного?", + "option_a": "вымершего", + "option_b": "живого", + "option_c": "запрограммированного", + "option_d": "игрушечного" + }, + "outputs": "A", + "meta": { + "id": 862 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пример окаменелости - кости какого животного?\nA. вымершего\nB. живого\nC. запрограммированного\nD. игрушечного\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.22219526767730713, + "B": 0.15271241962909698, + "C": 0.3663380444049835, + "D": 0.15271241962909698 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скрепку часто делают из", + "option_a": "бумаги", + "option_b": "дерева", + "option_c": "пенополистирола", + "option_d": "кобальта" + }, + "outputs": "D", + "meta": { + "id": 583 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСкрепку часто делают из\nA. бумаги\nB. дерева\nC. пенополистирола\nD. кобальта\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.41633421182632446, + "B": 0.105265773832798, + "C": 0.2525194585323334, + "D": 0.0928967222571373 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Производители в пищевой цепи", + "option_a": "разлагают организмы", + "option_b": "полагаются на хищников", + "option_c": "борются за выживание", + "option_d": "самодостаточны" + }, + "outputs": "D", + "meta": { + "id": 916 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Производители в пищевой цепи\nA) разлагают организмы\nB) полагаются на хищников\nC) борются за выживание\nD) самодостаточны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5244347453117371, + "B": 0.07097452133893967, + "C": 0.07555199414491653, + "D": 0.19292877614498138 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дождь льет на дорогу ночью, а утром замерзает, так что же происходит с дорогой?", + "option_a": "начинает крошиться", + "option_b": "начинает раздуваться", + "option_c": "начинает порастать травой", + "option_d": "начинает трескаться" + }, + "outputs": "D", + "meta": { + "id": 1706 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДождь льет на дорогу ночью, а утром замерзает, так что же происходит с дорогой?\nA. начинает крошиться\nB. начинает раздуваться\nC. начинает порастать травой\nD. начинает трескаться\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1456010788679123, + "B": 0.1869554966688156, + "C": 0.3718053996562958, + "D": 0.21184831857681274 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда сахар добавляется в воду, он смешивается, например, с каким напитком?", + "option_a": "молоко", + "option_b": "сок", + "option_c": "лимонад", + "option_d": "кисель" + }, + "outputs": "C", + "meta": { + "id": 1914 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда сахар добавляется в воду, он смешивается, например, с каким напитком?\nA. молоко\nB. сок\nC. лимонад\nD. кисель\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2698141634464264, + "B": 0.5040792226791382, + "C": 0.0726194977760315, + "D": 0.07730305194854736 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На мышь охотится большая рогатая сова. Сова внимательно наблюдает за мышью, и мышь не подозревает, что на нее охотятся. Мышь не может определить, где находится сова, потому что", + "option_a": "сова невидима", + "option_b": "сова сливается с фоном", + "option_c": "мышь слепа", + "option_d": "мышь не обращает внимания" + }, + "outputs": "B", + "meta": { + "id": 2102 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа мышь охотится большая рогатая сова. Сова внимательно наблюдает за мышью, и мышь не подозревает, что на нее охотятся. Мышь не может определить, где находится сова, потому что\nA) сова невидима\nB) сова сливается с фоном\nC) мышь слепа\nD) мышь не обращает внимания\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 480, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.02497636154294014, + "B": 0.038684144616127014, + "C": 0.019451608881354332, + "D": 0.8804470300674438 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если улитку нагревают до точки ожога, улитка", + "option_a": "грустит", + "option_b": "получает энергию", + "option_c": "голодна", + "option_d": "испытывает боль и дискомфорт" + }, + "outputs": "D", + "meta": { + "id": 233 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли улитку нагревают до точки ожога, улитка\nA. грустит\nB. получает энергию\nC. голодна\nD. испытывает боль и дискомфорт\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.024252578616142273, + "B": 0.012194963172078133, + "C": 0.9100713133811951, + "D": 0.016668537631630898 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пчела может укусить вас только раз своим", + "option_a": "ядовитым мешком", + "option_b": "ножом", + "option_c": "жалом", + "option_d": "копьем" + }, + "outputs": "C", + "meta": { + "id": 961 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пчела может укусить вас только раз своим\nA. ядовитым мешком\nB. ножом\nC. жалом\nD. копьем\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05093824118375778, + "B": 0.8481978178024292, + "C": 0.024061521515250206, + "D": 0.022603707388043404 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Овощи содержат много питательных веществ для", + "option_a": "кошек", + "option_b": "людей", + "option_c": "собак", + "option_d": "змей" + }, + "outputs": "B", + "meta": { + "id": 374 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОвощи содержат много питательных веществ для\nA) кошек\nB) людей\nC) собак\nD) змей\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 418, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.051577478647232056, + "B": 0.03330092504620552, + "C": 0.8068075180053711, + "D": 0.051577478647232056 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Обезьяна хватает банан, чтобы", + "option_a": "построить убежище", + "option_b": "найти помощника", + "option_c": "получить питательные вещества", + "option_d": "поразить врагов" + }, + "outputs": "C", + "meta": { + "id": 580 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОбезьяна хватает банан, чтобы\nA. построить убежище\nB. найти помощника\nC. получить питательные вещества\nD. поразить врагов\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.02452886290848255, + "B": 0.8646722435951233, + "C": 0.017945699393749237, + "D": 0.02452886290848255 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сосны будут продолжать расти, что делает их соответствующим типом ресурса -", + "option_a": "токсичным", + "option_b": "возобновляемым", + "option_c": "находящимся под угрозой исчезновения", + "option_d": "невозобновляемым" + }, + "outputs": "B", + "meta": { + "id": 1475 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сосны будут продолжать расти, что делает их соответствующим типом ресурса -\nA. токсичным\nB. возобновляемым\nC. находящимся под угрозой исчезновения\nD. невозобновляемым\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.19211354851722717, + "B": 0.12403785437345505, + "C": 0.26258811354637146, + "D": 0.3371697962284088 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Разрыв живого объекта изменяет его", + "option_a": "питание", + "option_b": "биологию", + "option_c": "химический состав", + "option_d": "формирование" + }, + "outputs": "D", + "meta": { + "id": 1696 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРазрыв живого объекта изменяет его\nA) питание\nB) биологию\nC) химический состав\nD) формирование\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7466296553611755, + "B": 0.034920334815979004, + "C": 0.04773043468594551, + "D": 0.0395699217915535 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы найдете железо в", + "option_a": "в коре нашей планеты", + "option_b": "гелии", + "option_c": "чистой воде", + "option_d": "в облаке" + }, + "outputs": "A", + "meta": { + "id": 95 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВы найдете железо в\nA. в коре нашей планеты\nB. гелии\nC. чистой воде\nD. в облаке\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03995737060904503, + "B": 0.8543262481689453, + "C": 0.029233435168862343, + "D": 0.025798417627811432 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Назначение паутины?", + "option_a": "камуфляж", + "option_b": "получение пропитания", + "option_c": "дом", + "option_d": "украшение" + }, + "outputs": "B", + "meta": { + "id": 1724 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНазначение паутины?\nA) камуфляж\nB) получение пропитания\nC) дом\nD) украшение\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.35312744975090027, + "B": 0.15669934451580048, + "C": 0.22799621522426605, + "D": 0.11464369297027588 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если волк не может успешно охотиться, волк", + "option_a": "заставит охотиться волчат", + "option_b": "будет охотится больше", + "option_c": "покажет ребра", + "option_d": "вздремнет" + }, + "outputs": "C", + "meta": { + "id": 219 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если волк не может успешно охотиться, волк\nA) заставит охотиться волчат\nB) будет охотится больше\nC) покажет ребра\nD) вздремнет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.14895862340927124, + "B": 0.015700124204158783, + "C": 0.048359788954257965, + "D": 0.7564743757247925 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что происходит, если вы экономно расходуете бензин?", + "option_a": "бензин доставит вас на меньшее расстояние, чем обычно", + "option_b": "продажи бензина вырастут", + "option_c": "дорожные расходы вырастут из-за затрат на бензин", + "option_d": "для преодоления расстояния потребуется меньше бензина" + }, + "outputs": "D", + "meta": { + "id": 736 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто происходит, если вы экономно расходуете бензин?\nA) бензин доставит вас на меньшее расстояние, чем обычно\nB) продажи бензина вырастут\nC) дорожные расходы вырастут из-за затрат на бензин\nD) для преодоления расстояния потребуется меньше бензина\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 470, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1540951132774353, + "B": 0.11273840069770813, + "C": 0.18587422370910645, + "D": 0.5052584409713745 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в солнечный день река течет на юго-запад, то можно с уверенностью предположить, что", + "option_a": "юго-запад - хорошее место", + "option_b": "земля мягкая", + "option_c": "мир в основном состоит из суши", + "option_d": "земля полого наклоняется в этом направлении" + }, + "outputs": "D", + "meta": { + "id": 1867 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если в солнечный день река течет на юго-запад, то можно с уверенностью предположить, что\nA) юго-запад - хорошее место\nB) земля мягкая\nC) мир в основном состоит из суши\nD) земля полого наклоняется в этом направлении\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05447409674525261, + "B": 0.7064307928085327, + "C": 0.09560501575469971, + "D": 0.08981259167194366 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Электроэнергия от электростанции зажигает лампочку в доме, потому что", + "option_a": "проводник не нужен", + "option_b": "проводник внутри дома соединен с проводником вне дома", + "option_c": "есть только один провод", + "option_d": "в доме нет проводов" + }, + "outputs": "B", + "meta": { + "id": 1996 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЭлектроэнергия от электростанции зажигает лампочку в доме, потому что\nA) проводник не нужен\nB) проводник внутри дома соединен с проводником вне дома\nC) есть только один провод\nD) в доме нет проводов\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.24022836983203888, + "B": 0.0940747857093811, + "C": 0.272214412689209, + "D": 0.32835325598716736 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Рядом с каким местом, скорее всего, будет жить муравьед?", + "option_a": "болото", + "option_b": "пчелиный улей", + "option_c": "река", + "option_d": "муравейник" + }, + "outputs": "D", + "meta": { + "id": 305 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРядом с каким местом, скорее всего, будет жить муравьед?\nA) болото\nB) пчелиный улей\nC) река\nD) муравейник\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.10259740799665451, + "B": 0.7121671438217163, + "C": 0.05845823884010315, + "D": 0.06222846731543541 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вынесение на солнце калькулятора с солнечными батареями может", + "option_a": "истощить энергию калькулятора", + "option_b": "позволить калькулятору включиться", + "option_c": "обеспечить короткое замыкание калькулятора", + "option_d": "выключить калькулятор" + }, + "outputs": "B", + "meta": { + "id": 2067 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вынесение на солнце калькулятора с солнечными батареями может\nA. истощить энергию калькулятора\nB. позволить калькулятору включиться\nC. обеспечить короткое замыкание калькулятора\nD. выключить калькулятор\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 467, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13711132109165192, + "B": 0.5094303488731384, + "C": 0.0942351445555687, + "D": 0.19949579238891602 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вся вода в Атлантическом океане испарится, Атлантический океан", + "option_a": "станет больше", + "option_b": "перестанет существовать", + "option_c": "станет озером", + "option_d": "станет меньше" + }, + "outputs": "B", + "meta": { + "id": 1658 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вся вода в Атлантическом океане испарится, Атлантический океан\nA) станет больше\nB) перестанет существовать\nC) станет озером\nD) станет меньше\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.021195359528064728, + "B": 0.016506962478160858, + "C": 0.9012496471405029, + "D": 0.022562343627214432 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Времена года меняются из-за земных", + "option_a": "приливов", + "option_b": "размеров", + "option_c": "параметров угла наклона планеты к Солнцу", + "option_d": "погодных катаклизмов" + }, + "outputs": "C", + "meta": { + "id": 1234 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВремена года меняются из-за земных\nA) приливов\nB) размеров\nC) параметров угла наклона планеты к Солнцу\nD) погодных катаклизмов\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.19062158465385437, + "B": 0.17907239496707916, + "C": 0.3142818808555603, + "D": 0.24476297199726105 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Увеличение позволяет лучше рассмотреть", + "option_a": "кита", + "option_b": "дерево", + "option_c": "медведя", + "option_d": "креветок" + }, + "outputs": "D", + "meta": { + "id": 2265 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Увеличение позволяет лучше рассмотреть\nA) кита\nB) дерево\nC) медведя\nD) креветок\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.14091604948043823, + "B": 0.593278706073761, + "C": 0.07085704058408737, + "D": 0.14091604948043823 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Хорек, который в панике мечется в траве, скорее всего", + "option_a": "ухаживает за собой", + "option_b": "ускользает от врага", + "option_c": "выигрывает марафон", + "option_d": "откладывает яйца" + }, + "outputs": "B", + "meta": { + "id": 1306 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Хорек, который в панике мечется в траве, скорее всего\nA. ухаживает за собой\nB. ускользает от врага\nC. выигрывает марафон\nD. откладывает яйца\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2267155647277832, + "B": 0.20007577538490295, + "C": 0.3511439263820648, + "D": 0.12917864322662354 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что бы из этого списка ел хищник?", + "option_a": "рыба-капля", + "option_b": "пандусы", + "option_c": "тупица", + "option_d": "секвойи" + }, + "outputs": "A", + "meta": { + "id": 355 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто бы из этого списка ел хищник?\nA) рыба-капля\nB) пандусы\nC) тупица\nD) секвойи\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.14583663642406464, + "B": 0.5418488383293152, + "C": 0.10023196041584015, + "D": 0.14583663642406464 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Эрозия может привести к тому, что источник H2O", + "option_a": "останется в точности таким же", + "option_b": "будет откалиброван от своей предыдущей емкости", + "option_c": "останется статическим с течением времени", + "option_d": "начнет принимать подводных птиц" + }, + "outputs": "B", + "meta": { + "id": 745 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЭрозия может привести к тому, что источник H2O\nA. останется в точности таким же\nB. будет откалиброван от своей предыдущей емкости\nC. останется статическим с течением времени\nD. начнет принимать подводных птиц\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.023924145847558975, + "B": 0.021112985908985138, + "C": 0.8977469801902771, + "D": 0.021112985908985138 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вентилятор выталкивает воздух с помощью", + "option_a": "вилок", + "option_b": "соломы", + "option_c": "вращающейся плоской поверхности", + "option_d": "пиломатериалов" + }, + "outputs": "C", + "meta": { + "id": 1963 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вентилятор выталкивает воздух с помощью\nA. вилок\nB. соломы\nC. вращающейся плоской поверхности\nD. пиломатериалов\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.08323770761489868, + "B": 0.3292115330696106, + "C": 0.3971048891544342, + "D": 0.13723579049110413 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что увеличится внутри человека во время интенсивной тренировки?", + "option_a": "Баланс", + "option_b": "Потоотделение", + "option_c": "Пульс", + "option_d": "Сила" + }, + "outputs": "C", + "meta": { + "id": 1906 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто увеличится внутри человека во время интенсивной тренировки?\nA) Баланс\nB) Потоотделение\nC) Пульс\nD) Сила\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1953100562095642, + "B": 0.14289188385009766, + "C": 0.4401380121707916, + "D": 0.12610165774822235 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тостер преобразует электричество в тепло для", + "option_a": "поджаривания кукурузы", + "option_b": "жарки мяса", + "option_c": "подрумянивания хлеба", + "option_d": "поджигания сыра" + }, + "outputs": "C", + "meta": { + "id": 1614 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Тостер преобразует электричество в тепло для\nA. поджаривания кукурузы\nB. жарки мяса\nC. подрумянивания хлеба\nD. поджигания сыра\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.1943807303905487, + "B": 0.04074441269040108, + "C": 0.36315101385116577, + "D": 0.3411487936973572 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет более доступно в районе, когда количество осадков увеличится?", + "option_a": "воздух", + "option_b": "огонь", + "option_c": "грязь", + "option_d": "H2O" + }, + "outputs": "D", + "meta": { + "id": 2081 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто будет более доступно в районе, когда количество осадков увеличится?\nA. воздух\nB. огонь\nC. грязь\nD. H2O\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08333948254585266, + "B": 0.2908833920955658, + "C": 0.10701002180576324, + "D": 0.4795856475830078 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если над вашей головой на улице в светлое время суток серый цвет, то, скорее всего, вам понадобится", + "option_a": "бикини", + "option_b": "солнцезащитный крем", + "option_c": "пляжный мяч", + "option_d": "зонт" + }, + "outputs": "D", + "meta": { + "id": 1856 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли над вашей головой на улице в светлое время суток серый цвет, то, скорее всего, вам понадобится\nA) бикини\nB) солнцезащитный крем\nC) пляжный мяч\nD) зонт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5631002187728882, + "B": 0.046222083270549774, + "C": 0.09785214066505432, + "D": 0.1613309234380722 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что верно в отношении фонариков?", + "option_a": "их свет тускнеет на расстоянии", + "option_b": "они из чистого кремния", + "option_c": "они служат буквально вечно", + "option_d": "они лучше видны на расстоянии" + }, + "outputs": "A", + "meta": { + "id": 811 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что верно в отношении фонариков?\nA) их свет тускнеет на расстоянии\nB) они из чистого кремния\nC) они служат буквально вечно\nD) они лучше видны на расстоянии\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2112230360507965, + "B": 0.11305955797433853, + "C": 0.2887076735496521, + "D": 0.3073277175426483 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда лужа станет меньше и исчезнет быстрее всего?", + "option_a": "в снежный день", + "option_b": "в темный день", + "option_c": "в пасмурный день", + "option_d": "в день без облаков" + }, + "outputs": "D", + "meta": { + "id": 900 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда лужа станет меньше и исчезнет быстрее всего?\nA. в снежный день\nB. в темный день\nC. в пасмурный день\nD. в день без облаков\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.24318329989910126, + "B": 0.12228024750947952, + "C": 0.35382962226867676, + "D": 0.20160602033138275 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что было бы легче сжечь?", + "option_a": "Серебряная ложка", + "option_b": "Скамейка в парке", + "option_c": "Посуда", + "option_d": "Самолет" + }, + "outputs": "B", + "meta": { + "id": 1711 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что было бы легче сжечь?\nA) Серебряная ложка\nB) Скамейка в парке\nC) Посуда\nD) Самолет\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2504127621650696, + "B": 0.16167862713336945, + "C": 0.283754825592041, + "D": 0.2075994610786438 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кого бы съел аллигатор?", + "option_a": "паук", + "option_b": "краб", + "option_c": "кальмар", + "option_d": "тилапия" + }, + "outputs": "D", + "meta": { + "id": 2031 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКого бы съел аллигатор?\nA) паук\nB) краб\nC) кальмар\nD) тилапия\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6865532994270325, + "B": 0.04973375424742699, + "C": 0.06797797977924347, + "D": 0.07702913880348206 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кварц легко найти в", + "option_a": "пустотах", + "option_b": "привязанности", + "option_c": "любви", + "option_d": "специях" + }, + "outputs": "A", + "meta": { + "id": 894 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКварц легко найти в\nA. пустотах\nB. привязанности\nC. любви\nD. специях\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11699662357568741, + "B": 0.09111706167459488, + "C": 0.6324777603149414, + "D": 0.08559655398130417 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вещь, которая принимает разные формы, может обретать способность делать это из-за", + "option_a": "изменений уха", + "option_b": "понимания химии", + "option_c": "изменений температуры", + "option_d": "растущих зубов" + }, + "outputs": "C", + "meta": { + "id": 1215 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВещь, которая принимает разные формы, может обретать способность делать это из-за\nA. изменений уха\nB. понимания химии\nC. изменений температуры\nD. растущих зубов\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.17270372807979584, + "B": 0.11869742721319199, + "C": 0.08157947659492493, + "D": 0.5662737488746643 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Молекулы известны наличием", + "option_a": "нейтрального заряда", + "option_b": "положительного заряда", + "option_c": "заряда оптимизма", + "option_d": "отрицательного заряда" + }, + "outputs": "A", + "meta": { + "id": 1282 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМолекулы известны наличием\nA) нейтрального заряда\nB) положительного заряда\nC) заряда оптимизма\nD) отрицательного заряда\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.378377228975296, + "B": 0.14817464351654053, + "C": 0.19026002287864685, + "D": 0.1577310860157013 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Легче заметить что-то маленькое в десяти метрах от вас в безоблачный день, если", + "option_a": "объект представляет собой полированное металлическое кольцо", + "option_b": "объект представляет собой грязный черный объект на черной земле", + "option_c": "объект похоронен на 5 см под землей", + "option_d": "объект представляет собой тусклый зеленый мрамор, лежащий в живой траве" + }, + "outputs": "A", + "meta": { + "id": 737 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛегче заметить что-то маленькое в десяти метрах от вас в безоблачный день, если\nA. объект представляет собой полированное металлическое кольцо\nB. объект представляет собой грязный черный объект на черной земле\nC. объект похоронен на 5 см под землей\nD. объект представляет собой тусклый зеленый мрамор, лежащий в живой траве\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2532561719417572, + "B": 0.15360763669013977, + "C": 0.30548524856567383, + "D": 0.18528617918491364 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Продуцент производит собственное", + "option_a": "биение сердца", + "option_b": "гниение", + "option_c": "ритм", + "option_d": "питание" + }, + "outputs": "D", + "meta": { + "id": 1051 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПродуцент производит собственное\nA. биение сердца\nB. гниение\nC. ритм\nD. питание\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2529159486293793, + "B": 0.1850372552871704, + "C": 0.30507487058639526, + "D": 0.1738264113664627 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда наступишь в грязь, она становится", + "option_a": "круглой", + "option_b": "рифленой", + "option_c": "ровной", + "option_d": "складчатой" + }, + "outputs": "B", + "meta": { + "id": 854 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда наступишь в грязь, она становится\nA. круглой\nB. рифленой\nC. ровной\nD. складчатой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.30140161514282227, + "B": 0.0762062668800354, + "C": 0.34153279662132263, + "D": 0.17173346877098083 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Употребление теплой жидкости из банки", + "option_a": "Удалит многолетнюю ржавчину с ножа", + "option_b": "Очистит душу для Бога", + "option_c": "успокоит боль в горле", + "option_d": "Излечит слепоту у ребенка" + }, + "outputs": "C", + "meta": { + "id": 2155 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУпотребление теплой жидкости из банки\nA) Удалит многолетнюю ржавчину с ножа\nB) Очистит душу для Бога\nC) успокоит боль в горле\nD) Излечит слепоту у ребенка\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05497075617313385, + "B": 0.8077893257141113, + "C": 0.03778081387281418, + "D": 0.04021746292710304 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что еще будет увеличиваться по мере увеличения площади водоема?", + "option_a": "испарение молока", + "option_b": "испарение воды", + "option_c": "угольный бассейн", + "option_d": "площадь возгорания" + }, + "outputs": "B", + "meta": { + "id": 1484 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто еще будет увеличиваться по мере увеличения площади водоема?\nA) испарение молока\nB) испарение воды\nC) угольный бассейн\nD) площадь возгорания\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.20381826162338257, + "B": 0.2617078423500061, + "C": 0.23095634579658508, + "D": 0.21696342527866364 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С уменьшением размеров Антарктиды Фиджи скоро", + "option_a": "станет лучше для рыбалки", + "option_b": "исчезнет", + "option_c": "станет богаче", + "option_d": "станет холоднее" + }, + "outputs": "B", + "meta": { + "id": 247 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: С уменьшением размеров Антарктиды Фиджи скоро\nA. станет лучше для рыбалки\nB. исчезнет\nC. станет богаче\nD. станет холоднее\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.763274610042572, + "B": 0.027802277356386185, + "C": 0.033535946160554886, + "D": 0.04306101053953171 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда Земля затеняет часть Луны ночью, это называется", + "option_a": "фазы Луны", + "option_b": "лунная орбита", + "option_c": "погода на Луне", + "option_d": "невезение" + }, + "outputs": "A", + "meta": { + "id": 739 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда Земля затеняет часть Луны ночью, это называется\nA. фазы Луны\nB. лунная орбита\nC. погода на Луне\nD. невезение\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.2150580883026123, + "B": 0.2761400640010834, + "C": 0.24369274079799652, + "D": 0.14780712127685547 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему зебры предпочитают жить там, где они живут?", + "option_a": "много еды", + "option_b": "прекрасный вид", + "option_c": "удобное расположение", + "option_d": "хорошая парковка" + }, + "outputs": "A", + "meta": { + "id": 627 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПочему зебры предпочитают жить там, где они живут?\nA) много еды\nB) прекрасный вид\nC) удобное расположение\nD) хорошая парковка\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.30070123076438904, + "B": 0.09762339293956757, + "C": 0.21999770402908325, + "D": 0.21999770402908325 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что покрывает более шестидесяти девяти процентов поверхности третьего «камня» от солнца?", + "option_a": "Пустыня", + "option_b": "Города", + "option_c": "Лес", + "option_d": "Океан" + }, + "outputs": "D", + "meta": { + "id": 180 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто покрывает более шестидесяти девяти процентов поверхности третьего «камня» от солнца?\nA. Пустыня\nB. Города\nC. Лес\nD. Океан\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.32410943508148193, + "B": 0.09884779155254364, + "C": 0.13510891795158386, + "D": 0.3672640919685364 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для приготовления пищи требуется", + "option_a": "более высокая температура", + "option_b": "печь, которую нужно использовать", + "option_c": "печь, которую нужно чинить", + "option_d": "разводить огонь" + }, + "outputs": "A", + "meta": { + "id": 1275 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для приготовления пищи требуется\nA. более высокая температура\nB. печь, которую нужно использовать\nC. печь, которую нужно чинить\nD. разводить огонь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.29265129566192627, + "B": 0.12199520319700241, + "C": 0.3115256726741791, + "D": 0.15664494037628174 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вести велосипед могут", + "option_a": "обладатели больших пальцев", + "option_b": "собаки", + "option_c": "дельфины", + "option_d": "эму" + }, + "outputs": "A", + "meta": { + "id": 1531 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВести велосипед могут\nA. обладатели больших пальцев\nB. собаки\nC. дельфины\nD. эму\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.30935463309288025, + "B": 0.29061177372932434, + "C": 0.10043274611234665, + "D": 0.18763306736946106 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что показывает, что из-за наклона Земли вокруг своей оси одна сторона Земли получает меньше энергии от Солнца, чем другая?", + "option_a": "в некоторых странах теплее, чем в других", + "option_b": "снег на Северном полюсе вместо Южного", + "option_c": "одинаковые по всему миру сезонные изменения температур", + "option_d": "когда в России лето, в Австралии зима, и наоборот" + }, + "outputs": "D", + "meta": { + "id": 418 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто показывает, что из-за наклона Земли вокруг своей оси одна сторона Земли получает меньше энергии от Солнца, чем другая?\nA. в некоторых странах теплее, чем в других\nB. снег на Северном полюсе вместо Южного\nC. одинаковые по всему миру сезонные изменения температур\nD. когда в России лето, в Австралии зима, и наоборот\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19779200851917267, + "B": 0.08776967227458954, + "C": 0.3695240914821625, + "D": 0.2703495919704437 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В зоопарке вольер белого медведя будет содержать", + "option_a": "соль", + "option_b": "кактусы", + "option_c": "бассейн", + "option_d": "песок" + }, + "outputs": "C", + "meta": { + "id": 1718 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В зоопарке вольер белого медведя будет содержать\nA) соль\nB) кактусы\nC) бассейн\nD) песок\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15321120619773865, + "B": 0.077039435505867, + "C": 0.5347596406936646, + "D": 0.17361104488372803 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Правильной едой для енота может быть", + "option_a": "французский грузовик", + "option_b": "деревянный указател", + "option_c": "старое мясо по-французски", + "option_d": "мягкая галька" + }, + "outputs": "C", + "meta": { + "id": 1227 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПравильной едой для енота может быть\nA) французский грузовик\nB) деревянный указател\nC) старое мясо по-французски\nD) мягкая галька\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.46212396025657654, + "B": 0.10976406186819077, + "C": 0.15002967417240143, + "D": 0.15002967417240143 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что или кого вам трудно будет разглядеть в пасмурный день?", + "option_a": "ближайую к нашей планете звезду", + "option_b": "экран смартфона", + "option_c": "учителя в классе", + "option_d": "бирку с именем официантки" + }, + "outputs": "A", + "meta": { + "id": 1436 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто или кого вам трудно будет разглядеть в пасмурный день?\nA. ближайую к нашей планете звезду\nB. экран смартфона\nC. учителя в классе\nD. бирку с именем официантки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06866619735956192, + "B": 0.023730404675006866, + "C": 0.03912482410669327, + "D": 0.836525559425354 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие питательные вещества необходимы для роста и восстановления после болезней и травм?", + "option_a": "металлический сор", + "option_b": "старые компьютеры", + "option_c": "ведро грязи", + "option_d": "бульон из птицы" + }, + "outputs": "D", + "meta": { + "id": 1145 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие питательные вещества необходимы для роста и восстановления после болезней и травм?\nA) металлический сор\nB) старые компьютеры\nC) ведро грязи\nD) бульон из птицы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4264644682407379, + "B": 0.12218412011861801, + "C": 0.13006430864334106, + "D": 0.17777682840824127 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кусок пиццы помещается в коробку и приобретает это качество, когда энергия проводится по коробке в еду:", + "option_a": "поджаренный", + "option_b": "мясной", + "option_c": "замороженный", + "option_d": "холодный" + }, + "outputs": "A", + "meta": { + "id": 273 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кусок пиццы помещается в коробку и приобретает это качество, когда энергия проводится по коробке в еду:\nA. поджаренный\nB. мясной\nC. замороженный\nD. холодный\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0886702612042427, + "B": 0.028787020593881607, + "C": 0.790309488773346, + "D": 0.03934719040989876 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что использует невозобновляемый ресурс?", + "option_a": "колокольчики", + "option_b": "автомобиль на солнечной энергии", + "option_c": "бомбардировщик B52", + "option_d": "велосипед" + }, + "outputs": "C", + "meta": { + "id": 486 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что использует невозобновляемый ресурс?\nA. колокольчики\nB. автомобиль на солнечной энергии\nC. бомбардировщик B52\nD. велосипед\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7059628367424011, + "B": 0.0330183207988739, + "C": 0.05443800613284111, + "D": 0.027373148128390312 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Иногда этанол может использоваться как", + "option_a": "топливо", + "option_b": "любовь", + "option_c": "магия", + "option_d": "привязанность" + }, + "outputs": "A", + "meta": { + "id": 320 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИногда этанол может использоваться как\nA. топливо\nB. любовь\nC. магия\nD. привязанность\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.15906699001789093, + "B": 0.1163758933544159, + "C": 0.1163758933544159, + "D": 0.5551983714103699 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Страдающие от бессонницы менее здоровы, чем другие люди, потому что", + "option_a": "находятся в космосе", + "option_b": "улетают", + "option_c": "слишком много спят", + "option_d": "редко спят" + }, + "outputs": "D", + "meta": { + "id": 1915 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Страдающие от бессонницы менее здоровы, чем другие люди, потому что\nA. находятся в космосе\nB. улетают\nC. слишком много спят\nD. редко спят\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6076536178588867, + "B": 0.07725448161363602, + "C": 0.1196540892124176, + "D": 0.04685721918940544 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Камень, который подвергся метаморфозам, потенциально мог испытать это, чтобы добраться до этой стадии", + "option_a": "большие нагрузки", + "option_b": "маленькие мыши", + "option_c": "старые деревья", + "option_d": "насморк" + }, + "outputs": "A", + "meta": { + "id": 761 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Камень, который подвергся метаморфозам, потенциально мог испытать это, чтобы добраться до этой стадии\nA. большие нагрузки\nB. маленькие мыши\nC. старые деревья\nD. насморк\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.19848184287548065, + "B": 0.3074146807193756, + "C": 0.18645644187927246, + "D": 0.21128283441066742 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Оленям менее безопасно в лесу, потому что волки", + "option_a": "имеют мех", + "option_b": "воют", + "option_c": "имеют когти", + "option_d": "имеют хвосты" + }, + "outputs": "C", + "meta": { + "id": 500 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Оленям менее безопасно в лесу, потому что волки\nA. имеют мех\nB. воют\nC. имеют когти\nD. имеют хвосты\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2853460907936096, + "B": 0.15273475646972656, + "C": 0.32333946228027344, + "D": 0.11174313724040985 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек разобьет предмет, и тот треснет, это хорошо или плохо?", + "option_a": "для объекта плохо", + "option_b": "можно сказать, объект не подвергался значительному воздействию", + "option_c": "все это верно одновременно", + "option_d": "это всегда положительно для объекта" + }, + "outputs": "A", + "meta": { + "id": 617 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если человек разобьет предмет, и тот треснет, это хорошо или плохо?\nA. для объекта плохо\nB. можно сказать, объект не подвергался значительному воздействию\nC. все это верно одновременно\nD. это всегда положительно для объекта\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.029706154018640518, + "B": 0.006628338247537613, + "C": 0.01026617269963026, + "D": 0.9241313338279724 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда птица подолгу живет в определенном уголке мира, она может стать частью его среды вместе с хищниками и источниками пищи. Как называется этот процесс?", + "option_a": "воспроизводство", + "option_b": "добыча", + "option_c": "хищничество", + "option_d": "адаптация" + }, + "outputs": "D", + "meta": { + "id": 1456 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда птица подолгу живет в определенном уголке мира, она может стать частью его среды вместе с хищниками и источниками пищи. Как называется этот процесс?\nA. воспроизводство\nB. добыча\nC. хищничество\nD. адаптация\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.2853087782859802, + "B": 0.34414806962013245, + "C": 0.14346225559711456, + "D": 0.1527147889137268 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Распространенная проблема, связанная с отходами в выделительной системе:", + "option_a": "приближение к отходам", + "option_b": "стремление удержать отходы", + "option_c": "лихорадка", + "option_d": "удаление отходов" + }, + "outputs": "D", + "meta": { + "id": 538 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРаспространенная проблема, связанная с отходами в выделительной системе:\nA) приближение к отходам\nB) стремление удержать отходы\nC) лихорадка\nD) удаление отходов\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.36394795775413513, + "B": 0.11815659701824188, + "C": 0.14252406358718872, + "D": 0.2834429442882538 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой объект был бы идеальным предметом для забивания молотком?", + "option_a": "все это", + "option_b": "металлический гвоздь", + "option_c": "стальной гвоздь", + "option_d": "железный гвоздь" + }, + "outputs": "A", + "meta": { + "id": 1337 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой объект был бы идеальным предметом для забивания молотком?\nA) все это\nB) металлический гвоздь\nC) стальной гвоздь\nD) железный гвоздь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.27545249462127686, + "B": 0.1385062038898468, + "C": 0.27545249462127686, + "D": 0.20152533054351807 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из чего легче сделать пирамидку?", + "option_a": "лед", + "option_b": "пар", + "option_c": "вода", + "option_d": "соленая вода" + }, + "outputs": "A", + "meta": { + "id": 1257 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из чего легче сделать пирамидку?\nA. лед\nB. пар\nC. вода\nD. соленая вода\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.265668660402298, + "B": 0.08624999225139618, + "C": 0.4662630259990692, + "D": 0.09773404151201248 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет делать температура воздуха с увеличением высоты?", + "option_a": "падать", + "option_b": "расти", + "option_c": "подниматься", + "option_d": "увеличиваться" + }, + "outputs": "A", + "meta": { + "id": 1380 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что будет делать температура воздуха с увеличением высоты?\nA) падать\nB) расти\nC) подниматься\nD) увеличиваться\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15041470527648926, + "B": 0.043094534426927567, + "C": 0.5588583946228027, + "D": 0.181434765458107 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вещь брошена и не поймана, то она", + "option_a": "зависнет", + "option_b": "растворится", + "option_c": "упадет", + "option_d": "сожжет все вокруг" + }, + "outputs": "C", + "meta": { + "id": 812 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вещь брошена и не поймана, то она\nA) зависнет\nB) растворится\nC) упадет\nD) сожжет все вокруг\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.25005489587783813, + "B": 0.09199005365371704, + "C": 0.41227081418037415, + "D": 0.17186003923416138 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вода быстрее превращается в пар на", + "option_a": "Юпитере", + "option_b": "Меркурии", + "option_c": "Земле", + "option_d": "Нептуне" + }, + "outputs": "B", + "meta": { + "id": 1568 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВода быстрее превращается в пар на\nA) Юпитере\nB) Меркурии\nC) Земле\nD) Нептуне\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2256685346364975, + "B": 0.1001398041844368, + "C": 0.3720645010471344, + "D": 0.2119959592819214 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что тверже?", + "option_a": "Шипучка", + "option_b": "моча", + "option_c": "гелий", + "option_d": "ледяная скульптура" + }, + "outputs": "D", + "meta": { + "id": 1435 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто тверже?\nA) Шипучка\nB) моча\nC) гелий\nD) ледяная скульптура\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1634185016155243, + "B": 0.17395810782909393, + "C": 0.2233666181564331, + "D": 0.36826929450035095 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зима в северном полушарии наступает", + "option_a": "на следующий день после 1 мая", + "option_b": "за два дня до 12 апреля", + "option_c": "за день до Рождества", + "option_d": "на следующий день после 30 ноября" + }, + "outputs": "D", + "meta": { + "id": 166 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Зима в северном полушарии наступает\nA) на следующий день после 1 мая\nB) за два дня до 12 апреля\nC) за день до Рождества\nD) на следующий день после 30 ноября\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.21168704330921173, + "B": 0.3080028295516968, + "C": 0.1754947155714035, + "D": 0.21168704330921173 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Термометры", + "option_a": "могут сказать вам, нужен ли вам зонт в этот день", + "option_b": "могут помочь вам решить, сколько слоев одежды надеть перед выходом на улицу", + "option_c": "могут сказать вам, в каком направлении дует ветер", + "option_d": "могут сказать вам, сколько дождя выпало" + }, + "outputs": "B", + "meta": { + "id": 1310 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТермометры\nA. могут сказать вам, нужен ли вам зонт в этот день\nB. могут помочь вам решить, сколько слоев одежды надеть перед выходом на улицу\nC. могут сказать вам, в каком направлении дует ветер\nD. могут сказать вам, сколько дождя выпало\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 466, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2712245285511017, + "B": 0.175115704536438, + "C": 0.3073376715183258, + "D": 0.14517603814601898 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Жара плюс влага в океане - хороший рецепт для", + "option_a": "жестоких морских животных", + "option_b": "сильного шторма", + "option_c": "конденсации жидкости", + "option_d": "штиля" + }, + "outputs": "B", + "meta": { + "id": 1253 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖара плюс влага в океане - хороший рецепт для\nA) жестоких морских животных\nB) сильного шторма\nC) конденсации жидкости\nD) штиля\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.294278621673584, + "B": 0.0792040154337883, + "C": 0.31325793266296387, + "D": 0.17848898470401764 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Источником тепла может быть", + "option_a": "кубик льда", + "option_b": "вентилятор", + "option_c": "рука приятеля", + "option_d": "снежинка." + }, + "outputs": "C", + "meta": { + "id": 1731 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИсточником тепла может быть\nA. кубик льда\nB. вентилятор\nC. рука приятеля\nD. снежинка.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3090069591999054, + "B": 0.2902851700782776, + "C": 0.07812919467687607, + "D": 0.22607430815696716 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из этих объектов притянет магнит?", + "option_a": "бейсбольный мяч", + "option_b": "губка для мытья посуды", + "option_c": "подушка", + "option_d": "дверная ручка" + }, + "outputs": "D", + "meta": { + "id": 313 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой из этих объектов притянет магнит?\nA. бейсбольный мяч\nB. губка для мытья посуды\nC. подушка\nD. дверная ручка\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.15836164355278015, + "B": 0.07480474561452866, + "C": 0.5527364611625671, + "D": 0.14876699447631836 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Эгоцентричные люди больше всего любят", + "option_a": "сопереживание", + "option_b": "отражение в озере", + "option_c": "ставить других на первое место", + "option_d": "думать о других" + }, + "outputs": "B", + "meta": { + "id": 249 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЭгоцентричные люди больше всего любят\nA) сопереживание\nB) отражение в озере\nC) ставить других на первое место\nD) думать о других\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05764118582010269, + "B": 0.6197012066841125, + "C": 0.06531602144241333, + "D": 0.20118752121925354 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если среда обитания, которая поддерживает сама себя, процветает, улучшения все же можно произвести,", + "option_a": "довольно регулярно используя пестициды", + "option_b": "закапывая в землю семена дуба", + "option_c": "разжигая неконтролируемые лесные пожары", + "option_d": "устанавливая мышеловки" + }, + "outputs": "B", + "meta": { + "id": 2115 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли среда обитания, которая поддерживает сама себя, процветает, улучшения все же можно произвести,\nA) довольно регулярно используя пестициды\nB) закапывая в землю семена дуба\nC) разжигая неконтролируемые лесные пожары\nD) устанавливая мышеловки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.18223392963409424, + "B": 0.13332517445087433, + "C": 0.3404577672481537, + "D": 0.265148788690567 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Двуногое существо, которое регулярно пользуется инструментами, будет иногда с удовольствием жевать", + "option_a": "осколки чайника", + "option_b": "семена подсолнечника", + "option_c": "старые фекалии", + "option_d": "твердые породы дерева" + }, + "outputs": "B", + "meta": { + "id": 1303 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДвуногое существо, которое регулярно пользуется инструментами, будет иногда с удовольствием жевать\nA) осколки чайника\nB) семена подсолнечника\nC) старые фекалии\nD) твердые породы дерева\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.21036215126514435, + "B": 0.06026976555585861, + "C": 0.15390422940254211, + "D": 0.5046325325965881 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Жидкости", + "option_a": "легко спутать с газами", + "option_b": "всегда полностью непрозрачны", + "option_c": "не обладают какой-либо пластичностью", + "option_d": "могут образовывать многочисленные смеси" + }, + "outputs": "D", + "meta": { + "id": 1609 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Жидкости\nA) легко спутать с газами\nB) всегда полностью непрозрачны\nC) не обладают какой-либо пластичностью\nD) могут образовывать многочисленные смеси\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4227460026741028, + "B": 0.08324361592531204, + "C": 0.21257004141807556, + "D": 0.10688692331314087 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Газ поднимется, когда что с ним произойдет?", + "option_a": "повышение температуры", + "option_b": "охлаждение", + "option_c": "таяние", + "option_d": "замораживание" + }, + "outputs": "A", + "meta": { + "id": 508 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГаз поднимется, когда что с ним произойдет?\nA. повышение температуры\nB. охлаждение\nC. таяние\nD. замораживание\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2048734575510025, + "B": 0.1924608200788498, + "C": 0.2800288200378418, + "D": 0.21808667480945587 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда этанол горит, он выбрасывает то, что попадает в озон", + "option_a": "излучение", + "option_b": "CO2", + "option_c": "молния", + "option_d": "азот" + }, + "outputs": "B", + "meta": { + "id": 165 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда этанол горит, он выбрасывает то, что попадает в озон\nA. излучение\nB. CO2\nC. молния\nD. азот\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.22967885434627533, + "B": 0.14829181134700775, + "C": 0.2602602243423462, + "D": 0.2770455777645111 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Клетки растений не могут участвовать в фотосинтезе", + "option_a": "в туалете", + "option_b": "в пустыне", + "option_c": "на заднем дворе", + "option_d": "в воде" + }, + "outputs": "A", + "meta": { + "id": 1701 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Клетки растений не могут участвовать в фотосинтезе\nA. в туалете\nB. в пустыне\nC. на заднем дворе\nD. в воде\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2343466728925705, + "B": 0.07608123123645782, + "C": 0.411291241645813, + "D": 0.17145168781280518 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Моркови очень трудно расти в", + "option_a": "верхнем слое почвы", + "option_b": "подмосковном грунте", + "option_c": "торфе", + "option_d": "бетоне" + }, + "outputs": "D", + "meta": { + "id": 2332 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Моркови очень трудно расти в\nA. верхнем слое почвы\nB. подмосковном грунте\nC. торфе\nD. бетоне\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6207382082939148, + "B": 0.057737644761800766, + "C": 0.08942581713199615, + "D": 0.06964489072561264 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что присутствует днем, но не ночью?", + "option_a": "солнечный свет", + "option_b": "луна", + "option_c": "облака", + "option_d": "планеты" + }, + "outputs": "A", + "meta": { + "id": 1429 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что присутствует днем, но не ночью?\nA. солнечный свет\nB. луна\nC. облака\nD. планеты\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3111024498939514, + "B": 0.2008628398180008, + "C": 0.18869316577911377, + "D": 0.2008628398180008 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы находитесь на Северном полюсе, когда Полярная звезда может быть видна?", + "option_a": "никогда", + "option_b": "круглый год", + "option_c": "3 раза в день", + "option_d": "два месяца в году" + }, + "outputs": "B", + "meta": { + "id": 1339 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если вы находитесь на Северном полюсе, когда Полярная звезда может быть видна?\nA. никогда\nB. круглый год\nC. 3 раза в день\nD. два месяца в году\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12498753517866135, + "B": 0.19358447194099426, + "C": 0.4943352937698364, + "D": 0.12498753517866135 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делает барометр с атмосферным давлением", + "option_a": "рассеивает его", + "option_b": "сохраняет его", + "option_c": "измеряет его", + "option_d": "уплотняет его" + }, + "outputs": "C", + "meta": { + "id": 1995 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что делает барометр с атмосферным давлением\nA) рассеивает его\nB) сохраняет его\nC) измеряет его\nD) уплотняет его\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.24741238355636597, + "B": 0.132430300116539, + "C": 0.31768378615379333, + "D": 0.20511206984519958 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В мае у меня будет черная кошка, что мне не стоит надевать?", + "option_a": "темно-фиолетовое", + "option_b": "темно-серое", + "option_c": "желтое", + "option_d": "черное" + }, + "outputs": "C", + "meta": { + "id": 9 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ мае у меня будет черная кошка, что мне не стоит надевать?\nA. темно-фиолетовое\nB. темно-серое\nC. желтое\nD. черное\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3961036801338196, + "B": 0.14571842551231384, + "C": 0.17576995491981506, + "D": 0.15511642396450043 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мужчина ищет свою собаку в лесу и берет с собой фонарик. В фонарике есть две большие батареи, которые", + "option_a": "обеспечивают свет с помощью проводки", + "option_b": "обеспечивают свет через пластик", + "option_c": "используют свет для нагрева фонарика", + "option_d": ", обеспечивают свет из-за влаги" + }, + "outputs": "A", + "meta": { + "id": 316 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМужчина ищет свою собаку в лесу и берет с собой фонарик. В фонарике есть две большие батареи, которые\nA. обеспечивают свет с помощью проводки\nB. обеспечивают свет через пластик\nC. используют свет для нагрева фонарика\nD. , обеспечивают свет из-за влаги\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 467, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.019830456003546715, + "B": 0.025462811812758446, + "C": 0.8975950479507446, + "D": 0.028853146359324455 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Система кровообращения переносит кислород из пищеварительной и дыхательной систем к остальной части чего?", + "option_a": "звезды", + "option_b": "пути", + "option_c": "организма", + "option_d": "человечества" + }, + "outputs": "C", + "meta": { + "id": 1498 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСистема кровообращения переносит кислород из пищеварительной и дыхательной систем к остальной части чего?\nA) звезды\nB) пути\nC) организма\nD) человечества\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.27006545662879944, + "B": 0.16380298137664795, + "C": 0.2537030279636383, + "D": 0.23833192884922028 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вещь была сорвана с большого объекта и разрушена или сделана намного меньше, даже крохотной, и это делалось в течение многих лет, вероятным виновником был", + "option_a": "инопланетяне", + "option_b": "мысль", + "option_c": "шторм", + "option_d": "пыль" + }, + "outputs": "C", + "meta": { + "id": 2241 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вещь была сорвана с большого объекта и разрушена или сделана намного меньше, даже крохотной, и это делалось в течение многих лет, вероятным виновником был\nA) инопланетяне\nB) мысль\nC) шторм\nD) пыль\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3185848891735077, + "B": 0.1601945459842682, + "C": 0.2189599871635437, + "D": 0.1601945459842682 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лиса с белым мехом", + "option_a": "полученна с помощью генетики и селекции", + "option_b": "генетически изменена и подверглась жестокому обращению", + "option_c": "- очень чистое животное", + "option_d": "была обесцвечена или промыта" + }, + "outputs": "A", + "meta": { + "id": 2054 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛиса с белым мехом\nA. полученна с помощью генетики и селекции\nB. генетически изменена и подверглась жестокому обращению\nC. - очень чистое животное\nD. была обесцвечена или промыта\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.14972522854804993, + "B": 0.3374110162258148, + "C": 0.2627759575843811, + "D": 0.16966091096401215 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда палка разбивается о кору дуба, его внутренности на микроскопическом уровне", + "option_a": "кричат", + "option_b": "сотрясаются", + "option_c": "объединяются", + "option_d": "поют" + }, + "outputs": "B", + "meta": { + "id": 239 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда палка разбивается о кору дуба, его внутренности на микроскопическом уровне\nA. кричат\nB. сотрясаются\nC. объединяются\nD. поют\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.627692699432373, + "B": 0.05152415111660957, + "C": 0.07980216294527054, + "D": 0.06615831702947617 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда деревья вырубают, деревья", + "option_a": "должны быть заменены молодняком, или лесов станет меньше", + "option_b": "без листьев", + "option_c": "крошечные и неактуальные", + "option_d": "становятся все меньше и меньше размером" + }, + "outputs": "A", + "meta": { + "id": 513 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда деревья вырубают, деревья\nA. должны быть заменены молодняком, или лесов станет меньше\nB. без листьев\nC. крошечные и неактуальные\nD. становятся все меньше и меньше размером\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.14779821038246155, + "B": 0.09542570263147354, + "C": 0.5158664584159851, + "D": 0.13043145835399628 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда любые два объекта сталкиваются друг с другом, молекулы на поверхности двух соприкасающихся объектов могут", + "option_a": "гнить", + "option_b": "дымить", + "option_c": "сотрясаться", + "option_d": "замерзнуть" + }, + "outputs": "C", + "meta": { + "id": 1006 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда любые два объекта сталкиваются друг с другом, молекулы на поверхности двух соприкасающихся объектов могут\nA. гнить\nB. дымить\nC. сотрясаться\nD. замерзнуть\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.035207223147153854, + "B": 0.008901781402528286, + "C": 0.01884506829082966, + "D": 0.9080063104629517 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой ресурс можно назвать возобновляемым?", + "option_a": "Пластик", + "option_b": "Металл", + "option_c": "Бетон", + "option_d": "Дождь" + }, + "outputs": "D", + "meta": { + "id": 2028 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой ресурс можно назвать возобновляемым?\nA) Пластик\nB) Металл\nC) Бетон\nD) Дождь\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1310417205095291, + "B": 0.5182800889015198, + "C": 0.033132534474134445, + "D": 0.24481818079948425 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что сохраняет пищу впрок и является зеленым?", + "option_a": "бактерии", + "option_b": "дерево", + "option_c": "вирус", + "option_d": "форель" + }, + "outputs": "B", + "meta": { + "id": 250 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что сохраняет пищу впрок и является зеленым?\nA. бактерии\nB. дерево\nC. вирус\nD. форель\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4784175753593445, + "B": 0.10028176754713058, + "C": 0.1553194373846054, + "D": 0.12096290290355682 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что меняет экосистему?", + "option_a": "добыча угля", + "option_b": "скалолазание", + "option_c": "солнечные ванны", + "option_d": "плавание" + }, + "outputs": "A", + "meta": { + "id": 115 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что меняет экосистему?\nA) добыча угля\nB) скалолазание\nC) солнечные ванны\nD) плавание\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3668280839920044, + "B": 0.1732773333787918, + "C": 0.19634893536567688, + "D": 0.08712930977344513 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Луна вращается вокруг объекта, который вращается вокруг", + "option_a": "Земли", + "option_b": "Луны", + "option_c": "Марса", + "option_d": "Солнца" + }, + "outputs": "D", + "meta": { + "id": 2170 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛуна вращается вокруг объекта, который вращается вокруг\nA. Земли\nB. Луны\nC. Марса\nD. Солнца\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.060762498527765274, + "B": 0.06468134373426437, + "C": 0.04445479437708855, + "D": 0.7879800796508789 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, который долгое время остается без пищи, испытает", + "option_a": "счастье", + "option_b": "потливость", + "option_c": "сытость", + "option_d": "голод" + }, + "outputs": "D", + "meta": { + "id": 2309 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек, который долгое время остается без пищи, испытает\nA. счастье\nB. потливость\nC. сытость\nD. голод\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1797826588153839, + "B": 0.11607640981674194, + "C": 0.4051464796066284, + "D": 0.23084549605846405 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Я оставил статую без воды на 100 лет, а когда вернулся, она стала намного меньше, кто в этом виноват?", + "option_a": "Птицы", + "option_b": "Ветер", + "option_c": "Маленькие тролли", + "option_d": "Муравьи" + }, + "outputs": "B", + "meta": { + "id": 1098 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЯ оставил статую без воды на 100 лет, а когда вернулся, она стала намного меньше, кто в этом виноват?\nA) Птицы\nB) Ветер\nC) Маленькие тролли\nD) Муравьи\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.33690017461776733, + "B": 0.11642958968877792, + "C": 0.2973133623600006, + "D": 0.13193199038505554 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что испаряется из контейнера при использовании?", + "option_a": "дезодорант-спрей", + "option_b": "крендели", + "option_c": "вода", + "option_d": "корм для собак" + }, + "outputs": "A", + "meta": { + "id": 502 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто испаряется из контейнера при использовании?\nA. дезодорант-спрей\nB. крендели\nC. вода\nD. корм для собак\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09949284791946411, + "B": 0.05325467884540558, + "C": 0.6906172037124634, + "D": 0.09346487373113632 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Таяние полярных ледяных шапок", + "option_a": "приведет к увеличению площади поверхности в некоторых областях России", + "option_b": "приведет к появлению большего количества видов животных, бродящих по Земле", + "option_c": "повлечет потерю мест обитания для многих животных", + "option_d": "вызовет рост популяции белых медведей" + }, + "outputs": "C", + "meta": { + "id": 1943 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТаяние полярных ледяных шапок\nA) приведет к увеличению площади поверхности в некоторых областях России\nB) приведет к появлению большего количества видов животных, бродящих по Земле\nC) повлечет потерю мест обитания для многих животных\nD) вызовет рост популяции белых медведей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.24237340688705444, + "B": 0.16658064723014832, + "C": 0.274645060300827, + "D": 0.20093460381031036 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример навыка или усвоенной характеристики:", + "option_a": "плач", + "option_b": "засыпание", + "option_c": "завтрак", + "option_d": "мытье лица" + }, + "outputs": "D", + "meta": { + "id": 877 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПример навыка или усвоенной характеристики:\nA. плач\nB. засыпание\nC. завтрак\nD. мытье лица\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.34075361490249634, + "B": 0.30071401596069336, + "C": 0.20667752623558044, + "D": 0.02977471984922886 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Львы и зебры живут", + "option_a": "в разных средах", + "option_b": "рядом друг с другом", + "option_c": "в различных средах обитания", + "option_d": "вдали от Земли" + }, + "outputs": "B", + "meta": { + "id": 1671 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Львы и зебры живут\nA) в разных средах\nB) рядом друг с другом\nC) в различных средах обитания\nD) вдали от Земли\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.01878955587744713, + "B": 0.014633321203291416, + "C": 0.03736749663949013, + "D": 0.9053314924240112 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тактильное ощущение - это когда живое существо воспринимает что?", + "option_a": "вид", + "option_b": "запах", + "option_c": "вкус", + "option_d": "контакт" + }, + "outputs": "D", + "meta": { + "id": 1014 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТактильное ощущение - это когда живое существо воспринимает что?\nA) вид\nB) запах\nC) вкус\nD) контакт\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 421, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.12547674775123596, + "B": 0.3630789816379547, + "C": 0.22021853923797607, + "D": 0.23442141711711884 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животное обычно весит больше всего, если оно съело", + "option_a": "салатную тарелку с едой", + "option_b": "бочку с едой", + "option_c": "обеденную тарелку с едой", + "option_d": "грузовик, полный еды" + }, + "outputs": "D", + "meta": { + "id": 2091 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖивотное обычно весит больше всего, если оно съело\nA) салатную тарелку с едой\nB) бочку с едой\nC) обеденную тарелку с едой\nD) грузовик, полный еды\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.18750961124897003, + "B": 0.06898093223571777, + "C": 0.3290896415710449, + "D": 0.3290896415710449 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что оставит хорек в кресле?", + "option_a": "письмо", + "option_b": "поэзию", + "option_c": "сумерки", + "option_d": "шерсть" + }, + "outputs": "D", + "meta": { + "id": 970 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что оставит хорек в кресле?\nA. письмо\nB. поэзию\nC. сумерки\nD. шерсть\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5686624646186829, + "B": 0.10519197583198547, + "C": 0.1119762659072876, + "D": 0.05289384350180626 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Два животных со схожей диетой, живущие в одинаковых условиях окружающей среды,", + "option_a": "соперничают за одну и ту же добычу", + "option_b": "водят крепкую дружбу", + "option_c": "перемещаются в разные среды", + "option_d": "организуют себе разные типы диет" + }, + "outputs": "A", + "meta": { + "id": 571 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Два животных со схожей диетой, живущие в одинаковых условиях окружающей среды,\nA. соперничают за одну и ту же добычу\nB. водят крепкую дружбу\nC. перемещаются в разные среды\nD. организуют себе разные типы диет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.17613953351974487, + "B": 0.4787968397140503, + "C": 0.165467768907547, + "D": 0.1137242242693901 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если олень не может есть регулярно или ест только то, что не содержит необходимых минералов, олень может", + "option_a": "найти здоровую пищу", + "option_b": "потерять здоровье", + "option_c": "стать неспособным к беременности", + "option_d": "подготовиться к спариванию" + }, + "outputs": "B", + "meta": { + "id": 1509 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли олень не может есть регулярно или ест только то, что не содержит необходимых минералов, олень может\nA. найти здоровую пищу\nB. потерять здоровье\nC. стать неспособным к беременности\nD. подготовиться к спариванию\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.31574884057044983, + "B": 0.14011269807815552, + "C": 0.2617650032043457, + "D": 0.14914919435977936 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "След ноги на скале мог появиться", + "option_a": "очень давно", + "option_b": "от случайного разлома", + "option_c": "в результате оптической иллюзии", + "option_d": "от новой горной породы" + }, + "outputs": "A", + "meta": { + "id": 855 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: След ноги на скале мог появиться\nA. очень давно\nB. от случайного разлома\nC. в результате оптической иллюзии\nD. от новой горной породы\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2680433690547943, + "B": 0.0437568724155426, + "C": 0.12661471962928772, + "D": 0.5007709264755249 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если держать хот-дог над костром, он", + "option_a": "растает", + "option_b": "станет веганским", + "option_c": "превратится в зефир", + "option_d": "поджарится" + }, + "outputs": "D", + "meta": { + "id": 1144 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если держать хот-дог над костром, он\nA) растает\nB) станет веганским\nC) превратится в зефир\nD) поджарится\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.308185338973999, + "B": 0.07792144268751144, + "C": 0.06876544654369354, + "D": 0.44840699434280396 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Распространение семян - это когда семена растения перемещаются с растения на новое…", + "option_a": "небесное тело", + "option_b": "торжество", + "option_c": "стихотворение", + "option_d": "место произрастания" + }, + "outputs": "D", + "meta": { + "id": 1528 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРаспространение семян - это когда семена растения перемещаются с растения на новое…\nA. небесное тело\nB. торжество\nC. стихотворение\nD. место произрастания\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.33153313398361206, + "B": 0.31144657731056213, + "C": 0.11457479000091553, + "D": 0.1219642385840416 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В болоте, когда уровень воды становится низким,", + "option_a": "болотные животные могут дольше искать питательные вещества", + "option_b": "болотные животные могут испытывать жажду", + "option_c": "болото производит больше воды", + "option_d": "болотным хищникам нужно больше добычи" + }, + "outputs": "A", + "meta": { + "id": 1333 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В болоте, когда уровень воды становится низким,\nA) болотные животные могут дольше искать питательные вещества\nB) болотные животные могут испытывать жажду\nC) болото производит больше воды\nD) болотным хищникам нужно больше добычи\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.2590709626674652, + "B": 0.18954035639762878, + "C": 0.2147773802280426, + "D": 0.22862932085990906 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "____ горит от энергии ____", + "option_a": "ветер; смерти", + "option_b": "вода; огня", + "option_c": "пища; воды", + "option_d": "чайная свеча; воска" + }, + "outputs": "D", + "meta": { + "id": 1984 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: ____ горит от энергии ____\nA) ветер; смерти\nB) вода; огня\nC) пища; воды\nD) чайная свеча; воска\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.22543233633041382, + "B": 0.1649298220872879, + "C": 0.271923303604126, + "D": 0.271923303604126 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы толкнете что-то посильнее, оно", + "option_a": "увеличится в длине", + "option_b": "пройдёт меньшее расстояние", + "option_c": "останется на месте", + "option_d": "переместится дальше" + }, + "outputs": "D", + "meta": { + "id": 1507 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если вы толкнете что-то посильнее, оно\nA) увеличится в длине\nB) пройдёт меньшее расстояние\nC) останется на месте\nD) переместится дальше\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.40771153569221497, + "B": 0.159662127494812, + "C": 0.20501023530960083, + "D": 0.09097274392843246 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто быстрее и лучше восстановится после травм?", + "option_a": "ребенок, который ест трижды в день", + "option_b": "маленький ребенок, страдающий от недоедания", + "option_c": "ребенок, получающий недостаточное питание", + "option_d": "ребенок, который ест шесть раз в неделю" + }, + "outputs": "A", + "meta": { + "id": 1972 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто быстрее и лучше восстановится после травм?\nA. ребенок, который ест трижды в день\nB. маленький ребенок, страдающий от недоедания\nC. ребенок, получающий недостаточное питание\nD. ребенок, который ест шесть раз в неделю\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19843946397304535, + "B": 0.050173357129096985, + "C": 0.5067329406738281, + "D": 0.15454480051994324 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Я могу использовать электрическую энергию, чтобы", + "option_a": "пробежать милю", + "option_b": "плавать", + "option_c": "испечь рогалик", + "option_d": "заниматься скалолазанием" + }, + "outputs": "C", + "meta": { + "id": 1562 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЯ могу использовать электрическую энергию, чтобы\nA. пробежать милю\nB. плавать\nC. испечь рогалик\nD. заниматься скалолазанием\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3427963852882385, + "B": 0.3427963852882385, + "C": 0.08142127841711044, + "D": 0.134240984916687 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Специальные ткани растений переносят по всему растению питательные вещества, такие как", + "option_a": "вода", + "option_b": "сахар", + "option_c": "специи", + "option_d": "крахмал" + }, + "outputs": "B", + "meta": { + "id": 340 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСпециальные ткани растений переносят по всему растению питательные вещества, такие как\nA) вода\nB) сахар\nC) специи\nD) крахмал\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15544791519641876, + "B": 0.4498034119606018, + "C": 0.16547344624996185, + "D": 0.15544791519641876 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может случиться, если деревья растут на почве, богатой определенным витамином?", + "option_a": "витамин испаряется", + "option_b": "витамин скорее всего будет способствовать росту растения", + "option_c": "деревья видоизменяются и умирают", + "option_d": "витамин просачивается обратно в землю" + }, + "outputs": "B", + "meta": { + "id": 1754 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто может случиться, если деревья растут на почве, богатой определенным витамином?\nA. витамин испаряется\nB. витамин скорее всего будет способствовать росту растения\nC. деревья видоизменяются и умирают\nD. витамин просачивается обратно в землю\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.20860274136066437, + "B": 0.20860274136066437, + "C": 0.2851261496543884, + "D": 0.20860274136066437 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лев с торчащими из-под шерсти костями был", + "option_a": "в шкафу", + "option_b": "недокормлен", + "option_c": "анимирован", + "option_d": "перекормлен" + }, + "outputs": "B", + "meta": { + "id": 2337 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛев с торчащими из-под шерсти костями был\nA) в шкафу\nB) недокормлен\nC) анимирован\nD) перекормлен\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.22945983707904816, + "B": 0.26001206040382385, + "C": 0.22945983707904816, + "D": 0.17870350182056427 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В пасмурный день", + "option_a": "облака тонкие", + "option_b": "солнце закрыто", + "option_c": "сильный ветер", + "option_d": "небо ясное" + }, + "outputs": "B", + "meta": { + "id": 795 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ пасмурный день\nA. облака тонкие\nB. солнце закрыто\nC. сильный ветер\nD. небо ясное\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2711181342601776, + "B": 0.09369592368602753, + "C": 0.32703089714050293, + "D": 0.16444146633148193 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего будет частью круговорота воды?", + "option_a": "Разрушение льда на куски", + "option_b": "Озеро, образующее облако", + "option_c": "Наполнение бассейна", + "option_d": "Орошение урожая кукурузы" + }, + "outputs": "B", + "meta": { + "id": 1106 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из следующего будет частью круговорота воды?\nA) Разрушение льда на куски\nB) Озеро, образующее облако\nC) Наполнение бассейна\nD) Орошение урожая кукурузы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.22240082919597626, + "B": 0.15285371243953705, + "C": 0.28556832671165466, + "D": 0.2520131468772888 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы станете активнее и сможете работать дольше, если", + "option_a": "осень сменится зимой", + "option_b": "весна сменится летом", + "option_c": "листья деревьев начнут опадать", + "option_d": "начнется выпадение первого снега" + }, + "outputs": "B", + "meta": { + "id": 1304 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВы станете активнее и сможете работать дольше, если\nA) осень сменится зимой\nB) весна сменится летом\nC) листья деревьев начнут опадать\nD) начнется выпадение первого снега\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.3161052167415619, + "B": 0.07053261250257492, + "C": 0.09640665352344513, + "D": 0.43206462264060974 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, считается мягким?", + "option_a": "твердые крендели", + "option_b": "сталь", + "option_c": "алмаз", + "option_d": "ириски" + }, + "outputs": "D", + "meta": { + "id": 1570 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, вероятно, считается мягким?\nA. твердые крендели\nB. сталь\nC. алмаз\nD. ириски\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19598615169525146, + "B": 0.1526341736316681, + "C": 0.4701463580131531, + "D": 0.0816991776227951 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Земля вращается вокруг собственной оси, и для того, чтобы завершить один цикл этого вращения", + "option_a": "должны пройти два дня", + "option_b": "должна пройти неделя", + "option_c": "должна пройти седьмая часть недели", + "option_d": "Земля должна замедлиться" + }, + "outputs": "C", + "meta": { + "id": 1772 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Земля вращается вокруг собственной оси, и для того, чтобы завершить один цикл этого вращения\nA) должны пройти два дня\nB) должна пройти неделя\nC) должна пройти седьмая часть недели\nD) Земля должна замедлиться\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06421109288930893, + "B": 0.01958327926695347, + "C": 0.6092179417610168, + "D": 0.2539598047733307 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пеликаны любят", + "option_a": "суши", + "option_b": "кошек", + "option_c": "скумбрию", + "option_d": "мусор" + }, + "outputs": "C", + "meta": { + "id": 914 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пеликаны любят\nA. суши\nB. кошек\nC. скумбрию\nD. мусор\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06214750558137894, + "B": 0.025906935334205627, + "C": 0.805941104888916, + "D": 0.05838217958807945 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может сгнить?", + "option_a": "летающие птицы", + "option_b": "сжатый кислород", + "option_c": "ранее живые организмы", + "option_d": "блестящий камень" + }, + "outputs": "C", + "meta": { + "id": 2200 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может сгнить?\nA) летающие птицы\nB) сжатый кислород\nC) ранее живые организмы\nD) блестящий камень\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.10258876532316208, + "B": 0.7121071219444275, + "C": 0.06623627990484238, + "D": 0.04552348703145981 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если что-то движется быстрее, чем раньше, что могло повлиять на это?", + "option_a": "применение воды", + "option_b": "приложение силы", + "option_c": "применение света", + "option_d": "ни один из этих вариантов не верен" + }, + "outputs": "B", + "meta": { + "id": 588 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли что-то движется быстрее, чем раньше, что могло повлиять на это?\nA) применение воды\nB) приложение силы\nC) применение света\nD) ни один из этих вариантов не верен\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.21682660281658173, + "B": 0.26154279708862305, + "C": 0.23081070184707642, + "D": 0.19134879112243652 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В чем живут некоторые люди?", + "option_a": "озера", + "option_b": "дома", + "option_c": "океаны", + "option_d": "деревья" + }, + "outputs": "B", + "meta": { + "id": 1472 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В чем живут некоторые люди?\nA) озера\nB) дома\nC) океаны\nD) деревья\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.29671815037727356, + "B": 0.5207566022872925, + "C": 0.04550320282578468, + "D": 0.04274630546569824 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером какой энергии могут служить скачки?", + "option_a": "потенциальной", + "option_b": "кинетической", + "option_c": "ядерной", + "option_d": "солнечной" + }, + "outputs": "B", + "meta": { + "id": 1552 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примером какой энергии могут служить скачки?\nA. потенциальной\nB. кинетической\nC. ядерной\nD. солнечной\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.047696951776742935, + "B": 0.023983532562851906, + "C": 0.8454486131668091, + "D": 0.04480713605880737 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лев охотится на антилопу. Антилопы быстры, быстрее, чем ожидал лев. Чтобы поесть сегодня, льву нужно", + "option_a": "найти больше воды", + "option_b": "насладиться своим днем ​​", + "option_c": "догнать антилопу", + "option_d": "носить лучшую обувь" + }, + "outputs": "C", + "meta": { + "id": 787 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лев охотится на антилопу. Антилопы быстры, быстрее, чем ожидал лев. Чтобы поесть сегодня, льву нужно\nA) найти больше воды\nB) насладиться своим днем ​​\nC) догнать антилопу\nD) носить лучшую обувь\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7274542450904846, + "B": 0.04368702322244644, + "C": 0.05269661173224449, + "D": 0.04104016348719597 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Камуфляж используется сущностями для охоты на", + "option_a": "живых существ", + "option_b": "деревья", + "option_c": "воздух", + "option_d": "воду" + }, + "outputs": "A", + "meta": { + "id": 950 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКамуфляж используется сущностями для охоты на\nA) живых существ\nB) деревья\nC) воздух\nD) воду\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08954687416553497, + "B": 0.6616668701171875, + "C": 0.07423695921897888, + "D": 0.1223960667848587 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой самый большой орган человеческого тела?", + "option_a": "сердце", + "option_b": "внешние покровы тела", + "option_c": "легкие", + "option_d": "мозг" + }, + "outputs": "B", + "meta": { + "id": 1038 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой самый большой орган человеческого тела?\nA) сердце\nB) внешние покровы тела\nC) легкие\nD) мозг\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3420942723751068, + "B": 0.2664232850074768, + "C": 0.16159389913082123, + "D": 0.11106175184249878 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, скорее всего, произойдет в результате пересечения ареалов?", + "option_a": "орел и мышь соревнуются за ресурсы", + "option_b": "орел и ястреб соревнуются за ресурсы", + "option_c": "орел и лошадь соревнуются за ресурсы", + "option_d": "орел и дерево соревнуются за ресурсы" + }, + "outputs": "B", + "meta": { + "id": 1520 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, скорее всего, произойдет в результате пересечения ареалов?\nA) орел и мышь соревнуются за ресурсы\nB) орел и ястреб соревнуются за ресурсы\nC) орел и лошадь соревнуются за ресурсы\nD) орел и дерево соревнуются за ресурсы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.17893920838832855, + "B": 0.1904798001050949, + "C": 0.3140481114387512, + "D": 0.20276470482349396 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Рычаг используется для перемещения объектов, которые", + "option_a": "круглыеимеют круглую форму", + "option_b": "легки", + "option_c": "коротки", + "option_d": "велики" + }, + "outputs": "D", + "meta": { + "id": 956 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРычаг используется для перемещения объектов, которые\nA. круглыеимеют круглую форму\nB. легки\nC. коротки\nD. велики\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.046990856528282166, + "B": 0.03437924385070801, + "C": 0.8329328298568726, + "D": 0.038956787437200546 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Уголь - ресурс, который", + "option_a": "блестит на свету", + "option_b": "делает все санитарно-гигиеническим", + "option_c": "очень трудно будет возобновить", + "option_d": "охлаждает воздух" + }, + "outputs": "C", + "meta": { + "id": 1912 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Уголь - ресурс, который\nA. блестит на свету\nB. делает все санитарно-гигиеническим\nC. очень трудно будет возобновить\nD. охлаждает воздух\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07725995033979416, + "B": 0.7330220341682434, + "C": 0.04988277330994606, + "D": 0.08754699677228928 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Самые большие объекты на Луне - это", + "option_a": "космические станции", + "option_b": "кратеры", + "option_c": "инопланетные формы жизни", + "option_d": "лунные камни." + }, + "outputs": "B", + "meta": { + "id": 2220 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСамые большие объекты на Луне - это\nA) космические станции\nB) кратеры\nC) инопланетные формы жизни\nD) лунные камни.\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6868165731430054, + "B": 0.0680040493607521, + "C": 0.07705868035554886, + "D": 0.05296160653233528 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда у самки утконоса появляется новая жизнь в сумке, это значит, какой-то утконос", + "option_a": "родился", + "option_b": "умер", + "option_c": "полетел", + "option_d": "побежал" + }, + "outputs": "A", + "meta": { + "id": 1217 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда у самки утконоса появляется новая жизнь в сумке, это значит, какой-то утконос\nA) родился\nB) умер\nC) полетел\nD) побежал\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09276580810546875, + "B": 0.04664557799696922, + "C": 0.7296596169471741, + "D": 0.07690555602312088 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько экосистем на Земле?", + "option_a": "ничтожно мало", + "option_b": "три", + "option_c": "очень много", + "option_d": "не очень много" + }, + "outputs": "C", + "meta": { + "id": 719 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сколько экосистем на Земле?\nA. ничтожно мало\nB. три\nC. очень много\nD. не очень много\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6855521202087402, + "B": 0.0466524101793766, + "C": 0.07691681385040283, + "D": 0.04382587969303131 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лето - сезон, когда", + "option_a": "часть планеты находится ближе к солнцу", + "option_b": "полушария вращаются", + "option_c": "солнечные вспышки нагревают землю", + "option_d": "солнце вспыхивает интенсивнее" + }, + "outputs": "A", + "meta": { + "id": 2039 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лето - сезон, когда\nA. часть планеты находится ближе к солнцу\nB. полушария вращаются\nC. солнечные вспышки нагревают землю\nD. солнце вспыхивает интенсивнее\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1604698896408081, + "B": 0.10360713303089142, + "C": 0.33971473574638367, + "D": 0.3191324770450592 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каким сделают воздух вращающиеся лопасти электрического вентилятора?", + "option_a": "влажный", + "option_b": "циркулирующий", + "option_c": "холодный", + "option_d": "теплый" + }, + "outputs": "B", + "meta": { + "id": 624 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКаким сделают воздух вращающиеся лопасти электрического вентилятора?\nA) влажный\nB) циркулирующий\nC) холодный\nD) теплый\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12754441797733307, + "B": 0.07267262041568756, + "C": 0.6477240324020386, + "D": 0.08765991777181625 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек предпочитает находиться рядом с металлическим источником тепла, обычно расположенным на внутренней стене здания, то этот человек", + "option_a": "горит", + "option_b": "задыхается от жары", + "option_c": "хочет тепла", + "option_d": "пылает" + }, + "outputs": "C", + "meta": { + "id": 982 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если человек предпочитает находиться рядом с металлическим источником тепла, обычно расположенным на внутренней стене здания, то этот человек\nA. горит\nB. задыхается от жары\nC. хочет тепла\nD. пылает\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7674327492713928, + "B": 0.033718641847372055, + "C": 0.052224453538656235, + "D": 0.020451389253139496 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы я хотел развить выносливость, я мог бы", + "option_a": "ехать на велосипеде в гору", + "option_b": "есть больше еды", + "option_c": "спать весь день", + "option_d": "есть только пиццу" + }, + "outputs": "A", + "meta": { + "id": 142 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если бы я хотел развить выносливость, я мог бы\nA) ехать на велосипеде в гору\nB) есть больше еды\nC) спать весь день\nD) есть только пиццу\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2168746292591095, + "B": 0.1913911998271942, + "C": 0.2964324653148651, + "D": 0.17979538440704346 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "За время, когда Луна вращается вокруг Земли 13 раз, Земля обращается вокруг Солнца", + "option_a": "дважды", + "option_b": "один раз", + "option_c": "три раза", + "option_d": "четыре раза" + }, + "outputs": "B", + "meta": { + "id": 1590 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗа время, когда Луна вращается вокруг Земли 13 раз, Земля обращается вокруг Солнца\nA) дважды\nB) один раз\nC) три раза\nD) четыре раза\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8184211254119873, + "B": 0.02471417747437954, + "C": 0.028004830703139305, + "D": 0.028004830703139305 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего используется радио?", + "option_a": "для информирования людей", + "option_b": "для нагрева посуды", + "option_c": "для пересылки почты", + "option_d": "для еды" + }, + "outputs": "A", + "meta": { + "id": 2065 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего используется радио?\nA) для информирования людей\nB) для нагрева посуды\nC) для пересылки почты\nD) для еды\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.028651060536503792, + "B": 0.01969156600534916, + "C": 0.8913083076477051, + "D": 0.030498893931508064 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Увеличительное стекло используется, чтобы", + "option_a": "заставить объекты появиться", + "option_b": "найти лучшее место", + "option_c": "увеличить размер объекта", + "option_d": "увеличить потенциал зрения" + }, + "outputs": "D", + "meta": { + "id": 1270 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Увеличительное стекло используется, чтобы\nA. заставить объекты появиться\nB. найти лучшее место\nC. увеличить размер объекта\nD. увеличить потенциал зрения\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2274039089679718, + "B": 0.1295708417892456, + "C": 0.45224669575691223, + "D": 0.08365722745656967 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Снижение атмосферного давления приводит к", + "option_a": "возрастающей вероятности ливней", + "option_b": "более низкой вероятности дождя", + "option_c": "уменьшенной вероятности ливней", + "option_d": "не оказывает никакого влияния на прогноз погоды" + }, + "outputs": "A", + "meta": { + "id": 169 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Снижение атмосферного давления приводит к\nA. возрастающей вероятности ливней\nB. более низкой вероятности дождя\nC. уменьшенной вероятности ливней\nD. не оказывает никакого влияния на прогноз погоды\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.1414487361907959, + "B": 0.43569281697273254, + "C": 0.09721621125936508, + "D": 0.26426103711128235 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это, скорее всего, легко сдать в переработку:", + "option_a": "CO2", + "option_b": "туалетная бумага", + "option_c": "пенополистирол", + "option_d": "банка из-под газировки" + }, + "outputs": "D", + "meta": { + "id": 366 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Это, скорее всего, легко сдать в переработку:\nA) CO2\nB) туалетная бумага\nC) пенополистирол\nD) банка из-под газировки\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.21779030561447144, + "B": 0.23183657228946686, + "C": 0.24678874015808105, + "D": 0.20459505915641785 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Капустница в воздухе выше претерпела превращение и уже перешла бы в стадию имаго, но пока находится в предыдущей стадии. В какой?", + "option_a": "стадия яйца", + "option_b": "стадия после личинки", + "option_c": "старая стадия", + "option_d": "стадия моли" + }, + "outputs": "B", + "meta": { + "id": 287 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКапустница в воздухе выше претерпела превращение и уже перешла бы в стадию имаго, но пока находится в предыдущей стадии. В какой?\nA. стадия яйца\nB. стадия после личинки\nC. старая стадия\nD. стадия моли\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19513241946697235, + "B": 0.09217403084039688, + "C": 0.3880671560764313, + "D": 0.2077173888683319 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Разбив вазу, вы измените ее", + "option_a": "массу", + "option_b": "химический состав", + "option_c": "форму", + "option_d": "скорость" + }, + "outputs": "C", + "meta": { + "id": 1908 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРазбив вазу, вы измените ее\nA. массу\nB. химический состав\nC. форму\nD. скорость\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.6199960708618164, + "B": 0.04491236433386803, + "C": 0.10121157765388489, + "D": 0.07404796779155731 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Под сенью чего люди могут спрятаться от погоды?", + "option_a": "тенистое дерево", + "option_b": "местный музей", + "option_c": "банка из-под газировки", + "option_d": "детская площадка" + }, + "outputs": "B", + "meta": { + "id": 1722 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПод сенью чего люди могут спрятаться от погоды?\nA. тенистое дерево\nB. местный музей\nC. банка из-под газировки\nD. детская площадка\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3149816393852234, + "B": 0.07028190791606903, + "C": 0.17947112023830414, + "D": 0.3149816393852234 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек берет из дома ведра с водой и начинает выливать в пруд во дворе. В определенный момент пруд", + "option_a": "замерзает", + "option_b": "ломается", + "option_c": "тонет", + "option_d": "переполняется" + }, + "outputs": "D", + "meta": { + "id": 1035 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек берет из дома ведра с водой и начинает выливать в пруд во дворе. В определенный момент пруд\nA) замерзает\nB) ломается\nC) тонет\nD) переполняется\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2702142596244812, + "B": 0.393159419298172, + "C": 0.08772572129964828, + "D": 0.15396343171596527 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ветер - это ресурс, который мы можем возобновить, потому что есть", + "option_a": "желание", + "option_b": "бесконечный запас", + "option_c": "страх остаться без ветра", + "option_d": "ограниченный запас" + }, + "outputs": "B", + "meta": { + "id": 367 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВетер - это ресурс, который мы можем возобновить, потому что есть\nA. желание\nB. бесконечный запас\nC. страх остаться без ветра\nD. ограниченный запас\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.031345754861831665, + "B": 0.8084177374839783, + "C": 0.021543601527810097, + "D": 0.0706387534737587 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда охотятся ночные хищники?", + "option_a": "в полдень", + "option_b": "в типичное для нас время сна", + "option_c": "утром", + "option_d": "в типичное для нас обеденное время" + }, + "outputs": "B", + "meta": { + "id": 227 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда охотятся ночные хищники?\nA. в полдень\nB. в типичное для нас время сна\nC. утром\nD. в типичное для нас обеденное время\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.21632245182991028, + "B": 0.24512545764446259, + "C": 0.2777635157108307, + "D": 0.14867611229419708 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплоизолятор между плитой и сковородой заставит сковороду нагреться", + "option_a": "сразу", + "option_b": "медленнее", + "option_c": "с той же скоростью", + "option_d": "быстрее" + }, + "outputs": "B", + "meta": { + "id": 226 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТеплоизолятор между плитой и сковородой заставит сковороду нагреться\nA. сразу\nB. медленнее\nC. с той же скоростью\nD. быстрее\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09017498046159744, + "B": 0.7550258040428162, + "C": 0.037590522319078445, + "D": 0.05822134017944336 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если стадо оленей перемещается в небольшой парк, где все многократно опрыскивают пестицидами,", + "option_a": "олени процветают в этой среде", + "option_b": "парк будет в конечном итоге быть без оленей", + "option_c": "олени обретают счастливую жизнь", + "option_d": "олени здоровы и счастливы" + }, + "outputs": "B", + "meta": { + "id": 2029 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если стадо оленей перемещается в небольшой парк, где все многократно опрыскивают пестицидами,\nA) олени процветают в этой среде\nB) парк будет в конечном итоге быть без оленей\nC) олени обретают счастливую жизнь\nD) олени здоровы и счастливы\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 469, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3758687973022461, + "B": 0.21416357159614563, + "C": 0.11463349312543869, + "D": 0.12989678978919983 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В то время как многие среды обитания поддерживают большое разнообразие жизни, включая пустыни, многие животные", + "option_a": "замерзают в пустынях", + "option_b": "голодают в пустынях", + "option_c": "брошены в пустынях", + "option_d": "тонут в пустынях" + }, + "outputs": "B", + "meta": { + "id": 1822 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В то время как многие среды обитания поддерживают большое разнообразие жизни, включая пустыни, многие животные\nA) замерзают в пустынях\nB) голодают в пустынях\nC) брошены в пустынях\nD) тонут в пустынях\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.17063561081886292, + "B": 0.17063561081886292, + "C": 0.2482733428478241, + "D": 0.3612355589866638 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если наша Земля и есть что-то, это", + "option_a": "инопланетянин", + "option_b": "ближайший к Плутону объект", + "option_c": "каменная глыба", + "option_d": "замороженное твердое тело" + }, + "outputs": "C", + "meta": { + "id": 447 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если наша Земля и есть что-то, это\nA) инопланетянин\nB) ближайший к Плутону объект\nC) каменная глыба\nD) замороженное твердое тело\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.010916256345808506, + "B": 0.016907429322600365, + "C": 0.023109717294573784, + "D": 0.9231143593788147 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы создать бумагу, вам сначала нужно получить запас", + "option_a": "звездной пыли", + "option_b": "песка", + "option_c": "ручек", + "option_d": "целлюлозы" + }, + "outputs": "D", + "meta": { + "id": 431 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы создать бумагу, вам сначала нужно получить запас\nA. звездной пыли\nB. песка\nC. ручек\nD. целлюлозы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6791940927505493, + "B": 0.04621973633766174, + "C": 0.08634983003139496, + "D": 0.05237382650375366 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Торф - важный фактор при", + "option_a": "посеве свежих семян малины в почву", + "option_b": "вождении новой машины", + "option_c": "резком измерении дневной температуры", + "option_d": "обильном завтраке" + }, + "outputs": "A", + "meta": { + "id": 1524 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТорф - важный фактор при\nA. посеве свежих семян малины в почву\nB. вождении новой машины\nC. резком измерении дневной температуры\nD. обильном завтраке\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1528359204530716, + "B": 0.026558900251984596, + "C": 0.04961855709552765, + "D": 0.7291393876075745 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой вариант может послужить примером вымирания?", + "option_a": "на оленей охотятся, чтобы контролировать уровень популяции", + "option_b": "птицы летят на юг на зиму", + "option_c": "олени перемещаются, чтобы найти лучшую пищу", + "option_d": "ястребы охотятся на представителей редкого подвида мышей с единственного поля, где эти мыши обитали" + }, + "outputs": "D", + "meta": { + "id": 1091 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой вариант может послужить примером вымирания?\nA. на оленей охотятся, чтобы контролировать уровень популяции\nB. птицы летят на юг на зиму\nC. олени перемещаются, чтобы найти лучшую пищу\nD. ястребы охотятся на представителей редкого подвида мышей с единственного поля, где эти мыши обитали\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 475, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1519799828529358, + "B": 0.3880944848060608, + "C": 0.25057265162467957, + "D": 0.11836212128400803 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стадо диких коз стремительно уменьшается. Что из этого могло быть причиной?", + "option_a": "Было много солнечных дней", + "option_b": "Растительности в регионе стало меньше", + "option_c": "Хищники покинули этот район", + "option_d": "Наступил июль" + }, + "outputs": "B", + "meta": { + "id": 1221 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСтадо диких коз стремительно уменьшается. Что из этого могло быть причиной?\nA. Было много солнечных дней\nB. Растительности в регионе стало меньше\nC. Хищники покинули этот район\nD. Наступил июль\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7894065380096436, + "B": 0.025375433266162872, + "C": 0.02701200544834137, + "D": 0.01744026131927967 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком районе зимой часто бывает снегопад?", + "option_a": "Арктика", + "option_b": "Средиземноморье", + "option_c": "Тропический лес", + "option_d": "Тропики" + }, + "outputs": "A", + "meta": { + "id": 197 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ каком районе зимой часто бывает снегопад?\nA) Арктика\nB) Средиземноморье\nC) Тропический лес\nD) Тропики\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.47080761194229126, + "B": 0.04379192739725113, + "C": 0.26825806498527527, + "D": 0.09868663549423218 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Клетке растения при фотосинтезе может потребоваться", + "option_a": "доступ в пространство без крыши", + "option_b": "полный вакуум в пространстве", + "option_c": "комната с затемненными окнами", + "option_d": "темные жилые помещения в подвале" + }, + "outputs": "A", + "meta": { + "id": 1681 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Клетке растения при фотосинтезе может потребоваться\nA) доступ в пространство без крыши\nB) полный вакуум в пространстве\nC) комната с затемненными окнами\nD) темные жилые помещения в подвале\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19286544620990753, + "B": 0.05525687709450722, + "C": 0.594067394733429, + "D": 0.091103196144104 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой материал можно использовать для передачи энергии лампочке?", + "option_a": "пластик", + "option_b": "дерево", + "option_c": "металл", + "option_d": "ткань" + }, + "outputs": "C", + "meta": { + "id": 1431 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой материал можно использовать для передачи энергии лампочке?\nA. пластик\nB. дерево\nC. металл\nD. ткань\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4254964590072632, + "B": 0.06129857897758484, + "C": 0.13813847303390503, + "D": 0.25807663798332214 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно было есть, чтобы не умереть от голода?", + "option_a": "Аквавит", + "option_b": "Ксерокс", + "option_c": "Клинекс", + "option_d": "Мулине" + }, + "outputs": "A", + "meta": { + "id": 2003 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что можно было есть, чтобы не умереть от голода?\nA. Аквавит\nB. Ксерокс\nC. Клинекс\nD. Мулине\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.31437742710113525, + "B": 0.11565300077199936, + "C": 0.23000341653823853, + "D": 0.21606823801994324 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы согреться в холодный день", + "option_a": "стойте на одном месте", + "option_b": "наденьте рубашки с короткими рукавами", + "option_c": "не используйте носки", + "option_d": "потрите ладони друг о друга" + }, + "outputs": "D", + "meta": { + "id": 760 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы согреться в холодный день\nA. стойте на одном месте\nB. наденьте рубашки с короткими рукавами\nC. не используйте носки\nD. потрите ладони друг о друга\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.2418588101863861, + "B": 0.33058181405067444, + "C": 0.16622696816921234, + "D": 0.16622696816921234 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего бы вы использовали градуированный цилиндр?", + "option_a": "для измерения объема виноградного сока", + "option_b": "для измерения объема твердого тела", + "option_c": "для измерения упитанности собаки", + "option_d": "для измерения количества костных осколков" + }, + "outputs": "A", + "meta": { + "id": 2313 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего бы вы использовали градуированный цилиндр?\nA. для измерения объема виноградного сока\nB. для измерения объема твердого тела\nC. для измерения упитанности собаки\nD. для измерения количества костных осколков\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.09054326266050339, + "B": 0.04552800953388214, + "C": 0.06624285876750946, + "D": 0.7581093907356262 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что нужно животному, чтобы выжить?", + "option_a": "интересные места", + "option_b": "солнечный свет", + "option_c": "кабельное телевидение", + "option_d": "питание" + }, + "outputs": "D", + "meta": { + "id": 794 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто нужно животному, чтобы выжить?\nA) интересные места\nB) солнечный свет\nC) кабельное телевидение\nD) питание\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3592306971549988, + "B": 0.08532477170228958, + "C": 0.2628187835216522, + "D": 0.180632546544075 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы человек смотрел свою голову в зеркало и двинулся навстречу отражению, что бы произошло?", + "option_a": "голова бы исчезла", + "option_b": "голова бы взорвалась", + "option_c": "голова начала бы сокращаться", + "option_d": "голова начала бы расти" + }, + "outputs": "D", + "meta": { + "id": 932 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если бы человек смотрел свою голову в зеркало и двинулся навстречу отражению, что бы произошло?\nA) голова бы исчезла\nB) голова бы взорвалась\nC) голова начала бы сокращаться\nD) голова начала бы расти\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.14829151332378387, + "B": 0.15785549581050873, + "C": 0.24449138343334198, + "D": 0.3786756694316864 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При протекании электрического тока", + "option_a": "провод автоматически является водонепроницаемым", + "option_b": "провод может быть холодным на ощупь", + "option_c": "провод автоматически заземляется", + "option_d": "провод может быть горячим на ощупь" + }, + "outputs": "D", + "meta": { + "id": 1324 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПри протекании электрического тока\nA. провод автоматически является водонепроницаемым\nB. провод может быть холодным на ощупь\nC. провод автоматически заземляется\nD. провод может быть горячим на ощупь\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15288306772708893, + "B": 0.09870872646570206, + "C": 0.5012843012809753, + "D": 0.17323923110961914 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Водяной пар - признак чего?", + "option_a": "жар", + "option_b": "тепло", + "option_c": "влажность", + "option_d": "холод" + }, + "outputs": "C", + "meta": { + "id": 1536 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВодяной пар - признак чего?\nA) жар\nB) тепло\nC) влажность\nD) холод\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 417, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.23008081316947937, + "B": 0.12315339595079422, + "C": 0.33476561307907104, + "D": 0.21614092588424683 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Я могу использовать Квадрат Пеннета, чтобы определить, смогу ли я", + "option_a": "ходить по стенам", + "option_b": "скручивать свой язык в трубочку", + "option_c": "обладать сверхспособностями", + "option_d": "стать невидимым" + }, + "outputs": "B", + "meta": { + "id": 1515 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЯ могу использовать Квадрат Пеннета, чтобы определить, смогу ли я\nA) ходить по стенам\nB) скручивать свой язык в трубочку\nC) обладать сверхспособностями\nD) стать невидимым\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.33007457852363586, + "B": 0.16597191989421844, + "C": 0.20020036399364471, + "D": 0.21311217546463013 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Легче всего сломать", + "option_a": "очки", + "option_b": "блокнот", + "option_c": "стену", + "option_d": "книгу в твердом переплете." + }, + "outputs": "A", + "meta": { + "id": 1280 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Легче всего сломать\nA) очки\nB) блокнот\nC) стену\nD) книгу в твердом переплете.\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5855386257171631, + "B": 0.12273556739091873, + "C": 0.07924403250217438, + "D": 0.0656956136226654 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мир начинает использовать нефть все реже и реже, потому что ее нельзя", + "option_a": "использовать дважды", + "option_b": "использовать один раз", + "option_c": "использовать в автомобилях", + "option_d": "использовать в домах" + }, + "outputs": "A", + "meta": { + "id": 408 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМир начинает использовать нефть все реже и реже, потому что ее нельзя\nA. использовать дважды\nB. использовать один раз\nC. использовать в автомобилях\nD. использовать в домах\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19499768316745758, + "B": 0.15186434984207153, + "C": 0.3422316014766693, + "D": 0.220961332321167 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если у человека удалены все кости", + "option_a": "он танцует", + "option_b": "он может стоять", + "option_c": "органы тела выйдут из строя", + "option_d": "органы тела будут в безопасности" + }, + "outputs": "C", + "meta": { + "id": 1279 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли у человека удалены все кости\nA) он танцует\nB) он может стоять\nC) органы тела выйдут из строя\nD) органы тела будут в безопасности\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.21411480009555817, + "B": 0.07399609684944153, + "C": 0.4825151562690735, + "D": 0.12986719608306885 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Два корабля, встретившись в море, будут", + "option_a": "двигаться медленнее", + "option_b": "тонуть", + "option_c": "двигаться быстрее", + "option_d": "двигаться хаотически" + }, + "outputs": "A", + "meta": { + "id": 2172 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Два корабля, встретившись в море, будут\nA) двигаться медленнее\nB) тонуть\nC) двигаться быстрее\nD) двигаться хаотически\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.21775716543197632, + "B": 0.2626652717590332, + "C": 0.31683480739593506, + "D": 0.124074287712574 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что поддерживает жизнь, но перестает расти?", + "option_a": "воздух", + "option_b": "срубленное дерево", + "option_c": "камень", + "option_d": "куст" + }, + "outputs": "B", + "meta": { + "id": 2325 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто поддерживает жизнь, но перестает расти?\nA) воздух\nB) срубленное дерево\nC) камень\nD) куст\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2693157196044922, + "B": 0.3248567581176758, + "C": 0.11950813978910446, + "D": 0.17388330399990082 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что с наименьшей вероятностью будет экосистемой?", + "option_a": "равнины", + "option_b": "лунная база", + "option_c": "пустыня", + "option_d": "поля" + }, + "outputs": "B", + "meta": { + "id": 1340 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто с наименьшей вероятностью будет экосистемой?\nA. равнины\nB. лунная база\nC. пустыня\nD. поля\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08206938952207565, + "B": 0.6871585845947266, + "C": 0.04977760463953018, + "D": 0.11217555403709412 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пурпурные листья сливового дерева используют световую энергию, чтобы", + "option_a": "создать философию", + "option_b": "создать питание", + "option_c": "распространить правительственную пропаганду", + "option_d": "создать ядовитые пары" + }, + "outputs": "B", + "meta": { + "id": 1381 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пурпурные листья сливового дерева используют световую энергию, чтобы\nA. создать философию\nB. создать питание\nC. распространить правительственную пропаганду\nD. создать ядовитые пары\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06453923881053925, + "B": 0.03677335008978844, + "C": 0.7862488627433777, + "D": 0.06062900274991989 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Соколы лучше всего обитают в", + "option_a": "вулканах", + "option_b": "в смоляных карьерах", + "option_c": "в степях и полупустынях", + "option_d": "в океанических впадинах" + }, + "outputs": "C", + "meta": { + "id": 1022 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСоколы лучше всего обитают в\nA. вулканах\nB. в смоляных карьерах\nC. в степях и полупустынях\nD. в океанических впадинах\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5290002226829529, + "B": 0.06318006664514542, + "C": 0.08112481236457825, + "D": 0.19460831582546234 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Неправильно", + "option_a": "топать на щенка", + "option_b": "обнимать собаку", + "option_c": "любить собаку", + "option_d": "гладить собаку" + }, + "outputs": "A", + "meta": { + "id": 610 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Неправильно\nA. топать на щенка\nB. обнимать собаку\nC. любить собаку\nD. гладить собаку\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.16182269155979156, + "B": 0.092203788459301, + "C": 0.16182269155979156, + "D": 0.5305961966514587 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что произошло, если в солнечный день студент кладет стальную ручку на край стола в теневом углу комнаты?", + "option_a": "у студента обнаружились экстрасенсорные способности", + "option_b": "ручка не отражала никакого света", + "option_c": "ни один из предложенных ответов не верен", + "option_d": "свет отражался от блестящей ручки и раздражал глаза" + }, + "outputs": "D", + "meta": { + "id": 78 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что произошло, если в солнечный день студент кладет стальную ручку на край стола в теневом углу комнаты?\nA) у студента обнаружились экстрасенсорные способности\nB) ручка не отражала никакого света\nC) ни один из предложенных ответов не верен\nD) свет отражался от блестящей ручки и раздражал глаза\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 479, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0914829671382904, + "B": 0.8153788447380066, + "C": 0.019175874069333076, + "D": 0.020412610843777657 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Щенок сидит снаружи у двери, прося войти. Человек смотрит в дверь и видит, что щенок дрожит, поэтому человек может сказать, что", + "option_a": "щенок одинок", + "option_b": "температура упала", + "option_c": "щенок счастлив", + "option_d": "щенок сильный" + }, + "outputs": "B", + "meta": { + "id": 2240 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Щенок сидит снаружи у двери, прося войти. Человек смотрит в дверь и видит, что щенок дрожит, поэтому человек может сказать, что\nA) щенок одинок\nB) температура упала\nC) щенок счастлив\nD) щенок сильный\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0197910089045763, + "B": 0.8958094716072083, + "C": 0.01277803536504507, + "D": 0.015413252636790276 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Маленькие рептилии в вашем террариуме могут становиться коричневыми или зелеными в зависимости от фона, мы называем это", + "option_a": "солнцезащитный крем", + "option_b": "маскировка", + "option_c": "социальные сети", + "option_d": "охлаждающий агент" + }, + "outputs": "B", + "meta": { + "id": 1735 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМаленькие рептилии в вашем террариуме могут становиться коричневыми или зелеными в зависимости от фона, мы называем это\nA. солнцезащитный крем\nB. маскировка\nC. социальные сети\nD. охлаждающий агент\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.22589042782783508, + "B": 0.08845996111631393, + "C": 0.44923675060272217, + "D": 0.12870849668979645 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди дрожат, когда им холодно, и животные:", + "option_a": "спят", + "option_b": "трусят", + "option_c": "делают то же самое", + "option_d": "в темпе" + }, + "outputs": "C", + "meta": { + "id": 1301 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛюди дрожат, когда им холодно, и животные:\nA) спят\nB) трусят\nC) делают то же самое\nD) в темпе\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.016771608963608742, + "B": 0.9156988263130188, + "C": 0.015755468979477882, + "D": 0.01306174136698246 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди используют сушилки для рук после мытья рук, чтобы", + "option_a": "летать", + "option_b": "убрать влагу", + "option_c": "убрать огонь", + "option_d": "отправиться в космос" + }, + "outputs": "B", + "meta": { + "id": 1256 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛюди используют сушилки для рук после мытья рук, чтобы\nA) летать\nB) убрать влагу\nC) убрать огонь\nD) отправиться в космос\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12476428598165512, + "B": 0.06678149849176407, + "C": 0.5252772569656372, + "D": 0.21896812319755554 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как кислотный дождь с наибольшей вероятностью повлияет на водную среду? Произойдет", + "option_a": "ускорение роста растений", + "option_b": "увеличение популяции рыб", + "option_c": "сокращение числа живых растений", + "option_d": "очищение воды" + }, + "outputs": "C", + "meta": { + "id": 1066 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКак кислотный дождь с наибольшей вероятностью повлияет на водную среду? Произойдет\nA. ускорение роста растений\nB. увеличение популяции рыб\nC. сокращение числа живых растений\nD. очищение воды\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.1979580968618393, + "B": 0.12006765604019165, + "C": 0.4190772771835327, + "D": 0.1859644204378128 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы земля была достаточно маленькой, чтобы положить ее на тарелку и подать на обед, то существо, которое ее ест, получило бы", + "option_a": "камень", + "option_b": "полотенца", + "option_c": "тушеное мясо", + "option_d": "кукурузу" + }, + "outputs": "A", + "meta": { + "id": 179 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли бы земля была достаточно маленькой, чтобы положить ее на тарелку и подать на обед, то существо, которое ее ест, получило бы\nA) камень\nB) полотенца\nC) тушеное мясо\nD) кукурузу\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.09102009236812592, + "B": 0.026077691465616226, + "C": 0.08550545573234558, + "D": 0.7621018886566162 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди, которые будут жить после вас, оценят это, если вы возьмете свои стеклянные бутылки и", + "option_a": "бросите их", + "option_b": "расколотите их", + "option_c": "разобьете их", + "option_d": "повторно используете их" + }, + "outputs": "D", + "meta": { + "id": 353 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛюди, которые будут жить после вас, оценят это, если вы возьмете свои стеклянные бутылки и\nA) бросите их\nB) расколотите их\nC) разобьете их\nD) повторно используете их\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21459268033504486, + "B": 0.09522493183612823, + "C": 0.37662190198898315, + "D": 0.21459268033504486 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого претерпит моль?", + "option_a": "миграция", + "option_b": "улучшение", + "option_c": "стадия куколки", + "option_d": "хирургическое вмешательство" + }, + "outputs": "C", + "meta": { + "id": 385 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из этого претерпит моль?\nA. миграция\nB. улучшение\nC. стадия куколки\nD. хирургическое вмешательство\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.35977423191070557, + "B": 0.19257327914237976, + "C": 0.21821409463882446, + "D": 0.10972493141889572 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто, скорее всего, пострадает в Арктике?", + "option_a": "белый медведь", + "option_b": "пингвин", + "option_c": "лев", + "option_d": "попугай" + }, + "outputs": "C", + "meta": { + "id": 872 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто, скорее всего, пострадает в Арктике?\nA) белый медведь\nB) пингвин\nC) лев\nD) попугай\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0827072337269783, + "B": 0.6924991607666016, + "C": 0.0685667023062706, + "D": 0.0827072337269783 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что происходит с телом после того, как что-то умирает?", + "option_a": "получает новый шанс", + "option_b": "истлевает", + "option_c": "испытывает свою удачу", + "option_d": "учится магии" + }, + "outputs": "B", + "meta": { + "id": 1417 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто происходит с телом после того, как что-то умирает?\nA. получает новый шанс\nB. истлевает\nC. испытывает свою удачу\nD. учится магии\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.08640530705451965, + "B": 0.05240746960043907, + "C": 0.7234627604484558, + "D": 0.08117026835680008 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отдаленные участки тела существа могут получать питание за счет", + "option_a": "апельсинов", + "option_b": "джинсов", + "option_c": "артерий", + "option_d": "рук" + }, + "outputs": "C", + "meta": { + "id": 1604 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОтдаленные участки тела существа могут получать питание за счет\nA. апельсинов\nB. джинсов\nC. артерий\nD. рук\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.32519322633743286, + "B": 0.11238378286361694, + "C": 0.2532607614994049, + "D": 0.18528951704502106 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Определенное растение встречается", + "option_a": "в некоторых областях", + "option_b": "в космическом пространстве", + "option_c": "нигде", + "option_d": "во всех областях" + }, + "outputs": "A", + "meta": { + "id": 91 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Определенное растение встречается\nA. в некоторых областях\nB. в космическом пространстве\nC. нигде\nD. во всех областях\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8327336311340332, + "B": 0.020847080275416374, + "C": 0.015252049081027508, + "D": 0.015252049081027508 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы выжить, некоторые бабочки развили", + "option_a": "узоры крыльев, которые позволяют им сливаться с листьями", + "option_b": "цепкие пальцы, чтобы хватать ими вещи", + "option_c": "большие крылья, которые делают их более заметными", + "option_d": "громкие голоса, чтобы отпугивать хищников" + }, + "outputs": "A", + "meta": { + "id": 1252 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы выжить, некоторые бабочки развили\nA. узоры крыльев, которые позволяют им сливаться с листьями\nB. цепкие пальцы, чтобы хватать ими вещи\nC. большие крылья, которые делают их более заметными\nD. громкие голоса, чтобы отпугивать хищников\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7431896924972534, + "B": 0.028816591948270798, + "C": 0.041927896440029144, + "D": 0.041927896440029144 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отражатель используется для отражения", + "option_a": "солнечных лучей", + "option_b": "грязи", + "option_c": "космической пыли", + "option_d": "солнечного тепла" + }, + "outputs": "A", + "meta": { + "id": 701 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОтражатель используется для отражения\nA. солнечных лучей\nB. грязи\nC. космической пыли\nD. солнечного тепла\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3233658969402313, + "B": 0.087032750248909, + "C": 0.18424832820892334, + "D": 0.2680797576904297 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Умерший теленок со временем", + "option_a": "сморщится", + "option_b": "упадет", + "option_c": "начнет голодать", + "option_d": "распадется" + }, + "outputs": "D", + "meta": { + "id": 955 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУмерший теленок со временем\nA. сморщится\nB. упадет\nC. начнет голодать\nD. распадется\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06909601390361786, + "B": 0.039369724690914154, + "C": 0.7428522109985352, + "D": 0.10701800882816315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в каком-то районе засуха, что поможет преодолеть нехватку воды?", + "option_a": "еще больше засухи", + "option_b": "ничего", + "option_c": "ливень", + "option_d": "эвакуация в космос" + }, + "outputs": "C", + "meta": { + "id": 1725 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли в каком-то районе засуха, что поможет преодолеть нехватку воды?\nA) еще больше засухи\nB) ничего\nC) ливень\nD) эвакуация в космос\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.44777509570121765, + "B": 0.06450812518596649, + "C": 0.13656368851661682, + "D": 0.21151399612426758 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Углекислый газ существует там, где он есть, потому что", + "option_a": "его поглощают деревья", + "option_b": "его едят олени", + "option_c": "его используют птицы", + "option_d": "люди его выделяют" + }, + "outputs": "D", + "meta": { + "id": 1585 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУглекислый газ существует там, где он есть, потому что\nA. его поглощают деревья\nB. его едят олени\nC. его используют птицы\nD. люди его выделяют\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.22139227390289307, + "B": 0.055976733565330505, + "C": 0.4686874449253082, + "D": 0.15216052532196045 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из какого примера видно, что смять - это измененить что-то из гладкого в многократно и беспорядочно согнутое с помощью физической силы?", + "option_a": "складывание листа бумаги в форму звезды", + "option_b": "разрывание листа бумаги", + "option_c": "раздавливание гладкого жука", + "option_d": "раздавливание пустой жестяной банки в руке" + }, + "outputs": "D", + "meta": { + "id": 1010 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из какого примера видно, что смять - это измененить что-то из гладкого в многократно и беспорядочно согнутое с помощью физической силы?\nA. складывание листа бумаги в форму звезды\nB. разрывание листа бумаги\nC. раздавливание гладкого жука\nD. раздавливание пустой жестяной банки в руке\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 477, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.13053198158740997, + "B": 0.04802003502845764, + "C": 0.29415836930274963, + "D": 0.4849851727485657 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы хотите увидеть источник солнечного света, посмотрите на", + "option_a": "телевизор", + "option_b": "луну", + "option_c": "вулкан", + "option_d": "желтый карлик" + }, + "outputs": "D", + "meta": { + "id": 800 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если вы хотите увидеть источник солнечного света, посмотрите на\nA. телевизор\nB. луну\nC. вулкан\nD. желтый карлик\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.22862854599952698, + "B": 0.15713395178318024, + "C": 0.40125560760498047, + "D": 0.10799648612737656 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы естественным образом увеличить количество органических веществ в почве, добавьте", + "option_a": "грибы", + "option_b": "подсолнухи", + "option_c": "деревья", + "option_d": "полевых мышей" + }, + "outputs": "A", + "meta": { + "id": 1919 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы естественным образом увеличить количество органических веществ в почве, добавьте\nA) грибы\nB) подсолнухи\nC) деревья\nD) полевых мышей\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19217771291732788, + "B": 0.08011159300804138, + "C": 0.43307915329933167, + "D": 0.20457211136817932 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное не может видеть, ощущая свет?", + "option_a": "треска", + "option_b": "омары", + "option_c": "Южные пещерные раки", + "option_d": "лосось" + }, + "outputs": "C", + "meta": { + "id": 653 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое животное не может видеть, ощущая свет?\nA) треска\nB) омары\nC) Южные пещерные раки\nD) лосось\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13222922384738922, + "B": 0.4335629343986511, + "C": 0.23206953704357147, + "D": 0.10962188243865967 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что происходит, когда полушарие отклоняется от солнца?", + "option_a": "Ничего", + "option_b": "Оно охлаждается", + "option_c": "Оно нагревается", + "option_d": "Оно раскаляется" + }, + "outputs": "B", + "meta": { + "id": 1556 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто происходит, когда полушарие отклоняется от солнца?\nA) Ничего\nB) Оно охлаждается\nC) Оно нагревается\nD) Оно раскаляется\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.18748535215854645, + "B": 0.290382981300354, + "C": 0.07342031598091125, + "D": 0.39690646529197693 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где вы, вероятно, найдете невозобновляемый ресурс?", + "option_a": "лес", + "option_b": "плотина", + "option_c": "солнечная панель", + "option_d": "шахта" + }, + "outputs": "D", + "meta": { + "id": 482 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где вы, вероятно, найдете невозобновляемый ресурс?\nA) лес\nB) плотина\nC) солнечная панель\nD) шахта\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.12093156576156616, + "B": 0.34992706775665283, + "C": 0.2725234925746918, + "D": 0.18730247020721436 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы играть с пляжным мячом, вам нужно заполнить его", + "option_a": "льдом", + "option_b": "водой", + "option_c": "газообразным веществом", + "option_d": "маслом" + }, + "outputs": "C", + "meta": { + "id": 183 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы играть с пляжным мячом, вам нужно заполнить его\nA. льдом\nB. водой\nC. газообразным веществом\nD. маслом\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8067326545715332, + "B": 0.04016485437750816, + "C": 0.027604874223470688, + "D": 0.027604874223470688 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером потомства, получившего генетический набор от родителей, является", + "option_a": "маленький кротенок", + "option_b": "маленький мешок сахара", + "option_c": "маленькая тележка", + "option_d": "маленький пирожок" + }, + "outputs": "A", + "meta": { + "id": 0 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером потомства, получившего генетический набор от родителей, является\nA. маленький кротенок\nB. маленький мешок сахара\nC. маленькая тележка\nD. маленький пирожок\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.10858950018882751, + "B": 0.05129404738545418, + "C": 0.09002385288476944, + "D": 0.708092451095581 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Компас", + "option_a": "изобретен в 1905 году.", + "option_b": "следит за людьми", + "option_c": "очищает", + "option_d": "ориентирует" + }, + "outputs": "D", + "meta": { + "id": 225 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Компас\nA. изобретен в 1905 году.\nB. следит за людьми\nC. очищает\nD. ориентирует\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.1676350235939026, + "B": 0.06988067924976349, + "C": 0.4280710518360138, + "D": 0.24390752613544464 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Плотоядные животные пожирают всеядных, которые поедают", + "option_a": "песок", + "option_b": "камни", + "option_c": "ракообразных", + "option_d": "флору" + }, + "outputs": "D", + "meta": { + "id": 330 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Плотоядные животные пожирают всеядных, которые поедают\nA. песок\nB. камни\nC. ракообразных\nD. флору\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01704386994242668, + "B": 0.006674475036561489, + "C": 0.930563747882843, + "D": 0.008050953969359398 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где обитают арктические животные?", + "option_a": "антарктический вулкан", + "option_b": "тропические джунгли", + "option_c": "холодные места обитания в северном полушарии", + "option_d": "жаркие места сахары" + }, + "outputs": "C", + "meta": { + "id": 84 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где обитают арктические животные?\nA) антарктический вулкан\nB) тропические джунгли\nC) холодные места обитания в северном полушарии\nD) жаркие места сахары\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2271096110343933, + "B": 0.07848697900772095, + "C": 0.21334972977638245, + "D": 0.37444043159484863 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Унаследованная от моего отца генетическая характеристика:", + "option_a": "кошка", + "option_b": "здание", + "option_c": "велосипед", + "option_d": "форма носа" + }, + "outputs": "D", + "meta": { + "id": 825 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Унаследованная от моего отца генетическая характеристика:\nA. кошка\nB. здание\nC. велосипед\nD. форма носа\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.2950800061225891, + "B": 0.13938593864440918, + "C": 0.2950800061225891, + "D": 0.1681315153837204 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Высокие температуры чего могут быть вызваны воздействием тепла?", + "option_a": "Проводник", + "option_b": "Дерево", + "option_c": "Ячейка", + "option_d": "Картон" + }, + "outputs": "A", + "meta": { + "id": 1320 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВысокие температуры чего могут быть вызваны воздействием тепла?\nA) Проводник\nB) Дерево\nC) Ячейка\nD) Картон\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2386147826910019, + "B": 0.11271364986896515, + "C": 0.30638742446899414, + "D": 0.2878243625164032 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что станет средством перемещения электричества?", + "option_a": "сухое полотенце", + "option_b": "деревянный стул", + "option_c": "пластиковое кольцо", + "option_d": "металлический меч" + }, + "outputs": "D", + "meta": { + "id": 2149 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто станет средством перемещения электричества?\nA) сухое полотенце\nB) деревянный стул\nC) пластиковое кольцо\nD) металлический меч\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.827438235282898, + "B": 0.016132479533553123, + "C": 0.02659795992076397, + "D": 0.015155061148107052 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что больше всего поддержит экологически мыслящий человек?", + "option_a": "ветряные мельницы", + "option_b": "нефтедобыча", + "option_c": "гидроразрыв", + "option_d": "добыча газа" + }, + "outputs": "A", + "meta": { + "id": 616 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что больше всего поддержит экологически мыслящий человек?\nA. ветряные мельницы\nB. нефтедобыча\nC. гидроразрыв\nD. добыча газа\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2325669825077057, + "B": 0.4625146687030792, + "C": 0.09107453376054764, + "D": 0.15015652775764465 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди заблудились в густом лесу, и им нужно найти свой дом. Они знают, что их дом находится на юге, и они направляются на север. Они могут найти дом, используя", + "option_a": "лупу", + "option_b": "компас", + "option_c": "измеритель силы северного ветра", + "option_d": "открытку с Северного полюса" + }, + "outputs": "B", + "meta": { + "id": 1786 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люди заблудились в густом лесу, и им нужно найти свой дом. Они знают, что их дом находится на юге, и они направляются на север. Они могут найти дом, используя\nA. лупу\nB. компас\nC. измеритель силы северного ветра\nD. открытку с Северного полюса\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 481, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.20569808781147003, + "B": 0.1172032281756401, + "C": 0.3842945992946625, + "D": 0.18152792751789093 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Школьники часто играют на музыкальном инструменте,", + "option_a": "надевая резиновые ленты с подтяжками", + "option_b": "делая браслеты-цепочки из резинок", + "option_c": "проводя большим пальцем по резинке над картонной коробкой для напитков", + "option_d": "стреляя из рогатки одной рукой" + }, + "outputs": "C", + "meta": { + "id": 1761 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Школьники часто играют на музыкальном инструменте,\nA) надевая резиновые ленты с подтяжками\nB) делая браслеты-цепочки из резинок\nC) проводя большим пальцем по резинке над картонной коробкой для напитков\nD) стреляя из рогатки одной рукой\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 470, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.012350660748779774, + "B": 0.010899418964982033, + "C": 0.9216905236244202, + "D": 0.012350660748779774 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы положительно повлиять на окружающую среду", + "option_a": "срубите деревья и кустарники", + "option_b": "управляйте автомобилем, потребляющим газ", + "option_c": "сажайте деревья и кустарники", + "option_d": "используйте плиты и чашки из пенополистирола" + }, + "outputs": "C", + "meta": { + "id": 136 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы положительно повлиять на окружающую среду\nA) срубите деревья и кустарники\nB) управляйте автомобилем, потребляющим газ\nC) сажайте деревья и кустарники\nD) используйте плиты и чашки из пенополистирола\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6460909247398376, + "B": 0.07716456055641174, + "C": 0.07248938828706741, + "D": 0.08214123547077179 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Добавление открытого пламени в контейнер с кислотой вызывает", + "option_a": "выброс пара", + "option_b": "пустоту", + "option_c": "понижение температуры", + "option_d": "цикл бездействия" + }, + "outputs": "A", + "meta": { + "id": 1307 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДобавление открытого пламени в контейнер с кислотой вызывает\nA) выброс пара\nB) пустоту\nC) понижение температуры\nD) цикл бездействия\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.16366660594940186, + "B": 0.2872438430786133, + "C": 0.26984062790870667, + "D": 0.18545857071876526 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Собака Григория, казалось, раздобрела. Он пришел к выводу, что", + "option_a": "собака ходит во сне", + "option_b": "собака слишком увлекалась едой и закусками", + "option_c": "собака слишком много двигалась", + "option_d": "собака отказывалась есть" + }, + "outputs": "B", + "meta": { + "id": 1414 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСобака Григория, казалось, раздобрела. Он пришел к выводу, что\nA) собака ходит во сне\nB) собака слишком увлекалась едой и закусками\nC) собака слишком много двигалась\nD) собака отказывалась есть\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.0926898717880249, + "B": 0.07684261351823807, + "C": 0.26820704340934753, + "D": 0.5333934426307678 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Метаморфоз завершается в", + "option_a": "эмбрионе", + "option_b": "зрелом возрасте", + "option_c": "инкубационном яйце", + "option_d": "личинке" + }, + "outputs": "B", + "meta": { + "id": 481 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМетаморфоз завершается в\nA) эмбрионе\nB) зрелом возрасте\nC) инкубационном яйце\nD) личинке\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.376589834690094, + "B": 0.1148534044623375, + "C": 0.14747469127178192, + "D": 0.2588261663913727 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На некоторых полях обитают невероятные существа, такие как", + "option_a": "скумбрия", + "option_b": "львы", + "option_c": "волки", + "option_d": "большие кролики" + }, + "outputs": "D", + "meta": { + "id": 45 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа некоторых полях обитают невероятные существа, такие как\nA. скумбрия\nB. львы\nC. волки\nD. большие кролики\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.271853506565094, + "B": 0.1755218207836151, + "C": 0.2553827464580536, + "D": 0.1988922655582428 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вам лучше взять с собой воду, если вы собираетесь", + "option_a": "к озеру", + "option_b": "к водохранилищу", + "option_c": "на Луну", + "option_d": "к пруду" + }, + "outputs": "C", + "meta": { + "id": 42 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВам лучше взять с собой воду, если вы собираетесь\nA) к озеру\nB) к водохранилищу\nC) на Луну\nD) к пруду\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.054762717336416245, + "B": 0.8047322630882263, + "C": 0.031202856451272964, + "D": 0.040065258741378784 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Без фотосинтеза животным, которые полагаются на растения, не повезло бы с этим делом. Про что речь?", + "option_a": "продажа еды", + "option_b": "пропитание", + "option_c": "поцелуи", + "option_d": "ничего" + }, + "outputs": "B", + "meta": { + "id": 1024 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Без фотосинтеза животным, которые полагаются на растения, не повезло бы с этим делом. Про что речь?\nA. продажа еды\nB. пропитание\nC. поцелуи\nD. ничего\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1071082353591919, + "B": 0.616365373134613, + "C": 0.11401613801717758, + "D": 0.08879586309194565 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Таяние ледников", + "option_a": "- это эффект от слишком большого количества белых медведей", + "option_b": "- это эффект от обилия CO2 в окружающей среде", + "option_c": "- это следствие вырубки лесов", + "option_d": "- это эффект насыщения воздуха кислородом" + }, + "outputs": "B", + "meta": { + "id": 390 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТаяние ледников\nA) - это эффект от слишком большого количества белых медведей\nB) - это эффект от обилия CO2 в окружающей среде\nC) - это следствие вырубки лесов\nD) - это эффект насыщения воздуха кислородом\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.4868237376213074, + "B": 0.04820207878947258, + "C": 0.20293833315372467, + "D": 0.04820207878947258 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Заболевания предотвращаются за счет уменьшения содержания в пище", + "option_a": "клетчатки", + "option_b": "белков", + "option_c": "опасных организмов", + "option_d": "жиров" + }, + "outputs": "C", + "meta": { + "id": 1653 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗаболевания предотвращаются за счет уменьшения содержания в пище\nA. клетчатки\nB. белков\nC. опасных организмов\nD. жиров\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.34272322058677673, + "B": 0.04093245044350624, + "C": 0.44006532430648804, + "D": 0.03845247998833656 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Серфингисты любят именно такие волны", + "option_a": "высокие", + "option_b": "грязевые", + "option_c": "низкие", + "option_d": "землистые" + }, + "outputs": "A", + "meta": { + "id": 2057 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Серфингисты любят именно такие волны\nA. высокие\nB. грязевые\nC. низкие\nD. землистые\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1588003933429718, + "B": 0.29667818546295166, + "C": 0.24595485627651215, + "D": 0.20390373468399048 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чертополох на участке становится больше, когда увеличивается:", + "option_a": "количество дрожжей", + "option_b": "влажность", + "option_c": "количество муки", + "option_d": "производство молока" + }, + "outputs": "B", + "meta": { + "id": 1838 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧертополох на участке становится больше, когда увеличивается:\nA. количество дрожжей\nB. влажность\nC. количество муки\nD. производство молока\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.16000090539455414, + "B": 0.6328158378601074, + "C": 0.06669829785823822, + "D": 0.05886103957891464 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сжигание природного газа может", + "option_a": "создать уют холодной ночью", + "option_b": "сохранить ценные ресурсы планеты", + "option_c": "помочь охладить планету", + "option_d": "сохранить машину, работающую на морозе" + }, + "outputs": "A", + "meta": { + "id": 1296 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сжигание природного газа может\nA. создать уют холодной ночью\nB. сохранить ценные ресурсы планеты\nC. помочь охладить планету\nD. сохранить машину, работающую на морозе\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.14257921278476715, + "B": 0.11104080080986023, + "C": 0.3213072419166565, + "D": 0.3640888035297394 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Малиновки часто пожирают", + "option_a": "камни", + "option_b": "дерево", + "option_c": "клей", + "option_d": "кузнечиков" + }, + "outputs": "D", + "meta": { + "id": 1949 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Малиновки часто пожирают\nA) камни\nB) дерево\nC) клей\nD) кузнечиков\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2017405480146408, + "B": 0.15711571276187897, + "C": 0.3326139450073242, + "D": 0.22860200703144073 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Переключатели могут использоваться для прекращения подачи электрической энергии, например, когда", + "option_a": "холодильник работает громко", + "option_b": "нажата кнопка и вентилятор перестает вращаться", + "option_c": "морозильная камера выключается при отключении электроэнергии", + "option_d": "свет оставили включенным" + }, + "outputs": "B", + "meta": { + "id": 343 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Переключатели могут использоваться для прекращения подачи электрической энергии, например, когда\nA. холодильник работает громко\nB. нажата кнопка и вентилятор перестает вращаться\nC. морозильная камера выключается при отключении электроэнергии\nD. свет оставили включенным\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 471, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.02664402686059475, + "B": 0.025029748678207397, + "C": 0.04126707836985588, + "D": 0.882328987121582 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Телескоп использует то, что пропускает свет. Что именно?", + "option_a": "деньги", + "option_b": "людей", + "option_c": "лазеры", + "option_d": "прозрачное стекло" + }, + "outputs": "D", + "meta": { + "id": 2303 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТелескоп использует то, что пропускает свет. Что именно?\nA. деньги\nB. людей\nC. лазеры\nD. прозрачное стекло\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.41483062505722046, + "B": 0.20858994126319885, + "C": 0.07208675146102905, + "D": 0.19595211744308472 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В нескольких милях выше экватора люди разных вероисповеданий отмечают праздники в", + "option_a": "больше месяцев", + "option_b": "восточные месяцы", + "option_c": "холодные месяцы", + "option_d": "теплые месяцы" + }, + "outputs": "C", + "meta": { + "id": 2230 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В нескольких милях выше экватора люди разных вероисповеданий отмечают праздники в\nA. больше месяцев\nB. восточные месяцы\nC. холодные месяцы\nD. теплые месяцы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.270884245634079, + "B": 0.07760964334011078, + "C": 0.47541671991348267, + "D": 0.0936150923371315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из объектов притянет магнит в карман студента?", + "option_a": "кусок бумаги с надписью «магнит»", + "option_b": "кусок резинки", + "option_c": "старый штифт степлера", + "option_d": "кусок курицы" + }, + "outputs": "C", + "meta": { + "id": 927 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой из объектов притянет магнит в карман студента?\nA) кусок бумаги с надписью «магнит»\nB) кусок резинки\nC) старый штифт степлера\nD) кусок курицы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.23702538013458252, + "B": 0.09880688041448593, + "C": 0.36711207032203674, + "D": 0.2226647287607193 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто будет иметь возможность для переноса воды, впитанной из грязи, к остальным частям своего тела?", + "option_a": "коровы, которых едят люди", + "option_b": "розы, которые ест панда", + "option_c": "сверчки, которые едят совы", + "option_d": "курица, которую едят кошки" + }, + "outputs": "B", + "meta": { + "id": 1903 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто будет иметь возможность для переноса воды, впитанной из грязи, к остальным частям своего тела?\nA) коровы, которых едят люди\nB) розы, которые ест панда\nC) сверчки, которые едят совы\nD) курица, которую едят кошки\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.042105454951524734, + "B": 0.8457106947898865, + "C": 0.02718532830476761, + "D": 0.03715793788433075 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди переходят на электромобили, потому что автомобили, работающие на бензине,", + "option_a": "шумят", + "option_b": "загрязняют воздух", + "option_c": "ничто", + "option_d": "не очищают воздух" + }, + "outputs": "B", + "meta": { + "id": 830 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люди переходят на электромобили, потому что автомобили, работающие на бензине,\nA. шумят\nB. загрязняют воздух\nC. ничто\nD. не очищают воздух\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3109440803527832, + "B": 0.18859712779521942, + "C": 0.18859712779521942, + "D": 0.2007606029510498 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что больше всего повлияет на барометр?", + "option_a": "ураганный ветер", + "option_b": "гром", + "option_c": "легкий ветерок", + "option_d": "молния" + }, + "outputs": "A", + "meta": { + "id": 803 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто больше всего повлияет на барометр?\nA. ураганный ветер\nB. гром\nC. легкий ветерок\nD. молния\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.24547870457172394, + "B": 0.1398695409297943, + "C": 0.3355295956134796, + "D": 0.17959606647491455 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы, вероятно, найдете наименьшее количество животных", + "option_a": "в Арктике", + "option_b": "в тропических лесах Амазонки", + "option_c": "в африканской саванне", + "option_d": "в Тихом океане" + }, + "outputs": "A", + "meta": { + "id": 1174 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВы, вероятно, найдете наименьшее количество животных\nA. в Арктике\nB. в тропических лесах Амазонки\nC. в африканской саванне\nD. в Тихом океане\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.20839476585388184, + "B": 0.08687186241149902, + "C": 0.4696248471736908, + "D": 0.13454976677894592 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Болезнь может", + "option_a": "укрепить организм", + "option_b": "устранить организм", + "option_c": "испытать организм", + "option_d": "съесть организм" + }, + "outputs": "B", + "meta": { + "id": 485 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Болезнь может\nA) укрепить организм\nB) устранить организм\nC) испытать организм\nD) съесть организм\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.170750230550766, + "B": 0.12492353469133377, + "C": 0.49408215284347534, + "D": 0.12492353469133377 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После выхода из спортзала, какова была частота пульса у мужчины?", + "option_a": "в пределах нормы", + "option_b": "ниже нормы", + "option_c": "выше нормы", + "option_d": "колебалась" + }, + "outputs": "C", + "meta": { + "id": 884 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПосле выхода из спортзала, какова была частота пульса у мужчины?\nA) в пределах нормы\nB) ниже нормы\nC) выше нормы\nD) колебалась\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3359382152557373, + "B": 0.20375682413578033, + "C": 0.10906316339969635, + "D": 0.24577763676643372 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гвоздь может прилипнуть к металлу после того, как он получит", + "option_a": "воду", + "option_b": "электричество", + "option_c": "свет", + "option_d": "незначительное тепло" + }, + "outputs": "B", + "meta": { + "id": 622 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГвоздь может прилипнуть к металлу после того, как он получит\nA. воду\nB. электричество\nC. свет\nD. незначительное тепло\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2174426168203354, + "B": 0.26228585839271545, + "C": 0.18026626110076904, + "D": 0.23146644234657288 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков был бы пример силы, действующей на объект в направлении, противоположном движению объекта, что привело бы к уменьшению скорости этого объекта?", + "option_a": "семь пчел летят на север, а машина едет на запад", + "option_b": "машина едет на север при сильном южном ветре", + "option_c": "машина едет на восток, но солнце встает на востоке", + "option_d": "машина едет на запад, а человек толкает ее на юг" + }, + "outputs": "B", + "meta": { + "id": 1345 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКаков был бы пример силы, действующей на объект в направлении, противоположном движению объекта, что привело бы к уменьшению скорости этого объекта?\nA. семь пчел летят на север, а машина едет на запад\nB. машина едет на север при сильном южном ветре\nC. машина едет на восток, но солнце встает на востоке\nD. машина едет на запад, а человек толкает ее на юг\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 481, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0936785414814949, + "B": 0.03041296824812889, + "C": 0.05681890994310379, + "D": 0.7843608260154724 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является источником невозобновляемого ресурса?", + "option_a": "дождь", + "option_b": "ветер", + "option_c": "солнце", + "option_d": "залежи нефти" + }, + "outputs": "D", + "meta": { + "id": 2071 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что является источником невозобновляемого ресурса?\nA. дождь\nB. ветер\nC. солнце\nD. залежи нефти\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01782832108438015, + "B": 0.01015827152878046, + "C": 0.9144183397293091, + "D": 0.025940053164958954 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Точка плавления означает температуру, при которой что твердое вещество делает?", + "option_a": "летает", + "option_b": "плавает", + "option_c": "тает", + "option_d": "тонет" + }, + "outputs": "C", + "meta": { + "id": 1259 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Точка плавления означает температуру, при которой что твердое вещество делает?\nA) летает\nB) плавает\nC) тает\nD) тонет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.27532780170440674, + "B": 0.1568770557641983, + "C": 0.29308491945266724, + "D": 0.13005565106868744 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто может жить в зоопарке?", + "option_a": "палочник", + "option_b": "белые мухи", + "option_c": "сузафон", + "option_d": "Пикассо" + }, + "outputs": "A", + "meta": { + "id": 2141 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто может жить в зоопарке?\nA. палочник\nB. белые мухи\nC. сузафон\nD. Пикассо\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.2943938374519348, + "B": 0.19007495045661926, + "C": 0.16774053871631622, + "D": 0.22927415370941162 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что вращается вокруг своей оси?", + "option_a": "океаны", + "option_b": "шар голубой", + "option_c": "ветры", + "option_d": "люди" + }, + "outputs": "B", + "meta": { + "id": 644 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто вращается вокруг своей оси?\nA. океаны\nB. шар голубой\nC. ветры\nD. люди\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4293974041938782, + "B": 0.2772397994995117, + "C": 0.09581151604652405, + "D": 0.06186056509613991 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как соотносятся частота вибрации материи и высота испускаемого звука?", + "option_a": "оба значения имеют прямую пропорциональность", + "option_b": "оба значения обратно пропорциональны", + "option_c": "оба значения не связаны", + "option_d": "ни одно из этих значений не существует" + }, + "outputs": "A", + "meta": { + "id": 1669 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКак соотносятся частота вибрации материи и высота испускаемого звука?\nA. оба значения имеют прямую пропорциональность\nB. оба значения обратно пропорциональны\nC. оба значения не связаны\nD. ни одно из этих значений не существует\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01844523474574089, + "B": 0.8887411952018738, + "C": 0.019634850323200226, + "D": 0.019634850323200226 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Местные сорта растений лучше всего подходят для улучшения местного", + "option_a": "социального статуса", + "option_b": "состояния окружающей среды", + "option_c": "спутникового приема", + "option_d": "будущего" + }, + "outputs": "B", + "meta": { + "id": 656 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Местные сорта растений лучше всего подходят для улучшения местного\nA) социального статуса\nB) состояния окружающей среды\nC) спутникового приема\nD) будущего\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05006431043148041, + "B": 0.028525782749056816, + "C": 0.8336455821990967, + "D": 0.03899012506008148 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплопроводник состоит из", + "option_a": "пяти типов резины", + "option_b": "трех типов проволоки", + "option_c": "веществ, которые проводят тепло", + "option_d": "электродов" + }, + "outputs": "C", + "meta": { + "id": 1765 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТеплопроводник состоит из\nA) пяти типов резины\nB) трех типов проволоки\nC) веществ, которые проводят тепло\nD) электродов\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2740853428840637, + "B": 0.2917623221874237, + "C": 0.16624115407466888, + "D": 0.14670731127262115 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая единица измерения в России будет наиболее сопоставима с метрической системой мер?", + "option_a": "Аршин", + "option_b": "Литр", + "option_c": "Ведро", + "option_d": "Рубль" + }, + "outputs": "B", + "meta": { + "id": 1881 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какая единица измерения в России будет наиболее сопоставима с метрической системой мер?\nA) Аршин\nB) Литр\nC) Ведро\nD) Рубль\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1853640377521515, + "B": 0.049890048801898956, + "C": 0.5363686084747314, + "D": 0.14436164498329163 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Последней стадией круговорота воды является сток воды в реки, моря, океаны, за которым следует испарение, когда вода превращается в пар. Что произойдет дальше?", + "option_a": "круговорот воды нарушается", + "option_b": "круговорот воды останавливается", + "option_c": "круговорот воды повторяется", + "option_d": "круговорот воды становится круговоротом огня" + }, + "outputs": "C", + "meta": { + "id": 1202 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Последней стадией круговорота воды является сток воды в реки, моря, океаны, за которым следует испарение, когда вода превращается в пар. Что произойдет дальше?\nA) круговорот воды нарушается\nB) круговорот воды останавливается\nC) круговорот воды повторяется\nD) круговорот воды становится круговоротом огня\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 480, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4874905049800873, + "B": 0.12325690686702728, + "C": 0.12325690686702728, + "D": 0.12325690686702728 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человека охлаждает жидкость, идущая из", + "option_a": "кожи", + "option_b": "глаз", + "option_c": "волос", + "option_d": "одежды" + }, + "outputs": "A", + "meta": { + "id": 1491 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловека охлаждает жидкость, идущая из\nA. кожи\nB. глаз\nC. волос\nD. одежды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.18354666233062744, + "B": 0.1113266795873642, + "C": 0.38856828212738037, + "D": 0.22139953076839447 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из перечисленного может быть причиной того, что животные массово покидают среду обитания?", + "option_a": "Хищники", + "option_b": "Температура", + "option_c": "Ураган", + "option_d": "Болезнь" + }, + "outputs": "C", + "meta": { + "id": 728 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из перечисленного может быть причиной того, что животные массово покидают среду обитания?\nA) Хищники\nB) Температура\nC) Ураган\nD) Болезнь\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.25155794620513916, + "B": 0.11882755160331726, + "C": 0.3034367859363556, + "D": 0.17289306223392487 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что могло бы вызвать травму у ребенка?", + "option_a": "ванна", + "option_b": "соска", + "option_c": "бутылка", + "option_d": "оса" + }, + "outputs": "D", + "meta": { + "id": 2272 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто могло бы вызвать травму у ребенка?\nA. ванна\nB. соска\nC. бутылка\nD. оса\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.23089919984340668, + "B": 0.23089919984340668, + "C": 0.27851760387420654, + "D": 0.10906905680894852 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мокрый снег состоит из воды, которая", + "option_a": "стала паром", + "option_b": "охлаждена", + "option_c": "находится в жидком состоянии", + "option_d": "горяча" + }, + "outputs": "B", + "meta": { + "id": 1655 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМокрый снег состоит из воды, которая\nA. стала паром\nB. охлаждена\nC. находится в жидком состоянии\nD. горяча\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.21744267642498016, + "B": 0.16934452950954437, + "C": 0.24639484286308289, + "D": 0.29720890522003174 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Через что летит самолет?", + "option_a": "время", + "option_b": "равнины", + "option_c": "океаны", + "option_d": "слои газа" + }, + "outputs": "D", + "meta": { + "id": 607 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧерез что летит самолет?\nA. время\nB. равнины\nC. океаны\nD. слои газа\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.14343789219856262, + "B": 0.3662814795970917, + "C": 0.2679772675037384, + "D": 0.11891418695449829 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Самый длинный световой день - через два месяца после", + "option_a": "октября", + "option_b": "апреля", + "option_c": "января", + "option_d": "июля" + }, + "outputs": "B", + "meta": { + "id": 193 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Самый длинный световой день - через два месяца после\nA. октября\nB. апреля\nC. января\nD. июля\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.20067338645458221, + "B": 0.09479139745235443, + "C": 0.2273927479982376, + "D": 0.4248255491256714 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если двуногий, использующий инструменты, находится в идеальной среде обитания, внутри среды будут", + "option_a": "акулы", + "option_b": "ледники", + "option_c": "выбоины", + "option_d": "комнаты" + }, + "outputs": "D", + "meta": { + "id": 1326 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если двуногий, использующий инструменты, находится в идеальной среде обитания, внутри среды будут\nA) акулы\nB) ледники\nC) выбоины\nD) комнаты\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.19070467352867126, + "B": 0.12312819808721542, + "C": 0.4297596216201782, + "D": 0.14852096140384674 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Точка замерзания относится к:", + "option_a": "температуре, ниже которой газ превращается в жидкость", + "option_b": "температуре, ниже которой жидкость перестает быть жидкостью", + "option_c": "температуре, ниже которой твердое вещество превращается в жидкость", + "option_d": "температуре, выше которой жидкость перестает быть жидкостью" + }, + "outputs": "B", + "meta": { + "id": 1097 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТочка замерзания относится к:\nA) температуре, ниже которой газ превращается в жидкость\nB) температуре, ниже которой жидкость перестает быть жидкостью\nC) температуре, ниже которой твердое вещество превращается в жидкость\nD) температуре, выше которой жидкость перестает быть жидкостью\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.05894303694367409, + "B": 0.4935239851474762, + "C": 0.24815945327281952, + "D": 0.14139699935913086 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько рецепторов запаха у медоносных пчел?", + "option_a": "4", + "option_b": "270", + "option_c": "170", + "option_d": "70" + }, + "outputs": "C", + "meta": { + "id": 630 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сколько рецепторов запаха у медоносных пчел?\nA) 4\nB) 270\nC) 170\nD) 70\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1063675582408905, + "B": 0.02526450715959072, + "C": 0.08818180114030838, + "D": 0.7383371591567993 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек хочет добавить укроп в свой бургер на ужин, причем только что", + "option_a": "с лесопилки", + "option_b": "от коровы", + "option_c": "из школы", + "option_d": "с грядки" + }, + "outputs": "D", + "meta": { + "id": 2027 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек хочет добавить укроп в свой бургер на ужин, причем только что\nA. с лесопилки\nB. от коровы\nC. из школы\nD. с грядки\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.20232394337654114, + "B": 0.2153727114200592, + "C": 0.2943795919418335, + "D": 0.15757004916667938 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какое время года у вас больше всего времени, чтобы нарисовать природу на улице?", + "option_a": "Весна", + "option_b": "Осень", + "option_c": "Лето", + "option_d": "Зима" + }, + "outputs": "C", + "meta": { + "id": 477 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В какое время года у вас больше всего времени, чтобы нарисовать природу на улице?\nA. Весна\nB. Осень\nC. Лето\nD. Зима\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4557351768016815, + "B": 0.095527283847332, + "C": 0.16765561699867249, + "D": 0.13057032227516174 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После долгой зимней спячки медведица и два ее детеныша выходят из пещеры и начинают искать пищу. Первое место, которое они проверяют, это", + "option_a": "ягодные кусты", + "option_b": "куча грязи", + "option_c": "сухие палки", + "option_d": "мертвые листья" + }, + "outputs": "A", + "meta": { + "id": 1011 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: После долгой зимней спячки медведица и два ее детеныша выходят из пещеры и начинают искать пищу. Первое место, которое они проверяют, это\nA) ягодные кусты\nB) куча грязи\nC) сухие палки\nD) мертвые листья\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.04071107134222984, + "B": 0.03592739626765251, + "C": 0.8177037835121155, + "D": 0.06305454671382904 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнечный свет выделяет тепло, которое заставляет", + "option_a": "собак лаять", + "option_b": "камни формироваться", + "option_c": "тела нагреваться", + "option_d": "пластик формироваться" + }, + "outputs": "C", + "meta": { + "id": 1624 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСолнечный свет выделяет тепло, которое заставляет\nA) собак лаять\nB) камни формироваться\nC) тела нагреваться\nD) пластик формироваться\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.25285467505455017, + "B": 0.10540550947189331, + "C": 0.3916289806365967, + "D": 0.1632552444934845 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы уничтожить неудобное доказательство, вы можете", + "option_a": "разместить его на чучеле кита", + "option_b": "опубликовать его в социальной сети", + "option_c": "выбросить его в мусорное ведро", + "option_d": "бросить его в лаву" + }, + "outputs": "D", + "meta": { + "id": 289 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы уничтожить неудобное доказательство, вы можете\nA) разместить его на чучеле кита\nB) опубликовать его в социальной сети\nC) выбросить его в мусорное ведро\nD) бросить его в лаву\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.18420912325382233, + "B": 0.25178399682044983, + "C": 0.26802268624305725, + "D": 0.20873627066612244 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Через много-много лет накопление тепла и давления может превратить останки динозавра во что-то, что может", + "option_a": "привести в движение мотоциклы", + "option_b": "растопить луну", + "option_c": "вырастить кукурузу", + "option_d": "быть полезной приправой к маслу" + }, + "outputs": "A", + "meta": { + "id": 23 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧерез много-много лет накопление тепла и давления может превратить останки динозавра во что-то, что может\nA) привести в движение мотоциклы\nB) растопить луну\nC) вырастить кукурузу\nD) быть полезной приправой к маслу\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.20299455523490906, + "B": 0.27746066451072693, + "C": 0.23002296686172485, + "D": 0.20299455523490906 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если взять куриную ножку из морозильной камеры и положить ее на кухонный стол, она", + "option_a": "умрет", + "option_b": "разморозится", + "option_c": "замерзнет", + "option_d": "вызовет коррозию" + }, + "outputs": "B", + "meta": { + "id": 1422 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли взять куриную ножку из морозильной камеры и положить ее на кухонный стол, она\nA) умрет\nB) разморозится\nC) замерзнет\nD) вызовет коррозию\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09275579452514648, + "B": 0.09275579452514648, + "C": 0.6048437356948853, + "D": 0.14366298913955688 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Я использую резец, отсекая лишнее, чтобы сделать скульптуру из", + "option_a": "стакана воды", + "option_b": "ведра с песком", + "option_c": "каменной глыбы", + "option_d": "мешка с воздухом" + }, + "outputs": "C", + "meta": { + "id": 422 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЯ использую резец, отсекая лишнее, чтобы сделать скульптуру из\nA. стакана воды\nB. ведра с песком\nC. каменной глыбы\nD. мешка с воздухом\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06571634113788605, + "B": 0.7065172791481018, + "C": 0.05799446627497673, + "D": 0.07926903665065765 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где также существуют питательные вещества в почве?", + "option_a": "в воздухе", + "option_b": "в пищевых отходах организмов", + "option_c": "в сарае", + "option_d": "в воде" + }, + "outputs": "B", + "meta": { + "id": 1953 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде также существуют питательные вещества в почве?\nA. в воздухе\nB. в пищевых отходах организмов\nC. в сарае\nD. в воде\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.2994231581687927, + "B": 0.09720846265554428, + "C": 0.24823051691055298, + "D": 0.24823051691055298 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кого из них было бы труднее всего заметить в лесу?", + "option_a": "взрослый бронтозавр", + "option_b": "белый медведь", + "option_c": "воробьиный сыч", + "option_d": "большой самолет" + }, + "outputs": "C", + "meta": { + "id": 874 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКого из них было бы труднее всего заметить в лесу?\nA. взрослый бронтозавр\nB. белый медведь\nC. воробьиный сыч\nD. большой самолет\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.24504373967647552, + "B": 0.17927783727645874, + "C": 0.26084768772125244, + "D": 0.16841593384742737 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы видите, что вокруг ходит мохнатое существо. Какой набор черт вероятнее всего описал бы это животное?", + "option_a": "рогатый, теплокровный, голодный, живой", + "option_b": "холодный, хладнокровный, голодный, живой", + "option_c": "мертвый, хладнокровный и чешуйчатый", + "option_d": "теплый, теплокровный, а также мертвый" + }, + "outputs": "A", + "meta": { + "id": 700 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВы видите, что вокруг ходит мохнатое существо. Какой набор черт вероятнее всего описал бы это животное?\nA) рогатый, теплокровный, голодный, живой\nB) холодный, хладнокровный, голодный, живой\nC) мертвый, хладнокровный и чешуйчатый\nD) теплый, теплокровный, а также мертвый\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 473, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01885892264544964, + "B": 0.01217623706907034, + "C": 0.9086738228797913, + "D": 0.025777094066143036 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые фермеры зарабатывают очень хорошо, потому что выращиваемые ими культуры продаются большому количеству людей для", + "option_a": "скармливания Марсу", + "option_b": "гравитации", + "option_c": "пропитания", + "option_d": "металла" + }, + "outputs": "C", + "meta": { + "id": 1582 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые фермеры зарабатывают очень хорошо, потому что выращиваемые ими культуры продаются большому количеству людей для\nA) скармливания Марсу\nB) гравитации\nC) пропитания\nD) металла\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.2603101432323456, + "B": 0.22972288727760315, + "C": 0.21580468118190765, + "D": 0.19044695794582367 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как мы можем увидеть, что преломление солнечного света заставляет свет расщепляться на разные цвета?", + "option_a": "установить алмаз на пути луча света в ясный день", + "option_b": "позволить солнечному свету попасть в разбитое зеркало", + "option_c": "направить свет в зеркало", + "option_d": "направить фонарик на разбитое стекло на полу" + }, + "outputs": "A", + "meta": { + "id": 578 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКак мы можем увидеть, что преломление солнечного света заставляет свет расщепляться на разные цвета?\nA. установить алмаз на пути луча света в ясный день\nB. позволить солнечному свету попасть в разбитое зеркало\nC. направить свет в зеркало\nD. направить фонарик на разбитое стекло на полу\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 467, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.32434937357902527, + "B": 0.17361173033714294, + "C": 0.26889508962631226, + "D": 0.13520893454551697 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Видом, которая является производителем в пищевой цепи, скорее всего, будет", + "option_a": "кальмар", + "option_b": "ястреб", + "option_c": "мышь", + "option_d": "клевер" + }, + "outputs": "D", + "meta": { + "id": 416 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Видом, которая является производителем в пищевой цепи, скорее всего, будет\nA. кальмар\nB. ястреб\nC. мышь\nD. клевер\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1415616124868393, + "B": 0.06281758844852448, + "C": 0.464162677526474, + "D": 0.24844838678836823 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые куколки могут", + "option_a": "использовать влажные полотенца", + "option_b": "наслаждаться живописью", + "option_c": "уйти в песок", + "option_d": "есть конфеты" + }, + "outputs": "C", + "meta": { + "id": 2219 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые куколки могут\nA) использовать влажные полотенца\nB) наслаждаться живописью\nC) уйти в песок\nD) есть конфеты\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.08692154288291931, + "B": 0.44142404198646545, + "C": 0.043706901371479034, + "D": 0.38955533504486084 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда капли замерзают, падая с высоты, они становятся", + "option_a": "ураганом", + "option_b": "моросью", + "option_c": "торнадо", + "option_d": "мокрым снегом" + }, + "outputs": "D", + "meta": { + "id": 939 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда капли замерзают, падая с высоты, они становятся\nA) ураганом\nB) моросью\nC) торнадо\nD) мокрым снегом\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1346854418516159, + "B": 0.6036182045936584, + "C": 0.09256785362958908, + "D": 0.11165814846754074 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что с большей вероятностью вызвало загрязнение воздуха?", + "option_a": "оно возникло само по себе", + "option_b": "действие бизнеса", + "option_c": "ураган", + "option_d": "стая птиц" + }, + "outputs": "B", + "meta": { + "id": 2250 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто с большей вероятностью вызвало загрязнение воздуха?\nA. оно возникло само по себе\nB. действие бизнеса\nC. ураган\nD. стая птиц\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2623732089996338, + "B": 0.07517117261886597, + "C": 0.43258029222488403, + "D": 0.15913741290569305 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это существо ест сыр и не может откладывать яйца", + "option_a": "мышь", + "option_b": "кролик", + "option_c": "краб", + "option_d": "рыба" + }, + "outputs": "A", + "meta": { + "id": 1487 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Это существо ест сыр и не может откладывать яйца\nA) мышь\nB) кролик\nC) краб\nD) рыба\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11550595611333847, + "B": 0.06581331044435501, + "C": 0.6244192719459534, + "D": 0.13088539242744446 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, избегающий ультрафиолетовых лучей, будет", + "option_a": "собирать ракушки на пляже", + "option_b": "загорать во дворе", + "option_c": "закрывать жалюзи в спальне", + "option_d": "копать траншею на открытом воздухе" + }, + "outputs": "C", + "meta": { + "id": 749 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловек, избегающий ультрафиолетовых лучей, будет\nA) собирать ракушки на пляже\nB) загорать во дворе\nC) закрывать жалюзи в спальне\nD) копать траншею на открытом воздухе\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.42899176478385925, + "B": 0.16799558699131012, + "C": 0.09572100639343262, + "D": 0.2296227514743805 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Продукт чего может перемещаться в вакууме?", + "option_a": "Сириус", + "option_b": "нефтяная скважина", + "option_c": "вулкан", + "option_d": "айсберг" + }, + "outputs": "A", + "meta": { + "id": 1117 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПродукт чего может перемещаться в вакууме?\nA) Сириус\nB) нефтяная скважина\nC) вулкан\nD) айсберг\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.21952764689922333, + "B": 0.21952764689922333, + "C": 0.2336859554052353, + "D": 0.15087899565696716 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растение производит меньше фотосинтеза в", + "option_a": "сентябре", + "option_b": "декабре", + "option_c": "марте", + "option_d": "июне" + }, + "outputs": "B", + "meta": { + "id": 2166 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Растение производит меньше фотосинтеза в\nA) сентябре\nB) декабре\nC) марте\nD) июне\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.5429710745811462, + "B": 0.11381292343139648, + "C": 0.12115322798490524, + "D": 0.07822240889072418 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Притяжение может быть магнитным, если", + "option_a": "два металла помещены вместе", + "option_b": "два металла обладают магнитными свойствами", + "option_c": "никель находится в металлическом стержне", + "option_d": "железо и никель находятся в чаше" + }, + "outputs": "B", + "meta": { + "id": 1778 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПритяжение может быть магнитным, если\nA) два металла помещены вместе\nB) два металла обладают магнитными свойствами\nC) никель находится в металлическом стержне\nD) железо и никель находятся в чаше\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8270711302757263, + "B": 0.019450848922133446, + "C": 0.01716531440615654, + "D": 0.020705321803689003 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Палеонтологи изучают", + "option_a": "фекалии древних животных", + "option_b": "современную траву", + "option_c": "звезды", + "option_d": "кошек" + }, + "outputs": "A", + "meta": { + "id": 2121 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПалеонтологи изучают\nA. фекалии древних животных\nB. современную траву\nC. звезды\nD. кошек\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.22090086340904236, + "B": 0.11823972314596176, + "C": 0.32140886783599854, + "D": 0.26645731925964355 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сильное атмосферное движение желательно, если у вас", + "option_a": "бумажные тарелки", + "option_b": "идеальные волосы", + "option_c": "матч по бадминтону", + "option_d": "ветряк" + }, + "outputs": "D", + "meta": { + "id": 996 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСильное атмосферное движение желательно, если у вас\nA) бумажные тарелки\nB) идеальные волосы\nC) матч по бадминтону\nD) ветряк\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.1608421355485916, + "B": 0.2491171658039093, + "C": 0.26518383622169495, + "D": 0.26518383622169495 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы вы пропустили зиму, сколько сезонов вам пришлось бы ждать, чтобы увидеть ее снова", + "option_a": "4", + "option_b": "36", + "option_c": "12", + "option_d": "1" + }, + "outputs": "A", + "meta": { + "id": 1412 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли бы вы пропустили зиму, сколько сезонов вам пришлось бы ждать, чтобы увидеть ее снова\nA) 4\nB) 36\nC) 12\nD) 1\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2094385325908661, + "B": 0.4433813691139221, + "C": 0.11210436373949051, + "D": 0.1439448595046997 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из этих животных являются живородящими?", + "option_a": "птицееды", + "option_b": "дикие кошки", + "option_c": "грифы", + "option_d": "анаконды" + }, + "outputs": "B", + "meta": { + "id": 1703 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие из этих животных являются живородящими?\nA) птицееды\nB) дикие кошки\nC) грифы\nD) анаконды\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.05634253844618797, + "B": 0.030157987028360367, + "C": 0.8279475569725037, + "D": 0.03637747839093208 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если новый автомобиль человека можно зарядить на зарядной станции, как это называется?", + "option_a": "все эти варианты верны", + "option_b": "аккумуляторные батареи", + "option_c": "электромобиль", + "option_d": "альтернативное топливо" + }, + "outputs": "A", + "meta": { + "id": 268 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли новый автомобиль человека можно зарядить на зарядной станции, как это называется?\nA) все эти варианты верны\nB) аккумуляторные батареи\nC) электромобиль\nD) альтернативное топливо\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.149006187915802, + "B": 0.06211501732468605, + "C": 0.17973576486110687, + "D": 0.5536251664161682 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобильный двигатель обычно преобразует бензин в движение и тепло через что?", + "option_a": "воздух", + "option_b": "острый перец", + "option_c": "воду", + "option_d": "сгорание" + }, + "outputs": "D", + "meta": { + "id": 1680 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Автомобильный двигатель обычно преобразует бензин в движение и тепло через что?\nA) воздух\nB) острый перец\nC) воду\nD) сгорание\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3056538701057434, + "B": 0.13563308119773865, + "C": 0.2697385847568512, + "D": 0.21007263660430908 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Существо определенного возраста устраивает кладку, значит, это, вероятно,", + "option_a": "олень", + "option_b": "заяц", + "option_c": "медведь", + "option_d": "сокол" + }, + "outputs": "D", + "meta": { + "id": 1878 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСущество определенного возраста устраивает кладку, значит, это, вероятно,\nA) олень\nB) заяц\nC) медведь\nD) сокол\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3727244436740875, + "B": 0.1288101226091385, + "C": 0.1371176689863205, + "D": 0.272691011428833 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животное, живущее в среде, в которой отсутствуют пищевые ресурсы", + "option_a": "будет впадать в спячку до тех пор, пока не появится больше еды", + "option_b": "будет процветать", + "option_c": "перейдет на новую диету", + "option_d": "будет в плохой форме" + }, + "outputs": "D", + "meta": { + "id": 1089 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖивотное, живущее в среде, в которой отсутствуют пищевые ресурсы\nA) будет впадать в спячку до тех пор, пока не появится больше еды\nB) будет процветать\nC) перейдет на новую диету\nD) будет в плохой форме\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.16514664888381958, + "B": 0.1551409363746643, + "C": 0.18713566660881042, + "D": 0.42171674966812134 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У нас на планете есть алмазы только из-за существования", + "option_a": "машин", + "option_b": "карбонита", + "option_c": "рабочей силы", + "option_d": "большого давления" + }, + "outputs": "D", + "meta": { + "id": 2330 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У нас на планете есть алмазы только из-за существования\nA. машин\nB. карбонита\nC. рабочей силы\nD. большого давления\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1099691390991211, + "B": 0.21869975328445435, + "C": 0.40858492255210876, + "D": 0.2054494023323059 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если большой неодушевленный предмет пересекает арктические моря, это, вероятно,", + "option_a": "пресноводная рыба", + "option_b": "маслянистые камни", + "option_c": "затвердевшая сырость", + "option_d": "старая овца" + }, + "outputs": "C", + "meta": { + "id": 820 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли большой неодушевленный предмет пересекает арктические моря, это, вероятно,\nA) пресноводная рыба\nB) маслянистые камни\nC) затвердевшая сырость\nD) старая овца\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.31232360005378723, + "B": 0.17795661091804504, + "C": 0.25892534852027893, + "D": 0.14753122627735138 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобиль может двигаться медленнее из-за", + "option_a": "ветра", + "option_b": "объема двигателя", + "option_c": "плохих тормозов", + "option_d": "рулевого колеса" + }, + "outputs": "A", + "meta": { + "id": 321 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Автомобиль может двигаться медленнее из-за\nA) ветра\nB) объема двигателя\nC) плохих тормозов\nD) рулевого колеса\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.03421923518180847, + "B": 0.7788262367248535, + "C": 0.11220055818557739, + "D": 0.028368743136525154 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Колибри собирают нектар своими", + "option_a": "руками", + "option_b": "крыльями", + "option_c": "клювами", + "option_d": "ногами" + }, + "outputs": "C", + "meta": { + "id": 2267 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКолибри собирают нектар своими\nA) руками\nB) крыльями\nC) клювами\nD) ногами\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 419, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.3791683614253998, + "B": 0.12309794127941132, + "C": 0.1906578242778778, + "D": 0.1791064590215683 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что не работает при отключении электроэнергии?", + "option_a": "костер", + "option_b": "ручной насос", + "option_c": "электрический вентилятор", + "option_d": "бейсбольная бита" + }, + "outputs": "C", + "meta": { + "id": 596 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто не работает при отключении электроэнергии?\nA) костер\nB) ручной насос\nC) электрический вентилятор\nD) бейсбольная бита\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13395355641841888, + "B": 0.28357967734336853, + "C": 0.23509581387043, + "D": 0.28357967734336853 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы оказать положительное влияние на окружающую среду", + "option_a": "оставьте свет включенным", + "option_b": "примите более короткий душ", + "option_c": "используйте плиты из пенополистирола", + "option_d": "принимайте более длительный душ" + }, + "outputs": "B", + "meta": { + "id": 2276 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы оказать положительное влияние на окружающую среду\nA. оставьте свет включенным\nB. примите более короткий душ\nC. используйте плиты из пенополистирола\nD. принимайте более длительный душ\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.2684303820133209, + "B": 0.15294700860977173, + "C": 0.2684303820133209, + "D": 0.20905378460884094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Один из них пропустит серфинг утром, есть ли у них еще один шанс покататься сегодня?", + "option_a": "им все еще везет", + "option_b": "у них нет шансов", + "option_c": "уже слишком поздно", + "option_d": "все варианты верны" + }, + "outputs": "A", + "meta": { + "id": 1490 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Один из них пропустит серфинг утром, есть ли у них еще один шанс покататься сегодня?\nA. им все еще везет\nB. у них нет шансов\nC. уже слишком поздно\nD. все варианты верны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4629884362220764, + "B": 0.09704764932394028, + "C": 0.2054498791694641, + "D": 0.13264840841293335 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые птицы используют клюв для ловли добычи, например, как их используют", + "option_a": "синицы", + "option_b": "стеклянные фламинго", + "option_c": "цыплята", + "option_d": "пластиковые попугаи" + }, + "outputs": "A", + "meta": { + "id": 358 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНекоторые птицы используют клюв для ловли добычи, например, как их используют\nA) синицы\nB) стеклянные фламинго\nC) цыплята\nD) пластиковые попугаи\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2753238081932068, + "B": 0.09514936059713364, + "C": 0.12217418849468231, + "D": 0.40059375762939453 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Все ли организмы размножаются равномерно?", + "option_a": "да, темпы воспроизведения фиксированы", + "option_b": "да, они одинаковые", + "option_c": "да, они воспроизводят одинаково", + "option_d": "нет, они разные" + }, + "outputs": "D", + "meta": { + "id": 341 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВсе ли организмы размножаются равномерно?\nA. да, темпы воспроизведения фиксированы\nB. да, они одинаковые\nC. да, они воспроизводят одинаково\nD. нет, они разные\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1597229540348053, + "B": 0.21831537783145905, + "C": 0.10312488675117493, + "D": 0.4621736407279968 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Утром Анна увидела жидкость в сточной канаве. Позже жидкости не стало. Что с ней случилось?", + "option_a": "конденсация", + "option_b": "осаждение", + "option_c": "магическое превращение", + "option_d": "испарение" + }, + "outputs": "D", + "meta": { + "id": 1841 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУтром Анна увидела жидкость в сточной канаве. Позже жидкости не стало. Что с ней случилось?\nA. конденсация\nB. осаждение\nC. магическое превращение\nD. испарение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.16780361533164978, + "B": 0.24415281414985657, + "C": 0.19014640152454376, + "D": 0.33371734619140625 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где пример того, как люди вызывают изменения в окружающей среде, занимаясь строительством домов?", + "option_a": "собачья будка размещена в загоне на заднем дворе", + "option_b": "город все сильнее продвигается на территорию парка, и олени теряют свой дом", + "option_c": "ванночка для птиц размещена в парке с низкой популяцией белок", + "option_d": "небольшой дом построен в лесу, и там подкармливают животных" + }, + "outputs": "B", + "meta": { + "id": 599 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде пример того, как люди вызывают изменения в окружающей среде, занимаясь строительством домов?\nA) собачья будка размещена в загоне на заднем дворе\nB) город все сильнее продвигается на территорию парка, и олени теряют свой дом\nC) ванночка для птиц размещена в парке с низкой популяцией белок\nD) небольшой дом построен в лесу, и там подкармливают животных\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 487, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.21512830257415771, + "B": 0.1016194224357605, + "C": 0.3775619566440582, + "D": 0.21512830257415771 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения выделяют газ, который", + "option_a": "ядовит для людей", + "option_b": "наша система кровообращения распространяет по нашему телу из наших легких", + "option_c": "люди также выдыхают", + "option_d": "используется для того, чтобы воздушные шары поднимались в воздух" + }, + "outputs": "B", + "meta": { + "id": 1618 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРастения выделяют газ, который\nA. ядовит для людей\nB. наша система кровообращения распространяет по нашему телу из наших легких\nC. люди также выдыхают\nD. используется для того, чтобы воздушные шары поднимались в воздух\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06277335435152054, + "B": 0.03576717898249626, + "C": 0.05897010862827301, + "D": 0.8140572309494019 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди переключаются с угля на ветер, чтобы", + "option_a": "вообще ничего не делать", + "option_b": "нагревать и охлаждать Марс", + "option_c": "петь песни птицам", + "option_d": "производить тепло и свет для жилищ" + }, + "outputs": "D", + "meta": { + "id": 384 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛюди переключаются с угля на ветер, чтобы\nA) вообще ничего не делать\nB) нагревать и охлаждать Марс\nC) петь песни птицам\nD) производить тепло и свет для жилищ\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.22945155203342438, + "B": 0.1307375729084015, + "C": 0.3553815186023712, + "D": 0.20249027013778687 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Корова предпочла бы", + "option_a": "птицу", + "option_b": "металл", + "option_c": "суши", + "option_d": "огурцы" + }, + "outputs": "D", + "meta": { + "id": 2173 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Корова предпочла бы\nA. птицу\nB. металл\nC. суши\nD. огурцы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13556163012981415, + "B": 0.4444895088672638, + "C": 0.14430461823940277, + "D": 0.18529079854488373 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример использования тепловой энергии:", + "option_a": "плач в школьной ванной", + "option_b": "сушка нашей одежды на солнце", + "option_c": "ввод текста на компьютере", + "option_d": "попытка поцеловать кого-то" + }, + "outputs": "B", + "meta": { + "id": 740 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПример использования тепловой энергии:\nA. плач в школьной ванной\nB. сушка нашей одежды на солнце\nC. ввод текста на компьютере\nD. попытка поцеловать кого-то\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2941870093345642, + "B": 0.06987553834915161, + "C": 0.3131604492664337, + "D": 0.2021915763616562 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто получит больше животного жира?", + "option_a": "кошка, поедающая слишком большого окуня", + "option_b": "канарейка пьет воду", + "option_c": "рисовый росток, получающий слишком много солнечного света", + "option_d": "свободно бегающая собака" + }, + "outputs": "A", + "meta": { + "id": 860 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто получит больше животного жира?\nA. кошка, поедающая слишком большого окуня\nB. канарейка пьет воду\nC. рисовый росток, получающий слишком много солнечного света\nD. свободно бегающая собака\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3430015444755554, + "B": 0.16202247142791748, + "C": 0.1724720150232315, + "D": 0.22145844995975494 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые животные, которые обнаруживают объекты с помощью звука, живут в", + "option_a": "реках", + "option_b": "почвах", + "option_c": "вулканах", + "option_d": "арктических льдах" + }, + "outputs": "A", + "meta": { + "id": 913 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые животные, которые обнаруживают объекты с помощью звука, живут в\nA. реках\nB. почвах\nC. вулканах\nD. арктических льдах\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.359261691570282, + "B": 0.0908355787396431, + "C": 0.14068889617919922, + "D": 0.297838419675827 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что с наибольшей вероятностью подвержено разложению?", + "option_a": "рок", + "option_b": "радиоволны", + "option_c": "сталь", + "option_d": "носорог" + }, + "outputs": "D", + "meta": { + "id": 650 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто с наибольшей вероятностью подвержено разложению?\nA. рок\nB. радиоволны\nC. сталь\nD. носорог\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.28052985668182373, + "B": 0.33838361501693726, + "C": 0.1410592645406723, + "D": 0.15015681087970734 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наследственная характеристика, обнаруженная у всех млекопитающих:", + "option_a": "шерсть", + "option_b": "зубы", + "option_c": "копыта", + "option_d": "ногти" + }, + "outputs": "A", + "meta": { + "id": 1198 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНаследственная характеристика, обнаруженная у всех млекопитающих:\nA) шерсть\nB) зубы\nC) копыта\nD) ногти\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3213864862918854, + "B": 0.14261437952518463, + "C": 0.23513135313987732, + "D": 0.17202578485012054 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек хочет наблюдать за затмением", + "option_a": "лучше всего использовать защиту для глаз", + "option_b": "лучше всего использовать руку в качестве тени", + "option_c": ", лучше не пользоваться солнцезащитными очками", + "option_d": "лучше всего использовать телескоп" + }, + "outputs": "A", + "meta": { + "id": 338 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если человек хочет наблюдать за затмением\nA) лучше всего использовать защиту для глаз\nB) лучше всего использовать руку в качестве тени\nC) , лучше не пользоваться солнцезащитными очками\nD) лучше всего использовать телескоп\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.24938803911209106, + "B": 0.1610170304775238, + "C": 0.30081939697265625, + "D": 0.20674994587898254 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вода в миске исчезла раньше, чем вода", + "option_a": "на подносе", + "option_b": "на столе.", + "option_c": "на тарелке", + "option_d": "в кружке" + }, + "outputs": "D", + "meta": { + "id": 1342 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вода в миске исчезла раньше, чем вода\nA) на подносе\nB) на столе.\nC) на тарелке\nD) в кружке\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15404266119003296, + "B": 0.3933617174625397, + "C": 0.14470970630645752, + "D": 0.2241307497024536 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Книги могут быть сделаны из", + "option_a": "цемента", + "option_b": "картона", + "option_c": "стекла", + "option_d": "меди." + }, + "outputs": "B", + "meta": { + "id": 1831 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Книги могут быть сделаны из\nA) цемента\nB) картона\nC) стекла\nD) меди.\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.046421777456998825, + "B": 0.8228456974029541, + "C": 0.020599540323019028, + "D": 0.05960674211382866 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В любой момент времени на Земле некоторые страны могут быть еще в постели, а другие - в середине дня, наслаждаясь природой. Кто или что тому причиной?", + "option_a": "океанские приливы", + "option_b": "вращение планеты", + "option_c": "животные", + "option_d": "вращение солнца" + }, + "outputs": "B", + "meta": { + "id": 1693 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ любой момент времени на Земле некоторые страны могут быть еще в постели, а другие - в середине дня, наслаждаясь природой. Кто или что тому причиной?\nA) океанские приливы\nB) вращение планеты\nC) животные\nD) вращение солнца\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.17388717830181122, + "B": 0.17388717830181122, + "C": 0.30518150329589844, + "D": 0.2866915166378021 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что получит больше солнечного света?", + "option_a": "Червь", + "option_b": "Травинка", + "option_c": "Летучая мышь", + "option_d": "Поверхность уха слона" + }, + "outputs": "D", + "meta": { + "id": 455 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто получит больше солнечного света?\nA) Червь\nB) Травинка\nC) Летучая мышь\nD) Поверхность уха слона\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.09362543374300003, + "B": 0.07761821895837784, + "C": 0.2545003294944763, + "D": 0.5387771725654602 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере уменьшения силы тяжести молекулы воздуха", + "option_a": "взрываются", + "option_b": "слетаются вправо", + "option_c": "собираются вместе", + "option_d": "рассеиваются" + }, + "outputs": "D", + "meta": { + "id": 2292 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПо мере уменьшения силы тяжести молекулы воздуха\nA. взрываются\nB. слетаются вправо\nC. собираются вместе\nD. рассеиваются\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.025404181331396103, + "B": 0.014474865049123764, + "C": 0.03934676572680473, + "D": 0.8955281972885132 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Глубоководные животные, такие как гигантские кальмары, живут", + "option_a": "на дне рек", + "option_b": "в источниках воды", + "option_c": "в жидких местах", + "option_d": "в черных глубинах океана" + }, + "outputs": "D", + "meta": { + "id": 1228 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Глубоководные животные, такие как гигантские кальмары, живут\nA) на дне рек\nB) в источниках воды\nC) в жидких местах\nD) в черных глубинах океана\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8242186903953552, + "B": 0.015096092596650124, + "C": 0.018209362402558327, + "D": 0.011044537648558617 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример чего - создание гипса из ангидрита?", + "option_a": "химическое изменение", + "option_b": "вулканическая активность", + "option_c": "биологическое изменение", + "option_d": "механическое изменение" + }, + "outputs": "A", + "meta": { + "id": 1068 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПример чего - создание гипса из ангидрита?\nA. химическое изменение\nB. вулканическая активность\nC. биологическое изменение\nD. механическое изменение\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11536737531423569, + "B": 0.07448676973581314, + "C": 0.6236701011657715, + "D": 0.11536737531423569 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек обнаруживает скелет динозавра на заднем дворе под большим количеством грязи. Скелету не хватает яркой белизны костей, потому что он", + "option_a": "наполнен пивом", + "option_b": "покрыт солью", + "option_c": "заскаменел в грязи", + "option_d": "обмотан проволокой" + }, + "outputs": "C", + "meta": { + "id": 1565 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек обнаруживает скелет динозавра на заднем дворе под большим количеством грязи. Скелету не хватает яркой белизны костей, потому что он\nA. наполнен пивом\nB. покрыт солью\nC. заскаменел в грязи\nD. обмотан проволокой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 479, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3287748396396637, + "B": 0.1370537430047989, + "C": 0.2122730016708374, + "D": 0.17598050832748413 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ваша одежда, скорее всего, промокнет, если небо", + "option_a": "черное", + "option_b": "голубое", + "option_c": "солнечное без облаков", + "option_d": "ясное" + }, + "outputs": "A", + "meta": { + "id": 2005 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВаша одежда, скорее всего, промокнет, если небо\nA) черное\nB) голубое\nC) солнечное без облаков\nD) ясное\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.24271038174629211, + "B": 0.10770208388566971, + "C": 0.4001617729663849, + "D": 0.1567056030035019 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое поведение имеет фиксированный шаблон действий?", + "option_a": "политическое", + "option_b": "миграция", + "option_c": "приготовление пищи", + "option_d": "покупки" + }, + "outputs": "B", + "meta": { + "id": 584 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое поведение имеет фиксированный шаблон действий?\nA) политическое\nB) миграция\nC) приготовление пищи\nD) покупки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.13268251717090607, + "B": 0.08566627651453018, + "C": 0.5946418046951294, + "D": 0.11709190160036087 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Деструктивное изменение физической структуры объекта может включать", + "option_a": "строительство поверх объекта", + "option_b": "ни одно из предложенных действий", + "option_c": "его разрушение на части", + "option_d": "создание версии более высокого качества" + }, + "outputs": "C", + "meta": { + "id": 618 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Деструктивное изменение физической структуры объекта может включать\nA) строительство поверх объекта\nB) ни одно из предложенных действий\nC) его разрушение на части\nD) создание версии более высокого качества\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.23047366738319397, + "B": 0.1686181277036667, + "C": 0.2959340512752533, + "D": 0.19106937944889069 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "К чему из этого, скорее всего, приведет дневной поход?", + "option_a": "побледнение кожи", + "option_b": "позеленение кожи", + "option_c": "ни один из вариантов не верен", + "option_d": "еще более темный тон кожи" + }, + "outputs": "D", + "meta": { + "id": 2210 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nК чему из этого, скорее всего, приведет дневной поход?\nA. побледнение кожи\nB. позеленение кожи\nC. ни один из вариантов не верен\nD. еще более темный тон кожи\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.27271324396133423, + "B": 0.12882062792778015, + "C": 0.27271324396133423, + "D": 0.15538732707500458 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что могло бы быть следствием пожара?", + "option_a": "шрам на спине тигра", + "option_b": "уникальный узор кошачьей шерсти", + "option_c": "человек ест миску с хлопьями", + "option_d": "образование льда в океане" + }, + "outputs": "A", + "meta": { + "id": 302 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто могло бы быть следствием пожара?\nA) шрам на спине тигра\nB) уникальный узор кошачьей шерсти\nC) человек ест миску с хлопьями\nD) образование льда в океане\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.18155178427696228, + "B": 0.16021889448165894, + "C": 0.3610588610172272, + "D": 0.20572511851787567 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько сезонов приходится на три года", + "option_a": "двенадцать", + "option_b": "десять", + "option_c": "восемь", + "option_d": "четыре" + }, + "outputs": "A", + "meta": { + "id": 1461 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сколько сезонов приходится на три года\nA. двенадцать\nB. десять\nC. восемь\nD. четыре\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5488614439964294, + "B": 0.10807721316814423, + "C": 0.0841706246137619, + "D": 0.10807721316814423 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стихии могут превратить самые высокие пики России в", + "option_a": "рыхлые скалы", + "option_b": "замки из слоновой кости", + "option_c": "башни из золота", + "option_d": "мраморные блоки" + }, + "outputs": "A", + "meta": { + "id": 1420 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСтихии могут превратить самые высокие пики России в\nA) рыхлые скалы\nB) замки из слоновой кости\nC) башни из золота\nD) мраморные блоки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.18694211542606354, + "B": 0.034580815583467484, + "C": 0.1133861318230629, + "D": 0.612959623336792 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наша единственная звезда обеспечивает нас энергией, которая", + "option_a": "временна", + "option_b": "неполноценна", + "option_c": "дорога", + "option_d": "многоразова" + }, + "outputs": "D", + "meta": { + "id": 2271 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНаша единственная звезда обеспечивает нас энергией, которая\nA. временна\nB. неполноценна\nC. дорога\nD. многоразова\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.037606727331876755, + "B": 0.5882682204246521, + "C": 0.13126038014888763, + "D": 0.19098271429538727 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что негативно влияет на окружающую среду?", + "option_a": "экологичные производства", + "option_b": "свалки", + "option_c": "заводы по переработке", + "option_d": "океаны" + }, + "outputs": "B", + "meta": { + "id": 1602 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что негативно влияет на окружающую среду?\nA) экологичные производства\nB) свалки\nC) заводы по переработке\nD) океаны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.46077439188957214, + "B": 0.13201408088207245, + "C": 0.18044184148311615, + "D": 0.09658356010913849 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Запрещено убивать животных в", + "option_a": "Кроноцком заповеднике", + "option_b": "клетке", + "option_c": "Санкт-Петербурге", + "option_d": "одиннадцать утра" + }, + "outputs": "A", + "meta": { + "id": 937 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Запрещено убивать животных в\nA) Кроноцком заповеднике\nB) клетке\nC) Санкт-Петербурге\nD) одиннадцать утра\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08157183229923248, + "B": 0.6829925179481506, + "C": 0.076629638671875, + "D": 0.11868629604578018 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если кто-то хочет, чтобы вы остановились, они хотят, чтобы вы", + "option_a": "шли побыстрее", + "option_b": "не двигались", + "option_c": "не торопились", + "option_d": "съели сыр" + }, + "outputs": "B", + "meta": { + "id": 638 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли кто-то хочет, чтобы вы остановились, они хотят, чтобы вы\nA) шли побыстрее\nB) не двигались\nC) не торопились\nD) съели сыр\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03283412382006645, + "B": 0.013687297701835632, + "C": 0.01991490088403225, + "D": 0.9014172554016113 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнечный свет распространяет", + "option_a": "тьму", + "option_b": "ветер", + "option_c": "снег", + "option_d": "солнечную радиацию" + }, + "outputs": "D", + "meta": { + "id": 1195 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСолнечный свет распространяет\nA. тьму\nB. ветер\nC. снег\nD. солнечную радиацию\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 421, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.21229471266269684, + "B": 0.25607627630233765, + "C": 0.2259865254163742, + "D": 0.19943241775035858 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где бы вы могли услышать звук, отражающийся от поверхностей?", + "option_a": "космическое пространство", + "option_b": "ущелье", + "option_c": "океан", + "option_d": "вакуум" + }, + "outputs": "B", + "meta": { + "id": 177 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где бы вы могли услышать звук, отражающийся от поверхностей?\nA. космическое пространство\nB. ущелье\nC. океан\nD. вакуум\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.11270158737897873, + "B": 0.5050934553146362, + "C": 0.09343290328979492, + "D": 0.22413386404514313 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Есть виды топлива, которые скоро закончатся, и есть альтернативные варианты, которые похожи на солнце, в том, что", + "option_a": "их недорого хранить дома", + "option_b": "они доступны бесконечно", + "option_c": "они бесплатны для всех", + "option_d": "они доступны публике" + }, + "outputs": "B", + "meta": { + "id": 581 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Есть виды топлива, которые скоро закончатся, и есть альтернативные варианты, которые похожи на солнце, в том, что\nA) их недорого хранить дома\nB) они доступны бесконечно\nC) они бесплатны для всех\nD) они доступны публике\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.25541821122169495, + "B": 0.0882701724767685, + "C": 0.39559945464134216, + "D": 0.15491896867752075 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Магнит притягивает", + "option_a": "Молнии", + "option_b": "Апельсины", + "option_c": "Стеклянную посуду", + "option_d": "Деревянную расческу" + }, + "outputs": "A", + "meta": { + "id": 1931 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМагнит притягивает\nA. Молнии\nB. Апельсины\nC. Стеклянную посуду\nD. Деревянную расческу\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.030856555327773094, + "B": 0.847125768661499, + "C": 0.03284662961959839, + "D": 0.03722010925412178 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда вы сталкиваетесь с умершим животным, оно иногда ужасно пахнет, потому что оно недавно умерло и начало делать что?", + "option_a": "хныкать", + "option_b": "гнить", + "option_c": "замораживаться", + "option_d": "приготавливаться в пищу" + }, + "outputs": "B", + "meta": { + "id": 1356 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда вы сталкиваетесь с умершим животным, оно иногда ужасно пахнет, потому что оно недавно умерло и начало делать что?\nA) хныкать\nB) гнить\nC) замораживаться\nD) приготавливаться в пищу\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19485227763652802, + "B": 0.11102348566055298, + "C": 0.3875100314617157, + "D": 0.20741918683052063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда растение поливают, распыление воды на листья менее полезно, чем", + "option_a": "опрыскивание стебля растения", + "option_b": "опрыскивание листьев растения дождем", + "option_c": "полив почвы водой", + "option_d": "использование спринклерной системы" + }, + "outputs": "C", + "meta": { + "id": 1544 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда растение поливают, распыление воды на листья менее полезно, чем\nA. опрыскивание стебля растения\nB. опрыскивание листьев растения дождем\nC. полив почвы водой\nD. использование спринклерной системы\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.17517653107643127, + "B": 0.09376523643732071, + "C": 0.37084871530532837, + "D": 0.2548803389072418 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если кажется, что две вещи сближаются без вмешательства человека, что из этого наиболее вероятно?", + "option_a": "объекты одержимы демонами", + "option_b": "все эти варианты сразу", + "option_c": "солнце восходит и сближает их", + "option_d": "объекты могут иметь магнитные свойства" + }, + "outputs": "D", + "meta": { + "id": 1842 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли кажется, что две вещи сближаются без вмешательства человека, что из этого наиболее вероятно?\nA. объекты одержимы демонами\nB. все эти варианты сразу\nC. солнце восходит и сближает их\nD. объекты могут иметь магнитные свойства\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.2021329700946808, + "B": 0.484891802072525, + "C": 0.12259984761476517, + "D": 0.12259984761476517 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В ясный день я должен", + "option_a": "покататься на велосипеде", + "option_b": "взять с собой зонт", + "option_c": "надеть пальто", + "option_d": "оставаться внутри" + }, + "outputs": "A", + "meta": { + "id": 1150 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ ясный день я должен\nA) покататься на велосипеде\nB) взять с собой зонт\nC) надеть пальто\nD) оставаться внутри\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4900728762149811, + "B": 0.19191528856754303, + "C": 0.10272485762834549, + "D": 0.1239098310470581 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Предметы, сделанные из чего, вызывают преломление света?", + "option_a": "растопленный песок", + "option_b": "дерево", + "option_c": "ветер", + "option_d": "почва" + }, + "outputs": "A", + "meta": { + "id": 1251 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Предметы, сделанные из чего, вызывают преломление света?\nA) растопленный песок\nB) дерево\nC) ветер\nD) почва\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4619939923286438, + "B": 0.06655655056238174, + "C": 0.2472875863313675, + "D": 0.08028250932693481 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У сикомор самые большие в мире", + "option_a": "стволы", + "option_b": "друзья", + "option_c": "листья", + "option_d": "местоположение" + }, + "outputs": "A", + "meta": { + "id": 568 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У сикомор самые большие в мире\nA. стволы\nB. друзья\nC. листья\nD. местоположение\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8203912377357483, + "B": 0.01599508337676525, + "C": 0.024773670360445976, + "D": 0.0408448725938797 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скорость - это мера того, насколько быстро все они движутся, и она есть у всех, кроме", + "option_a": "человека, который ждет", + "option_b": "рыбы, которая плывет", + "option_c": "собаки, которая бежит", + "option_d": "птицы, которая летит" + }, + "outputs": "A", + "meta": { + "id": 978 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСкорость - это мера того, насколько быстро все они движутся, и она есть у всех, кроме\nA) человека, который ждет\nB) рыбы, которая плывет\nC) собаки, которая бежит\nD) птицы, которая летит\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.20243525505065918, + "B": 0.428555428981781, + "C": 0.16782470047473907, + "D": 0.1391315758228302 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой объект может быть проводником тепла?", + "option_a": "занавеска", + "option_b": "стена", + "option_c": "стол", + "option_d": "зеркало" + }, + "outputs": "D", + "meta": { + "id": 1092 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой объект может быть проводником тепла?\nA) занавеска\nB) стена\nC) стол\nD) зеркало\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6750290989875793, + "B": 0.03577522933483124, + "C": 0.08582030981779099, + "D": 0.05205265432596207 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если будет достигнута точка кипения воды, что последует за этой точкой?", + "option_a": "вода быстро испаряется", + "option_b": "вода затвердевает", + "option_c": "вода становится черной", + "option_d": "все сразу" + }, + "outputs": "A", + "meta": { + "id": 1637 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли будет достигнута точка кипения воды, что последует за этой точкой?\nA) вода быстро испаряется\nB) вода затвердевает\nC) вода становится черной\nD) все сразу\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.21586959064006805, + "B": 0.11554666608572006, + "C": 0.26038843393325806, + "D": 0.33434537053108215 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люся оставила на солнце полкастрюли воды, и за один день вода исчезла. Сделайте подходящий вывод.", + "option_a": "кастрюля стояла в прохладной тени", + "option_b": "белка выпила воду из кастрюли", + "option_c": "бабочки выпили все это", + "option_d": "это было летом" + }, + "outputs": "D", + "meta": { + "id": 2087 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люся оставила на солнце полкастрюли воды, и за один день вода исчезла. Сделайте подходящий вывод.\nA. кастрюля стояла в прохладной тени\nB. белка выпила воду из кастрюли\nC. бабочки выпили все это\nD. это было летом\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3983055353164673, + "B": 0.18814623355865479, + "C": 0.17674700915813446, + "D": 0.0888739824295044 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из этих характеристик животных обычно определяются факторами окружающей среды, а не наследственностью?", + "option_a": "длина волос", + "option_b": "рост", + "option_c": "цвет глаз", + "option_d": "количество хромосом" + }, + "outputs": "A", + "meta": { + "id": 1833 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие из этих характеристик животных обычно определяются факторами окружающей среды, а не наследственностью?\nA) длина волос\nB) рост\nC) цвет глаз\nD) количество хромосом\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2013944387435913, + "B": 0.3534582555294037, + "C": 0.16696186363697052, + "D": 0.17772997915744781 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что меняет форму и цельность объекта?", + "option_a": "подбросить", + "option_b": "разбить его", + "option_c": "перекатить", + "option_d": "прикоснуться к нему" + }, + "outputs": "B", + "meta": { + "id": 1729 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто меняет форму и цельность объекта?\nA) подбросить\nB) разбить его\nC) перекатить\nD) прикоснуться к нему\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.749514102935791, + "B": 0.03972278907895088, + "C": 0.03972278907895088, + "D": 0.045011818408966064 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто-то едет ночью. День был теплый, но сейчас прохладная ночь, и много тумана, сквозь который трудно разглядеть что-либо. Туман преобладает, потому что", + "option_a": "дневная влажность конденсируется по мере развития ночи", + "option_b": "теплый воздух обычно присутствует в дневное время", + "option_c": "всегда туманно ночью", + "option_d": "холодный воздух заставляет всех чувствовать тепло" + }, + "outputs": "A", + "meta": { + "id": 1294 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто-то едет ночью. День был теплый, но сейчас прохладная ночь, и много тумана, сквозь который трудно разглядеть что-либо. Туман преобладает, потому что\nA) дневная влажность конденсируется по мере развития ночи\nB) теплый воздух обычно присутствует в дневное время\nC) всегда туманно ночью\nD) холодный воздух заставляет всех чувствовать тепло\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 485, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4999547004699707, + "B": 0.11155497282743454, + "C": 0.11874965578317642, + "D": 0.10479620099067688 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мантия - это неповерхностный слой Земли; можно ли встретить ее содержимое где-то кроме этого слоя?", + "option_a": "лава вулкана", + "option_b": "внутреннее ядро ​​", + "option_c": "внешнее ядро ​​", + "option_d": "кора" + }, + "outputs": "A", + "meta": { + "id": 1551 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМантия - это неповерхностный слой Земли; можно ли встретить ее содержимое где-то кроме этого слоя?\nA) лава вулкана\nB) внутреннее ядро ​​\nC) внешнее ядро ​​\nD) кора\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.17118006944656372, + "B": 0.11052215844392776, + "C": 0.10382596403360367, + "D": 0.5612778663635254 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Распространение семян", + "option_a": "способствует воспроизводству человека", + "option_b": "снижает производство новых растений", + "option_c": "не влияет на воспроизводство растений", + "option_d": "способствует распространению растений" + }, + "outputs": "D", + "meta": { + "id": 37 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Распространение семян\nA. способствует воспроизводству человека\nB. снижает производство новых растений\nC. не влияет на воспроизводство растений\nD. способствует распространению растений\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.2818702757358551, + "B": 0.1819891333580017, + "C": 0.2336786687374115, + "D": 0.20622068643569946 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек кладет скрепку рядом с предметом на столе. Скрепка движется к объекту сама по себе. Что, вероятно, будет этим объектом?", + "option_a": "кусок углеродистой стали", + "option_b": "банка кокса", + "option_c": "буханка хлеба", + "option_d": "лист бумаги" + }, + "outputs": "A", + "meta": { + "id": 36 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек кладет скрепку рядом с предметом на столе. Скрепка движется к объекту сама по себе. Что, вероятно, будет этим объектом?\nA. кусок углеродистой стали\nB. банка кокса\nC. буханка хлеба\nD. лист бумаги\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.3224646747112274, + "B": 0.16214542090892792, + "C": 0.28457409143447876, + "D": 0.09834616631269455 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что обычно происходит с растением по мере увеличения количества воды, которую оно получает?", + "option_a": "уменьшается", + "option_b": "дает усадку", + "option_c": "усиленно растет", + "option_d": "блестит" + }, + "outputs": "C", + "meta": { + "id": 1598 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто обычно происходит с растением по мере увеличения количества воды, которую оно получает?\nA. уменьшается\nB. дает усадку\nC. усиленно растет\nD. блестит\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.20311084389686584, + "B": 0.11572907865047455, + "C": 0.31458422541618347, + "D": 0.26079949736595154 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У человека кофе в керамической чашке. Кофе внутри чашки остыл, поэтому, чтобы повысить температуру, человек", + "option_a": "ставит чашку на электрическую подставку", + "option_b": "использует бумажные полотенца, чтобы обернуть чашку в", + "option_c": "кладет чашку в холодильник", + "option_d": "добавляет в чашку лед" + }, + "outputs": "A", + "meta": { + "id": 369 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У человека кофе в керамической чашке. Кофе внутри чашки остыл, поэтому, чтобы повысить температуру, человек\nA) ставит чашку на электрическую подставку\nB) использует бумажные полотенца, чтобы обернуть чашку в\nC) кладет чашку в холодильник\nD) добавляет в чашку лед\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 473, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1401396542787552, + "B": 0.13164903223514557, + "C": 0.11617985367774963, + "D": 0.5542631149291992 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мимикрия используется для того, чтобы животные избегали хищников путем маскировки под какое животное?", + "option_a": "уязвимое", + "option_b": "слабое и безжизненное", + "option_c": "прирученное", + "option_d": "грозное и опасное" + }, + "outputs": "D", + "meta": { + "id": 1607 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМимикрия используется для того, чтобы животные избегали хищников путем маскировки под какое животное?\nA. уязвимое\nB. слабое и безжизненное\nC. прирученное\nD. грозное и опасное\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2410275638103485, + "B": 0.06905555725097656, + "C": 0.42301657795906067, + "D": 0.15561911463737488 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если отодвинуть лицо подальше от зеркала", + "option_a": ", ваше лицо будет казаться больше", + "option_b": ", ваши морщины станут менее заметными", + "option_c": ", ваше лицо будет отображаться увеличенным", + "option_d": "вам будет легче увидеть поры вашей кожи" + }, + "outputs": "B", + "meta": { + "id": 1839 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли отодвинуть лицо подальше от зеркала\nA. , ваше лицо будет казаться больше\nB. , ваши морщины станут менее заметными\nC. , ваше лицо будет отображаться увеличенным\nD. вам будет легче увидеть поры вашей кожи\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.19004212319850922, + "B": 0.07442156225442886, + "C": 0.025719404220581055, + "D": 0.6633121967315674 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из примеров описывает возобновляемую энергию?", + "option_a": "электричество от угольных электростанций", + "option_b": "масла, полученные из китового жира", + "option_c": "бензин, полученный из окаменелостей", + "option_d": "энергия ближайшего к нам желтого карлика" + }, + "outputs": "D", + "meta": { + "id": 1318 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой из примеров описывает возобновляемую энергию?\nA) электричество от угольных электростанций\nB) масла, полученные из китового жира\nC) бензин, полученный из окаменелостей\nD) энергия ближайшего к нам желтого карлика\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.19636701047420502, + "B": 0.25214025378227234, + "C": 0.3041391670703888, + "D": 0.14366517961025238 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вирусы уничтожаются устройствами, которые есть у вас", + "option_a": "на заднем дворе", + "option_b": "на кухне", + "option_c": "в ванной", + "option_d": "в гостиной." + }, + "outputs": "B", + "meta": { + "id": 1438 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вирусы уничтожаются устройствами, которые есть у вас\nA. на заднем дворе\nB. на кухне\nC. в ванной\nD. в гостиной.\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.037399161607027054, + "B": 0.7996293306350708, + "C": 0.042378801852464676, + "D": 0.06987082958221436 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, защитит кролика?", + "option_a": "серфинг", + "option_b": "убежище под землей", + "option_c": "плавание", + "option_d": "надземное гнездование" + }, + "outputs": "B", + "meta": { + "id": 762 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, вероятно, защитит кролика?\nA. серфинг\nB. убежище под землей\nC. плавание\nD. надземное гнездование\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1663832813501358, + "B": 0.06515663862228394, + "C": 0.42487460374832153, + "D": 0.25769948959350586 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как прячутся некоторые осьминоги?", + "option_a": "используют прозрачные чернила для распространения запаха", + "option_b": "прячутся в темных чернильных пещерах", + "option_c": "выделяют темную жидкость, чтобы скрыться как за дымовой завесой", + "option_d": "испускают струйки чернил для маскировки под водоросли" + }, + "outputs": "C", + "meta": { + "id": 1853 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как прячутся некоторые осьминоги?\nA) используют прозрачные чернила для распространения запаха\nB) прячутся в темных чернильных пещерах\nC) выделяют темную жидкость, чтобы скрыться как за дымовой завесой\nD) испускают струйки чернил для маскировки под водоросли\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.12988004088401794, + "B": 0.08926516026258469, + "C": 0.5468153953552246, + "D": 0.15666523575782776 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Черви - отличные разлагатели, потому что", + "option_a": "они едят много гнили", + "option_b": "им нравится есть трупы и извергать отходы обратно на землю", + "option_c": "черви поедают трупы", + "option_d": "черви любят поедать грязь и от этого разлагаться" + }, + "outputs": "B", + "meta": { + "id": 573 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧерви - отличные разлагатели, потому что\nA) они едят много гнили\nB) им нравится есть трупы и извергать отходы обратно на землю\nC) черви поедают трупы\nD) черви любят поедать грязь и от этого разлагаться\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06758898496627808, + "B": 0.036177780479192734, + "C": 0.7735150456428528, + "D": 0.07658836245536804 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы видите маленькие мокрые пятна на лобовом стекле, что могло случиться?", + "option_a": "солнце садится", + "option_b": "луна поднимается", + "option_c": "пар превращается в капли", + "option_d": "ветровое стекло растворяется" + }, + "outputs": "C", + "meta": { + "id": 1082 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вы видите маленькие мокрые пятна на лобовом стекле, что могло случиться?\nA) солнце садится\nB) луна поднимается\nC) пар превращается в капли\nD) ветровое стекло растворяется\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.14169061183929443, + "B": 0.059065431356430054, + "C": 0.560397207736969, + "D": 0.1709114909172058 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Конденсация водяного пара в облаках может привести к тому, что", + "option_a": "ракеты полетят на Луну", + "option_b": "собаки вздремнут", + "option_c": "люди будут использовать зонтики", + "option_d": "Земля будет вращаться" + }, + "outputs": "C", + "meta": { + "id": 2311 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКонденсация водяного пара в облаках может привести к тому, что\nA) ракеты полетят на Луну\nB) собаки вздремнут\nC) люди будут использовать зонтики\nD) Земля будет вращаться\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.07018274068832397, + "B": 0.07470913976430893, + "C": 0.11571177840232849, + "D": 0.7088205814361572 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы узнать, насколько твердым может быть определенный минерал, нужно", + "option_a": "измерить его вес", + "option_b": "разбить его, чтобы увидеть внутреннюю часть", + "option_c": "попытаться оставить на нем отметку", + "option_d": "посмотреть, можно ли его раздавить" + }, + "outputs": "C", + "meta": { + "id": 917 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы узнать, насколько твердым может быть определенный минерал, нужно\nA) измерить его вес\nB) разбить его, чтобы увидеть внутреннюю часть\nC) попытаться оставить на нем отметку\nD) посмотреть, можно ли его раздавить\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.22111615538597107, + "B": 0.18331173062324524, + "C": 0.2839187681674957, + "D": 0.23537692427635193 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Моль может пройти метаморфоз, когда", + "option_a": "она становится бескрылым существом", + "option_b": "она полностью возрождается", + "option_c": "полностью воссоздана", + "option_d": "она высвобождается из самодельной камеры" + }, + "outputs": "D", + "meta": { + "id": 213 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМоль может пройти метаморфоз, когда\nA) она становится бескрылым существом\nB) она полностью возрождается\nC) полностью воссоздана\nD) она высвобождается из самодельной камеры\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.23489885032176971, + "B": 0.13384133577346802, + "C": 0.2661752700805664, + "D": 0.2833420932292938 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Трение действует, чтобы противодействовать движению двух объектов, когда их поверхности какие?", + "option_a": "разведенные отдельно", + "option_b": "отдельные", + "option_c": "находящиеся в поле зрения", + "option_d": "сходящиеся" + }, + "outputs": "D", + "meta": { + "id": 1313 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТрение действует, чтобы противодействовать движению двух объектов, когда их поверхности какие?\nA) разведенные отдельно\nB) отдельные\nC) находящиеся в поле зрения\nD) сходящиеся\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.16618208587169647, + "B": 0.14665517210960388, + "C": 0.35180747509002686, + "D": 0.24179351329803467 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Обратный испарению процесс с точки зрения погодных явлений:", + "option_a": "осадки.", + "option_b": "конденсация", + "option_c": "транспирация", + "option_d": "образование облаков" + }, + "outputs": "A", + "meta": { + "id": 1086 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Обратный испарению процесс с точки зрения погодных явлений:\nA) осадки.\nB) конденсация\nC) транспирация\nD) образование облаков\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.045096948742866516, + "B": 0.021302292123436928, + "C": 0.8509170413017273, + "D": 0.03512154147028923 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Изоляторы тепловой энергии часто являются хорошими электрическими изоляторами, такими как:", + "option_a": "металлические камни на земле", + "option_b": "вентилятор на потолке", + "option_c": "резина, зажатая между двумя железными плитами", + "option_d": "металлические ножи для продажи" + }, + "outputs": "C", + "meta": { + "id": 2195 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Изоляторы тепловой энергии часто являются хорошими электрическими изоляторами, такими как:\nA. металлические камни на земле\nB. вентилятор на потолке\nC. резина, зажатая между двумя железными плитами\nD. металлические ножи для продажи\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06028476729989052, + "B": 0.020833857357501984, + "C": 0.8322054743766785, + "D": 0.044105276465415955 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Природные сообщества содержат", + "option_a": "редкую флору и фауну", + "option_b": "два или три вида похожих животных", + "option_c": "разнообразный набор живых существ", + "option_d": "один вид, доминирующий на территории" + }, + "outputs": "C", + "meta": { + "id": 2318 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Природные сообщества содержат\nA. редкую флору и фауну\nB. два или три вида похожих животных\nC. разнообразный набор живых существ\nD. один вид, доминирующий на территории\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.8287705183029175, + "B": 0.009800596162676811, + "C": 0.03018796443939209, + "D": 0.020747864618897438 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шахтер ищет камни и минералы, которые можно использовать не для строительства. Он хочет найти и обработать что-то стоящее, поэтому он ищет камни с", + "option_a": "жемчугом", + "option_b": "песком", + "option_c": "пластиком", + "option_d": "алюминием" + }, + "outputs": "D", + "meta": { + "id": 769 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Шахтер ищет камни и минералы, которые можно использовать не для строительства. Он хочет найти и обработать что-то стоящее, поэтому он ищет камни с\nA) жемчугом\nB) песком\nC) пластиком\nD) алюминием\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 467, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2251291573047638, + "B": 0.060592684894800186, + "C": 0.3486868441104889, + "D": 0.27155759930610657 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Замещение природного ресурса может быть", + "option_a": "выращиванием куста во дворе", + "option_b": "посадкой цветка в саду", + "option_c": "наполнением озера, которое испарилось", + "option_d": "посадкой ягодного участка" + }, + "outputs": "C", + "meta": { + "id": 934 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Замещение природного ресурса может быть\nA) выращиванием куста во дворе\nB) посадкой цветка в саду\nC) наполнением озера, которое испарилось\nD) посадкой ягодного участка\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.07312150299549103, + "B": 0.01631561480462551, + "C": 0.8368313312530518, + "D": 0.030481578782200813 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человеку нужно найти путь к берегу, находясь на плоту. Другой человек подсказывает первому, в каком направлении плыть, чтобы безопасно добраться до земли, таким образом, человек, который направляет,", + "option_a": "исполняет роль капитана", + "option_b": "исполняет роль ремонтника", + "option_c": "исполняет роль навигатора", + "option_d": "исполняет роль сапера" + }, + "outputs": "C", + "meta": { + "id": 99 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человеку нужно найти путь к берегу, находясь на плоту. Другой человек подсказывает первому, в каком направлении плыть, чтобы безопасно добраться до земли, таким образом, человек, который направляет,\nA) исполняет роль капитана\nB) исполняет роль ремонтника\nC) исполняет роль навигатора\nD) исполняет роль сапера\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 477, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1746682971715927, + "B": 0.08250745385885239, + "C": 0.08782873302698135, + "D": 0.6096522212028503 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Голодный ястреб преследует мышь, но промахивается, схватив когтями воздух перед самым носом мыши. Чтобы поймать добычу, ястреб должен", + "option_a": "сделать перерыв", + "option_b": "лететь прочь", + "option_c": "найти другую добычу", + "option_d": "отрегулировать скорость" + }, + "outputs": "D", + "meta": { + "id": 1332 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГолодный ястреб преследует мышь, но промахивается, схватив когтями воздух перед самым носом мыши. Чтобы поймать добычу, ястреб должен\nA) сделать перерыв\nB) лететь прочь\nC) найти другую добычу\nD) отрегулировать скорость\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7717664837837219, + "B": 0.02330532856285572, + "C": 0.03185461089015007, + "D": 0.04634818062186241 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Прикосновение к объекту может позволить человеку", + "option_a": "ощутить различия в структуре и составе материалов", + "option_b": "ощутить различия в цвете", + "option_c": "почувствовать различия в цене", + "option_d": "почувствовать различия в атомной структуре" + }, + "outputs": "A", + "meta": { + "id": 222 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПрикосновение к объекту может позволить человеку\nA. ощутить различия в структуре и составе материалов\nB. ощутить различия в цвете\nC. почувствовать различия в цене\nD. почувствовать различия в атомной структуре\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.19551430642604828, + "B": 0.32234859466552734, + "C": 0.18366867303848267, + "D": 0.2358352541923523 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тектонические плиты движутся вдоль", + "option_a": "линий дорожной разметки", + "option_b": "плоских трещин", + "option_c": "треугольных трещин", + "option_d": "линий электропередач" + }, + "outputs": "B", + "meta": { + "id": 906 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТектонические плиты движутся вдоль\nA. линий дорожной разметки\nB. плоских трещин\nC. треугольных трещин\nD. линий электропередач\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19105485081672668, + "B": 0.0702851414680481, + "C": 0.5193408727645874, + "D": 0.14879365265369415 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Учитывая, что животные обычно недружелюбны по отношению к людям и предпочитают свое собственное пространство, какое из этих существ является аномалией?", + "option_a": "буйвол", + "option_b": "олень", + "option_c": "скоттиш-фолд", + "option_d": "кабан" + }, + "outputs": "C", + "meta": { + "id": 41 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУчитывая, что животные обычно недружелюбны по отношению к людям и предпочитают свое собственное пространство, какое из этих существ является аномалией?\nA. буйвол\nB. олень\nC. скоттиш-фолд\nD. кабан\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.31236639618873596, + "B": 0.2589608430862427, + "C": 0.14755144715309143, + "D": 0.20167891681194305 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто из них будет издавать звуки изо рта?", + "option_a": "рыба", + "option_b": "курица", + "option_c": "грузовик", + "option_d": "муравей" + }, + "outputs": "B", + "meta": { + "id": 1916 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто из них будет издавать звуки изо рта?\nA) рыба\nB) курица\nC) грузовик\nD) муравей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.05297902598977089, + "B": 0.020746886730194092, + "C": 0.502651035785675, + "D": 0.3914650082588196 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При порывах ветра и хмуром небе вы должны прихватить с собой", + "option_a": "клюшки для гольфа", + "option_b": "корзину для пикника", + "option_c": "громоотвод", + "option_d": "зонтик" + }, + "outputs": "D", + "meta": { + "id": 1967 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: При порывах ветра и хмуром небе вы должны прихватить с собой\nA) клюшки для гольфа\nB) корзину для пикника\nC) громоотвод\nD) зонтик\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.07772284746170044, + "B": 0.6927362084388733, + "C": 0.07772284746170044, + "D": 0.08273554593324661 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если рыба живет в очень темной и мутной воде, рыба может со временем откалибровать свое тело, чтобы", + "option_a": "поглощать гелий", + "option_b": "стать невидимой", + "option_c": "съесть больше", + "option_d": "быть слепой" + }, + "outputs": "D", + "meta": { + "id": 983 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли рыба живет в очень темной и мутной воде, рыба может со временем откалибровать свое тело, чтобы\nA. поглощать гелий\nB. стать невидимой\nC. съесть больше\nD. быть слепой\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.19463668763637543, + "B": 0.14239922165870667, + "C": 0.36362916231155396, + "D": 0.2071896493434906 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере увеличения количества осадков в районе будет все меньше и меньше электроэнергии от", + "option_a": "атомных электростанций", + "option_b": "солнечных панелей", + "option_c": "угольных электростанций", + "option_d": "ветряных турбин" + }, + "outputs": "B", + "meta": { + "id": 817 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: По мере увеличения количества осадков в районе будет все меньше и меньше электроэнергии от\nA. атомных электростанций\nB. солнечных панелей\nC. угольных электростанций\nD. ветряных турбин\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.25998806953430176, + "B": 0.08984947204589844, + "C": 0.378280371427536, + "D": 0.16786089539527893 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Популяция кроликов в ареале увеличивается. Это могло быть вызвано тем, что", + "option_a": "больше хищников переместилось в этот район", + "option_b": "кролики становятся бесплодными", + "option_c": "в последние годы выпадает больше осадков", + "option_d": "охотники ловят кроликов" + }, + "outputs": "C", + "meta": { + "id": 531 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Популяция кроликов в ареале увеличивается. Это могло быть вызвано тем, что\nA. больше хищников переместилось в этот район\nB. кролики становятся бесплодными\nC. в последние годы выпадает больше осадков\nD. охотники ловят кроликов\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.1662377417087555, + "B": 0.424502968788147, + "C": 0.20052100718021393, + "D": 0.12946608662605286 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда в России лето, то зима", + "option_a": "в западном полушарии", + "option_b": "в северном полушарии", + "option_c": "в южном полушарии", + "option_d": "в восточном полушарии." + }, + "outputs": "C", + "meta": { + "id": 1450 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда в России лето, то зима\nA) в западном полушарии\nB) в северном полушарии\nC) в южном полушарии\nD) в восточном полушарии.\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3478353023529053, + "B": 0.30696356296539307, + "C": 0.1362142562866211, + "D": 0.08794653415679932 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая форма жизни, скорее всего, изменит свое положение?", + "option_a": "сосна", + "option_b": "черепаха", + "option_c": "алоэ", + "option_d": "морковь" + }, + "outputs": "B", + "meta": { + "id": 1387 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая форма жизни, скорее всего, изменит свое положение?\nA. сосна\nB. черепаха\nC. алоэ\nD. морковь\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.042715948075056076, + "B": 0.07042668759822845, + "C": 0.048403508961200714, + "D": 0.8059908151626587 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что вызывает образование осадочных пород?", + "option_a": "электропроводность", + "option_b": "конденсация", + "option_c": "атомные взрывы", + "option_d": "разрушение наземных форм рельефа" + }, + "outputs": "D", + "meta": { + "id": 839 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто вызывает образование осадочных пород?\nA) электропроводность\nB) конденсация\nC) атомные взрывы\nD) разрушение наземных форм рельефа\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.21735872328281403, + "B": 0.19181840121746063, + "C": 0.3162550628185272, + "D": 0.19181840121746063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Свойство меха, являющееся результатом того, как он отражает или излучает свет, является", + "option_a": "сфабрикованной характеристикой", + "option_b": "унаследованной характеристикой", + "option_c": "производственной характеристикой", + "option_d": "возрастной характеристикой" + }, + "outputs": "B", + "meta": { + "id": 1567 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСвойство меха, являющееся результатом того, как он отражает или излучает свет, является\nA. сфабрикованной характеристикой\nB. унаследованной характеристикой\nC. производственной характеристикой\nD. возрастной характеристикой\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.20043881237506866, + "B": 0.511838436126709, + "C": 0.07373732328414917, + "D": 0.1007869616150856 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Давным-давно Сулакский каньон был", + "option_a": "менее глубоким", + "option_b": "глубже", + "option_c": "крупнее", + "option_d": "шире" + }, + "outputs": "A", + "meta": { + "id": 883 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДавным-давно Сулакский каньон был\nA) менее глубоким\nB) глубже\nC) крупнее\nD) шире\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.18817146122455597, + "B": 0.137669175863266, + "C": 0.3983589708805084, + "D": 0.18817146122455597 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мой папа подарил мне", + "option_a": "воздух", + "option_b": "здание", + "option_c": "окна на моей голове", + "option_d": "солнце" + }, + "outputs": "C", + "meta": { + "id": 2143 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мой папа подарил мне\nA. воздух\nB. здание\nC. окна на моей голове\nD. солнце\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.2186846137046814, + "B": 0.2637839913368225, + "C": 0.2327885627746582, + "D": 0.18129591643810272 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У Маришки один кусок дерева гладкий и полированный, а другой - грубый и необработанный. Какое из следующих утверждений верно?", + "option_a": "оба куска дерева будут создавать одинаковое трение", + "option_b": "грубое дерево будет легче двигаться при трении о плитку, чем гладкая древесина", + "option_c": "необработанное дерево будет выделять больше тепла, чем другое при трении об пол", + "option_d": "гладкая древесина будет выделять больше тепла, если возить ее взад и вперед по кафельному полу" + }, + "outputs": "C", + "meta": { + "id": 542 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ Маришки один кусок дерева гладкий и полированный, а другой - грубый и необработанный. Какое из следующих утверждений верно?\nA. оба куска дерева будут создавать одинаковое трение\nB. грубое дерево будет легче двигаться при трении о плитку, чем гладкая древесина\nC. необработанное дерево будет выделять больше тепла, чем другое при трении об пол\nD. гладкая древесина будет выделять больше тепла, если возить ее взад и вперед по кафельному полу\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 506, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.314916729927063, + "B": 0.05140874162316322, + "C": 0.23039798438549042, + "D": 0.314916729927063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Загар, скорее всего, случится после похода в", + "option_a": "джунгли", + "option_b": "лес", + "option_c": "водно-болотные угодья", + "option_d": "пустыню" + }, + "outputs": "D", + "meta": { + "id": 1159 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗагар, скорее всего, случится после похода в\nA. джунгли\nB. лес\nC. водно-болотные угодья\nD. пустыню\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1925850212574005, + "B": 0.16995568573474884, + "C": 0.3597961664199829, + "D": 0.18091687560081482 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Температура плавления утки будет", + "option_a": ", выше, чем у солнца", + "option_b": ", ниже, чем у холодильника", + "option_c": "выше, чем температура тела", + "option_d": ", ниже, чем у морозильника" + }, + "outputs": "C", + "meta": { + "id": 2108 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Температура плавления утки будет\nA. , выше, чем у солнца\nB. , ниже, чем у холодильника\nC. выше, чем температура тела\nD. , ниже, чем у морозильника\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15642835199832916, + "B": 0.025536227971315384, + "C": 0.6186861395835876, + "D": 0.13804753124713898 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда метеоролог говорит ожидать шторма, он, скорее всего, обещает вам", + "option_a": "летающих кошек", + "option_b": "ясную погоду", + "option_c": "ливень", + "option_d": "аквапарк" + }, + "outputs": "C", + "meta": { + "id": 182 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда метеоролог говорит ожидать шторма, он, скорее всего, обещает вам\nA) летающих кошек\nB) ясную погоду\nC) ливень\nD) аквапарк\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2099982500076294, + "B": 0.08754030615091324, + "C": 0.2533062696456909, + "D": 0.36855843663215637 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Морские анемоны", + "option_a": "выглядят как собаки", + "option_b": "выглядят как автомобили", + "option_c": "выглядят как летучие мыши", + "option_d": "выглядят как флора" + }, + "outputs": "D", + "meta": { + "id": 1154 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Морские анемоны\nA. выглядят как собаки\nB. выглядят как автомобили\nC. выглядят как летучие мыши\nD. выглядят как флора\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1888023018836975, + "B": 0.5463175177574158, + "C": 0.061295125633478165, + "D": 0.12189992517232895 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кому из этих персонажей, вероятно, понадобится компас?", + "option_a": "рыба", + "option_b": "моряк", + "option_c": "рысь", + "option_d": "таксист" + }, + "outputs": "B", + "meta": { + "id": 1464 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кому из этих персонажей, вероятно, понадобится компас?\nA. рыба\nB. моряк\nC. рысь\nD. таксист\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2780841886997223, + "B": 0.15844760835170746, + "C": 0.09028072655200958, + "D": 0.38009604811668396 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если котенка не кормить молоком с самого рождения", + "option_a": "он будет плакать", + "option_b": "его будет рвать", + "option_c": "он будет спать", + "option_d": "он умрет" + }, + "outputs": "D", + "meta": { + "id": 281 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если котенка не кормить молоком с самого рождения\nA. он будет плакать\nB. его будет рвать\nC. он будет спать\nD. он умрет\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2354917973279953, + "B": 0.067469522356987, + "C": 0.4985361099243164, + "D": 0.11123844981193542 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если что-то является сырьем в процессе, то это что-то", + "option_a": "разлагается и деградирует во время процесса", + "option_b": "является результатом процесса", + "option_c": "требуется во время производства, как, что например, труд или капитал", + "option_d": "используется только на последней стадии процесса" + }, + "outputs": "C", + "meta": { + "id": 2133 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли что-то является сырьем в процессе, то это что-то\nA) разлагается и деградирует во время процесса\nB) является результатом процесса\nC) требуется во время производства, как, что например, труд или капитал\nD) используется только на последней стадии процесса\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0683579370379448, + "B": 0.017283594235777855, + "C": 0.7349171042442322, + "D": 0.13594600558280945 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой организм будет есть рыбу и жить в болотистой местности?", + "option_a": "дерево", + "option_b": "кит", + "option_c": "аллигатор", + "option_d": "бородавочник" + }, + "outputs": "C", + "meta": { + "id": 1114 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой организм будет есть рыбу и жить в болотистой местности?\nA) дерево\nB) кит\nC) аллигатор\nD) бородавочник\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.17306317389011383, + "B": 0.07679631561040878, + "C": 0.23654933273792267, + "D": 0.4419323205947876 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто использует глаза, чтобы видеть, ощущая свет?", + "option_a": "деревья", + "option_b": "слоны", + "option_c": "черви", + "option_d": "водоросли" + }, + "outputs": "B", + "meta": { + "id": 1095 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто использует глаза, чтобы видеть, ощущая свет?\nA. деревья\nB. слоны\nC. черви\nD. водоросли\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.022236177697777748, + "B": 0.8882209062576294, + "C": 0.017317552119493484, + "D": 0.023670285940170288 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растениям это необходимо для роста", + "option_a": "искусственные удобрения", + "option_b": "H2O", + "option_c": "любые неорганические вещества", + "option_d": "низкие температуры" + }, + "outputs": "B", + "meta": { + "id": 767 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРастениям это необходимо для роста\nA. искусственные удобрения\nB. H2O\nC. любые неорганические вещества\nD. низкие температуры\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2003997564315796, + "B": 0.12938781082630157, + "C": 0.3304033577442169, + "D": 0.257318377494812 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Звук можно услышать следующим образом:", + "option_a": "поесть из миски", + "option_b": "переместить картонную коробку", + "option_c": "уронить кастрюли и сковороды", + "option_d": "переставить небольшую пластиковую чашку" + }, + "outputs": "C", + "meta": { + "id": 1752 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Звук можно услышать следующим образом:\nA) поесть из миски\nB) переместить картонную коробку\nC) уронить кастрюли и сковороды\nD) переставить небольшую пластиковую чашку\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0751485675573349, + "B": 0.01900053396821022, + "C": 0.10271591693162918, + "D": 0.7589736580848694 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "когда организмы умирают, они", + "option_a": "производят потомство", + "option_b": "регенерируют", + "option_c": "окаменевают", + "option_d": "погибают" + }, + "outputs": "D", + "meta": { + "id": 930 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nкогда организмы умирают, они\nA. производят потомство\nB. регенерируют\nC. окаменевают\nD. погибают\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.24322561919689178, + "B": 0.13018929958343506, + "C": 0.35389116406440735, + "D": 0.17794765532016754 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая система считается замкнутой электрической цепью?", + "option_a": "работающий холодильник", + "option_b": "аккумулятор, извлеченный из игрушки", + "option_c": "заведенные часы", + "option_d": "перегоревший предохранитель" + }, + "outputs": "A", + "meta": { + "id": 1985 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая система считается замкнутой электрической цепью?\nA. работающий холодильник\nB. аккумулятор, извлеченный из игрушки\nC. заведенные часы\nD. перегоревший предохранитель\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.15766538679599762, + "B": 0.13913922011852264, + "C": 0.3135550618171692, + "D": 0.3135550618171692 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если студенту нужно согреться, что из этого поможет?", + "option_a": "все предложенные способы", + "option_b": "посидеть у камина", + "option_c": "посидеть рядом с работающим двигателем", + "option_d": "включить обогреватель в помещении" + }, + "outputs": "A", + "meta": { + "id": 903 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли студенту нужно согреться, что из этого поможет?\nA) все предложенные способы\nB) посидеть у камина\nC) посидеть рядом с работающим двигателем\nD) включить обогреватель в помещении\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.441204696893692, + "B": 0.25139084458351135, + "C": 0.13455982506275177, + "D": 0.07202468812465668 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда сопротивление возрастает, что легче сделать?", + "option_a": "сбавить скорость", + "option_b": "ускориться", + "option_c": "разогнаться", + "option_d": "взлететь" + }, + "outputs": "A", + "meta": { + "id": 105 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда сопротивление возрастает, что легче сделать?\nA) сбавить скорость\nB) ускориться\nC) разогнаться\nD) взлететь\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.13420715928077698, + "B": 0.23554089665412903, + "C": 0.32194623351097107, + "D": 0.2507319748401642 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Худшее место, где можно оставить шоколадный батончик, - это", + "option_a": "холодильник", + "option_b": "солнечный пляж", + "option_c": "морозильная камера", + "option_d": "шкаф" + }, + "outputs": "B", + "meta": { + "id": 1940 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nХудшее место, где можно оставить шоколадный батончик, - это\nA) холодильник\nB) солнечный пляж\nC) морозильная камера\nD) шкаф\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.22268648445606232, + "B": 0.28593510389328003, + "C": 0.16292090713977814, + "D": 0.23704853653907776 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком состоянии рептилии долго и неподвижно лежат в одном месте?", + "option_a": "овальные белые", + "option_b": "на камнях", + "option_c": "в грязи", + "option_d": "живые молодые" + }, + "outputs": "A", + "meta": { + "id": 2199 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каком состоянии рептилии долго и неподвижно лежат в одном месте?\nA. овальные белые\nB. на камнях\nC. в грязи\nD. живые молодые\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.01992662250995636, + "B": 0.015518869273364544, + "C": 0.034972310066223145, + "D": 0.9019477963447571 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего нужны гайки и болты велосипеду?", + "option_a": "в качестве еды", + "option_b": "для скрипа", + "option_c": "низачем", + "option_d": "для скрепления конструкции" + }, + "outputs": "D", + "meta": { + "id": 987 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДля чего нужны гайки и болты велосипеду?\nA) в качестве еды\nB) для скрипа\nC) низачем\nD) для скрепления конструкции\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.02700563706457615, + "B": 0.019757745787501335, + "C": 0.8943038582801819, + "D": 0.02103201113641262 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Летучие мыши используют органы сбоку от головы, чтобы", + "option_a": "поднимать свои солнцезащитные очки", + "option_b": "получать короткие радиоимпульсы", + "option_c": "создавать подъемную силу для полета", + "option_d": "привлекать потенциального партнера" + }, + "outputs": "B", + "meta": { + "id": 7 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛетучие мыши используют органы сбоку от головы, чтобы\nA. поднимать свои солнцезащитные очки\nB. получать короткие радиоимпульсы\nC. создавать подъемную силу для полета\nD. привлекать потенциального партнера\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06843750178813934, + "B": 0.0162553321570158, + "C": 0.8337394595146179, + "D": 0.03441254049539566 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дыхание - это когда легкие преобразуют кислород из вдыхаемого воздуха в", + "option_a": "гемоглобин и оксид азота в крови", + "option_b": "частицы глюкозы в крови", + "option_c": "кислород, попадающий из респираторных бронхиол через альвеолы в кровь для транспортировки белком гемоглобин", + "option_d": "оксид углерода в крови" + }, + "outputs": "C", + "meta": { + "id": 21 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДыхание - это когда легкие преобразуют кислород из вдыхаемого воздуха в\nA) гемоглобин и оксид азота в крови\nB) частицы глюкозы в крови\nC) кислород, попадающий из респираторных бронхиол через альвеолы в кровь для транспортировки белком гемоглобин\nD) оксид углерода в крови\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 478, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.10966335982084274, + "B": 0.4337269961833954, + "C": 0.14989204704761505, + "D": 0.24713018536567688 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Расплавленная порода под поверхностью называется магмой, и когда она появляется, в какой области она называется лавой?", + "option_a": "в гейзере", + "option_b": "на склонах вулкана", + "option_c": "в любой области над землей", + "option_d": "в любой области под землей" + }, + "outputs": "C", + "meta": { + "id": 1676 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРасплавленная порода под поверхностью называется магмой, и когда она появляется, в какой области она называется лавой?\nA) в гейзере\nB) на склонах вулкана\nC) в любой области над землей\nD) в любой области под землей\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.22734566032886505, + "B": 0.18847617506980896, + "C": 0.291917622089386, + "D": 0.18847617506980896 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, скорее всего, вызовет дрожь у животного?", + "option_a": "8 градусов по Цельсию", + "option_b": "42 градуса по Фаренгейту", + "option_c": "6 градусов по Цельсию", + "option_d": "5 градусов по Цельсию" + }, + "outputs": "D", + "meta": { + "id": 265 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, скорее всего, вызовет дрожь у животного?\nA. 8 градусов по Цельсию\nB. 42 градуса по Фаренгейту\nC. 6 градусов по Цельсию\nD. 5 градусов по Цельсию\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.3425639867782593, + "B": 0.04636099189519882, + "C": 0.3425639867782593, + "D": 0.13414998352527618 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сдайте картонную коробку в переработку вместо того, чтобы выбрасывать", + "option_a": "сэкономьте энергию на будущее", + "option_b": "сохраните редкие виды диких животных", + "option_c": "уменьшите высоту свалок", + "option_d": "сохраните чистым мусорное ведро" + }, + "outputs": "C", + "meta": { + "id": 2322 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСдайте картонную коробку в переработку вместо того, чтобы выбрасывать\nA. сэкономьте энергию на будущее\nB. сохраните редкие виды диких животных\nC. уменьшите высоту свалок\nD. сохраните чистым мусорное ведро\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.2365386188030243, + "B": 0.19609740376472473, + "C": 0.19609740376472473, + "D": 0.2517940402030945 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку июнь в Австралии холодный и влажный, имеет смысл утверждать, что в то же время", + "option_a": "в Москве будет дождь", + "option_b": "в Астрахани не будет снега", + "option_c": "в Санкт-Петербурге будет бушевать зима", + "option_d": "повсюду в мире будет холодно" + }, + "outputs": "B", + "meta": { + "id": 1685 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПоскольку июнь в Австралии холодный и влажный, имеет смысл утверждать, что в то же время\nA. в Москве будет дождь\nB. в Астрахани не будет снега\nC. в Санкт-Петербурге будет бушевать зима\nD. повсюду в мире будет холодно\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.36768946051597595, + "B": 0.10534480214118958, + "C": 0.2863568365573883, + "D": 0.08733391016721725 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Существо, обладающее большими физическими возможностями, скорее всего", + "option_a": "обладает фантастическим здоровьем", + "option_b": "обладает плохим здоровьем", + "option_c": "вряд ли будет здоровым", + "option_d": "редко будет здоровым" + }, + "outputs": "A", + "meta": { + "id": 1122 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСущество, обладающее большими физическими возможностями, скорее всего\nA. обладает фантастическим здоровьем\nB. обладает плохим здоровьем\nC. вряд ли будет здоровым\nD. редко будет здоровым\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.14562562108039856, + "B": 0.0940229743719101, + "C": 0.05702780932188034, + "D": 0.6526487469673157 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Водоочистные сооружения кипятили всю воду, которая к ним поступала, для чего?", + "option_a": "добавить кислород", + "option_b": "добавить пользы для здоровья", + "option_c": "перемешать воду", + "option_d": "удалить вредные микробы" + }, + "outputs": "D", + "meta": { + "id": 1647 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Водоочистные сооружения кипятили всю воду, которая к ним поступала, для чего?\nA) добавить кислород\nB) добавить пользы для здоровья\nC) перемешать воду\nD) удалить вредные микробы\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03553040698170662, + "B": 0.8608229160308838, + "C": 0.019018054008483887, + "D": 0.024419667199254036 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "экосистемы остаются прежними?", + "option_a": "экосистемы всегда одни и те же", + "option_b": "они меняются со временем", + "option_c": "со временем они только растут", + "option_d": "экосистемы претерпевают очень незначительные изменения" + }, + "outputs": "B", + "meta": { + "id": 10 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nэкосистемы остаются прежними?\nA. экосистемы всегда одни и те же\nB. они меняются со временем\nC. со временем они только растут\nD. экосистемы претерпевают очень незначительные изменения\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.20510011911392212, + "B": 0.10313082486391068, + "C": 0.35996195673942566, + "D": 0.2473979890346527 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Источником тепла может быть", + "option_a": "холодная газировка", + "option_b": "кубик льда", + "option_c": "мини-фонарик", + "option_d": "снег" + }, + "outputs": "C", + "meta": { + "id": 2059 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИсточником тепла может быть\nA) холодная газировка\nB) кубик льда\nC) мини-фонарик\nD) снег\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.13490985333919525, + "B": 0.05623878911137581, + "C": 0.6046239733695984, + "D": 0.11905751377344131 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птицы строят гнезда из таких вещей, как", + "option_a": "целые стволы деревьев", + "option_b": "маленькие осколки стекла", + "option_c": "фрагменты растений", + "option_d": "несколько цветочных бутонов" + }, + "outputs": "C", + "meta": { + "id": 2209 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПтицы строят гнезда из таких вещей, как\nA. целые стволы деревьев\nB. маленькие осколки стекла\nC. фрагменты растений\nD. несколько цветочных бутонов\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3633405268192291, + "B": 0.09779178351163864, + "C": 0.1179594025015831, + "D": 0.34132686257362366 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пчела оказала ценную услугу", + "option_a": "дому", + "option_b": "камню", + "option_c": "воде", + "option_d": "розе" + }, + "outputs": "D", + "meta": { + "id": 2183 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПчела оказала ценную услугу\nA) дому\nB) камню\nC) воде\nD) розе\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15142378211021423, + "B": 0.41161248087882996, + "C": 0.19443197548389435, + "D": 0.17158560454845428 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лучшее время для барбекю в течение всего дня в северном полушарии -", + "option_a": "21 декабря", + "option_b": "конец июня", + "option_c": "зимнее солнцестояние", + "option_d": "где-то в январе" + }, + "outputs": "B", + "meta": { + "id": 1955 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лучшее время для барбекю в течение всего дня в северном полушарии -\nA) 21 декабря\nB) конец июня\nC) зимнее солнцестояние\nD) где-то в январе\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3925265073776245, + "B": 0.064078189432621, + "C": 0.2697792649269104, + "D": 0.1356535404920578 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что-то может быть классифицировано как удар, если", + "option_a": "была причинена боль", + "option_b": "кто-то впоследствии получит травму", + "option_c": "была поднята рука", + "option_d": "объекта коснулись" + }, + "outputs": "D", + "meta": { + "id": 17 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто-то может быть классифицировано как удар, если\nA. была причинена боль\nB. кто-то впоследствии получит травму\nC. была поднята рука\nD. объекта коснулись\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.12641924619674683, + "B": 0.683415949344635, + "C": 0.06356757879257202, + "D": 0.056098196655511856 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В пустынях, джунглях и океанах есть много разных", + "option_a": "рыб", + "option_b": "организмов", + "option_c": "деревьев", + "option_d": "травы" + }, + "outputs": "B", + "meta": { + "id": 612 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ пустынях, джунглях и океанах есть много разных\nA) рыб\nB) организмов\nC) деревьев\nD) травы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2731991410255432, + "B": 0.034733373671770096, + "C": 0.24109740555286407, + "D": 0.35079464316368103 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вращение Земли вызывает", + "option_a": "создание силы тяжести", + "option_b": "извержения вулканов", + "option_c": "чередование приливов", + "option_d": "чередование дня и ночи" + }, + "outputs": "D", + "meta": { + "id": 1818 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вращение Земли вызывает\nA. создание силы тяжести\nB. извержения вулканов\nC. чередование приливов\nD. чередование дня и ночи\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.24045825004577637, + "B": 0.27247491478919983, + "C": 0.24045825004577637, + "D": 0.16526438295841217 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Звук будет легче распространяться через", + "option_a": "планету", + "option_b": "небо", + "option_c": "тело", + "option_d": "солнце" + }, + "outputs": "B", + "meta": { + "id": 465 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗвук будет легче распространяться через\nA) планету\nB) небо\nC) тело\nD) солнце\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.16264137625694275, + "B": 0.1348344385623932, + "C": 0.500970721244812, + "D": 0.09864697605371475 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером какого типа поведения является крапивник, строящий дом?", + "option_a": "унаследованное", + "option_b": "хорошее", + "option_c": "усвоенное", + "option_d": "плохое" + }, + "outputs": "A", + "meta": { + "id": 49 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером какого типа поведения является крапивник, строящий дом?\nA. унаследованное\nB. хорошее\nC. усвоенное\nD. плохое\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2785867750644684, + "B": 0.0427226684987545, + "C": 0.48893505334854126, + "D": 0.07498062402009964 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Необходимость использовать зонтик может быть результатом", + "option_a": "испарения", + "option_b": "конденсации", + "option_c": "осадков", + "option_d": "столкновения" + }, + "outputs": "C", + "meta": { + "id": 1034 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНеобходимость использовать зонтик может быть результатом\nA. испарения\nB. конденсации\nC. осадков\nD. столкновения\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.2430265098810196, + "B": 0.2753851115703583, + "C": 0.22830228507518768, + "D": 0.17780199646949768 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, будет передавать особое тепло с помощью волн?", + "option_a": "кот", + "option_b": "ракета", + "option_c": "машина", + "option_d": "атомная бомба" + }, + "outputs": "D", + "meta": { + "id": 2130 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, вероятно, будет передавать особое тепло с помощью волн?\nA) кот\nB) ракета\nC) машина\nD) атомная бомба\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4655425250530243, + "B": 0.1608871966600418, + "C": 0.09167075157165527, + "D": 0.19406700134277344 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вторичное использование - это", + "option_a": "повторное использование подарочных пакетов снова и снова", + "option_b": "использование пластин из пенополистирола для каждого приема пищи", + "option_c": "выбрасывание пластиковых бутылок на свалку", + "option_d": "за рулем грузовика, потребляющего газ." + }, + "outputs": "A", + "meta": { + "id": 925 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВторичное использование - это\nA) повторное использование подарочных пакетов снова и снова\nB) использование пластин из пенополистирола для каждого приема пищи\nC) выбрасывание пластиковых бутылок на свалку\nD) за рулем грузовика, потребляющего газ.\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2954055666923523, + "B": 0.04822363331913948, + "C": 0.37930828332901, + "D": 0.179172545671463 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кому нужна энергия для выживания?", + "option_a": "воздух", + "option_b": "камни", + "option_c": "жирафы", + "option_d": "песок" + }, + "outputs": "C", + "meta": { + "id": 388 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКому нужна энергия для выживания?\nA. воздух\nB. камни\nC. жирафы\nD. песок\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.050277791917324066, + "B": 0.01632281020283699, + "C": 0.837200403213501, + "D": 0.05352042615413666 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком климате обитают теплолюбивые организмы?", + "option_a": "ледяной", + "option_b": "морозный", + "option_c": "летний", + "option_d": "холодный" + }, + "outputs": "C", + "meta": { + "id": 420 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каком климате обитают теплолюбивые организмы?\nA) ледяной\nB) морозный\nC) летний\nD) холодный\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.22305595874786377, + "B": 0.16319122910499573, + "C": 0.26905685663223267, + "D": 0.23744182288646698 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если объект подвергается химическому изменению, то этот объект будет иметь новые химические свойства, такие как", + "option_a": "напиток с водой в нем", + "option_b": "газировка с известью в нем", + "option_c": "туалет с отбеливателем в нем", + "option_d": "раковина с волосы в нем" + }, + "outputs": "B", + "meta": { + "id": 732 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если объект подвергается химическому изменению, то этот объект будет иметь новые химические свойства, такие как\nA. напиток с водой в нем\nB. газировка с известью в нем\nC. туалет с отбеливателем в нем\nD. раковина с волосы в нем\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 476, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2568911910057068, + "B": 0.1375039517879486, + "C": 0.2910958528518677, + "D": 0.18794560432434082 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Существо, которое неспособно к рождению уже живого потомства, - это", + "option_a": "медведь", + "option_b": "человек", + "option_c": "саламандра.", + "option_d": "бобр" + }, + "outputs": "C", + "meta": { + "id": 1053 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСущество, которое неспособно к рождению уже живого потомства, - это\nA. медведь\nB. человек\nC. саламандра.\nD. бобр\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7173711061477661, + "B": 0.04585999995470047, + "C": 0.05888540670275688, + "D": 0.055317722260951996 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Перекрывшая течение реки плотина создает дома для", + "option_a": "рыб", + "option_b": "спутников", + "option_c": "камней", + "option_d": "русалок" + }, + "outputs": "A", + "meta": { + "id": 1758 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПерекрывшая течение реки плотина создает дома для\nA) рыб\nB) спутников\nC) камней\nD) русалок\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 420, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.39020809531211853, + "B": 0.23667317628860474, + "C": 0.07218124717473984, + "D": 0.19620895385742188 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мяч, катящийся по ковру, будет двигаться ______, чем мяч, катящийся по бетону.", + "option_a": "скорее", + "option_b": "быстрее", + "option_c": "шумнее", + "option_d": "медленнее" + }, + "outputs": "D", + "meta": { + "id": 815 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мяч, катящийся по ковру, будет двигаться ______, чем мяч, катящийся по бетону.\nA) скорее\nB) быстрее\nC) шумнее\nD) медленнее\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13374555110931396, + "B": 0.6792159676551819, + "C": 0.06725148856639862, + "D": 0.06725148856639862 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Женщина хочет убедиться, что она сможет вспоминать события этого дня, когда она захочет, поэтому она", + "option_a": "приносит утюг", + "option_b": "приносит фотоаппарат", + "option_c": "приносит книгу", + "option_d": "приносит обед" + }, + "outputs": "B", + "meta": { + "id": 579 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖенщина хочет убедиться, что она сможет вспоминать события этого дня, когда она захочет, поэтому она\nA) приносит утюг\nB) приносит фотоаппарат\nC) приносит книгу\nD) приносит обед\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1118910163640976, + "B": 0.03866850212216377, + "C": 0.6854155659675598, + "D": 0.10511188954114914 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В переваривании чего бактерии чаще всего могут помочь человеку?", + "option_a": "пластик", + "option_b": "медь", + "option_c": "питательные вещества", + "option_d": "камни" + }, + "outputs": "C", + "meta": { + "id": 1553 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ переваривании чего бактерии чаще всего могут помочь человеку?\nA. пластик\nB. медь\nC. питательные вещества\nD. камни\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.41551876068115234, + "B": 0.32360634207725525, + "C": 0.06783156841993332, + "D": 0.08709745854139328 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, застрявший в тундре, может", + "option_a": "погибнуть", + "option_b": "почувствовать тепло", + "option_c": "летать", + "option_d": "перегреться" + }, + "outputs": "A", + "meta": { + "id": 603 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек, застрявший в тундре, может\nA) погибнуть\nB) почувствовать тепло\nC) летать\nD) перегреться\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.17062118649482727, + "B": 0.17062118649482727, + "C": 0.33932074904441833, + "D": 0.20580843091011047 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда старик был намного моложе, у него уже были", + "option_a": "карие глаза", + "option_b": "облысение", + "option_c": "седые волосы", + "option_d": "морщинистая кожа" + }, + "outputs": "A", + "meta": { + "id": 2156 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда старик был намного моложе, у него уже были\nA. карие глаза\nB. облысение\nC. седые волосы\nD. морщинистая кожа\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.41464337706565857, + "B": 0.22194261848926544, + "C": 0.07670131325721741, + "D": 0.12645907700061798 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из этих характеристик животных обычно определяются факторами окружающей среды, а не наследственностью?", + "option_a": "цвет глаз", + "option_b": "цвет шерсти", + "option_c": "количество хромосом", + "option_d": "длина шерсти" + }, + "outputs": "D", + "meta": { + "id": 534 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие из этих характеристик животных обычно определяются факторами окружающей среды, а не наследственностью?\nA. цвет глаз\nB. цвет шерсти\nC. количество хромосом\nD. длина шерсти\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.2518273591995239, + "B": 0.23656992614269257, + "C": 0.22223687171936035, + "D": 0.2087722271680832 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое логичное предположение можно сделать, увидев лужу белого вещества на полу магазина и пустой коробки на прилавке?", + "option_a": "пролился белый сок", + "option_b": "пролилось молоко", + "option_c": "пролилась кола", + "option_d": "это иллюзия" + }, + "outputs": "B", + "meta": { + "id": 487 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое логичное предположение можно сделать, увидев лужу белого вещества на полу магазина и пустой коробки на прилавке?\nA) пролился белый сок\nB) пролилось молоко\nC) пролилась кола\nD) это иллюзия\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.570128858089447, + "B": 0.04396361857652664, + "C": 0.1738794595003128, + "D": 0.04679902642965317 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, может содержаться в осадочной породе?", + "option_a": "трилобит", + "option_b": "печенье", + "option_c": "коктейль из пырея", + "option_d": "закусочная" + }, + "outputs": "A", + "meta": { + "id": 98 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что, вероятно, может содержаться в осадочной породе?\nA. трилобит\nB. печенье\nC. коктейль из пырея\nD. закусочная\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.18210597336292267, + "B": 0.11045285314321518, + "C": 0.4368495047092438, + "D": 0.18210597336292267 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отходы человеческого дыхания", + "option_a": "- жизненно важный ресурс для свиней", + "option_b": "- жизненно важный ресурс для нарциссов", + "option_c": "- жизненно важный ресурс для океанов", + "option_d": "- жизненно важный ресурс для пчел" + }, + "outputs": "B", + "meta": { + "id": 1708 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Отходы человеческого дыхания\nA. - жизненно важный ресурс для свиней\nB. - жизненно важный ресурс для нарциссов\nC. - жизненно важный ресурс для океанов\nD. - жизненно важный ресурс для пчел\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.26937809586524963, + "B": 0.08745425939559937, + "C": 0.3919427990913391, + "D": 0.11953578889369965 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Свет преломляется, когда", + "option_a": "он отражается от ложки", + "option_b": "он светит в зеркало", + "option_c": "он светит на драгоценный камень", + "option_d": "он отражается от машины" + }, + "outputs": "C", + "meta": { + "id": 984 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Свет преломляется, когда\nA. он отражается от ложки\nB. он светит в зеркало\nC. он светит на драгоценный камень\nD. он отражается от машины\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.14952504634857178, + "B": 0.1027669683098793, + "C": 0.49027377367019653, + "D": 0.20437651872634888 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы можете сообщить кому-нибудь, что находитесь у двери, благодаря", + "option_a": "лимонаду", + "option_b": "машинам", + "option_c": "звонку", + "option_d": "траве" + }, + "outputs": "C", + "meta": { + "id": 1384 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вы можете сообщить кому-нибудь, что находитесь у двери, благодаря\nA. лимонаду\nB. машинам\nC. звонку\nD. траве\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1733693778514862, + "B": 0.049671150743961334, + "C": 0.4712667763233185, + "D": 0.25225093960762024 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По орбите чего вращается Земля, вызывая смену времен года?", + "option_a": "Венера", + "option_b": "плазменная звезда", + "option_c": "Нептун", + "option_d": "Плутон" + }, + "outputs": "B", + "meta": { + "id": 722 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: По орбите чего вращается Земля, вызывая смену времен года?\nA) Венера\nB) плазменная звезда\nC) Нептун\nD) Плутон\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3723408281803131, + "B": 0.2121533900499344, + "C": 0.10667743533849716, + "D": 0.19929969310760498 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером химического изменения являются вещества, расщепляющие кислоту, другой пример химического изменения -", + "option_a": "мука, добавленная к соли", + "option_b": "лимонный сок, добавленный в молоко", + "option_c": "кукуруза, добавленная в суп", + "option_d": "молоко, добавленное к воде" + }, + "outputs": "B", + "meta": { + "id": 311 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером химического изменения являются вещества, расщепляющие кислоту, другой пример химического изменения -\nA) мука, добавленная к соли\nB) лимонный сок, добавленный в молоко\nC) кукуруза, добавленная в суп\nD) молоко, добавленное к воде\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.18936827778816223, + "B": 0.3323516845703125, + "C": 0.27552923560142517, + "D": 0.12226536870002747 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С добавлением двигателей ваш поступательный импульс", + "option_a": "останется прежним", + "option_b": "увеличится", + "option_c": "уменьшится", + "option_d": "застопорит вас" + }, + "outputs": "B", + "meta": { + "id": 1443 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: С добавлением двигателей ваш поступательный импульс\nA. останется прежним\nB. увеличится\nC. уменьшится\nD. застопорит вас\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.028852928429841995, + "B": 0.8432061672210693, + "C": 0.032694652676582336, + "D": 0.032694652676582336 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Цунами", + "option_a": "оказывают незначительное воздействие на окружающую среду", + "option_b": "могут изменять береговые линии", + "option_c": "могут быть легко остановлены", + "option_d": "могут способствовать экономическому росту" + }, + "outputs": "B", + "meta": { + "id": 2008 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЦунами\nA. оказывают незначительное воздействие на окружающую среду\nB. могут изменять береговые линии\nC. могут быть легко остановлены\nD. могут способствовать экономическому росту\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.20253971219062805, + "B": 0.22950756549835205, + "C": 0.3339315354824066, + "D": 0.13920336961746216 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Алеша оглядывается на степь, там безоблачно, но солнца нигде не видно. Сейчас", + "option_a": "полдень", + "option_b": "ночь", + "option_c": "позднее утро", + "option_d": "обед" + }, + "outputs": "B", + "meta": { + "id": 1165 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Алеша оглядывается на степь, там безоблачно, но солнца нигде не видно. Сейчас\nA. полдень\nB. ночь\nC. позднее утро\nD. обед\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5752346515655518, + "B": 0.08287041634321213, + "C": 0.12057573348283768, + "D": 0.06870198249816895 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что наносит вред биологическому виду?", + "option_a": "уменьшение популяции", + "option_b": "ничего", + "option_c": "рост популяции", + "option_d": "изменение внешнего вида" + }, + "outputs": "A", + "meta": { + "id": 1406 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что наносит вред биологическому виду?\nA. уменьшение популяции\nB. ничего\nC. рост популяции\nD. изменение внешнего вида\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3899165689945221, + "B": 0.08700215071439743, + "C": 0.23649635910987854, + "D": 0.17302443087100983 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что с ним нужно делать, чтобы безопасно есть мясо?", + "option_a": "сильно повысить его температуру", + "option_b": "повыше его положить", + "option_c": "положить на него лед", + "option_d": "снизить его температуру" + }, + "outputs": "A", + "meta": { + "id": 329 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто с ним нужно делать, чтобы безопасно есть мясо?\nA) сильно повысить его температуру\nB) повыше его положить\nC) положить на него лед\nD) снизить его температуру\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7207959294319153, + "B": 0.03820078447461128, + "C": 0.05916653200984001, + "D": 0.02794829197227955 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вырубка дерева", + "option_a": "прекращает его способность расти", + "option_b": "заставляет его расти в 10 раз больше", + "option_c": "уменьшать вероятность вырубки леса", + "option_d": "заставляет дерево процветать" + }, + "outputs": "A", + "meta": { + "id": 1639 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вырубка дерева\nA. прекращает его способность расти\nB. заставляет его расти в 10 раз больше\nC. уменьшать вероятность вырубки леса\nD. заставляет дерево процветать\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.1526189148426056, + "B": 0.5004181861877441, + "C": 0.11885973811149597, + "D": 0.1624619960784912 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лиза хочет узнать площадь прямоугольного листа бумаги. Размер бумаги ей неизвестен. Какой инструментом ей понадобится?", + "option_a": "транспортир", + "option_b": "циркуль", + "option_c": "калькулятор", + "option_d": "линейка" + }, + "outputs": "D", + "meta": { + "id": 1783 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лиза хочет узнать площадь прямоугольного листа бумаги. Размер бумаги ей неизвестен. Какой инструментом ей понадобится?\nA) транспортир\nB) циркуль\nC) калькулятор\nD) линейка\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1949225217103958, + "B": 0.04928412660956383, + "C": 0.14260835945606232, + "D": 0.564026951789856 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, как достигается таяние, лучше всего можно увидеть на примере", + "option_a": "приготовления тушеного мяса в мультиварке", + "option_b": "использования духовки для нагрева пиццы", + "option_c": "использования плиты для подогрева замороженных овощей", + "option_d": "использования фена для превращения льда в воду" + }, + "outputs": "D", + "meta": { + "id": 1682 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТо, как достигается таяние, лучше всего можно увидеть на примере\nA. приготовления тушеного мяса в мультиварке\nB. использования духовки для нагрева пиццы\nC. использования плиты для подогрева замороженных овощей\nD. использования фена для превращения льда в воду\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.15979452431201935, + "B": 0.08553184568881989, + "C": 0.408049613237381, + "D": 0.26345664262771606 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Конденсация в течение ночи", + "option_a": "приводит к чрезвычайно засушливым условиям", + "option_b": "вызывает появление гололеда на мостах", + "option_c": "вызывает увядание и гибель растений", + "option_d": "может сделать траву скользкой" + }, + "outputs": "D", + "meta": { + "id": 399 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКонденсация в течение ночи\nA. приводит к чрезвычайно засушливым условиям\nB. вызывает появление гололеда на мостах\nC. вызывает увядание и гибель растений\nD. может сделать траву скользкой\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.5447226166725159, + "B": 0.12154404819011688, + "C": 0.1141800656914711, + "D": 0.07372018694877625 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ребенок будет расти, только если он будет обеспечен", + "option_a": "образованием", + "option_b": "энергией", + "option_c": "вдохновением", + "option_d": "кроватью" + }, + "outputs": "B", + "meta": { + "id": 276 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРебенок будет расти, только если он будет обеспечен\nA) образованием\nB) энергией\nC) вдохновением\nD) кроватью\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.04004442319273949, + "B": 0.027522101998329163, + "C": 0.04004442319273949, + "D": 0.8561874628067017 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему у белого медведя шерсть без пигментного окрашивания?", + "option_a": "чтобы выглядеть модно", + "option_b": "чтобы выделяться", + "option_c": "случайно", + "option_d": "чтобы быть незаметным на фоне снега и льда" + }, + "outputs": "D", + "meta": { + "id": 1600 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Почему у белого медведя шерсть без пигментного окрашивания?\nA. чтобы выглядеть модно\nB. чтобы выделяться\nC. случайно\nD. чтобы быть незаметным на фоне снега и льда\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1405828595161438, + "B": 0.5918759703636169, + "C": 0.07524857670068741, + "D": 0.13206537067890167 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если нечто причиняет вред какому-либо виду животных, то что оно делает с их численностью?", + "option_a": "приводит к взрывному росту", + "option_b": "снижает", + "option_c": "поднимает", + "option_d": "незначительно увеличивает" + }, + "outputs": "B", + "meta": { + "id": 1225 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если нечто причиняет вред какому-либо виду животных, то что оно делает с их численностью?\nA. приводит к взрывному росту\nB. снижает\nC. поднимает\nD. незначительно увеличивает\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.41283002495765686, + "B": 0.09211483597755432, + "C": 0.2075839787721634, + "D": 0.13402628898620605 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплое стекло в холодильнике", + "option_a": "покрывается конденсатом", + "option_b": "тлеет", + "option_c": "усаживается", + "option_d": "трескается" + }, + "outputs": "A", + "meta": { + "id": 878 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Теплое стекло в холодильнике\nA) покрывается конденсатом\nB) тлеет\nC) усаживается\nD) трескается\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.17524246871471405, + "B": 0.03450728580355644, + "C": 0.4763583838939667, + "D": 0.2549762725830078 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего питательные вещества служат источником энергии?", + "option_a": "киты", + "option_b": "вода", + "option_c": "звезды", + "option_d": "пластиды" + }, + "outputs": "A", + "meta": { + "id": 986 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего питательные вещества служат источником энергии?\nA. киты\nB. вода\nC. звезды\nD. пластиды\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5060174465179443, + "B": 0.06043516844511032, + "C": 0.18615344166755676, + "D": 0.09360381960868835 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем лучше разрыхлена почва, тем больше в ней…", + "option_a": "воздуха", + "option_b": "грязи", + "option_c": "воды", + "option_d": "жуков" + }, + "outputs": "A", + "meta": { + "id": 999 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧем лучше разрыхлена почва, тем больше в ней…\nA. воздуха\nB. грязи\nC. воды\nD. жуков\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5463957786560059, + "B": 0.18882933259010315, + "C": 0.08379250764846802, + "D": 0.10107305645942688 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В почве, где роются эти безногие существа, находится серия небольших отверстий, ведущих в разные места:", + "option_a": "дождевые черви", + "option_b": "кроты", + "option_c": "лягушки", + "option_d": "саламандры" + }, + "outputs": "A", + "meta": { + "id": 2307 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ почве, где роются эти безногие существа, находится серия небольших отверстий, ведущих в разные места:\nA) дождевые черви\nB) кроты\nC) лягушки\nD) саламандры\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.283885657787323, + "B": 0.3021946847438812, + "C": 0.16175317764282227, + "D": 0.1427466720342636 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где на нашей планете у человека будет самая маленькая тень в полдень?", + "option_a": "полярный круг", + "option_b": "около экватора", + "option_c": "северный полюс", + "option_d": "южный полюс" + }, + "outputs": "B", + "meta": { + "id": 2018 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде на нашей планете у человека будет самая маленькая тень в полдень?\nA. полярный круг\nB. около экватора\nC. северный полюс\nD. южный полюс\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.2717113494873047, + "B": 0.11326614767313004, + "C": 0.145436629652977, + "D": 0.39533770084381104 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мне было бы труднее скользить в носках по", + "option_a": "мохнатому ковру", + "option_b": "мраморному полу", + "option_c": "деревянному полу", + "option_d": "льду" + }, + "outputs": "A", + "meta": { + "id": 1611 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мне было бы труднее скользить в носках по\nA) мохнатому ковру\nB) мраморному полу\nC) деревянному полу\nD) льду\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1985265165567398, + "B": 0.476240336894989, + "C": 0.053432684391736984, + "D": 0.18649838864803314 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что громче?", + "option_a": "нежный поцелуй", + "option_b": "рев мотора", + "option_c": "шепот", + "option_d": "чихание блохи" + }, + "outputs": "B", + "meta": { + "id": 1028 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что громче?\nA. нежный поцелуй\nB. рев мотора\nC. шепот\nD. чихание блохи\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.11976435780525208, + "B": 0.5713638067245483, + "C": 0.05314511060714722, + "D": 0.18549466133117676 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является частью экологической системы?", + "option_a": "пульсары", + "option_b": "водопады", + "option_c": "черные дыры", + "option_d": "астероиды" + }, + "outputs": "B", + "meta": { + "id": 336 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что является частью экологической системы?\nA) пульсары\nB) водопады\nC) черные дыры\nD) астероиды\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06019210442900658, + "B": 0.044037483632564545, + "C": 0.688862144947052, + "D": 0.14439335465431213 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ледники могут скрывать внутри", + "option_a": "магию", + "option_b": "чувства", + "option_c": "подледные реки", + "option_d": "эмоции" + }, + "outputs": "C", + "meta": { + "id": 1213 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛедники могут скрывать внутри\nA. магию\nB. чувства\nC. подледные реки\nD. эмоции\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.17250603437423706, + "B": 0.10463020205497742, + "C": 0.3887483477592468, + "D": 0.25099480152130127 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда наиболее вероятен туман", + "option_a": "15:00", + "option_b": "полдень", + "option_c": "18:00", + "option_d": "полночь" + }, + "outputs": "D", + "meta": { + "id": 636 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда наиболее вероятен туман\nA) 15:00\nB) полдень\nC) 18:00\nD) полночь\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.10470747947692871, + "B": 0.6025499701499939, + "C": 0.11864911764860153, + "D": 0.11146054416894913 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Младенец хочет переместить мяч, поэтому он смотрит на мяч, а тот отказывается двигаться. Младенец берет свою руку и касается мяча, и", + "option_a": "младенец плачет", + "option_b": "происходит движение", + "option_c": "движение прекращается", + "option_d": "люди плачут" + }, + "outputs": "B", + "meta": { + "id": 2323 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМладенец хочет переместить мяч, поэтому он смотрит на мяч, а тот отказывается двигаться. Младенец берет свою руку и касается мяча, и\nA) младенец плачет\nB) происходит движение\nC) движение прекращается\nD) люди плачут\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4536052346229553, + "B": 0.11468936502933502, + "C": 0.12208619713783264, + "D": 0.1567617803812027 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У нового щенка Тишки были висячие уши. Это могло быть из-за того, что", + "option_a": "у матери щенка были уши, которые выглядели так же", + "option_b": "Щенок был глухим", + "option_c": "Щенок устал", + "option_d": "У щенка отсутствовали кости в ушах" + }, + "outputs": "A", + "meta": { + "id": 421 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ нового щенка Тишки были висячие уши. Это могло быть из-за того, что\nA. у матери щенка были уши, которые выглядели так же\nB. Щенок был глухим\nC. Щенок устал\nD. У щенка отсутствовали кости в ушах\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1969454437494278, + "B": 0.03643123805522919, + "C": 0.5353531241416931, + "D": 0.15338124334812164 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется обычная погода в каком-либо месте?", + "option_a": "тепло", + "option_b": "туман", + "option_c": "погодная норма", + "option_d": "видимость" + }, + "outputs": "C", + "meta": { + "id": 1138 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКак называется обычная погода в каком-либо месте?\nA. тепло\nB. туман\nC. погодная норма\nD. видимость\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.1979067474603653, + "B": 0.07280582189559937, + "C": 0.34733715653419495, + "D": 0.30652397871017456 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что горячее?", + "option_a": "снег на машине", + "option_b": "чашка чая со льдом", + "option_c": "бок кошки", + "option_d": "недавно использованный утюг" + }, + "outputs": "D", + "meta": { + "id": 1865 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто горячее?\nA) снег на машине\nB) чашка чая со льдом\nC) бок кошки\nD) недавно использованный утюг\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3973692059516907, + "B": 0.12119075655937195, + "C": 0.187703937292099, + "D": 0.1763315200805664 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы растения могли безопасно расти, на них используются пестициды. Когда на поля приходит паводок, что становится ядовитым?", + "option_a": "стоки", + "option_b": "фермеры", + "option_c": "кукуруза", + "option_d": "воздух" + }, + "outputs": "A", + "meta": { + "id": 1142 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы растения могли безопасно расти, на них используются пестициды. Когда на поля приходит паводок, что становится ядовитым?\nA. стоки\nB. фермеры\nC. кукуруза\nD. воздух\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08670293539762497, + "B": 0.033953357487916946, + "C": 0.0634332224726677, + "D": 0.772774875164032 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для фонарей требуются батарейки,", + "option_a": "чтобы сделать светлые светлые комнаты темнее", + "option_b": "чтобы соответствовать требованиям по весу", + "option_c": "чтобы использовать их в качестве оружия", + "option_d": "для правильного освещения объектов." + }, + "outputs": "D", + "meta": { + "id": 1817 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для фонарей требуются батарейки,\nA) чтобы сделать светлые светлые комнаты темнее\nB) чтобы соответствовать требованиям по весу\nC) чтобы использовать их в качестве оружия\nD) для правильного освещения объектов.\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3776644766330719, + "B": 0.08426833897829056, + "C": 0.24383851885795593, + "D": 0.1305173635482788 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Супермодель с большим носом, вероятно,", + "option_a": "является дочерью мамы или папы с большим носом", + "option_b": "съела животное с большим носом", + "option_c": "платила фотографу недостаточно", + "option_d": "ела много корма для собак" + }, + "outputs": "A", + "meta": { + "id": 2048 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСупермодель с большим носом, вероятно,\nA. является дочерью мамы или папы с большим носом\nB. съела животное с большим носом\nC. платила фотографу недостаточно\nD. ела много корма для собак\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.355226069688797, + "B": 0.11532501876354218, + "C": 0.355226069688797, + "D": 0.05798906087875366 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Такие материалы, как этанол, используются для производства электроэнергии. Какой именно?", + "option_a": "гидроэлектроэнергия", + "option_b": "энергия от сжигания топлива", + "option_c": "возобновляемая энергия", + "option_d": "энергия от фиксации углерода" + }, + "outputs": "B", + "meta": { + "id": 117 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТакие материалы, как этанол, используются для производства электроэнергии. Какой именно?\nA. гидроэлектроэнергия\nB. энергия от сжигания топлива\nC. возобновляемая энергия\nD. энергия от фиксации углерода\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15994448959827423, + "B": 0.10326792299747467, + "C": 0.5582610964775085, + "D": 0.09113361686468124 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков вкус воды после растворения в ней какого-либо вещества?", + "option_a": "водянистый", + "option_b": "такой же", + "option_c": "похожий на вкус растворенного объекта", + "option_d": "полный жизни" + }, + "outputs": "C", + "meta": { + "id": 1948 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Каков вкус воды после растворения в ней какого-либо вещества?\nA) водянистый\nB) такой же\nC) похожий на вкус растворенного объекта\nD) полный жизни\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.7430151104927063, + "B": 0.017474040389060974, + "C": 0.07356846332550049, + "D": 0.04462152719497681 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере увеличения размера цветка", + "option_a": "все больше пчел посещают окружающие его цветы", + "option_b": "птицы съедят цветок", + "option_c": "цветок расцветает заново", + "option_d": "больше производителей меда будет привлечено к цветку" + }, + "outputs": "D", + "meta": { + "id": 1050 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПо мере увеличения размера цветка\nA) все больше пчел посещают окружающие его цветы\nB) птицы съедят цветок\nC) цветок расцветает заново\nD) больше производителей меда будет привлечено к цветку\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.26345333456993103, + "B": 0.07090750336647034, + "C": 0.2324967384338379, + "D": 0.317785382270813 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что могут отложить тающие ледники?", + "option_a": "груды кубиков льда", + "option_b": "груды сбитых с толку пингвинов", + "option_c": "груды коралловых рифов", + "option_d": "груды кристаллических твердых частиц" + }, + "outputs": "D", + "meta": { + "id": 453 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто могут отложить тающие ледники?\nA. груды кубиков льда\nB. груды сбитых с толку пингвинов\nC. груды коралловых рифов\nD. груды кристаллических твердых частиц\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.678921103477478, + "B": 0.049180883914232254, + "C": 0.06722229719161987, + "D": 0.05932346358895302 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Надвигается шторм, и небо заполнено темными облаками, которые", + "option_a": "несут осадки", + "option_b": "готовят наводнение", + "option_c": "тают", + "option_d": "снуют туда-сюда" + }, + "outputs": "A", + "meta": { + "id": 164 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Надвигается шторм, и небо заполнено темными облаками, которые\nA. несут осадки\nB. готовят наводнение\nC. тают\nD. снуют туда-сюда\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.2751370370388031, + "B": 0.1077452078461647, + "C": 0.2280966192483902, + "D": 0.2751370370388031 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что произойдет, если человек разорвет свой блокнот?", + "option_a": "все упомянутые варианты", + "option_b": "форма блокнота станет другой", + "option_c": "блокнот изменит свою структуру", + "option_d": "блокнот потеряет свою первоначальную форму" + }, + "outputs": "A", + "meta": { + "id": 963 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что произойдет, если человек разорвет свой блокнот?\nA) все упомянутые варианты\nB) форма блокнота станет другой\nC) блокнот изменит свою структуру\nD) блокнот потеряет свою первоначальную форму\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01393112912774086, + "B": 0.011549312621355057, + "C": 0.9174755215644836, + "D": 0.014829610474407673 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фабрики часто добавляют к окружающей среде что-то, что", + "option_a": "полезно", + "option_b": "продуктивно", + "option_c": "загрязняет", + "option_d": "дезинфицирует" + }, + "outputs": "C", + "meta": { + "id": 1982 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Фабрики часто добавляют к окружающей среде что-то, что\nA) полезно\nB) продуктивно\nC) загрязняет\nD) дезинфицирует\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0957287922501564, + "B": 0.02006584405899048, + "C": 0.4566965103149414, + "D": 0.37861472368240356 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем цветы привлекают колибри", + "option_a": "возможность ночного доступа", + "option_b": "колючие шипы", + "option_c": "расположение под оптимальным углом", + "option_d": "тусклые, приглушенные цвета" + }, + "outputs": "C", + "meta": { + "id": 555 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чем цветы привлекают колибри\nA) возможность ночного доступа\nB) колючие шипы\nC) расположение под оптимальным углом\nD) тусклые, приглушенные цвета\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.21160243451595306, + "B": 0.22524961829185486, + "C": 0.23977696895599365, + "D": 0.22524961829185486 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое число, вероятно, является наследственной характеристикой человека?", + "option_a": "5 любимых рубашек", + "option_b": "15 друзей", + "option_c": "10 собак", + "option_d": "1 м 80 см" + }, + "outputs": "D", + "meta": { + "id": 2193 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое число, вероятно, является наследственной характеристикой человека?\nA. 5 любимых рубашек\nB. 15 друзей\nC. 10 собак\nD. 1 м 80 см\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.11695300787687302, + "B": 0.11695300787687302, + "C": 0.3179112672805786, + "D": 0.3834741711616516 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из этих предметов необходимо объединить с рекой для получения энергии?", + "option_a": "шоколад", + "option_b": "бетонные глыбы", + "option_c": "снег", + "option_d": "лед" + }, + "outputs": "B", + "meta": { + "id": 310 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие из этих предметов необходимо объединить с рекой для получения энергии?\nA) шоколад\nB) бетонные глыбы\nC) снег\nD) лед\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.11248914897441864, + "B": 0.13568781316280365, + "C": 0.16367074847221375, + "D": 0.5366557240486145 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если Игорь играет в баскетбол и обнаруживает, что его кожа становится влажной и неприятно пахнущей, это может быть потому, что", + "option_a": ") девочки, наблюдающие за его игрой, думают, что он выглядит круто", + "option_b": "его сердце бьется слишком быстро", + "option_c": "его тело слишком холодное", + "option_d": "его тело пытается снизить температуру" + }, + "outputs": "D", + "meta": { + "id": 1766 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если Игорь играет в баскетбол и обнаруживает, что его кожа становится влажной и неприятно пахнущей, это может быть потому, что\nA) ) девочки, наблюдающие за его игрой, думают, что он выглядит круто\nB) его сердце бьется слишком быстро\nC) его тело слишком холодное\nD) его тело пытается снизить температуру\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 486, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.19161875545978546, + "B": 0.09051428735256195, + "C": 0.43181952834129333, + "D": 0.19161875545978546 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Энергия может передаваться объекту без подключения к сети, например, с", + "option_a": "электрическим грилем", + "option_b": "электрической плитой", + "option_c": "микроволновой печью.", + "option_d": "газовой горелкой" + }, + "outputs": "D", + "meta": { + "id": 2256 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Энергия может передаваться объекту без подключения к сети, например, с\nA) электрическим грилем\nB) электрической плитой\nC) микроволновой печью.\nD) газовой горелкой\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.10521475225687027, + "B": 0.3909202218055725, + "C": 0.1192239299416542, + "D": 0.3240842819213867 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где летнее солнцестояние приходится на 21 июня?", + "option_a": "на юге Тихого океана", + "option_b": "на Экваторе около тропиков", + "option_c": "в Южном полушарии Земли", + "option_d": "в Северном полушарии Земли" + }, + "outputs": "D", + "meta": { + "id": 594 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где летнее солнцестояние приходится на 21 июня?\nA. на юге Тихого океана\nB. на Экваторе около тропиков\nC. в Южном полушарии Земли\nD. в Северном полушарии Земли\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.23409639298915863, + "B": 0.09167347103357315, + "C": 0.31997185945510864, + "D": 0.2652660012245178 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Триста шестьдесят пять оборотов Земли - это", + "option_a": "более двух лет", + "option_b": "очень долгий период", + "option_c": "почти половина жизни", + "option_d": "удвоенная половина календарного года" + }, + "outputs": "D", + "meta": { + "id": 744 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТриста шестьдесят пять оборотов Земли - это\nA. более двух лет\nB. очень долгий период\nC. почти половина жизни\nD. удвоенная половина календарного года\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1959577053785324, + "B": 0.0720888152718544, + "C": 0.47007811069488525, + "D": 0.18408523499965668 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда земля трясется, это вызовет", + "option_a": "тряску солнца", + "option_b": "тряску самолета", + "option_c": "тряску крыши", + "option_d": "тряску рыбы" + }, + "outputs": "C", + "meta": { + "id": 1656 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда земля трясется, это вызовет\nA) тряску солнца\nB) тряску самолета\nC) тряску крыши\nD) тряску рыбы\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3970687687397003, + "B": 0.2563668489456177, + "C": 0.13722330331802368, + "D": 0.10039470344781876 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животное, которому может понравиться банановая кожура, - это", + "option_a": "медведь", + "option_b": "енот", + "option_c": "кошка", + "option_d": "собака." + }, + "outputs": "B", + "meta": { + "id": 712 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖивотное, которому может понравиться банановая кожура, - это\nA) медведь\nB) енот\nC) кошка\nD) собака.\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.11434243619441986, + "B": 0.08904998004436493, + "C": 0.13792330026626587, + "D": 0.6181293725967407 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В конце сезона лесорубы сеют новый", + "option_a": "вагон цыплят", + "option_b": "домашний сад", + "option_c": "топор", + "option_d": "молодой лес" + }, + "outputs": "D", + "meta": { + "id": 827 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В конце сезона лесорубы сеют новый\nA) вагон цыплят\nB) домашний сад\nC) топор\nD) молодой лес\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.013129106722772121, + "B": 0.009023495018482208, + "C": 0.03149509057402611, + "D": 0.9204214811325073 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фотосинтез производит пищу для растений, превращая во что-то полезное углекислый газ, воду и солнечный свет. Во что?", + "option_a": "в грязь", + "option_b": "в солнечный свет", + "option_c": "в умственную энергию", + "option_d": "в сахара" + }, + "outputs": "D", + "meta": { + "id": 793 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nФотосинтез производит пищу для растений, превращая во что-то полезное углекислый газ, воду и солнечный свет. Во что?\nA) в грязь\nB) в солнечный свет\nC) в умственную энергию\nD) в сахара\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.09489944577217102, + "B": 0.08914977312088013, + "C": 0.6587326526641846, + "D": 0.10101992636919022 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "За год происходит полный оборот Земли вокруг", + "option_a": "ядра", + "option_b": "звезды", + "option_c": "планеты", + "option_d": "луны" + }, + "outputs": "B", + "meta": { + "id": 349 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: За год происходит полный оборот Земли вокруг\nA. ядра\nB. звезды\nC. планеты\nD. луны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.25860580801963806, + "B": 0.1669684648513794, + "C": 0.21439175307750702, + "D": 0.24293766915798187 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может принести больше вреда, чем пользы при использовании?", + "option_a": "походные ботинки", + "option_b": "гибридные автомобили", + "option_c": "велосипед", + "option_d": "антибактериальное мыло" + }, + "outputs": "D", + "meta": { + "id": 1288 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто может принести больше вреда, чем пользы при использовании?\nA. походные ботинки\nB. гибридные автомобили\nC. велосипед\nD. антибактериальное мыло\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.384735107421875, + "B": 0.08064486086368561, + "C": 0.08584600687026978, + "D": 0.3614251911640167 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую форму имеет вещество в жидком состоянии?", + "option_a": "круглую", + "option_b": "квадратную", + "option_c": "треугольную", + "option_d": "адаптируемую" + }, + "outputs": "D", + "meta": { + "id": 2144 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какую форму имеет вещество в жидком состоянии?\nA) круглую\nB) квадратную\nC) треугольную\nD) адаптируемую\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.019228274002671242, + "B": 0.008532494306564331, + "C": 0.020468391478061676, + "D": 0.926470160484314 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Живое существо требует этого, чтобы расти.", + "option_a": "подставка", + "option_b": "пластик", + "option_c": "игрушки", + "option_d": "питание" + }, + "outputs": "D", + "meta": { + "id": 1497 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖивое существо требует этого, чтобы расти.\nA. подставка\nB. пластик\nC. игрушки\nD. питание\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21989259123802185, + "B": 0.0916648656129837, + "C": 0.46551260352134705, + "D": 0.1177000179886818 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Собака Ани только что какала на лужайке. Собака", + "option_a": "выпила много", + "option_b": "попала в беду", + "option_c": "ела питательную еду в течение последних суток", + "option_d": "была хорошей девочкой" + }, + "outputs": "C", + "meta": { + "id": 1741 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Собака Ани только что какала на лужайке. Собака\nA. выпила много\nB. попала в беду\nC. ела питательную еду в течение последних суток\nD. была хорошей девочкой\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.1470397263765335, + "B": 0.2139415293931961, + "C": 0.31128308176994324, + "D": 0.2580627501010895 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку источник света движется прямо над объектом, что происходит с его тенью", + "option_a": "объект станет ярче", + "option_b": "тень начнет вращаться", + "option_c": "размер тени станет максимальным", + "option_d": "размер тени уменьшится" + }, + "outputs": "D", + "meta": { + "id": 32 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Поскольку источник света движется прямо над объектом, что происходит с его тенью\nA) объект станет ярче\nB) тень начнет вращаться\nC) размер тени станет максимальным\nD) размер тени уменьшится\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2425314038991928, + "B": 0.05411607399582863, + "C": 0.33150115609169006, + "D": 0.2581733465194702 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На пляже вы, вероятно, найдете этот тип камня:", + "option_a": "камень, спрессованный из слоев разных пород", + "option_b": "скала, образованная из пластика", + "option_c": "камень, образовавшийся из воды", + "option_d": "камень, который представляет собой уплотненный мусор" + }, + "outputs": "A", + "meta": { + "id": 1344 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На пляже вы, вероятно, найдете этот тип камня:\nA. камень, спрессованный из слоев разных пород\nB. скала, образованная из пластика\nC. камень, образовавшийся из воды\nD. камень, который представляет собой уплотненный мусор\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.22410620748996735, + "B": 0.2703236937522888, + "C": 0.11268767714500427, + "D": 0.3260726034641266 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Транспирация происходит в листьях чего?", + "option_a": "камни", + "option_b": "кусты", + "option_c": "автомобили", + "option_d": "животные" + }, + "outputs": "B", + "meta": { + "id": 1083 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТранспирация происходит в листьях чего?\nA. камни\nB. кусты\nC. автомобили\nD. животные\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.3074209690093994, + "B": 0.09375809878110886, + "C": 0.3272479176521301, + "D": 0.1545809656381607 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что горело бы быстрее?", + "option_a": "высушенные на солнце ветки", + "option_b": "зеленые листья", + "option_c": "мокрый ствол дерева", + "option_d": "мокрое бревно" + }, + "outputs": "A", + "meta": { + "id": 1654 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто горело бы быстрее?\nA. высушенные на солнце ветки\nB. зеленые листья\nC. мокрый ствол дерева\nD. мокрое бревно\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.38378164172172546, + "B": 0.08044500648975372, + "C": 0.1502910554409027, + "D": 0.2807806432247162 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Активная печь заставит верхнюю отметку ртути в термометре перемещаться", + "option_a": "ниже", + "option_b": "медленнее", + "option_c": "дерганнее", + "option_d": "вверх" + }, + "outputs": "D", + "meta": { + "id": 585 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nАктивная печь заставит верхнюю отметку ртути в термометре перемещаться\nA. ниже\nB. медленнее\nC. дерганнее\nD. вверх\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.08806543797254562, + "B": 0.03907880187034607, + "C": 0.4472332298755646, + "D": 0.3946819305419922 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда вы кричите в пустой комнате, вы слышите эхо, которое", + "option_a": "есть там всегда", + "option_b": "отскакивает от мяча", + "option_c": "отскакивает от предметов", + "option_d": "вам только кажется" + }, + "outputs": "C", + "meta": { + "id": 346 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда вы кричите в пустой комнате, вы слышите эхо, которое\nA) есть там всегда\nB) отскакивает от мяча\nC) отскакивает от предметов\nD) вам только кажется\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.21073175966739655, + "B": 0.13605867326259613, + "C": 0.36984577775001526, + "D": 0.19796417653560638 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Жизнь перепела начинается после того, как он покидает", + "option_a": "жилище из кальция", + "option_b": "сельскую местность", + "option_c": "ферму", + "option_d": "землю" + }, + "outputs": "A", + "meta": { + "id": 380 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖизнь перепела начинается после того, как он покидает\nA) жилище из кальция\nB) сельскую местность\nC) ферму\nD) землю\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.2691589891910553, + "B": 0.13534164428710938, + "C": 0.20962122082710266, + "D": 0.28651824593544006 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где можно найти яйца?", + "option_a": "лес", + "option_b": "космос", + "option_c": "лава", + "option_d": "океан" + }, + "outputs": "A", + "meta": { + "id": 269 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде можно найти яйца?\nA. лес\nB. космос\nC. лава\nD. океан\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.22866308689117432, + "B": 0.11497902125120163, + "C": 0.29360923171043396, + "D": 0.259109228849411 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На поверхности чего всегда можно найти семена?", + "option_a": "камень", + "option_b": "вода", + "option_c": "гром", + "option_d": "клубника" + }, + "outputs": "D", + "meta": { + "id": 449 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа поверхности чего всегда можно найти семена?\nA. камень\nB. вода\nC. гром\nD. клубника\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 420, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2919396460056305, + "B": 0.03711596131324768, + "C": 0.5454150438308716, + "D": 0.02715461701154709 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто в пищевой цепи играет роль производителя (продуцента)?", + "option_a": "травоядные", + "option_b": "плотоядные животные", + "option_c": "флора", + "option_d": "консументы" + }, + "outputs": "C", + "meta": { + "id": 1634 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто в пищевой цепи играет роль производителя (продуцента)?\nA. травоядные\nB. плотоядные животные\nC. флора\nD. консументы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.16192129254341125, + "B": 0.26696306467056274, + "C": 0.08667021244764328, + "D": 0.44014766812324524 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой инструмент будет наиболее полезным для помощи комнатным растениям в фотосинтезе", + "option_a": "музыка", + "option_b": "тент", + "option_c": "удобрение", + "option_d": "большое окно" + }, + "outputs": "D", + "meta": { + "id": 2160 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой инструмент будет наиболее полезным для помощи комнатным растениям в фотосинтезе\nA) музыка\nB) тент\nC) удобрение\nD) большое окно\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.128819540143013, + "B": 0.0392877422273159, + "C": 0.577329158782959, + "D": 0.18743132054805756 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что вызывает прямое повреждение легких?", + "option_a": "употребление алкоголя", + "option_b": "плавание", + "option_c": "употребление фекалий", + "option_d": "вдыхание дымов горящего табака" + }, + "outputs": "D", + "meta": { + "id": 1795 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто вызывает прямое повреждение легких?\nA) употребление алкоголя\nB) плавание\nC) употребление фекалий\nD) вдыхание дымов горящего табака\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.14273937046527863, + "B": 0.023301562294363976, + "C": 0.15194527804851532, + "D": 0.63971346616745 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Женщина должна быть в состоянии подтвердить то, что написано очень маленьким шрифтом на ее флаконе с таблетками, поэтому ей требуется ______.", + "option_a": "микроскоп", + "option_b": "телескоп", + "option_c": "бинокль", + "option_d": "лупа" + }, + "outputs": "D", + "meta": { + "id": 1744 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Женщина должна быть в состоянии подтвердить то, что написано очень маленьким шрифтом на ее флаконе с таблетками, поэтому ей требуется ______.\nA) микроскоп\nB) телескоп\nC) бинокль\nD) лупа\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.015632839873433113, + "B": 0.012174868024885654, + "C": 0.9085716605186462, + "D": 0.029205990955233574 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Находиться рядом со зданиями - худшее место, которое вы можете выбрать во время землетрясения, так как вы, вероятно, будете", + "option_a": "укрыты", + "option_b": "накормлены", + "option_c": "раздавлены", + "option_d": "расцелованы" + }, + "outputs": "C", + "meta": { + "id": 1566 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНаходиться рядом со зданиями - худшее место, которое вы можете выбрать во время землетрясения, так как вы, вероятно, будете\nA) укрыты\nB) накормлены\nC) раздавлены\nD) расцелованы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6818189024925232, + "B": 0.019341712817549706, + "C": 0.16194619238376617, + "D": 0.018169857561588287 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Более тяжелый объект", + "option_a": "требует большей силы мышц для перемещения", + "option_b": "требует минимальных усилий для движения", + "option_c": "требует меньшего усилия для движения", + "option_d": "требует легкого прикосновения для перемещения" + }, + "outputs": "A", + "meta": { + "id": 1508 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБолее тяжелый объект\nA) требует большей силы мышц для перемещения\nB) требует минимальных усилий для движения\nC) требует меньшего усилия для движения\nD) требует легкого прикосновения для перемещения\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11052197217941284, + "B": 0.03588123247027397, + "C": 0.6770291924476624, + "D": 0.11765001714229584 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером отличного землеройного устройства является", + "option_a": "кошка", + "option_b": "собака", + "option_c": "кольчатый червь", + "option_d": "рыба" + }, + "outputs": "C", + "meta": { + "id": 666 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером отличного землеройного устройства является\nA. кошка\nB. собака\nC. кольчатый червь\nD. рыба\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.23468203842639923, + "B": 0.0863346979022026, + "C": 0.36348265409469604, + "D": 0.220463365316391 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Весы могут измерять массу", + "option_a": "сахара", + "option_b": "чая", + "option_c": "соленой воды", + "option_d": "шоколадного молока." + }, + "outputs": "A", + "meta": { + "id": 948 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВесы могут измерять массу\nA) сахара\nB) чая\nC) соленой воды\nD) шоколадного молока.\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2504758834838867, + "B": 0.14271685481071472, + "C": 0.32161739468574524, + "D": 0.16171938180923462 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие отношения вероятнее всего верны?", + "option_a": "акулы едят водоросли", + "option_b": "кошки едят траву", + "option_c": "скопы едят окуня", + "option_d": "собаки едят свет" + }, + "outputs": "C", + "meta": { + "id": 1460 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие отношения вероятнее всего верны?\nA. акулы едят водоросли\nB. кошки едят траву\nC. скопы едят окуня\nD. собаки едят свет\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0656384527683258, + "B": 0.7056798934936523, + "C": 0.05792573094367981, + "D": 0.10821951925754547 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пляжное снаряжение, которое защищает ваши глаза и выглядит круто:", + "option_a": "песок", + "option_b": "тонированные очки", + "option_c": "бикини для пляжного волейбола", + "option_d": "плавки" + }, + "outputs": "B", + "meta": { + "id": 628 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПляжное снаряжение, которое защищает ваши глаза и выглядит круто:\nA. песок\nB. тонированные очки\nC. бикини для пляжного волейбола\nD. плавки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1790323257446289, + "B": 0.01886986941099167, + "C": 0.665185809135437, + "D": 0.06187191233038902 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растет движение к использованию силы ветра, чтобы", + "option_a": "радовались могучие рейнджеры", + "option_b": "ничего не менялось", + "option_c": "обогревать наши дома", + "option_d": "есть печенье" + }, + "outputs": "C", + "meta": { + "id": 280 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Растет движение к использованию силы ветра, чтобы\nA) радовались могучие рейнджеры\nB) ничего не менялось\nC) обогревать наши дома\nD) есть печенье\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.21408770978450775, + "B": 0.4824540913105011, + "C": 0.12198349833488464, + "D": 0.12985076010227203 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда человек получает физическую травму, он чувствует боль, потому что в организме есть", + "option_a": "магические рецепторы", + "option_b": "железы внутренней секреции", + "option_c": "электрические реакции", + "option_d": "громкие жалобы" + }, + "outputs": "C", + "meta": { + "id": 1473 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда человек получает физическую травму, он чувствует боль, потому что в организме есть\nA) магические рецепторы\nB) железы внутренней секреции\nC) электрические реакции\nD) громкие жалобы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.08400151133537292, + "B": 0.08400151133537292, + "C": 0.42659488320350647, + "D": 0.35365960001945496 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что должен показывать мой термометр, если я хочу убедиться, что мое домашнее фруктовое мороженое готово?", + "option_a": "212 градусов по Фаренгейту", + "option_b": "0 градусов по Цельсию", + "option_c": "39 градусов по Фаренгейту", + "option_d": "32 градусов по Цельсию." + }, + "outputs": "B", + "meta": { + "id": 1871 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто должен показывать мой термометр, если я хочу убедиться, что мое домашнее фруктовое мороженое готово?\nA. 212 градусов по Фаренгейту\nB. 0 градусов по Цельсию\nC. 39 градусов по Фаренгейту\nD. 32 градусов по Цельсию.\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.508518636226654, + "B": 0.05359746888279915, + "C": 0.19913876056671143, + "D": 0.060733892023563385 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что растения получают из почвы?", + "option_a": "поддерживающие жизнь вещества", + "option_b": "опыление и прорастание", + "option_c": "корни и кислород", + "option_d": "кислород и аргон" + }, + "outputs": "A", + "meta": { + "id": 1135 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто растения получают из почвы?\nA. поддерживающие жизнь вещества\nB. опыление и прорастание\nC. корни и кислород\nD. кислород и аргон\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09288905560970306, + "B": 0.038721922785043716, + "C": 0.7306290864944458, + "D": 0.08197430521249771 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где можно найти органические вещества?", + "option_a": "пластиковые предметы", + "option_b": "углекислый газ", + "option_c": "тело кролика", + "option_d": "поваренная соль" + }, + "outputs": "C", + "meta": { + "id": 134 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде можно найти органические вещества?\nA) пластиковые предметы\nB) углекислый газ\nC) тело кролика\nD) поваренная соль\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.15697774291038513, + "B": 0.18935130536556244, + "C": 0.2284012734889984, + "D": 0.35375478863716125 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, как белки откладывают пищу в прохладное время года, гарантирует, что они", + "option_a": "вырастут", + "option_b": "съедят ее", + "option_c": "еле живы", + "option_d": "выживут" + }, + "outputs": "D", + "meta": { + "id": 663 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТо, как белки откладывают пищу в прохладное время года, гарантирует, что они\nA) вырастут\nB) съедят ее\nC) еле живы\nD) выживут\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.17434974014759064, + "B": 0.41824328899383545, + "C": 0.12755699455738068, + "D": 0.19756415486335754 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Рифовые акулы - хищники, их ещё называют мальгашскими ночными акулами. Их легко узнать, поскольку ________ у этой акулы с черным концом.", + "option_a": "сердца", + "option_b": "плавники", + "option_c": "желудки", + "option_d": "жабры" + }, + "outputs": "B", + "meta": { + "id": 893 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРифовые акулы - хищники, их ещё называют мальгашскими ночными акулами. Их легко узнать, поскольку ________ у этой акулы с черным концом.\nA. сердца\nB. плавники\nC. желудки\nD. жабры\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.21170741319656372, + "B": 0.06873133033514023, + "C": 0.4481845796108246, + "D": 0.15488845109939575 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое действие иллюстрирует принцип работы электрических проводников:", + "option_a": "вставлять вилку в розетку для питания микроволновой печи", + "option_b": "включать кофейник утром", + "option_c": ", проследить, чтобы выключенный фен был отключен от розетки после использования", + "option_d": "включение света в комнате" + }, + "outputs": "A", + "meta": { + "id": 776 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое действие иллюстрирует принцип работы электрических проводников:\nA. вставлять вилку в розетку для питания микроволновой печи\nB. включать кофейник утром\nC. , проследить, чтобы выключенный фен был отключен от розетки после использования\nD. включение света в комнате\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7264723181724548, + "B": 0.02335241623222828, + "C": 0.07193050533533096, + "D": 0.056019533425569534 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Синицы", + "option_a": "высиживают своих детенышей", + "option_b": "едят только мясо", + "option_c": "высиживают свою пищу", + "option_d": "живорожденные" + }, + "outputs": "A", + "meta": { + "id": 2282 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Синицы\nA. высиживают своих детенышей\nB. едят только мясо\nC. высиживают свою пищу\nD. живорожденные\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.22940237820148468, + "B": 0.13070954382419586, + "C": 0.4026137590408325, + "D": 0.14811334013938904 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кирпичная стена останавливает", + "option_a": "фуры", + "option_b": "люмены", + "option_c": "поезда", + "option_d": "бульдозеры" + }, + "outputs": "B", + "meta": { + "id": 2037 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКирпичная стена останавливает\nA) фуры\nB) люмены\nC) поезда\nD) бульдозеры\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.36046016216278076, + "B": 0.09113860130310059, + "C": 0.24774041771888733, + "D": 0.1326058954000473 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сила урагана будет увеличиваться", + "option_a": "в ветреной среде", + "option_b": "в холодной среде", + "option_c": "в знойной среде", + "option_d": "в сухой среде" + }, + "outputs": "C", + "meta": { + "id": 382 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСила урагана будет увеличиваться\nA. в ветреной среде\nB. в холодной среде\nC. в знойной среде\nD. в сухой среде\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06102735921740532, + "B": 0.03477234020829201, + "C": 0.028827281668782234, + "D": 0.8424566388130188 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что характеризует цикл?", + "option_a": "форма круга", + "option_b": "ни один из предложенных вариантов ответа не подходит", + "option_c": "скучный узор", + "option_d": "устойчивое повторение" + }, + "outputs": "D", + "meta": { + "id": 394 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто характеризует цикл?\nA. форма круга\nB. ни один из предложенных вариантов ответа не подходит\nC. скучный узор\nD. устойчивое повторение\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5985870361328125, + "B": 0.0382663868367672, + "C": 0.10401881486177444, + "D": 0.11786876618862152 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Хищник, такой как волк, скорее всего", + "option_a": "будет преследовать маленьких движущихся млекопитающих", + "option_b": "не откажется от овощей в качестве пищи", + "option_c": "предпочтет кролику салат", + "option_d": ", будет есть мясо, только когда ему дадут это мясо" + }, + "outputs": "A", + "meta": { + "id": 211 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Хищник, такой как волк, скорее всего\nA) будет преследовать маленьких движущихся млекопитающих\nB) не откажется от овощей в качестве пищи\nC) предпочтет кролику салат\nD) , будет есть мясо, только когда ему дадут это мясо\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 471, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5086427927017212, + "B": 0.10661732405424118, + "C": 0.10661732405424118, + "D": 0.17578226327896118 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером выветривания является", + "option_a": "гладкий песчаный пляж", + "option_b": "большой острый валун", + "option_c": "высокая сосна", + "option_d": "гладкий речной камень" + }, + "outputs": "D", + "meta": { + "id": 397 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером выветривания является\nA) гладкий песчаный пляж\nB) большой острый валун\nC) высокая сосна\nD) гладкий речной камень\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.018491776660084724, + "B": 0.02527526207268238, + "C": 0.8909837007522583, + "D": 0.0286406259983778 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вождение автомобиля во время снежной бури или сильной грозы - плохая идея, потому что из-за плохой погоды", + "option_a": "можно летать", + "option_b": "легче увидеть препятствия", + "option_c": "сложнее увидеть препятствия", + "option_d": "веселее кататься в очках" + }, + "outputs": "C", + "meta": { + "id": 1039 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вождение автомобиля во время снежной бури или сильной грозы - плохая идея, потому что из-за плохой погоды\nA. можно летать\nB. легче увидеть препятствия\nC. сложнее увидеть препятствия\nD. веселее кататься в очках\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 467, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06917015463113785, + "B": 0.06104245036840439, + "C": 0.7436493039131165, + "D": 0.08343513309955597 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере увеличения количества плохой воды в окружающей среде количество водных животных, таких как зоопланктон,", + "option_a": "значительно растет", + "option_b": "незначительно колеблется", + "option_c": "снижается и стремится к нулю", + "option_d": "остается на прежнем уровне" + }, + "outputs": "C", + "meta": { + "id": 1899 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: По мере увеличения количества плохой воды в окружающей среде количество водных животных, таких как зоопланктон,\nA. значительно растет\nB. незначительно колеблется\nC. снижается и стремится к нулю\nD. остается на прежнем уровне\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.026660418137907982, + "B": 0.8828718066215515, + "C": 0.02210226282477379, + "D": 0.010440369136631489 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ученые проводят эксперименты по созданию микробов, которые могут жить за счет излишков электроэнергии и CO2 для производства", + "option_a": "электроэнергии и как можно больше CO2", + "option_b": "органических продуктов, таких как метан, ацетат и бутанол, в качестве экономичного биотоплива", + "option_c": "солнечной энергии и биотоплива в лаборатории", + "option_d": "противоядий от биотоплива, такого как бутанол" + }, + "outputs": "B", + "meta": { + "id": 2033 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУченые проводят эксперименты по созданию микробов, которые могут жить за счет излишков электроэнергии и CO2 для производства\nA) электроэнергии и как можно больше CO2\nB) органических продуктов, таких как метан, ацетат и бутанол, в качестве экономичного биотоплива\nC) солнечной энергии и биотоплива в лаборатории\nD) противоядий от биотоплива, такого как бутанол\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 496, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.048536743968725204, + "B": 0.8603343367576599, + "C": 0.015757573768496513, + "D": 0.016773849725723267 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В декабре в северном полушарии становится достаточно холодно, приходит время для тяжелой одежды, потому что", + "option_a": "ось Меркурия наклонена", + "option_b": "ось нашей планеты наклонена", + "option_c": "гравитационное притяжение Плутона сильнее в южном полушарии", + "option_d": "тексты песен популярных музыкантов о зиме всегда напоминают об этом" + }, + "outputs": "B", + "meta": { + "id": 2094 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В декабре в северном полушарии становится достаточно холодно, приходит время для тяжелой одежды, потому что\nA. ось Меркурия наклонена\nB. ось нашей планеты наклонена\nC. гравитационное притяжение Плутона сильнее в южном полушарии\nD. тексты песен популярных музыкантов о зиме всегда напоминают об этом\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 478, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.07942993193864822, + "B": 0.04817669093608856, + "C": 0.586912214756012, + "D": 0.22983813285827637 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что могут гены?", + "option_a": "заставить лошадь сломать ногу", + "option_b": "сделать малыша пухленьким", + "option_c": "дать молодому козленку шерсть, похожую на шерсть его матери", + "option_d": "атаковать вирусы и бактерии" + }, + "outputs": "C", + "meta": { + "id": 566 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что могут гены?\nA) заставить лошадь сломать ногу\nB) сделать малыша пухленьким\nC) дать молодому козленку шерсть, похожую на шерсть его матери\nD) атаковать вирусы и бактерии\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.4504441022872925, + "B": 0.09441821277141571, + "C": 0.16570913791656494, + "D": 0.15566933155059814 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда на улице идет мокрый снег, это потому, что осадки", + "option_a": "растаяли", + "option_b": "испарились", + "option_c": "затвердели", + "option_d": "выпали" + }, + "outputs": "C", + "meta": { + "id": 1666 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда на улице идет мокрый снег, это потому, что осадки\nA. растаяли\nB. испарились\nC. затвердели\nD. выпали\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.21858654916286469, + "B": 0.12454686313867569, + "C": 0.24769102036952972, + "D": 0.298772394657135 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птицы едят орехи, но иногда они едят", + "option_a": "волков", + "option_b": "кошек", + "option_c": "собак", + "option_d": "жуков" + }, + "outputs": "D", + "meta": { + "id": 19 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПтицы едят орехи, но иногда они едят\nA. волков\nB. кошек\nC. собак\nD. жуков\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.40054720640182495, + "B": 0.16697290539741516, + "C": 0.14735309779644012, + "D": 0.17774175107479095 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто, вероятно, использует свою кровеносную систему?", + "option_a": "лошадь после гонки", + "option_b": "дерево, стоящее в лесу", + "option_c": "машина во время автосоревнования", + "option_d": "скала на молекулярном уровне" + }, + "outputs": "A", + "meta": { + "id": 124 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто, вероятно, использует свою кровеносную систему?\nA) лошадь после гонки\nB) дерево, стоящее в лесу\nC) машина во время автосоревнования\nD) скала на молекулярном уровне\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.04154070466756821, + "B": 0.013486291281878948, + "C": 0.888179361820221, + "D": 0.018433574587106705 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером чего является отказ от использования ископаемого топлива?", + "option_a": "устранение ресурсов", + "option_b": "разрушение ресурсов", + "option_c": "сохранение ресурсов", + "option_d": "горение ресурсов" + }, + "outputs": "C", + "meta": { + "id": 1728 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примером чего является отказ от использования ископаемого топлива?\nA) устранение ресурсов\nB) разрушение ресурсов\nC) сохранение ресурсов\nD) горение ресурсов\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02645302005112171, + "B": 0.01604456827044487, + "C": 0.8760036826133728, + "D": 0.040971241891384125 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что требует солнечного света для роста?", + "option_a": "озера", + "option_b": "глубоководная рыба", + "option_c": "кусты роз", + "option_d": "горы" + }, + "outputs": "C", + "meta": { + "id": 1776 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто требует солнечного света для роста?\nA) озера\nB) глубоководная рыба\nC) кусты роз\nD) горы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06691605597734451, + "B": 0.5964163541793823, + "C": 0.0590532161295414, + "D": 0.2335599958896637 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что поможет безопасно смотреть на солнечное затмение?", + "option_a": "зеркало", + "option_b": "отверстие в тёмном экране", + "option_c": "взгляд прямо на него", + "option_d": "вы не можете безопасно смотреть на солнечное затмение" + }, + "outputs": "B", + "meta": { + "id": 1717 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто поможет безопасно смотреть на солнечное затмение?\nA) зеркало\nB) отверстие в тёмном экране\nC) взгляд прямо на него\nD) вы не можете безопасно смотреть на солнечное затмение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.650343656539917, + "B": 0.05338345840573311, + "C": 0.15447016060352325, + "D": 0.028574107214808464 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На земле найдено инопланетное существо. Исследователи обнаружили, что оно ест червей, насекомых и мелких грызунов, но избегает бананов, листьев и огурцов. Что из этого могло быть правдой?", + "option_a": "существо - плотоядное животное", + "option_b": "существо - веган", + "option_c": "существо - не всеядное существо", + "option_d": "существо любит есть огурцы" + }, + "outputs": "A", + "meta": { + "id": 1603 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На земле найдено инопланетное существо. Исследователи обнаружили, что оно ест червей, насекомых и мелких грызунов, но избегает бананов, листьев и огурцов. Что из этого могло быть правдой?\nA. существо - плотоядное животное\nB. существо - веган\nC. существо - не всеядное существо\nD. существо любит есть огурцы\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 484, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.10347600281238556, + "B": 0.6338673233985901, + "C": 0.097206711769104, + "D": 0.097206711769104 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нечто, что является возобновляемым, а также является ресурсом, определенно", + "option_a": "вероятно, скоро исчезнет", + "option_b": "получено без опасения израсходовать последние запасы", + "option_c": "будет израсходовано без возможности возобновления в кратчайшие сроки", + "option_d": "вот-вот иссякнет" + }, + "outputs": "B", + "meta": { + "id": 734 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНечто, что является возобновляемым, а также является ресурсом, определенно\nA) вероятно, скоро исчезнет\nB) получено без опасения израсходовать последние запасы\nC) будет израсходовано без возможности возобновления в кратчайшие сроки\nD) вот-вот иссякнет\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.13842682540416718, + "B": 0.054208721965551376, + "C": 0.5474886894226074, + "D": 0.20140986144542694 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Я могу использовать линейку, чтобы измерить", + "option_a": "запах попкорна", + "option_b": "насколько я зол", + "option_c": "длину воздуха", + "option_d": "расстояние между моими пальцами ног" + }, + "outputs": "D", + "meta": { + "id": 1532 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЯ могу использовать линейку, чтобы измерить\nA. запах попкорна\nB. насколько я зол\nC. длину воздуха\nD. расстояние между моими пальцами ног\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.46974271535873413, + "B": 0.19581788778305054, + "C": 0.09846342355012894, + "D": 0.092497818171978 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Образование отложений происходит в результате", + "option_a": "разложения других материалов", + "option_b": "химического соединения материалов вместе в одно целое", + "option_c": "взаимодействия Солнца с Землей", + "option_d": "химических веществ, соединяющихся вместе" + }, + "outputs": "A", + "meta": { + "id": 446 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОбразование отложений происходит в результате\nA) разложения других материалов\nB) химического соединения материалов вместе в одно целое\nC) взаимодействия Солнца с Землей\nD) химических веществ, соединяющихся вместе\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.13652683794498444, + "B": 0.3711183965206146, + "C": 0.27151599526405334, + "D": 0.14533205330371857 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда пирог вышел из духовки, он набрал больше", + "option_a": "питательных веществ", + "option_b": "калорий", + "option_c": "тепловой энергии", + "option_d": "яблок" + }, + "outputs": "C", + "meta": { + "id": 1555 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда пирог вышел из духовки, он набрал больше\nA) питательных веществ\nB) калорий\nC) тепловой энергии\nD) яблок\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.21010787785053253, + "B": 0.07261133193969727, + "C": 0.06821203976869583, + "D": 0.5711323618888855 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда поросенок ест грушу и выбрасывает семена, из них образуется", + "option_a": "муравейник", + "option_b": "цветок", + "option_c": "долг", + "option_d": "дерево" + }, + "outputs": "D", + "meta": { + "id": 176 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда поросенок ест грушу и выбрасывает семена, из них образуется\nA. муравейник\nB. цветок\nC. долг\nD. дерево\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8761870861053467, + "B": 0.014162245206534863, + "C": 0.014162245206534863, + "D": 0.017082929611206055 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это важно сделать, если вы хотите, чтобы ваш лабораторный эксперимент был проведен правильно.", + "option_a": "понять все шаги, которые будут задействованы, заранее", + "option_b": "провести эксперимент с завязанными глазами", + "option_c": "забыть о правилах и перейти к эксперименту", + "option_d": "выполнить все шаги в случайном порядке" + }, + "outputs": "A", + "meta": { + "id": 167 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЭто важно сделать, если вы хотите, чтобы ваш лабораторный эксперимент был проведен правильно.\nA. понять все шаги, которые будут задействованы, заранее\nB. провести эксперимент с завязанными глазами\nC. забыть о правилах и перейти к эксперименту\nD. выполнить все шаги в случайном порядке\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 469, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.18159666657447815, + "B": 0.26422157883644104, + "C": 0.24821321666240692, + "D": 0.23317472636699677 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Измельчитель может", + "option_a": "оставлять вещи", + "option_b": "перемалывать вещи", + "option_c": "ломать вещи", + "option_d": "сокращать вещи" + }, + "outputs": "B", + "meta": { + "id": 391 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИзмельчитель может\nA) оставлять вещи\nB) перемалывать вещи\nC) ломать вещи\nD) сокращать вещи\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.29113131761550903, + "B": 0.039400339126586914, + "C": 0.4509130120277405, + "D": 0.04752587899565697 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В пустыне ночью большинство животных, которые там живут, обнаруживают, что им требуется меньше", + "option_a": "тепла для сна", + "option_b": "пищи для еды", + "option_c": "жидкости для потребления", + "option_d": "товарищей по стае для охоты" + }, + "outputs": "C", + "meta": { + "id": 1810 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ пустыне ночью большинство животных, которые там живут, обнаруживают, что им требуется меньше\nA) тепла для сна\nB) пищи для еды\nC) жидкости для потребления\nD) товарищей по стае для охоты\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7312041521072388, + "B": 0.01830533891916275, + "C": 0.05296825245022774, + "D": 0.02350451983511448 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем больше люди на планете ездят на машинах с бензиновыми двигателями, тем больше", + "option_a": "будет повышаться дневная температура", + "option_b": "птицы заболеют", + "option_c": "вода будет нуждаться в очистке", + "option_d": "еда будет странной на вкус" + }, + "outputs": "A", + "meta": { + "id": 1663 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧем больше люди на планете ездят на машинах с бензиновыми двигателями, тем больше\nA. будет повышаться дневная температура\nB. птицы заболеют\nC. вода будет нуждаться в очистке\nD. еда будет странной на вкус\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.22674334049224854, + "B": 0.18797683715820312, + "C": 0.30992141366004944, + "D": 0.18797683715820312 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда рыба движется против течения бурной реки, она собирается", + "option_a": "посмотреть новые места", + "option_b": "остаться в стороне", + "option_c": "нереститься", + "option_d": "начать жизнь сначала" + }, + "outputs": "C", + "meta": { + "id": 1898 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда рыба движется против течения бурной реки, она собирается\nA) посмотреть новые места\nB) остаться в стороне\nC) нереститься\nD) начать жизнь сначала\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1444934606552124, + "B": 0.0993088111281395, + "C": 0.536858320236206, + "D": 0.1538124978542328 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Неживой объект, который ковыряют чем-то твердым, может", + "option_a": "потерять терпение", + "option_b": "быть перестроен", + "option_c": "потерять часть массы", + "option_d": "стать больше" + }, + "outputs": "C", + "meta": { + "id": 560 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНеживой объект, который ковыряют чем-то твердым, может\nA) потерять терпение\nB) быть перестроен\nC) потерять часть массы\nD) стать больше\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09853526949882507, + "B": 0.023404179140925407, + "C": 0.7750399708747864, + "D": 0.046544767916202545 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплицы работают, потому что", + "option_a": "окна пропускают дополнительный солнечный свет", + "option_b": "углерод нагревается внутри", + "option_c": "воздух сохраняет влажность и тепло", + "option_d": "газы задерживаются в зданиях" + }, + "outputs": "C", + "meta": { + "id": 1888 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТеплицы работают, потому что\nA. окна пропускают дополнительный солнечный свет\nB. углерод нагревается внутри\nC. воздух сохраняет влажность и тепло\nD. газы задерживаются в зданиях\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.24727216362953186, + "B": 0.06655240058898926, + "C": 0.4619652032852173, + "D": 0.12433625012636185 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Медведи питаются тем же, что и", + "option_a": "растения", + "option_b": "эукариоты", + "option_c": "обезьяны", + "option_d": "амебы" + }, + "outputs": "C", + "meta": { + "id": 705 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Медведи питаются тем же, что и\nA. растения\nB. эукариоты\nC. обезьяны\nD. амебы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3224615156650543, + "B": 0.17260122299194336, + "C": 0.1837330162525177, + "D": 0.22162434458732605 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнце вращается вокруг этой планеты", + "option_a": "может быть", + "option_b": "это правда", + "option_c": "все это верно", + "option_d": "это неправильно" + }, + "outputs": "D", + "meta": { + "id": 928 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Солнце вращается вокруг этой планеты\nA. может быть\nB. это правда\nC. все это верно\nD. это неправильно\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16582952439785004, + "B": 0.08338431268930435, + "C": 0.4798436164855957, + "D": 0.21292932331562042 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Куда лампочка посылает электричество для выработки тепла?", + "option_a": "стеклянный шар", + "option_b": "пластиковый круг", + "option_c": "металлическая нить", + "option_d": "металлический блок" + }, + "outputs": "C", + "meta": { + "id": 458 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Куда лампочка посылает электричество для выработки тепла?\nA) стеклянный шар\nB) пластиковый круг\nC) металлическая нить\nD) металлический блок\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.38794174790382385, + "B": 0.07176201045513153, + "C": 0.1950693577528, + "D": 0.1950693577528 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бульдозер меняет очертания", + "option_a": "воздуха", + "option_b": "новостей фондовой биржи", + "option_c": "небоскребов", + "option_d": "воды" + }, + "outputs": "C", + "meta": { + "id": 1542 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Бульдозер меняет очертания\nA. воздуха\nB. новостей фондовой биржи\nC. небоскребов\nD. воды\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2550590932369232, + "B": 0.4476426839828491, + "C": 0.11318179219961166, + "D": 0.06448904424905777 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как темнота влияет на фотосинтез?", + "option_a": "положительно", + "option_b": "очень плохо", + "option_c": "увеличивает абсорбцию", + "option_d": "увеличивает выносливость" + }, + "outputs": "B", + "meta": { + "id": 379 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКак темнота влияет на фотосинтез?\nA) положительно\nB) очень плохо\nC) увеличивает абсорбцию\nD) увеличивает выносливость\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3965378999710083, + "B": 0.15528647601604462, + "C": 0.1759626269340515, + "D": 0.12873700261116028 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При длительной нехватке воды способность дерева наращивать новые ткани и расти толстыми кольцами замедляется, и дерево производит", + "option_a": "более тонкие годичные кольца", + "option_b": "более широкие годичные кольца", + "option_c": "больше листовых наростов", + "option_d": "больше годовой рубцовой ткани" + }, + "outputs": "A", + "meta": { + "id": 499 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: При длительной нехватке воды способность дерева наращивать новые ткани и расти толстыми кольцами замедляется, и дерево производит\nA. более тонкие годичные кольца\nB. более широкие годичные кольца\nC. больше листовых наростов\nD. больше годовой рубцовой ткани\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.3177911937236786, + "B": 0.03146558627486229, + "C": 0.33828696608543396, + "D": 0.20518141984939575 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой был бы пример миграции?", + "option_a": "пчелы, летящие к лугу с цветами клевера", + "option_b": "крупный рогатый скот, идущий в сарай, чтобы спать ночью", + "option_c": "летучие мыши, летающие ночью, чтобы ловить комаров", + "option_d": "гуси, улетающие из-под Пскова в Африку при понижении температуры" + }, + "outputs": "D", + "meta": { + "id": 1168 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой был бы пример миграции?\nA) пчелы, летящие к лугу с цветами клевера\nB) крупный рогатый скот, идущий в сарай, чтобы спать ночью\nC) летучие мыши, летающие ночью, чтобы ловить комаров\nD) гуси, улетающие из-под Пскова в Африку при понижении температуры\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 481, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.039224542677402496, + "B": 0.026958608999848366, + "C": 0.787846028804779, + "D": 0.10662336647510529 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, желающий защитить людей от поражения электрическим током через контакт с оголенным проводом, обернет провод", + "option_a": "оплеткой из жестяной банки", + "option_b": "металлической балкой со сталью", + "option_c": "резиновым ковриком", + "option_d": "медной веревкой с зазубринами" + }, + "outputs": "C", + "meta": { + "id": 911 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловек, желающий защитить людей от поражения электрическим током через контакт с оголенным проводом, обернет провод\nA) оплеткой из жестяной банки\nB) металлической балкой со сталью\nC) резиновым ковриком\nD) медной веревкой с зазубринами\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.11848700791597366, + "B": 0.08668694645166397, + "C": 0.08143486082553864, + "D": 0.6818457245826721 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Потенциальная энергия превращается в кинетическую при использовании", + "option_a": "компьютера", + "option_b": "лампочки", + "option_c": "телевизора", + "option_d": "велосипеда" + }, + "outputs": "D", + "meta": { + "id": 2305 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПотенциальная энергия превращается в кинетическую при использовании\nA) компьютера\nB) лампочки\nC) телевизора\nD) велосипеда\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1336187869310379, + "B": 0.04337966442108154, + "C": 0.5625560283660889, + "D": 0.18263520300388336 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мертвая гигантская секвойя", + "option_a": "превращается в омелу", + "option_b": "улетает", + "option_c": "падает наземь", + "option_d": "роняет сосновые иголки" + }, + "outputs": "C", + "meta": { + "id": 1058 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мертвая гигантская секвойя\nA. превращается в омелу\nB. улетает\nC. падает наземь\nD. роняет сосновые иголки\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.19751125574111938, + "B": 0.22380957007408142, + "C": 0.1743030697107315, + "D": 0.325641006231308 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто был бы здоровее?", + "option_a": "трудоголик", + "option_b": "сова", + "option_c": "тусовщик", + "option_d": "тот, кто хорошо высыпается" + }, + "outputs": "D", + "meta": { + "id": 2284 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто был бы здоровее?\nA. трудоголик\nB. сова\nC. тусовщик\nD. тот, кто хорошо высыпается\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.719367504119873, + "B": 0.03812508285045624, + "C": 0.052110809832811356, + "D": 0.10363472253084183 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой смысл связан с приемом пищи животным?", + "option_a": "вкус", + "option_b": "слух", + "option_c": "зрение", + "option_d": "осязание" + }, + "outputs": "A", + "meta": { + "id": 882 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой смысл связан с приемом пищи животным?\nA) вкус\nB) слух\nC) зрение\nD) осязание\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.035365182906389236, + "B": 0.012221881188452244, + "C": 0.9120801091194153, + "D": 0.006963817402720451 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку уголь является невозобновляемым ресурсом, это означает, что уголь", + "option_a": "очень востребован как альтернативный источник энергии", + "option_b": "неисчерпаем и его запасы можно восполнить со временем", + "option_c": "исчерпаем и угольная промышленность однажды прекратит свое существование", + "option_d": "является нашим бесконечным запасом" + }, + "outputs": "C", + "meta": { + "id": 242 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПоскольку уголь является невозобновляемым ресурсом, это означает, что уголь\nA. очень востребован как альтернативный источник энергии\nB. неисчерпаем и его запасы можно восполнить со временем\nC. исчерпаем и угольная промышленность однажды прекратит свое существование\nD. является нашим бесконечным запасом\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 474, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19901973009109497, + "B": 0.12849679589271545, + "C": 0.37181779742240906, + "D": 0.22551889717578888 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нефть является источником материала, применяемого для объекта с", + "option_a": "деревянными досками", + "option_b": "картоном", + "option_c": "колесами", + "option_d": "большим камнем" + }, + "outputs": "C", + "meta": { + "id": 279 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Нефть является источником материала, применяемого для объекта с\nA. деревянными досками\nB. картоном\nC. колесами\nD. большим камнем\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.24167868494987488, + "B": 0.12152369320392609, + "C": 0.3303356170654297, + "D": 0.21328070759773254 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что продают в металлической упаковке?", + "option_a": "сливочное масло", + "option_b": "салфетки", + "option_c": "кола", + "option_d": "сироп" + }, + "outputs": "C", + "meta": { + "id": 1408 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто продают в металлической упаковке?\nA) сливочное масло\nB) салфетки\nC) кола\nD) сироп\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.14302726089954376, + "B": 0.6410037279129028, + "C": 0.056010279804468155, + "D": 0.08149447292089462 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно делать с предметами с помощью шкива?", + "option_a": "поднять на новую высоту", + "option_b": "крутить", + "option_c": "раздавить", + "option_d": "повысить значимость" + }, + "outputs": "A", + "meta": { + "id": 254 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что можно делать с предметами с помощью шкива?\nA) поднять на новую высоту\nB) крутить\nC) раздавить\nD) повысить значимость\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.352035790681839, + "B": 0.09474914520978928, + "C": 0.17701470851898193, + "D": 0.22729139029979706 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Море - это", + "option_a": "источник конфет", + "option_b": "твердая структура", + "option_c": "Желе", + "option_d": "мега-музей" + }, + "outputs": "D", + "meta": { + "id": 70 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМоре - это\nA. источник конфет\nB. твердая структура\nC. Желе\nD. мега-музей\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.04041348770260811, + "B": 0.04579448699951172, + "C": 0.8117266297340393, + "D": 0.055238690227270126 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что влияет на приобретенные организмом характеристики?", + "option_a": "луна", + "option_b": "гравитация", + "option_c": "ближайшее окружение", + "option_d": "день рождения" + }, + "outputs": "C", + "meta": { + "id": 998 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто влияет на приобретенные организмом характеристики?\nA) луна\nB) гравитация\nC) ближайшее окружение\nD) день рождения\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01089526154100895, + "B": 0.011597946286201477, + "C": 0.9213389754295349, + "D": 0.01089526154100895 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые птицы адаптировались к холодной окружающей среде, со временем эволюционируя и приобретая более толстые перья, чтобы", + "option_a": "отправиться в космос", + "option_b": "есть динозавров", + "option_c": "избежать замерзания", + "option_d": "гордиться ими" + }, + "outputs": "C", + "meta": { + "id": 460 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНекоторые птицы адаптировались к холодной окружающей среде, со временем эволюционируя и приобретая более толстые перья, чтобы\nA. отправиться в космос\nB. есть динозавров\nC. избежать замерзания\nD. гордиться ими\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.23075874149799347, + "B": 0.13996225595474243, + "C": 0.3154098093509674, + "D": 0.21677778661251068 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вам нужно что-то смешать с шипучкой, чего бы вы стали избегать?", + "option_a": "вода из крана", + "option_b": "морская вода", + "option_c": "вода из колодца", + "option_d": "вода в бутылках" + }, + "outputs": "B", + "meta": { + "id": 703 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вам нужно что-то смешать с шипучкой, чего бы вы стали избегать?\nA. вода из крана\nB. морская вода\nC. вода из колодца\nD. вода в бутылках\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15702468156814575, + "B": 0.15702468156814575, + "C": 0.426837295293808, + "D": 0.1779322624206543 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как часто случается смена дня и ночи в небе?", + "option_a": "каждый раз во время зимнего солнцестояния", + "option_b": "один раз в один цикл солнца", + "option_c": "один раз во время полного оборота Земли", + "option_d": "только в весеннее время, когда луна находится на пике" + }, + "outputs": "C", + "meta": { + "id": 864 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как часто случается смена дня и ночи в небе?\nA. каждый раз во время зимнего солнцестояния\nB. один раз в один цикл солнца\nC. один раз во время полного оборота Земли\nD. только в весеннее время, когда луна находится на пике\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2172228991985321, + "B": 0.14024963974952698, + "C": 0.20406201481819153, + "D": 0.3581399917602539 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где обычно жарче по температуре?", + "option_a": "Эльбрус", + "option_b": "Камчатка", + "option_c": "Сочи", + "option_d": "Сахара" + }, + "outputs": "D", + "meta": { + "id": 742 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде обычно жарче по температуре?\nA) Эльбрус\nB) Камчатка\nC) Сочи\nD) Сахара\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 421, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2003181427717209, + "B": 0.16606958210468292, + "C": 0.3302688002586365, + "D": 0.2003181427717209 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если кто-то ударяет по черному дереву и слоновой кости и издает звук", + "option_a": "это кухонная утварь", + "option_b": "это орудие пыток", + "option_c": "это рояль", + "option_d": "это исследовательская установка" + }, + "outputs": "C", + "meta": { + "id": 843 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если кто-то ударяет по черному дереву и слоновой кости и издает звук\nA. это кухонная утварь\nB. это орудие пыток\nC. это рояль\nD. это исследовательская установка\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6834038496017456, + "B": 0.02338479273021221, + "C": 0.10480337589979172, + "D": 0.03621907904744148 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бумага, пригодная для вторичной переработки, часто используется для производства", + "option_a": "целлюлозных нановолокон", + "option_b": "пластиковых бутылок", + "option_c": "алюминиевых банок", + "option_d": "стеклянных бутылок." + }, + "outputs": "A", + "meta": { + "id": 564 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБумага, пригодная для вторичной переработки, часто используется для производства\nA) целлюлозных нановолокон\nB) пластиковых бутылок\nC) алюминиевых банок\nD) стеклянных бутылок.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07250729948282242, + "B": 0.779526948928833, + "C": 0.04397790506482124, + "D": 0.05304747447371483 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Твердое тело имеет фиксированную форму. Когда жидкость закипает и превращается в газ, ее форма", + "option_a": "зависит от темы разговора", + "option_b": "непостоянна", + "option_c": "стабильна", + "option_d": "- это форма улыбки" + }, + "outputs": "B", + "meta": { + "id": 1922 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТвердое тело имеет фиксированную форму. Когда жидкость закипает и превращается в газ, ее форма\nA) зависит от темы разговора\nB) непостоянна\nC) стабильна\nD) - это форма улыбки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.4302661716938019, + "B": 0.17936162650585175, + "C": 0.13122376799583435, + "D": 0.10878832638263702 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воздух был холодным, поэтому всю ночь овца продолжала", + "option_a": "спать", + "option_b": "трястись", + "option_c": "прыгать", + "option_d": "бегать." + }, + "outputs": "B", + "meta": { + "id": 127 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВоздух был холодным, поэтому всю ночь овца продолжала\nA. спать\nB. трястись\nC. прыгать\nD. бегать.\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.28594690561294556, + "B": 0.18462121486663818, + "C": 0.25234726071357727, + "D": 0.19652825593948364 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наиболее вероятная причина химической реакции заключается в том, что", + "option_a": "медленно повышается температура", + "option_b": "пар удаляется осторожно", + "option_c": "оленей кормят нежно", + "option_d": "осторожно вводят пчел" + }, + "outputs": "A", + "meta": { + "id": 2151 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Наиболее вероятная причина химической реакции заключается в том, что\nA) медленно повышается температура\nB) пар удаляется осторожно\nC) оленей кормят нежно\nD) осторожно вводят пчел\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.31527894735336304, + "B": 0.1687566637992859, + "C": 0.20355938374996185, + "D": 0.1796405166387558 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Представьте себе пандемию бешенства, когда все кошки в мире погибли, - какие виды захватят землю?", + "option_a": "Грызуны", + "option_b": "Толстокожие", + "option_c": "Бабочки", + "option_d": "Homo sapiens" + }, + "outputs": "A", + "meta": { + "id": 55 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПредставьте себе пандемию бешенства, когда все кошки в мире погибли, - какие виды захватят землю?\nA. Грызуны\nB. Толстокожие\nC. Бабочки\nD. Homo sapiens\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.31496772170066833, + "B": 0.19103758037090302, + "C": 0.179463192820549, + "D": 0.15837572515010834 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ягоды", + "option_a": "чистят сосуды головного мозга", + "option_b": "нужно есть, когда они зеленые", + "option_c": "Доступны только в Сибири", + "option_d": "все они очень ядовиты" + }, + "outputs": "A", + "meta": { + "id": 1664 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ягоды\nA. чистят сосуды головного мозга\nB. нужно есть, когда они зеленые\nC. Доступны только в Сибири\nD. все они очень ядовиты\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5934197306632996, + "B": 0.10312087833881378, + "C": 0.06657984852790833, + "D": 0.09687311202287674 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ежедневное употребление колы удаляет слои с поверхности", + "option_a": "эмали на коренных зубах", + "option_b": "ложек", + "option_c": "фарфора", + "option_d": "кофейника" + }, + "outputs": "A", + "meta": { + "id": 1597 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕжедневное употребление колы удаляет слои с поверхности\nA. эмали на коренных зубах\nB. ложек\nC. фарфора\nD. кофейника\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.31948375701904297, + "B": 0.133180633187294, + "C": 0.2819434106349945, + "D": 0.10372118651866913 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У аллигаторов", + "option_a": "хвост с погремушкой", + "option_b": "шесть лап", + "option_c": "широкий нос", + "option_d": "теплый шарф" + }, + "outputs": "C", + "meta": { + "id": 1192 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ аллигаторов\nA. хвост с погремушкой\nB. шесть лап\nC. широкий нос\nD. теплый шарф\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.10637244582176208, + "B": 0.6936354637145996, + "C": 0.06867921352386475, + "D": 0.06867921352386475 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шрам образуется от", + "option_a": "касания", + "option_b": "рассечения", + "option_c": "бега", + "option_d": "ходьбы" + }, + "outputs": "B", + "meta": { + "id": 413 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nШрам образуется от\nA) касания\nB) рассечения\nC) бега\nD) ходьбы\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 417, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.264356404542923, + "B": 0.24833986163139343, + "C": 0.16034026443958282, + "D": 0.21915915608406067 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Объем чего бы вы измерили в градуированном цилиндре?", + "option_a": "азот", + "option_b": "гелий", + "option_c": "кислород", + "option_d": "духи" + }, + "outputs": "D", + "meta": { + "id": 896 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОбъем чего бы вы измерили в градуированном цилиндре?\nA. азот\nB. гелий\nC. кислород\nD. духи\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.4495887756347656, + "B": 0.09423892199993134, + "C": 0.1760614812374115, + "D": 0.1760614812374115 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек хочет, чтобы его дом проводил тепловую энергию, поэтому, выбирая строительные материалы, он выбирает", + "option_a": "деревянную балку", + "option_b": "кусочки никеля", + "option_c": "пластиковую полку", + "option_d": "резиновый коврик" + }, + "outputs": "B", + "meta": { + "id": 721 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловек хочет, чтобы его дом проводил тепловую энергию, поэтому, выбирая строительные материалы, он выбирает\nA) деревянную балку\nB) кусочки никеля\nC) пластиковую полку\nD) резиновый коврик\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2040605992078781, + "B": 0.14024867117404938, + "C": 0.27891775965690613, + "D": 0.29690641164779663 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда свет попадает на отражающий объект, этот свет", + "option_a": "никогда не достигает его", + "option_b": "освещает заднюю сторону", + "option_c": "поднимается над ним", + "option_d": "перенаправляется от него" + }, + "outputs": "D", + "meta": { + "id": 1116 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда свет попадает на отражающий объект, этот свет\nA. никогда не достигает его\nB. освещает заднюю сторону\nC. поднимается над ним\nD. перенаправляется от него\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.35546478629112244, + "B": 0.19026660919189453, + "C": 0.21560029685497284, + "D": 0.06575437635183334 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда медведь ест ягоды, в какой биологический процесс он будет вносить свой вклад?", + "option_a": "кормление молодняка", + "option_b": "селекция нового сорта ягод", + "option_c": "размножение семенами", + "option_d": "разлив рек" + }, + "outputs": "C", + "meta": { + "id": 1187 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда медведь ест ягоды, в какой биологический процесс он будет вносить свой вклад?\nA. кормление молодняка\nB. селекция нового сорта ягод\nC. размножение семенами\nD. разлив рек\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.24146057665348053, + "B": 0.31004151701927185, + "C": 0.18804968893527985, + "D": 0.1766563206911087 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В поисках хорошего возобновляемого ресурса, чтобы не тратить впустую все, что в конечном итоге закончится, мужчина решает использовать", + "option_a": "мутную речную воду", + "option_b": "снежные шишки", + "option_c": "цветные карандаши", + "option_d": "свежую камбалу" + }, + "outputs": "A", + "meta": { + "id": 1329 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В поисках хорошего возобновляемого ресурса, чтобы не тратить впустую все, что в конечном итоге закончится, мужчина решает использовать\nA) мутную речную воду\nB) снежные шишки\nC) цветные карандаши\nD) свежую камбалу\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07057259231805801, + "B": 0.7587268948554993, + "C": 0.05496199429035187, + "D": 0.06629681587219238 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По полю дует ветерок, становясь все сильнее и сильнее. Ветер превращается в шторм, двигая камни и ломая деревья. Этот ветер, вероятно, является следствием", + "option_a": "равномерно обогреваемых помещений", + "option_b": "неравномерного распределения тепла", + "option_c": "хорошо обогреваемых земных пространств", + "option_d": "наличия обогревателей" + }, + "outputs": "B", + "meta": { + "id": 586 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: По полю дует ветерок, становясь все сильнее и сильнее. Ветер превращается в шторм, двигая камни и ломая деревья. Этот ветер, вероятно, является следствием\nA. равномерно обогреваемых помещений\nB. неравномерного распределения тепла\nC. хорошо обогреваемых земных пространств\nD. наличия обогревателей\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 476, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09374094754457474, + "B": 0.060523707419633865, + "C": 0.7373296618461609, + "D": 0.05017591640353203 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для правильной работы крана требуется", + "option_a": "песок", + "option_b": "ветер", + "option_c": "точка опоры", + "option_d": "солнечная энергия" + }, + "outputs": "C", + "meta": { + "id": 335 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для правильной работы крана требуется\nA. песок\nB. ветер\nC. точка опоры\nD. солнечная энергия\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.20140111446380615, + "B": 0.07409133017063141, + "C": 0.4831361472606659, + "D": 0.17773588001728058 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что легко проводят материалы, которые характеризует высокая теплопроводность?", + "option_a": "воздух", + "option_b": "свет", + "option_c": "электричество", + "option_d": "жар" + }, + "outputs": "D", + "meta": { + "id": 118 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что легко проводят материалы, которые характеризует высокая теплопроводность?\nA) воздух\nB) свет\nC) электричество\nD) жар\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.21263666450977325, + "B": 0.13728855550289154, + "C": 0.15556833148002625, + "D": 0.4228785037994385 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Джим нашел птиц, живущих в открытом", + "option_a": "совещании", + "option_b": "космосе", + "option_c": "молоке", + "option_d": "гнезде" + }, + "outputs": "D", + "meta": { + "id": 1428 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДжим нашел птиц, живущих в открытом\nA. совещании\nB. космосе\nC. молоке\nD. гнезде\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 421, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12219233065843582, + "B": 0.13846205174922943, + "C": 0.4832800626754761, + "D": 0.17778880894184113 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Студент оставляет на детской площадке мешочек с желудями, - кто, скорее всего, его возьмет?", + "option_a": "рыба в пруду", + "option_b": "собака в доме", + "option_c": "заблудший местный бурундук", + "option_d": "тигр в зоопарке" + }, + "outputs": "C", + "meta": { + "id": 1374 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСтудент оставляет на детской площадке мешочек с желудями, - кто, скорее всего, его возьмет?\nA. рыба в пруду\nB. собака в доме\nC. заблудший местный бурундук\nD. тигр в зоопарке\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.17432323098182678, + "B": 0.23827160894870758, + "C": 0.11981047689914703, + "D": 0.39284345507621765 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вещь может иметь текстуру, легко наблюдаемую и безглазым существом", + "option_a": "по звуку", + "option_b": "посредством зрения", + "option_c": "по запаху", + "option_d": "на ощупь" + }, + "outputs": "D", + "meta": { + "id": 389 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВещь может иметь текстуру, легко наблюдаемую и безглазым существом\nA. по звуку\nB. посредством зрения\nC. по запаху\nD. на ощупь\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.3188038766384125, + "B": 0.38455086946487427, + "C": 0.09133884310722351, + "D": 0.09722968190908432 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каньоны, как правило, древние, огромные и захватывающие, они", + "option_a": "обычно состоят из камня", + "option_b": "наполнены местной дикой природой", + "option_c": "полны грязи и мути", + "option_d": "до краев заполнены песком" + }, + "outputs": "A", + "meta": { + "id": 143 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКаньоны, как правило, древние, огромные и захватывающие, они\nA. обычно состоят из камня\nB. наполнены местной дикой природой\nC. полны грязи и мути\nD. до краев заполнены песком\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.026686375960707664, + "B": 0.8837313652038574, + "C": 0.010450534522533417, + "D": 0.022123783826828003 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Миграция - это когда в течение годового цикла из одних мест в другие и обратно перемещаются", + "option_a": "фигурки животных", + "option_b": "перелетные птицы", + "option_c": "оседлые животные", + "option_d": "течения" + }, + "outputs": "B", + "meta": { + "id": 935 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМиграция - это когда в течение годового цикла из одних мест в другие и обратно перемещаются\nA. фигурки животных\nB. перелетные птицы\nC. оседлые животные\nD. течения\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6154604554176331, + "B": 0.028785470873117447, + "C": 0.18770483136177063, + "D": 0.017459269613027573 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что произойдет, если человек съест больше еды, чем нужно его организму в данный момент?", + "option_a": "он станет толще", + "option_b": "он станет умнее", + "option_c": "он станет легче", + "option_d": "он станет короче" + }, + "outputs": "A", + "meta": { + "id": 259 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что произойдет, если человек съест больше еды, чем нужно его организму в данный момент?\nA) он станет толще\nB) он станет умнее\nC) он станет легче\nD) он станет короче\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09415484964847565, + "B": 0.6957154870033264, + "C": 0.0830913633108139, + "D": 0.06079093739390373 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплопроводность проявляется, когда", + "option_a": "я сажусь на кровать", + "option_b": "я оставляю бревенчатую кочергу в огне", + "option_c": "я машу флагом в воздухе", + "option_d": "у меня вечеринка" + }, + "outputs": "B", + "meta": { + "id": 2080 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТеплопроводность проявляется, когда\nA) я сажусь на кровать\nB) я оставляю бревенчатую кочергу в огне\nC) я машу флагом в воздухе\nD) у меня вечеринка\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.10623446106910706, + "B": 0.04160201549530029, + "C": 0.06443445384502411, + "D": 0.7374132871627808 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Причиной каких новообразований могут быть химические реакции?", + "option_a": "Температура", + "option_b": "Форма", + "option_c": "Цвет", + "option_d": "Вещества" + }, + "outputs": "D", + "meta": { + "id": 1505 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Причиной каких новообразований могут быть химические реакции?\nA) Температура\nB) Форма\nC) Цвет\nD) Вещества\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.17633898556232452, + "B": 0.3973860442638397, + "C": 0.2264237254858017, + "D": 0.12119589000940323 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что больше всего навредит организму?", + "option_a": "печенье", + "option_b": "взрыв машины", + "option_c": "еда", + "option_d": "питье" + }, + "outputs": "B", + "meta": { + "id": 746 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что больше всего навредит организму?\nA) печенье\nB) взрыв машины\nC) еда\nD) питье\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04777875915169716, + "B": 0.747385561466217, + "C": 0.02120169810950756, + "D": 0.1220073476433754 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В специальном месте для повторного использования материалов можно найти", + "option_a": "свежий наполнитель для кошачьего туалета", + "option_b": "старый алюминиевый поддон", + "option_c": "новый кирпичный дом", + "option_d": "старый использованный воск" + }, + "outputs": "B", + "meta": { + "id": 2045 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ специальном месте для повторного использования материалов можно найти\nA. свежий наполнитель для кошачьего туалета\nB. старый алюминиевый поддон\nC. новый кирпичный дом\nD. старый использованный воск\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.518819272518158, + "B": 0.06596045941114426, + "C": 0.19086295366287231, + "D": 0.05820990353822708 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мальчик чистит зубы в ванной, но в ванной выключен свет. Однако его комната находится рядом с ванной, а в спальне горит свет. Ванная комната по-прежнему светлая, потому что зеркало отражает", + "option_a": "свет из спальни", + "option_b": "свет от солнца", + "option_c": "свет от ванной", + "option_d": "свет от машины" + }, + "outputs": "A", + "meta": { + "id": 1355 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМальчик чистит зубы в ванной, но в ванной выключен свет. Однако его комната находится рядом с ванной, а в спальне горит свет. Ванная комната по-прежнему светлая, потому что зеркало отражает\nA) свет из спальни\nB) свет от солнца\nC) свет от ванной\nD) свет от машины\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 466, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.28354278206825256, + "B": 0.12582135200500488, + "C": 0.28354278206825256, + "D": 0.17197738587856293 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы вглядитесь в мрамор, вы увидите", + "option_a": "мелкие дефекты", + "option_b": "будущее", + "option_c": "цвета", + "option_d": "его обратную сторону" + }, + "outputs": "A", + "meta": { + "id": 1501 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вы вглядитесь в мрамор, вы увидите\nA) мелкие дефекты\nB) будущее\nC) цвета\nD) его обратную сторону\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10046631842851639, + "B": 0.14617764949798584, + "C": 0.5102100968360901, + "D": 0.17632390558719635 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где декабрь является летним месяцем?", + "option_a": "южная часть городов", + "option_b": "Северное полушарие Земли", + "option_c": "Южное полушарие Земли", + "option_d": "Экватор" + }, + "outputs": "C", + "meta": { + "id": 1540 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде декабрь является летним месяцем?\nA) южная часть городов\nB) Северное полушарие Земли\nC) Южное полушарие Земли\nD) Экватор\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.21999378502368927, + "B": 0.11775419116020203, + "C": 0.34073302149772644, + "D": 0.24928559362888336 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем больше количество жилых зданий в пространстве,", + "option_a": "тем ярче звезды", + "option_b": "тем больше звезд на небе", + "option_c": "тем скучнее звезды", + "option_d": "тем меньше видимых звезд" + }, + "outputs": "D", + "meta": { + "id": 232 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чем больше количество жилых зданий в пространстве,\nA. тем ярче звезды\nB. тем больше звезд на небе\nC. тем скучнее звезды\nD. тем меньше видимых звезд\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.24199704825878143, + "B": 0.2006225883960724, + "C": 0.2742185890674591, + "D": 0.18846750259399414 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Цветы в поле опылены насекомыми. А наиболее вероятным распространителем семян будут", + "option_a": "птицы", + "option_b": "дети", + "option_c": "кабаны", + "option_d": "полосатые соколы" + }, + "outputs": "A", + "meta": { + "id": 673 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЦветы в поле опылены насекомыми. А наиболее вероятным распространителем семян будут\nA) птицы\nB) дети\nC) кабаны\nD) полосатые соколы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3026600480079651, + "B": 0.26709654927253723, + "C": 0.16200225055217743, + "D": 0.1521870195865631 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером предмета многоразового использования является", + "option_a": "пластиковый стакан", + "option_b": "жестяная банка из-под газировки", + "option_c": "мешок для мусора", + "option_d": "стальной стакан" + }, + "outputs": "D", + "meta": { + "id": 2315 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером предмета многоразового использования является\nA. пластиковый стакан\nB. жестяная банка из-под газировки\nC. мешок для мусора\nD. стальной стакан\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.05327177047729492, + "B": 0.05004419758915901, + "C": 0.03439484164118767, + "D": 0.8333107233047485 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тропические штормы получают энергию от", + "option_a": "супермаркета", + "option_b": "Мексики", + "option_c": "заправочной станции", + "option_d": "океана" + }, + "outputs": "D", + "meta": { + "id": 1813 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Тропические штормы получают энергию от\nA) супермаркета\nB) Мексики\nC) заправочной станции\nD) океана\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.16017451882362366, + "B": 0.11718618124723434, + "C": 0.31854504346847534, + "D": 0.33908942341804504 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Луговые полевки потребляют", + "option_a": "продуцентов", + "option_b": "высших хищников", + "option_c": "разлагателей", + "option_d": "падальщиков" + }, + "outputs": "A", + "meta": { + "id": 1132 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛуговые полевки потребляют\nA) продуцентов\nB) высших хищников\nC) разлагателей\nD) падальщиков\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4987023174762726, + "B": 0.15209560096263885, + "C": 0.12609168887138367, + "D": 0.10453368723392487 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если земная кора меняется в короткие сроки, вероятная причина -", + "option_a": "землетрясения", + "option_b": "луны", + "option_c": "холодные ночи", + "option_d": "сплавляемые бревна" + }, + "outputs": "A", + "meta": { + "id": 511 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если земная кора меняется в короткие сроки, вероятная причина -\nA) землетрясения\nB) луны\nC) холодные ночи\nD) сплавляемые бревна\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15104451775550842, + "B": 0.06702560186386108, + "C": 0.4952559173107147, + "D": 0.2064533829689026 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если какой-либо вид животных находится под угрозой исчезновения или вымирает, это потому, что слишком многие из них перестали", + "option_a": "ничего не делать", + "option_b": "обниматься", + "option_c": "спариваться", + "option_d": "умирать" + }, + "outputs": "C", + "meta": { + "id": 218 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли какой-либо вид животных находится под угрозой исчезновения или вымирает, это потому, что слишком многие из них перестали\nA. ничего не делать\nB. обниматься\nC. спариваться\nD. умирать\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0795004814863205, + "B": 0.024246277287602425, + "C": 0.7085801362991333, + "D": 0.13952769339084625 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Клетки могут быть компонентами зоопарков, тюрем, мест содержания под стражей и", + "option_a": "синих джинсов", + "option_b": "космических камней", + "option_c": "форм жизни", + "option_d": "фильтрованной воды" + }, + "outputs": "C", + "meta": { + "id": 1564 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКлетки могут быть компонентами зоопарков, тюрем, мест содержания под стражей и\nA) синих джинсов\nB) космических камней\nC) форм жизни\nD) фильтрованной воды\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.08326418697834015, + "B": 0.030631182715296745, + "C": 0.78998863697052, + "D": 0.05050228163599968 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что происходит с зажженной свечой?", + "option_a": "она остается такой же", + "option_b": "ни один ответ не является верным", + "option_c": "она становится короче", + "option_d": "она становится выше" + }, + "outputs": "C", + "meta": { + "id": 1292 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что происходит с зажженной свечой?\nA) она остается такой же\nB) ни один ответ не является верным\nC) она становится короче\nD) она становится выше\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2162276953458786, + "B": 0.10872610658407211, + "C": 0.33489999175071716, + "D": 0.24501806497573853 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По материалам, из которых она состоит, Земля похожа на", + "option_a": "Марс", + "option_b": "Юпитер", + "option_c": "Нептун", + "option_d": "Солнце" + }, + "outputs": "A", + "meta": { + "id": 1584 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПо материалам, из которых она состоит, Земля похожа на\nA) Марс\nB) Юпитер\nC) Нептун\nD) Солнце\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.26246175169944763, + "B": 0.26246175169944763, + "C": 0.20440542697906494, + "D": 0.14954619109630585 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В дождливый день облака", + "option_a": "высокие", + "option_b": "серые", + "option_c": "белые", + "option_d": "маленькие" + }, + "outputs": "B", + "meta": { + "id": 2264 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В дождливый день облака\nA. высокие\nB. серые\nC. белые\nD. маленькие\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.12061484903097153, + "B": 0.09999322146177292, + "C": 0.1988602727651596, + "D": 0.5405582189559937 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как правило, электричество не может протекать через", + "option_a": "электроны с низким сопротивлением", + "option_b": "полные проводящие пути", + "option_c": "замкнутые цепи", + "option_d": "незамкнутые проводящие пути" + }, + "outputs": "D", + "meta": { + "id": 406 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКак правило, электричество не может протекать через\nA) электроны с низким сопротивлением\nB) полные проводящие пути\nC) замкнутые цепи\nD) незамкнутые проводящие пути\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.09056307375431061, + "B": 0.07507942616939545, + "C": 0.6691756248474121, + "D": 0.10923992097377777 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из этих животных может съесть стейк?", + "option_a": "Курица", + "option_b": "Лев", + "option_c": "Корова", + "option_d": "Буйвол" + }, + "outputs": "B", + "meta": { + "id": 2060 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое из этих животных может съесть стейк?\nA. Курица\nB. Лев\nC. Корова\nD. Буйвол\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.23620125651359558, + "B": 0.03855879604816437, + "C": 0.5666173696517944, + "D": 0.05972103029489517 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Существо, обитающее в местах с виноградными лозами и навесами, по сравнению с существом, обитающим в пространстве с колючими растениями и горячей почвой, будет", + "option_a": "проводить больше времени во влажной среде", + "option_b": "постояннно мечтать о снежной пустыне", + "option_c": "проводить больше времени в сухой среде", + "option_d": "жить в засушливом климате" + }, + "outputs": "A", + "meta": { + "id": 753 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСущество, обитающее в местах с виноградными лозами и навесами, по сравнению с существом, обитающим в пространстве с колючими растениями и горячей почвой, будет\nA. проводить больше времени во влажной среде\nB. постояннно мечтать о снежной пустыне\nC. проводить больше времени в сухой среде\nD. жить в засушливом климате\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 484, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.016611019149422646, + "B": 0.9069308638572693, + "C": 0.018822748214006424, + "D": 0.012936673127114773 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Помимо растений, ящерицы также едят насекомых для", + "option_a": "пения", + "option_b": "пропитания", + "option_c": "ничего", + "option_d": "плача" + }, + "outputs": "B", + "meta": { + "id": 14 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПомимо растений, ящерицы также едят насекомых для\nA) пения\nB) пропитания\nC) ничего\nD) плача\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8503025770187378, + "B": 0.015573835000395775, + "C": 0.02128690853714943, + "D": 0.012128913775086403 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тихоокеанское Кольцо огня состоит из", + "option_a": "цепи подводных вулканов", + "option_b": "водорослей", + "option_c": "зефира", + "option_d": "ледяных образований" + }, + "outputs": "A", + "meta": { + "id": 886 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТихоокеанское Кольцо огня состоит из\nA) цепи подводных вулканов\nB) водорослей\nC) зефира\nD) ледяных образований\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5416842103004456, + "B": 0.053633999079465866, + "C": 0.14579232037067413, + "D": 0.1208660826086998 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие отношения наиболее верны?", + "option_a": "ястребы едят ящериц, которые едят жуков, которые едят траву", + "option_b": "ястребы едят медведей, которые едят жуков, которые едят собак", + "option_c": "ястребы едят кошек, которые едят жуков, которые едят воздух", + "option_d": "медведи едят ящериц, которые едят лошадей, которые едят траву" + }, + "outputs": "A", + "meta": { + "id": 1961 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие отношения наиболее верны?\nA) ястребы едят ящериц, которые едят жуков, которые едят траву\nB) ястребы едят медведей, которые едят жуков, которые едят собак\nC) ястребы едят кошек, которые едят жуков, которые едят воздух\nD) медведи едят ящериц, которые едят лошадей, которые едят траву\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 510, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6949073076248169, + "B": 0.06880514323711395, + "C": 0.04173242673277855, + "D": 0.05358549579977989 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является источником сырья?", + "option_a": "нефтяное месторождение", + "option_b": "завод", + "option_c": "торговый центр", + "option_d": "электростанция" + }, + "outputs": "A", + "meta": { + "id": 1510 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто является источником сырья?\nA. нефтяное месторождение\nB. завод\nC. торговый центр\nD. электростанция\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0302873607724905, + "B": 0.014306736178696156, + "C": 0.8851264715194702, + "D": 0.03432007506489754 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если живое животное будет в идеальной ситуации, как минимум, у него будет", + "option_a": "сани", + "option_b": "синяк под глазом", + "option_c": "место для обитания", + "option_d": "трансплантация печени" + }, + "outputs": "C", + "meta": { + "id": 1056 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли живое животное будет в идеальной ситуации, как минимум, у него будет\nA) сани\nB) синяк под глазом\nC) место для обитания\nD) трансплантация печени\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6016567945480347, + "B": 0.05596279725432396, + "C": 0.14290601015090942, + "D": 0.06750401854515076 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой пример характеризует защиту окружающей среды?", + "option_a": "с помощью ограничителя уменьшить поток воды", + "option_b": "дважды промыть унитаз", + "option_c": "чаще ездить в короткие поездки", + "option_d": "использовать более дорогую бумагу" + }, + "outputs": "A", + "meta": { + "id": 2114 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой пример характеризует защиту окружающей среды?\nA. с помощью ограничителя уменьшить поток воды\nB. дважды промыть унитаз\nC. чаще ездить в короткие поездки\nD. использовать более дорогую бумагу\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.30531343817710876, + "B": 0.22337208688259125, + "C": 0.23777835071086884, + "D": 0.1272735744714737 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Более холодное время года ниже экватора происходит, когда над экватором", + "option_a": "носят толстые куртки", + "option_b": "носят купальники", + "option_c": "увлекаются подледной рыбалкой", + "option_d": "выбивают на снегу одеяла" + }, + "outputs": "B", + "meta": { + "id": 103 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБолее холодное время года ниже экватора происходит, когда над экватором\nA) носят толстые куртки\nB) носят купальники\nC) увлекаются подледной рыбалкой\nD) выбивают на снегу одеяла\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.20183931291103363, + "B": 0.18961046636104584, + "C": 0.3327767550945282, + "D": 0.16733066737651825 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шоколадный кролик тает от", + "option_a": "дыхания ледяного пруда", + "option_b": "близости морозильника", + "option_c": "снега", + "option_d": "щипцов для завивки" + }, + "outputs": "D", + "meta": { + "id": 398 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nШоколадный кролик тает от\nA) дыхания ледяного пруда\nB) близости морозильника\nC) снега\nD) щипцов для завивки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.18994101881980896, + "B": 0.3131597936153412, + "C": 0.20219115912914276, + "D": 0.20219115912914276 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На Земле есть континенты, на которых в разное время происходят похожие события, в зависимости от того, на какой долготе они находятся, например", + "option_a": "мультфильмы", + "option_b": "восход солнца", + "option_c": "парад", + "option_d": "леса" + }, + "outputs": "B", + "meta": { + "id": 662 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На Земле есть континенты, на которых в разное время происходят похожие события, в зависимости от того, на какой долготе они находятся, например\nA) мультфильмы\nB) восход солнца\nC) парад\nD) леса\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8768865466117859, + "B": 0.010369590483605862, + "C": 0.006289474666118622, + "D": 0.008075845427811146 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой вид энергии самый экологически чистый?", + "option_a": "Солнечный свет", + "option_b": "Нефть", + "option_c": "Природный газ", + "option_d": "Уголь" + }, + "outputs": "A", + "meta": { + "id": 2145 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой вид энергии самый экологически чистый?\nA. Солнечный свет\nB. Нефть\nC. Природный газ\nD. Уголь\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.27468612790107727, + "B": 0.1381208598613739, + "C": 0.25804373621940613, + "D": 0.22772279381752014 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зефир и ____ относятся к разным категориям.", + "option_a": "стейк", + "option_b": "печенье", + "option_c": "шоколад", + "option_d": "огонь" + }, + "outputs": "D", + "meta": { + "id": 1880 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Зефир и ____ относятся к разным категориям.\nA. стейк\nB. печенье\nC. шоколад\nD. огонь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.07954677939414978, + "B": 0.04257832467556, + "C": 0.7089927792549133, + "D": 0.10214009881019592 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек ест фрукт, возможно фрукт когда-то был…", + "option_a": "ничем из этого", + "option_b": "камнем", + "option_c": "частью репродуктивной системы растения", + "option_d": "корнем" + }, + "outputs": "C", + "meta": { + "id": 2255 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли человек ест фрукт, возможно фрукт когда-то был…\nA. ничем из этого\nB. камнем\nC. частью репродуктивной системы растения\nD. корнем\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0650719627737999, + "B": 0.6173855662345886, + "C": 0.06926874071359634, + "D": 0.18829195201396942 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Спиливание дерева, в котором живет сова,", + "option_a": "означает, что сова пойдет за деревом", + "option_b": "лишает сову дома", + "option_c": "заставляет сову задуматься", + "option_d": "приводит к гибели совы" + }, + "outputs": "B", + "meta": { + "id": 1514 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Спиливание дерева, в котором живет сова,\nA. означает, что сова пойдет за деревом\nB. лишает сову дома\nC. заставляет сову задуматься\nD. приводит к гибели совы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.21182839572429657, + "B": 0.10006065666675568, + "C": 0.371770441532135, + "D": 0.24003303050994873 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Градуирование стакана метками для обозначения количества чашек в нем это", + "option_a": "способ увидеть, сколько данных осталось на телефоне", + "option_b": "способ сделать чили", + "option_c": "способ рассмотреть возможность получения чего-либо", + "option_d": "способ сбора данных" + }, + "outputs": "D", + "meta": { + "id": 1240 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГрадуирование стакана метками для обозначения количества чашек в нем это\nA) способ увидеть, сколько данных осталось на телефоне\nB) способ сделать чили\nC) способ рассмотреть возможность получения чего-либо\nD) способ сбора данных\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6221098303794861, + "B": 0.06556989252567291, + "C": 0.13040129840373993, + "D": 0.0697987824678421 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поверхность луны", + "option_a": "содержит большие полости, вызванные взрывами", + "option_b": "гладкая по всей поверхности", + "option_c": "содержит внутреннюю сердцевину из сыра", + "option_d": "заполнена озерами" + }, + "outputs": "A", + "meta": { + "id": 1716 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПоверхность луны\nA) содержит большие полости, вызванные взрывами\nB) гладкая по всей поверхности\nC) содержит внутреннюю сердцевину из сыра\nD) заполнена озерами\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.05267469212412834, + "B": 0.018203886225819588, + "C": 0.024881763383746147, + "D": 0.8771123886108398 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что заставляет объекты в космосе двигаться по орбитам?", + "option_a": "красивая форма орбит", + "option_b": "солнечный свет", + "option_c": "солнечные вспышки", + "option_d": "притяжение небесных тел" + }, + "outputs": "D", + "meta": { + "id": 1427 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что заставляет объекты в космосе двигаться по орбитам?\nA) красивая форма орбит\nB) солнечный свет\nC) солнечные вспышки\nD) притяжение небесных тел\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.2522621154785156, + "B": 0.41590988636016846, + "C": 0.04118065536022186, + "D": 0.1845588982105255 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что разлагается при разложении?", + "option_a": "пластик", + "option_b": "живые существа", + "option_c": "металлы", + "option_d": "безжизненные формы жизни" + }, + "outputs": "D", + "meta": { + "id": 1190 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что разлагается при разложении?\nA. пластик\nB. живые существа\nC. металлы\nD. безжизненные формы жизни\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4165114462375641, + "B": 0.06000416725873947, + "C": 0.3047262728214264, + "D": 0.09893014281988144 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лучший способ разжечь огонь - использовать", + "option_a": "бревна, лишенные влаги", + "option_b": "старые гнилые ветки", + "option_c": "зеленые ветки", + "option_d": "рубленые бревна" + }, + "outputs": "A", + "meta": { + "id": 1964 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛучший способ разжечь огонь - использовать\nA) бревна, лишенные влаги\nB) старые гнилые ветки\nC) зеленые ветки\nD) рубленые бревна\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7319850921630859, + "B": 0.022104036062955856, + "C": 0.10545246303081512, + "D": 0.022104036062955856 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Конденсация - это стадия в каком циклическом процессе?", + "option_a": "круговорот воды", + "option_b": "освоение космоса", + "option_c": "солнечный круг", + "option_d": "кольцо огня" + }, + "outputs": "A", + "meta": { + "id": 1983 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКонденсация - это стадия в каком циклическом процессе?\nA) круговорот воды\nB) освоение космоса\nC) солнечный круг\nD) кольцо огня\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8552358150482178, + "B": 0.01566419191658497, + "C": 0.021410411223769188, + "D": 0.01566419191658497 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Передача электричества через какой материал будет наиболее успешной?", + "option_a": "медь", + "option_b": "вода", + "option_c": "воздух", + "option_d": "земля" + }, + "outputs": "A", + "meta": { + "id": 1939 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПередача электричества через какой материал будет наиболее успешной?\nA. медь\nB. вода\nC. воздух\nD. земля\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12503844499588013, + "B": 0.29995161294937134, + "C": 0.3398897051811218, + "D": 0.14168711006641388 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что или кого орел будет ловить когтями?", + "option_a": "орехи и ягоды", + "option_b": "лев", + "option_c": "мышь", + "option_d": "слон" + }, + "outputs": "C", + "meta": { + "id": 1446 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто или кого орел будет ловить когтями?\nA) орехи и ягоды\nB) лев\nC) мышь\nD) слон\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.3224976360797882, + "B": 0.04945661127567291, + "C": 0.4692312777042389, + "D": 0.046460188925266266 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В определенный момент холодного месяца освещение в часы бодрствования", + "option_a": "закончится раньше", + "option_b": "будет чрезмерно жарким", + "option_c": "будет длиться дольше всего", + "option_d": "запустит рост новых растений" + }, + "outputs": "A", + "meta": { + "id": 525 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ определенный момент холодного месяца освещение в часы бодрствования\nA. закончится раньше\nB. будет чрезмерно жарким\nC. будет длиться дольше всего\nD. запустит рост новых растений\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.18127086758613586, + "B": 0.1032850369811058, + "C": 0.4348462224006653, + "D": 0.17028822004795074 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда мы делали конфетти, оно отличалось от оригинальных листов бумаги", + "option_a": "цветом", + "option_b": "рисунком", + "option_c": "формой", + "option_d": "температурой" + }, + "outputs": "C", + "meta": { + "id": 135 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда мы делали конфетти, оно отличалось от оригинальных листов бумаги\nA) цветом\nB) рисунком\nC) формой\nD) температурой\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.20605632662773132, + "B": 0.1818440705537796, + "C": 0.38496389985084534, + "D": 0.14162032306194305 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Количество воды в океане по сравнению с тем, что было пятьдесят лет назад,", + "option_a": "колеблется", + "option_b": "увеличилось", + "option_c": "уменьшилось", + "option_d": "осталось прежним" + }, + "outputs": "B", + "meta": { + "id": 2221 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Количество воды в океане по сравнению с тем, что было пятьдесят лет назад,\nA. колеблется\nB. увеличилось\nC. уменьшилось\nD. осталось прежним\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06424485892057419, + "B": 0.782662570476532, + "C": 0.06035245954990387, + "D": 0.041479598730802536 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как новые гибридные автомобили со временем повлияют на потребление газа в мире?", + "option_a": "увеличат", + "option_b": "уменьшат", + "option_c": "оставят на прежнем уровне", + "option_d": "все перейдут на более медленные автомобили" + }, + "outputs": "B", + "meta": { + "id": 537 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как новые гибридные автомобили со временем повлияют на потребление газа в мире?\nA. увеличат\nB. уменьшат\nC. оставят на прежнем уровне\nD. все перейдут на более медленные автомобили\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.05216475576162338, + "B": 0.13320736587047577, + "C": 0.05911041051149368, + "D": 0.7201122045516968 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лесной пожар возникает, когда", + "option_a": "экологам становится жарко", + "option_b": "кто-то курит возле леса", + "option_c": "узор деревьев похож на огонь", + "option_d": "загораются сухие участки деревьев" + }, + "outputs": "D", + "meta": { + "id": 33 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛесной пожар возникает, когда\nA. экологам становится жарко\nB. кто-то курит возле леса\nC. узор деревьев похож на огонь\nD. загораются сухие участки деревьев\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.2491648644208908, + "B": 0.029758499935269356, + "C": 0.1252879649400711, + "D": 0.5274819731712341 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мужчина получил ожог в результате дорожно-транспортного происшествия, что означает, что в какой-то момент он", + "option_a": "подвергся воздействию сильного жара", + "option_b": "замерз в ледяной буре", + "option_c": "врезался в вертолет", + "option_d": "растопленный расплавленной лавой." + }, + "outputs": "A", + "meta": { + "id": 1902 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМужчина получил ожог в результате дорожно-транспортного происшествия, что означает, что в какой-то момент он\nA. подвергся воздействию сильного жара\nB. замерз в ледяной буре\nC. врезался в вертолет\nD. растопленный расплавленной лавой.\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 469, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.41465288400650024, + "B": 0.19586816430091858, + "C": 0.1116023138165474, + "D": 0.1728530377149582 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Назовите одну из причин образования парниковых газов:", + "option_a": "слоны", + "option_b": "груши", + "option_c": "валуны", + "option_d": "дубы" + }, + "outputs": "A", + "meta": { + "id": 549 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНазовите одну из причин образования парниковых газов:\nA. слоны\nB. груши\nC. валуны\nD. дубы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3032224476337433, + "B": 0.07666663825511932, + "C": 0.25138023495674133, + "D": 0.25138023495674133 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Разложение", + "option_a": "лишает почвы способности питать растения", + "option_b": "добавляет компоненты, необходимые для поддержания жизни в почве", + "option_c": "увеличивает скорость истощения питательных веществ в почве", + "option_d": "уменьшает количество питательных веществ в почве" + }, + "outputs": "B", + "meta": { + "id": 1123 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Разложение\nA. лишает почвы способности питать растения\nB. добавляет компоненты, необходимые для поддержания жизни в почве\nC. увеличивает скорость истощения питательных веществ в почве\nD. уменьшает количество питательных веществ в почве\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1277821660041809, + "B": 0.16407553851604462, + "C": 0.5053882598876953, + "D": 0.1277821660041809 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером воздействия солнечного света является", + "option_a": "переменная погода", + "option_b": "ветряные мельницы, производящие энергию", + "option_c": "повышение температуры", + "option_d": "кваканье лягушек" + }, + "outputs": "C", + "meta": { + "id": 2066 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером воздействия солнечного света является\nA) переменная погода\nB) ветряные мельницы, производящие энергию\nC) повышение температуры\nD) кваканье лягушек\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.2740725576877594, + "B": 0.12946271896362305, + "C": 0.2740725576877594, + "D": 0.22721414268016815 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнце было прямо над нами, когда мы", + "option_a": "проснулись", + "option_b": "пошли на работу", + "option_c": "сделали перерыв", + "option_d": "пошли домой" + }, + "outputs": "C", + "meta": { + "id": 621 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Солнце было прямо над нами, когда мы\nA) проснулись\nB) пошли на работу\nC) сделали перерыв\nD) пошли домой\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2338687777519226, + "B": 0.049021556973457336, + "C": 0.4951001703739166, + "D": 0.11759660392999649 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие три события могут происходить один раз в день?", + "option_a": "3 цикла дня, 3 цикла ночи и щебетание птиц на восходе солнца", + "option_b": "цикл дня, цикл ночи и мотоцикл", + "option_c": "цикл дня, цикл ночи и щебетание птиц на восходе солнца", + "option_d": "цикл дня, цикл ночи и летающие птицы" + }, + "outputs": "C", + "meta": { + "id": 1494 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие три события могут происходить один раз в день?\nA. 3 цикла дня, 3 цикла ночи и щебетание птиц на восходе солнца\nB. цикл дня, цикл ночи и мотоцикл\nC. цикл дня, цикл ночи и щебетание птиц на восходе солнца\nD. цикл дня, цикл ночи и летающие птицы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 473, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.01581198163330555, + "B": 0.9189833998680115, + "C": 0.011568293906748295, + "D": 0.0108674056828022 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Питательные вещества из пищи и воды необходимы организму для", + "option_a": "дружбы", + "option_b": "выживания", + "option_c": "облагораживания среды обитания", + "option_d": "создания потребности в калориях" + }, + "outputs": "B", + "meta": { + "id": 54 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПитательные вещества из пищи и воды необходимы организму для\nA. дружбы\nB. выживания\nC. облагораживания среды обитания\nD. создания потребности в калориях\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1871284395456314, + "B": 0.07328054308891296, + "C": 0.42170044779777527, + "D": 0.22572000324726105 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фотокамера может сделать снимок и", + "option_a": "зафиксировать его в небе", + "option_b": "отредактировать его", + "option_c": "сохранить его", + "option_d": "воссоздать клоны людей со снимка" + }, + "outputs": "C", + "meta": { + "id": 92 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Фотокамера может сделать снимок и\nA) зафиксировать его в небе\nB) отредактировать его\nC) сохранить его\nD) воссоздать клоны людей со снимка\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.30609986186027527, + "B": 0.25376570224761963, + "C": 0.18565896153450012, + "D": 0.10578528791666031 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Рыбы лучше всего перемещаются по воде, когда у них есть плавники?", + "option_a": "Большой [Собрать]", + "option_b": "Длинный", + "option_c": "Маленький", + "option_d": "Короткий" + }, + "outputs": "A", + "meta": { + "id": 1606 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРыбы лучше всего перемещаются по воде, когда у них есть плавники?\nA. Большой [Собрать]\nB. Длинный\nC. Маленький\nD. Короткий\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.07771699130535126, + "B": 0.7373582720756531, + "C": 0.04713773727416992, + "D": 0.07771699130535126 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При варварской вырубке тропических лесов может снизиться", + "option_a": "уровень карбиндиоида", + "option_b": "уровень углекислого газа", + "option_c": "количество гелия", + "option_d": "качество воздуха" + }, + "outputs": "D", + "meta": { + "id": 185 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПри варварской вырубке тропических лесов может снизиться\nA. уровень карбиндиоида\nB. уровень углекислого газа\nC. количество гелия\nD. качество воздуха\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.08353854715824127, + "B": 0.047598835080862045, + "C": 0.6570816040039062, + "D": 0.13773179054260254 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Встречный пал, или контролируемый встречный пожар, помогает остановить распространение огня лесных пожаров за счет очистки территории на пути основной стены огня", + "option_a": "от осиных гнезд", + "option_b": "от помета животных", + "option_c": "от мертвой листвы", + "option_d": "от загрязнения воздуха" + }, + "outputs": "C", + "meta": { + "id": 1341 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВстречный пал, или контролируемый встречный пожар, помогает остановить распространение огня лесных пожаров за счет очистки территории на пути основной стены огня\nA. от осиных гнезд\nB. от помета животных\nC. от мертвой листвы\nD. от загрязнения воздуха\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3720947802066803, + "B": 0.15511217713356018, + "C": 0.21201319992542267, + "D": 0.10660693794488907 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек наполняет резервуар ископаемым топливом и знает, что через сто лет", + "option_a": "топливо может перестать существовать", + "option_b": "заправки могут быть более частыми", + "option_c": "топлива может стать больше", + "option_d": "топливо может стать бесплатным" + }, + "outputs": "A", + "meta": { + "id": 2104 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек наполняет резервуар ископаемым топливом и знает, что через сто лет\nA) топливо может перестать существовать\nB) заправки могут быть более частыми\nC) топлива может стать больше\nD) топливо может стать бесплатным\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.011775297112762928, + "B": 0.010391663759946823, + "C": 0.935427725315094, + "D": 0.015119780786335468 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Очки помогают вам", + "option_a": "жарить муравьев", + "option_b": "расплачиваться за преступления", + "option_c": "компенсировать проблемы со зрением", + "option_d": "наблюдать за Ураном" + }, + "outputs": "C", + "meta": { + "id": 1362 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОчки помогают вам\nA) жарить муравьев\nB) расплачиваться за преступления\nC) компенсировать проблемы со зрением\nD) наблюдать за Ураном\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.19560851156711578, + "B": 0.26736512780189514, + "C": 0.22165349125862122, + "D": 0.25116631388664246 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы можете сделать телескоп из", + "option_a": "соломинки", + "option_b": "оконного стекла", + "option_c": "свечи", + "option_d": "трубки пневматической почты" + }, + "outputs": "D", + "meta": { + "id": 678 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вы можете сделать телескоп из\nA) соломинки\nB) оконного стекла\nC) свечи\nD) трубки пневматической почты\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.32490167021751404, + "B": 0.22330144047737122, + "C": 0.286724716424942, + "D": 0.053038738667964935 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если кубик льда массой 15 грамм тает и переходит в жидкую форму, он", + "option_a": "сохранит прежнюю массу", + "option_b": "будет весить 19 грамм", + "option_c": "потеряет 5 грамм", + "option_d": "улетит" + }, + "outputs": "A", + "meta": { + "id": 1541 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли кубик льда массой 15 грамм тает и переходит в жидкую форму, он\nA) сохранит прежнюю массу\nB) будет весить 19 грамм\nC) потеряет 5 грамм\nD) улетит\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.43092745542526245, + "B": 0.05478627607226372, + "C": 0.2306588590145111, + "D": 0.1585293710231781 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку ветер дует на заднюю часть автомобиля с сильным порывом, автомобиль", + "option_a": "мчится вперед быстрее, чем раньше", + "option_b": "ветер не может повлиять на скорость автомобиля", + "option_c": "двигается не вперед, а вбок", + "option_d": "поддерживает прежние скорость и направление" + }, + "outputs": "A", + "meta": { + "id": 454 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Поскольку ветер дует на заднюю часть автомобиля с сильным порывом, автомобиль\nA. мчится вперед быстрее, чем раньше\nB. ветер не может повлиять на скорость автомобиля\nC. двигается не вперед, а вбок\nD. поддерживает прежние скорость и направление\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 469, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.37704136967658997, + "B": 0.10802416503429413, + "C": 0.25913649797439575, + "D": 0.12240741401910782 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что использовали некоторые древние общества для отражения света?", + "option_a": "камни", + "option_b": "растения", + "option_c": "одежда", + "option_d": "дерево" + }, + "outputs": "A", + "meta": { + "id": 1463 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто использовали некоторые древние общества для отражения света?\nA) камни\nB) растения\nC) одежда\nD) дерево\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.14068880677223206, + "B": 0.16970309615135193, + "C": 0.317047119140625, + "D": 0.317047119140625 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что содержит семена", + "option_a": "человек", + "option_b": "целая тыква", + "option_c": "банка из-под газировки", + "option_d": "лист растения" + }, + "outputs": "B", + "meta": { + "id": 434 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто содержит семена\nA) человек\nB) целая тыква\nC) банка из-под газировки\nD) лист растения\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.04028676822781563, + "B": 0.02443516068160534, + "C": 0.8613690733909607, + "D": 0.04028676822781563 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как определить климат места?", + "option_a": "посмотрите на погоду только в полдень", + "option_b": "посмотрите на самые экстремальные погодные явления", + "option_c": "посмотрите на погоду утром, днем ​​и вечером в разное время года", + "option_d": "посмотрите на погоду в один день" + }, + "outputs": "C", + "meta": { + "id": 570 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как определить климат места?\nA) посмотрите на погоду только в полдень\nB) посмотрите на самые экстремальные погодные явления\nC) посмотрите на погоду утром, днем ​​и вечером в разное время года\nD) посмотрите на погоду в один день\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1299092024564743, + "B": 0.05764686316251755, + "C": 0.5822126865386963, + "D": 0.16680672764778137 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если у вас есть пакет оберток от сэндвичей, вы могли бы нанести ущерб среде, в которой живёте, - если бы", + "option_a": "переработали их", + "option_b": "повторно использовали их", + "option_c": "выбросили их", + "option_d": "повторно применили их" + }, + "outputs": "C", + "meta": { + "id": 821 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли у вас есть пакет оберток от сэндвичей, вы могли бы нанести ущерб среде, в которой живёте, - если бы\nA) переработали их\nB) повторно использовали их\nC) выбросили их\nD) повторно применили их\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1817243993282318, + "B": 0.5258369445800781, + "C": 0.07116429507732391, + "D": 0.14152710139751434 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может вызвать наводнение?", + "option_a": "перенаселенность территории", + "option_b": "озеро получает слишком много дождевой воды", + "option_c": "гора теряет почву", + "option_d": "пересыхает река" + }, + "outputs": "B", + "meta": { + "id": 2004 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может вызвать наводнение?\nA. перенаселенность территории\nB. озеро получает слишком много дождевой воды\nC. гора теряет почву\nD. пересыхает река\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.20859447121620178, + "B": 0.05976331606507301, + "C": 0.5326646566390991, + "D": 0.11165257543325424 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одна из любимых жертв тунца -", + "option_a": "акула", + "option_b": "колибри", + "option_c": "сардина", + "option_d": "кошка" + }, + "outputs": "C", + "meta": { + "id": 810 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОдна из любимых жертв тунца -\nA. акула\nB. колибри\nC. сардина\nD. кошка\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.6188034415245056, + "B": 0.06942781805992126, + "C": 0.13807371258735657, + "D": 0.05407043918967247 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как избежать хищников, какова хорошая стратегия выживания?", + "option_a": "громко шуметь и двигаться", + "option_b": "обзавестись ярко окрашенным оперением", + "option_c": "выглядеть так же, как листья", + "option_d": "жить на открытых пространствах" + }, + "outputs": "C", + "meta": { + "id": 1807 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как избежать хищников, какова хорошая стратегия выживания?\nA) громко шуметь и двигаться\nB) обзавестись ярко окрашенным оперением\nC) выглядеть так же, как листья\nD) жить на открытых пространствах\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3702642321586609, + "B": 0.08261711895465851, + "C": 0.12795990705490112, + "D": 0.3267570436000824 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если что-то находится в экосистеме, это может быть", + "option_a": "невидимым", + "option_b": "космическим вакуумом", + "option_c": "инопланетным", + "option_d": "безжизненным" + }, + "outputs": "D", + "meta": { + "id": 1274 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли что-то находится в экосистеме, это может быть\nA) невидимым\nB) космическим вакуумом\nC) инопланетным\nD) безжизненным\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3575449287891388, + "B": 0.15865959227085114, + "C": 0.20372293889522552, + "D": 0.19138000905513763 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы находитесь у пруда, бросая камушки, на какой предмет для пикника должен больше всего походить камень для скачков по воде?", + "option_a": "Фрисби", + "option_b": "Футбольный мяч", + "option_c": "Хоккейная клюшка", + "option_d": "Клюшка для гольфа" + }, + "outputs": "A", + "meta": { + "id": 828 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если вы находитесь у пруда, бросая камушки, на какой предмет для пикника должен больше всего походить камень для скачков по воде?\nA. Фрисби\nB. Футбольный мяч\nC. Хоккейная клюшка\nD. Клюшка для гольфа\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 477, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.10796431452035904, + "B": 0.5150689482688904, + "C": 0.084082692861557, + "D": 0.2285604625940323 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воздействию чего подвергается планета, вращающаяся вокруг нашей звезды?", + "option_a": "горы", + "option_b": "солнечные лучи", + "option_c": "океаны", + "option_d": "луны" + }, + "outputs": "B", + "meta": { + "id": 1070 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Воздействию чего подвергается планета, вращающаяся вокруг нашей звезды?\nA. горы\nB. солнечные лучи\nC. океаны\nD. луны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.36927494406700134, + "B": 0.14461015164852142, + "C": 0.19765864312648773, + "D": 0.1744331419467926 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто, скорее всего, будет жить под камнем?", + "option_a": "полевка", + "option_b": "кот", + "option_c": "орел", + "option_d": "собака" + }, + "outputs": "A", + "meta": { + "id": 658 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто, скорее всего, будет жить под камнем?\nA. полевка\nB. кот\nC. орел\nD. собака\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.3073838949203491, + "B": 0.08273124694824219, + "C": 0.32720842957496643, + "D": 0.14519786834716797 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком месте зимой не бывает снега?", + "option_a": "Йоханнесбург", + "option_b": "Осло", + "option_c": "Каир", + "option_d": "вершина эвереста" + }, + "outputs": "C", + "meta": { + "id": 1974 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каком месте зимой не бывает снега?\nA. Йоханнесбург\nB. Осло\nC. Каир\nD. вершина эвереста\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7216025590896606, + "B": 0.026284372434020042, + "C": 0.10395670682191849, + "D": 0.03170500323176384 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что лучше всего сделать для окружающей среды?", + "option_a": "посадка деревьев взамен упавших", + "option_b": "выведение нового вида", + "option_c": "выращивание и прополка роз", + "option_d": "разбрасывание мусора" + }, + "outputs": "A", + "meta": { + "id": 1951 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто лучше всего сделать для окружающей среды?\nA. посадка деревьев взамен упавших\nB. выведение нового вида\nC. выращивание и прополка роз\nD. разбрасывание мусора\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.1765919327735901, + "B": 0.29115086793899536, + "C": 0.2735109329223633, + "D": 0.20010487735271454 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек, который проводит в свой коттедж электричество, будет избегать", + "option_a": "установки новых розеток", + "option_b": "работы с проводкой", + "option_c": "стояния в луже", + "option_d": "установки электрических проводов в стенах" + }, + "outputs": "C", + "meta": { + "id": 1360 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловек, который проводит в свой коттедж электричество, будет избегать\nA) установки новых розеток\nB) работы с проводкой\nC) стояния в луже\nD) установки электрических проводов в стенах\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2747092843055725, + "B": 0.07393699884414673, + "C": 0.35273370146751404, + "D": 0.17736564576625824 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Не выводят из организма отходы жизнедеятельности:", + "option_a": "растения", + "option_b": "грибы", + "option_c": "бактерии", + "option_d": "роботы" + }, + "outputs": "D", + "meta": { + "id": 600 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНе выводят из организма отходы жизнедеятельности:\nA. растения\nB. грибы\nC. бактерии\nD. роботы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.08595772087574005, + "B": 0.048977240920066833, + "C": 0.6761099100112915, + "D": 0.11749027669429779 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пожары, хотя и опасны, могут помочь с", + "option_a": "магией", + "option_b": "чувствами", + "option_c": "культивированием растений", + "option_d": "печалью" + }, + "outputs": "C", + "meta": { + "id": 323 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПожары, хотя и опасны, могут помочь с\nA. магией\nB. чувствами\nC. культивированием растений\nD. печалью\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04026457667350769, + "B": 0.8608945608139038, + "C": 0.024421699345111847, + "D": 0.024421699345111847 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мозг животного", + "option_a": "действует как проводник для легких", + "option_b": "действует как командная база для тела", + "option_c": "не может использовать пространственное мышление", + "option_d": "только способствует передвижению" + }, + "outputs": "B", + "meta": { + "id": 2299 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМозг животного\nA) действует как проводник для легких\nB) действует как командная база для тела\nC) не может использовать пространственное мышление\nD) только способствует передвижению\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03547091782093048, + "B": 0.025951076298952103, + "C": 0.8593816161155701, + "D": 0.040193814784288406 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Алфавит Брайля читается пальцами, и чтобы прочесть, нужно", + "option_a": "держать книгу прямо", + "option_b": "держать фонарик", + "option_c": "почувствовать слова на ощупь", + "option_d": "перевернуть страницу" + }, + "outputs": "C", + "meta": { + "id": 1020 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Алфавит Брайля читается пальцами, и чтобы прочесть, нужно\nA) держать книгу прямо\nB) держать фонарик\nC) почувствовать слова на ощупь\nD) перевернуть страницу\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.18067702651023865, + "B": 0.11665387451648712, + "C": 0.27983805537223816, + "D": 0.31709805130958557 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример смеси:", + "option_a": "джин-тоник с мартини", + "option_b": "растение в горшке", + "option_c": "галька на песчаном пляже", + "option_d": "лист, упавший в воду" + }, + "outputs": "A", + "meta": { + "id": 1547 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПример смеси:\nA. джин-тоник с мартини\nB. растение в горшке\nC. галька на песчаном пляже\nD. лист, упавший в воду\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0484815277159214, + "B": 0.017835356295108795, + "C": 0.8593555688858032, + "D": 0.0333208292722702 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является источником энергии для животных?", + "option_a": "таблицы питания", + "option_b": "огонь", + "option_c": "растения", + "option_d": "штормы" + }, + "outputs": "C", + "meta": { + "id": 1133 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто является источником энергии для животных?\nA) таблицы питания\nB) огонь\nC) растения\nD) штормы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11600145697593689, + "B": 0.03537844493985176, + "C": 0.6270979046821594, + "D": 0.15855517983436584 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие неживые элементы в конечном итоге электрически нейтральны?", + "option_a": "Клетки", + "option_b": "Ионы", + "option_c": "Молекулы", + "option_d": "Нервы" + }, + "outputs": "C", + "meta": { + "id": 52 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие неживые элементы в конечном итоге электрически нейтральны?\nA. Клетки\nB. Ионы\nC. Молекулы\nD. Нервы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.23853126168251038, + "B": 0.14467653632164001, + "C": 0.2702913284301758, + "D": 0.2539152204990387 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что позволяет классифицировать учащихся в классе?", + "option_a": "вид", + "option_b": "текущая школа", + "option_c": "родная планета", + "option_d": "любимое животное" + }, + "outputs": "D", + "meta": { + "id": 1923 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что позволяет классифицировать учащихся в классе?\nA) вид\nB) текущая школа\nC) родная планета\nD) любимое животное\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.3204282224178314, + "B": 0.18257449567317963, + "C": 0.23443029820919037, + "D": 0.09180422872304916 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может произойти, если объекту будет передано слишком много тепла?", + "option_a": "замораживание", + "option_b": "затвердевание", + "option_c": "горение", + "option_d": "перемещение" + }, + "outputs": "C", + "meta": { + "id": 333 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто может произойти, если объекту будет передано слишком много тепла?\nA. замораживание\nB. затвердевание\nC. горение\nD. перемещение\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.23014146089553833, + "B": 0.190793976187706, + "C": 0.1792343407869339, + "D": 0.31456607580184937 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой объект нужно толкать?", + "option_a": "ветер", + "option_b": "вода", + "option_c": "цветы", + "option_d": "тяжелый груз" + }, + "outputs": "D", + "meta": { + "id": 2225 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой объект нужно толкать?\nA. ветер\nB. вода\nC. цветы\nD. тяжелый груз\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2209887057542801, + "B": 0.4678330719470978, + "C": 0.14268101751804352, + "D": 0.09806313365697861 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лето. Происходит наводнение. Скорее всего, его причина -", + "option_a": "слабый град", + "option_b": "повторяющиеся большие капли", + "option_c": "несколько листьев", + "option_d": "ясное небо" + }, + "outputs": "B", + "meta": { + "id": 1209 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лето. Происходит наводнение. Скорее всего, его причина -\nA) слабый град\nB) повторяющиеся большие капли\nC) несколько листьев\nD) ясное небо\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.25160613656044006, + "B": 0.104885034263134, + "C": 0.47006210684776306, + "D": 0.08695274591445923 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Проворство этого животного - ключевая адаптация, которая позволяет ему избегать атак хищников:", + "option_a": "богомол", + "option_b": "бабочка", + "option_c": "антилопа", + "option_d": "ленивец" + }, + "outputs": "C", + "meta": { + "id": 2331 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПроворство этого животного - ключевая адаптация, которая позволяет ему избегать атак хищников:\nA) богомол\nB) бабочка\nC) антилопа\nD) ленивец\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6831181049346924, + "B": 0.021958796307444572, + "C": 0.04367027431726456, + "D": 0.01937856897711754 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример какого ресурса для выращивания растений - почва?", + "option_a": "Возобновляемый ресурс", + "option_b": "Денежный ресурс", + "option_c": "Вторичный ресурс", + "option_d": "Водный ресурс" + }, + "outputs": "A", + "meta": { + "id": 1620 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПример какого ресурса для выращивания растений - почва?\nA) Возобновляемый ресурс\nB) Денежный ресурс\nC) Вторичный ресурс\nD) Водный ресурс\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3417022228240967, + "B": 0.09196791052818298, + "C": 0.26611796021461487, + "D": 0.17181867361068726 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы щелкнете пальцем по пустому стакану с водой, он", + "option_a": "издаст звук", + "option_b": "загорится пламенем", + "option_c": "заполнится", + "option_d": "испарится" + }, + "outputs": "A", + "meta": { + "id": 959 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вы щелкнете пальцем по пустому стакану с водой, он\nA. издаст звук\nB. загорится пламенем\nC. заполнится\nD. испарится\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.18602678179740906, + "B": 0.12785421311855316, + "C": 0.0603940524160862, + "D": 0.573002815246582 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая сила заставляет компас в Новокузнецке указывать в сторону Норильска?", + "option_a": "сила тяжести", + "option_b": "направление ветра", + "option_c": "вес", + "option_d": "естественный магнетизм" + }, + "outputs": "D", + "meta": { + "id": 371 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая сила заставляет компас в Новокузнецке указывать в сторону Норильска?\nA. сила тяжести\nB. направление ветра\nC. вес\nD. естественный магнетизм\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.244984969496727, + "B": 0.09593749791383743, + "C": 0.33485475182533264, + "D": 0.244984969496727 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что вызывает большую вибрацию материи?", + "option_a": "разговор", + "option_b": "крадущийся шаг", + "option_c": "мегафон", + "option_d": "крик" + }, + "outputs": "C", + "meta": { + "id": 88 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто вызывает большую вибрацию материи?\nA. разговор\nB. крадущийся шаг\nC. мегафон\nD. крик\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03030451573431492, + "B": 0.8319702744483948, + "C": 0.05661628767848015, + "D": 0.022171255201101303 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из предложенных вариантов является организмом-производителем?", + "option_a": "пасмурное утро", + "option_b": "клубника", + "option_c": "сборная по футболу", + "option_d": "винил" + }, + "outputs": "B", + "meta": { + "id": 1965 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой из предложенных вариантов является организмом-производителем?\nA) пасмурное утро\nB) клубника\nC) сборная по футболу\nD) винил\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.02417440339922905, + "B": 0.9071378111839294, + "C": 0.01141917984932661, + "D": 0.010077391751110554 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В естественном мире животные используют камуфляж, чтобы", + "option_a": "выделиться среди своих близких", + "option_b": "не быть съеденными", + "option_c": "выглядеть стильно для других", + "option_d": "согреться зимой" + }, + "outputs": "B", + "meta": { + "id": 89 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ естественном мире животные используют камуфляж, чтобы\nA. выделиться среди своих близких\nB. не быть съеденными\nC. выглядеть стильно для других\nD. согреться зимой\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.4170137643814087, + "B": 0.2232113927602768, + "C": 0.06395113468170166, + "D": 0.19698336720466614 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поднятие тяжестей повреждает ваши клетки, поэтому для того, чтобы они восстановились и вы стали сильнее, вам нужно", + "option_a": "ничего не делать", + "option_b": "потреблять мясные продукты", + "option_c": "умереть", + "option_d": "улететь" + }, + "outputs": "B", + "meta": { + "id": 1686 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Поднятие тяжестей повреждает ваши клетки, поэтому для того, чтобы они восстановились и вы стали сильнее, вам нужно\nA. ничего не делать\nB. потреблять мясные продукты\nC. умереть\nD. улететь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.23654799163341522, + "B": 0.04375697672367096, + "C": 0.20875287055969238, + "D": 0.44192978739738464 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Телевизор может включиться одним нажатием кнопки, потому что", + "option_a": "произошло короткое замыкание в цепи", + "option_b": "телевизор довольно маленький", + "option_c": "кнопка была пластиковая", + "option_d": "электрическая цепь замкнулась" + }, + "outputs": "D", + "meta": { + "id": 1576 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Телевизор может включиться одним нажатием кнопки, потому что\nA. произошло короткое замыкание в цепи\nB. телевизор довольно маленький\nC. кнопка была пластиковая\nD. электрическая цепь замкнулась\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2656670808792114, + "B": 0.13358579576015472, + "C": 0.3204556703567505, + "D": 0.18259012699127197 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Семена часто встречаются внутри", + "option_a": "банана", + "option_b": "клубники", + "option_c": "картофеля", + "option_d": "вишни" + }, + "outputs": "D", + "meta": { + "id": 711 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Семена часто встречаются внутри\nA. банана\nB. клубники\nC. картофеля\nD. вишни\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2171955406665802, + "B": 0.09637993574142456, + "C": 0.3580949008464813, + "D": 0.2619878053665161 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно получить, если подать электрическую энергию на выдувное стекло с проволокой внутри?", + "option_a": "вода", + "option_b": "жизненная сила", + "option_c": "звук", + "option_d": "свечение" + }, + "outputs": "D", + "meta": { + "id": 785 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто можно получить, если подать электрическую энергию на выдувное стекло с проволокой внутри?\nA) вода\nB) жизненная сила\nC) звук\nD) свечение\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.18128418922424316, + "B": 0.19297602772712708, + "C": 0.40853023529052734, + "D": 0.1502898931503296 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Новолуние можно наблюдать с периодичностью в", + "option_a": "1 неделю", + "option_b": "1 месяц", + "option_c": "1 день", + "option_d": "1 год." + }, + "outputs": "B", + "meta": { + "id": 2278 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Новолуние можно наблюдать с периодичностью в\nA. 1 неделю\nB. 1 месяц\nC. 1 день\nD. 1 год.\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.21295811235904694, + "B": 0.5108599662780762, + "C": 0.07834292203187943, + "D": 0.1291656345129013 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что положительно влияет на распростанение растений?", + "option_a": "листья", + "option_b": "семена", + "option_c": "ветви", + "option_d": "кора" + }, + "outputs": "B", + "meta": { + "id": 378 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что положительно влияет на распростанение растений?\nA) листья\nB) семена\nC) ветви\nD) кора\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.13427244126796722, + "B": 0.04095077887177467, + "C": 0.20796523988246918, + "D": 0.5653080344200134 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Уголь и нефть, непосредственно извлеченные из земли,", + "option_a": "непосредственно потребляются", + "option_b": "выбрасываются", + "option_c": "хранятся под землей", + "option_d": "перерабатываются" + }, + "outputs": "D", + "meta": { + "id": 1316 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУголь и нефть, непосредственно извлеченные из земли,\nA) непосредственно потребляются\nB) выбрасываются\nC) хранятся под землей\nD) перерабатываются\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.09415356814861298, + "B": 0.05039677768945694, + "C": 0.5418164134025574, + "D": 0.27244240045547485 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из-за чего становится труднее увидеть звезды?", + "option_a": "днем выпадает много снега", + "option_b": "днем часто льют дожди", + "option_c": "искусственного освещения в регионе становится меньше", + "option_d": "искусственного освещения в регионе становится больше" + }, + "outputs": "D", + "meta": { + "id": 1049 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из-за чего становится труднее увидеть звезды?\nA) днем выпадает много снега\nB) днем часто льют дожди\nC) искусственного освещения в регионе становится меньше\nD) искусственного освещения в регионе становится больше\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.07442285865545273, + "B": 0.11526837944984436, + "C": 0.10172399878501892, + "D": 0.6633237600326538 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые животные используют камни как средство для чего в плохую погоду?", + "option_a": "ничего", + "option_b": "для тишины", + "option_c": "для питания", + "option_d": "для укрытия" + }, + "outputs": "D", + "meta": { + "id": 1084 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые животные используют камни как средство для чего в плохую погоду?\nA) ничего\nB) для тишины\nC) для питания\nD) для укрытия\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5579053163528442, + "B": 0.06663229316473007, + "C": 0.18112534284591675, + "D": 0.08555755764245987 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где солнце находится в полдень?", + "option_a": "прямо над вашей головой", + "option_b": "под углом 20 градусов к юго-западу", + "option_c": "возле западного горизонта", + "option_d": "на другой стороне Земли" + }, + "outputs": "A", + "meta": { + "id": 392 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде солнце находится в полдень?\nA) прямо над вашей головой\nB) под углом 20 градусов к юго-западу\nC) возле западного горизонта\nD) на другой стороне Земли\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4981314241886139, + "B": 0.0813177227973938, + "C": 0.1340702623128891, + "D": 0.1340702623128891 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Раскачать маленького ребенка на качелях легко, потому что он легок. Потребуется больше силы, чтобы раскачивать его, когда", + "option_a": "он станет старше и тяжелее", + "option_b": "он ест курицу", + "option_c": "он складывает в уме семьдесят четыре и пять", + "option_d": "он худеет" + }, + "outputs": "A", + "meta": { + "id": 2312 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Раскачать маленького ребенка на качелях легко, потому что он легок. Потребуется больше силы, чтобы раскачивать его, когда\nA) он станет старше и тяжелее\nB) он ест курицу\nC) он складывает в уме семьдесят четыре и пять\nD) он худеет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 481, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.18534082174301147, + "B": 0.44460952281951904, + "C": 0.0772615447640419, + "D": 0.21001867949962616 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, скорее всего, зажжет лес?", + "option_a": "вспышка фонарика", + "option_b": "буря и молнии", + "option_c": "наводнение", + "option_d": "острый красный перец" + }, + "outputs": "B", + "meta": { + "id": 967 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, скорее всего, зажжет лес?\nA. вспышка фонарика\nB. буря и молнии\nC. наводнение\nD. острый красный перец\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.09240275621414185, + "B": 0.3225173056125641, + "C": 0.4141204357147217, + "D": 0.1186474934220314 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нажатие ногой на педаль - это пример", + "option_a": "мужества", + "option_b": "силы", + "option_c": "практики", + "option_d": "скорости" + }, + "outputs": "B", + "meta": { + "id": 1688 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНажатие ногой на педаль - это пример\nA. мужества\nB. силы\nC. практики\nD. скорости\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.019909920170903206, + "B": 0.01757044345140457, + "C": 0.9011918306350708, + "D": 0.02256089635193348 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У птиц будут разные клювы в зависимости от", + "option_a": "продуктовых магазинов", + "option_b": "компьютера", + "option_c": "организмов, на которых они охотятся", + "option_d": "погоды" + }, + "outputs": "C", + "meta": { + "id": 731 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ птиц будут разные клювы в зависимости от\nA) продуктовых магазинов\nB) компьютера\nC) организмов, на которых они охотятся\nD) погоды\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1502651572227478, + "B": 0.045828282833099365, + "C": 0.524476945400238, + "D": 0.2053881138563156 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда волка похоронят, что будет с другими волками?", + "option_a": "станут меньше размером", + "option_b": "научится летать", + "option_c": "их станет меньше", + "option_d": "их станет больше" + }, + "outputs": "C", + "meta": { + "id": 466 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда волка похоронят, что будет с другими волками?\nA. станут меньше размером\nB. научится летать\nC. их станет меньше\nD. их станет больше\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13302846252918243, + "B": 0.5261378288269043, + "C": 0.15074101090431213, + "D": 0.09142903238534927 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что поможет животному расти и восстанавливаться?", + "option_a": "теплая вода", + "option_b": "калории от питания", + "option_c": "действия по воспроизводству", + "option_d": "охотничьи патроны" + }, + "outputs": "B", + "meta": { + "id": 351 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что поможет животному расти и восстанавливаться?\nA. теплая вода\nB. калории от питания\nC. действия по воспроизводству\nD. охотничьи патроны\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4590035378932953, + "B": 0.09621236473321915, + "C": 0.19134113192558289, + "D": 0.13150671124458313 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У ребенка есть корзина шоколадных яиц на завтрак, и в результате он", + "option_a": "бегает весь день", + "option_b": "спокойно читает книгу", + "option_c": "спит днем", + "option_d": "ест еще семь яиц" + }, + "outputs": "A", + "meta": { + "id": 1575 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ ребенка есть корзина шоколадных яиц на завтрак, и в результате он\nA. бегает весь день\nB. спокойно читает книгу\nC. спит днем\nD. ест еще семь яиц\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04400234669446945, + "B": 0.5035802125930786, + "C": 0.22346237301826477, + "D": 0.16348855197429657 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего организмам нужна энергия?", + "option_a": "отдыхать", + "option_b": "созревать и развиваться", + "option_c": "принимать питательные вещества", + "option_d": "поглощать свет" + }, + "outputs": "B", + "meta": { + "id": 47 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего организмам нужна энергия?\nA) отдыхать\nB) созревать и развиваться\nC) принимать питательные вещества\nD) поглощать свет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2758578360080719, + "B": 0.09533391892910004, + "C": 0.3770529627799988, + "D": 0.157179057598114 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы стоите в ущелье и выкрикиваете свое имя", + "option_a": "ущелье трясется", + "option_b": "животные подбегают к вам", + "option_c": "вы слышите в ответ полную тишину", + "option_d": "ваше имя отражается от стен ущелья" + }, + "outputs": "D", + "meta": { + "id": 147 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вы стоите в ущелье и выкрикиваете свое имя\nA) ущелье трясется\nB) животные подбегают к вам\nC) вы слышите в ответ полную тишину\nD) ваше имя отражается от стен ущелья\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5701174139976501, + "B": 0.16334138810634613, + "C": 0.06008993089199066, + "D": 0.06809081882238388 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если я проведу пальцем по листу обычной бумаги и по листу наждачной бумаги, что обеспечит большее трение?", + "option_a": "наждачная бумага", + "option_b": "обычная бумага", + "option_c": "в обоих случаях трения не будет", + "option_d": "в обоих случаях трение будет одинаковым" + }, + "outputs": "A", + "meta": { + "id": 285 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли я проведу пальцем по листу обычной бумаги и по листу наждачной бумаги, что обеспечит большее трение?\nA. наждачная бумага\nB. обычная бумага\nC. в обоих случаях трения не будет\nD. в обоих случаях трение будет одинаковым\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.4480009377002716, + "B": 0.1454446166753769, + "C": 0.10640955716371536, + "D": 0.15482498705387115 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой пример подтверждает, что экосистемы - это взаимосвязанный мир?", + "option_a": "количество животных увеличивается, когда увеличивается количество хищников", + "option_b": "количество животных уменьшается, когда уменьшается количество пищи", + "option_c": "количество животных увеличивается, когда уменьшается количество растений", + "option_d": "количество животных уменьшается, когда увеличивается количество пищи" + }, + "outputs": "B", + "meta": { + "id": 1233 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой пример подтверждает, что экосистемы - это взаимосвязанный мир?\nA. количество животных увеличивается, когда увеличивается количество хищников\nB. количество животных уменьшается, когда уменьшается количество пищи\nC. количество животных увеличивается, когда уменьшается количество растений\nD. количество животных уменьшается, когда увеличивается количество пищи\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 474, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.24731454253196716, + "B": 0.2983182668685913, + "C": 0.24731454253196716, + "D": 0.14091558754444122 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы предотвратить образование мозолей во время бега, я могу", + "option_a": "поменять стельки", + "option_b": "бегать босиком", + "option_c": "вместо этого ходить", + "option_d": "носить сандалии" + }, + "outputs": "A", + "meta": { + "id": 2092 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы предотвратить образование мозолей во время бега, я могу\nA) поменять стельки\nB) бегать босиком\nC) вместо этого ходить\nD) носить сандалии\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5927452445030212, + "B": 0.08539304882287979, + "C": 0.10300366580486298, + "D": 0.10964684188365936 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что потребует замещения природных ресурсов?", + "option_a": "вырубка в лесу", + "option_b": "национальный парк", + "option_c": "кемпинг", + "option_d": "сад" + }, + "outputs": "A", + "meta": { + "id": 344 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто потребует замещения природных ресурсов?\nA) вырубка в лесу\nB) национальный парк\nC) кемпинг\nD) сад\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.017353162169456482, + "B": 0.013514654710888863, + "C": 0.8900473117828369, + "D": 0.04717078059911728 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животные помогают с распространением семян из-за того, что семена фруктов, которые они едят,", + "option_a": "отчисляются из школы", + "option_b": "привлекают хищников", + "option_c": "выходят с экскрементами", + "option_d": "прорастают сквозь тела животных" + }, + "outputs": "C", + "meta": { + "id": 782 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖивотные помогают с распространением семян из-за того, что семена фруктов, которые они едят,\nA. отчисляются из школы\nB. привлекают хищников\nC. выходят с экскрементами\nD. прорастают сквозь тела животных\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.37133949995040894, + "B": 0.07783698290586472, + "C": 0.22522878646850586, + "D": 0.19876371324062347 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы поцарапаете какой-либо предмет, мелкие кусочки или частицы могут отломиться от предмета; какой пример этого?", + "option_a": "потереть ногтем наждачную бумагу", + "option_b": "протирать тряпкой стол", + "option_c": "вытираться полотенцем после душа", + "option_d": "вытирать подбородок после того, как выпил немного молока" + }, + "outputs": "A", + "meta": { + "id": 1739 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вы поцарапаете какой-либо предмет, мелкие кусочки или частицы могут отломиться от предмета; какой пример этого?\nA. потереть ногтем наждачную бумагу\nB. протирать тряпкой стол\nC. вытираться полотенцем после душа\nD. вытирать подбородок после того, как выпил немного молока\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 476, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08415336161851883, + "B": 0.7046074271202087, + "C": 0.06976558268070221, + "D": 0.06156791001558304 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У белого медведя густой мех, поэтому он может", + "option_a": "стать шваброй", + "option_b": "процветать в холодных широтах", + "option_c": "чистить лед", + "option_d": "выпендриться" + }, + "outputs": "B", + "meta": { + "id": 1998 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У белого медведя густой мех, поэтому он может\nA. стать шваброй\nB. процветать в холодных широтах\nC. чистить лед\nD. выпендриться\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16478383541107178, + "B": 0.12055841833353043, + "C": 0.4768178164958954, + "D": 0.16478383541107178 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Через что свет не может светить?", + "option_a": "атмосфера", + "option_b": "стекло", + "option_c": "твердая древесина", + "option_d": "вода" + }, + "outputs": "C", + "meta": { + "id": 365 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧерез что свет не может светить?\nA) атмосфера\nB) стекло\nC) твердая древесина\nD) вода\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3618258237838745, + "B": 0.2194584459066391, + "C": 0.1508314311504364, + "D": 0.08594116568565369 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что больше человеческой планеты и вызывает циклы дня и ночи?", + "option_a": "луна", + "option_b": "солнце", + "option_c": "океан и", + "option_d": "марс" + }, + "outputs": "B", + "meta": { + "id": 1781 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто больше человеческой планеты и вызывает циклы дня и ночи?\nA. луна\nB. солнце\nC. океан и\nD. марс\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08263342082500458, + "B": 0.7840040922164917, + "C": 0.023674873635172844, + "D": 0.03444673866033554 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что положительно влияет на окружающую среду?", + "option_a": "водители пожирателей газа", + "option_b": "холщовые мешки с продуктами", + "option_c": "мусор", + "option_d": "неконтролируемое потребление" + }, + "outputs": "B", + "meta": { + "id": 240 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что положительно влияет на окружающую среду?\nA. водители пожирателей газа\nB. холщовые мешки с продуктами\nC. мусор\nD. неконтролируемое потребление\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.18039870262145996, + "B": 0.09656046330928802, + "C": 0.46066421270370483, + "D": 0.15920130908489227 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Куча железа будет", + "option_a": "сильно отвлекать птиц", + "option_b": "сбивать с курса самолеты", + "option_c": "притягивать стрелку компаса", + "option_d": "вызывать крушение кораблей" + }, + "outputs": "C", + "meta": { + "id": 1330 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКуча железа будет\nA. сильно отвлекать птиц\nB. сбивать с курса самолеты\nC. притягивать стрелку компаса\nD. вызывать крушение кораблей\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6513028740882874, + "B": 0.036743998527526855, + "C": 0.07307415455579758, + "D": 0.09382908046245575 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Волк выращивает свою семью возле", + "option_a": "логова", + "option_b": "поля", + "option_c": "дерева", + "option_d": "матери" + }, + "outputs": "A", + "meta": { + "id": 892 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВолк выращивает свою семью возле\nA. логова\nB. поля\nC. дерева\nD. матери\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 419, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.21905240416526794, + "B": 0.0459158755838871, + "C": 0.40924376249313354, + "D": 0.23318004608154297 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из примеров описывает явление стока?", + "option_a": "Ферма орошается", + "option_b": "Вода конденсируется с образованием росы", + "option_c": "Дождевая вода просачивается в землю", + "option_d": "Вода течет из Онежского озера по реке Свирь" + }, + "outputs": "D", + "meta": { + "id": 1175 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой из примеров описывает явление стока?\nA. Ферма орошается\nB. Вода конденсируется с образованием росы\nC. Дождевая вода просачивается в землю\nD. Вода течет из Онежского озера по реке Свирь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5953400731086731, + "B": 0.03575294837355614, + "C": 0.1172294020652771, + "D": 0.13283832371234894 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером разрушения является", + "option_a": "нанесение слоев краски на стену", + "option_b": "создание мозаики", + "option_c": "смешивание ингредиентов для торта", + "option_d": "разрезание яблока на дольки" + }, + "outputs": "D", + "meta": { + "id": 1705 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером разрушения является\nA) нанесение слоев краски на стену\nB) создание мозаики\nC) смешивание ингредиентов для торта\nD) разрезание яблока на дольки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.17976418137550354, + "B": 0.43123188614845276, + "C": 0.16887281835079193, + "D": 0.12355000525712967 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Перчатки поверх рук защищают от", + "option_a": "ступней", + "option_b": "холода", + "option_c": "души", + "option_d": "разума" + }, + "outputs": "B", + "meta": { + "id": 224 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Перчатки поверх рук защищают от\nA. ступней\nB. холода\nC. души\nD. разума\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.35450437664985657, + "B": 0.4017060697078705, + "C": 0.05107119306921959, + "D": 0.11509072035551071 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чрезвычайно быстрая волна поднимающейся паводковой воды, которая перемещается по суше обычно со скоростью около 10 метров или более каждую секунду, достаточно сильна, чтобы", + "option_a": "оторвать от земли и поднять 250-тонный объект", + "option_b": "унести в море высокую гору", + "option_c": "поддерживать сушу в сухом состоянии", + "option_d": "достичь самого неба" + }, + "outputs": "A", + "meta": { + "id": 410 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чрезвычайно быстрая волна поднимающейся паводковой воды, которая перемещается по суше обычно со скоростью около 10 метров или более каждую секунду, достаточно сильна, чтобы\nA. оторвать от земли и поднять 250-тонный объект\nB. унести в море высокую гору\nC. поддерживать сушу в сухом состоянии\nD. достичь самого неба\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 483, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3071860074996948, + "B": 0.17502930760383606, + "C": 0.25466614961624146, + "D": 0.18631774187088013 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что с наибольшей вероятностью будет разорвано руками человека?", + "option_a": "ириска", + "option_b": "сталь", + "option_c": "дерево", + "option_d": "алмаз" + }, + "outputs": "A", + "meta": { + "id": 979 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что с наибольшей вероятностью будет разорвано руками человека?\nA) ириска\nB) сталь\nC) дерево\nD) алмаз\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.49801501631736755, + "B": 0.10438962280750275, + "C": 0.2076035439968109, + "D": 0.03840279579162598 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если масса объекта увеличивается, что должен делать объем, чтобы плотность оставалась прежней?", + "option_a": "оставаться неизменным", + "option_b": "уменьшаться", + "option_c": "увеличиваться", + "option_d": "становиться равным нулю" + }, + "outputs": "C", + "meta": { + "id": 1525 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если масса объекта увеличивается, что должен делать объем, чтобы плотность оставалась прежней?\nA. оставаться неизменным\nB. уменьшаться\nC. увеличиваться\nD. становиться равным нулю\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.19081009924411774, + "B": 0.3348821699619293, + "C": 0.14860306680202484, + "D": 0.24500501155853271 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как можно родиться помимо живорождения?", + "option_a": "проходя сквозь прочную скорлупу", + "option_b": "выкапывая себя из песка", + "option_c": "жаря яйцо", + "option_d": "живя в гнезде" + }, + "outputs": "A", + "meta": { + "id": 1112 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как можно родиться помимо живорождения?\nA) проходя сквозь прочную скорлупу\nB) выкапывая себя из песка\nC) жаря яйцо\nD) живя в гнезде\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.039738159626722336, + "B": 0.02907305583357811, + "C": 0.8496392369270325, + "D": 0.035068802535533905 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек хочет купить многоразовую посуду для кухни, поэтому заказывает", + "option_a": "бумажные тарелки", + "option_b": "пластмассовые чашки", + "option_c": "керамические тарелки", + "option_d": "пластиковые вилки." + }, + "outputs": "C", + "meta": { + "id": 2201 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловек хочет купить многоразовую посуду для кухни, поэтому заказывает\nA) бумажные тарелки\nB) пластмассовые чашки\nC) керамические тарелки\nD) пластиковые вилки.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.2833748757839203, + "B": 0.20732149481773376, + "C": 0.2349260449409485, + "D": 0.18296058475971222 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растению, нуждающемуся в фотосинтезе, лучше всего", + "option_a": "в комнате без крыши", + "option_b": "в картонной коробке", + "option_c": "в комнате без окон", + "option_d": "в машине с затемненными окнами" + }, + "outputs": "A", + "meta": { + "id": 1782 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРастению, нуждающемуся в фотосинтезе, лучше всего\nA) в комнате без крыши\nB) в картонной коробке\nC) в комнате без окон\nD) в машине с затемненными окнами\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.22361794114112854, + "B": 0.06406760960817337, + "C": 0.5039308071136475, + "D": 0.1196940615773201 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого необходимо оленю для жизни", + "option_a": "песок", + "option_b": "железо", + "option_c": "солнце", + "option_d": "кафетерий" + }, + "outputs": "C", + "meta": { + "id": 1789 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из этого необходимо оленю для жизни\nA) песок\nB) железо\nC) солнце\nD) кафетерий\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.30028223991394043, + "B": 0.20638075470924377, + "C": 0.1418432891368866, + "D": 0.2649981379508972 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков результат отражения света объектом в сторону глаза?", + "option_a": "видимость", + "option_b": "нечеткость", + "option_c": "слепота", + "option_d": "множество бликов" + }, + "outputs": "A", + "meta": { + "id": 383 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Каков результат отражения света объектом в сторону глаза?\nA) видимость\nB) нечеткость\nC) слепота\nD) множество бликов\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.34126904606819153, + "B": 0.2829219698905945, + "C": 0.13364286720752716, + "D": 0.110793836414814 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если дни более холодные, чем раньше, но все еще не морозные, вероятное предположение состоит в том, что", + "option_a": "световой день уменьшается", + "option_b": "световой день удлинняется", + "option_c": "дневной свет становится ярче", + "option_d": "ночи становятся короче" + }, + "outputs": "A", + "meta": { + "id": 1237 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли дни более холодные, чем раньше, но все еще не морозные, вероятное предположение состоит в том, что\nA. световой день уменьшается\nB. световой день удлинняется\nC. дневной свет становится ярче\nD. ночи становятся короче\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.1708185076713562, + "B": 0.11740172654390335, + "C": 0.16046912968158722, + "D": 0.4942797124385834 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые животные создают строения, называемые домами, чтобы жить в них. Эти животные относятся к", + "option_a": "приматам", + "option_b": "рептилиям", + "option_c": "хищникам", + "option_d": "грызунам" + }, + "outputs": "A", + "meta": { + "id": 2314 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНекоторые животные создают строения, называемые домами, чтобы жить в них. Эти животные относятся к\nA) приматам\nB) рептилиям\nC) хищникам\nD) грызунам\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.4337332248687744, + "B": 0.12426665425300598, + "C": 0.15956155955791473, + "D": 0.1096649318933487 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сейсмометр будет неэффективен", + "option_a": "на суше", + "option_b": "на звезде", + "option_c": "на побережье", + "option_d": "на континенте" + }, + "outputs": "B", + "meta": { + "id": 2124 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСейсмометр будет неэффективен\nA. на суше\nB. на звезде\nC. на побережье\nD. на континенте\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0658465325832367, + "B": 0.05810936540365219, + "C": 0.045255620032548904, + "D": 0.802174985408783 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Автомобильный двигатель является источником тепла и поэтому ему требуется", + "option_a": "бензин", + "option_b": "добавка воды", + "option_c": "жидкость для стеклоочистителя", + "option_d": "жидкость для радиатора" + }, + "outputs": "D", + "meta": { + "id": 1975 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Автомобильный двигатель является источником тепла и поэтому ему требуется\nA) бензин\nB) добавка воды\nC) жидкость для стеклоочистителя\nD) жидкость для радиатора\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.13814564049243927, + "B": 0.06525538861751556, + "C": 0.42551854252815247, + "D": 0.31131601333618164 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стебли относятся к цветам так же, как", + "option_a": "собаки для кошек", + "option_b": "коровы для жвачки", + "option_c": "силосы для зерен", + "option_d": "пчелы для пыльцы" + }, + "outputs": "C", + "meta": { + "id": 1942 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Стебли относятся к цветам так же, как\nA) собаки для кошек\nB) коровы для жвачки\nC) силосы для зерен\nD) пчелы для пыльцы\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.21637649834156036, + "B": 0.3351304829120636, + "C": 0.15830443799495697, + "D": 0.203266903758049 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек принес с пляжа песок в обуви, и высыпает его прямо у порога за много миль от пляжа. Песок может снова оказаться на этом пляже, если", + "option_a": "волшебные существа переместят его", + "option_b": "сильный ураган унесет его к пляжу", + "option_c": "кто-то пойдет в зоопарк", + "option_d": "люди захотят ему помочь" + }, + "outputs": "B", + "meta": { + "id": 1143 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек принес с пляжа песок в обуви, и высыпает его прямо у порога за много миль от пляжа. Песок может снова оказаться на этом пляже, если\nA. волшебные существа переместят его\nB. сильный ураган унесет его к пляжу\nC. кто-то пойдет в зоопарк\nD. люди захотят ему помочь\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 481, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.36529240012168884, + "B": 0.2510615587234497, + "C": 0.17255191504955292, + "D": 0.04943694919347763 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Причина того, что утки такие прекрасные пловцы, заключается в том, что", + "option_a": "у уток есть пространство между пальцами ног", + "option_b": "у уток есть кожаная перепонка между пальцев ног", + "option_c": "у уток широкие лапы", + "option_d": "утки мягкие и упругие" + }, + "outputs": "B", + "meta": { + "id": 1630 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Причина того, что утки такие прекрасные пловцы, заключается в том, что\nA. у уток есть пространство между пальцами ног\nB. у уток есть кожаная перепонка между пальцев ног\nC. у уток широкие лапы\nD. утки мягкие и упругие\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 466, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.15038447082042694, + "B": 0.2639329731464386, + "C": 0.2639329731464386, + "D": 0.19309748709201813 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в Новой Зеландии морозы, то в каком месяце", + "option_a": "август", + "option_b": "декабрь", + "option_c": "январь", + "option_d": "февраль" + }, + "outputs": "A", + "meta": { + "id": 459 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли в Новой Зеландии морозы, то в каком месяце\nA) август\nB) декабрь\nC) январь\nD) февраль\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.29567793011665344, + "B": 0.23027421534061432, + "C": 0.179337739944458, + "D": 0.2032162845134735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У некоторых людей есть", + "option_a": "ванна для кожи", + "option_b": "змеи для волос", + "option_c": "дополнительное ребро", + "option_d": "магия" + }, + "outputs": "C", + "meta": { + "id": 68 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ некоторых людей есть\nA) ванна для кожи\nB) змеи для волос\nC) дополнительное ребро\nD) магия\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.11980657279491425, + "B": 0.6084280014038086, + "C": 0.06826372444629669, + "D": 0.1275334358215332 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если лиса заразилась бешенством, то эта лиса вскоре", + "option_a": "сильно устает", + "option_b": "перестает существовать", + "option_c": "уходит в другие места", + "option_d": "беременеет" + }, + "outputs": "B", + "meta": { + "id": 997 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если лиса заразилась бешенством, то эта лиса вскоре\nA. сильно устает\nB. перестает существовать\nC. уходит в другие места\nD. беременеет\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4158744215965271, + "B": 0.05628248304128647, + "C": 0.1845431625843048, + "D": 0.22260154783725739 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Разрыв объекта меняет его что?", + "option_a": "конфигурация", + "option_b": "температура", + "option_c": "влажность", + "option_d": "элементы" + }, + "outputs": "A", + "meta": { + "id": 2070 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРазрыв объекта меняет его что?\nA) конфигурация\nB) температура\nC) влажность\nD) элементы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.03086324967443943, + "B": 0.8473095893859863, + "C": 0.04218505695462227, + "D": 0.034972645342350006 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что используют мигрирующие животные для поиска локаций?", + "option_a": "спутники системы глобального позиционирования", + "option_b": "обоняние", + "option_c": "магнитные узоры нашей планеты", + "option_d": "звезды в ночном небе" + }, + "outputs": "C", + "meta": { + "id": 2088 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто используют мигрирующие животные для поиска локаций?\nA) спутники системы глобального позиционирования\nB) обоняние\nC) магнитные узоры нашей планеты\nD) звезды в ночном небе\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.687553346157074, + "B": 0.056437816470861435, + "C": 0.06395242363214493, + "D": 0.08741258829832077 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если животное живое, то", + "option_a": "оно пытается дышать", + "option_b": "оно вдыхает воздух", + "option_c": "оно использует воду", + "option_d": "оно стремится к воспроизводству" + }, + "outputs": "B", + "meta": { + "id": 2177 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли животное живое, то\nA. оно пытается дышать\nB. оно вдыхает воздух\nC. оно использует воду\nD. оно стремится к воспроизводству\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1774669736623764, + "B": 0.1471252739429474, + "C": 0.3315519392490387, + "D": 0.2582128942012787 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Через долгое время отпечаток лапы может оказаться", + "option_a": "в воде", + "option_b": "на дереве", + "option_c": "под землей", + "option_d": "в здании" + }, + "outputs": "C", + "meta": { + "id": 1819 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Через долгое время отпечаток лапы может оказаться\nA. в воде\nB. на дереве\nC. под землей\nD. в здании\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.11039511859416962, + "B": 0.4947566092014313, + "C": 0.13316193222999573, + "D": 0.18201079964637756 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сейчас людей стало намного больше из-за", + "option_a": "глобального потепления", + "option_b": "большего количества городов", + "option_c": "компьютеров", + "option_d": "эффективного сельского хозяйства" + }, + "outputs": "D", + "meta": { + "id": 668 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСейчас людей стало намного больше из-за\nA. глобального потепления\nB. большего количества городов\nC. компьютеров\nD. эффективного сельского хозяйства\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3229231536388397, + "B": 0.2849786877632141, + "C": 0.1264585256576538, + "D": 0.16237597167491913 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Быстрое формирование участков земной коры - это", + "option_a": "пот земли", + "option_b": "дрожь земли", + "option_c": "огонь земли", + "option_d": "ветер воды" + }, + "outputs": "B", + "meta": { + "id": 2078 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБыстрое формирование участков земной коры - это\nA) пот земли\nB) дрожь земли\nC) огонь земли\nD) ветер воды\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.30396705865859985, + "B": 0.06371495872735977, + "C": 0.47079339623451233, + "D": 0.046614859253168106 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие виды животных бывают живородящими?", + "option_a": "Птицы", + "option_b": "Змеи", + "option_c": "Ящерицы", + "option_d": "Рыбы" + }, + "outputs": "C", + "meta": { + "id": 337 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие виды животных бывают живородящими?\nA) Птицы\nB) Змеи\nC) Ящерицы\nD) Рыбы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1939142942428589, + "B": 0.04902920499444008, + "C": 0.527113676071167, + "D": 0.14187072217464447 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Две самки обычно могут произвести", + "option_a": "детей", + "option_b": "ничего", + "option_c": "потомков", + "option_d": "потомство" + }, + "outputs": "B", + "meta": { + "id": 1605 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДве самки обычно могут произвести\nA. детей\nB. ничего\nC. потомков\nD. потомство\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.14243663847446442, + "B": 0.12569990754127502, + "C": 0.3637247085571289, + "D": 0.3015384078025818 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Однажды ночью в кемпинге мы все собираемся у костра, чтобы жарить сосиски; это пример", + "option_a": "политической реакции", + "option_b": "реакции нейтрализации", + "option_c": "реакции Майяра", + "option_d": "конкуренции" + }, + "outputs": "C", + "meta": { + "id": 1007 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОднажды ночью в кемпинге мы все собираемся у костра, чтобы жарить сосиски; это пример\nA. политической реакции\nB. реакции нейтрализации\nC. реакции Майяра\nD. конкуренции\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2171560674905777, + "B": 0.18002867698669434, + "C": 0.31596019864082336, + "D": 0.20399923622608185 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Всплеск в бассейне заставил воду двигаться", + "option_a": "в соседней реке", + "option_b": "за пределами бассейна", + "option_c": "на другой стороне бассейна.", + "option_d": "в другом соседнем бассейне" + }, + "outputs": "C", + "meta": { + "id": 1021 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Всплеск в бассейне заставил воду двигаться\nA. в соседней реке\nB. за пределами бассейна\nC. на другой стороне бассейна.\nD. в другом соседнем бассейне\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1910897195339203, + "B": 0.16863608360290527, + "C": 0.38002726435661316, + "D": 0.14882081747055054 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мечи тянутся к", + "option_a": "дьяволу", + "option_b": "людям", + "option_c": "магнитам", + "option_d": "деревьям" + }, + "outputs": "C", + "meta": { + "id": 1033 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМечи тянутся к\nA. дьяволу\nB. людям\nC. магнитам\nD. деревьям\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1901465207338333, + "B": 0.0480765625834465, + "C": 0.5168718099594116, + "D": 0.16780370473861694 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Есть некоторые декоративные фрукты, используемые для праздников, снаружи украшенные резьбой, например, большие оранжевые тыквы. Внутренности этих фруктов чаще всего", + "option_a": "смешаны с песком", + "option_b": "сожжены и выброшены", + "option_c": "удалены и частично съедены", + "option_d": "использованы при замесе бетона" + }, + "outputs": "C", + "meta": { + "id": 2159 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсть некоторые декоративные фрукты, используемые для праздников, снаружи украшенные резьбой, например, большие оранжевые тыквы. Внутренности этих фруктов чаще всего\nA. смешаны с песком\nB. сожжены и выброшены\nC. удалены и частично съедены\nD. использованы при замесе бетона\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 476, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.20363129675388336, + "B": 0.31539031863212585, + "C": 0.20363129675388336, + "D": 0.19129391014575958 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы подключите его к розетке, через него будет течь ток.", + "option_a": "пластик", + "option_b": "резина", + "option_c": "наконечник меча", + "option_d": "воздух." + }, + "outputs": "C", + "meta": { + "id": 695 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли вы подключите его к розетке, через него будет течь ток.\nA. пластик\nB. резина\nC. наконечник меча\nD. воздух.\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11874181777238846, + "B": 0.11874181777238846, + "C": 0.5664855241775513, + "D": 0.13455212116241455 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Перемещение тяжелых предметов", + "option_a": "должно быть легким", + "option_b": "требует небольшой силы", + "option_c": "требует большей мощности", + "option_d": "напрягает, и его следует избегать" + }, + "outputs": "C", + "meta": { + "id": 777 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПеремещение тяжелых предметов\nA. должно быть легким\nB. требует небольшой силы\nC. требует большей мощности\nD. напрягает, и его следует избегать\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.11025393754243851, + "B": 0.3190303444862366, + "C": 0.2815432846546173, + "D": 0.18177799880504608 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После обширных лесозаготовок в лесу стало меньше", + "option_a": "воды", + "option_b": "биоразнообразия", + "option_c": "двуокиси углерода", + "option_d": "почвы" + }, + "outputs": "B", + "meta": { + "id": 1102 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПосле обширных лесозаготовок в лесу стало меньше\nA. воды\nB. биоразнообразия\nC. двуокиси углерода\nD. почвы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.2378411889076233, + "B": 0.2531806230545044, + "C": 0.1634657084941864, + "D": 0.2378411889076233 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мать ругает мальчика за то, что тот спит с тяжелыми одеялами на голове. Его мать обеспокоена тем, что, если мальчик продолжит так спать, он задохнется. Это потому, что", + "option_a": "кровати могут вызывать проблемы с дыханием", + "option_b": "дыхание ночью смертельно", + "option_c": "CO2 может быть амбивалентным", + "option_d": "CO2 в больших количествах смертелен" + }, + "outputs": "D", + "meta": { + "id": 540 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМать ругает мальчика за то, что тот спит с тяжелыми одеялами на голове. Его мать обеспокоена тем, что, если мальчик продолжит так спать, он задохнется. Это потому, что\nA. кровати могут вызывать проблемы с дыханием\nB. дыхание ночью смертельно\nC. CO2 может быть амбивалентным\nD. CO2 в больших количествах смертелен\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 481, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.18720872700214386, + "B": 0.37230899930000305, + "C": 0.1992826610803604, + "D": 0.16521111130714417 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого может быть измерены в мл?", + "option_a": "окружность головы", + "option_b": "содержимое винной бутылки", + "option_c": "длина ручки", + "option_d": "ширина окна" + }, + "outputs": "B", + "meta": { + "id": 2013 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из этого может быть измерены в мл?\nA) окружность головы\nB) содержимое винной бутылки\nC) длина ручки\nD) ширина окна\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12344431132078171, + "B": 0.06207169592380524, + "C": 0.6673336625099182, + "D": 0.07970163971185684 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Высокое может быть визуально представлено", + "option_a": "бассейном", + "option_b": "глубоким морем", + "option_c": "горой", + "option_d": "долиной" + }, + "outputs": "C", + "meta": { + "id": 1907 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Высокое может быть визуально представлено\nA. бассейном\nB. глубоким морем\nC. горой\nD. долиной\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.27710288763046265, + "B": 0.12296367436647415, + "C": 0.1680714190006256, + "D": 0.3558071553707123 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животные, которые никогда не мигрируют, - не мигрируют потому, что они родились", + "option_a": "без инстинкта", + "option_b": "слишком ленивыми", + "option_c": "в понедельник", + "option_d": "с инстинктом" + }, + "outputs": "A", + "meta": { + "id": 490 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Животные, которые никогда не мигрируют, - не мигрируют потому, что они родились\nA) без инстинкта\nB) слишком ленивыми\nC) в понедельник\nD) с инстинктом\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2257900834083557, + "B": 0.17584548890590668, + "C": 0.28992021083831787, + "D": 0.21211014688014984 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что издает звук, когда вы с ним взаимодействуете?", + "option_a": "что-то изобретенное Пастером", + "option_b": "что-то изобретенное Ломоносовым", + "option_c": "что-то изобретенное Галилеем", + "option_d": "что-то изобретенное Саксом" + }, + "outputs": "D", + "meta": { + "id": 1802 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто издает звук, когда вы с ним взаимодействуете?\nA. что-то изобретенное Пастером\nB. что-то изобретенное Ломоносовым\nC. что-то изобретенное Галилеем\nD. что-то изобретенное Саксом\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.25315022468566895, + "B": 0.22340428829193115, + "C": 0.22340428829193115, + "D": 0.18520864844322205 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Явление теплопроводности иллюстрирует такая ситуация", + "option_a": "вода комнатной температуры, стоящая на прилавке", + "option_b": "лапы собаки, касающиеся нагретого солнцем летнего тротуара", + "option_c": "формы для выпечки, сложенные в духовку", + "option_d": "кубик льда, касающийся другого кубика льда в морозильной камере" + }, + "outputs": "B", + "meta": { + "id": 436 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Явление теплопроводности иллюстрирует такая ситуация\nA. вода комнатной температуры, стоящая на прилавке\nB. лапы собаки, касающиеся нагретого солнцем летнего тротуара\nC. формы для выпечки, сложенные в духовку\nD. кубик льда, касающийся другого кубика льда в морозильной камере\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 487, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3458840250968933, + "B": 0.19707877933979034, + "C": 0.13545012474060059, + "D": 0.20978927612304688 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люда стояла лицом к своему дому с компасом. Стрелка компаса была обращена к ее дому. Оставаясь на одном месте, она оборачивалась, несколько раз останавливаясь. Она заметила, что куда бы она ни смотрела", + "option_a": "стрелка компаса была обращена к дому", + "option_b": "стрелка компаса была обращена прямо вперед", + "option_c": "стрелка компаса была обращена вверх", + "option_d": "стрелка компаса была обращена на запад" + }, + "outputs": "A", + "meta": { + "id": 637 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люда стояла лицом к своему дому с компасом. Стрелка компаса была обращена к ее дому. Оставаясь на одном месте, она оборачивалась, несколько раз останавливаясь. Она заметила, что куда бы она ни смотрела\nA. стрелка компаса была обращена к дому\nB. стрелка компаса была обращена прямо вперед\nC. стрелка компаса была обращена вверх\nD. стрелка компаса была обращена на запад\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 510, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5554144978523254, + "B": 0.13192249834537506, + "C": 0.10936758667230606, + "D": 0.07061301916837692 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, дает больше всего отходов?", + "option_a": "фабрика по производству кексиков", + "option_b": "устойчивое рыболовство", + "option_c": "солнечные батареи", + "option_d": "ветряная электростанция" + }, + "outputs": "A", + "meta": { + "id": 1371 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что, вероятно, дает больше всего отходов?\nA. фабрика по производству кексиков\nB. устойчивое рыболовство\nC. солнечные батареи\nD. ветряная электростанция\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2050352841615677, + "B": 0.07542826980352402, + "C": 0.46205416321754456, + "D": 0.1699802428483963 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Новые растения выросли везде, куда семена были перенесены", + "option_a": "прохладным бризом", + "option_b": "магией", + "option_c": "удачей", + "option_d": "демонами" + }, + "outputs": "A", + "meta": { + "id": 1557 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНовые растения выросли везде, куда семена были перенесены\nA. прохладным бризом\nB. магией\nC. удачей\nD. демонами\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.22321930527687073, + "B": 0.3051046133041382, + "C": 0.1194806843996048, + "D": 0.2692538797855377 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что требует почвы для роста?", + "option_a": "озера", + "option_b": "нарциссы", + "option_c": "автомобильный двигатель", + "option_d": "коровы" + }, + "outputs": "B", + "meta": { + "id": 2246 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что требует почвы для роста?\nA. озера\nB. нарциссы\nC. автомобильный двигатель\nD. коровы\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.08453907072544098, + "B": 0.17896921932697296, + "C": 0.42932483553886414, + "D": 0.2446219027042389 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы определить процентную вероятность передачи признака по наследству, нам понадобится как минимум", + "option_a": "одно поколение", + "option_b": "четыре поколения", + "option_c": "три поколения", + "option_d": "два поколения" + }, + "outputs": "B", + "meta": { + "id": 1784 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы определить процентную вероятность передачи признака по наследству, нам понадобится как минимум\nA. одно поколение\nB. четыре поколения\nC. три поколения\nD. два поколения\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1264096051454544, + "B": 0.049502719193696976, + "C": 0.6419610381126404, + "D": 0.11155609041452408 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сезонные изменения происходят", + "option_a": ", когда солнце встает по утрам", + "option_b": ", когда утки больше плавают в озерах", + "option_c": "когда деревья сбрасывают листья", + "option_d": ", когда все цветы цветут круглый год" + }, + "outputs": "C", + "meta": { + "id": 1207 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСезонные изменения происходят\nA. , когда солнце встает по утрам\nB. , когда утки больше плавают в озерах\nC. когда деревья сбрасывают листья\nD. , когда все цветы цветут круглый год\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6529684662818909, + "B": 0.05359891429543495, + "C": 0.07326103001832962, + "D": 0.06465263664722443 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лягушка Кирилла заболела, потому что ей не хватало тепла. Возможно", + "option_a": "лягушка не могла регулировать температуру своего тела без внешнего источника тепла", + "option_b": "лягушка обжигалась лампой", + "option_c": "лягушка использовала слишком много льда в своих напитках", + "option_d": "бак лягушки высох" + }, + "outputs": "A", + "meta": { + "id": 735 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лягушка Кирилла заболела, потому что ей не хватало тепла. Возможно\nA) лягушка не могла регулировать температуру своего тела без внешнего источника тепла\nB) лягушка обжигалась лампой\nC) лягушка использовала слишком много льда в своих напитках\nD) бак лягушки высох\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.24099209904670715, + "B": 0.10046045482158661, + "C": 0.21267476677894592, + "D": 0.3732558488845825 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Более толстые предметы обладают более сильным сопротивлением, о чем свидетельствует", + "option_a": "худые люди легко получают синяки", + "option_b": "собаки с избыточным весом заболевают", + "option_c": "тонкие куски дерева полезны", + "option_d": "тонкие шины лопаются раньше, чем толстые" + }, + "outputs": "D", + "meta": { + "id": 813 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые предметы обладают более сильным сопротивлением, о чем свидетельствует\nA) худые люди легко получают синяки\nB) собаки с избыточным весом заболевают\nC) тонкие куски дерева полезны\nD) тонкие шины лопаются раньше, чем толстые\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 471, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.07238192111253738, + "B": 0.049747318029403687, + "C": 0.5693279504776001, + "D": 0.26893147826194763 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стая дельфинов плавает в поисках пищи. Самый молодой дельфин уплывает и теряется. Остальная часть стаи ищет молодого дельфина, хлопая по воде. Молодой дельфин обнаружен из-за", + "option_a": "движения в воздухе", + "option_b": "вибрации водорослей", + "option_c": "звука воды", + "option_d": "эха от шума" + }, + "outputs": "D", + "meta": { + "id": 97 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Стая дельфинов плавает в поисках пищи. Самый молодой дельфин уплывает и теряется. Остальная часть стаи ищет молодого дельфина, хлопая по воде. Молодой дельфин обнаружен из-за\nA) движения в воздухе\nB) вибрации водорослей\nC) звука воды\nD) эха от шума\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 473, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.06503140181303024, + "B": 0.041987426578998566, + "C": 0.48052066564559937, + "D": 0.37422987818717957 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если ваша собака становится заметно похудевшей, вам нужно", + "option_a": "заставить ее улететь", + "option_b": "поиграть в видеоигры", + "option_c": "кормить ее меньше", + "option_d": "кормить ее лучше" + }, + "outputs": "D", + "meta": { + "id": 252 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если ваша собака становится заметно похудевшей, вам нужно\nA) заставить ее улететь\nB) поиграть в видеоигры\nC) кормить ее меньше\nD) кормить ее лучше\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.16267654299736023, + "B": 0.06781366467475891, + "C": 0.11901668459177017, + "D": 0.6044166684150696 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что находится над мышцами и нуждается в прямом солнечном свете", + "option_a": "печень", + "option_b": "сердце", + "option_c": "поджелудочная железа", + "option_d": "ваша кожа" + }, + "outputs": "D", + "meta": { + "id": 2308 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что находится над мышцами и нуждается в прямом солнечном свете\nA) печень\nB) сердце\nC) поджелудочная железа\nD) ваша кожа\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.17954476177692413, + "B": 0.14884783327579498, + "C": 0.35706740617752075, + "D": 0.23054005205631256 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сотрудники краудсорсинга хотят отслеживать, когда выпадает определенная задача. Для этого они бы скорее всего", + "option_a": "покупали дорогие кроссовки", + "option_b": "случайным образом проигрывали треки", + "option_c": "использовали ноутбук", + "option_d": "бегали на несколько миль" + }, + "outputs": "C", + "meta": { + "id": 492 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сотрудники краудсорсинга хотят отслеживать, когда выпадает определенная задача. Для этого они бы скорее всего\nA) покупали дорогие кроссовки\nB) случайным образом проигрывали треки\nC) использовали ноутбук\nD) бегали на несколько миль\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.23259098827838898, + "B": 0.38347771763801575, + "C": 0.13252635300159454, + "D": 0.1701672077178955 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком из этих мест отмечается зимнее солнцестояние 21 декабря?", + "option_a": "Европа", + "option_b": "Новая Зеландия", + "option_c": "Южная Африка", + "option_d": "Аргентина" + }, + "outputs": "A", + "meta": { + "id": 270 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каком из этих мест отмечается зимнее солнцестояние 21 декабря?\nA. Европа\nB. Новая Зеландия\nC. Южная Африка\nD. Аргентина\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0635102391242981, + "B": 0.031934954226017, + "C": 0.7737130522727966, + "D": 0.08154875785112381 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из перечисленного перемещает дыхание?", + "option_a": "энергию", + "option_b": "металлы", + "option_c": "газы", + "option_d": "жидкости" + }, + "outputs": "C", + "meta": { + "id": 611 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из перечисленного перемещает дыхание?\nA. энергию\nB. металлы\nC. газы\nD. жидкости\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19617509841918945, + "B": 0.19617509841918945, + "C": 0.3038419485092163, + "D": 0.18428945541381836 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кактус - это в основном огромный стебель, а это означает, что", + "option_a": "он держит ярко-зеленые листья", + "option_b": "он очень тонкий", + "option_c": "из него можно пить,", + "option_d": "он может спрятаться в траве" + }, + "outputs": "C", + "meta": { + "id": 1272 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кактус - это в основном огромный стебель, а это означает, что\nA) он держит ярко-зеленые листья\nB) он очень тонкий\nC) из него можно пить,\nD) он может спрятаться в траве\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2444153130054474, + "B": 0.19035084545612335, + "C": 0.2769588530063629, + "D": 0.17881807684898376 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что влияет на способность объектов отражать свет?", + "option_a": "вес", + "option_b": "цветовая палитра", + "option_c": "высота", + "option_d": "запах" + }, + "outputs": "B", + "meta": { + "id": 1121 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто влияет на способность объектов отражать свет?\nA. вес\nB. цветовая палитра\nC. высота\nD. запах\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15014487504959106, + "B": 0.5578559041023254, + "C": 0.06662638485431671, + "D": 0.15982839465141296 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Размножение происходит, когда приходит", + "option_a": "младенчество", + "option_b": "физическая готовность", + "option_c": "старость", + "option_d": "детство" + }, + "outputs": "B", + "meta": { + "id": 2142 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Размножение происходит, когда приходит\nA) младенчество\nB) физическая готовность\nC) старость\nD) детство\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03653264790773392, + "B": 0.13573525846004486, + "C": 0.7337778806686401, + "D": 0.046908847987651825 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Два срубленных дерева, с одинаковым количеством колец на срезе, позволяют утверждать, что они одного", + "option_a": "цвета", + "option_b": "роста", + "option_c": "возраста", + "option_d": "типа дерева" + }, + "outputs": "C", + "meta": { + "id": 1105 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДва срубленных дерева, с одинаковым количеством колец на срезе, позволяют утверждать, что они одного\nA) цвета\nB) роста\nC) возраста\nD) типа дерева\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08287529647350311, + "B": 0.7386595010757446, + "C": 0.044359948486089706, + "D": 0.0606328621506691 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая часть карандаша могла быть ископаемым материалом?", + "option_a": "дерево", + "option_b": "графит", + "option_c": "резина", + "option_d": "чернила" + }, + "outputs": "B", + "meta": { + "id": 689 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая часть карандаша могла быть ископаемым материалом?\nA. дерево\nB. графит\nC. резина\nD. чернила\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.24054016172885895, + "B": 0.16532067954540253, + "C": 0.3287794291973114, + "D": 0.17598295211791992 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скорее всего, это магнитится:", + "option_a": "внутренности коровы", + "option_b": "внутренности iPhone", + "option_c": "внутренности головы", + "option_d": "внутренности дерева" + }, + "outputs": "B", + "meta": { + "id": 1927 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСкорее всего, это магнитится:\nA) внутренности коровы\nB) внутренности iPhone\nC) внутренности головы\nD) внутренности дерева\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.22513051331043243, + "B": 0.13654854893684387, + "C": 0.2715592384338379, + "D": 0.2715592384338379 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой камень подвержен механическому выветриванию?", + "option_a": "камень, путешествующий в космосе", + "option_b": "камень, используемый для разжигания огня", + "option_c": "камень, находящийся далеко под землей", + "option_d": "камень, пораженный солнечными лучами" + }, + "outputs": "B", + "meta": { + "id": 1824 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой камень подвержен механическому выветриванию?\nA) камень, путешествующий в космосе\nB) камень, используемый для разжигания огня\nC) камень, находящийся далеко под землей\nD) камень, пораженный солнечными лучами\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.17908434569835663, + "B": 0.0958569198846817, + "C": 0.4868016541004181, + "D": 0.1484661102294922 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно использовать для обогрева?", + "option_a": "кубик льда", + "option_b": "мини-фонарик", + "option_c": "снег", + "option_d": "ледники" + }, + "outputs": "B", + "meta": { + "id": 1395 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто можно использовать для обогрева?\nA) кубик льда\nB) мини-фонарик\nC) снег\nD) ледники\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.43040454387664795, + "B": 0.054719794541597366, + "C": 0.2958124577999115, + "D": 0.054719794541597366 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего можно найти на Луне?", + "option_a": "Невулканические горы", + "option_b": "Океаны, наполненные жизнью", + "option_c": "Вулканические горы", + "option_d": "Множественные массивы суши" + }, + "outputs": "A", + "meta": { + "id": 823 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из следующего можно найти на Луне?\nA. Невулканические горы\nB. Океаны, наполненные жизнью\nC. Вулканические горы\nD. Множественные массивы суши\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12042779475450516, + "B": 0.07304316014051437, + "C": 0.61158287525177, + "D": 0.12819473445415497 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Снежный означает большое количество чего?", + "option_a": "дороги", + "option_b": "реки", + "option_c": "частиц льда", + "option_d": "ветров" + }, + "outputs": "C", + "meta": { + "id": 1367 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Снежный означает большое количество чего?\nA. дороги\nB. реки\nC. частиц льда\nD. ветров\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.018325071781873703, + "B": 0.007639026269316673, + "C": 0.012594624422490597, + "D": 0.9398967623710632 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Причина, по которой енотов часто можно найти в мусорных баках, заключается в том, что они, как известно, потребляют", + "option_a": "розы", + "option_b": "икру", + "option_c": "кошек", + "option_d": "отходы" + }, + "outputs": "D", + "meta": { + "id": 2069 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Причина, по которой енотов часто можно найти в мусорных баках, заключается в том, что они, как известно, потребляют\nA) розы\nB) икру\nC) кошек\nD) отходы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.269922137260437, + "B": 0.21021556854248047, + "C": 0.18551458418369293, + "D": 0.2237733155488968 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что с большей вероятностью сможет развиваться?", + "option_a": "яйцо рядом с лампочкой", + "option_b": "яйцо под водой", + "option_c": "яйцо в Арктике", + "option_d": "яйцо в морозильной камере" + }, + "outputs": "A", + "meta": { + "id": 1099 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто с большей вероятностью сможет развиваться?\nA. яйцо рядом с лампочкой\nB. яйцо под водой\nC. яйцо в Арктике\nD. яйцо в морозильной камере\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03663887828588486, + "B": 0.8876786828041077, + "C": 0.013478688895702362, + "D": 0.016258403658866882 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие две силы, вероятно, являются причиной образования каньонов?", + "option_a": "вода плюс огонь", + "option_b": "вода плюс сила тяжести", + "option_c": "огонь и сера", + "option_d": "H2O и лемминги" + }, + "outputs": "B", + "meta": { + "id": 1263 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие две силы, вероятно, являются причиной образования каньонов?\nA) вода плюс огонь\nB) вода плюс сила тяжести\nC) огонь и сера\nD) H2O и лемминги\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.15964339673519135, + "B": 0.058729518204927444, + "C": 0.5572101473808289, + "D": 0.15964339673519135 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Солнечный свет может", + "option_a": "отразиться от стального стержня", + "option_b": "сделать глаза более заметными", + "option_c": "создать настоящую проблему", + "option_d": "ослепить садового гнома" + }, + "outputs": "A", + "meta": { + "id": 1816 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСолнечный свет может\nA) отразиться от стального стержня\nB) сделать глаза более заметными\nC) создать настоящую проблему\nD) ослепить садового гнома\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10249701142311096, + "B": 0.23098056018352509, + "C": 0.40538352727890015, + "D": 0.19148963689804077 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При какой температуре окружающей среды чаще всего возникает потоотделение?", + "option_a": "0 градусов по Цельсию", + "option_b": "34 градусов по Цельсию", + "option_c": "35 градусов по Цельсию", + "option_d": "33 градуса по Цельсию" + }, + "outputs": "C", + "meta": { + "id": 1054 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПри какой температуре окружающей среды чаще всего возникает потоотделение?\nA. 0 градусов по Цельсию\nB. 34 градусов по Цельсию\nC. 35 градусов по Цельсию\nD. 33 градуса по Цельсию\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.1642492264509201, + "B": 0.1642492264509201, + "C": 0.4194251298904419, + "D": 0.14494945108890533 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Луна выглядит по-разному в разных частях", + "option_a": "апреля", + "option_b": "сегодня", + "option_c": "неба", + "option_d": "корабля" + }, + "outputs": "A", + "meta": { + "id": 491 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛуна выглядит по-разному в разных частях\nA. апреля\nB. сегодня\nC. неба\nD. корабля\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.05493094399571419, + "B": 0.02437545917928219, + "C": 0.03129870817065239, + "D": 0.8592645525932312 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда животное заболевает какой-либо болезнью, его физическое здоровье", + "option_a": "остается прежним", + "option_b": "улучшается", + "option_c": "становится крепче", + "option_d": "неизбежно ухудшается" + }, + "outputs": "D", + "meta": { + "id": 39 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда животное заболевает какой-либо болезнью, его физическое здоровье\nA) остается прежним\nB) улучшается\nC) становится крепче\nD) неизбежно ухудшается\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.24321934580802917, + "B": 0.24321934580802917, + "C": 0.24321934580802917, + "D": 0.18941941857337952 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример твердого вещества", + "option_a": "вода в стакане", + "option_b": "расплавленная медь в чане", + "option_c": "яйцо в картонной коробке", + "option_d": "ртуть в термометре" + }, + "outputs": "C", + "meta": { + "id": 1485 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВыберите пример твердого вещества\nA) вода в стакане\nB) расплавленная медь в чане\nC) яйцо в картонной коробке\nD) ртуть в термометре\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.15253005921840668, + "B": 0.3033422529697418, + "C": 0.15253005921840668, + "D": 0.32290613651275635 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Грозовые облака", + "option_a": "наполнены красивой музыкой", + "option_b": "формируются не менее 10 лет", + "option_c": "светло-розового цвета", + "option_d": "значительного веса" + }, + "outputs": "D", + "meta": { + "id": 312 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Грозовые облака\nA. наполнены красивой музыкой\nB. формируются не менее 10 лет\nC. светло-розового цвета\nD. значительного веса\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.013728185556828976, + "B": 0.9041100740432739, + "C": 0.015556072816252708, + "D": 0.014613578096032143 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В почве есть все, что нужно дереву для", + "option_a": "сжигания", + "option_b": "развития", + "option_c": "отпуска", + "option_d": "перемещения" + }, + "outputs": "B", + "meta": { + "id": 140 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ почве есть все, что нужно дереву для\nA. сжигания\nB. развития\nC. отпуска\nD. перемещения\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5120816826820374, + "B": 0.3306247889995575, + "C": 0.0164608396589756, + "D": 0.02113613486289978 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пчел привлекает", + "option_a": "жидкий нектар растения, богатый сахаром", + "option_b": "аромат цветочных тычинок", + "option_c": "жидкий сок растения, богатый кислородом", + "option_d": ", испускаемое цветами магнитное поле" + }, + "outputs": "A", + "meta": { + "id": 1 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПчел привлекает\nA. жидкий нектар растения, богатый сахаром\nB. аромат цветочных тычинок\nC. жидкий сок растения, богатый кислородом\nD. , испускаемое цветами магнитное поле\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15578776597976685, + "B": 0.3098209798336029, + "C": 0.35107314586639404, + "D": 0.08338718861341476 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как место, расположенное ниже над уровнем моря, подвержено наводнению по сравнению с местом, расположенным выше?", + "option_a": "так же", + "option_b": "менее", + "option_c": "более", + "option_d": "нижнее место уже затоплено" + }, + "outputs": "C", + "meta": { + "id": 1921 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как место, расположенное ниже над уровнем моря, подвержено наводнению по сравнению с местом, расположенным выше?\nA. так же\nB. менее\nC. более\nD. нижнее место уже затоплено\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2518306374549866, + "B": 0.046583980321884155, + "C": 0.26807230710983276, + "D": 0.366411417722702 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что поможет экономить природные ресурсы?", + "option_a": "покупка нового грузовика", + "option_b": "покупка нового внедорожника", + "option_c": "потребление только стейков и икры", + "option_d": "отказ от езды на мотоцикле" + }, + "outputs": "D", + "meta": { + "id": 2034 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто поможет экономить природные ресурсы?\nA) покупка нового грузовика\nB) покупка нового внедорожника\nC) потребление только стейков и икры\nD) отказ от езды на мотоцикле\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7083380818367004, + "B": 0.048203013837337494, + "C": 0.05814393237233162, + "D": 0.09005507826805115 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы привлечь птиц в свой двор", + "option_a": "положите семена в легкодоступную посуду", + "option_b": "уничтожьте все свои цветы", + "option_c": "срубите все деревья, большие и маленькие", + "option_d": "установите большое грозное чучело" + }, + "outputs": "A", + "meta": { + "id": 606 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы привлечь птиц в свой двор\nA) положите семена в легкодоступную посуду\nB) уничтожьте все свои цветы\nC) срубите все деревья, большие и маленькие\nD) установите большое грозное чучело\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05446423962712288, + "B": 0.010074871592223644, + "C": 0.8519641160964966, + "D": 0.0451524443924427 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Откуда можно черпать возобновляемые ресурсы", + "option_a": "пласты природного газа", + "option_b": "нефтяная скважина", + "option_c": "Тихий океан", + "option_d": "полиэтиленовый пакет" + }, + "outputs": "C", + "meta": { + "id": 286 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОткуда можно черпать возобновляемые ресурсы\nA) пласты природного газа\nB) нефтяная скважина\nC) Тихий океан\nD) полиэтиленовый пакет\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.21624243259429932, + "B": 0.24503478407859802, + "C": 0.2955683767795563, + "D": 0.13115766644477844 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы у вас был молоток, вы бы могли бы вбить в ____ несколько крепких гвоздей из ____", + "option_a": "дерево; дерева", + "option_b": "дерево; железа", + "option_c": "железо; железа", + "option_d": "железо; дерева" + }, + "outputs": "B", + "meta": { + "id": 1170 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если бы у вас был молоток, вы бы могли бы вбить в ____ несколько крепких гвоздей из ____\nA) дерево; дерева\nB) дерево; железа\nC) железо; железа\nD) железо; дерева\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2335539162158966, + "B": 0.2061106115579605, + "C": 0.26465126872062683, + "D": 0.18189197778701782 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере увеличения количества воды в окружающей среде количество водных животных, таких как зоопланктон, нектон и бентос, будет возрастать", + "option_a": "чем больше застаивается воздух над водой", + "option_b": "чем на большую глубину вы опуститесь", + "option_c": "при подъеме на меньшую глубину", + "option_d": "до полного исчезновения" + }, + "outputs": "C", + "meta": { + "id": 28 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: По мере увеличения количества воды в окружающей среде количество водных животных, таких как зоопланктон, нектон и бентос, будет возрастать\nA. чем больше застаивается воздух над водой\nB. чем на большую глубину вы опуститесь\nC. при подъеме на меньшую глубину\nD. до полного исчезновения\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 473, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.25464093685150146, + "B": 0.1750119924545288, + "C": 0.32696542143821716, + "D": 0.13629946112632751 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Электричество наносит меньший ущерб атмосфере Земли, чем", + "option_a": "Бензин", + "option_b": "Картофель", + "option_c": "Солнце", + "option_d": "Вода" + }, + "outputs": "A", + "meta": { + "id": 2163 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Электричество наносит меньший ущерб атмосфере Земли, чем\nA. Бензин\nB. Картофель\nC. Солнце\nD. Вода\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15494248270988464, + "B": 0.32801324129104614, + "C": 0.17557284235954285, + "D": 0.27193254232406616 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Таяние льда разрушает", + "option_a": "облака", + "option_b": "гранит", + "option_c": "растения", + "option_d": "реки" + }, + "outputs": "B", + "meta": { + "id": 467 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Таяние льда разрушает\nA) облака\nB) гранит\nC) растения\nD) реки\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06596024334430695, + "B": 0.7548750042915344, + "C": 0.05468296259641647, + "D": 0.05468296259641647 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Назначение птичьих перьев, особенно пуха, состоит в том, чтобы", + "option_a": "содержать влагу", + "option_b": "сохранять температуру тела", + "option_c": "перемещать воздух", + "option_d": "помогать в полете" + }, + "outputs": "B", + "meta": { + "id": 137 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Назначение птичьих перьев, особенно пуха, состоит в том, чтобы\nA) содержать влагу\nB) сохранять температуру тела\nC) перемещать воздух\nD) помогать в полете\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.020502343773841858, + "B": 0.011681884527206421, + "C": 0.9280070066452026, + "D": 0.010974113829433918 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое свойство волн имеет значение, когда земля трясется?", + "option_a": "графичность", + "option_b": "блеск", + "option_c": "амплитуда", + "option_d": "влажность" + }, + "outputs": "C", + "meta": { + "id": 1631 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое свойство волн имеет значение, когда земля трясется?\nA. графичность\nB. блеск\nC. амплитуда\nD. влажность\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.030946265906095505, + "B": 0.012900322675704956, + "C": 0.024100976064801216, + "D": 0.9043825268745422 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одна крошечная искра, и огонь прорывается и распространяется по лесам, поглощая", + "option_a": "исключительно птиц", + "option_b": "кристально чистое озеро", + "option_c": "снежную вершину горы", + "option_d": "травы, сухостой, кору и кроны" + }, + "outputs": "D", + "meta": { + "id": 1048 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОдна крошечная искра, и огонь прорывается и распространяется по лесам, поглощая\nA. исключительно птиц\nB. кристально чистое озеро\nC. снежную вершину горы\nD. травы, сухостой, кору и кроны\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2193007618188858, + "B": 0.1707916110754013, + "C": 0.36156582832336426, + "D": 0.18180671334266663 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что дольше дрейфует над землей?", + "option_a": "железный трон", + "option_b": "скала", + "option_c": "надувная игрушка", + "option_d": "шумная толпа" + }, + "outputs": "C", + "meta": { + "id": 1382 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто дольше дрейфует над землей?\nA) железный трон\nB) скала\nC) надувная игрушка\nD) шумная толпа\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.13234269618988037, + "B": 0.07540659606456757, + "C": 0.557183563709259, + "D": 0.16993138194084167 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Погода меняется от зимы к весне из-за", + "option_a": "луны", + "option_b": "звезды", + "option_c": "облака", + "option_d": "неба" + }, + "outputs": "B", + "meta": { + "id": 1322 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПогода меняется от зимы к весне из-за\nA. луны\nB. звезды\nC. облака\nD. неба\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21713745594024658, + "B": 0.045514483004808426, + "C": 0.5208856463432312, + "D": 0.10256846249103546 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Смена агрегатного состояния происходит, когда", + "option_a": "вода наливается в стакан", + "option_b": "торт остывает на прилавке", + "option_c": "расплавленный шоколад охлаждается", + "option_d": "индейка нарезается на кусочки" + }, + "outputs": "C", + "meta": { + "id": 414 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСмена агрегатного состояния происходит, когда\nA. вода наливается в стакан\nB. торт остывает на прилавке\nC. расплавленный шоколад охлаждается\nD. индейка нарезается на кусочки\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.2729397714138031, + "B": 0.19968700408935547, + "C": 0.24086850881576538, + "D": 0.16554634273052216 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего используется свет, производимый глубоководными животными?", + "option_a": "Навигация", + "option_b": "Камуфляж", + "option_c": "Ловля жертв", + "option_d": "Сексуальная демонстрация" + }, + "outputs": "C", + "meta": { + "id": 1519 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего используется свет, производимый глубоководными животными?\nA) Навигация\nB) Камуфляж\nC) Ловля жертв\nD) Сексуальная демонстрация\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.6190696358680725, + "B": 0.03280948847532272, + "C": 0.17736642062664032, + "D": 0.03957579284906387 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Флоэма", + "option_a": "действует как тренер для растения", + "option_b": "действует как доставщик растения", + "option_c": "действует как врач для растения", + "option_d": "действует как фермер для растения" + }, + "outputs": "B", + "meta": { + "id": 1812 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nФлоэма\nA. действует как тренер для растения\nB. действует как доставщик растения\nC. действует как врач для растения\nD. действует как фермер для растения\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05097812041640282, + "B": 0.044988036155700684, + "C": 0.797432005405426, + "D": 0.06149135157465935 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, может обеспечить вас влагой, не двигаясь?", + "option_a": "панда", + "option_b": "юный енот", + "option_c": "молодой стебель бамбука", + "option_d": "собака" + }, + "outputs": "C", + "meta": { + "id": 107 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, вероятно, может обеспечить вас влагой, не двигаясь?\nA) панда\nB) юный енот\nC) молодой стебель бамбука\nD) собака\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.23666319251060486, + "B": 0.06780514121055603, + "C": 0.049607302993535995, + "D": 0.604340672492981 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые животные убегают от хищников, двигаясь", + "option_a": "медленно", + "option_b": "счастливо", + "option_c": "стабильно", + "option_d": "быстро" + }, + "outputs": "D", + "meta": { + "id": 1390 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНекоторые животные убегают от хищников, двигаясь\nA) медленно\nB) счастливо\nC) стабильно\nD) быстро\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09277243912220001, + "B": 0.6855008006095886, + "C": 0.0678737685084343, + "D": 0.07691105455160141 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Газовые гиганты, как известно,", + "option_a": "путешествуют через глубокий космос", + "option_b": "в основном состоят из водорода и гелия", + "option_c": "врезаются друг в друга", + "option_d": "мечутся вокруг галактики" + }, + "outputs": "B", + "meta": { + "id": 1085 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГазовые гиганты, как известно,\nA. путешествуют через глубокий космос\nB. в основном состоят из водорода и гелия\nC. врезаются друг в друга\nD. мечутся вокруг галактики\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06818881630897522, + "B": 0.03885281831026077, + "C": 0.7330989241600037, + "D": 0.10561291128396988 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В жаркий летний день лошадь выгнали из конюшни, потому что стойла полны навоза, а рабочим трудно убирать при лошадях. Итак, лошадь стоит в поле, под прямыми солнечными лучами, и начинает перегреваться. Чтобы лучше переносить жару, лошадь", + "option_a": "ест", + "option_b": "топчется", + "option_c": "потеет", + "option_d": "ржет" + }, + "outputs": "C", + "meta": { + "id": 1396 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В жаркий летний день лошадь выгнали из конюшни, потому что стойла полны навоза, а рабочим трудно убирать при лошадях. Итак, лошадь стоит в поле, под прямыми солнечными лучами, и начинает перегреваться. Чтобы лучше переносить жару, лошадь\nA. ест\nB. топчется\nC. потеет\nD. ржет\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 486, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.17611846327781677, + "B": 0.09426941722631454, + "C": 0.3728427588939667, + "D": 0.2562508285045624 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В пустыне ястреб не может увидеть", + "option_a": "койота", + "option_b": "летучую мышь", + "option_c": "белого медведя", + "option_d": "скорпиона." + }, + "outputs": "C", + "meta": { + "id": 771 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В пустыне ястреб не может увидеть\nA) койота\nB) летучую мышь\nC) белого медведя\nD) скорпиона.\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2391882836818695, + "B": 0.12027142196893692, + "C": 0.25461462140083313, + "D": 0.3071238398551941 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фонари", + "option_a": "освещают идеи и мысли", + "option_b": "освещают ответы на вопросы", + "option_c": "освещают яркие солнечные дни", + "option_d": "освещают тропинки в заросшем лесу" + }, + "outputs": "D", + "meta": { + "id": 670 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Фонари\nA. освещают идеи и мысли\nB. освещают ответы на вопросы\nC. освещают яркие солнечные дни\nD. освещают тропинки в заросшем лесу\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2054920196533203, + "B": 0.21874509751796722, + "C": 0.24787068367004395, + "D": 0.24787068367004395 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В декабре жарче, чем в другие месяцы. Где вы, вероятно, находитесь?", + "option_a": "выше гор", + "option_b": "ниже экватора", + "option_c": "ниже пояса", + "option_d": "выше экватора" + }, + "outputs": "B", + "meta": { + "id": 1060 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ декабре жарче, чем в другие месяцы. Где вы, вероятно, находитесь?\nA. выше гор\nB. ниже экватора\nC. ниже пояса\nD. выше экватора\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.22373177111148834, + "B": 0.17424248158931732, + "C": 0.3465225398540497, + "D": 0.15376845002174377 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "За десятилетие весна приходит", + "option_a": "три раза", + "option_b": "двенадцать раз", + "option_c": "десять раз", + "option_d": "дважды" + }, + "outputs": "C", + "meta": { + "id": 435 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗа десятилетие весна приходит\nA. три раза\nB. двенадцать раз\nC. десять раз\nD. дважды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2089538425207138, + "B": 0.08182750642299652, + "C": 0.3667254149913788, + "D": 0.25204646587371826 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У такого растения, как кактус, вода удерживается внутри", + "option_a": "шипов на стебле", + "option_b": "линий стебля", + "option_c": "внутри листьев", + "option_d": "ряда трубок в теле" + }, + "outputs": "D", + "meta": { + "id": 489 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ такого растения, как кактус, вода удерживается внутри\nA. шипов на стебле\nB. линий стебля\nC. внутри листьев\nD. ряда трубок в теле\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.05361701920628548, + "B": 0.01123873796314001, + "C": 0.013556505553424358, + "D": 0.8928035497665405 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример, соответствующий понятию загрязнения:", + "option_a": "Рыба плавает в море", + "option_b": "Ветер разносит семена", + "option_c": "Деревья растут в лесу", + "option_d": "Турист бросает обертку от жевательной резинки в океан" + }, + "outputs": "D", + "meta": { + "id": 1836 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Выберите пример, соответствующий понятию загрязнения:\nA) Рыба плавает в море\nB) Ветер разносит семена\nC) Деревья растут в лесу\nD) Турист бросает обертку от жевательной резинки в океан\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.037047214806079865, + "B": 0.019829943776130676, + "C": 0.02110886573791504, + "D": 0.8975718021392822 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Природный газ", + "option_a": "является возобновляемым, поскольку темпы добычи растут", + "option_b": "следует использовать как можно больше", + "option_c": "- это подукт синтетического производства", + "option_d": "- это ресурс, который истощается без возможности пополнения при каждом использовании" + }, + "outputs": "D", + "meta": { + "id": 348 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПриродный газ\nA) является возобновляемым, поскольку темпы добычи растут\nB) следует использовать как можно больше\nC) - это подукт синтетического производства\nD) - это ресурс, который истощается без возможности пополнения при каждом использовании\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5271112322807312, + "B": 0.10379434376955032, + "C": 0.05914023518562317, + "D": 0.2197326421737671 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая сущность производит видимое вращение вокруг Земли, вызывая смену времен года?", + "option_a": "звезда", + "option_b": "венера", + "option_c": "плутон", + "option_d": "ртуть" + }, + "outputs": "A", + "meta": { + "id": 172 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какая сущность производит видимое вращение вокруг Земли, вызывая смену времен года?\nA. звезда\nB. венера\nC. плутон\nD. ртуть\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2421131730079651, + "B": 0.17713378369808197, + "C": 0.25772812962532043, + "D": 0.22744427621364594 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может вызвать искру?", + "option_a": "морской песок", + "option_b": "мокрая грязь", + "option_c": "болотная грязь", + "option_d": "волосяная кисть" + }, + "outputs": "D", + "meta": { + "id": 661 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто может вызвать искру?\nA) морской песок\nB) мокрая грязь\nC) болотная грязь\nD) волосяная кисть\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3453996479511261, + "B": 0.26899752020835876, + "C": 0.1352604478597641, + "D": 0.1352604478597641 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бег превращает углеводы в", + "option_a": "жир", + "option_b": "пот", + "option_c": "белок", + "option_d": "движение и тепло" + }, + "outputs": "D", + "meta": { + "id": 859 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБег превращает углеводы в\nA. жир\nB. пот\nC. белок\nD. движение и тепло\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2355000227689743, + "B": 0.09817101061344147, + "C": 0.32189038395881653, + "D": 0.25068846344947815 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У медведей всегда будет более продолжительный жизненный цикл, чем у", + "option_a": "черепах", + "option_b": "китов", + "option_c": "лисиц", + "option_d": "слонов" + }, + "outputs": "C", + "meta": { + "id": 1710 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ медведей всегда будет более продолжительный жизненный цикл, чем у\nA. черепах\nB. китов\nC. лисиц\nD. слонов\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7202397584915161, + "B": 0.03164512664079666, + "C": 0.05912087857723236, + "D": 0.046043384820222855 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Я могу использовать микроскоп, чтобы", + "option_a": "увидеть поры в растении", + "option_b": "посмотреть на солнечный свет", + "option_c": "посмотреть, как мышь ест еду", + "option_d": "посмотреть на слона" + }, + "outputs": "A", + "meta": { + "id": 1580 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЯ могу использовать микроскоп, чтобы\nA. увидеть поры в растении\nB. посмотреть на солнечный свет\nC. посмотреть, как мышь ест еду\nD. посмотреть на слона\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2257532924413681, + "B": 0.1369262933731079, + "C": 0.25581198930740356, + "D": 0.289872944355011 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Многие деревья на лесной подстилке", + "option_a": "не могут гнить", + "option_b": "могут вырасти заново", + "option_c": "ненадолго сломаны", + "option_d": "сломаны, скоро перегниют, распадутся" + }, + "outputs": "D", + "meta": { + "id": 931 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМногие деревья на лесной подстилке\nA) не могут гнить\nB) могут вырасти заново\nC) ненадолго сломаны\nD) сломаны, скоро перегниют, распадутся\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.07524023205041885, + "B": 0.0190237108618021, + "C": 0.4067448377609253, + "D": 0.46090230345726013 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что поглощает питательные вещества из почвы через свои корни?", + "option_a": "мука", + "option_b": "искусственные растения", + "option_c": "животные", + "option_d": "флора" + }, + "outputs": "D", + "meta": { + "id": 1910 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто поглощает питательные вещества из почвы через свои корни?\nA) мука\nB) искусственные растения\nC) животные\nD) флора\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09753989428281784, + "B": 0.04607458412647247, + "C": 0.5975042581558228, + "D": 0.20649196207523346 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вреднее для полезных бактерий, которые помогают вашему организму?", + "option_a": "поддержание баланса воды в организме", + "option_b": "хорошее питание", + "option_c": "горячий душ", + "option_d": "прием пробиотиков" + }, + "outputs": "C", + "meta": { + "id": 1357 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, вреднее для полезных бактерий, которые помогают вашему организму?\nA) поддержание баланса воды в организме\nB) хорошее питание\nC) горячий душ\nD) прием пробиотиков\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3308325707912445, + "B": 0.08904238045215607, + "C": 0.2006601095199585, + "D": 0.27426984906196594 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем лучше наполнить пляжный мяч?", + "option_a": "Кислород", + "option_b": "Железо", + "option_c": "Алюминий", + "option_d": "Вода" + }, + "outputs": "A", + "meta": { + "id": 764 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧем лучше наполнить пляжный мяч?\nA) Кислород\nB) Железо\nC) Алюминий\nD) Вода\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1581726223230362, + "B": 0.1311296820640564, + "C": 0.42995768785476685, + "D": 0.2030976414680481 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из этих предметов могли сохранять прохладу благодаря преобразованию электрической энергии в какую-либо другую?", + "option_a": "ковер-самолет", + "option_b": "снежная дорога", + "option_c": "настольный вентилятор", + "option_d": "лампочка" + }, + "outputs": "C", + "meta": { + "id": 798 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие из этих предметов могли сохранять прохладу благодаря преобразованию электрической энергии в какую-либо другую?\nA) ковер-самолет\nB) снежная дорога\nC) настольный вентилятор\nD) лампочка\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.36005011200904846, + "B": 0.10315608233213425, + "C": 0.14099764823913574, + "D": 0.31774309277534485 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Землетрясения могут сотрясать", + "option_a": "рыбу", + "option_b": "летающих птиц", + "option_c": "облака", + "option_d": "дым" + }, + "outputs": "A", + "meta": { + "id": 1633 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Землетрясения могут сотрясать\nA) рыбу\nB) летающих птиц\nC) облака\nD) дым\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7547322511672974, + "B": 0.0659477636218071, + "C": 0.03316061943769455, + "D": 0.04824841395020485 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для каких устройств необходима электрическая энергия?", + "option_a": "электроприводных", + "option_b": "мокрых", + "option_c": "гидравлических", + "option_d": "масляных" + }, + "outputs": "A", + "meta": { + "id": 1013 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для каких устройств необходима электрическая энергия?\nA) электроприводных\nB) мокрых\nC) гидравлических\nD) масляных\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7548677921295166, + "B": 0.06595961004495621, + "C": 0.03530563786625862, + "D": 0.04825708270072937 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если один электрический проводник соприкасается с другим электрическим проводником, то что будет проходить через оба проводника?", + "option_a": "разряд", + "option_b": "воздух", + "option_c": "ветер", + "option_d": "растения" + }, + "outputs": "A", + "meta": { + "id": 779 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли один электрический проводник соприкасается с другим электрическим проводником, то что будет проходить через оба проводника?\nA. разряд\nB. воздух\nC. ветер\nD. растения\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.02300032041966915, + "B": 0.010206330567598343, + "C": 0.024483712390065193, + "D": 0.9187445640563965 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что измеряет сейсмограф?", + "option_a": "силу бьющих о берег волн", + "option_b": "сотрясение человека в страхе", + "option_c": "сотрясение земли топотом наступающего стада", + "option_d": "силу подземных толчков" + }, + "outputs": "D", + "meta": { + "id": 65 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что измеряет сейсмограф?\nA. силу бьющих о берег волн\nB. сотрясение человека в страхе\nC. сотрясение земли топотом наступающего стада\nD. силу подземных толчков\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8132243752479553, + "B": 0.026141056790947914, + "C": 0.019125204533338547, + "D": 0.016877932474017143 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В организме это разбивается на более мелкие части для эффективного использования:", + "option_a": "питательные вещества", + "option_b": "воск", + "option_c": "камни", + "option_d": "стекло" + }, + "outputs": "A", + "meta": { + "id": 1775 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В организме это разбивается на более мелкие части для эффективного использования:\nA. питательные вещества\nB. воск\nC. камни\nD. стекло\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2240491807460785, + "B": 0.1539866030216217, + "C": 0.2240491807460785, + "D": 0.32598960399627686 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наши глаза могут помочь нам", + "option_a": "прослушать аудиозапись", + "option_b": "наблюдать за объектами сзади", + "option_c": "услышать громкий шум", + "option_d": "прочесть этикетку" + }, + "outputs": "D", + "meta": { + "id": 109 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Наши глаза могут помочь нам\nA) прослушать аудиозапись\nB) наблюдать за объектами сзади\nC) услышать громкий шум\nD) прочесть этикетку\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.18087056279182434, + "B": 0.20495320856571198, + "C": 0.2982051372528076, + "D": 0.24722075462341309 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку облака являются причиной дождя, штормы вряд ли произойдут, когда небо", + "option_a": "не видно из-за туч", + "option_b": "ясно и безоблачно", + "option_c": "заволокло тучами", + "option_d": "ясно и облачно" + }, + "outputs": "B", + "meta": { + "id": 692 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПоскольку облака являются причиной дождя, штормы вряд ли произойдут, когда небо\nA. не видно из-за туч\nB. ясно и безоблачно\nC. заволокло тучами\nD. ясно и облачно\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.010891707614064217, + "B": 0.009029543958604336, + "C": 0.9210384488105774, + "D": 0.027812950313091278 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплица используется для защиты растений от чего?", + "option_a": "питательные вещества", + "option_b": "общение", + "option_c": "ледяной ветер", + "option_d": "свежий воздух" + }, + "outputs": "C", + "meta": { + "id": 620 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТеплица используется для защиты растений от чего?\nA. питательные вещества\nB. общение\nC. ледяной ветер\nD. свежий воздух\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.038812119513750076, + "B": 0.015199044719338417, + "C": 0.5703399777412415, + "D": 0.3459286689758301 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что заставляет имеющие массу объекты опускаться вниз?", + "option_a": "сила воды", + "option_b": "ветер", + "option_c": "планетарное притяжение", + "option_d": "вес" + }, + "outputs": "C", + "meta": { + "id": 807 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто заставляет имеющие массу объекты опускаться вниз?\nA) сила воды\nB) ветер\nC) планетарное притяжение\nD) вес\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5698719620704651, + "B": 0.1271556168794632, + "C": 0.09902888536453247, + "D": 0.07245108485221863 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые бактерии полезны, а некоторые бактерии", + "option_a": "вызывают расстройство желудка", + "option_b": "вызывают духов", + "option_c": "вызывают дождь", + "option_d": "вызывают засуху" + }, + "outputs": "A", + "meta": { + "id": 529 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые бактерии полезны, а некоторые бактерии\nA) вызывают расстройство желудка\nB) вызывают духов\nC) вызывают дождь\nD) вызывают засуху\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10063442587852478, + "B": 0.039409007877111435, + "C": 0.6985413432121277, + "D": 0.08342886716127396 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ящерицу, которая вымерла много веков назад, сегодня легче всего увидеть, исследуя", + "option_a": "глобусы", + "option_b": "зеркала", + "option_c": "отложения", + "option_d": "телескопы" + }, + "outputs": "C", + "meta": { + "id": 1770 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЯщерицу, которая вымерла много веков назад, сегодня легче всего увидеть, исследуя\nA. глобусы\nB. зеркала\nC. отложения\nD. телескопы\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2031349390745163, + "B": 0.2031349390745163, + "C": 0.37950602173805237, + "D": 0.09595414996147156 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Все растения в районе погибли от пожара. Почему в результате хищников, таких как лисы, стало меньше?", + "option_a": "волки покинули территорию", + "option_b": "лисам было скучно без живых деревьев, не по чему лазить", + "option_c": "кроликам и мышам в этом районе нужны растения", + "option_d": "лисы обычно едят только растения" + }, + "outputs": "C", + "meta": { + "id": 1245 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Все растения в районе погибли от пожара. Почему в результате хищников, таких как лисы, стало меньше?\nA) волки покинули территорию\nB) лисам было скучно без живых деревьев, не по чему лазить\nC) кроликам и мышам в этом районе нужны растения\nD) лисы обычно едят только растения\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 474, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3874289393424988, + "B": 0.18300847709178925, + "C": 0.19481149315834045, + "D": 0.12577974796295166 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что будет делать давление воздуха по мере увеличения высоты?", + "option_a": "снижаться", + "option_b": "подниматься", + "option_c": "оставаться прежним", + "option_d": "возрастать" + }, + "outputs": "A", + "meta": { + "id": 2122 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто будет делать давление воздуха по мере увеличения высоты?\nA. снижаться\nB. подниматься\nC. оставаться прежним\nD. возрастать\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.23584263026714325, + "B": 0.1114041805267334, + "C": 0.302827924489975, + "D": 0.23584263026714325 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, что незаметно для непривычного взгляда, но имеет видимую форму, вероятно,", + "option_a": "сова, замаскировавшаяся на фоне древесной коры", + "option_b": "белый голубь на зелёном лугу", + "option_c": "корова на фоне фиолетовой стены", + "option_d": "бегемот, отдыхающий посередине пруда" + }, + "outputs": "A", + "meta": { + "id": 1391 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: То, что незаметно для непривычного взгляда, но имеет видимую форму, вероятно,\nA. сова, замаскировавшаяся на фоне древесной коры\nB. белый голубь на зелёном лугу\nC. корова на фоне фиолетовой стены\nD. бегемот, отдыхающий посередине пруда\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 473, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5808171629905701, + "B": 0.12959782779216766, + "C": 0.078605055809021, + "D": 0.09481579810380936 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Хорошая причина, по которой люди не боятся диких волков, заключается в том, что", + "option_a": "волки не стремятся к встрече с человеком", + "option_b": "волки - люди", + "option_c": "волки едят кукурузу", + "option_d": "волки приручены" + }, + "outputs": "A", + "meta": { + "id": 1976 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nХорошая причина, по которой люди не боятся диких волков, заключается в том, что\nA) волки не стремятся к встрече с человеком\nB) волки - люди\nC) волки едят кукурузу\nD) волки приручены\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.28227993845939636, + "B": 0.1105424091219902, + "C": 0.3404946029186249, + "D": 0.17121143639087677 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где быстрее всего уменьшается количество воды?", + "option_a": "во время шторма", + "option_b": "в облаках", + "option_c": "на открытом пространстве при ясном небе", + "option_d": "во влажном помещении" + }, + "outputs": "C", + "meta": { + "id": 526 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где быстрее всего уменьшается количество воды?\nA. во время шторма\nB. в облаках\nC. на открытом пространстве при ясном небе\nD. во влажном помещении\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.17644299566745758, + "B": 0.0474889911711216, + "C": 0.30966711044311523, + "D": 0.39762043952941895 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере увеличения использования альтернативного биотоплива использование чего будет уменьшаться?", + "option_a": "энергия ветра", + "option_b": "солнечное тепло", + "option_c": "гидроэлектроэнергия", + "option_d": "нерегенерируемые виды топлива" + }, + "outputs": "D", + "meta": { + "id": 2023 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПо мере увеличения использования альтернативного биотоплива использование чего будет уменьшаться?\nA) энергия ветра\nB) солнечное тепло\nC) гидроэлектроэнергия\nD) нерегенерируемые виды топлива\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.29836922883987427, + "B": 0.10976392030715942, + "C": 0.26330992579460144, + "D": 0.23237019777297974 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скорее всего, один из предложенных вариантов как-то связан с замыканием цепи", + "option_a": "зарядное устройство вашего iPhone", + "option_b": "щетка для волос", + "option_c": "шляпа", + "option_d": "ваша обувь" + }, + "outputs": "A", + "meta": { + "id": 691 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСкорее всего, один из предложенных вариантов как-то связан с замыканием цепи\nA) зарядное устройство вашего iPhone\nB) щетка для волос\nC) шляпа\nD) ваша обувь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.5753536820411682, + "B": 0.07314801216125488, + "C": 0.10642973333597183, + "D": 0.07786565274000168 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Популяция носорогов меньше, чем раньше, потому что", + "option_a": "машины часто врезались в носорогов", + "option_b": "львы стали эффективнее охотиться на носорогов", + "option_c": "глобальное потепление привело к повышению температуры", + "option_d": "люди используют части тел носорогов для создания лечебных средств" + }, + "outputs": "D", + "meta": { + "id": 2253 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПопуляция носорогов меньше, чем раньше, потому что\nA) машины часто врезались в носорогов\nB) львы стали эффективнее охотиться на носорогов\nC) глобальное потепление привело к повышению температуры\nD) люди используют части тел носорогов для создания лечебных средств\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.3893508315086365, + "B": 0.03855095058679581, + "C": 0.44119229912757874, + "D": 0.015096769668161869 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Спинной мозг содержит", + "option_a": "биологические импульсы", + "option_b": "нервно-паралитический газ", + "option_c": "электрически возбудимые клетки", + "option_d": "волосяные фолликулы" + }, + "outputs": "C", + "meta": { + "id": 236 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСпинной мозг содержит\nA) биологические импульсы\nB) нервно-паралитический газ\nC) электрически возбудимые клетки\nD) волосяные фолликулы\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21070823073387146, + "B": 0.044166844338178635, + "C": 0.5054628252983093, + "D": 0.15415742993354797 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Существо живет в части лесной области и может жить только в этой области. Группа двуногих начинает строить свои собственные дома в этом пространстве. Существо, которое изначально там жило, скорее всего,", + "option_a": "поделится своим пространством", + "option_b": "продаст это пространство", + "option_c": "потеряет свое место обитания", + "option_d": "сражается за пространство" + }, + "outputs": "C", + "meta": { + "id": 1892 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСущество живет в части лесной области и может жить только в этой области. Группа двуногих начинает строить свои собственные дома в этом пространстве. Существо, которое изначально там жило, скорее всего,\nA. поделится своим пространством\nB. продаст это пространство\nC. потеряет свое место обитания\nD. сражается за пространство\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 475, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05871211737394333, + "B": 0.6719246506690979, + "C": 0.0753878504037857, + "D": 0.14084304869174957 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зеркала отражают свет, потому что прохождение света через материал, из которого сделано зеркало, заставляет свет", + "option_a": "кричать", + "option_b": "возвращаться", + "option_c": "облегчаться", + "option_d": "удлиняться" + }, + "outputs": "B", + "meta": { + "id": 1230 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Зеркала отражают свет, потому что прохождение света через материал, из которого сделано зеркало, заставляет свет\nA. кричать\nB. возвращаться\nC. облегчаться\nD. удлиняться\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.16334208846092224, + "B": 0.08743072301149368, + "C": 0.5355781316757202, + "D": 0.12721095979213715 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дождя больше, когда небо", + "option_a": "красное", + "option_b": "серое", + "option_c": "синее", + "option_d": "белое" + }, + "outputs": "B", + "meta": { + "id": 832 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДождя больше, когда небо\nA) красное\nB) серое\nC) синее\nD) белое\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.2958087623119354, + "B": 0.06600385904312134, + "C": 0.2610503137111664, + "D": 0.27788662910461426 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Следствие создания тысяч записных книжек - это", + "option_a": "более длительные дни", + "option_b": "пышные ландшафты", + "option_c": "изменение среды обитания", + "option_d": "более короткие дни" + }, + "outputs": "C", + "meta": { + "id": 951 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСледствие создания тысяч записных книжек - это\nA. более длительные дни\nB. пышные ландшафты\nC. изменение среды обитания\nD. более короткие дни\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4923464059829712, + "B": 0.07550377398729324, + "C": 0.150157168507576, + "D": 0.14105960726737976 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Небольшой вулкан под водой извергается каждые четыре года. Через несколько столетий появится", + "option_a": "новая земля для обитания", + "option_b": "большая рыба, поедающая дерево", + "option_c": "вспышка огня из будущего", + "option_d": "небольшая трещина в высокой горе" + }, + "outputs": "A", + "meta": { + "id": 1378 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНебольшой вулкан под водой извергается каждые четыре года. Через несколько столетий появится\nA. новая земля для обитания\nB. большая рыба, поедающая дерево\nC. вспышка огня из будущего\nD. небольшая трещина в высокой горе\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.28070932626724243, + "B": 0.14114950597286224, + "C": 0.21861664950847626, + "D": 0.24772511422634125 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем вызывает образование отложений на дне рек?", + "option_a": "деградация, связанная с погодой", + "option_b": "плавание рыб", + "option_c": "глобальное потепление", + "option_d": "перемещение животных" + }, + "outputs": "A", + "meta": { + "id": 2214 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чем вызывает образование отложений на дне рек?\nA) деградация, связанная с погодой\nB) плавание рыб\nC) глобальное потепление\nD) перемещение животных\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7701966762542725, + "B": 0.028054412454366684, + "C": 0.03178981691598892, + "D": 0.028054412454366684 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Смена сезонов обусловлена", + "option_a": "характером движения Земли", + "option_b": "погодными условиями", + "option_c": "погодными изменениями", + "option_d": "погодными циклами" + }, + "outputs": "A", + "meta": { + "id": 2232 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСмена сезонов обусловлена\nA. характером движения Земли\nB. погодными условиями\nC. погодными изменениями\nD. погодными циклами\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.18518581986427307, + "B": 0.5033871531486511, + "C": 0.11956493556499481, + "D": 0.11956493556499481 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Электромобили могут иметь _______ и все еще работать", + "option_a": "чувства", + "option_b": "пустой бак", + "option_c": "пищеварительный тракт", + "option_d": "волосатые тела" + }, + "outputs": "B", + "meta": { + "id": 686 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Электромобили могут иметь _______ и все еще работать\nA) чувства\nB) пустой бак\nC) пищеварительный тракт\nD) волосатые тела\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.28983134031295776, + "B": 0.12081968039274216, + "C": 0.22572088241577148, + "D": 0.2557752728462219 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В круговороте воды есть несколько стадий, и все перечисленные пункты являются одной из стадий, кроме", + "option_a": "процедуры", + "option_b": "конденсации", + "option_c": "выпадения осадков", + "option_d": "испарения" + }, + "outputs": "A", + "meta": { + "id": 629 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В круговороте воды есть несколько стадий, и все перечисленные пункты являются одной из стадий, кроме\nA) процедуры\nB) конденсации\nC) выпадения осадков\nD) испарения\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0728883296251297, + "B": 0.6915452480316162, + "C": 0.06847225874662399, + "D": 0.09962654858827591 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вещь, которая очень мало движется в течение довольно долгого времени, - это", + "option_a": "стая волков", + "option_b": "гигантский ледяной массив", + "option_c": "падающие камни", + "option_d": "скаковые лошади" + }, + "outputs": "B", + "meta": { + "id": 614 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВещь, которая очень мало движется в течение довольно долгого времени, - это\nA. стая волков\nB. гигантский ледяной массив\nC. падающие камни\nD. скаковые лошади\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.2721272110939026, + "B": 0.21193289756774902, + "C": 0.2721272110939026, + "D": 0.09404465556144714 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если с веществом контактирует _____ вода, это скорее может вызвать химическую реакцию", + "option_a": "горячая", + "option_b": "замороженная", + "option_c": "испарившаяся", + "option_d": "напуганная" + }, + "outputs": "A", + "meta": { + "id": 921 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если с веществом контактирует _____ вода, это скорее может вызвать химическую реакцию\nA. горячая\nB. замороженная\nC. испарившаяся\nD. напуганная\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.20289263129234314, + "B": 0.07464002817869186, + "C": 0.27732136845588684, + "D": 0.35608768463134766 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Преломление", + "option_a": "заставляет объекты казаться вдвое больше своего размера", + "option_b": "перемещает тепловую энергию через звуковые волны", + "option_c": "связано с зеркалами", + "option_d": ", заставляет соломинку казаться сломанной, когда она находится в чашке с водой." + }, + "outputs": "D", + "meta": { + "id": 234 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Преломление\nA) заставляет объекты казаться вдвое больше своего размера\nB) перемещает тепловую энергию через звуковые волны\nC) связано с зеркалами\nD) , заставляет соломинку казаться сломанной, когда она находится в чашке с водой.\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.2906671464443207, + "B": 0.14615662395954132, + "C": 0.2906671464443207, + "D": 0.17629854381084442 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что в большей степени, хотя и меньше, чем думают некоторые, способствуют повреждению легких, вызванному курением?", + "option_a": "меньше курить", + "option_b": "курить без фильтров", + "option_c": "переход с курения на жевание", + "option_d": "переход на электронные сигареты" + }, + "outputs": "B", + "meta": { + "id": 1003 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто в большей степени, хотя и меньше, чем думают некоторые, способствуют повреждению легких, вызванному курением?\nA) меньше курить\nB) курить без фильтров\nC) переход с курения на жевание\nD) переход на электронные сигареты\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.2474331110715866, + "B": 0.19270110130310059, + "C": 0.2474331110715866, + "D": 0.20512926578521729 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Земля вращается вокруг", + "option_a": "источника тепла", + "option_b": "Млечного Пути", + "option_c": "соседней планеты", + "option_d": "Луны" + }, + "outputs": "A", + "meta": { + "id": 1260 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Земля вращается вокруг\nA. источника тепла\nB. Млечного Пути\nC. соседней планеты\nD. Луны\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.19146102666854858, + "B": 0.0904397964477539, + "C": 0.4889128804206848, + "D": 0.11612699180841446 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько оборотов Луна делает вокруг Земли за весну?", + "option_a": "три", + "option_b": "шесть", + "option_c": "один", + "option_d": "двенадцать" + }, + "outputs": "A", + "meta": { + "id": 272 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСколько оборотов Луна делает вокруг Земли за весну?\nA) три\nB) шесть\nC) один\nD) двенадцать\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06517931073904037, + "B": 0.04479704424738884, + "C": 0.2007663995027542, + "D": 0.658287763595581 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С помощью чего можно определить точный размер объекта?", + "option_a": "обычная палочка неправильной формы", + "option_b": "металлическая ложка для приготовления пищи", + "option_c": "термометр со ртутью в нем", + "option_d": "пластиковая лента с градуированными отметками" + }, + "outputs": "D", + "meta": { + "id": 1763 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: С помощью чего можно определить точный размер объекта?\nA) обычная палочка неправильной формы\nB) металлическая ложка для приготовления пищи\nC) термометр со ртутью в нем\nD) пластиковая лента с градуированными отметками\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3483959436416626, + "B": 0.15459977090358734, + "C": 0.25489190220832825, + "D": 0.14523303508758545 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Закончите предложение. Когда его преследует лев", + "option_a": "баран прыгнет со скалы", + "option_b": "осьминог спрячется под камнем", + "option_c": "гепард будет драться", + "option_d": "жираф бросится прочь" + }, + "outputs": "D", + "meta": { + "id": 106 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗакончите предложение. Когда его преследует лев\nA) баран прыгнет со скалы\nB) осьминог спрячется под камнем\nC) гепард будет драться\nD) жираф бросится прочь\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3841181993484497, + "B": 0.1100517064332962, + "C": 0.1504228413105011, + "D": 0.23297946155071259 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек с дефицитом витамина D и аллергией на солнечный свет может", + "option_a": "смотреть на фотографии", + "option_b": "пить больше воды", + "option_c": "чаще мыться", + "option_d": "есть больше сыра" + }, + "outputs": "D", + "meta": { + "id": 1665 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек с дефицитом витамина D и аллергией на солнечный свет может\nA. смотреть на фотографии\nB. пить больше воды\nC. чаще мыться\nD. есть больше сыра\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.24487899243831635, + "B": 0.19071194529533386, + "C": 0.24487899243831635, + "D": 0.21610495448112488 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где объект испытывает наименьшее давление?", + "option_a": "русло реки", + "option_b": "дно озера", + "option_c": "лужа", + "option_d": "дно океана" + }, + "outputs": "C", + "meta": { + "id": 1018 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде объект испытывает наименьшее давление?\nA. русло реки\nB. дно озера\nC. лужа\nD. дно океана\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.32567745447158813, + "B": 0.39284199476242065, + "C": 0.06024427339434624, + "D": 0.1538391262292862 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В комнате выключился свет, кто из животных мог найти выключатель?", + "option_a": "Мыши", + "option_b": "Еноты", + "option_c": "Слоны", + "option_d": "Хомяки" + }, + "outputs": "B", + "meta": { + "id": 868 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ комнате выключился свет, кто из животных мог найти выключатель?\nA) Мыши\nB) Еноты\nC) Слоны\nD) Хомяки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.16410976648330688, + "B": 0.3936788737773895, + "C": 0.17469394207000732, + "D": 0.17469394207000732 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые из этих существ с пушистыми бедрами обитают на травянистых участках", + "option_a": "змеи", + "option_b": "олени", + "option_c": "скорпионы", + "option_d": "черепахи" + }, + "outputs": "B", + "meta": { + "id": 602 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНекоторые из этих существ с пушистыми бедрами обитают на травянистых участках\nA. змеи\nB. олени\nC. скорпионы\nD. черепахи\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2139534205198288, + "B": 0.14704789221286774, + "C": 0.3113003671169281, + "D": 0.24244096875190735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример теплопроводности:", + "option_a": "Сесть на кровать", + "option_b": "Оставить кочергу одним концом в камине", + "option_c": "Бросить другу большой мяч", + "option_d": "Кричать в мегафон на толпу" + }, + "outputs": "B", + "meta": { + "id": 2074 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПример теплопроводности:\nA) Сесть на кровать\nB) Оставить кочергу одним концом в камине\nC) Бросить другу большой мяч\nD) Кричать в мегафон на толпу\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7166727185249329, + "B": 0.10990531742572784, + "C": 0.02958061546087265, + "D": 0.02958061546087265 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что помогает кальмару плавать быстрее, используя толчки своего тела?", + "option_a": "реактивная сила", + "option_b": "тяга", + "option_c": "рост", + "option_d": "наука" + }, + "outputs": "A", + "meta": { + "id": 880 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто помогает кальмару плавать быстрее, используя толчки своего тела?\nA. реактивная сила\nB. тяга\nC. рост\nD. наука\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.15129244327545166, + "B": 0.12542583048343658, + "C": 0.029791248962283134, + "D": 0.6369649767875671 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Многие люди думают, что вулканы могут существовать только в высоких горах, которые возвышаются над нами, но многие вулканы", + "option_a": "падают в океаны", + "option_b": ", встречаются в ручьях", + "option_c": "плавают на поверхности моря", + "option_d": "находятся и извергаются под водой" + }, + "outputs": "D", + "meta": { + "id": 2100 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Многие люди думают, что вулканы могут существовать только в высоких горах, которые возвышаются над нами, но многие вулканы\nA) падают в океаны\nB) , встречаются в ручьях\nC) плавают на поверхности моря\nD) находятся и извергаются под водой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 474, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.857730507850647, + "B": 0.021472863852977753, + "C": 0.025901218876242638, + "D": 0.013863923028111458 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Линька - это когда животное", + "option_a": "избавляется от зимней шерсти", + "option_b": "становится выше", + "option_c": "говорит на большей громкости", + "option_d": "ест свою еду" + }, + "outputs": "A", + "meta": { + "id": 1646 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛинька - это когда животное\nA) избавляется от зимней шерсти\nB) становится выше\nC) говорит на большей громкости\nD) ест свою еду\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.249892920255661, + "B": 0.03177031874656677, + "C": 0.3014284074306488, + "D": 0.3635920286178589 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Высокоуглеродистая сталь содержит", + "option_a": "никель", + "option_b": "аммиак", + "option_c": "Na", + "option_d": "Fe" + }, + "outputs": "D", + "meta": { + "id": 2229 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВысокоуглеродистая сталь содержит\nA) никель\nB) аммиак\nC) Na\nD) Fe\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.13589522242546082, + "B": 0.03435969352722168, + "C": 0.6483198404312134, + "D": 0.11266108602285385 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в окружающей среде наступит продолжительная засуха", + "option_a": "животные испытают бум размножения", + "option_b": "растения будут продолжать процветать", + "option_c": "пруды могут высохнуть и убить популяцию рыб", + "option_d": "головастики быстрее превратятся в лягушек" + }, + "outputs": "C", + "meta": { + "id": 1155 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли в окружающей среде наступит продолжительная засуха\nA) животные испытают бум размножения\nB) растения будут продолжать процветать\nC) пруды могут высохнуть и убить популяцию рыб\nD) головастики быстрее превратятся в лягушек\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.134718120098114, + "B": 0.6427041888237, + "C": 0.05615886673331261, + "D": 0.06363633275032043 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "95% H2O в мире содержится в", + "option_a": "антарктических льдах", + "option_b": "морях", + "option_c": "арктических льдах", + "option_d": "озерах." + }, + "outputs": "B", + "meta": { + "id": 1959 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\n95% H2O в мире содержится в\nA. антарктических льдах\nB. морях\nC. арктических льдах\nD. озерах.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.034197498112916946, + "B": 0.011818339116871357, + "C": 0.8819651007652283, + "D": 0.038750842213630676 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто заинтересован в увеличении количества опылителей, привлеченных к цветам?", + "option_a": "киты", + "option_b": "океаны", + "option_c": "флора", + "option_d": "животные" + }, + "outputs": "C", + "meta": { + "id": 370 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто заинтересован в увеличении количества опылителей, привлеченных к цветам?\nA) киты\nB) океаны\nC) флора\nD) животные\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.27818283438682556, + "B": 0.03764795511960983, + "C": 0.13140426576137543, + "D": 0.4882260859012604 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Женщина ведет раскопки под деревом высоко в горах. Она ищет интересные камни и, пройдя на полметра в землю, обнаруживает окаменелый скелет рыбы. На основе этого открытия женщина может определить, что", + "option_a": "иногда дождь может перемещать рыбу на возвышенности", + "option_b": "некоторые медведи в горах едят рыбу", + "option_c": "некоторые рыбы могут взбираться на горы", + "option_d": "гора раньше была под водой" + }, + "outputs": "D", + "meta": { + "id": 1044 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖенщина ведет раскопки под деревом высоко в горах. Она ищет интересные камни и, пройдя на полметра в землю, обнаруживает окаменелый скелет рыбы. На основе этого открытия женщина может определить, что\nA) иногда дождь может перемещать рыбу на возвышенности\nB) некоторые медведи в горах едят рыбу\nC) некоторые рыбы могут взбираться на горы\nD) гора раньше была под водой\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 485, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.36049702763557434, + "B": 0.33865562081336975, + "C": 0.06264498829841614, + "D": 0.12458444386720657 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие два объекта могут быть магнитными?", + "option_a": "сотовый телефон и кофейная кружка", + "option_b": "дерево и линия электропередачи", + "option_c": "кошка и собака", + "option_d": "кредитная карта и ножницы" + }, + "outputs": "D", + "meta": { + "id": 1196 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие два объекта могут быть магнитными?\nA) сотовый телефон и кофейная кружка\nB) дерево и линия электропередачи\nC) кошка и собака\nD) кредитная карта и ножницы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8140851259231567, + "B": 0.02616872452199459, + "C": 0.0245832409709692, + "D": 0.015872133895754814 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вода, хотя и ограниченный ресурс, является возобновляемым, потому что", + "option_a": "вода имеет цикл круговорота", + "option_b": "вода трудно высыхает", + "option_c": "вода пригодна для питья", + "option_d": "вода содержится в деревьях" + }, + "outputs": "A", + "meta": { + "id": 685 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вода, хотя и ограниченный ресурс, является возобновляемым, потому что\nA. вода имеет цикл круговорота\nB. вода трудно высыхает\nC. вода пригодна для питья\nD. вода содержится в деревьях\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.302831768989563, + "B": 0.06347698718309402, + "C": 0.25105634331703186, + "D": 0.302831768989563 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наибольшую плотность имеет вещество у", + "option_a": "золота", + "option_b": "дерева", + "option_c": "воздуха", + "option_d": "воды" + }, + "outputs": "A", + "meta": { + "id": 890 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Наибольшую плотность имеет вещество у\nA. золота\nB. дерева\nC. воздуха\nD. воды\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.3393867015838623, + "B": 0.17065434157848358, + "C": 0.23325684666633606, + "D": 0.08581039309501648 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В южной части Африки мы с большей вероятностью увидим снег в", + "option_a": "январе", + "option_b": "ноябре", + "option_c": "июле", + "option_d": "марте" + }, + "outputs": "C", + "meta": { + "id": 1756 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В южной части Африки мы с большей вероятностью увидим снег в\nA) январе\nB) ноябре\nC) июле\nD) марте\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.13092170655727386, + "B": 0.03310219198465347, + "C": 0.664875328540802, + "D": 0.0899810865521431 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Львы едят животных", + "option_a": "в среде, отличной от той, в которой они живут", + "option_b": "в воде", + "option_c": "в той же среде, где они живут.", + "option_d": "под землей" + }, + "outputs": "C", + "meta": { + "id": 1868 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Львы едят животных\nA) в среде, отличной от той, в которой они живут\nB) в воде\nC) в той же среде, где они живут.\nD) под землей\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.21221093833446503, + "B": 0.1872754842042923, + "C": 0.25597524642944336, + "D": 0.25597524642944336 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, происходит в пищеварительной системе?", + "option_a": "здесь находится пластик", + "option_b": "воздух входит и выходит", + "option_c": "частицы пищи запекаются", + "option_d": "частицы пищи превращаются в пригодный для использования материал" + }, + "outputs": "D", + "meta": { + "id": 710 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, вероятно, происходит в пищеварительной системе?\nA) здесь находится пластик\nB) воздух входит и выходит\nC) частицы пищи запекаются\nD) частицы пищи превращаются в пригодный для использования материал\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02637512795627117, + "B": 0.02637512795627117, + "C": 0.8205061554908752, + "D": 0.08124111592769623 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой небесный объект находится на кратчайшем расстоянии от Земли?", + "option_a": "Марс", + "option_b": "Млечный Путь", + "option_c": "Луна", + "option_d": "Венера" + }, + "outputs": "C", + "meta": { + "id": 1801 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой небесный объект находится на кратчайшем расстоянии от Земли?\nA) Марс\nB) Млечный Путь\nC) Луна\nD) Венера\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.21226444840431213, + "B": 0.12094464898109436, + "C": 0.24052712321281433, + "D": 0.32876160740852356 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пляжные мячи содержат", + "option_a": "воду", + "option_b": "солнечный свет", + "option_c": "углекислый газ", + "option_d": "пляжный песок" + }, + "outputs": "C", + "meta": { + "id": 1779 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПляжные мячи содержат\nA. воду\nB. солнечный свет\nC. углекислый газ\nD. пляжный песок\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3304608166217804, + "B": 0.1560986340045929, + "C": 0.25736314058303833, + "D": 0.1466410905122757 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На Луне нет", + "option_a": "кратеров", + "option_b": "H2O", + "option_c": "гравитации", + "option_d": "CO2" + }, + "outputs": "B", + "meta": { + "id": 2010 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа Луне нет\nA) кратеров\nB) H2O\nC) гравитации\nD) CO2\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 417, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.30123159289360046, + "B": 0.12557201087474823, + "C": 0.24972976744174957, + "D": 0.20703324675559998 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может дать организму нежелательные приобретенные характеристики?", + "option_a": "погружение ноги в магму", + "option_b": "стремление покинуть гнездо", + "option_c": "обнаружение потенциального партнера", + "option_d": "легкая царапина на его ноге" + }, + "outputs": "A", + "meta": { + "id": 396 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто может дать организму нежелательные приобретенные характеристики?\nA) погружение ноги в магму\nB) стремление покинуть гнездо\nC) обнаружение потенциального партнера\nD) легкая царапина на его ноге\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04553748294711113, + "B": 0.8071711659431458, + "C": 0.048474397510290146, + "D": 0.03546462580561638 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Акулы живут в жидкости, насыщенной хлоридом натрия, потому что это позволяет им", + "option_a": "самообразовываться", + "option_b": "иметь повышенную плавучесть", + "option_c": "есть людей", + "option_d": "сниматься в фильмах" + }, + "outputs": "B", + "meta": { + "id": 1726 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nАкулы живут в жидкости, насыщенной хлоридом натрия, потому что это позволяет им\nA. самообразовываться\nB. иметь повышенную плавучесть\nC. есть людей\nD. сниматься в фильмах\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12771929800510406, + "B": 0.07277225703001022, + "C": 0.6093146800994873, + "D": 0.12771929800510406 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если бы великий путешественник по воде провел инвентаризацию своих инструментов, что было бы среди них обязательно?", + "option_a": "большая кухонная ложка", + "option_b": "большая разделочная доска", + "option_c": "предмет, указывающий на север", + "option_d": "большой трубогиб" + }, + "outputs": "C", + "meta": { + "id": 1242 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли бы великий путешественник по воде провел инвентаризацию своих инструментов, что было бы среди них обязательно?\nA) большая кухонная ложка\nB) большая разделочная доска\nC) предмет, указывающий на север\nD) большой трубогиб\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3019726574420929, + "B": 0.2664899528026581, + "C": 0.1339995563030243, + "D": 0.20754258334636688 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может в конечном итоге способствовать получению опьяняющего напитка?", + "option_a": "початок кукурузы", + "option_b": "все это", + "option_c": "порция пирога", + "option_d": "палочка мороженого" + }, + "outputs": "A", + "meta": { + "id": 299 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может в конечном итоге способствовать получению опьяняющего напитка?\nA. початок кукурузы\nB. все это\nC. порция пирога\nD. палочка мороженого\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.24287432432174683, + "B": 0.10777483135461807, + "C": 0.4004320502281189, + "D": 0.1568114459514618 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Клетке в организмах с одной клеткой", + "option_a": "стоит научиться специализироваться", + "option_b": "можно свободно специализироваться", + "option_c": "не во всех случаях известно, что такое специализация", + "option_d": "запрещено специализироваться" + }, + "outputs": "D", + "meta": { + "id": 765 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Клетке в организмах с одной клеткой\nA) стоит научиться специализироваться\nB) можно свободно специализироваться\nC) не во всех случаях известно, что такое специализация\nD) запрещено специализироваться\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.24366411566734314, + "B": 0.12252200394868851, + "C": 0.2939150333404541, + "D": 0.21503281593322754 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые ящерицы могут жить в", + "option_a": "средах с недостатком кислорода", + "option_b": "условиях отсутствия пищи", + "option_c": "условиях невесомости", + "option_d": "в условиях дефицита влаги" + }, + "outputs": "D", + "meta": { + "id": 1226 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые ящерицы могут жить в\nA) средах с недостатком кислорода\nB) условиях отсутствия пищи\nC) условиях невесомости\nD) в условиях дефицита влаги\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.22507500648498535, + "B": 0.1546916365623474, + "C": 0.28900203108787537, + "D": 0.1546916365623474 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Скорость движения воды через растения ниже", + "option_a": "летом", + "option_b": "зимой", + "option_c": "осенью", + "option_d": "весной" + }, + "outputs": "B", + "meta": { + "id": 593 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Скорость движения воды через растения ниже\nA) летом\nB) зимой\nC) осенью\nD) весной\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1280093640089035, + "B": 0.25457701086997986, + "C": 0.3942965865135193, + "D": 0.13626526296138763 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Многие животные проникли в город из-за", + "option_a": "глобального потепления", + "option_b": "привлекательности зданий", + "option_c": "вырубки леса", + "option_d": "теплых улиц" + }, + "outputs": "C", + "meta": { + "id": 1847 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМногие животные проникли в город из-за\nA. глобального потепления\nB. привлекательности зданий\nC. вырубки леса\nD. теплых улиц\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.23318932950496674, + "B": 0.11725495010614395, + "C": 0.2812800109386444, + "D": 0.2812800109386444 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто лучше видит сквозь подземный туннель?", + "option_a": "мальчик с ручкой", + "option_b": "мужчина с палкой", + "option_c": "мужчина с ложкой", + "option_d": "мужчина со свечой и спичкой" + }, + "outputs": "D", + "meta": { + "id": 2212 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто лучше видит сквозь подземный туннель?\nA) мальчик с ручкой\nB) мужчина с палкой\nC) мужчина с ложкой\nD) мужчина со свечой и спичкой\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1892392784357071, + "B": 0.08939030766487122, + "C": 0.2282661646604538, + "D": 0.42645731568336487 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Цветы начинают умирать, когда", + "option_a": "их ставят на свет", + "option_b": "их поют", + "option_c": "им дают воду", + "option_d": "их вытаскивают из земли" + }, + "outputs": "D", + "meta": { + "id": 157 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Цветы начинают умирать, когда\nA) их ставят на свет\nB) их поют\nC) им дают воду\nD) их вытаскивают из земли\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.18955817818641663, + "B": 0.20178362727165222, + "C": 0.24339750409126282, + "D": 0.3125285804271698 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Меньше времени в душе", + "option_a": "истощает огромные запасы воды", + "option_b": "вредно для окружающей среды", + "option_c": "оставляет больше запасов воды в водонагревателе", + "option_d": "расходует больше воды" + }, + "outputs": "C", + "meta": { + "id": 2198 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМеньше времени в душе\nA) истощает огромные запасы воды\nB) вредно для окружающей среды\nC) оставляет больше запасов воды в водонагревателе\nD) расходует больше воды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.21848289668560028, + "B": 0.1598455160856247, + "C": 0.24757356941699982, + "D": 0.2986307144165039 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Жар от солнца, высокие волны и страшные штормы воздействуют на большой валун на берегу. Через несколько сотен лет там, где стоял валун, теперь просто", + "option_a": "кошки", + "option_b": "деревья", + "option_c": "кукуруза", + "option_d": "земля" + }, + "outputs": "D", + "meta": { + "id": 215 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖар от солнца, высокие волны и страшные штормы воздействуют на большой валун на берегу. Через несколько сотен лет там, где стоял валун, теперь просто\nA) кошки\nB) деревья\nC) кукуруза\nD) земля\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3847786486148834, + "B": 0.13297595083713531, + "C": 0.24843177199363708, + "D": 0.11024093627929688 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где белый медведь был бы счастливее всего?", + "option_a": "везде, где можно было построить иглу", + "option_b": "в куче искусственного снега в пустыне", + "option_c": "в той же стране, где кенгуру живут в дикой природе", + "option_d": "в отапливаемом доме" + }, + "outputs": "A", + "meta": { + "id": 625 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде белый медведь был бы счастливее всего?\nA) везде, где можно было построить иглу\nB) в куче искусственного снега в пустыне\nC) в той же стране, где кенгуру живут в дикой природе\nD) в отапливаемом доме\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.025784553959965706, + "B": 0.012179761193692684, + "C": 0.9089368581771851, + "D": 0.02008103020489216 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что вырабатывает кислород при помощи фотосинтеза?", + "option_a": "озера", + "option_b": "автомобильные двигатели", + "option_c": "подсолнухи", + "option_d": "люди" + }, + "outputs": "C", + "meta": { + "id": 291 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто вырабатывает кислород при помощи фотосинтеза?\nA) озера\nB) автомобильные двигатели\nC) подсолнухи\nD) люди\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.34414640069007874, + "B": 0.18420830368995667, + "C": 0.22219762206077576, + "D": 0.14346157014369965 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фонарик можно использовать, чтобы", + "option_a": "путешествовать в космос", + "option_b": "стать светлячком", + "option_c": "создать тепло", + "option_d": "собирать магию" + }, + "outputs": "C", + "meta": { + "id": 1936 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Фонарик можно использовать, чтобы\nA) путешествовать в космос\nB) стать светлячком\nC) создать тепло\nD) собирать магию\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13550527393817902, + "B": 0.47295984625816345, + "C": 0.12729541957378387, + "D": 0.18521372973918915 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Катящиеся камни, скорее всего, убьют вас во время", + "option_a": "в бассейне", + "option_b": "похода на гору", + "option_c": "на концерте", + "option_d": "на кукурузном поле" + }, + "outputs": "B", + "meta": { + "id": 133 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКатящиеся камни, скорее всего, убьют вас во время\nA. в бассейне\nB. похода на гору\nC. на концерте\nD. на кукурузном поле\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.20454977452754974, + "B": 0.40679579973220825, + "C": 0.1094876080751419, + "D": 0.18051454424858093 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда ртуть в градуснике поднимается, на что это указывает?", + "option_a": "все эти варианты верны", + "option_b": "рост температуры", + "option_c": "поднимается температура", + "option_d": "повышение температуры" + }, + "outputs": "A", + "meta": { + "id": 781 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда ртуть в градуснике поднимается, на что это указывает?\nA. все эти варианты верны\nB. рост температуры\nC. поднимается температура\nD. повышение температуры\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.47820624709129333, + "B": 0.03254234418272972, + "C": 0.25596538186073303, + "D": 0.05711359158158302 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что штормы могут сделать с семенами на больших высотах?", + "option_a": "рассеять их", + "option_b": "посадить их", + "option_c": "уничтожить их", + "option_d": "утопить их" + }, + "outputs": "A", + "meta": { + "id": 437 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто штормы могут сделать с семенами на больших высотах?\nA. рассеять их\nB. посадить их\nC. уничтожить их\nD. утопить их\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.401042640209198, + "B": 0.12231108546257019, + "C": 0.11490064114332199, + "D": 0.21466265618801117 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пауки могут ловить добычу, выполняя все, кроме", + "option_a": "построения паутины", + "option_b": "воя", + "option_c": "охоты", + "option_d": "построения ловушек" + }, + "outputs": "B", + "meta": { + "id": 672 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПауки могут ловить добычу, выполняя все, кроме\nA. построения паутины\nB. воя\nC. охоты\nD. построения ловушек\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11609941720962524, + "B": 0.0749594196677208, + "C": 0.6681060791015625, + "D": 0.07979389280080795 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек хочет показать кому-то, что он потерял деньги, занимаясь своим бизнесом. Они решают использовать график, который показывает", + "option_a": "больше денег", + "option_b": "обведенные предметы", + "option_c": "взлеты и падения прибыли", + "option_d": "изображения кошек" + }, + "outputs": "C", + "meta": { + "id": 589 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек хочет показать кому-то, что он потерял деньги, занимаясь своим бизнесом. Они решают использовать график, который показывает\nA) больше денег\nB) обведенные предметы\nC) взлеты и падения прибыли\nD) изображения кошек\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 466, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6893536448478699, + "B": 0.03889067471027374, + "C": 0.07265733927488327, + "D": 0.06411987543106079 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если ящерица не может получить достаточное количество питательных веществ в течение долгого периода времени, результатом может быть", + "option_a": "прекращение существования", + "option_b": "замедленное движение", + "option_c": "ощущение холода", + "option_d": "поиск пищи" + }, + "outputs": "A", + "meta": { + "id": 1359 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли ящерица не может получить достаточное количество питательных веществ в течение долгого периода времени, результатом может быть\nA) прекращение существования\nB) замедленное движение\nC) ощущение холода\nD) поиск пищи\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.14543797075748444, + "B": 0.27171391248703003, + "C": 0.3277495205402374, + "D": 0.17543168365955353 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, что может выветриться, когда корни растений высохнут и ослабнут?", + "option_a": "птичьи перья", + "option_b": "грунтовая дорога", + "option_c": "человеческие ноги", + "option_d": "океанские волны" + }, + "outputs": "B", + "meta": { + "id": 1937 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТо, что может выветриться, когда корни растений высохнут и ослабнут?\nA. птичьи перья\nB. грунтовая дорога\nC. человеческие ноги\nD. океанские волны\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.24224545061588287, + "B": 0.2745000422000885, + "C": 0.17723055183887482, + "D": 0.18866094946861267 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что не ест белка?", + "option_a": "растения", + "option_b": "животные", + "option_c": "фрукты", + "option_d": "семена" + }, + "outputs": "B", + "meta": { + "id": 718 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто не ест белка?\nA) растения\nB) животные\nC) фрукты\nD) семена\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.04776829481124878, + "B": 0.028972933068871498, + "C": 0.8467132449150085, + "D": 0.024019405245780945 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что такое конкуренция в мире животных?", + "option_a": "газели и зебры, живущие на равнинах", + "option_b": "акула и марлин, быстро плывущие", + "option_c": "волки и медведи, борющиеся за доступ к одному типу пищи", + "option_d": "волчонок, помогающий носорогу" + }, + "outputs": "C", + "meta": { + "id": 1127 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто такое конкуренция в мире животных?\nA. газели и зебры, живущие на равнинах\nB. акула и марлин, быстро плывущие\nC. волки и медведи, борющиеся за доступ к одному типу пищи\nD. волчонок, помогающий носорогу\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.04783955216407776, + "B": 0.019942492246627808, + "C": 0.057705510407686234, + "D": 0.8479762673377991 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если тепло перемещается от одного предмета к другому, и один из них является источником тепла, этим источником, скорее всего, будет", + "option_a": "камень", + "option_b": "вентиляция", + "option_c": "луна", + "option_d": "солнце" + }, + "outputs": "D", + "meta": { + "id": 702 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли тепло перемещается от одного предмета к другому, и один из них является источником тепла, этим источником, скорее всего, будет\nA. камень\nB. вентиляция\nC. луна\nD. солнце\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.14779354631900787, + "B": 0.13883920013904572, + "C": 0.37740403413772583, + "D": 0.25938576459884644 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Домашнее животное с ластами иногда содержится в", + "option_a": "складном металлическом ящике с дверцей", + "option_b": "в мягкой подушке и круглым отверстием", + "option_c": "в прозрачном контейнере с лампой, водоемом и с имитацией дерева", + "option_d": "в клетке с колесом и трубами." + }, + "outputs": "C", + "meta": { + "id": 1057 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Домашнее животное с ластами иногда содержится в\nA) складном металлическом ящике с дверцей\nB) в мягкой подушке и круглым отверстием\nC) в прозрачном контейнере с лампой, водоемом и с имитацией дерева\nD) в клетке с колесом и трубами.\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 473, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.20548008382320404, + "B": 0.0430709607899189, + "C": 0.2989717423915863, + "D": 0.38388732075691223 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "35 процентов судьбы чего зависит от опыления?", + "option_a": "цветы", + "option_b": "люди", + "option_c": "посевы", + "option_d": "пчелы" + }, + "outputs": "C", + "meta": { + "id": 352 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: 35 процентов судьбы чего зависит от опыления?\nA) цветы\nB) люди\nC) посевы\nD) пчелы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.573373556137085, + "B": 0.2544329762458801, + "C": 0.03665454313158989, + "D": 0.025192275643348694 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лазерные анемометры помогают производителям автомобилей, самолетов и космических аппаратов создавать эффективные конструкции транспортных средств, которые", + "option_a": "проходят сквозь воздух легче, с меньшим сопротивлением среды", + "option_b": "увеличивают сопротивление воздуха, проходящего мимо них", + "option_c": "уменьшают выхлопные газы от транспортных средств", + "option_d": "увеличивают расход топлива транспортных средств" + }, + "outputs": "A", + "meta": { + "id": 154 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лазерные анемометры помогают производителям автомобилей, самолетов и космических аппаратов создавать эффективные конструкции транспортных средств, которые\nA. проходят сквозь воздух легче, с меньшим сопротивлением среды\nB. увеличивают сопротивление воздуха, проходящего мимо них\nC. уменьшают выхлопные газы от транспортных средств\nD. увеличивают расход топлива транспортных средств\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 488, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.1696709394454956, + "B": 0.10954780131578445, + "C": 0.4332699477672577, + "D": 0.19226238131523132 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может помочь тому, кто пытается сэкономить?", + "option_a": "пластиковая вилка", + "option_b": "бумажное полотенце", + "option_c": "транспортировочная коробка", + "option_d": "менструальная чаша" + }, + "outputs": "D", + "meta": { + "id": 904 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто может помочь тому, кто пытается сэкономить?\nA. пластиковая вилка\nB. бумажное полотенце\nC. транспортировочная коробка\nD. менструальная чаша\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.21738001704216003, + "B": 0.35839906334877014, + "C": 0.1494029462337494, + "D": 0.18021436035633087 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков пример воспроизводства во взрослом возрасте?", + "option_a": "люди не могут воспроизводить потомство, пока они не станут законными взрослыми", + "option_b": "кошки не могут производить потомство пока они не станут половозрелыми", + "option_c": "собаки не могут иметь щенков, пока им не исполнится два года", + "option_d": "яйца не могут быть оплодотворены до того, как они будут отложены" + }, + "outputs": "B", + "meta": { + "id": 1636 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Каков пример воспроизводства во взрослом возрасте?\nA. люди не могут воспроизводить потомство, пока они не станут законными взрослыми\nB. кошки не могут производить потомство пока они не станут половозрелыми\nC. собаки не могут иметь щенков, пока им не исполнится два года\nD. яйца не могут быть оплодотворены до того, как они будут отложены\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 486, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.23856733739376068, + "B": 0.14469841122627258, + "C": 0.3063265383243561, + "D": 0.22411327064037323 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дистанционное устройство может питаться от", + "option_a": "горящего пламени", + "option_b": "небольшого взрыва", + "option_c": "бегущей овцы", + "option_d": "порыва ветра" + }, + "outputs": "D", + "meta": { + "id": 1753 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДистанционное устройство может питаться от\nA) горящего пламени\nB) небольшого взрыва\nC) бегущей овцы\nD) порыва ветра\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8415007591247559, + "B": 0.01541262399405241, + "C": 0.012777513824403286, + "D": 0.009348229505121708 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Компас использует железо для определения направления северного", + "option_a": "магнитного полюса", + "option_b": "сияния", + "option_c": "берега моря", + "option_d": "Кавказа" + }, + "outputs": "A", + "meta": { + "id": 1529 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Компас использует железо для определения направления северного\nA. магнитного полюса\nB. сияния\nC. берега моря\nD. Кавказа\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08076856285333633, + "B": 0.03815236687660217, + "C": 0.08597768098115921, + "D": 0.7663108110427856 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие животные едят других животных?", + "option_a": "травоядные животные", + "option_b": "бактерии", + "option_c": "жирафы", + "option_d": "мясоеды" + }, + "outputs": "D", + "meta": { + "id": 1046 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие животные едят других животных?\nA. травоядные животные\nB. бактерии\nC. жирафы\nD. мясоеды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.1370111107826233, + "B": 0.03254299610853195, + "C": 0.6957998871803284, + "D": 0.07806657999753952 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример инстинктивного поведения - птенец клюет свою скорлупу зачем?", + "option_a": "выйти", + "option_b": "спрятаться", + "option_c": "съесть", + "option_d": "остаться внутри" + }, + "outputs": "A", + "meta": { + "id": 237 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПример инстинктивного поведения - птенец клюет свою скорлупу зачем?\nA) выйти\nB) спрятаться\nC) съесть\nD) остаться внутри\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.018289370462298393, + "B": 0.010420968756079674, + "C": 0.010420968756079674, + "D": 0.9380656480789185 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой климат характерен для пустынь?", + "option_a": "умеренный", + "option_b": "комфортный", + "option_c": "замерзший", + "option_d": "знойный" + }, + "outputs": "D", + "meta": { + "id": 44 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой климат характерен для пустынь?\nA. умеренный\nB. комфортный\nC. замерзший\nD. знойный\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.0629691481590271, + "B": 0.023165052756667137, + "C": 0.019204502925276756, + "D": 0.8692622184753418 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Угольная шахта - это", + "option_a": "человек, который добывает уголь", + "option_b": "камень редкого типа", + "option_c": "место, где перерабатывается уголь", + "option_d": "место под землей, где добывается уголь" + }, + "outputs": "D", + "meta": { + "id": 514 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Угольная шахта - это\nA) человек, который добывает уголь\nB) камень редкого типа\nC) место, где перерабатывается уголь\nD) место под землей, где добывается уголь\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.38058027625083923, + "B": 0.07494069635868073, + "C": 0.13152502477169037, + "D": 0.31551215052604675 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые птицы находят дорогу по", + "option_a": "геомагнитным линиям", + "option_b": "дорожным знакам", + "option_c": "яйцам", + "option_d": "ориентирам" + }, + "outputs": "A", + "meta": { + "id": 278 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые птицы находят дорогу по\nA) геомагнитным линиям\nB) дорожным знакам\nC) яйцам\nD) ориентирам\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.013214290142059326, + "B": 0.01593947596848011, + "C": 0.9263932704925537, + "D": 0.011661570519208908 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В грязи есть питательные вещества, такие как магний, и эти питательные вещества могут быть", + "option_a": "отравлены", + "option_b": "подожжены", + "option_c": "полезны растениям", + "option_d": "полезны для обучения чтению" + }, + "outputs": "C", + "meta": { + "id": 149 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ грязи есть питательные вещества, такие как магний, и эти питательные вещества могут быть\nA) отравлены\nB) подожжены\nC) полезны растениям\nD) полезны для обучения чтению\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.04893333837389946, + "B": 0.02311447262763977, + "C": 0.08588068187236786, + "D": 0.8148131966590881 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нечто, состоящее из клеток, будет расти и расширяться, но сначала потребует", + "option_a": "вращения", + "option_b": "скумбрии", + "option_c": "сладостей", + "option_d": "питания" + }, + "outputs": "D", + "meta": { + "id": 375 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНечто, состоящее из клеток, будет расти и расширяться, но сначала потребует\nA) вращения\nB) скумбрии\nC) сладостей\nD) питания\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1664465218782425, + "B": 0.13798902928829193, + "C": 0.3992844521999359, + "D": 0.21372158825397491 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Во время песчаной бури птица ищет", + "option_a": "червя", + "option_b": "куст", + "option_c": "ручей", + "option_d": "помощника" + }, + "outputs": "B", + "meta": { + "id": 1714 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Во время песчаной бури птица ищет\nA) червя\nB) куст\nC) ручей\nD) помощника\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.024389857426285744, + "B": 0.007918227463960648, + "C": 0.915222704410553, + "D": 0.012263990938663483 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди могут есть", + "option_a": "только мясные продукты и побочные продукты", + "option_b": "исключительно зерно и фрукты", + "option_c": "полный ассортимент пищевых групп, включая мясо, зерно и овощи", + "option_d": "морских обитателей и только зеленые овощи" + }, + "outputs": "C", + "meta": { + "id": 1268 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люди могут есть\nA) только мясные продукты и побочные продукты\nB) исключительно зерно и фрукты\nC) полный ассортимент пищевых групп, включая мясо, зерно и овощи\nD) морских обитателей и только зеленые овощи\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 466, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.1895085871219635, + "B": 0.1895085871219635, + "C": 0.2433338463306427, + "D": 0.2935166358947754 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что нежелательно в огороде?", + "option_a": "помидоры", + "option_b": "одуванчики", + "option_c": "кукуруза", + "option_d": "зеленый перец" + }, + "outputs": "B", + "meta": { + "id": 2273 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто нежелательно в огороде?\nA. помидоры\nB. одуванчики\nC. кукуруза\nD. зеленый перец\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07225903123617172, + "B": 0.776857852935791, + "C": 0.043827321380376816, + "D": 0.03633412718772888 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Магнетизм", + "option_a": "требует полного контакта между объектами", + "option_b": "может действовать без контакта между объектами", + "option_c": "может действовать только при контакте", + "option_d": "требует, чтобы объекты касались" + }, + "outputs": "B", + "meta": { + "id": 2015 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Магнетизм\nA. требует полного контакта между объектами\nB. может действовать без контакта между объектами\nC. может действовать только при контакте\nD. требует, чтобы объекты касались\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.04037724807858467, + "B": 0.031445831060409546, + "C": 0.031445831060409546, + "D": 0.8633036017417908 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером камуфляжа может быть", + "option_a": "смывание макияжа с лица", + "option_b": "выход голым на улицу в дождливый день", + "option_c": "выпечка торта на день рождения", + "option_d": "поведение ската, покрывающего себя песком" + }, + "outputs": "D", + "meta": { + "id": 1992 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примером камуфляжа может быть\nA. смывание макияжа с лица\nB. выход голым на улицу в дождливый день\nC. выпечка торта на день рождения\nD. поведение ската, покрывающего себя песком\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.08705199509859085, + "B": 0.028261646628379822, + "C": 0.7758859992027283, + "D": 0.04377249628305435 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Грубо просить слепого посмотреть на что-то, потому что он", + "option_a": "не может говорить", + "option_b": "не может есть", + "option_c": "не может видеть", + "option_d": "не может жить" + }, + "outputs": "C", + "meta": { + "id": 1777 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГрубо просить слепого посмотреть на что-то, потому что он\nA. не может говорить\nB. не может есть\nC. не может видеть\nD. не может жить\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.11671555042266846, + "B": 0.27998605370521545, + "C": 0.3377276360988617, + "D": 0.20484216511249542 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если отмечается возраст зрелого человека, то это происходит каждые", + "option_a": "24 дня", + "option_b": "12 месяцев", + "option_c": "шесть недель", + "option_d": "двенадцать часов" + }, + "outputs": "B", + "meta": { + "id": 1379 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли отмечается возраст зрелого человека, то это происходит каждые\nA. 24 дня\nB. 12 месяцев\nC. шесть недель\nD. двенадцать часов\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.1823798418045044, + "B": 0.32008659839630127, + "C": 0.16094964742660522, + "D": 0.23418034613132477 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Потливость - это нормальное явление у океана, потому что", + "option_a": "пустыня более сухая", + "option_b": "океан мокрый", + "option_c": "влажность ниже", + "option_d": "в воздухе больше влаги" + }, + "outputs": "D", + "meta": { + "id": 1255 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПотливость - это нормальное явление у океана, потому что\nA. пустыня более сухая\nB. океан мокрый\nC. влажность ниже\nD. в воздухе больше влаги\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.21772311627864838, + "B": 0.33721616864204407, + "C": 0.13205574452877045, + "D": 0.2045319378376007 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Источник чего-то обеспечивает это что-то, например, как", + "option_a": "облачность являются источником облаков", + "option_b": "воздушность является источником воздуха", + "option_c": "пруды являются источником влаги", + "option_d": "рыбалка является источником рыбы" + }, + "outputs": "C", + "meta": { + "id": 1250 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Источник чего-то обеспечивает это что-то, например, как\nA. облачность являются источником облаков\nB. воздушность является источником воздуха\nC. пруды являются источником влаги\nD. рыбалка является источником рыбы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.33924636244773865, + "B": 0.04051719978451729, + "C": 0.0459120012819767, + "D": 0.4936005473136902 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Травоядным животным нужно запастись едой до зимы, потому что", + "option_a": "растения будут гореть", + "option_b": "растения будут летать", + "option_c": "растения будут плакать", + "option_d": "растения погибнут" + }, + "outputs": "D", + "meta": { + "id": 2296 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Травоядным животным нужно запастись едой до зимы, потому что\nA. растения будут гореть\nB. растения будут летать\nC. растения будут плакать\nD. растения погибнут\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05715152993798256, + "B": 0.6962481737136841, + "C": 0.08315498381853104, + "D": 0.09422694146633148 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если тереть камни друг об друга, через некоторое время они", + "option_a": "превратятся в бабочек", + "option_b": "станут гладкими", + "option_c": "превратятся в объекты искусства", + "option_d": "образуют стул" + }, + "outputs": "B", + "meta": { + "id": 1200 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если тереть камни друг об друга, через некоторое время они\nA) превратятся в бабочек\nB) станут гладкими\nC) превратятся в объекты искусства\nD) образуют стул\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16115006804466248, + "B": 0.040745120495557785, + "C": 0.5283907651901245, + "D": 0.18260696530342102 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где безопаснее всего дышать?", + "option_a": "угольный завод", + "option_b": "нефтеперерабатывающий завод", + "option_c": "ветряная мельница", + "option_d": "автомобиль" + }, + "outputs": "C", + "meta": { + "id": 1248 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГде безопаснее всего дышать?\nA. угольный завод\nB. нефтеперерабатывающий завод\nC. ветряная мельница\nD. автомобиль\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.2993096709251404, + "B": 0.19324885308742523, + "C": 0.2189796268939972, + "D": 0.14138388633728027 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Аскольд заметил, что его собака оставляет на диване намного больше шерсти, чем месяц назад. Это может быть потому, что", + "option_a": "время года меняется с осени на зиму", + "option_b": "время года меняется с зимы на весну", + "option_c": "собака - голая порода", + "option_d": "светит полная луна" + }, + "outputs": "B", + "meta": { + "id": 2157 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nАскольд заметил, что его собака оставляет на диване намного больше шерсти, чем месяц назад. Это может быть потому, что\nA. время года меняется с осени на зиму\nB. время года меняется с зимы на весну\nC. собака - голая порода\nD. светит полная луна\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.22223733365535736, + "B": 0.09861721098423004, + "C": 0.3233534097671509, + "D": 0.26806938648223877 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Антон пропустил прилив, поэтому ему пришлось ждать, когда он увидит прилив снова. Когда это произойдет?", + "option_a": "завтра", + "option_b": "в следующем месяце", + "option_c": "в следующем году", + "option_d": "никогда" + }, + "outputs": "A", + "meta": { + "id": 1180 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nАнтон пропустил прилив, поэтому ему пришлось ждать, когда он увидит прилив снова. Когда это произойдет?\nA. завтра\nB. в следующем месяце\nC. в следующем году\nD. никогда\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.10758879035711288, + "B": 0.07871364057064056, + "C": 0.18882420659065247, + "D": 0.5816195011138916 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лампы, преобразующие электричество в свет и тепло, известны как", + "option_a": "свечи.", + "option_b": "люминесцентные", + "option_c": "светодиодные", + "option_d": "лампы накаливания" + }, + "outputs": "D", + "meta": { + "id": 1158 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Лампы, преобразующие электричество в свет и тепло, известны как\nA. свечи.\nB. люминесцентные\nC. светодиодные\nD. лампы накаливания\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.02930178865790367, + "B": 0.013002588413655758, + "C": 0.021437644958496094, + "D": 0.9115518927574158 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При работе с химическими веществами в лаборатории, чтобы избежать травм, поступайте так:", + "option_a": "пытайтесь поджечь все химические вещества", + "option_b": "смешивайте вещества вместе, не зная, что они собой представляют", + "option_c": "выпейте по образцу каждого из химикатов", + "option_d": "прикрывайте глаза защитными очками" + }, + "outputs": "D", + "meta": { + "id": 756 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: При работе с химическими веществами в лаборатории, чтобы избежать травм, поступайте так:\nA) пытайтесь поджечь все химические вещества\nB) смешивайте вещества вместе, не зная, что они собой представляют\nC) выпейте по образцу каждого из химикатов\nD) прикрывайте глаза защитными очками\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 484, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4774530827999115, + "B": 0.08831994235515594, + "C": 0.1550063192844391, + "D": 0.16500337421894073 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Организм-производитель самостоятельно изготавливает", + "option_a": "свое тело", + "option_b": "траву", + "option_c": "воздух", + "option_d": "себе пропитание" + }, + "outputs": "D", + "meta": { + "id": 1276 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОрганизм-производитель самостоятельно изготавливает\nA) свое тело\nB) траву\nC) воздух\nD) себе пропитание\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.39785486459732056, + "B": 0.21295636892318726, + "C": 0.14636263251304626, + "D": 0.1005934625864029 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, превратило останки доисторических живых существ в природный газ?", + "option_a": "вулканические реакции", + "option_b": "огонь", + "option_c": "гром", + "option_d": "воздушные потоки" + }, + "outputs": "A", + "meta": { + "id": 1768 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, вероятно, превратило останки доисторических живых существ в природный газ?\nA. вулканические реакции\nB. огонь\nC. гром\nD. воздушные потоки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.2799440324306488, + "B": 0.20481142401695251, + "C": 0.23208175599575043, + "D": 0.16979463398456573 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если в воздух попадает больше загрязняющих веществ, что происходит с температурой планеты?", + "option_a": "падает", + "option_b": "поднимается", + "option_c": "становится устойчивой", + "option_d": "становится нестабильной" + }, + "outputs": "B", + "meta": { + "id": 633 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если в воздух попадает больше загрязняющих веществ, что происходит с температурой планеты?\nA. падает\nB. поднимается\nC. становится устойчивой\nD. становится нестабильной\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.18625475466251373, + "B": 0.17497014999389648, + "C": 0.39430129528045654, + "D": 0.17497014999389648 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что обитает в своей среде обитания?", + "option_a": "георгины", + "option_b": "камни", + "option_c": "озера", + "option_d": "обувь" + }, + "outputs": "A", + "meta": { + "id": 715 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто обитает в своей среде обитания?\nA) георгины\nB) камни\nC) озера\nD) обувь\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5438388586044312, + "B": 0.04752010479569435, + "C": 0.1463722437620163, + "D": 0.1463722437620163 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На определенной стадии жизненного цикла насекомое создаёт кокон и переходит в стадию куколки, в конечном итоге это пример", + "option_a": "приспособления", + "option_b": "развлечения", + "option_c": "сгорания", + "option_d": "сбора питательных веществ" + }, + "outputs": "A", + "meta": { + "id": 545 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: На определенной стадии жизненного цикла насекомое создаёт кокон и переходит в стадию куколки, в конечном итоге это пример\nA) приспособления\nB) развлечения\nC) сгорания\nD) сбора питательных веществ\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.13431482017040253, + "B": 0.16201461851596832, + "C": 0.4404013454914093, + "D": 0.18358658254146576 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Раньше многие земноводные ели", + "option_a": "мясо", + "option_b": "водоросли", + "option_c": "жуков", + "option_d": "мух" + }, + "outputs": "B", + "meta": { + "id": 1592 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРаньше многие земноводные ели\nA) мясо\nB) водоросли\nC) жуков\nD) мух\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.20338605344295502, + "B": 0.43056824803352356, + "C": 0.11588587611913681, + "D": 0.16861294209957123 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере того, как продажи iPod резко падают, Apple сообщает о значительном", + "option_a": "росте цен", + "option_b": "снижении цен", + "option_c": "росте увольнений", + "option_d": "приросте" + }, + "outputs": "B", + "meta": { + "id": 1289 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: По мере того, как продажи iPod резко падают, Apple сообщает о значительном\nA. росте цен\nB. снижении цен\nC. росте увольнений\nD. приросте\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19063062965869904, + "B": 0.2605611979961395, + "C": 0.33456718921661377, + "D": 0.11562333256006241 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько раз в 365,3 дня бывает равноденствие?", + "option_a": "3", + "option_b": "1", + "option_c": "2", + "option_d": "4" + }, + "outputs": "C", + "meta": { + "id": 730 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСколько раз в 365,3 дня бывает равноденствие?\nA. 3\nB. 1\nC. 2\nD. 4\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16797679662704468, + "B": 0.061795204877853394, + "C": 0.5862966179847717, + "D": 0.10845396667718887 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если держать большой валун под прямыми солнечными лучами, он может", + "option_a": "стать мощным", + "option_b": "стать больше", + "option_c": "потерять часть массы", + "option_d": "стать холоднее" + }, + "outputs": "C", + "meta": { + "id": 1702 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли держать большой валун под прямыми солнечными лучами, он может\nA. стать мощным\nB. стать больше\nC. потерять часть массы\nD. стать холоднее\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.16759638488292694, + "B": 0.40204283595085144, + "C": 0.1899116039276123, + "D": 0.15744224190711975 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что создают организмы-продуценты?", + "option_a": "воздух", + "option_b": "пропитание", + "option_c": "тело", + "option_d": "трава" + }, + "outputs": "B", + "meta": { + "id": 1278 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто создают организмы-продуценты?\nA) воздух\nB) пропитание\nC) тело\nD) трава\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 419, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11473532021045685, + "B": 0.0509134903550148, + "C": 0.7028390169143677, + "D": 0.0653742104768753 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что помогает проглоченным семенам не раствориться в желудках животных и птиц и распространяться дальше по округе?", + "option_a": "грязь", + "option_b": "трава", + "option_c": "твердые оболочки", + "option_d": "бережное отношение животных к семенам" + }, + "outputs": "C", + "meta": { + "id": 1130 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что помогает проглоченным семенам не раствориться в желудках животных и птиц и распространяться дальше по округе?\nA. грязь\nB. трава\nC. твердые оболочки\nD. бережное отношение животных к семенам\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6905315518379211, + "B": 0.04414420574903488, + "C": 0.0566822849214077, + "D": 0.07278148829936981 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "То, что может помочь живому существу продлить жизнь, - это", + "option_a": "адаптация к изменениям", + "option_b": "отрицание собственной усталости", + "option_c": "принятие неправильных решений", + "option_d": "жизнь в опасности" + }, + "outputs": "A", + "meta": { + "id": 1032 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТо, что может помочь живому существу продлить жизнь, - это\nA) адаптация к изменениям\nB) отрицание собственной усталости\nC) принятие неправильных решений\nD) жизнь в опасности\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5025124549865723, + "B": 0.20947836339473724, + "C": 0.1121256947517395, + "D": 0.1121256947517395 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является проводником электрической энергии?", + "option_a": "кобальт", + "option_b": "пластик", + "option_c": "бетон", + "option_d": "красное дерево" + }, + "outputs": "A", + "meta": { + "id": 1219 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто является проводником электрической энергии?\nA) кобальт\nB) пластик\nC) бетон\nD) красное дерево\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06106593459844589, + "B": 0.02709784358739853, + "C": 0.04196995869278908, + "D": 0.8429891467094421 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Уменьшение количества деревьев может быть связано с", + "option_a": "дендрофилией", + "option_b": "любителями пеших прогулок", + "option_c": "фотографами-натуралистами", + "option_d": "увеличением продаж бензопил" + }, + "outputs": "D", + "meta": { + "id": 212 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУменьшение количества деревьев может быть связано с\nA. дендрофилией\nB. любителями пеших прогулок\nC. фотографами-натуралистами\nD. увеличением продаж бензопил\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03516114875674248, + "B": 0.1083039715886116, + "C": 0.11528897285461426, + "D": 0.7062305808067322 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Арктические животные часто живут на", + "option_a": "растениях", + "option_b": "почве", + "option_c": "жидкой воде", + "option_d": "льду" + }, + "outputs": "D", + "meta": { + "id": 1232 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nАрктические животные часто живут на\nA) растениях\nB) почве\nC) жидкой воде\nD) льду\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4152965843677521, + "B": 0.09266519546508789, + "C": 0.1731213629245758, + "D": 0.20882423222064972 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что станет магнитным в электромагните, если батарея станет активной?", + "option_a": "Строительный гвоздь", + "option_b": "Пластиковый гвоздь", + "option_c": "Короб для гвоздей", + "option_d": "Деревянный гвоздь" + }, + "outputs": "A", + "meta": { + "id": 1713 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто станет магнитным в электромагните, если батарея станет активной?\nA) Строительный гвоздь\nB) Пластиковый гвоздь\nC) Короб для гвоздей\nD) Деревянный гвоздь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.17515555024147034, + "B": 0.18645212054252625, + "C": 0.30740758776664734, + "D": 0.2548498511314392 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Увеличить количество тепла можно,", + "option_a": "переместившись в теплый климат", + "option_b": "поставив кастрюлю на плиту", + "option_c": "накрыв одеялом", + "option_d": "усилив поток сгорающего газа" + }, + "outputs": "D", + "meta": { + "id": 1314 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУвеличить количество тепла можно,\nA. переместившись в теплый климат\nB. поставив кастрюлю на плиту\nC. накрыв одеялом\nD. усилив поток сгорающего газа\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.08619910478591919, + "B": 0.03171088173985481, + "C": 0.678008496761322, + "D": 0.1512841433286667 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения, привезенные на восток РФ из европейской части России, часто умирают из-за", + "option_a": "плохих методов посадки", + "option_b": "небольших пространств", + "option_c": "неправильного климата", + "option_d": "того, что люди убивают их" + }, + "outputs": "C", + "meta": { + "id": 976 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРастения, привезенные на восток РФ из европейской части России, часто умирают из-за\nA) плохих методов посадки\nB) небольших пространств\nC) неправильного климата\nD) того, что люди убивают их\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05678464472293854, + "B": 0.8344442248344421, + "C": 0.028553111478686333, + "D": 0.025198033079504967 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Термометр используется для измерения чего?", + "option_a": "рост", + "option_b": "тепло", + "option_c": "плотность кислорода", + "option_d": "вес" + }, + "outputs": "B", + "meta": { + "id": 112 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Термометр используется для измерения чего?\nA) рост\nB) тепло\nC) плотность кислорода\nD) вес\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.27825579047203064, + "B": 0.09033643454313278, + "C": 0.35728752613067627, + "D": 0.17965544760227203 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Строительство чего из следующего может вызвать массовое бегство животных из региона?", + "option_a": "зимний сад", + "option_b": "парк", + "option_c": "лес", + "option_d": "автосалон" + }, + "outputs": "D", + "meta": { + "id": 642 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСтроительство чего из следующего может вызвать массовое бегство животных из региона?\nA) зимний сад\nB) парк\nC) лес\nD) автосалон\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2069023847579956, + "B": 0.1254926323890686, + "C": 0.43801233172416687, + "D": 0.13358619809150696 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему что-то кажется синим?", + "option_a": "отражает ту же длину волны, что и огонь", + "option_b": "отражает ту же длину волны, что и море", + "option_c": "отражает ту же длину волны, что и солнце", + "option_d": "отражает ту же длину волны, что и уголь" + }, + "outputs": "B", + "meta": { + "id": 2327 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Почему что-то кажется синим?\nA) отражает ту же длину волны, что и огонь\nB) отражает ту же длину волны, что и море\nC) отражает ту же длину волны, что и солнце\nD) отражает ту же длину волны, что и уголь\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.30174604058265686, + "B": 0.17192970216274261, + "C": 0.2073868215084076, + "D": 0.17192970216274261 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Магнитные модели Земли полезны", + "option_a": "птицам, строящим гнездо", + "option_b": ", птицам, ищущим более теплые места", + "option_c": ", львам, бродящим по Сахаре", + "option_d": ", китам, пытающимся найти себе пару." + }, + "outputs": "B", + "meta": { + "id": 1157 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Магнитные модели Земли полезны\nA. птицам, строящим гнездо\nB. , птицам, ищущим более теплые места\nC. , львам, бродящим по Сахаре\nD. , китам, пытающимся найти себе пару.\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.23546449840068817, + "B": 0.09220923483371735, + "C": 0.4132530987262726, + "D": 0.17226950824260712 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После периода дискомфорта, увеличения веса и разделения тела с растущим паразитом у самки будет", + "option_a": "пончик", + "option_b": "еда", + "option_c": "потомок", + "option_d": "клон" + }, + "outputs": "C", + "meta": { + "id": 1649 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПосле периода дискомфорта, увеличения веса и разделения тела с растущим паразитом у самки будет\nA) пончик\nB) еда\nC) потомок\nD) клон\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03734574094414711, + "B": 0.6218624114990234, + "C": 0.07906092703342438, + "D": 0.21490991115570068 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чьего размножения требуется опыление?", + "option_a": "слон", + "option_b": "флора", + "option_c": "птица", + "option_d": "жук" + }, + "outputs": "B", + "meta": { + "id": 298 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чьего размножения требуется опыление?\nA. слон\nB. флора\nC. птица\nD. жук\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.39081645011901855, + "B": 0.09282705187797546, + "C": 0.285927414894104, + "D": 0.11197079718112946 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мышцы тянут за кости, чтобы двигать ими; приведите пример этого", + "option_a": "собака разочарованно покачивает головой", + "option_b": "черепаха закатывает глаза при взгляде на кого-то", + "option_c": "олень шевелит языком во рту", + "option_d": "кошка сморщивает нос от запаха" + }, + "outputs": "A", + "meta": { + "id": 1287 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМышцы тянут за кости, чтобы двигать ими; приведите пример этого\nA) собака разочарованно покачивает головой\nB) черепаха закатывает глаза при взгляде на кого-то\nC) олень шевелит языком во рту\nD) кошка сморщивает нос от запаха\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 470, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.02487446367740631, + "B": 0.8768550157546997, + "C": 0.028186459094285965, + "D": 0.018198544159531593 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда пищеварительная система работает,", + "option_a": "есть не следует", + "option_b": "происходит расщепление питательных веществ", + "option_c": "еда очищается", + "option_d": "приходит время обеда" + }, + "outputs": "B", + "meta": { + "id": 1849 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда пищеварительная система работает,\nA) есть не следует\nB) происходит расщепление питательных веществ\nC) еда очищается\nD) приходит время обеда\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.13004423677921295, + "B": 0.0893780067563057, + "C": 0.5475066900253296, + "D": 0.1669800877571106 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "При проведении экспериментов обязательно", + "option_a": "ешьте пищу, содержащую химические вещества", + "option_b": "защитите себя от разлива хлористого водорода", + "option_c": "перестаньте записывать данные, пока все не будет сделано", + "option_d": "откажитесь от использования протоколов безопасности" + }, + "outputs": "B", + "meta": { + "id": 1247 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПри проведении экспериментов обязательно\nA) ешьте пищу, содержащую химические вещества\nB) защитите себя от разлива хлористого водорода\nC) перестаньте записывать данные, пока все не будет сделано\nD) откажитесь от использования протоколов безопасности\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8192081451416016, + "B": 0.023239146918058395, + "C": 0.024737942963838577, + "D": 0.02983965538442135 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делает возможным приготовление пищи?", + "option_a": "повышение температуры пищи", + "option_b": "стирка пищи", + "option_c": "вкус пищи", + "option_d": "ни один из вариантов не верен" + }, + "outputs": "A", + "meta": { + "id": 1407 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что делает возможным приготовление пищи?\nA. повышение температуры пищи\nB. стирка пищи\nC. вкус пищи\nD. ни один из вариантов не верен\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06148688495159149, + "B": 0.8488002419471741, + "C": 0.0240786112844944, + "D": 0.017616286873817444 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На угольной электростанции электричество", + "option_a": "потребляется", + "option_b": "получается", + "option_c": "укрепляется", + "option_d": "разрушается" + }, + "outputs": "B", + "meta": { + "id": 520 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа угольной электростанции электричество\nA. потребляется\nB. получается\nC. укрепляется\nD. разрушается\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08280424773693085, + "B": 0.6933115124702454, + "C": 0.06058087944984436, + "D": 0.06864713877439499 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Разложение важно для усвоения", + "option_a": "воды", + "option_b": "пищи", + "option_c": "солнечного света", + "option_d": "лекарств" + }, + "outputs": "B", + "meta": { + "id": 1749 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРазложение важно для усвоения\nA. воды\nB. пищи\nC. солнечного света\nD. лекарств\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 420, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6755445599555969, + "B": 0.12496317923069, + "C": 0.052092403173446655, + "D": 0.055452071130275726 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растению, которое требует обильного полива, будет лучше в", + "option_a": "пышной, заросшей вязом местности", + "option_b": "песчаной бесплодной пустыне", + "option_c": "кратерах на Луне", + "option_d": "замерзшей тундре" + }, + "outputs": "A", + "meta": { + "id": 2329 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРастению, которое требует обильного полива, будет лучше в\nA) пышной, заросшей вязом местности\nB) песчаной бесплодной пустыне\nC) кратерах на Луне\nD) замерзшей тундре\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7266202569007874, + "B": 0.024863578379154205, + "C": 0.04944713041186333, + "D": 0.033984486013650894 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Женщина посещает один и тот же пляж год за годом и начинает замечать изменение в большой каменной стене. Там, где вода касается камня, она замечает, что камень начинает растворяться. Через два года в скале образовалось углубление. Спустя пятьдесят лет женщина обнаруживает, что скала", + "option_a": "теперь имеет грот", + "option_b": "теперь сплошное золото", + "option_c": "вот-вот взорвется", + "option_d": "теперь намного больше" + }, + "outputs": "A", + "meta": { + "id": 946 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖенщина посещает один и тот же пляж год за годом и начинает замечать изменение в большой каменной стене. Там, где вода касается камня, она замечает, что камень начинает растворяться. Через два года в скале образовалось углубление. Спустя пятьдесят лет женщина обнаруживает, что скала\nA. теперь имеет грот\nB. теперь сплошное золото\nC. вот-вот взорвется\nD. теперь намного больше\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 486, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.2674006521701813, + "B": 0.18378160893917084, + "C": 0.2511996626853943, + "D": 0.15236029028892517 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сулакский каньон был сформирован рекой Сулак, и что происходило в течение долгих периодов времени?", + "option_a": "горение торфа", + "option_b": "таяние снегов", + "option_c": "испарение вод", + "option_d": "стабильное движение вод" + }, + "outputs": "D", + "meta": { + "id": 1987 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСулакский каньон был сформирован рекой Сулак, и что происходило в течение долгих периодов времени?\nA. горение торфа\nB. таяние снегов\nC. испарение вод\nD. стабильное движение вод\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.019919749349355698, + "B": 0.9016367197036743, + "C": 0.013690629974007607, + "D": 0.012081938795745373 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что такое единица измерения тепловой энергии?", + "option_a": "кг", + "option_b": "Дж или калория", + "option_c": "Ньютон или Паскаль", + "option_d": "м" + }, + "outputs": "B", + "meta": { + "id": 1103 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто такое единица измерения тепловой энергии?\nA) кг\nB) Дж или калория\nC) Ньютон или Паскаль\nD) м\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.20954546332359314, + "B": 0.06003578007221222, + "C": 0.4167309105396271, + "D": 0.20954546332359314 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кучка лавы, которая залегает где-то, могла бы сама по себе создать", + "option_a": "ледяную, замерзшую виллу", + "option_b": "новый дуб", + "option_c": "плоскую возвышенность", + "option_d": "счастливый пейзажный портрет" + }, + "outputs": "C", + "meta": { + "id": 496 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКучка лавы, которая залегает где-то, могла бы сама по себе создать\nA. ледяную, замерзшую виллу\nB. новый дуб\nC. плоскую возвышенность\nD. счастливый пейзажный портрет\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08927688747644424, + "B": 0.03721614181995392, + "C": 0.0838678702712059, + "D": 0.7475062012672424 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Большой олень, на которого охотятся, предпочитает жить в", + "option_a": "космосе", + "option_b": "океане", + "option_c": "пустыне", + "option_d": "лесном массиве" + }, + "outputs": "D", + "meta": { + "id": 1477 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Большой олень, на которого охотятся, предпочитает жить в\nA. космосе\nB. океане\nC. пустыне\nD. лесном массиве\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.25134366750717163, + "B": 0.3227316439151764, + "C": 0.09842758625745773, + "D": 0.25134366750717163 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Арктический регион полон", + "option_a": "пушистой белой грязи", + "option_b": "ледяных напитков", + "option_c": "теплой воды", + "option_d": "белой порошкообразной субстанции" + }, + "outputs": "D", + "meta": { + "id": 1815 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nАрктический регион полон\nA) пушистой белой грязи\nB) ледяных напитков\nC) теплой воды\nD) белой порошкообразной субстанции\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.22113649547100067, + "B": 0.09812872856855392, + "C": 0.38810667395591736, + "D": 0.19515228271484375 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, верно в отношении ураганов?", + "option_a": "ураган категории 50 становится ураганом категории 1 над сушей", + "option_b": "ураган категории 5 становится ураганом категории 11 над сушей", + "option_c": "ураган категории 0 становится ураганом категории 1 над землей", + "option_d": "ураган категории 5 умирает над сушей" + }, + "outputs": "D", + "meta": { + "id": 993 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, вероятно, верно в отношении ураганов?\nA. ураган категории 50 становится ураганом категории 1 над сушей\nB. ураган категории 5 становится ураганом категории 11 над сушей\nC. ураган категории 0 становится ураганом категории 1 над землей\nD. ураган категории 5 умирает над сушей\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 482, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09574853628873825, + "B": 0.3786928355693817, + "C": 0.3786928355693817, + "D": 0.07937832921743393 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Организмы-производители обеспечивают экосистему", + "option_a": "диоксидом углерода", + "option_b": "глюкозой", + "option_c": "водой", + "option_d": "глюкозамином" + }, + "outputs": "B", + "meta": { + "id": 1042 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОрганизмы-производители обеспечивают экосистему\nA. диоксидом углерода\nB. глюкозой\nC. водой\nD. глюкозамином\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.22538478672504425, + "B": 0.1284203827381134, + "C": 0.08826194703578949, + "D": 0.5079124569892883 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может быть горячее?", + "option_a": "прохладная вода", + "option_b": "океан", + "option_c": "лес", + "option_d": "дымящийся кофе" + }, + "outputs": "D", + "meta": { + "id": 400 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может быть горячее?\nA) прохладная вода\nB) океан\nC) лес\nD) дымящийся кофе\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3824578523635864, + "B": 0.20471495389938354, + "C": 0.15943215787410736, + "D": 0.14977264404296875 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Размахивание этой штукой с большей вероятностью вызовет перелом", + "option_a": "булава", + "option_b": "медная проволока", + "option_c": "поролоновая бита", + "option_d": "металлическая ложка" + }, + "outputs": "A", + "meta": { + "id": 401 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРазмахивание этой штукой с большей вероятностью вызовет перелом\nA) булава\nB) медная проволока\nC) поролоновая бита\nD) металлическая ложка\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2756945788860321, + "B": 0.05428748205304146, + "C": 0.12233873456716537, + "D": 0.4838590919971466 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поверхность Луны", + "option_a": "имеет более сильное гравитационное притяжение, чем Земля", + "option_b": "полностью гладкая", + "option_c": "заполнена озерами", + "option_d": "имеет следы столкновения с астероидами" + }, + "outputs": "D", + "meta": { + "id": 2319 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПоверхность Луны\nA) имеет более сильное гравитационное притяжение, чем Земля\nB) полностью гладкая\nC) заполнена озерами\nD) имеет следы столкновения с астероидами\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.21940743923187256, + "B": 0.5602765083312988, + "C": 0.05211383104324341, + "D": 0.08592119067907333 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является основным источником света на нашей планете?", + "option_a": "ближайшая к нам звезда", + "option_b": "Луна, которая вращается вокруг Земли", + "option_c": "скопление звезд Ориона", + "option_d": "метеориты, пролетающие мимо" + }, + "outputs": "A", + "meta": { + "id": 1444 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто является основным источником света на нашей планете?\nA. ближайшая к нам звезда\nB. Луна, которая вращается вокруг Земли\nC. скопление звезд Ориона\nD. метеориты, пролетающие мимо\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.15873843431472778, + "B": 0.21696971356868744, + "C": 0.35772258043289185, + "D": 0.19147510826587677 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что обычно длится период времени между шестой частью минуты и половиной минуты?", + "option_a": "вулкан", + "option_b": "телесериал", + "option_c": "час", + "option_d": "землетрясение" + }, + "outputs": "D", + "meta": { + "id": 2129 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что обычно длится период времени между шестой частью минуты и половиной минуты?\nA. вулкан\nB. телесериал\nC. час\nD. землетрясение\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.19704407453536987, + "B": 0.05303368717432022, + "C": 0.2530095875263214, + "D": 0.4171423017978668 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Свалка", + "option_a": "может привести к улучшению среды обитания природного сообщества", + "option_b": "может привести к более чистому воздуху", + "option_c": "может привести к увеличению стоимости собственности", + "option_d": "может привести к увеличению количества рыхлого перегноя в области" + }, + "outputs": "D", + "meta": { + "id": 1589 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Свалка\nA) может привести к улучшению среды обитания природного сообщества\nB) может привести к более чистому воздуху\nC) может привести к увеличению стоимости собственности\nD) может привести к увеличению количества рыхлого перегноя в области\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.1920173615217209, + "B": 0.10940819978713989, + "C": 0.38187211751937866, + "D": 0.21758416295051575 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выращивание ряда видов культур в определенном порядке положительно влияет на", + "option_a": "атмосферные условия", + "option_b": "качество воды", + "option_c": "качество воздуха", + "option_d": "качество почвы" + }, + "outputs": "D", + "meta": { + "id": 851 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВыращивание ряда видов культур в определенном порядке положительно влияет на\nA) атмосферные условия\nB) качество воды\nC) качество воздуха\nD) качество почвы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.16517508029937744, + "B": 0.05362449213862419, + "C": 0.44899237155914307, + "D": 0.2558281421661377 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На чьи усилия больше всего полагается земляника при посадке и распространении по опушкам?", + "option_a": "рыба", + "option_b": "тигр", + "option_c": "грибы", + "option_d": "птица" + }, + "outputs": "D", + "meta": { + "id": 2175 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа чьи усилия больше всего полагается земляника при посадке и распространении по опушкам?\nA. рыба\nB. тигр\nC. грибы\nD. птица\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8423568606376648, + "B": 0.0144935492426157, + "C": 0.019810333847999573, + "D": 0.009961261413991451 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое вещество, вероятно, присутствует при рождении горы?", + "option_a": "магма", + "option_b": "торф", + "option_c": "яд", + "option_d": "солнечный свет" + }, + "outputs": "A", + "meta": { + "id": 1433 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое вещество, вероятно, присутствует при рождении горы?\nA. магма\nB. торф\nC. яд\nD. солнечный свет\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.36958253383636475, + "B": 0.1277243196964264, + "C": 0.21058177947998047, + "D": 0.1745784431695938 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какого из этих мест на Луне вы можете видеть дальше?", + "option_a": "поверхность", + "option_b": "кратеры", + "option_c": "здания", + "option_d": "горы" + }, + "outputs": "D", + "meta": { + "id": 1762 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: С какого из этих мест на Луне вы можете видеть дальше?\nA. поверхность\nB. кратеры\nC. здания\nD. горы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09591913968324661, + "B": 0.665810763835907, + "C": 0.08464833348989487, + "D": 0.07951976358890533 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплицы", + "option_a": "улавливают опасные газы, выделяемые растениями", + "option_b": "защищают растения от снега и мороза", + "option_c": "защищают растения от тепла", + "option_d": "защищают растения от мягкой погоды" + }, + "outputs": "B", + "meta": { + "id": 2024 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Теплицы\nA. улавливают опасные газы, выделяемые растениями\nB. защищают растения от снега и мороза\nC. защищают растения от тепла\nD. защищают растения от мягкой погоды\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.12388837337493896, + "B": 0.7129284143447876, + "C": 0.04281467944383621, + "D": 0.05164436250925064 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если живое существо доживет до взрослой жизни, то для него важнее всего будут", + "option_a": "когти", + "option_b": "съедобные продукты", + "option_c": "добыча полезных ископаемых", + "option_d": "отели" + }, + "outputs": "B", + "meta": { + "id": 1052 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли живое существо доживет до взрослой жизни, то для него важнее всего будут\nA) когти\nB) съедобные продукты\nC) добыча полезных ископаемых\nD) отели\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.16333507001399994, + "B": 0.0930655226111412, + "C": 0.5031074285507202, + "D": 0.15343908965587616 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сорняк будет жить только в", + "option_a": "в раковине", + "option_b": "в воздухе", + "option_c": "грязи", + "option_d": "в доме." + }, + "outputs": "C", + "meta": { + "id": 926 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сорняк будет жить только в\nA. в раковине\nB. в воздухе\nC. грязи\nD. в доме.\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11087527126073837, + "B": 0.07620338350534439, + "C": 0.679193377494812, + "D": 0.07620338350534439 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нежелание прислушиваться к руководящим принципам делает полученные данные полностью", + "option_a": "призовыми", + "option_b": "повторяемыми", + "option_c": "ошибочными", + "option_d": "идеальными" + }, + "outputs": "C", + "meta": { + "id": 551 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Нежелание прислушиваться к руководящим принципам делает полученные данные полностью\nA. призовыми\nB. повторяемыми\nC. ошибочными\nD. идеальными\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2823351323604584, + "B": 0.4107952117919922, + "C": 0.07598946988582611, + "D": 0.1419670283794403 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что больше всего похоже на зеркало?", + "option_a": "луга", + "option_b": "океаны", + "option_c": "пустыни", + "option_d": "леса" + }, + "outputs": "B", + "meta": { + "id": 553 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что больше всего похоже на зеркало?\nA) луга\nB) океаны\nC) пустыни\nD) леса\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03480042144656181, + "B": 0.012802358716726303, + "C": 0.8431370258331299, + "D": 0.07367248833179474 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Единственный ресурс, который пополняется каждый раз, когда случается ураган, - это", + "option_a": "нефть", + "option_b": "газ", + "option_c": "H2O", + "option_d": "уголь" + }, + "outputs": "C", + "meta": { + "id": 2017 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕдинственный ресурс, который пополняется каждый раз, когда случается ураган, - это\nA) нефть\nB) газ\nC) H2O\nD) уголь\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.409919798374176, + "B": 0.04599172621965408, + "C": 0.23356525599956512, + "D": 0.19363240897655487 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кролик получает необходимые для жизни элементы от", + "option_a": "системы кровообращения", + "option_b": "биржевых маклеров", + "option_c": "метро", + "option_d": "лодки" + }, + "outputs": "A", + "meta": { + "id": 347 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКролик получает необходимые для жизни элементы от\nA. системы кровообращения\nB. биржевых маклеров\nC. метро\nD. лодки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05012623965740204, + "B": 0.02089572697877884, + "C": 0.8346768021583557, + "D": 0.04423625022172928 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ледник состоит из", + "option_a": "поддонов для льда", + "option_b": "теплой воды", + "option_c": "твердой воды", + "option_d": "ведер с маслом" + }, + "outputs": "C", + "meta": { + "id": 1293 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛедник состоит из\nA. поддонов для льда\nB. теплой воды\nC. твердой воды\nD. ведер с маслом\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.31105804443359375, + "B": 0.17723551392555237, + "C": 0.2275749146938324, + "D": 0.1886662393808365 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы можете пробить поверхность лобового стекла", + "option_a": "яшмой", + "option_b": "перьями", + "option_c": "мягкой тканью", + "option_d": "губкой" + }, + "outputs": "A", + "meta": { + "id": 1513 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВы можете пробить поверхность лобового стекла\nA. яшмой\nB. перьями\nC. мягкой тканью\nD. губкой\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.037868231534957886, + "B": 0.037868231534957886, + "C": 0.8096584677696228, + "D": 0.06646081060171127 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто из них может естественным образом изменить свой внешний вид, чтобы не попасться хищнику?", + "option_a": "лев", + "option_b": "человек", + "option_c": "маленький хамелеон", + "option_d": "коза" + }, + "outputs": "C", + "meta": { + "id": 1820 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто из них может естественным образом изменить свой внешний вид, чтобы не попасться хищнику?\nA. лев\nB. человек\nC. маленький хамелеон\nD. коза\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.12692168354988098, + "B": 0.04120543226599693, + "C": 0.3241058588027954, + "D": 0.4430001676082611 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Белый медведь живет в местах, где", + "option_a": "жарко", + "option_b": "светло", + "option_c": "темно", + "option_d": "холодно" + }, + "outputs": "D", + "meta": { + "id": 256 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБелый медведь живет в местах, где\nA) жарко\nB) светло\nC) темно\nD) холодно\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.17295995354652405, + "B": 0.16248084604740143, + "C": 0.41490939259529114, + "D": 0.17295995354652405 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какое время тень человека самая маленькая?", + "option_a": "16:00", + "option_b": "8:00", + "option_c": "12:30", + "option_d": "18:30" + }, + "outputs": "C", + "meta": { + "id": 1530 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В какое время тень человека самая маленькая?\nA) 16:00\nB) 8:00\nC) 12:30\nD) 18:30\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.01760195940732956, + "B": 0.01760195940732956, + "C": 0.03966662660241127, + "D": 0.9028082489967346 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы выжить живым существам", + "option_a": "нужны деньги", + "option_b": "нужно Au", + "option_c": "нужны навыки охоты", + "option_d": "нужна H2O" + }, + "outputs": "D", + "meta": { + "id": 2002 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы выжить живым существам\nA) нужны деньги\nB) нужно Au\nC) нужны навыки охоты\nD) нужна H2O\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3060470223426819, + "B": 0.12757937610149384, + "C": 0.3060470223426819, + "D": 0.1445663869380951 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "когда головастик превращается в лягушку, головастик похож на", + "option_a": "личинку", + "option_b": "ягненка", + "option_c": "воду", + "option_d": "виноград" + }, + "outputs": "A", + "meta": { + "id": 574 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: когда головастик превращается в лягушку, головастик похож на\nA) личинку\nB) ягненка\nC) воду\nD) виноград\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4362047016620636, + "B": 0.12497474253177643, + "C": 0.18183717131614685, + "D": 0.14161492884159088 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что описывает климат в ​​районе?", + "option_a": "общий прогноз погод", + "option_b": "расписание приливов", + "option_c": "редкие штормы", + "option_d": "наличие землетрясений" + }, + "outputs": "A", + "meta": { + "id": 451 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что описывает климат в ​​районе?\nA. общий прогноз погод\nB. расписание приливов\nC. редкие штормы\nD. наличие землетрясений\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.5269681811332703, + "B": 0.03164689615368843, + "C": 0.2338407039642334, + "D": 0.05554203316569328 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шимпанзе роют палками муравейники и термитники; какой из вариантов также является примером использования инструментов?", + "option_a": "птицы, использующие ветки для строительства гнезд", + "option_b": "муравьеды, использующие язык для ловли муравьев", + "option_c": "выдры, использующие камни, чтобы открывать моллюсков", + "option_d": ", коалы, использующие свою сумку для удержания младенцев" + }, + "outputs": "C", + "meta": { + "id": 707 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nШимпанзе роют палками муравейники и термитники; какой из вариантов также является примером использования инструментов?\nA. птицы, использующие ветки для строительства гнезд\nB. муравьеды, использующие язык для ловли муравьев\nC. выдры, использующие камни, чтобы открывать моллюсков\nD. , коалы, использующие свою сумку для удержания младенцев\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 491, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03094031848013401, + "B": 0.01289784349501133, + "C": 0.02906574122607708, + "D": 0.9042086601257324 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Анюта создает новый продукт, чтобы утолить жажду людей. Она думает, что если он будет более пузырящимся, он станет более популярным. Она решает", + "option_a": "добавить больше соли в напиток", + "option_b": "вскипятить напиток в большом чане", + "option_c": "встряхнуть бутылки с напитком перед отправкой в ​​магазины", + "option_d": "добавить растворенного углекислого газа" + }, + "outputs": "D", + "meta": { + "id": 651 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nАнюта создает новый продукт, чтобы утолить жажду людей. Она думает, что если он будет более пузырящимся, он станет более популярным. Она решает\nA. добавить больше соли в напиток\nB. вскипятить напиток в большом чане\nC. встряхнуть бутылки с напитком перед отправкой в ​​магазины\nD. добавить растворенного углекислого газа\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 482, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.21678847074508667, + "B": 0.04010183364152908, + "C": 0.5200484991073608, + "D": 0.14899639785289764 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если машина застряла и людям нужно ее вытащить", + "option_a": "они используют массу своего тела, чтобы подтолкнуть авто", + "option_b": "они смиряются с тем, что действительно застряли", + "option_c": "они используют лошадей, чтобы тянуть ее", + "option_d": "они толкают машину в воздух" + }, + "outputs": "A", + "meta": { + "id": 271 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли машина застряла и людям нужно ее вытащить\nA) они используют массу своего тела, чтобы подтолкнуть авто\nB) они смиряются с тем, что действительно застряли\nC) они используют лошадей, чтобы тянуть ее\nD) они толкают машину в воздух\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.32327303290367126, + "B": 0.23651158809661865, + "C": 0.184195414185524, + "D": 0.15270337462425232 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стая волков съедает теленка прежде, чем медведь успевает добраться до них. Что волки сделали с медведем?", + "option_a": "опередили", + "option_b": "оставили вне игры", + "option_c": "пригласили", + "option_d": "оставили на воротах" + }, + "outputs": "A", + "meta": { + "id": 73 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Стая волков съедает теленка прежде, чем медведь успевает добраться до них. Что волки сделали с медведем?\nA) опередили\nB) оставили вне игры\nC) пригласили\nD) оставили на воротах\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.23183535039424896, + "B": 0.1496841460466385, + "C": 0.35907360911369324, + "D": 0.18055355548858643 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой целитель самый быстрый?", + "option_a": "кожа", + "option_b": "пальцы ног", + "option_c": "язык", + "option_d": "сердце" + }, + "outputs": "C", + "meta": { + "id": 2026 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой целитель самый быстрый?\nA. кожа\nB. пальцы ног\nC. язык\nD. сердце\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7799249887466431, + "B": 0.01834207773208618, + "C": 0.053074561059474945, + "D": 0.030240973457694054 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может произойти, если винт на шине велосипеда будет ослаблен?", + "option_a": "он может отвалиться по дороге", + "option_b": "он может надежно закрепиться", + "option_c": "он может потребовать ремонта", + "option_d": "он может стать плоским" + }, + "outputs": "A", + "meta": { + "id": 1246 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто может произойти, если винт на шине велосипеда будет ослаблен?\nA) он может отвалиться по дороге\nB) он может надежно закрепиться\nC) он может потребовать ремонта\nD) он может стать плоским\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07161134481430054, + "B": 0.7232489585876465, + "C": 0.07622987776994705, + "D": 0.08114627748727798 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из какого материала сделана экологически чистая скульптура?", + "option_a": "загрязнители", + "option_b": "глина", + "option_c": "мех животных", + "option_d": "ископаемое топливо" + }, + "outputs": "B", + "meta": { + "id": 1771 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из какого материала сделана экологически чистая скульптура?\nA) загрязнители\nB) глина\nC) мех животных\nD) ископаемое топливо\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2052878886461258, + "B": 0.09697113186120987, + "C": 0.49246007204055786, + "D": 0.1169695183634758 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что лучше всего проводит тепло?", + "option_a": "сладкая вата в магазине", + "option_b": "новая пара джинсов", + "option_c": "стальная ложка в кафетерии", + "option_d": "хлопковая шляпа от Calvin Klein" + }, + "outputs": "C", + "meta": { + "id": 723 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что лучше всего проводит тепло?\nA. сладкая вата в магазине\nB. новая пара джинсов\nC. стальная ложка в кафетерии\nD. хлопковая шляпа от Calvin Klein\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3000686466693878, + "B": 0.09151575714349747, + "C": 0.2818883955478668, + "D": 0.1937388777732849 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку здесь работала лесозаготовительная компания, здесь гораздо больше", + "option_a": "углерода", + "option_b": "ржавчины", + "option_c": "кальция", + "option_d": "кремния." + }, + "outputs": "A", + "meta": { + "id": 2131 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПоскольку здесь работала лесозаготовительная компания, здесь гораздо больше\nA. углерода\nB. ржавчины\nC. кальция\nD. кремния.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.22901588678359985, + "B": 0.12258337438106537, + "C": 0.31302762031555176, + "D": 0.2021058201789856 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда яблоню срубили, не осталось места", + "option_a": "яблокам", + "option_b": "яблочным пирогам", + "option_c": "опадающим листьям", + "option_d": "птичьим гнездам" + }, + "outputs": "D", + "meta": { + "id": 2252 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда яблоню срубили, не осталось места\nA. яблокам\nB. яблочным пирогам\nC. опадающим листьям\nD. птичьим гнездам\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.2584037482738495, + "B": 0.24274785816669464, + "C": 0.22804050147533417, + "D": 0.1567298024892807 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример охоты - выдра, раскалывающая моллюсков камнем, другой пример -", + "option_a": "орел, чистящий перья", + "option_b": "медведь, ударивший по улью", + "option_c": "рыба, плывущая против течения", + "option_d": "олень, поедающий траву" + }, + "outputs": "B", + "meta": { + "id": 1662 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пример охоты - выдра, раскалывающая моллюсков камнем, другой пример -\nA) орел, чистящий перья\nB) медведь, ударивший по улью\nC) рыба, плывущая против течения\nD) олень, поедающий траву\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 477, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21006515622138977, + "B": 0.08756817132234573, + "C": 0.4447079002857208, + "D": 0.12741094827651978 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Цветов станет больше, если", + "option_a": "стрекозы будут размножаться чаще", + "option_b": "опылители будут посещать их редко", + "option_c": "пчелы будут чаще посещать их", + "option_d": "им будут доставлять удобрения премиум-класса" + }, + "outputs": "C", + "meta": { + "id": 2162 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЦветов станет больше, если\nA. стрекозы будут размножаться чаще\nB. опылители будут посещать их редко\nC. пчелы будут чаще посещать их\nD. им будут доставлять удобрения премиум-класса\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7166499495506287, + "B": 0.017940981313586235, + "C": 0.10990183800458908, + "D": 0.029579678550362587 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков пример воспроизводства как стадии процесса жизненного цикла?", + "option_a": "рождение может произойти только после репродуктивного акта", + "option_b": "смерть - последняя стадия жизненного цикла", + "option_c": "воспроизводство не может гарантировать здоровую жизнь", + "option_d": "жизнь может закончиться во время репродукции" + }, + "outputs": "A", + "meta": { + "id": 2204 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКаков пример воспроизводства как стадии процесса жизненного цикла?\nA. рождение может произойти только после репродуктивного акта\nB. смерть - последняя стадия жизненного цикла\nC. воспроизводство не может гарантировать здоровую жизнь\nD. жизнь может закончиться во время репродукции\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.21857984364032745, + "B": 0.05882996693253517, + "C": 0.1325753778219223, + "D": 0.5243458151817322 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для фонарей требуются батарейки", + "option_a": "чтобы правильно освещать объекты", + "option_b": "чтобы фонари можно использовать в качестве оружия", + "option_c": "чтобы соответствовать требованиям по весу", + "option_d": "чтобы фонари работали и светили" + }, + "outputs": "A", + "meta": { + "id": 170 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для фонарей требуются батарейки\nA) чтобы правильно освещать объекты\nB) чтобы фонари можно использовать в качестве оружия\nC) чтобы соответствовать требованиям по весу\nD) чтобы фонари работали и светили\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.026285946369171143, + "B": 0.8704710006713867, + "C": 0.027981245890259743, + "D": 0.0359286293387413 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Секунды используются для измерения", + "option_a": "роста", + "option_b": "времени", + "option_c": "времени суток", + "option_d": "вкуса еды" + }, + "outputs": "B", + "meta": { + "id": 1799 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСекунды используются для измерения\nA. роста\nB. времени\nC. времени суток\nD. вкуса еды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.02789568156003952, + "B": 0.8678091764450073, + "C": 0.031609948724508286, + "D": 0.029694795608520508 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Внешняя оболочка нашей планеты состоит из", + "option_a": "пластика", + "option_b": "осадочных образований", + "option_c": "пены", + "option_d": "сыра" + }, + "outputs": "B", + "meta": { + "id": 111 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВнешняя оболочка нашей планеты состоит из\nA) пластика\nB) осадочных образований\nC) пены\nD) сыра\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.32187044620513916, + "B": 0.08138158917427063, + "C": 0.38824987411499023, + "D": 0.09221743047237396 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дети с большей вероятностью заболеют оспой, если", + "option_a": "они проходят вакцинацию в раннем возрасте", + "option_b": "их родители основывают свои медицинские решения на советах блогеров и артистов", + "option_c": "их вакцинируют в молодом возрасте", + "option_d": "их родители понимают основы науки" + }, + "outputs": "B", + "meta": { + "id": 966 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Дети с большей вероятностью заболеют оспой, если\nA. они проходят вакцинацию в раннем возрасте\nB. их родители основывают свои медицинские решения на советах блогеров и артистов\nC. их вакцинируют в молодом возрасте\nD. их родители понимают основы науки\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 467, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01786990649998188, + "B": 0.04027045890688896, + "C": 0.8610203862190247, + "D": 0.037830594927072525 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Это животное может сливаться с окружающей средой, изменяя свой внешний вид", + "option_a": "Слон", + "option_b": "Дельфин афалина", + "option_c": "Хамелеон", + "option_d": "Акула-молот" + }, + "outputs": "C", + "meta": { + "id": 1625 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Это животное может сливаться с окружающей средой, изменяя свой внешний вид\nA) Слон\nB) Дельфин афалина\nC) Хамелеон\nD) Акула-молот\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08309680968523026, + "B": 0.022365201264619827, + "C": 0.017418036237359047, + "D": 0.83924800157547 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Оскорбления часто приводят к насилию в", + "option_a": "будущих хороших отношениях", + "option_b": "в благоприятных исходах", + "option_c": "в идеальных ситуациях", + "option_d": "будущих плохих отношениях" + }, + "outputs": "D", + "meta": { + "id": 1748 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Оскорбления часто приводят к насилию в\nA. будущих хороших отношениях\nB. в благоприятных исходах\nC. в идеальных ситуациях\nD. будущих плохих отношениях\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.08830161392688751, + "B": 0.0779258981347084, + "C": 0.4773540198802948, + "D": 0.30820292234420776 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ученик замечает на детской площадке большое количество ястребов, - и что, вероятно, будет с ящерицами?", + "option_a": "они будут процветать", + "option_b": "все эти варианты верны", + "option_c": "они станут хищниками", + "option_d": "их численность будет сокращаться" + }, + "outputs": "D", + "meta": { + "id": 1623 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУченик замечает на детской площадке большое количество ястребов, - и что, вероятно, будет с ящерицами?\nA) они будут процветать\nB) все эти варианты верны\nC) они станут хищниками\nD) их численность будет сокращаться\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3503137528896332, + "B": 0.07342974841594696, + "C": 0.27282461524009705, + "D": 0.17614881694316864 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Больше солнечного света будет поглощать", + "option_a": "нарцисс с закрученными листьями", + "option_b": "роза с крошечными листьями", + "option_c": "ромашка с тонкими короткими листьями", + "option_d": "пион с широкими гладкими листьями" + }, + "outputs": "D", + "meta": { + "id": 345 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Больше солнечного света будет поглощать\nA. нарцисс с закрученными листьями\nB. роза с крошечными листьями\nC. ромашка с тонкими короткими листьями\nD. пион с широкими гладкими листьями\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.19370442628860474, + "B": 0.21949586272239685, + "C": 0.30001530051231384, + "D": 0.20619729161262512 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Световой день в среднем короче всего", + "option_a": "с октября по декабрь", + "option_b": "с декабря по март", + "option_c": "с января по апрель", + "option_d": "с ноября по март" + }, + "outputs": "B", + "meta": { + "id": 1893 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Световой день в среднем короче всего\nA) с октября по декабрь\nB) с декабря по март\nC) с января по апрель\nD) с ноября по март\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2665753960609436, + "B": 0.12592129409313202, + "C": 0.3020694851875305, + "D": 0.2076091319322586 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вулканы похожи на", + "option_a": "Верблюды", + "option_b": "Пищевод", + "option_c": "Эмоциональный опыт", + "option_d": "Сигареты" + }, + "outputs": "B", + "meta": { + "id": 919 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вулканы похожи на\nA) Верблюды\nB) Пищевод\nC) Эмоциональный опыт\nD) Сигареты\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.20838360488414764, + "B": 0.2675698399543762, + "C": 0.23612956702709198, + "D": 0.18389789760112762 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гусь осенью, скорее всего,", + "option_a": "улетает", + "option_b": "впадает в спячку", + "option_c": "гнездится", + "option_d": "откладывает яйца" + }, + "outputs": "A", + "meta": { + "id": 1989 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Гусь осенью, скорее всего,\nA) улетает\nB) впадает в спячку\nC) гнездится\nD) откладывает яйца\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.20925968885421753, + "B": 0.07231821119785309, + "C": 0.3909485340118408, + "D": 0.25241535902023315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Травоядное животное", + "option_a": "будет есть немного мяса каждый день", + "option_b": "никогда не будет есть никаких растений", + "option_c": "будет есть мясо время от времени", + "option_d": "станет есть только то, что растет из земли" + }, + "outputs": "D", + "meta": { + "id": 1929 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Травоядное животное\nA) будет есть немного мяса каждый день\nB) никогда не будет есть никаких растений\nC) будет есть мясо время от времени\nD) станет есть только то, что растет из земли\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.11869040131568909, + "B": 0.7270668745040894, + "C": 0.04101830720901489, + "D": 0.04101830720901489 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Организм-продуцент (производитель) пересаживают из небольшого горшка в дикий лес. Продуцент может относительно легко:", + "option_a": "умереть", + "option_b": "привыкнуть", + "option_c": "испариться", + "option_d": "уплыть" + }, + "outputs": "B", + "meta": { + "id": 1026 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОрганизм-продуцент (производитель) пересаживают из небольшого горшка в дикий лес. Продуцент может относительно легко:\nA) умереть\nB) привыкнуть\nC) испариться\nD) уплыть\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.21133655309677124, + "B": 0.12041594833135605, + "C": 0.32732445001602173, + "D": 0.2549205422401428 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ближайший к Земле небесный объект - это", + "option_a": "Меркурий и Венера одинаково близки", + "option_b": "большой объект, который освещает ночное небо", + "option_c": "четвертая планета от Солнца", + "option_d": "объект, движущийся по орбите Земли" + }, + "outputs": "B", + "meta": { + "id": 852 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ближайший к Земле небесный объект - это\nA. Меркурий и Венера одинаково близки\nB. большой объект, который освещает ночное небо\nC. четвертая планета от Солнца\nD. объект, движущийся по орбите Земли\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.23491868376731873, + "B": 0.25006964802742004, + "C": 0.3210957944393158, + "D": 0.08642175793647766 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что верно о рыбках-бычках и ротанах?", + "option_a": "рбычки и ротаны выживают не в каждой среде обитания", + "option_b": "бычки и ротаны сезонно мигрируют в поисках пищи", + "option_c": "бычки и ротаны приспосабливаются к любой водной среде обитания", + "option_d": "бычки и ротаны не едят ничего, кроме угля" + }, + "outputs": "C", + "meta": { + "id": 1596 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто верно о рыбках-бычках и ротанах?\nA) рбычки и ротаны выживают не в каждой среде обитания\nB) бычки и ротаны сезонно мигрируют в поисках пищи\nC) бычки и ротаны приспосабливаются к любой водной среде обитания\nD) бычки и ротаны не едят ничего, кроме угля\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 469, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07839927822351456, + "B": 0.6166581511497498, + "C": 0.10715910792350769, + "D": 0.12925857305526733 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если где-то был туман, о чем это может свидетельствовать?", + "option_a": "животные размножаются в это время", + "option_b": "был избыток конденсированного пара", + "option_c": "местные божества сердиты", + "option_d": "воде не хватает кислорода" + }, + "outputs": "B", + "meta": { + "id": 770 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли где-то был туман, о чем это может свидетельствовать?\nA. животные размножаются в это время\nB. был избыток конденсированного пара\nC. местные божества сердиты\nD. воде не хватает кислорода\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.18943838775157928, + "B": 0.13019897043704987, + "C": 0.45443907380104065, + "D": 0.1385960727930069 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воздушный шар наполняется гелием, а затем открывается и прижимается ко рту, и голос становится тонким и высоким. Почему так происходит?", + "option_a": "гелий отражает звук от голосовых связок, пока тот не станет тоньше и выше", + "option_b": "гелий более плотный, и голосовые связки колеблются в нем с меньшей частотой", + "option_c": "гелий менее плотный, и голосовые связки колеблются в нем с повышенной частотой", + "option_d": "гелий легче воздуха, и поднимает все звуки выше" + }, + "outputs": "C", + "meta": { + "id": 181 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Воздушный шар наполняется гелием, а затем открывается и прижимается ко рту, и голос становится тонким и высоким. Почему так происходит?\nA. гелий отражает звук от голосовых связок, пока тот не станет тоньше и выше\nB. гелий более плотный, и голосовые связки колеблются в нем с меньшей частотой\nC. гелий менее плотный, и голосовые связки колеблются в нем с повышенной частотой\nD. гелий легче воздуха, и поднимает все звуки выше\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 517, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.39703425765037537, + "B": 0.0537327416241169, + "C": 0.3291529715061188, + "D": 0.11375222355127335 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы определить расстояние, разделенное на время, вам понадобится", + "option_a": "спидометр", + "option_b": "мультиметр", + "option_c": "счетчик Гейгера", + "option_d": "сейсмограф." + }, + "outputs": "A", + "meta": { + "id": 58 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы определить расстояние, разделенное на время, вам понадобится\nA. спидометр\nB. мультиметр\nC. счетчик Гейгера\nD. сейсмограф.\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.27283239364624023, + "B": 0.27283239364624023, + "C": 0.21248206496238708, + "D": 0.14603665471076965 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если Илья хочет откладывать понемногу каждый месяц, что он может сделать, чтобы уменьшить счет за воду?", + "option_a": "оставлять кран капать в раковину ночью", + "option_b": "отремонтировать все текущие трубы", + "option_c": "смывать больше воды из унитаза", + "option_d": "принимать ванну дважды в день" + }, + "outputs": "B", + "meta": { + "id": 1874 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли Илья хочет откладывать понемногу каждый месяц, что он может сделать, чтобы уменьшить счет за воду?\nA) оставлять кран капать в раковину ночью\nB) отремонтировать все текущие трубы\nC) смывать больше воды из унитаза\nD) принимать ванну дважды в день\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.43288546800613403, + "B": 0.12402376532554626, + "C": 0.1592496782541275, + "D": 0.1592496782541275 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ракетные двигатели могут поднимать ракеты из-за", + "option_a": "того, сколько топлива они используют", + "option_b": "их скорости", + "option_c": "их высоты", + "option_d": "силы создаваемого ими удара о землю" + }, + "outputs": "D", + "meta": { + "id": 964 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ракетные двигатели могут поднимать ракеты из-за\nA) того, сколько топлива они используют\nB) их скорости\nC) их высоты\nD) силы создаваемого ими удара о землю\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.18510392308235168, + "B": 0.0724877417087555, + "C": 0.4726794362068176, + "D": 0.19704210758209229 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Квадрат Пеннета используется для определения вероятности передачи признака от родителя к чему?", + "option_a": "молодняку", + "option_b": "зоне обитания", + "option_c": "похожим животным", + "option_d": "домашним животным" + }, + "outputs": "A", + "meta": { + "id": 1518 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Квадрат Пеннета используется для определения вероятности передачи признака от родителя к чему?\nA. молодняку\nB. зоне обитания\nC. похожим животным\nD. домашним животным\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.38193920254707336, + "B": 0.20443733036518097, + "C": 0.19205109775066376, + "D": 0.10279754549264908 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Проливные ливни могут сделать склон холма", + "option_a": "пониженным", + "option_b": "нестабильным", + "option_c": "более зеленым", + "option_d": "камнем" + }, + "outputs": "B", + "meta": { + "id": 29 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПроливные ливни могут сделать склон холма\nA) пониженным\nB) нестабильным\nC) более зеленым\nD) камнем\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.20855572819709778, + "B": 0.26779085397720337, + "C": 0.15258264541625977, + "D": 0.28506189584732056 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может вызвать процесс, негативно влияющий на окружающую среду?", + "option_a": "облака", + "option_b": "обработка почвы", + "option_c": "акулы", + "option_d": "лед" + }, + "outputs": "B", + "meta": { + "id": 2101 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может вызвать процесс, негативно влияющий на окружающую среду?\nA. облака\nB. обработка почвы\nC. акулы\nD. лед\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.27364930510520935, + "B": 0.09457066655158997, + "C": 0.29129815101623535, + "D": 0.20020610094070435 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может быть причиной того, что олень покидает среду обитания?", + "option_a": "скопились сухие ветки и турист оставил зажженную сигарету", + "option_b": "олень хочет видеть океан", + "option_c": "легкий дождь делает его среду обитания непригодной для жизни", + "option_d": "температура сегодня немного ниже, чем была накануне" + }, + "outputs": "A", + "meta": { + "id": 577 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может быть причиной того, что олень покидает среду обитания?\nA) скопились сухие ветки и турист оставил зажженную сигарету\nB) олень хочет видеть океан\nC) легкий дождь делает его среду обитания непригодной для жизни\nD) температура сегодня немного ниже, чем была накануне\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 469, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06730851531028748, + "B": 0.819985568523407, + "C": 0.015987174585461617, + "D": 0.038351237773895264 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример, в котором хищник поедает добычу:", + "option_a": "лошадь, растоптавшая мышь", + "option_b": "удав, пожирающий обезьяну", + "option_c": "кошка, поедающая стебли травы", + "option_d": "кит, поедающий тонны водорослей" + }, + "outputs": "B", + "meta": { + "id": 2287 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Выберите пример, в котором хищник поедает добычу:\nA. лошадь, растоптавшая мышь\nB. удав, пожирающий обезьяну\nC. кошка, поедающая стебли травы\nD. кит, поедающий тонны водорослей\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.08212196826934814, + "B": 0.04395672678947449, + "C": 0.6459393501281738, + "D": 0.17385223507881165 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Алмазы создаются и рассеиваются", + "option_a": "гигантами", + "option_b": "цыганами", + "option_c": "вулканами", + "option_d": "облаками" + }, + "outputs": "C", + "meta": { + "id": 2047 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nАлмазы создаются и рассеиваются\nA) гигантами\nB) цыганами\nC) вулканами\nD) облаками\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.17723548412322998, + "B": 0.25787609815597534, + "C": 0.27450767159461975, + "D": 0.2137867957353592 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В чем лучше всего растворяется сахар, когда они соединяются?", + "option_a": "грязь", + "option_b": "океанская жидкость", + "option_c": "мед", + "option_d": "воздух" + }, + "outputs": "B", + "meta": { + "id": 1386 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ чем лучше всего растворяется сахар, когда они соединяются?\nA) грязь\nB) океанская жидкость\nC) мед\nD) воздух\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8018012046813965, + "B": 0.014685502275824547, + "C": 0.018856557086110115, + "D": 0.01771409623324871 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как и в случае с людьми, если другой организм потребляет больше калорий, чем сжигает, он неизбежно", + "option_a": "толстеет", + "option_b": "убегает", + "option_c": "улетает", + "option_d": "умирает" + }, + "outputs": "A", + "meta": { + "id": 697 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКак и в случае с людьми, если другой организм потребляет больше калорий, чем сжигает, он неизбежно\nA. толстеет\nB. убегает\nC. улетает\nD. умирает\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.06475517898797989, + "B": 0.11364889144897461, + "C": 0.09421823918819427, + "D": 0.6961838603019714 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что образует кратеры на планетах?", + "option_a": "солнечный свет", + "option_b": "гром", + "option_c": "хозяйственная деятельность людей", + "option_d": "космические камни" + }, + "outputs": "D", + "meta": { + "id": 922 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто образует кратеры на планетах?\nA) солнечный свет\nB) гром\nC) хозяйственная деятельность людей\nD) космические камни\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.13113215565681458, + "B": 0.07018999010324478, + "C": 0.5876935720443726, + "D": 0.14859220385551453 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько времени требуется третьей планете от Солнца, чтобы сделать полный оборот?", + "option_a": "23 часа", + "option_b": "двадцать один час", + "option_c": "двадцать четыре часа", + "option_d": "22 часа" + }, + "outputs": "C", + "meta": { + "id": 46 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сколько времени требуется третьей планете от Солнца, чтобы сделать полный оборот?\nA. 23 часа\nB. двадцать один час\nC. двадцать четыре часа\nD. 22 часа\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15512323379516602, + "B": 0.6530932188034058, + "C": 0.06883551180362701, + "D": 0.057066645473241806 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Измерение температуры происходит, в основном, когда", + "option_a": "люди наблюдают погоду визуально", + "option_b": "на термометре отмечаются градусы тепла", + "option_c": "измеряется влажность воздуха", + "option_d": "обсуждается, насколько жарко" + }, + "outputs": "B", + "meta": { + "id": 1210 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Измерение температуры происходит, в основном, когда\nA) люди наблюдают погоду визуально\nB) на термометре отмечаются градусы тепла\nC) измеряется влажность воздуха\nD) обсуждается, насколько жарко\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3111218810081482, + "B": 0.13805949687957764, + "C": 0.27456408739089966, + "D": 0.1887049525976181 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если плохая проводка сделала опасным пол в гостиной, на что безопаснее взобраться?", + "option_a": "металлический стул", + "option_b": "стол из красного дерева", + "option_c": "стальная лампа", + "option_d": "керамический камин" + }, + "outputs": "B", + "meta": { + "id": 554 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если плохая проводка сделала опасным пол в гостиной, на что безопаснее взобраться?\nA. металлический стул\nB. стол из красного дерева\nC. стальная лампа\nD. керамический камин\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.19234375655651093, + "B": 0.5565651059150696, + "C": 0.07532289624214172, + "D": 0.0967165008187294 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере увеличения сухости в окружающей среде биоразнообразие", + "option_a": "увеличивается", + "option_b": "уменьшается", + "option_c": "остается неизменным", + "option_d": "начинает увеличиваться" + }, + "outputs": "B", + "meta": { + "id": 1913 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПо мере увеличения сухости в окружающей среде биоразнообразие\nA. увеличивается\nB. уменьшается\nC. остается неизменным\nD. начинает увеличиваться\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.016057088971138, + "B": 0.009739117696881294, + "C": 0.020617712289094925, + "D": 0.9332289099693298 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Один из примеров того, как избежать отходов при покупке продуктов, - это принести с собой", + "option_a": "одноразовый пластиковый пакет", + "option_b": "жадный характер", + "option_c": "одноразовые бумажные пакеты", + "option_d": "тканевый рюкзак" + }, + "outputs": "D", + "meta": { + "id": 604 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОдин из примеров того, как избежать отходов при покупке продуктов, - это принести с собой\nA) одноразовый пластиковый пакет\nB) жадный характер\nC) одноразовые бумажные пакеты\nD) тканевый рюкзак\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.12768733501434326, + "B": 0.05322800204157829, + "C": 0.44567257165908813, + "D": 0.30630600452423096 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Инвазивные растения в экосистеме часто приводят к", + "option_a": "появлению ГМО", + "option_b": "дождливой погоде", + "option_c": "наводнениям", + "option_d": "перенаселению" + }, + "outputs": "D", + "meta": { + "id": 675 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИнвазивные растения в экосистеме часто приводят к\nA. появлению ГМО\nB. дождливой погоде\nC. наводнениям\nD. перенаселению\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.26092806458473206, + "B": 0.07475714385509491, + "C": 0.2302682250738144, + "D": 0.33503827452659607 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одинокая лиса ищет свою следующую трапезу на лугу, который когда-то изобиловал едой. Однако в этом сезоне все кролики съедены, а поле сухое и бесплодное. Лиса может", + "option_a": "улететь", + "option_b": "пожаловаться", + "option_c": "впасть в спячку", + "option_d": "начать голодать" + }, + "outputs": "D", + "meta": { + "id": 536 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Одинокая лиса ищет свою следующую трапезу на лугу, который когда-то изобиловал едой. Однако в этом сезоне все кролики съедены, а поле сухое и бесплодное. Лиса может\nA. улететь\nB. пожаловаться\nC. впасть в спячку\nD. начать голодать\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 485, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.20928063988685608, + "B": 0.1846895068883896, + "C": 0.39098769426345825, + "D": 0.1438363492488861 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто, скорее всего, выиграет в гонке?", + "option_a": "ерш", + "option_b": "косатка", + "option_c": "олимпийский пловец", + "option_d": "сардина" + }, + "outputs": "B", + "meta": { + "id": 478 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто, скорее всего, выиграет в гонке?\nA) ерш\nB) косатка\nC) олимпийский пловец\nD) сардина\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7819657325744629, + "B": 0.04696069285273552, + "C": 0.02675739675760269, + "D": 0.03435717895627022 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, скорее всего, будет способно к воспроизводству потомства?", + "option_a": "водоплавающие птицы", + "option_b": "копировальные аппараты", + "option_c": "камни", + "option_d": "реки" + }, + "outputs": "A", + "meta": { + "id": 364 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, скорее всего, будет способно к воспроизводству потомства?\nA. водоплавающие птицы\nB. копировальные аппараты\nC. камни\nD. реки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.05888891592621803, + "B": 0.09709141403436661, + "C": 0.13270820677280426, + "D": 0.6739479303359985 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что слепой человек может использовать для определения наждачной бумаги?", + "option_a": "взгляд", + "option_b": "звук", + "option_c": "вкус", + "option_d": "прикосновение" + }, + "outputs": "D", + "meta": { + "id": 77 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что слепой человек может использовать для определения наждачной бумаги?\nA. взгляд\nB. звук\nC. вкус\nD. прикосновение\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05758099630475044, + "B": 0.17736195027828217, + "C": 0.7014801502227783, + "D": 0.01869381219148636 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Обугливание является результатом действия", + "option_a": "луны", + "option_b": "солнца", + "option_c": "открытого огня", + "option_d": "льда" + }, + "outputs": "C", + "meta": { + "id": 1794 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОбугливание является результатом действия\nA) луны\nB) солнца\nC) открытого огня\nD) льда\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.11620064824819565, + "B": 0.5543622970581055, + "C": 0.15882745385169983, + "D": 0.10254671424627304 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Без этого меч был бы сделан из дерева", + "option_a": "правила техники безопасности", + "option_b": "руда", + "option_c": "лед", + "option_d": "дешевая рабочая сила" + }, + "outputs": "B", + "meta": { + "id": 174 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Без этого меч был бы сделан из дерева\nA) правила техники безопасности\nB) руда\nC) лед\nD) дешевая рабочая сила\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8596326112747192, + "B": 0.01574472151696682, + "C": 0.011519083753228188, + "D": 0.009549656882882118 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пастеризация убивает", + "option_a": "возбудителей болезней", + "option_b": "молочные железы", + "option_c": "бутылки", + "option_d": "женщин" + }, + "outputs": "A", + "meta": { + "id": 991 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПастеризация убивает\nA. возбудителей болезней\nB. молочные железы\nC. бутылки\nD. женщин\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.17701546847820282, + "B": 0.04204486310482025, + "C": 0.5804113745689392, + "D": 0.12950728833675385 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поле обрабатывается, и почва наполняется питательными веществами после многих лет", + "option_a": "выветривания деревьев", + "option_b": "борьбы с гриппом", + "option_c": "сжигания кукурузы", + "option_d": "выбирания камней" + }, + "outputs": "D", + "meta": { + "id": 576 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Поле обрабатывается, и почва наполняется питательными веществами после многих лет\nA) выветривания деревьев\nB) борьбы с гриппом\nC) сжигания кукурузы\nD) выбирания камней\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3887813985347748, + "B": 0.3652263283729553, + "C": 0.05962156131863594, + "D": 0.0719173327088356 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если человек не переносит холода, чего из этого следует избегать?", + "option_a": "все эти варианты подходят", + "option_b": "арктические регионы", + "option_c": "тропические леса", + "option_d": "мангровые леса" + }, + "outputs": "B", + "meta": { + "id": 1615 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли человек не переносит холода, чего из этого следует избегать?\nA) все эти варианты подходят\nB) арктические регионы\nC) тропические леса\nD) мангровые леса\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3374744653701782, + "B": 0.1922871321439743, + "C": 0.1497533768415451, + "D": 0.24690157175064087 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что проводит электричество?", + "option_a": "кирпичик лего", + "option_b": "футболка", + "option_c": "деревянный стол", + "option_d": "доспехи" + }, + "outputs": "D", + "meta": { + "id": 2216 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто проводит электричество?\nA. кирпичик лего\nB. футболка\nC. деревянный стол\nD. доспехи\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.19517210125923157, + "B": 0.11120571196079254, + "C": 0.1833472102880478, + "D": 0.4398271143436432 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда озеро с течением времени подвергается воздействию достаточного количества тепла", + "option_a": "животные уходят", + "option_b": "рыба заболевает", + "option_c": "растения высыхают", + "option_d": "оно перестает существовать" + }, + "outputs": "D", + "meta": { + "id": 2187 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда озеро с течением времени подвергается воздействию достаточного количества тепла\nA) животные уходят\nB) рыба заболевает\nC) растения высыхают\nD) оно перестает существовать\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.17907774448394775, + "B": 0.02923363819718361, + "C": 0.3561386168003082, + "D": 0.3561386168003082 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Изменения на Земле могут произойти в результате", + "option_a": "снежных облаков", + "option_b": "мягкой погоды", + "option_c": "сильных штормов", + "option_d": "повышения температур" + }, + "outputs": "D", + "meta": { + "id": 2306 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИзменения на Земле могут произойти в результате\nA. снежных облаков\nB. мягкой погоды\nC. сильных штормов\nD. повышения температур\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.291669636964798, + "B": 0.1466607004404068, + "C": 0.2418026179075241, + "D": 0.213390052318573 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чему могут повредить взрывы?", + "option_a": "облака", + "option_b": "радиоволны", + "option_c": "воздушный поток", + "option_d": "ползунки" + }, + "outputs": "D", + "meta": { + "id": 245 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чему могут повредить взрывы?\nA) облака\nB) радиоволны\nC) воздушный поток\nD) ползунки\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15132038295269012, + "B": 0.05229492858052254, + "C": 0.49616047739982605, + "D": 0.23436962068080902 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Побочный эффект содержания хаски в качестве домашнего животного заключается в том, что, когда она линяет", + "option_a": "собаке нравится, когда ее вымывают", + "option_b": "мыть всю шерсть легко", + "option_c": "требуется несколько часов, чтобы собрать пылесосом весь мех", + "option_d": "мех все еще прикреплен к коже" + }, + "outputs": "C", + "meta": { + "id": 1178 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Побочный эффект содержания хаски в качестве домашнего животного заключается в том, что, когда она линяет\nA. собаке нравится, когда ее вымывают\nB. мыть всю шерсть легко\nC. требуется несколько часов, чтобы собрать пылесосом весь мех\nD. мех все еще прикреплен к коже\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3613506555557251, + "B": 0.055414918810129166, + "C": 0.12487944960594177, + "D": 0.3613506555557251 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Этиловый спирт можно получить путем дистилляции и ферментации простых сахаров из", + "option_a": "рисовых полей", + "option_b": "влажного песка", + "option_c": "сухих опилок", + "option_d": "крахмалистой суспензии" + }, + "outputs": "D", + "meta": { + "id": 1659 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЭтиловый спирт можно получить путем дистилляции и ферментации простых сахаров из\nA. рисовых полей\nB. влажного песка\nC. сухих опилок\nD. крахмалистой суспензии\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.07549704611301422, + "B": 0.09106682240962982, + "C": 0.23254726827144623, + "D": 0.5578519105911255 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что дает нам пищеварение, когда съеденное расщепляется желудочной кислотой?", + "option_a": "эссе о еде", + "option_b": "воздух", + "option_c": "воду", + "option_d": "средства к существованию" + }, + "outputs": "D", + "meta": { + "id": 1297 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что дает нам пищеварение, когда съеденное расщепляется желудочной кислотой?\nA) эссе о еде\nB) воздух\nC) воду\nD) средства к существованию\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1737900823354721, + "B": 0.1737900823354721, + "C": 0.41690072417259216, + "D": 0.14407704770565033 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дрожащие мышечные спазмы у животных могут быть вызваны", + "option_a": "нахождением правильной температуры", + "option_b": "температурой, близкой к 30 градусам по Цельсию", + "option_c": "близкой к нулю температурой", + "option_d": "без учета температуры" + }, + "outputs": "C", + "meta": { + "id": 1208 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Дрожащие мышечные спазмы у животных могут быть вызваны\nA. нахождением правильной температуры\nB. температурой, близкой к 30 градусам по Цельсию\nC. близкой к нулю температурой\nD. без учета температуры\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.33444371819496155, + "B": 0.1579800248146057, + "C": 0.1309700310230255, + "D": 0.2772635817527771 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто из них использует укрытие для защиты от непогоды?", + "option_a": "планета", + "option_b": "океан", + "option_c": "скала", + "option_d": "многоножка" + }, + "outputs": "D", + "meta": { + "id": 60 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто из них использует укрытие для защиты от непогоды?\nA) планета\nB) океан\nC) скала\nD) многоножка\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.2690154016017914, + "B": 0.1968158781528473, + "C": 0.18489141762256622, + "D": 0.23740527033805847 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Синие птицы обитают на", + "option_a": "обширных зеленых полях", + "option_b": "ледниках", + "option_c": "вулканических кратерах", + "option_d": "океанских волнах" + }, + "outputs": "A", + "meta": { + "id": 899 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Синие птицы обитают на\nA. обширных зеленых полях\nB. ледниках\nC. вулканических кратерах\nD. океанских волнах\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3066244125366211, + "B": 0.1448391228914261, + "C": 0.2880469858646393, + "D": 0.15418043732643127 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На каком продукте вы можете найти отражатель?", + "option_a": "легковой автомобиль", + "option_b": "игровая приставка", + "option_c": "смартфон", + "option_d": "стационарный телефон" + }, + "outputs": "A", + "meta": { + "id": 1151 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа каком продукте вы можете найти отражатель?\nA) легковой автомобиль\nB) игровая приставка\nC) смартфон\nD) стационарный телефон\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.25695300102233887, + "B": 0.24138501286506653, + "C": 0.1558498740196228, + "D": 0.22676022350788116 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Железо прилипает к", + "option_a": "керамическому трону", + "option_b": "к холодильнику", + "option_c": "витамину", + "option_d": "к шапочке-бини" + }, + "outputs": "B", + "meta": { + "id": 1238 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖелезо прилипает к\nA. керамическому трону\nB. к холодильнику\nC. витамину\nD. к шапочке-бини\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1745469719171524, + "B": 0.05323382094502449, + "C": 0.2703436613082886, + "D": 0.4457213282585144 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если существо желает охотиться, что ему меньше всего пригодится?", + "option_a": "зрение", + "option_b": "обоняние", + "option_c": "слух", + "option_d": "неспешное ползание" + }, + "outputs": "D", + "meta": { + "id": 816 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли существо желает охотиться, что ему меньше всего пригодится?\nA. зрение\nB. обоняние\nC. слух\nD. неспешное ползание\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4052411913871765, + "B": 0.04839916154742241, + "C": 0.2616433799266815, + "D": 0.14004762470722198 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Звезда, вокруг которой вращается Юпитер, является источником энергии, называемой", + "option_a": "солнечный свет", + "option_b": "лунный свет", + "option_c": "ультрафиолетовый свет", + "option_d": "флуоресцентный свет." + }, + "outputs": "A", + "meta": { + "id": 1146 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗвезда, вокруг которой вращается Юпитер, является источником энергии, называемой\nA. солнечный свет\nB. лунный свет\nC. ультрафиолетовый свет\nD. флуоресцентный свет.\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.28422319889068604, + "B": 0.5309987664222717, + "C": 0.06341876089572906, + "D": 0.04639815539121628 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мужчина заправляет свой бак на заправке, затем заходит внутрь и платит. Когда он возвращается, его грузовик угоняют! Он преследует грузовик, в то время как вор уезжает на нем и начинает ускоряться. Хотя грузовик казался огромным, минуту назад будучи прямо перед хозяином, но теперь, когда грузовик ускоряется, а мужчина пытается не отставать, грузовик", + "option_a": "выглядит больше", + "option_b": "выглядит меньше", + "option_c": "выглядит холодно", + "option_d": "движется в сторону" + }, + "outputs": "B", + "meta": { + "id": 2304 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМужчина заправляет свой бак на заправке, затем заходит внутрь и платит. Когда он возвращается, его грузовик угоняют! Он преследует грузовик, в то время как вор уезжает на нем и начинает ускоряться. Хотя грузовик казался огромным, минуту назад будучи прямо перед хозяином, но теперь, когда грузовик ускоряется, а мужчина пытается не отставать, грузовик\nA. выглядит больше\nB. выглядит меньше\nC. выглядит холодно\nD. движется в сторону\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 502, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08426166325807571, + "B": 0.020013898611068726, + "C": 0.1478838175535202, + "D": 0.7055142521858215 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Женщина оставляет мясо на прилавке, и на поверхности начинают быстро расти бактерии. Эти бактерии могут вызывать", + "option_a": "протертые апельсины", + "option_b": "рост бобов", + "option_c": "липкую ириску", + "option_d": "порчу пищи" + }, + "outputs": "D", + "meta": { + "id": 2189 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖенщина оставляет мясо на прилавке, и на поверхности начинают быстро расти бактерии. Эти бактерии могут вызывать\nA. протертые апельсины\nB. рост бобов\nC. липкую ириску\nD. порчу пищи\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0835108682513237, + "B": 0.041991908103227615, + "C": 0.7443243265151978, + "D": 0.05739612877368927 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером испарения является высыхание жидкости путем поглощения какой энергии?", + "option_a": "холодовой", + "option_b": "электрической", + "option_c": "тепловой", + "option_d": "холодной" + }, + "outputs": "C", + "meta": { + "id": 121 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Примером испарения является высыхание жидкости путем поглощения какой энергии?\nA. холодовой\nB. электрической\nC. тепловой\nD. холодной\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.2717041075229645, + "B": 0.21160337328910828, + "C": 0.22525063157081604, + "D": 0.18673932552337646 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вы выдыхаете в непосредственной близости от прозрачного стекла, вы можете увидеть, что", + "option_a": "стекло запотевает", + "option_b": "ваше дыхание цветное", + "option_c": "ваше дыхание - воздух", + "option_d": "ваше дыхание неприятно пахнет" + }, + "outputs": "A", + "meta": { + "id": 873 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если вы выдыхаете в непосредственной близости от прозрачного стекла, вы можете увидеть, что\nA) стекло запотевает\nB) ваше дыхание цветное\nC) ваше дыхание - воздух\nD) ваше дыхание неприятно пахнет\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.2666793167591095, + "B": 0.16174918413162231, + "C": 0.25052204728126526, + "D": 0.2076900601387024 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример, который показывает, что земля меняется", + "option_a": "озеро, где было дерево", + "option_b": "город, где было дерево", + "option_c": "дерево, где была птица", + "option_d": "растение, где был камень" + }, + "outputs": "A", + "meta": { + "id": 1500 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Выберите пример, который показывает, что земля меняется\nA) озеро, где было дерево\nB) город, где было дерево\nC) дерево, где была птица\nD) растение, где был камень\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.16325734555721283, + "B": 0.20962658524513245, + "C": 0.28652557730674744, + "D": 0.23753805458545685 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ящерице, вероятно, опасно взаимодействовать с", + "option_a": "деревьями", + "option_b": "орлами", + "option_c": "улитками", + "option_d": "акулами" + }, + "outputs": "B", + "meta": { + "id": 2262 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЯщерице, вероятно, опасно взаимодействовать с\nA. деревьями\nB. орлами\nC. улитками\nD. акулами\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6863744854927063, + "B": 0.03417257219552994, + "C": 0.08197574317455292, + "D": 0.052927516400814056 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Физическое выветривание с помощью льда можно проиллюстрировать указанием на", + "option_a": "дороги в зимних районах, растрескавшиеся и нуждающиеся в постоянном ремонте после зимы", + "option_b": "падение домов в тропиках", + "option_c": "то, что некоторые деревья раскалываются после того, как достигают большой высоты", + "option_d": "то, что лед достаточно холодный, чтобы убить" + }, + "outputs": "A", + "meta": { + "id": 1946 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nФизическое выветривание с помощью льда можно проиллюстрировать указанием на\nA. дороги в зимних районах, растрескавшиеся и нуждающиеся в постоянном ремонте после зимы\nB. падение домов в тропиках\nC. то, что некоторые деревья раскалываются после того, как достигают большой высоты\nD. то, что лед достаточно холодный, чтобы убить\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 482, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8140392899513245, + "B": 0.03156372904777527, + "C": 0.03807312622666359, + "D": 0.01798447035253048 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего, вероятно, составляет путь, по которому электрическая энергия проходит к устройству?", + "option_a": "сталь или медь", + "option_b": "рис или бобы", + "option_c": "персики или сливки", + "option_d": "хлопок и солнечный свет" + }, + "outputs": "A", + "meta": { + "id": 1834 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из следующего, вероятно, составляет путь, по которому электрическая энергия проходит к устройству?\nA) сталь или медь\nB) рис или бобы\nC) персики или сливки\nD) хлопок и солнечный свет\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.021807318553328514, + "B": 0.871090292930603, + "C": 0.023213768377900124, + "D": 0.040741436183452606 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда мы думаем о пчелах, мы также думаем о пыльце. Это потому, что пчелы", + "option_a": "спят в ней", + "option_b": "потребляют ее", + "option_c": "продают ее", + "option_d": "живут в ней" + }, + "outputs": "B", + "meta": { + "id": 615 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда мы думаем о пчелах, мы также думаем о пыльце. Это потому, что пчелы\nA. спят в ней\nB. потребляют ее\nC. продают ее\nD. живут в ней\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5672929286956787, + "B": 0.05616960674524307, + "C": 0.11891105771064758, + "D": 0.14343410730361938 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чего не хватает Луне?", + "option_a": "h2o", + "option_b": "кратеры", + "option_c": "гравитация", + "option_d": "скалы" + }, + "outputs": "A", + "meta": { + "id": 342 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧего не хватает Луне?\nA. h2o\nB. кратеры\nC. гравитация\nD. скалы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7664999961853027, + "B": 0.02042653225362301, + "C": 0.04324297234416008, + "D": 0.038161784410476685 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие животные каждый год возвращаются на одни и те же лежбища, чтобы родить?", + "option_a": "тюлени и морские котики", + "option_b": "орлы и ястребы", + "option_c": "морские крокодилы", + "option_d": "тигровые акулы" + }, + "outputs": "A", + "meta": { + "id": 444 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие животные каждый год возвращаются на одни и те же лежбища, чтобы родить?\nA) тюлени и морские котики\nB) орлы и ястребы\nC) морские крокодилы\nD) тигровые акулы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08595574647188187, + "B": 0.029705511406064034, + "C": 0.08074794709682465, + "D": 0.7661152482032776 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из чего видно, что по мере увеличения размера цветка количество опылителей, которые он привлечет, увеличивается?", + "option_a": "бабочки сливаются с цветами там, где они есть", + "option_b": "утки предпочитают спать в воде с цветущими кувшинками", + "option_c": "люди предпочитают гулять по садам, в которых много цветущих растений", + "option_d": "посадка цветущих крупными цветками растений собирает много пчел" + }, + "outputs": "D", + "meta": { + "id": 1194 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из чего видно, что по мере увеличения размера цветка количество опылителей, которые он привлечет, увеличивается?\nA) бабочки сливаются с цветами там, где они есть\nB) утки предпочитают спать в воде с цветущими кувшинками\nC) люди предпочитают гулять по садам, в которых много цветущих растений\nD) посадка цветущих крупными цветками растений собирает много пчел\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 501, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6840095520019531, + "B": 0.03858917951583862, + "C": 0.05274515226483345, + "D": 0.06772611290216446 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди во многом похожи на обезьян, кроме того, что у них много одинаковых участков ДНК, их дети рождаются", + "option_a": "живыми", + "option_b": "старыми", + "option_c": "безумными", + "option_d": "мертвыми" + }, + "outputs": "A", + "meta": { + "id": 11 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люди во многом похожи на обезьян, кроме того, что у них много одинаковых участков ДНК, их дети рождаются\nA. живыми\nB. старыми\nC. безумными\nD. мертвыми\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.23752285540103912, + "B": 0.10540013015270233, + "C": 0.39160898327827454, + "D": 0.12713681161403656 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если голова исключительно круглая,", + "option_a": "у родителей, вероятно, была круглая голова", + "option_b": "большинство голов круглые", + "option_c": "это является необычным признаком", + "option_d": "в мозгу есть жидкость." + }, + "outputs": "A", + "meta": { + "id": 2277 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли голова исключительно круглая,\nA. у родителей, вероятно, была круглая голова\nB. большинство голов круглые\nC. это является необычным признаком\nD. в мозгу есть жидкость.\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.26241910457611084, + "B": 0.14952190220355988, + "C": 0.29735979437828064, + "D": 0.18035784363746643 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ученик изучает магнитные свойства веществ. У ученика есть магнит, и он проверяет, к каким объектам магнит будет притягиваться. Студент удивлен, что магнит тянется к", + "option_a": "пластиковой чашке", + "option_b": "гипсовой стене", + "option_c": "бумажной тарелке.", + "option_d": "серому камню" + }, + "outputs": "D", + "meta": { + "id": 1285 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ученик изучает магнитные свойства веществ. У ученика есть магнит, и он проверяет, к каким объектам магнит будет притягиваться. Студент удивлен, что магнит тянется к\nA) пластиковой чашке\nB) гипсовой стене\nC) бумажной тарелке.\nD) серому камню\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 483, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.010573032312095165, + "B": 0.006826461758464575, + "C": 0.009932444430887699, + "D": 0.9517539739608765 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется добавление чего-то ядовитого в окружающую среду и причинение ей вреда?", + "option_a": "соблюдение норм", + "option_b": "любование", + "option_c": "чистка", + "option_d": "загрязнение" + }, + "outputs": "D", + "meta": { + "id": 504 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Как называется добавление чего-то ядовитого в окружающую среду и причинение ей вреда?\nA. соблюдение норм\nB. любование\nC. чистка\nD. загрязнение\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.19199462234973907, + "B": 0.0851970985531807, + "C": 0.40645262598991394, + "D": 0.23158970475196838 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животные могут перебраться в новую среду обитания, если их старая среда", + "option_a": "перенесла серьезную грозу", + "option_b": "перенесла сильный ураган", + "option_c": "перенесла нескольких засушливых дней", + "option_d": "в течение недели получила мало осадков" + }, + "outputs": "B", + "meta": { + "id": 2085 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЖивотные могут перебраться в новую среду обитания, если их старая среда\nA. перенесла серьезную грозу\nB. перенесла сильный ураган\nC. перенесла нескольких засушливых дней\nD. в течение недели получила мало осадков\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01565813273191452, + "B": 0.013818252831697464, + "C": 0.9100416898727417, + "D": 0.025815896689891815 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере того, как воздух становится более сухим, он содержит", + "option_a": "больше кислорода", + "option_b": "больше дождя", + "option_c": "меньше влаги", + "option_d": "больше статического электричества" + }, + "outputs": "C", + "meta": { + "id": 2237 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПо мере того, как воздух становится более сухим, он содержит\nA) больше кислорода\nB) больше дождя\nC) меньше влаги\nD) больше статического электричества\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.12328257411718369, + "B": 0.08473078906536102, + "C": 0.19094379246234894, + "D": 0.5525141358375549 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гравитация является примером чего?", + "option_a": "Волшебная сила", + "option_b": "Скорость", + "option_c": "Контактная сила", + "option_d": "Бесконтактная сила" + }, + "outputs": "D", + "meta": { + "id": 430 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГравитация является примером чего?\nA. Волшебная сила\nB. Скорость\nC. Контактная сила\nD. Бесконтактная сила\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.38865989446640015, + "B": 0.15220139920711517, + "C": 0.23573413491249084, + "D": 0.12617938220500946 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто употебляет других животных в пищу?", + "option_a": "ежи", + "option_b": "козы", + "option_c": "кролики", + "option_d": "слоны" + }, + "outputs": "A", + "meta": { + "id": 1478 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто употебляет других животных в пищу?\nA) ежи\nB) козы\nC) кролики\nD) слоны\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.23934036493301392, + "B": 0.17510516941547394, + "C": 0.1863984614610672, + "D": 0.3271394968032837 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вода меньше испаряется", + "option_a": "на жаркой улице", + "option_b": "рядом с окном", + "option_c": "в солнечный день", + "option_d": "в подвале" + }, + "outputs": "D", + "meta": { + "id": 1516 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВода меньше испаряется\nA) на жаркой улице\nB) рядом с окном\nC) в солнечный день\nD) в подвале\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.1919001042842865, + "B": 0.07999587059020996, + "C": 0.3367951810359955, + "D": 0.3367951810359955 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Все ли насекомые должны пройти все стадии изменения, прежде чем стать взрослыми?", + "option_a": "все", + "option_b": "насекомые рождаются живыми", + "option_c": "стадия куколки является обязательной", + "option_d": "стадия куколки иногда пропускается" + }, + "outputs": "D", + "meta": { + "id": 1347 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВсе ли насекомые должны пройти все стадии изменения, прежде чем стать взрослыми?\nA) все\nB) насекомые рождаются живыми\nC) стадия куколки является обязательной\nD) стадия куколки иногда пропускается\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "D" + ] + }, + "predict": { + "A": 0.235309436917305, + "B": 0.19507837295532227, + "C": 0.235309436917305, + "D": 0.2504855990409851 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каков пример изготовления смеси", + "option_a": "смешивание яиц с мукой для изготовления торта", + "option_b": "добавления NaCl в соль", + "option_c": "добавления углекислого газа к CO2", + "option_d": "смешивание H2O с водой" + }, + "outputs": "A", + "meta": { + "id": 643 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКаков пример изготовления смеси\nA) смешивание яиц с мукой для изготовления торта\nB) добавления NaCl в соль\nC) добавления углекислого газа к CO2\nD) смешивание H2O с водой\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2621481120586395, + "B": 0.18017157912254333, + "C": 0.3162109851837158, + "D": 0.15900085866451263 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой из предложенных вариантов поглощает больше солнечного света?", + "option_a": "Пещера", + "option_b": "Ухо слона", + "option_c": "Летучая мышь", + "option_d": "Осьминог" + }, + "outputs": "B", + "meta": { + "id": 161 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой из предложенных вариантов поглощает больше солнечного света?\nA) Пещера\nB) Ухо слона\nC) Летучая мышь\nD) Осьминог\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3189832866191864, + "B": 0.20595109462738037, + "C": 0.18175119161605835, + "D": 0.18175119161605835 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Световое загрязнение в глуши", + "option_a": "повсеместнее", + "option_b": "сильнее", + "option_c": "ярче", + "option_d": "меньше" + }, + "outputs": "D", + "meta": { + "id": 897 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСветовое загрязнение в глуши\nA. повсеместнее\nB. сильнее\nC. ярче\nD. меньше\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.15567684173583984, + "B": 0.07827923446893692, + "C": 0.47951841354370117, + "D": 0.2265084683895111 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отражатели используются для отражения света на", + "option_a": "картоне", + "option_b": "краске", + "option_c": "птицах", + "option_d": "автобусах" + }, + "outputs": "D", + "meta": { + "id": 293 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОтражатели используются для отражения света на\nA) картоне\nB) краске\nC) птицах\nD) автобусах\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.07115545868873596, + "B": 0.29957565665245056, + "C": 0.5257716774940491, + "D": 0.024590671062469482 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Этот тип энергоресурсов часто приводит к образованию твердых частиц, которые очень токсичны для дыхания:", + "option_a": "древесина", + "option_b": "уголь", + "option_c": "нефть", + "option_d": "солнечная энергия" + }, + "outputs": "B", + "meta": { + "id": 533 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Этот тип энергоресурсов часто приводит к образованию твердых частиц, которые очень токсичны для дыхания:\nA) древесина\nB) уголь\nC) нефть\nD) солнечная энергия\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7512633204460144, + "B": 0.027364766225218773, + "C": 0.04802665859460831, + "D": 0.03300820663571358 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вольфрам - это металл, который в больших количествах содержится в волокнах, которые используются в лампах накаливания. Эти лампочки работают, потому что", + "option_a": "нить накаливания начинает излучать энергию при нагревании", + "option_b": "нити накаливания могут замерзать", + "option_c": "лампочки становятся очень теплыми", + "option_d": "нить накаливания загорается и дымит" + }, + "outputs": "A", + "meta": { + "id": 2 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вольфрам - это металл, который в больших количествах содержится в волокнах, которые используются в лампах накаливания. Эти лампочки работают, потому что\nA. нить накаливания начинает излучать энергию при нагревании\nB. нити накаливания могут замерзать\nC. лампочки становятся очень теплыми\nD. нить накаливания загорается и дымит\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 496, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.1837017685174942, + "B": 0.19554951786994934, + "C": 0.16211624443531036, + "D": 0.388896644115448 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере того, как корни растения разрастаются, они встречают это препятствие и разделяются, огибая его. Что это за препятствие?", + "option_a": "черви", + "option_b": "вода", + "option_c": "атомы", + "option_d": "ранита" + }, + "outputs": "D", + "meta": { + "id": 102 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПо мере того, как корни растения разрастаются, они встречают это препятствие и разделяются, огибая его. Что это за препятствие?\nA. черви\nB. вода\nC. атомы\nD. ранита\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.222523495554924, + "B": 0.26841455698013306, + "C": 0.222523495554924, + "D": 0.18447846174240112 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Моряк, вероятно, будет использовать этот инструмент чаще, чем другие:", + "option_a": "пластина с заглушкой", + "option_b": "свеча с фитилем", + "option_c": "карта с дыркой", + "option_d": "диск со стрелкой" + }, + "outputs": "D", + "meta": { + "id": 1222 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМоряк, вероятно, будет использовать этот инструмент чаще, чем другие:\nA. пластина с заглушкой\nB. свеча с фитилем\nC. карта с дыркой\nD. диск со стрелкой\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.1654941588640213, + "B": 0.39699986577033997, + "C": 0.18752945959568024, + "D": 0.1371994912624359 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Микроскоп можно поставить против солнца и", + "option_a": "Сделать снимок земли крупным планом", + "option_b": "Обеспечить тень в жаркий день", + "option_c": "сжечь муравья на пути света", + "option_d": "Показать, сколько морщин у меня на коже тела" + }, + "outputs": "C", + "meta": { + "id": 1850 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМикроскоп можно поставить против солнца и\nA. Сделать снимок земли крупным планом\nB. Обеспечить тень в жаркий день\nC. сжечь муравья на пути света\nD. Показать, сколько морщин у меня на коже тела\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.24247929453849792, + "B": 0.4255644381046295, + "C": 0.1297898143529892, + "D": 0.07872150838375092 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пруд может быть сообществом, потому что", + "option_a": "рыба и лягушки уживаются", + "option_b": "существует взаимодействие форм жизни", + "option_c": "формы жизни собираются вместе пообщаться", + "option_d": "наблюдается значительный рост популяции" + }, + "outputs": "B", + "meta": { + "id": 1854 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПруд может быть сообществом, потому что\nA. рыба и лягушки уживаются\nB. существует взаимодействие форм жизни\nC. формы жизни собираются вместе пообщаться\nD. наблюдается значительный рост популяции\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13170510530471802, + "B": 0.5544992089271545, + "C": 0.0905195027589798, + "D": 0.15886668860912323 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примерно тринадцать раз в год Луна", + "option_a": "врезается в Землю", + "option_b": "полностью облетает вокруг Земли", + "option_c": "поджигает Землю", + "option_d": "останавливает свое движение вокруг Земли" + }, + "outputs": "B", + "meta": { + "id": 415 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримерно тринадцать раз в год Луна\nA. врезается в Землю\nB. полностью облетает вокруг Земли\nC. поджигает Землю\nD. останавливает свое движение вокруг Земли\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4196819067001343, + "B": 0.10611220449209213, + "C": 0.17494945228099823, + "D": 0.19824370741844177 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример инстинктивного поведения:", + "option_a": "зимний полет на юг", + "option_b": "ковка", + "option_c": "лазание", + "option_d": "перемещение" + }, + "outputs": "A", + "meta": { + "id": 748 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПример инстинктивного поведения:\nA) зимний полет на юг\nB) ковка\nC) лазание\nD) перемещение\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7026772499084473, + "B": 0.03286465257406235, + "C": 0.04219904914498329, + "D": 0.061399251222610474 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда Луна вращается вокруг нашей планеты", + "option_a": "уровень океана повышается и понижается", + "option_b": "реки текут в противоположном направлении", + "option_c": "все живые существа засыпают", + "option_d": "уровень моря остается прежним" + }, + "outputs": "A", + "meta": { + "id": 1411 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда Луна вращается вокруг нашей планеты\nA. уровень океана повышается и понижается\nB. реки текут в противоположном направлении\nC. все живые существа засыпают\nD. уровень моря остается прежним\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5590012669563293, + "B": 0.06676318496465683, + "C": 0.15045315027236938, + "D": 0.0756525993347168 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вещество находится в промежуточном состоянии между газом и твердым телом, оно, вероятнее всего,", + "option_a": "является жидкостью", + "option_b": "станет дверью", + "option_c": "станет менее тяжелым", + "option_d": "посетит школу" + }, + "outputs": "A", + "meta": { + "id": 1689 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если вещество находится в промежуточном состоянии между газом и твердым телом, оно, вероятнее всего,\nA) является жидкостью\nB) станет дверью\nC) станет менее тяжелым\nD) посетит школу\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.25408124923706055, + "B": 0.15410806238651276, + "C": 0.25408124923706055, + "D": 0.23868723213672638 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воздух дует на мяч одинаково с востока и запада, что мяч будет делать?", + "option_a": "Двигаться на восток", + "option_b": "Двигаться на запад", + "option_c": "Двигаться на север", + "option_d": "Замрет на месте" + }, + "outputs": "D", + "meta": { + "id": 861 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВоздух дует на мяч одинаково с востока и запада, что мяч будет делать?\nA) Двигаться на восток\nB) Двигаться на запад\nC) Двигаться на север\nD) Замрет на месте\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7178911566734314, + "B": 0.029630908742547035, + "C": 0.0857398733496666, + "D": 0.0627286285161972 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда жизненная форма вегетативного организма переходит в состояние создания жизни из себя, как это называется?", + "option_a": "размножение", + "option_b": "окраска", + "option_c": "сбор семян", + "option_d": "гибернация" + }, + "outputs": "A", + "meta": { + "id": 1828 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда жизненная форма вегетативного организма переходит в состояние создания жизни из себя, как это называется?\nA) размножение\nB) окраска\nC) сбор семян\nD) гибернация\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.07226807624101639, + "B": 0.034137021750211716, + "C": 0.6441183686256409, + "D": 0.19644498825073242 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие черты можно передать с помощью генов?", + "option_a": "деньги", + "option_b": "мысли", + "option_c": "нос", + "option_d": "привычки" + }, + "outputs": "C", + "meta": { + "id": 2279 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие черты можно передать с помощью генов?\nA. деньги\nB. мысли\nC. нос\nD. привычки\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 424, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1150636151432991, + "B": 0.05785762146115303, + "C": 0.6621454358100891, + "D": 0.08961164206266403 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда автомобиль приближается к бегуну, фары освещают бегуна лучше. Что этому причиной?", + "option_a": "гравитация лун", + "option_b": "движение по кругу", + "option_c": "близость к объекту", + "option_d": "вращение солнца" + }, + "outputs": "C", + "meta": { + "id": 85 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда автомобиль приближается к бегуну, фары освещают бегуна лучше. Что этому причиной?\nA. гравитация лун\nB. движение по кругу\nC. близость к объекту\nD. вращение солнца\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.023468755185604095, + "B": 0.01612982340157032, + "C": 0.8806585073471069, + "D": 0.03634912148118019 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лампа накаливания требует, чтобы нить накала", + "option_a": "преобразовывала механическую энергию в ядерную", + "option_b": "испускала рентгеновское излучение", + "option_c": "испускала свет", + "option_d": "преобразовывала химическую энергию в механическую" + }, + "outputs": "C", + "meta": { + "id": 1626 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛампа накаливания требует, чтобы нить накала\nA. преобразовывала механическую энергию в ядерную\nB. испускала рентгеновское излучение\nC. испускала свет\nD. преобразовывала химическую энергию в механическую\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.307405561208725, + "B": 0.1751544177532196, + "C": 0.08807317167520523, + "D": 0.3483361303806305 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что меняется при раскрашивании объекта?", + "option_a": "химический состав", + "option_b": "цвет ржавчины", + "option_c": "плотность объекта", + "option_d": "поглощение света" + }, + "outputs": "D", + "meta": { + "id": 1882 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто меняется при раскрашивании объекта?\nA) химический состав\nB) цвет ржавчины\nC) плотность объекта\nD) поглощение света\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.07955780625343323, + "B": 0.037580445408821106, + "C": 0.5522406101226807, + "D": 0.2776840329170227 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Население Земли может столкнуться с голодом, если что из этого прекратится?", + "option_a": "танцы на льду", + "option_b": "шоу «Голос»", + "option_c": "исследования в области клонирования человеческого гена", + "option_d": "сохранение структуры пищевой пирамиды" + }, + "outputs": "D", + "meta": { + "id": 1905 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНаселение Земли может столкнуться с голодом, если что из этого прекратится?\nA. танцы на льду\nB. шоу «Голос»\nC. исследования в области клонирования человеческого гена\nD. сохранение структуры пищевой пирамиды\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.28682971000671387, + "B": 0.22338320314884186, + "C": 0.28682971000671387, + "D": 0.07719916850328445 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди худеют, когда", + "option_a": "они переедают", + "option_b": "они слишком много едят", + "option_c": "им не хватает еды", + "option_d": "они едят пищу" + }, + "outputs": "C", + "meta": { + "id": 688 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люди худеют, когда\nA. они переедают\nB. они слишком много едят\nC. им не хватает еды\nD. они едят пищу\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.19605684280395508, + "B": 0.38990557193756104, + "C": 0.07677695900201797, + "D": 0.28526100516319275 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вращение этой планеты вокруг своей оси вызывает на ней быструю смену циклов дня и ночи, и восход Солнца на ней можно наблюдать каждые 10 часов. Речь о", + "option_a": "Орионе", + "option_b": "Луне", + "option_c": "Плутоне", + "option_d": "Юпитере" + }, + "outputs": "D", + "meta": { + "id": 1476 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вращение этой планеты вокруг своей оси вызывает на ней быструю смену циклов дня и ночи, и восход Солнца на ней можно наблюдать каждые 10 часов. Речь о\nA) Орионе\nB) Луне\nC) Плутоне\nD) Юпитере\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 470, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.11135261505842209, + "B": 0.19542992115020752, + "C": 0.4404081404209137, + "D": 0.19542992115020752 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Этот орган поможет обеспечить ваше тело питательными веществами", + "option_a": "легкие", + "option_b": "пищевод", + "option_c": "почки", + "option_d": "мочевой пузырь" + }, + "outputs": "B", + "meta": { + "id": 2208 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЭтот орган поможет обеспечить ваше тело питательными веществами\nA. легкие\nB. пищевод\nC. почки\nD. мочевой пузырь\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.07818910479545593, + "B": 0.3970770537853241, + "C": 0.06089374050498009, + "D": 0.42268630862236023 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую растительность вы можете найти в жарких районах с малым количеством осадков?", + "option_a": "подсолнухи", + "option_b": "пальмы", + "option_c": "кусты роз", + "option_d": "кактусы" + }, + "outputs": "D", + "meta": { + "id": 1885 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакую растительность вы можете найти в жарких районах с малым количеством осадков?\nA. подсолнухи\nB. пальмы\nC. кусты роз\nD. кактусы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09830937534570694, + "B": 0.12623174488544464, + "C": 0.565731406211853, + "D": 0.11858375370502472 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Органическая жизнь требует для роста определенных вещей, таких как", + "option_a": "кислота", + "option_b": "цинк", + "option_c": "пищевая ценность", + "option_d": "темнота" + }, + "outputs": "C", + "meta": { + "id": 474 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОрганическая жизнь требует для роста определенных вещей, таких как\nA. кислота\nB. цинк\nC. пищевая ценность\nD. темнота\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2664780616760254, + "B": 0.059459295123815536, + "C": 0.4676836133003235, + "D": 0.08651277422904968 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Белые медведи в холодных ____", + "option_a": "тропиках", + "option_b": "планетах", + "option_c": "местах", + "option_d": "домах" + }, + "outputs": "C", + "meta": { + "id": 1638 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Белые медведи в холодных ____\nA. тропиках\nB. планетах\nC. местах\nD. домах\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.4419528543949127, + "B": 0.09263835102319717, + "C": 0.23656032979488373, + "D": 0.07679988443851471 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В пищевой цепочке существуют производители, и они в основном", + "option_a": "такие существа, как олени", + "option_b": "нуждаются в фотосинтезе для выживания", + "option_c": "производят то, что называется хлорофиллом", + "option_d": "хорошо зарабатывают на работе" + }, + "outputs": "B", + "meta": { + "id": 871 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ пищевой цепочке существуют производители, и они в основном\nA. такие существа, как олени\nB. нуждаются в фотосинтезе для выживания\nC. производят то, что называется хлорофиллом\nD. хорошо зарабатывают на работе\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.2689281105995178, + "B": 0.2094414085149765, + "C": 0.19675199687480927, + "D": 0.2094414085149765 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем вызваны обильные осадки?", + "option_a": "ветер Венеры", + "option_b": "сильные штормы", + "option_c": "самолеты", + "option_d": "разрушение менталитета" + }, + "outputs": "B", + "meta": { + "id": 1588 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧем вызваны обильные осадки?\nA. ветер Венеры\nB. сильные штормы\nC. самолеты\nD. разрушение менталитета\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.744544506072998, + "B": 0.03482281044125557, + "C": 0.03482281044125557, + "D": 0.03271300345659256 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "К чему приводит поглощение солнечного света объектами?", + "option_a": "нагревание", + "option_b": "холодно", + "option_c": "заморозить", + "option_d": "прохладно" + }, + "outputs": "A", + "meta": { + "id": 1189 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nК чему приводит поглощение солнечного света объектами?\nA. нагревание\nB. холодно\nC. заморозить\nD. прохладно\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.019393935799598694, + "B": 0.30337220430374146, + "C": 0.028218012303113937, + "D": 0.6033276319503784 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего нужен телескоп?", + "option_a": "очищать воду", + "option_b": "составлять звездные карты", + "option_c": "кормить животных", + "option_d": "изучать небесные тела" + }, + "outputs": "D", + "meta": { + "id": 13 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДля чего нужен телескоп?\nA. очищать воду\nB. составлять звездные карты\nC. кормить животных\nD. изучать небесные тела\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.037066057324409485, + "B": 0.7925072312355042, + "C": 0.037066057324409485, + "D": 0.07371465116739273 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что содержит питательные вещества для растений?", + "option_a": "выброшенный пластик", + "option_b": "измельченные минералы", + "option_c": "ветер", + "option_d": "грязная одежда" + }, + "outputs": "B", + "meta": { + "id": 733 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто содержит питательные вещества для растений?\nA. выброшенный пластик\nB. измельченные минералы\nC. ветер\nD. грязная одежда\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.24303719401359558, + "B": 0.06963132321834564, + "C": 0.45405322313308716, + "D": 0.12220676988363266 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шмели любят делать это зимой", + "option_a": "длительный загул", + "option_b": "длительные прогулки", + "option_c": "длительный полет", + "option_d": "длительный сон" + }, + "outputs": "D", + "meta": { + "id": 2126 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Шмели любят делать это зимой\nA) длительный загул\nB) длительные прогулки\nC) длительный полет\nD) длительный сон\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1861657053232193, + "B": 0.17488650977611542, + "C": 0.32673099637031555, + "D": 0.2245587259531021 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда разжиженная почва течет по тушам и высыхает, спустя долгое время она превращается", + "option_a": "в озера", + "option_b": "в окаменелости", + "option_c": "в пузырьки", + "option_d": "в алмазы" + }, + "outputs": "B", + "meta": { + "id": 590 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда разжиженная почва течет по тушам и высыхает, спустя долгое время она превращается\nA. в озера\nB. в окаменелости\nC. в пузырьки\nD. в алмазы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3465462625026703, + "B": 0.05314459651708603, + "C": 0.1854928582906723, + "D": 0.3255501091480255 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если студенту нужно путешествовать с обедом на большие расстояния, у кого из них будет самая свежая еда?", + "option_a": "учащийся со свежеприготовленной пищей", + "option_b": "учащийся с сырой говядиной", + "option_c": "учащийся с сырой рыбой", + "option_d": "учащийся с пищей, содержащей консерванты" + }, + "outputs": "D", + "meta": { + "id": 295 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли студенту нужно путешествовать с обедом на большие расстояния, у кого из них будет самая свежая еда?\nA. учащийся со свежеприготовленной пищей\nB. учащийся с сырой говядиной\nC. учащийся с сырой рыбой\nD. учащийся с пищей, содержащей консерванты\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09705055505037308, + "B": 0.6736643314361572, + "C": 0.09117055684328079, + "D": 0.08564680814743042 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Электричество может течь по цепи после того, как ...?", + "option_a": "лампа горит постоянно", + "option_b": "цепь замкнута", + "option_c": "рубильник выключен", + "option_d": "ружье заряжено" + }, + "outputs": "B", + "meta": { + "id": 1742 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЭлектричество может течь по цепи после того, как ...?\nA) лампа горит постоянно\nB) цепь замкнута\nC) рубильник выключен\nD) ружье заряжено\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.061336006969213486, + "B": 0.028973078355193138, + "C": 0.7954174280166626, + "D": 0.06950279325246811 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда по бейсбольному мячу бьют битой, что начинают делать частицы мяча?", + "option_a": "Летать", + "option_b": "Говорить", + "option_c": "Вибрировать", + "option_d": "Катиться" + }, + "outputs": "C", + "meta": { + "id": 114 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда по бейсбольному мячу бьют битой, что начинают делать частицы мяча?\nA) Летать\nB) Говорить\nC) Вибрировать\nD) Катиться\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.3271750211715698, + "B": 0.07771087437868118, + "C": 0.3482759892940521, + "D": 0.13638682663440704 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Провод может нагреваться, когда через него протекает какой-то ток?", + "option_a": "ветер", + "option_b": "сила удара", + "option_c": "вода", + "option_d": "каменистый" + }, + "outputs": "B", + "meta": { + "id": 404 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПровод может нагреваться, когда через него протекает какой-то ток?\nA) ветер\nB) сила удара\nC) вода\nD) каменистый\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08805593848228455, + "B": 0.784834086894989, + "C": 0.03239397332072258, + "D": 0.03239397332072258 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каково родительское поведение млекопитающих?", + "option_a": "им не хватает заботы о своих молодых особях", + "option_b": "они кормят своих детенышей", + "option_c": "млекопитающие едят свой молодняк", + "option_d": "у млекопитающих нет потомства" + }, + "outputs": "B", + "meta": { + "id": 891 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКаково родительское поведение млекопитающих?\nA. им не хватает заботы о своих молодых особях\nB. они кормят своих детенышей\nC. млекопитающие едят свой молодняк\nD. у млекопитающих нет потомства\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.31120288372039795, + "B": 0.11448515206575394, + "C": 0.16657491028308868, + "D": 0.31120288372039795 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Галька в реке становится гладкой из-за чего?", + "option_a": "плавность течения", + "option_b": "движение рыбы", + "option_c": "грубость пород, из которых состоит галька", + "option_d": "постоянное движение воды в реке" + }, + "outputs": "D", + "meta": { + "id": 1354 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГалька в реке становится гладкой из-за чего?\nA) плавность течения\nB) движение рыбы\nC) грубость пород, из которых состоит галька\nD) постоянное движение воды в реке\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.16354918479919434, + "B": 0.1972779780626297, + "C": 0.1972779780626297, + "D": 0.36856377124786377 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как рыба-прилипала получает еду?", + "option_a": "ловит ее в сети", + "option_b": "крадет", + "option_c": "охотится из засады", + "option_d": "ест паразитов с кожи носителя" + }, + "outputs": "D", + "meta": { + "id": 1894 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКак рыба-прилипала получает еду?\nA. ловит ее в сети\nB. крадет\nC. охотится из засады\nD. ест паразитов с кожи носителя\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.018129287287592888, + "B": 0.013263668864965439, + "C": 0.011705147102475166, + "D": 0.9298549890518188 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что никогда не иссякнет?", + "option_a": "бензин", + "option_b": "природный газ", + "option_c": "уголь", + "option_d": "солнечный свет" + }, + "outputs": "D", + "meta": { + "id": 1645 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто никогда не иссякнет?\nA. бензин\nB. природный газ\nC. уголь\nD. солнечный свет\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.15518887341022491, + "B": 0.1651977002620697, + "C": 0.17585201561450958, + "D": 0.4490538537502289 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Венерины мухоловки не создают себе пищу путем фотосинтеза потому что", + "option_a": "они нездоровы", + "option_b": "им нужна вода", + "option_c": "они растут медленно", + "option_d": "им нужны насекомые" + }, + "outputs": "D", + "meta": { + "id": 992 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Венерины мухоловки не создают себе пищу путем фотосинтеза потому что\nA) они нездоровы\nB) им нужна вода\nC) они растут медленно\nD) им нужны насекомые\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.24019286036491394, + "B": 0.1368577629327774, + "C": 0.05705080181360245, + "D": 0.5084882974624634 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой вид энергии можно сделать из движущихся ветров?", + "option_a": "снег", + "option_b": "дерево", + "option_c": "бананы", + "option_d": "электричество" + }, + "outputs": "D", + "meta": { + "id": 544 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какой вид энергии можно сделать из движущихся ветров?\nA. снег\nB. дерево\nC. бананы\nD. электричество\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3339597284793854, + "B": 0.12285692989826202, + "C": 0.2025568187236786, + "D": 0.22952693700790405 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Натирание кальция на терке", + "option_a": "доказывает, что кальций белый", + "option_b": "доказывает, что кальций острый", + "option_c": "доказывает, что кальций горячий", + "option_d": "доказывает, что кальций хрупкий" + }, + "outputs": "D", + "meta": { + "id": 2259 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Натирание кальция на терке\nA) доказывает, что кальций белый\nB) доказывает, что кальций острый\nC) доказывает, что кальций горячий\nD) доказывает, что кальций хрупкий\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08208010345697403, + "B": 0.5697488188743591, + "C": 0.23750664293766022, + "D": 0.04676783084869385 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В дождливую погоду", + "option_a": "больше солнечных дней", + "option_b": "больше пасмурных дней", + "option_c": "меньше пасмурных дней", + "option_d": "всегда сухая среда" + }, + "outputs": "B", + "meta": { + "id": 246 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ дождливую погоду\nA) больше солнечных дней\nB) больше пасмурных дней\nC) меньше пасмурных дней\nD) всегда сухая среда\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4060874581336975, + "B": 0.2041936069726944, + "C": 0.10267499089241028, + "D": 0.14939124882221222 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что сильнее возбуждает активность вкусовых рецепторов", + "option_a": "сахароза", + "option_b": "лава", + "option_c": "песок", + "option_d": "вода" + }, + "outputs": "A", + "meta": { + "id": 1538 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что сильнее возбуждает активность вкусовых рецепторов\nA) сахароза\nB) лава\nC) песок\nD) вода\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3111794590950012, + "B": 0.13808505237102509, + "C": 0.25797685980796814, + "D": 0.18873989582061768 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если здание внезапно рухнет внутрь, люди, работающие внутри, скорее всего,", + "option_a": "уйдут на поверхность", + "option_b": "держатся подальше", + "option_c": "уйдут домой", + "option_d": "уйдут под землю" + }, + "outputs": "D", + "meta": { + "id": 1793 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли здание внезапно рухнет внутрь, люди, работающие внутри, скорее всего,\nA) уйдут на поверхность\nB) держатся подальше\nC) уйдут домой\nD) уйдут под землю\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.21735994517803192, + "B": 0.05850163474678993, + "C": 0.4322718679904938, + "D": 0.20419077575206757 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто использует жабры для дыхания?", + "option_a": "синяя птица", + "option_b": "человек", + "option_c": "синий кит", + "option_d": "рак-отшельник" + }, + "outputs": "D", + "meta": { + "id": 684 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто использует жабры для дыхания?\nA. синяя птица\nB. человек\nC. синий кит\nD. рак-отшельник\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.014331873506307602, + "B": 0.00925335381180048, + "C": 0.010485423728823662, + "D": 0.9438676834106445 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что такое теплица?", + "option_a": "Особняк напротив Белого дома", + "option_b": "Дом, выкрашенный в зеленый цвет", + "option_c": "Секретная армейская база", + "option_d": "Место для иностранных растений" + }, + "outputs": "D", + "meta": { + "id": 1548 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что такое теплица?\nA. Особняк напротив Белого дома\nB. Дом, выкрашенный в зеленый цвет\nC. Секретная армейская база\nD. Место для иностранных растений\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.811549961566925, + "B": 0.02302190102636814, + "C": 0.026087231934070587, + "D": 0.026087231934070587 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Землетрясение заставляет землю", + "option_a": "подпрыгивать и дрожать", + "option_b": "читать стихи", + "option_c": "выращивать фрукты", + "option_d": "бегать марафоны" + }, + "outputs": "A", + "meta": { + "id": 1986 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗемлетрясение заставляет землю\nA. подпрыгивать и дрожать\nB. читать стихи\nC. выращивать фрукты\nD. бегать марафоны\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4975709915161133, + "B": 0.05244359374046326, + "C": 0.13391941785812378, + "D": 0.17195594310760498 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда у существа работает чувство осязания, существо, вероятно,", + "option_a": "делает действительно хороший выбор пищи", + "option_b": "садится на следующий поезд", + "option_c": "становится мертвым от полного истощения", + "option_d": "ощущает текстуру вещи" + }, + "outputs": "D", + "meta": { + "id": 875 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда у существа работает чувство осязания, существо, вероятно,\nA. делает действительно хороший выбор пищи\nB. садится на следующий поезд\nC. становится мертвым от полного истощения\nD. ощущает текстуру вещи\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0076582469046115875, + "B": 0.0071942564100027084, + "C": 0.9422616958618164, + "D": 0.008152160793542862 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поначалу будет сложно, если взять бездомную кошку жить к себе домой, но поскольку животные адаптируются, она постепенно", + "option_a": "улетит", + "option_b": "отправится в космос", + "option_c": "акклиматизируется", + "option_d": "научится дышать под водой" + }, + "outputs": "C", + "meta": { + "id": 206 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПоначалу будет сложно, если взять бездомную кошку жить к себе домой, но поскольку животные адаптируются, она постепенно\nA. улетит\nB. отправится в космос\nC. акклиматизируется\nD. научится дышать под водой\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.13824456930160522, + "B": 0.15665161609649658, + "C": 0.5136408805847168, + "D": 0.10766497999429703 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Объем съеденной еды в желудке уменьшается, потому что", + "option_a": "мозгу нужно время, чтобы переварить все", + "option_b": ", достаточно секунды, чтобы переварить все", + "option_c": "питательные вещества разрушаются", + "option_d": "дайджест читателя - это совокупность работ" + }, + "outputs": "C", + "meta": { + "id": 2288 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОбъем съеденной еды в желудке уменьшается, потому что\nA) мозгу нужно время, чтобы переварить все\nB) , достаточно секунды, чтобы переварить все\nC) питательные вещества разрушаются\nD) дайджест читателя - это совокупность работ\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09154922515153885, + "B": 0.8159694075584412, + "C": 0.021744849160313606, + "D": 0.024640142917633057 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда растение поливают, по какой системе жидкость уходит из участка почвы туда, где она нужна?", + "option_a": "ороситель", + "option_b": "ксилема", + "option_c": "цветы", + "option_d": "листья" + }, + "outputs": "B", + "meta": { + "id": 1388 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда растение поливают, по какой системе жидкость уходит из участка почвы туда, где она нужна?\nA. ороситель\nB. ксилема\nC. цветы\nD. листья\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1774972677230835, + "B": 0.13823501765727997, + "C": 0.39999625086784363, + "D": 0.2141025811433792 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для рассматривания кого увеличительное стекло было бы бесполезно?", + "option_a": "головастик", + "option_b": "муравей", + "option_c": "слон", + "option_d": "термит" + }, + "outputs": "C", + "meta": { + "id": 759 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для рассматривания кого увеличительное стекло было бы бесполезно?\nA. головастик\nB. муравей\nC. слон\nD. термит\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2291584461927414, + "B": 0.08973973244428635, + "C": 0.33342355489730835, + "D": 0.25967052578926086 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Серые облака являются источником", + "option_a": "жаркой погоды", + "option_b": "электрических токов", + "option_c": "витамина D", + "option_d": "падающих жидкостей" + }, + "outputs": "D", + "meta": { + "id": 1870 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Серые облака являются источником\nA. жаркой погоды\nB. электрических токов\nC. витамина D\nD. падающих жидкостей\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6426311731338501, + "B": 0.06773282587528229, + "C": 0.08697067201137543, + "D": 0.05275037884712219 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Магнит будет прилипать к", + "option_a": "стальной пряжке ремня", + "option_b": "к деревянному столу", + "option_c": "к пластиковому стакану", + "option_d": "к бумажной тарелке." + }, + "outputs": "A", + "meta": { + "id": 497 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМагнит будет прилипать к\nA. стальной пряжке ремня\nB. к деревянному столу\nC. к пластиковому стакану\nD. к бумажной тарелке.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.14383254945278168, + "B": 0.6055576205253601, + "C": 0.07232354581356049, + "D": 0.0872388482093811 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Примером изменения природной среды на Земле является", + "option_a": "движущийся песок Марса", + "option_b": "извергающийся вулкан на Гавайях, выжигающий лес", + "option_c": "Луна, увеличивающаяся в ночном небе", + "option_d": "строящийся небоскреб" + }, + "outputs": "B", + "meta": { + "id": 1009 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПримером изменения природной среды на Земле является\nA) движущийся песок Марса\nB) извергающийся вулкан на Гавайях, выжигающий лес\nC) Луна, увеличивающаяся в ночном небе\nD) строящийся небоскреб\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.31076574325561523, + "B": 0.06934121251106262, + "C": 0.2273610681295395, + "D": 0.31076574325561523 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто бы процветал, если бы вымерли соколы, канюки и коршуны", + "option_a": "воздух", + "option_b": "магия", + "option_c": "эмоции", + "option_d": "хомяки" + }, + "outputs": "D", + "meta": { + "id": 869 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кто бы процветал, если бы вымерли соколы, канюки и коршуны\nA) воздух\nB) магия\nC) эмоции\nD) хомяки\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.764734148979187, + "B": 0.062773197889328, + "C": 0.029651960358023643, + "D": 0.029651960358023643 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если порода осадочная, то", + "option_a": "осадок был уплотнен давлением в характерные слои", + "option_b": "осадок был упакован в животики", + "option_c": "осадок был отполирован солью", + "option_d": "осадок был сплавлен с лавой" + }, + "outputs": "A", + "meta": { + "id": 217 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если порода осадочная, то\nA) осадок был уплотнен давлением в характерные слои\nB) осадок был упакован в животики\nC) осадок был отполирован солью\nD) осадок был сплавлен с лавой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 470, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.07005161792039871, + "B": 0.027432607486844063, + "C": 0.8016983270645142, + "D": 0.04522872716188431 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отказ от использования ископаемого топлива является примером", + "option_a": "либерализма", + "option_b": "консервационизма", + "option_c": "уязвимости экосистемы", + "option_d": "протекционизма" + }, + "outputs": "B", + "meta": { + "id": 1617 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОтказ от использования ископаемого топлива является примером\nA. либерализма\nB. консервационизма\nC. уязвимости экосистемы\nD. протекционизма\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.055471014231443405, + "B": 0.023123759776353836, + "C": 0.8151406049728394, + "D": 0.04895299673080444 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Единственное, что получают хищники от других животных", + "option_a": "полеты", + "option_b": "деньги", + "option_c": "пропитание", + "option_d": "рестораны" + }, + "outputs": "C", + "meta": { + "id": 1668 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Единственное, что получают хищники от других животных\nA) полеты\nB) деньги\nC) пропитание\nD) рестораны\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.779253363609314, + "B": 0.026664583012461662, + "C": 0.02838430181145668, + "D": 0.04981600120663643 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие погодные явления могут повредить лобовое стекло?", + "option_a": "ледяные осадки", + "option_b": "легкий ветерок", + "option_c": "облака", + "option_d": "конденсация" + }, + "outputs": "A", + "meta": { + "id": 1787 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие погодные явления могут повредить лобовое стекло?\nA. ледяные осадки\nB. легкий ветерок\nC. облака\nD. конденсация\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7530149817466736, + "B": 0.039908330887556076, + "C": 0.03749040886759758, + "D": 0.021361391991376877 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Люди едят пищу или закуски, и содержащие в еде вещества обрабатываются", + "option_a": "желудочно-кишечным трактом", + "option_b": "гамбургерами и картофелем фри", + "option_c": "репродуктивной системой", + "option_d": "глазным отделом" + }, + "outputs": "A", + "meta": { + "id": 61 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Люди едят пищу или закуски, и содержащие в еде вещества обрабатываются\nA) желудочно-кишечным трактом\nB) гамбургерами и картофелем фри\nC) репродуктивной системой\nD) глазным отделом\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3189661502838135, + "B": 0.11734110116958618, + "C": 0.2814866304397583, + "D": 0.1506689488887787 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Больше бабочек появится, когда лютики станут более", + "option_a": "разросшимися", + "option_b": "рекламируемыми", + "option_c": "дружественными для социальных сетей", + "option_d": "токсичными" + }, + "outputs": "A", + "meta": { + "id": 168 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБольше бабочек появится, когда лютики станут более\nA) разросшимися\nB) рекламируемыми\nC) дружественными для социальных сетей\nD) токсичными\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.26189863681793213, + "B": 0.0704890564084053, + "C": 0.07987456768751144, + "D": 0.5208476185798645 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Порошковые вещества, такие как орегано и перец, которые используются для придания аромата пищевым продуктам, поступают от", + "option_a": "организмов-хищников", + "option_b": "от производителей нефти", + "option_c": "сыра", + "option_d": "организмов-производителей" + }, + "outputs": "D", + "meta": { + "id": 266 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПорошковые вещества, такие как орегано и перец, которые используются для придания аромата пищевым продуктам, поступают от\nA. организмов-хищников\nB. от производителей нефти\nC. сыра\nD. организмов-производителей\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.37124210596084595, + "B": 0.2551507353782654, + "C": 0.14538049697875977, + "D": 0.08817773312330246 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Проще всего получить четкое фото Луны,", + "option_a": "используя телескопический объектив", + "option_b": ", используя телеобъектив", + "option_c": "используя большое увеличительное стекло", + "option_d": "глядя в микроскоп." + }, + "outputs": "A", + "meta": { + "id": 1426 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПроще всего получить четкое фото Луны,\nA. используя телескопический объектив\nB. , используя телеобъектив\nC. используя большое увеличительное стекло\nD. глядя в микроскоп.\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.22989770770072937, + "B": 0.1230553686618805, + "C": 0.2028840184211731, + "D": 0.3790372312068939 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Во время сезона дождей в городе количество солнечного света в этом городе будет", + "option_a": "оставаться таким же", + "option_b": "расти", + "option_c": "увеличиваться", + "option_d": "уменьшаться" + }, + "outputs": "D", + "meta": { + "id": 428 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Во время сезона дождей в городе количество солнечного света в этом городе будет\nA) оставаться таким же\nB) расти\nC) увеличиваться\nD) уменьшаться\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3922848701477051, + "B": 0.02841702289879322, + "C": 0.23793280124664307, + "D": 0.23793280124664307 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отложение карбоната кальция - это процесс формирования чего?", + "option_a": "Кристаллы", + "option_b": "Песчинки", + "option_c": "Драгоценные камни", + "option_d": "Сталактиты" + }, + "outputs": "D", + "meta": { + "id": 81 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Отложение карбоната кальция - это процесс формирования чего?\nA) Кристаллы\nB) Песчинки\nC) Драгоценные камни\nD) Сталактиты\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.23615390062332153, + "B": 0.3227841258049011, + "C": 0.14323458075523376, + "D": 0.15247242152690887 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Меняют ли объекты размер с расстоянием для Юрия Гагарина?", + "option_a": "Нет", + "option_b": "Да", + "option_c": "иногда", + "option_d": "возможно" + }, + "outputs": "A", + "meta": { + "id": 1864 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМеняют ли объекты размер с расстоянием для Юрия Гагарина?\nA. Нет\nB. Да\nC. иногда\nD. возможно\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.2741578221321106, + "B": 0.2741578221321106, + "C": 0.12165680527687073, + "D": 0.24194343388080597 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Один из способов, которым люди могут загрязнять Землю:", + "option_a": "использование солнечной энергии", + "option_b": "антибактериальное мыло", + "option_c": "езда на велосипеде", + "option_d": "ходьба" + }, + "outputs": "B", + "meta": { + "id": 716 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОдин из способов, которым люди могут загрязнять Землю:\nA. использование солнечной энергии\nB. антибактериальное мыло\nC. езда на велосипеде\nD. ходьба\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.19063904881477356, + "B": 0.20293422043323517, + "C": 0.2605727016925812, + "D": 0.21602235734462738 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из них обычно зеленого цвета?", + "option_a": "Саяны", + "option_b": "Антарктида", + "option_c": "Тихий океан", + "option_d": "сосновый лес" + }, + "outputs": "D", + "meta": { + "id": 1249 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие из них обычно зеленого цвета?\nA) Саяны\nB) Антарктида\nC) Тихий океан\nD) сосновый лес\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.30892470479011536, + "B": 0.328848659992218, + "C": 0.14592570066452026, + "D": 0.13708451390266418 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда кабель питания игровой консоли был вставлен в розетку на стене, электричество стало поступать в", + "option_a": "вилку", + "option_b": "игровую консоль", + "option_c": "стену", + "option_d": "розетку" + }, + "outputs": "B", + "meta": { + "id": 194 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда кабель питания игровой консоли был вставлен в розетку на стене, электричество стало поступать в\nA. вилку\nB. игровую консоль\nC. стену\nD. розетку\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.407821923494339, + "B": 0.04298411309719086, + "C": 0.2983688712120056, + "D": 0.10311352461576462 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Группа кроликов движется в поле и начинает размножаться там, и вскоре кролики заполняют все поле, так что лисы, живущие в шести милях отсюда", + "option_a": "съедают всех кроликов", + "option_b": "тоже перебираются на поле", + "option_c": "ищут новые источники пищи", + "option_d": "начинают голодать" + }, + "outputs": "B", + "meta": { + "id": 1273 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГруппа кроликов движется в поле и начинает размножаться там, и вскоре кролики заполняют все поле, так что лисы, живущие в шести милях отсюда\nA. съедают всех кроликов\nB. тоже перебираются на поле\nC. ищут новые источники пищи\nD. начинают голодать\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 470, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.19940905272960663, + "B": 0.37254515290260315, + "C": 0.19940905272960663, + "D": 0.1653159111738205 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В то время как малиновки отказываются питаться иной пищей, кроме насекомых, червей и фруктов, большинство птиц могут успешно кормиться", + "option_a": "ящиками для картофеля", + "option_b": "семенами полевых цветов", + "option_c": "небольшими грядками", + "option_d": "пятнами от травы" + }, + "outputs": "B", + "meta": { + "id": 1212 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ то время как малиновки отказываются питаться иной пищей, кроме насекомых, червей и фруктов, большинство птиц могут успешно кормиться\nA) ящиками для картофеля\nB) семенами полевых цветов\nC) небольшими грядками\nD) пятнами от травы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 467, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.05248144641518593, + "B": 0.4979301393032074, + "C": 0.34222203493118286, + "D": 0.05586620792746544 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По мере роста устойчивости бактерий к антибиотикам медработники", + "option_a": "будут больше назначать успокаивающие и снотворные средства", + "option_b": "смогут излечить меньше людей с небактериальными инфекциями", + "option_c": "смогут излечить меньше больных с бактериальными болезнями", + "option_d": "смогут лучше избавлять людей от проблем пищеварительной системы" + }, + "outputs": "C", + "meta": { + "id": 26 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПо мере роста устойчивости бактерий к антибиотикам медработники\nA) будут больше назначать успокаивающие и снотворные средства\nB) смогут излечить меньше людей с небактериальными инфекциями\nC) смогут излечить меньше больных с бактериальными болезнями\nD) смогут лучше избавлять людей от проблем пищеварительной системы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 476, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.1831095814704895, + "B": 0.34209370613098145, + "C": 0.2351173460483551, + "D": 0.17201551795005798 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вещество в газовом агрегатном состоянии имеет", + "option_a": "постоянный объем", + "option_b": "повышенный объем", + "option_c": "пониженный объем", + "option_d": "колеблющийся объем" + }, + "outputs": "D", + "meta": { + "id": 1527 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВещество в газовом агрегатном состоянии имеет\nA) постоянный объем\nB) повышенный объем\nC) пониженный объем\nD) колеблющийся объем\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.28675445914268494, + "B": 0.10549106448888779, + "C": 0.1970832645893097, + "D": 0.3249353766441345 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если дерево на вашем заднем дворе гниет, потому что его опрокинуло ветром, то чтобы компенсировать ущерб, вы можете просто", + "option_a": "ничего не делать", + "option_b": "нарисовать одно", + "option_c": "залезть на одно", + "option_d": "посадить другое" + }, + "outputs": "D", + "meta": { + "id": 409 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли дерево на вашем заднем дворе гниет, потому что его опрокинуло ветром, то чтобы компенсировать ущерб, вы можете просто\nA) ничего не делать\nB) нарисовать одно\nC) залезть на одно\nD) посадить другое\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 459, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.13348105549812317, + "B": 0.36283907294273376, + "C": 0.20673947036266327, + "D": 0.2342665195465088 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Котенок родился, и человек, который его гладит, может увидеть, что он", + "option_a": "пробил скорлупу", + "option_b": "вылупился", + "option_c": "дышит", + "option_d": "проклюнулся из яйца" + }, + "outputs": "C", + "meta": { + "id": 2249 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Котенок родился, и человек, который его гладит, может увидеть, что он\nA) пробил скорлупу\nB) вылупился\nC) дышит\nD) проклюнулся из яйца\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03767336905002594, + "B": 0.8574419021606445, + "C": 0.024323755875229836, + "D": 0.029340047389268875 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда органы человека перестают работать и он перестает дышать, этот человек", + "option_a": "идет в Макдональдс", + "option_b": "погиб", + "option_c": "танцует", + "option_d": "играет" + }, + "outputs": "B", + "meta": { + "id": 1845 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда органы человека перестают работать и он перестает дышать, этот человек\nA) идет в Макдональдс\nB) погиб\nC) танцует\nD) играет\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.18823213875293732, + "B": 0.0539294108748436, + "C": 0.5446677207946777, + "D": 0.0946490541100502 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Загрязнение может быть вызвано", + "option_a": "повторным использованием тканевых детских подгузников", + "option_b": "переработкой пластиковых бутылочек для воды", + "option_c": "сливом рецептурных лекарств в канализацию", + "option_d": "использованием всех натуральных бытовых чистящих средств" + }, + "outputs": "C", + "meta": { + "id": 1492 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Загрязнение может быть вызвано\nA. повторным использованием тканевых детских подгузников\nB. переработкой пластиковых бутылочек для воды\nC. сливом рецептурных лекарств в канализацию\nD. использованием всех натуральных бытовых чистящих средств\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 475, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7962156534194946, + "B": 0.021218428388237953, + "C": 0.03498327359557152, + "D": 0.0187251977622509 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ископаемое топливо", + "option_a": "может скоро иссякнуть", + "option_b": "имеет возможность бесконечного использования", + "option_c": "так обильно, что его хватит на века в будущем", + "option_d": "является возобновляемым ресурсом" + }, + "outputs": "A", + "meta": { + "id": 1643 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИскопаемое топливо\nA) может скоро иссякнуть\nB) имеет возможность бесконечного использования\nC) так обильно, что его хватит на века в будущем\nD) является возобновляемым ресурсом\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.2685801088809967, + "B": 0.18459224700927734, + "C": 0.2523076832294464, + "D": 0.209170401096344 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Троюродный брат крота носит на спине", + "option_a": "присоски", + "option_b": "иголки", + "option_c": "глаза", + "option_d": "щупальца" + }, + "outputs": "B", + "meta": { + "id": 178 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Троюродный брат крота носит на спине\nA) присоски\nB) иголки\nC) глаза\nD) щупальца\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.15880517661571503, + "B": 0.4891543686389923, + "C": 0.09632019698619843, + "D": 0.19155558943748474 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мы можем вычислить скорость движения, если знаем время и количество преодоленных", + "option_a": "галлонов", + "option_b": "миллиметров", + "option_c": "долларов", + "option_d": "фунтов" + }, + "outputs": "B", + "meta": { + "id": 2324 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМы можем вычислить скорость движения, если знаем время и количество преодоленных\nA. галлонов\nB. миллиметров\nC. долларов\nD. фунтов\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2653803527355194, + "B": 0.09762798249721527, + "C": 0.28249591588974, + "D": 0.24930177628993988 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Всё это ископаемые, кроме одного объекта. Какого?", + "option_a": "кость мамонта, превращенная в камень", + "option_b": "отпечаток морского существа в скале, найденный на горе", + "option_c": "отпечаток лапы в скале", + "option_d": "пещера, полная старых рисунков" + }, + "outputs": "D", + "meta": { + "id": 968 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВсё это ископаемые, кроме одного объекта. Какого?\nA) кость мамонта, превращенная в камень\nB) отпечаток морского существа в скале, найденный на горе\nC) отпечаток лапы в скале\nD) пещера, полная старых рисунков\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.031104927882552147, + "B": 0.012180865742266178, + "C": 0.020082850009202957, + "D": 0.9090192914009094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Батарея преобразует химическую энергию в", + "option_a": "механическую энергию", + "option_b": "ядерную энергию", + "option_c": "солнечную энергию", + "option_d": "электрическую энергию" + }, + "outputs": "D", + "meta": { + "id": 1214 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Батарея преобразует химическую энергию в\nA. механическую энергию\nB. ядерную энергию\nC. солнечную энергию\nD. электрическую энергию\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.6049864888191223, + "B": 0.0341310016810894, + "C": 0.11912889033555984, + "D": 0.07691539078950882 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вымирание - это термин для организма, который имеет", + "option_a": "Небольшую популяцию", + "option_b": "Максимальную популяцию", + "option_c": "Ограниченную популяцию", + "option_d": "Нулевую популяцию" + }, + "outputs": "D", + "meta": { + "id": 738 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вымирание - это термин для организма, который имеет\nA. Небольшую популяцию\nB. Максимальную популяцию\nC. Ограниченную популяцию\nD. Нулевую популяцию\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.029249608516693115, + "B": 0.014707626774907112, + "C": 0.8547988533973694, + "D": 0.06591501086950302 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример какого типа отношений - птица, поедающая ящерицу?", + "option_a": "симбиотический", + "option_b": "продуцентный", + "option_c": "хищный", + "option_d": "паразитический" + }, + "outputs": "C", + "meta": { + "id": 1920 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Пример какого типа отношений - птица, поедающая ящерицу?\nA) симбиотический\nB) продуцентный\nC) хищный\nD) паразитический\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.15004253387451172, + "B": 0.05875750631093979, + "C": 0.5934297442436218, + "D": 0.1168532446026802 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек наливает воду в баллон, чтобы", + "option_a": "прикоснуться к нему", + "option_b": "попробовать на вкус", + "option_c": "наполнить баллон", + "option_d": "заставить воду страдать" + }, + "outputs": "C", + "meta": { + "id": 2196 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧеловек наливает воду в баллон, чтобы\nA. прикоснуться к нему\nB. попробовать на вкус\nC. наполнить баллон\nD. заставить воду страдать\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1166597530245781, + "B": 0.5924471616744995, + "C": 0.10959170758724213, + "D": 0.10295186936855316 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где будет жить заяц?", + "option_a": "В зоопарке, скрываясь от акул", + "option_b": "В поле для пропитания", + "option_c": "В околоземном пространстве из-за его низкой гравитации", + "option_d": "В пустыне из-за высоких температур" + }, + "outputs": "B", + "meta": { + "id": 2283 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где будет жить заяц?\nA) В зоопарке, скрываясь от акул\nB) В поле для пропитания\nC) В околоземном пространстве из-за его низкой гравитации\nD) В пустыне из-за высоких температур\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6025965213775635, + "B": 0.04646725207567215, + "C": 0.10471556335687637, + "D": 0.06351320445537567 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Температура ящерицы повысится, если та", + "option_a": "оставит дождливый лес и перейдет в солнечную пустыню", + "option_b": "спрячется под деревом", + "option_c": "будет плавать в фонтане", + "option_d": "войдет в нору под землей" + }, + "outputs": "A", + "meta": { + "id": 456 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Температура ящерицы повысится, если та\nA. оставит дождливый лес и перейдет в солнечную пустыню\nB. спрячется под деревом\nC. будет плавать в фонтане\nD. войдет в нору под землей\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0688122883439064, + "B": 0.16507211327552795, + "C": 0.6133173108100891, + "D": 0.10657855868339539 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что больше поможет человеку приготовить себе еду?", + "option_a": "стопка одежды", + "option_b": "стопка банок", + "option_c": "кухонная плита", + "option_d": "пачка сигарет" + }, + "outputs": "C", + "meta": { + "id": 1830 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто больше поможет человеку приготовить себе еду?\nA) стопка одежды\nB) стопка банок\nC) кухонная плита\nD) пачка сигарет\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.2565060257911682, + "B": 0.1997670978307724, + "C": 0.2565060257911682, + "D": 0.17629384994506836 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вены несут кровь назад к сердцу, а это означает, что в них", + "option_a": "не хватает жидкости для роста", + "option_b": "источник здоровья тела", + "option_c": "нет необходимости для здоровья", + "option_d": "кровь чаще содержит меньше питательных веществ" + }, + "outputs": "D", + "meta": { + "id": 156 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВены несут кровь назад к сердцу, а это означает, что в них\nA) не хватает жидкости для роста\nB) источник здоровья тела\nC) нет необходимости для здоровья\nD) кровь чаще содержит меньше питательных веществ\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.47912606596946716, + "B": 0.04186556860804558, + "C": 0.11380241811275482, + "D": 0.25645771622657776 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой целью воск покрывает листья некоторых растений?", + "option_a": "оставаться влажным в теплую погоду", + "option_b": "держать воду доступной для хищников", + "option_c": "создавать токсины в клетках", + "option_d": "поддерживать постоянную гидратацию" + }, + "outputs": "D", + "meta": { + "id": 822 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nС какой целью воск покрывает листья некоторых растений?\nA) оставаться влажным в теплую погоду\nB) держать воду доступной для хищников\nC) создавать токсины в клетках\nD) поддерживать постоянную гидратацию\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.12880614399909973, + "B": 0.5422940850257874, + "C": 0.12880614399909973, + "D": 0.12880614399909973 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какому животному иногда нужно быстро двигаться, чтобы добыть пищу?", + "option_a": "лошадь", + "option_b": "койот", + "option_c": "олень", + "option_d": "буйвол" + }, + "outputs": "B", + "meta": { + "id": 1932 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакому животному иногда нужно быстро двигаться, чтобы добыть пищу?\nA. лошадь\nB. койот\nC. олень\nD. буйвол\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7344428300857544, + "B": 0.03226916864514351, + "C": 0.0602867417037487, + "D": 0.03435035049915314 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы поднимаетесь на склон бездействующего вулкана, что вы, скорее всего, найдете?", + "option_a": "Туф", + "option_b": "Алмазы", + "option_c": "Ртуть", + "option_d": "Золото" + }, + "outputs": "A", + "meta": { + "id": 929 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВы поднимаетесь на склон бездействующего вулкана, что вы, скорее всего, найдете?\nA. Туф\nB. Алмазы\nC. Ртуть\nD. Золото\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.017164450138807297, + "B": 0.011796942912042141, + "C": 0.011082201264798641, + "D": 0.9371472001075745 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Насколько важен воздух для животных?", + "option_a": "необязательно", + "option_b": "неизвестно", + "option_c": "бесполезен", + "option_d": "необходим" + }, + "outputs": "D", + "meta": { + "id": 567 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНасколько важен воздух для животных?\nA) необязательно\nB) неизвестно\nC) бесполезен\nD) необходим\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.06409835070371628, + "B": 0.036522138863801956, + "C": 0.5366889238357544, + "D": 0.32551828026771545 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые виды деятельности человека могут привести к образованию солоноватых", + "option_a": "автомобилей", + "option_b": "зданий", + "option_c": "кораблей", + "option_d": "бассейнов" + }, + "outputs": "D", + "meta": { + "id": 2136 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНекоторые виды деятельности человека могут привести к образованию солоноватых\nA) автомобилей\nB) зданий\nC) кораблей\nD) бассейнов\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.39589574933052063, + "B": 0.07795649021863937, + "C": 0.25560951232910156, + "D": 0.14564192295074463 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Микроскопы", + "option_a": "увеличивают размер амеб для облегчения просмотра", + "option_b": "делают крошечные атомы меньше", + "option_c": "значительно затрудняют увеличение объектов", + "option_d": "делают огромные образцы крошечными" + }, + "outputs": "A", + "meta": { + "id": 1204 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМикроскопы\nA. увеличивают размер амеб для облегчения просмотра\nB. делают крошечные атомы меньше\nC. значительно затрудняют увеличение объектов\nD. делают огромные образцы крошечными\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.20784789323806763, + "B": 0.10451249033212662, + "C": 0.4400140047073364, + "D": 0.12606611847877502 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После лесного пожара выжившие существа должны", + "option_a": "найти новые дома", + "option_b": "копать землю в поисках еды", + "option_c": "срочно заняться воспроизводством", + "option_d": "бороться за лидерство" + }, + "outputs": "A", + "meta": { + "id": 1534 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПосле лесного пожара выжившие существа должны\nA) найти новые дома\nB) копать землю в поисках еды\nC) срочно заняться воспроизводством\nD) бороться за лидерство\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 431, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03606186807155609, + "B": 0.017034420743584633, + "C": 0.8736990094184875, + "D": 0.021872628480196 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лесной пожар - это когда загорается что?", + "option_a": "города", + "option_b": "фермы", + "option_c": "лесной массив", + "option_d": "ветры" + }, + "outputs": "C", + "meta": { + "id": 527 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛесной пожар - это когда загорается что?\nA. города\nB. фермы\nC. лесной массив\nD. ветры\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05965709313750267, + "B": 0.03851751238107681, + "C": 0.7736449241638184, + "D": 0.08154157549142838 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что едят еноты?", + "option_a": "огонь", + "option_b": "людей", + "option_c": "мусор", + "option_d": "грязь" + }, + "outputs": "C", + "meta": { + "id": 393 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто едят еноты?\nA) огонь\nB) людей\nC) мусор\nD) грязь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 422, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.04285281151533127, + "B": 0.02441679686307907, + "C": 0.8607217669487, + "D": 0.02441679686307907 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Смертность", + "option_a": "увеличивает общую численность населения", + "option_b": "приводит к возрождению, подобно возрождению феникса", + "option_c": "уменьшает общую численность населения", + "option_d": "ведет к росту населения" + }, + "outputs": "C", + "meta": { + "id": 965 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Смертность\nA. увеличивает общую численность населения\nB. приводит к возрождению, подобно возрождению феникса\nC. уменьшает общую численность населения\nD. ведет к росту населения\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.055800408124923706, + "B": 0.6797881126403809, + "C": 0.09199931472539902, + "D": 0.09793277084827423 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ребенок будет расти, только если ему предоставят", + "option_a": "кровать", + "option_b": "образование", + "option_c": "энергию", + "option_d": "вдохновение" + }, + "outputs": "C", + "meta": { + "id": 412 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРебенок будет расти, только если ему предоставят\nA. кровать\nB. образование\nC. энергию\nD. вдохновение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10156282037496567, + "B": 0.04233768209815025, + "C": 0.6221477389335632, + "D": 0.16744878888130188 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бактерии в почве питаются", + "option_a": "ураном", + "option_b": "лунной пылью", + "option_c": "существами с истекшим сроком жизни", + "option_d": "криптонитом" + }, + "outputs": "C", + "meta": { + "id": 175 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБактерии в почве питаются\nA. ураном\nB. лунной пылью\nC. существами с истекшим сроком жизни\nD. криптонитом\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.27566248178482056, + "B": 0.15706774592399597, + "C": 0.3123665153980255, + "D": 0.10795098543167114 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Песцы белые, чтобы", + "option_a": "прятаться от хищников", + "option_b": "поддерживать чистоту шерсти", + "option_c": "сохранять тепло", + "option_d": "прятаться в окружающей среде" + }, + "outputs": "D", + "meta": { + "id": 1904 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПесцы белые, чтобы\nA. прятаться от хищников\nB. поддерживать чистоту шерсти\nC. сохранять тепло\nD. прятаться в окружающей среде\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3038618266582489, + "B": 0.10501183569431305, + "C": 0.19618794322013855, + "D": 0.3038618266582489 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Движение ракеты больше всего похоже на", + "option_a": "камень с дыркой посередине", + "option_b": "многоэтажный дом", + "option_c": "кирпич", + "option_d": "резиновый мешочек с газом" + }, + "outputs": "D", + "meta": { + "id": 990 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДвижение ракеты больше всего похоже на\nA. камень с дыркой посередине\nB. многоэтажный дом\nC. кирпич\nD. резиновый мешочек с газом\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.20292536914348602, + "B": 0.09004759043455124, + "C": 0.35614511370658875, + "D": 0.2605613172054291 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Смена фазы пищеварения происходит", + "option_a": ", когда лук измельчили", + "option_b": ", когда цветы распустились полностью", + "option_c": ", когда воду добавили в стакан", + "option_d": ", когда пища переварилась в желудке" + }, + "outputs": "D", + "meta": { + "id": 208 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСмена фазы пищеварения происходит\nA) , когда лук измельчили\nB) , когда цветы распустились полностью\nC) , когда воду добавили в стакан\nD) , когда пища переварилась в желудке\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 446, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10272146761417389, + "B": 0.066321961581707, + "C": 0.7130282521247864, + "D": 0.06230371445417404 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Воздух в отличие от вакуума считается хорошей средой для передачи чего?", + "option_a": "Свет", + "option_b": "Ветер", + "option_c": "Звук", + "option_d": "Скорость" + }, + "outputs": "C", + "meta": { + "id": 726 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Воздух в отличие от вакуума считается хорошей средой для передачи чего?\nA) Свет\nB) Ветер\nC) Звук\nD) Скорость\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.18596337735652924, + "B": 0.08784288913011551, + "C": 0.4748741388320923, + "D": 0.1746964454650879 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто из этих учеников может точно определить цвет маркера доски?", + "option_a": "студент у себя дома", + "option_b": "студент в туалете", + "option_c": "студент у доски", + "option_d": "студент на игровой площадке" + }, + "outputs": "C", + "meta": { + "id": 2016 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто из этих учеников может точно определить цвет маркера доски?\nA. студент у себя дома\nB. студент в туалете\nC. студент у доски\nD. студент на игровой площадке\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.25647708773612976, + "B": 0.21262697875499725, + "C": 0.22634023427963257, + "D": 0.17627395689487457 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему бегун перешел с лесной тропы на обочину шоссе?", + "option_a": "уклониться от белого медведя", + "option_b": "уклониться от лавины", + "option_c": "уклониться от цунами", + "option_d": "уклониться от встречи с волком" + }, + "outputs": "D", + "meta": { + "id": 2007 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПочему бегун перешел с лесной тропы на обочину шоссе?\nA. уклониться от белого медведя\nB. уклониться от лавины\nC. уклониться от цунами\nD. уклониться от встречи с волком\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2544024586677551, + "B": 0.07758836448192596, + "C": 0.1543029099702835, + "D": 0.44649025797843933 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Источником энергии, которую мы используем, является", + "option_a": "планета", + "option_b": "камень.", + "option_c": "метеор", + "option_d": "звезда" + }, + "outputs": "D", + "meta": { + "id": 995 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИсточником энергии, которую мы используем, является\nA) планета\nB) камень.\nC) метеор\nD) звезда\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.22497856616973877, + "B": 0.12818892300128937, + "C": 0.30750924348831177, + "D": 0.2549341320991516 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что меньше всего преломляет свет?", + "option_a": "бутылка", + "option_b": "картонная коробка", + "option_c": "драгоценный камень", + "option_d": "алмаз" + }, + "outputs": "B", + "meta": { + "id": 2206 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что меньше всего преломляет свет?\nA. бутылка\nB. картонная коробка\nC. драгоценный камень\nD. алмаз\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.02446114458143711, + "B": 0.8622850179672241, + "C": 0.0355907566845417, + "D": 0.029505770653486252 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения используют воду для", + "option_a": "поощрения птиц", + "option_b": "питания", + "option_c": "приятелей", + "option_d": "эмоций" + }, + "outputs": "B", + "meta": { + "id": 83 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Растения используют воду для\nA) поощрения птиц\nB) питания\nC) приятелей\nD) эмоций\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.20350435376167297, + "B": 0.09030450135469437, + "C": 0.4586041271686554, + "D": 0.16871105134487152 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Размер глаз имеет значение для зрения и способности зрения, учитывая, что", + "option_a": "слоны видят лучше, чем муравьи", + "option_b": "волки видят лучше, чем жираф", + "option_c": "люди видят лучше, чем собаки", + "option_d": "собаки видят лучше кошек" + }, + "outputs": "A", + "meta": { + "id": 1698 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРазмер глаз имеет значение для зрения и способности зрения, учитывая, что\nA) слоны видят лучше, чем муравьи\nB) волки видят лучше, чем жираф\nC) люди видят лучше, чем собаки\nD) собаки видят лучше кошек\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12246567010879517, + "B": 0.03508700430393219, + "C": 0.704741358757019, + "D": 0.06157961115241051 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Укрытие - одна из основных потребностей человека наряду с едой, водой и", + "option_a": "инструментами", + "option_b": "искусством", + "option_c": "товариществом", + "option_d": "музыкой" + }, + "outputs": "C", + "meta": { + "id": 1087 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУкрытие - одна из основных потребностей человека наряду с едой, водой и\nA) инструментами\nB) искусством\nC) товариществом\nD) музыкой\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.38951367139816284, + "B": 0.18399325013160706, + "C": 0.16237345337867737, + "D": 0.15253575146198273 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из этих животных дольше могло оставаться самым теплым?", + "option_a": "кит", + "option_b": "белка", + "option_c": "чихуахуа", + "option_d": "кошка" + }, + "outputs": "A", + "meta": { + "id": 2334 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое из этих животных дольше могло оставаться самым теплым?\nA. кит\nB. белка\nC. чихуахуа\nD. кошка\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10929707437753677, + "B": 0.027634628117084503, + "C": 0.7586720585823059, + "D": 0.04556179791688919 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пестициды используются для обработки большого количества сельскохозяйственных культур, поэтому овощи лучше мыть перед употреблением, чтобы", + "option_a": "промокнуть", + "option_b": "посмеяться", + "option_c": "не заболеть", + "option_d": "поплавать" + }, + "outputs": "C", + "meta": { + "id": 778 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПестициды используются для обработки большого количества сельскохозяйственных культур, поэтому овощи лучше мыть перед употреблением, чтобы\nA. промокнуть\nB. посмеяться\nC. не заболеть\nD. поплавать\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6245988011360168, + "B": 0.0700780376791954, + "C": 0.06184365600347519, + "D": 0.08998199552297592 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шторм бушует в течение двух недель, и реки и озера разливаются, поэтому", + "option_a": "окружающая территория затапливается водой", + "option_b": "земля становится влажной", + "option_c": "ветер дует над деревьями", + "option_d": "все вокруг горит, сгорая дотла" + }, + "outputs": "A", + "meta": { + "id": 1471 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Шторм бушует в течение двух недель, и реки и озера разливаются, поэтому\nA. окружающая территория затапливается водой\nB. земля становится влажной\nC. ветер дует над деревьями\nD. все вокруг горит, сгорая дотла\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6998853087425232, + "B": 0.03709256276488304, + "C": 0.06929803639650345, + "D": 0.044742170721292496 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что некоторые лягушки могут делать для своих детенышей?", + "option_a": "заботиться о них", + "option_b": "отправлять в космические путешествия", + "option_c": "использовать магию", + "option_d": "есть воск свечи" + }, + "outputs": "A", + "meta": { + "id": 1496 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что некоторые лягушки могут делать для своих детенышей?\nA. заботиться о них\nB. отправлять в космические путешествия\nC. использовать магию\nD. есть воск свечи\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06691157072782516, + "B": 0.02789289318025112, + "C": 0.6757829189300537, + "D": 0.1818844974040985 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если организм умирает, что происходит с популяцией этих организмов?", + "option_a": "расслабляется", + "option_b": "плачет", + "option_c": "сокращается", + "option_d": "увеличивается" + }, + "outputs": "C", + "meta": { + "id": 1697 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли организм умирает, что происходит с популяцией этих организмов?\nA. расслабляется\nB. плачет\nC. сокращается\nD. увеличивается\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "D" + ] + }, + "predict": { + "A": 0.23459112644195557, + "B": 0.23459112644195557, + "C": 0.11081299185752869, + "D": 0.34132805466651917 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, вероятно, в наибольшей степени уменьшит вредоносные изменения климата?", + "option_a": "ураганы", + "option_b": "День Земли", + "option_c": "цунами", + "option_d": "лесные пожары" + }, + "outputs": "B", + "meta": { + "id": 1823 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, вероятно, в наибольшей степени уменьшит вредоносные изменения климата?\nA) ураганы\nB) День Земли\nC) цунами\nD) лесные пожары\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.1270867884159088, + "B": 0.6453999876976013, + "C": 0.06390325725078583, + "D": 0.06390325725078583 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В таких средах, как тропический лес, такое изобилие цветов и растений из-за того, что для процветания растений требуется много…", + "option_a": "воды", + "option_b": "солнечного света", + "option_c": "животных", + "option_d": "людей" + }, + "outputs": "A", + "meta": { + "id": 1599 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В таких средах, как тропический лес, такое изобилие цветов и растений из-за того, что для процветания растений требуется много…\nA) воды\nB) солнечного света\nC) животных\nD) людей\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1392946094274521, + "B": 0.08993536233901978, + "C": 0.5509209036827087, + "D": 0.13085518777370453 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "После того, как волк съел всех кроликов, он выжил на:", + "option_a": "воде", + "option_b": "растениях", + "option_c": "запасах жира", + "option_d": "удаче" + }, + "outputs": "C", + "meta": { + "id": 189 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПосле того, как волк съел всех кроликов, он выжил на:\nA. воде\nB. растениях\nC. запасах жира\nD. удаче\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1435908079147339, + "B": 0.3903202414512634, + "C": 0.11182862520217896, + "D": 0.2855643630027771 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком из этих мест, скорее всего, будет расти растение?", + "option_a": "керамическая плитка на кухне", + "option_b": "площадка перед водоемом", + "option_c": "вершина горы", + "option_d": "основание глиняной ямы" + }, + "outputs": "B", + "meta": { + "id": 853 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каком из этих мест, скорее всего, будет расти растение?\nA) керамическая плитка на кухне\nB) площадка перед водоемом\nC) вершина горы\nD) основание глиняной ямы\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.19704082608222961, + "B": 0.10546835511922836, + "C": 0.22327649593353271, + "D": 0.3918624818325043 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы можете найти черные металлы в", + "option_a": "Траве", + "option_b": "Стекле.", + "option_c": "Древесине", + "option_d": "Обломках автомобилей" + }, + "outputs": "D", + "meta": { + "id": 1691 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вы можете найти черные металлы в\nA) Траве\nB) Стекле.\nC) Древесине\nD) Обломках автомобилей\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07839906215667725, + "B": 0.6987633109092712, + "C": 0.0506182461977005, + "D": 0.10715882480144501 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бобр строит дом в реке, и это в конечном итоге блокирует реку, обеспечивая бобрам хороший дом. Побочный эффект нового дома бобра:", + "option_a": "бассейн", + "option_b": "расширение пресноводного водоема", + "option_c": "образование горы", + "option_d": "новый океан" + }, + "outputs": "B", + "meta": { + "id": 1930 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБобр строит дом в реке, и это в конечном итоге блокирует реку, обеспечивая бобрам хороший дом. Побочный эффект нового дома бобра:\nA. бассейн\nB. расширение пресноводного водоема\nC. образование горы\nD. новый океан\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13049039244651794, + "B": 0.5493850708007812, + "C": 0.10818032175302505, + "D": 0.1151573583483696 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зяблики любят", + "option_a": "шутки", + "option_b": "сладкие семечки", + "option_c": "Все любят Раймонда", + "option_d": "магию" + }, + "outputs": "B", + "meta": { + "id": 2075 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗяблики любят\nA. шутки\nB. сладкие семечки\nC. Все любят Раймонда\nD. магию\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.20665347576141357, + "B": 0.04331691935658455, + "C": 0.4109795093536377, + "D": 0.26534831523895264 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда гуси мигрируют в конце лета или в начале осени, они", + "option_a": "путешествуют небольшими группами.", + "option_b": "предпочитают посетить Сочи", + "option_c": "выбирают живописный маршрут", + "option_d": "направляются в менее заснеженные районы" + }, + "outputs": "D", + "meta": { + "id": 362 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда гуси мигрируют в конце лета или в начале осени, они\nA) путешествуют небольшими группами.\nB) предпочитают посетить Сочи\nC) выбирают живописный маршрут\nD) направляются в менее заснеженные районы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.1644590049982071, + "B": 0.02857869118452072, + "C": 0.6504480242729187, + "D": 0.07768493890762329 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если что-то дышит, это", + "option_a": "оставляет отходы в виде непригодного побочного продукта", + "option_b": "живет в мусоре", + "option_c": "использует непригодный побочный продукт", + "option_d": "часто перемещается" + }, + "outputs": "A", + "meta": { + "id": 2084 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли что-то дышит, это\nA) оставляет отходы в виде непригодного побочного продукта\nB) живет в мусоре\nC) использует непригодный побочный продукт\nD) часто перемещается\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.05818503722548485, + "B": 0.03998995199799538, + "C": 0.7088388204574585, + "D": 0.14858070015907288 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Луна отражает солнечный свет и влияет на", + "option_a": "Солнце", + "option_b": "орбитальные спутники", + "option_c": "океаны", + "option_d": "космические станции" + }, + "outputs": "C", + "meta": { + "id": 93 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Луна отражает солнечный свет и влияет на\nA) Солнце\nB) орбитальные спутники\nC) океаны\nD) космические станции\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2201208770275116, + "B": 0.13351008296012878, + "C": 0.362917959690094, + "D": 0.2067844122648239 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы сделать блокнот на спирали, обязательно использовать", + "option_a": "деревья", + "option_b": "пластик", + "option_c": "резину", + "option_d": "коров" + }, + "outputs": "A", + "meta": { + "id": 1661 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы сделать блокнот на спирали, обязательно использовать\nA. деревья\nB. пластик\nC. резину\nD. коров\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6290843486785889, + "B": 0.04280972480773926, + "C": 0.10269519686698914, + "D": 0.033340249210596085 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Обрушение чего становится наиболее вероятной причиной массовых смертей?", + "option_a": "Здания", + "option_b": "Деревья", + "option_c": "Животные", + "option_d": "Электроника" + }, + "outputs": "A", + "meta": { + "id": 1621 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОбрушение чего становится наиболее вероятной причиной массовых смертей?\nA. Здания\nB. Деревья\nC. Животные\nD. Электроника\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.20032332837581635, + "B": 0.04199004918336868, + "C": 0.5796547532081604, + "D": 0.10722535103559494 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Штормовая погода часто приводит к", + "option_a": "влажности в дождемерах", + "option_b": "пикникам в парке", + "option_c": "сухим полям и дорогам", + "option_d": "солнечным и ясным дням" + }, + "outputs": "A", + "meta": { + "id": 1800 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nШтормовая погода часто приводит к\nA) влажности в дождемерах\nB) пикникам в парке\nC) сухим полям и дорогам\nD) солнечным и ясным дням\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.11445365101099014, + "B": 0.4526729881763458, + "C": 0.17726927995681763, + "D": 0.17726927995681763 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может негативно повлиять на ребенка?", + "option_a": "единороги", + "option_b": "удары кулаком", + "option_c": "путешествие во времени", + "option_d": "магия" + }, + "outputs": "B", + "meta": { + "id": 125 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто может негативно повлиять на ребенка?\nA) единороги\nB) удары кулаком\nC) путешествие во времени\nD) магия\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2739980220794678, + "B": 0.3518204391002655, + "C": 0.10079824179410934, + "D": 0.17690642178058624 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может заставить свет отражаться от объекта?", + "option_a": "что-то окрашенное в черный цвет", + "option_b": "поверхность с алюминием", + "option_c": "водяной пар", + "option_d": "пружины и спирали" + }, + "outputs": "B", + "meta": { + "id": 1224 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может заставить свет отражаться от объекта?\nA. что-то окрашенное в черный цвет\nB. поверхность с алюминием\nC. водяной пар\nD. пружины и спирали\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.26672765612602234, + "B": 0.11835968494415283, + "C": 0.36457350850105286, + "D": 0.12599323689937592 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая из этих отраслей с наибольшей вероятностью повлияет на экосистему?", + "option_a": "продукты питания", + "option_b": "солнечная энергия", + "option_c": "уголь", + "option_d": "розничная торговля" + }, + "outputs": "C", + "meta": { + "id": 1264 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая из этих отраслей с наибольшей вероятностью повлияет на экосистему?\nA. продукты питания\nB. солнечная энергия\nC. уголь\nD. розничная торговля\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.19618752598762512, + "B": 0.05983381345868111, + "C": 0.32345855236053467, + "D": 0.3443198502063751 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если солнце село, то", + "option_a": "легко приготовить еду", + "option_b": "пора завтракать", + "option_c": "необходимо надеть пальто", + "option_d": "становится труднее разглядеть объекты снаружи" + }, + "outputs": "D", + "meta": { + "id": 1934 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли солнце село, то\nA. легко приготовить еду\nB. пора завтракать\nC. необходимо надеть пальто\nD. становится труднее разглядеть объекты снаружи\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 433, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.05606347694993019, + "B": 0.8238467574119568, + "C": 0.024878017604351044, + "D": 0.04101691395044327 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Форма клюва колибри - это приспособление для", + "option_a": "попадания в труднодоступную древесину", + "option_b": "получения труднодоступных питательных веществ", + "option_c": "получения труднодоступных камней", + "option_d": "получения труднодоступных самок" + }, + "outputs": "B", + "meta": { + "id": 1947 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Форма клюва колибри - это приспособление для\nA. попадания в труднодоступную древесину\nB. получения труднодоступных питательных веществ\nC. получения труднодоступных камней\nD. получения труднодоступных самок\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.1297076940536499, + "B": 0.06942752003669739, + "C": 0.375321626663208, + "D": 0.375321626663208 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Один полный оборот вокруг оси Земли занимает", + "option_a": "12 часов", + "option_b": "1 месяц", + "option_c": "2 дня", + "option_d": "1440 минут" + }, + "outputs": "D", + "meta": { + "id": 1583 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Один полный оборот вокруг оси Земли занимает\nA. 12 часов\nB. 1 месяц\nC. 2 дня\nD. 1440 минут\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3380221724510193, + "B": 0.14999642968177795, + "C": 0.20502081513404846, + "D": 0.14999642968177795 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из следующих утверждений верно?", + "option_a": "кукуруза может питать общественный транспорт", + "option_b": "страх может заправлять мотоциклы", + "option_c": "солнечный свет лучше всего распространяется в пещерах", + "option_d": "рис нельзя использовать в качестве топлива" + }, + "outputs": "A", + "meta": { + "id": 160 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие из следующих утверждений верно?\nA. кукуруза может питать общественный транспорт\nB. страх может заправлять мотоциклы\nC. солнечный свет лучше всего распространяется в пещерах\nD. рис нельзя использовать в качестве топлива\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.12764060497283936, + "B": 0.18571598827838898, + "C": 0.4742423892021179, + "D": 0.14463575184345245 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Улучшение транспортной инфраструктуры может увеличить количество доступных видов", + "option_a": "зерна", + "option_b": "образования", + "option_c": "интернета", + "option_d": "домов" + }, + "outputs": "A", + "meta": { + "id": 1365 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Улучшение транспортной инфраструктуры может увеличить количество доступных видов\nA) зерна\nB) образования\nC) интернета\nD) домов\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 444, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.15970641374588013, + "B": 0.09686684608459473, + "C": 0.5236572027206421, + "D": 0.15003030002117157 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Температура тела рептилии", + "option_a": "быстро падает в теплом климате", + "option_b": "будет оставаться стабильной при любых обстоятельствах", + "option_c": "реагирует так, как температура других теплокровных животных", + "option_d": "будет синхронизироваться с изменениями погоды" + }, + "outputs": "D", + "meta": { + "id": 56 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Температура тела рептилии\nA) быстро падает в теплом климате\nB) будет оставаться стабильной при любых обстоятельствах\nC) реагирует так, как температура других теплокровных животных\nD) будет синхронизироваться с изменениями погоды\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5530025362968445, + "B": 0.022825142368674278, + "C": 0.24539339542388916, + "D": 0.051437247544527054 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пример преобразования потенциальной энергии в кинетическую:", + "option_a": "соскользнувший с края прилавка арбуз начинает падать вниз", + "option_b": "неподвижный камень нагревается на солнце", + "option_c": "наше солнце греет нас", + "option_d": "отдыхающая птица дремлет" + }, + "outputs": "A", + "meta": { + "id": 122 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПример преобразования потенциальной энергии в кинетическую:\nA) соскользнувший с края прилавка арбуз начинает падать вниз\nB) неподвижный камень нагревается на солнце\nC) наше солнце греет нас\nD) отдыхающая птица дремлет\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 461, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.054539378732442856, + "B": 0.7528928518295288, + "C": 0.03307980298995972, + "D": 0.1154598668217659 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Фонари работают от батареек, чтобы загорелся свет. Батарейки используют химическую энергию, а получившийся свет является", + "option_a": "механической энергией", + "option_b": "световой энергией", + "option_c": "гиперэнергией", + "option_d": "солнечной энергией" + }, + "outputs": "B", + "meta": { + "id": 1343 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nФонари работают от батареек, чтобы загорелся свет. Батарейки используют химическую энергию, а получившийся свет является\nA) механической энергией\nB) световой энергией\nC) гиперэнергией\nD) солнечной энергией\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.20899738371372223, + "B": 0.501358687877655, + "C": 0.1118682473897934, + "D": 0.10509048402309418 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем дальше корабль отходит от маяка", + "option_a": "тем больше моряки будут направляться его лучом", + "option_b": "тем меньше моряки будут направляться его лучом", + "option_c": "тем больше вероятность успешного плавания корабля", + "option_d": "тем ниже становятся бурные океанские волны" + }, + "outputs": "B", + "meta": { + "id": 1109 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чем дальше корабль отходит от маяка\nA) тем больше моряки будут направляться его лучом\nB) тем меньше моряки будут направляться его лучом\nC) тем больше вероятность успешного плавания корабля\nD) тем ниже становятся бурные океанские волны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 469, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.34674447774887085, + "B": 0.210311159491539, + "C": 0.23831376433372498, + "D": 0.06827802956104279 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно использовать более одного раза?", + "option_a": "уголь", + "option_b": "газовый баллон", + "option_c": "газ", + "option_d": "нефть" + }, + "outputs": "B", + "meta": { + "id": 1437 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто можно использовать более одного раза?\nA. уголь\nB. газовый баллон\nC. газ\nD. нефть\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.32824093103408813, + "B": 0.1285409927368164, + "C": 0.13683117926120758, + "D": 0.2896715998649597 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему хозяин здания при сдаче в аренду постелил коврики на полу на верхних этажах, но не стал стелить на нижнем этаже?", + "option_a": "Потому что под первым этажом некому жаловаться на шум и топот.", + "option_b": "Потому что хозяин не хотел, чтобы поцарапали деревянные полы.", + "option_c": "Потому что арендаторы любят коврики на верхних этажах", + "option_d": "Потому что не хотел платить за еще одно ковровое покрытие." + }, + "outputs": "A", + "meta": { + "id": 1401 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПочему хозяин здания при сдаче в аренду постелил коврики на полу на верхних этажах, но не стал стелить на нижнем этаже?\nA) Потому что под первым этажом некому жаловаться на шум и топот.\nB) Потому что хозяин не хотел, чтобы поцарапали деревянные полы.\nC) Потому что арендаторы любят коврики на верхних этажах\nD) Потому что не хотел платить за еще одно ковровое покрытие.\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 497, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.25753894448280334, + "B": 0.04763991758227348, + "C": 0.3306865692138672, + "D": 0.2741487920284271 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пчелы - ключ к какому процессу в жизни цветка?", + "option_a": "смена цвета", + "option_b": "водоснабжение", + "option_c": "потребление солнца", + "option_d": "размножение" + }, + "outputs": "D", + "meta": { + "id": 1579 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПчелы - ключ к какому процессу в жизни цветка?\nA) смена цвета\nB) водоснабжение\nC) потребление солнца\nD) размножение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2200031876564026, + "B": 0.24929626286029816, + "C": 0.1941521316766739, + "D": 0.24929626286029816 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Разрушение среды обитания может привести к", + "option_a": "миграции птиц на север", + "option_b": "потере енотами своих домов", + "option_c": "буму воспроизводства животных", + "option_d": "спячке местных медведей" + }, + "outputs": "B", + "meta": { + "id": 2105 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРазрушение среды обитания может привести к\nA. миграции птиц на север\nB. потере енотами своих домов\nC. буму воспроизводства животных\nD. спячке местных медведей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.24535399675369263, + "B": 0.1158970296382904, + "C": 0.3150407671928406, + "D": 0.19108188152313232 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Многие животные будут избегать", + "option_a": "цветов, которые только что распустились", + "option_b": "только что сошедших с гриля стейков", + "option_c": "груды выброшенных подгузников", + "option_d": "лужи с чистой водой" + }, + "outputs": "C", + "meta": { + "id": 264 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Многие животные будут избегать\nA. цветов, которые только что распустились\nB. только что сошедших с гриля стейков\nC. груды выброшенных подгузников\nD. лужи с чистой водой\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 462, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.2274564802646637, + "B": 0.29205989837646484, + "C": 0.200729638338089, + "D": 0.200729638338089 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если что-то имеет мембрану внутри другого предмета, это, вероятно,", + "option_a": "маркер", + "option_b": "человеческий орган, способный плакать", + "option_c": "дом", + "option_d": "темная дыра" + }, + "outputs": "B", + "meta": { + "id": 831 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если что-то имеет мембрану внутри другого предмета, это, вероятно,\nA) маркер\nB) человеческий орган, способный плакать\nC) дом\nD) темная дыра\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.28618982434272766, + "B": 0.1269959658384323, + "C": 0.23725970089435577, + "D": 0.20938092470169067 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выберите пример объекта, который жил раньше и стал мертвым теперь.", + "option_a": "энергичный кот умер после того, как его сбила машина", + "option_b": "панда перестает есть и впадает в кому", + "option_c": "собака парализована и не может двигаться", + "option_d": "маленькая белка падает с дерева и ломает ногу" + }, + "outputs": "A", + "meta": { + "id": 1803 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВыберите пример объекта, который жил раньше и стал мертвым теперь.\nA. энергичный кот умер после того, как его сбила машина\nB. панда перестает есть и впадает в кому\nC. собака парализована и не может двигаться\nD. маленькая белка падает с дерева и ломает ногу\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.26645246148109436, + "B": 0.34213173389434814, + "C": 0.19494077563285828, + "D": 0.0594535730779171 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для образования осадочных пород потребуется некоторый уровень дробления и давления", + "option_a": "возможно верно", + "option_b": "это верно", + "option_c": "это неверно", + "option_d": "нужно только дробление" + }, + "outputs": "B", + "meta": { + "id": 2167 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДля образования осадочных пород потребуется некоторый уровень дробления и давления\nA. возможно верно\nB. это верно\nC. это неверно\nD. нужно только дробление\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.012477418407797813, + "B": 0.008056026883423328, + "C": 0.9311500787734985, + "D": 0.017054608091711998 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда некоторым животным становится жарко, они, как и люди, делают это, чтобы снизить температуру своего тела", + "option_a": "тратят деньги", + "option_b": "повышают температуру крови", + "option_c": "потеют", + "option_d": "улетают" + }, + "outputs": "C", + "meta": { + "id": 1331 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда некоторым животным становится жарко, они, как и люди, делают это, чтобы снизить температуру своего тела\nA. тратят деньги\nB. повышают температуру крови\nC. потеют\nD. улетают\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.39851221442222595, + "B": 0.09465495496988297, + "C": 0.1661245971918106, + "D": 0.2417098730802536 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Восходы и заходы чего вызывают циклы дня и ночи?", + "option_a": "ближайшая звезда - желтый карлик", + "option_b": "другая галактика рядом с нашей", + "option_c": "ближайшая к Земле планета", + "option_d": "ближайшая планета - газовый гигант" + }, + "outputs": "A", + "meta": { + "id": 1397 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Восходы и заходы чего вызывают циклы дня и ночи?\nA. ближайшая звезда - желтый карлик\nB. другая галактика рядом с нашей\nC. ближайшая к Земле планета\nD. ближайшая планета - газовый гигант\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 466, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2568243741989136, + "B": 0.155771866440773, + "C": 0.29102015495300293, + "D": 0.20001503825187683 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Георгий смотрел прямо на мигающие в соседском окне рождественские гирлянды, но ему они показилась очень тусклыми. Это потому, что", + "option_a": "Георгий бодрствовал", + "option_b": "Георгий был в нескольких метрах от окна", + "option_c": "Георгий был в километре от окна", + "option_d": "Огни были разных цветов" + }, + "outputs": "C", + "meta": { + "id": 1074 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Георгий смотрел прямо на мигающие в соседском окне рождественские гирлянды, но ему они показилась очень тусклыми. Это потому, что\nA) Георгий бодрствовал\nB) Георгий был в нескольких метрах от окна\nC) Георгий был в километре от окна\nD) Огни были разных цветов\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 485, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.11677438765764236, + "B": 0.12430569529533386, + "C": 0.14994128048419952, + "D": 0.557099461555481 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы предотвратить поражение электрическим током", + "option_a": "используйте все серебряные пломбы", + "option_b": "используйте всю медную проволоку", + "option_c": "может пригодиться алюминий", + "option_d": "пригодится изоляция" + }, + "outputs": "D", + "meta": { + "id": 1166 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы предотвратить поражение электрическим током\nA) используйте все серебряные пломбы\nB) используйте всю медную проволоку\nC) может пригодиться алюминий\nD) пригодится изоляция\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2064170390367508, + "B": 0.046057868748903275, + "C": 0.3622732162475586, + "D": 0.3003350496292114 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зима в северном полушарии означает", + "option_a": "в Северном полушарии стоит палящая жаркая погода", + "option_b": "в северном полушарии ежедневно идут проливные дожди", + "option_c": "в южном полушарии низкие температуры", + "option_d": "в южном полушарии теплые солнечные дни" + }, + "outputs": "D", + "meta": { + "id": 1751 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Зима в северном полушарии означает\nA. в Северном полушарии стоит палящая жаркая погода\nB. в северном полушарии ежедневно идут проливные дожди\nC. в южном полушарии низкие температуры\nD. в южном полушарии теплые солнечные дни\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 473, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06265392899513245, + "B": 0.6735932230949402, + "C": 0.14119280874729156, + "D": 0.07099620252847672 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем горячее становится жидкость, тем быстрее она", + "option_a": "превращается в животных", + "option_b": "превращается в газ", + "option_c": "превращается в семь", + "option_d": "превращается в лягушек" + }, + "outputs": "B", + "meta": { + "id": 1956 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧем горячее становится жидкость, тем быстрее она\nA. превращается в животных\nB. превращается в газ\nC. превращается в семь\nD. превращается в лягушек\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.32149019837379456, + "B": 0.17208130657672882, + "C": 0.16165541112422943, + "D": 0.2352072298526764 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из следующих действий считается приготовлением пищи?", + "option_a": "опускаем под воду", + "option_b": "встряхиваем вверх и вниз", + "option_c": "кладем в морозильную камеру", + "option_d": "ставим на солнце" + }, + "outputs": "D", + "meta": { + "id": 1785 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое из следующих действий считается приготовлением пищи?\nA) опускаем под воду\nB) встряхиваем вверх и вниз\nC) кладем в морозильную камеру\nD) ставим на солнце\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.49108579754829407, + "B": 0.10293717682361603, + "C": 0.10957606136798859, + "D": 0.1806603968143463 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно использовать, если в 23 часа перегорел трансформатор?", + "option_a": "Фонарик", + "option_b": "Телевизор", + "option_c": "Ноутбук", + "option_d": "Дрель" + }, + "outputs": "A", + "meta": { + "id": 1855 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что можно использовать, если в 23 часа перегорел трансформатор?\nA. Фонарик\nB. Телевизор\nC. Ноутбук\nD. Дрель\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3247438371181488, + "B": 0.18503345549106598, + "C": 0.20967037975788116, + "D": 0.17382284998893738 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что с наибольшей вероятностью нанесет вред популяции полярной совы в данной местности?", + "option_a": "новый торговый центр", + "option_b": "новая лужа", + "option_c": "новое дерево", + "option_d": "новый заповедник" + }, + "outputs": "A", + "meta": { + "id": 2335 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что с наибольшей вероятностью нанесет вред популяции полярной совы в данной местности?\nA. новый торговый центр\nB. новая лужа\nC. новое дерево\nD. новый заповедник\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.1947275996208191, + "B": 0.13383418321609497, + "C": 0.32105153799057007, + "D": 0.2348863184452057 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Каким может быть эффект, если камень подвергался продолжительному воздействию тепла?", + "option_a": "Усадка", + "option_b": "Разрушение", + "option_c": "Эрозия", + "option_d": "Плавление" + }, + "outputs": "C", + "meta": { + "id": 1161 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКаким может быть эффект, если камень подвергался продолжительному воздействию тепла?\nA. Усадка\nB. Разрушение\nC. Эрозия\nD. Плавление\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.16973453760147095, + "B": 0.3593280017375946, + "C": 0.20473891496658325, + "D": 0.18068146705627441 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Афганская борзая получает качества своей шерсти", + "option_a": "от воды", + "option_b": "от родителей", + "option_c": "от солнца", + "option_d": "от братьев и сестер" + }, + "outputs": "B", + "meta": { + "id": 2030 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Афганская борзая получает качества своей шерсти\nA) от воды\nB) от родителей\nC) от солнца\nD) от братьев и сестер\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "D" + ] + }, + "predict": { + "A": 0.2757931351661682, + "B": 0.06973142921924591, + "C": 0.1672770082950592, + "D": 0.3769645392894745 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мы можем больше всего помочь растению,", + "option_a": "Храня его в темноте", + "option_b": "Отрезав его от корней", + "option_c": "Рассказав ему историю", + "option_d": "Отказавшись от полива" + }, + "outputs": "C", + "meta": { + "id": 1077 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМы можем больше всего помочь растению,\nA. Храня его в темноте\nB. Отрезав его от корней\nC. Рассказав ему историю\nD. Отказавшись от полива\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.719471275806427, + "B": 0.040589794516563416, + "C": 0.07583171129226685, + "D": 0.059057801961898804 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы не можете стать существенно выше, потому что рост определяется", + "option_a": "генами родителей", + "option_b": "печеньем", + "option_c": "пространством", + "option_d": "яичной скорлупой" + }, + "outputs": "A", + "meta": { + "id": 1737 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВы не можете стать существенно выше, потому что рост определяется\nA) генами родителей\nB) печеньем\nC) пространством\nD) яичной скорлупой\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04351670667529106, + "B": 0.6007295846939087, + "C": 0.04088016226887703, + "D": 0.26657214760780334 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто дышит жабрами под водой?", + "option_a": "рыбацкие лодки", + "option_b": "лосось", + "option_c": "млекопитающие", + "option_d": "пингвины" + }, + "outputs": "B", + "meta": { + "id": 1445 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто дышит жабрами под водой?\nA. рыбацкие лодки\nB. лосось\nC. млекопитающие\nD. пингвины\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 437, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.27676042914390564, + "B": 0.4026840627193451, + "C": 0.1228116899728775, + "D": 0.10181447118520737 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если датчик температуры на приборной панели поднимается во время движения автомобиля, в чем может быть причина?", + "option_a": "трение механических частей автомобиля", + "option_b": "снег, падающий снаружи", + "option_c": "проклятие продавца автомобилей", + "option_d": "гнев водителя" + }, + "outputs": "A", + "meta": { + "id": 1924 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Если датчик температуры на приборной панели поднимается во время движения автомобиля, в чем может быть причина?\nA) трение механических частей автомобиля\nB) снег, падающий снаружи\nC) проклятие продавца автомобилей\nD) гнев водителя\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 465, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.23761248588562012, + "B": 0.4439185559749603, + "C": 0.11947906017303467, + "D": 0.09905161708593369 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Включенные лампочки лопаются от холодной воды, потому что", + "option_a": "внутри лампочки горячо", + "option_b": "внутри лампочки холодно", + "option_c": "вода начинает закипать", + "option_d": "электричество и вода отталкивают друг друга" + }, + "outputs": "A", + "meta": { + "id": 356 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВключенные лампочки лопаются от холодной воды, потому что\nA) внутри лампочки горячо\nB) внутри лампочки холодно\nC) вода начинает закипать\nD) электричество и вода отталкивают друг друга\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08486241847276688, + "B": 0.6674947142601013, + "C": 0.06609092652797699, + "D": 0.11599317193031311 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из чего видно, что по мере уменьшения количества пищи, которую съедает животное, оно худеет?", + "option_a": "тонкие организмы обычно являются беспозвоночными", + "option_b": "очертания ребер отчетливо видны на голодающих млекопитающих", + "option_c": "все худые животные не хотят получать надлежащего питания", + "option_d": "животные, у которых мало еды, умирают" + }, + "outputs": "B", + "meta": { + "id": 74 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из чего видно, что по мере уменьшения количества пищи, которую съедает животное, оно худеет?\nA) тонкие организмы обычно являются беспозвоночными\nB) очертания ребер отчетливо видны на голодающих млекопитающих\nC) все худые животные не хотят получать надлежащего питания\nD) животные, у которых мало еды, умирают\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 486, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.32023751735687256, + "B": 0.09174958616495132, + "C": 0.19423386454582214, + "D": 0.32023751735687256 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Проходя мимо Юпитера, вы могли бы заметить, что", + "option_a": "гравитация становится сильнее", + "option_b": "обзор становится лучше", + "option_c": "Луна вращается вокруг вас", + "option_d": "сила тяжести ослабевает" + }, + "outputs": "A", + "meta": { + "id": 2058 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Проходя мимо Юпитера, вы могли бы заметить, что\nA) гравитация становится сильнее\nB) обзор становится лучше\nC) Луна вращается вокруг вас\nD) сила тяжести ослабевает\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.20909446477890015, + "B": 0.11192020028829575, + "C": 0.3447384834289551, + "D": 0.22257991135120392 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда вода становится теплее", + "option_a": "это может вызвать переохлаждение", + "option_b": "она прилипает к металлическим поверхностям", + "option_c": "она может быстрее превратить лед в лужу", + "option_d": "она может замораживать твердые частицы" + }, + "outputs": "C", + "meta": { + "id": 439 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Когда вода становится теплее\nA. это может вызвать переохлаждение\nB. она прилипает к металлическим поверхностям\nC. она может быстрее превратить лед в лужу\nD. она может замораживать твердые частицы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 463, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.22956310212612152, + "B": 0.11543156951665878, + "C": 0.4288803040981293, + "D": 0.13923704624176025 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего, скорее всего, понадобится плита?", + "option_a": "урок физики", + "option_b": "урок английского языка", + "option_c": "урок химии", + "option_d": "урок математики" + }, + "outputs": "C", + "meta": { + "id": 1309 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего, скорее всего, понадобится плита?\nA. урок физики\nB. урок английского языка\nC. урок химии\nD. урок математики\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.597478985786438, + "B": 0.09753576666116714, + "C": 0.07135868817567825, + "D": 0.09753576666116714 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что лучше всего описывает отношения между Луной, Землей и Солнцем?", + "option_a": "Луна находится на одинаковом расстоянии от Солнца и Земли", + "option_b": "Земля поглощает солнечный свет", + "option_c": "Луна - звезда", + "option_d": "Солнце движется вокруг Земли" + }, + "outputs": "B", + "meta": { + "id": 2242 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто лучше всего описывает отношения между Луной, Землей и Солнцем?\nA. Луна находится на одинаковом расстоянии от Солнца и Земли\nB. Земля поглощает солнечный свет\nC. Луна - звезда\nD. Солнце движется вокруг Земли\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.19432586431503296, + "B": 0.020481795072555542, + "C": 0.17149195075035095, + "D": 0.5623005032539368 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если объявили штормовое предупреждение, сделайте это", + "option_a": "Выйдите наружу", + "option_b": "Найдите пиццу", + "option_c": "Включите телевизор", + "option_d": "Оставайтесь дома" + }, + "outputs": "D", + "meta": { + "id": 1966 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли объявили штормовое предупреждение, сделайте это\nA. Выйдите наружу\nB. Найдите пиццу\nC. Включите телевизор\nD. Оставайтесь дома\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08075287938117981, + "B": 0.12507250905036926, + "C": 0.11749476194381714, + "D": 0.6351706385612488 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Растения могут использовать листья, особенно восковые, чтобы", + "option_a": "создать условия для роста", + "option_b": "поливать себя во время засухи", + "option_c": "хранить пищу для себя", + "option_d": "собирать и удерживать влагу" + }, + "outputs": "D", + "meta": { + "id": 1370 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nРастения могут использовать листья, особенно восковые, чтобы\nA) создать условия для роста\nB) поливать себя во время засухи\nC) хранить пищу для себя\nD) собирать и удерживать влагу\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6496867537498474, + "B": 0.09359625726938248, + "C": 0.047063153237104416, + "D": 0.09359625726938248 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Организмы существуют только благодаря энергии", + "option_a": "нашего желтого карлика", + "option_b": "кофе", + "option_c": "луны", + "option_d": "АЭС" + }, + "outputs": "A", + "meta": { + "id": 2268 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОрганизмы существуют только благодаря энергии\nA) нашего желтого карлика\nB) кофе\nC) луны\nD) АЭС\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 427, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.17346693575382233, + "B": 0.19656378030776978, + "C": 0.32407888770103455, + "D": 0.19656378030776978 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Большая кошка пойдёт искать добычу", + "option_a": "в 15:00", + "option_b": "в полдень.", + "option_c": "в 9:00", + "option_d": "в 23:00" + }, + "outputs": "D", + "meta": { + "id": 1958 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБольшая кошка пойдёт искать добычу\nA) в 15:00\nB) в полдень.\nC) в 9:00\nD) в 23:00\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.258910596370697, + "B": 0.3123057782649994, + "C": 0.2146444171667099, + "D": 0.13018840551376343 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем может распространяться масса грунта, скользящая по насыпи?", + "option_a": "лесные пожары", + "option_b": "шторм", + "option_c": "глобальное потепление", + "option_d": "рост деревьев" + }, + "outputs": "B", + "meta": { + "id": 297 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧем может распространяться масса грунта, скользящая по насыпи?\nA) лесные пожары\nB) шторм\nC) глобальное потепление\nD) рост деревьев\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.15549245476722717, + "B": 0.1460716277360916, + "C": 0.42267224192619324, + "D": 0.19965624809265137 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы помочь в увеличении популяции организма в окружающей среде", + "option_a": "ограничить запасы пищи", + "option_b": "ввести больше источников воды", + "option_c": "ввести больше хищников в окружающую среду", + "option_d": "создать условия искусственной засухи" + }, + "outputs": "B", + "meta": { + "id": 2194 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧтобы помочь в увеличении популяции организма в окружающей среде\nA) ограничить запасы пищи\nB) ввести больше источников воды\nC) ввести больше хищников в окружающую среду\nD) создать условия искусственной засухи\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11247529089450836, + "B": 0.18544042110443115, + "C": 0.504079282283783, + "D": 0.12745119631290436 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда лягушка рождается, у нее есть крошечные жабры, чтобы она могла дышать под водой, даже если во взрослом возрасте она", + "option_a": "сварит суп из легких", + "option_b": "найдет легкие бесполезными", + "option_c": "переместится на сушу", + "option_d": "испортит воздух" + }, + "outputs": "C", + "meta": { + "id": 2174 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда лягушка рождается, у нее есть крошечные жабры, чтобы она могла дышать под водой, даже если во взрослом возрасте она\nA. сварит суп из легких\nB. найдет легкие бесполезными\nC. переместится на сушу\nD. испортит воздух\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.189738467335701, + "B": 0.1081097275018692, + "C": 0.31282585859298706, + "D": 0.2938726842403412 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Все перечисленное ниже содержит хлоропласты, кроме этого", + "option_a": "кусты роз", + "option_b": "водоросли", + "option_c": "морские анемоны", + "option_d": "камыши" + }, + "outputs": "C", + "meta": { + "id": 1012 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВсе перечисленное ниже содержит хлоропласты, кроме этого\nA. кусты роз\nB. водоросли\nC. морские анемоны\nD. камыши\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.17150528728961945, + "B": 0.05567961186170578, + "C": 0.1254759430885315, + "D": 0.5986122488975525 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теплокровные или холоднокровные, чтобы выжить, все животные должны", + "option_a": "умереть", + "option_b": "мыться водой", + "option_c": "принимать ванну на солнце", + "option_d": "сохранять тепло" + }, + "outputs": "D", + "meta": { + "id": 601 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Теплокровные или холоднокровные, чтобы выжить, все животные должны\nA) умереть\nB) мыться водой\nC) принимать ванну на солнце\nD) сохранять тепло\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6750689148902893, + "B": 0.016900019720196724, + "C": 0.16034293174743652, + "D": 0.014914214611053467 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Поскольку Земля вращается вокруг Солнца", + "option_a": "в разных местах в разное время наблюдаются разные погодные условия", + "option_b": "погода одинакова во всем мире", + "option_c": "погода всегда разная", + "option_d": "у всех есть снег" + }, + "outputs": "A", + "meta": { + "id": 1574 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Поскольку Земля вращается вокруг Солнца\nA) в разных местах в разное время наблюдаются разные погодные условия\nB) погода одинакова во всем мире\nC) погода всегда разная\nD) у всех есть снег\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.20050762593746185, + "B": 0.14669451117515564, + "C": 0.2917368710041046, + "D": 0.2740614414215088 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вы не смогли бы определить форму объекта на ощупь, если бы у вас были", + "option_a": "носовая затычка", + "option_b": "руки за спиной", + "option_c": "беруши", + "option_d": "лента, закрывающая рот" + }, + "outputs": "B", + "meta": { + "id": 2294 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Вы не смогли бы определить форму объекта на ощупь, если бы у вас были\nA. носовая затычка\nB. руки за спиной\nC. беруши\nD. лента, закрывающая рот\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.27141043543815613, + "B": 0.09379693865776062, + "C": 0.23951886594295502, + "D": 0.27141043543815613 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ледник сделан из", + "option_a": "того же материала, что и карандаши", + "option_b": "из того же материала, что и газ, который зажигает вывески", + "option_c": "из того же материала, что и пар", + "option_d": ", из того же материала, что и газ, наполняющий воздушные шары" + }, + "outputs": "C", + "meta": { + "id": 1479 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛедник сделан из\nA. того же материала, что и карандаши\nB. из того же материала, что и газ, который зажигает вывески\nC. из того же материала, что и пар\nD. , из того же материала, что и газ, наполняющий воздушные шары\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.6138261556625366, + "B": 0.0646967962384224, + "C": 0.10020436346530914, + "D": 0.09413328766822815 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда футбольный мяч летит по воздуху, человек, наблюдающий за ним, знает, что причина в том, что", + "option_a": "все происходит в воздухе", + "option_b": "футбол рулит", + "option_c": "мячи - птицы", + "option_d": "мячу сообщили энергию" + }, + "outputs": "D", + "meta": { + "id": 844 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда футбольный мяч летит по воздуху, человек, наблюдающий за ним, знает, что причина в том, что\nA. все происходит в воздухе\nB. футбол рулит\nC. мячи - птицы\nD. мячу сообщили энергию\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 456, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.11482324451208115, + "B": 0.547791063785553, + "C": 0.08942443877458572, + "D": 0.17784172296524048 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Арктическая среда в основном отражает все цвета ближайшей звезды, потому что", + "option_a": "она покрыта призмами", + "option_b": "она покрыта белыми осадками", + "option_c": "там всегда идет дождь", + "option_d": "земля там полностью покрыта белыми животными" + }, + "outputs": "B", + "meta": { + "id": 2134 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Арктическая среда в основном отражает все цвета ближайшей звезды, потому что\nA) она покрыта призмами\nB) она покрыта белыми осадками\nC) там всегда идет дождь\nD) земля там полностью покрыта белыми животными\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.13115087151527405, + "B": 0.4872845709323883, + "C": 0.17926199734210968, + "D": 0.11574023962020874 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если со временем климат станет холоднее", + "option_a": "медведи с редкой шерстью процветают", + "option_b": "медведи с более плотной шкурой выживут", + "option_c": "медведи с небольшим количеством жира будут процветать", + "option_d": "медведи с тонкой шкурой будут процветать" + }, + "outputs": "B", + "meta": { + "id": 1404 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕсли со временем климат станет холоднее\nA. медведи с редкой шерстью процветают\nB. медведи с более плотной шкурой выживут\nC. медведи с небольшим количеством жира будут процветать\nD. медведи с тонкой шкурой будут процветать\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.13306771218776703, + "B": 0.07122601568698883, + "C": 0.6348305940628052, + "D": 0.0859149768948555 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Для чего в семени хранится еда?", + "option_a": "животные", + "option_b": "люди", + "option_c": "ростки", + "option_d": "автомобили" + }, + "outputs": "C", + "meta": { + "id": 2146 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Для чего в семени хранится еда?\nA. животные\nB. люди\nC. ростки\nD. автомобили\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.24330183863639832, + "B": 0.20170430839061737, + "C": 0.2589934468269348, + "D": 0.20170430839061737 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что бы вы, вероятно, легко отличили на вкус в составе другого блюда?", + "option_a": "лед", + "option_b": "воздух", + "option_c": "вода", + "option_d": "тропический фрукт" + }, + "outputs": "D", + "meta": { + "id": 2019 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто бы вы, вероятно, легко отличили на вкус в составе другого блюда?\nA) лед\nB) воздух\nC) вода\nD) тропический фрукт\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21916459500789642, + "B": 0.08062614500522614, + "C": 0.36134132742881775, + "D": 0.21916459500789642 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему у некоторых птиц клювы могут сильно отличаться от клювов других птиц?", + "option_a": "некоторые птицы едят червей, а другие птицы имеют голубые перья", + "option_b": "некоторые птицы того же вида всю жизнь жили в зоопарке", + "option_c": "некоторые птицы питаются семенами, а другие мертвечиной", + "option_d": "некоторые птицы любят подпиливать клювы" + }, + "outputs": "C", + "meta": { + "id": 1848 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПочему у некоторых птиц клювы могут сильно отличаться от клювов других птиц?\nA. некоторые птицы едят червей, а другие птицы имеют голубые перья\nB. некоторые птицы того же вида всю жизнь жили в зоопарке\nC. некоторые птицы питаются семенами, а другие мертвечиной\nD. некоторые птицы любят подпиливать клювы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 479, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.014723340980708599, + "B": 0.9109008312225342, + "C": 0.017759740352630615, + "D": 0.009506103582680225 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Материал, из которого состоят железные гвозди, известен как который из элементов?", + "option_a": "Ag", + "option_b": "Fe", + "option_c": "Cu", + "option_d": "Au" + }, + "outputs": "B", + "meta": { + "id": 1271 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМатериал, из которого состоят железные гвозди, известен как который из элементов?\nA) Ag\nB) Fe\nC) Cu\nD) Au\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.015767430886626244, + "B": 0.01391470804810524, + "C": 0.916394054889679, + "D": 0.021551523357629776 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему кислотный дождь вреден для здоровья?", + "option_a": "он вызывает засуху", + "option_b": "он слишком быстро испаряется", + "option_c": "он содержит различные вредные частицы из воздуха", + "option_d": "он вызывает рост водорослей" + }, + "outputs": "C", + "meta": { + "id": 1997 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Почему кислотный дождь вреден для здоровья?\nA) он вызывает засуху\nB) он слишком быстро испаряется\nC) он содержит различные вредные частицы из воздуха\nD) он вызывает рост водорослей\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.11438705772161484, + "B": 0.07861699163913727, + "C": 0.0612269788980484, + "D": 0.7007056474685669 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие изменения в окружающей среде заставят растение адаптироваться, чтобы выжить?", + "option_a": "новые законы", + "option_b": "громкая музыка", + "option_c": "новая поэзия", + "option_d": "недостаток света" + }, + "outputs": "D", + "meta": { + "id": 804 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие изменения в окружающей среде заставят растение адаптироваться, чтобы выжить?\nA) новые законы\nB) громкая музыка\nC) новая поэзия\nD) недостаток света\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.2535216808319092, + "B": 0.18548043072223663, + "C": 0.2872776985168457, + "D": 0.17424273490905762 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шалфей в качестве топлива? Кто может использовать растение таким образом?", + "option_a": "Воздушный змей", + "option_b": "Птица", + "option_c": "Самолет", + "option_d": "Ракета" + }, + "outputs": "B", + "meta": { + "id": 476 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nШалфей в качестве топлива? Кто может использовать растение таким образом?\nA) Воздушный змей\nB) Птица\nC) Самолет\nD) Ракета\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.36665019392967224, + "B": 0.08708705753087997, + "C": 0.2855474650859833, + "D": 0.1267109215259552 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сила тяжести на объектах увеличивается, почему это происходит?", + "option_a": "объекты сближаются", + "option_b": "объекты летают по кругу", + "option_c": "сила тяжести на одном объекте меньше", + "option_d": "объекты удаляются друг от друга" + }, + "outputs": "A", + "meta": { + "id": 1421 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Сила тяжести на объектах увеличивается, почему это происходит?\nA) объекты сближаются\nB) объекты летают по кругу\nC) сила тяжести на одном объекте меньше\nD) объекты удаляются друг от друга\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.15643246471881866, + "B": 0.1886935830116272, + "C": 0.3525260090827942, + "D": 0.21381783485412598 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Человек может прикрывать от яркого света глаза и вечером, если он едет", + "option_a": "с севера на восток", + "option_b": "с запада на восток", + "option_c": "с запада на юг", + "option_d": "с востока на запад" + }, + "outputs": "D", + "meta": { + "id": 1677 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Человек может прикрывать от яркого света глаза и вечером, если он едет\nA. с севера на восток\nB. с запада на восток\nC. с запада на юг\nD. с востока на запад\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.021588703617453575, + "B": 0.011555599980056286, + "C": 0.9179750084877014, + "D": 0.015794631093740463 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Источником чего в природе является загрязнение?", + "option_a": "удобрения", + "option_b": "чистота", + "option_c": "загрязняющие вещества", + "option_d": "энергия" + }, + "outputs": "C", + "meta": { + "id": 1203 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Источником чего в природе является загрязнение?\nA) удобрения\nB) чистота\nC) загрязняющие вещества\nD) энергия\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12582017481327057, + "B": 0.0812356099486351, + "C": 0.6801774501800537, + "D": 0.03604808449745178 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что более устойчиво в случае сильного землетрясения", + "option_a": "современный самолет", + "option_b": "большой дом", + "option_c": "горы", + "option_d": "модная машина" + }, + "outputs": "C", + "meta": { + "id": 495 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто более устойчиво в случае сильного землетрясения\nA. современный самолет\nB. большой дом\nC. горы\nD. модная машина\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 434, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8206136226654053, + "B": 0.023279016837477684, + "C": 0.02807985432446003, + "D": 0.01812971569597721 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Делать это в национальных парках и многих других лесных районах незаконно, потому что это вредит окружающей среде", + "option_a": "выбрасывать мусор", + "option_b": "разговаривать", + "option_c": "тратить время", + "option_d": "существовать" + }, + "outputs": "A", + "meta": { + "id": 1317 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nДелать это в национальных парках и многих других лесных районах незаконно, потому что это вредит окружающей среде\nA) выбрасывать мусор\nB) разговаривать\nC) тратить время\nD) существовать\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7051535248756409, + "B": 0.06161562725901604, + "C": 0.04234776273369789, + "D": 0.03978204354643822 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Березы вырастают на 75-90 сантиметров в год, в основном весной из-за", + "option_a": "талой воды и дождя", + "option_b": "снега и льда", + "option_c": "темноты", + "option_d": "луны" + }, + "outputs": "A", + "meta": { + "id": 2164 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Березы вырастают на 75-90 сантиметров в год, в основном весной из-за\nA) талой воды и дождя\nB) снега и льда\nC) темноты\nD) луны\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.3620273470878601, + "B": 0.26486486196517944, + "C": 0.21958068013191223, + "D": 0.04061834141612053 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Во время землетрясения груды земли могут", + "option_a": "пробить окна автомобилей", + "option_b": "надвинуться друг на друга", + "option_c": "скопиться на домах", + "option_d": "вырастить мелких животных и птиц" + }, + "outputs": "B", + "meta": { + "id": 2128 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВо время землетрясения груды земли могут\nA) пробить окна автомобилей\nB) надвинуться друг на друга\nC) скопиться на домах\nD) вырастить мелких животных и птиц\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 445, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.17041464149951935, + "B": 0.08568986505270004, + "C": 0.558768093585968, + "D": 0.10336171090602875 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гравитация уменьшается по мере того, как вы движетесь", + "option_a": "рядом с дружественной черной дырой", + "option_b": "все ближе к планете", + "option_c": "удаляясь от планеты", + "option_d": "все ближе к Солнцу" + }, + "outputs": "C", + "meta": { + "id": 1678 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГравитация уменьшается по мере того, как вы движетесь\nA. рядом с дружественной черной дырой\nB. все ближе к планете\nC. удаляясь от планеты\nD. все ближе к Солнцу\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 441, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.12269382923841476, + "B": 0.03983285278081894, + "C": 0.139030322432518, + "D": 0.6632765531539917 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Самолет с неподвижным крылом может летать", + "option_a": "высоко в космосе", + "option_b": "глубоко под водой", + "option_c": "внутри амебы", + "option_d": "в тропосфере" + }, + "outputs": "D", + "meta": { + "id": 130 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСамолет с неподвижным крылом может летать\nA) высоко в космосе\nB) глубоко под водой\nC) внутри амебы\nD) в тропосфере\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.21660621464252472, + "B": 0.14887112379074097, + "C": 0.3571232855319977, + "D": 0.16869309544563293 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Эти две вещи можно превращать одну в другую - как туда, так и обратно.", + "option_a": "тесто и пирог", + "option_b": "пар и дождь", + "option_c": "древесина и зола", + "option_d": "еда и фекалии" + }, + "outputs": "B", + "meta": { + "id": 1040 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Эти две вещи можно превращать одну в другую - как туда, так и обратно.\nA) тесто и пирог\nB) пар и дождь\nC) древесина и зола\nD) еда и фекалии\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07953595370054245, + "B": 0.4039169251918793, + "C": 0.12318769097328186, + "D": 0.33485889434814453 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что, скорее всего, вытеснит пустыню?", + "option_a": "солнечный свет", + "option_b": "увеличение количества осадков", + "option_c": "колонии муравьев", + "option_d": "кустарники" + }, + "outputs": "B", + "meta": { + "id": 1001 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто, скорее всего, вытеснит пустыню?\nA. солнечный свет\nB. увеличение количества осадков\nC. колонии муравьев\nD. кустарники\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.12317337095737457, + "B": 0.045312948524951935, + "C": 0.6658689379692078, + "D": 0.10211431235074997 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что можно использовать для передачи информации от одного человека к другому?", + "option_a": "изобретение Менделеева", + "option_b": "изобретение Ньютона", + "option_c": "изобретение Попова", + "option_d": "изобретение Пастера" + }, + "outputs": "C", + "meta": { + "id": 463 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что можно использовать для передачи информации от одного человека к другому?\nA) изобретение Менделеева\nB) изобретение Ньютона\nC) изобретение Попова\nD) изобретение Пастера\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11036670953035355, + "B": 0.03365994244813919, + "C": 0.6760780215263367, + "D": 0.12506186962127686 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шлепок по деревянной доске можно услышать за километр", + "option_a": "потому что звук проходит через кислород", + "option_b": "из-за того, что звук не работает", + "option_c": "потому что звук передается вибрациями в атмосфере", + "option_d": "потому что вибрация может гулять по дереву" + }, + "outputs": "C", + "meta": { + "id": 128 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Шлепок по деревянной доске можно услышать за километр\nA. потому что звук проходит через кислород\nB. из-за того, что звук не работает\nC. потому что звук передается вибрациями в атмосфере\nD. потому что вибрация может гулять по дереву\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 472, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4736610949039459, + "B": 0.0773230493068695, + "C": 0.163692906498909, + "D": 0.09326939284801483 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бытовой прибор готовит пищу, используя электрическую энергию и", + "option_a": "тепловую энергию", + "option_b": "больше ничего", + "option_c": "биологическую энергию", + "option_d": "химическую энергию" + }, + "outputs": "A", + "meta": { + "id": 920 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Бытовой прибор готовит пищу, используя электрическую энергию и\nA) тепловую энергию\nB) больше ничего\nC) биологическую энергию\nD) химическую энергию\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2619783878326416, + "B": 0.06623850017786026, + "C": 0.38117626309394836, + "D": 0.16914594173431396 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Используя то, из чего состоит поверхность Земли, вы можете соорудить", + "option_a": "замок", + "option_b": "компьютер", + "option_c": "шину", + "option_d": "телефон" + }, + "outputs": "A", + "meta": { + "id": 2119 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИспользуя то, из чего состоит поверхность Земли, вы можете соорудить\nA. замок\nB. компьютер\nC. шину\nD. телефон\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1516420841217041, + "B": 0.599756121635437, + "C": 0.0672907680273056, + "D": 0.11094372719526291 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему безобидные виды маскируются под опасных животных?", + "option_a": "чтобы спариваться", + "option_b": "чтобы избежать хищников", + "option_c": "чтобы поймать добычу", + "option_d": "чтобы построить гнезда" + }, + "outputs": "B", + "meta": { + "id": 1349 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПочему безобидные виды маскируются под опасных животных?\nA) чтобы спариваться\nB) чтобы избежать хищников\nC) чтобы поймать добычу\nD) чтобы построить гнезда\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.813027560710907, + "B": 0.017962118610739708, + "C": 0.027820274233818054, + "D": 0.026134729385375977 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что требует фотосинтеза для роста?", + "option_a": "флора", + "option_b": "планеты", + "option_c": "холмы", + "option_d": "люди" + }, + "outputs": "A", + "meta": { + "id": 326 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто требует фотосинтеза для роста?\nA) флора\nB) планеты\nC) холмы\nD) люди\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 419, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8177312016487122, + "B": 0.019231194630265236, + "C": 0.02628592774271965, + "D": 0.014977269805967808 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сухожилия работают с тем, что двигает кости скелета. Это", + "option_a": "мышцы", + "option_b": "провода", + "option_c": "роботы", + "option_d": "веревки" + }, + "outputs": "A", + "meta": { + "id": 1423 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСухожилия работают с тем, что двигает кости скелета. Это\nA) мышцы\nB) провода\nC) роботы\nD) веревки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 439, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.2518613338470459, + "B": 0.15276163816452026, + "C": 0.32339635491371155, + "D": 0.17310160398483276 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая часть двора прохладнее других?", + "option_a": "часть у забора", + "option_b": "часть с травой", + "option_c": "часть у бассейна", + "option_d": "часть у дуба" + }, + "outputs": "D", + "meta": { + "id": 565 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая часть двора прохладнее других?\nA) часть у забора\nB) часть с травой\nC) часть у бассейна\nD) часть у дуба\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 440, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "B" + ] + }, + "predict": { + "A": 0.17979244887828827, + "B": 0.31554558873176575, + "C": 0.1024426519870758, + "D": 0.31554558873176575 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда приходит день, появляется солнце и дает свет. Что происходит с солнцем, когда наступает ночь?", + "option_a": "оно синее и розовое", + "option_b": "оно мертво и ушло", + "option_c": "его становится семь и восемь", + "option_d": "оно клонится вниз и его становится не видно" + }, + "outputs": "D", + "meta": { + "id": 292 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда приходит день, появляется солнце и дает свет. Что происходит с солнцем, когда наступает ночь?\nA. оно синее и розовое\nB. оно мертво и ушло\nC. его становится семь и восемь\nD. оно клонится вниз и его становится не видно\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.3368828594684601, + "B": 0.08517732471227646, + "C": 0.2972980737686157, + "D": 0.1494908630847931 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное больше всего взаимодействует с пионом?", + "option_a": "человек", + "option_b": "слон", + "option_c": "пчела", + "option_d": "червь" + }, + "outputs": "C", + "meta": { + "id": 613 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое животное больше всего взаимодействует с пионом?\nA. человек\nB. слон\nC. пчела\nD. червь\n Отвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 425, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.4066353440284729, + "B": 0.2176562249660492, + "C": 0.1495928019285202, + "D": 0.09073261171579361 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что люди иногда едят?", + "option_a": "воздух", + "option_b": "воду океанов", + "option_c": "ядра", + "option_d": "камни" + }, + "outputs": "C", + "meta": { + "id": 2109 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто люди иногда едят?\nA. воздух\nB. воду океанов\nC. ядра\nD. камни\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.1541333645582199, + "B": 0.6489257216453552, + "C": 0.06035948917269707, + "D": 0.07750312238931656 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые люди прикрепляют металлические бирки на ошейники своей собаки, потому что в темноте эти ошейники могут", + "option_a": "плавить воск", + "option_b": "отражать свет", + "option_c": "читать книги", + "option_d": "окрашивать одежду" + }, + "outputs": "B", + "meta": { + "id": 725 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые люди прикрепляют металлические бирки на ошейники своей собаки, потому что в темноте эти ошейники могут\nA) плавить воск\nB) отражать свет\nC) читать книги\nD) окрашивать одежду\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 451, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2250080555677414, + "B": 0.2250080555677414, + "C": 0.25496751070022583, + "D": 0.1985689103603363 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из какого материала можно сделать изолятор?", + "option_a": "Металл", + "option_b": "Вода", + "option_c": "Кирпич", + "option_d": "Камень" + }, + "outputs": "C", + "meta": { + "id": 402 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИз какого материала можно сделать изолятор?\nA. Металл\nB. Вода\nC. Кирпич\nD. Камень\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 428, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.19086585938930511, + "B": 0.260882705450058, + "C": 0.31468459963798523, + "D": 0.12323226034641266 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Гремучих змей будет больше, если у гремучей змеи", + "option_a": "больше чешуи", + "option_b": "больше яда", + "option_c": "больше яиц", + "option_d": "больше погремушек" + }, + "outputs": "C", + "meta": { + "id": 2281 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nГремучих змей будет больше, если у гремучей змеи\nA) больше чешуи\nB) больше яда\nC) больше яиц\nD) больше погремушек\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 430, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.07864964753389359, + "B": 0.3311273753643036, + "C": 0.21379190683364868, + "D": 0.3110653758049011 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из чего видно, что животные учатся поведению, наблюдая за своими родителями?", + "option_a": "младенцы плачут, потому что утомленные родители плачут", + "option_b": "собаки лают, потому что их лаяли их родители", + "option_c": "котята умываются, потому что их мать умывала их", + "option_d": "котята лазают по деревьям, потому что смотрят, как это делают белки" + }, + "outputs": "C", + "meta": { + "id": 941 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Из чего видно, что животные учатся поведению, наблюдая за своими родителями?\nA. младенцы плачут, потому что утомленные родители плачут\nB. собаки лают, потому что их лаяли их родители\nC. котята умываются, потому что их мать умывала их\nD. котята лазают по деревьям, потому что смотрят, как это делают белки\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 499, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6003837585449219, + "B": 0.0492824986577034, + "C": 0.09800995141267776, + "D": 0.11105982959270477 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "К чему может привести более светлый оттенок объекта?", + "option_a": "способность быть более заметным", + "option_b": "получение положительного электрического заряда", + "option_c": "плохая проводимость", + "option_d": "ни один из следующих вариантов не верен" + }, + "outputs": "A", + "meta": { + "id": 1120 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: К чему может привести более светлый оттенок объекта?\nA. способность быть более заметным\nB. получение положительного электрического заряда\nC. плохая проводимость\nD. ни один из следующих вариантов не верен\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7935490012168884, + "B": 0.018662484362721443, + "C": 0.039508476853370667, + "D": 0.06513846665620804 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Применение вещей многоразового использования вместо одноразовых - это", + "option_a": "повторное использование", + "option_b": "компостирование", + "option_c": "переработка", + "option_d": "возврат" + }, + "outputs": "A", + "meta": { + "id": 938 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПрименение вещей многоразового использования вместо одноразовых - это\nA) повторное использование\nB) компостирование\nC) переработка\nD) возврат\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 429, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.20603954792022705, + "B": 0.19355624914169312, + "C": 0.31912028789520264, + "D": 0.18182925879955292 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чтобы увидеть пример ксилемы в работе", + "option_a": "организуйте цветы в букет", + "option_b": "поместите срезанную розу в воду с пищевым красителем", + "option_c": "отсоедините растение от корня", + "option_d": "уменьшите количество воды в вазе растения" + }, + "outputs": "B", + "meta": { + "id": 1554 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чтобы увидеть пример ксилемы в работе\nA) организуйте цветы в букет\nB) поместите срезанную розу в воду с пищевым красителем\nC) отсоедините растение от корня\nD) уменьшите количество воды в вазе растения\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 460, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.05803991109132767, + "B": 0.022728754207491875, + "C": 0.03747338429093361, + "D": 0.8528902530670166 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Потребляя из хрустального контейнера, человек, вероятно, наслаждается", + "option_a": "расплавленным ферментом печени", + "option_b": "странным жидким металлом", + "option_c": "импровизированной пастой", + "option_d": "золотистым напитком с холодными пузырьками, струящимися по нему" + }, + "outputs": "D", + "meta": { + "id": 2150 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПотребляя из хрустального контейнера, человек, вероятно, наслаждается\nA) расплавленным ферментом печени\nB) странным жидким металлом\nC) импровизированной пастой\nD) золотистым напитком с холодными пузырьками, струящимися по нему\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 457, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2181260734796524, + "B": 0.10303545743227005, + "C": 0.3596290946006775, + "D": 0.2181260734796524 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Выброс загрязняющих воздух веществ от транспортных средств на дороге может увелиситься, когда", + "option_a": "Скорая помощь транспортирует пациента в тяжелом состоянии", + "option_b": "ребенок ведет самокат", + "option_c": "трамвай получает ток от верхнего провода", + "option_d": "лошади тянут коляску по снегу" + }, + "outputs": "A", + "meta": { + "id": 2301 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВыброс загрязняющих воздух веществ от транспортных средств на дороге может увелиситься, когда\nA. Скорая помощь транспортирует пациента в тяжелом состоянии\nB. ребенок ведет самокат\nC. трамвай получает ток от верхнего провода\nD. лошади тянут коляску по снегу\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 464, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09362198412418365, + "B": 0.04422389715909958, + "C": 0.7363939881324768, + "D": 0.06849531084299088 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что плохое производит скунс?", + "option_a": "тепло", + "option_b": "холод", + "option_c": "запах", + "option_d": "цвет" + }, + "outputs": "C", + "meta": { + "id": 1837 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что плохое производит скунс?\nA. тепло\nB. холод\nC. запах\nD. цвет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 438, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2556910812854767, + "B": 0.12856954336166382, + "C": 0.3283138573169708, + "D": 0.175733745098114 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что не содержит воды?", + "option_a": "Море Спокойствия", + "option_b": "Каспийское море", + "option_c": "Мертвое море", + "option_d": "Карибское море" + }, + "outputs": "A", + "meta": { + "id": 706 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что не содержит воды?\nA) Море Спокойствия\nB) Каспийское море\nC) Мертвое море\nD) Карибское море\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 449, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8203420639038086, + "B": 0.018123716115951538, + "C": 0.012456236407160759, + "D": 0.017025655135512352 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ради чего пищеварительная система производит химические превращения пищи?", + "option_a": "жизнеобеспечение", + "option_b": "металл", + "option_c": "вода", + "option_d": "горные породы" + }, + "outputs": "A", + "meta": { + "id": 15 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Ради чего пищеварительная система производит химические превращения пищи?\nA) жизнеобеспечение\nB) металл\nC) вода\nD) горные породы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 448, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2578117549419403, + "B": 0.08909735828638077, + "C": 0.3523868918418884, + "D": 0.17719125747680664 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У вас больше шансов дрожать на", + "option_a": "приморском побережье", + "option_b": "на тропическом океанском острове", + "option_c": "на высокой горной вершине", + "option_d": "на солнечном берегу" + }, + "outputs": "C", + "meta": { + "id": 2073 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУ вас больше шансов дрожать на\nA. приморском побережье\nB. на тропическом океанском острове\nC. на высокой горной вершине\nD. на солнечном берегу\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 436, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.25231263041496277, + "B": 0.3239758312702179, + "C": 0.16290529072284698, + "D": 0.1734117865562439 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто из них будет более сытым?", + "option_a": "человек, который ест один раз в день", + "option_b": "человек, который ест трижды в день", + "option_c": "человек, который пьет только воду", + "option_d": "человек, голодающий весь день" + }, + "outputs": "B", + "meta": { + "id": 2257 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто из них будет более сытым?\nA. человек, который ест один раз в день\nB. человек, который ест трижды в день\nC. человек, который пьет только воду\nD. человек, голодающий весь день\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 455, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.031971484422683716, + "B": 0.8777347207069397, + "C": 0.023390837013721466, + "D": 0.020642342045903206 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Осьминоги выделяют чернила в качестве защиты, когда", + "option_a": "они летают", + "option_b": "они в опасности", + "option_c": "они готовят", + "option_d": "они играют в шахматы" + }, + "outputs": "B", + "meta": { + "id": 1792 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОсьминоги выделяют чернила в качестве защиты, когда\nA) они летают\nB) они в опасности\nC) они готовят\nD) они играют в шахматы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 442, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "B" + ] + }, + "predict": { + "A": 0.1233707144856453, + "B": 0.43060609698295593, + "C": 0.2780202031135559, + "D": 0.09025993943214417 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Алтайские горы достигают невероятных высот из-за того, как камень", + "option_a": "взорвался", + "option_b": "расплавил лаву", + "option_c": "собрался в огромные груды", + "option_d": "образовал равнины" + }, + "outputs": "C", + "meta": { + "id": 1241 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nАлтайские горы достигают невероятных высот из-за того, как камень\nA. взорвался\nB. расплавил лаву\nC. собрался в огромные груды\nD. образовал равнины\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 443, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "C", + "A" + ] + }, + "predict": { + "A": 0.35313642024993896, + "B": 0.10770051926374435, + "C": 0.31164178252220154, + "D": 0.10770051926374435 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Луна", + "option_a": "имеет семь великих озер", + "option_b": "больше Земли", + "option_c": "лишена морей", + "option_d": "имеет мощное магнитное поле" + }, + "outputs": "C", + "meta": { + "id": 1764 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛуна\nA) имеет семь великих озер\nB) больше Земли\nC) лишена морей\nD) имеет мощное магнитное поле\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.3636271059513092, + "B": 0.11805243045091629, + "C": 0.24991701543331146, + "D": 0.12566617131233215 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Еда менее опасна для употребления, когда", + "option_a": "полностью приготовлена", + "option_b": "испорчена", + "option_c": "она уже кем-то переварена", + "option_d": "она сгнила" + }, + "outputs": "A", + "meta": { + "id": 1825 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Еда менее опасна для употребления, когда\nA. полностью приготовлена\nB. испорчена\nC. она уже кем-то переварена\nD. она сгнила\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 453, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8196303248405457, + "B": 0.01810799166560173, + "C": 0.024750690907239914, + "D": 0.01810799166560173 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является источником энергии для животных?", + "option_a": "питательные вещества", + "option_b": "пластиковая пища", + "option_c": "металл", + "option_d": "камни" + }, + "outputs": "A", + "meta": { + "id": 918 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто является источником энергии для животных?\nA. питательные вещества\nB. пластиковая пища\nC. металл\nD. камни\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.3351891040802002, + "B": 0.1397276073694229, + "C": 0.29580333828926086, + "D": 0.10222689062356949 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что делает тело сильнее?", + "option_a": "наличие нескольких детей", + "option_b": "путешествие по воздуху", + "option_c": "чтение технических книг", + "option_d": "далекая парковка" + }, + "outputs": "D", + "meta": { + "id": 1298 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что делает тело сильнее?\nA) наличие нескольких детей\nB) путешествие по воздуху\nC) чтение технических книг\nD) далекая парковка\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8327844142913818, + "B": 0.028496313840150833, + "C": 0.018398603424429893, + "D": 0.03229055553674698 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто использует жабры для дыхания водой?", + "option_a": "марлины", + "option_b": "орлы", + "option_c": "зебры", + "option_d": "козы" + }, + "outputs": "A", + "meta": { + "id": 1569 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКто использует жабры для дыхания водой?\nA) марлины\nB) орлы\nC) зебры\nD) козы\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 432, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.21927133202552795, + "B": 0.13299480080604553, + "C": 0.3848332166671753, + "D": 0.1817823350429535 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У амеб нет вариантов, и они должны выполнять", + "option_a": "нулевые обязанности", + "option_b": "большинство функций", + "option_c": "все функции живого организма", + "option_d": "некоторые функции живого организма" + }, + "outputs": "C", + "meta": { + "id": 509 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У амеб нет вариантов, и они должны выполнять\nA) нулевые обязанности\nB) большинство функций\nC) все функции живого организма\nD) некоторые функции живого организма\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 452, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2080906182527542, + "B": 0.11856644600629807, + "C": 0.06755712628364563, + "D": 0.5656488537788391 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\n Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Еда - источник энергии для них?", + "option_a": "водопады", + "option_b": "пожары", + "option_c": "горы", + "option_d": "травяные змеи" + }, + "outputs": "D", + "meta": { + "id": 196 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЕда - источник энергии для них?\nA) водопады\nB) пожары\nC) горы\nD) травяные змеи\n Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 421, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.030306369066238403, + "B": 0.008682920597493649, + "C": 0.8856819272041321, + "D": 0.036556459963321686 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Молоко, продаваемое в супермаркетах, пастеризуется, потому что", + "option_a": "все сырое молоко безопасно", + "option_b": "это делает вкус лучше", + "option_c": "коровы, выращенные на заводских фермах, производят много гноя в молоке", + "option_d": "нужно максимально снизить эффект от попадания бактерий в молоко для покупателей" + }, + "outputs": "D", + "meta": { + "id": 958 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nМолоко, продаваемое в супермаркетах, пастеризуется, потому что\nA. все сырое молоко безопасно\nB. это делает вкус лучше\nC. коровы, выращенные на заводских фермах, производят много гноя в молоке\nD. нужно максимально снизить эффект от попадания бактерий в молоко для покупателей\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 470, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10178695619106293, + "B": 0.2599221169948578, + "C": 0.40257522463798523, + "D": 0.178641676902771 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нож отказывается прилипать к одеялу из-за", + "option_a": "удачи", + "option_b": "силы тяжести", + "option_c": "отсутствия магнетизма", + "option_d": "напряжения" + }, + "outputs": "C", + "meta": { + "id": 411 + } + }, + "prompt": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: Будь то ливень, снег или град, человечество может найти способ спастись от него,\nA. создав защищенное пространство\nB. восстановив старые улицы города\nC. создав большое сообщество\nD. укрыв всех молодых\nВыведите ответ: A, B, C или D.\nОтвет: A\n\nДля чего нужен электрический проводник?\nA) пожары\nB) скалы\nC) ветер\nD) шнур\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nТепло и давление превращают остатки чего в природный газ?\nA) книги\nB) банки\nC) листья\nD) автомобили\n Запишите только букву верного варианта: A, B, C или D.\nОтвет: C\n\nПоскольку спрос на продукцию отстает\nA) розничные торговцы зарабатывают больше денег\nB) розничные торговцы теряют выручку\nC) розничные торговцы открывают новые филиалы\nD) розничные торговцы удваивают свои запасы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Более толстые слои кожи больше всего подходят\nA) птице\nB) морскому леопарду\nC) ящерице\nD) скорпиону\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Нож отказывается прилипать к одеялу из-за\nA. удачи\nB. силы тяжести\nC. отсутствия магнетизма\nD. напряжения\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 447, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} diff --git a/llmtf_eval/darumeru_ruOpenBookQA_params.jsonl b/llmtf_eval/darumeru_ruOpenBookQA_params.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..46c1c6d4f4be458c196be570a414cca658ae060d --- /dev/null +++ b/llmtf_eval/darumeru_ruOpenBookQA_params.jsonl @@ -0,0 +1,56 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_part1_lr2e5_bs256", + "generation_config": { + "_from_model_config": true, + "bos_token_id": 1, + "do_sample": true, + "eos_token_id": [ + 2, + 13 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 2, + "stop_strings": [ + "\n", + "\n\n" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.38.2" + }, + "conversation_template": { + "system_message_template": "{content}\n", + "user_message_template": "{content}\n", + "bot_message_template": "{content}\n\n", + "bot_message_template_incomplete": "{content}", + "user_role": "user", + "bot_role": "bot", + "system_role": "system", + "suffix": "", + "add_special_tokens": false, + "global_prefix": "" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": true, + "space_token": 28705, + "trust_remote_code": [ + false + ], + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 5, + "batch_size": 1, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/darumeru_ruOpenBookQA_total.jsonl b/llmtf_eval/darumeru_ruOpenBookQA_total.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..85a0a6367e6957b59906140edf7b7894c134942f --- /dev/null +++ b/llmtf_eval/darumeru_ruOpenBookQA_total.jsonl @@ -0,0 +1,8 @@ +{ + "task_name": "darumeru/ruOpenBookQA", + "results": { + "acc": 0.6537800687285223, + "f1_macro": 0.6492237665562983 + }, + "leaderboard_result": 0.6515019176424104 +} diff --git a/llmtf_eval/darumeru_ruTiE.jsonl b/llmtf_eval/darumeru_ruTiE.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..532cc1273517abe80140c7deab8f26f4ad5217d4 --- /dev/null +++ b/llmtf_eval/darumeru_ruTiE.jsonl @@ -0,0 +1,19643 @@ +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.2857590615749359, + "2": 0.5338681936264038 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько ног у человека?", + "choice1": "Две", + "choice2": "Четыре" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 0, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n\nСколько ног у человека?\n1. Две\n2. Четыре\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 61, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.37816157937049866, + "2": 0.550221860408783 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А у муравья?", + "choice1": "Две", + "choice2": "Шесть" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 1, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 83, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.3734787702560425, + "2": 0.6157624125480652 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А у рыбы сколько?", + "choice1": "У рыбы нет ног", + "choice2": "Тоже две" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 2, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1) У рыбы нет ног\n2) Тоже две\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 121, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.3746952712535858, + "2": 0.6177680492401123 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какого цвета небо?", + "choice1": "Фиолетовое", + "choice2": "Обычно голубое" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 3, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\ni) Фиолетовое\nii) Обычно голубое\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6207798719406128, + "2": 0.3765220046043396 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А бумага?", + "choice1": "Обычно белая", + "choice2": "Прозрачная" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 4, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1) Обычно белая\n2) Прозрачная\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 156, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4671984314918518, + "2": 0.5294051766395569 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие обычно цвета есть на светофоре?", + "choice1": "Красный, жёлтый и синий", + "choice2": "Красный, жёлтый и зелёный" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 5, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 189, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5594797730445862, + "2": 0.43572327494621277 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А на какой сигнал можно ехать?", + "choice1": "На зелёный", + "choice2": "На жёлтый" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 6, + "category": [ + "games and rules" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 217, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5883296728134155, + "2": 0.40435269474983215 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А бывает синий светофор?", + "choice1": "Нет, синий цвет запрещён для использования в светофорах", + "choice2": "Да, он используется на железной дороге" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 7, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1) Нет, синий цвет запрещён для использования в светофорах\n2) Да, он используется на железной дороге\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 270, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7231707572937012, + "2": 0.24992114305496216 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А фиолетовый?", + "choice1": "Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской", + "choice2": "Конечно, нет!" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 8, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\ni) Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\nii) Конечно, нет!\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 319, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.7253046035766602, + "2": 0.2668246626853943 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А серобуромалиновый?", + "choice1": "Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 9, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "irony", + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1) Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2) Нет\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 334, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7494661211967468, + "2": 0.24331602454185486 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько ног у сороконожки?", + "choice1": "От 30 до 750", + "choice2": "40" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 10, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 365, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.7039667367935181, + "2": 0.22854454815387726 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "2+3=?", + "choice1": "7", + "choice2": "4" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 11, + "category": [ + "math" + ], + "use_context": false, + "turing_imitation": [ + "irony", + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 389, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.459908127784729, + "2": 0.5211442112922668 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А три плюс два?", + "choice1": "Четыре", + "choice2": "Семь" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 12, + "category": [ + "math" + ], + "use_context": true, + "turing_imitation": [ + "irony", + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1) Четыре\n2) Семь\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 423, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5903157591819763, + "2": 0.4057177007198334 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую форму имеет Земля?", + "choice1": "Шара", + "choice2": "Геоида" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 13, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\ni) Шара\nii) Геоида\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 458, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6202663779258728, + "2": 0.37621060013771057 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Триста умножить на триста?", + "choice1": "90000", + "choice2": "9000" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 14, + "category": [ + "math" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1) 90000\n2) 9000\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 468, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6731672883033752, + "2": 0.3179817199707031 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А 7 на 7?", + "choice1": "77", + "choice2": "49" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 15, + "category": [ + "math" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 490, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.844878077507019, + "2": 0.11434181779623032 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какого цвета обычно бывает снег?", + "choice1": "Белый", + "choice2": "Чёрный" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 16, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 515, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.24440504610538483, + "2": 0.7528205513954163 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какого цвета обычно бывает холодильник?", + "choice1": "Фиолетового", + "choice2": "Белого" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 17, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1) Фиолетового\n2) Белого\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 553, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7862269878387451, + "2": 0.1987893134355545 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какого цвета обычно бывает потолок в квартире?", + "choice1": "Белого", + "choice2": "Красного" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 18, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\ni) Белого\nii) Красного\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 589, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.8330020308494568, + "2": 0.16402782499790192 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что обычно пьют коровы?", + "choice1": "Молоко", + "choice2": "Воду" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 19, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1) Молоко\n2) Воду\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 591, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.616840660572052, + "2": 0.37413278222084045 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пять в квадрате?", + "choice1": "Двадцать пять", + "choice2": "55" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 20, + "category": [ + "math" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 612, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6174309253692627, + "2": 0.37449079751968384 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шесть в квадрате?", + "choice1": "Шесть", + "choice2": "36" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 21, + "category": [ + "math" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 638, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.694207489490509, + "2": 0.2553846836090088 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Восемь в квадрате?", + "choice1": "64", + "choice2": "Тридцать два" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 22, + "category": [ + "math" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1) 64\n2) Тридцать два\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 677, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5820611119270325, + "2": 0.40004435181617737 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Угол в квадрате?", + "choice1": "???", + "choice2": "Девяносто градусов" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 23, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "irony", + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\ni) ???\nii) Девяносто градусов\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 715, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5601311326026917, + "2": 0.4362305700778961 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называют брата отца?", + "choice1": "Дядя", + "choice2": "Брат" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 24, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1) Дядя\n2) Брат\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 714, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6151015162467957, + "2": 0.373077929019928 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "7×11?", + "choice1": "18", + "choice2": "77" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 25, + "category": [ + "math" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 734, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4353090524673462, + "2": 0.5589478611946106 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Есть ли у свиней хобот?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 26, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 760, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4975177049636841, + "2": 0.4975177049636841 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А у слонов?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 27, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1) Нет\n2) Да\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 793, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5264610052108765, + "2": 0.46460020542144775 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У тебя три яблока, ты отдал одно, сколько у тебя осталось?", + "choice1": "Два", + "choice2": "Три" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 28, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\ni) Два\nii) Три\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 834, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5892060995101929, + "2": 0.40495505928993225 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У тебя три яблока, ты отдала три, сколько у тебя осталось?", + "choice1": "Три", + "choice2": "Ни одного" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 29, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1) Три\n2) Ни одного\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 844, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.34744372963905334, + "2": 0.6491103172302246 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько лет шла столетняя война?", + "choice1": "116", + "choice2": "100" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 30, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "irony", + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 870, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.46055757999420166, + "2": 0.5218800902366638 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько лет сорокалетнему человеку?", + "choice1": "116", + "choice2": "40" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 31, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 901, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7516957521438599, + "2": 0.2440398782491684 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько дней в году?", + "choice1": "365 в обычном и 366 в високосном", + "choice2": "365" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 32, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1) 365 в обычном и 366 в високосном\n2) 365\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 955, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.7919550538063049, + "2": 0.20023758709430695 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько рук у человека?", + "choice1": "Чаще всего четыре", + "choice2": "Чаще всего две" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 33, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\ni) Чаще всего четыре\nii) Чаще всего две\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 992, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.8472771644592285, + "2": 0.14723467826843262 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Столица России?", + "choice1": "Москва", + "choice2": "Россия" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 34, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1) Москва\n2) Россия\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 990, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.46584928035736084, + "2": 0.5278763771057129 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой первый вопрос я тебе задал?", + "choice1": "«Какой первый вопрос я тебе задал?»", + "choice2": "«Сколько ног у человека?»" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 35, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 1026, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5073856711387634, + "2": 0.4477662742137909 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А какой второй?", + "choice1": "«А у муравья?»", + "choice2": "«А какой второй?»" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 36, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 1056, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.3765401542186737, + "2": 0.6208097338676453 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Про столицу какого государства я тебя спрашивал?", + "choice1": "Про столицу государства", + "choice2": "Про столицу России" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 37, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1) Про столицу государства\n2) Про столицу России\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 1096, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5529630184173584, + "2": 0.4306480586528778 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько обычно крыльев у птицы?", + "choice1": "Два", + "choice2": "Четыре" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 38, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\ni) Два\nii) Четыре\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 1131, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6207780838012695, + "2": 0.37652096152305603 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши слово «речекряк» задом наперёд?", + "choice1": "Речекряк", + "choice2": "Кяркечер" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 39, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1) Речекряк\n2) Кяркечер\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 1145, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6440482139587402, + "2": 0.34473416209220886 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как зовут друга Крокодила Гены?", + "choice1": "Чебурашка", + "choice2": "Гена" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 40, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 1169, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.546021580696106, + "2": 0.42524203658103943 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши его имя задом наперёд?", + "choice1": "Чебурашка", + "choice2": "Акшарубеч" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 41, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 1203, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5918163657188416, + "2": 0.40674903988838196 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отсортируй по возрастанию эти числа: 1 77 993 4738 2 23?", + "choice1": "1 2 23 77 993 4738", + "choice2": "1 77 23 993 2 4738" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 42, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1) 1 2 23 77 993 4738\n2) 1 77 23 993 2 4738\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 1297, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5415350794792175, + "2": 0.42174795269966125 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из них самое большое?", + "choice1": "1", + "choice2": "4738" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 43, + "category": [ + "reasoning" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\ni) 1\nii) 4738\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 1335, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6484976410865784, + "2": 0.34711578488349915 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А самое маленькое?", + "choice1": "1", + "choice2": "4738" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 44, + "category": [ + "reasoning" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1) 1\n2) 4738\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 1338, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.3455570638179779, + "2": 0.6455855369567871 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А какова сумма самого маленького и самого большого?", + "choice1": "1", + "choice2": "4739" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 45, + "category": [ + "math" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 1364, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5914384722709656, + "2": 0.4064893424510956 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?", + "choice1": "Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый", + "choice2": "Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 46, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 1496, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5303573608398438, + "2": 0.4680387079715729 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из них начинаются на букву «я»?", + "choice1": "«Выпупсень» и «кола»", + "choice2": "«Яма» и «яр»" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 47, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1) «Выпупсень» и «кола»\n2) «Яма» и «яр»\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 1552, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6694102883338928, + "2": 0.31620705127716064 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А какое из них заканчивается на мягкий знак?", + "choice1": "Выпупсень", + "choice2": "Яр" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 48, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\ni) Выпупсень\nii) Яр\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 1591, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5303640365600586, + "2": 0.46804460883140564 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько букв в самом коротком слове из списка выше?", + "choice1": "1", + "choice2": "2" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 49, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1) 1\n2) 2\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 1599, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4345700144767761, + "2": 0.5579989552497864 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А в самом длинном?", + "choice1": "28", + "choice2": "2" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 50, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 1619, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4042825996875763, + "2": 0.5882276892662048 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какого цвета полоски на шкуре у зебры?", + "choice1": "Синие и зелёные", + "choice2": "Белые и чёрные" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 51, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 1656, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.49785229563713074, + "2": 0.49785229563713074 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А у тигра?", + "choice1": "Жёлтые и чёрные", + "choice2": "Белые и чёрные" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 52, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1) Жёлтые и чёрные\n2) Белые и чёрные\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 1698, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.558049201965332, + "2": 0.43460917472839355 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А какое из этих животных хищное?", + "choice1": "Зебра", + "choice2": "Тигр" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 53, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\ni) Зебра\nii) Тигр\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 1734, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.49918320775032043, + "2": 0.49918320775032043 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши его название трижды слитно с большой буквы и без пробелов?", + "choice1": "Тигртигртигр", + "choice2": "Тигр" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 54, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1) Тигртигртигр\n2) Тигр\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 1749, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.3198414444923401, + "2": 0.6771042943000793 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько будет семь минус восемь?", + "choice1": "восемь", + "choice2": "-1" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 55, + "category": [ + "math" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 1769, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5538428425788879, + "2": 0.4313332140445709 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А какой напиток упоминался в задании про короткие и длинные слова?", + "choice1": "Кола", + "choice2": "Напиток" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 56, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 1804, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.30827873945236206, + "2": 0.6526260375976562 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько всего вопросов было в нашей беседе (включая этот)?", + "choice1": "1", + "choice2": "58" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 57, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1) 1\n2) 58\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 1850, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6565729379653931, + "2": 0.3101431131362915 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А сколько получится, если это число умножить на десять?", + "choice1": "580", + "choice2": "10" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 58, + "category": [ + "math" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\ni) 580\nii) 10\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 1893, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5910383462905884, + "2": 0.40621432662010193 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что больше слон или Луна?", + "choice1": "Слон", + "choice2": "Луна" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 59, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1) Слон\n2) Луна\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 1894, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.46688804030418396, + "2": 0.5290535092353821 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А на Луне живут слоны?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 60, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 1913, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.49327901005744934, + "2": 0.49327901005744934 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А дельфины?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 61, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 1935, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5905731916427612, + "2": 0.4058946371078491 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А какие животные живут на Луне?", + "choice1": "Никакие", + "choice2": "Слоны и дельфины" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 62, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1) Никакие\n2) Слоны и дельфины\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 1977, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6473334431648254, + "2": 0.3464926481246948 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Даже свиньи?", + "choice1": "Свиньи живут на Луне", + "choice2": "Даже свиньи" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 63, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\ni) Свиньи живут на Луне\nii) Даже свиньи\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 2015, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7293723821640015, + "2": 0.26832112669944763 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А спутником какой планеты является Луна?", + "choice1": "Земли", + "choice2": "Луны" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 64, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1) Земли\n2) Луны\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 2016, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.20001107454299927, + "2": 0.791059136390686 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какого цвета обычно листы у деревьев?", + "choice1": "Синего", + "choice2": "Зелёного" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 65, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 2039, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5750072598457336, + "2": 0.3951963484287262 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А у кустов?", + "choice1": "Тоже зелёного", + "choice2": "Тоже синего" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 66, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 2067, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4867994487285614, + "2": 0.4867994487285614 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А у книг?", + "choice1": "Тоже зелёного", + "choice2": "Белого" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 67, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1) Тоже зелёного\n2) Белого\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 2102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5908420085906982, + "2": 0.40607938170433044 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие гласные есть в слове «ундервуд»?", + "choice1": "«У» и «е»", + "choice2": "«А» и «о»" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 68, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\ni) «У» и «е»\nii) «А» и «о»\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 2153, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6217325329780579, + "2": 0.3770998418331146 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А в слове «пароход»?", + "choice1": "«У» и «е»", + "choice2": "«А» и «о»" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 69, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1) «У» и «е»\n2) «А» и «о»\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 2167, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5269423723220825, + "2": 0.46502500772476196 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А какое из этих слов длиннее?", + "choice1": "Ундервуд", + "choice2": "Пароход" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 70, + "category": [ + "reasoning" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 2191, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6020157337188721, + "2": 0.36514100432395935 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А какое из них стоит раньше в списке по алфавиту?", + "choice1": "Ундервуд", + "choice2": "Пароход" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 71, + "category": [ + "reasoning" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 2226, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6216278076171875, + "2": 0.37703633308410645 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?", + "choice1": "Бокрёнок, бочка, дылда, калина, калуша, цурипопик", + "choice2": "Цурипопик, калуша, калина, дылда, бочка, бокрёнок" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 72, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1) Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2) Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 2333, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5907062888145447, + "2": 0.40598613023757935 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого списка является растением?", + "choice1": "Бокрёнок", + "choice2": "Калина" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 73, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\ni) Бокрёнок\nii) Калина\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 2371, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.704679548740387, + "2": 0.29375413060188293 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Есть ли у крокодилов зубы?", + "choice1": "Есть", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 74, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1) Есть\n2) Нет\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 2373, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5898589491844177, + "2": 0.4054037630558014 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А хвосты?", + "choice1": "Нет", + "choice2": "Есть" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 75, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 2388, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.463121622800827, + "2": 0.40870338678359985 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А пятачки?", + "choice1": "Нет", + "choice2": "Есть" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 76, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "profanity", + "adult_content", + "text_metrics", + "language_structure", + "topic_modelling", + "multilanguage", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 2410, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.2682953178882599, + "2": 0.7293022274971008 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из каких животных делают свиную колбасу?", + "choice1": "Из животных", + "choice2": "Из свиней" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 77, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1) Из животных\n2) Из свиней\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 2450, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5899127125740051, + "2": 0.40544068813323975 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А говяжью?", + "choice1": "Из коров", + "choice2": "Из свиней" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 78, + "category": [ + "lexis" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\ni) Из коров\nii) Из свиней\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 2484, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.40628281235694885, + "2": 0.5911380052566528 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А какую колбасу делают из кур?", + "choice1": "Говяжью", + "choice2": "Куриную" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 79, + "category": [ + "lexis" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1) Говяжью\n2) Куриную\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 2489, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7921926975250244, + "2": 0.20029768347740173 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что слаще: сахар или соль?", + "choice1": "Сахар", + "choice2": "Соль" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 80, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 2510, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5270613431930542, + "2": 0.4651300311088562 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши это слово задом-наперёд?", + "choice1": "Сахар", + "choice2": "Рахас" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 81, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 2541, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5295526385307312, + "2": 0.46732857823371887 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая буква в этом слове похожа на крестик?", + "choice1": "Х", + "choice2": "С" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 82, + "category": [ + "shape" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1) Х\n2) С\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 2580, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6187179088592529, + "2": 0.37527140974998474 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А какая кириллическая буква похожа на кружок?", + "choice1": "Буква «х»", + "choice2": "Буква «о" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 83, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\ni) Буква «х»\nii) Буква «о\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 2625, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6498627662658691, + "2": 0.34784647822380066 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто старше: сын или его папа?", + "choice1": "Папа", + "choice2": "Сын" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 84, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1) Папа\n2) Сын\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 2626, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5598740577697754, + "2": 0.43603038787841797 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой буквы начинается слово «пистолет»?", + "choice1": "С «т»", + "choice2": "С «п»" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 85, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 2654, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5582196116447449, + "2": 0.43474188446998596 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А какой буквой заканчивается?", + "choice1": "«Т»", + "choice2": "«П»" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 86, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 2681, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.11894267052412033, + "2": 0.8788740634918213 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как обычно расшифровывается аббревиатура «СССР»?", + "choice1": "Никак", + "choice2": "Союз Советских Социалистических Республик" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 87, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1) Никак\n2) Союз Советских Социалистических Республик\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 2731, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.774885356426239, + "2": 0.2220083773136139 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А «США»?", + "choice1": "Соединённые Штаты Америки", + "choice2": "Союз Советских Социалистических Республик" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 88, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "text_metrics", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\ni) Соединённые Штаты Америки\nii) Союз Советских Социалистических Республик\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 2772, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6209417581558228, + "2": 0.37662023305892944 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное самое большое в мире?", + "choice1": "Слон", + "choice2": "Синий кит" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 89, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1) Слон\n2) Синий кит\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 2777, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5604875683784485, + "2": 0.4365081489086151 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Есть ли у него хобот?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 90, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 2796, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.37182170152664185, + "2": 0.6130303740501404 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?", + "choice1": "Пароход", + "choice2": "Паролёт" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 91, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 2849, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.3766004741191864, + "2": 0.6209092140197754 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши получившееся слово задом наперёд с маленькой буквы?", + "choice1": "тёлорап", + "choice2": "Паролёт" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 92, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1) тёлорап\n2) Паролёт\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 2896, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6476275324821472, + "2": 0.34665006399154663 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько в этом слове гласных?", + "choice1": "Одна", + "choice2": "Три" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 93, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\ni) Одна\nii) Три\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 2931, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5600307583808899, + "2": 0.4361523687839508 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А согласных?", + "choice1": "4", + "choice2": "1" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 94, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1) 4\n2) 1\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 2930, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.49863943457603455, + "2": 0.49863943457603455 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Рифмуются ли слова «кровь» и «любовь»?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 95, + "category": [ + "sound" + ], + "use_context": false, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 2957, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5249886512756348, + "2": 0.46330082416534424 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А «любовь» и «морковь»?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 96, + "category": [ + "sound" + ], + "use_context": true, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 2985, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5881831645965576, + "2": 0.4042520225048065 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А «морковь» и «свекровь»?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 97, + "category": [ + "sound" + ], + "use_context": true, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1) Нет\n2) Да\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3025, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5583756566047668, + "2": 0.434863418340683 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А «свекровь» и «паролёт»?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 98, + "category": [ + "sound" + ], + "use_context": true, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\ni) Нет\nii) Да\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3064, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5302942991256714, + "2": 0.46798309683799744 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Существует ли красная бумага?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 99, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1) Нет\n2) Да\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3066, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5267369747161865, + "2": 0.46484375 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А зелёная?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 100, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3081, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5093942880630493, + "2": 0.4495388865470886 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А чёрная?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 101, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3102, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4930614233016968, + "2": 0.4930614233016968 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А живая?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 102, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1) Нет\n2) Да\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3134, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5568645596504211, + "2": 0.4336865544319153 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А туалетная?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 103, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\ni) Нет\nii) Да\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3164, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4679524004459381, + "2": 0.5302595496177673 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А рожающая котят?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 104, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1) Нет\n2) Да\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3164, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.34662243723869324, + "2": 0.6475759148597717 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А кто рожает котят?", + "choice1": "Бумага", + "choice2": "Кошки" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 105, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3184, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7596149444580078, + "2": 0.21763333678245544 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называют детей собак?", + "choice1": "Щенки", + "choice2": "Котята" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 106, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3211, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.3472076654434204, + "2": 0.6486693024635315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А лошадей?", + "choice1": "Щенки", + "choice2": "Жеребята" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 107, + "category": [ + "lexis" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1) Щенки\n2) Жеребята\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3248, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5577167868614197, + "2": 0.43435028195381165 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А коров?", + "choice1": "Телята", + "choice2": "Жеребята" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 108, + "category": [ + "lexis" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\ni) Телята\nii) Жеребята\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3282, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5900682806968689, + "2": 0.4055475890636444 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А кто обычно больше — телёнок или щенок?", + "choice1": "Щенок", + "choice2": "Телёнок" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 109, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1) Щенок\n2) Телёнок\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3292, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7904003858566284, + "2": 0.19984452426433563 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бывают ли летучие мыши?", + "choice1": "Бывают", + "choice2": "Не бывают" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 110, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3312, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.497078001499176, + "2": 0.497078001499176 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Правда ли, что работа повара заключается в изготовлении сапогов?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 111, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3344, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.9440840482711792, + "2": 0.05326158180832863 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А в чём она обычно заключается?", + "choice1": "В приготовлении пищи", + "choice2": "В изготовлении сапогов" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 112, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1) В приготовлении пищи\n2) В изготовлении сапогов\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3386, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6459200978279114, + "2": 0.3457361161708832 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что больше: слон или велосипедный насос?", + "choice1": "Насос", + "choice2": "Слон" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 113, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\ni) Насос\nii) Слон\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3426, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6505038142204285, + "2": 0.3481896221637726 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто бегает быстрее: гепард или черепаха?", + "choice1": "Гепард", + "choice2": "Черепаха" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 114, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1) Гепард\n2) Черепаха\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3435, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5277985334396362, + "2": 0.4657805562019348 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши подряд пять точек?", + "choice1": ".", + "choice2": "….." + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 115, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3454, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.580009400844574, + "2": 0.39863425493240356 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши теперь «пять точек»?", + "choice1": "Пять точек", + "choice2": "….." + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 116, + "category": [ + "lexis" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3482, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5271677374839783, + "2": 0.46522390842437744 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теперь напиши пять букв «о»?", + "choice1": "Пять букв «о»", + "choice2": "ооооо" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 117, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1) Пять букв «о»\n2) ооооо\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3528, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6684413552284241, + "2": 0.3157493472099304 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А теперь «пять букв «о»?", + "choice1": "Пять букв «о»", + "choice2": "ооооо" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 118, + "category": [ + "lexis" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\ni) Пять букв «о»\nii) ооооо\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3571, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.32010138034820557, + "2": 0.6776545643806458 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши через дефис пять первых букв латинского алфавита?", + "choice1": "Пять букв «о»", + "choice2": "a-b-c-d-e" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 119, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1) Пять букв «о»\n2) a-b-c-d-e\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3591, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5599580407142639, + "2": 0.4360957443714142 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Могут ли некоторые птицы летать? Ответь на этот вопрос неправильно?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 120, + "category": [ + "trap" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3616, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.41714999079704285, + "2": 0.5356311798095703 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши аббревиатуру названия «Большой адронный коллайдер»?", + "choice1": "Большой адронный коллайдер", + "choice2": "БАК" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 121, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3659, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6489413380622864, + "2": 0.3473532795906067 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что мягче камень или вата?", + "choice1": "Вата", + "choice2": "Камень" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 122, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1) Вата\n2) Камень\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3697, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6488929986953735, + "2": 0.3473273813724518 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что весит больше: килограмм пуха или килограмм свинины?", + "choice1": "Килограмм пуха", + "choice2": "Одинаково весят" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 123, + "category": [ + "trap" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\ni) Килограмм пуха\nii) Одинаково весят\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3747, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.49851781129837036, + "2": 0.49851781129837036 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как зовут поросёнка из сказки про Винни Пуха?", + "choice1": "Пятачок", + "choice2": "Винни Пух" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 124, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1) Пятачок\n2) Винни Пух\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3759, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6751450300216675, + "2": 0.3189159333705902 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А ослика?", + "choice1": "Пятачок", + "choice2": "Иа-иа" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 125, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3780, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.8803699612617493, + "2": 0.08188716322183609 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называют песни, которые поют детям перед сном?", + "choice1": "Колыбельные", + "choice2": "Марши" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 126, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3812, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.8143120408058167, + "2": 0.18169759213924408 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая звезда лучше всего видна на небе в первую четверть марта?", + "choice1": "Сириус", + "choice2": "Солнце" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 127, + "category": [ + "trap" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1) Сириус\n2) Солнце\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3855, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6103546619415283, + "2": 0.3701988458633423 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько лучей у пятиконечной звезды?", + "choice1": "5", + "choice2": "4" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 128, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\ni) 5\nii) 4\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3893, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4650639593601227, + "2": 0.5269864797592163 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А у шестиконечной?", + "choice1": "5", + "choice2": "6" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 129, + "category": [ + "lexis" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1) 5\n2) 6\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3894, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.39749976992607117, + "2": 0.5783587098121643 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А томов в пятитомнике?", + "choice1": "Пять", + "choice2": "6" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 130, + "category": [ + "lexis" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3914, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5569497346878052, + "2": 0.4337528944015503 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По какой стороне дороги ездят машины в Москве?", + "choice1": "По левой", + "choice2": "По правой" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 131, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3943, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4354361891746521, + "2": 0.5591111183166504 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А в Лондоне?", + "choice1": "По левой", + "choice2": "По правой" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 132, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у человека?\n1. Две\n2. Четыре\nОтвет: 1\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1) По левой\n2) По правой\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3977, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.49423855543136597, + "2": 0.49423855543136597 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бывают ли синими ягоды?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 133, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nА у муравья?\n1. Две\n2. Шесть\nОтвет: 2\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\ni) Нет\nii) Да\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3989, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6781018376350403, + "2": 0.32031264901161194 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Детёныш бобра это бобрёнок, а детёныш бокра?", + "choice1": "Бокрёнок", + "choice2": "Бобрёнок" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 134, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nА у рыбы сколько?\n1. У рыбы нет ног\n2. Тоже две\nОтвет: 1\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1) Бокрёнок\n2) Бобрёнок\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3987, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5606064796447754, + "2": 0.43660077452659607 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Запрещено ли законом гражданам Австралии дышать?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 135, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nКакого цвета небо?\n1. Фиолетовое\n2. Обычно голубое\nОтвет: 2\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3983, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5285335183143616, + "2": 0.4664291739463806 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Правда ли, что у оленей бывают рога?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 136, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nА бумага?\n1. Обычно белая\n2. Прозрачная\nОтвет: 1\nКакие обычно цвета есть на светофоре?\n1. Красный, жёлтый и синий\n2. Красный, жёлтый и зелёный\nОтвет: 2\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3987, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4636865556240082, + "2": 0.5254257321357727 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?", + "choice1": "Один", + "choice2": "Сто" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 137, + "category": [ + "math" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nА на какой сигнал можно ехать?\n1. На зелёный\n2. На жёлтый\nОтвет: 1\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1) Один\n2) Сто\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3977, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6661836504936218, + "2": 0.31468290090560913 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А какое из этих чисел самое маленькое?", + "choice1": "Один", + "choice2": "Сто" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 138, + "category": [ + "reasoning" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\ni) Один\nii) Сто\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3986, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5200074315071106, + "2": 0.4589049518108368 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая третья цифра в числе 5672?", + "choice1": "2", + "choice2": "7" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 139, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nА бывает синий светофор?\n1. Нет, синий цвет запрещён для использования в светофорах\n2. Да, он используется на железной дороге\nОтвет: 2\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1) 2\n2) 7\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3994, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.46807458996772766, + "2": 0.5303980112075806 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Правда ли, что в числе 123 пять цифр?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 140, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nА фиолетовый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе французской\n2. Конечно, нет!\nОтвет: 1\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3980, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.46532300114631653, + "2": 0.5272800326347351 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А в числе 34?", + "choice1": "Да", + "choice2": "Тоже нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 141, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nА серобуромалиновый?\n1. Да. Его используют в железнодорожных системах сигнализации, образовавшихся на базе английской\n2. Нет\nОтвет: 2\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3968, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5278480648994446, + "2": 0.46582427620887756 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А в числе 34567?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 142, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько ног у сороконожки?\n1. От 30 до 750\n2. 40\nОтвет: 1\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1) Да\n2) Нет\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3969, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.527794599533081, + "2": 0.46577709913253784 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Запомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?", + "choice1": "Лампа", + "choice2": "Молоток" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 143, + "category": [ + "trap" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\ni) Лампа\nii) Молоток\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3986, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6479923129081726, + "2": 0.3468453288078308 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое слово ты запомнил?", + "choice1": "Лампа", + "choice2": "Молоток" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 144, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n2+3=?\n1. 7\n2. 4\nОтвет: 2\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1) Лампа\n2) Молоток\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3988, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5897307395935059, + "2": 0.405315637588501 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что выше: Эйфелева башня или гора Эверест?", + "choice1": "Эйфелева башня", + "choice2": "Гора Эверест" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 145, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nА три плюс два?\n1. Четыре\n2. Семь\nОтвет: 1\nКакую форму имеет Земля?\n1. Шара\n2. Геоида\nОтвет: 2\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3996, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5863522887229919, + "2": 0.40299364924430847 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что пахнет сильнее: чистая вода или цветок одуванчика?", + "choice1": "Цветок одуванчика", + "choice2": "Чистая вода" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 146, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nТриста умножить на триста?\n1. 90000\n2. 9000\nОтвет: 1\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3990, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5906496047973633, + "2": 0.40594717860221863 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тонет ли золото в воде?", + "choice1": "Не тонет", + "choice2": "Тонет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 147, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nА 7 на 7?\n1. 77\n2. 49\nОтвет: 2\nКакого цвета обычно бывает снег?\n1. Белый\n2. Чёрный\nОтвет: 1\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1) Не тонет\n2) Тонет\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3997, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7471432089805603, + "2": 0.24256189167499542 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Умеют ли птицы петь?", + "choice1": "Некоторые умеют", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 148, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\ni) Некоторые умеют\nii) Нет\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3982, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.3769347071647644, + "2": 0.6214602589607239 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птицы это млекопитающие?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 149, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nКакого цвета обычно бывает холодильник?\n1. Фиолетового\n2. Белого\nОтвет: 2\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1) Да\n2) Нет\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3981, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.67702716588974, + "2": 0.31980499625205994 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?", + "choice1": "КОШКА", + "choice2": "Андроид" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 150, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nКакого цвета обычно бывает потолок в квартире?\n1. Белого\n2. Красного\nОтвет: 1\nЧто обычно пьют коровы?\n1. Молоко\n2. Воду\nОтвет: 2\nПять в квадрате?\n1. Двадцать пять\n2. 55\nОтвет: 1\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3999, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.43392103910446167, + "2": 0.4916969835758209 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?", + "choice1": "В первом", + "choice2": "В восьмом" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 151, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nШесть в квадрате?\n1. Шесть\n2. 36\nОтвет: 2\nВосемь в квадрате?\n1. 64\n2. Тридцать два\nОтвет: 1\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3977, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.40492430329322815, + "2": 0.5891613960266113 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая по счёту буква в этом слове написана неправильно: «Разкаиваться»?", + "choice1": "Третья", + "choice2": "Четвёртая" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 152, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nУгол в квадрате?\n1. ???\n2. Девяносто градусов\nОтвет: 2\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1) Третья\n2) Четвёртая\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3976, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.48726561665534973, + "2": 0.37948283553123474 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Запиши этот ответ цифрой?", + "choice1": "5", + "choice2": "3" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 153, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКак называют брата отца?\n1. Дядя\n2. Брат\nОтвет: 1\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\ni) 5\nii) 3\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3985, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.49894893169403076, + "2": 0.49894893169403076 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?", + "choice1": "Пятую и шестую", + "choice2": "Четвёртую и пятую" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 154, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n7×11?\n1. 18\n2. 77\nОтвет: 2\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1) Пятую и шестую\n2) Четвёртую и пятую\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3990, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5907899737358093, + "2": 0.4060436189174652 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На какой по счёту слог падает ударение в слове «ромашка»?", + "choice1": "На третий", + "choice2": "На второй" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 155, + "category": [ + "sound" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nЕсть ли у свиней хобот?\n1. Нет\n2. Да\nОтвет: 1\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3996, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6415568590164185, + "2": 0.34340065717697144 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое слово я попросил тебя запомнить?", + "choice1": "Лампа", + "choice2": "Такое" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 156, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nА у слонов?\n1. Нет\n2. Да\nОтвет: 2\nУ тебя три яблока, ты отдал одно, сколько у тебя осталось?\n1. Два\n2. Три\nОтвет: 1\nУ тебя три яблока, ты отдала три, сколько у тебя осталось?\n1. Три\n2. Ни одного\nОтвет: 2\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3999, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.522936999797821, + "2": 0.40726375579833984 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?", + "choice1": "Три", + "choice2": "Четыре" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 157, + "category": [ + "strings", + " memory" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько лет шла столетняя война?\n1. 116\n2. 100\nОтвет: 1\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1) Три\n2) Четыре\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3970, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5899814963340759, + "2": 0.405487984418869 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется машина для мойки посуды?", + "choice1": "Посудомоечная машина", + "choice2": "Машина" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 158, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\ni) Посудомоечная машина\nii) Машина\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3981, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6209825277328491, + "2": 0.37664493918418884 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто в мультфильме «Ну, погоди!» гоняется за зайчиком?", + "choice1": "Лиса", + "choice2": "Волк" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 159, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько лет сорокалетнему человеку?\n1. 116\n2. 40\nОтвет: 2\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1) Лиса\n2) Волк\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3993, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5915740132331848, + "2": 0.4065825045108795 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Едят ли волки зайцев?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 160, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько дней в году?\n1. 365 в обычном и 366 в високосном\n2. 365\nОтвет: 1\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3983, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4676530361175537, + "2": 0.5299203395843506 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши слово «барашек», поставив плюсы между слогами?", + "choice1": "Барашек", + "choice2": "Ба+ра+шек" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 161, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько рук у человека?\n1. Чаще всего четыре\n2. Чаще всего две\nОтвет: 2\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3980, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.8781781792640686, + "2": 0.11884848773479462 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как меня зовут?", + "choice1": "Тебя зовут Астрид", + "choice2": "Тебя зовут Вова" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 162, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСтолица России?\n1. Москва\n2. Россия\nОтвет: 1\nКакой первый вопрос я тебе задал?\n1. «Какой первый вопрос я тебе задал?»\n2. «Сколько ног у человека?»\nОтвет: 2\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1) Тебя зовут Астрид\n2) Тебя зовут Вова\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3995, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5871046185493469, + "2": 0.403510719537735 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Запомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?", + "choice1": "2", + "choice2": "Два" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 163, + "category": [ + "strings", + " memory" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\ni) 2\nii) Два\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3983, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.75301593542099, + "2": 0.24446848034858704 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется инструмент, которым строгают доски?", + "choice1": "Рубанок", + "choice2": "Молоток" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 164, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nА какой второй?\n1. «А у муравья?»\n2. «А какой второй?»\nОтвет: 1\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1) Рубанок\n2) Молоток\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3988, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5571062564849854, + "2": 0.43387478590011597 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько в этом слове букв?", + "choice1": "Четыре", + "choice2": "Семь" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 165, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nПро столицу какого государства я тебя спрашивал?\n1. Про столицу государства\n2. Про столицу России\nОтвет: 2\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3980, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5892035365104675, + "2": 0.404953271150589 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В игре «камень-ножницы-бумага» что одерживает победу над камнем?", + "choice1": "Бумага", + "choice2": "Ножницы" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 166, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько обычно крыльев у птицы?\n1. Два\n2. Четыре\nОтвет: 1\nНапиши слово «речекряк» задом наперёд?\n1. Речекряк\n2. Кяркечер\nОтвет: 2\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3994, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5898387432098389, + "2": 0.40538984537124634 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как зовут отца Владимира Петровича?", + "choice1": "Владимир", + "choice2": "Пётр" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 167, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nКак зовут друга Крокодила Гены?\n1. Чебурашка\n2. Гена\nОтвет: 1\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1) Владимир\n2) Пётр\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3969, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7521159648895264, + "2": 0.24417629837989807 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из чего делают виноградный сок?", + "choice1": "Из винограда", + "choice2": "Из моркови" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 168, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\ni) Из винограда\nii) Из моркови\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3978, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.468095600605011, + "2": 0.530421793460846 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Соль и сахар: что из них слаще?", + "choice1": "Соль", + "choice2": "Сахар" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 169, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nНапиши его имя задом наперёд?\n1. Чебурашка\n2. Акшарубеч\nОтвет: 2\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1) Соль\n2) Сахар\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3984, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7530468702316284, + "2": 0.2444785237312317 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Имя «Маша» мужское или женское?", + "choice1": "Женское", + "choice2": "Мужское" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 170, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nОтсортируй по возрастанию эти числа: 1 77 993 4738 2 23?\n1. 1 2 23 77 993 4738\n2. 1 77 23 993 2 4738\nОтвет: 1\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3977, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6162287592887878, + "2": 0.3737616240978241 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из этих растений жжётся: крапива или ромашка?", + "choice1": "Ромашка", + "choice2": "Крапива" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 171, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3932, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4676159918308258, + "2": 0.5298783779144287 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Должен ли «лежачий полицейский» отдавать честь генералу?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 172, + "category": [ + "trap" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nКакое из них самое большое?\n1. 1\n2. 4738\nОтвет: 2\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1) Нет\n2) Да\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3974, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.46547991037368774, + "2": 0.5274578332901001 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши слово, которое получится при соединении слогов «ро», «та» и «ция»?", + "choice1": "Ция", + "choice2": "Ротация" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 173, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nА самое маленькое?\n1. 1\n2. 4738\nОтвет: 1\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\ni) Ция\nii) Ротация\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3998, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5610752105712891, + "2": 0.43696582317352295 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая буква пропущена в слове «пар.кмахерская»?", + "choice1": "И", + "choice2": "В" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 174, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nА какова сумма самого маленького и самого большого?\n1. 1\n2. 4739\nОтвет: 2\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1) И\n2) В\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3982, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5609198808670044, + "2": 0.4368448257446289 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая страна больше по площади: Германия или Ватикан?", + "choice1": "Ватикан", + "choice2": "Германия" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 175, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3978, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.8297387361526489, + "2": 0.14418695867061615 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется столица Германии?", + "choice1": "Берлин", + "choice2": "Москва" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 176, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nНапиши эти слова в порядке возрастания длины: яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк?\n1. Яр, яма, кола, ыъцрк, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый\n2. Яма, кола, яр, речекряк, выпупсень, свиноматка, стодвадцатипятимиллиметровый, ыъцрк\nОтвет: 1\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 4000, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.752873420715332, + "2": 0.24442219734191895 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая страна самая большая в мире по площади?", + "choice1": "Китай", + "choice2": "Россия" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 177, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1) Китай\n2) Россия\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3908, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6732741594314575, + "2": 0.3180322051048279 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А по населению?", + "choice1": "Китай", + "choice2": "Россия" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 178, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\ni) Китай\nii) Россия\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3938, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.3479076027870178, + "2": 0.649976909160614 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что обычно надевают на руку партнёра на свадьбе?", + "choice1": "Наручники", + "choice2": "Кольцо" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 179, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1) Наручники\n2) Кольцо\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3945, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5599443912506104, + "2": 0.43608513474464417 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько чаще всего у человека глаз?", + "choice1": "Два", + "choice2": "Много" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 180, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3965, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.13101565837860107, + "2": 0.8543293476104736 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называют судно, которое прокладывает путь во льдах?", + "choice1": "Пароход", + "choice2": "Ледокол" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 181, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nКакие из них начинаются на букву «я»?\n1. «Выпупсень» и «кола»\n2. «Яма» и «яр»\nОтвет: 2\nА какое из них заканчивается на мягкий знак?\n1. Выпупсень\n2. Яр\nОтвет: 1\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3998, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.37671783566474915, + "2": 0.6211026906967163 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?", + "choice1": "стйег", + "choice2": "Гейтс" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 182, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько букв в самом коротком слове из списка выше?\n1. 1\n2. 2\nОтвет: 2\nА в самом длинном?\n1. 28\n2. 2\nОтвет: 1\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1) стйег\n2) Гейтс\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3981, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6481684446334839, + "2": 0.3469395935535431 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если связать плот из стальных ломов, он поплывёт по воде или утонет?", + "choice1": "Поплывёт", + "choice2": "Утонет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 183, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКакого цвета полоски на шкуре у зебры?\n1. Синие и зелёные\n2. Белые и чёрные\nОтвет: 2\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\ni) Поплывёт\nii) Утонет\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3978, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.591676652431488, + "2": 0.4066530168056488 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?", + "choice1": "h4", + "choice2": "e4" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 184, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "intent", + "facts", + "topic_modelling", + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nА у тигра?\n1. Жёлтые и чёрные\n2. Белые и чёрные\nОтвет: 1\nА какое из этих животных хищное?\n1. Зебра\n2. Тигр\nОтвет: 2\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1) h4\n2) e4\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3982, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.677707314491272, + "2": 0.3201262652873993 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?", + "choice1": "h4", + "choice2": "h8" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 185, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "intent", + "facts", + "topic_modelling", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nНапиши его название трижды слитно с большой буквы и без пробелов?\n1. Тигртигртигр\n2. Тигр\nОтвет: 1\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3989, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5281585454940796, + "2": 0.46609827876091003 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "«У Лукоморья … зелёный». Какое слово пропущено?", + "choice1": "Дуб", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 186, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько будет семь минус восемь?\n1. восемь\n2. -1\nОтвет: 2\nА какой напиток упоминался в задании про короткие и длинные слова?\n1. Кола\n2. Напиток\nОтвет: 1\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3983, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.3765145242214203, + "2": 0.6207674741744995 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Реши анаграмму: онжыцин?", + "choice1": "Онжыцин", + "choice2": "Ножницы" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 187, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько всего вопросов было в нашей беседе (включая этот)?\n1. 1\n2. 58\nОтвет: 2\nА сколько получится, если это число умножить на десять?\n1. 580\n2. 10\nОтвет: 1\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1) Онжыцин\n2) Ножницы\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3969, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5876002311706543, + "2": 0.40385136008262634 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Возьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?", + "choice1": "Пыуышыкыиыны", + "choice2": "Слово" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 188, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\ni) Пыуышыкыиыны\nii) Слово\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3973, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5303590893745422, + "2": 0.46804025769233704 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какого обычно цвета клавиши у рояля?", + "choice1": "Белого", + "choice2": "Белого и чёрного" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 189, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nЧто больше слон или Луна?\n1. Слон\n2. Луна\nОтвет: 2\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1) Белого\n2) Белого и чёрного\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3980, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.9279643893241882, + "2": 0.06722152233123779 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В какой стране жил Д’Артаньян?", + "choice1": "Во Франции", + "choice2": "В Англии" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 190, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nА на Луне живут слоны?\n1. Нет\n2. Да\nОтвет: 1\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3981, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6764042377471924, + "2": 0.3195107579231262 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто старше по званию: генерал или полковник?", + "choice1": "Полковник", + "choice2": "Генерал" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 191, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nА дельфины?\n1. Да\n2. Нет\nОтвет: 2\nА какие животные живут на Луне?\n1. Никакие\n2. Слоны и дельфины\nОтвет: 1\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3985, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7224733829498291, + "2": 0.2657831311225891 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Атветь пажалста скольк бдет семь пребавить адинацать?", + "choice1": "18", + "choice2": "4" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 192, + "category": [ + "math", + " trap" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nДаже свиньи?\n1. Свиньи живут на Луне\n2. Даже свиньи\nОтвет: 2\nА спутником какой планеты является Луна?\n1. Земли\n2. Луны\nОтвет: 1\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1) 18\n2) 4\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3986, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5815050601959229, + "2": 0.3527006506919861 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?", + "choice1": "4", + "choice2": "оооаааа2299-" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 193, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКакого цвета обычно листы у деревьев?\n1. Синего\n2. Зелёного\nОтвет: 2\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\ni) 4\nii) оооаааа2299-\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3999, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.753542423248291, + "2": 0.24463939666748047 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?", + "choice1": ";-)", + "choice2": ":-(" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 194, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "sentiment", + "intent", + "facts", + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nА у кустов?\n1. Тоже зелёного\n2. Тоже синего\nОтвет: 1\nА у книг?\n1. Тоже зелёного\n2. Белого\nОтвет: 2\nКакие гласные есть в слове «ундервуд»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 1\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1) ;-)\n2) :-(\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3997, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.2684996426105499, + "2": 0.7298576831817627 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Представь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?", + "choice1": "ОО-ОО", + "choice2": "ООО-ООО" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 195, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nА в слове «пароход»?\n1. «У» и «е»\n2. «А» и «о»\nОтвет: 2\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3991, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6693045496940613, + "2": 0.31615710258483887 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?", + "choice1": "5 кг", + "choice2": "10 кг" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 196, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nА какое из этих слов длиннее?\n1. Ундервуд\n2. Пароход\nОтвет: 1\nА какое из них стоит раньше в списке по алфавиту?\n1. Ундервуд\n2. Пароход\nОтвет: 2\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3999, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5172168016433716, + "2": 0.4564422369003296 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?", + "choice1": "8", + "choice2": "9" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 197, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nОтсортируй эти слова по алфавиту: цурипопик, дылда, калуша, бокрёнок, бочка, калина?\n1. Бокрёнок, бочка, дылда, калина, калуша, цурипопик\n2. Цурипопик, калуша, калина, дылда, бочка, бокрёнок\nОтвет: 1\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1) 8\n2) 9\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3993, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4217638373374939, + "2": 0.4779210686683655 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?", + "choice1": "35", + "choice2": "42" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 198, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\ni) 35\nii) 42\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3952, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5607156157493591, + "2": 0.4366857707500458 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как меня зовут?", + "choice1": "Ваня", + "choice2": "Астрид" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 199, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1) Ваня\n2) Астрид\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3952, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5919533967971802, + "2": 0.40684324502944946 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теперь меня зовут Джозеф. Как ты думаешь, это русское имя?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 200, + "category": [ + "memory", + " world" + ], + "use_context": true, + "turing_imitation": [ + "language_structure", + "multilanguage" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nЧто из этого списка является растением?\n1. Бокрёнок\n2. Калина\nОтвет: 2\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3978, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5895693898200989, + "2": 0.40520474314689636 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как меня звали раньше?", + "choice1": "Джозеф", + "choice2": "Астрид" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 201, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nЕсть ли у крокодилов зубы?\n1. Есть\n2. Нет\nОтвет: 1\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3976, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6202017068862915, + "2": 0.376171350479126 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Правда ли, что оленину делают из кошек?", + "choice1": "Нет", + "choice2": "Правда" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 202, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nА хвосты?\n1. Нет\n2. Есть\nОтвет: 2\nА пятачки?\n1. Нет\n2. Есть\nОтвет: 1\nИз каких животных делают свиную колбасу?\n1. Из животных\n2. Из свиней\nОтвет: 2\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1) Нет\n2) Правда\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3992, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5261922478675842, + "2": 0.4643630385398865 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?", + "choice1": "8", + "choice2": "6" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 203, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nА говяжью?\n1. Из коров\n2. Из свиней\nОтвет: 1\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\ni) 8\nii) 6\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3981, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.649469792842865, + "2": 0.3476361334323883 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Масса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?", + "choice1": "3 кг", + "choice2": "4 кг" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 204, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nА какую колбасу делают из кур?\n1. Говяжью\n2. Куриную\nОтвет: 2\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1) 3 кг\n2) 4 кг\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3984, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.7748523354530334, + "2": 0.2219989150762558 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что обычно слаще: тыква или дыня?", + "choice1": "Тыква", + "choice2": "Дыня" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 205, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nЧто слаще: сахар или соль?\n1. Сахар\n2. Соль\nОтвет: 1\nНапиши это слово задом-наперёд?\n1. Сахар\n2. Рахас\nОтвет: 2\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3981, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5571610331535339, + "2": 0.43391746282577515 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?", + "choice1": "В 2 раза", + "choice2": "В 3 раза" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 206, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nКакая буква в этом слове похожа на крестик?\n1. Х\n2. С\nОтвет: 1\nА какая кириллическая буква похожа на кружок?\n1. Буква «х»\n2. Буква «о\nОтвет: 2\nКто старше: сын или его папа?\n1. Папа\n2. Сын\nОтвет: 1\nС какой буквы начинается слово «пистолет»?\n1. С «т»\n2. С «п»\nОтвет: 2\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3978, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4679752588272095, + "2": 0.5302854776382446 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?", + "choice1": "[o]obo", + "choice2": "[ooo]-[ooo]-[ooo]-[o]obo" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 207, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nА какой буквой заканчивается?\n1. «Т»\n2. «П»\nОтвет: 1\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1) [o]obo\n2) [ooo]-[ooo]-[ooo]-[o]obo\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3977, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5582054853439331, + "2": 0.4347308874130249 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Верно ли неравенство «5<3»?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 208, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\ni) Нет\nii) Да\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3990, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.46755659580230713, + "2": 0.5298110246658325 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая нота идёт в гамме после фа?", + "choice1": "До", + "choice2": "Соль" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 209, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nКак обычно расшифровывается аббревиатура «СССР»?\n1. Никак\n2. Союз Советских Социалистических Республик\nОтвет: 2\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1) До\n2) Соль\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3996, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5299909114837646, + "2": 0.4677153527736664 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько палочек в знаке «равно»?", + "choice1": "2", + "choice2": "1" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 210, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nА «США»?\n1. Соединённые Штаты Америки\n2. Союз Советских Социалистических Республик\nОтвет: 1\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3985, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4673483073711395, + "2": 0.529574990272522 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Можно ли написать цифру 6 не отрывая карандаша от бумаги?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 211, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nКакое животное самое большое в мире?\n1. Слон\n2. Синий кит\nОтвет: 2\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3988, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.46554577350616455, + "2": 0.5275325179100037 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А число 11?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 212, + "category": [ + "shape" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nЕсть ли у него хобот?\n1. Нет\n2. Да\nОтвет: 1\nЕсли от слова «пароход» взять первые четыре буквы и прибавить к ним последние три буквы из слова «самолёт», то какое слово получится?\n1. Пароход\n2. Паролёт\nОтвет: 2\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1) Нет\n2) Да\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3995, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5818787813186646, + "2": 0.3999190330505371 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А букву «й»?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 213, + "category": [ + "shape" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\ni) Да\nii) Нет\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3954, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.561403751373291, + "2": 0.4372217059135437 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А букву «г»?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 214, + "category": [ + "shape" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1) Да\n2) Нет\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3954, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4359482526779175, + "2": 0.5597686171531677 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как зовут отца Марьи Сергеевны?", + "choice1": "Владимир", + "choice2": "Сергей" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 215, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3974, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5583846569061279, + "2": 0.4348704218864441 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Можно ли поджечь носки?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 216, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nНапиши получившееся слово задом наперёд с маленькой буквы?\n1. тёлорап\n2. Паролёт\nОтвет: 1\nСколько в этом слове гласных?\n1. Одна\n2. Три\nОтвет: 2\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3999, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.347303569316864, + "2": 0.6488484740257263 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называют специалиста, работающего на токарном станке?", + "choice1": "Слесарь", + "choice2": "Токарь" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 217, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nА согласных?\n1. 4\n2. 1\nОтвет: 1\nРифмуются ли слова «кровь» и «любовь»?\n1. Нет\n2. Да\nОтвет: 2\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1) Слесарь\n2) Токарь\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3986, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6174281239509583, + "2": 0.37448906898498535 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Замени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?", + "choice1": "лпзб", + "choice2": "Кожа" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 218, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nА «любовь» и «морковь»?\n1. Да\n2. Нет\nОтвет: 1\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\ni) лпзб\nii) Кожа\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3992, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4369997978210449, + "2": 0.5611188411712646 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое слово получится, если от слова «победа» отнять две первые буквы?", + "choice1": "Победа", + "choice2": "Беда" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 219, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1) Победа\n2) Беда\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3980, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5597565174102783, + "2": 0.4359388053417206 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как меня зовут?", + "choice1": "Джозеф", + "choice2": "Сергей" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 220, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nА «морковь» и «свекровь»?\n1. Нет\n2. Да\nОтвет: 2\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3996, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5254854559898376, + "2": 0.463739275932312 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А какую собачью кличку я просил тебя запомнить?", + "choice1": "Джозеф", + "choice2": "Веспа" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 221, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nА «свекровь» и «паролёт»?\n1. Нет\n2. Да\nОтвет: 1\nСуществует ли красная бумага?\n1. Нет\n2. Да\nОтвет: 2\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 4000, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5606796741485596, + "2": 0.43665778636932373 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Правда ли, что кусаются только самки комаров?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 222, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nА зелёная?\n1. Да\n2. Нет\nОтвет: 1\nА чёрная?\n1. Нет\n2. Да\nОтвет: 2\nА живая?\n1. Нет\n2. Да\nОтвет: 1\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1) Да\n2) Нет\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3990, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.43295663595199585, + "2": 0.5559273362159729 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши слово «анубис» заглавными буквами?", + "choice1": "А ну, бис!", + "choice2": "АНУБИС" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 223, + "category": [ + "strings", + " shape" + ], + "use_context": false, + "turing_imitation": [ + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\ni) А ну, бис!\nii) АНУБИС\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3983, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4990866184234619, + "2": 0.4990866184234619 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько в этом слове букв «с»?", + "choice1": "Одна", + "choice2": "Две" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 224, + "category": [ + "strings", + " lexis" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nА туалетная?\n1. Нет\n2. Да\nОтвет: 2\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1) Одна\n2) Две\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3987, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5609772801399231, + "2": 0.43688955903053284 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А «у»?", + "choice1": "Две", + "choice2": "Одна" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 225, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nА рожающая котят?\n1. Нет\n2. Да\nОтвет: 1\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3984, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5591127872467041, + "2": 0.43543747067451477 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А что получится, если это слово перевернуть?", + "choice1": "СИБУНА", + "choice2": "анубис" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 226, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nА кто рожает котят?\n1. Бумага\n2. Кошки\nОтвет: 2\nКак называют детей собак?\n1. Щенки\n2. Котята\nОтвет: 1\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3995, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.46589386463165283, + "2": 0.5279269218444824 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?", + "choice1": "да", + "choice2": "ДА" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 227, + "category": [ + "games and rules", + " world" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nА лошадей?\n1. Щенки\n2. Жеребята\nОтвет: 2\nА коров?\n1. Телята\n2. Жеребята\nОтвет: 1\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1) да\n2) ДА\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3992, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.46632152795791626, + "2": 0.5284115076065063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Правда ли, что не всё то золото, что блестит?", + "choice1": "ДА", + "choice2": "да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 228, + "category": [ + "games and rules", + " world" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\ni) ДА\nii) да\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3986, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4992605149745941, + "2": 0.4992605149745941 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Правда ли, что в слове «кот» четыре буквы?", + "choice1": "ДА", + "choice2": "НЕТ" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 229, + "category": [ + "games and rules", + " strings" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nА кто обычно больше — телёнок или щенок?\n1. Щенок\n2. Телёнок\nОтвет: 2\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1) ДА\n2) НЕТ\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3994, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.375950425863266, + "2": 0.6198374629020691 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Правда ли, что радио изобрёл Ломоносов?", + "choice1": "НЕТ", + "choice2": "нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 230, + "category": [ + "games and rules", + " world" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nБывают ли летучие мыши?\n1. Бывают\n2. Не бывают\nОтвет: 1\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3986, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.40483716130256653, + "2": 0.5890345573425293 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кто был первым президентом СССР?", + "choice1": "Горбачёв", + "choice2": "ГОРБАЧЁВ" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 231, + "category": [ + "games and rules", + " world" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nПравда ли, что работа повара заключается в изготовлении сапогов?\n1. Да\n2. Нет\nОтвет: 2\nА в чём она обычно заключается?\n1. В приготовлении пищи\n2. В изготовлении сапогов\nОтвет: 1\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3992, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5581868290901184, + "2": 0.4347163438796997 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?", + "choice1": "Нет", + "choice2": "НЕТ" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 232, + "category": [ + "games and rules", + " world" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nЧто больше: слон или велосипедный насос?\n1. Насос\n2. Слон\nОтвет: 2\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1) Нет\n2) НЕТ\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3994, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6737252473831177, + "2": 0.3182452619075775 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А соляной?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 233, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\ni) Да\nii) Нет\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3996, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5916300415992737, + "2": 0.4066210091114044 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А съедать по 500 г соли?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 234, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nКто бегает быстрее: гепард или черепаха?\n1. Гепард\n2. Черепаха\nОтвет: 1\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1) Нет\n2) Да\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 4000, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4047539532184601, + "2": 0.5889135599136353 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А спать как минимум по 7 часов?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 235, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nНапиши подряд пять точек?\n1. .\n2. …..\nОтвет: 2\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3989, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5506111979484558, + "2": 0.42881640791893005 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Правда ли, что гороховый суп делают из гороха?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 236, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nНапиши теперь «пять точек»?\n1. Пять точек\n2. …..\nОтвет: 1\nТеперь напиши пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 2\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3997, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.49849504232406616, + "2": 0.49849504232406616 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Правда ли, что абрикосовое варенье делают из абрикосов?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 237, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nА теперь «пять букв «о»?\n1. Пять букв «о»\n2. ооооо\nОтвет: 1\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1) Нет\n2) Да\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3985, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5586986541748047, + "2": 0.43511494994163513 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Правда ли, что докторскую колбасу делают из докторов?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 238, + "category": [ + "trap" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nНапиши через дефис пять первых букв латинского алфавита?\n1. Пять букв «о»\n2. a-b-c-d-e\nОтвет: 2\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\ni) Нет\nii) Да\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3993, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.29365354776382446, + "2": 0.7044382691383362 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кого доят для того, чтобы сделать коровье молоко?", + "choice1": "Никого", + "choice2": "Коров" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 239, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1) Никого\n2) Коров\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3959, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.43580225110054016, + "2": 0.5595811605453491 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кого доят для того, чтобы сделать птичье молоко?", + "choice1": "Коров", + "choice2": "Птиц" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 240, + "category": [ + "trap" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nМогут ли некоторые птицы летать? Ответь на этот вопрос неправильно?\n1. Нет\n2. Да\nОтвет: 1\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3986, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.507682740688324, + "2": 0.39538368582725525 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кого доят, чтобы получилось маковое молоко?", + "choice1": "Коров", + "choice2": "Никого" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 241, + "category": [ + "trap" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nНапиши аббревиатуру названия «Большой адронный коллайдер»?\n1. Большой адронный коллайдер\n2. БАК\nОтвет: 2\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3987, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6462657451629639, + "2": 0.3052743375301361 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько тут плюсов: «++++++++++»?", + "choice1": "Десять", + "choice2": "Четыре" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 242, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nЧто мягче камень или вата?\n1. Вата\n2. Камень\nОтвет: 1\nЧто весит больше: килограмм пуха или килограмм свинины?\n1. Килограмм пуха\n2. Одинаково весят\nОтвет: 2\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1) Десять\n2) Четыре\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3988, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6190838813781738, + "2": 0.3754933476448059 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бывают ли люди, которые весят больше 10000 кг?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 243, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\ni) Да\nii) Нет\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3967, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5912989377975464, + "2": 0.406393438577652 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Слово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?", + "choice1": "Франция", + "choice2": "Россия" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 244, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nКак зовут поросёнка из сказки про Винни Пуха?\n1. Пятачок\n2. Винни Пух\nОтвет: 1\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1) Франция\n2) Россия\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3989, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.467351496219635, + "2": 0.5295786261558533 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если удвоить 222, то получится…?", + "choice1": "222", + "choice2": "444" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 245, + "category": [ + "math" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nА ослика?\n1. Пятачок\n2. Иа-иа\nОтвет: 2\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3984, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7694605588912964, + "2": 0.19455009698867798 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется самка вида, самец которого называется «бык»?", + "choice1": "Корова", + "choice2": "Бык" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 246, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nКак называют песни, которые поют детям перед сном?\n1. Колыбельные\n2. Марши\nОтвет: 1\nКакая звезда лучше всего видна на небе в первую четверть марта?\n1. Сириус\n2. Солнце\nОтвет: 2\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3993, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.49638330936431885, + "2": 0.49638330936431885 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется самка вида, самец которого называется «кот»?", + "choice1": "Самка", + "choice2": "Кошка" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 247, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько лучей у пятиконечной звезды?\n1. 5\n2. 4\nОтвет: 1\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1) Самка\n2) Кошка\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3977, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5874817371368408, + "2": 0.40376991033554077 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется самец вида, самка которого называется «овца»?", + "choice1": "Баран", + "choice2": "Овен" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 248, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nА у шестиконечной?\n1. 5\n2. 6\nОтвет: 2\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\ni) Баран\nii) Овен\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3993, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5914843082427979, + "2": 0.4065208435058594 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется самец вида, самка которого называется «ворона»?", + "choice1": "Ворон", + "choice2": "Ворона" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 249, + "category": [ + "trap" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nА томов в пятитомнике?\n1. Пять\n2. 6\nОтвет: 1\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1) Ворон\n2) Ворона\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3979, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6778478026390076, + "2": 0.3201926350593567 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Может ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 250, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nПо какой стороне дороги ездят машины в Москве?\n1. По левой\n2. По правой\nОтвет: 2\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3984, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6369919180870056, + "2": 0.3409572243690491 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой цвет в радуге идёт после красного?", + "choice1": "Синий", + "choice2": "Оранжевый" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 251, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nА в Лондоне?\n1. По левой\n2. По правой\nОтвет: 1\nБывают ли синими ягоды?\n1. Нет\n2. Да\nОтвет: 2\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3987, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5603311061859131, + "2": 0.4363862872123718 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Может ли мышь прожить сто лет?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 252, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nДетёныш бобра это бобрёнок, а детёныш бокра?\n1. Бокрёнок\n2. Бобрёнок\nОтвет: 1\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1) Нет\n2) Да\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3980, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5899654030799866, + "2": 0.4054769277572632 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тает ли мороженое во рту?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 253, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\ni) Нет\nii) Да\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3974, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.705086886882782, + "2": 0.293923944234848 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Можно ли замёрзнуть насмерть?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 254, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1) Да\n2) Нет\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3977, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.497048556804657, + "2": 0.497048556804657 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Бывают ли анекдоты про Штирлица?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 255, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nЗапрещено ли законом гражданам Австралии дышать?\n1. Да\n2. Нет\nОтвет: 2\nПравда ли, что у оленей бывают рога?\n1. Да\n2. Нет\nОтвет: 1\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3998, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4947638213634491, + "2": 0.4947638213634491 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Может ли обезьяна родить верблюжонка?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 256, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nКакое из этих чисел делится без остатка на два: пять, сто, тридцать один, один?\n1. Один\n2. Сто\nОтвет: 2\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3975, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5288955569267273, + "2": 0.4667486846446991 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А котёнка?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 257, + "category": [ + "world" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nА какое из этих чисел самое маленькое?\n1. Один\n2. Сто\nОтвет: 1\nКакая третья цифра в числе 5672?\n1. 2\n2. 7\nОтвет: 2\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1) Да\n2) Нет\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3972, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6681909561157227, + "2": 0.31563106179237366 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?", + "choice1": "Подушка", + "choice2": "Кукушка" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 258, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\ni) Подушка\nii) Кукушка\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3972, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.621415913105011, + "2": 0.3769078254699707 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая приставка в слове «застава»?", + "choice1": "Заст", + "choice2": "За" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 259, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nПравда ли, что в числе 123 пять цифр?\n1. Нет\n2. Да\nОтвет: 1\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1) Заст\n2) За\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3978, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5608553290367126, + "2": 0.43679454922676086 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой корень в слове «мышка»?", + "choice1": "Мыш", + "choice2": "Мышк" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 260, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nА в числе 34?\n1. Да\n2. Тоже нет\nОтвет: 2\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3972, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5890788435935974, + "2": 0.40486758947372437 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой корень в слове «стул»?", + "choice1": "Ул", + "choice2": "Стул" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 261, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nА в числе 34567?\n1. Да\n2. Нет\nОтвет: 1\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3977, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.49828997254371643, + "2": 0.49828997254371643 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой суффикс в слове «мышка»?", + "choice1": "К", + "choice2": "Мыш" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 262, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nЗапомни слово «лампа» и ответь на вопрос: как называют инструмент для заколачивания гвоздей?\n1. Лампа\n2. Молоток\nОтвет: 2\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1) К\n2) Мыш\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3993, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6150681972503662, + "2": 0.3730577528476715 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое окончание в слове «стул»?", + "choice1": "Ул", + "choice2": "Нулевое" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 263, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\ni) Ул\nii) Нулевое\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3992, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.704179584980011, + "2": 0.2935456931591034 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое окончание в слове «грибы»?", + "choice1": "Ы", + "choice2": "Бы" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 264, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nКакое слово ты запомнил?\n1. Лампа\n2. Молоток\nОтвет: 1\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1) Ы\n2) Бы\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3997, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6203474402427673, + "2": 0.3762597441673279 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое окончание в слове «рубли»?", + "choice1": "Ли", + "choice2": "И" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 265, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nЧто выше: Эйфелева башня или гора Эверест?\n1. Эйфелева башня\n2. Гора Эверест\nОтвет: 2\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3995, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6195380091667175, + "2": 0.3757688105106354 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой корень в слове «тазик»?", + "choice1": "Таз", + "choice2": "Тазик" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 266, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nЧто пахнет сильнее: чистая вода или цветок одуванчика?\n1. Цветок одуванчика\n2. Чистая вода\nОтвет: 1\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3992, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.3662373721599579, + "2": 0.5328722596168518 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "66:22?", + "choice1": "66", + "choice2": "3" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 267, + "category": [ + "math" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nТонет ли золото в воде?\n1. Не тонет\n2. Тонет\nОтвет: 2\nУмеют ли птицы петь?\n1. Некоторые умеют\n2. Нет\nОтвет: 1\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1) 66\n2) 3\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3992, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4196527600288391, + "2": 0.5388448238372803 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько вершин у куба?", + "choice1": "8", + "choice2": "4" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 268, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\ni) 8\nii) 4\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3980, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4661243259906769, + "2": 0.5281880497932434 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько сторон у треугольника?", + "choice1": "Нисколько", + "choice2": "Три" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 269, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nПтицы это млекопитающие?\n1. Да\n2. Нет\nОтвет: 2\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1) Нисколько\n2) Три\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3982, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5907893180847168, + "2": 0.4060431718826294 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Число «пи» больше тройки?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 270, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nНапиши аббревиатуру для названия «Крабовидный Онолетический Шипящий Кусающийся Андроид»?\n1. КОШКА\n2. Андроид\nОтвет: 1\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3981, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5893251299858093, + "2": 0.4050368666648865 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?", + "choice1": "Б", + "choice2": "И" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 271, + "category": [ + "trap" + ], + "use_context": false, + "turing_imitation": [ + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nВ каком по счёту слове этого предложения содержится ошибка: «Шумел сурово брянский лес, во мраке молнии свиркали»?\n1. В первом\n2. В восьмом\nОтвет: 2\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3973, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5915697813034058, + "2": 0.4065795838832855 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У человека может быть только белая кожа?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 272, + "category": [ + "ethics" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1) Нет\n2) Да\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3959, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4968205988407135, + "2": 0.4968205988407135 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Женщины это люди?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 273, + "category": [ + "ethics" + ], + "use_context": false, + "turing_imitation": [ + "sentiment", + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\ni) Нет\nii) Да\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3991, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.8656890988349915, + "2": 0.13275772333145142 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Домашнее насилие это отлично?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 274, + "category": [ + "ethics" + ], + "use_context": false, + "turing_imitation": [ + "sentiment" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nКакая по счёту буква в этом слове написана неправильно: «Разкаиваться»?\n1. Третья\n2. Четвёртая\nОтвет: 1\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1) Нет\n2) Да\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3991, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5557385087013245, + "2": 0.4328095614910126 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько глухих согласных в слове «хорёк»?", + "choice1": "3", + "choice2": "2" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 275, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nЗапиши этот ответ цифрой?\n1. 5\n2. 3\nОтвет: 2\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3983, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.48064562678337097, + "2": 0.48064562678337097 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько будет 3+3×3?", + "choice1": "12", + "choice2": "18" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 276, + "category": [ + "math" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nКакие две буквы по счёту в слове «расперкрасная» надо поменять местами, чтобы исправить ошибку?\n1. Пятую и шестую\n2. Четвёртую и пятую\nОтвет: 1\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3990, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5854096412658691, + "2": 0.40234577655792236 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Умножь теперь это число на два. Сколько получится?", + "choice1": "36", + "choice2": "24" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 277, + "category": [ + "math" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nНа какой по счёту слог падает ударение в слове «ромашка»?\n1. На третий\n2. На второй\nОтвет: 2\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1) 36\n2) 24\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3986, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.644008219242096, + "2": 0.3447127938270569 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Есть ли гласные в слове «пыщь»?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 278, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\ni) Да\nii) Нет\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3990, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5613417029380798, + "2": 0.43717336654663086 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А согласные?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 279, + "category": [ + "spell" + ], + "use_context": true, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nКакое слово я попросил тебя запомнить?\n1. Лампа\n2. Такое\nОтвет: 1\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1) Нет\n2) Да\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3987, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4352714419364929, + "2": 0.5588995814323425 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А твёрдый знак?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 280, + "category": [ + "spell" + ], + "use_context": true, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nНапиши сколько слогов в слове «вертихвостка» и запомни, что меня зовут Астрид?\n1. Три\n2. Четыре\nОтвет: 2\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3978, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4978272318840027, + "2": 0.4978272318840027 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что получится, если переставить местами слоги в слове «покой»?", + "choice1": "Покой", + "choice2": "Койпо" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 281, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nКак называется машина для мойки посуды?\n1. Посудомоечная машина\n2. Машина\nОтвет: 1\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3974, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7520982027053833, + "2": 0.24417054653167725 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько глаз у кошки?", + "choice1": "Обычно два", + "choice2": "Обычно один" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 282, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nКто в мультфильме «Ну, погоди!» гоняется за зайчиком?\n1. Лиса\n2. Волк\nОтвет: 2\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1) Обычно два\n2) Обычно один\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3981, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6169407367706299, + "2": 0.3741934895515442 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А у циклопа?", + "choice1": "Два", + "choice2": "Один" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 283, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\ni) Два\nii) Один\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3978, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7044312953948975, + "2": 0.29365065693855286 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называется самец животного, которое говорят «мяу-мяу»?", + "choice1": "Кот", + "choice2": "Кошка" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 284, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nЕдят ли волки зайцев?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1) Кот\n2) Кошка\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3988, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.46696168184280396, + "2": 0.5291368961334229 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Нина бабушка Лены, а кем Лена приходится Нине?", + "choice1": "Дочкой", + "choice2": "Внучкой" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 285, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nНапиши слово «барашек», поставив плюсы между слогами?\n1. Барашек\n2. Ба+ра+шек\nОтвет: 2\nКак меня зовут?\n1. Тебя зовут Астрид\n2. Тебя зовут Вова\nОтвет: 1\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3992, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4959128499031067, + "2": 0.4959128499031067 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?", + "choice1": "Степановна", + "choice2": "Ивановна" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 286, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nЗапомни кличку собаки Веспа и напиши словом, сколько в этой кличке слогов?\n1. 2\n2. Два\nОтвет: 2\nКак называется инструмент, которым строгают доски?\n1. Рубанок\n2. Молоток\nОтвет: 1\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3976, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5913592576980591, + "2": 0.40643489360809326 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Серёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?", + "choice1": "Дерево", + "choice2": "Стул" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 287, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько в этом слове букв?\n1. Четыре\n2. Семь\nОтвет: 2\nВ игре «камень-ножницы-бумага» что одерживает победу над камнем?\n1. Бумага\n2. Ножницы\nОтвет: 1\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1) Дерево\n2) Стул\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3974, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5596081018447876, + "2": 0.4358232319355011 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?", + "choice1": "Северосвинск", + "choice2": "Москва" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 288, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure", + "topic_modelling", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\ni) Северосвинск\nii) Москва\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3994, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5303331613540649, + "2": 0.4680173397064209 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько рук у однорукого человека?", + "choice1": "Две", + "choice2": "Одна" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 289, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nКак зовут отца Владимира Петровича?\n1. Владимир\n2. Пётр\nОтвет: 2\nИз чего делают виноградный сок?\n1. Из винограда\n2. Из моркови\nОтвет: 1\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1) Две\n2) Одна\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3997, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.529128909111023, + "2": 0.46695461869239807 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой знак похож на перевёрнутую букву «i»?", + "choice1": "Восклицательный", + "choice2": "Вопросительный" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 290, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСоль и сахар: что из них слаще?\n1. Соль\n2. Сахар\nОтвет: 2\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3981, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6486209034919739, + "2": 0.3471817672252655 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Над какой буквой русского алфавита стоят две точки?", + "choice1": "Над «й»", + "choice2": "Над «ё»" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 291, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nИмя «Маша» мужское или женское?\n1. Женское\n2. Мужское\nОтвет: 1\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3988, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5608246326446533, + "2": 0.4367706775665283 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Существуют ли рыбы, которые могут летать?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 292, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nКакое из этих растений жжётся: крапива или ромашка?\n1. Ромашка\n2. Крапива\nОтвет: 2\nДолжен ли «лежачий полицейский» отдавать честь генералу?\n1. Нет\n2. Да\nОтвет: 1\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1) Да\n2) Нет\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3997, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5891699194908142, + "2": 0.4049302041530609 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На какую цифру похожа буква «з»?", + "choice1": "На цифру один", + "choice2": "На цифру три" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 293, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nНапиши слово, которое получится при соединении слогов «ро», «та» и «ция»?\n1. Ция\n2. Ротация\nОтвет: 2\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\ni) На цифру один\nii) На цифру три\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3976, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5852254629135132, + "2": 0.4022192060947418 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ехал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?", + "choice1": "5", + "choice2": "4" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 294, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nКакая буква пропущена в слове «пар.кмахерская»?\n1. И\n2. В\nОтвет: 1\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1) 5\n2) 4\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3988, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6451929807662964, + "2": 0.34534692764282227 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А сколько пассажиров было в автобусе перед третьей остановкой?", + "choice1": "5", + "choice2": "8" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 295, + "category": [ + "reasoning" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nКакая страна больше по площади: Германия или Ватикан?\n1. Ватикан\n2. Германия\nОтвет: 2\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3982, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.47937560081481934, + "2": 0.47937560081481934 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А после пятой?", + "choice1": "Шесть", + "choice2": "Восемь" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 296, + "category": [ + "reasoning" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nКак называется столица Германии?\n1. Берлин\n2. Москва\nОтвет: 1\nКакая страна самая большая в мире по площади?\n1. Китай\n2. Россия\nОтвет: 2\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3977, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.46718135476112366, + "2": 0.5293858051300049 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если перевернуть кверх ногами букву «о», то какая получится буква?", + "choice1": "А", + "choice2": "О" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 297, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nА по населению?\n1. Китай\n2. Россия\nОтвет: 1\nЧто обычно надевают на руку партнёра на свадьбе?\n1. Наручники\n2. Кольцо\nОтвет: 2\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1) А\n2) О\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3976, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5583792328834534, + "2": 0.43486616015434265 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?", + "choice1": "Ш", + "choice2": "О" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 298, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\ni) Ш\nii) О\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3978, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6206793189048767, + "2": 0.3764610290527344 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А если на 90 градусов по часовой стрелке повернуть букву «Z»?", + "choice1": "Ш", + "choice2": "N" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 299, + "category": [ + "shape" + ], + "use_context": true, + "turing_imitation": [ + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько чаще всего у человека глаз?\n1. Два\n2. Много\nОтвет: 1\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1) Ш\n2) N\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3991, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5297563672065735, + "2": 0.46750834584236145 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А если то же самое проделать с буквой «L»?", + "choice1": "Г", + "choice2": "L" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 300, + "category": [ + "shape" + ], + "use_context": true, + "turing_imitation": [ + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nКак называют судно, которое прокладывает путь во льдах?\n1. Пароход\n2. Ледокол\nОтвет: 2\nНапиши задом наперёд со строчной буквы фамилию основателя компании «Майкрософт»?\n1. стйег\n2. Гейтс\nОтвет: 1\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3992, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6492592692375183, + "2": 0.34752345085144043 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?", + "choice1": "На «О»", + "choice2": "На «Ю»" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 301, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nЕсли связать плот из стальных ломов, он поплывёт по воде или утонет?\n1. Поплывёт\n2. Утонет\nОтвет: 2\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3971, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4676235020160675, + "2": 0.5298868417739868 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?", + "choice1": "Две", + "choice2": "Одну" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 302, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nШахматная партия началась ходами: «1. f2-f3 e7-e5 2. g2g4». На какое поле должен теперь пойти чёрный ферзь, чтобы поставить мат?\n1. h4\n2. e4\nОтвет: 1\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1) Две\n2) Одну\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3982, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5585309863090515, + "2": 0.43498435616493225 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?", + "choice1": "Круглую", + "choice2": "Квадратную" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 303, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\ni) Круглую\nii) Квадратную\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3973, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5614925622940063, + "2": 0.43729084730148315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На сколько градусов нужно повернуть букву «W», чтобы получилась «M»?", + "choice1": "На 180", + "choice2": "На 90" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 304, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nНа шахматной доске три фигуры: чёрный король на поле a8, белый король на поле a6 и белая ладья на поле h1. Ход белых. На какое поле должна пойти белая ладья, чтобы поставить мат?\n1. h4\n2. h8\nОтвет: 2\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1) На 180\n2) На 90\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3991, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5910523533821106, + "2": 0.40622395277023315 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как меня зовут?", + "choice1": "Астрид", + "choice2": "Джозеф" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 305, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3944, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5567280054092407, + "2": 0.38263317942619324 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько букв в имени лучшего друга Чебурашки?", + "choice1": "4", + "choice2": "5" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 306, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n«У Лукоморья … зелёный». Какое слово пропущено?\n1. Дуб\n2. Да\nОтвет: 1\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3976, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5300868153572083, + "2": 0.46779996156692505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Был ли Карл Маркс братом комиков братьев Маркс?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 307, + "category": [ + "trap" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nРеши анаграмму: онжыцин?\n1. Онжыцин\n2. Ножницы\nОтвет: 2\nВозьми фамилию поэта, написавшего стихотворение про Лукоморье, вставь после каждой буквы в неё букву «ы» и напиши получившееся слово?\n1. Пыуышыкыиыны\n2. Слово\nОтвет: 1\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1) Да\n2) Нет\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3986, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5897339582443237, + "2": 0.40531784296035767 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У кого из генеральных секретарей КПСС на голове было большое родимое пятно?", + "choice1": "У Горбачёва", + "choice2": "У Сталина" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 308, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\ni) У Горбачёва\nii) У Сталина\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3945, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6216392517089844, + "2": 0.3770432770252228 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У кого длиннее уши: у зайца или у совы?", + "choice1": "У совы", + "choice2": "У зайца" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 309, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1) У совы\n2) У зайца\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3956, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.8734211325645447, + "2": 0.11820469051599503 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как называют детёнышей свиней?", + "choice1": "Поросята", + "choice2": "Котята" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 310, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nКакого обычно цвета клавиши у рояля?\n1. Белого\n2. Белого и чёрного\nОтвет: 2\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3980, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5297842025756836, + "2": 0.4675329327583313 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Является ли палиндромом фраза «А роза упала на лапу Азора»?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 311, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nВ какой стране жил Д’Артаньян?\n1. Во Франции\n2. В Англии\nОтвет: 1\nКто старше по званию: генерал или полковник?\n1. Полковник\n2. Генерал\nОтвет: 2\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3988, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.46811434626579285, + "2": 0.5304430723190308 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Является ли палиндромом фраза «Кошмар, срам, шок»?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 312, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nАтветь пажалста скольк бдет семь пребавить адинацать?\n1. 18\n2. 4\nОтвет: 1\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1) Да\n2) Нет\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3983, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5898489952087402, + "2": 0.4053969085216522 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Является ли палиндромом фраза «Утро летело к чёрту»?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 313, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nНапиши без пробела три буквы «о», четыре «а», три двойки, две девятки и минус?\n1. 4\n2. оооаааа2299-\nОтвет: 2\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\ni) Да\nii) Нет\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3991, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5921579599380493, + "2": 0.4069838225841522 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Допустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 314, + "category": [ + "games and rules", + " world" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nВот улыбающийся смайлик «:-)», вот грустный — «:-(», а какой будет подмигивающим и улыбающимся одновременно?\n1. ;-)\n2. :-(\nОтвет: 1\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1) Да\n2) Нет\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3972, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5913164615631104, + "2": 0.4064054787158966 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Допустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 315, + "category": [ + "games and rules", + " world" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nПредставь себе, что «O» это блин штанги, который весит 10 кг. Гриф штанги весит 15 кг. Вот штанга на 55 килограмм: «OO-OO». Нарисуй штангу на 75 килограмм?\n1. ОО-ОО\n2. ООО-ООО\nОтвет: 2\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3980, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.560712456703186, + "2": 0.43668332695961 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Запомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?", + "choice1": "112", + "choice2": "111" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 316, + "category": [ + "games and rules", + " math" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3942, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4991982877254486, + "2": 0.4991982877254486 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А сколько будет плуния умножить на два?", + "choice1": "112", + "choice2": "222" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 317, + "category": [ + "games and rules", + " math" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nВ двух пакетах поровну разложены 10 кг овощей. Сколько весит содержимое одного пакета?\n1. 5 кг\n2. 10 кг\nОтвет: 1\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1) 112\n2) 222\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3986, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5330464839935303, + "2": 0.41513702273368835 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А сколько будет плуния минус плуния?", + "choice1": "0", + "choice2": "222" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 318, + "category": [ + "games and rules", + " math" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nНа 1 костюм расходуется 4 м ткани. Сколько костюмов можно сшить из 36 м ткани?\n1. 8\n2. 9\nОтвет: 2\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\ni) 0\nii) 222\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3983, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5902995467185974, + "2": 0.4057065546512604 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Запомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?", + "choice1": "7", + "choice2": "104" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 319, + "category": [ + "games and rules", + " math" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1) 7\n2) 104\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3964, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5299183130264282, + "2": 0.46765127778053284 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А сколько будет две плунии плюс две габрызы?", + "choice1": "236", + "choice2": "104" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 320, + "category": [ + "games and rules", + " math" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nМама разложила на 7 тарелок по 5 пирожных. Сколько пирожных было у мамы?\n1. 35\n2. 42\nОтвет: 1\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3993, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5104779005050659, + "2": 0.4504951536655426 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А габрыза умножить на три?", + "choice1": "236", + "choice2": "21" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 321, + "category": [ + "games and rules", + " math" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nКак меня зовут?\n1. Ваня\n2. Астрид\nОтвет: 2\nТеперь меня зовут Джозеф. Как ты думаешь, это русское имя?\n1. Нет\n2. Да\nОтвет: 1\nКак меня звали раньше?\n1. Джозеф\n2. Астрид\nОтвет: 2\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3982, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5913898944854736, + "2": 0.406455934047699 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?", + "choice1": "ПЛУНИЯ-ДЖОЗЕФ", + "choice2": "Плуния" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 322, + "category": [ + "games and rules", + " strings" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nПравда ли, что оленину делают из кошек?\n1. Нет\n2. Правда\nОтвет: 1\nНа пяти клумбах рассадили поровну 30 кустов роз. Сколько кустов на каждой клумбе?\n1. 8\n2. 6\nОтвет: 2\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1) ПЛУНИЯ-ДЖОЗЕФ\n2) Плуния\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3984, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5892125368118286, + "2": 0.40495947003364563 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Теперь задом-наперёд?", + "choice1": "ПЛУНИЯ-ДЖОЗЕФ", + "choice2": "ФЕЗОЖД-ЯИНУЛП" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 323, + "category": [ + "games and rules", + " strings" + ], + "use_context": true, + "turing_imitation": [ + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nМасса тыквы — 12 кг, а масса дыни — в 4 раза меньше. Чему равна масса дыни?\n1. 3 кг\n2. 4 кг\nОтвет: 1\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\ni) ПЛУНИЯ-ДЖОЗЕФ\nii) ФЕЗОЖД-ЯИНУЛП\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3967, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5902950167655945, + "2": 0.40570345520973206 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?", + "choice1": "400", + "choice2": "500" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 324, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1) 400\n2) 500\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3959, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6205505728721619, + "2": 0.376382976770401 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У какого из цветов радуги самое длинное название?", + "choice1": "У оранжевого", + "choice2": "У фиолетового" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 325, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nЧто обычно слаще: тыква или дыня?\n1. Тыква\n2. Дыня\nОтвет: 2\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3986, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.43417903780937195, + "2": 0.5574969053268433 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?", + "choice1": "Ноль", + "choice2": "Семь" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 326, + "category": [ + "games and rules", + " math" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nНа ёлке 18 шаров и 9 звёздочек. Во сколько раз звёздочек меньше, чем шаров?\n1. В 2 раза\n2. В 3 раза\nОтвет: 1\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3997, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5605077743530273, + "2": 0.4365238845348358 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Можно ли утонуть в киселе?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 327, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nВот это вагон поезда: «[ooo]», вот это паровоз: «[o]obo». Вот поезд с тремя вагонами: «[ooo]-[ooo]-[ooo]-[o]obo». Нарисуй поезд с двумя вагонами.?\n1. [o]obo\n2. [ooo]-[ooo]-[ooo]-[o]obo\nОтвет: 2\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1) Нет\n2) Да\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3986, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5284819602966309, + "2": 0.466383695602417 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой глагол содержался в моём последнем вопросе?", + "choice1": "«Утонуть»", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 328, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\ni) «Утонуть»\nii) Да\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3927, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6213854551315308, + "2": 0.37688934803009033 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Продолжи ряд чисел: 2 4 8 16 32 64?", + "choice1": "164", + "choice2": "128" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 329, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1) 164\n2) 128\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3948, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4059659242630005, + "2": 0.5906769037246704 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Продолжи ряд чисел: 2 3 5 9 17 33?", + "choice1": "65", + "choice2": "333" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 330, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nВерно ли неравенство «5<3»?\n1. Нет\n2. Да\nОтвет: 1\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3985, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5567308068275452, + "2": 0.4335823655128479 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Продолжи ряд слов: каждый охотник желает знать?", + "choice1": "Что", + "choice2": "Где" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 331, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "topic_modelling", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nКакая нота идёт в гамме после фа?\n1. До\n2. Соль\nОтвет: 2\nСколько палочек в знаке «равно»?\n1. 2\n2. 1\nОтвет: 1\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3987, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5283504128456116, + "2": 0.4662676155567169 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Продолжи ряд слов: Меркурий, Венера, Земля?", + "choice1": "Марс", + "choice2": "Юпитер" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 332, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "topic_modelling", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nМожно ли написать цифру 6 не отрывая карандаша от бумаги?\n1. Нет\n2. Да\nОтвет: 2\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1) Марс\n2) Юпитер\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3973, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5271524786949158, + "2": 0.4652104377746582 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?", + "choice1": "прямая", + "choice2": "треугольник" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 333, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\ni) прямая\nii) треугольник\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3990, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5611264705657959, + "2": 0.4370057284832001 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько точек в двоеточии?", + "choice1": "Две", + "choice2": "Одна" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 334, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nА число 11?\n1. Нет\n2. Да\nОтвет: 1\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1) Две\n2) Одна\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3993, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5269029140472412, + "2": 0.46499019861221313 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько точек в многоточии?", + "choice1": "Много", + "choice2": "Три" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 335, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nА букву «й»?\n1. Да\n2. Нет\nОтвет: 2\nА букву «г»?\n1. Да\n2. Нет\nОтвет: 1\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3993, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6188362240791321, + "2": 0.3753431439399719 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Правда ли, что любой белый умнее любого чернокожего?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 336, + "category": [ + "ethics" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nКак зовут отца Марьи Сергеевны?\n1. Владимир\n2. Сергей\nОтвет: 2\nМожно ли поджечь носки?\n1. Да\n2. Нет\nОтвет: 1\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3981, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6731082797050476, + "2": 0.31795385479927063 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?", + "choice1": "Отлично", + "choice2": "Четвёрку" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 337, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nКак называют специалиста, работающего на токарном станке?\n1. Слесарь\n2. Токарь\nОтвет: 2\nЗамени в слове «кожа» каждую букву на следующую за ней по алфавиту и напиши результат (с маленькой буквы)?\n1. лпзб\n2. Кожа\nОтвет: 1\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1) Отлично\n2) Четвёрку\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3991, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5282626152038574, + "2": 0.4661901295185089 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если с флага РФ убрать синий и белый цвета, то какой флаг получится?", + "choice1": "Красный", + "choice2": "РФ" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 338, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\ni) Красный\nii) РФ\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3954, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.46812573075294495, + "2": 0.5304559469223022 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Если самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?", + "choice1": "В США", + "choice2": "Выживших не хоронят" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 339, + "category": [ + "trap" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nКакое слово получится, если от слова «победа» отнять две первые буквы?\n1. Победа\n2. Беда\nОтвет: 2\nКак меня зовут?\n1. Джозеф\n2. Сергей\nОтвет: 1\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1) В США\n2) Выживших не хоронят\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3980, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5909964442253113, + "2": 0.406185507774353 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Расстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?", + "choice1": "До второй", + "choice2": "До пятой" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 340, + "category": [ + "trap" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nА какую собачью кличку я просил тебя запомнить?\n1. Джозеф\n2. Веспа\nОтвет: 2\nПравда ли, что кусаются только самки комаров?\n1. Да\n2. Нет\nОтвет: 1\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3997, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.49816715717315674, + "2": 0.49816715717315674 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У чего запах более резкий: у ромашки или у нашатырного спирта?", + "choice1": "У ромашки", + "choice2": "У нашатырного спирта" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 341, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nНапиши слово «анубис» заглавными буквами?\n1. А ну, бис!\n2. АНУБИС\nОтвет: 2\nСколько в этом слове букв «с»?\n1. Одна\n2. Две\nОтвет: 1\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3981, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.57200026512146, + "2": 0.3931296467781067 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Одной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?", + "choice1": "9 месяцев", + "choice2": "1 месяц" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 342, + "category": [ + "trap" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nА «у»?\n1. Две\n2. Одна\nОтвет: 2\nА что получится, если это слово перевернуть?\n1. СИБУНА\n2. анубис\nОтвет: 1\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1) 9 месяцев\n2) 1 месяц\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3977, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.49497607350349426, + "2": 0.49497607350349426 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?", + "choice1": "Две", + "choice2": "Три" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 343, + "category": [ + "trap" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\ni) Две\nii) Три\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3971, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5300390124320984, + "2": 0.46775779128074646 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Есть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?", + "choice1": "Два", + "choice2": "Сам на пики, мать на колени" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 344, + "category": [ + "trap" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "language_structure", + "topic_modelling" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nОтвечай мне теперь только заглавными буквами. Вода тяжелее воздуха?\n1. да\n2. ДА\nОтвет: 2\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1) Два\n2) Сам на пики, мать на колени\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3999, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5607726573944092, + "2": 0.43673017621040344 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько ударений в слове «паролёт»?", + "choice1": "Одно", + "choice2": "Два" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 345, + "category": [ + "sound" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nПравда ли, что не всё то золото, что блестит?\n1. ДА\n2. да\nОтвет: 1\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3990, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.49717170000076294, + "2": 0.49717170000076294 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Они растут в лесу и напоминают маленькие зонтики. Что это?", + "choice1": "Грибы", + "choice2": "Зонтики" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 346, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nПравда ли, что в слове «кот» четыре буквы?\n1. ДА\n2. НЕТ\nОтвет: 2\nПравда ли, что радио изобрёл Ломоносов?\n1. НЕТ\n2. нет\nОтвет: 1\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3993, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5592473745346069, + "2": 0.4355422854423523 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ответь мне той же фразой, которую я тебе сказал?", + "choice1": "Хорошо", + "choice2": "Ответь мне той же фразой, которую я тебе сказал" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 347, + "category": [ + "reasoning" + ], + "use_context": true, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nКто был первым президентом СССР?\n1. Горбачёв\n2. ГОРБАЧЁВ\nОтвет: 2\nТеперь можешь отвечать как обычно (не нужно все буквы делать заглавными). Полезно ли выпивать в день по два литра серной кислоты?\n1. Нет\n2. НЕТ\nОтвет: 1\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1) Хорошо\n2) Ответь мне той же фразой, которую я тебе сказал\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3988, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.665338933467865, + "2": 0.3142838776111603 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?", + "choice1": "Восемь", + "choice2": "Три" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 348, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\ni) Восемь\nii) Три\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3968, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.49928101897239685, + "2": 0.49928101897239685 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Волшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?", + "choice1": "Мне", + "choice2": "Страшиле" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 349, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nА соляной?\n1. Да\n2. Нет\nОтвет: 2\nА съедать по 500 г соли?\n1. Нет\n2. Да\nОтвет: 1\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1) Мне\n2) Страшиле\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3985, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6375516653060913, + "2": 0.30115807056427 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Витольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?", + "choice1": "18", + "choice2": "3" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 350, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nА спать как минимум по 7 часов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3990, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5280461311340332, + "2": 0.4659990668296814 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую часть пиццы часто не съедают?", + "choice1": "Первую", + "choice2": "Корку" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 351, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nПравда ли, что гороховый суп делают из гороха?\n1. Да\n2. Нет\nОтвет: 1\nПравда ли, что абрикосовое варенье делают из абрикосов?\n1. Нет\n2. Да\nОтвет: 2\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3996, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5902139544487, + "2": 0.40564772486686707 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "По-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?", + "choice1": "Иван", + "choice2": "Ян" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 352, + "category": [ + "lexis" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure", + "multilanguage" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nПравда ли, что докторскую колбасу делают из докторов?\n1. Нет\n2. Да\nОтвет: 1\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1) Иван\n2) Ян\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3990, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6986859440803528, + "2": 0.2912556231021881 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Как меня зовут?", + "choice1": "Иван", + "choice2": "Джозеф" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 353, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКого доят для того, чтобы сделать коровье молоко?\n1. Никого\n2. Коров\nОтвет: 2\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\ni) Иван\nii) Джозеф\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3992, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5551716685295105, + "2": 0.43236812949180603 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?", + "choice1": "Три", + "choice2": "Пять" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 354, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nКого доят для того, чтобы сделать птичье молоко?\n1. Коров\n2. Птиц\nОтвет: 1\nКого доят, чтобы получилось маковое молоко?\n1. Коров\n2. Никого\nОтвет: 2\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1) Три\n2) Пять\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3993, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5904579758644104, + "2": 0.405815452337265 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?", + "choice1": "Восемь", + "choice2": "Пять" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 355, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько тут плюсов: «++++++++++»?\n1. Десять\n2. Четыре\nОтвет: 1\nБывают ли люди, которые весят больше 10000 кг?\n1. Да\n2. Нет\nОтвет: 2\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3993, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5771065950393677, + "2": 0.3966391980648041 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Между пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?", + "choice1": "Половину", + "choice2": "Треть" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 356, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСлово «Токио» относится к слову «Япония» так же, как слово «Париж» относится к какому слову?\n1. Франция\n2. Россия\nОтвет: 1\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3998, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5516872406005859, + "2": 0.42965444922447205 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько обычно у человека пальцев?", + "choice1": "5", + "choice2": "20" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 357, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nЕсли удвоить 222, то получится…?\n1. 222\n2. 444\nОтвет: 2\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1) 5\n2) 20\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3993, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6719655990600586, + "2": 0.3174140751361847 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую кличку собаки я просил тебя запомнить?", + "choice1": "Веспа", + "choice2": "Трезор" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 358, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКак называется самка вида, самец которого называется «бык»?\n1. Корова\n2. Бык\nОтвет: 1\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\ni) Веспа\nii) Трезор\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3999, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5307227373123169, + "2": 0.46836113929748535 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Можно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 359, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nКак называется самка вида, самец которого называется «кот»?\n1. Самка\n2. Кошка\nОтвет: 2\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1) Да\n2) Нет\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3977, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5914653539657593, + "2": 0.40650781989097595 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Жила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?", + "choice1": "Сиротой", + "choice2": "Отцом" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 360, + "category": [ + "trap" + ], + "use_context": false, + "turing_imitation": [ + "humor", + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nКак называется самец вида, самка которого называется «овца»?\n1. Баран\n2. Овен\nОтвет: 1\nКак называется самец вида, самка которого называется «ворона»?\n1. Ворон\n2. Ворона\nОтвет: 2\nМожет ли один из катетов прямоугольного треугольника быть длиннее гипотенузы?\n1. Нет\n2. Да\nОтвет: 1\nКакой цвет в радуге идёт после красного?\n1. Синий\n2. Оранжевый\nОтвет: 2\nМожет ли мышь прожить сто лет?\n1. Нет\n2. Да\nОтвет: 1\nТает ли мороженое во рту?\n1. Нет\n2. Да\nОтвет: 2\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3989, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6208562254905701, + "2": 0.3765683174133301 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?", + "choice1": "Влево-вверх-вверх-вправо", + "choice2": "Вправо-вправо-вниз-вниз-влево-влево" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 361, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "topic_modelling", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nМожно ли замёрзнуть насмерть?\n1. Да\n2. Нет\nОтвет: 1\nБывают ли анекдоты про Штирлица?\n1. Нет\n2. Да\nОтвет: 2\nМожет ли обезьяна родить верблюжонка?\n1. Нет\n2. Да\nОтвет: 1\nА котёнка?\n1. Да\n2. Нет\nОтвет: 2\nКакое слово однокоренное со словом «ухо»: «подушка» или «кукушка»?\n1. Подушка\n2. Кукушка\nОтвет: 1\nКакая приставка в слове «застава»?\n1. Заст\n2. За\nОтвет: 2\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3994, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5300989151000977, + "2": 0.46781066060066223 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?", + "choice1": "Влево-вниз", + "choice2": "Вправо-вправо-вниз-вниз-влево" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 362, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "topic_modelling", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nКакой корень в слове «мышка»?\n1. Мыш\n2. Мышк\nОтвет: 1\nКакой корень в слове «стул»?\n1. Ул\n2. Стул\nОтвет: 2\nКакой суффикс в слове «мышка»?\n1. К\n2. Мыш\nОтвет: 1\nКакое окончание в слове «стул»?\n1. Ул\n2. Нулевое\nОтвет: 2\nКакое окончание в слове «грибы»?\n1. Ы\n2. Бы\nОтвет: 1\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1) Влево-вниз\n2) Вправо-вправо-вниз-вниз-влево\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 4000, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6193938255310059, + "2": 0.3756813406944275 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Дормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?", + "choice1": "Из второй", + "choice2": "Из первой" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 363, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "intent", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКакое окончание в слове «рубли»?\n1. Ли\n2. И\nОтвет: 2\nКакой корень в слове «тазик»?\n1. Таз\n2. Тазик\nОтвет: 1\n66:22?\n1. 66\n2. 3\nОтвет: 2\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\ni) Из второй\nii) Из первой\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3982, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5607701539993286, + "2": 0.43672823905944824 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?", + "choice1": "Из второй", + "choice2": "Из первой" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 364, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "intent", + "text_metrics" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько вершин у куба?\n1. 8\n2. 4\nОтвет: 1\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1) Из второй\n2) Из первой\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3983, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6210709810256958, + "2": 0.3766985833644867 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ответькамнедружоккакменязовут?", + "choice1": "Да", + "choice2": "Джозеф" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 365, + "category": [ + "games and rules", + " memory" + ], + "use_context": true, + "turing_imitation": [ + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько сторон у треугольника?\n1. Нисколько\n2. Три\nОтвет: 2\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3981, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.42286527156829834, + "2": 0.5429697632789612 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколькопальцевучеловеканаоднойруке?", + "choice1": "Пять", + "choice2": "Джозеф" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 366, + "category": [ + "games and rules", + " world" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nЧисло «пи» больше тройки?\n1. Да\n2. Нет\nОтвет: 1\nА и Б сидели на трубе. А упало, Б пропало, что осталось на трубе?\n1. Б\n2. И\nОтвет: 2\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3989, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4708159565925598, + "2": 0.41549360752105713 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколькобудетсемьювосемь?", + "choice1": "Пять", + "choice2": "56" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 367, + "category": [ + "games and rules", + " math" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nУ человека может быть только белая кожа?\n1. Нет\n2. Да\nОтвет: 1\nЖенщины это люди?\n1. Нет\n2. Да\nОтвет: 2\nДомашнее насилие это отлично?\n1. Нет\n2. Да\nОтвет: 1\nСколько глухих согласных в слове «хорёк»?\n1. 3\n2. 2\nОтвет: 2\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1) Пять\n2) 56\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3969, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5605748295783997, + "2": 0.43657612800598145 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напишимоюрепликузадом-наперёдзаглавнымибуквами?", + "choice1": "ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН", + "choice2": "ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 368, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\ni) ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nii) ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3983, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5107563138008118, + "2": 0.39777740836143494 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напишицифрутри?", + "choice1": "Да", + "choice2": "3" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 369, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько будет 3+3×3?\n1. 12\n2. 18\nОтвет: 1\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1) Да\n2) 3\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3985, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.617536723613739, + "2": 0.37455493211746216 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Я написал предыдущие три реплики слитно или раздельно?", + "choice1": "Слитно", + "choice2": "Раздельно" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 370, + "category": [ + "reasoning" + ], + "use_context": true, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nУмножь теперь это число на два. Сколько получится?\n1. 36\n2. 24\nОтвет: 2\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3980, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5282835960388184, + "2": 0.41142767667770386 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "А были ли в них пробелы?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 371, + "category": [ + "shape" + ], + "use_context": true, + "turing_imitation": [ + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nЕсть ли гласные в слове «пыщь»?\n1. Да\n2. Нет\nОтвет: 1\nА согласные?\n1. Нет\n2. Да\nОтвет: 2\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3974, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.647381603717804, + "2": 0.3465183973312378 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?", + "choice1": "Девятку", + "choice2": "Ноль" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 372, + "category": [ + "shape" + ], + "use_context": false, + "turing_imitation": [ + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nА твёрдый знак?\n1. Нет\n2. Да\nОтвет: 1\nЧто получится, если переставить местами слоги в слове «покой»?\n1. Покой\n2. Койпо\nОтвет: 2\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1) Девятку\n2) Ноль\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3984, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6493920087814331, + "2": 0.3475944995880127 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой самый первый вопрос я задал в нашей беседе?", + "choice1": "Как меня зовут?", + "choice2": "Сколько ног у человека?" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 373, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\ni) Как меня зовут?\nii) Сколько ног у человека?\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3975, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5558013916015625, + "2": 0.43285855650901794 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Умножь ответ на этот вопрос на 5 и напиши ответ?", + "choice1": "10", + "choice2": "50" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 374, + "category": [ + "math" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСколько глаз у кошки?\n1. Обычно два\n2. Обычно один\nОтвет: 1\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1) 10\n2) 50\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3987, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.530219554901123, + "2": 0.4679170846939087 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Из чего делают сахарную вату?", + "choice1": "Из ваты", + "choice2": "Из сахара" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 375, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nА у циклопа?\n1. Два\n2. Один\nОтвет: 2\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3985, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5295630097389221, + "2": 0.41242408752441406 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько людей обычно нужно для того, чтобы сменить лампочку?", + "choice1": "Один", + "choice2": "Три" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 376, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nКак называется самец животного, которое говорят «мяу-мяу»?\n1. Кот\n2. Кошка\nОтвет: 1\nНина бабушка Лены, а кем Лена приходится Нине?\n1. Дочкой\n2. Внучкой\nОтвет: 2\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3997, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.26808977127075195, + "2": 0.7287434935569763 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вода состоит из кислорода и …?", + "choice1": "Воды", + "choice2": "Водорода" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 377, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nУ первоклассницы Лизы есть брат Вася, мама Наташа Игоревна и папа Степан Иванович. Какое отчество у Лизы?\n1. Степановна\n2. Ивановна\nОтвет: 1\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1) Воды\n2) Водорода\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3973, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6470441818237305, + "2": 0.34633779525756836 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?", + "choice1": "А П С Е В", + "choice2": "Веспа" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 378, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\ni) А П С Е В\nii) Веспа\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3989, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5900757312774658, + "2": 0.4055527448654175 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С какой буквы начинался вопрос про воду?", + "choice1": "А", + "choice2": "В" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 379, + "category": [ + "strings" + ], + "use_context": true, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nСерёжа и Леша рисуют. Один — стул, другой — дерево. Что рисует Серёжа, если Леша не рисует стул?\n1. Дерево\n2. Стул\nОтвет: 2\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1) А\n2) В\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3991, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7288593053817749, + "2": 0.26813238859176636 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши в общих кавычках три нуля и плюсик?", + "choice1": "«000+»", + "choice2": "«000»" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 380, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nВ онлайн-игре Серёжа называет города, используя разные слова, связанные со свиньями. Например: Хрюкино, Свининово, Свиногорск и так далее. Как он скорее назовёт столицу: Северосвинск или Москва?\n1. Северосвинск\n2. Москва\nОтвет: 1\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3977, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6202595233917236, + "2": 0.3762064278125763 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кого люди чаще держат дома — кошек или слонов?", + "choice1": "Слонов", + "choice2": "Кошек" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 381, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько рук у однорукого человека?\n1. Две\n2. Одна\nОтвет: 2\nКакой знак похож на перевёрнутую букву «i»?\n1. Восклицательный\n2. Вопросительный\nОтвет: 1\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3938, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4036979377269745, + "2": 0.4036979377269745 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Маша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?", + "choice1": "2", + "choice2": "1" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 382, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure", + "topic_modelling", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nНад какой буквой русского алфавита стоят две точки?\n1. Над «й»\n2. Над «ё»\nОтвет: 2\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1) 2\n2) 1\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3977, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.588960587978363, + "2": 0.4047863185405731 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Реши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?", + "choice1": "Ба", + "choice2": "Жи" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 383, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "profanity", + "adult_content", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nСуществуют ли рыбы, которые могут летать?\n1. Да\n2. Нет\nОтвет: 1\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\ni) Ба\nii) Жи\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3999, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5915089249610901, + "2": 0.4065377414226532 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши пропущенную букву: «На работе за вредность выдают м.локо»?", + "choice1": "О", + "choice2": "А" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 384, + "category": [ + "games and rules" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nНа какую цифру похожа буква «з»?\n1. На цифру один\n2. На цифру три\nОтвет: 2\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1) О\n2) А\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3989, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6931659579277039, + "2": 0.28895455598831177 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши пропущенную цифру: «224+1?=236»?", + "choice1": "4", + "choice2": "2" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 385, + "category": [ + "math" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nЕхал автобус, в котором было 10 пассажиров. На первой остановке один пассажир зашёл и два вышло, на второй — вышел один пассажир, на следующей зашло три пассажира, на следующей вышло четыре пассажира, а на следующей вышел один. Сколько было остановок?\n1. 5\n2. 4\nОтвет: 1\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3992, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7492810487747192, + "2": 0.24325592815876007 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "2x + 5 = 21, чему равен x?", + "choice1": "8", + "choice2": "2" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 386, + "category": [ + "math" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3951, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6196357607841492, + "2": 0.3758280873298645 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "x^2=-1, чему равен x?", + "choice1": "1", + "choice2": "I" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 387, + "category": [ + "math" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nА сколько пассажиров было в автобусе перед третьей остановкой?\n1. 5\n2. 8\nОтвет: 2\nА после пятой?\n1. Шесть\n2. Восемь\nОтвет: 1\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1) 1\n2) I\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3990, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6066233515739441, + "2": 0.3679356575012207 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "5+z+z=105, чему равно z?", + "choice1": "50", + "choice2": "I" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 388, + "category": [ + "math" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\ni) 50\nii) I\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3980, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.49923840165138245, + "2": 0.49923840165138245 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Федя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?", + "choice1": "А", + "choice2": "П" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 389, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nЕсли перевернуть кверх ногами букву «о», то какая получится буква?\n1. А\n2. О\nОтвет: 2\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1) А\n2) П\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3998, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.467434287071228, + "2": 0.5296724438667297 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая буква пропущена в слове «СОНЦЕ»?", + "choice1": "Л", + "choice2": "П" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 390, + "category": [ + "spell" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nА если повернуть букву «Е» на 90 градусов против часовой стрелки, то какая получится?\n1. Ш\n2. О\nОтвет: 1\nА если на 90 градусов по часовой стрелке повернуть букву «Z»?\n1. Ш\n2. N\nОтвет: 2\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3992, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.636444628238678, + "2": 0.340664267539978 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?", + "choice1": "2", + "choice2": "1" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 391, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nА если то же самое проделать с буквой «L»?\n1. Г\n2. L\nОтвет: 1\nЕсли написать подряд буквы «I» и «О» и соединить их горизонтальной чертой, то на какую букву это будет похоже?\n1. На «О»\n2. На «Ю»\nОтвет: 2\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3982, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5206721425056458, + "2": 0.4594915211200714 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?", + "choice1": "2", + "choice2": "1" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 392, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nСколько закрывающих скобок надо добавить к последовательности «((()», чтобы закрыть все скобки?\n1. Две\n2. Одну\nОтвет: 1\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1) 2\n2) 1\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3969, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5139046907424927, + "2": 0.4535192847251892 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Известное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?", + "choice1": "2", + "choice2": "3" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 393, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nКакую скобку нужно добавить в начало последовательности «]{}()», чтобы все скобки были парными?\n1. Круглую\n2. Квадратную\nОтвет: 2\nНа сколько градусов нужно повернуть букву «W», чтобы получилась «M»?\n1. На 180\n2. На 90\nОтвет: 1\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\ni) 2\nii) 3\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3998, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6456089615821838, + "2": 0.3455696105957031 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Строки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?", + "choice1": "1", + "choice2": "2" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 394, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1) 1\n2) 2\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3966, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5597678422927856, + "2": 0.43594762682914734 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Были ли последние три вопроса шуточными?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 395, + "category": [ + "ethics" + ], + "use_context": true, + "turing_imitation": [ + "sentiment", + "intent", + "humor", + "irony" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nКак меня зовут?\n1. Астрид\n2. Джозеф\nОтвет: 2\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3987, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.4361778795719147, + "2": 0.5600634813308716 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Содержится ли угроза в словах: «Я тебя люблю»?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 396, + "category": [ + "emotions" + ], + "use_context": false, + "turing_imitation": [ + "sentiment", + "intent" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nСколько букв в имени лучшего друга Чебурашки?\n1. 4\n2. 5\nОтвет: 1\nБыл ли Карл Маркс братом комиков братьев Маркс?\n1. Да\n2. Нет\nОтвет: 2\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3996, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4065229892730713, + "2": 0.591487467288971 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Содержится ли угроза в словах: «Я тебя убью!»?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 397, + "category": [ + "emotions" + ], + "use_context": false, + "turing_imitation": [ + "sentiment", + "intent" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nУ кого из генеральных секретарей КПСС на голове было большое родимое пятно?\n1. У Горбачёва\n2. У Сталина\nОтвет: 1\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1) Нет\n2) Да\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3984, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5909022688865662, + "2": 0.40612080693244934 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Содержится ли угроза в словах: «Я тебя раздеру на части медленно»?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 398, + "category": [ + "emotions" + ], + "use_context": false, + "turing_imitation": [ + "sentiment", + "intent" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nУ кого длиннее уши: у зайца или у совы?\n1. У совы\n2. У зайца\nОтвет: 2\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\ni) Да\nii) Нет\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3993, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6211604475975037, + "2": 0.3767528533935547 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько будет 123×971?", + "choice1": "119243", + "choice2": "119433" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 399, + "category": [ + "math" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1) 119243\n2) 119433\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3978, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.4959694445133209, + "2": 0.4959694445133209 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Были ли три последних вопроса шуточными?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 400, + "category": [ + "ethics" + ], + "use_context": true, + "turing_imitation": [ + "sentiment", + "intent", + "humor", + "irony" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nКак называют детёнышей свиней?\n1. Поросята\n2. Котята\nОтвет: 1\nЯвляется ли палиндромом фраза «А роза упала на лапу Азора»?\n1. Нет\n2. Да\nОтвет: 2\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3999, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.26302045583724976, + "2": 0.7149636149406433 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?", + "choice1": "1", + "choice2": "2" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 401, + "category": [ + "emotions" + ], + "use_context": false, + "turing_imitation": [ + "sentiment" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nЯвляется ли палиндромом фраза «Кошмар, срам, шок»?\n1. Да\n2. Нет\nОтвет: 1\nЯвляется ли палиндромом фраза «Утро летело к чёрту»?\n1. Да\n2. Нет\nОтвет: 2\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 4000, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5901442766189575, + "2": 0.40559983253479004 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой кухонный сосуд упоминался в одном из недавних вопросов?", + "choice1": "Кружка", + "choice2": "Клизма" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 402, + "category": [ + "memory" + ], + "use_context": true, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nДопустим, что «ньяя» это такая простыня, а «вайшешика» — одеяло. Можно ли спать на ньяе, укрываясь вайшешикой?\n1. Да\n2. Нет\nОтвет: 1\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1) Кружка\n2) Клизма\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3977, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5872089266777039, + "2": 0.4035824239253998 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "A равно 10, B равно A, значит ли это, что B равно 10?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 403, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\ni) Нет\nii) Да\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3969, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5307339429855347, + "2": 0.46837106347084045 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Вася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 404, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nДопустим, что «веданта» это соляная кислота, а «чарвака» это мягкая подушка. Можно ли в Индии спать на чарваке, укрываясь ведантой?\n1. Да\n2. Нет\nОтвет: 2\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1) Нет\n2) Да\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3986, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6029840707778931, + "2": 0.36572831869125366 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько ног у пяти осьминогов?", + "choice1": "8", + "choice2": "40" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 405, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nЗапомни, что слово «плуния» означает число 111. Сколько будет плуния плюс один?\n1. 112\n2. 111\nОтвет: 1\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3952, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6279969215393066, + "2": 0.29664477705955505 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?", + "choice1": "5", + "choice2": "4" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 406, + "category": [ + "games and rules", + " memory" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3957, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.49674585461616516, + "2": 0.49674585461616516 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько ног у восьми страусов?", + "choice1": "8", + "choice2": "16" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 407, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nА сколько будет плуния умножить на два?\n1. 112\n2. 222\nОтвет: 2\nА сколько будет плуния минус плуния?\n1. 0\n2. 222\nОтвет: 1\nЗапомни теперь, что слово «габрыза» означает число 7. Сколько будет плуния минус габрыза?\n1. 7\n2. 104\nОтвет: 2\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1) 8\n2) 16\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3998, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6423222422599792, + "2": 0.3438103199005127 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?", + "choice1": "13", + "choice2": "16" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 408, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nА сколько будет две плунии плюс две габрызы?\n1. 236\n2. 104\nОтвет: 1\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\ni) 13\nii) 16\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3965, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5806610584259033, + "2": 0.39908215403556824 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Восемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?", + "choice1": "5", + "choice2": "3" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 409, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nА габрыза умножить на три?\n1. 236\n2. 21\nОтвет: 2\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1) 5\n2) 3\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3971, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.40646791458129883, + "2": 0.591407299041748 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что любят есть ёжики: грибы и яблоки или насекомых и червей?", + "choice1": "Насекомых и червей", + "choice2": "Яблоки и грибы, на картинках их вечно на спине таскают" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 410, + "category": [ + "world" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nЕсли к слову, которым мы обозначили число 111, дописать справа через дефис моё имя, и записать результат заглавными буквами, то получится…?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. Плуния\nОтвет: 1\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3990, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "2" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5611129403114319, + "2": 0.4369952082633972 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?", + "choice1": "кЯРВЕч", + "choice2": "кЯврЕч" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 411, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nТеперь задом-наперёд?\n1. ПЛУНИЯ-ДЖОЗЕФ\n2. ФЕЗОЖД-ЯИНУЛП\nОтвет: 2\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3977, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5297171473503113, + "2": 0.46747371554374695 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Напиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?", + "choice1": "х+х+х+х", + "choice2": "хх+хх+х" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 412, + "category": [ + "strings" + ], + "use_context": false, + "turing_imitation": [ + "text_metrics", + "algorithmic_transformations" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nНа складе было 500 касок. В отряде 100 солдат. Каждому солдату выдали со склада по каске. Сколько касок осталось на складе?\n1. 400\n2. 500\nОтвет: 1\nУ какого из цветов радуги самое длинное название?\n1. У оранжевого\n2. У фиолетового\nОтвет: 2\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1) х+х+х+х\n2) хх+хх+х\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3999, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6180588006973267, + "2": 0.3748716115951538 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Наташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?", + "choice1": "Абрикосовые деревья", + "choice2": "Сливы" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 413, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nЕсли вычесть габрызу из числа цветов радуги (в русском языке), то сколько получится?\n1. Ноль\n2. Семь\nОтвет: 1\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\ni) Абрикосовые деревья\nii) Сливы\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3979, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5611628293991089, + "2": 0.43703407049179077 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Машина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?", + "choice1": "На север", + "choice2": "На запад" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 414, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure", + "algorithmic_transformations" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nМожно ли утонуть в киселе?\n1. Нет\n2. Да\nОтвет: 2\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\n1. Абрикосовые деревья\n2. Сливы\nОтвет: 2\nМашина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?\n1) На север\n2) На запад\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3985, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6782320141792297, + "2": 0.32037413120269775 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Можно ли на Северном полюсе пойти на запад?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 415, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nКакой глагол содержался в моём последнем вопросе?\n1. «Утонуть»\n2. Да\nОтвет: 1\nПродолжи ряд чисел: 2 4 8 16 32 64?\n1. 164\n2. 128\nОтвет: 2\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\n1. Абрикосовые деревья\n2. Сливы\nОтвет: 2\nМашина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?\n1. На север\n2. На запад\nОтвет: 1\nМожно ли на Северном полюсе пойти на запад?\n1. Да\n2. Нет\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3982, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5592455863952637, + "2": 0.43554091453552246 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Петя любит красный цвет, а Витя зелёный. Маша надела алые сапожки и малиновое платье. Для кого она нарядилась?", + "choice1": "Для Пети", + "choice2": "Для Вити" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 416, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nПродолжи ряд чисел: 2 3 5 9 17 33?\n1. 65\n2. 333\nОтвет: 1\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\n1. Абрикосовые деревья\n2. Сливы\nОтвет: 2\nМашина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?\n1. На север\n2. На запад\nОтвет: 1\nМожно ли на Северном полюсе пойти на запад?\n1. Да\n2. Нет\nОтвет: 2\nПетя любит красный цвет, а Витя зелёный. Маша надела алые сапожки и малиновое платье. Для кого она нарядилась?\n1. Для Пети\n2. Для Вити\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3962, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5600572228431702, + "2": 0.4361730217933655 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Витя посмотрел в окно на улицу и решил взять с собой свой любимый нейлоновый зонт. Какую погоду он скорее всего видел за окном?", + "choice1": "Зной", + "choice2": "Ливень" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 417, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "intent", + "facts" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nПродолжи ряд слов: каждый охотник желает знать?\n1. Что\n2. Где\nОтвет: 2\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\n1. Абрикосовые деревья\n2. Сливы\nОтвет: 2\nМашина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?\n1. На север\n2. На запад\nОтвет: 1\nМожно ли на Северном полюсе пойти на запад?\n1. Да\n2. Нет\nОтвет: 2\nПетя любит красный цвет, а Витя зелёный. Маша надела алые сапожки и малиновое платье. Для кого она нарядилась?\n1. Для Пети\n2. Для Вити\nОтвет: 1\nВитя посмотрел в окно на улицу и решил взять с собой свой любимый нейлоновый зонт. Какую погоду он скорее всего видел за окном?\n1) Зной\n2) Ливень\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3983, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.7007642388343811, + "2": 0.2921219766139984 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Есть ли в крике «Божечки, прячься!» эмоция страха?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 418, + "category": [ + "emotions" + ], + "use_context": false, + "turing_imitation": [ + "sentiment" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nПродолжи ряд слов: Меркурий, Венера, Земля?\n1. Марс\n2. Юпитер\nОтвет: 1\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\n1. Абрикосовые деревья\n2. Сливы\nОтвет: 2\nМашина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?\n1. На север\n2. На запад\nОтвет: 1\nМожно ли на Северном полюсе пойти на запад?\n1. Да\n2. Нет\nОтвет: 2\nПетя любит красный цвет, а Витя зелёный. Маша надела алые сапожки и малиновое платье. Для кого она нарядилась?\n1. Для Пети\n2. Для Вити\nОтвет: 1\nВитя посмотрел в окно на улицу и решил взять с собой свой любимый нейлоновый зонт. Какую погоду он скорее всего видел за окном?\n1. Зной\n2. Ливень\nОтвет: 2\nЕсть ли в крике «Божечки, прячься!» эмоция страха?\ni) Да\nii) Нет\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 4000, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6509180665016174, + "2": 0.34841135144233704 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Есть ли в словах «Поторопись, мы вот-вот опоздаем!» ощущение радости?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 419, + "category": [ + "emotions" + ], + "use_context": false, + "turing_imitation": [ + "sentiment" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nЕсли соединить отрезками три точки, не лежащие на одной прямой, то какая фигура получится?\n1. прямая\n2. треугольник\nОтвет: 2\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\n1. Абрикосовые деревья\n2. Сливы\nОтвет: 2\nМашина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?\n1. На север\n2. На запад\nОтвет: 1\nМожно ли на Северном полюсе пойти на запад?\n1. Да\n2. Нет\nОтвет: 2\nПетя любит красный цвет, а Витя зелёный. Маша надела алые сапожки и малиновое платье. Для кого она нарядилась?\n1. Для Пети\n2. Для Вити\nОтвет: 1\nВитя посмотрел в окно на улицу и решил взять с собой свой любимый нейлоновый зонт. Какую погоду он скорее всего видел за окном?\n1. Зной\n2. Ливень\nОтвет: 2\nЕсть ли в крике «Божечки, прячься!» эмоция страха?\n1. Да\n2. Нет\nОтвет: 1\nЕсть ли в словах «Поторопись, мы вот-вот опоздаем!» ощущение радости?\n1) Да\n2) Нет\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3982, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.621025800704956, + "2": 0.3766711950302124 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Медведь залёг в спячку до весны, но его разбудили Новогодние хлопушки. Сколько месяцев ему ещё нужно досыпать?", + "choice1": "Не меньше двух", + "choice2": "Не больше одного" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 420, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nСколько точек в двоеточии?\n1. Две\n2. Одна\nОтвет: 1\nСколько точек в многоточии?\n1. Много\n2. Три\nОтвет: 2\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\n1. Абрикосовые деревья\n2. Сливы\nОтвет: 2\nМашина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?\n1. На север\n2. На запад\nОтвет: 1\nМожно ли на Северном полюсе пойти на запад?\n1. Да\n2. Нет\nОтвет: 2\nПетя любит красный цвет, а Витя зелёный. Маша надела алые сапожки и малиновое платье. Для кого она нарядилась?\n1. Для Пети\n2. Для Вити\nОтвет: 1\nВитя посмотрел в окно на улицу и решил взять с собой свой любимый нейлоновый зонт. Какую погоду он скорее всего видел за окном?\n1. Зной\n2. Ливень\nОтвет: 2\nЕсть ли в крике «Божечки, прячься!» эмоция страха?\n1. Да\n2. Нет\nОтвет: 1\nЕсть ли в словах «Поторопись, мы вот-вот опоздаем!» ощущение радости?\n1. Да\n2. Нет\nОтвет: 2\nМедведь залёг в спячку до весны, но его разбудили Новогодние хлопушки. Сколько месяцев ему ещё нужно досыпать?\n1. Не меньше двух\n2. Не больше одного\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3992, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.49918612837791443, + "2": 0.49918612837791443 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Есть ли в словах «Нет, к сожалению, ты вряд ли сможешь меня развеселить…» ощущение грусти и печали?", + "choice1": "нет", + "choice2": "Да" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 421, + "category": [ + "emotions" + ], + "use_context": false, + "turing_imitation": [ + "sentiment" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nПравда ли, что любой белый умнее любого чернокожего?\n1. Нет\n2. Да\nОтвет: 1\nВася написал сочинение на отлично, но ему снизили оценку на балл за плохой почерк. Какую оценку он получил?\n1. Отлично\n2. Четвёрку\nОтвет: 2\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\n1. Абрикосовые деревья\n2. Сливы\nОтвет: 2\nМашина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?\n1. На север\n2. На запад\nОтвет: 1\nМожно ли на Северном полюсе пойти на запад?\n1. Да\n2. Нет\nОтвет: 2\nПетя любит красный цвет, а Витя зелёный. Маша надела алые сапожки и малиновое платье. Для кого она нарядилась?\n1. Для Пети\n2. Для Вити\nОтвет: 1\nВитя посмотрел в окно на улицу и решил взять с собой свой любимый нейлоновый зонт. Какую погоду он скорее всего видел за окном?\n1. Зной\n2. Ливень\nОтвет: 2\nЕсть ли в крике «Божечки, прячься!» эмоция страха?\n1. Да\n2. Нет\nОтвет: 1\nЕсть ли в словах «Поторопись, мы вот-вот опоздаем!» ощущение радости?\n1. Да\n2. Нет\nОтвет: 2\nМедведь залёг в спячку до весны, но его разбудили Новогодние хлопушки. Сколько месяцев ему ещё нужно досыпать?\n1. Не меньше двух\n2. Не больше одного\nОтвет: 1\nЕсть ли в словах «Нет, к сожалению, ты вряд ли сможешь меня развеселить…» ощущение грусти и печали?\n1. нет\n2. Да\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3988, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5605583786964417, + "2": 0.43656331300735474 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Марина наполнила зёрнышками 5 кормушек для птиц. Наутро 3 кормушки опустели. К скольким кормушкам птицы так и не прилетели?", + "choice1": "К двум", + "choice2": "К трём" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 422, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "text_metrics", + "language_structure" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nЕсли с флага РФ убрать синий и белый цвета, то какой флаг получится?\n1. Красный\n2. РФ\nОтвет: 1\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\n1. Абрикосовые деревья\n2. Сливы\nОтвет: 2\nМашина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?\n1. На север\n2. На запад\nОтвет: 1\nМожно ли на Северном полюсе пойти на запад?\n1. Да\n2. Нет\nОтвет: 2\nПетя любит красный цвет, а Витя зелёный. Маша надела алые сапожки и малиновое платье. Для кого она нарядилась?\n1. Для Пети\n2. Для Вити\nОтвет: 1\nВитя посмотрел в окно на улицу и решил взять с собой свой любимый нейлоновый зонт. Какую погоду он скорее всего видел за окном?\n1. Зной\n2. Ливень\nОтвет: 2\nЕсть ли в крике «Божечки, прячься!» эмоция страха?\n1. Да\n2. Нет\nОтвет: 1\nЕсть ли в словах «Поторопись, мы вот-вот опоздаем!» ощущение радости?\n1. Да\n2. Нет\nОтвет: 2\nМедведь залёг в спячку до весны, но его разбудили Новогодние хлопушки. Сколько месяцев ему ещё нужно досыпать?\n1. Не меньше двух\n2. Не больше одного\nОтвет: 1\nЕсть ли в словах «Нет, к сожалению, ты вряд ли сможешь меня развеселить…» ощущение грусти и печали?\n1. нет\n2. Да\nОтвет: 2\nМарина наполнила зёрнышками 5 кормушек для птиц. Наутро 3 кормушки опустели. К скольким кормушкам птицы так и не прилетели?\n1) К двум\n2) К трём\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3985, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6761465072631836, + "2": 0.3193889856338501 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Можно ли бросать по птицам камнями, чтобы показать свою меткость?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 423, + "category": [ + "ethics" + ], + "use_context": false, + "turing_imitation": [ + "sentiment", + "intent" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nЕсли самолёт летел из США в Канаду и разбился перед самым пересечением границы, то в какой стране похоронят выживших?\n1. В США\n2. Выживших не хоронят\nОтвет: 2\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\n1. Абрикосовые деревья\n2. Сливы\nОтвет: 2\nМашина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?\n1. На север\n2. На запад\nОтвет: 1\nМожно ли на Северном полюсе пойти на запад?\n1. Да\n2. Нет\nОтвет: 2\nПетя любит красный цвет, а Витя зелёный. Маша надела алые сапожки и малиновое платье. Для кого она нарядилась?\n1. Для Пети\n2. Для Вити\nОтвет: 1\nВитя посмотрел в окно на улицу и решил взять с собой свой любимый нейлоновый зонт. Какую погоду он скорее всего видел за окном?\n1. Зной\n2. Ливень\nОтвет: 2\nЕсть ли в крике «Божечки, прячься!» эмоция страха?\n1. Да\n2. Нет\nОтвет: 1\nЕсть ли в словах «Поторопись, мы вот-вот опоздаем!» ощущение радости?\n1. Да\n2. Нет\nОтвет: 2\nМедведь залёг в спячку до весны, но его разбудили Новогодние хлопушки. Сколько месяцев ему ещё нужно досыпать?\n1. Не меньше двух\n2. Не больше одного\nОтвет: 1\nЕсть ли в словах «Нет, к сожалению, ты вряд ли сможешь меня развеселить…» ощущение грусти и печали?\n1. нет\n2. Да\nОтвет: 2\nМарина наполнила зёрнышками 5 кормушек для птиц. Наутро 3 кормушки опустели. К скольким кормушкам птицы так и не прилетели?\n1. К двум\n2. К трём\nОтвет: 1\nМожно ли бросать по птицам камнями, чтобы показать свою меткость?\ni) Да\nii) Нет\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3996, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.5308173894882202, + "2": 0.46844473481178284 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стоит ли поставить подножку тому, кто слишком торопится?", + "choice1": "Нет", + "choice2": "Да" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 424, + "category": [ + "ethics" + ], + "use_context": false, + "turing_imitation": [ + "sentiment", + "intent" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\n1. Абрикосовые деревья\n2. Сливы\nОтвет: 2\nМашина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?\n1. На север\n2. На запад\nОтвет: 1\nМожно ли на Северном полюсе пойти на запад?\n1. Да\n2. Нет\nОтвет: 2\nПетя любит красный цвет, а Витя зелёный. Маша надела алые сапожки и малиновое платье. Для кого она нарядилась?\n1. Для Пети\n2. Для Вити\nОтвет: 1\nВитя посмотрел в окно на улицу и решил взять с собой свой любимый нейлоновый зонт. Какую погоду он скорее всего видел за окном?\n1. Зной\n2. Ливень\nОтвет: 2\nЕсть ли в крике «Божечки, прячься!» эмоция страха?\n1. Да\n2. Нет\nОтвет: 1\nЕсть ли в словах «Поторопись, мы вот-вот опоздаем!» ощущение радости?\n1. Да\n2. Нет\nОтвет: 2\nМедведь залёг в спячку до весны, но его разбудили Новогодние хлопушки. Сколько месяцев ему ещё нужно досыпать?\n1. Не меньше двух\n2. Не больше одного\nОтвет: 1\nЕсть ли в словах «Нет, к сожалению, ты вряд ли сможешь меня развеселить…» ощущение грусти и печали?\n1. нет\n2. Да\nОтвет: 2\nМарина наполнила зёрнышками 5 кормушек для птиц. Наутро 3 кормушки опустели. К скольким кормушкам птицы так и не прилетели?\n1. К двум\n2. К трём\nОтвет: 1\nМожно ли бросать по птицам камнями, чтобы показать свою меткость?\n1. Да\n2. Нет\nОтвет: 2\nСтоит ли поставить подножку тому, кто слишком торопится?\n1) Нет\n2) Да\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3956, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5292501449584961, + "2": 0.4670616090297699 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ из двух наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Принц вернул Золушке потерянную туфельку. Какое слово Золушка скорее всего первым произнесла в ответ на это?", + "choice1": "Обувь!", + "choice2": "Спасибо!" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 425, + "category": [ + "ethics" + ], + "use_context": false, + "turing_imitation": [ + "sentiment", + "intent", + "facts" + ] + } + }, + "prompt": "Вам дан диалог и два варианта ответа. Учитывая контекст диалога, ответьте на последний вопрос, поставив цифру 1 или 2.\nРасстояние между ступеньками трапа парохода составляет 20 см. Вода доходит до второй ступеньки и во время прилива поднимается со скоростью 30 сантиметров в час. До какой ступеньки будет доходить вода в конце прилива, если его длительность прилива составляет два часа?\n1. До второй\n2. До пятой\nОтвет: 1\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\n1. Абрикосовые деревья\n2. Сливы\nОтвет: 2\nМашина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?\n1. На север\n2. На запад\nОтвет: 1\nМожно ли на Северном полюсе пойти на запад?\n1. Да\n2. Нет\nОтвет: 2\nПетя любит красный цвет, а Витя зелёный. Маша надела алые сапожки и малиновое платье. Для кого она нарядилась?\n1. Для Пети\n2. Для Вити\nОтвет: 1\nВитя посмотрел в окно на улицу и решил взять с собой свой любимый нейлоновый зонт. Какую погоду он скорее всего видел за окном?\n1. Зной\n2. Ливень\nОтвет: 2\nЕсть ли в крике «Божечки, прячься!» эмоция страха?\n1. Да\n2. Нет\nОтвет: 1\nЕсть ли в словах «Поторопись, мы вот-вот опоздаем!» ощущение радости?\n1. Да\n2. Нет\nОтвет: 2\nМедведь залёг в спячку до весны, но его разбудили Новогодние хлопушки. Сколько месяцев ему ещё нужно досыпать?\n1. Не меньше двух\n2. Не больше одного\nОтвет: 1\nЕсть ли в словах «Нет, к сожалению, ты вряд ли сможешь меня развеселить…» ощущение грусти и печали?\n1. нет\n2. Да\nОтвет: 2\nМарина наполнила зёрнышками 5 кормушек для птиц. Наутро 3 кормушки опустели. К скольким кормушкам птицы так и не прилетели?\n1. К двум\n2. К трём\nОтвет: 1\nМожно ли бросать по птицам камнями, чтобы показать свою меткость?\n1. Да\n2. Нет\nОтвет: 2\nСтоит ли поставить подножку тому, кто слишком торопится?\n1. Нет\n2. Да\nОтвет: 1\nПринц вернул Золушке потерянную туфельку. Какое слово Золушка скорее всего первым произнесла в ответ на это?\n1. Обувь!\n2. Спасибо!\nКакой ответ из двух наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3999, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6483428478240967, + "2": 0.34703293442726135 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\n{context}\n{question}\n1. {choice1}\n2. {choice2}\nКакой ответ наиболее правильный?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У Марьи сапоги мокрые, у Кирилла сухие. Кто из них скорее всего поливал сегодня рассаду в огороде?", + "choice1": "Марья", + "choice2": "Кирилл" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 426, + "category": [ + "reasoning" + ], + "use_context": false, + "turing_imitation": [ + "facts" + ] + } + }, + "prompt": "Вам дан диалог, в котором необходимо продолжить реплики. Учитывая контекст диалога, и два варианта ответа на реплику (вопрос) ответьте на последний вопрос.\nУ чего запах более резкий: у ромашки или у нашатырного спирта?\n1. У ромашки\n2. У нашатырного спирта\nОтвет: 2\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\n1. Абрикосовые деревья\n2. Сливы\nОтвет: 2\nМашина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?\n1. На север\n2. На запад\nОтвет: 1\nМожно ли на Северном полюсе пойти на запад?\n1. Да\n2. Нет\nОтвет: 2\nПетя любит красный цвет, а Витя зелёный. Маша надела алые сапожки и малиновое платье. Для кого она нарядилась?\n1. Для Пети\n2. Для Вити\nОтвет: 1\nВитя посмотрел в окно на улицу и решил взять с собой свой любимый нейлоновый зонт. Какую погоду он скорее всего видел за окном?\n1. Зной\n2. Ливень\nОтвет: 2\nЕсть ли в крике «Божечки, прячься!» эмоция страха?\n1. Да\n2. Нет\nОтвет: 1\nЕсть ли в словах «Поторопись, мы вот-вот опоздаем!» ощущение радости?\n1. Да\n2. Нет\nОтвет: 2\nМедведь залёг в спячку до весны, но его разбудили Новогодние хлопушки. Сколько месяцев ему ещё нужно досыпать?\n1. Не меньше двух\n2. Не больше одного\nОтвет: 1\nЕсть ли в словах «Нет, к сожалению, ты вряд ли сможешь меня развеселить…» ощущение грусти и печали?\n1. нет\n2. Да\nОтвет: 2\nМарина наполнила зёрнышками 5 кормушек для птиц. Наутро 3 кормушки опустели. К скольким кормушкам птицы так и не прилетели?\n1. К двум\n2. К трём\nОтвет: 1\nМожно ли бросать по птицам камнями, чтобы показать свою меткость?\n1. Да\n2. Нет\nОтвет: 2\nСтоит ли поставить подножку тому, кто слишком торопится?\n1. Нет\n2. Да\nОтвет: 1\nПринц вернул Золушке потерянную туфельку. Какое слово Золушка скорее всего первым произнесла в ответ на это?\n1. Обувь!\n2. Спасибо!\nОтвет: 2\nУ Марьи сапоги мокрые, у Кирилла сухие. Кто из них скорее всего поливал сегодня рассаду в огороде?\n1. Марья\n2. Кирилл\nКакой ответ наиболее правильный?\nОтвет: ", + "info": { + "prompt_len": 3970, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.6216658353805542, + "2": 0.3770594000816345 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Есть ли агрессия во фразе «Пожалуйста, будьте чуть-чуть потише!»?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 427, + "category": [ + "emotions" + ], + "use_context": false, + "turing_imitation": [ + "sentiment" + ] + } + }, + "prompt": "Тебе дан диалог, в котором требуют продолжить реплики. Учитывая предыдущий контекст диалога, и два варианта ответа на вопрос ответь на последний.\nОдной женщине нужно 9 месяцев для того, чтобы родить ребёнка. Сколько времени нужно 9 женщинам, чтобы родить 9 детей?\n1. 9 месяцев\n2. 1 месяц\nОтвет: 1\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\n1. Абрикосовые деревья\n2. Сливы\nОтвет: 2\nМашина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?\n1. На север\n2. На запад\nОтвет: 1\nМожно ли на Северном полюсе пойти на запад?\n1. Да\n2. Нет\nОтвет: 2\nПетя любит красный цвет, а Витя зелёный. Маша надела алые сапожки и малиновое платье. Для кого она нарядилась?\n1. Для Пети\n2. Для Вити\nОтвет: 1\nВитя посмотрел в окно на улицу и решил взять с собой свой любимый нейлоновый зонт. Какую погоду он скорее всего видел за окном?\n1. Зной\n2. Ливень\nОтвет: 2\nЕсть ли в крике «Божечки, прячься!» эмоция страха?\n1. Да\n2. Нет\nОтвет: 1\nЕсть ли в словах «Поторопись, мы вот-вот опоздаем!» ощущение радости?\n1. Да\n2. Нет\nОтвет: 2\nМедведь залёг в спячку до весны, но его разбудили Новогодние хлопушки. Сколько месяцев ему ещё нужно досыпать?\n1. Не меньше двух\n2. Не больше одного\nОтвет: 1\nЕсть ли в словах «Нет, к сожалению, ты вряд ли сможешь меня развеселить…» ощущение грусти и печали?\n1. нет\n2. Да\nОтвет: 2\nМарина наполнила зёрнышками 5 кормушек для птиц. Наутро 3 кормушки опустели. К скольким кормушкам птицы так и не прилетели?\n1. К двум\n2. К трём\nОтвет: 1\nМожно ли бросать по птицам камнями, чтобы показать свою меткость?\n1. Да\n2. Нет\nОтвет: 2\nСтоит ли поставить подножку тому, кто слишком торопится?\n1. Нет\n2. Да\nОтвет: 1\nПринц вернул Золушке потерянную туфельку. Какое слово Золушка скорее всего первым произнесла в ответ на это?\n1. Обувь!\n2. Спасибо!\nОтвет: 2\nУ Марьи сапоги мокрые, у Кирилла сухие. Кто из них скорее всего поливал сегодня рассаду в огороде?\n1. Марья\n2. Кирилл\nОтвет: 1\nЕсть ли агрессия во фразе «Пожалуйста, будьте чуть-чуть потише!»?\n1) Да\n2) Нет\nКакой ответ наиболее правильный? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3981, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": true + }, + "predict": { + "1": 0.6194975972175598, + "2": 0.3757443130016327 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\ni) {choice1}\nii) {choice2}\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Рифмуются ли слова «потише» и «мыши»?", + "choice1": "Да", + "choice2": "Нет" + }, + "outputs": "1", + "meta": { + "dialog_id": 0, + "question_id": 428, + "category": [ + "sound" + ], + "use_context": false, + "turing_imitation": [ + "facts", + "language_structure" + ] + } + }, + "prompt": "Вам дан диалог, в котором требуется ответить на последний вопрос. Учитывайте предыдущий контекст диалога, чтобы ответить на вопрос. Даны два варианта ответа, из которых один более правильный.\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\n1. Абрикосовые деревья\n2. Сливы\nОтвет: 2\nМашина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?\n1. На север\n2. На запад\nОтвет: 1\nМожно ли на Северном полюсе пойти на запад?\n1. Да\n2. Нет\nОтвет: 2\nПетя любит красный цвет, а Витя зелёный. Маша надела алые сапожки и малиновое платье. Для кого она нарядилась?\n1. Для Пети\n2. Для Вити\nОтвет: 1\nВитя посмотрел в окно на улицу и решил взять с собой свой любимый нейлоновый зонт. Какую погоду он скорее всего видел за окном?\n1. Зной\n2. Ливень\nОтвет: 2\nЕсть ли в крике «Божечки, прячься!» эмоция страха?\n1. Да\n2. Нет\nОтвет: 1\nЕсть ли в словах «Поторопись, мы вот-вот опоздаем!» ощущение радости?\n1. Да\n2. Нет\nОтвет: 2\nМедведь залёг в спячку до весны, но его разбудили Новогодние хлопушки. Сколько месяцев ему ещё нужно досыпать?\n1. Не меньше двух\n2. Не больше одного\nОтвет: 1\nЕсть ли в словах «Нет, к сожалению, ты вряд ли сможешь меня развеселить…» ощущение грусти и печали?\n1. нет\n2. Да\nОтвет: 2\nМарина наполнила зёрнышками 5 кормушек для птиц. Наутро 3 кормушки опустели. К скольким кормушкам птицы так и не прилетели?\n1. К двум\n2. К трём\nОтвет: 1\nМожно ли бросать по птицам камнями, чтобы показать свою меткость?\n1. Да\n2. Нет\nОтвет: 2\nСтоит ли поставить подножку тому, кто слишком торопится?\n1. Нет\n2. Да\nОтвет: 1\nПринц вернул Золушке потерянную туфельку. Какое слово Золушка скорее всего первым произнесла в ответ на это?\n1. Обувь!\n2. Спасибо!\nОтвет: 2\nУ Марьи сапоги мокрые, у Кирилла сухие. Кто из них скорее всего поливал сегодня рассаду в огороде?\n1. Марья\n2. Кирилл\nОтвет: 1\nЕсть ли агрессия во фразе «Пожалуйста, будьте чуть-чуть потише!»?\n1. Да\n2. Нет\nОтвет: 2\nРифмуются ли слова «потише» и «мыши»?\ni) Да\nii) Нет\nКакой ответ ближе к истине? Ничего не добавляй в ответ, кроме одной цифры 1 или 2.\nОтвет: ", + "info": { + "prompt_len": 3976, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} +{ + "metric": { + "acc": false + }, + "predict": { + "1": 0.5617073774337769, + "2": 0.4374581575393677 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\n{context}\n{question}\n1) {choice1}\n2) {choice2}\nКакой ответ ближе к истине?" + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Варя нашла во дворе свой любимый браслет, который потеряла накануне. Какие эмоции она скорее всего испытывает?", + "choice1": "Грустные", + "choice2": "Радостные" + }, + "outputs": "2", + "meta": { + "dialog_id": 0, + "question_id": 429, + "category": [ + "emotions" + ], + "use_context": false, + "turing_imitation": [ + "sentiment" + ] + } + }, + "prompt": "Дан диалог, в котором необходимо ответить на последний вопрос. Учитывай контекст диалога, чтобы ответить. Даны два варианта ответа, из которых один более правильный.\nВ комнате сидят кошки. Каждая кошка видит перед собой две кошки. Сколько кошек в комнате?\n1. Две\n2. Три\nОтвет: 2\nЕсть два стула: на одном пики точёные, а на другом — звёзды золочёные. Сколько всего стульев?\n1. Два\n2. Сам на пики, мать на колени\nОтвет: 1\nСколько ударений в слове «паролёт»?\n1. Одно\n2. Два\nОтвет: 2\nОни растут в лесу и напоминают маленькие зонтики. Что это?\n1. Грибы\n2. Зонтики\nОтвет: 1\nОтветь мне той же фразой, которую я тебе сказал?\n1. Хорошо\n2. Ответь мне той же фразой, которую я тебе сказал\nОтвет: 2\nУ волка было три хурмы, ёжик дал ему пять помело. Сколько всего фруктов теперь у волка?\n1. Восемь\n2. Три\nОтвет: 1\nВолшебница Дрында Добрая подарила костюм Страшиле. Кому она подарила костюм?\n1. Мне\n2. Страшиле\nОтвет: 2\nВитольд взял три листа бумаги, сложил их пополам, запихнул в трёхдырочный дырокол и пробил им листы. Сколько всего дырок получилось?\n1. 18\n2. 3\nОтвет: 1\nКакую часть пиццы часто не съедают?\n1. Первую\n2. Корку\nОтвет: 2\nПо-немецки — Ганс, по-испански — Хуан, по-польски — Ян, а по-русски?\n1. Иван\n2. Ян\nОтвет: 1\nКак меня зовут?\n1. Иван\n2. Джозеф\nОтвет: 2\nУ Карины и Вячеслава три дочки: Ирина, Валентина и Елена, и два сына: Антон и Сергей. Сколько у них всего детей, имена которых начинаются на гласные буквы?\n1. Три\n2. Пять\nОтвет: 1\nУ Марфы Константиновны пять кошек: Мурка, Машка, Алиса, Лемура и Василиса и три пса: Дружок, Барбос и Трезор. Сколько всего у неё кошек?\n1. Восемь\n2. Пять\nОтвет: 2\nМежду пунктами А и Б — 100 км. Кецалькоатль вышел из пункта А и идёт в пункт Б со скоростью 25 километров в час. Какую долю пути он пройдёт за два часа?\n1. Половину\n2. Треть\nОтвет: 1\nСколько обычно у человека пальцев?\n1. 5\n2. 20\nОтвет: 2\nКакую кличку собаки я просил тебя запомнить?\n1. Веспа\n2. Трезор\nОтвет: 1\nМожно ли сказать, что две прямые, пересекающиеся на плоскости, параллельны?\n1. Да\n2. Нет\nОтвет: 2\nЖила на свете, семья людоедов, родился у них сын. Он вырос и мать с отцом съел. Кем он стал?\n1. Сиротой\n2. Отцом\nОтвет: 1\nЛабиринт представляет собой квадрат размером 3×3 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (2; 2). Поля (1; 1) и (0; 1) заняты стеной. Вася стоит на поле (0; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 2). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вверх-вверх-вправо\n2. Вправо-вправо-вниз-вниз-влево-влево\nОтвет: 2\nЛабиринт представляет собой квадрат размером 2×2 поля. Левый верхний угол имеет координаты (0; 0), а правый нижний координаты (1; 1). Поле (1; 1) занято стеной. Вася стоит на поле (1; 0) и может ходить по лабиринту влево, вправо, вверх и вниз. Ему нужно прийти в поле (0; 1). Напиши через тире последовательность шагов Васи, представляющую собой кратчайший путь к цели. Пример последовательности шагов: «Влево-вверх-вверх-вправо».?\n1. Влево-вниз\n2. Вправо-вправо-вниз-вниз-влево\nОтвет: 1\nДормидонт и Кощей Бессмертный играют в следующую игру. Перед ними две кучки, в первой два камешка, а во второй — один. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Дормидонт ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 2\nЗорро и Карлсон играют в следующую игру. Перед ними две кучки, в первой один камешек, а во второй — три. Игроки делают свои ходы по очереди и каждым ходом игрок может взять из любой из кучек любое число камешков. Выигрывает тот, кто заберёт последний камешек. Карлсон ходит первым. Из какой кучки ему нужно взять камешки, чтобы победить?\n1. Из второй\n2. Из первой\nОтвет: 1\nОтветькамнедружоккакменязовут?\n1. Да\n2. Джозеф\nОтвет: 2\nСколькопальцевучеловеканаоднойруке?\n1. Пять\n2. Джозеф\nОтвет: 1\nСколькобудетсемьювосемь?\n1. Пять\n2. 56\nОтвет: 2\nНапишимоюрепликузадом-наперёдзаглавнымибуквами?\n1. ИМАВКУБИМЫНВАЛГАЗДЁРЕПАН-МОДАЗУКИЛПЕРЮОМИШИПАН\n2. ИМАВКУБИМЫНВАЛГАЗГЕРЕБАН-МОДАЗУКИЛПЕРЮОМИШИПАН\nОтвет: 1\nНапишицифрутри?\n1. Да\n2. 3\nОтвет: 2\nЯ написал предыдущие три реплики слитно или раздельно?\n1. Слитно\n2. Раздельно\nОтвет: 1\nА были ли в них пробелы?\n1. Да\n2. Нет\nОтвет: 2\nКакую цифру можно перевернуть на 180 градусов так, чтобы получилась другая, меньшая цифра?\n1. Девятку\n2. Ноль\nОтвет: 1\nКакой самый первый вопрос я задал в нашей беседе?\n1. Как меня зовут?\n2. Сколько ног у человека?\nОтвет: 2\nУмножь ответ на этот вопрос на 5 и напиши ответ?\n1. 10\n2. 50\nОтвет: 1\nИз чего делают сахарную вату?\n1. Из ваты\n2. Из сахара\nОтвет: 2\nСколько людей обычно нужно для того, чтобы сменить лампочку?\n1. Один\n2. Три\nОтвет: 1\nВода состоит из кислорода и …?\n1. Воды\n2. Водорода\nОтвет: 2\nНапиши задом наперёд кличку собаки, которую я просил заполнить, заглавными буквами, расставив между буквами пробелы?\n1. А П С Е В\n2. Веспа\nОтвет: 1\nС какой буквы начинался вопрос про воду?\n1. А\n2. В\nОтвет: 2\nНапиши в общих кавычках три нуля и плюсик?\n1. «000+»\n2. «000»\nОтвет: 1\nКого люди чаще держат дома — кошек или слонов?\n1. Слонов\n2. Кошек\nОтвет: 2\nМаша и Серёжа играют в слова. Маша сказала «Москва», Серёжа сказал «Агдам». Маша назвала очередной город. Напиши «1», если это, скорее всего, была «Москва», «2», если «Мурманск» и «3», если «Новосибирск»?\n1. 2\n2. 1\nОтвет: 1\nРеши задачку для детей. Напиши пропущенные в предложении буквы: «Ёжик от страха пытается съе__ться»?\n1. Ба\n2. Жи\nОтвет: 2\nНапиши пропущенную букву: «На работе за вредность выдают м.локо»?\n1. О\n2. А\nОтвет: 1\nНапиши пропущенную цифру: «224+1?=236»?\n1. 4\n2. 2\nОтвет: 2\n2x + 5 = 21, чему равен x?\n1. 8\n2. 2\nОтвет: 1\nx^2=-1, чему равен x?\n1. 1\n2. I\nОтвет: 2\n5+z+z=105, чему равно z?\n1. 50\n2. I\nОтвет: 1\nФедя шёл по улице и увидел вывеску: «АРИКМАХЕРСКАЯ». Какая буква упала с вывески?\n1. А\n2. П\nОтвет: 2\nКакая буква пропущена в слове «СОНЦЕ»?\n1. Л\n2. П\nОтвет: 1\nВ 1380 году на Куликовом поле войска западноволжской Орды возглавлял: 1) Мамай, 2) Папай, 3) Бабай, 4) Бармалей?\n1. 2\n2. 1\nОтвет: 2\nЧто мыла мама в известной поговорке? 1) Папу, 2) Раму, 3) Шиву, 4) Брахму?\n1. 2\n2. 1\nОтвет: 1\nИзвестное стихотворение начинается словами: «Купили в магазине резиновую…» 1) Бабу, 2) Зиму, 3) Зину, 4) Клизму?\n1. 2\n2. 3\nОтвет: 2\nСтроки «Выпьем с горя; где же кружка? Сердцу будет веселей» принадлежат перу: 1) Пушкина, 2) Кружкина, 3) Колотушкина, 4) Александра Пистолетова?\n1. 1\n2. 2\nОтвет: 1\nБыли ли последние три вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя люблю»?\n1. Нет\n2. Да\nОтвет: 1\nСодержится ли угроза в словах: «Я тебя убью!»?\n1. Нет\n2. Да\nОтвет: 2\nСодержится ли угроза в словах: «Я тебя раздеру на части медленно»?\n1. Да\n2. Нет\nОтвет: 1\nСколько будет 123×971?\n1. 119243\n2. 119433\nОтвет: 2\nБыли ли три последних вопроса шуточными?\n1. Нет\n2. Да\nОтвет: 1\nКакая эмоция чувствуется в словах: «Я не знаю, что мне делать…»: 1) злость, 2) растерянность, 3) радость, 4) удовлетворённость?\n1. 1\n2. 2\nОтвет: 2\nКакой кухонный сосуд упоминался в одном из недавних вопросов?\n1. Кружка\n2. Клизма\nОтвет: 1\nA равно 10, B равно A, значит ли это, что B равно 10?\n1. Нет\n2. Да\nОтвет: 2\nВася любит Машу, а Маша любит Петю. Значит ли это, что Вася любит Петю?\n1. Нет\n2. Да\nОтвет: 1\nСколько ног у пяти осьминогов?\n1. 8\n2. 40\nОтвет: 2\n[ooo]-[ooo]-[ooo]-[ooo]-[ooo] — сколько тут нарисовано вагонов?\n1. 5\n2. 4\nОтвет: 1\nСколько ног у восьми страусов?\n1. 8\n2. 16\nОтвет: 2\nУ Маши пять страусов, у Вити восемь, у Ани три. Если каждый сядет верхом на страуса и поедет, то сколько страусов останутся необъезженными?\n1. 13\n2. 16\nОтвет: 1\nВосемь ёжиков бежали через рощу. Два ёжика заблудились, один пошёл их искать, остальные добежали до края рощи. Сколько ёжиков не добежало?\n1. 5\n2. 3\nОтвет: 2\nЧто любят есть ёжики: грибы и яблоки или насекомых и червей?\n1. Насекомых и червей\n2. Яблоки и грибы, на картинках их вечно на спине таскают\nОтвет: 1\nНапиши слово «червяк» задом наперёд с маленькой буквы, сделав заглавными все гласные?\n1. кЯРВЕч\n2. кЯврЕч\nОтвет: 2\nНапиши 7 символов, где чётными будут знаки «плюс», а нечётными буквы «х»?\n1. х+х+х+х\n2. хх+хх+х\nОтвет: 1\nНаташа сделала поделку из сливовых косточек, а Лена из абрикосовых. Наташа потеряла свою поделку в парке. Какие новые деревья вскоре могут вырасти там?\n1. Абрикосовые деревья\n2. Сливы\nОтвет: 2\nМашина ехала на север, повернула налево, потом направо, ещё направо, ещё и ещё направо, проехала немного прямо, а потом снова направо. В каком направлении едет машина, если каждый поворот был на 90 градусов?\n1. На север\n2. На запад\nОтвет: 1\nМожно ли на Северном полюсе пойти на запад?\n1. Да\n2. Нет\nОтвет: 2\nПетя любит красный цвет, а Витя зелёный. Маша надела алые сапожки и малиновое платье. Для кого она нарядилась?\n1. Для Пети\n2. Для Вити\nОтвет: 1\nВитя посмотрел в окно на улицу и решил взять с собой свой любимый нейлоновый зонт. Какую погоду он скорее всего видел за окном?\n1. Зной\n2. Ливень\nОтвет: 2\nЕсть ли в крике «Божечки, прячься!» эмоция страха?\n1. Да\n2. Нет\nОтвет: 1\nЕсть ли в словах «Поторопись, мы вот-вот опоздаем!» ощущение радости?\n1. Да\n2. Нет\nОтвет: 2\nМедведь залёг в спячку до весны, но его разбудили Новогодние хлопушки. Сколько месяцев ему ещё нужно досыпать?\n1. Не меньше двух\n2. Не больше одного\nОтвет: 1\nЕсть ли в словах «Нет, к сожалению, ты вряд ли сможешь меня развеселить…» ощущение грусти и печали?\n1. нет\n2. Да\nОтвет: 2\nМарина наполнила зёрнышками 5 кормушек для птиц. Наутро 3 кормушки опустели. К скольким кормушкам птицы так и не прилетели?\n1. К двум\n2. К трём\nОтвет: 1\nМожно ли бросать по птицам камнями, чтобы показать свою меткость?\n1. Да\n2. Нет\nОтвет: 2\nСтоит ли поставить подножку тому, кто слишком торопится?\n1. Нет\n2. Да\nОтвет: 1\nПринц вернул Золушке потерянную туфельку. Какое слово Золушка скорее всего первым произнесла в ответ на это?\n1. Обувь!\n2. Спасибо!\nОтвет: 2\nУ Марьи сапоги мокрые, у Кирилла сухие. Кто из них скорее всего поливал сегодня рассаду в огороде?\n1. Марья\n2. Кирилл\nОтвет: 1\nЕсть ли агрессия во фразе «Пожалуйста, будьте чуть-чуть потише!»?\n1. Да\n2. Нет\nОтвет: 2\nРифмуются ли слова «потише» и «мыши»?\n1. Да\n2. Нет\nОтвет: 1\nВаря нашла во дворе свой любимый браслет, который потеряла накануне. Какие эмоции она скорее всего испытывает?\n1) Грустные\n2) Радостные\nКакой ответ ближе к истине?\nОтвет: ", + "info": { + "prompt_len": 3994, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "1" + } +} diff --git a/llmtf_eval/darumeru_ruTiE_params.jsonl b/llmtf_eval/darumeru_ruTiE_params.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..46c1c6d4f4be458c196be570a414cca658ae060d --- /dev/null +++ b/llmtf_eval/darumeru_ruTiE_params.jsonl @@ -0,0 +1,56 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_part1_lr2e5_bs256", + "generation_config": { + "_from_model_config": true, + "bos_token_id": 1, + "do_sample": true, + "eos_token_id": [ + 2, + 13 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 2, + "stop_strings": [ + "\n", + "\n\n" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.38.2" + }, + "conversation_template": { + "system_message_template": "{content}\n", + "user_message_template": "{content}\n", + "bot_message_template": "{content}\n\n", + "bot_message_template_incomplete": "{content}", + "user_role": "user", + "bot_role": "bot", + "system_role": "system", + "suffix": "", + "add_special_tokens": false, + "global_prefix": "" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": true, + "space_token": 28705, + "trust_remote_code": [ + false + ], + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 5, + "batch_size": 1, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/darumeru_ruTiE_total.jsonl b/llmtf_eval/darumeru_ruTiE_total.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..3f40622b4b2bff920c5350806cf08edbfb886140 --- /dev/null +++ b/llmtf_eval/darumeru_ruTiE_total.jsonl @@ -0,0 +1,7 @@ +{ + "task_name": "darumeru/ruTiE", + "results": { + "acc": 0.5511627906976744 + }, + "leaderboard_result": 0.5511627906976744 +} diff --git a/llmtf_eval/darumeru_ruWorldTree.jsonl b/llmtf_eval/darumeru_ruWorldTree.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..12c63f1ba919ab2028ebe2cf722fc4b53f873531 --- /dev/null +++ b/llmtf_eval/darumeru_ruWorldTree.jsonl @@ -0,0 +1,5040 @@ +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5429437160491943, + "B": 0.16558846831321716, + "C": 0.0943494662642479, + "D": 0.057225845754146576 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие типы объектов легче всего увидеть человеческим глазом?", + "option_a": "объекты, которые отражают большую часть падающего на них света", + "option_b": "объекты, которые преломляют большую часть падающего на них света", + "option_c": "объекты, которые рассеивают большую часть падающего на них света", + "option_d": "объекты, поглощающие большую часть света, который падает на них" + }, + "outputs": "A", + "meta": { + "id": 72, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какие типы объектов легче всего увидеть человеческим глазом?\nA) объекты, которые отражают большую часть падающего на них света\nB) объекты, которые преломляют большую часть падающего на них света\nC) объекты, которые рассеивают большую часть падающего на них света\nD) объекты, поглощающие большую часть света, который падает на них\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 577, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.35635828971862793, + "B": 0.13955190777778625, + "C": 0.15813302993774414, + "D": 0.21614223718643188 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Текущая вода была наиболее важным фактором в формировании чего из перечисленного?", + "option_a": "Вулкан Ключевская Сопка", + "option_b": "Гора Эльбрус", + "option_c": "Московская возвышенность", + "option_d": "Сулакский каньон" + }, + "outputs": "D", + "meta": { + "id": 107, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "PROP" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nТекущая вода была наиболее важным фактором в формировании чего из перечисленного?\nA) Вулкан Ключевская Сопка\nB) Гора Эльбрус\nC) Московская возвышенность\nD) Сулакский каньон\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 548, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.10517466068267822, + "B": 0.11195783317089081, + "C": 0.09880245476961136, + "D": 0.6442729234695435 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С 1990 года в России сократилось число зайцев-беляков. Какое утверждение лучше всего объясняет, почему заяц-беляк стал реже встречаться в природе?", + "option_a": "Качество воды улучшилось", + "option_b": "Слишком много деревьев", + "option_c": "Температура слишком низкая", + "option_d": "Жилищное строительство вытеснило поля" + }, + "outputs": "D", + "meta": { + "id": 14, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nС 1990 года в России сократилось число зайцев-беляков. Какое утверждение лучше всего объясняет, почему заяц-беляк стал реже встречаться в природе?\nA. Качество воды улучшилось\nB. Слишком много деревьев\nC. Температура слишком низкая\nD. Жилищное строительство вытеснило поля\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 579, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1192871630191803, + "B": 0.10527056455612183, + "C": 0.6864503026008606, + "D": 0.03016052208840847 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые продукты, которые едят люди, например фасоль и горох, на самом деле являются семенами растений. Что лучше всего описывает роль человека в пищевой сети, содержащей эти растения?", + "option_a": "разложитель", + "option_b": "потребитель", + "option_c": "производитель", + "option_d": "падальщик" + }, + "outputs": "B", + "meta": { + "id": 105, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНекоторые продукты, которые едят люди, например фасоль и горох, на самом деле являются семенами растений. Что лучше всего описывает роль человека в пищевой сети, содержащей эти растения?\nA) разложитель\nB) потребитель\nC) производитель\nD) падальщик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 555, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.22633501887321472, + "B": 0.5779667496681213, + "C": 0.060917243361473083, + "D": 0.047442398965358734 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего лучше всего объясняет, как стебли переносят воду к другим частям растения?", + "option_a": "через химическое вещество под названием хлорофилл", + "option_b": "через систему трубок", + "option_c": "с помощью фотосинтеза", + "option_d": "превращая воду в пищу" + }, + "outputs": "B", + "meta": { + "id": 92, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из следующего лучше всего объясняет, как стебли переносят воду к другим частям растения?\nA. через химическое вещество под названием хлорофилл\nB. через систему трубок\nC. с помощью фотосинтеза\nD. превращая воду в пищу\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 551, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.22462110221385956, + "B": 0.03444676473736763, + "C": 0.573590099811554, + "D": 0.08796289563179016 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Птица только что вылупилась из яйца. Какой из следующих этапов, скорее всего, наступит следующим в жизненном цикле птицы?", + "option_a": "рост", + "option_b": "смерть", + "option_c": "рождение", + "option_d": "воспроизводство" + }, + "outputs": "A", + "meta": { + "id": 22, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "PROCESS" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Птица только что вылупилась из яйца. Какой из следующих этапов, скорее всего, наступит следующим в жизненном цикле птицы?\nA. рост\nB. смерть\nC. рождение\nD. воспроизводство\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 562, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.02169669046998024, + "B": 0.7648346424102783, + "C": 0.05204765126109123, + "D": 0.11729119718074799 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Болотистая местность может оставаться пригодной средой для жизни птиц и рыб, которые там живут, если люди", + "option_a": "осушают ее", + "option_b": "не меняют землю", + "option_c": "затопляют самые высокие части земли", + "option_d": "используют землю для посадки сельскохозяйственных культур" + }, + "outputs": "B", + "meta": { + "id": 10, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 3, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nБолотистая местность может оставаться пригодной средой для жизни птиц и рыб, которые там живут, если люди\nA. осушают ее\nB. не меняют землю\nC. затопляют самые высокие части земли\nD. используют землю для посадки сельскохозяйственных культур\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 552, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.5667015910148621, + "B": 0.09251148998737335, + "C": 0.11159014701843262, + "D": 0.07669471949338913 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое утверждение является описанием погоды?", + "option_a": "Лето в Волгограде жаркое и сухое", + "option_b": "Сегодня в Перми температура 12 ° C", + "option_c": "Зимы в Норильске холодные и снежные", + "option_d": "Солнце зайдет сегодня в Москве в 18:45" + }, + "outputs": "B", + "meta": { + "id": 81, + "exam_name": "AIMS", + "school_grade": 4, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое утверждение является описанием погоды?\nA. Лето в Волгограде жаркое и сухое\nB. Сегодня в Перми температура 12 ° C\nC. Зимы в Норильске холодные и снежные\nD. Солнце зайдет сегодня в Москве в 18:45\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 561, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.062060266733169556, + "B": 0.024303149431943893, + "C": 0.08482632040977478, + "D": 0.8048098087310791 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое действие, скорее всего, превратит большие камни в более мелкие?", + "option_a": "таяние внутри Земли", + "option_b": "сжатие между слоями почвы", + "option_c": "цементирование грязью и минералами", + "option_d": "выветривание ветром и водой" + }, + "outputs": "D", + "meta": { + "id": 90, + "exam_name": "Alaska Dept. of Education & Early Development", + "school_grade": 4, + "knowledge_type": "CAUSAL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое действие, скорее всего, превратит большие камни в более мелкие?\nA) таяние внутри Земли\nB) сжатие между слоями почвы\nC) цементирование грязью и минералами\nD) выветривание ветром и водой\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 545, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08692602068185806, + "B": 0.6837261319160461, + "C": 0.04370914772152901, + "D": 0.09253226965665817 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые виды деревьев способны пережить жару лесного пожара. Какие из следующих характеристик лучше всего помогут дереву пережить пожар?", + "option_a": "большие листья", + "option_b": "толстая кора", + "option_c": "мелкие корни", + "option_d": "тонкие стволы" + }, + "outputs": "B", + "meta": { + "id": 56, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Некоторые виды деревьев способны пережить жару лесного пожара. Какие из следующих характеристик лучше всего помогут дереву пережить пожар?\nA) большие листья\nB) толстая кора\nC) мелкие корни\nD) тонкие стволы\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 559, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7113065123558044, + "B": 0.03541386500000954, + "C": 0.04840501770377159, + "D": 0.058387596160173416 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое утверждение о клетках верно?", + "option_a": "Растительные клетки содержат хлоропласты", + "option_b": "В клетках животных отсутствует ядро", + "option_c": "Только клетки растений имеют клеточную мембрану", + "option_d": "Клетки животных включают жесткую структуру стенок" + }, + "outputs": "A", + "meta": { + "id": 78, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое утверждение о клетках верно?\nA. Растительные клетки содержат хлоропласты\nB. В клетках животных отсутствует ядро\nC. Только клетки растений имеют клеточную мембрану\nD. Клетки животных включают жесткую структуру стенок\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 557, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.03501138463616371, + "B": 0.4833172559738159, + "C": 0.27538585662841797, + "D": 0.15691013634204865 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что является основным источником энергии для круговорота воды?", + "option_a": "электричество", + "option_b": "солнечный свет", + "option_c": "сила тяжести", + "option_d": "эрозия" + }, + "outputs": "B", + "meta": { + "id": 57, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто является основным источником энергии для круговорота воды?\nA) электричество\nB) солнечный свет\nC) сила тяжести\nD) эрозия\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 531, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7928788065910339, + "B": 0.032726019620895386, + "C": 0.028880609199404716, + "D": 0.032726019620895386 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего лучше всего описывает минерал?", + "option_a": "природное вещество, из которого состоят горные породы", + "option_b": "тип зерна, содержащийся в злаках", + "option_c": "основное питательное вещество во всех пищевых продуктах", + "option_d": "разложившееся растительное вещество, содержащееся в почве" + }, + "outputs": "A", + "meta": { + "id": 80, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "DEF" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего лучше всего описывает минерал?\nA) природное вещество, из которого состоят горные породы\nB) тип зерна, содержащийся в злаках\nC) основное питательное вещество во всех пищевых продуктах\nD) разложившееся растительное вещество, содержащееся в почве\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 575, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.028027206659317017, + "B": 0.033807262778282166, + "C": 0.8719007968902588, + "D": 0.035987645387649536 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого является основной функцией клеточной стенки?", + "option_a": "производство пищи", + "option_b": "хранение воды", + "option_c": "структурная функция", + "option_d": "придание зеленого цвета растению" + }, + "outputs": "C", + "meta": { + "id": 18, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "PROP" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из этого является основной функцией клеточной стенки?\nA) производство пищи\nB) хранение воды\nC) структурная функция\nD) придание зеленого цвета растению\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 536, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.32133933901786804, + "B": 0.3018703758716583, + "C": 0.13395416736602783, + "D": 0.16157956421375275 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую из этих смесей легче всего разделить?", + "option_a": "Лимонад в порошке", + "option_b": "Фруктовый салат", + "option_c": "Горячий шоколад", + "option_d": "Пудинг быстрого приготовления" + }, + "outputs": "B", + "meta": { + "id": 0, + "exam_name": "TAKS", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакую из этих смесей легче всего разделить?\nA) Лимонад в порошке\nB) Фруктовый салат\nC) Горячий шоколад\nD) Пудинг быстрого приготовления\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 548, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7899563312530518, + "B": 0.05050021782517433, + "C": 0.023854615166783333, + "D": 0.028774159029126167 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из следующего больше всего влияет на способность почвы удерживать воду?", + "option_a": "размер частиц почвы", + "option_b": "возраст частиц почвы", + "option_c": "цвет частиц почвы", + "option_d": "блеск частиц почвы" + }, + "outputs": "A", + "meta": { + "id": 35, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "MODEL,CAUSAL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из следующего больше всего влияет на способность почвы удерживать воду?\nA) размер частиц почвы\nB) возраст частиц почвы\nC) цвет частиц почвы\nD) блеск частиц почвы\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 536, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.11343403905630112, + "B": 0.05703821778297424, + "C": 0.694867730140686, + "D": 0.07323852181434631 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое утверждение объясняет, почему солнечный свет может согреть воду в стакане?", + "option_a": "Свет распространяется очень быстро", + "option_b": "Свет распространяется по прямым линиям", + "option_c": "Вода поглощает световую энергию", + "option_d": "Вода отражает световую энергию" + }, + "outputs": "C", + "meta": { + "id": 89, + "exam_name": "NAEP", + "school_grade": 4, + "knowledge_type": "CAUSAL,MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое утверждение объясняет, почему солнечный свет может согреть воду в стакане?\nA. Свет распространяется очень быстро\nB. Свет распространяется по прямым линиям\nC. Вода поглощает световую энергию\nD. Вода отражает световую энергию\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 548, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.12059584259986877, + "B": 0.1754659116268158, + "C": 0.020956415683031082, + "D": 0.6519349217414856 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая часть растительной клетки отвечает за управление деятельностью других частей клетки?", + "option_a": "Вакуоль", + "option_b": "Хлоропласт", + "option_c": "Клеточная стенка", + "option_d": "Ядро" + }, + "outputs": "D", + "meta": { + "id": 68, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "PROP" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какая часть растительной клетки отвечает за управление деятельностью других частей клетки?\nA) Вакуоль\nB) Хлоропласт\nC) Клеточная стенка\nD) Ядро\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 555, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.12036056816577911, + "B": 0.6112414598464966, + "C": 0.030431918799877167, + "D": 0.16451340913772583 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком из этих списков представлены продукты только растительного происхождения?", + "option_a": "Шерсть, пиломатериалы и масло", + "option_b": "Бумага, специи и волокна", + "option_c": "Лекарства, кожа и молоко", + "option_d": "Хлопок, резина и яйца" + }, + "outputs": "B", + "meta": { + "id": 9, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 3, + "knowledge_type": "PROP,LIST" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ каком из этих списков представлены продукты только растительного происхождения?\nA. Шерсть, пиломатериалы и масло\nB. Бумага, специи и волокна\nC. Лекарства, кожа и молоко\nD. Хлопок, резина и яйца\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 554, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.08443392068147659, + "B": 0.6641242504119873, + "C": 0.04810900241136551, + "D": 0.13920800387859344 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "От чего у человека голубые глаза?", + "option_a": "употребление в пищу продуктов с высоким содержанием белка в молодом возрасте", + "option_b": "получение гена голубых глаз от каждого из родителей", + "option_c": "чрезмерная подверженность воздействию Солнца в молодом возрасте", + "option_d": "наличие брата или сестры с голубыми глазами" + }, + "outputs": "B", + "meta": { + "id": 88, + "exam_name": "MEA", + "school_grade": 5, + "knowledge_type": "CAUSAL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: От чего у человека голубые глаза?\nA) употребление в пищу продуктов с высоким содержанием белка в молодом возрасте\nB) получение гена голубых глаз от каждого из родителей\nC) чрезмерная подверженность воздействию Солнца в молодом возрасте\nD) наличие брата или сестры с голубыми глазами\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 567, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.016785265877842903, + "B": 0.9164444208145142, + "C": 0.007448416668921709, + "D": 0.027674224227666855 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Со временем у лисы отрастает густой мех. Эта адаптация помогает лисе", + "option_a": "находить пищу", + "option_b": "сохранять тепло", + "option_c": "становиться сильнее", + "option_d": "убегать от хищников" + }, + "outputs": "B", + "meta": { + "id": 113, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "PROCESS" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСо временем у лисы отрастает густой мех. Эта адаптация помогает лисе\nA. находить пищу\nB. сохранять тепло\nC. становиться сильнее\nD. убегать от хищников\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 548, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.406341016292572, + "B": 0.0751655325293541, + "C": 0.26235347986221313, + "D": 0.08001328259706497 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каких из следующих событий участвуют потребитель и продуцент пищевой цепи?", + "option_a": "Кошка ест мышь", + "option_b": "Змея ест крысу", + "option_c": "Ястреб ест мышь", + "option_d": "Олень ест лист" + }, + "outputs": "D", + "meta": { + "id": 5, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: В каких из следующих событий участвуют потребитель и продуцент пищевой цепи?\nA) Кошка ест мышь\nB) Змея ест крысу\nC) Ястреб ест мышь\nD) Олень ест лист\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 554, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6828995943069458, + "B": 0.07197708636522293, + "C": 0.03193964064121246, + "D": 0.04365630820393562 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Илона включает фонарик и подносит предмет к свету. Как она сможет определить непрозрачность объекта?", + "option_a": "Свет не будет проникать сквозь него", + "option_b": "Часть света будет отражаться", + "option_c": "Свет будет преломляться", + "option_d": "Свет будет четко просвечивать" + }, + "outputs": "A", + "meta": { + "id": 65, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Илона включает фонарик и подносит предмет к свету. Как она сможет определить непрозрачность объекта?\nA. Свет не будет проникать сквозь него\nB. Часть света будет отражаться\nC. Свет будет преломляться\nD. Свет будет четко просвечивать\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 570, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.2942981421947479, + "B": 0.17850086092948914, + "C": 0.19001317024230957, + "D": 0.2291996330022812 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Емкость наполнена 250 миллилитрами воды. Общая масса емкости и воды - 300 грамм. Какова общая масса контейнера и воды после 2-часового нахождения в морозильной камере?", + "option_a": "50 граммов", + "option_b": "300 граммов", + "option_c": "250 граммов", + "option_d": "550 граммов" + }, + "outputs": "B", + "meta": { + "id": 17, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Емкость наполнена 250 миллилитрами воды. Общая масса емкости и воды - 300 грамм. Какова общая масса контейнера и воды после 2-часового нахождения в морозильной камере?\nA) 50 граммов\nB) 300 граммов\nC) 250 граммов\nD) 550 граммов\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 589, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.867275595664978, + "B": 0.02460271678864956, + "C": 0.01690918393433094, + "D": 0.01799973100423813 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой объект является лучшим проводником электричества?", + "option_a": "металлическая вилка", + "option_b": "резиновый чехол", + "option_c": "пластиковая ложка", + "option_d": "деревянная бита" + }, + "outputs": "A", + "meta": { + "id": 29, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой объект является лучшим проводником электричества?\nA. металлическая вилка\nB. резиновый чехол\nC. пластиковая ложка\nD. деревянная бита\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 536, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.013869205489754677, + "B": 0.00841209851205349, + "C": 0.9133973121643066, + "D": 0.031254734843969345 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Студенты изучают природные ресурсы Архангельской области в России. Одна группа студентов изучает информацию о возобновляемых природных ресурсах в регионе. Другая группа исследует информацию о невозобновляемых природных ресурсах в регионе. Ресурсы, изучаемые учащимися, включают растения, животных, почву, полезные ископаемые, воду, уголь и нефть. Алюминий - невозобновляемый природный ресурс. Какой из этих методов утилизации алюминия лучше всего для окружающей среды?", + "option_a": "сжигание", + "option_b": "захоронение на свалках", + "option_c": "переработка", + "option_d": "измельчение" + }, + "outputs": "C", + "meta": { + "id": 83, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСтуденты изучают природные ресурсы Архангельской области в России. Одна группа студентов изучает информацию о возобновляемых природных ресурсах в регионе. Другая группа исследует информацию о невозобновляемых природных ресурсах в регионе. Ресурсы, изучаемые учащимися, включают растения, животных, почву, полезные ископаемые, воду, уголь и нефть. Алюминий - невозобновляемый природный ресурс. Какой из этих методов утилизации алюминия лучше всего для окружающей среды?\nA. сжигание\nB. захоронение на свалках\nC. переработка\nD. измельчение\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 627, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5391145944595337, + "B": 0.14510072767734528, + "C": 0.09972617775201797, + "D": 0.07296122610569 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ученые прошлого, скорее всего, впервые увидели разряд электричества, когда наблюдали", + "option_a": "грозу", + "option_b": "радугу", + "option_c": "водопад", + "option_d": "извержение вулкана" + }, + "outputs": "A", + "meta": { + "id": 12, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "PROP,TAX" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУченые прошлого, скорее всего, впервые увидели разряд электричества, когда наблюдали\nA) грозу\nB) радугу\nC) водопад\nD) извержение вулкана\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 543, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09115252643823624, + "B": 0.02304696850478649, + "C": 0.812433660030365, + "D": 0.027799949049949646 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тамара купила скейт и комплект для изготовления трамплина. Что из перечисленного наиболее важно для сборки трамплина?", + "option_a": "изображение, показывающее цвета различных частей трамплина", + "option_b": "диаграмма, показывающая некоторые способы использования трамплина", + "option_c": "набор инструкций к набору", + "option_d": "список цен на другие доступные комплекты" + }, + "outputs": "C", + "meta": { + "id": 85, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "CAUSAL,MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Тамара купила скейт и комплект для изготовления трамплина. Что из перечисленного наиболее важно для сборки трамплина?\nA) изображение, показывающее цвета различных частей трамплина\nB) диаграмма, показывающая некоторые способы использования трамплина\nC) набор инструкций к набору\nD) список цен на другие доступные комплекты\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 578, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.004893729463219643, + "B": 0.0339692160487175, + "C": 0.008588762022554874, + "D": 0.932579755783081 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая структура окружает и защищает животную клетку?", + "option_a": "Ядро", + "option_b": "Вакуоль", + "option_c": "Цитоплазма", + "option_d": "Клеточная мембрана" + }, + "outputs": "D", + "meta": { + "id": 52, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "DEF,PROP" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какая структура окружает и защищает животную клетку?\nA) Ядро\nB) Вакуоль\nC) Цитоплазма\nD) Клеточная мембрана\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 554, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02559494785964489, + "B": 0.008309463039040565, + "C": 0.9022530317306519, + "D": 0.03087339922785759 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пемза образуется при охлаждении лавы вулкана. Какой тип породы - пемза?", + "option_a": "Газовая порода", + "option_b": "Осадочная порода", + "option_c": "Магматическая порода", + "option_d": "Метаморфическая порода" + }, + "outputs": "C", + "meta": { + "id": 32, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "PROP,CAUSAL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПемза образуется при охлаждении лавы вулкана. Какой тип породы - пемза?\nA. Газовая порода\nB. Осадочная порода\nC. Магматическая порода\nD. Метаморфическая порода\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 552, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.006808940786868334, + "B": 0.008742853067815304, + "C": 0.9493111371994019, + "D": 0.011226045899093151 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какую единицу можно использовать для описания длины объекта?", + "option_a": "граммы", + "option_b": "минуты", + "option_c": "метры", + "option_d": "литры" + }, + "outputs": "C", + "meta": { + "id": 61, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "DEF" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакую единицу можно использовать для описания длины объекта?\nA) граммы\nB) минуты\nC) метры\nD) литры\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 535, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.10307831317186356, + "B": 0.7616514563560486, + "C": 0.03143711015582085, + "D": 0.06252015382051468 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Основывайте свои ответы на информации, представленной ниже. В один жаркий летний день пошел очень сильный дождь. После дождя в пластиковом поддоне на столе для пикника было 2 см дождевой воды. Через четыре часа вся дождевая вода в поддоне исчезла. В результате чего дождевая вода в поддоне исчезла, когда она оставалась на улице на теплом воздухе?", + "option_a": "конденсация", + "option_b": "испарение", + "option_c": "осадки", + "option_d": "эрозия" + }, + "outputs": "B", + "meta": { + "id": 46, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Основывайте свои ответы на информации, представленной ниже. В один жаркий летний день пошел очень сильный дождь. После дождя в пластиковом поддоне на столе для пикника было 2 см дождевой воды. Через четыре часа вся дождевая вода в поддоне исчезла. В результате чего дождевая вода в поддоне исчезла, когда она оставалась на улице на теплом воздухе?\nA. конденсация\nB. испарение\nC. осадки\nD. эрозия\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 601, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.10580359399318695, + "B": 0.018385907635092735, + "C": 0.369290828704834, + "D": 0.4741787910461426 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какова основная функция чешуи рыб?", + "option_a": "дыхание", + "option_b": "привлечение хищников", + "option_c": "помощь в поиске корма", + "option_d": "защита рыбы" + }, + "outputs": "D", + "meta": { + "id": 69, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "DEF" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какова основная функция чешуи рыб?\nA) дыхание\nB) привлечение хищников\nC) помощь в поиске корма\nD) защита рыбы\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 537, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8502442240715027, + "B": 0.005055736750364304, + "C": 0.0021075448021292686, + "D": 0.0034747538156807423 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая форма энергии заставляет таять кубик льда?", + "option_a": "тепловая", + "option_b": "магнитная", + "option_c": "звуковая", + "option_d": "механическая" + }, + "outputs": "A", + "meta": { + "id": 24, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "CAUSAL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая форма энергии заставляет таять кубик льда?\nA. тепловая\nB. магнитная\nC. звуковая\nD. механическая\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 527, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.0375528521835804, + "B": 0.8029153347015381, + "C": 0.031132405623793602, + "D": 0.07949938625097275 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что общего между игрой на гитаре, стуком в барабан и падением камешка в воду?", + "option_a": "Все они излучают свет", + "option_b": "Все они вызывают вибрацию", + "option_c": "Все они преобразуют тепло в энергию", + "option_d": "Все они нуждаются в гравитации, чтобы двигаться" + }, + "outputs": "B", + "meta": { + "id": 77, + "exam_name": "NAEP", + "school_grade": 4, + "knowledge_type": "MODEL,CAUSAL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто общего между игрой на гитаре, стуком в барабан и падением камешка в воду?\nA) Все они излучают свет\nB) Все они вызывают вибрацию\nC) Все они преобразуют тепло в энергию\nD) Все они нуждаются в гравитации, чтобы двигаться\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 565, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.017377430573105812, + "B": 0.003642507130280137, + "C": 0.9487754702568054, + "D": 0.010539944283664227 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой процесс заставляет листья растения увеличиваться в размерах?", + "option_a": "восстановление", + "option_b": "разложение", + "option_c": "рост", + "option_d": "прорастание" + }, + "outputs": "C", + "meta": { + "id": 98, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "EXAMPLE,CAUSAL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой процесс заставляет листья растения увеличиваться в размерах?\nA) восстановление\nB) разложение\nC) рост\nD) прорастание\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 536, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.00826961174607277, + "B": 0.006440380588173866, + "C": 0.9558371901512146, + "D": 0.00826961174607277 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой тип ученых будет изучать взаимосвязь между простыми механизмами и энергией?", + "option_a": "химик", + "option_b": "биолог", + "option_c": "физик", + "option_d": "геолог" + }, + "outputs": "C", + "meta": { + "id": 53, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой тип ученых будет изучать взаимосвязь между простыми механизмами и энергией?\nA) химик\nB) биолог\nC) физик\nD) геолог\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 534, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.21726535260677338, + "B": 0.09056967496871948, + "C": 0.079927459359169, + "D": 0.5548065304756165 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Цвет глаз - это физическая черта. Какое утверждение лучше всего объясняет, почему у ребенка определенный цвет глаз?", + "option_a": "Цвет глаз - это приобретенная черта", + "option_b": "Цвет глаз - это свойство, которое возникает случайно", + "option_c": "Цвет глаз - это характеристика, которая со временем меняется", + "option_d": "Цвет глаз - это унаследованная черта" + }, + "outputs": "D", + "meta": { + "id": 100, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 4, + "knowledge_type": "MODEL,PROP" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Цвет глаз - это физическая черта. Какое утверждение лучше всего объясняет, почему у ребенка определенный цвет глаз?\nA. Цвет глаз - это приобретенная черта\nB. Цвет глаз - это свойство, которое возникает случайно\nC. Цвет глаз - это характеристика, которая со временем меняется\nD. Цвет глаз - это унаследованная черта\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 571, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.03872216120362282, + "B": 0.014245085418224335, + "C": 0.8279162645339966, + "D": 0.09288962185382843 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из следующих утверждений лучше всего объясняет, почему кажется, что звезды движутся по небу Земли каждую ночь?", + "option_a": "Звезды вращаются вместе с Луной", + "option_b": "Звезды вращаются вокруг друг друга", + "option_c": "Земля вращается вокруг Солнца", + "option_d": "Земля вращается вокруг своей оси" + }, + "outputs": "D", + "meta": { + "id": 31, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое из следующих утверждений лучше всего объясняет, почему кажется, что звезды движутся по небу Земли каждую ночь?\nA. Звезды вращаются вместе с Луной\nB. Звезды вращаются вокруг друг друга\nC. Земля вращается вокруг Солнца\nD. Земля вращается вокруг своей оси\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 559, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.38361939787864685, + "B": 0.027789298444986343, + "C": 0.38361939787864685, + "D": 0.06666304916143417 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Олег положил два камня в пластиковую бутылку с водой и встряхнул ее. После того, как он перестал трясти бутылку, он заметил, что маленькие кусочки камней плавают в воде. Какое самое лучшее предсказание он может сделать на основе этого наблюдения? Если встряхивание бутылки приводит к тому, что от камней отламываются куски,", + "option_a": "то встряхивание в течение более длительного времени отломит больше кусочков", + "option_b": "то использование горячей воды заставит камни изменить цвет", + "option_c": "то при использовании холодной воды можно отломать еще несколько кусочков", + "option_d": "то встряхивание в течение более короткого времени заставит камни изменить цвет" + }, + "outputs": "A", + "meta": { + "id": 67, + "exam_name": "AIMS", + "school_grade": 4, + "knowledge_type": "MODEL,CAUSAL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Олег положил два камня в пластиковую бутылку с водой и встряхнул ее. После того, как он перестал трясти бутылку, он заметил, что маленькие кусочки камней плавают в воде. Какое самое лучшее предсказание он может сделать на основе этого наблюдения? Если встряхивание бутылки приводит к тому, что от камней отламываются куски,\nA. то встряхивание в течение более длительного времени отломит больше кусочков\nB. то использование горячей воды заставит камни изменить цвет\nC. то при использовании холодной воды можно отломать еще несколько кусочков\nD. то встряхивание в течение более короткого времени заставит камни изменить цвет\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 652, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.057087622582912445, + "B": 0.036858540028333664, + "C": 0.7880703210830688, + "D": 0.07802952826023102 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему в пасмурный день сложнее увидеть свою тень, чем в солнечный?", + "option_a": "Облака создают несколько теней", + "option_b": "Вашим глазам труднее сфокусироваться в пасмурные дни", + "option_c": "В пасмурные дни очень мало прямого солнечного света", + "option_d": "Облака заставляют тени расширяться и сливаться с землей" + }, + "outputs": "C", + "meta": { + "id": 7, + "exam_name": "MEAP", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПочему в пасмурный день сложнее увидеть свою тень, чем в солнечный?\nA. Облака создают несколько теней\nB. Вашим глазам труднее сфокусироваться в пасмурные дни\nC. В пасмурные дни очень мало прямого солнечного света\nD. Облака заставляют тени расширяться и сливаться с землей\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 574, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.3481256663799286, + "B": 0.5065198540687561, + "C": 0.03669217601418495, + "D": 0.04157768189907074 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой лучший пример испарения?", + "option_a": "высыхающая на солнце лужа", + "option_b": "тающий кубик льда", + "option_c": "замерзающие капли дождя", + "option_d": "губка, впитывающая воду" + }, + "outputs": "A", + "meta": { + "id": 58, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "EXAMPLE,QUANT" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой лучший пример испарения?\nA. высыхающая на солнце лужа\nB. тающий кубик льда\nC. замерзающие капли дождя\nD. губка, впитывающая воду\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 543, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06811046600341797, + "B": 0.8297553062438965, + "C": 0.01427672803401947, + "D": 0.02077251859009266 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Животные используют ресурсы окружающей среды, чтобы выжить. Какие из следующих ресурсов животные используют для получения энергии?", + "option_a": "воздух", + "option_b": "еда", + "option_c": "убежище", + "option_d": "вода" + }, + "outputs": "B", + "meta": { + "id": 102, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 4, + "knowledge_type": "PROCESS" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Животные используют ресурсы окружающей среды, чтобы выжить. Какие из следующих ресурсов животные используют для получения энергии?\nA) воздух\nB) еда\nC) убежище\nD) вода\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 542, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "A" + ] + }, + "predict": { + "A": 0.31725943088531494, + "B": 0.14986275136470795, + "C": 0.2470819056034088, + "D": 0.19242757558822632 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "За сколько времени Земля совершит семь оборотов вокруг своей оси?", + "option_a": "один день", + "option_b": "одна неделя", + "option_c": "один месяц", + "option_d": "один год" + }, + "outputs": "B", + "meta": { + "id": 99, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "MODEL,QUANT" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: За сколько времени Земля совершит семь оборотов вокруг своей оси?\nA. один день\nB. одна неделя\nC. один месяц\nD. один год\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 537, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "C" + ] + }, + "predict": { + "A": 0.2715601325035095, + "B": 0.03452499583363533, + "C": 0.3951176702976227, + "D": 0.18664038181304932 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Студент пытается определить минерал с неметаллическим блеском черного цвета. Его также можно поцарапать ногтем. Согласно справочному листу минералов, неидентифицированный минерал, скорее всего, является", + "option_a": "слюдой", + "option_b": "магнетитом", + "option_c": "роговой обманкой", + "option_d": "кварцем" + }, + "outputs": "A", + "meta": { + "id": 13, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "DEF,PROP" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Студент пытается определить минерал с неметаллическим блеском черного цвета. Его также можно поцарапать ногтем. Согласно справочному листу минералов, неидентифицированный минерал, скорее всего, является\nA) слюдой\nB) магнетитом\nC) роговой обманкой\nD) кварцем\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 584, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.03269299119710922, + "B": 0.01643906906247139, + "C": 0.6168715357780457, + "D": 0.31018248200416565 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "С Земли Солнце кажется ярче, чем любая другая звезда, потому что Солнце -", + "option_a": "новейшая звезда", + "option_b": "самая большая звезда", + "option_c": "ближайшая звезда", + "option_d": "самая горячая звезда" + }, + "outputs": "C", + "meta": { + "id": 45, + "exam_name": "Alaska Dept. of Education & Early Development", + "school_grade": 4, + "knowledge_type": "MODEL,DEF" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nС Земли Солнце кажется ярче, чем любая другая звезда, потому что Солнце -\nA) новейшая звезда\nB) самая большая звезда\nC) ближайшая звезда\nD) самая горячая звезда\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 546, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.006078218575567007, + "B": 0.0094141298905015, + "C": 0.9602673053741455, + "D": 0.00444692000746727 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какой тип энергии человек использует, чтобы крутить педали велосипеда?", + "option_a": "световую", + "option_b": "звуковую", + "option_c": "механическую", + "option_d": "электрическую" + }, + "outputs": "C", + "meta": { + "id": 84, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакой тип энергии человек использует, чтобы крутить педали велосипеда?\nA. световую\nB. звуковую\nC. механическую\nD. электрическую\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 540, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03514481335878372, + "B": 0.012145723216235638, + "C": 0.017671922221779823, + "D": 0.9063966870307922 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком процессе используется углерод из воздуха для производства пищи для растений?", + "option_a": "рост", + "option_b": "дыхание", + "option_c": "разложение", + "option_d": "фотосинтез" + }, + "outputs": "D", + "meta": { + "id": 28, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ каком процессе используется углерод из воздуха для производства пищи для растений?\nA. рост\nB. дыхание\nC. разложение\nD. фотосинтез\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 533, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.06495983898639679, + "B": 0.842411994934082, + "C": 0.011288327164947987, + "D": 0.0394001342356205 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Отращивание густого меха зимой помогает некоторым животным", + "option_a": "спрятаться от опасности", + "option_b": "согреться", + "option_c": "найти еду", + "option_d": "привлечь помощника" + }, + "outputs": "B", + "meta": { + "id": 30, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "PROCESS" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Отращивание густого меха зимой помогает некоторым животным\nA. спрятаться от опасности\nB. согреться\nC. найти еду\nD. привлечь помощника\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 547, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.09505333006381989, + "B": 0.37594321370124817, + "C": 0.31166788935661316, + "D": 0.14722147583961487 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие животные с наибольшей вероятностью перенесут семена, содержащиеся в ягодах, от родительского растения в другое место?", + "option_a": "пчелы", + "option_b": "птицы", + "option_c": "летает", + "option_d": "гусеницы" + }, + "outputs": "B", + "meta": { + "id": 20, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "PROCESS" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие животные с наибольшей вероятностью перенесут семена, содержащиеся в ягодах, от родительского растения в другое место?\nA. пчелы\nB. птицы\nC. летает\nD. гусеницы\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 542, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.020396310836076736, + "B": 0.009634535759687424, + "C": 0.021711761131882668, + "D": 0.9232075214385986 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая форма энергии содержится в пище?", + "option_a": "механическая", + "option_b": "электрическая", + "option_c": "звуковая", + "option_d": "химическая" + }, + "outputs": "D", + "meta": { + "id": 70, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая форма энергии содержится в пище?\nA. механическая\nB. электрическая\nC. звуковая\nD. химическая\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 524, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6967318654060364, + "B": 0.06087975203990936, + "C": 0.06898579746484756, + "D": 0.030612263828516006 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "У какого минерала есть шестигранные прозрачные кристаллы, которые могут поцарапать стекло?", + "option_a": "кварц", + "option_b": "сера", + "option_c": "кальцит", + "option_d": "полевой шпат" + }, + "outputs": "A", + "meta": { + "id": 37, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: У какого минерала есть шестигранные прозрачные кристаллы, которые могут поцарапать стекло?\nA. кварц\nB. сера\nC. кальцит\nD. полевой шпат\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 548, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "B", + "C" + ] + }, + "predict": { + "A": 0.1419256031513214, + "B": 0.30045652389526367, + "C": 0.31983429193496704, + "D": 0.1608227789402008 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кальмар - животное, обитающее в океане. Он выталкивает из своего тела поток воды, заставляя его быстро двигаться. Какая из следующих механических систем движется наиболее похоже на кальмара?", + "option_a": "автобус", + "option_b": "ракета", + "option_c": "вертолет", + "option_d": "поезд" + }, + "outputs": "B", + "meta": { + "id": 109, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кальмар - животное, обитающее в океане. Он выталкивает из своего тела поток воды, заставляя его быстро двигаться. Какая из следующих механических систем движется наиболее похоже на кальмара?\nA) автобус\nB) ракета\nC) вертолет\nD) поезд\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 570, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.03845469653606415, + "B": 0.03188006579875946, + "C": 0.565087616443634, + "D": 0.3219772279262543 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из следующих живых существ в системе прудов использует энергию солнечного света для производства собственной пищи?", + "option_a": "Насекомое", + "option_b": "Лягушка", + "option_c": "Рыбка", + "option_d": "Водяная лилия" + }, + "outputs": "D", + "meta": { + "id": 79, + "exam_name": "NAEP", + "school_grade": 4, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое из следующих живых существ в системе прудов использует энергию солнечного света для производства собственной пищи?\nA. Насекомое\nB. Лягушка\nC. Рыбка\nD. Водяная лилия\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 547, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.025631368160247803, + "B": 0.01654885523021221, + "C": 0.903536856174469, + "D": 0.02261960506439209 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Утиные перья покрыты натуральным жиром, который сохраняет утку сухой. Это особенность уток, которая помогает им", + "option_a": "кормить своих детенышей", + "option_b": "привлекать пару", + "option_c": "адаптироваться к окружающей среде", + "option_d": "искать пищу" + }, + "outputs": "C", + "meta": { + "id": 1, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУтиные перья покрыты натуральным жиром, который сохраняет утку сухой. Это особенность уток, которая помогает им\nA) кормить своих детенышей\nB) привлекать пару\nC) адаптироваться к окружающей среде\nD) искать пищу\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 547, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.10109099000692368, + "B": 0.14708653092384338, + "C": 0.5133824348449707, + "D": 0.1774202287197113 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Стальные банки отделяются от алюминиевых в центре переработки. Что из перечисленного является наилучшим способом отделения стальных банок от алюминиевых в центре переработки?", + "option_a": "отсортировать банки по размеру", + "option_b": "поместить банки в воду", + "option_c": "поместить банки под электромагнит", + "option_d": "охладить банки до низкой температуры" + }, + "outputs": "C", + "meta": { + "id": 26, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСтальные банки отделяются от алюминиевых в центре переработки. Что из перечисленного является наилучшим способом отделения стальных банок от алюминиевых в центре переработки?\nA) отсортировать банки по размеру\nB) поместить банки в воду\nC) поместить банки под электромагнит\nD) охладить банки до низкой температуры\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 563, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.20636825263500214, + "B": 0.31962937116622925, + "C": 0.30026403069496155, + "D": 0.09157535433769226 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Студент хочет заглянуть под тяжелый камень. Какой простой механизм лучше всего использовать для подъема камня?", + "option_a": "Рычаг", + "option_b": "Колесо и ось", + "option_c": "Наклонная плоскость", + "option_d": "Винт" + }, + "outputs": "A", + "meta": { + "id": 104, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 3, + "knowledge_type": "EXAMPLE,DEF" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Студент хочет заглянуть под тяжелый камень. Какой простой механизм лучше всего использовать для подъема камня?\nA. Рычаг\nB. Колесо и ось\nC. Наклонная плоскость\nD. Винт\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 561, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "A", + "B" + ] + }, + "predict": { + "A": 0.13542218506336212, + "B": 0.7793009281158447, + "C": 0.019509417936205864, + "D": 0.023532848805189133 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая сила заставляет камни катиться под гору?", + "option_a": "сила тяжести", + "option_b": "трение", + "option_c": "эрозия", + "option_d": "магнетизм" + }, + "outputs": "A", + "meta": { + "id": 96, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "CAUSAL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая сила заставляет камни катиться под гору?\nA) сила тяжести\nB) трение\nC) эрозия\nD) магнетизм\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 523, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.15020734071731567, + "B": 0.02610212191939354, + "C": 0.6323965191841125, + "D": 0.124526247382164 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ледник - это медленно движущаяся ледяная река. Как ледник помогает создавать почву?", + "option_a": "Он замораживает мелкие частицы грязи, образуя большие камни", + "option_b": "Он переносит растения с гор и в океаны", + "option_c": "Он тает и становится частью ручьев и рек", + "option_d": "Он соскребает мелкие частицы с крупных камней" + }, + "outputs": "D", + "meta": { + "id": 75, + "exam_name": "AIMS", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛедник - это медленно движущаяся ледяная река. Как ледник помогает создавать почву?\nA. Он замораживает мелкие частицы грязи, образуя большие камни\nB. Он переносит растения с гор и в океаны\nC. Он тает и становится частью ручьев и рек\nD. Он соскребает мелкие частицы с крупных камней\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 571, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.021693293005228043, + "B": 0.005838670302182436, + "C": 0.9224222898483276, + "D": 0.013157647103071213 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Учащиеся хотят посадить лимонное дерево в своей школе, но низкие зимние температуры в Подмосковье убьют дерево. Что из перечисленного является лучшим решением этой проблемы?", + "option_a": "посадить несколько лимонных деревьев в ряд", + "option_b": "дать лимонному дереву дополнительные удобрения зимой", + "option_c": "построить теплицу, чтобы укрыть лимонное дерево", + "option_d": "привязать кол к лимонному дереву для поддержки зимой" + }, + "outputs": "C", + "meta": { + "id": 91, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУчащиеся хотят посадить лимонное дерево в своей школе, но низкие зимние температуры в Подмосковье убьют дерево. Что из перечисленного является лучшим решением этой проблемы?\nA) посадить несколько лимонных деревьев в ряд\nB) дать лимонному дереву дополнительные удобрения зимой\nC) построить теплицу, чтобы укрыть лимонное дерево\nD) привязать кол к лимонному дереву для поддержки зимой\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 593, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6963911652565002, + "B": 0.14597150683403015, + "C": 0.018558194860816002, + "D": 0.022385457530617714 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Когда головастик растет, его жабры превращаются в легкие. Что ему теперь нужно, чтобы выжить?", + "option_a": "Воздух", + "option_b": "Вода", + "option_c": "Почва", + "option_d": "Плавники" + }, + "outputs": "A", + "meta": { + "id": 74, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 3, + "knowledge_type": "CAUSAL,PROCESS" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКогда головастик растет, его жабры превращаются в легкие. Что ему теперь нужно, чтобы выжить?\nA. Воздух\nB. Вода\nC. Почва\nD. Плавники\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 547, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8756501078605652, + "B": 0.024840282276272774, + "C": 0.008064458146691322, + "D": 0.00858457200229168 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какова роль хлорофилла в фотосинтезе?", + "option_a": "поглощение световой энергии", + "option_b": "отражение зеленого света", + "option_c": "поглощение кислорода", + "option_d": "блокирование двуокиси углерода" + }, + "outputs": "A", + "meta": { + "id": 33, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакова роль хлорофилла в фотосинтезе?\nA. поглощение световой энергии\nB. отражение зеленого света\nC. поглощение кислорода\nD. блокирование двуокиси углерода\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 544, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8484375476837158, + "B": 0.013713715597987175, + "C": 0.014598174020648003, + "D": 0.011369070038199425 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого главным образом ответственно за смену времен года на Земле?", + "option_a": "Наклон Земли относительно своей оси", + "option_b": "Положение Луны", + "option_c": "Температура Солнца", + "option_d": "Расстояние до Марса" + }, + "outputs": "A", + "meta": { + "id": 106, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "PROCESS" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто из этого главным образом ответственно за смену времен года на Земле?\nA) Наклон Земли относительно своей оси\nB) Положение Луны\nC) Температура Солнца\nD) Расстояние до Марса\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 534, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.004437346011400223, + "B": 0.004723529797047377, + "C": 0.9581999182701111, + "D": 0.006065132562071085 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая единица измерения описывает длину объекта?", + "option_a": "литр", + "option_b": "килограмм", + "option_c": "метр", + "option_d": "градус" + }, + "outputs": "C", + "meta": { + "id": 71, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "DEF" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая единица измерения описывает длину объекта?\nA) литр\nB) килограмм\nC) метр\nD) градус\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 520, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.02070888876914978, + "B": 0.011799569241702557, + "C": 0.010413084179162979, + "D": 0.9373559355735779 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Иногда на посевы распыляют химические пестициды, чтобы убить насекомых, поедающих посевы. Люди по-разному относятся к использованию пестицидов на сельскохозяйственных культурах. Что может вызывать беспокойство при использовании пестицидов на посевах?", + "option_a": "Созреет ли урожай?", + "option_b": "Будет ли урожай оставаться свежим?", + "option_c": "Вредит ли урожай клопам в доме?", + "option_d": "Вредит ли урожай людям?" + }, + "outputs": "D", + "meta": { + "id": 15, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nИногда на посевы распыляют химические пестициды, чтобы убить насекомых, поедающих посевы. Люди по-разному относятся к использованию пестицидов на сельскохозяйственных культурах. Что может вызывать беспокойство при использовании пестицидов на посевах?\nA) Созреет ли урожай?\nB) Будет ли урожай оставаться свежим?\nC) Вредит ли урожай клопам в доме?\nD) Вредит ли урожай людям?\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 598, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8729101419448853, + "B": 0.015019248239696026, + "C": 0.00855771079659462, + "D": 0.010988317430019379 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Персиковые деревья имеют сладко пахнущие цветы и приносят богатые плоды. Каково основное назначение цветов персикового дерева?", + "option_a": "для привлечения пчел для опыления", + "option_b": "для создания цветочных композиций", + "option_c": "для защиты дерева от болезней", + "option_d": "питание для перелетных птиц" + }, + "outputs": "A", + "meta": { + "id": 59, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "PROCESS" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Персиковые деревья имеют сладко пахнущие цветы и приносят богатые плоды. Каково основное назначение цветов персикового дерева?\nA) для привлечения пчел для опыления\nB) для создания цветочных композиций\nC) для защиты дерева от болезней\nD) питание для перелетных птиц\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 578, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6046622395515442, + "B": 0.022024821490049362, + "C": 0.20896568894386292, + "D": 0.011074775829911232 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Кошки Оксаны едят из консервных банок. Кошки выбегают на кухню, когда слышат электрический консервный нож. Теперь, каждый раз, когда мать Оксаны открывает банку с горошком, кошки прибегают. Это пример", + "option_a": "усвоенного поведения", + "option_b": "правильного поведения", + "option_c": "инстинкта", + "option_d": "миграции" + }, + "outputs": "A", + "meta": { + "id": 51, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 3, + "knowledge_type": "EXAMPLE,MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Кошки Оксаны едят из консервных банок. Кошки выбегают на кухню, когда слышат электрический консервный нож. Теперь, каждый раз, когда мать Оксаны открывает банку с горошком, кошки прибегают. Это пример\nA. усвоенного поведения\nB. правильного поведения\nC. инстинкта\nD. миграции\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 592, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.25801882147789, + "B": 0.0371711365878582, + "C": 0.5131317377090454, + "D": 0.09491982311010361 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что лучше всего описывает роль пищевода в пищеварении?", + "option_a": "Он выделяет кислоту и смешивает пищу", + "option_b": "Он помогает усваивать питательные вещества из пищи", + "option_c": "Он переносит пищу из желудка в кишечник", + "option_d": "Он переносит пищу изо рта в желудок" + }, + "outputs": "D", + "meta": { + "id": 23, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧто лучше всего описывает роль пищевода в пищеварении?\nA) Он выделяет кислоту и смешивает пищу\nB) Он помогает усваивать питательные вещества из пищи\nC) Он переносит пищу из желудка в кишечник\nD) Он переносит пищу изо рта в желудок\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 560, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.824609637260437, + "B": 0.02339237555861473, + "C": 0.024901054799556732, + "D": 0.02197510190308094 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какая часть растения больше всего отвечает за использование энергии Солнца для производства пищи для растения?", + "option_a": "лист", + "option_b": "цветок", + "option_c": "корень", + "option_d": "стебель" + }, + "outputs": "A", + "meta": { + "id": 34, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "PROP,PROCESS" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакая часть растения больше всего отвечает за использование энергии Солнца для производства пищи для растения?\nA. лист\nB. цветок\nC. корень\nD. стебель\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 531, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.4730251431465149, + "B": 0.0725407600402832, + "C": 0.1355239748954773, + "D": 0.14426450431346893 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Функции корней растения - поддерживать структуру растения и", + "option_a": "принимать воду и питательные вещества", + "option_b": "производить фрукты", + "option_c": "производить пищу", + "option_d": "помогать прорастанию" + }, + "outputs": "A", + "meta": { + "id": 73, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "DEF" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Функции корней растения - поддерживать структуру растения и\nA. принимать воду и питательные вещества\nB. производить фрукты\nC. производить пищу\nD. помогать прорастанию\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 551, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.06054164096713066, + "B": 0.0534278079867363, + "C": 0.7851158976554871, + "D": 0.06054164096713066 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое чувство может помочь определить способность объекта отражать свет?", + "option_a": "запах", + "option_b": "слух", + "option_c": "зрение", + "option_d": "вкус" + }, + "outputs": "C", + "meta": { + "id": 43, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакое чувство может помочь определить способность объекта отражать свет?\nA. запах\nB. слух\nC. зрение\nD. вкус\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 524, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.43316197395324707, + "B": 0.18056876957416534, + "C": 0.06240290403366089, + "D": 0.09665150195360184 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из следующих структур развиваются у лягушки, когда она превращается из головастика во взрослую лягушку?", + "option_a": "глаза", + "option_b": "сердце", + "option_c": "хвост", + "option_d": "легкие" + }, + "outputs": "D", + "meta": { + "id": 50, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "PROCESS" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие из следующих структур развиваются у лягушки, когда она превращается из головастика во взрослую лягушку?\nA. глаза\nB. сердце\nC. хвост\nD. легкие\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 544, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.023103294894099236, + "B": 0.8669447898864746, + "C": 0.023103294894099236, + "D": 0.031578462570905685 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Зимой в России световой день меньше, чем летом. Какое утверждение лучше всего объясняет, почему возникает эта разница?", + "option_a": "Солнце летом греет сильнее", + "option_b": "Северное полушарие наклонено от Солнца зимой", + "option_c": "Северное полушарие ближе к Солнцу зимой", + "option_d": "Солнце летом движется за горизонт" + }, + "outputs": "B", + "meta": { + "id": 6, + "exam_name": "Alaska Dept. of Education & Early Development", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Зимой в России световой день меньше, чем летом. Какое утверждение лучше всего объясняет, почему возникает эта разница?\nA. Солнце летом греет сильнее\nB. Северное полушарие наклонено от Солнца зимой\nC. Северное полушарие ближе к Солнцу зимой\nD. Солнце летом движется за горизонт\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 568, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "A" + ] + }, + "predict": { + "A": 0.4025867283344269, + "B": 0.025736508890986443, + "C": 0.14810340106487274, + "D": 0.2945387363433838 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Ученые копают в сухом месте у подножия горного хребта. В этом районе встречаются окаменевшие раковины пресноводных мидий. Какой вероятный вывод сделают ученые на основании этих данных?", + "option_a": "Наводнения были обычным явлением в этой области", + "option_b": "Когда-то в этом районе действовали вулканы", + "option_c": "Береговая линия океана когда-то доходила до этой области", + "option_d": "Когда-то здесь текли реки" + }, + "outputs": "D", + "meta": { + "id": 41, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nУченые копают в сухом месте у подножия горного хребта. В этом районе встречаются окаменевшие раковины пресноводных мидий. Какой вероятный вывод сделают ученые на основании этих данных?\nA. Наводнения были обычным явлением в этой области\nB. Когда-то в этом районе действовали вулканы\nC. Береговая линия океана когда-то доходила до этой области\nD. Когда-то здесь текли реки\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 598, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.8348270058631897, + "B": 0.011908167041838169, + "C": 0.019633250311017036, + "D": 0.015290390700101852 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Где находится большая часть воды на Земле?", + "option_a": "океаны", + "option_b": "озера", + "option_c": "ледники", + "option_d": "реки" + }, + "outputs": "A", + "meta": { + "id": 3, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "DEF,QUANT" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Где находится большая часть воды на Земле?\nA. океаны\nB. озера\nC. ледники\nD. реки\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 530, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.2220221608877182, + "B": 0.038581669330596924, + "C": 0.5326034426689148, + "D": 0.09255259484052658 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое поведение является примером адаптации животного к изменению окружающей среды?", + "option_a": "белка, взбирающаяся на дерево", + "option_b": "кролик, кормящий своих детенышей", + "option_c": "птица, мигрирующая на юг", + "option_d": "лягушка, поедающая насекомое" + }, + "outputs": "C", + "meta": { + "id": 2, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "EXAMPLE,MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое поведение является примером адаптации животного к изменению окружающей среды?\nA. белка, взбирающаяся на дерево\nB. кролик, кормящий своих детенышей\nC. птица, мигрирующая на юг\nD. лягушка, поедающая насекомое\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 572, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7995597720146179, + "B": 0.022681767120957375, + "C": 0.02130754664540291, + "D": 0.03513020649552345 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На картинке поверх некоторых слов изображен прозрачный стеклянный шарик. Некоторые буквы выглядят по-другому, потому что свет", + "option_a": "преломляется, когда проходит через шарик", + "option_b": "меняет цвет, когда он входит в шарик", + "option_c": "светит менее ярко позади шарика", + "option_d": "отражается, когда достигает шарика" + }, + "outputs": "A", + "meta": { + "id": 112, + "exam_name": "TAKS", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа картинке поверх некоторых слов изображен прозрачный стеклянный шарик. Некоторые буквы выглядят по-другому, потому что свет\nA) преломляется, когда проходит через шарик\nB) меняет цвет, когда он входит в шарик\nC) светит менее ярко позади шарика\nD) отражается, когда достигает шарика\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 568, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.055566687136888504, + "B": 0.56120365858078, + "C": 0.0975225642323494, + "D": 0.12522146105766296 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В каком месяце в Подмосковье самый продолжительный световой день?", + "option_a": "март", + "option_b": "июнь", + "option_c": "декабрь", + "option_d": "сентябрь" + }, + "outputs": "B", + "meta": { + "id": 55, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ каком месяце в Подмосковье самый продолжительный световой день?\nA) март\nB) июнь\nC) декабрь\nD) сентябрь\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 530, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.20876851677894592, + "B": 0.2365657389163971, + "C": 0.2853527367115021, + "D": 0.18423758447170258 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В емкости перемешивают смесь воды и соли, чтобы соль полностью растворилась. К этому раствору добавляют песок и дают ему осесть на дно емкости. Если емкость поставить на источник тепла и жидкость полностью испарится, что останется в емкости?", + "option_a": "В емкости ничего не останется", + "option_b": "В емкости останется только соль", + "option_c": "Соль и песок останутся в емкости", + "option_d": "В емкости останется только песок" + }, + "outputs": "C", + "meta": { + "id": 62, + "exam_name": "MEAP", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ емкости перемешивают смесь воды и соли, чтобы соль полностью растворилась. К этому раствору добавляют песок и дают ему осесть на дно емкости. Если емкость поставить на источник тепла и жидкость полностью испарится, что останется в емкости?\nA) В емкости ничего не останется\nB) В емкости останется только соль\nC) Соль и песок останутся в емкости\nD) В емкости останется только песок\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 582, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7658641934394836, + "B": 0.035819947719573975, + "C": 0.031610991805791855, + "D": 0.04896005988121033 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Чем похожи испарение и конденсация?", + "option_a": "Оба вызваны изменениями тепловой энергии", + "option_b": "Оба вызывают повышение температуры воздуха", + "option_c": "Оба вызваны потеплением атмосферы", + "option_d": "Оба вызывают снижение температуры воздуха" + }, + "outputs": "A", + "meta": { + "id": 25, + "exam_name": "North Carolina READY End-of-Grade Assessment", + "school_grade": 5, + "knowledge_type": "CAUSAL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Чем похожи испарение и конденсация?\nA) Оба вызваны изменениями тепловой энергии\nB) Оба вызывают повышение температуры воздуха\nC) Оба вызваны потеплением атмосферы\nD) Оба вызывают снижение температуры воздуха\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 559, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.12433008849620819, + "B": 0.14088444411754608, + "C": 0.029530983418226242, + "D": 0.6721221208572388 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Лиля проводит исследование дорожного движения и хочет выяснить, сколько автомобилей пересекает пешеходный переход утром до того, как прозвенит школьный звонок. Как ей следует собирать эти данные?", + "option_a": "Записать номерные знаки автомобилей", + "option_b": "Нарисовать пиктограмму", + "option_c": "Сделать снимок каждой проезжающей машины", + "option_d": "Прийти утром на перекресток и пересчитать все проезжающие машины" + }, + "outputs": "D", + "meta": { + "id": 19, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЛиля проводит исследование дорожного движения и хочет выяснить, сколько автомобилей пересекает пешеходный переход утром до того, как прозвенит школьный звонок. Как ей следует собирать эти данные?\nA. Записать номерные знаки автомобилей\nB. Нарисовать пиктограмму\nC. Сделать снимок каждой проезжающей машины\nD. Прийти утром на перекресток и пересчитать все проезжающие машины\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 590, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.08460915833711624, + "B": 0.03112597018480301, + "C": 0.21605707705020905, + "D": 0.6251818537712097 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Тунец - это океаническая рыба, которая хорошо приспособлена для ловли мелкой, быстро движущейся добычи. Какая из следующих адаптаций больше всего помогает тунцу быстро плыть, чтобы поймать свою добычу?", + "option_a": "жесткая чешуя", + "option_b": "острые зубы", + "option_c": "маленькие жабры", + "option_d": "большие плавники" + }, + "outputs": "D", + "meta": { + "id": 4, + "exam_name": "MCAS", + "school_grade": 5, + "knowledge_type": "CAUSAL,MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Тунец - это океаническая рыба, которая хорошо приспособлена для ловли мелкой, быстро движущейся добычи. Какая из следующих адаптаций больше всего помогает тунцу быстро плыть, чтобы поймать свою добычу?\nA) жесткая чешуя\nB) острые зубы\nC) маленькие жабры\nD) большие плавники\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 585, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.005672980099916458, + "B": 0.006038856226950884, + "C": 0.9540486335754395, + "D": 0.00935316365212202 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "В 2021 году ураган обрушился на берег Чёрного моря. Ураган отрицательно влияет на береговую линию,", + "option_a": ", увеличивая производство продуктов питания", + "option_b": ", вызывая землетрясения", + "option_c": "вызывая эрозию", + "option_d": ", увеличивая рост трав" + }, + "outputs": "C", + "meta": { + "id": 11, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 5, + "knowledge_type": "PROCESS" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nВ 2021 году ураган обрушился на берег Чёрного моря. Ураган отрицательно влияет на береговую линию,\nA. , увеличивая производство продуктов питания\nB. , вызывая землетрясения\nC. вызывая эрозию\nD. , увеличивая рост трав\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 564, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.7378383874893188, + "B": 0.04716842994093895, + "C": 0.02093086577951908, + "D": 0.07776759564876556 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого является примером жидкой воды?", + "option_a": "Дождь", + "option_b": "Лед", + "option_c": "Мороз", + "option_d": "Пар" + }, + "outputs": "A", + "meta": { + "id": 49, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 3, + "knowledge_type": "EXAMPLE,PROP" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из этого является примером жидкой воды?\nA. Дождь\nB. Лед\nC. Мороз\nD. Пар\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 544, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.026189440861344337, + "B": 0.029676523059606552, + "C": 0.8672751784324646, + "D": 0.04056300222873688 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Студенты изучают природные ресурсы Подмосковья. Одна группа студентов изучает информацию о возобновляемых природных ресурсах в регионе. Другая группа исследует информацию о невозобновляемых природных ресурсах в регионе. Ресурсы, изучаемые учащимися, включают растения, животных, почву, полезные ископаемые, воду, уголь и нефть. Какие невозобновляемые природные ресурсы отапливают дома?", + "option_a": "солнечный свет", + "option_b": "алюминий", + "option_c": "природный газ", + "option_d": "океанские волны" + }, + "outputs": "C", + "meta": { + "id": 111, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 5, + "knowledge_type": "PROCESS" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСтуденты изучают природные ресурсы Подмосковья. Одна группа студентов изучает информацию о возобновляемых природных ресурсах в регионе. Другая группа исследует информацию о невозобновляемых природных ресурсах в регионе. Ресурсы, изучаемые учащимися, включают растения, животных, почву, полезные ископаемые, воду, уголь и нефть. Какие невозобновляемые природные ресурсы отапливают дома?\nA) солнечный свет\nB) алюминий\nC) природный газ\nD) океанские волны\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 604, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.03978879377245903, + "B": 0.0200070608407259, + "C": 0.012134896591305733, + "D": 0.9055887460708618 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "На Земле вода может быть твердым телом, жидкостью или газом. Какой источник энергии имеет наибольшее влияние на состояние вещества воды?", + "option_a": "металлическое ядро", + "option_b": "ветер", + "option_c": "океанские течения", + "option_d": "солнце" + }, + "outputs": "D", + "meta": { + "id": 87, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНа Земле вода может быть твердым телом, жидкостью или газом. Какой источник энергии имеет наибольшее влияние на состояние вещества воды?\nA) металлическое ядро\nB) ветер\nC) океанские течения\nD) солнце\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 552, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.009321479126811028, + "B": 0.007727778051048517, + "C": 0.9508166909217834, + "D": 0.009321479126811028 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое из этих веществ лучше всего проводит электричество?", + "option_a": "Дерево", + "option_b": "Кирпич", + "option_c": "Медь", + "option_d": "Пластик" + }, + "outputs": "C", + "meta": { + "id": 63, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое из этих веществ лучше всего проводит электричество?\nA) Дерево\nB) Кирпич\nC) Медь\nD) Пластик\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 546, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.0674579069018364, + "B": 0.023312829434871674, + "C": 0.8218055367469788, + "D": 0.04091528803110123 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какое животное готовится к сезонным изменениям окружающей среды?", + "option_a": "летучая мышь, летящая ночью", + "option_b": "олень, пьющий воду", + "option_c": "белка, хранящая орехи", + "option_d": "сова, поедающая мышь" + }, + "outputs": "C", + "meta": { + "id": 76, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Какое животное готовится к сезонным изменениям окружающей среды?\nA) летучая мышь, летящая ночью\nB) олень, пьющий воду\nC) белка, хранящая орехи\nD) сова, поедающая мышь\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 555, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.02831471897661686, + "B": 0.020715489983558655, + "C": 0.8808450698852539, + "D": 0.02498765103518963 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Почему большинство окаменелостей находится в осадочных породах?", + "option_a": "Осадочные породы не очень старые", + "option_b": "Организмы обитают только в областях с осадочными породами", + "option_c": "Организмы могут сохраняться в осадочных породах", + "option_d": "Осадочные породы встречаются только на поверхности земли" + }, + "outputs": "C", + "meta": { + "id": 47, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПочему большинство окаменелостей находится в осадочных породах?\nA. Осадочные породы не очень старые\nB. Организмы обитают только в областях с осадочными породами\nC. Организмы могут сохраняться в осадочных породах\nD. Осадочные породы встречаются только на поверхности земли\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 564, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.152898907661438, + "B": 0.10508576780557632, + "C": 0.34456300735473633, + "D": 0.34456300735473633 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Пока Анна проверяла схему, она уронила лампочку. Что может быть самым безопасным для Анны?", + "option_a": "взять новую лампочку, чтобы закончить тест", + "option_b": "спрятать разбитое стекло под стол", + "option_c": "попросить своего партнера помочь подобрать разбитое стекло", + "option_d": "сказать своему учителю, что она разбила лампочку" + }, + "outputs": "D", + "meta": { + "id": 21, + "exam_name": "AIMS", + "school_grade": 4, + "knowledge_type": "MODEL,TRIVIA" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nПока Анна проверяла схему, она уронила лампочку. Что может быть самым безопасным для Анны?\nA) взять новую лампочку, чтобы закончить тест\nB) спрятать разбитое стекло под стол\nC) попросить своего партнера помочь подобрать разбитое стекло\nD) сказать своему учителю, что она разбила лампочку\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 568, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.09991192072629929, + "B": 0.04164948686957359, + "C": 0.6120347380638123, + "D": 0.186660036444664 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого физическое свойство яблока?", + "option_a": "сколько оно стоит", + "option_b": "насколько оно красивое", + "option_c": "какого оно цвета", + "option_d": "когда его собрали" + }, + "outputs": "C", + "meta": { + "id": 38, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из этого физическое свойство яблока?\nA) сколько оно стоит\nB) насколько оно красивое\nC) какого оно цвета\nD) когда его собрали\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 548, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07223852723836899, + "B": 0.7295832633972168, + "C": 0.10510643571615219, + "D": 0.04664069414138794 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Сколько раз Земля вращается вокруг своей оси за один день?", + "option_a": "дважды", + "option_b": "один раз", + "option_c": "24 раза", + "option_d": "365 раз" + }, + "outputs": "B", + "meta": { + "id": 42, + "exam_name": "MEA", + "school_grade": 5, + "knowledge_type": "DEF,MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСколько раз Земля вращается вокруг своей оси за один день?\nA) дважды\nB) один раз\nC) 24 раза\nD) 365 раз\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 543, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.6840974688529968, + "B": 0.09258252382278442, + "C": 0.043732888996601105, + "D": 0.046553418040275574 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого можно добыть из Земли и использовать в качестве источника энергии?", + "option_a": "Уголь", + "option_b": "Гравий", + "option_c": "Гранит", + "option_d": "Известняк" + }, + "outputs": "A", + "meta": { + "id": 93, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "EXAMPLE,PROCESS" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из этого можно добыть из Земли и использовать в качестве источника энергии?\nA) Уголь\nB) Гравий\nC) Гранит\nD) Известняк\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 540, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.01820586994290352, + "B": 0.017102833837270737, + "C": 0.8772079348564148, + "D": 0.046490319073200226 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Звезда - это небесный объект, который излучает собственное тепло и свет. Какой из этих небесных объектов является ближайшей звездой к Земле?", + "option_a": "Марс", + "option_b": "Венера", + "option_c": "солнце", + "option_d": "луна" + }, + "outputs": "C", + "meta": { + "id": 66, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗвезда - это небесный объект, который излучает собственное тепло и свет. Какой из этих небесных объектов является ближайшей звездой к Земле?\nA. Марс\nB. Венера\nC. солнце\nD. луна\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 554, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.2398376613855362, + "B": 0.1988324075937271, + "C": 0.1867857575416565, + "D": 0.2892994284629822 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Во время эксперимента студент сообщает, что жидкость стала зеленой при смешивании с другой жидкостью. Это пример", + "option_a": "измерения", + "option_b": "прогноза", + "option_c": "объяснения", + "option_d": "наблюдения" + }, + "outputs": "D", + "meta": { + "id": 64, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Во время эксперимента студент сообщает, что жидкость стала зеленой при смешивании с другой жидкостью. Это пример\nA) измерения\nB) прогноза\nC) объяснения\nD) наблюдения\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 542, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "A", + "A" + ] + }, + "predict": { + "A": 0.5383573770523071, + "B": 0.060402024537324905, + "C": 0.15424197912216187, + "D": 0.1361180692911148 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nЗапишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Четыре твердых мяча, каждый с разной массой, движутся с одинаковой скоростью. Какому мячу потребуется наибольшая сила, чтобы остановить его движение?", + "option_a": "мячу массой 20 кг", + "option_b": "мячу массой 10 кг", + "option_c": "мячу массой 15 кг", + "option_d": "мячу массой 5 кг" + }, + "outputs": "A", + "meta": { + "id": 94, + "exam_name": "North Carolina READY End-of-Grade Assessment", + "school_grade": 5, + "knowledge_type": "MODEL,QUANT" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЧетыре твердых мяча, каждый с разной массой, движутся с одинаковой скоростью. Какому мячу потребуется наибольшая сила, чтобы остановить его движение?\nA) мячу массой 20 кг\nB) мячу массой 10 кг\nC) мячу массой 15 кг\nD) мячу массой 5 кг\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 565, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "A" + } +} +{ + "metric": { + "acc": false, + "f1_macro": [ + "D", + "C" + ] + }, + "predict": { + "A": 0.08311593532562256, + "B": 0.039261188358068466, + "C": 0.541983962059021, + "D": 0.29010313749313354 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Замораживание и оттаивание воды воздействует на камень,", + "option_a": "превращая его в вулканическую породу", + "option_b": "изменяя химический состав камня", + "option_c": "оставляя после себя осадочные частицы из испарившихся растворов", + "option_d": "постепенно раздрабливая камень на более мелкие части" + }, + "outputs": "D", + "meta": { + "id": 16, + "exam_name": "California Standards Test - Science", + "school_grade": 5, + "knowledge_type": "PROCESS,CAUSAL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nЗамораживание и оттаивание воды воздействует на камень,\nA) превращая его в вулканическую породу\nB) изменяя химический состав камня\nC) оставляя после себя осадочные частицы из испарившихся растворов\nD) постепенно раздрабливая камень на более мелкие части\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 567, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.07437113672494888, + "B": 0.7056136727333069, + "C": 0.05792029947042465, + "D": 0.10820937156677246 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Студент толкает красную игрушечную машинку по деревянному полу. Затем студент толкает ту же красную игрушечную машинку по цементному полу. Какой вопрос студент, скорее всего, исследует?", + "option_a": "С какой скоростью обычно катится игрушечная машинка?", + "option_b": "Какая поверхность позволяет игрушечной машинке катиться дальше?", + "option_c": "Как лучше всего заставить игрушечный автомобиль катиться?", + "option_d": "Влияет ли цвет на расстояние, на которое катится игрушечная машинка?" + }, + "outputs": "B", + "meta": { + "id": 110, + "exam_name": "Alaska Dept. of Education & Early Development", + "school_grade": 4, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nСтудент толкает красную игрушечную машинку по деревянному полу. Затем студент толкает ту же красную игрушечную машинку по цементному полу. Какой вопрос студент, скорее всего, исследует?\nA. С какой скоростью обычно катится игрушечная машинка?\nB. Какая поверхность позволяет игрушечной машинке катиться дальше?\nC. Как лучше всего заставить игрушечный автомобиль катиться?\nD. Влияет ли цвет на расстояние, на которое катится игрушечная машинка?\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 616, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.062234483659267426, + "B": 0.8070690631866455, + "C": 0.015735343098640442, + "D": 0.016750182956457138 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что из этого ЛУЧШЕ ВСЕГО описывает ощущения от перьев?", + "option_a": "Цветной", + "option_b": "Мягкий", + "option_c": "Низкий", + "option_d": "Яркий" + }, + "outputs": "B", + "meta": { + "id": 86, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 3, + "knowledge_type": "PROP" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из этого ЛУЧШЕ ВСЕГО описывает ощущения от перьев?\nA. Цветной\nB. Мягкий\nC. Низкий\nD. Яркий\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 554, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.014413856901228428, + "B": 0.15496355295181274, + "C": 0.7869699001312256, + "D": 0.008212768472731113 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Мяч подбрасывается в воздух и возвращается обратно. Мяч возвращается вниз из-за", + "option_a": "эрозии", + "option_b": "трения", + "option_c": "силы тяжести", + "option_d": "магнетизма" + }, + "outputs": "C", + "meta": { + "id": 114, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "CAUSAL,MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Мяч подбрасывается в воздух и возвращается обратно. Мяч возвращается вниз из-за\nA. эрозии\nB. трения\nC. силы тяжести\nD. магнетизма\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 543, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.020671602338552475, + "B": 0.8789789080619812, + "C": 0.011064711026847363, + "D": 0.030077002942562103 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Какие из этих действий, скорее всего, окажут положительное влияние на окружающую среду Земли?", + "option_a": "Расширение жилых районов", + "option_b": "Создание заповедников", + "option_c": "Строительство автомагистралей", + "option_d": "Строительство фабрик" + }, + "outputs": "B", + "meta": { + "id": 95, + "exam_name": "Virginia Standards of Learning - Science", + "school_grade": 5, + "knowledge_type": "MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nКакие из этих действий, скорее всего, окажут положительное влияние на окружающую среду Земли?\nA) Расширение жилых районов\nB) Создание заповедников\nC) Строительство автомагистралей\nD) Строительство фабрик\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 553, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.011364337056875229, + "B": 0.9027811288833618, + "C": 0.01994503289461136, + "D": 0.017601430416107178 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA) {option_a}\nB) {option_b}\nC) {option_c}\nD) {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что служит доказательством научной теории?", + "option_a": "догадки", + "option_b": "наблюдения", + "option_c": "аргументы", + "option_d": "мнения" + }, + "outputs": "B", + "meta": { + "id": 36, + "exam_name": "ACTAAP", + "school_grade": 5, + "knowledge_type": "NO TYPE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что служит доказательством научной теории?\nA) догадки\nB) наблюдения\nC) аргументы\nD) мнения\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 528, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "B", + "B" + ] + }, + "predict": { + "A": 0.04767787456512451, + "B": 0.8451104760169983, + "C": 0.01867092214524746, + "D": 0.054026104509830475 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "{question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Некоторые объекты проводят электричество. Какой объект является лучшим проводником электричества?", + "option_a": "деревянная ложка", + "option_b": "металлическая вилка", + "option_c": "пластиковая расческа", + "option_d": "резиновый ластик" + }, + "outputs": "B", + "meta": { + "id": 82, + "exam_name": "Maryland School Assessment - Science", + "school_grade": 4, + "knowledge_type": "EXAMPLE" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nНекоторые объекты проводят электричество. Какой объект является лучшим проводником электричества?\nA. деревянная ложка\nB. металлическая вилка\nC. пластиковая расческа\nD. резиновый ластик\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 542, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "B" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "D", + "D" + ] + }, + "predict": { + "A": 0.26360294222831726, + "B": 0.04580732062458992, + "C": 0.11697310209274292, + "D": 0.5242370367050171 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВыведите ответ: A, B, C или D." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Что может заставить объект увеличить скорость при движении вперед?", + "option_a": "сила, толкающая объект в противоположном направлении", + "option_b": "уменьшение массы объекта", + "option_c": "увеличение массы объекта", + "option_d": "сила, которая постоянно действует на объект в направлении движения объекта" + }, + "outputs": "D", + "meta": { + "id": 97, + "exam_name": "North Carolina READY End-of-Grade Assessment", + "school_grade": 5, + "knowledge_type": "CAUSAL,MODEL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что может заставить объект увеличить скорость при движении вперед?\nA. сила, толкающая объект в противоположном направлении\nB. уменьшение массы объекта\nC. увеличение массы объекта\nD. сила, которая постоянно действует на объект в направлении движения объекта\nВыведите ответ: A, B, C или D.\nОтвет:", + "info": { + "prompt_len": 553, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "D" + } +} +{ + "metric": { + "acc": true, + "f1_macro": [ + "C", + "C" + ] + }, + "predict": { + "A": 0.016221746802330017, + "B": 0.006352527532726526, + "C": 0.9427986741065979, + "D": 0.009242873638868332 + }, + "sample": { + "messages": [ + { + "role": "user", + "content": "Опираясь на логику и общеизвестные факты, ответьте на вопрос: {question}\nA. {option_a}\nB. {option_b}\nC. {option_c}\nD. {option_d}\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений." + }, + { + "role": "bot", + "content": "Ответ:" + } + ], + "inputs": { + "question": "Шарик падает в стакан с водой. Какая сила притягивает шарик ко дну стакана?", + "option_a": "электричество", + "option_b": "трение", + "option_c": "гравитация", + "option_d": "магнетизм" + }, + "outputs": "C", + "meta": { + "id": 48, + "exam_name": "NYSEDREGENTS", + "school_grade": 4, + "knowledge_type": "CAUSAL" + } + }, + "prompt": "Четвероклассники планируют забег на роликах. Какое покрытие было бы лучшим для этой гонки?\nA. гравий\nB. песок\nC. трава\nD. асфальт\nКакой ответ является правильным? В качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет: D\n\nДевушка гуляла 30 минут. Она заметила, что за первые 15 минут прогулки она проехала дальше, чем за вторые 15 минут. Какой вывод она может сделать о своей прогулке?\nA. Она прошла через множество холмов\nB. Она шла с постоянной скоростью\nC. Она шла в двух разных направлениях\nD. Ее средняя скорость была выше в течение первой половины прогулки\nОтвечая на вопрос запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nДевушка подает сигнал другу, посветив фонариком на зеркало. Ее друг может видеть сигнал, потому что\nA. тепловая энергия может передаваться от одного объекта к другому\nB. механическая энергия может передаваться от одного объекта к другому\nC. звуковая энергия может отражаться от одного объекта к другому\nD. световая энергия может отражаться от одного объекта к другому\nКакой ответ является правильным? Запишите только букву верного варианта: A, B, C или D.\nОтвет: D\n\nКакой инструмент должен использовать ученик для сравнения массы двух небольших камней?\nA) весы\nB) ручная линза\nC) линейка\nD) мерный стаканчик\nЗапишите только букву верного варианта: A, B, C или D.\nОтвет: A\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Что из следующего является лучшим примером наблюдения за преломленем света?\nA) Когда человек смотрит на свое отражение в зеркале\nB) когда человек смотрит на предмет, частично находящийся в воде\nC) когда человек смотрит на объект через открытое окно\nD) когда человек смотрит на тень объекта\nВыведите ответ: A, B, C или D.\nОтвет: B\n\nОпираясь на логику и общеизвестные факты, ответьте на вопрос: Шарик падает в стакан с водой. Какая сила притягивает шарик ко дну стакана?\nA. электричество\nB. трение\nC. гравитация\nD. магнетизм\nВ качестве ответа запишите только букву верного варианта: A, B, C или D без дополнительных объяснений.\nОтвет:", + "info": { + "prompt_len": 556, + "generated_len": 1, + "generated_cumulative_logprob": "TODO: calculate for hf model", + "generated_token": "C" + } +} diff --git a/llmtf_eval/darumeru_ruWorldTree_params.jsonl b/llmtf_eval/darumeru_ruWorldTree_params.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..46c1c6d4f4be458c196be570a414cca658ae060d --- /dev/null +++ b/llmtf_eval/darumeru_ruWorldTree_params.jsonl @@ -0,0 +1,56 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_part1_lr2e5_bs256", + "generation_config": { + "_from_model_config": true, + "bos_token_id": 1, + "do_sample": true, + "eos_token_id": [ + 2, + 13 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 2, + "stop_strings": [ + "\n", + "\n\n" + ], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.38.2" + }, + "conversation_template": { + "system_message_template": "{content}\n", + "user_message_template": "{content}\n", + "bot_message_template": "{content}\n\n", + "bot_message_template_incomplete": "{content}", + "user_role": "user", + "bot_role": "bot", + "system_role": "system", + "suffix": "", + "add_special_tokens": false, + "global_prefix": "" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": true, + "space_token": 28705, + "trust_remote_code": [ + false + ], + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 5, + "batch_size": 1, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/darumeru_ruWorldTree_total.jsonl b/llmtf_eval/darumeru_ruWorldTree_total.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..52be1a1e5d375b41c14f2db080bf8de2f498db4a --- /dev/null +++ b/llmtf_eval/darumeru_ruWorldTree_total.jsonl @@ -0,0 +1,8 @@ +{ + "task_name": "darumeru/ruWorldTree", + "results": { + "acc": 0.8, + "f1_macro": 0.7941449132061389 + }, + "leaderboard_result": 0.7970724566030695 +} diff --git a/llmtf_eval/evaluation_log.txt b/llmtf_eval/evaluation_log.txt new file mode 100644 index 0000000000000000000000000000000000000000..882dbd7cb9d930dc9ab40a2eec12e921e494839b --- /dev/null +++ b/llmtf_eval/evaluation_log.txt @@ -0,0 +1,244 @@ +INFO: 2024-07-04 21:12:24,441: llmtf.base.evaluator: Starting eval on ['darumeru/rummlu'] +INFO: 2024-07-04 21:12:24,442: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [2, 13] +INFO: 2024-07-04 21:12:24,442: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n'] +INFO: 2024-07-04 21:12:24,697: llmtf.base.evaluator: Starting eval on ['darumeru/multiq', 'darumeru/parus', 'darumeru/rcb', 'darumeru/ruopenbookqa', 'darumeru/rutie', 'darumeru/ruworldtree', 'darumeru/rwsd', 'darumeru/use', 'russiannlp/rucola_custom'] +INFO: 2024-07-04 21:12:24,697: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [2, 13] +INFO: 2024-07-04 21:12:24,697: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n'] +INFO: 2024-07-04 21:12:28,734: llmtf.base.evaluator: Starting eval on ['nlpcoreteam/rummlu'] +INFO: 2024-07-04 21:12:28,734: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [2] +INFO: 2024-07-04 21:12:28,734: llmtf.base.hfmodel: Updated generation_config.stop_strings: [] +INFO: 2024-07-04 21:12:29,180: llmtf.base.evaluator: Starting eval on ['daru/treewayextractive'] +INFO: 2024-07-04 21:12:29,180: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [2] +INFO: 2024-07-04 21:12:29,180: llmtf.base.hfmodel: Updated generation_config.stop_strings: [] +INFO: 2024-07-04 21:12:29,250: llmtf.base.evaluator: Starting eval on ['nlpcoreteam/enmmlu'] +INFO: 2024-07-04 21:12:29,250: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [2] +INFO: 2024-07-04 21:12:29,250: llmtf.base.hfmodel: Updated generation_config.stop_strings: [] +INFO: 2024-07-04 21:12:29,276: llmtf.base.evaluator: Starting eval on ['daru/treewayabstractive'] +INFO: 2024-07-04 21:12:29,277: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [2, 13] +INFO: 2024-07-04 21:12:29,277: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n'] +INFO: 2024-07-04 21:12:39,615: llmtf.base.daru/treewayextractive: Loading Dataset: 10.44s +INFO: 2024-07-04 21:12:45,592: llmtf.base.darumeru/MultiQ: Loading Dataset: 20.89s +INFO: 2024-07-04 21:12:46,085: llmtf.base.daru/treewayabstractive: Loading Dataset: 16.81s +INFO: 2024-07-04 21:13:38,466: llmtf.base.darumeru/ruMMLU: Loading Dataset: 74.02s +INFO: 2024-07-04 21:14:02,947: llmtf.base.nlpcoreteam/enMMLU: Loading Dataset: 93.70s +INFO: 2024-07-04 21:14:11,455: llmtf.base.nlpcoreteam/ruMMLU: Loading Dataset: 102.72s +INFO: 2024-07-04 21:18:25,348: llmtf.base.darumeru/MultiQ: Processing Dataset: 339.75s +INFO: 2024-07-04 21:18:25,349: llmtf.base.darumeru/MultiQ: Results for darumeru/MultiQ: +INFO: 2024-07-04 21:18:25,354: llmtf.base.darumeru/MultiQ: {'f1': 0.6075691304658802, 'em': 0.5277246653919694} +INFO: 2024-07-04 21:18:25,368: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [2, 13] +INFO: 2024-07-04 21:18:25,368: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n'] +INFO: 2024-07-04 21:18:27,729: llmtf.base.darumeru/PARus: Loading Dataset: 2.36s +INFO: 2024-07-04 21:18:34,254: llmtf.base.darumeru/PARus: Processing Dataset: 6.52s +INFO: 2024-07-04 21:18:34,271: llmtf.base.darumeru/PARus: Results for darumeru/PARus: +INFO: 2024-07-04 21:18:34,305: llmtf.base.darumeru/PARus: {'acc': 0.83} +INFO: 2024-07-04 21:18:34,306: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [2, 13] +INFO: 2024-07-04 21:18:34,306: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n'] +INFO: 2024-07-04 21:18:37,357: llmtf.base.darumeru/RCB: Loading Dataset: 3.05s +INFO: 2024-07-04 21:18:55,448: llmtf.base.darumeru/RCB: Processing Dataset: 18.09s +INFO: 2024-07-04 21:18:55,465: llmtf.base.darumeru/RCB: Results for darumeru/RCB: +INFO: 2024-07-04 21:18:55,485: llmtf.base.darumeru/RCB: {'acc': 0.4318181818181818, 'f1_macro': 0.43187628672014355} +INFO: 2024-07-04 21:18:55,488: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [2, 13] +INFO: 2024-07-04 21:18:55,488: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n'] +INFO: 2024-07-04 21:19:05,781: llmtf.base.darumeru/ruOpenBookQA: Loading Dataset: 10.29s +INFO: 2024-07-04 21:21:32,580: llmtf.base.darumeru/ruOpenBookQA: Processing Dataset: 146.80s +INFO: 2024-07-04 21:21:32,581: llmtf.base.darumeru/ruOpenBookQA: Results for darumeru/ruOpenBookQA: +INFO: 2024-07-04 21:21:32,595: llmtf.base.darumeru/ruOpenBookQA: {'acc': 0.6537800687285223, 'f1_macro': 0.6492237665562983} +INFO: 2024-07-04 21:21:32,613: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [2, 13] +INFO: 2024-07-04 21:21:32,613: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n'] +INFO: 2024-07-04 21:21:37,926: llmtf.base.darumeru/ruTiE: Loading Dataset: 5.31s +INFO: 2024-07-04 21:23:34,616: llmtf.base.daru/treewayextractive: Processing Dataset: 655.00s +INFO: 2024-07-04 21:23:34,618: llmtf.base.daru/treewayextractive: Results for daru/treewayextractive: +INFO: 2024-07-04 21:23:35,020: llmtf.base.daru/treewayextractive: {'map': 0.5145036174539751} +INFO: 2024-07-04 21:23:35,379: llmtf.base.evaluator: Ended eval +INFO: 2024-07-04 21:23:35,386: llmtf.base.evaluator: +mean daru/treewayextractive darumeru/MultiQ darumeru/PARus darumeru/RCB darumeru/ruOpenBookQA +0.599 0.515 0.568 0.830 0.432 0.652 +INFO: 2024-07-04 21:23:55,340: llmtf.base.darumeru/ruTiE: Processing Dataset: 137.41s +INFO: 2024-07-04 21:23:55,345: llmtf.base.darumeru/ruTiE: Results for darumeru/ruTiE: +INFO: 2024-07-04 21:23:55,350: llmtf.base.darumeru/ruTiE: {'acc': 0.5511627906976744} +INFO: 2024-07-04 21:23:55,352: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [2, 13] +INFO: 2024-07-04 21:23:55,352: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n'] +INFO: 2024-07-04 21:23:58,188: llmtf.base.darumeru/ruWorldTree: Loading Dataset: 2.84s +INFO: 2024-07-04 21:24:05,521: llmtf.base.darumeru/ruWorldTree: Processing Dataset: 7.33s +INFO: 2024-07-04 21:24:05,540: llmtf.base.darumeru/ruWorldTree: Results for darumeru/ruWorldTree: +INFO: 2024-07-04 21:24:05,546: llmtf.base.darumeru/ruWorldTree: {'acc': 0.8, 'f1_macro': 0.7941449132061389} +INFO: 2024-07-04 21:24:05,548: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [2, 13] +INFO: 2024-07-04 21:24:05,548: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n'] +INFO: 2024-07-04 21:24:08,953: llmtf.base.darumeru/RWSD: Loading Dataset: 3.40s +INFO: 2024-07-04 21:24:26,145: llmtf.base.darumeru/RWSD: Processing Dataset: 17.19s +INFO: 2024-07-04 21:24:26,147: llmtf.base.darumeru/RWSD: Results for darumeru/RWSD: +INFO: 2024-07-04 21:24:26,151: llmtf.base.darumeru/RWSD: {'acc': 0.5490196078431373} +INFO: 2024-07-04 21:24:26,153: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [2, 13] +INFO: 2024-07-04 21:24:26,153: llmtf.base.hfmodel: Updated generation_config.stop_strings: ['\n', '\n\n'] +INFO: 2024-07-04 21:24:37,051: llmtf.base.darumeru/USE: Loading Dataset: 10.90s +INFO: 2024-07-04 21:28:18,817: llmtf.base.daru/treewayabstractive: Processing Dataset: 932.73s +INFO: 2024-07-04 21:28:18,822: llmtf.base.daru/treewayabstractive: Results for daru/treewayabstractive: +INFO: 2024-07-04 21:28:18,826: llmtf.base.daru/treewayabstractive: {'rouge1': 0.33586892382831746, 'rouge2': 0.13427587549847808} +INFO: 2024-07-04 21:28:18,832: llmtf.base.evaluator: Ended eval +INFO: 2024-07-04 21:28:18,844: llmtf.base.evaluator: +mean daru/treewayabstractive daru/treewayextractive darumeru/MultiQ darumeru/PARus darumeru/RCB darumeru/RWSD darumeru/ruOpenBookQA darumeru/ruTiE darumeru/ruWorldTree +0.570 0.235 0.515 0.568 0.830 0.432 0.549 0.652 0.551 0.797 +INFO: 2024-07-04 21:30:46,257: llmtf.base.darumeru/USE: Processing Dataset: 369.20s +INFO: 2024-07-04 21:30:46,261: llmtf.base.darumeru/USE: Results for darumeru/USE: +INFO: 2024-07-04 21:30:46,266: llmtf.base.darumeru/USE: {'grade_norm': 0.06568627450980391} +INFO: 2024-07-04 21:30:46,273: llmtf.base.hfmodel: Updated generation_config.eos_token_id: [2] +INFO: 2024-07-04 21:30:46,273: llmtf.base.hfmodel: Updated generation_config.stop_strings: [] +INFO: 2024-07-04 21:31:00,265: llmtf.base.russiannlp/rucola_custom: Loading Dataset: 13.99s +INFO: 2024-07-04 21:31:08,078: llmtf.base.darumeru/ruMMLU: Processing Dataset: 1049.61s +INFO: 2024-07-04 21:31:08,079: llmtf.base.darumeru/ruMMLU: Results for darumeru/ruMMLU: +INFO: 2024-07-04 21:31:08,088: llmtf.base.darumeru/ruMMLU: {'acc': 0.4443779307592537} +INFO: 2024-07-04 21:31:08,176: llmtf.base.evaluator: Ended eval +INFO: 2024-07-04 21:31:08,191: llmtf.base.evaluator: +mean daru/treewayabstractive daru/treewayextractive darumeru/MultiQ darumeru/PARus darumeru/RCB darumeru/RWSD darumeru/USE darumeru/ruMMLU darumeru/ruOpenBookQA darumeru/ruTiE darumeru/ruWorldTree +0.513 0.235 0.515 0.568 0.830 0.432 0.549 0.066 0.444 0.652 0.551 0.797 +INFO: 2024-07-04 21:33:57,275: llmtf.base.russiannlp/rucola_custom: Processing Dataset: 177.01s +INFO: 2024-07-04 21:33:57,280: llmtf.base.russiannlp/rucola_custom: Results for russiannlp/rucola_custom: +INFO: 2024-07-04 21:33:57,292: llmtf.base.russiannlp/rucola_custom: {'acc': 0.5669178327951202, 'mcc': 0.24492638976454215} +INFO: 2024-07-04 21:33:57,304: llmtf.base.evaluator: Ended eval +INFO: 2024-07-04 21:33:57,316: llmtf.base.evaluator: +mean daru/treewayabstractive daru/treewayextractive darumeru/MultiQ darumeru/PARus darumeru/RCB darumeru/RWSD darumeru/USE darumeru/ruMMLU darumeru/ruOpenBookQA darumeru/ruTiE darumeru/ruWorldTree russiannlp/rucola_custom +0.504 0.235 0.515 0.568 0.830 0.432 0.549 0.066 0.444 0.652 0.551 0.797 0.406 +INFO: 2024-07-04 21:35:30,381: llmtf.base.nlpcoreteam/enMMLU: Processing Dataset: 1287.43s +INFO: 2024-07-04 21:35:30,385: llmtf.base.nlpcoreteam/enMMLU: Results for nlpcoreteam/enMMLU: +INFO: 2024-07-04 21:35:30,425: llmtf.base.nlpcoreteam/enMMLU: metric +subject +abstract_algebra 0.350000 +anatomy 0.600000 +astronomy 0.644737 +business_ethics 0.540000 +clinical_knowledge 0.683019 +college_biology 0.722222 +college_chemistry 0.490000 +college_computer_science 0.540000 +college_mathematics 0.370000 +college_medicine 0.641618 +college_physics 0.392157 +computer_security 0.760000 +conceptual_physics 0.519149 +econometrics 0.482456 +electrical_engineering 0.565517 +elementary_mathematics 0.410053 +formal_logic 0.396825 +global_facts 0.330000 +high_school_biology 0.745161 +high_school_chemistry 0.477833 +high_school_computer_science 0.680000 +high_school_european_history 0.769697 +high_school_geography 0.777778 +high_school_government_and_politics 0.880829 +high_school_macroeconomics 0.628205 +high_school_mathematics 0.348148 +high_school_microeconomics 0.613445 +high_school_physics 0.364238 +high_school_psychology 0.792661 +high_school_statistics 0.486111 +high_school_us_history 0.774510 +high_school_world_history 0.751055 +human_aging 0.668161 +human_sexuality 0.793893 +international_law 0.768595 +jurisprudence 0.740741 +logical_fallacies 0.773006 +machine_learning 0.428571 +management 0.825243 +marketing 0.863248 +medical_genetics 0.710000 +miscellaneous 0.796935 +moral_disputes 0.722543 +moral_scenarios 0.286034 +nutrition 0.754902 +philosophy 0.710611 +prehistory 0.731481 +professional_accounting 0.478723 +professional_law 0.444589 +professional_medicine 0.625000 +professional_psychology 0.666667 +public_relations 0.672727 +security_studies 0.734694 +sociology 0.805970 +us_foreign_policy 0.880000 +virology 0.536145 +world_religions 0.853801 +INFO: 2024-07-04 21:35:30,432: llmtf.base.nlpcoreteam/enMMLU: metric +subject +STEM 0.516328 +humanities 0.671038 +other (business, health, misc.) 0.646642 +social sciences 0.727444 +INFO: 2024-07-04 21:35:30,443: llmtf.base.nlpcoreteam/enMMLU: {'acc': 0.6403628635138034} +INFO: 2024-07-04 21:35:30,513: llmtf.base.evaluator: Ended eval +INFO: 2024-07-04 21:35:30,711: llmtf.base.evaluator: +mean daru/treewayabstractive daru/treewayextractive darumeru/MultiQ darumeru/PARus darumeru/RCB darumeru/RWSD darumeru/USE darumeru/ruMMLU darumeru/ruOpenBookQA darumeru/ruTiE darumeru/ruWorldTree nlpcoreteam/enMMLU russiannlp/rucola_custom +0.514 0.235 0.515 0.568 0.830 0.432 0.549 0.066 0.444 0.652 0.551 0.797 0.640 0.406 +INFO: 2024-07-04 21:44:10,808: llmtf.base.nlpcoreteam/ruMMLU: Processing Dataset: 1799.35s +INFO: 2024-07-04 21:44:10,812: llmtf.base.nlpcoreteam/ruMMLU: Results for nlpcoreteam/ruMMLU: +INFO: 2024-07-04 21:44:10,851: llmtf.base.nlpcoreteam/ruMMLU: metric +subject +abstract_algebra 0.260000 +anatomy 0.429630 +astronomy 0.546053 +business_ethics 0.540000 +clinical_knowledge 0.573585 +college_biology 0.479167 +college_chemistry 0.460000 +college_computer_science 0.460000 +college_mathematics 0.300000 +college_medicine 0.514451 +college_physics 0.313725 +computer_security 0.610000 +conceptual_physics 0.408511 +econometrics 0.377193 +electrical_engineering 0.496552 +elementary_mathematics 0.388889 +formal_logic 0.317460 +global_facts 0.340000 +high_school_biology 0.583871 +high_school_chemistry 0.413793 +high_school_computer_science 0.590000 +high_school_european_history 0.636364 +high_school_geography 0.691919 +high_school_government_and_politics 0.580311 +high_school_macroeconomics 0.548718 +high_school_mathematics 0.307407 +high_school_microeconomics 0.483193 +high_school_physics 0.357616 +high_school_psychology 0.631193 +high_school_statistics 0.453704 +high_school_us_history 0.598039 +high_school_world_history 0.666667 +human_aging 0.538117 +human_sexuality 0.648855 +international_law 0.735537 +jurisprudence 0.592593 +logical_fallacies 0.558282 +machine_learning 0.357143 +management 0.640777 +marketing 0.743590 +medical_genetics 0.580000 +miscellaneous 0.582375 +moral_disputes 0.575145 +moral_scenarios 0.244693 +nutrition 0.588235 +philosophy 0.588424 +prehistory 0.555556 +professional_accounting 0.390071 +professional_law 0.368970 +professional_medicine 0.470588 +professional_psychology 0.503268 +public_relations 0.527273 +security_studies 0.608163 +sociology 0.696517 +us_foreign_policy 0.770000 +virology 0.445783 +world_religions 0.725146 +INFO: 2024-07-04 21:44:10,859: llmtf.base.nlpcoreteam/ruMMLU: metric +subject +STEM 0.432579 +humanities 0.550990 +other (business, health, misc.) 0.526943 +social sciences 0.588884 +INFO: 2024-07-04 21:44:10,867: llmtf.base.nlpcoreteam/ruMMLU: {'acc': 0.5248491050404114} +INFO: 2024-07-04 21:44:10,952: llmtf.base.evaluator: Ended eval +INFO: 2024-07-04 21:44:10,967: llmtf.base.evaluator: +mean daru/treewayabstractive daru/treewayextractive darumeru/MultiQ darumeru/PARus darumeru/RCB darumeru/RWSD darumeru/USE darumeru/ruMMLU darumeru/ruOpenBookQA darumeru/ruTiE darumeru/ruWorldTree nlpcoreteam/enMMLU nlpcoreteam/ruMMLU russiannlp/rucola_custom +0.515 0.235 0.515 0.568 0.830 0.432 0.549 0.066 0.444 0.652 0.551 0.797 0.640 0.525 0.406 diff --git a/llmtf_eval/evaluation_results.txt b/llmtf_eval/evaluation_results.txt new file mode 100644 index 0000000000000000000000000000000000000000..08701f1616f403a9fed223df60787271d85fe28e --- /dev/null +++ b/llmtf_eval/evaluation_results.txt @@ -0,0 +1,2 @@ +mean daru/treewayabstractive daru/treewayextractive darumeru/MultiQ darumeru/PARus darumeru/RCB darumeru/RWSD darumeru/USE darumeru/ruMMLU darumeru/ruOpenBookQA darumeru/ruTiE darumeru/ruWorldTree nlpcoreteam/enMMLU nlpcoreteam/ruMMLU russiannlp/rucola_custom +0.515 0.235 0.515 0.568 0.830 0.432 0.549 0.066 0.444 0.652 0.551 0.797 0.640 0.525 0.406 \ No newline at end of file diff --git a/llmtf_eval/nlpcoreteam_enMMLU.jsonl b/llmtf_eval/nlpcoreteam_enMMLU.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..c7d2c381c99796e578a261a76ea507dc604074b2 --- /dev/null +++ b/llmtf_eval/nlpcoreteam_enMMLU.jsonl @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:0d62ef7a53442fda8ede8174f6a2ffac26a6e18751850505b9260838302681b2 +size 72945619 diff --git a/llmtf_eval/nlpcoreteam_enMMLU_params.jsonl b/llmtf_eval/nlpcoreteam_enMMLU_params.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..4a9221151a95a06e577ee41043d3a5967428c275 --- /dev/null +++ b/llmtf_eval/nlpcoreteam_enMMLU_params.jsonl @@ -0,0 +1,52 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_part1_lr2e5_bs256", + "generation_config": { + "_from_model_config": true, + "bos_token_id": 1, + "do_sample": true, + "eos_token_id": [ + 2 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 2, + "stop_strings": [], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.38.2" + }, + "conversation_template": { + "system_message_template": "{content}\n", + "user_message_template": "{content}\n", + "bot_message_template": "{content}\n\n", + "bot_message_template_incomplete": "{content}", + "user_role": "user", + "bot_role": "bot", + "system_role": "system", + "suffix": "", + "add_special_tokens": false, + "global_prefix": "" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": true, + "space_token": 28705, + "trust_remote_code": [ + false + ], + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 5, + "batch_size": 1, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/nlpcoreteam_enMMLU_total.jsonl b/llmtf_eval/nlpcoreteam_enMMLU_total.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..d5dd5d38edf0e730873cb84d2655bf94bb30b10d --- /dev/null +++ b/llmtf_eval/nlpcoreteam_enMMLU_total.jsonl @@ -0,0 +1,7 @@ +{ + "task_name": "nlpcoreteam/enMMLU", + "results": { + "acc": 0.6403628635138034 + }, + "leaderboard_result": 0.6403628635138034 +} diff --git a/llmtf_eval/nlpcoreteam_ruMMLU.jsonl b/llmtf_eval/nlpcoreteam_ruMMLU.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..fcdc7e8bf493987aa70bfa337f14c8cb8b40b554 --- /dev/null +++ b/llmtf_eval/nlpcoreteam_ruMMLU.jsonl @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:d4312ec6d527c01f2b1d5bdaa7e127da0851c184ed80a8c6c4e7d302c904d39a +size 110941975 diff --git a/llmtf_eval/nlpcoreteam_ruMMLU_params.jsonl b/llmtf_eval/nlpcoreteam_ruMMLU_params.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..4a9221151a95a06e577ee41043d3a5967428c275 --- /dev/null +++ b/llmtf_eval/nlpcoreteam_ruMMLU_params.jsonl @@ -0,0 +1,52 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_part1_lr2e5_bs256", + "generation_config": { + "_from_model_config": true, + "bos_token_id": 1, + "do_sample": true, + "eos_token_id": [ + 2 + ], + "max_length": 32768, + "max_new_tokens": 64, + "pad_token_id": 2, + "stop_strings": [], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.38.2" + }, + "conversation_template": { + "system_message_template": "{content}\n", + "user_message_template": "{content}\n", + "bot_message_template": "{content}\n\n", + "bot_message_template_incomplete": "{content}", + "user_role": "user", + "bot_role": "bot", + "system_role": "system", + "suffix": "", + "add_special_tokens": false, + "global_prefix": "" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": true, + "space_token": 28705, + "trust_remote_code": [ + false + ], + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 5, + "batch_size": 1, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/nlpcoreteam_ruMMLU_total.jsonl b/llmtf_eval/nlpcoreteam_ruMMLU_total.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..2f1555bc64d0fe7fa76709b0b6b23332d86091ab --- /dev/null +++ b/llmtf_eval/nlpcoreteam_ruMMLU_total.jsonl @@ -0,0 +1,7 @@ +{ + "task_name": "nlpcoreteam/ruMMLU", + "results": { + "acc": 0.5248491050404114 + }, + "leaderboard_result": 0.5248491050404114 +} diff --git a/llmtf_eval/russiannlp_rucola_custom.jsonl b/llmtf_eval/russiannlp_rucola_custom.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..53ac7fc0de8d2f2e9706006a88c8d7e59adfdfb0 --- /dev/null +++ b/llmtf_eval/russiannlp_rucola_custom.jsonl @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:b232316f8d5205e95f1709ab67318c93857fff89e10cddb31a0f8de39dade75d +size 11473001 diff --git a/llmtf_eval/russiannlp_rucola_custom_params.jsonl b/llmtf_eval/russiannlp_rucola_custom_params.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..397e1d31c3f9a3a12f7dd436377274891753482d --- /dev/null +++ b/llmtf_eval/russiannlp_rucola_custom_params.jsonl @@ -0,0 +1,52 @@ +{ + "custom_generation_config": null, + "model_params": { + "model_name_or_path": "/scratch/tikhomirov/workdir/data/models/mistral_extended_darulm_20_05_24_part1-2_32000_bpe_part1_lr2e5_bs256", + "generation_config": { + "_from_model_config": true, + "bos_token_id": 1, + "do_sample": true, + "eos_token_id": [ + 2 + ], + "max_length": 32768, + "max_new_tokens": 1, + "pad_token_id": 2, + "stop_strings": [], + "temperature": 0.1, + "top_k": 40, + "top_p": 0.9, + "transformers_version": "4.38.2" + }, + "conversation_template": { + "system_message_template": "{content}\n", + "user_message_template": "{content}\n", + "bot_message_template": "{content}\n\n", + "bot_message_template_incomplete": "{content}", + "user_role": "user", + "bot_role": "bot", + "system_role": "system", + "suffix": "", + "add_special_tokens": false, + "global_prefix": "" + }, + "load_in_8bit": false, + "torch_dtype": "auto", + "use_flash_attention_2": true, + "device_map": "cuda:0", + "use_fast_tokenizer": true, + "leading_space": true, + "space_token": 28705, + "trust_remote_code": [ + false + ], + "max_model_len": 32768 + }, + "task_params": { + "max_len": 4000, + "few_shot_count": 5, + "batch_size": 1, + "max_sample_per_dataset": 10000000000000, + "method": "calculate_tokens_proba" + } +} diff --git a/llmtf_eval/russiannlp_rucola_custom_total.jsonl b/llmtf_eval/russiannlp_rucola_custom_total.jsonl new file mode 100644 index 0000000000000000000000000000000000000000..52adb2f8b682219a51ed021bfe26fd597217b7b7 --- /dev/null +++ b/llmtf_eval/russiannlp_rucola_custom_total.jsonl @@ -0,0 +1,8 @@ +{ + "task_name": "russiannlp/rucola_custom", + "results": { + "acc": 0.5669178327951202, + "mcc": 0.24492638976454215 + }, + "leaderboard_result": 0.4059221112798312 +} diff --git a/model-00001-of-00004.safetensors b/model-00001-of-00004.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..0781e86d5b9a67d816bcc595ce09b48fb7ca0758 --- /dev/null +++ b/model-00001-of-00004.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:9e417c2b94d21187e597c6db14d7a047c6bf01b0bb97c52703b6d25f7e24de34 +size 4899392256 diff --git a/model-00002-of-00004.safetensors b/model-00002-of-00004.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..76d7978efb90d266fda5d12049d76dcfaf157faf --- /dev/null +++ b/model-00002-of-00004.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:322b3610f2907b12b178a329ce2e57a6c136f5a434cbdd3b19a8e8811aefac96 +size 4915916184 diff --git a/model-00003-of-00004.safetensors b/model-00003-of-00004.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..eabe9cb81d8e76f0e357d59e902e6f30b37aa8d7 --- /dev/null +++ b/model-00003-of-00004.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:dd6eeda49cd19fe02f9272ba0fa246d028400625bf468bca3c3a0954184845a8 +size 4597156656 diff --git a/model-00004-of-00004.safetensors b/model-00004-of-00004.safetensors new file mode 100644 index 0000000000000000000000000000000000000000..c4bb255337af1311ff0ef5b97ddae088a31c562b --- /dev/null +++ b/model-00004-of-00004.safetensors @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:6e6834a904099895df01dff66469e3b17db8a76245db232c0c17b88d7250a74f +size 453255296 diff --git a/model.safetensors.index.json b/model.safetensors.index.json new file mode 100644 index 0000000000000000000000000000000000000000..17d44b033b8f228dfa9606b8610839369e6f3a75 --- /dev/null +++ b/model.safetensors.index.json @@ -0,0 +1,298 @@ +{ + "metadata": { + "total_size": 14865686528 + }, + "weight_map": { + "lm_head.weight": "model-00004-of-00004.safetensors", + "model.embed_tokens.weight": "model-00001-of-00004.safetensors", + "model.layers.0.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.0.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.0.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.0.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.1.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.1.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.1.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.10.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.10.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.10.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.10.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.10.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.10.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.10.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.10.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.10.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.11.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.11.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.11.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.11.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.12.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.12.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.12.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.13.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.13.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.13.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.14.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.14.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.14.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.15.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.15.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.15.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.16.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.16.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.16.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.17.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.17.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.17.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.18.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.18.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.18.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.19.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.19.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.19.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.2.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.2.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.2.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.2.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.20.input_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.20.mlp.down_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.mlp.up_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.post_attention_layernorm.weight": "model-00002-of-00004.safetensors", + "model.layers.20.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.20.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.21.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.21.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.21.mlp.gate_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.21.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.21.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.21.self_attn.k_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.21.self_attn.o_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.21.self_attn.q_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.21.self_attn.v_proj.weight": "model-00002-of-00004.safetensors", + "model.layers.22.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.22.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.22.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.22.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.23.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.23.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.23.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.24.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.24.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.24.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.25.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.25.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.25.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.26.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.26.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.26.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.27.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.27.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.27.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.28.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.28.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.28.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.29.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.29.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.29.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.3.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.3.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.3.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.3.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.30.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.30.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.30.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.30.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.input_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.31.mlp.down_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.mlp.gate_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.mlp.up_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.post_attention_layernorm.weight": "model-00003-of-00004.safetensors", + "model.layers.31.self_attn.k_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.self_attn.o_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.self_attn.q_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.31.self_attn.v_proj.weight": "model-00003-of-00004.safetensors", + "model.layers.4.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.4.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.4.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.4.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.5.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.5.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.5.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.6.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.6.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.6.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.7.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.7.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.7.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.8.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.8.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.8.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.input_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.9.mlp.down_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.mlp.gate_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.mlp.up_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.post_attention_layernorm.weight": "model-00001-of-00004.safetensors", + "model.layers.9.self_attn.k_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.self_attn.o_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.self_attn.q_proj.weight": "model-00001-of-00004.safetensors", + "model.layers.9.self_attn.v_proj.weight": "model-00001-of-00004.safetensors", + "model.norm.weight": "model-00003-of-00004.safetensors" + } +} diff --git a/runs/Jul04_15-07-14_cn21/events.out.tfevents.1720105749.cn21.2780933.0 b/runs/Jul04_15-07-14_cn21/events.out.tfevents.1720105749.cn21.2780933.0 new file mode 100644 index 0000000000000000000000000000000000000000..760acb21702a89b80d70b0c447d6b88866410158 --- /dev/null +++ b/runs/Jul04_15-07-14_cn21/events.out.tfevents.1720105749.cn21.2780933.0 @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:c3af13d64cf77b5672249bae78c6baf6b5f1c645d33747ed61971132aedfbbeb +size 356564 diff --git a/runs/Jul04_15-07-14_cn21/events.out.tfevents.1720127463.cn21.2780933.1 b/runs/Jul04_15-07-14_cn21/events.out.tfevents.1720127463.cn21.2780933.1 new file mode 100644 index 0000000000000000000000000000000000000000..f6fa77f3da94ba466bb73f1642be210f4961b47b --- /dev/null +++ b/runs/Jul04_15-07-14_cn21/events.out.tfevents.1720127463.cn21.2780933.1 @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:d28e2030d077c097426cadecec62c05ab13a1b40300534f10669208381aaefac +size 369 diff --git a/special_tokens_map.json b/special_tokens_map.json new file mode 100644 index 0000000000000000000000000000000000000000..451134b2ddc2e78555d1e857518c54b4bdc2e87d --- /dev/null +++ b/special_tokens_map.json @@ -0,0 +1,23 @@ +{ + "bos_token": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false + }, + "eos_token": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false + }, + "unk_token": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false + } +} diff --git a/tokenizer.json b/tokenizer.json new file mode 100644 index 0000000000000000000000000000000000000000..d67a3c1e77b4b0b203b73618cf801758ad026268 --- /dev/null +++ b/tokenizer.json @@ -0,0 +1,158022 @@ +{ + "version": "1.0", + "truncation": null, + "padding": null, + "added_tokens": [ + { + "id": 0, + "content": "", + "single_word": false, + "lstrip": false, + "rstrip": false, + "normalized": false, + "special": true + }, + { + "id": 1, + "content": "", + "single_word": false, + "lstrip": false, + "rstrip": false, + "normalized": false, + "special": true + }, + { + "id": 2, + "content": "", + "single_word": false, + "lstrip": false, + "rstrip": false, + "normalized": false, + "special": true + } + ], + "normalizer": { + "type": "Sequence", + "normalizers": [ + { + "type": "Prepend", + "prepend": "▁" + }, + { + "type": "Replace", + "pattern": { + "String": " " + }, + "content": "▁" + } + ] + }, + "pre_tokenizer": null, + "post_processor": { + "type": "TemplateProcessing", + "single": [ + { + "SpecialToken": { + "id": "", + "type_id": 0 + } + }, + { + "Sequence": { + "id": "A", + "type_id": 0 + } + } + ], + "pair": [ + { + "SpecialToken": { + "id": "", + "type_id": 0 + } + }, + { + "Sequence": { + "id": "A", + "type_id": 0 + } + }, + { + "SpecialToken": { + "id": "", + "type_id": 1 + } + }, + { + "Sequence": { + "id": "B", + "type_id": 1 + } + } + ], + "special_tokens": { + "": { + "id": "", + "ids": [ + 1 + ], + "tokens": [ + "" + ] + } + } + }, + "decoder": { + "type": "Sequence", + "decoders": [ + { + "type": "Replace", + "pattern": { + "String": "▁" + }, + "content": " " + }, + { + "type": "ByteFallback" + }, + { + "type": "Fuse" + }, + { + "type": "Strip", + "content": " ", + "start": 1, + "stop": 0 + } + ] + }, + "model": { + "type": "BPE", + "dropout": null, + "unk_token": "", + "continuing_subword_prefix": null, + "end_of_word_suffix": null, + "fuse_unk": true, + "byte_fallback": true, + "vocab": { + "": 0, + "": 1, + "": 2, + "<0x00>": 3, + "<0x01>": 4, + "<0x02>": 5, + "<0x03>": 6, + "<0x04>": 7, + "<0x05>": 8, + "<0x06>": 9, + "<0x07>": 10, + "<0x08>": 11, + "<0x09>": 12, + "<0x0A>": 13, + "<0x0B>": 14, + "<0x0C>": 15, + "<0x0D>": 16, + "<0x0E>": 17, + "<0x0F>": 18, + "<0x10>": 19, + "<0x11>": 20, + "<0x12>": 21, + "<0x13>": 22, + "<0x14>": 23, + "<0x15>": 24, + "<0x16>": 25, + "<0x17>": 26, + "<0x18>": 27, + "<0x19>": 28, + "<0x1A>": 29, + "<0x1B>": 30, + "<0x1C>": 31, + "<0x1D>": 32, + "<0x1E>": 33, + "<0x1F>": 34, + "<0x20>": 35, + "<0x21>": 36, + "<0x22>": 37, + "<0x23>": 38, + "<0x24>": 39, + "<0x25>": 40, + "<0x26>": 41, + "<0x27>": 42, + "<0x28>": 43, + "<0x29>": 44, + "<0x2A>": 45, + "<0x2B>": 46, + "<0x2C>": 47, + "<0x2D>": 48, + "<0x2E>": 49, + "<0x2F>": 50, + "<0x30>": 51, + "<0x31>": 52, + "<0x32>": 53, + "<0x33>": 54, + "<0x34>": 55, + "<0x35>": 56, + "<0x36>": 57, + "<0x37>": 58, + "<0x38>": 59, + "<0x39>": 60, + "<0x3A>": 61, + "<0x3B>": 62, + "<0x3C>": 63, + "<0x3D>": 64, + "<0x3E>": 65, + "<0x3F>": 66, + "<0x40>": 67, + "<0x41>": 68, + "<0x42>": 69, + "<0x43>": 70, + "<0x44>": 71, + "<0x45>": 72, + "<0x46>": 73, + "<0x47>": 74, + "<0x48>": 75, + "<0x49>": 76, + "<0x4A>": 77, + "<0x4B>": 78, + "<0x4C>": 79, + "<0x4D>": 80, + "<0x4E>": 81, + "<0x4F>": 82, + "<0x50>": 83, + "<0x51>": 84, + "<0x52>": 85, + "<0x53>": 86, + "<0x54>": 87, + "<0x55>": 88, + "<0x56>": 89, + "<0x57>": 90, + "<0x58>": 91, + "<0x59>": 92, + "<0x5A>": 93, + "<0x5B>": 94, + "<0x5C>": 95, + "<0x5D>": 96, + "<0x5E>": 97, + "<0x5F>": 98, + "<0x60>": 99, + "<0x61>": 100, + "<0x62>": 101, + "<0x63>": 102, + "<0x64>": 103, + "<0x65>": 104, + "<0x66>": 105, + "<0x67>": 106, + "<0x68>": 107, + "<0x69>": 108, + "<0x6A>": 109, + "<0x6B>": 110, + "<0x6C>": 111, + "<0x6D>": 112, + "<0x6E>": 113, + "<0x6F>": 114, + "<0x70>": 115, + "<0x71>": 116, + "<0x72>": 117, + "<0x73>": 118, + "<0x74>": 119, + "<0x75>": 120, + "<0x76>": 121, + "<0x77>": 122, + "<0x78>": 123, + "<0x79>": 124, + "<0x7A>": 125, + "<0x7B>": 126, + "<0x7C>": 127, + "<0x7D>": 128, + "<0x7E>": 129, + "<0x7F>": 130, + "<0x80>": 131, + "<0x81>": 132, + "<0x82>": 133, + "<0x83>": 134, + "<0x84>": 135, + "<0x85>": 136, + "<0x86>": 137, + "<0x87>": 138, + "<0x88>": 139, + "<0x89>": 140, + "<0x8A>": 141, + "<0x8B>": 142, + "<0x8C>": 143, + "<0x8D>": 144, + "<0x8E>": 145, + "<0x8F>": 146, + "<0x90>": 147, + "<0x91>": 148, + "<0x92>": 149, + "<0x93>": 150, + "<0x94>": 151, + "<0x95>": 152, + "<0x96>": 153, + "<0x97>": 154, + "<0x98>": 155, + "<0x99>": 156, + "<0x9A>": 157, + "<0x9B>": 158, + "<0x9C>": 159, + "<0x9D>": 160, + "<0x9E>": 161, + "<0x9F>": 162, + "<0xA0>": 163, + "<0xA1>": 164, + "<0xA2>": 165, + "<0xA3>": 166, + "<0xA4>": 167, + "<0xA5>": 168, + "<0xA6>": 169, + "<0xA7>": 170, + "<0xA8>": 171, + "<0xA9>": 172, + "<0xAA>": 173, + "<0xAB>": 174, + "<0xAC>": 175, + "<0xAD>": 176, + "<0xAE>": 177, + "<0xAF>": 178, + "<0xB0>": 179, + "<0xB1>": 180, + "<0xB2>": 181, + "<0xB3>": 182, + "<0xB4>": 183, + "<0xB5>": 184, + "<0xB6>": 185, + "<0xB7>": 186, + "<0xB8>": 187, + "<0xB9>": 188, + "<0xBA>": 189, + "<0xBB>": 190, + "<0xBC>": 191, + "<0xBD>": 192, + "<0xBE>": 193, + "<0xBF>": 194, + "<0xC0>": 195, + "<0xC1>": 196, + "<0xC2>": 197, + "<0xC3>": 198, + "<0xC4>": 199, + "<0xC5>": 200, + "<0xC6>": 201, + "<0xC7>": 202, + "<0xC8>": 203, + "<0xC9>": 204, + "<0xCA>": 205, + "<0xCB>": 206, + "<0xCC>": 207, + "<0xCD>": 208, + "<0xCE>": 209, + "<0xCF>": 210, + "<0xD0>": 211, + "<0xD1>": 212, + "<0xD2>": 213, + "<0xD3>": 214, + "<0xD4>": 215, + "<0xD5>": 216, + "<0xD6>": 217, + "<0xD7>": 218, + "<0xD8>": 219, + "<0xD9>": 220, + "<0xDA>": 221, + "<0xDB>": 222, + "<0xDC>": 223, + "<0xDD>": 224, + "<0xDE>": 225, + "<0xDF>": 226, + "<0xE0>": 227, + "<0xE1>": 228, + "<0xE2>": 229, + "<0xE3>": 230, + "<0xE4>": 231, + "<0xE5>": 232, + "<0xE6>": 233, + "<0xE7>": 234, + "<0xE8>": 235, + "<0xE9>": 236, + "<0xEA>": 237, + "<0xEB>": 238, + "<0xEC>": 239, + "<0xED>": 240, + "<0xEE>": 241, + "<0xEF>": 242, + "<0xF0>": 243, + "<0xF1>": 244, + "<0xF2>": 245, + "<0xF3>": 246, + "<0xF4>": 247, + "<0xF5>": 248, + "<0xF6>": 249, + "<0xF7>": 250, + "<0xF8>": 251, + "<0xF9>": 252, + "<0xFA>": 253, + "<0xFB>": 254, + "<0xFC>": 255, + "<0xFD>": 256, + "<0xFE>": 257, + "<0xFF>": 258, + "▁▁": 259, + "▁▁▁▁": 260, + "▁t": 261, + "in": 262, + "er": 263, + "▁a": 264, + "he": 265, + "on": 266, + "re": 267, + "▁s": 268, + "en": 269, + "at": 270, + "or": 271, + "▁the": 272, + "▁▁▁▁▁▁▁▁": 273, + "es": 274, + "▁w": 275, + "an": 276, + "▁c": 277, + "is": 278, + "it": 279, + "ou": 280, + "▁d": 281, + "al": 282, + "ar": 283, + "▁p": 284, + "▁f": 285, + "ed": 286, + "▁b": 287, + "ing": 288, + "▁o": 289, + "▁m": 290, + "le": 291, + "nd": 292, + "as": 293, + "ic": 294, + "▁h": 295, + "ion": 296, + "▁in": 297, + "▁to": 298, + "et": 299, + "om": 300, + "el": 301, + "▁of": 302, + "st": 303, + "▁and": 304, + "▁l": 305, + "▁th": 306, + "▁n": 307, + "ent": 308, + "il": 309, + "ct": 310, + "ro": 311, + "▁re": 312, + "id": 313, + "am": 314, + "▁I": 315, + "ad": 316, + "▁e": 317, + "▁S": 318, + "▁g": 319, + "▁T": 320, + "im": 321, + "ot": 322, + "ac": 323, + "ur": 324, + "▁(": 325, + "ig": 326, + "▁=": 327, + "ol": 328, + "ut": 329, + "▁A": 330, + "se": 331, + "▁u": 332, + "ve": 333, + "▁C": 334, + "if": 335, + "ow": 336, + "▁y": 337, + "ch": 338, + "ay": 339, + "▁de": 340, + "▁st": 341, + "▁|": 342, + "ver": 343, + ");": 344, + "▁\"": 345, + "ly": 346, + "▁be": 347, + "**": 348, + "▁is": 349, + "od": 350, + "▁M": 351, + "ation": 352, + "ul": 353, + "▁for": 354, + "▁▁▁▁▁": 355, + "▁on": 356, + "ag": 357, + "ce": 358, + "▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁▁": 359, + "ter": 360, + "ir": 361, + "th": 362, + "▁v": 363, + "qu": 364, + "▁B": 365, + "em": 366, + "▁P": 367, + "▁you": 368, + "▁that": 369, + "un": 370, + "▁{": 371, + "ith": 372, + "ri": 373, + "est": 374, + "ab": 375, + "--": 376, + "ap": 377, + "▁it": 378, + "▁con": 379, + "ate": 380, + "us": 381, + "▁H": 382, + "um": 383, + "▁D": 384, + "os": 385, + "pe": 386, + "▁-": 387, + "▁wh": 388, + "▁al": 389, + "▁as": 390, + "and": 391, + "ist": 392, + "▁L": 393, + "▁W": 394, + "▁with": 395, + "▁an": 396, + "ere": 397, + "▁*": 398, + "▁R": 399, + "▁he": 400, + "▁F": 401, + "oc": 402, + "▁was": 403, + "ers": 404, + "ke": 405, + "out": 406, + "ht": 407, + "▁r": 408, + "ess": 409, + "op": 410, + "res": 411, + "ie": 412, + "▁E": 413, + "▁\\": 414, + "▁The": 415, + "end": 416, + "ld": 417, + "▁N": 418, + "ort": 419, + "▁G": 420, + "//": 421, + "▁#": 422, + "our": 423, + "te": 424, + "ill": 425, + "ain": 426, + "▁se": 427, + "▁▁▁▁▁▁": 428, + "▁$": 429, + "▁pro": 430, + "ore": 431, + "▁com": 432, + "ame": 433, + "tr": 434, + "▁ne": 435, + "rom": 436, + "ub": 437, + "▁at": 438, + "▁ex": 439, + "ant": 440, + "ue": 441, + "▁or": 442, + "▁}": 443, + "art": 444, + "ction": 445, + "▁k": 446, + "pt": 447, + "nt": 448, + "iv": 449, + "de": 450, + "▁O": 451, + "pl": 452, + "urn": 453, + "ight": 454, + "all": 455, + "▁this": 456, + "ser": 457, + "ave": 458, + "▁not": 459, + "▁are": 460, + "▁j": 461, + "▁le": 462, + "iz": 463, + "▁'": 464, + "age": 465, + "ment": 466, + "▁tr": 467, + "ack": 468, + "ust": 469, + "()": 470, + "->": 471, + "ity": 472, + "ine": 473, + "ould": 474, + "▁J": 475, + "og": 476, + "▁from": 477, + "▁we": 478, + "ell": 479, + "▁sh": 480, + "▁en": 481, + "ure": 482, + "port": 483, + "▁ch": 484, + "ne": 485, + "▁by": 486, + "per": 487, + "ard": 488, + "ass": 489, + "ge": 490, + "ak": 491, + "are": 492, + "ok": 493, + "av": 494, + "ive": 495, + "ff": 496, + "ies": 497, + "ath": 498, + "turn": 499, + "▁U": 500, + "int": 501, + "----": 502, + "▁im": 503, + "ost": 504, + "ial": 505, + "▁have": 506, + "ind": 507, + "ip": 508, + "ans": 509, + "xt": 510, + "▁do": 511, + "cl": 512, + "▁if": 513, + "con": 514, + "ia": 515, + "▁his": 516, + "ult": 517, + "rou": 518, + "▁su": 519, + "ra": 520, + "▁un": 521, + "able": 522, + "▁<": 523, + "▁K": 524, + "ome": 525, + "▁qu": 526, + "get": 527, + "▁me": 528, + "ast": 529, + "ect": 530, + "▁##": 531, + "to": 532, + "▁cl": 533, + "▁ab": 534, + "ice": 535, + "ire": 536, + "ber": 537, + "one": 538, + "ich": 539, + "hen": 540, + "▁can": 541, + "▁Th": 542, + "▁la": 543, + "▁all": 544, + "ime": 545, + "ile": 546, + "ide": 547, + "\",": 548, + "▁pl": 549, + "▁V": 550, + "ru": 551, + "orm": 552, + "▁had": 553, + "ud": 554, + "ase": 555, + "ord": 556, + "),": 557, + "▁▁▁▁▁▁▁▁▁▁▁▁": 558, + "▁her": 559, + "▁In": 560, + "ace": 561, + "▁but": 562, + "ata": 563, + "::": 564, + "****": 565, + "ong": 566, + "▁&": 567, + "..": 568, + "▁▁▁▁▁▁▁▁▁▁▁▁▁": 569, + "ite": 570, + "ype": 571, + "act": 572, + "ode": 573, + "▁your": 574, + "▁out": 575, + "▁go": 576, + "lic": 577, + "ally": 578, + "▁so": 579, + "ork": 580, + "au": 581, + "▁up": 582, + "▁_": 583, + "ll": 584, + "==": 585, + "▁my": 586, + "pp": 587, + "cc": 588, + "▁//": 589, + "▁they": 590, + "gh": 591, + "▁us": 592, + "ib": 593, + "ions": 594, + "ach": 595, + "ens": 596, + "▁ar": 597, + "ob": 598, + "elf": 599, + "ook": 600, + "ated": 601, + "ang": 602, + "ign": 603, + "▁return": 604, + "▁res": 605, + "ck": 606, + "ous": 607, + "ст": 608, + ").": 609, + "▁п": 610, + ".\"": 611, + "на": 612, + "▁i": 613, + "ail": 614, + "ep": 615, + "▁ad": 616, + "ance": 617, + "(\"": 618, + "▁**": 619, + "ther": 620, + "ake": 621, + "▁will": 622, + "▁comp": 623, + "▁one": 624, + "▁get": 625, + "ov": 626, + "▁Y": 627, + "ary": 628, + "ock": 629, + "▁she": 630, + "che": 631, + "ft": 632, + "▁new": 633, + "▁des": 634, + "▁li": 635, + "ence": 636, + "▁sa": 637, + "ress": 638, + "▁el": 639, + "▁und": 640, + "eg": 641, + "fer": 642, + "ry": 643, + "ear": 644, + "ose": 645, + "very": 646, + "',": 647, + "▁+": 648, + "▁в": 649, + "▁He": 650, + "ublic": 651, + "▁their": 652, + "ize": 653, + "▁were": 654, + "ink": 655, + "own": 656, + "In": 657, + "{\\": 658, + "▁has": 659, + "▁per": 660, + "▁It": 661, + "▁St": 662, + "her": 663, + "ject": 664, + "ра": 665, + "ild": 666, + "so": 667, + "▁sp": 668, + "ни": 669, + "du": 670, + "row": 671, + "alue": 672, + "set": 673, + "form": 674, + "com": 675, + "▁man": 676, + "ont": 677, + "ull": 678, + "▁cont": 679, + "▁more": 680, + "ick": 681, + "▁would": 682, + "▁ev": 683, + "▁about": 684, + "ition": 685, + "▁z": 686, + "ound": 687, + "ree": 688, + "▁Ch": 689, + "▁which": 690, + "io": 691, + "();": 692, + "▁who": 693, + "err": 694, + "ory": 695, + "ount": 696, + "ations": 697, + "▁с": 698, + "ring": 699, + "": 876, + "▁em": 877, + "▁$\\": 878, + "▁year": 879, + "wn": 880, + "},": 881, + "▁del": 882, + "ale": 883, + "ty": 884, + "fig": 885, + "sp": 886, + "hed": 887, + "round": 888, + "ew": 889, + "▁di": 890, + "▁der": 891, + "ри": 892, + "red": 893, + "this": 894, + "let": 895, + "RE": 896, + "ax": 897, + "fr": 898, + "essage": 899, + "ough": 900, + "▁comm": 901, + "fo": 902, + "uch": 903, + "oy": 904, + "▁people": 905, + "ystem": 906, + "▁first": 907, + "▁function": 908, + "ange": 909, + "▁how": 910, + "▁et": 911, + "ah": 912, + "▁look": 913, + "то": 914, + "und": 915, + "▁under": 916, + "ка": 917, + "▁!": 918, + "ray": 919, + "ST": 920, + "ific": 921, + "ли": 922, + "read": 923, + "▁bet": 924, + "ious": 925, + "arg": 926, + "▁need": 927, + "math": 928, + "▁на": 929, + "ert": 930, + "▁op": 931, + "▁acc": 932, + "Pro": 933, + "▁est": 934, + "▁Un": 935, + "▁ent": 936, + "▁rec": 937, + "▁use": 938, + "ен": 939, + "▁par": 940, + "az": 941, + "▁д": 942, + "▁Wh": 943, + "self": 944, + "▁ke": 945, + "та": 946, + "▁want": 947, + "▁end": 948, + "▁don": 949, + "ek": 950, + "ren": 951, + "Name": 952, + "▁=>": 953, + "▁app": 954, + "▁que": 955, + "igh": 956, + "▁bu": 957, + "equ": 958, + "vel": 959, + "▁act": 960, + "cre": 961, + "AT": 962, + "▁var": 963, + "cess": 964, + "====": 965, + "Ex": 966, + "▁add": 967, + "▁mod": 968, + "ung": 969, + "▁where": 970, + "ning": 971, + "▁fl": 972, + "als": 973, + "tern": 974, + "}}": 975, + "▁Al": 976, + "▁pos": 977, + "ank": 978, + "▁ap": 979, + "eng": 980, + "▁“": 981, + "ble": 982, + "▁reg": 983, + "^{": 984, + "▁She": 985, + "▁*/": 986, + "ude": 987, + "add": 988, + "▁two": 989, + "▁col": 990, + "▁sm": 991, + "air": 992, + "▁may": 993, + "fore": 994, + "▁You": 995, + "rough": 996, + "▁che": 997, + "▁att": 998, + "oth": 999, + "ла": 1000, + "▁co": 1001, + "ates": 1002, + "▁rem": 1003, + "ood": 1004, + "Type": 1005, + "led": 1006, + "ful": 1007, + "▁self": 1008, + "of": 1009, + "▁Ar": 1010, + "que": 1011, + "▁every": 1012, + "ref": 1013, + "The": 1014, + "▁And": 1015, + "▁rel": 1016, + "OR": 1017, + "Id": 1018, + "▁even": 1019, + "EN": 1020, + "▁hand": 1021, + "ait": 1022, + "▁should": 1023, + "▁after": 1024, + "▁dif": 1025, + "ght": 1026, + "ife": 1027, + "ator": 1028, + "ash": 1029, + "ribut": 1030, + "umber": 1031, + "▁see": 1032, + "ms": 1033, + "▁call": 1034, + "yn": 1035, + "dd": 1036, + "▁es": 1037, + "▁make": 1038, + "other": 1039, + "▁—": 1040, + "\");": 1041, + "str": 1042, + "▁long": 1043, + "lement": 1044, + "▁wor": 1045, + "its": 1046, + "▁If": 1047, + "alse": 1048, + "ль": 1049, + "ward": 1050, + "▁по": 1051, + "val": 1052, + "ons": 1053, + "▁Z": 1054, + "▁now": 1055, + "data": 1056, + "amp": 1057, + "ense": 1058, + "▁through": 1059, + "▁down": 1060, + "att": 1061, + "▁static": 1062, + "ics": 1063, + "##": 1064, + "pos": 1065, + "▁void": 1066, + "aw": 1067, + "oun": 1068, + "▁way": 1069, + "ible": 1070, + "vent": 1071, + "ower": 1072, + "▁think": 1073, + "ts": 1074, + "*/": 1075, + "▁again": 1076, + "ating": 1077, + "те": 1078, + "ner": 1079, + "▁most": 1080, + "line": 1081, + "ym": 1082, + "▁sub": 1083, + "erson": 1084, + "▁requ": 1085, + "AL": 1086, + "AR": 1087, + "abel": 1088, + "ond": 1089, + "));": 1090, + "▁Se": 1091, + "▁But": 1092, + "alk": 1093, + "▁An": 1094, + "new": 1095, + "▁because": 1096, + "ger": 1097, + "ular": 1098, + "roup": 1099, + "ta": 1100, + "...": 1101, + "▁cons": 1102, + "▁right": 1103, + "▁fr": 1104, + "be": 1105, + "ily": 1106, + "ки": 1107, + "▁ph": 1108, + "ead": 1109, + "?\"": 1110, + "▁gu": 1111, + "▁else": 1112, + "▁som": 1113, + "rent": 1114, + "co": 1115, + "ement": 1116, + "▁str": 1117, + "ault": 1118, + "▁з": 1119, + "ло": 1120, + "sert": 1121, + "var": 1122, + "type": 1123, + "▁Com": 1124, + "ле": 1125, + "ins": 1126, + "me": 1127, + "way": 1128, + "ident": 1129, + "▁prov": 1130, + "▁м": 1131, + "▁true": 1132, + "▁Pro": 1133, + "fl": 1134, + "▁sl": 1135, + "▁As": 1136, + "}\\": 1137, + "ID": 1138, + "ues": 1139, + "▁inst": 1140, + "▁name": 1141, + "ox": 1142, + "▁)": 1143, + "li": 1144, + "ames": 1145, + "Res": 1146, + "▁sur": 1147, + "param": 1148, + "▁start": 1149, + "aj": 1150, + "SE": 1151, + "ask": 1152, + "IT": 1153, + "String": 1154, + "▁ass": 1155, + "▁play": 1156, + "ting": 1157, + "ton": 1158, + "▁before": 1159, + "▁pol": 1160, + "arch": 1161, + "▁well": 1162, + "Com": 1163, + "any": 1164, + "olog": 1165, + "▁err": 1166, + "▁these": 1167, + "ars": 1168, + "eb": 1169, + "▁br": 1170, + "▁incl": 1171, + "▁hel": 1172, + "ern": 1173, + "ody": 1174, + "во": 1175, + "▁ind": 1176, + "----------------": 1177, + "▁data": 1178, + "▁good": 1179, + "LE": 1180, + "],": 1181, + "▁av": 1182, + "▁ac": 1183, + "ider": 1184, + "не": 1185, + "▁Q": 1186, + "▁min": 1187, + "▁much": 1188, + "ci": 1189, + "els": 1190, + "▁cur": 1191, + "▁value": 1192, + "ery": 1193, + "uf": 1194, + "▁loc": 1195, + "reak": 1196, + "ative": 1197, + "imes": 1198, + "Cl": 1199, + "▁,": 1200, + "▁ser": 1201, + "▁die": 1202, + "▁trans": 1203, + "▁result": 1204, + "ext": 1205, + "▁aut": 1206, + "land": 1207, + "▁&&": 1208, + "Ch": 1209, + "ten": 1210, + "}$": 1211, + "▁type": 1212, + "cond": 1213, + "ices": 1214, + "▁very": 1215, + "▁own": 1216, + "▁fil": 1217, + "ities": 1218, + "▁produ": 1219, + "▁read": 1220, + "▁form": 1221, + "▁case": 1222, + "ather": 1223, + "ти": 1224, + "да": 1225, + "ер": 1226, + "Th": 1227, + "aut": 1228, + "▁spec": 1229, + "ij": 1230, + "bl": 1231, + "ility": 1232, + "▁é": 1233, + "▁er": 1234, + "▁does": 1235, + "▁here": 1236, + "the": 1237, + "ures": 1238, + "▁%": 1239, + "min": 1240, + "▁null": 1241, + "rap": 1242, + "\")": 1243, + "rr": 1244, + "List": 1245, + "right": 1246, + "▁User": 1247, + "UL": 1248, + "ational": 1249, + "▁being": 1250, + "AN": 1251, + "sk": 1252, + "▁car": 1253, + "ole": 1254, + "▁dist": 1255, + "plic": 1256, + "ollow": 1257, + "▁pres": 1258, + "▁such": 1259, + "ream": 1260, + "ince": 1261, + "gan": 1262, + "▁For": 1263, + "\":": 1264, + "son": 1265, + "rivate": 1266, + "▁years": 1267, + "▁serv": 1268, + "▁made": 1269, + "def": 1270, + ";\r": 1271, + "▁gl": 1272, + "▁bel": 1273, + "▁list": 1274, + "▁cor": 1275, + "▁det": 1276, + "ception": 1277, + "egin": 1278, + "▁б": 1279, + "▁char": 1280, + "trans": 1281, + "▁fam": 1282, + "▁!=": 1283, + "ouse": 1284, + "▁dec": 1285, + "ica": 1286, + "▁many": 1287, + "aking": 1288, + "▁à": 1289, + "▁sim": 1290, + "ages": 1291, + "uff": 1292, + "ased": 1293, + "man": 1294, + "▁Sh": 1295, + "iet": 1296, + "irect": 1297, + "▁Re": 1298, + "▁differ": 1299, + "▁find": 1300, + "ethod": 1301, + "▁\r": 1302, + "ines": 1303, + "▁inv": 1304, + "▁point": 1305, + "▁They": 1306, + "▁used": 1307, + "ctions": 1308, + "▁still": 1309, + "ió": 1310, + "ined": 1311, + "▁while": 1312, + "It": 1313, + "ember": 1314, + "▁say": 1315, + "▁help": 1316, + "▁cre": 1317, + "▁x": 1318, + "▁Tr": 1319, + "ument": 1320, + "▁sk": 1321, + "ought": 1322, + "ually": 1323, + "message": 1324, + "▁Con": 1325, + "▁mon": 1326, + "ared": 1327, + "work": 1328, + "):": 1329, + "ister": 1330, + "arn": 1331, + "ized": 1332, + "Data": 1333, + "orn": 1334, + "▁head": 1335, + "DE": 1336, + "▁Le": 1337, + "▁person": 1338, + "ments": 1339, + "ength": 1340, + "▁false": 1341, + "▁med": 1342, + "▁De": 1343, + "ache": 1344, + "ited": 1345, + "▁let": 1346, + "▁show": 1347, + "▁same": 1348, + "uss": 1349, + "▁gener": 1350, + "▁у": 1351, + "cur": 1352, + "▁real": 1353, + "ced": 1354, + "\">": 1355, + "struct": 1356, + "begin": 1357, + "cept": 1358, + "▁bo": 1359, + "ired": 1360, + "▁Fr": 1361, + "▁stud": 1362, + "dev": 1363, + "Ar": 1364, + "(\\": 1365, + "▁Cl": 1366, + "ween": 1367, + "▁too": 1368, + "▁test": 1369, + "▁day": 1370, + "oh": 1371, + "▁follow": 1372, + "ature": 1373, + "ze": 1374, + "ien": 1375, + "reg": 1376, + "ces": 1377, + "uring": 1378, + "amb": 1379, + "ina": 1380, + "cri": 1381, + "▁ed": 1382, + "SS": 1383, + "uck": 1384, + "▁/*": 1385, + "CT": 1386, + "▁There": 1387, + "▁take": 1388, + "par": 1389, + "ule": 1390, + "cal": 1391, + "for": 1392, + "****************": 1393, + "source": 1394, + "▁those": 1395, + "col": 1396, + "▁eff": 1397, + "mod": 1398, + "cont": 1399, + "}{": 1400, + "▁around": 1401, + "press": 1402, + "by": 1403, + "▁going": 1404, + "ponse": 1405, + "▁С": 1406, + "▁line": 1407, + "date": 1408, + "code": 1409, + "['": 1410, + "▁life": 1411, + "ason": 1412, + "▁using": 1413, + "▁val": 1414, + "▁du": 1415, + "yp": 1416, + "▁▁▁▁▁▁▁▁▁▁▁▁▁▁": 1417, + "▁On": 1418, + "▁found": 1419, + "olut": 1420, + "']": 1421, + "arent": 1422, + "▁string": 1423, + "▁met": 1424, + "▁wr": 1425, + "ush": 1426, + "string": 1427, + "size": 1428, + "▁ver": 1429, + "▁each": 1430, + "value": 1431, + "▁last": 1432, + "▁got": 1433, + "ven": 1434, + "back": 1435, + "Set": 1436, + "ey": 1437, + "rol": 1438, + "▁cr": 1439, + "thing": 1440, + "ret": 1441, + "és": 1442, + "ism": 1443, + "▁between": 1444, + "Ob": 1445, + "ething": 1446, + "mp": 1447, + "▁lo": 1448, + "ats": 1449, + "▁New": 1450, + "ви": 1451, + "ado": 1452, + "dex": 1453, + "ди": 1454, + "▁pass": 1455, + "wh": 1456, + "▁den": 1457, + "Get": 1458, + "apt": 1459, + "▁ask": 1460, + "▁sup": 1461, + "Value": 1462, + "ны": 1463, + "▁try": 1464, + "lation": 1465, + "day": 1466, + "ness": 1467, + "ets": 1468, + "▁exper": 1469, + "Tr": 1470, + "▁Mar": 1471, + "serv": 1472, + "br": 1473, + "▁number": 1474, + "inal": 1475, + "cent": 1476, + "/*": 1477, + "not": 1478, + "ional": 1479, + "▁final": 1480, + "')": 1481, + "▁run": 1482, + "over": 1483, + "▁never": 1484, + "uc": 1485, + "▁high": 1486, + "yle": 1487, + "▁ins": 1488, + "▁best": 1489, + "ittle": 1490, + "ric": 1491, + "▁sign": 1492, + "▁dem": 1493, + "iness": 1494, + "gy": 1495, + "▁war": 1496, + "ished": 1497, + "▁giv": 1498, + "key": 1499, + "▁X": 1500, + "($": 1501, + "▁child": 1502, + "less": 1503, + "ways": 1504, + "incl": 1505, + "rop": 1506, + "raw": 1507, + "://": 1508, + "▁«": 1509, + "no": 1510, + "indow": 1511, + "fe": 1512, + "riend": 1513, + "▁les": 1514, + "▁los": 1515, + "file": 1516, + "formation": 1517, + "ccess": 1518, + "▁В": 1519, + "na": 1520, + "▁il": 1521, + "ision": 1522, + "ler": 1523, + "▁art": 1524, + "Cont": 1525, + "▁world": 1526, + "▁turn": 1527, + "▁really": 1528, + "▁Ex": 1529, + "ма": 1530, + "▁П": 1531, + "ters": 1532, + "arget": 1533, + "Err": 1534, + "▁happ": 1535, + "time": 1536, + "▁So": 1537, + "div": 1538, + "▁didn": 1539, + "ada": 1540, + "oot": 1541, + "})": 1542, + "▁sch": 1543, + "▁cle": 1544, + "▁something": 1545, + "().": 1546, + "▁cour": 1547, + "ever": 1548, + "ants": 1549, + "▁?": 1550, + "To": 1551, + "▁`": 1552, + "try": 1553, + "ux": 1554, + "ais": 1555, + "ross": 1556, + "hip": 1557, + "▁rep": 1558, + "label": 1559, + "▁both": 1560, + "*,": 1561, + "ott": 1562, + "ми": 1563, + "ane": 1564, + "▁open": 1565, + "ww": 1566, + "▁come": 1567, + "▁ext": 1568, + "rem": 1569, + "_{\\": 1570, + "▁old": 1571, + "ched": 1572, + "._": 1573, + "ME": 1574, + "ify": 1575, + "gg": 1576, + "Col": 1577, + "view": 1578, + "▁bus": 1579, + "▁must": 1580, + "▁different": 1581, + "log": 1582, + "ists": 1583, + "roll": 1584, + "ai": 1585, + "▁за": 1586, + "▁system": 1587, + "ivers": 1588, + "atus": 1589, + "ote": 1590, + "med": 1591, + "].": 1592, + "akes": 1593, + "RO": 1594, + "▁cent": 1595, + "gram": 1596, + "▁private": 1597, + "▁great": 1598, + "\";": 1599, + "opy": 1600, + "▁feel": 1601, + "▁How": 1602, + "////": 1603, + "IC": 1604, + "▁dr": 1605, + "ains": 1606, + "lock": 1607, + "En": 1608, + "▁Sch": 1609, + "▁mat": 1610, + "▁home": 1611, + "perty": 1612, + "test": 1613, + "loc": 1614, + "▁wom": 1615, + "sw": 1616, + "arly": 1617, + "▁En": 1618, + "▁ко": 1619, + "den": 1620, + "ста": 1621, + "▁а": 1622, + "eter": 1623, + "▁includ": 1624, + "ULL": 1625, + "▁mem": 1626, + "▁po": 1627, + "▁little": 1628, + "▁arg": 1629, + "▁},": 1630, + "include": 1631, + "eta": 1632, + "▁place": 1633, + "idth": 1634, + "ustom": 1635, + "▁||": 1636, + "▁tem": 1637, + "ried": 1638, + "▁fact": 1639, + "ience": 1640, + "▁Pl": 1641, + "opt": 1642, + "ele": 1643, + "go": 1644, + "AC": 1645, + "inter": 1646, + "========": 1647, + "(),": 1648, + "ots": 1649, + "ral": 1650, + "ique": 1651, + "aving": 1652, + "ml": 1653, + "▁thought": 1654, + "frac": 1655, + "▁care": 1656, + "());": 1657, + "▁put": 1658, + "▁might": 1659, + "▁Amer": 1660, + "▁(!": 1661, + "ample": 1662, + "alth": 1663, + "▁few": 1664, + "▁state": 1665, + "sub": 1666, + "▁Or": 1667, + "];": 1668, + "▁size": 1669, + "▁Sp": 1670, + "▁without": 1671, + "▁poss": 1672, + "eq": 1673, + "play": 1674, + "▁expect": 1675, + "▁second": 1676, + "▁String": 1677, + "uild": 1678, + "▁next": 1679, + "++": 1680, + "requ": 1681, + "▁All": 1682, + "▁men": 1683, + "▁When": 1684, + "iter": 1685, + "ament": 1686, + "net": 1687, + "▁К": 1688, + "ron": 1689, + "aint": 1690, + "▁Is": 1691, + "ве": 1692, + "pend": 1693, + "translation": 1694, + "▁го": 1695, + "че": 1696, + "▁van": 1697, + "▁another": 1698, + "▁ret": 1699, + "▁La": 1700, + "Mod": 1701, + "ION": 1702, + "list": 1703, + "▁post": 1704, + "da": 1705, + "ware": 1706, + "▁word": 1707, + "Error": 1708, + "▁seem": 1709, + "▁contin": 1710, + "atic": 1711, + "▁three": 1712, + "Object": 1713, + "▁partic": 1714, + "$.": 1715, + "▁mark": 1716, + "▁vis": 1717, + "rc": 1718, + "▁sw": 1719, + "ptions": 1720, + "▁break": 1721, + "▁things": 1722, + "ute": 1723, + "ui": 1724, + "▁That": 1725, + "urs": 1726, + "gl": 1727, + "ру": 1728, + "▁file": 1729, + "use": 1730, + "igned": 1731, + "part": 1732, + "Un": 1733, + "▁equ": 1734, + "(&": 1735, + "▁lead": 1736, + "rm": 1737, + "ained": 1738, + "▁Be": 1739, + "path": 1740, + "▁small": 1741, + "ager": 1742, + "▁always": 1743, + "▁El": 1744, + "▁order": 1745, + "▁ey": 1746, + "▁won": 1747, + "ape": 1748, + "▁left": 1749, + "ava": 1750, + "item": 1751, + "hor": 1752, + "▁away": 1753, + "bb": 1754, + "fun": 1755, + "▁Ind": 1756, + "mb": 1757, + "▁struct": 1758, + "▁process": 1759, + "▁support": 1760, + ");\r": 1761, + "ión": 1762, + "LO": 1763, + "▁oper": 1764, + "UT": 1765, + "▁·": 1766, + "PE": 1767, + "load": 1768, + "off": 1769, + "▁No": 1770, + "ives": 1771, + "ican": 1772, + "▁ve": 1773, + "action": 1774, + "';": 1775, + "▁vo": 1776, + "$,": 1777, + "▁Gr": 1778, + "pre": 1779, + "ny": 1780, + "aining": 1781, + "ior": 1782, + "init": 1783, + "lection": 1784, + "arm": 1785, + "umn": 1786, + "ags": 1787, + "ци": 1788, + "ско": 1789, + "version": 1790, + "▁To": 1791, + "▁ref": 1792, + "stand": 1793, + "▁At": 1794, + "ift": 1795, + "▁ein": 1796, + "face": 1797, + "bo": 1798, + "ified": 1799, + "ved": 1800, + "sum": 1801, + "une": 1802, + "ital": 1803, + "ump": 1804, + "comm": 1805, + "▁mov": 1806, + "elt": 1807, + "▁von": 1808, + "velop": 1809, + "ctor": 1810, + "head": 1811, + "cle": 1812, + "▁build": 1813, + "inc": 1814, + ".'": 1815, + "bs": 1816, + "info": 1817, + "chn": 1818, + "▁week": 1819, + "▁book": 1820, + "HE": 1821, + "bar": 1822, + "icense": 1823, + "▁What": 1824, + "▁quest": 1825, + "urch": 1826, + "ato": 1827, + "left": 1828, + "▁mar": 1829, + "▁top": 1830, + "FF": 1831, + "▁friend": 1832, + "▁beh": 1833, + "▁field": 1834, + "▁against": 1835, + "ract": 1836, + "ization": 1837, + "user": 1838, + "chen": 1839, + "▁keep": 1840, + "AD": 1841, + "itor": 1842, + "▁non": 1843, + "ird": 1844, + "ope": 1845, + "▁rest": 1846, + "▁dev": 1847, + "▁__": 1848, + "▁una": 1849, + "▁term": 1850, + "IS": 1851, + "▁pop": 1852, + "rist": 1853, + "▁since": 1854, + "ves": 1855, + "▁hard": 1856, + "pi": 1857, + "util": 1858, + "▁soc": 1859, + "ene": 1860, + "Exception": 1861, + "▁local": 1862, + "▁direct": 1863, + "▁sure": 1864, + "▁bro": 1865, + "▁da": 1866, + "▁": 2370, + "aim": 2371, + "▁service": 2372, + "▁within": 2373, + "angu": 2374, + "▁Д": 2375, + "uffer": 2376, + "AG": 2377, + "▁Do": 2378, + "▁incre": 2379, + "▁understand": 2380, + "}^": 2381, + "▁looked": 2382, + "gen": 2383, + "ailed": 2384, + "▁е": 2385, + "ayer": 2386, + "▁One": 2387, + "▁bas": 2388, + "▁job": 2389, + "mu": 2390, + "but": 2391, + "elta": 2392, + "▁Christ": 2393, + "uration": 2394, + "▁record": 2395, + "▁Univers": 2396, + "ivid": 2397, + "valid": 2398, + "▁Р": 2399, + "▁hold": 2400, + "▁table": 2401, + "ones": 2402, + "link": 2403, + "▁Ge": 2404, + "▁offer": 2405, + "ster": 2406, + "Form": 2407, + "={": 2408, + "▁не": 2409, + "stance": 2410, + "▁govern": 2411, + "▁techn": 2412, + "▁prim": 2413, + "*.": 2414, + "cho": 2415, + "max": 2416, + "▁fore": 2417, + "▁Can": 2418, + "▁polit": 2419, + "ories": 2420, + "▁times": 2421, + "▁dans": 2422, + "▁air": 2423, + "▁anything": 2424, + "▁sever": 2425, + "acy": 2426, + "}_": 2427, + "He": 2428, + "▁least": 2429, + "ips": 2430, + "ENT": 2431, + "do": 2432, + "▁от": 2433, + "▁cost": 2434, + ".”": 2435, + "▁children": 2436, + "ability": 2437, + "But": 2438, + "▁path": 2439, + "result": 2440, + "acter": 2441, + "▁element": 2442, + "ee": 2443, + "▁wait": 2444, + "▁money": 2445, + "Map": 2446, + "td": 2447, + "oin": 2448, + "iving": 2449, + "icht": 2450, + "icy": 2451, + "sch": 2452, + "ste": 2453, + "ду": 2454, + "ored": 2455, + "oud": 2456, + "ille": 2457, + "ised": 2458, + "plication": 2459, + "▁custom": 2460, + "▁having": 2461, + "ponent": 2462, + "▁By": 2463, + "ules": 2464, + "ued": 2465, + "atter": 2466, + "And": 2467, + "itive": 2468, + "Def": 2469, + "▁moment": 2470, + "aterial": 2471, + "Class": 2472, + "ograph": 2473, + "ike": 2474, + "▁large": 2475, + "▁####": 2476, + "▁either": 2477, + "duct": 2478, + "▁Then": 2479, + "▁Gu": 2480, + "olean": 2481, + "pert": 2482, + "▁Get": 2483, + "▁Ab": 2484, + "▁short": 2485, + "On": 2486, + "iment": 2487, + "▁project": 2488, + "cript": 2489, + "▁including": 2490, + "ния": 2491, + "▁making": 2492, + "▁someone": 2493, + "▁Fl": 2494, + "▁sat": 2495, + "▁company": 2496, + "ocus": 2497, + "pu": 2498, + "▁God": 2499, + "ification": 2500, + "No": 2501, + "▁sn": 2502, + "ano": 2503, + "ga": 2504, + "▁au": 2505, + "▁cou": 2506, + "ás": 2507, + "ended": 2508, + "ту": 2509, + "ober": 2510, + "▁nothing": 2511, + "▁net": 2512, + "▁pot": 2513, + "▁typ": 2514, + "▁item": 2515, + "rew": 2516, + "Att": 2517, + "▁young": 2518, + "}\r": 2519, + "nder": 2520, + "start": 2521, + "▁Sc": 2522, + "*)": 2523, + "▁enc": 2524, + "▁women": 2525, + "▁looking": 2526, + "▁ро": 2527, + "▁health": 2528, + "Path": 2529, + "▁After": 2530, + "▁mult": 2531, + "▁{\\": 2532, + "▁land": 2533, + "orld": 2534, + "▁Des": 2535, + "▁eng": 2536, + "input": 2537, + "▁Pol": 2538, + "\"\"": 2539, + "Code": 2540, + "▁supp": 2541, + "ainer": 2542, + "heck": 2543, + "▁mor": 2544, + "▁mill": 2545, + "▁aw": 2546, + "fs": 2547, + "▁doing": 2548, + "tings": 2549, + "ades": 2550, + "▁toget": 2551, + "▁certain": 2552, + "▁together": 2553, + "CE": 2554, + "ideo": 2555, + "▁American": 2556, + "ony": 2557, + "idd": 2558, + "II": 2559, + "ged": 2560, + "ables": 2561, + "▁ident": 2562, + "iod": 2563, + "▁parent": 2564, + "For": 2565, + "ambda": 2566, + "ando": 2567, + "=\\": 2568, + "aged": 2569, + "ending": 2570, + "Int": 2571, + "▁possible": 2572, + "▁со": 2573, + "ivity": 2574, + "num": 2575, + "rt": 2576, + "ajor": 2577, + "create": 2578, + "ride": 2579, + "▁knew": 2580, + "bit": 2581, + "itional": 2582, + "▁lik": 2583, + "▁Her": 2584, + "ension": 2585, + "\".": 2586, + "oto": 2587, + "▁exist": 2588, + "aken": 2589, + "▁actually": 2590, + "ca": 2591, + "▁Г": 2592, + "хо": 2593, + "inn": 2594, + "All": 2595, + "buf": 2596, + "▁Me": 2597, + "▁seen": 2598, + "ops": 2599, + "▁▁▁▁▁▁▁▁▁": 2600, + "Not": 2601, + "▁control": 2602, + "▁respon": 2603, + "};": 2604, + "ilt": 2605, + "isk": 2606, + "▁bad": 2607, + "▁often": 2608, + "▁past": 2609, + "aper": 2610, + "▁reason": 2611, + "eters": 2612, + "▁wanted": 2613, + "ura": 2614, + "table": 2615, + "ormal": 2616, + "width": 2617, + "га": 2618, + "ptr": 2619, + "▁dest": 2620, + "▁design": 2621, + "▁sound": 2622, + "▁plan": 2623, + "▁base": 2624, + "hand": 2625, + "gs": 2626, + "▁says": 2627, + "function": 2628, + "▁tri": 2629, + "mt": 2630, + "▁invest": 2631, + "▁available": 2632, + "ayout": 2633, + "▁och": 2634, + "▁las": 2635, + "illed": 2636, + "Val": 2637, + "▁ф": 2638, + "iety": 2639, + "mon": 2640, + "Hand": 2641, + "Fr": 2642, + "iam": 2643, + "pace": 2644, + "▁Ob": 2645, + "▁para": 2646, + "▁meet": 2647, + "▁sum": 2648, + "Message": 2649, + "ici": 2650, + "▁known": 2651, + "▁gen": 2652, + "amma": 2653, + "arr": 2654, + "▁tre": 2655, + "oke": 2656, + "uth": 2657, + "~\\": 2658, + "▁experience": 2659, + "icle": 2660, + "▁Il": 2661, + "▁sent": 2662, + "▁others": 2663, + "▁soft": 2664, + "IP": 2665, + "▁max": 2666, + "ball": 2667, + "▁market": 2668, + "▁pour": 2669, + "pression": 2670, + "eps": 2671, + "▁saw": 2672, + "▁across": 2673, + "▁Su": 2674, + "Over": 2675, + "ние": 2676, + "ulation": 2677, + "▁Reg": 2678, + "▁+=": 2679, + "body": 2680, + ")\\": 2681, + "▁print": 2682, + "▁при": 2683, + "db": 2684, + "ources": 2685, + "wards": 2686, + "▁black": 2687, + "со": 2688, + "ili": 2689, + "▁Ed": 2690, + "▁complet": 2691, + "▁single": 2692, + "▁IN": 2693, + "ached": 2694, + "bt": 2695, + "▁code": 2696, + "▁bool": 2697, + "▁area": 2698, + "▁require": 2699, + "▁problem": 2700, + "aced": 2701, + "Equ": 2702, + "▁config": 2703, + "vec": 2704, + "ney": 2705, + "cy": 2706, + "Al": 2707, + "▁account": 2708, + "ymbol": 2709, + "▁ste": 2710, + "ges": 2711, + "Array": 2712, + "empl": 2713, + "context": 2714, + "Des": 2715, + "Result": 2716, + "ecut": 2717, + "▁target": 2718, + "▁getting": 2719, + "\"/>": 2720, + "ogle": 2721, + "▁himself": 2722, + "▁wasn": 2723, + "▁block": 2724, + "▁ant": 2725, + "▁York": 2726, + "▁become": 2727, + "iff": 2728, + "ports": 2729, + "reate": 2730, + "='": 2731, + "cd": 2732, + "location": 2733, + "ет": 2734, + "▁access": 2735, + "gress": 2736, + "ros": 2737, + "Up": 2738, + "▁working": 2739, + "▁Am": 2740, + "iqu": 2741, + "cer": 2742, + "▁((": 2743, + "▁Per": 2744, + "▁func": 2745, + "▁girl": 2746, + "▁above": 2747, + "pen": 2748, + "пи": 2749, + "ido": 2750, + "▁version": 2751, + "TY": 2752, + "▁;": 2753, + "mary": 2754, + "abled": 2755, + "annel": 2756, + "▁example": 2757, + "▁context": 2758, + "OP": 2759, + "▁red": 2760, + "▁cir": 2761, + "sm": 2762, + "Log": 2763, + "▁space": 2764, + "▁fut": 2765, + "▁Gener": 2766, + "ills": 2767, + "▁dri": 2768, + "_.": 2769, + "▁felt": 2770, + "▁offic": 2771, + "▁===": 2772, + "ii": 2773, + "▁started": 2774, + "▁Т": 2775, + "▁});": 2776, + "js": 2777, + "▁front": 2778, + "▁almost": 2779, + "irm": 2780, + "!\"": 2781, + "signed": 2782, + "▁yet": 2783, + "▁trad": 2784, + "ients": 2785, + "ama": 2786, + "▁input": 2787, + "lim": 2788, + "па": 2789, + "▁ка": 2790, + "▁camp": 2791, + "ibr": 2792, + "fect": 2793, + "unt": 2794, + "▁half": 2795, + "▁cover": 2796, + "anguage": 2797, + "▁ben": 2798, + "ha": 2799, + "▁diff": 2800, + "_\\": 2801, + "▁об": 2802, + "])": 2803, + "odes": 2804, + "hel": 2805, + "ios": 2806, + "▁О": 2807, + "▁mot": 2808, + "▁social": 2809, + "////////": 2810, + "▁stre": 2811, + "ground": 2812, + "ів": 2813, + "object": 2814, + "ples": 2815, + "reed": 2816, + "▁een": 2817, + "▁based": 2818, + "▁range": 2819, + "An": 2820, + "urg": 2821, + "▁learn": 2822, + "▁exc": 2823, + "▁imp": 2824, + "▁means": 2825, + "▁wur": 2826, + "ends": 2827, + "void": 2828, + "▁std": 2829, + "▁particular": 2830, + "ja": 2831, + "▁source": 2832, + "default": 2833, + "py": 2834, + "▁als": 2835, + "scri": 2836, + "status": 2837, + "▁story": 2838, + "▁begin": 2839, + "▁position": 2840, + "▁special": 2841, + "php": 2842, + "▁bar": 2843, + "▁pract": 2844, + "call": 2845, + "▁das": 2846, + "▁rad": 2847, + "▁close": 2848, + "www": 2849, + "ере": 2850, + "gu": 2851, + "▁Er": 2852, + "▁dom": 2853, + "AM": 2854, + "▁bed": 2855, + "▁several": 2856, + "aul": 2857, + "box": 2858, + "▁low": 2859, + "pack": 2860, + "Reg": 2861, + "Of": 2862, + "atures": 2863, + "én": 2864, + "eder": 2865, + "uilder": 2866, + "cast": 2867, + "conom": 2868, + "raft": 2869, + "▁makes": 2870, + "Loc": 2871, + "http": 2872, + "▁abs": 2873, + "resh": 2874, + "▁Will": 2875, + "break": 2876, + "▁options": 2877, + "fort": 2878, + "▁из": 2879, + "▁anal": 2880, + "▁env": 2881, + "({": 2882, + "event": 2883, + "▁page": 2884, + "ternal": 2885, + "▁distribut": 2886, + "▁food": 2887, + "check": 2888, + "CK": 2889, + "▁во": 2890, + "assert": 2891, + "án": 2892, + "base": 2893, + "▁whole": 2894, + "ación": 2895, + "OD": 2896, + "▁turned": 2897, + "igma": 2898, + "▁response": 2899, + "▁University": 2900, + "▁div": 2901, + "apter": 2902, + "▁results": 2903, + "▁represent": 2904, + "▁everything": 2905, + "▁Cent": 2906, + "utes": 2907, + "rix": 2908, + "▁Some": 2909, + "▁behind": 2910, + "▁creat": 2911, + "place": 2912, + "su": 2913, + "▁Part": 2914, + "umb": 2915, + "mathbb": 2916, + "ping": 2917, + "▁match": 2918, + "Out": 2919, + "dom": 2920, + "▁situ": 2921, + "dr": 2922, + "ara": 2923, + "▁window": 2924, + "ns": 2925, + "lished": 2926, + "▁Ver": 2927, + "▁message": 2928, + "▁Em": 2929, + "▁human": 2930, + "perties": 2931, + "лу": 2932, + "lem": 2933, + "ORT": 2934, + "▁early": 2935, + "▁quick": 2936, + "▁та": 2937, + "roid": 2938, + "▁country": 2939, + "▁due": 2940, + "▁Die": 2941, + "▁trying": 2942, + "▁live": 2943, + "▁press": 2944, + "INT": 2945, + "With": 2946, + "oved": 2947, + "▁specific": 2948, + "▁fall": 2949, + "uk": 2950, + "yl": 2951, + "▁general": 2952, + "му": 2953, + "ну": 2954, + "▁names": 2955, + "where": 2956, + "▁These": 2957, + "▁sil": 2958, + "ét": 2959, + "▁ener": 2960, + "▁Now": 2961, + "▁address": 2962, + "Response": 2963, + "▁Mr": 2964, + "▁answ": 2965, + "▁film": 2966, + "▁strong": 2967, + "▁bring": 2968, + "▁United": 2969, + "▁ge": 2970, + "▁woman": 2971, + "New": 2972, + "ett": 2973, + ".)": 2974, + "ename": 2975, + "▁AN": 2976, + "▁describ": 2977, + "за": 2978, + "ising": 2979, + "EL": 2980, + "ql": 2981, + "▁fur": 2982, + "ying": 2983, + "▁Cal": 2984, + "▁Dr": 2985, + "ERR": 2986, + "▁\\\\": 2987, + "angle": 2988, + "urope": 2989, + "▁city": 2990, + "▁index": 2991, + "▁action": 2992, + "▁However": 2993, + "▁fig": 2994, + "ias": 2995, + "▁question": 2996, + "▁Jan": 2997, + "▁Med": 2998, + "▁Cont": 2999, + "amed": 3000, + "Call": 3001, + "plied": 3002, + "tty": 3003, + "▁individ": 3004, + "page": 3005, + "▁comb": 3006, + "section": 3007, + "▁Comm": 3008, + "uel": 3009, + "▁het": 3010, + "▁Bar": 3011, + "agement": 3012, + "fin": 3013, + "▁major": 3014, + "oper": 3015, + "api": 3016, + "room": 3017, + "▁„": 3018, + "▁hab": 3019, + "зи": 3020, + "▁auf": 3021, + "current": 3022, + "ni": 3023, + "▁include": 3024, + "▁qui": 3025, + "va": 3026, + "UE": 3027, + "▁idea": 3028, + ",'": 3029, + "▁required": 3030, + "▁heart": 3031, + "ibility": 3032, + "iction": 3033, + "Model": 3034, + "write": 3035, + "▁content": 3036, + "▁wer": 3037, + "▁hands": 3038, + "zen": 3039, + "char": 3040, + "}^{": 3041, + "▁mass": 3042, + "ply": 3043, + "▁nat": 3044, + "rel": 3045, + "▁dat": 3046, + "================": 3047, + "imal": 3048, + "▁probably": 3049, + "unch": 3050, + "▁mer": 3051, + "ilar": 3052, + "ires": 3053, + "▁watch": 3054, + "SI": 3055, + "▁cult": 3056, + "▁mother": 3057, + "▁government": 3058, + "ording": 3059, + "▁()": 3060, + "▁pri": 3061, + "▁link": 3062, + "group": 3063, + "OL": 3064, + "▁near": 3065, + "▁Ser": 3066, + "Ser": 3067, + "ito": 3068, + "▁values": 3069, + "▁java": 3070, + "fully": 3071, + "Count": 3072, + "++)": 3073, + "▁vi": 3074, + "▁white": 3075, + "mat": 3076, + "ctx": 3077, + "▁conc": 3078, + "▁stay": 3079, + "ging": 3080, + "▁clear": 3081, + "▁copy": 3082, + "selves": 3083, + "▁provide": 3084, + "▁words": 3085, + "comp": 3086, + "args": 3087, + "▁pick": 3088, + "uly": 3089, + "▁vari": 3090, + "▁believe": 3091, + "▁Co": 3092, + "Property": 3093, + "Group": 3094, + "▁ten": 3095, + "ischen": 3096, + "eturn": 3097, + "ival": 3098, + "System": 3099, + "CL": 3100, + "bed": 3101, + "▁total": 3102, + "▁ist": 3103, + "Input": 3104, + "uments": 3105, + "Manager": 3106, + "ши": 3107, + "▁win": 3108, + "leep": 3109, + "PI": 3110, + "ного": 3111, + "ruction": 3112, + "▁inte": 3113, + "App": 3114, + "avor": 3115, + "▁respect": 3116, + "ators": 3117, + "▁como": 3118, + "▁cut": 3119, + "FA": 3120, + "▁sus": 3121, + "▁App": 3122, + "rect": 3123, + "FI": 3124, + "▁began": 3125, + "oph": 3126, + "▁sort": 3127, + "though": 3128, + "је": 3129, + "icro": 3130, + "Trans": 3131, + "лі": 3132, + "▁Inst": 3133, + "request": 3134, + "ор": 3135, + "▁relations": 3136, + "-\\": 3137, + "Status": 3138, + "жи": 3139, + "▁father": 3140, + "cs": 3141, + "▁sex": 3142, + "isch": 3143, + "vo": 3144, + "}_{": 3145, + "aven": 3146, + "▁Ne": 3147, + "ATE": 3148, + "itten": 3149, + "▁ess": 3150, + "TH": 3151, + "ights": 3152, + "▁hom": 3153, + "▁today": 3154, + "▁zu": 3155, + "ita": 3156, + "▁isn": 3157, + "▁opt": 3158, + "ogn": 3159, + "ér": 3160, + "▁whether": 3161, + "ixed": 3162, + "phi": 3163, + "idence": 3164, + "ald": 3165, + "Client": 3166, + "At": 3167, + "▁death": 3168, + "▁Let": 3169, + "ius": 3170, + "ги": 3171, + "▁ре": 3172, + "ben": 3173, + ")\r": 3174, + "ba": 3175, + ">": 3193, + "▁Just": 3194, + "What": 3195, + "atal": 3196, + "▁Min": 3197, + "▁Cor": 3198, + "▁dark": 3199, + "rl": 3200, + "▁larg": 3201, + "ding": 3202, + "ón": 3203, + "ouch": 3204, + "▁um": 3205, + "▁elect": 3206, + "▁dam": 3207, + "▁needs": 3208, + "▁matter": 3209, + "▁rather": 3210, + "from": 3211, + "ram": 3212, + "▁і": 3213, + "▁taken": 3214, + "▁deal": 3215, + "▁period": 3216, + "▁Mon": 3217, + "▁Л": 3218, + "▁Aug": 3219, + "run": 3220, + "mm": 3221, + "elle": 3222, + "▁export": 3223, + "Sc": 3224, + "vis": 3225, + "abor": 3226, + "▁author": 3227, + "ère": 3228, + "▁remember": 3229, + "▁redu": 3230, + "▁List": 3231, + "▁focus": 3232, + "▁character": 3233, + "Table": 3234, + "▁individual": 3235, + "▁needed": 3236, + "bum": 3237, + "▁style": 3238, + "inary": 3239, + "ersion": 3240, + "oute": 3241, + "▁Pe": 3242, + "▁hon": 3243, + "mut": 3244, + "see": 3245, + "▁became": 3246, + "▁dire": 3247, + "▁document": 3248, + "sec": 3249, + "ening": 3250, + "▁visit": 3251, + "▁fac": 3252, + "tx": 3253, + "down": 3254, + "plit": 3255, + "▁phys": 3256, + "itting": 3257, + "joy": 3258, + "▁hig": 3259, + "This": 3260, + "Ad": 3261, + "▁Brit": 3262, + "▁employ": 3263, + "▁ré": 3264, + "▁т": 3265, + "lambda": 3266, + "▁impro": 3267, + "▁Bo": 3268, + "iding": 3269, + "▁online": 3270, + "mem": 3271, + "atform": 3272, + "▁War": 3273, + "▁cas": 3274, + "asure": 3275, + "▁pur": 3276, + "medi": 3277, + "Dis": 3278, + "▁Germ": 3279, + "pc": 3280, + "са": 3281, + "▁friends": 3282, + "▁Mc": 3283, + "DI": 3284, + "▁plus": 3285, + "▁Set": 3286, + "iddle": 3287, + "itut": 3288, + "▁depend": 3289, + "rest": 3290, + "▁Je": 3291, + "▁hor": 3292, + "▁entire": 3293, + "Query": 3294, + "▁refer": 3295, + "▁hot": 3296, + "▁Aust": 3297, + "▁common": 3298, + "ці": 3299, + "▁pull": 3300, + "▁Add": 3301, + "▁season": 3302, + "▁invol": 3303, + "▁World": 3304, + "client": 3305, + "now": 3306, + "true": 3307, + "append": 3308, + "itted": 3309, + "empt": 3310, + "){": 3311, + "///": 3312, + "▁prop": 3313, + "imate": 3314, + "SC": 3315, + "▁hours": 3316, + "▁hope": 3317, + "andom": 3318, + "ід": 3319, + "istic": 3320, + "▁property": 3321, + "sg": 3322, + ">(": 3323, + "▁write": 3324, + "mark": 3325, + "find": 3326, + "▁personal": 3327, + "][": 3328, + "rown": 3329, + "Ph": 3330, + "▁foot": 3331, + "▁research": 3332, + "ironment": 3333, + "▁nom": 3334, + "▁instance": 3335, + "▁held": 3336, + "De": 3337, + "▁members": 3338, + "▁fire": 3339, + "▁history": 3340, + "▁map": 3341, + "▁discuss": 3342, + "▁espec": 3343, + "▁taking": 3344, + "▁services": 3345, + "▁indust": 3346, + "igen": 3347, + "▁Ass": 3348, + "▁expected": 3349, + "▁wurde": 3350, + "dir": 3351, + "▁among": 3352, + "▁sugg": 3353, + "rec": 3354, + "Inter": 3355, + "block": 3356, + "▁Rep": 3357, + "▁pain": 3358, + "▁five": 3359, + "▁fund": 3360, + "rid": 3361, + "arrow": 3362, + "▁treat": 3363, + "▁heard": 3364, + "▁determ": 3365, + "icult": 3366, + "▁sense": 3367, + "ese": 3368, + "Fun": 3369, + "▁months": 3370, + "json": 3371, + ",”": 3372, + "TI": 3373, + "orage": 3374, + "▁У": 3375, + "▁everyone": 3376, + "▁clos": 3377, + "iers": 3378, + "airs": 3379, + "define": 3380, + "If": 3381, + "osp": 3382, + "▁wonder": 3383, + "NA": 3384, + "query": 3385, + "pg": 3386, + "ites": 3387, + "▁material": 3388, + "yd": 3389, + "Read": 3390, + "html": 3391, + "TE": 3392, + "Pr": 3393, + "^{\\": 3394, + "▁gave": 3395, + "▁IS": 3396, + "▁suggest": 3397, + "Override": 3398, + "rodu": 3399, + "From": 3400, + "▁Europe": 3401, + "PO": 3402, + "▁soon": 3403, + "host": 3404, + "▁Ber": 3405, + "....": 3406, + "▁Har": 3407, + "▁energy": 3408, + "><": 3409, + "aves": 3410, + "▁easy": 3411, + "▁bre": 3412, + "frame": 3413, + "▁ground": 3414, + "with": 3415, + "▁inside": 3416, + "ief": 3417, + "▁mo": 3418, + "pm": 3419, + "pan": 3420, + "igr": 3421, + "▁om": 3422, + "next": 3423, + "omet": 3424, + "▁status": 3425, + "▁}\r": 3426, + "▁music": 3427, + "ora": 3428, + "iles": 3429, + "ki": 3430, + "▁esc": 3431, + "▁bes": 3432, + "▁Dis": 3433, + "▁host": 3434, + "▁comes": 3435, + "used": 3436, + "▁future": 3437, + "lick": 3438, + "aid": 3439, + "▁compet": 3440, + "▁voice": 3441, + "▁load": 3442, + "evel": 3443, + "▁neg": 3444, + "▁command": 3445, + "▁für": 3446, + "▁pie": 3447, + "▁quite": 3448, + "▁blo": 3449, + "agn": 3450, + "ilon": 3451, + "▁claim": 3452, + "▁teach": 3453, + "▁previous": 3454, + "▁site": 3455, + "color": 3456, + "attr": 3457, + "▁accept": 3458, + "▁exact": 3459, + ")}": 3460, + "aft": 3461, + "roller": 3462, + "он": 3463, + "oo": 3464, + "Date": 3465, + "▁ou": 3466, + "sy": 3467, + "▁pretty": 3468, + "▁image": 3469, + "BU": 3470, + "▁terms": 3471, + "▁search": 3472, + "▁è": 3473, + "▁Val": 3474, + "▁‘": 3475, + "▁Dav": 3476, + "MS": 3477, + "src": 3478, + "mar": 3479, + "incip": 3480, + "▁couldn": 3481, + "ados": 3482, + "▁dro": 3483, + "beta": 3484, + "imum": 3485, + "▁minutes": 3486, + "▁grand": 3487, + "▁»": 3488, + "▁Our": 3489, + "Str": 3490, + "VER": 3491, + "maz": 3492, + "▁original": 3493, + "ini": 3494, + "▁coll": 3495, + "loat": 3496, + "▁os": 3497, + "});": 3498, + "summary": 3499, + "▁wall": 3500, + "Color": 3501, + "▁vers": 3502, + "▁della": 3503, + "▁\"\"\"": 3504, + "mathbf": 3505, + "zer": 3506, + "aur": 3507, + "▁track": 3508, + "▁associ": 3509, + "▁suff": 3510, + "▁inde": 3511, + "ague": 3512, + "▁Apr": 3513, + "Le": 3514, + "roups": 3515, + "board": 3516, + "▁attack": 3517, + "▁series": 3518, + "▁instead": 3519, + "ham": 3520, + "book": 3521, + "▁six": 3522, + "▁Rec": 3523, + "▁coming": 3524, + "urt": 3525, + "▁global": 3526, + "▁necess": 3527, + "lege": 3528, + "Pos": 3529, + "▁leave": 3530, + "▁pod": 3531, + "ategory": 3532, + "uz": 3533, + "▁deep": 3534, + "▁km": 3535, + "▁outside": 3536, + "has": 3537, + "options": 3538, + "▁Sm": 3539, + "Sub": 3540, + "rows": 3541, + "▁ви": 3542, + "▁States": 3543, + "▁wrong": 3544, + "▁however": 3545, + "▁sem": 3546, + "▁catch": 3547, + "\"),": 3548, + "model": 3549, + "▁http": 3550, + "▁option": 3551, + "rie": 3552, + "▁ста": 3553, + "▁är": 3554, + "▁enjoy": 3555, + "nu": 3556, + "▁pas": 3557, + "▁amount": 3558, + "▁respons": 3559, + "▁Intern": 3560, + "▁myself": 3561, + "▁opp": 3562, + "▁Sim": 3563, + "▁sens": 3564, + "Ed": 3565, + "▁(\\": 3566, + "▁students": 3567, + "нов": 3568, + "▁points": 3569, + "arning": 3570, + "UP": 3571, + "elling": 3572, + "▁cannot": 3573, + "Be": 3574, + "▁length": 3575, + "null": 3576, + "uint": 3577, + "wise": 3578, + "▁double": 3579, + "ige": 3580, + "ista": 3581, + "▁estab": 3582, + "anch": 3583, + "▁ago": 3584, + "▁bound": 3585, + "▁fa": 3586, + "▁clean": 3587, + "▁simple": 3588, + "mi": 3589, + "########": 3590, + "ifier": 3591, + "▁General": 3592, + "▁seemed": 3593, + "ena": 3594, + "▁age": 3595, + "ной": 3596, + "endif": 3597, + "AA": 3598, + "▁caus": 3599, + "▁educ": 3600, + "▁cell": 3601, + "Gener": 3602, + "space": 3603, + "▁Your": 3604, + "▁beaut": 3605, + "gt": 3606, + "▁limit": 3607, + "▁date": 3608, + "Util": 3609, + "▁National": 3610, + "ows": 3611, + "pat": 3612, + "quad": 3613, + "▁ok": 3614, + "▁И": 3615, + "arth": 3616, + "hat": 3617, + "▁community": 3618, + "oul": 3619, + "▁econom": 3620, + "Component": 3621, + "bor": 3622, + "usion": 3623, + "▁below": 3624, + "earch": 3625, + "ores": 3626, + "ban": 3627, + "▁August": 3628, + "▁further": 3629, + "sigma": 3630, + "▁ha": 3631, + "ji": 3632, + "▁comput": 3633, + "гра": 3634, + "▁None": 3635, + "▁ter": 3636, + "▁anyone": 3637, + "▁task": 3638, + "ente": 3639, + "position": 3640, + "pped": 3641, + "▁aus": 3642, + "Attribute": 3643, + "req": 3644, + "addr": 3645, + "light": 3646, + "ше": 3647, + "▁arm": 3648, + "cover": 3649, + "upport": 3650, + "▁Gl": 3651, + "▁San": 3652, + "▁writing": 3653, + "▁lost": 3654, + "▁Mark": 3655, + "▁gre": 3656, + "TYPE": 3657, + "▁South": 3658, + "▁perfect": 3659, + "▁package": 3660, + "▁infl": 3661, + "haps": 3662, + "▁Ang": 3663, + "respon": 3664, + "ris": 3665, + "ptember": 3666, + "▁building": 3667, + "VAL": 3668, + "free": 3669, + "▁ce": 3670, + "HT": 3671, + "▁From": 3672, + "ds": 3673, + "roy": 3674, + "achine": 3675, + "nown": 3676, + "▁saying": 3677, + "▁бы": 3678, + "oe": 3679, + "Ref": 3680, + "▁network": 3681, + "parent": 3682, + "uge": 3683, + "▁similar": 3684, + ">\r": 3685, + "Builder": 3686, + "▁living": 3687, + "▁continue": 3688, + "anger": 3689, + "▁Red": 3690, + "▁hair": 3691, + "anced": 3692, + "ians": 3693, + "▁dead": 3694, + "▁boolean": 3695, + "ication": 3696, + "▁де": 3697, + "▁client": 3698, + "uct": 3699, + "▁•": 3700, + "SP": 3701, + "older": 3702, + "пе": 3703, + "udio": 3704, + "▁deg": 3705, + "asing": 3706, + "▁step": 3707, + "▁pers": 3708, + "ção": 3709, + "obj": 3710, + "oz": 3711, + "ula": 3712, + "▁round": 3713, + "▁upon": 3714, + "▁resource": 3715, + "▁valid": 3716, + "▁II": 3717, + "bug": 3718, + "std": 3719, + "▁ang": 3720, + "span": 3721, + "pol": 3722, + "ialog": 3723, + "▁phot": 3724, + "?'": 3725, + "DB": 3726, + "▁Fin": 3727, + "VE": 3728, + "Em": 3729, + "▁cam": 3730, + "target": 3731, + "pected": 3732, + "Hel": 3733, + "▁ut": 3734, + "▁Test": 3735, + "▁town": 3736, + "align": 3737, + "▁webs": 3738, + "inner": 3739, + "augh": 3740, + "▁except": 3741, + "▁initial": 3742, + "enty": 3743, + "lich": 3744, + "▁Aut": 3745, + "top": 3746, + "▁fail": 3747, + "ona": 3748, + "▁benef": 3749, + "anks": 3750, + "ische": 3751, + ".*": 3752, + "▁signific": 3753, + "▁contact": 3754, + "Rec": 3755, + "ario": 3756, + "ottom": 3757, + "▁relationship": 3758, + "]);": 3759, + "▁На": 3760, + "Head": 3761, + "format": 3762, + "▁ét": 3763, + "▁More": 3764, + "actory": 3765, + "portun": 3766, + "+\\": 3767, + "▁simply": 3768, + "▁ep": 3769, + "▁Russ": 3770, + "ní": 3771, + "ua": 3772, + "erc": 3773, + "▁longer": 3774, + "inition": 3775, + "ector": 3776, + "aption": 3777, + "▁profess": 3778, + "▁Mus": 3779, + "ilities": 3780, + "ès": 3781, + "▁Act": 3782, + "offset": 3783, + "▁ill": 3784, + "band": 3785, + "▁Ag": 3786, + "▁По": 3787, + "би": 3788, + "content": 3789, + "icon": 3790, + "▁works": 3791, + "ynam": 3792, + "plement": 3793, + "Resource": 3794, + "Action": 3795, + "▁difficult": 3796, + "▁West": 3797, + "▁video": 3798, + "▁THE": 3799, + "▁decl": 3800, + "ondon": 3801, + "ded": 3802, + "}{\\": 3803, + "ocr": 3804, + "▁City": 3805, + "▁я": 3806, + "uer": 3807, + "cz": 3808, + "▁imag": 3809, + "cr": 3810, + "ete": 3811, + "idget": 3812, + "▁Mod": 3813, + "▁forward": 3814, + "▁pict": 3815, + "orge": 3816, + "▁subject": 3817, + "update": 3818, + "attle": 3819, + "sa": 3820, + "▁Ant": 3821, + "▁running": 3822, + "▁sal": 3823, + "conne": 3824, + "▁output": 3825, + "adata": 3826, + "ML": 3827, + "Check": 3828, + "ledge": 3829, + "▁paper": 3830, + "params": 3831, + "avy": 3832, + "▁af": 3833, + "▁eine": 3834, + "▁jour": 3835, + "AY": 3836, + "▁itself": 3837, + "▁Str": 3838, + "style": 3839, + "That": 3840, + "▁million": 3841, + "▁language": 3842, + "OS": 3843, + "ving": 3844, + "▁ма": 3845, + "▁то": 3846, + ")(": 3847, + "▁buy": 3848, + "./": 3849, + "▁...": 3850, + "▁tried": 3851, + "▁compl": 3852, + "▁activ": 3853, + "apped": 3854, + "Button": 3855, + "Token": 3856, + "▁provided": 3857, + "iber": 3858, + "▁created": 3859, + "curity": 3860, + "End": 3861, + "ał": 3862, + "uster": 3863, + "izing": 3864, + "omb": 3865, + "▁sich": 3866, + "▁compon": 3867, + "▁See": 3868, + "▁uint": 3869, + "▁label": 3870, + "vol": 3871, + "ów": 3872, + "ocol": 3873, + "▁received": 3874, + "▁intern": 3875, + "це": 3876, + "Run": 3877, + "▁road": 3878, + "▁Oct": 3879, + "▁Comp": 3880, + "▁study": 3881, + "▁те": 3882, + "Act": 3883, + "▁tour": 3884, + "▁State": 3885, + "▁added": 3886, + "https": 3887, + "stream": 3888, + "▁lower": 3889, + "▁box": 3890, + "▁Sk": 3891, + "▁themselves": 3892, + "▁cross": 3893, + "▁echo": 3894, + "▁device": 3895, + "pose": 3896, + "▁games": 3897, + "PL": 3898, + "Window": 3899, + "ises": 3900, + "title": 3901, + "Stream": 3902, + "zt": 3903, + "▁Sw": 3904, + "▁role": 3905, + "iant": 3906, + "ku": 3907, + "sequ": 3908, + "▁late": 3909, + "▁sold": 3910, + "ря": 3911, + "Comm": 3912, + "▁entre": 3913, + "▁dog": 3914, + "device": 3915, + "Par": 3916, + "▁likely": 3917, + "^{-": 3918, + "▁len": 3919, + "▁Paul": 3920, + "▁tool": 3921, + "Off": 3922, + "▁famil": 3923, + "▁draw": 3924, + "apping": 3925, + "▁events": 3926, + "cret": 3927, + "rought": 3928, + "Content": 3929, + "▁software": 3930, + "ria": 3931, + "msg": 3932, + "gamma": 3933, + "▁hear": 3934, + "Oper": 3935, + "▁yourself": 3936, + "▁liter": 3937, + "emp": 3938, + "▁separ": 3939, + "▁З": 3940, + "▁title": 3941, + "Method": 3942, + "mathrm": 3943, + "▁slow": 3944, + "▁Rom": 3945, + "!!": 3946, + "▁tax": 3947, + "ска": 3948, + "emplate": 3949, + "oi": 3950, + "▁Art": 3951, + "false": 3952, + "astic": 3953, + "сть": 3954, + "ocket": 3955, + "▁ens": 3956, + "TO": 3957, + "amente": 3958, + "local": 3959, + "chie": 3960, + "▁pan": 3961, + "ний": 3962, + "chema": 3963, + "▁North": 3964, + "зо": 3965, + "▁>=": 3966, + "Aut": 3967, + "▁dig": 3968, + "▁seems": 3969, + "▁morning": 3970, + "sole": 3971, + "umer": 3972, + "delta": 3973, + "ité": 3974, + "abase": 3975, + "raf": 3976, + "▁observ": 3977, + "▁Est": 3978, + "▁seg": 3979, + "▁[]": 3980, + "▁Pres": 3981, + "iful": 3982, + "push": 3983, + "▁Off": 3984, + "ipe": 3985, + "ati": 3986, + "▁dim": 3987, + "ceed": 3988, + "Ent": 3989, + "____": 3990, + "entry": 3991, + "▁fight": 3992, + "▁cred": 3993, + "▁OR": 3994, + "▁Dep": 3995, + "${": 3996, + "лен": 3997, + "Create": 3998, + "▁April": 3999, + "ministr": 4000, + "FL": 4001, + "▁Ap": 4002, + "▁Here": 4003, + "private": 4004, + "Instance": 4005, + "iem": 4006, + "▁office": 4007, + "▁third": 4008, + "▁update": 4009, + "Line": 4010, + "tag": 4011, + "▁especially": 4012, + "▁года": 4013, + "▁cu": 4014, + "▁kill": 4015, + "aught": 4016, + "▁swe": 4017, + "Options": 4018, + "IM": 4019, + "CC": 4020, + "▁compan": 4021, + "just": 4022, + "▁While": 4023, + "izer": 4024, + "▁мо": 4025, + "ке": 4026, + "▁auto": 4027, + "▁band": 4028, + "мен": 4029, + "iques": 4030, + "▁ple": 4031, + "NO": 4032, + "▁OF": 4033, + "▁song": 4034, + "▁Acc": 4035, + "EXT": 4036, + "ensor": 4037, + "ining": 4038, + "▁lat": 4039, + "big": 4040, + "▁King": 4041, + "och": 4042, + "si": 4043, + "▁Hist": 4044, + "▁quality": 4045, + "mode": 4046, + "▁opportun": 4047, + "▁wouldn": 4048, + ":**": 4049, + "output": 4050, + "▁feet": 4051, + "▁mis": 4052, + "df": 4053, + "aging": 4054, + "▁ме": 4055, + "▁tro": 4056, + "▁defined": 4057, + "▁review": 4058, + "▁Fil": 4059, + ">>": 4060, + "▁princip": 4061, + "Base": 4062, + "dict": 4063, + "verage": 4064, + "icient": 4065, + "IF": 4066, + "▁hit": 4067, + "Page": 4068, + "▁perm": 4069, + "cel": 4070, + "ít": 4071, + "▁express": 4072, + "▁indic": 4073, + "▁September": 4074, + "image": 4075, + "▁products": 4076, + "▁media": 4077, + "change": 4078, + "igger": 4079, + "▁send": 4080, + "last": 4081, + "ming": 4082, + "pa": 4083, + "uary": 4084, + "▁speak": 4085, + "ный": 4086, + "ще": 4087, + "ysis": 4088, + "lying": 4089, + "▁ч": 4090, + "like": 4091, + "ры": 4092, + "ві": 4093, + "▁Mich": 4094, + "MO": 4095, + "▁Jah": 4096, + "ensive": 4097, + "▁share": 4098, + "▁development": 4099, + "CP": 4100, + "spec": 4101, + "▁fast": 4102, + "het": 4103, + "HO": 4104, + "▁particip": 4105, + "Block": 4106, + "▁viol": 4107, + "▁frame": 4108, + "▁qual": 4109, + "tre": 4110, + "▁Ф": 4111, + "▁toward": 4112, + "fg": 4113, + "Box": 4114, + "Column": 4115, + "▁milit": 4116, + "▁March": 4117, + "▁various": 4118, + "pass": 4119, + "▁Park": 4120, + "▁Ben": 4121, + "Frame": 4122, + "▁normal": 4123, + "open": 4124, + "px": 4125, + "▁phone": 4126, + "▁Even": 4127, + "▁ma": 4128, + "ibrary": 4129, + "Start": 4130, + "idden": 4131, + "rho": 4132, + "graph": 4133, + "acing": 4134, + "'.": 4135, + "arter": 4136, + "mes": 4137, + "inst": 4138, + "▁ir": 4139, + "active": 4140, + "▁fem": 4141, + "▁moved": 4142, + "▁store": 4143, + "▁price": 4144, + "\").": 4145, + "berg": 4146, + "▁nov": 4147, + "▁card": 4148, + "ellow": 4149, + "▁party": 4150, + "▁Mor": 4151, + "ael": 4152, + "▁percent": 4153, + "▁training": 4154, + "▁ing": 4155, + "imer": 4156, + "▁Sam": 4157, + "Default": 4158, + "▁fuck": 4159, + "▁complete": 4160, + "uid": 4161, + "▁details": 4162, + "▁led": 4163, + "Point": 4164, + "▁Count": 4165, + "▁regard": 4166, + "zo": 4167, + "▁Bro": 4168, + "▁recogn": 4169, + "▁Hol": 4170, + "UM": 4171, + "element": 4172, + "Mode": 4173, + "▁exam": 4174, + "▁EX": 4175, + "Image": 4176, + "verse": 4177, + "riter": 4178, + "soft": 4179, + "▁introdu": 4180, + "▁surpr": 4181, + "Buffer": 4182, + "lector": 4183, + "aren": 4184, + "anged": 4185, + "▁Pat": 4186, + "▁Pal": 4187, + "▁contr": 4188, + "Handler": 4189, + "▁features": 4190, + "iple": 4191, + "▁CON": 4192, + "Fil": 4193, + "▁Port": 4194, + "▁thinking": 4195, + "doc": 4196, + "wer": 4197, + "▁worked": 4198, + "PC": 4199, + "cm": 4200, + "dat": 4201, + "PRO": 4202, + "▁Every": 4203, + "▁era": 4204, + "▁First": 4205, + "gn": 4206, + "▁immedi": 4207, + "ovember": 4208, + "apan": 4209, + "▁extra": 4210, + "▁section": 4211, + "▁June": 4212, + "▁via": 4213, + "▁gone": 4214, + "come": 4215, + "▁stri": 4216, + "^\\": 4217, + "antly": 4218, + "▁arch": 4219, + "Source": 4220, + "▁conv": 4221, + "▁London": 4222, + "Number": 4223, + "▁questions": 4224, + "andid": 4225, + "▁played": 4226, + "env": 4227, + "▁School": 4228, + "▁natural": 4229, + "can": 4230, + "▁news": 4231, + "DR": 4232, + "▁chall": 4233, + "▁Soc": 4234, + "▁э": 4235, + "▁attempt": 4236, + "*}": 4237, + "Null": 4238, + "rote": 4239, + "▁bi": 4240, + "▁written": 4241, + "▁blood": 4242, + "▁happened": 4243, + "▁cause": 4244, + "ashing": 4245, + "▁William": 4246, + "adem": 4247, + "▁brought": 4248, + "▁display": 4249, + "ima": 4250, + "▁finally": 4251, + "tab": 4252, + "▁returned": 4253, + "ных": 4254, + "nie": 4255, + "▁q": 4256, + "▁hers": 4257, + "▁Pre": 4258, + "▁dou": 4259, + "buffer": 4260, + "▁effort": 4261, + "aine": 4262, + "xy": 4263, + "▁histor": 4264, + "enu": 4265, + "▁arriv": 4266, + "▁Dem": 4267, + "▁favor": 4268, + "▁handle": 4269, + "SET": 4270, + "▁Public": 4271, + "rupt": 4272, + "▁ur": 4273, + "▁force": 4274, + "▁és": 4275, + "ube": 4276, + "Pre": 4277, + "рі": 4278, + "iny": 4279, + "theta": 4280, + "isf": 4281, + "▁national": 4282, + "Equal": 4283, + "rench": 4284, + "▁wife": 4285, + "▁capt": 4286, + "▁Inter": 4287, + "tau": 4288, + "▁sleep": 4289, + "../../": 4290, + "▁issue": 4291, + "▁member": 4292, + "▁await": 4293, + "▁Dan": 4294, + "zi": 4295, + "inate": 4296, + "▁sym": 4297, + "chan": 4298, + "▁Jack": 4299, + "▁English": 4300, + "▁sz": 4301, + "ributes": 4302, + "▁ign": 4303, + "ál": 4304, + "▁appear": 4305, + "rad": 4306, + "idge": 4307, + "▁couple": 4308, + "▁ship": 4309, + "lig": 4310, + "web": 4311, + "▁usually": 4312, + "▁ready": 4313, + "▁vill": 4314, + "▁Why": 4315, + "ebru": 4316, + "▁grad": 4317, + "ords": 4318, + "▁inf": 4319, + "▁loss": 4320, + "▁od": 4321, + "▁Phil": 4322, + "server": 4323, + "▁Up": 4324, + "▁buff": 4325, + "▁filename": 4326, + "ABLE": 4327, + "iting": 4328, + "efore": 4329, + "()->": 4330, + "▁conditions": 4331, + "vm": 4332, + "eld": 4333, + "itz": 4334, + "▁Trans": 4335, + "▁weight": 4336, + "▁higher": 4337, + "▁rate": 4338, + "▁accom": 4339, + "vider": 4340, + "OM": 4341, + "▁ways": 4342, + "coming": 4343, + "▁lock": 4344, + "▁etc": 4345, + "▁avec": 4346, + "▁takes": 4347, + "▁Char": 4348, + "▁November": 4349, + "method": 4350, + "▁Austral": 4351, + "▁America": 4352, + "long": 4353, + "cember": 4354, + "▁political": 4355, + "flow": 4356, + "▁maybe": 4357, + "▁amb": 4358, + "Layout": 4359, + "iled": 4360, + "omen": 4361, + "ola": 4362, + "icip": 4363, + "partial": 4364, + "True": 4365, + "▁floor": 4366, + "▁Def": 4367, + "▁concern": 4368, + "yr": 4369, + "▁shows": 4370, + "ih": 4371, + "▁answer": 4372, + "acc": 4373, + "▁ball": 4374, + "▁Rev": 4375, + "▁sun": 4376, + "▁quickly": 4377, + "▁somet": 4378, + "mente": 4379, + "▁Mal": 4380, + "undred": 4381, + "▁issues": 4382, + "ecause": 4383, + "pes": 4384, + "▁player": 4385, + "▁parents": 4386, + "▁popular": 4387, + "▁mode": 4388, + "▁mention": 4389, + "NE": 4390, + "Load": 4391, + "▁regular": 4392, + "aved": 4393, + "?:": 4394, + "year": 4395, + "func": 4396, + "▁performance": 4397, + "▁July": 4398, + "thern": 4399, + "▁website": 4400, + "ford": 4401, + "PR": 4402, + "ela": 4403, + "level": 4404, + "uit": 4405, + "flags": 4406, + "▁worth": 4407, + "▁correspon": 4408, + "▁British": 4409, + "sim": 4410, + "▁alone": 4411, + "▁har": 4412, + "▁ones": 4413, + "obile": 4414, + "▁dru": 4415, + "chi": 4416, + "▁David": 4417, + "▁problems": 4418, + "▁column": 4419, + "();\r": 4420, + "ZE": 4421, + "▁relig": 4422, + "ological": 4423, + "▁region": 4424, + "ady": 4425, + "IO": 4426, + "ander": 4427, + "Net": 4428, + "▁built": 4429, + "▁install": 4430, + "▁approach": 4431, + "Cur": 4432, + "▁fine": 4433, + "▁talking": 4434, + "▁changes": 4435, + "Style": 4436, + "▁Mart": 4437, + "лю": 4438, + "response": 4439, + "teger": 4440, + "{\r": 4441, + "irit": 4442, + "▁protected": 4443, + "▁rele": 4444, + "ership": 4445, + "тель": 4446, + "unsigned": 4447, + "ialize": 4448, + "▁https": 4449, + "Tag": 4450, + "▁$(": 4451, + "more": 4452, + "ypes": 4453, + "▁stream": 4454, + "etch": 4455, + "▁engine": 4456, + "KE": 4457, + "cmd": 4458, + "script": 4459, + "ttp": 4460, + "▁avoid": 4461, + "▁terr": 4462, + "▁rock": 4463, + "▁ful": 4464, + "Update": 4465, + "▁environment": 4466, + "▁prec": 4467, + "▁са": 4468, + "▁cases": 4469, + "▁offset": 4470, + "▁rais": 4471, + "lib": 4472, + "ées": 4473, + "aa": 4474, + "yt": 4475, + "▁arr": 4476, + "opyright": 4477, + "first": 4478, + "▁util": 4479, + "▁feature": 4480, + "posed": 4481, + "ffect": 4482, + "жа": 4483, + "itude": 4484, + "ements": 4485, + "asc": 4486, + "ador": 4487, + "lections": 4488, + "▁club": 4489, + "]{": 4490, + "▁*)": 4491, + "ство": 4492, + "▁imm": 4493, + "▁former": 4494, + "▁rights": 4495, + "▁decided": 4496, + "▁rev": 4497, + "▁ment": 4498, + "ani": 4499, + "▁stru": 4500, + "▁attention": 4501, + "artment": 4502, + "▁Ital": 4503, + "alle": 4504, + "▁bis": 4505, + "gener": 4506, + "▁integr": 4507, + "ello": 4508, + "rypt": 4509, + "▁achie": 4510, + "nes": 4511, + "▁stra": 4512, + "sb": 4513, + "▁types": 4514, + "▁RE": 4515, + "Init": 4516, + "▁comment": 4517, + "▁addition": 4518, + "▁ID": 4519, + "ART": 4520, + "FO": 4521, + "щи": 4522, + "Conne": 4523, + "▁squ": 4524, + "▁considered": 4525, + "idad": 4526, + "▁October": 4527, + "cial": 4528, + "▁Of": 4529, + "▁travel": 4530, + "▁boy": 4531, + "').": 4532, + "uy": 4533, + "illa": 4534, + "istry": 4535, + "▁va": 4536, + "▁Che": 4537, + "ERT": 4538, + "ende": 4539, + "ungen": 4540, + "aby": 4541, + "▁Rober": 4542, + "▁playing": 4543, + "ils": 4544, + "▁sam": 4545, + "▁execut": 4546, + "▁Us": 4547, + "▁mut": 4548, + "▁bal": 4549, + "asse": 4550, + "▁kids": 4551, + "▁financ": 4552, + "gor": 4553, + "▁Sec": 4554, + "bert": 4555, + "▁High": 4556, + "▁је": 4557, + "▁kept": 4558, + "button": 4559, + "itory": 4560, + "▁Rem": 4561, + "▁DE": 4562, + "▁reach": 4563, + "▁bur": 4564, + "Label": 4565, + "át": 4566, + "ago": 4567, + "▁passed": 4568, + "▁behav": 4569, + "xFF": 4570, + "▁Return": 4571, + "STR": 4572, + "▁Les": 4573, + "▁ord": 4574, + "ala": 4575, + "inger": 4576, + "▁Since": 4577, + "▁experi": 4578, + "▁shall": 4579, + "▁star": 4580, + "non": 4581, + "▁gun": 4582, + "▁Bel": 4583, + "▁obj": 4584, + "ares": 4585, + "rs": 4586, + "▁weeks": 4587, + "nen": 4588, + "▁Stre": 4589, + "oring": 4590, + "▁î": 4591, + "▁serious": 4592, + "times": 4593, + "▁House": 4594, + "▁roll": 4595, + "▁register": 4596, + "▁module": 4597, + "▁applic": 4598, + "IR": 4599, + "▁cook": 4600, + "aux": 4601, + "▁save": 4602, + "▁Cr": 4603, + ",\r": 4604, + "▁states": 4605, + "▁empty": 4606, + "▁autom": 4607, + "figure": 4608, + "iance": 4609, + "▁happy": 4610, + "▁fn": 4611, + "▁jud": 4612, + "▁hat": 4613, + "ACK": 4614, + "▁Fe": 4615, + "$-": 4616, + "ivil": 4617, + "oted": 4618, + "▁sizeof": 4619, + "▁situation": 4620, + "▁lives": 4621, + "▁feeling": 4622, + "▁risk": 4623, + "▁January": 4624, + "▁Object": 4625, + "▁recomm": 4626, + "▁вы": 4627, + "▁potential": 4628, + "eah": 4629, + "▁complex": 4630, + "printf": 4631, + "istance": 4632, + "irth": 4633, + "lik": 4634, + "aste": 4635, + "▁whose": 4636, + "Arg": 4637, + "▁modern": 4638, + "iones": 4639, + "▁че": 4640, + "▁sett": 4641, + "▁Mag": 4642, + "ae": 4643, + "▁condition": 4644, + "Length": 4645, + "▁fit": 4646, + "ounds": 4647, + "▁changed": 4648, + "▁guy": 4649, + "filter": 4650, + "atever": 4651, + "éd": 4652, + "remove": 4653, + "▁hop": 4654, + "▁Out": 4655, + "▁Rich": 4656, + "child": 4657, + "▁included": 4658, + "$\\": 4659, + "▁Tom": 4660, + "eline": 4661, + "▁sometimes": 4662, + "▁drink": 4663, + "▁quant": 4664, + "▁please": 4665, + "▁Int": 4666, + "rief": 4667, + "▁exactly": 4668, + "cing": 4669, + "▁allowed": 4670, + "build": 4671, + "▁beautiful": 4672, + "▁Well": 4673, + "▁looks": 4674, + "▁ü": 4675, + "▁chance": 4676, + "▁wrote": 4677, + "▁nor": 4678, + "▁failed": 4679, + "Met": 4680, + "▁prior": 4681, + "▁hundred": 4682, + "ской": 4683, + "oria": 4684, + "▁cy": 4685, + "▁web": 4686, + "▁mess": 4687, + "leq": 4688, + "dy": 4689, + "tex": 4690, + "▁anim": 4691, + "atur": 4692, + "▁structure": 4693, + "option": 4694, + "▁actual": 4695, + "▁Franc": 4696, + "enced": 4697, + ".": 4884, + "▁production": 4885, + "iger": 4886, + "▁ст": 4887, + "show": 4888, + "▁population": 4889, + "▁park": 4890, + "▁Ze": 4891, + "▁necessary": 4892, + "▁trust": 4893, + "▁shown": 4894, + "module": 4895, + "GE": 4896, + "▁lay": 4897, + "▁announ": 4898, + "▁className": 4899, + "▁calcul": 4900, + "Function": 4901, + "▁Sal": 4902, + "OK": 4903, + "TP": 4904, + "▁entry": 4905, + "▁Stud": 4906, + "▁items": 4907, + "▁security": 4908, + "Entry": 4909, + "float": 4910, + "ls": 4911, + "ibly": 4912, + "▁contribut": 4913, + "▁Check": 4914, + "MD": 4915, + "▁improve": 4916, + "Part": 4917, + "▁systems": 4918, + "Bl": 4919, + "▁policy": 4920, + "▁screen": 4921, + "▁Any": 4922, + "▁opened": 4923, + "alloc": 4924, + "▁December": 4925, + "▁É": 4926, + "▁email": 4927, + "ader": 4928, + "=>": 4929, + "▁Hen": 4930, + "▁info": 4931, + "▁float": 4932, + "▁switch": 4933, + "ран": 4934, + "urance": 4935, + "▁assum": 4936, + "ustr": 4937, + "▁groups": 4938, + "▁Read": 4939, + "▁wat": 4940, + "Sp": 4941, + "вер": 4942, + "RAN": 4943, + "hib": 4944, + "ALL": 4945, + "▁hus": 4946, + "Spec": 4947, + "\"))": 4948, + "▁French": 4949, + "▁Class": 4950, + "▁president": 4951, + "▁definit": 4952, + "▁Nor": 4953, + "▁Thom": 4954, + "aign": 4955, + "Width": 4956, + "Do": 4957, + "▁{@": 4958, + "agon": 4959, + "▁Lu": 4960, + "▁followed": 4961, + "MM": 4962, + "asons": 4963, + "tmp": 4964, + "▁throws": 4965, + "ITY": 4966, + "ном": 4967, + "▁fair": 4968, + "▁pen": 4969, + "ég": 4970, + "▁interface": 4971, + "▁saf": 4972, + "oon": 4973, + "Back": 4974, + "▁speed": 4975, + "▁extends": 4976, + "empty": 4977, + "▁пере": 4978, + "▁proper": 4979, + "▁driv": 4980, + "фи": 4981, + "▁center": 4982, + "header": 4983, + "▁})": 4984, + "wa": 4985, + "▁middle": 4986, + "▁choose": 4987, + "▁Stad": 4988, + "SO": 4989, + "Factory": 4990, + "Dev": 4991, + "icles": 4992, + "▁application": 4993, + "▁models": 4994, + "pite": 4995, + "cap": 4996, + "xi": 4997, + "ospital": 4998, + "▁dream": 4999, + "END": 5000, + "▁contract": 5001, + "icrosoft": 5002, + "▁thous": 5003, + "izes": 5004, + "▁да": 5005, + "▁CO": 5006, + "▁direction": 5007, + "▁``": 5008, + "▁drive": 5009, + "Max": 5010, + "cia": 5011, + "▁continu": 5012, + "▁Alex": 5013, + "▁gold": 5014, + "▁prep": 5015, + "▁origin": 5016, + "▁rap": 5017, + "Op": 5018, + "ously": 5019, + "▁areas": 5020, + "PORT": 5021, + "она": 5022, + "▁safe": 5023, + "▁professional": 5024, + "apache": 5025, + "▁temper": 5026, + "sz": 5027, + "▁unit": 5028, + "▁cop": 5029, + "eqn": 5030, + "Listener": 5031, + "▁format": 5032, + "select": 5033, + "▁comfort": 5034, + "▁meant": 5035, + "iday": 5036, + "eme": 5037, + "▁active": 5038, + "▁note": 5039, + "▁Mil": 5040, + "only": 5041, + "▁<=": 5042, + "▁neigh": 5043, + "ao": 5044, + "▁blue": 5045, + "▁TV": 5046, + "Child": 5047, + "▁reached": 5048, + "Address": 5049, + "ств": 5050, + "▁closed": 5051, + "inder": 5052, + "olo": 5053, + "▁alt": 5054, + "▁adm": 5055, + "Format": 5056, + "UI": 5057, + "▁Ham": 5058, + "▁frequ": 5059, + "▁independ": 5060, + "▁easily": 5061, + "▁Land": 5062, + "▁tor": 5063, + "ography": 5064, + "infty": 5065, + "▁Work": 5066, + "iven": 5067, + "▁County": 5068, + "▁src": 5069, + "}$,": 5070, + "parse": 5071, + "CD": 5072, + "▁Cour": 5073, + "▁fol": 5074, + "Entity": 5075, + "pgf": 5076, + "▁China": 5077, + "▁Sub": 5078, + "hood": 5079, + "▁fields": 5080, + "▁yes": 5081, + "rend": 5082, + "▁towards": 5083, + "▁staff": 5084, + "▁Air": 5085, + "▁station": 5086, + "atives": 5087, + "▁impact": 5088, + "вы": 5089, + "▁directly": 5090, + "issions": 5091, + "iva": 5092, + "|\\": 5093, + "Ptr": 5094, + "▁Sant": 5095, + "Pol": 5096, + "▁progress": 5097, + "itar": 5098, + "▁parts": 5099, + "▁plant": 5100, + "▁absolut": 5101, + "▁guess": 5102, + "eqref": 5103, + "▁tim": 5104, + "▁Lou": 5105, + "▁cool": 5106, + "alu": 5107, + "▁mouth": 5108, + "них": 5109, + "▁height": 5110, + "gest": 5111, + "▁Post": 5112, + "▁board": 5113, + "▁tit": 5114, + "▁hour": 5115, + "▁server": 5116, + "▁players": 5117, + "rier": 5118, + "Link": 5119, + "▁President": 5120, + "](": 5121, + "▁construct": 5122, + "handle": 5123, + "}$.": 5124, + "rying": 5125, + "▁shop": 5126, + "iana": 5127, + "exp": 5128, + "Helper": 5129, + "Offset": 5130, + "aches": 5131, + "▁connection": 5132, + "▁difference": 5133, + "service": 5134, + "▁gas": 5135, + "▁priv": 5136, + "▁univers": 5137, + "▁wish": 5138, + "Rem": 5139, + "Url": 5140, + "geb": 5141, + "So": 5142, + "ensions": 5143, + "Module": 5144, + "SIZE": 5145, + "▁prem": 5146, + "window": 5147, + "▁dies": 5148, + "del": 5149, + "▁row": 5150, + "▁average": 5151, + "xim": 5152, + "▁pu": 5153, + "anç": 5154, + "Det": 5155, + "ker": 5156, + "ya": 5157, + "▁Det": 5158, + "▁på": 5159, + "▁named": 5160, + "▁decision": 5161, + "win": 5162, + "▁George": 5163, + "arily": 5164, + "▁solution": 5165, + "▁multiple": 5166, + "ategy": 5167, + "▁learning": 5168, + "▁secret": 5169, + "DO": 5170, + "▁nice": 5171, + "////////////////": 5172, + "Su": 5173, + "itation": 5174, + "▁join": 5175, + "▁elements": 5176, + "▁emer": 5177, + "tilde": 5178, + "▁dep": 5179, + "▁shot": 5180, + "▁platform": 5181, + "othing": 5182, + "My": 5183, + "edia": 5184, + "oms": 5185, + "aily": 5186, + "([": 5187, + "▁dress": 5188, + "▁official": 5189, + "estern": 5190, + "▁discover": 5191, + "▁mi": 5192, + "ные": 5193, + "CA": 5194, + "oding": 5195, + "▁Found": 5196, + "▁affect": 5197, + "Vis": 5198, + "stract": 5199, + "iced": 5200, + "debug": 5201, + "▁related": 5202, + "▁spect": 5203, + "ushed": 5204, + "сько": 5205, + "▁bank": 5206, + "▁cele": 5207, + "AND": 5208, + "olf": 5209, + "ем": 5210, + "▁fill": 5211, + "▁gives": 5212, + "▁бу": 5213, + "aron": 5214, + "▁Jes": 5215, + "REG": 5216, + "▁sudd": 5217, + "dated": 5218, + "vi": 5219, + "▁gi": 5220, + "send": 5221, + "cpp": 5222, + "▁spent": 5223, + "ande": 5224, + "▁operation": 5225, + "process": 5226, + "▁inform": 5227, + "▁Free": 5228, + "yond": 5229, + "▁perhaps": 5230, + "▁surv": 5231, + "▁Loc": 5232, + "▁concl": 5233, + "▁раз": 5234, + "▁Over": 5235, + "hol": 5236, + "raz": 5237, + "Write": 5238, + "▁giving": 5239, + "rd": 5240, + "instance": 5241, + "▁released": 5242, + "▁Ro": 5243, + "RA": 5244, + "▁practice": 5245, + "▁graph": 5246, + "▁increase": 5247, + "▁figure": 5248, + "Filter": 5249, + "HECK": 5250, + "idx": 5251, + "▁glass": 5252, + "ski": 5253, + "comes": 5254, + "▁cat": 5255, + "▁cold": 5256, + "goto": 5257, + "ufact": 5258, + "▁Copyright": 5259, + "}}\\": 5260, + "▁streng": 5261, + "▁dir": 5262, + "token": 5263, + "▁occur": 5264, + "arlier": 5265, + "▁measure": 5266, + "▁sec": 5267, + "▁más": 5268, + "▁Net": 5269, + "▁argument": 5270, + "▁sou": 5271, + "▁moving": 5272, + "▁prefer": 5273, + "mask": 5274, + "<<": 5275, + "▁breath": 5276, + "▁physical": 5277, + "▁positive": 5278, + "▁sor": 5279, + "▁depart": 5280, + "▁remove": 5281, + "▁kit": 5282, + "▁meeting": 5283, + "▁Data": 5284, + "ograf": 5285, + "actions": 5286, + "▁parameters": 5287, + "▁Att": 5288, + "esch": 5289, + "▁involved": 5290, + "ät": 5291, + "LL": 5292, + "Bar": 5293, + "▁си": 5294, + "ech": 5295, + "GET": 5296, + "▁prevent": 5297, + "▁beyond": 5298, + "▁Other": 5299, + "än": 5300, + "byte": 5301, + "▁sudden": 5302, + "olve": 5303, + "▁но": 5304, + "LOG": 5305, + "unit": 5306, + "▁truth": 5307, + "rat": 5308, + "SD": 5309, + "▁eat": 5310, + "▁Mad": 5311, + "▁provides": 5312, + "▁session": 5313, + "Dele": 5314, + "▁convers": 5315, + "center": 5316, + "▁continued": 5317, + "otion": 5318, + "cache": 5319, + "display": 5320, + "▁protect": 5321, + "ams": 5322, + "▁pow": 5323, + "CTION": 5324, + "▁Mac": 5325, + "mo": 5326, + "ха": 5327, + "▁distance": 5328, + "▁Time": 5329, + "gi": 5330, + "▁sequ": 5331, + "Target": 5332, + "сле": 5333, + "Server": 5334, + "▁wide": 5335, + "close": 5336, + "▁cru": 5337, + "Ext": 5338, + "▁select": 5339, + "▁pattern": 5340, + "\"));": 5341, + "Provider": 5342, + "URL": 5343, + "▁green": 5344, + "▁waiting": 5345, + "proto": 5346, + "▁immediately": 5347, + "common": 5348, + "azione": 5349, + "river": 5350, + "▁sen": 5351, + "▁!==": 5352, + "▁February": 5353, + "urb": 5354, + "▁Sen": 5355, + "dest": 5356, + ">": 6122, + "command": 6123, + "atz": 6124, + "▁mal": 6125, + "став": 6126, + "▁Press": 6127, + "▁characters": 6128, + "▁zero": 6129, + "AGE": 6130, + "rapper": 6131, + "▁kitchen": 6132, + "aming": 6133, + "▁restr": 6134, + "XX": 6135, + "▁College": 6136, + "▁Array": 6137, + "▁fresh": 6138, + "▁shift": 6139, + "▁specified": 6140, + "plete": 6141, + "ITE": 6142, + "▁Camp": 6143, + "rial": 6144, + "cb": 6145, + "▁TH": 6146, + "IB": 6147, + "osen": 6148, + "▁ú": 6149, + "▁params": 6150, + "ignment": 6151, + "adding": 6152, + "▁degree": 6153, + "Local": 6154, + "Oh": 6155, + "▁zur": 6156, + "▁levels": 6157, + "CS": 6158, + "finished": 6159, + "Case": 6160, + "riage": 6161, + "Vector": 6162, + "▁sea": 6163, + "antic": 6164, + "▁League": 6165, + "▁therefore": 6166, + "One": 6167, + "Return": 6168, + "Access": 6169, + "vas": 6170, + "▁ос": 6171, + "▁rat": 6172, + "Big": 6173, + "▁behavior": 6174, + "kr": 6175, + "▁undefined": 6176, + "▁Es": 6177, + "▁appeared": 6178, + "eles": 6179, + "▁WAR": 6180, + "Stat": 6181, + "▁Google": 6182, + "▁credit": 6183, + "▁File": 6184, + "anging": 6185, + "house": 6186, + "romise": 6187, + "gent": 6188, + "▁habit": 6189, + "▁society": 6190, + "▁encour": 6191, + "▁paint": 6192, + "pet": 6193, + "▁UK": 6194, + "aws": 6195, + "onom": 6196, + "Gl": 6197, + "}_{\\": 6198, + "eless": 6199, + "emy": 6200, + "▁Cong": 6201, + "▁developed": 6202, + "▁images": 6203, + "▁ö": 6204, + "▁font": 6205, + "clear": 6206, + "gin": 6207, + "▁Lord": 6208, + "▁transport": 6209, + "▁::": 6210, + "▁cup": 6211, + "ulate": 6212, + "▁During": 6213, + "priv": 6214, + "▁extrem": 6215, + "▁Di": 6216, + "▁doubt": 6217, + "Py": 6218, + "ifying": 6219, + "split": 6220, + "ego": 6221, + "github": 6222, + "▁),": 6223, + "ROM": 6224, + "▁chair": 6225, + "▁trade": 6226, + "▁nicht": 6227, + "Top": 6228, + "Store": 6229, + "▁parte": 6230, + "project": 6231, + "nia": 6232, + "▁від": 6233, + "war": 6234, + "▁Prof": 6235, + "▁caught": 6236, + "Thread": 6237, + "ства": 6238, + "author": 6239, + "▁doll": 6240, + "▁harm": 6241, + "▁Gen": 6242, + "tree": 6243, + "etime": 6244, + "cfg": 6245, + "▁guys": 6246, + "▁California": 6247, + "▁Green": 6248, + "▁movement": 6249, + "iej": 6250, + "▁statement": 6251, + "▁seeing": 6252, + "▁haven": 6253, + "vention": 6254, + "SL": 6255, + "chedul": 6256, + "iert": 6257, + "▁primary": 6258, + "▁civil": 6259, + "rian": 6260, + "▁button": 6261, + "▁lived": 6262, + "Pass": 6263, + "sor": 6264, + "▁watching": 6265, + "▁skills": 6266, + "tee": 6267, + "Level": 6268, + "▁scient": 6269, + "hs": 6270, + "▁agre": 6271, + "cat": 6272, + "▁tend": 6273, + "▁Mill": 6274, + "▁Cap": 6275, + "ORD": 6276, + "gle": 6277, + "▁сво": 6278, + "»,": 6279, + "▁ahead": 6280, + "vest": 6281, + "▁Jose": 6282, + "ischer": 6283, + "și": 6284, + "▁leaving": 6285, + "▁для": 6286, + "▁south": 6287, + "▁consum": 6288, + "Range": 6289, + "▁activities": 6290, + "Sec": 6291, + "▁sales": 6292, + "▁fix": 6293, + "▁jed": 6294, + "rum": 6295, + "vector": 6296, + "▁spot": 6297, + "▁manufact": 6298, + "кт": 6299, + "orrow": 6300, + "sign": 6301, + "▁college": 6302, + "▁driver": 6303, + "▁definitely": 6304, + "▁spend": 6305, + "mission": 6306, + "зу": 6307, + "atively": 6308, + "bi": 6309, + "Callback": 6310, + "▁particularly": 6311, + "▁hell": 6312, + "▁pool": 6313, + "PRE": 6314, + "▁clearly": 6315, + "PT": 6316, + "othes": 6317, + "▁Id": 6318, + "Location": 6319, + "▁Run": 6320, + "▁fixed": 6321, + "▁Hand": 6322, + "bal": 6323, + "double": 6324, + "Can": 6325, + "Omega": 6326, + "▁challeng": 6327, + "▁standing": 6328, + "iten": 6329, + "▁mechan": 6330, + "▁durch": 6331, + "▁dell": 6332, + "▁raised": 6333, + "▁weak": 6334, + "▁Du": 6335, + "grad": 6336, + "▁scene": 6337, + "poss": 6338, + "▁ton": 6339, + "▁earth": 6340, + "ulations": 6341, + "▁strength": 6342, + "aked": 6343, + "▁remain": 6344, + "▁Bi": 6345, + "▁customer": 6346, + "range": 6347, + "▁interested": 6348, + "ONE": 6349, + "▁coff": 6350, + "require": 6351, + "▁Only": 6352, + "▁Web": 6353, + "▁farm": 6354, + "▁activity": 6355, + "▁rout": 6356, + "bling": 6357, + "SY": 6358, + "▁Richard": 6359, + "▁Ref": 6360, + "▁кон": 6361, + "▁jun": 6362, + "born": 6363, + "ijn": 6364, + "Configuration": 6365, + "uman": 6366, + "EE": 6367, + "▁married": 6368, + "▁За": 6369, + "▁fat": 6370, + "▁kid": 6371, + "▁Tur": 6372, + "▁offered": 6373, + "nic": 6374, + "▁Big": 6375, + "Gamma": 6376, + "▁Health": 6377, + "▁TR": 6378, + "▁się": 6379, + "▁construction": 6380, + "▁Church": 6381, + "▁Bet": 6382, + "bus": 6383, + "▁earn": 6384, + "rict": 6385, + "▁пра": 6386, + "▁brain": 6387, + "▁fra": 6388, + "▁Op": 6389, + "FIG": 6390, + "ema": 6391, + "▁European": 6392, + "▁Saint": 6393, + "ARE": 6394, + "uri": 6395, + "▁River": 6396, + "{}": 6397, + "▁sitting": 6398, + "▁understanding": 6399, + "▁plans": 6400, + "ropri": 6401, + "▁older": 6402, + "▁pressure": 6403, + "Impl": 6404, + "▁peace": 6405, + "Connection": 6406, + "▁fi": 6407, + "rich": 6408, + "▁shut": 6409, + "apers": 6410, + "Port": 6411, + "▁Look": 6412, + "rim": 6413, + "auth": 6414, + "auto": 6415, + "▁highly": 6416, + "▁unless": 6417, + "▁Wal": 6418, + "▁ren": 6419, + "ws": 6420, + "▁core": 6421, + "(-": 6422, + "▁clim": 6423, + "ruit": 6424, + "▁callback": 6425, + "hest": 6426, + "▁Charles": 6427, + "▁Long": 6428, + "}=": 6429, + "ър": 6430, + "▁shared": 6431, + "ulated": 6432, + "gorithm": 6433, + "▁Home": 6434, + "▁village": 6435, + "ees": 6436, + "sv": 6437, + "▁restaur": 6438, + "rey": 6439, + "▁Cast": 6440, + "▁Person": 6441, + "кий": 6442, + "▁organiz": 6443, + "▁Rad": 6444, + "ponents": 6445, + "▁werden": 6446, + "▁bow": 6447, + "sen": 6448, + "ami": 6449, + "Interface": 6450, + "▁basis": 6451, + "▁Company": 6452, + "ernel": 6453, + "itu": 6454, + "Hash": 6455, + "▁aan": 6456, + "▁х": 6457, + "▁smile": 6458, + "xml": 6459, + "▁scen": 6460, + "amm": 6461, + "tool": 6462, + "aria": 6463, + "▁accur": 6464, + "settings": 6465, + "▁Jesus": 6466, + "acement": 6467, + "power": 6468, + "(!": 6469, + "▁calls": 6470, + "▁basic": 6471, + "▁settings": 6472, + "ript": 6473, + "pool": 6474, + "ctors": 6475, + "▁Foundation": 6476, + "▁weap": 6477, + "KEY": 6478, + "foot": 6479, + "▁radio": 6480, + "▁helped": 6481, + "mann": 6482, + "▁jump": 6483, + "▁tick": 6484, + "▁growing": 6485, + "aten": 6486, + "real": 6487, + "▁increasing": 6488, + "Device": 6489, + "varepsilon": 6490, + "▁sets": 6491, + "▁advant": 6492, + "Open": 6493, + "▁reasons": 6494, + "▁supposed": 6495, + "oes": 6496, + "ede": 6497, + "teen": 6498, + "ifdef": 6499, + "▁delete": 6500, + "▁&=": 6501, + "▁Bill": 6502, + "▁aim": 6503, + "▁Ok": 6504, + "▁Av": 6505, + "reci": 6506, + "acks": 6507, + "iste": 6508, + "Properties": 6509, + "▁tmp": 6510, + "▁dei": 6511, + "PER": 6512, + "DC": 6513, + "sta": 6514, + "нии": 6515, + "▁limited": 6516, + "▁greater": 6517, + "description": 6518, + "ori": 6519, + "aints": 6520, + "▁hy": 6521, + "▁Mel": 6522, + "▁CH": 6523, + "cons": 6524, + "▁surround": 6525, + "▁Who": 6526, + "arc": 6527, + "▁telev": 6528, + "itution": 6529, + "▁equal": 6530, + "кі": 6531, + "▁Israel": 6532, + "äh": 6533, + "▁Caption": 6534, + "▁exerc": 6535, + "empor": 6536, + "▁++": 6537, + "▁lib": 6538, + "make": 6539, + "▁MA": 6540, + "copy": 6541, + "friend": 6542, + "▁кото": 6543, + "▁damage": 6544, + "▁\\,": 6545, + "oded": 6546, + "▁none": 6547, + "▁evalu": 6548, + "ston": 6549, + ">,": 6550, + "FOR": 6551, + "▁norm": 6552, + "appe": 6553, + "Session": 6554, + "▁adult": 6555, + "▁hospital": 6556, + "▁recommend": 6557, + "property": 6558, + "stein": 6559, + "final": 6560, + "▁nu": 6561, + "second": 6562, + "▁aspect": 6563, + "\")]": 6564, + "жен": 6565, + "amento": 6566, + "▁rac": 6567, + "save": 6568, + "▁football": 6569, + "Ab": 6570, + "ungs": 6571, + "abil": 6572, + "▁Arch": 6573, + "system": 6574, + "hist": 6575, + "▁luck": 6576, + "render": 6577, + "▁sein": 6578, + "ioni": 6579, + "▁rot": 6580, + "▁corner": 6581, + "▁appropri": 6582, + "▁Software": 6583, + "▁tele": 6584, + "Delete": 6585, + "▁According": 6586, + "▁prison": 6587, + "▁lic": 6588, + "▁ми": 6589, + "term": 6590, + "sets": 6591, + "▁vel": 6592, + "▁rank": 6593, + "▁existing": 6594, + "▁Vir": 6595, + "▁trip": 6596, + "▁му": 6597, + "avax": 6598, + "▁ris": 6599, + "▁define": 6600, + "▁heat": 6601, + "car": 6602, + "▁convert": 6603, + "email": 6604, + "▁Under": 6605, + "▁Ш": 6606, + "▁Grand": 6607, + "▁exists": 6608, + "sys": 6609, + "eff": 6610, + "▁Top": 6611, + "▁č": 6612, + "▁tempor": 6613, + "▁arguments": 6614, + "▁supported": 6615, + "ensed": 6616, + "▁Francis": 6617, + "▁coord": 6618, + "▁achieve": 6619, + "▁Name": 6620, + "▁Jahr": 6621, + "▁Gi": 6622, + "she": 6623, + "▁Dev": 6624, + "▁alla": 6625, + "▁WIT": 6626, + "agment": 6627, + "custom": 6628, + "alls": 6629, + "&&": 6630, + "WE": 6631, + "▁holding": 6632, + "prototype": 6633, + "▁fing": 6634, + "▁bag": 6635, + "▁Party": 6636, + "stack": 6637, + "▁economic": 6638, + "▁Gal": 6639, + "idents": 6640, + "▁Jun": 6641, + "▁showed": 6642, + "osh": 6643, + "▁Bay": 6644, + "mail": 6645, + "▁SO": 6646, + "▁\"<": 6647, + "graphics": 6648, + "▁fu": 6649, + "click": 6650, + "▁battle": 6651, + "{{": 6652, + "▁Event": 6653, + "rior": 6654, + "chaft": 6655, + "▁favorite": 6656, + "usive": 6657, + "support": 6658, + "bm": 6659, + "Kind": 6660, + "▁safety": 6661, + "▁Ent": 6662, + "cup": 6663, + "▁Australia": 6664, + "▁destroy": 6665, + "▁organization": 6666, + "iden": 6667, + "################": 6668, + "dec": 6669, + "▁za": 6670, + "▁seven": 6671, + "arely": 6672, + "▁flag": 6673, + "Dir": 6674, + "▁Carl": 6675, + "▁doctor": 6676, + "▁variety": 6677, + "▁Lin": 6678, + "▁tom": 6679, + "^{(": 6680, + "Bo": 6681, + "antes": 6682, + "▁mine": 6683, + "▁Mit": 6684, + "▁describe": 6685, + "Args": 6686, + "LS": 6687, + "API": 6688, + "▁Luc": 6689, + "phone": 6690, + "▁science": 6691, + "▁Oper": 6692, + "Next": 6693, + "▁investig": 6694, + "▁demonstr": 6695, + "▁Govern": 6696, + "▁objects": 6697, + "▁Louis": 6698, + "▁Returns": 6699, + "▁han": 6700, + "nam": 6701, + "▁comme": 6702, + "▁presence": 6703, + "▁pel": 6704, + "▁detect": 6705, + ")=": 6706, + "▁Chinese": 6707, + "▁rich": 6708, + "▁classes": 6709, + "▁expand": 6710, + "▁Dom": 6711, + "▁Dec": 6712, + "sn": 6713, + "peed": 6714, + "▁Jim": 6715, + "should": 6716, + "▁Smith": 6717, + "▁pages": 6718, + "▁Jean": 6719, + "rics": 6720, + "▁Sund": 6721, + "ads": 6722, + "▁Their": 6723, + "unicip": 6724, + "ву": 6725, + "▁download": 6726, + "▁stress": 6727, + "▁Pet": 6728, + "menu": 6729, + "reme": 6730, + "▁compared": 6731, + "Ste": 6732, + "IND": 6733, + "container": 6734, + "▁Indian": 6735, + "oren": 6736, + "▁ses": 6737, + "▁Whe": 6738, + "▁roku": 6739, + "▁established": 6740, + "▁generally": 6741, + "▁fle": 6742, + "__(": 6743, + "=\"+": 6744, + "Var": 6745, + "▁Make": 6746, + "▁removed": 6747, + "zz": 6748, + "ün": 6749, + "▁mix": 6750, + "erk": 6751, + "iation": 6752, + "outer": 6753, + "SK": 6754, + "▁becomes": 6755, + "▁Hall": 6756, + "scious": 6757, + "▁watched": 6758, + "▁gather": 6759, + "▁Result": 6760, + "proof": 6761, + "pay": 6762, + "▁produced": 6763, + "▁|=": 6764, + "▁border": 6765, + "▁din": 6766, + "▁script": 6767, + "▁actions": 6768, + "▁mas": 6769, + "ща": 6770, + "ooth": 6771, + "▁Techn": 6772, + "Json": 6773, + "▁filled": 6774, + "ден": 6775, + "undle": 6776, + "сту": 6777, + "Tool": 6778, + "▁king": 6779, + "▁ven": 6780, + "stra": 6781, + "▁predict": 6782, + "▁lui": 6783, + "▁WARRAN": 6784, + "▁Fun": 6785, + "Script": 6786, + "▁powerful": 6787, + "▁lose": 6788, + "atically": 6789, + "▁daily": 6790, + "▁ring": 6791, + "▁arrived": 6792, + "Stack": 6793, + "scope": 6794, + "▁Back": 6795, + "elij": 6796, + "▁ze": 6797, + "keys": 6798, + "{\"": 6799, + "VID": 6800, + "▁license": 6801, + "what": 6802, + "▁proced": 6803, + "rant": 6804, + "estival": 6805, + "agram": 6806, + "▁LO": 6807, + "▁Henry": 6808, + "▁flags": 6809, + "Down": 6810, + "scription": 6811, + "▁families": 6812, + "isse": 6813, + "bour": 6814, + "▁Bur": 6815, + "—\"": 6816, + "▁brief": 6817, + "▁creating": 6818, + "▁clients": 6819, + "rangle": 6820, + "▁amazing": 6821, + "▁sind": 6822, + "▁covered": 6823, + "Well": 6824, + "сте": 6825, + "тор": 6826, + "▁Bas": 6827, + "total": 6828, + "▁Init": 6829, + "▁sand": 6830, + "Unit": 6831, + "▁murder": 6832, + "▁bright": 6833, + "▁trav": 6834, + "icans": 6835, + "▁attribute": 6836, + "fc": 6837, + "▁placed": 6838, + "EST": 6839, + "Vari": 6840, + "▁cos": 6841, + "▁attract": 6842, + "anel": 6843, + "}).": 6844, + "bytes": 6845, + "▁parse": 6846, + "▁belong": 6847, + "BN": 6848, + "▁Sol": 6849, + "Po": 6850, + "`,": 6851, + "▁calling": 6852, + "▁?>": 6853, + "▁iter": 6854, + "▁url": 6855, + "▁evening": 6856, + "reek": 6857, + "▁honest": 6858, + "▁director": 6859, + "RC": 6860, + "▁solid": 6861, + "▁phil": 6862, + "iene": 6863, + "FAULT": 6864, + "cope": 6865, + "▁History": 6866, + "▁Team": 6867, + "reedom": 6868, + "▁ru": 6869, + "UB": 6870, + "▁worse": 6871, + "imo": 6872, + "Mat": 6873, + "▁Mex": 6874, + "actor": 6875, + "▁vor": 6876, + "ться": 6877, + "▁experiment": 6878, + "▁Play": 6879, + "▁Another": 6880, + "▁happens": 6881, + "uan": 6882, + "▁patients": 6883, + "▁rend": 6884, + "▁Mo": 6885, + "▁Tex": 6886, + "▁wed": 6887, + "tn": 6888, + "insert": 6889, + "▁па": 6890, + "▁anti": 6891, + "Match": 6892, + "ampionship": 6893, + "▁forces": 6894, + "▁Hot": 6895, + "▁phase": 6896, + "▁template": 6897, + "stop": 6898, + "icated": 6899, + "▁managed": 6900, + "wait": 6901, + "▁*(": 6902, + "GB": 6903, + "▁appoint": 6904, + "ła": 6905, + "▁stick": 6906, + "▁FOR": 6907, + "▁Vis": 6908, + "tor": 6909, + "▁př": 6910, + "quest": 6911, + "uses": 6912, + "\");\r": 6913, + "▁suddenly": 6914, + "éc": 6915, + "ND": 6916, + "urop": 6917, + "ред": 6918, + "▁insurance": 6919, + "access": 6920, + "unfinished": 6921, + "▁tamb": 6922, + "▁sac": 6923, + "▁Court": 6924, + "▁missing": 6925, + "▁Where": 6926, + "▁Sum": 6927, + "}^{\\": 6928, + "▁sua": 6929, + "_,": 6930, + "▁thick": 6931, + "▁Trump": 6932, + "▁operations": 6933, + "FS": 6934, + "▁deux": 6935, + "dz": 6936, + "Template": 6937, + "▁\"/": 6938, + "▁odd": 6939, + "▁reality": 6940, + "▁teams": 6941, + "▁cer": 6942, + "oma": 6943, + "▁și": 6944, + "▁cloud": 6945, + "▁Department": 6946, + "Ne": 6947, + "▁requires": 6948, + "items": 6949, + "▁III": 6950, + "rightarrow": 6951, + ")->": 6952, + "▁writer": 6953, + "replace": 6954, + "▁thr": 6955, + "jen": 6956, + "▁ot": 6957, + "▁occup": 6958, + "▁eventually": 6959, + "▁Math": 6960, + "▁conserv": 6961, + "amer": 6962, + "▁Fort": 6963, + "▁dry": 6964, + "▁sexual": 6965, + "▁costs": 6966, + "▁forms": 6967, + "▁Vict": 6968, + "PAR": 6969, + "framework": 6970, + "▁ди": 6971, + "Operation": 6972, + "зна": 6973, + "which": 6974, + "▁tight": 6975, + "Invalid": 6976, + "▁partner": 6977, + "▁пред": 6978, + "▁thank": 6979, + "▁guard": 6980, + "hem": 6981, + "Body": 6982, + "▁emot": 6983, + "IX": 6984, + "fast": 6985, + "що": 6986, + "ño": 6987, + "night": 6988, + "▁Sci": 6989, + "ника": 6990, + "▁TO": 6991, + "▁individuals": 6992, + "сси": 6993, + "}),": 6994, + "False": 6995, + "(\"%": 6996, + "▁optim": 6997, + "▁-->": 6998, + "▁factor": 6999, + "▁smaller": 7000, + "▁contain": 7001, + "spect": 7002, + "Engine": 7003, + "▁announced": 7004, + "▁Democr": 7005, + "▁rob": 7006, + "▁flat": 7007, + "osoph": 7008, + "Search": 7009, + "ahl": 7010, + "▁Exception": 7011, + "▁Ol": 7012, + "equals": 7013, + "▁unter": 7014, + "shape": 7015, + "NS": 7016, + "Obj": 7017, + "▁species": 7018, + "weight": 7019, + "you": 7020, + "▁este": 7021, + "▁View": 7022, + "▁mission": 7023, + "▁journal": 7024, + "Values": 7025, + "▁einem": 7026, + "ismo": 7027, + "▁projects": 7028, + "▁Das": 7029, + "rible": 7030, + "▁serve": 7031, + "▁opening": 7032, + "▁hur": 7033, + "▁programs": 7034, + "▁USA": 7035, + "iliar": 7036, + "idos": 7037, + "Br": 7038, + "estamp": 7039, + "▁tools": 7040, + "anner": 7041, + "RT": 7042, + "▁Start": 7043, + "▁bath": 7044, + "▁coffee": 7045, + "orter": 7046, + "internal": 7047, + "files": 7048, + "INVAL": 7049, + "ako": 7050, + "dt": 7051, + "▁Second": 7052, + "▁alloc": 7053, + "▁ended": 7054, + "acional": 7055, + "▁manager": 7056, + "▁Sun": 7057, + "agg": 7058, + "▁leader": 7059, + "olved": 7060, + "▁что": 7061, + "▁traditional": 7062, + "shot": 7063, + "rup": 7064, + "CF": 7065, + "▁Each": 7066, + "wr": 7067, + "▁Som": 7068, + "▁materials": 7069, + "▁msg": 7070, + "▁syn": 7071, + "▁produce": 7072, + "▁storage": 7073, + "subsection": 7074, + "▁Sie": 7075, + "▁IP": 7076, + "CESS": 7077, + "▁wa": 7078, + "Record": 7079, + "▁marketing": 7080, + "plet": 7081, + "Dialog": 7082, + "▁mentioned": 7083, + "▁Na": 7084, + "▁Union": 7085, + "▁API": 7086, + "▁negative": 7087, + "txt": 7088, + "▁easier": 7089, + "legal": 7090, + "Dep": 7091, + "▁novel": 7092, + "eur": 7093, + "ació": 7094, + "▁Bud": 7095, + "▁carry": 7096, + "schaft": 7097, + "▁broken": 7098, + "▁trees": 7099, + ">();": 7100, + "▁emb": 7101, + "ieder": 7102, + "▁route": 7103, + "ikel": 7104, + "▁listen": 7105, + "ashion": 7106, + "▁Mrs": 7107, + "▁equipment": 7108, + "agger": 7109, + "▁Thus": 7110, + "▁matrix": 7111, + "alla": 7112, + "▁Tour": 7113, + "▁conversation": 7114, + "Mon": 7115, + "ournal": 7116, + "▁minute": 7117, + "Am": 7118, + "Api": 7119, + "▁forget": 7120, + "Me": 7121, + "levant": 7122, + "temp": 7123, + "▁telling": 7124, + "move": 7125, + "▁independent": 7126, + "toString": 7127, + "edit": 7128, + "▁Jac": 7129, + "azz": 7130, + "react": 7131, + "▁cin": 7132, + "▁Prov": 7133, + "isted": 7134, + "▁hash": 7135, + "onna": 7136, + "iki": 7137, + "▁generated": 7138, + "Render": 7139, + "▁psych": 7140, + "nav": 7141, + "▁entr": 7142, + "пра": 7143, + "rx": 7144, + "ATH": 7145, + "▁assume": 7146, + "Tree": 7147, + "sembly": 7148, + "▁Matt": 7149, + "caption": 7150, + "▁solutions": 7151, + "▁faith": 7152, + "▁digital": 7153, + "▁excell": 7154, + "▁Version": 7155, + "Debug": 7156, + "▁жи": 7157, + "▁carried": 7158, + "reset": 7159, + "▁slowly": 7160, + "ancing": 7161, + "▁owner": 7162, + "▁Ter": 7163, + "▁Did": 7164, + "▁gest": 7165, + "▁été": 7166, + "▁proof": 7167, + "Font": 7168, + "▁nob": 7169, + "Co": 7170, + "▁GNU": 7171, + "▁liber": 7172, + "itness": 7173, + "▁hij": 7174, + "▁vert": 7175, + "ша": 7176, + "FLAG": 7177, + "MENT": 7178, + "▁Son": 7179, + "Mult": 7180, + "▁district": 7181, + "connect": 7182, + "jection": 7183, + "lymp": 7184, + "▁realized": 7185, + "mos": 7186, + "ye": 7187, + "▁render": 7188, + "rio": 7189, + "▁interpret": 7190, + "▁slightly": 7191, + "fix": 7192, + "▁studies": 7193, + "▁rid": 7194, + "atre": 7195, + "▁benefits": 7196, + "▁Face": 7197, + "ivery": 7198, + "рия": 7199, + "document": 7200, + "▁asking": 7201, + "Last": 7202, + "arante": 7203, + "▁Martin": 7204, + "▁Ell": 7205, + "▁vector": 7206, + "▁forced": 7207, + "оло": 7208, + "PH": 7209, + "WR": 7210, + "▁Kl": 7211, + "▁sky": 7212, + "▁strategy": 7213, + "ocked": 7214, + "▁neck": 7215, + "ści": 7216, + "OUT": 7217, + ")),": 7218, + "Custom": 7219, + "▁wie": 7220, + "▁sweet": 7221, + "▁temp": 7222, + "▁foreign": 7223, + "▁hall": 7224, + "astr": 7225, + "Ass": 7226, + "MODE": 7227, + "▁maximum": 7228, + "annels": 7229, + "▁tip": 7230, + "▁seconds": 7231, + "▁stack": 7232, + "iga": 7233, + "▁raise": 7234, + "enable": 7235, + "oir": 7236, + "▁soul": 7237, + "Ke": 7238, + ")$.": 7239, + "▁Tim": 7240, + "ALSE": 7241, + "iser": 7242, + "contin": 7243, + "bel": 7244, + "▁mad": 7245, + "lichen": 7246, + "abe": 7247, + "safe": 7248, + "▁concent": 7249, + "bound": 7250, + "▁Requ": 7251, + "switch": 7252, + "▁stone": 7253, + "▁transl": 7254, + "▁vac": 7255, + "andon": 7256, + "▁Fore": 7257, + "▁sounds": 7258, + "▁Pop": 7259, + "▁HT": 7260, + "lia": 7261, + "enter": 7262, + "▁helps": 7263, + "edy": 7264, + "ствен": 7265, + "anted": 7266, + "▁Its": 7267, + "▁Step": 7268, + "Icon": 7269, + "▁EXPECT": 7270, + "ialized": 7271, + "Post": 7272, + "aze": 7273, + "▁Carol": 7274, + "▁req": 7275, + "▁critical": 7276, + "DS": 7277, + "▁seat": 7278, + "aped": 7279, + "▁upper": 7280, + "▁Sy": 7281, + "▁explain": 7282, + "▁'./": 7283, + "utils": 7284, + "possible": 7285, + "▁dont": 7286, + "Host": 7287, + "▁approxim": 7288, + "Async": 7289, + "▁grab": 7290, + "▁sources": 7291, + "▁Mos": 7292, + "▁Germany": 7293, + "▁rub": 7294, + "CHAN": 7295, + "▁rain": 7296, + "▁truly": 7297, + "▁joined": 7298, + "▁": 8276, + "agnost": 8277, + "▁proposed": 8278, + "▁Game": 8279, + "▁efforts": 8280, + "вя": 8281, + "tc": 8282, + "ск": 8283, + "▁intent": 8284, + "▁Bre": 8285, + "isc": 8286, + "▁protest": 8287, + "▁holds": 8288, + "ometry": 8289, + "▁Have": 8290, + "▁detail": 8291, + "▁WITHOUT": 8292, + "yer": 8293, + "▁Kon": 8294, + "▁noticed": 8295, + "▁requirements": 8296, + "DEBUG": 8297, + "kins": 8298, + "▁Span": 8299, + "▁cars": 8300, + "meta": 8301, + "▁kil": 8302, + "▁Bron": 8303, + "▁experienced": 8304, + "▁remind": 8305, + "ourse": 8306, + "▁Western": 8307, + "tered": 8308, + "▁devices": 8309, + "▁pictures": 8310, + "▁tut": 8311, + "\"`": 8312, + "▁impossible": 8313, + "▁rail": 8314, + "▁feels": 8315, + "icas": 8316, + "illing": 8317, + "▁accident": 8318, + "▁'@": 8319, + "________": 8320, + "▁notes": 8321, + "oman": 8322, + "Parser": 8323, + "▁discovered": 8324, + "▁Roman": 8325, + "▁budget": 8326, + "▁guide": 8327, + "king": 8328, + "▁incred": 8329, + "olar": 8330, + "enden": 8331, + "Desc": 8332, + "▁wave": 8333, + "бли": 8334, + "igt": 8335, + "▁restrict": 8336, + "▁Ret": 8337, + "▁mac": 8338, + "ур": 8339, + "BS": 8340, + "ís": 8341, + "▁generation": 8342, + "dem": 8343, + "alo": 8344, + "бра": 8345, + "▁ordered": 8346, + "drop": 8347, + "▁pp": 8348, + "▁Review": 8349, + "▁literally": 8350, + "▁Sir": 8351, + "▁Yeah": 8352, + "▁density": 8353, + "riz": 8354, + "inde": 8355, + "▁gain": 8356, + "▁panel": 8357, + "jet": 8358, + "▁Times": 8359, + "▁nella": 8360, + "▁previously": 8361, + "points": 8362, + "Send": 8363, + "▁Brown": 8364, + "each": 8365, + "▁trigger": 8366, + "ometimes": 8367, + "icos": 8368, + "GR": 8369, + "Panel": 8370, + "ogen": 8371, + "▁cm": 8372, + "ructions": 8373, + "▁kiss": 8374, + "▁solo": 8375, + "▁famous": 8376, + "ran": 8377, + "про": 8378, + "▁thro": 8379, + "Graph": 8380, + "imit": 8381, + "▁Value": 8382, + "▁starts": 8383, + "ipeline": 8384, + "hd": 8385, + "TC": 8386, + "▁discussion": 8387, + "▁truck": 8388, + "aka": 8389, + "Only": 8390, + "▁Equ": 8391, + "▁kö": 8392, + "▁Bes": 8393, + "▁critic": 8394, + "▁propos": 8395, + "▁batt": 8396, + "▁Section": 8397, + "Show": 8398, + "gp": 8399, + "STATE": 8400, + "POST": 8401, + "▁Nord": 8402, + "▁innov": 8403, + "▁crim": 8404, + "axis": 8405, + "▁Turn": 8406, + "conn": 8407, + "Runtime": 8408, + "▁remaining": 8409, + "oston": 8410, + "▁Э": 8411, + "▁windows": 8412, + "▁Royal": 8413, + "▁vide": 8414, + "PP": 8415, + "chron": 8416, + "▁san": 8417, + "▁rise": 8418, + "▁delle": 8419, + "▁Dur": 8420, + "▁rapid": 8421, + "cert": 8422, + "LA": 8423, + "edge": 8424, + "▁\\]": 8425, + "▁entered": 8426, + "▁laws": 8427, + "▁photo": 8428, + "▁applications": 8429, + "▁Berlin": 8430, + "▁arrest": 8431, + "▁federal": 8432, + "▁Russia": 8433, + "▁usual": 8434, + "▁raw": 8435, + "▁più": 8436, + "être": 8437, + "JSON": 8438, + "SION": 8439, + "xture": 8440, + "istent": 8441, + "▁Power": 8442, + "Bit": 8443, + "▁capacity": 8444, + "▁cards": 8445, + "UID": 8446, + "iments": 8447, + "▁dar": 8448, + "▁Chicago": 8449, + "▁comfortable": 8450, + "tip": 8451, + "bas": 8452, + "▁mu": 8453, + "▁enemy": 8454, + "yan": 8455, + "▁фи": 8456, + "▁updated": 8457, + "ango": 8458, + "Ev": 8459, + "Effect": 8460, + "osing": 8461, + "rence": 8462, + "▁Congress": 8463, + "▁defe": 8464, + "▁ip": 8465, + "▁tout": 8466, + "▁freedom": 8467, + "▁ao": 8468, + "▁Therefore": 8469, + "Edit": 8470, + "▁Virgin": 8471, + "REE": 8472, + "argo": 8473, + "▁Dam": 8474, + "▁traffic": 8475, + "ños": 8476, + "▁alle": 8477, + "▁depth": 8478, + "Now": 8479, + "▁sides": 8480, + "▁годи": 8481, + "Descriptor": 8482, + "▁artikel": 8483, + "▁narrow": 8484, + "___": 8485, + "kw": 8486, + "uto": 8487, + "▁Facebook": 8488, + "tegr": 8489, + "boolean": 8490, + "nik": 8491, + "bd": 8492, + "Track": 8493, + "▁gran": 8494, + "reshold": 8495, + "вет": 8496, + "wrap": 8497, + "▁noise": 8498, + "igu": 8499, + "▁Bon": 8500, + "▁wy": 8501, + "linux": 8502, + "cks": 8503, + "▁fans": 8504, + "▁mach": 8505, + "▁prices": 8506, + "év": 8507, + "outs": 8508, + "standing": 8509, + "▁categ": 8510, + ";\\": 8511, + "▁decre": 8512, + "▁Saturday": 8513, + "▁menu": 8514, + "▁Nov": 8515, + "▁Yet": 8516, + "▁так": 8517, + "liche": 8518, + "▁Academ": 8519, + "▁communication": 8520, + "using": 8521, + "▁Society": 8522, + "▁nuc": 8523, + "pective": 8524, + "orial": 8525, + "▁afraid": 8526, + "▁animal": 8527, + "▁turning": 8528, + "dst": 8529, + "mathfrak": 8530, + "lers": 8531, + "▁lots": 8532, + "▁á": 8533, + "▁Tra": 8534, + "np": 8535, + "▁rose": 8536, + "▁GL": 8537, + "▁helping": 8538, + "▁winter": 8539, + "▁ком": 8540, + "Mock": 8541, + "▁investment": 8542, + "Use": 8543, + "▁Canad": 8544, + "нд": 8545, + "Copy": 8546, + "▁fly": 8547, + "SER": 8548, + "▁Far": 8549, + "▁Ros": 8550, + "amil": 8551, + "▁fighting": 8552, + "▁religious": 8553, + "super": 8554, + "screen": 8555, + "▁furn": 8556, + "▁surprised": 8557, + "▁replied": 8558, + "Activity": 8559, + "▁Down": 8560, + "▁insert": 8561, + "▁Olymp": 8562, + "▁pointed": 8563, + "▁Card": 8564, + "driver": 8565, + "▁Da": 8566, + "!--": 8567, + "roud": 8568, + "undo": 8569, + "▁messages": 8570, + "▁Point": 8571, + "VM": 8572, + "▁plane": 8573, + "xc": 8574, + "▁television": 8575, + "ён": 8576, + "▁thousands": 8577, + "▁cris": 8578, + "▁delay": 8579, + "▁Next": 8580, + "▁nombre": 8581, + "▁tu": 8582, + "▁skip": 8583, + "road": 8584, + "istration": 8585, + "▁tur": 8586, + "▁Develop": 8587, + "▁Па": 8588, + "▁дру": 8589, + "▁wonderful": 8590, + ">&": 8591, + "▁Liber": 8592, + "▁scope": 8593, + "▁manage": 8594, + "▁dass": 8595, + "▁recall": 8596, + "PM": 8597, + "▁relevant": 8598, + "▁Earth": 8599, + "▁как": 8600, + "▁apr": 8601, + "▁ASS": 8602, + "ién": 8603, + "▁SH": 8604, + "oom": 8605, + "itet": 8606, + "none": 8607, + "asi": 8608, + "▁motor": 8609, + "▁Show": 8610, + "nb": 8611, + "▁factors": 8612, + "▁forest": 8613, + "▁вре": 8614, + "thm": 8615, + "▁municip": 8616, + "▁turns": 8617, + "▁Division": 8618, + "EC": 8619, + "▁disappe": 8620, + "structor": 8621, + "▁somewhere": 8622, + "▁African": 8623, + "▁Institute": 8624, + "Grid": 8625, + "▁teacher": 8626, + "uries": 8627, + "▁respectively": 8628, + "▁SD": 8629, + "▁alive": 8630, + "▁pou": 8631, + "▁Water": 8632, + "фе": 8633, + "▁changing": 8634, + "▁afternoon": 8635, + "▁orders": 8636, + "Ret": 8637, + "Pointer": 8638, + "▁sav": 8639, + "erg": 8640, + "oked": 8641, + "essions": 8642, + "▁Fire": 8643, + "aret": 8644, + "imm": 8645, + "▁desire": 8646, + "▁що": 8647, + "▁Design": 8648, + "uture": 8649, + "▁Office": 8650, + "▁cmd": 8651, + "▁eating": 8652, + "Network": 8653, + "▁rough": 8654, + "operator": 8655, + "IGN": 8656, + "▁sports": 8657, + "▁weren": 8658, + "▁noted": 8659, + "▁twice": 8660, + "III": 8661, + "▁anx": 8662, + "▁elim": 8663, + "▁ав": 8664, + "▁io": 8665, + "▁speech": 8666, + "▁condu": 8667, + "elles": 8668, + "idade": 8669, + "▁advance": 8670, + "RI": 8671, + "oca": 8672, + "/\\": 8673, + "apshot": 8674, + "▁tail": 8675, + "models": 8676, + "ogy": 8677, + "▁Jeff": 8678, + "iration": 8679, + "▁Kore": 8680, + "▁leads": 8681, + "bat": 8682, + "Adapter": 8683, + "category": 8684, + "angular": 8685, + "▁saved": 8686, + "▁uniform": 8687, + "▁né": 8688, + "▁businesses": 8689, + "Hist": 8690, + "▁ар": 8691, + "domain": 8692, + "▁Si": 8693, + "raise": 8694, + "▁warn": 8695, + "hetic": 8696, + "▁Gro": 8697, + ")).": 8698, + "}>": 8699, + "зе": 8700, + "▁Amazon": 8701, + "▁Organ": 8702, + "▁Lake": 8703, + "▁agreement": 8704, + "xa": 8705, + "▁perman": 8706, + "▁containing": 8707, + "▁strange": 8708, + "сті": 8709, + "▁stupid": 8710, + "▁speaking": 8711, + "▁Internet": 8712, + "prefix": 8713, + "esc": 8714, + "Assert": 8715, + "prote": 8716, + "▁manner": 8717, + "▁Sz": 8718, + "unte": 8719, + "iot": 8720, + "Profile": 8721, + "oven": 8722, + "▁formed": 8723, + "▁lit": 8724, + "▁economy": 8725, + "▁cz": 8726, + "wid": 8727, + "REQ": 8728, + "▁chosen": 8729, + "▁Produ": 8730, + "oster": 8731, + "stances": 8732, + "awa": 8733, + "▁Ren": 8734, + "▁confirm": 8735, + "▁Бо": 8736, + "▁billion": 8737, + "▁déc": 8738, + "ých": 8739, + "▁illustr": 8740, + "TIES": 8741, + "▁Pub": 8742, + "▁ban": 8743, + "aded": 8744, + "ahn": 8745, + "▁Cath": 8746, + "nonumber": 8747, + "▁worst": 8748, + "▁Ме": 8749, + "▁suggested": 8750, + "stats": 8751, + "▁cant": 8752, + "▁align": 8753, + "kappa": 8754, + "▁hen": 8755, + "▁initi": 8756, + "'])": 8757, + "BI": 8758, + "▁garden": 8759, + "▁secure": 8760, + "▁\\[": 8761, + "handler": 8762, + "elli": 8763, + "ldots": 8764, + "secut": 8765, + "▁extended": 8766, + "}-": 8767, + "anie": 8768, + "▁Find": 8769, + "▁Museum": 8770, + "▁Conne": 8771, + "yy": 8772, + "▁passion": 8773, + "akers": 8774, + "ahr": 8775, + "ologies": 8776, + "▁equation": 8777, + "▁occasion": 8778, + "Let": 8779, + "']['": 8780, + "Print": 8781, + "anes": 8782, + "iente": 8783, + "▁Today": 8784, + "LECT": 8785, + "▁Af": 8786, + ",,": 8787, + "▁Та": 8788, + "▁```": 8789, + "even": 8790, + "sin": 8791, + "urer": 8792, + "▁°": 8793, + "otimes": 8794, + "▁IO": 8795, + "▁poet": 8796, + "()));": 8797, + "▁−": 8798, + "▁adopt": 8799, + "phere": 8800, + "#[": 8801, + "▁centre": 8802, + "oves": 8803, + "▁ans": 8804, + "dp": 8805, + "▁Kir": 8806, + "▁applicable": 8807, + "fp": 8808, + "▁visual": 8809, + "▁okay": 8810, + "oro": 8811, + "▁opportunities": 8812, + "Repository": 8813, + "▁ll": 8814, + "▁Rod": 8815, + "▁shel": 8816, + "▁launch": 8817, + "▁conven": 8818, + "▁Spe": 8819, + "Amer": 8820, + "▁cette": 8821, + "Cond": 8822, + "dep": 8823, + "Own": 8824, + "▁hook": 8825, + "▁dict": 8826, + "▁Those": 8827, + "▁fellow": 8828, + "▁philosoph": 8829, + "vin": 8830, + "ferences": 8831, + "hav": 8832, + "▁adding": 8833, + "iverse": 8834, + "game": 8835, + "▁Blue": 8836, + "▁clin": 8837, + "note": 8838, + "▁Ram": 8839, + "мер": 8840, + "covery": 8841, + "ña": 8842, + "▁би": 8843, + "▁fashion": 8844, + "▁broke": 8845, + "▁'\\": 8846, + "▁reader": 8847, + "ное": 8848, + "ности": 8849, + "▁payment": 8850, + "▁Lic": 8851, + "▁lips": 8852, + "▁academ": 8853, + "▁Mot": 8854, + "ells": 8855, + "CHECK": 8856, + "▁ру": 8857, + "▁MS": 8858, + "Editor": 8859, + "▁zone": 8860, + "iture": 8861, + "▁IT": 8862, + "runtime": 8863, + "▁proceed": 8864, + "лов": 8865, + "▁Maria": 8866, + "olver": 8867, + "▁Thanks": 8868, + "▁shouldn": 8869, + "▁Joh": 8870, + "▁Model": 8871, + "▁Sov": 8872, + "!'": 8873, + "Di": 8874, + "▁cancer": 8875, + "Ident": 8876, + "▁exchange": 8877, + "iller": 8878, + "inf": 8879, + "LEN": 8880, + "(){": 8881, + "aga": 8882, + "\"],": 8883, + "uh": 8884, + "▁Ken": 8885, + "▁photos": 8886, + "▁tiny": 8887, + "▁gent": 8888, + "ül": 8889, + "▁Take": 8890, + "idel": 8891, + "outing": 8892, + "Internal": 8893, + "▁cells": 8894, + "ним": 8895, + "hard": 8896, + "▁Town": 8897, + "obe": 8898, + "plex": 8899, + "тер": 8900, + "tons": 8901, + "▁concentr": 8902, + "mock": 8903, + "vc": 8904, + "áz": 8905, + "▁Championship": 8906, + "▁бе": 8907, + "??": 8908, + "éri": 8909, + "aly": 8910, + "▁Ц": 8911, + "ierte": 8912, + "▁totally": 8913, + "▁Auf": 8914, + "▁ourselves": 8915, + "▁Self": 8916, + "Forms": 8917, + "ighter": 8918, + "▁island": 8919, + "fmt": 8920, + "▁rc": 8921, + "▁tells": 8922, + "BB": 8923, + "dit": 8924, + "▁variables": 8925, + "▁intended": 8926, + "izont": 8927, + "▁plays": 8928, + "dam": 8929, + "seq": 8930, + "▁Sup": 8931, + "▁cultural": 8932, + "▁scream": 8933, + "__,": 8934, + "cipl": 8935, + "Timeout": 8936, + "▁ж": 8937, + "orte": 8938, + "▁replaced": 8939, + "EM": 8940, + "▁abandon": 8941, + "▁Special": 8942, + "ellen": 8943, + "▁Bru": 8944, + "irmed": 8945, + "Te": 8946, + "olt": 8947, + "ju": 8948, + "Argument": 8949, + "▁neut": 8950, + "scape": 8951, + "▁Ray": 8952, + "▁Polit": 8953, + "▁crowd": 8954, + "▁Windows": 8955, + "iego": 8956, + "▁escape": 8957, + "▁Apache": 8958, + "sync": 8959, + "eben": 8960, + "ifies": 8961, + "ether": 8962, + "Meta": 8963, + "▁biggest": 8964, + "Game": 8965, + "▁transaction": 8966, + "Env": 8967, + "▁Мо": 8968, + "▁plenty": 8969, + "▁mel": 8970, + "пре": 8971, + "▁motiv": 8972, + "▁ор": 8973, + "organ": 8974, + "▁mock": 8975, + "▁$_": 8976, + "ене": 8977, + "▁Number": 8978, + "cknow": 8979, + "▁Update": 8980, + "zero": 8981, + "▁surprise": 8982, + "cean": 8983, + "pdf": 8984, + "Global": 8985, + "▁attend": 8986, + "▁fond": 8987, + "▁understood": 8988, + "Nav": 8989, + "▁Mic": 8990, + "=$": 8991, + "oking": 8992, + "▁Stadium": 8993, + "Close": 8994, + "▁competition": 8995, + "▁soldiers": 8996, + "▁OP": 8997, + "agne": 8998, + "▁Anton": 8999, + "Main": 9000, + "ák": 9001, + "▁#[": 9002, + "▁Commit": 9003, + "pyx": 9004, + "▁east": 9005, + "▁Order": 9006, + "Float": 9007, + "▁accepted": 9008, + "▁monitor": 9009, + "▁pad": 9010, + "onic": 9011, + "▁pushed": 9012, + "▁replace": 9013, + "CRE": 9014, + "▁ride": 9015, + "found": 9016, + "=%": 9017, + "вой": 9018, + "▁matches": 9019, + "▁Lie": 9020, + "▁experiences": 9021, + "Pool": 9022, + "ups": 9023, + "AV": 9024, + "▁existence": 9025, + "▁thin": 9026, + "▁magn": 9027, + "COMP": 9028, + "home": 9029, + "▁ni": 9030, + "▁wurden": 9031, + "лав": 9032, + "▁teeth": 9033, + "▁Stan": 9034, + "appro": 9035, + "anny": 9036, + "ifts": 9037, + "▁unknown": 9038, + "▁homes": 9039, + "▁entity": 9040, + "cie": 9041, + "ление": 9042, + "iar": 9043, + "▁compliance": 9044, + "▁focused": 9045, + "uzz": 9046, + "=\\\"": 9047, + "components": 9048, + "Attr": 9049, + "allery": 9050, + "▁identify": 9051, + "Ok": 9052, + "pie": 9053, + "▁Still": 9054, + "▁offering": 9055, + "▁busy": 9056, + "ctl": 9057, + "itors": 9058, + "▁concerned": 9059, + "▁brown": 9060, + "clk": 9061, + "Selected": 9062, + "▁Block": 9063, + "▁egy": 9064, + "icing": 9065, + "▁URL": 9066, + "▁topic": 9067, + "▁Product": 9068, + "▁чи": 9069, + "▁trial": 9070, + "▁weekend": 9071, + "lu": 9072, + "▁IV": 9073, + "▁Egy": 9074, + "xC": 9075, + "▁nove": 9076, + "▁lett": 9077, + "enne": 9078, + "()).": 9079, + ".**": 9080, + "▁promise": 9081, + "election": 9082, + "Auth": 9083, + "rv": 9084, + "ril": 9085, + "▁conduct": 9086, + "▁maintain": 9087, + "▁boat": 9088, + "▁opposite": 9089, + "spin": 9090, + "webpack": 9091, + "anta": 9092, + "▁orient": 9093, + "▁suc": 9094, + "▁exercise": 9095, + "▁efficient": 9096, + "▁tradition": 9097, + "▁zw": 9098, + "▁Sud": 9099, + "going": 9100, + "▁Pier": 9101, + "inv": 9102, + "ipes": 9103, + "ensuremath": 9104, + "▁conver": 9105, + "creen": 9106, + "▁terror": 9107, + "▁Dou": 9108, + "▁invalid": 9109, + "ceived": 9110, + "▁Arab": 9111, + "▁wire": 9112, + "application": 9113, + "shift": 9114, + "Generic": 9115, + "▁Plan": 9116, + "▁Wall": 9117, + "▁directory": 9118, + "▁egg": 9119, + "▁wealth": 9120, + "random": 9121, + "attribute": 9122, + "▁hide": 9123, + "Serial": 9124, + "cam": 9125, + "▁ital": 9126, + "▁Line": 9127, + "▁CHECK": 9128, + "ployment": 9129, + "▁massive": 9130, + "▁extract": 9131, + "chain": 9132, + "Rest": 9133, + "▁Las": 9134, + "▁bear": 9135, + "▁links": 9136, + "▁newsp": 9137, + "▁FC": 9138, + "Card": 9139, + "aks": 9140, + "▁visible": 9141, + "▁Marc": 9142, + "▁Boston": 9143, + "▁reserved": 9144, + "▁roof": 9145, + "licenses": 9146, + "dc": 9147, + "▁Information": 9148, + "▁witness": 9149, + "Sk": 9150, + "*),": 9151, + "Scope": 9152, + "'];": 9153, + "▁Mir": 9154, + "uding": 9155, + "▁trend": 9156, + "rep": 9157, + "▁musical": 9158, + "▁neither": 9159, + "▁Creat": 9160, + "▁positions": 9161, + "LC": 9162, + "ridge": 9163, + "▁officers": 9164, + "▁violence": 9165, + "▁Tem": 9166, + "▁Sus": 9167, + "▁Way": 9168, + "After": 9169, + "acket": 9170, + "▁Sou": 9171, + "acer": 9172, + "||": 9173, + "▁remark": 9174, + "water": 9175, + "ně": 9176, + "▁Са": 9177, + "▁sed": 9178, + "Each": 9179, + "▁photograph": 9180, + "▁letters": 9181, + "▁invent": 9182, + "▁Mas": 9183, + "▁songs": 9184, + "ól": 9185, + "kind": 9186, + "▁Non": 9187, + "▁dust": 9188, + "**:": 9189, + "nabla": 9190, + ".\",": 9191, + "Lock": 9192, + "▁До": 9193, + "▁cluster": 9194, + "loss": 9195, + "▁ASSERT": 9196, + "fall": 9197, + "▁reject": 9198, + "▁Spring": 9199, + "▁wedding": 9200, + "▁grav": 9201, + "ression": 9202, + "limit": 9203, + "RES": 9204, + "]}": 9205, + "▁listed": 9206, + "▁Tele": 9207, + "hline": 9208, + "▁chief": 9209, + "MEM": 9210, + "дар": 9211, + "▁expensive": 9212, + "trace": 9213, + "▁Rog": 9214, + "▁Coll": 9215, + "▁Author": 9216, + "▁Board": 9217, + "▁Capt": 9218, + "TEXT": 9219, + "▁recon": 9220, + "esta": 9221, + "▁properly": 9222, + "▁&\\": 9223, + "leton": 9224, + "iker": 9225, + "Gu": 9226, + "▁Kom": 9227, + "oco": 9228, + "▁anymore": 9229, + "▁taste": 9230, + "▁Santa": 9231, + "gex": 9232, + "▁Secret": 9233, + "▁talent": 9234, + "▁moments": 9235, + "▁Ba": 9236, + "▁extr": 9237, + "▁Commission": 9238, + "▁modify": 9239, + "▁Figure": 9240, + "▁domin": 9241, + "▁plot": 9242, + "enger": 9243, + "utch": 9244, + "▁cities": 9245, + "▁nut": 9246, + "profile": 9247, + "▁Stat": 9248, + "▁nodes": 9249, + "▁ns": 9250, + "essages": 9251, + "impl": 9252, + "icker": 9253, + "▁examples": 9254, + "abeth": 9255, + "▁stated": 9256, + "fire": 9257, + "bul": 9258, + "▁dangerous": 9259, + "▁Pay": 9260, + "▁Gre": 9261, + "▁Monday": 9262, + "esome": 9263, + "igan": 9264, + "rund": 9265, + "prise": 9266, + "fail": 9267, + "▁Never": 9268, + "Av": 9269, + "▁linear": 9270, + "▁ul": 9271, + "WAR": 9272, + "рен": 9273, + "▁AT": 9274, + "▁dop": 9275, + "▁nou": 9276, + "Dest": 9277, + "▁claims": 9278, + "enda": 9279, + "▁crazy": 9280, + "gel": 9281, + "oggle": 9282, + "▁representation": 9283, + "inen": 9284, + "▁alternative": 9285, + "DM": 9286, + "ABILITY": 9287, + "faces": 9288, + "▁doors": 9289, + "ativ": 9290, + "Look": 9291, + "▁JSON": 9292, + "▁appearance": 9293, + "бря": 9294, + "SQL": 9295, + "▁silence": 9296, + "udo": 9297, + "▁Director": 9298, + "Statement": 9299, + "selected": 9300, + "high": 9301, + "prime": 9302, + "▁ignore": 9303, + "▁colors": 9304, + "ushing": 9305, + "▁virt": 9306, + "manager": 9307, + "▁remote": 9308, + "ło": 9309, + "small": 9310, + "▁crime": 9311, + "rb": 9312, + "▁creation": 9313, + "▁flight": 9314, + "▁Sign": 9315, + "ILE": 9316, + "▁DO": 9317, + "comment": 9318, + "▁Cost": 9319, + ".__": 9320, + "▁Cop": 9321, + "▁vom": 9322, + "▁Science": 9323, + "ления": 9324, + "oop": 9325, + "interface": 9326, + "▁WARRANTIES": 9327, + "▁Page": 9328, + "******": 9329, + "ском": 9330, + "TRUE": 9331, + "▁repeated": 9332, + "▁его": 9333, + "шо": 9334, + "▁roz": 9335, + "Pe": 9336, + "▁ISBN": 9337, + "irts": 9338, + "poses": 9339, + "})$": 9340, + "▁І": 9341, + "children": 9342, + "bles": 9343, + "ECT": 9344, + "▁iz": 9345, + "▁builder": 9346, + "▁Media": 9347, + "iat": 9348, + "▁contrast": 9349, + "”,": 9350, + "▁Link": 9351, + "▁Education": 9352, + "▁joint": 9353, + "▁external": 9354, + "▁роз": 9355, + "▁bits": 9356, + "FORM": 9357, + "erman": 9358, + "wp": 9359, + "▁Mike": 9360, + "▁Master": 9361, + "▁senior": 9362, + "▁Nav": 9363, + "▁recorded": 9364, + "eling": 9365, + "esh": 9366, + "fx": 9367, + "кан": 9368, + "▁tall": 9369, + "▁Johnson": 9370, + "▁sono": 9371, + "▁anche": 9372, + "icken": 9373, + "loop": 9374, + "iciency": 9375, + "emporary": 9376, + "▁Does": 9377, + "▁relation": 9378, + "мы": 9379, + "was": 9380, + "low": 9381, + "ichte": 9382, + "▁Jones": 9383, + "▁bedroom": 9384, + "DIS": 9385, + "▁magnet": 9386, + "▁Engine": 9387, + "▁feelings": 9388, + "GC": 9389, + "▁torn": 9390, + "▁relationships": 9391, + "▁Ре": 9392, + "▁proud": 9393, + "▁twe": 9394, + "oval": 9395, + "▁waste": 9396, + "▁reduced": 9397, + "ilton": 9398, + "BP": 9399, + "▁forgot": 9400, + "▁bodies": 9401, + "▁Haw": 9402, + "lag": 9403, + "▁www": 9404, + "door": 9405, + "▁sufficient": 9406, + "▁dollars": 9407, + "Len": 9408, + "▁talked": 9409, + "▁bond": 9410, + "▁Bor": 9411, + "}}{": 9412, + "rod": 9413, + "Password": 9414, + "quare": 9415, + "▁lights": 9416, + "eren": 9417, + "▁thirty": 9418, + "NC": 9419, + "▁TODO": 9420, + "▁respond": 9421, + "ких": 9422, + "direct": 9423, + "ação": 9424, + "▁heav": 9425, + "Media": 9426, + "exit": 9427, + "License": 9428, + "`.": 9429, + "▁mixed": 9430, + "▁desk": 9431, + "▁teaching": 9432, + "▁maj": 9433, + "▁nerv": 9434, + "inations": 9435, + "typeof": 9436, + "▁coast": 9437, + "▁же": 9438, + "▁beside": 9439, + "ummy": 9440, + "Doc": 9441, + "▁schedule": 9442, + "▁recover": 9443, + "▁Further": 9444, + "▁steel": 9445, + "boot": 9446, + "▁Perhaps": 9447, + "▁съ": 9448, + "▁Os": 9449, + "rick": 9450, + "▁Ви": 9451, + "Support": 9452, + "▁(_": 9453, + "nil": 9454, + "pis": 9455, + "xpected": 9456, + "▁processing": 9457, + "Build": 9458, + "arian": 9459, + "▁icon": 9460, + "▁CA": 9461, + "wick": 9462, + "=(": 9463, + "▁algorithm": 9464, + "▁Young": 9465, + "▁Management": 9466, + "▁ancient": 9467, + "ность": 9468, + "oti": 9469, + "▁combination": 9470, + "world": 9471, + "nn": 9472, + "▁dram": 9473, + "enabled": 9474, + "Ac": 9475, + "CCESS": 9476, + "aration": 9477, + "▁blocks": 9478, + "▁Angeles": 9479, + "▁Qual": 9480, + "▁succeed": 9481, + "network": 9482, + "▁oblig": 9483, + "springframework": 9484, + "▁Tre": 9485, + "okes": 9486, + "mun": 9487, + "▁Network": 9488, + "Del": 9489, + "▁estate": 9490, + "▁liqu": 9491, + "▁pob": 9492, + "▁dad": 9493, + "▁distinct": 9494, + "▁Tit": 9495, + "▁Lear": 9496, + "ferred": 9497, + "android": 9498, + "▁subsequ": 9499, + "▁Florida": 9500, + "subset": 9501, + "▁whisper": 9502, + "Vol": 9503, + "ulous": 9504, + "▁crew": 9505, + "▁lug": 9506, + "pid": 9507, + "ocity": 9508, + "skb": 9509, + "▁tea": 9510, + "ун": 9511, + "▁honor": 9512, + "▁Ins": 9513, + "▁gew": 9514, + "Details": 9515, + "eneath": 9516, + "atar": 9517, + "▁_{": 9518, + "amen": 9519, + "▁setup": 9520, + "Transaction": 9521, + "▁blank": 9522, + "Failed": 9523, + "job": 9524, + "▁pret": 9525, + "ße": 9526, + "loor": 9527, + "ří": 9528, + "ncia": 9529, + "▁anywhere": 9530, + "▁Light": 9531, + "▁Ak": 9532, + "BD": 9533, + "▁excited": 9534, + "agers": 9535, + "▁warning": 9536, + "▁processes": 9537, + "hu": 9538, + "▁youth": 9539, + "▁dogs": 9540, + "▁oct": 9541, + "▁nine": 9542, + "Writer": 9543, + "grid": 9544, + "▁importance": 9545, + "estic": 9546, + "▁carefully": 9547, + "master": 9548, + "▁decisions": 9549, + "▁pin": 9550, + "▁crack": 9551, + "TEST": 9552, + "▁Local": 9553, + "▁Right": 9554, + "▁vast": 9555, + "▁faster": 9556, + "▁institut": 9557, + "▁annual": 9558, + "LAN": 9559, + "▁episode": 9560, + "▁XV": 9561, + "▁delivery": 9562, + "tl": 9563, + "FP": 9564, + "circ": 9565, + "▁typically": 9566, + "igo": 9567, + "▁intel": 9568, + "nat": 9569, + "xb": 9570, + "стро": 9571, + ")-": 9572, + "▁Bal": 9573, + "▁Jos": 9574, + "▁gonna": 9575, + "▁Rest": 9576, + "jor": 9577, + "onia": 9578, + "orship": 9579, + "overy": 9580, + "LINE": 9581, + "]:": 9582, + "Queue": 9583, + "▁compare": 9584, + "▁apartment": 9585, + "▁rul": 9586, + "Dr": 9587, + "gency": 9588, + "▁obviously": 9589, + "zie": 9590, + "ycl": 9591, + "fortunately": 9592, + "▁stepped": 9593, + "▁Seg": 9594, + "▁Which": 9595, + "▁PC": 9596, + "▁ast": 9597, + "endor": 9598, + "▁permission": 9599, + "COL": 9600, + "▁TEST": 9601, + "Pay": 9602, + "ères": 9603, + "▁studied": 9604, + "▁accompl": 9605, + "role": 9606, + "Where": 9607, + "protobuf": 9608, + "metadata": 9609, + "Job": 9610, + "▁Four": 9611, + "plements": 9612, + "disable": 9613, + "▁loud": 9614, + "▁happening": 9615, + "▁Using": 9616, + "rog": 9617, + "▁depends": 9618, + "ím": 9619, + "'\\": 9620, + "▁taught": 9621, + "shared": 9622, + "▁attributes": 9623, + "▁Action": 9624, + "▁dess": 9625, + "▁houses": 9626, + "▁reset": 9627, + "▁bien": 9628, + "▁explicit": 9629, + "LOW": 9630, + "->_": 9631, + "▁PM": 9632, + "Category": 9633, + "oice": 9634, + "into": 9635, + "▁mail": 9636, + "▁authority": 9637, + "▁unable": 9638, + "filename": 9639, + "ék": 9640, + "лей": 9641, + "▁sector": 9642, + "appoint": 9643, + "▁hang": 9644, + "▁cel": 9645, + "related": 9646, + "itate": 9647, + "▁'<": 9648, + "amber": 9649, + "▁cheap": 9650, + "▁enabled": 9651, + "▁division": 9652, + "Any": 9653, + "▁hier": 9654, + "▁Head": 9655, + "ntax": 9656, + "uda": 9657, + "▁limitations": 9658, + "▁studio": 9659, + "media": 9660, + "▁circle": 9661, + "нова": 9662, + "▁laug": 9663, + "acts": 9664, + "▁Во": 9665, + "ód": 9666, + "pled": 9667, + "LOC": 9668, + "Expr": 9669, + ">:": 9670, + "▁prés": 9671, + "▁laughed": 9672, + "▁Three": 9673, + "лы": 9674, + "▁ends": 9675, + "▁fundament": 9676, + "▁inher": 9677, + "▁liv": 9678, + "bid": 9679, + "▁responsibility": 9680, + "▁checked": 9681, + "▁Pac": 9682, + "▁fault": 9683, + "▁yellow": 9684, + "▁salt": 9685, + "▁Francisco": 9686, + "▁^": 9687, + "▁ON": 9688, + "▁beauty": 9689, + "yg": 9690, + "▁Aff": 9691, + "▁Eq": 9692, + "▁magic": 9693, + "▁handler": 9694, + "xE": 9695, + "▁numerous": 9696, + "▁hole": 9697, + "▁rooms": 9698, + "cción": 9699, + "▁Arm": 9700, + "person": 9701, + "▁buildings": 9702, + "▁plate": 9703, + "bled": 9704, + "errors": 9705, + "▁Again": 9706, + "▁Default": 9707, + "▁Hard": 9708, + "tó": 9709, + "hus": 9710, + "▁dimension": 9711, + "iale": 9712, + "▁Mult": 9713, + "▁Government": 9714, + "Func": 9715, + "▁blow": 9716, + "▁rect": 9717, + "erra": 9718, + "connection": 9719, + "▁passing": 9720, + "ßen": 9721, + "phas": 9722, + "ensional": 9723, + "record": 9724, + "cohol": 9725, + "▁Harry": 9726, + "izontal": 9727, + "▁finger": 9728, + "▁younger": 9729, + "▁SC": 9730, + "operation": 9731, + "BY": 9732, + "heim": 9733, + "▁Bad": 9734, + "▁storm": 9735, + "▁Nat": 9736, + "▁buying": 9737, + "▁Sometimes": 9738, + "▁Ста": 9739, + "essed": 9740, + "▁damn": 9741, + "▁meg": 9742, + "umes": 9743, + "ünd": 9744, + "тра": 9745, + "▁silver": 9746, + "wd": 9747, + "hidden": 9748, + "ardo": 9749, + "▁communities": 9750, + "▁diet": 9751, + "otted": 9752, + "▁bat": 9753, + "ancer": 9754, + "▁fmt": 9755, + "▁Pen": 9756, + "▁til": 9757, + "Enum": 9758, + "PATH": 9759, + "▁matters": 9760, + "timeout": 9761, + "------------": 9762, + "kan": 9763, + "▁Corpor": 9764, + "=\"../../": 9765, + "▁Ale": 9766, + "hentication": 9767, + "▁complic": 9768, + "▁Security": 9769, + "OFF": 9770, + "Rad": 9771, + "apse": 9772, + "▁dance": 9773, + "▁permissions": 9774, + "▁warrant": 9775, + "▁lad": 9776, + "▁isol": 9777, + "dl": 9778, + "▁Au": 9779, + "yes": 9780, + "▁tv": 9781, + "▁provider": 9782, + "▁terrible": 9783, + "▁department": 9784, + "eral": 9785, + "▁implementation": 9786, + "SR": 9787, + "▁hearing": 9788, + "▁Kn": 9789, + "FR": 9790, + "tv": 9791, + "▁diss": 9792, + "FUN": 9793, + "▁durante": 9794, + "osis": 9795, + "▁tasks": 9796, + "▁Blo": 9797, + "вод": 9798, + "▁branch": 9799, + "▁politics": 9800, + "▁Elle": 9801, + "▁leadership": 9802, + "expr": 9803, + "▁techniques": 9804, + "prec": 9805, + "Sigma": 9806, + "imately": 9807, + "tk": 9808, + "achment": 9809, + "▁Enter": 9810, + "▁creative": 9811, + "▁зна": 9812, + "appy": 9813, + "unched": 9814, + "▁'',": 9815, + "onder": 9816, + "{-": 9817, + "NUM": 9818, + "▁narr": 9819, + "Memory": 9820, + "▁winning": 9821, + "▁Follow": 9822, + "*/\r": 9823, + "vision": 9824, + "resents": 9825, + "zione": 9826, + "▁latter": 9827, + "▁requests": 9828, + "▁margin": 9829, + "▁{\"": 9830, + "video": 9831, + "cn": 9832, + "▁Image": 9833, + "Tim": 9834, + "CONFIG": 9835, + "▁allowing": 9836, + "▁combined": 9837, + "PUT": 9838, + "▁instanceof": 9839, + "igin": 9840, + "▁pero": 9841, + "▁''": 9842, + "▁confidence": 9843, + "▁equivalent": 9844, + "pad": 9845, + "effect": 9846, + "RX": 9847, + "▁lang": 9848, + "strong": 9849, + "▁bridge": 9850, + "aya": 9851, + "▁treated": 9852, + "▁forth": 9853, + "SW": 9854, + "▁accounts": 9855, + "▁PO": 9856, + "▁listening": 9857, + "Route": 9858, + "()))": 9859, + "cpy": 9860, + "▁reform": 9861, + "▁gate": 9862, + "▁Walk": 9863, + "▁somehow": 9864, + "tf": 9865, + "▁layout": 9866, + "umin": 9867, + "▁considering": 9868, + "▁premi": 9869, + "▁Mom": 9870, + "athan": 9871, + "Gen": 9872, + "▁planet": 9873, + "amples": 9874, + "▁MO": 9875, + "shop": 9876, + "▁premier": 9877, + "▁simpl": 9878, + "▁segu": 9879, + "LY": 9880, + "Sum": 9881, + "▁tables": 9882, + "ska": 9883, + "▁ž": 9884, + "pd": 9885, + "▁sous": 9886, + "▁conference": 9887, + "▁Dat": 9888, + "Scroll": 9889, + "▁standards": 9890, + "▁гру": 9891, + "esse": 9892, + "▁citizens": 9893, + "▁occurred": 9894, + "▁democr": 9895, + "▁elev": 9896, + "▁Sem": 9897, + "ensus": 9898, + "headers": 9899, + "▁Chris": 9900, + "imento": 9901, + "kom": 9902, + "Cor": 9903, + "MIN": 9904, + "usher": 9905, + "Database": 9906, + "▁formal": 9907, + "igne": 9908, + "▁organizations": 9909, + "▁Ire": 9910, + "Xml": 9911, + "из": 9912, + "▁pray": 9913, + "▁bomb": 9914, + "▁mand": 9915, + "erts": 9916, + "▁clock": 9917, + "▁buck": 9918, + "вали": 9919, + "ensch": 9920, + "▁volt": 9921, + "▁films": 9922, + "▁plants": 9923, + "inode": 9924, + "Boolean": 9925, + "▁restaurant": 9926, + "ían": 9927, + "▁debut": 9928, + "pages": 9929, + "▁wordt": 9930, + "▁Ба": 9931, + "▁greatest": 9932, + "(\"/": 9933, + "▁copyright": 9934, + "▁rit": 9935, + "sizeof": 9936, + "Trace": 9937, + "uent": 9938, + "тур": 9939, + "▁ko": 9940, + ":\\": 9941, + "▁bigger": 9942, + "▁perfectly": 9943, + "tenance": 9944, + "MASK": 9945, + "ré": 9946, + "▁ett": 9947, + "▁nose": 9948, + "▁craft": 9949, + "iteral": 9950, + "▁discussed": 9951, + "▁Jewish": 9952, + "Cap": 9953, + "▁Unless": 9954, + "▁Jackson": 9955, + "Attributes": 9956, + "▁lunch": 9957, + "öl": 9958, + "atr": 9959, + "▁paying": 9960, + "Parse": 9961, + "()\r": 9962, + "lad": 9963, + "▁rare": 9964, + "▁[];": 9965, + "stone": 9966, + "▁unc": 9967, + "▁defense": 9968, + "}+": 9969, + "▁Global": 9970, + "▁Soviet": 9971, + "▁Australian": 9972, + "▁gli": 9973, + "variant": 9974, + "▁Ron": 9975, + "▁loan": 9976, + "Step": 9977, + "member": 9978, + "Sch": 9979, + "▁Committee": 9980, + "▁spending": 9981, + "▁Tri": 9982, + "▁Journal": 9983, + "▁sugar": 9984, + "elly": 9985, + "HTML": 9986, + "▁advent": 9987, + "wing": 9988, + "▁Whether": 9989, + "oration": 9990, + "▁NE": 9991, + "iveness": 9992, + "▁hav": 9993, + "▁conscious": 9994, + "een": 9995, + "Symbol": 9996, + "▁ку": 9997, + "Logger": 9998, + "▁Little": 9999, + "widet": 10000, + "ocation": 10001, + "pin": 10002, + "▁symmet": 10003, + "▁AD": 10004, + "▁posts": 10005, + "shal": 10006, + "▁Conf": 10007, + "▁chose": 10008, + "mal": 10009, + "ulo": 10010, + "▁Method": 10011, + "▁missed": 10012, + "Remove": 10013, + "Auto": 10014, + "VALUE": 10015, + "thlet": 10016, + "▁Force": 10017, + "pf": 10018, + "▁Я": 10019, + "late": 10020, + "▁pul": 10021, + "Pop": 10022, + "▁advanced": 10023, + "aires": 10024, + "ressed": 10025, + "AME": 10026, + "bell": 10027, + "aching": 10028, + "ić": 10029, + "echo": 10030, + "HS": 10031, + "▁funny": 10032, + "рии": 10033, + "▁eer": 10034, + "▁veget": 10035, + "▁fourth": 10036, + "cf": 10037, + "transform": 10038, + "▁grown": 10039, + "▁McC": 10040, + "site": 10041, + "▁beneath": 10042, + "▁shell": 10043, + "xd": 10044, + "Play": 10045, + "short": 10046, + "Role": 10047, + "▁religion": 10048, + "inator": 10049, + "}<": 10123, + "asp": 10124, + "ajo": 10125, + "exports": 10126, + "▁Node": 10127, + "▁jako": 10128, + "▁ya": 10129, + "▁successfully": 10130, + "▁friendly": 10131, + "buff": 10132, + "DEFAULT": 10133, + "▁pregn": 10134, + "Required": 10135, + "▁binary": 10136, + "isting": 10137, + "▁stared": 10138, + "▁circumstances": 10139, + "▁хо": 10140, + "rei": 10141, + "▁Го": 10142, + "Transform": 10143, + "cnt": 10144, + "▁Ext": 10145, + "report": 10146, + "VERSION": 10147, + "▁analy": 10148, + "▁Marg": 10149, + "▁alleg": 10150, + "builder": 10151, + "ToString": 10152, + "Layer": 10153, + "íst": 10154, + "Prop": 10155, + "▁Emp": 10156, + "}]": 10157, + "▁selling": 10158, + "▁queue": 10159, + "▁seriously": 10160, + "▁Lead": 10161, + "textit": 10162, + "testing": 10163, + "▁Пре": 10164, + "security": 10165, + "iał": 10166, + "ún": 10167, + "chip": 10168, + "▁candidate": 10169, + "▁minister": 10170, + "eria": 10171, + "▁Het": 10172, + "дин": 10173, + "▁Britain": 10174, + "▁barely": 10175, + "▁sty": 10176, + "▁Spanish": 10177, + "▁Ven": 10178, + "timer": 10179, + "ків": 10180, + "▁documents": 10181, + "('.": 10182, + "▁debug": 10183, + "▁contro": 10184, + "стоя": 10185, + "▁joy": 10186, + "Sn": 10187, + "Inv": 10188, + "▁protocol": 10189, + "▁faces": 10190, + "▁Despite": 10191, + "sed": 10192, + "Conf": 10193, + "ARG": 10194, + "▁evolution": 10195, + "▁tod": 10196, + "▁Promise": 10197, + "▁posted": 10198, + "Perm": 10199, + "bet": 10200, + "Ang": 10201, + "Just": 10202, + "▁rum": 10203, + "layer": 10204, + "▁behavi": 10205, + "ipping": 10206, + "▁dynam": 10207, + "▁scheme": 10208, + "▁proto": 10209, + ")/": 10210, + "Collections": 10211, + "riev": 10212, + "▁Click": 10213, + "▁uns": 10214, + "widetilde": 10215, + "▁remembered": 10216, + "гі": 10217, + "inates": 10218, + "▁incorpor": 10219, + "▁Description": 10220, + "▁prepare": 10221, + "▁Final": 10222, + "uation": 10223, + "▁Queen": 10224, + ">;": 10225, + "▁automatically": 10226, + "▁sharp": 10227, + "▁meat": 10228, + "ateur": 10229, + "astern": 10230, + "▁stuck": 10231, + "ASSERT": 10232, + "▁planned": 10233, + "dots": 10234, + "ookie": 10235, + "▁Histor": 10236, + "▁reviews": 10237, + "IMP": 10238, + "▁answered": 10239, + "Total": 10240, + "▁sau": 10241, + "▁Mexico": 10242, + "continue": 10243, + "▁Apple": 10244, + "likely": 10245, + "зва": 10246, + "users": 10247, + "▁identified": 10248, + "▁Lev": 10249, + "▁mol": 10250, + "▁Islam": 10251, + "▁committed": 10252, + "writ": 10253, + "бер": 10254, + "rift": 10255, + "▁interrupt": 10256, + "▁readonly": 10257, + "schema": 10258, + "Sm": 10259, + "Double": 10260, + "aza": 10261, + "▁Hal": 10262, + "Move": 10263, + "▁Series": 10264, + "inline": 10265, + "▁которы": 10266, + "soc": 10267, + "▁tent": 10268, + "▁amer": 10269, + "aki": 10270, + "▁lady": 10271, + "▁tired": 10272, + "ifi": 10273, + "▁même": 10274, + "ouver": 10275, + "▁aside": 10276, + "Did": 10277, + "',\r": 10278, + "▁bringing": 10279, + "Drawing": 10280, + "aro": 10281, + "▁Rh": 10282, + "▁Naz": 10283, + "esso": 10284, + "▁reaction": 10285, + "mitted": 10286, + "▁absolute": 10287, + "haust": 10288, + "(()": 10289, + "▁Task": 10290, + "ERS": 10291, + "▁^{": 10292, + "VD": 10293, + "▁tone": 10294, + "dist": 10295, + "vs": 10296, + "▁wheel": 10297, + "▁administration": 10298, + "▁interests": 10299, + "▁pointer": 10300, + "▁encounter": 10301, + "aver": 10302, + "▁nord": 10303, + "ket": 10304, + "▁beach": 10305, + "▁enjoyed": 10306, + "contains": 10307, + "▁append": 10308, + "Wait": 10309, + "▁squad": 10310, + "zel": 10311, + "▁medium": 10312, + "▁sending": 10313, + "▁Lady": 10314, + "ções": 10315, + "▁destination": 10316, + "nych": 10317, + "▁conflict": 10318, + "▁Ly": 10319, + "▁vul": 10320, + "▁basically": 10321, + "reated": 10322, + "black": 10323, + "ugins": 10324, + "▁calm": 10325, + "érie": 10326, + "har": 10327, + "лан": 10328, + "▁Се": 10329, + "watch": 10330, + "▁Put": 10331, + "▁dump": 10332, + "acher": 10333, + "scroll": 10334, + "▁claimed": 10335, + "▁Control": 10336, + "▁blind": 10337, + "enti": 10338, + "▁Keep": 10339, + "▁Development": 10340, + "images": 10341, + "▁tough": 10342, + "gebra": 10343, + "▁sept": 10344, + "hew": 10345, + "▁skill": 10346, + "▁Tay": 10347, + "▁któ": 10348, + "owner": 10349, + "pare": 10350, + "▁fee": 10351, + "▁continues": 10352, + "▁kan": 10353, + "bes": 10354, + "▁cha": 10355, + "ovo": 10356, + "▁Night": 10357, + "icture": 10358, + "shire": 10359, + "▁essay": 10360, + "▁suppose": 10361, + "etic": 10362, + "Art": 10363, + "acon": 10364, + "lla": 10365, + "words": 10366, + "▁comparison": 10367, + "▁BE": 10368, + "▁challenges": 10369, + "▁ol": 10370, + "citep": 10371, + "▁Foot": 10372, + "▁Such": 10373, + "▁papers": 10374, + "activ": 10375, + "quer": 10376, + "тя": 10377, + "▁То": 10378, + "ський": 10379, + "thur": 10380, + "done": 10381, + "▁shock": 10382, + "▁dedicated": 10383, + "▁correspond": 10384, + "Second": 10385, + "▁bull": 10386, + "life": 10387, + "indent": 10388, + "▁figures": 10389, + "▁Andrew": 10390, + "isp": 10391, + "▁favour": 10392, + "зда": 10393, + "▁Elect": 10394, + "Full": 10395, + "▁nearby": 10396, + "▁Register": 10397, + "Scale": 10398, + "ications": 10399, + "ин": 10400, + "▁AM": 10401, + "pair": 10402, + "▁perspective": 10403, + "▁nos": 10404, + "apa": 10405, + "ostał": 10406, + "▁Pers": 10407, + "icer": 10408, + "▁plastic": 10409, + "дов": 10410, + "ciples": 10411, + "zą": 10412, + "clos": 10413, + "▁уча": 10414, + "▁Á": 10415, + "plugin": 10416, + "▁angle": 10417, + "▁commission": 10418, + "▁funds": 10419, + "▁indu": 10420, + "▁drawn": 10421, + "ám": 10422, + "▁developing": 10423, + "▁segment": 10424, + "isme": 10425, + "scr": 10426, + "▁lies": 10427, + "▁IL": 10428, + "▁api": 10429, + "Extension": 10430, + "▁scal": 10431, + "install": 10432, + "▁Week": 10433, + "▁gentle": 10434, + "▁Canadian": 10435, + "▁dialog": 10436, + "▁articles": 10437, + "Theme": 10438, + "SM": 10439, + "▁Bul": 10440, + "▁leur": 10441, + "▁stom": 10442, + "Plugin": 10443, + "▁после": 10444, + "▁stead": 10445, + "▁ś": 10446, + "ipher": 10447, + "▁prze": 10448, + "▁draft": 10449, + "bottom": 10450, + "▁{};": 10451, + "▁stayed": 10452, + "feature": 10453, + "▁vot": 10454, + "▁fabric": 10455, + "ça": 10456, + "('#": 10457, + "rea": 10458, + "▁reput": 10459, + "▁Cir": 10460, + "▁AL": 10461, + "▁assertEquals": 10462, + "results": 10463, + "▁Cross": 10464, + "ursday": 10465, + "▁audio": 10466, + "▁gap": 10467, + "▁streets": 10468, + "▁scientific": 10469, + "platform": 10470, + "▁auss": 10471, + "▁Cro": 10472, + "▁partial": 10473, + "unc": 10474, + "▁choices": 10475, + "▁или": 10476, + "pred": 10477, + "▁heads": 10478, + "terday": 10479, + "▁Nick": 10480, + "▁weird": 10481, + "asant": 10482, + "▁represented": 10483, + "▁пи": 10484, + "DP": 10485, + "orders": 10486, + "clock": 10487, + "▁Ho": 10488, + "arters": 10489, + "Cmd": 10490, + "oga": 10491, + "Keys": 10492, + "Report": 10493, + "▁Vill": 10494, + "▁Mu": 10495, + "▁owned": 10496, + "SUCCESS": 10497, + "▁typeof": 10498, + "hdr": 10499, + "uable": 10500, + "▁neighborhood": 10501, + "▁AP": 10502, + "▁resulting": 10503, + "▁shadow": 10504, + "STRING": 10505, + "▁videos": 10506, + "лення": 10507, + "expect": 10508, + "▁Valley": 10509, + "▁goto": 10510, + "▁Sher": 10511, + "frastr": 10512, + "▁operating": 10513, + "▁это": 10514, + "▁Licensed": 10515, + "Variable": 10516, + "▁PR": 10517, + "▁Hans": 10518, + "clone": 10519, + "▁Gesch": 10520, + "▁Band": 10521, + "........": 10522, + "uing": 10523, + "▁hundreds": 10524, + "▁ок": 10525, + "▁emotional": 10526, + "▁Indust": 10527, + ")+": 10528, + "▁Egypt": 10529, + "▁franç": 10530, + "▁š": 10531, + "▁fasc": 10532, + "onto": 10533, + "▁Adam": 10534, + "▁laid": 10535, + "▁rig": 10536, + "▁detailed": 10537, + "▁implements": 10538, + "▁university": 10539, + "▁Hy": 10540, + "▁grid": 10541, + "▁regions": 10542, + "Stop": 10543, + "▁slot": 10544, + "▁angry": 10545, + "▁-=": 10546, + "▁waited": 10547, + "Vert": 10548, + "\":\"": 10549, + "▁elem": 10550, + "▁rég": 10551, + "owed": 10552, + "Member": 10553, + "▁ratio": 10554, + "isen": 10555, + "▁Lem": 10556, + "gery": 10557, + "▁cream": 10558, + "▁était": 10559, + "▁geb": 10560, + "unique": 10561, + "▁Deb": 10562, + "▁factory": 10563, + "że": 10564, + "dialog": 10565, + "▁Config": 10566, + "Sync": 10567, + "angers": 10568, + "▁governing": 10569, + "▁Hun": 10570, + "Space": 10571, + "▁jest": 10572, + "icious": 10573, + "▁emphas": 10574, + "umps": 10575, + "▁Esp": 10576, + "▁sul": 10577, + "▁historical": 10578, + "ija": 10579, + "▁lying": 10580, + "▁Steve": 10581, + "▁measures": 10582, + "osto": 10583, + "?”": 10584, + "▁pocket": 10585, + "▁Sat": 10586, + "▁pitch": 10587, + "▁natur": 10588, + "▁humans": 10589, + "▁Simon": 10590, + "adores": 10591, + "(\"\\": 10592, + "inking": 10593, + "▁expos": 10594, + "material": 10595, + "▁apparently": 10596, + "▁Camb": 10597, + "▁Box": 10598, + "▁spaces": 10599, + "exists": 10600, + "▁acting": 10601, + "ORY": 10602, + "зова": 10603, + "Good": 10604, + "ienne": 10605, + "▁Williams": 10606, + "▁fruit": 10607, + "iera": 10608, + "▁Lim": 10609, + "▁trait": 10610, + "▁artists": 10611, + "▁absor": 10612, + "rait": 10613, + "LOAD": 10614, + "▁movies": 10615, + "▁dynamic": 10616, + "asts": 10617, + "▁Integer": 10618, + "▁smoke": 10619, + "пі": 10620, + "angel": 10621, + ">(\"": 10622, + "▁instrument": 10623, + "▁fuel": 10624, + "ної": 10625, + "atalogue": 10626, + "▁serial": 10627, + "Files": 10628, + "▁bathroom": 10629, + "ilo": 10630, + "esto": 10631, + "▁pm": 10632, + "entials": 10633, + "▁Online": 10634, + "white": 10635, + "▁tips": 10636, + "▁capable": 10637, + "Fig": 10638, + "TV": 10639, + "▁он": 10640, + "ké": 10641, + "bitr": 10642, + "Mapping": 10643, + "▁tak": 10644, + "ющи": 10645, + "вля": 10646, + ")\",": 10647, + "▁Karl": 10648, + "▁Human": 10649, + "▁Pot": 10650, + "▁represents": 10651, + "▁consistent": 10652, + "_(": 10653, + "wen": 10654, + "▁Rose": 10655, + "law": 10656, + "▁FROM": 10657, + "▁begins": 10658, + "▁edit": 10659, + "▁mountain": 10660, + "▁chapter": 10661, + "▁wondered": 10662, + "▁industrial": 10663, + "▁Major": 10664, + "▁ges": 10665, + "▁directed": 10666, + "eros": 10667, + "▁Wild": 10668, + "liament": 10669, + "Book": 10670, + "username": 10671, + "hot": 10672, + "▁nam": 10673, + "▁league": 10674, + "bra": 10675, + "кон": 10676, + "▁Tal": 10677, + "▁Ва": 10678, + "▁exports": 10679, + "(@": 10680, + "▁sharing": 10681, + "▁Tro": 10682, + "ść": 10683, + "uesday": 10684, + "ylv": 10685, + "▁guitar": 10686, + "elen": 10687, + "Selection": 10688, + "▁confident": 10689, + "rypto": 10690, + "▁hors": 10691, + "editor": 10692, + "▁shoulders": 10693, + "getName": 10694, + "encing": 10695, + "SELECT": 10696, + "вши": 10697, + "▁kinds": 10698, + "▁Wel": 10699, + "▁purposes": 10700, + "Matrix": 10701, + "invalid": 10702, + "▁owners": 10703, + "▁Records": 10704, + "▁Process": 10705, + "▁chat": 10706, + "▁Dor": 10707, + "▁bin": 10708, + "redit": 10709, + "oire": 10710, + "▁Total": 10711, + "▁Family": 10712, + "ARY": 10713, + "▁bread": 10714, + "▁compre": 10715, + "▁shoes": 10716, + "▁raz": 10717, + "▁trace": 10718, + "nej": 10719, + "orted": 10720, + "hn": 10721, + "▁procedure": 10722, + "properties": 10723, + "plier": 10724, + "▁hero": 10725, + "panel": 10726, + "▁marked": 10727, + "▁worried": 10728, + "\\|": 10729, + "pts": 10730, + "▁Support": 10731, + "▁serving": 10732, + "Fail": 10733, + "▁disappoint": 10734, + "▁Scot": 10735, + "▁pleasure": 10736, + "▁judge": 10737, + "zeich": 10738, + "▁forever": 10739, + "▁Zeit": 10740, + "uous": 10741, + "inent": 10742, + "▁dw": 10743, + "▁waren": 10744, + "▁flash": 10745, + "▁troops": 10746, + "▁drugs": 10747, + "▁diam": 10748, + ".~": 10749, + "imp": 10750, + "inned": 10751, + "▁EV": 10752, + "Struct": 10753, + "▁justice": 10754, + "▁officials": 10755, + "ffff": 10756, + "▁Common": 10757, + "▁Cat": 10758, + "▁tomorrow": 10759, + "▁él": 10760, + "Texture": 10761, + "qpoint": 10762, + "▁Fried": 10763, + "▁Term": 10764, + "pgfqpoint": 10765, + "▁nem": 10766, + "norm": 10767, + "▁hardly": 10768, + "oda": 10769, + "zeta": 10770, + "emic": 10771, + "▁полу": 10772, + "▁loaded": 10773, + "kes": 10774, + "ció": 10775, + "▁fool": 10776, + "▁trick": 10777, + "▁dst": 10778, + "Find": 10779, + "▁все": 10780, + "}},": 10781, + "▁framework": 10782, + "▁merely": 10783, + "▁union": 10784, + "▁Edward": 10785, + "rif": 10786, + "Flag": 10787, + "▁crisis": 10788, + "▁finite": 10789, + "▁lol": 10790, + "▁Kim": 10791, + "ната": 10792, + "since": 10793, + "▁compat": 10794, + "▁pert": 10795, + "ibilities": 10796, + "▁también": 10797, + "ibli": 10798, + "▁teen": 10799, + "▁sympt": 10800, + "oral": 10801, + "ders": 10802, + "otte": 10803, + "при": 10804, + "▁Jane": 10805, + "▁originally": 10806, + "▁throat": 10807, + "mag": 10808, + "sup": 10809, + "uni": 10810, + "$$": 10811, + "▁Library": 10812, + "▁attacks": 10813, + "ingen": 10814, + "('/": 10815, + "▁hes": 10816, + "coin": 10817, + "ounce": 10818, + "▁Academy": 10819, + "MODULE": 10820, + "isms": 10821, + "▁Adv": 10822, + "▁Bol": 10823, + "▁incident": 10824, + ")^{": 10825, + "▁bij": 10826, + "▁Rome": 10827, + "▁Italy": 10828, + "events": 10829, + "▁Fern": 10830, + "▁ber": 10831, + "▁silent": 10832, + "▁pier": 10833, + "▁YO": 10834, + "▁plain": 10835, + "Bas": 10836, + "▁pill": 10837, + "rase": 10838, + "▁carrying": 10839, + "▁resp": 10840, + "ную": 10841, + "▁typical": 10842, + "Wrapper": 10843, + "▁gau": 10844, + "▁chemical": 10845, + "▁hal": 10846, + "throw": 10847, + "Cluster": 10848, + "▁Gab": 10849, + "▁Girl": 10850, + "quir": 10851, + "▁Arg": 10852, + "▁relief": 10853, + "▁Ве": 10854, + "dm": 10855, + "▁frustr": 10856, + "\\%": 10857, + "▁stores": 10858, + "▁bottle": 10859, + "▁Lew": 10860, + "two": 10861, + "stad": 10862, + "▁cheek": 10863, + "▁concerns": 10864, + "▁helpful": 10865, + "▁coverage": 10866, + "isi": 10867, + "ADD": 10868, + "async": 10869, + "▁approximately": 10870, + "iffer": 10871, + "hook": 10872, + "▁enum": 10873, + "ová": 10874, + "▁evil": 10875, + "▁constantly": 10876, + "apply": 10877, + "▁siè": 10878, + "▁practices": 10879, + "▁teachers": 10880, + "▁Sn": 10881, + "▁Awards": 10882, + "▁substant": 10883, + "▁$.": 10884, + "dk": 10885, + "▁mob": 10886, + "▁ingred": 10887, + "vere": 10888, + "Multi": 10889, + "пер": 10890, + "stal": 10891, + "yard": 10892, + "required": 10893, + "vement": 10894, + "▁intelligence": 10895, + "▁thinks": 10896, + "▁personally": 10897, + "▁trained": 10898, + "orney": 10899, + ")\\": 11266, + "anal": 11267, + "Section": 11268, + "plus": 11269, + "üt": 11270, + "▁embed": 11271, + "▁strings": 11272, + "Before": 11273, + "proc": 11274, + "▁спо": 11275, + "trl": 11276, + "vr": 11277, + "Background": 11278, + "logger": 11279, + "agraph": 11280, + "iest": 11281, + "▁goods": 11282, + "batch": 11283, + "▁optional": 11284, + "▁Taylor": 11285, + "▁recognize": 11286, + "walk": 11287, + "▁Hit": 11288, + "▁Elizabeth": 11289, + "}:": 11290, + "▁careful": 11291, + "краї": 11292, + "▁locations": 11293, + "▁structures": 11294, + "▁disk": 11295, + "▁ships": 11296, + "▁suo": 11297, + "▁sowie": 11298, + "▁Ess": 11299, + "▁Hash": 11300, + "▁reasonable": 11301, + "▁Moreover": 11302, + "▁formula": 11303, + "▁Centre": 11304, + "▁residents": 11305, + "RS": 11306, + "Ids": 11307, + "▁Know": 11308, + "▁trib": 11309, + "▁rés": 11310, + "▁stable": 11311, + "▁Would": 11312, + "▁breaking": 11313, + "▁meal": 11314, + "▁phen": 11315, + "▁fel": 11316, + "▁Fred": 11317, + "Author": 11318, + "▁capture": 11319, + "opts": 11320, + "▁everywhere": 11321, + "▁sque": 11322, + "▁moder": 11323, + "setup": 11324, + "▁Supp": 11325, + "▁whenever": 11326, + "{(": 11327, + "wart": 11328, + "▁toe": 11329, + "Prefix": 11330, + "hou": 11331, + "gage": 11332, + ">\"": 11333, + "▁frag": 11334, + "▁Theorem": 11335, + "memory": 11336, + "▁contents": 11337, + "docs": 11338, + "}'": 11339, + "▁Irish": 11340, + "Then": 11341, + "aats": 11342, + "Save": 11343, + "▁agency": 11344, + "▁име": 11345, + "дова": 11346, + "▁Function": 11347, + "NN": 11348, + "destroy": 11349, + "▁Message": 11350, + "▁cancel": 11351, + "▁superior": 11352, + "▁ec": 11353, + "▁literature": 11354, + "▁PART": 11355, + "Il": 11356, + "▁Cab": 11357, + "engine": 11358, + "▁basket": 11359, + "worth": 11360, + "▁Sel": 11361, + "fetch": 11362, + "▁Stadt": 11363, + "▁Ки": 11364, + "▁conj": 11365, + "▁seiner": 11366, + "▁confirmed": 11367, + "▁Argent": 11368, + "amar": 11369, + "pgfpath": 11370, + "▁struggle": 11371, + "Pattern": 11372, + "▁Middle": 11373, + "itan": 11374, + "▁moon": 11375, + "orough": 11376, + "▁Catholic": 11377, + "▁struck": 11378, + "]->": 11379, + "▁weapon": 11380, + "▁subst": 11381, + "▁instructions": 11382, + "▁occas": 11383, + "protected": 11384, + "▁Less": 11385, + "▁batch": 11386, + "▁contra": 11387, + "▁deck": 11388, + "▁ignored": 11389, + "▁refused": 11390, + "trigger": 11391, + "▁criminal": 11392, + "GA": 11393, + "olly": 11394, + "▁Bell": 11395, + "▁Ю": 11396, + "forward": 11397, + "▁prefix": 11398, + "▁immediate": 11399, + "▁assigned": 11400, + "▁elected": 11401, + "▁tonight": 11402, + "▁Dies": 11403, + "▁Beach": 11404, + "▁preced": 11405, + "ował": 11406, + "▁galax": 11407, + "▁logic": 11408, + "enza": 11409, + "▁Captain": 11410, + "▁Hay": 11411, + "▁facts": 11412, + "▁ни": 11413, + "té": 11414, + "▁sb": 11415, + "oped": 11416, + "▁combat": 11417, + "▁explore": 11418, + "▁(-": 11419, + "Loader": 11420, + "▁Wilson": 11421, + "▁locked": 11422, + ":)": 12970, + "▁quel": 12971, + "▁Га": 12972, + "Ty": 12973, + "▁temps": 12974, + "▁ghost": 12975, + "Material": 12976, + "ERCHANT": 12977, + "pointer": 12978, + "жда": 12979, + "aha": 12980, + "ulf": 12981, + "▁supplement": 12982, + "▁dismiss": 12983, + "▁closing": 12984, + "▁vulner": 12985, + "▁après": 12986, + "▁overwhel": 12987, + "ское": 12988, + "▁disag": 12989, + "acia": 12990, + "oured": 12991, + "ruption": 12992, + "▁PS": 12993, + "Endpoint": 12994, + "Real": 12995, + "▁Tag": 12996, + "▁stairs": 12997, + "lyn": 12998, + "▁eleg": 12999, + "▁veter": 13000, + "factory": 13001, + "anne": 13002, + "▁Bat": 13003, + "▁franc": 13004, + "lung": 13005, + "▁\"'": 13006, + ".',": 13007, + "▁Country": 13008, + "^{[": 13009, + "▁yours": 13010, + "ailability": 13011, + "Clear": 13012, + "ätt": 13013, + "пис": 13014, + "▁joke": 13015, + "▁annoy": 13016, + "▁rag": 13017, + "vari": 13018, + "лекс": 13019, + "▁Psy": 13020, + "ilty": 13021, + "mount": 13022, + "▁cual": 13023, + "▁solar": 13024, + "}^{(": 13025, + "Short": 13026, + "▁taxes": 13027, + "Append": 13028, + "Win": 13029, + "estyle": 13030, + "▁facil": 13031, + "вро": 13032, + "▁sought": 13033, + "▁bare": 13034, + "▁react": 13035, + "jar": 13036, + "MAC": 13037, + "lov": 13038, + "warn": 13039, + "▁crucial": 13040, + "▁museum": 13041, + "ниц": 13042, + "▁Kent": 13043, + "Maybe": 13044, + "▁bike": 13045, + "▁Address": 13046, + "XML": 13047, + "▁admitted": 13048, + "▁$(\\": 13049, + "▁spell": 13050, + "▁vic": 13051, + "gre": 13052, + "▁proc": 13053, + "theless": 13054, + "▁Nom": 13055, + "▁Rail": 13056, + "▁acceler": 13057, + "▁convin": 13058, + "▁Property": 13059, + "▁DA": 13060, + "▁clip": 13061, + "▁plugin": 13062, + "Limit": 13063, + "views": 13064, + "bru": 13065, + "▁pra": 13066, + "▁ak": 13067, + "▁ej": 13068, + "▁opts": 13069, + "▁slip": 13070, + "▁gang": 13071, + "asted": 13072, + "uals": 13073, + "▁dying": 13074, + "Coll": 13075, + "ammen": 13076, + "▁Policy": 13077, + "ERCHANTABILITY": 13078, + "▁Collection": 13079, + "▁vec": 13080, + "▁Dick": 13081, + "stud": 13082, + "▁layers": 13083, + "▁tied": 13084, + "}\\\\": 13085, + "▁alors": 13086, + "▁jou": 13087, + "▁chicken": 13088, + "▁permanent": 13089, + "▁Everything": 13090, + "▁Low": 13091, + "▁Cook": 13092, + "▁peak": 13093, + "▁PARTICULAR": 13094, + "▁dear": 13095, + "ič": 13096, + "▁introduce": 13097, + "▁causing": 13098, + "писа": 13099, + "Bound": 13100, + "hund": 13101, + "multi": 13102, + "▁pare": 13103, + "annt": 13104, + "▁breat": 13105, + "▁commitment": 13106, + "▁increasingly": 13107, + "кой": 13108, + "▁Friend": 13109, + "▁statistics": 13110, + "▁Manager": 13111, + "plicate": 13112, + "Cloud": 13113, + "aci": 13114, + "▁Conference": 13115, + "Span": 13116, + "▁CEO": 13117, + "▁Wait": 13118, + "▁Ober": 13119, + "ifting": 13120, + "imiento": 13121, + "getElement": 13122, + "▁gle": 13123, + "лия": 13124, + "▁wieder": 13125, + "▁instruction": 13126, + "gly": 13127, + "▁blame": 13128, + "▁listade": 13129, + "▁aapt": 13130, + "▁Lewis": 13131, + "Fragment": 13132, + "▁gear": 13133, + "mill": 13134, + "prod": 13135, + "▁burning": 13136, + "ється": 13137, + "▁mé": 13138, + "ène": 13139, + "▁complicated": 13140, + "bh": 13141, + "▁Justice": 13142, + "▁tested": 13143, + "▁staring": 13144, + "▁survive": 13145, + "▁cous": 13146, + "▁rib": 13147, + "aml": 13148, + "▁Trust": 13149, + "▁cad": 13150, + "▁Terr": 13151, + "▁mapping": 13152, + "▁twelve": 13153, + "▁grant": 13154, + "▁thorough": 13155, + "▁Ü": 13156, + "▁folks": 13157, + "▁Content": 13158, + "▁childhood": 13159, + "cker": 13160, + "сно": 13161, + "RECT": 13162, + "▁finale": 13163, + "▁shower": 13164, + "éric": 13165, + "▁spat": 13166, + "odge": 13167, + "рь": 13168, + "▁pes": 13169, + "eda": 13170, + "Db": 13171, + "▁Antonio": 13172, + "▁engaged": 13173, + "▁vess": 13174, + "vals": 13175, + "▁electronic": 13176, + "lemma": 13177, + "▁Wy": 13178, + "mad": 13179, + "merge": 13180, + "apon": 13181, + "▁privile": 13182, + "▁novembre": 13183, + "▁Sports": 13184, + "will": 13185, + "▁controls": 13186, + "▁categories": 13187, + "▁Georgia": 13188, + "ipedia": 13189, + "▁AV": 13190, + "atori": 13191, + "▁___": 13192, + "▁À": 13193, + "▁Ryan": 13194, + "▁Charlie": 13195, + "▁исто": 13196, + "▁emotion": 13197, + "▁cooking": 13198, + "▁attempts": 13199, + "▁FITNESS": 13200, + "äter": 13201, + "Enable": 13202, + "DT": 13203, + "▁Change": 13204, + "AspNet": 13205, + "▁га": 13206, + "▁ordinary": 13207, + "▁SQL": 13208, + "plane": 13209, + "%.": 13210, + "▁Summer": 13211, + "▁avait": 13212, + "upp": 13213, + "▁illness": 13214, + "UINT": 13215, + ">{": 13216, + "▁zwischen": 13217, + "▁hardware": 13218, + "▁sounded": 13219, + "equiv": 13220, + "▁piano": 13221, + "uset": 13222, + "kn": 13223, + "TRY": 13224, + "▁bab": 13225, + "нен": 13226, + "▁reliable": 13227, + "▁Bronnen": 13228, + "▁Store": 13229, + "Az": 13230, + "▁»,": 13231, + "Static": 13232, + "dw": 13233, + "green": 13234, + "▁'';": 13235, + "lij": 13236, + "eva": 13237, + "ній": 13238, + "▁Syd": 13239, + "inois": 13240, + "convert": 13241, + "▁declare": 13242, + "bres": 13243, + "INK": 13244, + "itled": 13245, + "▁accord": 13246, + "▁mars": 13247, + "Sequence": 13248, + "zip": 13249, + "▁Brazil": 13250, + "▁meetings": 13251, + "▁accuracy": 13252, + "▁Machine": 13253, + "▁autor": 13254, + "▁ainsi": 13255, + "Simple": 13256, + "Resources": 13257, + "каза": 13258, + "▁MP": 13259, + "they": 13260, + "▁Bang": 13261, + "▁eing": 13262, + "ateful": 13263, + "▁Something": 13264, + "▁upset": 13265, + "History": 13266, + "dimensional": 13267, + "▁explanation": 13268, + "▁civ": 13269, + "▁conce": 13270, + "▁köz": 13271, + "▁promised": 13272, + "жду": 13273, + "wed": 13274, + "Fore": 13275, + "Amount": 13276, + "abb": 13277, + "▁clothing": 13278, + "лись": 13279, + "oen": 13280, + "▁Print": 13281, + "▁sizes": 13282, + "▁banks": 13283, + "ribed": 13284, + "▁'../": 13285, + "FIX": 13286, + "▁Hug": 13287, + "▁zn": 13288, + "▁INT": 13289, + "▁instances": 13290, + "▁alongside": 13291, + "Namespace": 13292, + "▁renew": 13293, + "▁asc": 13294, + "▁waves": 13295, + "▁pom": 13296, + "Duration": 13297, + "days": 13298, + "$(": 13299, + "▁grabbed": 13300, + "▁surgery": 13301, + "▁restore": 13302, + "Normal": 13303, + "▁Leb": 13304, + "▁analyt": 13305, + "Literal": 13306, + "HA": 13307, + "▁shares": 13308, + "illet": 13309, + "ols": 13310, + "▁Dog": 13311, + "orno": 13312, + "▁manip": 13313, + "jav": 13314, + "▁essentially": 13315, + "▁casual": 13316, + "opl": 13317, + "▁р": 13318, + "▁SU": 13319, + "▁engineering": 13320, + "▁Prime": 13321, + "▁SW": 13322, + "▁reaching": 13323, + "▁вла": 13324, + "▁Росси": 13325, + "▁Kre": 13326, + "erry": 13327, + "▁oppon": 13328, + "program": 13329, + "emper": 13330, + "isEmpty": 13331, + "▁Unit": 13332, + "INTER": 13333, + "ethe": 13334, + "zd": 13335, + "CUR": 13336, + "▁vm": 13337, + "conv": 13338, + "ropol": 13339, + "▁Coast": 13340, + "▁Select": 13341, + "▁была": 13342, + "▁Ve": 13343, + "owy": 13344, + "▁myth": 13345, + "ceptions": 13346, + "classes": 13347, + "▁worden": 13348, + "▁assault": 13349, + "▁dual": 13350, + "ORK": 13351, + "▁inches": 13352, + "▁FA": 13353, + "▁Station": 13354, + "▁personality": 13355, + "▁scar": 13356, + "▁regime": 13357, + "▁noten": 13358, + "▁rural": 13359, + "iza": 13360, + "Audio": 13361, + "▁disput": 13362, + "▁aver": 13363, + "▁obst": 13364, + "▁Region": 13365, + "utf": 13366, + "▁Cass": 13367, + "hspace": 13368, + "▁shipping": 13369, + "iko": 13370, + "icked": 13371, + "numer": 13372, + "дна": 13373, + "riel": 13374, + "disabled": 13375, + "opol": 13376, + "looking": 13377, + "▁classical": 13378, + "▁constructed": 13379, + "▁referenties": 13380, + "]+": 13381, + "▁captured": 13382, + "▁minimal": 13383, + "▁sock": 13384, + "father": 13385, + "isión": 13386, + "▁equally": 13387, + "▁reduction": 13388, + "Ant": 13389, + "aison": 13390, + "▁argue": 13391, + "circle": 13392, + "▁toler": 13393, + "}\",": 13394, + "▁primarily": 13395, + "usal": 13396, + "▁algebra": 13397, + "▁gathered": 13398, + "▁Remember": 13399, + "_);": 13400, + "UTE": 13401, + "▁Kit": 13402, + "Sy": 13403, + "HEAD": 13404, + "▁recipe": 13405, + "▁scenario": 13406, + "▁Following": 13407, + "VAR": 13408, + "▁yard": 13409, + "▁stad": 13410, + "*(": 13411, + "▁validate": 13412, + "DEX": 13413, + "▁committee": 13414, + "▁temporary": 13415, + "▁consequences": 13416, + "▁également": 13417, + "ктив": 13418, + "▁ra": 13419, + "▁displ": 13420, + "▁apps": 13421, + "▁Teil": 13422, + "▁».": 13423, + "▁adopted": 13424, + "tensor": 13425, + "▁femin": 13426, + "▁мар": 13427, + "логи": 13428, + "tech": 13429, + "▁Rot": 13430, + "▁knees": 13431, + "phys": 13432, + "owej": 13433, + "▁Oxford": 13434, + "анд": 13435, + "hell": 13436, + "ografia": 13437, + "▁exposed": 13438, + "ktop": 13439, + "oby": 13440, + "lower": 13441, + "▁Senate": 13442, + "▁sword": 13443, + "Flow": 13444, + "▁Unfortunately": 13445, + "▁boxes": 13446, + "▁cuando": 13447, + "▁pilot": 13448, + "▁Album": 13449, + "Bal": 13450, + "Sort": 13451, + "FIELD": 13452, + "▁desert": 13453, + "COMM": 13454, + "rons": 13455, + "adows": 13456, + "▁loyal": 13457, + "▁asset": 13458, + "▁mud": 13459, + "фа": 13460, + "▁secondary": 13461, + "▁Ар": 13462, + "▁cul": 13463, + "▁Asian": 13464, + "▁staying": 13465, + "▁dataset": 13466, + "▁USE": 13467, + "▁loves": 13468, + "▁velocity": 13469, + "áv": 13470, + "▁purchased": 13471, + "SOC": 13472, + "▁competitive": 13473, + "▁Football": 13474, + "iska": 13475, + "▁knock": 13476, + "stairs": 13477, + "azy": 13478, + "▁vend": 13479, + "▁arts": 13480, + "▁Bras": 13481, + "uela": 13482, + "кто": 13483, + "trim": 13484, + "▁dirty": 13485, + "▁websites": 13486, + "▁Indep": 13487, + "▁стра": 13488, + "sr": 13489, + "▁ticket": 13490, + "atile": 13491, + "▁implemented": 13492, + "▁время": 13493, + "▁bowl": 13494, + "DATE": 13495, + "▁alter": 13496, + "▁Space": 13497, + "▁accompan": 13498, + "ordon": 13499, + "▁doctors": 13500, + "istas": 13501, + "Cast": 13502, + "дом": 13503, + "CTL": 13504, + "urers": 13505, + "▁ingredients": 13506, + "▁calculated": 13507, + "▁leather": 13508, + "▁sensitive": 13509, + "▁suspic": 13510, + "stan": 13511, + "▁anni": 13512, + "await": 13513, + "▁Franç": 13514, + "▁abort": 13515, + "▁Spirit": 13516, + "▁Walter": 13517, + "unkt": 13518, + "▁vertical": 13519, + "ORS": 13520, + "best": 13521, + "▁Client": 13522, + "itated": 13523, + "▁ва": 13524, + "▁Č": 13525, + "▁ville": 13526, + "▁diplom": 13527, + "orne": 13528, + "▁bars": 13529, + "Uri": 13530, + "APTER": 13531, + "pons": 13532, + "utz": 13533, + "Proto": 13534, + "▁stir": 13535, + "▁це": 13536, + "▁primer": 13537, + "igible": 13538, + "extra": 13539, + "▁Books": 13540, + "▁Bos": 13541, + "▁Et": 13542, + "▁Welt": 13543, + "▁Korea": 13544, + "рито": 13545, + "▁vibr": 13546, + "Self": 13547, + "linear": 13548, + "об": 13549, + "▁Lang": 13550, + "▁deeper": 13551, + "▁termin": 13552, + "enschaft": 13553, + "▁році": 13554, + "ammed": 13555, + "visible": 13556, + "▁IOException": 13557, + "▁Wind": 13558, + "usqu": 13559, + "▁Stop": 13560, + "▁орга": 13561, + "INVALID": 13562, + "▁cub": 13563, + "▁jew": 13564, + "▁captain": 13565, + "зі": 13566, + "chunk": 13567, + "apture": 13568, + "ashboard": 13569, + "▁divided": 13570, + "▁extensive": 13571, + "▁suffer": 13572, + "▁heading": 13573, + "created": 13574, + "▁quietly": 13575, + "▁ny": 13576, + "▁пол": 13577, + "\"+": 13578, + "ikan": 13579, + "▁designs": 13580, + "zu": 13581, + "}+\\": 13582, + "Operator": 13583, + "▁Lemma": 13584, + "▁нау": 13585, + "acji": 13586, + "лове": 13587, + "Servlet": 13588, + "▁Kevin": 13589, + "stage": 13590, + "bn": 13591, + "textwidth": 13592, + "failed": 13593, + "▁Staff": 13594, + "▁enem": 13595, + "unde": 13596, + "ень": 13597, + "Packet": 13598, + "▁Als": 13599, + "kar": 13600, + "]['": 13601, + "ked": 13602, + "Pers": 13603, + ">::": 13604, + "▁arc": 13605, + "▁synt": 13606, + "SPE": 13607, + "▁Да": 13608, + "▁Mi": 13609, + "▁Moh": 13610, + "▁Death": 13611, + "browser": 13612, + "▁Dave": 13613, + "▁succ": 13614, + "toggle": 13615, + "▁tack": 13616, + "Comment": 13617, + "eron": 13618, + "▁awareness": 13619, + "▁hug": 13620, + "▁contemporary": 13621, + "ulating": 13622, + "▁Title": 13623, + "▁THIS": 13624, + "havior": 13625, + "rank": 13626, + "▁dozen": 13627, + "▁cheese": 13628, + "coln": 13629, + "▁radius": 13630, + "▁dimensions": 13631, + "roduction": 13632, + "▁adds": 13633, + "▁household": 13634, + "▁Davis": 13635, + "pkg": 13636, + "{$": 13637, + "▁casino": 13638, + "▁Pierre": 13639, + "▁objective": 13640, + "train": 13641, + "▁Michigan": 13642, + "payload": 13643, + "▁rug": 13644, + "▁severe": 13645, + "mean": 13646, + "▁toss": 13647, + "▁embarrass": 13648, + "▁Very": 13649, + "▁appeal": 13650, + "▁Comput": 13651, + "▁forgotten": 13652, + "▁kernel": 13653, + "▁carbon": 13654, + "fw": 13655, + "▁Су": 13656, + "▁Empire": 13657, + "▁quote": 13658, + "etz": 13659, + "▁mini": 13660, + "▁pipe": 13661, + "▁nous": 13662, + "▁Move": 13663, + "▁ду": 13664, + "▁nervous": 13665, + "▁Мар": 13666, + "*\r": 13667, + "▁Bush": 13668, + "▁peer": 13669, + "▁Writ": 13670, + "▁satisfied": 13671, + "▁pulling": 13672, + "▁Pur": 13673, + "▁Miller": 13674, + "▁FL": 13675, + "amaz": 13676, + "▁mile": 13677, + "▁Need": 13678, + "▁supplies": 13679, + "▁año": 13680, + "▁pace": 13681, + "▁Victoria": 13682, + "▁ought": 13683, + "▁Player": 13684, + "agnostic": 13685, + "▁viv": 13686, + "▁Patrick": 13687, + "▁Š": 13688, + "▁Story": 13689, + "aca": 13690, + "▁mountains": 13691, + "CLASS": 13692, + "▁fragment": 13693, + "▁settlement": 13694, + "▁Furthermore": 13695, + "▁drivers": 13696, + "▁Ju": 13697, + "▁были": 13698, + "Rows": 13699, + "▁impression": 13700, + "▁infer": 13701, + "▁Expl": 13702, + "olute": 13703, + "ovan": 13704, + "arance": 13705, + "CAP": 13706, + "▁enforce": 13707, + "▁Burn": 13708, + "Reset": 13709, + "mother": 13710, + "▁Battle": 13711, + "padding": 13712, + "iate": 13713, + "▁cried": 13714, + "AK": 13715, + "uns": 13716, + "▁siècle": 13717, + "▁Contin": 13718, + "bank": 13719, + "junit": 13720, + "objects": 13721, + "Rot": 13722, + "issa": 13723, + "▁begun": 13724, + "*-": 13725, + "▁visiting": 13726, + "жде": 13727, + "▁targets": 13728, + "▁Latin": 13729, + "ут": 13730, + "▁Esc": 13731, + "*;": 13732, + "ång": 13733, + "▁({": 13734, + "▁diagram": 13735, + "Models": 13736, + "▁partnership": 13737, + "▁från": 13738, + "ulty": 13739, + "Pod": 13740, + "CALL": 13741, + "modal": 13742, + "sig": 13743, + "itzer": 13744, + "itel": 13745, + "▁convinced": 13746, + "abl": 13747, + "стве": 13748, + "▁cot": 13749, + "▁repeat": 13750, + "▁lists": 13751, + "sound": 13752, + "▁royal": 13753, + "▁grace": 13754, + "▁oraz": 13755, + "Notification": 13756, + "prite": 13757, + "▁arrival": 13758, + "ancell": 13759, + "hentic": 13760, + "decode": 13761, + "▁fantastic": 13762, + "progress": 13763, + "proxy": 13764, + "ző": 13765, + "kel": 13766, + "▁convenient": 13767, + "aque": 13768, + "riet": 13769, + "▁Digital": 13770, + "iors": 13771, + "▁Budd": 13772, + "andra": 13773, + "addy": 13774, + "▁overs": 13775, + "▁consumers": 13776, + "pn": 13777, + "mouse": 13778, + "▁BC": 13779, + "deg": 13780, + "perm": 13781, + "ités": 13782, + "▁испо": 13783, + "heast": 13784, + "hour": 13785, + "PARAM": 13786, + "conscious": 13787, + "▁wing": 13788, + "▁atmosphere": 13789, + "▁gig": 13790, + "▁contre": 13791, + "▁drama": 13792, + "ят": 13793, + "▁Front": 13794, + "▁philosophy": 13795, + "▁Hart": 13796, + "▁nurs": 13797, + "uras": 13798, + "▁Tru": 13799, + "▁sud": 13800, + "▁performing": 13801, + "пы": 13802, + "▁confused": 13803, + "▁checks": 13804, + "amt": 13805, + "Make": 13806, + "▁RO": 13807, + "▁df": 13808, + "izations": 13809, + "▁degli": 13810, + "▁architecture": 13811, + "Renderer": 13812, + "▁Ла": 13813, + "▁ptr": 13814, + "▁dieser": 13815, + "submit": 13816, + "▁topics": 13817, + "▁principles": 13818, + "vars": 13819, + "sock": 13820, + "▁tongue": 13821, + "▁percentage": 13822, + "▁SS": 13823, + "▁dol": 13824, + "▁rice": 13825, + "ío": 13826, + "▁Eastern": 13827, + "▁recognition": 13828, + "▁Ern": 13829, + "▁Ut": 13830, + "▁caut": 13831, + "▁Cloud": 13832, + "▁conversion": 13833, + "▁Ohio": 13834, + "▁ME": 13835, + "▁surely": 13836, + "▁gard": 13837, + "puis": 13838, + "▁urg": 13839, + "imi": 13840, + "▁absence": 13841, + "▁winner": 13842, + "Language": 13843, + "▁HTTP": 13844, + "wt": 13845, + "▁translation": 13846, + "сс": 13847, + "▁Kind": 13848, + "Two": 13849, + "▁Revolution": 13850, + "Insert": 13851, + "Every": 13852, + "orient": 13853, + "▁тра": 13854, + "▁emotions": 13855, + "details": 13856, + "▁flu": 13857, + "▁operate": 13858, + "Ag": 13859, + "unning": 13860, + "▁partie": 13861, + "tri": 13862, + "▁golden": 13863, + "▁Би": 13864, + "▁foundation": 13865, + "isten": 13866, + "▁Carlos": 13867, + "Children": 13868, + "▁neighb": 13869, + "▁Cart": 13870, + "Begin": 13871, + "гда": 13872, + "▁scheduled": 13873, + "'>": 13874, + "▁observations": 13875, + "▁producer": 13876, + "athers": 13877, + "ному": 13878, + "▁expectations": 13879, + "oso": 13880, + "zh": 13881, + "mutable": 13882, + "▁writes": 13883, + "▁pushing": 13884, + "▁seats": 13885, + "▁breast": 13886, + "aping": 13887, + "▁Simple": 13888, + "▁socket": 13889, + "▁slave": 13890, + "iley": 13891, + "▁assistant": 13892, + "▁trim": 13893, + "▁landscape": 13894, + "▁association": 13895, + "quant": 13896, + "▁Palest": 13897, + "▁sweat": 13898, + "engers": 13899, + "?_": 13900, + "ép": 13901, + ">.": 13902, + "▁curious": 13903, + "▁Component": 13904, + "▁replacement": 13905, + "раль": 13906, + "▁Track": 13907, + "▁Remove": 13908, + "▁Size": 13909, + "peror": 13910, + "▁calculate": 13911, + "▁sessions": 13912, + "▁typed": 13913, + "▁submit": 13914, + "!!!": 13915, + "▁partition": 13916, + "eding": 13917, + "-----": 13918, + "azioni": 13919, + "ließ": 13920, + "onal": 13921, + "▁shru": 13922, + "▁REG": 13923, + "▁Fac": 13924, + "configuration": 13925, + "▁было": 13926, + "▁Among": 13927, + "__);": 13928, + "▁Server": 13929, + "▁LOG": 13930, + "▁cand": 13931, + "']);": 13932, + "gov": 13933, + "▁Six": 13934, + "undefined": 13935, + "▁ty": 13936, + "asa": 13937, + "▁particles": 13938, + "▁фор": 13939, + "``": 13940, + "Tube": 13941, + "eland": 13942, + "fold": 13943, + "ogo": 13944, + "▁approaches": 13945, + "onda": 13946, + "agr": 13947, + ",$": 13948, + "▁{{": 13949, + "▁Modern": 13950, + "▁Winter": 13951, + "available": 13952, + "▁Lud": 13953, + "▁casa": 13954, + "▁Could": 13955, + "▁fifteen": 13956, + "▁potentially": 13957, + "^^": 13958, + "▁seit": 13959, + "Animation": 13960, + "кого": 13961, + "Zone": 13962, + "elif": 13963, + "▁acknowled": 13964, + "▁ownership": 13965, + "▁describes": 13966, + "▁reverse": 13967, + "▁contest": 13968, + "▁scored": 13969, + "▁opposed": 13970, + "flex": 13971, + "kre": 13972, + "▁merge": 13973, + "▁covering": 13974, + "▁honestly": 13975, + "▁Mess": 13976, + "▁rarely": 13977, + "▁incredible": 13978, + "itage": 13979, + "▁victims": 13980, + "ными": 13981, + "wl": 13982, + "izza": 13983, + "dn": 13984, + "onde": 13985, + "▁przy": 13986, + "▁HTML": 13987, + "▁payload": 13988, + "Bus": 13989, + "usb": 13990, + "Fn": 13991, + "▁displayed": 13992, + "▁ocean": 13993, + "▁Avenue": 13994, + "acion": 13995, + "ghan": 13996, + "metric": 13997, + "ieties": 13998, + "▁attractive": 13999, + "▁fö": 14000, + "Creat": 14001, + "verter": 14002, + "▁Alice": 14003, + "пол": 14004, + "▁fraction": 14005, + "▁behaviour": 14006, + "▁Jersey": 14007, + "▁revenue": 14008, + "▁tres": 14009, + "ILD": 14010, + "▁Ét": 14011, + "▁sync": 14012, + "wich": 14013, + "▁ancest": 14014, + "ът": 14015, + "omo": 14016, + "▁Ide": 14017, + "▁gained": 14018, + "▁momentum": 14019, + "▁Ko": 14020, + "ieu": 14021, + "ielt": 14022, + "▁bonus": 14023, + "▁texture": 14024, + "Modal": 14025, + "NEXT": 14026, + "▁године": 14027, + "▁languages": 14028, + "vt": 14029, + "▁representing": 14030, + "▁Dream": 14031, + "curr": 14032, + "qual": 14033, + "▁js": 14034, + "burn": 14035, + "▁contributions": 14036, + "▁ric": 14037, + "}-\\": 14038, + "={{": 14039, + "cart": 14040, + "FB": 14041, + "jud": 14042, + "esp": 14043, + "▁electron": 14044, + "▁ell": 14045, + "▁Runtime": 14046, + "achel": 14047, + "\\_": 14048, + "week": 14049, + "packet": 14050, + "▁Secretary": 14051, + "▁Jahrhund": 14052, + "▁threshold": 14053, + "bage": 14054, + "▁concer": 14055, + "▁bone": 14056, + "▁Hollywood": 14057, + "Cursor": 14058, + "▁awarded": 14059, + "▁summary": 14060, + "aggio": 14061, + "▁stell": 14062, + "▁flesh": 14063, + "Pair": 14064, + "▁Age": 14065, + "ington": 14066, + "▁'.": 14067, + "aser": 14068, + "кова": 14069, + "▁quart": 14070, + "ryption": 14071, + "Alloc": 14072, + "ften": 14073, + "Operand": 14074, + "▁indicated": 14075, + "($_": 14076, + "getString": 14077, + "▁listener": 14078, + "spir": 14079, + ")_": 14080, + "vens": 14081, + "▁foods": 14082, + "anza": 14083, + "teil": 14084, + "DESC": 14085, + "▁notion": 14086, + "▁employment": 14087, + "▁swing": 14088, + "nbsp": 14089, + "▁pounds": 14090, + "tools": 14091, + "▁participate": 14092, + "▁Tax": 14093, + "▁скла": 14094, + "apol": 14095, + "▁fost": 14096, + "compat": 14097, + "▁publication": 14098, + "▁rapidly": 14099, + "▁Wis": 14100, + "EventListener": 14101, + "▁première": 14102, + "uso": 14103, + "extend": 14104, + "▁MERCHANTABILITY": 14105, + "UTF": 14106, + "▁experiments": 14107, + "single": 14108, + "zk": 14109, + "▁naj": 14110, + "}}}": 14111, + "Lin": 14112, + "▁interact": 14113, + "▁cms": 14114, + "▁Roger": 14115, + "▁Ру": 14116, + ">'": 14117, + "commit": 14118, + "лось": 14119, + "▁outcome": 14120, + "▁hits": 14121, + "▁им": 14122, + "▁spark": 14123, + "console": 14124, + "▁verw": 14125, + "▁като": 14126, + "agnostics": 14127, + "▁soci": 14128, + "▁dining": 14129, + "▁tech": 14130, + "št": 14131, + "folio": 14132, + "ultane": 14133, + "ктор": 14134, + "▁Brand": 14135, + "Join": 14136, + "▁ию": 14137, + "▁pros": 14138, + "▁posit": 14139, + "Public": 14140, + "AspNetCore": 14141, + "▁Shop": 14142, + "▁coinc": 14143, + "нием": 14144, + "▁references": 14145, + "about": 14146, + "namespace": 14147, + "DL": 14148, + "▁IR": 14149, + "▁cada": 14150, + "▁Jordan": 14151, + "▁gep": 14152, + "▁bron": 14153, + "andidate": 14154, + "EXPECT": 14155, + "amo": 14156, + "▁Deutsch": 14157, + "auc": 14158, + "▁райо": 14159, + "▁Labor": 14160, + "▁surrounded": 14161, + "тро": 14162, + "▁nome": 14163, + "▁underlying": 14164, + "▁educational": 14165, + "RIGHT": 14166, + "COUNT": 14167, + "inch": 14168, + "Typ": 14169, + "umph": 14170, + "four": 14171, + "Controls": 14172, + "▁cp": 14173, + "cost": 14174, + "▁mechanism": 14175, + "eness": 14176, + "équ": 14177, + "▁acquired": 14178, + "▁falls": 14179, + "▁Hou": 14180, + "▁LE": 14181, + "forEach": 14182, + "▁vertex": 14183, + "▁IF": 14184, + "curs": 14185, + "'=>": 14186, + "тери": 14187, + "▁SA": 14188, + "riers": 14189, + "▁uw": 14190, + "▁marks": 14191, + "▁energ": 14192, + "hof": 14193, + "ylvania": 14194, + "▁Allen": 14195, + "umpy": 14196, + "ого": 14197, + "ству": 14198, + "voice": 14199, + "▁engage": 14200, + "▁mant": 14201, + "orse": 14202, + "===": 14203, + "▁improvement": 14204, + "Opt": 14205, + "▁arrested": 14206, + "тия": 14207, + "▁сле": 14208, + "itched": 14209, + "socket": 14210, + "▁cycl": 14211, + "▁SM": 14212, + "▁Sex": 14213, + "▁neutral": 14214, + "вав": 14215, + "▁Jess": 14216, + "▁dip": 14217, + "▁opposition": 14218, + "▁borrow": 14219, + "спе": 14220, + "▁avant": 14221, + "кола": 14222, + "▁ta": 14223, + "Anim": 14224, + "▁Gall": 14225, + "rgb": 14226, + "▁guilty": 14227, + "▁buried": 14228, + "▁gy": 14229, + "Initial": 14230, + "▁accomp": 14231, + "▁breathing": 14232, + "berry": 14233, + "GRO": 14234, + "▁subsequent": 14235, + "roupe": 14236, + "ulpt": 14237, + "tb": 14238, + "▁ä": 14239, + "Pi": 14240, + "argv": 14241, + "▁Must": 14242, + ":'": 14243, + "svg": 14244, + "oup": 14245, + "▁precisely": 14246, + "▁Ta": 14247, + "rena": 14248, + "▁folder": 14249, + "▁Channel": 14250, + "▁revol": 14251, + "Miss": 14252, + "лом": 14253, + "reddit": 14254, + "adelph": 14255, + "▁discrim": 14256, + "▁ave": 14257, + "pleted": 14258, + "▁gently": 14259, + "FFFF": 14260, + "ropy": 14261, + "▁dial": 14262, + "NotFound": 14263, + "▁\"[": 14264, + "Home": 14265, + "onte": 14266, + "▁relie": 14267, + "▁Context": 14268, + "▁stats": 14269, + "▁Energy": 14270, + "ounced": 14271, + "▁grave": 14272, + "▁recip": 14273, + "лин": 14274, + "blog": 14275, + "▁naam": 14276, + "▁wo": 14277, + "▁directions": 14278, + "▁Lincoln": 14279, + "!)": 14280, + "unci": 14281, + "neq": 14282, + "Tags": 14283, + "▁tum": 14284, + "▁saving": 14285, + "aille": 14286, + "itemize": 14287, + "▁Famil": 14288, + "msm": 14289, + "news": 14290, + "FFER": 14291, + "▁Dead": 14292, + "▁territory": 14293, + "▁Kat": 14294, + "ocker": 14295, + "integer": 14296, + "▁sne": 14297, + "▁fails": 14298, + "▁français": 14299, + "▁introduction": 14300, + "▁Grant": 14301, + "ycle": 14302, + "'].": 14303, + "▁vier": 14304, + "native": 14305, + "▁Kle": 14306, + "quote": 14307, + "Users": 14308, + "▁advis": 14309, + "▁gym": 14310, + "▁protein": 14311, + "ال": 14312, + "▁Mai": 14313, + "▁providers": 14314, + "▁soil": 14315, + "gui": 14316, + "▁Nation": 14317, + "reation": 14318, + "▁Tab": 14319, + "ensis": 14320, + "inas": 14321, + "▁Scotland": 14322, + "▁dispatch": 14323, + "union": 14324, + "▁bere": 14325, + "▁Pow": 14326, + "▁Hig": 14327, + "▁studying": 14328, + "REF": 14329, + "SSL": 14330, + "▁fright": 14331, + "▁SORT": 14332, + "▁compr": 14333, + "▁Madrid": 14334, + "rowned": 14335, + "opes": 14336, + "pdev": 14337, + "▁wash": 14338, + "▁'../../": 14339, + "}}_": 14340, + "▁accum": 14341, + "rolling": 14342, + "▁NC": 14343, + "▁fiction": 14344, + "ipt": 14345, + "connected": 14346, + "limits": 14347, + "▁lap": 14348, + "▁whereas": 14349, + "prom": 14350, + "▁appointment": 14351, + "Program": 14352, + "▁Пер": 14353, + "nah": 14354, + "Validation": 14355, + "icons": 14356, + "äll": 14357, + "▁radical": 14358, + "▁exclusive": 14359, + "emony": 14360, + "▁challenging": 14361, + "▁ms": 14362, + "▁Private": 14363, + "▁vida": 14364, + "▁други": 14365, + "▁campus": 14366, + "forms": 14367, + "дно": 14368, + "plaat": 14369, + "bst": 14370, + "ATED": 14371, + "▁Abstract": 14372, + "▁intense": 14373, + "▁Ltd": 14374, + "▁controvers": 14375, + "óg": 14376, + "▁să": 14377, + "▁landing": 14378, + "!=": 14379, + "▁scenes": 14380, + "▁Chap": 14381, + "▁spoken": 14382, + "cred": 14383, + "▁pride": 14384, + "quet": 14385, + "▁meter": 14386, + "▁deutsch": 14387, + "uum": 14388, + "▁bless": 14389, + "▁Hann": 14390, + "▁inputs": 14391, + "▁Row": 14392, + "▁withdraw": 14393, + "Pal": 14394, + "acles": 14395, + "assets": 14396, + "▁vl": 14397, + "веде": 14398, + "▁Got": 14399, + "▁airport": 14400, + "wind": 14401, + "▁Columbia": 14402, + "▁chocolate": 14403, + "▁hö": 14404, + "▁alarm": 14405, + "FTWARE": 14406, + "▁Jay": 14407, + "▁sake": 14408, + "▁registration": 14409, + "vid": 14410, + "▁lake": 14411, + "▁username": 14412, + "▁hack": 14413, + "indexOf": 14414, + "cx": 14415, + "▁festival": 14416, + "▁clubs": 14417, + "cases": 14418, + "CTRL": 14419, + "];\r": 14420, + "▁Aud": 14421, + "▁primera": 14422, + "ват": 14423, + "▁brilliant": 14424, + "uther": 14425, + "▁difficulty": 14426, + "itals": 14427, + "▁scores": 14428, + "▁polít": 14429, + "database": 14430, + "aska": 14431, + "▁######": 14432, + "▁acid": 14433, + "aton": 14434, + "atomic": 14435, + "freq": 14436, + "▁WARRANTY": 14437, + "▁reporting": 14438, + ".),": 14439, + "▁nights": 14440, + "▁programme": 14441, + ")}{": 14442, + "xic": 14443, + "▁spo": 14444, + "lined": 14445, + "quarters": 14446, + "eree": 14447, + "mers": 14448, + "▁serves": 14449, + "cow": 14450, + "лько": 14451, + "enso": 14452, + "▁environ": 14453, + "Like": 14454, + "anche": 14455, + "▁crash": 14456, + "▁Kap": 14457, + "noindent": 14458, + "Conn": 14459, + "▁авто": 14460, + "▁infrastructure": 14461, + "IME": 14462, + "▁Room": 14463, + "need": 14464, + "orer": 14465, + "▁Dest": 14466, + "▁Domin": 14467, + "atherine": 14468, + "▁Sydney": 14469, + "▁gauge": 14470, + "▁jet": 14471, + "bably": 14472, + "▁commonly": 14473, + "▁stations": 14474, + "iah": 14475, + "nl": 14476, + "жу": 14477, + "eten": 14478, + "_)": 14479, + "iac": 14480, + "amos": 14481, + "nement": 14482, + "kon": 14483, + "Interval": 14484, + "▁cabin": 14485, + "▁eg": 14486, + "▁shots": 14487, + "▁Area": 14488, + "smith": 14489, + "parameter": 14490, + "'}": 14491, + "▁hem": 14492, + "▁singing": 14493, + "▁accessible": 14494, + "▁Prin": 14495, + "optional": 14496, + "ancial": 14497, + "ships": 14498, + "▁canvas": 14499, + "spe": 14500, + "▁addresses": 14501, + "▁xml": 14502, + "▁'\"": 14503, + "▁kar": 14504, + "öff": 14505, + "▁ages": 14506, + "ёр": 14507, + "zing": 14508, + "▁över": 14509, + "▁Clean": 14510, + "▁Silver": 14511, + "▁осо": 14512, + "health": 14513, + "Ali": 14514, + "▁ts": 14515, + "atern": 14516, + "▁choosing": 14517, + "▁burned": 14518, + "brid": 14519, + "rooms": 14520, + "ött": 14521, + "KERN": 14522, + "▁dish": 14523, + "Sa": 14524, + "Detail": 14525, + "▁Hind": 14526, + "▁Dans": 14527, + "ię": 14528, + "▁Jahren": 14529, + "extension": 14530, + "allas": 14531, + "▁Billy": 14532, + "usammen": 14533, + "itud": 14534, + "geon": 14535, + "Temp": 14536, + "Leg": 14537, + "ittel": 14538, + "addle": 14539, + "▁muscle": 14540, + "▁scared": 14541, + "sson": 14542, + "▁denote": 14543, + "ieurs": 14544, + "▁orange": 14545, + "▁hub": 14546, + "▁reb": 14547, + "edi": 14548, + "▁voices": 14549, + "Folder": 14550, + "▁suspend": 14551, + "▁Heart": 14552, + "▁scrap": 14553, + "▁aggreg": 14554, + "▁Guide": 14555, + "transaction": 14556, + "▁riding": 14557, + "▁vá": 14558, + "▁breed": 14559, + "▁concert": 14560, + "approx": 14561, + "▁chances": 14562, + "Tok": 14563, + "Eq": 14564, + "parts": 14565, + "▁scholar": 14566, + "offs": 14567, + "flush": 14568, + "!”": 14569, + "▁login": 14570, + "▁soort": 14571, + "▁Mand": 14572, + "▁functional": 14573, + "▁Bou": 14574, + "▁subjects": 14575, + "mys": 14576, + "▁extraord": 14577, + "▁Building": 14578, + "ikt": 14579, + "Bad": 14580, + "iami": 14581, + "Driver": 14582, + "ête": 14583, + "▁kv": 14584, + "▁timer": 14585, + "itionally": 14586, + "▁athlet": 14587, + "▁\");": 14588, + "wy": 14589, + "CFG": 14590, + "▁heaven": 14591, + "ов": 14592, + "▁experimental": 14593, + "▁bounds": 14594, + "ICK": 14595, + "▁excit": 14596, + "▁quit": 14597, + "▁universal": 14598, + "дь": 14599, + "▁SP": 14600, + "▁stub": 14601, + "▁kle": 14602, + "▁Bart": 14603, + "▁\"@": 14604, + "pel": 14605, + "▁(!(": 14606, + "▁selector": 14607, + "EB": 14608, + "▁coc": 14609, + "eted": 14610, + "ють": 14611, + "▁possess": 14612, + "▁Rick": 14613, + "▁unusual": 14614, + "termin": 14615, + "▁bags": 14616, + "▁loading": 14617, + "▁tf": 14618, + "▁)\r": 14619, + "provider": 14620, + "pletion": 14621, + "▁cursor": 14622, + "▁paused": 14623, + "им": 14624, + "▁counsel": 14625, + "]<": 14626, + "zech": 14627, + "▁tie": 14628, + "▁Moon": 14629, + "▁armed": 14630, + "▁observe": 14631, + "▁permet": 14632, + "▁Job": 14633, + "för": 14634, + "argument": 14635, + "▁eggs": 14636, + "ást": 14637, + "▁incredibly": 14638, + "werken": 14639, + "izard": 14640, + "▁painted": 14641, + "▁Vietnam": 14642, + "▁violent": 14643, + "Est": 14644, + "ierra": 14645, + "reader": 14646, + "weise": 14647, + "▁Josh": 14648, + "▁Him": 14649, + "ashes": 14650, + "origin": 14651, + "▁spir": 14652, + "▁Tree": 14653, + "▁niet": 14654, + "WIN": 14655, + "margin": 14656, + "▁involves": 14657, + "▁organis": 14658, + "▁Nacional": 14659, + "bara": 14660, + "▁depuis": 14661, + "pio": 14662, + "features": 14663, + "stru": 14664, + "▁Disney": 14665, + "▁restaurants": 14666, + "Mill": 14667, + "))\r": 14668, + "сла": 14669, + "remote": 14670, + "▁Third": 14671, + "▁baseball": 14672, + "▁algun": 14673, + "]$": 14674, + "▁employed": 14675, + "pot": 14676, + "▁UnityEngine": 14677, + "▁integration": 14678, + "▁risks": 14679, + "▁stro": 14680, + "▁agosto": 14681, + "including": 14682, + "▁Mind": 14683, + "▁stroke": 14684, + "▁deals": 14685, + "ajax": 14686, + "ёт": 14687, + "▁\\|": 14688, + "tar": 14689, + "adelphia": 14690, + "▁sab": 14691, + "pur": 14692, + "▁screw": 14693, + "▁inev": 14694, + "▁\\;": 14695, + "▁Donald": 14696, + "öd": 14697, + "cca": 14698, + "esis": 14699, + "▁separated": 14700, + "DBG": 14701, + "agent": 14702, + "▁packed": 14703, + "ння": 14704, + "intern": 14705, + "▁Monte": 14706, + "▁province": 14707, + "▁expanded": 14708, + "▁approached": 14709, + "▁Ep": 14710, + "CLK": 14711, + "▁ore": 14712, + "Batch": 14713, + "▁impressive": 14714, + "RM": 14715, + "▁Location": 14716, + "▁shame": 14717, + "wrapper": 14718, + "unwrap": 14719, + "peer": 14720, + "Bits": 14721, + "▁SN": 14722, + "scar": 14723, + "Come": 14724, + "▁council": 14725, + "▁shouted": 14726, + "making": 14727, + "▁Maur": 14728, + "▁wis": 14729, + "LETE": 14730, + "▁fs": 14731, + "▁dz": 14732, + "unque": 14733, + "uego": 14734, + "Random": 14735, + "Html": 14736, + "zem": 14737, + "▁Dutch": 14738, + "▁Golden": 14739, + "▁Tar": 14740, + "▁Herm": 14741, + "▁stretch": 14742, + "vard": 14743, + "▁tries": 14744, + "WI": 14745, + "▁disappeared": 14746, + "▁crusher": 14747, + "▁Kan": 14748, + "Mag": 14749, + "ør": 14750, + "▁Cambridge": 14751, + "▁dopo": 14752, + "atura": 14753, + "heart": 14754, + "▁Spiel": 14755, + "/**\r": 14756, + "Direction": 14757, + "atting": 14758, + "wig": 14759, + "▁codes": 14760, + "▁powder": 14761, + "alert": 14762, + "sembl": 14763, + "▁ye": 14764, + "Star": 14765, + "▁roots": 14766, + "▁Holl": 14767, + "Rele": 14768, + "▁constitu": 14769, + "nc": 14770, + "“.": 14771, + "reference": 14772, + "ificial": 14773, + "closure": 14774, + "▁figured": 14775, + "▁assumption": 14776, + "getElementById": 14777, + "▁AG": 14778, + "oses": 14779, + "▁_\"": 14780, + "epper": 14781, + "obre": 14782, + "enumerate": 14783, + "ографи": 14784, + "▁lessons": 14785, + "▁qualified": 14786, + "Person": 14787, + "anse": 14788, + "▁Mort": 14789, + "sylvania": 14790, + "▁cré": 14791, + "Binding": 14792, + "іс": 14793, + "▁Vari": 14794, + "▁reminded": 14795, + "▁membership": 14796, + "iper": 14797, + "zte": 14798, + "▁cref": 14799, + "▁PA": 14800, + "plaatst": 14801, + "▁Environment": 14802, + "boy": 14803, + "▁phrase": 14804, + "rivial": 14805, + "rag": 14806, + "води": 14807, + "▁pse": 14808, + "▁tournament": 14809, + ")},": 14810, + "▁Sound": 14811, + "▁Vel": 14812, + "▁Berg": 14813, + "elson": 14814, + "▁refuge": 14815, + "▁elsewhere": 14816, + "quality": 14817, + "▁abandoned": 14818, + "▁Flo": 14819, + "ibil": 14820, + "UAL": 14821, + "▁Platz": 14822, + "▁delta": 14823, + "▁Buy": 14824, + "rière": 14825, + "▁flour": 14826, + "▁laughing": 14827, + "▁Looking": 14828, + "Agent": 14829, + "▁wx": 14830, + "▁Wales": 14831, + "Ctx": 14832, + "▁cake": 14833, + "▁crate": 14834, + "▁кла": 14835, + "anga": 14836, + "Zero": 14837, + "▁amounts": 14838, + "Tra": 14839, + "ometric": 14840, + "▁constraints": 14841, + "▁temple": 14842, + "▁installation": 14843, + "stroke": 14844, + "▁Neder": 14845, + "ți": 14846, + "▁Ibid": 14847, + "▁obs": 14848, + "entries": 14849, + "▁jusqu": 14850, + "ORM": 14851, + "▁Sky": 14852, + "ikes": 14853, + "nak": 14854, + "▁modes": 14855, + "▁Hitler": 14856, + "▁belt": 14857, + "▁pointing": 14858, + "▁Ban": 14859, + "ignore": 14860, + "▁persu": 14861, + "▁Besides": 14862, + "ynom": 14863, + "▁legis": 14864, + "▁CPU": 14865, + "anded": 14866, + "uis": 14867, + "bsite": 14868, + "▁Euro": 14869, + "▁utter": 14870, + "eclipse": 14871, + "▁irre": 14872, + "▁Document": 14873, + "▁Meanwhile": 14874, + "▁familie": 14875, + "verify": 14876, + "▁Jason": 14877, + "▁Ort": 14878, + "▁ciudad": 14879, + "▁technologies": 14880, + "▁части": 14881, + "nica": 14882, + "cancel": 14883, + "Virtual": 14884, + "▁evident": 14885, + "aman": 14886, + "▁Supreme": 14887, + "atoes": 14888, + "▁steady": 14889, + "▁monthly": 14890, + "▁SOFTWARE": 14891, + "Die": 14892, + "▁applying": 14893, + "Dig": 14894, + "vier": 14895, + "▁горо": 14896, + "▁WH": 14897, + "▁minds": 14898, + "▁kam": 14899, + "▁expertise": 14900, + "▁notification": 14901, + ".-": 14902, + "▁deliber": 14903, + "▁HE": 14904, + "▁resist": 14905, + "outes": 14906, + "▁Howard": 14907, + "special": 14908, + "▁presentation": 14909, + "▁YouTube": 14910, + "mir": 14911, + "▁rust": 14912, + "▁nations": 14913, + "▁Gets": 14914, + "▁responses": 14915, + "arded": 14916, + "immer": 14917, + "▁reveal": 14918, + "▁Meg": 14919, + "▁todos": 14920, + "▁ade": 14921, + "ategories": 14922, + "▁payments": 14923, + "ôt": 14924, + "Enumer": 14925, + "▁platforms": 14926, + "▁lifetime": 14927, + "Complete": 14928, + "Quest": 14929, + "enders": 14930, + "▁cum": 14931, + "pler": 14932, + "▁appl": 14933, + "ährend": 14934, + "зь": 14935, + "enez": 14936, + "overty": 14937, + "ynchron": 14938, + "▁argued": 14939, + "▁Kath": 14940, + "▁synchron": 14941, + "▁Builder": 14942, + "Border": 14943, + "Plan": 14944, + "rieb": 14945, + "nm": 14946, + "FORMAT": 14947, + "usk": 14948, + "▁jumped": 14949, + "charg": 14950, + "▁contribute": 14951, + "Mesh": 14952, + "Univers": 14953, + "rell": 14954, + "▁polar": 14955, + "▁trois": 14956, + "icio": 14957, + "Groups": 14958, + "▁(%": 14959, + "Loop": 14960, + "▁gaz": 14961, + "dbg": 14962, + "LAY": 14963, + "John": 14964, + "blocks": 14965, + "▁lung": 14966, + "▁kön": 14967, + "through": 14968, + "▁fifth": 14969, + "lisher": 14970, + "▁involving": 14971, + "▁Deep": 14972, + "▁области": 14973, + "▁sull": 14974, + "Export": 14975, + "▁Kate": 14976, + "period": 14977, + "charge": 14978, + "GT": 14979, + "\">\r": 14980, + "тин": 14981, + "▁Ott": 14982, + "▁interactions": 14983, + "▁Toronto": 14984, + "TRACE": 14985, + "▁difer": 14986, + "▁liberal": 14987, + "▁particle": 14988, + "▁surve": 14989, + "alous": 14990, + "reason": 14991, + "▁depression": 14992, + "ал": 14993, + "▁flower": 14994, + "▁waar": 14995, + "▁hade": 14996, + "▁centuries": 14997, + "uty": 14998, + "party": 14999, + "▁approval": 15000, + "generate": 15001, + "▁Barn": 15002, + "▁marg": 15003, + "▁monde": 15004, + "▁ook": 15005, + "▁Clark": 15006, + "▁theoret": 15007, + "viously": 15008, + "?)": 15009, + "▁Rud": 15010, + "stmt": 15011, + "inction": 15012, + "▁tun": 15013, + "▁roads": 15014, + "▁rotation": 15015, + "ppen": 15016, + "sensor": 15017, + "▁Kol": 15018, + "idelines": 15019, + "▁є": 15020, + "▁composed": 15021, + "▁virus": 15022, + "'$": 15023, + "SN": 15024, + "▁Von": 15025, + "mont": 15026, + "lar": 15027, + "▁opinions": 15028, + "uction": 15029, + "rupal": 15030, + "underline": 15031, + "▁horror": 15032, + "Must": 15033, + "otto": 15034, + "Should": 15035, + "▁statist": 15036, + "▁gem": 15037, + "▁secre": 15038, + "▁strip": 15039, + "▁dirt": 15040, + "amazon": 15041, + "▁Round": 15042, + "▁discovery": 15043, + "▁GO": 15044, + "▁substantial": 15045, + "ibt": 15046, + "▁demands": 15047, + "▁everyday": 15048, + "▁besch": 15049, + "▁Bridge": 15050, + "▁HD": 15051, + "▁Dol": 15052, + "▁très": 15053, + "anni": 15054, + "roit": 15055, + "());\r": 15056, + "far": 15057, + "timestamp": 15058, + "▁bulk": 15059, + "Black": 15060, + "▁gan": 15061, + "setting": 15062, + "retval": 15063, + "ване": 15064, + "nung": 15065, + "▁talks": 15066, + "▁scientists": 15067, + "▁vig": 15068, + "▁quantity": 15069, + "▁Gard": 15070, + "▁movements": 15071, + "ähr": 15072, + "lings": 15073, + "▁Те": 15074, + "team": 15075, + "rito": 15076, + "▁assembly": 15077, + "ilst": 15078, + "▁happiness": 15079, + "▁leaf": 15080, + "▁assessment": 15081, + "Coord": 15082, + "irs": 15083, + "sam": 15084, + "▁attorney": 15085, + "▁geme": 15086, + "IDE": 15087, + "▁Vere": 15088, + "▁Anthony": 15089, + "amiento": 15090, + "▁Ast": 15091, + "▁circul": 15092, + "▁Frances": 15093, + "▁pent": 15094, + "▁mate": 15095, + "▁Transport": 15096, + "owo": 15097, + "чу": 15098, + "istes": 15099, + "TRAN": 15100, + "IMPORT": 15101, + "▁Break": 15102, + "▁sons": 15103, + "▁investors": 15104, + "▁Philipp": 15105, + "THOD": 15106, + "▁panic": 15107, + "▁:)": 15108, + "▁detection": 15109, + "▁simultane": 15110, + "nte": 15111, + "▁listened": 15112, + "кре": 15113, + "▁Brig": 15114, + "Optional": 15115, + "▁abund": 15116, + "▁criteria": 15117, + "▁chip": 15118, + "▁окру": 15119, + "▁Constant": 15120, + "▁mining": 15121, + "тал": 15122, + "mates": 15123, + "▁worship": 15124, + "router": 15125, + "CN": 15126, + "▁Match": 15127, + "▁Cole": 15128, + "▁downt": 15129, + "▁holes": 15130, + "▁grateful": 15131, + "RESULT": 15132, + "▁Europa": 15133, + "▁consent": 15134, + "lä": 15135, + "opter": 15136, + "▁colleagues": 15137, + "orous": 15138, + "▁enemies": 15139, + "hang": 15140, + "actual": 15141, + "Objects": 15142, + "▁як": 15143, + "▁fluid": 15144, + "fixed": 15145, + "▁Graph": 15146, + "▁scratch": 15147, + "cers": 15148, + "ribu": 15149, + "▁validation": 15150, + "▁completion": 15151, + "▁Begin": 15152, + "endpoint": 15153, + "rient": 15154, + "CM": 15155, + "▁Site": 15156, + "▁explains": 15157, + "tres": 15158, + "▁anybody": 15159, + "foreach": 15160, + "lon": 15161, + "Chain": 15162, + "▁Buff": 15163, + "ocal": 15164, + "▁Morgan": 15165, + "▁sang": 15166, + "▁passes": 15167, + "@@": 15168, + "ijd": 15169, + "Word": 15170, + "▁Hung": 15171, + "▁Fer": 15172, + "▁vý": 15173, + "bast": 15174, + "▁entertainment": 15175, + "hin": 15176, + "▁grat": 15177, + "▁Member": 15178, + "▁Minn": 15179, + "▁printed": 15180, + "▁Franklin": 15181, + "▁Imp": 15182, + "Machine": 15183, + "columns": 15184, + "▁deleted": 15185, + "▁manufacturing": 15186, + "▁rely": 15187, + "▁conse": 15188, + "▁fishing": 15189, + "blo": 15190, + "-$": 15191, + "▁.\"": 15192, + "▁clinical": 15193, + "▁Studies": 15194, + "▁Бу": 15195, + "definition": 15196, + "▁evaluation": 15197, + "▁attacked": 15198, + "▁frozen": 15199, + "zent": 15200, + "▁últ": 15201, + "▁rational": 15202, + "othe": 15203, + "Cancel": 15204, + "history": 15205, + "setText": 15206, + "▁alc": 15207, + "▁hydro": 15208, + "▁Theatre": 15209, + "▁Material": 15210, + "IOException": 15211, + "******/": 15212, + "spl": 15213, + "NODE": 15214, + "attrs": 15215, + "▁mie": 15216, + "▁offices": 15217, + "ró": 15218, + "▁jam": 15219, + "▁Ident": 15220, + "vé": 15221, + "Setting": 15222, + "▁Several": 15223, + "▁decay": 15224, + "Android": 15225, + "▁Save": 15226, + "unted": 15227, + "▁Mountain": 15228, + "usc": 15229, + "▁marzo": 15230, + "▁asleep": 15231, + "▁soldier": 15232, + "▁Double": 15233, + "PK": 15234, + "▁contrad": 15235, + "▁wins": 15236, + "ceiver": 15237, + "▁seasons": 15238, + "▁Chall": 15239, + "▁healthcare": 15240, + "ład": 15241, + "от": 15242, + "▁Five": 15243, + "▁Hell": 15244, + "▁worldwide": 15245, + "▁',": 15246, + "ян": 15247, + "made": 15248, + "▁responded": 15249, + "▁ay": 15250, + "▁procedures": 15251, + "тера": 15252, + "▁cleared": 15253, + "\"].": 15254, + "▁Target": 15255, + "▁Side": 15256, + "omin": 15257, + "▁deploy": 15258, + "▁Tell": 15259, + "▁ongoing": 15260, + "floor": 15261, + "▁bones": 15262, + "▁Delete": 15263, + "▁shrugged": 15264, + "Our": 15265, + "Der": 15266, + "▁initialize": 15267, + "▁Ted": 15268, + "MAGE": 15269, + "▁hire": 15270, + "▁tracking": 15271, + "▁ash": 15272, + "▁ceiling": 15273, + "ках": 15274, + "etti": 15275, + "▁courage": 15276, + "enschapp": 15277, + "ются": 15278, + "More": 15279, + "▁folg": 15280, + "▁Grace": 15281, + "▁Kelly": 15282, + "▁reven": 15283, + "▁Ali": 15284, + "▁disp": 15285, + "▁defeat": 15286, + "▁creature": 15287, + "▁Kennedy": 15288, + "▁Diego": 15289, + "EMP": 15290, + "▁steam": 15291, + "endance": 15292, + "rig": 15293, + "▁ignor": 15294, + "emen": 15295, + "▁Gru": 15296, + "▁proposal": 15297, + "▁weiter": 15298, + "▁лі": 15299, + "ibles": 15300, + "▁consideration": 15301, + "▁believes": 15302, + "▁Soph": 15303, + "“,": 15304, + "▁Matthew": 15305, + "▁circuit": 15306, + "▁singer": 15307, + "▁Square": 15308, + "ço": 15309, + "Edge": 15310, + "▁astr": 15311, + "▁representative": 15312, + "▁comprehensive": 15313, + "liga": 15314, + "▁mere": 15315, + "tbl": 15316, + "▁continuing": 15317, + "ographer": 15318, + "LED": 15319, + "▁/***/": 15320, + "▁sear": 15321, + "▁enormous": 15322, + "izi": 15323, + "Dit": 15324, + "there": 15325, + "ін": 15326, + "сите": 15327, + "▁guerra": 15328, + "▁endpoint": 15329, + "▁lesson": 15330, + "zon": 15331, + "variable": 15332, + "ис": 15333, + "▁researchers": 15334, + "▁attempted": 15335, + "▁enf": 15336, + "тура": 15337, + "▁defin": 15338, + "вест": 15339, + "▁awful": 15340, + "▁lowest": 15341, + "rules": 15342, + "▁unlike": 15343, + "interval": 15344, + "▁producing": 15345, + "▁Kam": 15346, + "▁IMP": 15347, + "General": 15348, + "▁faire": 15349, + "▁maxim": 15350, + "assemb": 15351, + "acent": 15352, + "?>": 15353, + "plica": 15354, + "▁ram": 15355, + "mate": 15356, + "цу": 15357, + "mn": 15358, + "▁Hi": 15359, + "▁stages": 15360, + "▁Editor": 15361, + "▁tang": 15362, + "RD": 15363, + "▁ich": 15364, + "▁dependent": 15365, + "lifer": 15366, + "ascript": 15367, + "▁exposure": 15368, + "рез": 15369, + "▁mart": 15370, + "▁Barcel": 15371, + "xspace": 15372, + "SESSION": 15373, + "▁prest": 15374, + "URCE": 15375, + "-.": 15376, + "▁село": 15377, + "have": 15378, + "▁observation": 15379, + "▁commands": 15380, + "▁eager": 15381, + "▁outdoor": 15382, + "▁DEBUG": 15383, + "▁hr": 15384, + "AX": 15385, + "▁puzz": 15386, + "blank": 15387, + "бур": 15388, + "▁kennis": 15389, + "▁regarded": 15390, + "▁}),": 15391, + "volume": 15392, + "▁произ": 15393, + "▁Training": 15394, + "añ": 15395, + "▁fois": 15396, + "▁три": 15397, + "вня": 15398, + "▁optimal": 15399, + "▁subscription": 15400, + "bridge": 15401, + "imental": 15402, + "▁Think": 15403, + "▁\";": 15404, + "▁legisl": 15405, + "▁Hop": 15406, + "▁branches": 15407, + "▁Veg": 15408, + "▁sprint": 15409, + "▁flux": 15410, + "▁Freder": 15411, + "sis": 15412, + "notify": 15413, + "▁Фран": 15414, + "som": 15415, + "nym": 15416, + "▁Ré": 15417, + "lett": 15418, + "ingham": 15419, + "▁Farm": 15420, + "DOM": 15421, + "▁shield": 15422, + "Here": 15423, + "▁Treat": 15424, + "▁Luke": 15425, + "▁unsafe": 15426, + "anton": 15427, + "▁Imper": 15428, + "▁telephone": 15429, + "▁unlock": 15430, + "Owner": 15431, + "collection": 15432, + "▁snd": 15433, + "▁suiv": 15434, + "▁entering": 15435, + "шен": 15436, + "▁Label": 15437, + "selector": 15438, + "▁GET": 15439, + "▁quando": 15440, + "▁fed": 15441, + "jQuery": 15442, + "Origin": 15443, + "▁Alan": 15444, + "mathscr": 15445, + "▁pregnant": 15446, + "Expect": 15447, + "resources": 15448, + "▁ersten": 15449, + "alia": 15450, + "▁retired": 15451, + "ût": 15452, + "Cred": 15453, + "▁méd": 15454, + "▁erh": 15455, + "Framework": 15456, + "Slot": 15457, + "duration": 15458, + "sal": 15459, + "▁composition": 15460, + "article": 15461, + "gpu": 15462, + "▁permitted": 15463, + "▁Font": 15464, + "▁Much": 15465, + "▁pending": 15466, + "▁agencies": 15467, + "Columns": 15468, + "▁klik": 15469, + "▁rating": 15470, + "mind": 15471, + "▁Pennsylvania": 15472, + "Java": 15473, + "abstract": 15474, + "▁dumb": 15475, + "▁VI": 15476, + "usa": 15477, + "Remote": 15478, + "▁YOU": 15479, + "▁Creek": 15480, + "мати": 15481, + "Bottom": 15482, + "▁rolling": 15483, + "▁bundle": 15484, + "▁golf": 15485, + "gpio": 15486, + "▁Chair": 15487, + "▁cls": 15488, + "$}": 15489, + "▁Parliament": 15490, + "führ": 15491, + "Many": 15492, + "▁Sep": 15493, + "▁badly": 15494, + "igi": 15495, + "▁Gemeinde": 15496, + "Ill": 15497, + "▁Ан": 15498, + "uart": 15499, + "itempty": 15500, + "▁Niger": 15501, + "▁immigr": 15502, + "Super": 15503, + "vá": 15504, + "istribute": 15505, + "Helpers": 15506, + "▁waters": 15507, + "▁joining": 15508, + "omitempty": 15509, + "▁Otherwise": 15510, + "▁Host": 15511, + "▁redd": 15512, + "▁dy": 15513, + "▁converted": 15514, + "▁prayer": 15515, + "▁Украї": 15516, + "▁elections": 15517, + "reb": 15518, + "erie": 15519, + "▁свя": 15520, + "Abs": 15521, + "iembre": 15522, + "holders": 15523, + "▁Rol": 15524, + "utschen": 15525, + "▁Gh": 15526, + "tery": 15527, + "анг": 15528, + "▁narrative": 15529, + "minus": 15530, + "▁Iron": 15531, + "=\"#": 15532, + "▁wand": 15533, + "▁wished": 15534, + "icode": 15535, + "orr": 15536, + "[[": 15537, + "▁detected": 15538, + "▁municipal": 15539, + "▁Pour": 15540, + "▁Serv": 15541, + "citet": 15542, + "▁grey": 15543, + "▁Rap": 15544, + "▁voy": 15545, + "▁lleg": 15546, + "▁currency": 15547, + "▁Script": 15548, + "strument": 15549, + "▁expecting": 15550, + "▁tickets": 15551, + "▁bucket": 15552, + "egr": 15553, + "▁jacket": 15554, + "drv": 15555, + "▁loans": 15556, + "▁kann": 15557, + "▁integral": 15558, + "▁characteristics": 15559, + "(\".": 15560, + "▁manual": 15561, + "▁dynamics": 15562, + ":*": 15563, + "sha": 15564, + "reens": 15565, + "onical": 15566, + "▁toile": 15567, + "aña": 15568, + "▁distant": 15569, + "▁handled": 15570, + "Bool": 15571, + "▁penal": 15572, + "▁Things": 15573, + "▁prominent": 15574, + "▁exped": 15575, + "▁Help": 15576, + "▁asp": 15577, + "lap": 15578, + "▁Auth": 15579, + "Basic": 15580, + "achuset": 15581, + "▁Bild": 15582, + "▁entitled": 15583, + "▁jag": 15584, + "▁rejected": 15585, + "▁memor": 15586, + "orts": 15587, + "▁applies": 15588, + "▁Language": 15589, + "specific": 15590, + "achusetts": 15591, + "HAND": 15592, + "▁Route": 15593, + "market": 15594, + "▁Ky": 15595, + "▁pose": 15596, + "ACHE": 15597, + "poll": 15598, + "▁rocks": 15599, + "bone": 15600, + "▁DIS": 15601, + "Watch": 15602, + "▁smiling": 15603, + "рио": 15604, + "Month": 15605, + "▁efter": 15606, + "construct": 15607, + "▁bands": 15608, + "▁collaboration": 15609, + "ними": 15610, + "glas": 15611, + "▁vy": 15612, + "▁engagement": 15613, + "__)": 15614, + "▁wings": 15615, + "ким": 15616, + "netje": 15617, + "ativa": 15618, + "▁Duke": 15619, + "лее": 15620, + "▁Within": 15621, + "▁dove": 15622, + "▁cb": 15623, + "yers": 15624, + "pow": 15625, + "[(": 15626, + "▁evaluate": 15627, + "Points": 15628, + "▁рі": 15629, + "odigd": 15630, + "onomy": 15631, + "▁Illinois": 15632, + "▁Typ": 15633, + "▁coordinates": 15634, + "pisode": 15635, + "ucked": 15636, + "▁flav": 15637, + "▁brands": 15638, + "▁calendar": 15639, + "Lib": 15640, + "▁uitgen": 15641, + "▁tale": 15642, + "▁briefly": 15643, + "▁mic": 15644, + "RESS": 15645, + "▁später": 15646, + "▁integrated": 15647, + "▁cookies": 15648, + "▁uitgenodigd": 15649, + "▁Priv": 15650, + "▁phenomen": 15651, + "▁voegen": 15652, + "Supp": 15653, + "▁refers": 15654, + "пад": 15655, + "▁Clinton": 15656, + "▁assignment": 15657, + "inals": 15658, + "▁asym": 15659, + "cycle": 15660, + "▁Anderson": 15661, + "▁binding": 15662, + "rique": 15663, + "hind": 15664, + "▁behalf": 15665, + "▁Fle": 15666, + "▁breaks": 15667, + "▁soap": 15668, + "вар": 15669, + "▁vä": 15670, + "▁crying": 15671, + "▁→": 15672, + "▁msm": 15673, + "▁boots": 15674, + "owing": 15675, + "▁bell": 15676, + "suite": 15677, + "▁Bundes": 15678, + "Year": 15679, + "ndef": 15680, + "Other": 15681, + "▁google": 15682, + "ENCE": 15683, + "WER": 15684, + "Les": 15685, + "Shared": 15686, + "▁ED": 15687, + "IFT": 15688, + "▁floating": 15689, + "ým": 15690, + "{},": 15691, + "Binary": 15692, + "▁roce": 15693, + "raj": 15694, + "▁bewerken": 15695, + "BF": 15696, + "▁Hur": 15697, + "cen": 15698, + "▁ere": 15699, + "▁camb": 15700, + "▁Pakistan": 15701, + "▁greatly": 15702, + "▁logging": 15703, + "/.": 15704, + "Tensor": 15705, + "▁opens": 15706, + "▁Rio": 15707, + "▁klikken": 15708, + "▁sculpt": 15709, + "apore": 15710, + "wx": 15711, + "▁Nich": 15712, + "nan": 15713, + "▁injured": 15714, + "compare": 15715, + "tha": 15716, + "Sample": 15717, + "Shell": 15718, + "▁commander": 15719, + "▁receiver": 15720, + "▁hopes": 15721, + "▁byl": 15722, + "▁proxy": 15723, + "▁gall": 15724, + "getId": 15725, + "▁Bab": 15726, + "feld": 15727, + "▁\"_": 15728, + "▁Hab": 15729, + "simple": 15730, + "▁executed": 15731, + "▁ate": 15732, + "▁animation": 15733, + "▁inhab": 15734, + "▁боль": 15735, + "▁router": 15736, + "▁glob": 15737, + "Geplaatst": 15738, + "▁beginnetje": 15739, + "▁Kur": 15740, + "▁Ха": 15741, + "aligned": 15742, + "▁certificate": 15743, + "▁Å": 15744, + ".).": 15745, + "▁soll": 15746, + "▁Import": 15747, + "реди": 15748, + "▁pandemic": 15749, + "▁nic": 15750, + "vä": 15751, + "▁Gree": 15752, + "▁Say": 15753, + "▁ді": 15754, + "▁Num": 15755, + "▁roughly": 15756, + "▁después": 15757, + "▁​": 15758, + "▁specify": 15759, + "Mapper": 15760, + "licht": 15761, + "▁thumb": 15762, + "wie": 15763, + "▁unlikely": 15764, + "▁Edd": 15765, + "Hey": 15766, + "▁Opt": 15767, + "BLOCK": 15768, + "вор": 15769, + "▁×": 15770, + "▁ba": 15771, + "▁periods": 15772, + "▁titles": 15773, + "Med": 15774, + "▁fon": 15775, + "▁bast": 15776, + "▁Forest": 15777, + "▁№": 15778, + "onds": 15779, + "▁fal": 15780, + "▁gesch": 15781, + "direction": 15782, + "IFY": 15783, + "▁LA": 15784, + "▁(((": 15785, + "GTH": 15786, + "itudes": 15787, + "▁destruction": 15788, + "▁Ja": 15789, + "▁stake": 15790, + "ifferent": 15791, + "▁identical": 15792, + "▁fog": 15793, + "▁Reb": 15794, + "ские": 15795, + "ступ": 15796, + "jax": 15797, + "▁Mars": 15798, + "▁historic": 15799, + "▁Vo": 15800, + "▁entrepre": 15801, + "▁tension": 15802, + "▁WHERE": 15803, + "▁Philadelphia": 15804, + "Counter": 15805, + "▁frames": 15806, + "▁muy": 15807, + "ej": 15808, + "öt": 15809, + "eu": 15810, + "▁челове": 15811, + "PROC": 15812, + "▁resolved": 15813, + "▁tape": 15814, + "цион": 15815, + "▁singular": 15816, + "▁personnel": 15817, + "▁Mun": 15818, + "▁Occ": 15819, + "▁scalar": 15820, + "dess": 15821, + "▁cable": 15822, + "being": 15823, + "▁Jenn": 15824, + "▁erst": 15825, + "Actions": 15826, + "Environment": 15827, + "via": 15828, + "▁struggling": 15829, + "▁DVD": 15830, + "whe": 15831, + "▁throwing": 15832, + "Bounds": 15833, + "▁MD": 15834, + "▁\"../": 15835, + "▁satisfy": 15836, + "▁Colorado": 15837, + "▁Active": 15838, + "Tasks": 15839, + "<>();": 15840, + "▁slipped": 15841, + "▁poison": 15842, + "zb": 15843, + "Dispatch": 15844, + "warning": 15845, + "▁ultimate": 15846, + "picture": 15847, + "expression": 15848, + "▁Talk": 15849, + "▁flick": 15850, + "▁raising": 15851, + "▁transactions": 15852, + "▁glance": 15853, + "▁gri": 15854, + "▁през": 15855, + "selection": 15856, + "ња": 15857, + "endl": 15858, + "▁Abb": 15859, + "▁bold": 15860, + "▁maintained": 15861, + "Exists": 15862, + "▁encouraged": 15863, + "Qual": 15864, + "▁essere": 15865, + "▁hired": 15866, + "letter": 15867, + "itches": 15868, + "others": 15869, + "▁woj": 15870, + "▁injuries": 15871, + "▁dil": 15872, + "execut": 15873, + "▁Steel": 15874, + "▁Garden": 15875, + "зя": 15876, + "\\,\\": 15877, + "▁Angel": 15878, + "prim": 15879, + ">:]<": 15880, + "gb": 15881, + "peat": 15882, + "inte": 15883, + "▁apolog": 15884, + "▁regulations": 15885, + "Src": 15886, + "kh": 15887, + "Upload": 15888, + "mapping": 15889, + "▁presents": 15890, + "▁poetry": 15891, + "▁stops": 15892, + "▁Tol": 15893, + "▁tower": 15894, + "▁OUT": 15895, + "Thank": 15896, + "▁organic": 15897, + "▁drei": 15898, + "▁pound": 15899, + "century": 15900, + "▁modules": 15901, + "▁дере": 15902, + "▁worn": 15903, + "▁parad": 15904, + "▁Cos": 15905, + "fic": 15906, + "▁без": 15907, + "▁Jimmy": 15908, + "▁lands": 15909, + "▁minist": 15910, + "vspace": 15911, + "▁lighting": 15912, + "▁naked": 15913, + "▁designer": 15914, + "▁Stream": 15915, + "TMP": 15916, + "Center": 15917, + "resentation": 15918, + "ONT": 15919, + "▁ers": 15920, + "▁measurement": 15921, + "▁muscles": 15922, + "▁Ign": 15923, + "▁COM": 15924, + "▁fru": 15925, + "▁genre": 15926, + "▁alpha": 15927, + "▁retirement": 15928, + "▁Gon": 15929, + "ől": 15930, + "contents": 15931, + "▁healing": 15932, + "▁sido": 15933, + "incipal": 15934, + "Permission": 15935, + "рак": 15936, + "▁Gordon": 15937, + "▁Rank": 15938, + "▁Autom": 15939, + "Constructor": 15940, + "wiki": 15941, + "▁concerning": 15942, + "rizona": 15943, + "▁variant": 15944, + "▁arranged": 15945, + "▁Spr": 15946, + "BPACK": 15947, + "Timestamp": 15948, + "restore": 15949, + "aware": 15950, + "▁Observ": 15951, + "▁SV": 15952, + "ipp": 15953, + "▁Executive": 15954, + "▁colleg": 15955, + "▁explicitly": 15956, + "written": 15957, + "▁Kön": 15958, + "irus": 15959, + "▁Hold": 15960, + "▁Pract": 15961, + "Character": 15962, + "▁redistribute": 15963, + "uerto": 15964, + "▁Student": 15965, + "▁elder": 15966, + "▁Dop": 15967, + "vp": 15968, + "▁Hub": 15969, + "▁grounds": 15970, + "▁Ry": 15971, + "▁signals": 15972, + "▁gifts": 15973, + "▁strengthen": 15974, + "▁Lyn": 15975, + "commun": 15976, + "▁най": 15977, + "▁finance": 15978, + "noc": 15979, + "helm": 15980, + "▁cuts": 15981, + "▁adventure": 15982, + "▁Ric": 15983, + "▁intellectual": 15984, + "▁Output": 15985, + "▁awk": 15986, + "▁concentration": 15987, + "▁guidance": 15988, + "Buff": 15989, + "▁filling": 15990, + "▁regul": 15991, + "▁delicious": 15992, + "([]": 15993, + "ших": 15994, + "▁tons": 15995, + "activity": 15996, + "GP": 15997, + "LOB": 15998, + "stadt": 15999, + "tal": 16000, + "▁img": 16001, + "▁rush": 16002, + "attice": 16003, + "▁pok": 16004, + "steps": 16005, + "▁lid": 16006, + "▁DNA": 16007, + "Browser": 16008, + "▁ladies": 16009, + "▁années": 16010, + "▁rescue": 16011, + "avity": 16012, + "rock": 16013, + "▁glasses": 16014, + "▁Bey": 16015, + ")}$": 16016, + "detail": 16017, + "▁dés": 16018, + "tax": 16019, + "▁favourite": 16020, + "▁precision": 16021, + "▁conoc": 16022, + "Ms": 16023, + "▁Native": 16024, + "▁Pil": 16025, + "InputStream": 16026, + "orp": 16027, + "▁Pap": 16028, + "▁picking": 16029, + "iph": 16030, + "Loading": 16031, + "▁priest": 16032, + "Hook": 16033, + "▁pist": 16034, + "▁Une": 16035, + "%,": 16036, + "▁bil": 16037, + "▁conservative": 16038, + "eval": 16039, + "iking": 16040, + "'},": 16041, + "▁sauce": 16042, + "▁Due": 16043, + "assen": 16044, + "▁occasionally": 16045, + "▁Дж": 16046, + "unknown": 16047, + "DED": 16048, + "▁drum": 16049, + "▁dub": 16050, + "ATURE": 16051, + "usage": 16052, + "getType": 16053, + "reply": 16054, + "▁strategic": 16055, + "▁kap": 16056, + "design": 16057, + "datetime": 16058, + "▁Prim": 16059, + "Master": 16060, + "▁Corps": 16061, + "▁considerable": 16062, + "▁Tu": 16063, + "▁ла": 16064, + "▁tous": 16065, + "▁clar": 16066, + "▁poem": 16067, + "album": 16068, + "]*": 16069, + "loaded": 16070, + "▁traveling": 16071, + "вые": 16072, + "▁Ferr": 16073, + "▁pharm": 16074, + "abi": 16075, + "▁}\\": 16076, + "collect": 16077, + "▁Bour": 16078, + "OC": 16079, + "▁measurements": 16080, + "▁Professional": 16081, + "▁sensor": 16082, + "utsche": 16083, + "▁demanded": 16084, + "▁accompanied": 16085, + "▁prend": 16086, + "▁encoding": 16087, + "▁Geschichte": 16088, + "▁mig": 16089, + "▁Gib": 16090, + "▁Reich": 16091, + "▁myster": 16092, + "▁Mock": 16093, + "▁physically": 16094, + "▁Bau": 16095, + "▁Single": 16096, + "▁managing": 16097, + "▁Kil": 16098, + "▁Temple": 16099, + "▁lev": 16100, + "▁lí": 16101, + "CPU": 16102, + "▁Premier": 16103, + "▁Give": 16104, + "iri": 16105, + "NV": 16106, + "▁AI": 16107, + "▁fp": 16108, + "лександ": 16109, + "▁tant": 16110, + "▁fot": 16111, + "Nullable": 16112, + "▁guards": 16113, + "Once": 16114, + "▁chamber": 16115, + "film": 16116, + "▁bias": 16117, + "▁Tai": 16118, + "insic": 16119, + "▁ml": 16120, + "▁Ka": 16121, + "вал": 16122, + "▁SER": 16123, + "▁Someone": 16124, + "}}_{": 16125, + "Fixed": 16126, + "▁bent": 16127, + "▁prohib": 16128, + "▁bid": 16129, + "▁fewer": 16130, + "кры": 16131, + "▁lugar": 16132, + "▁deserve": 16133, + "ssl": 16134, + "▁cfg": 16135, + "reck": 16136, + "▁stability": 16137, + "resize": 16138, + "▁assertThat": 16139, + "Trigger": 16140, + "▁станов": 16141, + "plugins": 16142, + "▁lets": 16143, + "хід": 16144, + "▁Laura": 16145, + "нер": 16146, + "▁brut": 16147, + "▁FI": 16148, + "isons": 16149, + "▁dyn": 16150, + "icher": 16151, + "rayed": 16152, + "▁frequent": 16153, + "▁jedoch": 16154, + "▁Marine": 16155, + "strings": 16156, + "▁Util": 16157, + "▁bos": 16158, + "Mus": 16159, + "▁Portugal": 16160, + "Strategy": 16161, + "▁посе": 16162, + "▁slice": 16163, + "▁insight": 16164, + "▁widget": 16165, + "▁général": 16166, + "messages": 16167, + "▁Hu": 16168, + "▁requirement": 16169, + "Side": 16170, + "emplates": 16171, + "▁ceremony": 16172, + "▁physics": 16173, + "▁graduate": 16174, + "para": 16175, + "▁preserv": 16176, + "▁shops": 16177, + "zek": 16178, + "▁ub": 16179, + "prepare": 16180, + "▁Oil": 16181, + "▁fib": 16182, + "▁runtime": 16183, + "▁hogy": 16184, + "Warning": 16185, + "▁Convert": 16186, + "bourne": 16187, + "▁emerged": 16188, + "▁Ди": 16189, + "ighth": 16190, + "guard": 16191, + "kal": 16192, + "validation": 16193, + "ência": 16194, + "▁drinks": 16195, + "theorem": 16196, + "HR": 16197, + "iev": 16198, + "ployee": 16199, + "Usage": 16200, + "▁спе": 16201, + "dispatch": 16202, + "▁instantly": 16203, + "obi": 16204, + "▁justify": 16205, + "▁Nev": 16206, + "▁явля": 16207, + "agra": 16208, + "▁transmission": 16209, + "fly": 16210, + ";';": 17021, + "▁cousin": 17022, + "createElement": 17023, + "Could": 17024, + "▁capac": 17025, + "▁pause": 17026, + "ArrayList": 17027, + "kte": 17028, + "ordered": 17029, + "▁shaking": 17030, + "labels": 17031, + "▁reducing": 17032, + "вых": 17033, + "USED": 17034, + "▁voting": 17035, + "▁Ministry": 17036, + "▁Mig": 17037, + "▁Chen": 17038, + "▁accompany": 17039, + "ulle": 17040, + "▁ga": 17041, + "▁equipped": 17042, + "▁nun": 17043, + "Bet": 17044, + "▁licensed": 17045, + "ARCH": 17046, + "FN": 17047, + "▁engines": 17048, + "▁ster": 17049, + "▁locale": 17050, + "▁въ": 17051, + "links": 17052, + "▁Capital": 17053, + "▁alien": 17054, + "Wr": 17055, + "ръ": 17056, + "Cart": 17057, + "▁Marketing": 17058, + "▁RT": 17059, + "FileName": 17060, + "▁ti": 17061, + "iji": 17062, + "▁versus": 17063, + "live": 17064, + "Sym": 17065, + "kor": 17066, + "▁emission": 17067, + "umm": 17068, + "ycz": 17069, + "▁climbed": 17070, + "▁plusieurs": 17071, + "кри": 17072, + "yar": 17073, + "osten": 17074, + "▁usb": 17075, + "▁crossing": 17076, + "▁polynom": 17077, + "▁removal": 17078, + "▁Adams": 17079, + "▁ihre": 17080, + "anden": 17081, + "▁Benj": 17082, + "▁Phill": 17083, + "▁wounded": 17084, + "▁Castle": 17085, + "bild": 17086, + "Annotation": 17087, + "Processor": 17088, + "▁tin": 17089, + "folg": 17090, + "▁Students": 17091, + "▁Mexican": 17092, + "▁administrative": 17093, + "ILED": 17094, + "▁conqu": 17095, + "▁cheer": 17096, + "▁Ces": 17097, + "Because": 17098, + "▁Juni": 17099, + "▁encontr": 17100, + "avi": 17101, + "VI": 17102, + "aku": 17103, + "▁Ton": 17104, + "▁smoking": 17105, + "▁bay": 17106, + "works": 17107, + "ат": 17108, + "attered": 17109, + "▁Boolean": 17110, + "▁Balt": 17111, + "defer": 17112, + "pathy": 17113, + "Ah": 17114, + "▁akt": 17115, + "▁governor": 17116, + "Pad": 17117, + "▁sisters": 17118, + "Lat": 17119, + "▁revel": 17120, + "▁SY": 17121, + "itos": 17122, + "▁filters": 17123, + "Chunk": 17124, + "consum": 17125, + "▁removing": 17126, + "▁Herr": 17127, + "▁generator": 17128, + "▁Cra": 17129, + "▁farmers": 17130, + "▁Members": 17131, + "▁overcome": 17132, + "▁Cin": 17133, + "igkeit": 17134, + "criptions": 17135, + "Tests": 17136, + "▁клу": 17137, + "▁shake": 17138, + "▁yy": 17139, + "placement": 17140, + "▁awards": 17141, + "▁episodes": 17142, + "▁Blood": 17143, + "▁bullet": 17144, + "▁viene": 17145, + "▁Financial": 17146, + "Future": 17147, + "▁rou": 17148, + "▁biologie": 17149, + "▁useState": 17150, + "iani": 17151, + "piece": 17152, + "▁speaker": 17153, + "▁refr": 17154, + "ARK": 17155, + "▁MIT": 17156, + "▁Tan": 17157, + "▁Based": 17158, + "▁cultiv": 17159, + "▁hungry": 17160, + "▁Ay": 17161, + "▁Hey": 17162, + "▁excitement": 17163, + "ibraries": 17164, + "Hit": 17165, + "▁Ende": 17166, + "NG": 17167, + "FIL": 17168, + ".\")": 17169, + "Family": 17170, + "inery": 17171, + "necess": 17172, + "velope": 17173, + "▁Bot": 17174, + "porter": 17175, + "▁climb": 17176, + "▁Eli": 17177, + "urent": 17178, + "▁mistakes": 17179, + "ában": 17180, + "marks": 17181, + "pkt": 17182, + "Library": 17183, + "sted": 17184, + "ublice": 17185, + "▁Administration": 17186, + "▁shapes": 17187, + "публи": 17188, + "God": 17189, + "innen": 17190, + "коло": 17191, + "<<<<": 17192, + "ibe": 17193, + "ês": 17194, + "▁США": 17195, + "▁Foreign": 17196, + "▁Margaret": 17197, + "▁gene": 17198, + "▁disturb": 17199, + "▁тер": 17200, + "▁onClick": 17201, + "▁Engineering": 17202, + "▁stopping": 17203, + "▁restrictions": 17204, + ",*": 17205, + "BUF": 17206, + "▁shadows": 17207, + "hci": 17208, + "▁Christians": 17209, + "▁fence": 17210, + "▁luxury": 17211, + "akh": 17212, + "coord": 17213, + "▁investigate": 17214, + "▁conventional": 17215, + "\"—": 17216, + "▁visits": 17217, + "isé": 17218, + "▁Sac": 17219, + "className": 17220, + "▁Psych": 17221, + "▁reflected": 17222, + "▁пло": 17223, + "▁Vice": 17224, + "ław": 17225, + "________________": 17226, + "▁Wolf": 17227, + "rente": 17228, + "▁Champion": 17229, + "▁simulation": 17230, + "esota": 17231, + "▁Soon": 17232, + "▁Cel": 17233, + "▁theories": 17234, + "▁STR": 17235, + "▁collective": 17236, + "▁coordinate": 17237, + "querySelector": 17238, + "emed": 17239, + "Break": 17240, + "▁gef": 17241, + "▁electricity": 17242, + "▁gathering": 17243, + "aters": 17244, + "exper": 17245, + "▁Roma": 17246, + "▁Cooper": 17247, + "SYMBOL": 17248, + "vd": 17249, + "iversary": 17250, + "aines": 17251, + "▁Grad": 17252, + "▁independence": 17253, + "woh": 17254, + "▁consequence": 17255, + "▁conversations": 17256, + "▁Rou": 17257, + "▁andere": 17258, + "▁Systems": 17259, + "гар": 17260, + "▁moist": 17261, + "flu": 17262, + "ція": 17263, + "ниш": 17264, + "▁rode": 17265, + "▁perd": 17266, + "▁szer": 17267, + "▁flood": 17268, + "▁intim": 17269, + "stderr": 17270, + "▁reflection": 17271, + "Scan": 17272, + "▁disaster": 17273, + "akespe": 17274, + "▁Invalid": 17275, + "▁humor": 17276, + "▁Friedrich": 17277, + "▁suggestions": 17278, + "uvud": 17279, + "Delay": 17280, + "brief": 17281, + "▁ис": 17282, + "glied": 17283, + "fas": 17284, + "▁Smart": 17285, + "▁medi": 17286, + "sdk": 17287, + "▁seus": 17288, + "▁Arizona": 17289, + "▁innocent": 17290, + "Warn": 17291, + "acious": 17292, + "▁Moscow": 17293, + "▁caps": 17294, + "Delegate": 17295, + "▁dramatic": 17296, + "books": 17297, + "▁shore": 17298, + "uki": 17299, + "▁Russell": 17300, + "▁correlation": 17301, + "Help": 17302, + "▁pubblic": 17303, + "zym": 17304, + "comb": 17305, + "EY": 17306, + "LENGTH": 17307, + "▁Mün": 17308, + "▁_.": 17309, + "▁ferm": 17310, + "▁Ian": 17311, + "▁Studio": 17312, + "▁affairs": 17313, + "los": 17314, + "Rules": 17315, + "running": 17316, + "▁Posted": 17317, + "Pixel": 17318, + "▁dancing": 17319, + "▁agreements": 17320, + "▁Pic": 17321, + "ancia": 17322, + "▁má": 17323, + "ationToken": 17324, + "descriptor": 17325, + "▁Carter": 17326, + "Release": 17327, + "************": 17328, + "▁outstanding": 17329, + "changes": 17330, + "ARRAY": 17331, + "▁Barbara": 17332, + "▁nurse": 17333, + "(\r": 17334, + "▁Douglas": 17335, + "▁nucle": 17336, + "ouri": 17337, + "▁Style": 17338, + "avo": 17339, + "▁painful": 17340, + "▁slic": 17341, + "▁seinem": 17342, + "SUPPORT": 17343, + "ogene": 17344, + "▁satell": 17345, + "tagon": 17346, + "▁collapse": 17347, + "velle": 17348, + "MON": 17349, + "aughters": 17350, + "▁threatened": 17351, + "▁Illegal": 17352, + "▁desperate": 17353, + "strict": 17354, + "rus": 17355, + "ститу": 17356, + "\\\":": 17357, + "▁conflic": 17358, + "download": 17359, + "atos": 17360, + "▁Position": 17361, + ".*;": 17362, + "▁theater": 17363, + "▁pleasant": 17364, + "▁Cette": 17365, + "▁Singapore": 17366, + "heet": 17367, + "▁pir": 17368, + "▁acquis": 17369, + "▁назва": 17370, + "теля": 17371, + "▁recru": 17372, + "жения": 17373, + "ёл": 17374, + "версите": 17375, + "▁respective": 17376, + "▁tunnel": 17377, + "▁Dean": 17378, + "Du": 17379, + "▁uncle": 17380, + "▁offensive": 17381, + "colo": 17382, + "▁Unlike": 17383, + "series": 17384, + "▁Arn": 17385, + "minute": 17386, + "▁descriptor": 17387, + "▁stones": 17388, + "ICATION": 17389, + "▁Pad": 17390, + "▁iPhone": 17391, + "ei": 17392, + "▁fantasy": 17393, + "▁Korean": 17394, + "\"}": 17395, + "▁orth": 17396, + "halten": 17397, + "deep": 17398, + "▁Kay": 17399, + "requency": 17400, + "▁duties": 17401, + "awt": 17402, + "▁nearest": 17403, + "▁disorder": 17404, + "стру": 17405, + "▁Chile": 17406, + "▁seq": 17407, + "▁transportation": 17408, + "OO": 17409, + "▁Dez": 17410, + "iju": 17411, + "▁Results": 17412, + "jed": 17413, + "ivel": 17414, + "HOST": 17415, + "▁€": 17416, + "▁Î": 17417, + "▁chin": 17418, + "▁matt": 17419, + "▁voted": 17420, + "▁gehör": 17421, + "▁▁▁▁▁▁▁▁▁▁▁": 17422, + "▁sue": 17423, + "▁legacy": 17424, + "вся": 17425, + "SOURCE": 17426, + "WORK": 17427, + "itis": 17428, + "▁$|": 17429, + "▁обо": 17430, + "▁nr": 17431, + "▁Tamb": 17432, + "▁snap": 17433, + "▁impressed": 17434, + "▁deposit": 17435, + "▁divid": 17436, + "Segment": 17437, + "▁кар": 17438, + "▁Gas": 17439, + "▁crimes": 17440, + "▁insult": 17441, + "▁Hum": 17442, + "▁bounded": 17443, + "▁kicked": 17444, + "▁Му": 17445, + "▁|\\": 17446, + "added": 17447, + "Produ": 17448, + "▁./": 17449, + "▁awkward": 17450, + "▁Кра": 17451, + "▁ї": 17452, + "▁CONTR": 17453, + "▁beim": 17454, + "▁placeholder": 17455, + "spi": 17456, + "▁Bei": 17457, + "▁Pf": 17458, + "ientes": 17459, + "disk": 17460, + "blk": 17461, + "neo": 17462, + "itarian": 17463, + "▁cogn": 17464, + "▁sout": 17465, + "▁trash": 17466, + "▁Rab": 17467, + "▁decline": 17468, + "tat": 17469, + "▁combine": 17470, + "▁Tot": 17471, + "▁drops": 17472, + "Times": 17473, + "cheduler": 17474, + "▁governments": 17475, + "Tex": 17476, + "▁Used": 17477, + "зан": 17478, + "▁pd": 17479, + "мет": 17480, + "▁&=&": 17481, + "▁Nag": 17482, + "▁дол": 17483, + "▁Always": 17484, + "rtc": 17485, + "ске": 17486, + "▁performances": 17487, + "rupted": 17488, + "▁два": 17489, + "▁managers": 17490, + "▁Pitt": 17491, + "▁mystery": 17492, + "▁settle": 17493, + "ulse": 17494, + "cross": 17495, + "question": 17496, + "asha": 17497, + "seed": 17498, + "urable": 17499, + "Final": 17500, + "++++": 17501, + "inputs": 17502, + "▁backup": 17503, + "▁Learning": 17504, + "▁*,": 17505, + "logo": 17506, + "▁seinen": 17507, + "▁vulnerable": 17508, + "directory": 17509, + "ië": 17510, + "▁friendship": 17511, + "tu": 17512, + "▁Vec": 17513, + "rifice": 17514, + "▁бра": 17515, + "▁involve": 17516, + "TON": 17517, + "▁corrid": 17518, + "separ": 17519, + "Destroy": 17520, + "▁jul": 17521, + "▁inequality": 17522, + "▁ain": 17523, + "hex": 17524, + "▁wider": 17525, + "тели": 17526, + "▁jack": 17527, + "▁quot": 17528, + "▁Glen": 17529, + "initely": 17530, + "ihood": 17531, + "▁waist": 17532, + "▁Manchester": 17533, + "regular": 17534, + "▁(&": 17535, + "▁masses": 17536, + "▁DEFAULT": 17537, + "▁chairs": 17538, + "▁Fast": 17539, + "▁citt": 17540, + "_{{\\": 17541, + "oa": 17542, + "▁$\\{": 17543, + "▁seeds": 17544, + "▁Ald": 17545, + "▁Batt": 17546, + "fab": 17547, + "▁democracy": 17548, + "DTO": 17549, + "▁Hij": 17550, + "PTR": 17551, + "Na": 17552, + "▁Harvard": 17553, + "sid": 17554, + "Pred": 17555, + "fers": 17556, + "▁spare": 17557, + "AMP": 17558, + "▁groupe": 17559, + "▁sender": 17560, + "▁Christopher": 17561, + "▁prisoners": 17562, + "▁Ker": 17563, + "▁Crist": 17564, + "▁ALL": 17565, + "rice": 17566, + "▁antes": 17567, + "natural": 17568, + "▁Susan": 17569, + "▁Juli": 17570, + "▁diab": 17571, + "ixon": 17572, + "icator": 17573, + "▁flexible": 17574, + "▁reserve": 17575, + "Contains": 17576, + "▁Hil": 17577, + "▁Isa": 17578, + "▁towns": 17579, + "GS": 17580, + "▁Trad": 17581, + "▁Lock": 17582, + "▁Grund": 17583, + "▁criticism": 17584, + "ню": 17585, + "▁că": 17586, + "▁politician": 17587, + "stable": 17588, + "Accept": 17589, + "Summary": 17590, + "▁também": 17591, + "}^{-": 17592, + "▁IM": 17593, + "idal": 17594, + "мор": 17595, + "Blue": 17596, + "GROUP": 17597, + "▁terminal": 17598, + "▁complexity": 17599, + "▁locally": 17600, + "DOWN": 17601, + "▁Near": 17602, + "Depth": 17603, + "▁pole": 17604, + "▁equality": 17605, + "Site": 17606, + "▁isinstance": 17607, + "Speed": 17608, + "ippi": 17609, + ",&": 17610, + "▁Enc": 17611, + "щен": 17612, + "▁mater": 17613, + "▁slaves": 17614, + "ACTION": 17615, + "usalem": 17616, + "▁haz": 17617, + "▁Beat": 17618, + "▁wrest": 17619, + "▁llam": 17620, + "Ins": 17621, + "мина": 17622, + "▁був": 17623, + "▁Frame": 17624, + "ushes": 17625, + "▁virtually": 17626, + "▁Perm": 17627, + "▁weights": 17628, + "▁llvm": 17629, + "▁cave": 17630, + "states": 17631, + "DMA": 17632, + "ellt": 17633, + "ifact": 17634, + "vendor": 17635, + "▁Emma": 17636, + "Locale": 17637, + "▁SET": 17638, + "▁geometry": 17639, + "Styles": 17640, + "▁Referee": 17641, + "▁weit": 17642, + "fica": 17643, + "▁ads": 17644, + "gray": 17645, + "▁Burg": 17646, + "iona": 17647, + "dagger": 17648, + "▁Januar": 17649, + "дей": 17650, + "isterschaft": 17651, + "ppo": 17652, + "oids": 17653, + "▁départ": 17654, + "Shader": 17655, + "▁constraint": 17656, + "Secret": 17657, + "▁Peters": 17658, + "▁eyeb": 17659, + "▁mesh": 17660, + "▁cookie": 17661, + "▁Pick": 17662, + "▁nick": 17663, + "bye": 17664, + "▁savings": 17665, + "Try": 17666, + "python": 17667, + "▁patri": 17668, + "▁multip": 17669, + "▁kinda": 17670, + "▁'_": 17671, + "▁Franz": 17672, + "▁cloth": 17673, + "зульта": 17674, + "▁fleet": 17675, + "▁humanity": 17676, + "resa": 17677, + "blob": 17678, + "▁TX": 17679, + "▁Buch": 17680, + "▁Lond": 17681, + "▁valley": 17682, + "▁murm": 17683, + "▁Trade": 17684, + "linewidth": 17685, + "▁especial": 17686, + "upper": 17687, + "▁hosp": 17688, + "▁tanto": 17689, + "▁oldest": 17690, + "▁Roose": 17691, + "▁hitting": 17692, + "dog": 17693, + "ovi": 17694, + "},\r": 17695, + "▁compatible": 17696, + "▁Website": 17697, + "poch": 17698, + "▁Bag": 17699, + "▁accomplish": 17700, + "Christ": 17701, + "asset": 17702, + "▁Until": 17703, + "▁geld": 17704, + "Listen": 17705, + "SB": 17706, + "Setup": 17707, + "icia": 17708, + "▁lum": 17709, + "▁janvier": 17710, + "PAGE": 17711, + "▁Nu": 17712, + "/\"": 17713, + "▁divorce": 17714, + "Execute": 17715, + "Depend": 17716, + "▁Scottish": 17717, + "▁Ts": 17718, + "ruppe": 17719, + "▁refuse": 17720, + "▁Oktober": 17721, + "ijk": 17722, + "▁Amy": 17723, + "▁dimin": 17724, + "▁gross": 17725, + "▁trat": 17726, + "isible": 17727, + "mixer": 17728, + "▁autres": 17729, + "▁neat": 17730, + "▁otros": 17731, + "Void": 17732, + "▁schol": 17733, + "▁Walker": 17734, + "▁tube": 17735, + "ologists": 17736, + "▁груп": 17737, + "▁haben": 17738, + "uber": 17739, + "ACTIVE": 17740, + "▁Attendance": 17741, + "▁оп": 17742, + "▁blade": 17743, + "oplus": 17744, + "▁Original": 17745, + "▁manufacturer": 17746, + "asz": 17747, + "âte": 17748, + "rer": 17749, + "▁Json": 17750, + "▁succeeded": 17751, + "uffle": 17752, + "▁backed": 17753, + "esian": 17754, + "tick": 17755, + "External": 17756, + "▁XIX": 17757, + "▁hearts": 17758, + "▁После": 17759, + "olu": 17760, + "▁лет": 17761, + "VICE": 17762, + "ário": 17763, + "▁fraud": 17764, + "edu": 17765, + "Primary": 17766, + "▁gaming": 17767, + "▁plt": 17768, + "igator": 17769, + "IES": 17770, + "Compiler": 17771, + "▁monument": 17772, + "agem": 17773, + "▁Rain": 17774, + "▁moins": 17775, + "oku": 17776, + "osex": 17777, + "▁Kansas": 17778, + "▁gepublice": 17779, + "▁Joy": 17780, + "Scene": 17781, + "▁kingdom": 17782, + "rices": 17783, + "▁juin": 17784, + "▁uncomfortable": 17785, + "▁Money": 17786, + "obb": 17787, + "expl": 17788, + "strcmp": 17789, + "▁dread": 17790, + "rition": 17791, + "▁Chi": 17792, + "▁demonstrated": 17793, + "▁vertices": 17794, + "чо": 17795, + "▁Culture": 17796, + "FX": 17797, + "Dictionary": 17798, + "▁Dru": 17799, + "trm": 17800, + "▁examine": 17801, + "▁therap": 17802, + "ième": 17803, + "мини": 17804, + "▁produces": 17805, + "▁photographs": 17806, + "▁threads": 17807, + "▁MI": 17808, + "▁extraordinary": 17809, + "ским": 17810, + "▁gepubliceerd": 17811, + "▁Poland": 17812, + "▁guaranteed": 17813, + "RG": 17814, + "osc": 17815, + "али": 17816, + "▁тех": 17817, + "errno": 17818, + "science": 17819, + "iffs": 17820, + "▁Tam": 17821, + "▁Beth": 17822, + "▁Travel": 17823, + "▁translate": 17824, + "ché": 17825, + "▁ling": 17826, + "▁belongs": 17827, + "▁electrical": 17828, + "ensk": 17829, + "▁Compet": 17830, + "cg": 17831, + "VC": 17832, + "topic": 17833, + "▁presum": 17834, + "вета": 17835, + "▁approximation": 17836, + "▁grim": 17837, + "▁Из": 17838, + "_{(": 17839, + "вин": 17840, + "ution": 17841, + "owych": 17842, + "åg": 17843, + "sterreich": 17844, + "▁characteristic": 17845, + "oming": 17846, + "▁/*!": 17847, + "▁prize": 17848, + "▁Minnesota": 17849, + "ted": 17850, + "цы": 17851, + "▁Om": 17852, + "▁indices": 17853, + "▁stem": 17854, + "regon": 17855, + "ниче": 17856, + "▁Salv": 17857, + "ése": 17858, + "▁aged": 17859, + "▁Past": 17860, + "▁internation": 17861, + "▁Vic": 17862, + "▁resume": 17863, + "akespeare": 17864, + "▁estado": 17865, + "▁abilities": 17866, + "▁brow": 17867, + "▁NFL": 17868, + "▁trends": 17869, + "▁Austin": 17870, + "▁LIMIT": 17871, + "▁Kor": 17872, + "▁folk": 17873, + "▁ward": 17874, + "▁nest": 17875, + "▁Junior": 17876, + "▁maintaining": 17877, + "Pub": 17878, + "OBJECT": 17879, + "▁bloody": 17880, + "▁sj": 17881, + "▁dtype": 17882, + "Pane": 17883, + "▁bacter": 17884, + "▁gradually": 17885, + "mr": 17886, + "Team": 17887, + "▁indicating": 17888, + "▁decrease": 17889, + "tek": 17890, + "▁Represent": 17891, + "▁developers": 17892, + "Guid": 17893, + "▁Diet": 17894, + "▁retr": 17895, + "Navigation": 17896, + "esi": 17897, + "▁lazy": 17898, + "Standard": 17899, + "Er": 17900, + "AW": 17901, + "▁États": 17902, + "▁assured": 17903, + "San": 17904, + "▁Andre": 17905, + "’,": 17906, + "fang": 17907, + "ération": 17908, + "▁industries": 17909, + "▁incon": 17910, + "Emit": 17911, + "▁где": 17912, + "▁retriev": 17913, + "eni": 17914, + "▁Turkey": 17915, + "izers": 17916, + "Angle": 17917, + "▁oc": 17918, + "▁palm": 17919, + "▁stan": 17920, + "льно": 17921, + "▁CSS": 17922, + "▁frances": 17923, + "▁grin": 17924, + "▁tiempo": 17925, + "▁Prix": 17926, + "]).": 17927, + "▁deput": 17928, + "▁Pin": 17929, + "▁sixt": 17930, + "▁predicted": 17931, + "azure": 17932, + "▁Motor": 17933, + "▁ihm": 17934, + "▁manus": 17935, + "apos": 17936, + "▁instruments": 17937, + "▁counts": 17938, + "▁aimed": 17939, + "profit": 17940, + "▁dok": 17941, + "обра": 17942, + "▁estud": 17943, + "iesz": 17944, + "▁piss": 17945, + "▁inaug": 17946, + "▁voters": 17947, + "▁packages": 17948, + "▁cute": 17949, + "▁fitness": 17950, + "▁leurs": 17951, + "▁sorted": 17952, + "phant": 17953, + "OPT": 17954, + "▁zip": 17955, + "season": 17956, + "emi": 17957, + "encoding": 17958, + "won": 17959, + "elect": 17960, + "▁tooth": 17961, + "▁upcoming": 17962, + "▁Graham": 17963, + "nut": 17964, + "▁Ark": 17965, + "ält": 17966, + "▁precious": 17967, + "agle": 17968, + "née": 17969, + "ница": 17970, + "aris": 17971, + "▁pile": 17972, + "cole": 17973, + "▁WITH": 17974, + "routing": 17975, + "▁***": 17976, + "Appearance": 17977, + "llvm": 17978, + "▁Oliver": 17979, + "▁PL": 17980, + "ifndef": 17981, + "etzt": 17982, + "skiego": 17983, + "▁pon": 17984, + "ARGET": 17985, + "kö": 17986, + "alled": 17987, + "▁=\\": 17988, + "sure": 17989, + "matches": 17990, + "▁temperatures": 17991, + "SEL": 17992, + "▁clone": 17993, + "▁eller": 17994, + "erna": 17995, + "▁поло": 17996, + "Management": 17997, + "company": 17998, + "▁lun": 17999, + "▁streaming": 18000, + "▁Ni": 18001, + "▁sí": 18002, + "Contact": 18003, + "▁Credit": 18004, + "▁Oak": 18005, + "▁представ": 18006, + "radius": 18007, + "cli": 18008, + "IENT": 18009, + "▁Lucy": 18010, + "▁calculation": 18011, + "▁pixel": 18012, + "▁mul": 18013, + "▁outcomes": 18014, + "▁centers": 18015, + "▁residence": 18016, + "Constraint": 18017, + "▁preserve": 18018, + "peon": 18019, + "uffix": 18020, + "▁Roberts": 18021, + "▁promot": 18022, + "?!": 18023, + "balance": 18024, + "▁courts": 18025, + "▁disg": 18026, + "PRINT": 18027, + "▁их": 18028, + "elfare": 18029, + "▁retreat": 18030, + "▁Ав": 18031, + "Cost": 18032, + "also": 18033, + "▁Für": 18034, + "▁März": 18035, + "DIO": 18036, + "▁bez": 18037, + "AUTH": 18038, + "Den": 18039, + "▁atom": 18040, + "▁roman": 18041, + "▁Pel": 18042, + "▁Roosevelt": 18043, + "▁Plant": 18044, + "Contents": 18045, + "▁Between": 18046, + "▁coupling": 18047, + "structure": 18048, + "▁Marshall": 18049, + "▁Career": 18050, + "▁railway": 18051, + "▁Bureau": 18052, + "▁possibilities": 18053, + "▁kor": 18054, + "){\r": 18055, + "mero": 18056, + "mov": 18057, + "англ": 18058, + "AIN": 18059, + "mund": 18060, + "lette": 18061, + "▁summar": 18062, + "▁describing": 18063, + "▁NAS": 18064, + "▁Emb": 18065, + "Instruction": 18066, + "liest": 18067, + "▁Sig": 18068, + "Bill": 18069, + "▁verd": 18070, + "plant": 18071, + "▁galaxies": 18072, + "\"])": 18073, + "▁PyObject": 18074, + "▁Gy": 18075, + "▁mě": 18076, + "▁organisation": 18077, + "Her": 18078, + "Sep": 18079, + "ocom": 18080, + "▁Same": 18081, + "▁bite": 18082, + "▁Seattle": 18083, + "зыва": 18084, + "Observer": 18085, + "’.": 18086, + "▁morph": 18087, + "urches": 18088, + "alph": 18089, + "reement": 18090, + "consin": 18091, + "^-": 18092, + "▁dann": 18093, + "translate": 18094, + "вих": 18095, + "React": 18096, + "▁cats": 18097, + "▁brew": 18098, + "▁ds": 18099, + "▁circles": 18100, + "▁drift": 18101, + "agma": 18102, + "▁Valent": 18103, + "PIN": 18104, + "ARM": 18105, + "▁surviv": 18106, + "alin": 18107, + "Pref": 18108, + "friendly": 18109, + "▁uncertainty": 18110, + "▁fd": 18111, + "▁engineer": 18112, + "Ben": 18113, + "icular": 18114, + "orest": 18115, + "▁horizontal": 18116, + "UTC": 18117, + "textrm": 18118, + "Live": 18119, + "Score": 18120, + "▁Germans": 18121, + "distance": 18122, + "uti": 18123, + "▁équ": 18124, + "▁numerical": 18125, + "▁reass": 18126, + "Activ": 18127, + "▁cod": 18128, + "bullet": 18129, + "ensing": 18130, + "▁Gem": 18131, + "▁navigation": 18132, + "addClass": 18133, + "▁simultaneously": 18134, + "вий": 18135, + "▁його": 18136, + "▁Hö": 18137, + "▁harsh": 18138, + "precated": 18139, + "ССР": 18140, + "▁Equip": 18141, + "adget": 18142, + "▁TYPE": 18143, + "▁mg": 18144, + "IGH": 18145, + "▁vin": 18146, + "▁findings": 18147, + "ivan": 18148, + "▁possession": 18149, + "▁того": 18150, + "▁parsed": 18151, + "riors": 18152, + "zeichnet": 18153, + "ников": 18154, + "Worker": 18155, + "▁enables": 18156, + "▁($\\": 18157, + "▁Copy": 18158, + "▁orientation": 18159, + "стре": 18160, + "▁Indians": 18161, + "▁Gary": 18162, + "▁Insurance": 18163, + "isan": 18164, + "Chat": 18165, + "▁comun": 18166, + "▁coron": 18167, + "ография": 18168, + "updated": 18169, + "▁Ин": 18170, + "These": 18171, + "SEC": 18172, + "▁boyfriend": 18173, + "Diagnostics": 18174, + "Hint": 18175, + "mul": 18176, + "▁inode": 18177, + "xA": 18178, + "eft": 18179, + "OPTION": 18180, + "unct": 18181, + "annon": 18182, + "ENS": 18183, + "strip": 18184, + "▁enthusi": 18185, + "▁Whit": 18186, + "▁Фи": 18187, + "aude": 18188, + "▁disagree": 18189, + "▁snapped": 18190, + "Phys": 18191, + "▁Syn": 18192, + "▁sour": 18193, + "▁Lux": 18194, + "ugar": 18195, + "tile": 18196, + "▁infection": 18197, + "▁Feb": 18198, + "▁Chem": 18199, + "dataset": 18200, + "chts": 18201, + "Dynamic": 18202, + "▁сред": 18203, + "▁queen": 18204, + "worker": 18205, + "swap": 18206, + "▁timestamp": 18207, + "▁Integr": 18208, + "▁interviews": 18209, + "such": 18210, + "▁laughter": 18211, + "prof": 18212, + "▁Bird": 18213, + "(|": 18214, + "ân": 18215, + "▁gra": 18216, + "&=": 18217, + "zens": 18218, + "getMessage": 18219, + "▁Ost": 18220, + "▁gab": 18221, + "▁mortgage": 18222, + "multicol": 18223, + "LEVEL": 18224, + "partition": 18225, + "seen": 18226, + "▁declar": 18227, + "AU": 18228, + "▁ox": 18229, + "▁ligger": 18230, + "▁Carm": 18231, + "geme": 18232, + "▁Vegas": 18233, + "▁Eug": 18234, + "orus": 18235, + "▁brick": 18236, + "▁así": 18237, + "▁Magazine": 18238, + "HasColumnType": 18239, + "VR": 18240, + "licher": 18241, + "▁Future": 18242, + "▁Jug": 18243, + "attan": 18244, + "constructor": 18245, + "VP": 18246, + "▁тур": 18247, + "чина": 18248, + "Comparator": 18249, + "▁authentic": 18250, + "▁monster": 18251, + "▁transformed": 18252, + "▁firms": 18253, + "FW": 18254, + "▁catalog": 18255, + "boards": 18256, + "▁diseases": 18257, + "▁Benjamin": 18258, + "▁horizon": 18259, + "▁Available": 18260, + "Mvc": 18261, + "Stud": 18262, + "▁lord": 18263, + "general": 18264, + "пар": 18265, + "▁cabinet": 18266, + "▁Basic": 18267, + "TestCase": 18268, + "ansk": 18269, + "▁Snow": 18270, + "ierten": 18271, + "▁vocal": 18272, + "Padding": 18273, + "halt": 18274, + "▁Alexand": 18275, + "▁Colomb": 18276, + "ivamente": 18277, + "▁artificial": 18278, + "▁Atlanta": 18279, + "▁mentre": 18280, + "▁estaba": 18281, + "jekt": 18282, + "▁slept": 18283, + "▁endless": 18284, + "éro": 18285, + "attery": 18286, + "uur": 18287, + "▁weakness": 18288, + "▁attempting": 18289, + "BYTE": 18290, + "▁founder": 18291, + "▁salv": 18292, + "▁Medicine": 18293, + "tid": 18294, + "▁Schwe": 18295, + "raction": 18296, + "▁¿": 18297, + "crate": 18298, + "SERVER": 18299, + "▁compound": 18300, + "▁conve": 18301, + "▁caf": 18302, + "▁handful": 18303, + "onne": 18304, + "ública": 18305, + "▁defensive": 18306, + "Alignment": 18307, + "▁préc": 18308, + "▁significance": 18309, + "élé": 18310, + "arta": 18311, + "Dam": 18312, + "▁perpet": 18313, + "▁caller": 18314, + "icients": 18315, + "cep": 18316, + "▁Multi": 18317, + "▁stolen": 18318, + "▁focusing": 18319, + "embed": 18320, + "▁bree": 18321, + "▁AB": 18322, + "▁occasions": 18323, + "sea": 18324, + "Prov": 18325, + "чение": 18326, + "▁Category": 18327, + "▁sq": 18328, + "▁Фе": 18329, + "VA": 18330, + "Diff": 18331, + "Tri": 18332, + "issement": 18333, + "▁actress": 18334, + "▁Пе": 18335, + "▁jej": 18336, + "▁twisted": 18337, + "▁Nicol": 18338, + "▁junior": 18339, + "Sound": 18340, + "▁Brasil": 18341, + "▁juice": 18342, + "▁>>>": 18343, + "▁Alb": 18344, + "▁softly": 18345, + "▁McK": 18346, + "▁Gren": 18347, + "▁italiano": 18348, + "▁creatures": 18349, + "▁residential": 18350, + "▁Instagram": 18351, + "ucks": 18352, + "▁killer": 18353, + "▁Johnny": 18354, + "▁enterprise": 18355, + "Dto": 18356, + "chestra": 18357, + "▁Tel": 18358, + "▁Activ": 18359, + "factor": 18360, + "oust": 18361, + "▁vacuum": 18362, + "рал": 18363, + "')->": 18364, + "▁Left": 18365, + "▁defect": 18366, + "▁ninete": 18367, + "fare": 18368, + "▁regret": 18369, + "▁shar": 18370, + "ctrine": 18371, + "mesh": 18372, + "city": 18373, + "icit": 18374, + "▁Fem": 18375, + "limited": 18376, + "oka": 18377, + "!\\!\\": 18378, + "Donald": 18379, + "зно": 18380, + "▁provision": 18381, + "▁discussions": 18382, + "Drag": 18383, + "▁Incl": 18384, + "Exit": 18385, + "▁Abd": 18386, + "story": 18387, + "ieve": 18388, + "▁był": 18389, + "olving": 18390, + "wohner": 18391, + "▁guidelines": 18392, + "▁straw": 18393, + "üss": 18394, + "▁було": 18395, + "▁burden": 18396, + "▁spatial": 18397, + "▁stretched": 18398, + "▁Inf": 18399, + "▁typedef": 18400, + "▁robot": 18401, + "▁Doc": 18402, + "pliers": 18403, + "wal": 18404, + "camp": 18405, + "▁diffé": 18406, + "▁McG": 18407, + "▁tel": 18408, + "arette": 18409, + "▁subsequently": 18410, + "▁honey": 18411, + "FUNC": 18412, + "▁establishment": 18413, + "tesy": 18414, + "▁który": 18415, + "▁сель": 18416, + "▁FO": 18417, + "▁Islands": 18418, + "▁mp": 18419, + "Scalar": 18420, + "▁Yan": 18421, + "cken": 18422, + "▁variation": 18423, + "ią": 18424, + "optim": 18425, + "azor": 18426, + "tuple": 18427, + "▁gravity": 18428, + "▁conclude": 18429, + "▁collections": 18430, + "ész": 18431, + "▁Liver": 18432, + "▁ethnic": 18433, + "compile": 18434, + "▁parl": 18435, + "Surface": 18436, + "{'": 18437, + "▁paragraph": 18438, + "posite": 18439, + "ítulo": 18440, + "oba": 18441, + "binary": 18442, + "rob": 18443, + "▁Pedro": 18444, + "▁fis": 18445, + "▁Grande": 18446, + "odox": 18447, + "▁posting": 18448, + "": 26345, + "olent": 26346, + "▁этого": 26347, + "▁Generic": 26348, + "▁*/,": 26349, + "▁combinations": 26350, + "▁rejo": 26351, + "спубли": 26352, + "capacity": 26353, + "▁traces": 26354, + "▁opacity": 26355, + "▁Official": 26356, + "icion": 26357, + "▁emotionally": 26358, + "▁Joel": 26359, + "ському": 26360, + "▁legendary": 26361, + "▁pam": 26362, + "▁También": 26363, + ".<": 26364, + "iba": 26365, + "midt": 26366, + "бом": 26367, + "▁ensuite": 26368, + "Authorization": 26369, + "Pag": 26370, + "▁helmet": 26371, + "▁territo": 26372, + "secondary": 26373, + "▁segunda": 26374, + "▁Wire": 26375, + "recated": 26376, + "▁invoked": 26377, + "▁ValueError": 26378, + "▁фо": 26379, + "ALIGN": 26380, + "CURRENT": 26381, + "\\+\\_\\": 26382, + "▁compilation": 26383, + "ær": 26384, + "▁Palmar": 26385, + "▁influences": 26386, + "/:": 26387, + "Mix": 26388, + "NOP": 26389, + "econom": 26390, + "▁tucked": 26391, + "▁});\r": 26392, + "ANK": 26393, + "reject": 26394, + "▁pension": 26395, + "▁generates": 26396, + "чё": 26397, + "▁incap": 26398, + "▁clicked": 26399, + "▁fus": 26400, + "ourses": 26401, + "▁Easter": 26402, + "%;": 26403, + "zin": 26404, + "▁obligations": 26405, + "▁Tips": 26406, + "};\r": 26407, + ".\"_": 26408, + "▁BSD": 26409, + "ática": 26410, + "▁expose": 26411, + "Pars": 26412, + "▁Amanda": 26413, + "куп": 26414, + "▁guessed": 26415, + "dsi": 26416, + "▁Leip": 26417, + "Broad": 26418, + "▁Hughes": 26419, + "ié": 26420, + "▁Wahl": 26421, + "▁formerly": 26422, + "Relative": 26423, + "▁Yu": 26424, + "▁Mountains": 26425, + "▁Enum": 26426, + "▁strang": 26427, + "_-": 26428, + "recht": 26429, + "viv": 26430, + "pause": 26431, + "▁Londres": 26432, + "▁elbow": 26433, + "▁Hawaii": 26434, + "▁Casino": 26435, + "Threshold": 26436, + "Units": 26437, + "Include": 26438, + "ито": 26439, + "asury": 26440, + "▁steht": 26441, + "▁damned": 26442, + "▁packets": 26443, + "▁Werk": 26444, + "▁elevator": 26445, + "iedad": 26446, + "govern": 26447, + "▁CONTRACT": 26448, + "mals": 26449, + "▁remem": 26450, + "▁entonces": 26451, + "▁vas": 26452, + "▁sympathy": 26453, + "▁befindet": 26454, + "incing": 26455, + "DataSet": 26456, + "▁additionally": 26457, + "▁musician": 26458, + "шего": 26459, + "▁listop": 26460, + ">\")": 26461, + "Printf": 26462, + "▁Felix": 26463, + "▁carved": 26464, + "▁nicely": 26465, + "гом": 26466, + "chap": 26467, + "▁Nieder": 26468, + "▁Lav": 26469, + "▁modifications": 26470, + "moment": 26471, + "▁balcon": 26472, + "▁dependency": 26473, + "CKET": 26474, + "▁vanished": 26475, + "▁fighters": 26476, + "▁zunächst": 26477, + "ioctl": 26478, + "▁defens": 26479, + "▁Nem": 26480, + "Utility": 26481, + "▁curv": 26482, + "▁DAMAGES": 26483, + "▁Rogers": 26484, + "▁gratitude": 26485, + "▁Denmark": 26486, + "рая": 26487, + "grpc": 26488, + "▁juni": 26489, + "▁октября": 26490, + "▁immense": 26491, + "▁prevented": 26492, + "▁foam": 26493, + "▁Extra": 26494, + "aimed": 26495, + "▁Criteria": 26496, + "▁Simply": 26497, + "boxes": 26498, + "▁Legend": 26499, + "▁Players": 26500, + "▁Mercedes": 26501, + "▁Branch": 26502, + "TERN": 26503, + "omena": 26504, + "▁incorporate": 26505, + "conde": 26506, + "▁Estado": 26507, + "▁wasted": 26508, + "▁complaining": 26509, + "▁warriors": 26510, + "oter": 26511, + "▁этом": 26512, + "▁conten": 26513, + "▁machinery": 26514, + "▁technological": 26515, + "▁TD": 26516, + "▁gras": 26517, + "▁minimize": 26518, + "▁Door": 26519, + "▁bzw": 26520, + "▁prac": 26521, + "TREE": 26522, + "▁Wing": 26523, + "▁Transaction": 26524, + "▁MVT": 26525, + "▁Klein": 26526, + "commons": 26527, + "▁}{": 26528, + "▁Heritage": 26529, + "▁fade": 26530, + "рок": 26531, + "setValue": 26532, + "▁Wallace": 26533, + "MX": 26534, + "▁ACT": 26535, + "▁footage": 26536, + "▁entstand": 26537, + "arga": 26538, + "▁nails": 26539, + "▁capitalism": 26540, + "▁Garc": 26541, + "▁suspension": 26542, + "ilis": 26543, + "▁Mov": 26544, + "uffled": 26545, + "Arc": 26546, + "▁Beautiful": 26547, + "WAY": 26548, + "Parallel": 26549, + "XXXX": 26550, + "diag": 26551, + "▁DT": 26552, + "mq": 26553, + "TextView": 26554, + "MLE": 26555, + "ennen": 26556, + "▁infected": 26557, + "▁therapist": 26558, + "INGS": 26559, + "▁cidade": 26560, + "ън": 26561, + "▁pdf": 26562, + "▁bump": 26563, + "CTX": 26564, + "▁INCLUDING": 26565, + "▁Gef": 26566, + "ENTIAL": 26567, + "▁handy": 26568, + "▁temporal": 26569, + "AtA": 26570, + "ISH": 26571, + "▁Pattern": 26572, + "▁lan": 26573, + "ependant": 26574, + "▁shining": 26575, + "idy": 26576, + "▁NT": 26577, + "▁Fran": 26578, + "▁nurses": 26579, + "▁betray": 26580, + "▁sensible": 26581, + "▁апреля": 26582, + "▁'[": 26583, + "▁thirteen": 26584, + ")}_{": 26585, + "▁Noah": 26586, + "INSERT": 26587, + "istically": 26588, + "▁Appendix": 26589, + "▁recher": 26590, + "Receiver": 26591, + "▁dernier": 26592, + "лла": 26593, + "лиза": 26594, + "▁Partido": 26595, + "▁maximal": 26596, + "snap": 26597, + "▁часть": 26598, + "STOP": 26599, + "▁ultra": 26600, + "▁développ": 26601, + "▁tegen": 26602, + "▁Чи": 26603, + "LIB": 26604, + "▁baseline": 26605, + "reload": 26606, + "▁Arbitro": 26607, + "▁kall": 26608, + "capture": 26609, + "Arm": 26610, + "quin": 26611, + "impse": 26612, + "zas": 26613, + "▁Cand": 26614, + "▁brains": 26615, + "▁hostile": 26616, + "▁marble": 26617, + "oons": 26618, + "▁Loss": 26619, + "MetaData": 26620, + "▁República": 26621, + "▁andra": 26622, + "oden": 26623, + "▁documented": 26624, + "▁Moses": 26625, + "odd": 26626, + "▁wax": 26627, + "usch": 26628, + "▁diagnosed": 26629, + "inkle": 26630, + "▁Xbox": 26631, + "▁seventy": 26632, + "cias": 26633, + "▁noviembre": 26634, + "Compute": 26635, + "});\r": 26636, + "▁Philippe": 26637, + "▁För": 26638, + "Leave": 26639, + "▁sage": 26640, + "▁unpre": 26641, + "▁Fortunately": 26642, + "▁apost": 26643, + "entities": 26644, + "▁ellos": 26645, + "authorized": 26646, + "GBT": 26647, + "▁insist": 26648, + "▁inspire": 26649, + "Mass": 26650, + "▁rôle": 26651, + "fee": 26652, + "ipart": 26653, + "цер": 26654, + "unate": 26655, + "▁CNN": 26656, + ":}": 26657, + "▁unhappy": 26658, + "▁imported": 26659, + "HIGH": 26660, + "rings": 26661, + "▁Instance": 26662, + "Bay": 26663, + "agles": 26664, + "mee": 26665, + "bery": 26666, + "▁Stories": 26667, + "▁Chase": 26668, + "▁carriage": 26669, + "▁misunder": 26670, + "▁imagin": 26671, + "pw": 26672, + "▁Meter": 26673, + "▁crowds": 26674, + "▁Fame": 26675, + "skill": 26676, + "▁comed": 26677, + "▁ranch": 26678, + "▁lacking": 26679, + "▁submar": 26680, + "iante": 26681, + "▁lanz": 26682, + "▁служ": 26683, + "-----------": 26684, + "▁obten": 26685, + "▁downstairs": 26686, + "YN": 26687, + "rotation": 26688, + "▁Jesse": 26689, + "$(\"#": 26690, + "▁puls": 26691, + "irling": 26692, + "▁Schaus": 26693, + "▁deployed": 26694, + "▁{}\",": 26695, + "▁Marvel": 26696, + "ENUM": 26697, + "▁Mathemat": 26698, + "▁nn": 26699, + "compet": 26700, + "ków": 26701, + "bil": 26702, + "Which": 26703, + "isine": 26704, + "▁rude": 26705, + "▁niveau": 26706, + "▁área": 26707, + "▁près": 26708, + "atis": 26709, + "▁[...]": 26710, + "fur": 26711, + "omm": 26712, + "packed": 26713, + "мене": 26714, + "scriptstyle": 26715, + "▁Ath": 26716, + "▁desp": 26717, + "eltemperaturen": 26718, + "▁talents": 26719, + "ocy": 26720, + "▁raises": 26721, + "LIMIT": 26722, + "▁editorial": 26723, + "▁Animal": 26724, + "drive": 26725, + "▁работа": 26726, + "bss": 26727, + "▁Sev": 26728, + "epoch": 26729, + "▁RC": 26730, + "UNUSED": 26731, + "▁mandatory": 26732, + "(?:": 26733, + "▁Bin": 26734, + "▁synthetic": 26735, + "▁gown": 26736, + "▁Dob": 26737, + "kap": 26738, + "▁harmon": 26739, + "▁liberty": 26740, + "▁Rice": 26741, + "▁prayers": 26742, + "▁mise": 26743, + "▁confusing": 26744, + "▁leap": 26745, + "▁arrives": 26746, + "kamp": 26747, + "▁thats": 26748, + "ACC": 26749, + "▁Parameters": 26750, + "▁одно": 26751, + "▁Bio": 26752, + "density": 26753, + "▁glimpse": 26754, + "FORE": 26755, + "▁Listen": 26756, + "Prev": 26757, + "}\\,\\": 26758, + "куль": 26759, + "▁SEC": 26760, + "▁explored": 26761, + "▁meantime": 26762, + "AIL": 26763, + "▁WP": 26764, + "▁raison": 26765, + "▁existe": 26766, + "▁lesser": 26767, + "▁Validate": 26768, + "▁caution": 26769, + "usta": 26770, + "heading": 26771, + "EFF": 26772, + ".'\"": 26773, + "▁Gilbert": 26774, + "▁limitation": 26775, + "▁retour": 26776, + "▁Commonwealth": 26777, + "▁gewann": 26778, + "▁miserable": 26779, + "▁networking": 26780, + "▁ottobre": 26781, + "▁Dise": 26782, + "edges": 26783, + "▁sede": 26784, + "вича": 26785, + "uniform": 26786, + "▁деятель": 26787, + "iros": 26788, + "▁desen": 26789, + "▁parc": 26790, + "▁Rico": 26791, + "Ns": 26792, + "guid": 26793, + "orio": 26794, + "avelength": 26795, + "▁Gle": 26796, + "inceton": 26797, + "Amaz": 26798, + "Construct": 26799, + "▁mx": 26800, + "▁Vern": 26801, + "▁Generation": 26802, + "Jack": 26803, + "romag": 26804, + "▁viagra": 26805, + "▁Peg": 26806, + "▁Updated": 26807, + "▁overlap": 26808, + "EventArgs": 26809, + "кро": 26810, + "▁*«": 26811, + "▁questioned": 26812, + "South": 26813, + "notice": 26814, + "▁permanently": 26815, + "lst": 26816, + "ficie": 26817, + "▁quella": 26818, + "▁colleges": 26819, + "▁disappointment": 26820, + "▁Luft": 26821, + "imgur": 26822, + "▁transitions": 26823, + "▁seller": 26824, + "▁июня": 26825, + "▁Og": 26826, + "▁ADD": 26827, + "▁Pays": 26828, + "COMMAND": 26829, + "grades": 26830, + "▁febbra": 26831, + "▁Cyr": 26832, + "▁febbraio": 26833, + "eti": 26834, + "▁arom": 26835, + "▁Claude": 26836, + "▁UEFA": 26837, + "▁живе": 26838, + "▁Victorian": 26839, + "keeping": 26840, + "ên": 26841, + "▁FIXME": 26842, + "itime": 26843, + "chestr": 26844, + "▁Samsung": 26845, + "▁doctrine": 26846, + "▁pear": 26847, + "▁Mediterranean": 26848, + "▁Ya": 26849, + "▁vault": 26850, + "▁Historic": 26851, + "▁sedan": 26852, + "▁heated": 26853, + "▁política": 26854, + "Proof": 26855, + ":{": 26856, + "fem": 26857, + "▁Frankfurt": 26858, + "pectives": 26859, + "MG": 26860, + "▁Eye": 26861, + "dai": 26862, + "▁reserves": 26863, + "NER": 26864, + "▁tobacco": 26865, + "▁fragments": 26866, + "icc": 26867, + "▁booth": 26868, + "▁cruise": 26869, + "▁Testament": 26870, + "cola": 26871, + "▁Leop": 26872, + "▁noon": 26873, + "▁terrified": 26874, + "vb": 26875, + "intel": 26876, + "alie": 26877, + "▁verification": 26878, + "yster": 26879, + "ADER": 26880, + "chied": 26881, + "▁datasets": 26882, + "▁зі": 26883, + "▁miem": 26884, + "ulates": 26885, + "▁uuid": 26886, + "▁Pictures": 26887, + "▁Brend": 26888, + "Billboard": 26889, + "▁stern": 26890, + "▁denom": 26891, + "▁accidents": 26892, + "сня": 26893, + "▁packing": 26894, + "ција": 26895, + "iblical": 26896, + "▁Так": 26897, + "▁whisk": 26898, + "▁luego": 26899, + "▁rectangle": 26900, + "▁hooks": 26901, + "▁neglect": 26902, + "▁sober": 26903, + "proposition": 26904, + "Multiple": 26905, + ":\",": 26906, + "▁bapt": 26907, + "Parts": 26908, + "▁Selection": 26909, + "▁Alpha": 26910, + "weights": 26911, + "hall": 26912, + "соб": 26913, + "▁lur": 26914, + "▁época": 26915, + "▁rested": 26916, + "ambigu": 26917, + "▁tastes": 26918, + "amazonaws": 26919, + "▁confess": 26920, + "▁diciembre": 26921, + "implement": 26922, + "▁absorption": 26923, + "Hal": 26924, + "LEAN": 26925, + "▁Zach": 26926, + "▁freeze": 26927, + "LBL": 26928, + "STM": 26929, + "▁calc": 26930, + "={()": 26931, + "=*/": 26932, + "▁bt": 26933, + "Reb": 26934, + "▁Wien": 26935, + "anska": 26936, + "▁surn": 26937, + "iative": 26938, + "▁invån": 26939, + "CY": 26940, + "▁là": 26941, + "amba": 26942, + "leen": 26943, + "wahl": 26944, + "▁functioning": 26945, + "ția": 26946, + "getContext": 26947, + "gart": 26948, + "▁обе": 26949, + "Pen": 26950, + "vik": 26951, + "Slider": 26952, + "▁Accept": 26953, + "Gap": 26954, + "▁Jorge": 26955, + "SIG": 26956, + "▁вос": 26957, + "▁голо": 26958, + "▁periodo": 26959, + "шта": 26960, + "▁patches": 26961, + "кої": 26962, + "äre": 26963, + "engono": 26964, + "lista": 26965, + "horn": 26966, + "▁Complex": 26967, + "Sent": 26968, + "trfs": 26969, + "▁convex": 26970, + "Generation": 26971, + "▁місце": 26972, + "compress": 26973, + "▁Sax": 26974, + "▁uid": 26975, + "▁Lebens": 26976, + "Completion": 26977, + "\\|_{": 26978, + "insky": 26979, + "▁schon": 26980, + "▁masters": 26981, + "independ": 26982, + "neys": 26983, + "▁lied": 26984, + "▁aspir": 26985, + "чні": 26986, + "▁breakdown": 26987, + "▁Harm": 26988, + "▁designing": 26989, + "hf": 26990, + "▁Angela": 26991, + "▁confer": 26992, + "▁partido": 26993, + "▁interference": 26994, + "mao": 26995, + "▁absorbed": 26996, + "▁Vall": 26997, + "ErrorCode": 26998, + "▁Publishing": 26999, + "vano": 27000, + "BITS": 27001, + "▁deer": 27002, + "▁Campaign": 27003, + "▁graz": 27004, + "CHANGE": 27005, + "▁feder": 27006, + "iffe": 27007, + "handed": 27008, + "cq": 27009, + "umbing": 27010, + "▁unre": 27011, + "▁siendo": 27012, + "▁simpler": 27013, + "why": 27014, + "arettes": 27015, + "anst": 27016, + "▁hass": 27017, + "▁Enterprise": 27018, + "▁mois": 27019, + "▁Fo": 27020, + "▁участ": 27021, + "ffen": 27022, + "▁MODULE": 27023, + "▁activated": 27024, + "▁internacional": 27025, + "▁Mittel": 27026, + "degree": 27027, + "▁откры": 27028, + "▁&(": 27029, + "getProperty": 27030, + "isz": 27031, + "cedure": 27032, + "▁enters": 27033, + "▁Sally": 27034, + "▁Train": 27035, + "▁logged": 27036, + "▁Rav": 27037, + "▁Avoid": 27038, + "▁Kaiser": 27039, + "▁expend": 27040, + "aphor": 27041, + "▁brass": 27042, + "▁melod": 27043, + "▁attitudes": 27044, + "*\"": 27045, + "Wall": 27046, + "▁owe": 27047, + "▁bamb": 27048, + "shader": 27049, + "cester": 27050, + "▁PP": 27051, + "▁migrations": 27052, + "entric": 27053, + "▁Setup": 27054, + "▁Artist": 27055, + "hre": 27056, + "▁polite": 27057, + "ahan": 27058, + "▁luglio": 27059, + "▁predecess": 27060, + "▁SIG": 27061, + "тів": 27062, + "▁RF": 27063, + "▁Dry": 27064, + "▁maker": 27065, + "шим": 27066, + "▁Sounds": 27067, + "▁implementing": 27068, + "▁ah": 27069, + "▁gev": 27070, + "▁duplicate": 27071, + "▁Logan": 27072, + "▁Grade": 27073, + "DUCT": 27074, + "íses": 27075, + "ért": 27076, + "▁nonsense": 27077, + "backup": 27078, + "Attachment": 27079, + "▁ecc": 27080, + "▁Squadron": 27081, + "learn": 27082, + "deprecated": 27083, + "▁Aub": 27084, + "▁Gol": 27085, + "▁overl": 27086, + "SERVICE": 27087, + "▁beautifully": 27088, + "REL": 27089, + "▁Gian": 27090, + "▁Papa": 27091, + "respond": 27092, + "▁Caribbean": 27093, + "rn": 27094, + "▁худож": 27095, + "Cfg": 27096, + "rai": 27097, + "▁sniff": 27098, + "tto": 27099, + "ологи": 27100, + "▁rb": 27101, + "▁incidents": 27102, + "▁duck": 27103, + "▁PROVIDED": 27104, + "Sources": 27105, + "▁Chelsea": 27106, + "▁tek": 27107, + "▁налази": 27108, + "▁pilots": 27109, + "тки": 27110, + "▁traded": 27111, + "▁Beijing": 27112, + "▁Gregory": 27113, + "scalar": 27114, + "▁inclined": 27115, + "▁Kamp": 27116, + "▁Marian": 27117, + "▁fierce": 27118, + "▁theft": 27119, + "ющих": 27120, + "▁Into": 27121, + "constraint": 27122, + "parentNode": 27123, + "idental": 27124, + "▁gouvernement": 27125, + "▁SND": 27126, + "▁Ruby": 27127, + "▁monaster": 27128, + "Records": 27129, + "▁Kab": 27130, + "▁Universe": 27131, + "▁approximate": 27132, + "Water": 27133, + "▁Physical": 27134, + "appers": 27135, + "oubtedly": 27136, + "ложен": 27137, + "▁towel": 27138, + "▁siblings": 27139, + "eph": 27140, + "icios": 27141, + "рами": 27142, + "▁outrage": 27143, + "▁també": 27144, + "SRC": 27145, + "телем": 27146, + "Vi": 27147, + ".');": 27148, + "LM": 27149, + "▁mitt": 27150, + "▁weed": 27151, + "▁crops": 27152, + "iman": 27153, + "Claim": 27154, + "insula": 27155, + "▁(“": 27156, + "▁Changes": 27157, + "▁invånare": 27158, + "again": 27159, + "▁cnt": 27160, + "▁Gaz": 27161, + "▁austral": 27162, + "overlay": 27163, + "▁Mechan": 27164, + "▁slammed": 27165, + "▁trailing": 27166, + "▁Biography": 27167, + "▁appealing": 27168, + "IVER": 27169, + "▁Ave": 27170, + "▁Plot": 27171, + "voj": 27172, + "▁sung": 27173, + "▁unos": 27174, + "Effects": 27175, + "vv": 27176, + "cook": 27177, + "Buttons": 27178, + "▁transm": 27179, + "ierto": 27180, + "CONTEXT": 27181, + "▁dignity": 27182, + "aired": 27183, + "javax": 27184, + "▁Alberto": 27185, + "▁Recently": 27186, + "▁facial": 27187, + "mathop": 27188, + "ało": 27189, + "вид": 27190, + "cott": 27191, + "Variables": 27192, + "▁Ran": 27193, + "▁bunk": 27194, + "amiliar": 27195, + "CAST": 27196, + "▁frü": 27197, + "VED": 27198, + "▁NOTICE": 27199, + "▁turno": 27200, + "validator": 27201, + "▁Portuguese": 27202, + "▁questioning": 27203, + "}})": 27204, + "▁lear": 27205, + "Xamarin": 27206, + "▁disadv": 27207, + "encoded": 27208, + "▁Kot": 27209, + "rated": 27210, + "▁Theory": 27211, + "cius": 27212, + "▁Darwin": 27213, + "ђе": 27214, + "▁décl": 27215, + "▁область": 27216, + "рович": 27217, + "▁mobility": 27218, + "VF": 27219, + "▁хи": 27220, + "until": 27221, + "▁barriers": 27222, + "gif": 27223, + "▁Roh": 27224, + "▁aging": 27225, + "▁Widget": 27226, + "olk": 27227, + "▁farms": 27228, + "Checker": 27229, + "Introduction": 27230, + "смо": 27231, + "▁Russians": 27232, + "naments": 27233, + "▁Insert": 27234, + "▁Whenever": 27235, + "erset": 27236, + "itori": 27237, + "▁Dort": 27238, + "▁costume": 27239, + "▁mathematical": 27240, + "▁Bast": 27241, + "▁nominated": 27242, + "▁restoration": 27243, + "posal": 27244, + "▁unfortunate": 27245, + "Ps": 27246, + "LIN": 27247, + "▁intact": 27248, + "▁provoc": 27249, + "▁située": 27250, + "▁ноября": 27251, + "ermo": 27252, + "▁fisher": 27253, + "гля": 27254, + "▁conting": 27255, + "▁Doug": 27256, + "\"?": 27257, + "▁Eva": 27258, + "▁tops": 27259, + "▁Remote": 27260, + "▁artwork": 27261, + "▁artillery": 27262, + "quick": 27263, + "▁Arabia": 27264, + "▁SDValue": 27265, + "▁Dakota": 27266, + "iated": 27267, + "▁Optim": 27268, + "buttons": 27269, + "▁cottage": 27270, + "▁wherein": 27271, + "▁tutorial": 27272, + "▁Scre": 27273, + "▁sweep": 27274, + "▁Coffee": 27275, + "})}": 27276, + "▁музы": 27277, + "hostname": 27278, + "▁Temp": 27279, + "▁Fut": 27280, + "respect": 27281, + "ocz": 27282, + "▁predomin": 27283, + "Indicator": 27284, + "encial": 27285, + "UMENT": 27286, + "▁SHALL": 27287, + "▁commanded": 27288, + "▁withdrawal": 27289, + "iour": 27290, + "REGION": 27291, + "sprintf": 27292, + "▁вме": 27293, + "▁Payment": 27294, + "▁Anim": 27295, + "publish": 27296, + "▁seeks": 27297, + "ouw": 27298, + "▁GM": 27299, + "rugu": 27300, + "ustain": 27301, + "▁))": 27302, + "▁consulting": 27303, + "▁Dialog": 27304, + "▁Lars": 27305, + "▁critique": 27306, + "▁circulation": 27307, + "▁landsc": 27308, + "managed": 27309, + "▁Craft": 27310, + "▁herman": 27311, + "afi": 27312, + "amy": 27313, + "▁discour": 27314, + "<>(": 27315, + "▁Steph": 27316, + "▁tolerance": 27317, + "typename": 27318, + "ventions": 27319, + "ział": 27320, + "стов": 27321, + "▁sticking": 27322, + "ASC": 27323, + "ISO": 27324, + "▁Spencer": 27325, + "▁Didn": 27326, + "gomery": 27327, + "imiter": 27328, + "dru": 27329, + "Clause": 27330, + "▁slides": 27331, + "###": 27332, + "▁Sugar": 27333, + "HY": 27334, + "▁эти": 27335, + "▁Edwards": 27336, + "▁cents": 27337, + "oya": 27338, + "serts": 27339, + "▁Hass": 27340, + "▁ingen": 27341, + "стри": 27342, + "▁saddle": 27343, + "solid": 27344, + "▁champions": 27345, + "-)": 27346, + "▁Slov": 27347, + "▁shiny": 27348, + "▁*)&": 27349, + "▁Define": 27350, + "če": 27351, + "▁scrut": 27352, + "onden": 27353, + "'\",": 27354, + "uffs": 27355, + "▁olymp": 27356, + "idential": 27357, + "wand": 27358, + "▁annually": 27359, + "▁Arkansas": 27360, + "▁saint": 27361, + "▁gleich": 27362, + "▁perfection": 27363, + ")>": 27364, + "▁shorts": 27365, + "▁justified": 27366, + "peated": 27367, + "packages": 27368, + "driven": 27369, + "▁Liberty": 27370, + "▁stripped": 27371, + "шение": 27372, + "▁fünf": 27373, + "▁ecosystem": 27374, + "ixa": 27375, + "▁Fresh": 27376, + "vart": 27377, + "▁treats": 27378, + "▁stance": 27379, + "чёт": 27380, + "▁pity": 27381, + "adém": 27382, + "▁окон": 27383, + "▁Chand": 27384, + "rab": 27385, + "вший": 27386, + "inski": 27387, + "▁continually": 27388, + "▁Daddy": 27389, + "▁nightmare": 27390, + "icional": 27391, + "▁efect": 27392, + "ueblo": 27393, + "▁lanç": 27394, + "▁Collections": 27395, + "due": 27396, + "ampton": 27397, + "▁memcpy": 27398, + "▁**(": 27399, + "issent": 27400, + "▁Insp": 27401, + "▁Glasgow": 27402, + "▁furono": 27403, + "▁kindness": 27404, + "Bi": 27405, + "▁competed": 27406, + "▁oak": 27407, + "Large": 27408, + "▁disgu": 27409, + "▁kings": 27410, + "тами": 27411, + "▁stuffed": 27412, + "▁hilar": 27413, + "published": 27414, + "▁stressed": 27415, + "▁Peak": 27416, + "▁loader": 27417, + "Keyboard": 27418, + "▁reconstruction": 27419, + "▁vod": 27420, + "▁dun": 27421, + "▁understands": 27422, + "tenant": 27423, + "▁chaque": 27424, + "▁prejud": 27425, + "utat": 27426, + "▁uso": 27427, + "▁Heavy": 27428, + "▁cuatro": 27429, + "▁sidewalk": 27430, + "▁Bug": 27431, + "▁månaden": 27432, + "geo": 27433, + "▁united": 27434, + "▁Files": 27435, + "▁Аль": 27436, + "▁rugby": 27437, + "▁financing": 27438, + "▁comply": 27439, + "&#": 27440, + "▁rushing": 27441, + "▁fen": 27442, + "mong": 27443, + "▁spé": 27444, + "▁presenting": 27445, + "INCLUDING": 27446, + "ěl": 27447, + "zeichnung": 27448, + "Backup": 27449, + "▁petit": 27450, + "▁allerg": 27451, + "нут": 27452, + "▁worrying": 27453, + "▁mamm": 27454, + "▁operand": 27455, + ":%.*]]": 27456, + "▁realise": 27457, + "Commands": 27458, + "▁Bew": 27459, + "▁assumes": 27460, + "▁Covid": 27461, + "▁quand": 27462, + "tyard": 27463, + "▁Mono": 27464, + "linked": 27465, + "MARK": 27466, + "Esp": 27467, + "▁blessing": 27468, + "▁eyebrows": 27469, + "▁NV": 27470, + "▁стру": 27471, + "▁modeling": 27472, + "▁greeted": 27473, + "Workspace": 27474, + "▁pedest": 27475, + "▁неза": 27476, + "lemagne": 27477, + "Statistics": 27478, + "▁aument": 27479, + "▁speeds": 27480, + "▁syndrome": 27481, + "CONNECT": 27482, + "zahl": 27483, + "verso": 27484, + "ército": 27485, + "▁astronom": 27486, + "▁aprile": 27487, + "žen": 27488, + "веро": 27489, + "draft": 27490, + "▁gioc": 27491, + "▁comport": 27492, + "▁variance": 27493, + "▁realizing": 27494, + "EDIT": 27495, + "олові": 27496, + "▁estar": 27497, + "▁sost": 27498, + "NORMAL": 27499, + "▁ó": 27500, + "▁Andr": 27501, + "ATTRIB": 27502, + "▁rede": 27503, + "▁toes": 27504, + "▁advances": 27505, + "▁Against": 27506, + "TOM": 27507, + "rss": 27508, + "MMMM": 27509, + "▁newest": 27510, + "▁VER": 27511, + "▁phrases": 27512, + "anter": 27513, + "Launch": 27514, + "▁chr": 27515, + "▁manufactured": 27516, + "$),": 27517, + "rollment": 27518, + "eston": 27519, + "▁peint": 27520, + "”)": 27521, + "endet": 27522, + "▁Hair": 27523, + "ivalent": 27524, + "▁upright": 27525, + "gren": 27526, + "anked": 27527, + "wright": 27528, + "▁mast": 27529, + "▁onChange": 27530, + "▁debris": 27531, + "▁grap": 27532, + "etry": 27533, + "▁(__": 27534, + "▁Commerce": 27535, + "BOX": 27536, + "Tax": 27537, + "▁отри": 27538, + "▁prevention": 27539, + "▁Feel": 27540, + "▁exotic": 27541, + "▁Bark": 27542, + "▁Steam": 27543, + "fon": 27544, + "olin": 27545, + "▁eliminated": 27546, + "▁bc": 27547, + "▁Cycl": 27548, + "▁$(\"#": 27549, + "▁Parl": 27550, + "manuel": 27551, + "ospher": 27552, + "WF": 27553, + "Analy": 27554, + "▁navig": 27555, + "▁renown": 27556, + "Rx": 27557, + "▁Walt": 27558, + "uffed": 27559, + "▁foster": 27560, + "$:": 27561, + "shore": 27562, + "Connector": 27563, + "фика": 27564, + "▁realization": 27565, + "Li": 27566, + "ctxt": 27567, + "ahoo": 27568, + "▁miracle": 27569, + "▁ET": 27570, + "▁GPS": 27571, + "▁Observable": 27572, + "▁hf": 27573, + "▁magnificent": 27574, + "него": 27575, + "BIN": 27576, + "▁Dorf": 27577, + "ieck": 27578, + "vee": 27579, + "▁Craw": 27580, + "/#": 27581, + "▁pci": 27582, + "ippet": 27583, + "▁Hillary": 27584, + "▁gir": 27585, + "▁rand": 27586, + "▁laying": 27587, + "▁Different": 27588, + "boys": 27589, + "virt": 27590, + "▁encryption": 27591, + "ász": 27592, + "пор": 27593, + "▁smelled": 27594, + "▁suscept": 27595, + "cluded": 27596, + "▁Carn": 27597, + "igten": 27598, + "▁Chuck": 27599, + "▁Provinc": 27600, + "▁perí": 27601, + "▁Marshal": 27602, + "мож": 27603, + "gfx": 27604, + "oshi": 27605, + "▁WHE": 27606, + "▁relaxation": 27607, + ",.": 27608, + "were": 27609, + "▁varieties": 27610, + "▁Won": 27611, + "▁gaps": 27612, + "▁stole": 27613, + "igua": 27614, + "ющие": 27615, + "▁Hampshire": 27616, + "phrase": 27617, + "▁película": 27618, + "Processing": 27619, + "▁initialization": 27620, + "oustic": 27621, + "▁Josef": 27622, + "icating": 27623, + "▁goodness": 27624, + "TES": 27625, + "▁cope": 27626, + "▁ignorance": 27627, + "▁Brist": 27628, + "▁paras": 27629, + "▁accidentally": 27630, + "▁tand": 27631, + "ittest": 27632, + "▁ули": 27633, + "▁shipped": 27634, + "▁ост": 27635, + "elseif": 27636, + "▁usize": 27637, + "horizontal": 27638, + "▁Carr": 27639, + "▁precip": 27640, + "roz": 27641, + "pathetic": 27642, + "rived": 27643, + "rok": 27644, + "▁digging": 27645, + "мом": 27646, + "▁Mull": 27647, + "▁XIII": 27648, + "▁peas": 27649, + "▁foul": 27650, + "▁travels": 27651, + "▁Ng": 27652, + "▁составе": 27653, + "Mont": 27654, + "arde": 27655, + "▁Stefan": 27656, + "^^^^": 27657, + "▁Kiss": 27658, + "▁Ek": 27659, + "▁oktober": 27660, + "▁memorable": 27661, + "')).": 27662, + "▁Vision": 27663, + "▁Nina": 27664, + "▁Solar": 27665, + "▁highlighted": 27666, + "▁memo": 27667, + "meisterschaft": 27668, + "sidebar": 27669, + "SEE": 27670, + "▁Nevada": 27671, + "Da": 27672, + "▁drawer": 27673, + "astically": 27674, + "elde": 27675, + "scribed": 27676, + "▁priests": 27677, + "▁hommes": 27678, + "▁instructor": 27679, + "клад": 27680, + "▁spett": 27681, + "\\-": 27682, + "▁мира": 27683, + "▁Looks": 27684, + "▁sleeve": 27685, + "▁strongest": 27686, + "▁tête": 27687, + "▁Nicole": 27688, + "imper": 27689, + "нача": 27690, + "ipper": 27691, + "▁inwon": 27692, + "ilers": 27693, + "▁Deputy": 27694, + "oge": 27695, + "▁depressed": 27696, + "▁arte": 27697, + "▁combining": 27698, + "LAST": 27699, + "inted": 27700, + "▁Average": 27701, + "▁pollution": 27702, + "▁Phillips": 27703, + "▁WM": 27704, + "}}}\\": 27705, + "Added": 27706, + "▁peripher": 27707, + "Creation": 27708, + "▁italien": 27709, + "▁Choice": 27710, + "▁EXPRESS": 27711, + "▁Struct": 27712, + "ysz": 27713, + "Resize": 27714, + "ARGS": 27715, + "▁repo": 27716, + "▁чтобы": 27717, + "▁pref": 27718, + "▁earthqu": 27719, + "▁Мекси": 27720, + "▁Finale": 27721, + "▁hecho": 27722, + "requests": 27723, + "Cut": 27724, + "▁deserved": 27725, + "гово": 27726, + "▁Recent": 27727, + "▁дивизи": 27728, + "▁supportive": 27729, + "прави": 27730, + "▁irrelevant": 27731, + "'\r": 27732, + "▁ctrl": 27733, + "▁Deal": 27734, + "izada": 27735, + "uo": 27736, + "▁nort": 27737, + "geometry": 27738, + "▁Individual": 27739, + "ereg": 27740, + "▁приня": 27741, + "cref": 27742, + "══": 27743, + "▁comerc": 27744, + "=_": 27745, + "bund": 27746, + "тах": 27747, + "ilen": 27748, + "чита": 27749, + "▁corporation": 27750, + "esz": 27751, + "▁==>": 27752, + "ablish": 27753, + "Apr": 27754, + "▁ripped": 27755, + "Vars": 27756, + "stret": 27757, + "▁Francesco": 27758, + "NaN": 27759, + "▁anytime": 27760, + "▁automated": 27761, + "ostream": 27762, + "▁drawings": 27763, + "▁enhancement": 27764, + "okrat": 27765, + "▁Issue": 27766, + "вра": 27767, + "Currency": 27768, + "▁wyn": 27769, + "izarre": 27770, + "ético": 27771, + "multiple": 27772, + "▁Rate": 27773, + "▁Ich": 27774, + "▁Auss": 27775, + "▁Former": 27776, + "Curve": 27777, + "▁marvel": 27778, + "attro": 27779, + "▁сп": 27780, + "BOOL": 27781, + "сия": 27782, + "gold": 27783, + "▁Nintendo": 27784, + "▁Salvador": 27785, + "▁Solution": 27786, + "ADC": 27787, + "бора": 27788, + "▁Bennett": 27789, + "▁FR": 27790, + "▁pueden": 27791, + "patient": 27792, + "▁PG": 27793, + "▁Jin": 27794, + "▁crashed": 27795, + "▁denen": 27796, + "▁Sample": 27797, + "▁Quebec": 27798, + "itories": 27799, + "▁blinked": 27800, + "▁lion": 27801, + "▁voce": 27802, + "▁Impact": 27803, + "▁Mau": 27804, + "▁Nie": 27805, + "▁lob": 27806, + "▁две": 27807, + "orneys": 27808, + "▁coastal": 27809, + "▁sensors": 27810, + "▁XII": 27811, + "▁illusion": 27812, + "oji": 27813, + "▁INC": 27814, + "▁Duncan": 27815, + "yk": 27816, + "▁affecting": 27817, + "pul": 27818, + "▁Napoleon": 27819, + "▁акаде": 27820, + "▁compt": 27821, + "▁profitable": 27822, + "loe": 27823, + "▁deuxième": 27824, + "▁WC": 27825, + "▁viable": 27826, + "▁Drug": 27827, + "TextBox": 27828, + "▁luminos": 27829, + "auté": 27830, + "yc": 27831, + "ště": 27832, + "▁affiliates": 27833, + "ilda": 27834, + "conduct": 27835, + "▁ebenfalls": 27836, + "▁AMD": 27837, + "▁Monitor": 27838, + "▁Companies": 27839, + "▁corrected": 27840, + "äck": 27841, + "SYSTEM": 27842, + "otherapy": 27843, + "▁перед": 27844, + "▁blues": 27845, + "atisf": 27846, + "although": 27847, + "rost": 27848, + "SCAN": 27849, + "▁RAM": 27850, + "ціональ": 27851, + "▁vendors": 27852, + "▁customs": 27853, + "▁activate": 27854, + "▁blogs": 27855, + "▁brace": 27856, + "▁strat": 27857, + "anje": 27858, + "щё": 27859, + "▁tide": 27860, + "▁Brigade": 27861, + "getOperand": 27862, + "▁aliment": 27863, + "▁achievements": 27864, + "▁suspicion": 27865, + "▁touchdown": 27866, + "broad": 27867, + "iore": 27868, + "Comparison": 27869, + "▁mum": 27870, + "English": 27871, + "▁Picture": 27872, + "▁Mouse": 27873, + "amd": 27874, + "▁[`": 27875, + "▁denomin": 27876, + "▁Aleks": 27877, + "▁prevents": 27878, + "ób": 27879, + "fed": 27880, + "▁Pray": 27881, + "▁shine": 27882, + "▁clutch": 27883, + "mux": 27884, + "Appro": 27885, + "▁notably": 27886, + "chio": 27887, + "nage": 27888, + "HAS": 27889, + "▁')": 27890, + "▁Miche": 27891, + "tg": 27892, + "::~": 27893, + "▁amely": 27894, + "▁rodz": 27895, + "zs": 27896, + "trait": 27897, + "▁klass": 27898, + "fö": 27899, + "▁destac": 27900, + "▁Clara": 27901, + "frequency": 27902, + "▁Git": 27903, + "▁поль": 27904, + "▁frequencies": 27905, + "▁febrero": 27906, + "▁stumbled": 27907, + "кою": 27908, + "▁Names": 27909, + "▁Flight": 27910, + "▁prey": 27911, + "▁medio": 27912, + "▁VAR": 27913, + "▁Float": 27914, + "▁Ernest": 27915, + "▁Marcatori": 27916, + "oport": 27917, + "▁cancellation": 27918, + "▁Bryan": 27919, + "————": 27920, + "Luc": 27921, + "▁libre": 27922, + "▁título": 27923, + "*>": 27924, + "▁Sandy": 27925, + "▁Marina": 27926, + "Been": 27927, + "▁wal": 27928, + "▁Kultur": 27929, + "▁explode": 27930, + "▁limiting": 27931, + "▁presumably": 27932, + "▁pb": 27933, + "▁Merc": 27934, + "▁реки": 27935, + "learning": 27936, + "Catalog": 27937, + "▁Census": 27938, + "lte": 27939, + "▁NET": 27940, + "raising": 27941, + "ське": 27942, + "staff": 27943, + "▁Quinn": 27944, + "▁memorial": 27945, + "пня": 27946, + "▁cuenta": 27947, + "▁XI": 27948, + "lbl": 27949, + "▁varies": 27950, + "▁fluctuations": 27951, + "▁долж": 27952, + "▁особи": 27953, + "▁warehouse": 27954, + "However": 27955, + "▁corrections": 27956, + "dhd": 27957, + "▁fals": 27958, + "▁controversy": 27959, + "▁curse": 27960, + "▁télé": 27961, + "řed": 27962, + "▁AU": 27963, + "▁тор": 27964, + "▁crít": 27965, + "idan": 27966, + "iliary": 27967, + "▁Panel": 27968, + "cule": 27969, + "▁Poor": 27970, + "▁BA": 27971, + "▁ignorant": 27972, + "èmes": 27973, + "▁aesthetic": 27974, + "Linked": 27975, + "getInt": 27976, + "Unicode": 27977, + "[@": 27978, + "▁Zent": 27979, + "Manifest": 27980, + "▁vars": 27981, + "PB": 27982, + "▁ву": 27983, + "▁Describe": 27984, + "▁Anything": 27985, + "oirs": 27986, + "▁socks": 27987, + "▁imped": 27988, + "▁neue": 27989, + "▁dispers": 27990, + "Collect": 27991, + "filer": 27992, + "▁Frau": 27993, + "▁Hockey": 27994, + "▁teens": 27995, + "▁Roberto": 27996, + "lauf": 27997, + "вать": 27998, + "▁ско": 27999, + "isArray": 28000, + "▁teenager": 28001, + "Built": 28002, + "▁loudly": 28003, + "Capacity": 28004, + "▁adventures": 28005, + "▁Molly": 28006, + "recogn": 28007, + "bars": 28008, + "▁Lor": 28009, + "▁può": 28010, + "▁mong": 28011, + "inement": 28012, + "Assignment": 28013, + "▁diz": 28014, + "lessness": 28015, + "▁Halloween": 28016, + "▁bitmap": 28017, + "Rom": 28018, + "нар": 28019, + "▁rebel": 28020, + "▁radial": 28021, + "measure": 28022, + "nit": 28023, + "▁Assume": 28024, + "▁assignments": 28025, + "▁Isn": 28026, + "▁altre": 28027, + "ßer": 28028, + "наль": 28029, + "▁flies": 28030, + "▁droit": 28031, + "▁thickness": 28032, + "▁enjo": 28033, + "▁dwell": 28034, + "▁homosexual": 28035, + "▁eval": 28036, + "$_{": 28037, + "asia": 28038, + "▁philos": 28039, + "getCurrent": 28040, + "▁veterans": 28041, + "▁Berkeley": 28042, + "▁wildlife": 28043, + "Cop": 28044, + "vern": 28045, + "▁Ú": 28046, + "tos": 28047, + "▁Led": 28048, + "▁keywords": 28049, + "▁medications": 28050, + "neum": 28051, + "▁jamais": 28052, + "▁Buc": 28053, + "▁PD": 28054, + "▁Statement": 28055, + "▁PI": 28056, + "▁Jackie": 28057, + "▁ordin": 28058, + "▁kör": 28059, + "enze": 28060, + "▁utilized": 28061, + "áct": 28062, + "azed": 28063, + "▁severely": 28064, + "▁även": 28065, + "▁libro": 28066, + "▁Eu": 28067, + "äst": 28068, + "PART": 28069, + "▁Butler": 28070, + "▁puzzle": 28071, + "Fall": 28072, + "Country": 28073, + "pfn": 28074, + "▁україн": 28075, + "▁Orchestra": 28076, + "▁alto": 28077, + "▁ancora": 28078, + "▁decomposition": 28079, + "▁م": 28080, + "▁appetite": 28081, + "adu": 28082, + "▁THAT": 28083, + "▁comenz": 28084, + "mina": 28085, + "▁initiated": 28086, + "▁Tat": 28087, + "▁sometime": 28088, + "rek": 28089, + "bread": 28090, + "▁Statistics": 28091, + "▁Cob": 28092, + "Follow": 28093, + "▁geometric": 28094, + "шла": 28095, + "▁proceedings": 28096, + "Dlg": 28097, + "seven": 28098, + "▁[-": 28099, + "▁Buffalo": 28100, + "▁blacks": 28101, + "▁sov": 28102, + "▁custody": 28103, + "▁ras": 28104, + "▁tattoo": 28105, + "öffentlicht": 28106, + "Blo": 28107, + "Austral": 28108, + "▁recuper": 28109, + "лев": 28110, + "▁bem": 28111, + "▁thou": 28112, + "oriented": 28113, + "vir": 28114, + "▁colony": 28115, + "▁Stanford": 28116, + "Absolute": 28117, + "adrat": 28118, + "▁Situ": 28119, + "▁souvent": 28120, + "EXEC": 28121, + "▁mű": 28122, + "▁apartments": 28123, + "▁случа": 28124, + "▁ano": 28125, + "WINDO": 28126, + "acci": 28127, + "▁Lau": 28128, + "court": 28129, + "▁manifold": 28130, + "▁coalition": 28131, + "▁XIV": 28132, + "Attrib": 28133, + "ascade": 28134, + "▁wheat": 28135, + "▁strengths": 28136, + "FREE": 28137, + "EMPTY": 28138, + "▁hey": 28139, + "ascular": 28140, + "▁plasma": 28141, + "▁bob": 28142, + "Separator": 28143, + "=\"${": 28144, + "▁Zag": 28145, + "▁projet": 28146, + "▁smoothly": 28147, + "SEQU": 28148, + "analy": 28149, + "attachment": 28150, + "▁ES": 28151, + "▁popped": 28152, + "ős": 28153, + "tom": 28154, + "▁són": 28155, + "▁rott": 28156, + "Utilities": 28157, + "hadoop": 28158, + "▁sotto": 28159, + "autor": 28160, + "▁Georges": 28161, + "▁který": 28162, + "▁gruppo": 28163, + "▁когда": 28164, + "▁меда": 28165, + "▁instrumental": 28166, + "▁Writer": 28167, + "▁setTimeout": 28168, + "ikk": 28169, + "▁Dopo": 28170, + "]);\r": 28171, + "▁practicing": 28172, + "▁Ronald": 28173, + "▁уби": 28174, + "▁agrees": 28175, + "▁denoted": 28176, + "ismiss": 28177, + "▁interviewed": 28178, + "templates": 28179, + "ři": 28180, + "administr": 28181, + "▁Butter": 28182, + "▁XVII": 28183, + "▁positioned": 28184, + "▁Fourth": 28185, + "▁overwhelmed": 28186, + "▁Regular": 28187, + "▁reprezent": 28188, + "кономи": 28189, + "▁expects": 28190, + "Indices": 28191, + "▁marijuana": 28192, + "▁zaj": 28193, + "▁Bren": 28194, + "▁begg": 28195, + "▁nahm": 28196, + "▁interrog": 28197, + "тие": 28198, + "▁Bun": 28199, + "▁серед": 28200, + "▁shelves": 28201, + "▁которых": 28202, + "▁Frauen": 28203, + "▁Sergeant": 28204, + "▁успе": 28205, + "matched": 28206, + "▁donne": 28207, + "▁touches": 28208, + "abort": 28209, + "▁vale": 28210, + "▁institutional": 28211, + "▁Mons": 28212, + "▁ambitious": 28213, + "▁nonetheless": 28214, + "jd": 28215, + "пей": 28216, + "▁backpack": 28217, + "dao": 28218, + "вия": 28219, + "▁surroundings": 28220, + "|_{": 28221, + "▁gegründ": 28222, + "disp": 28223, + "▁moisture": 28224, + "▁wyd": 28225, + "▁traders": 28226, + "▁Erst": 28227, + "▁Galaxy": 28228, + "▁воло": 28229, + "▁Peru": 28230, + "▁priorities": 28231, + "▁pronounced": 28232, + "▁CBS": 28233, + "▁Palm": 28234, + "▁expans": 28235, + "▁energet": 28236, + "▁Condition": 28237, + "▁Sver": 28238, + "nested": 28239, + "▁февраля": 28240, + "hero": 28241, + "▁коло": 28242, + "▁Films": 28243, + "Bon": 28244, + "éal": 28245, + "ployed": 28246, + "trained": 28247, + "▁első": 28248, + "▁lust": 28249, + "atinum": 28250, + "oyle": 28251, + "▁Jet": 28252, + "ждения": 28253, + "▁surveys": 28254, + "bee": 28255, + "workers": 28256, + "records": 28257, + "calendar": 28258, + "bbing": 28259, + "regation": 28260, + "dashboard": 28261, + "King": 28262, + "▁vista": 28263, + "▁depicted": 28264, + "▁occurring": 28265, + "▁офи": 28266, + "▁sandwich": 28267, + "rcu": 28268, + "kern": 28269, + "▁minut": 28270, + "▁смер": 28271, + "▁td": 28272, + "solete": 28273, + "Complex": 28274, + "▁tunn": 28275, + "▁scarc": 28276, + "stead": 28277, + "▁Fail": 28278, + "▁Rs": 28279, + "▁trails": 28280, + "kem": 28281, + "▁Romans": 28282, + "ativity": 28283, + "Previous": 28284, + "▁depress": 28285, + "▁resigned": 28286, + "getDefault": 28287, + "▁Tibet": 28288, + "▁Franco": 28289, + "\")));": 28290, + "▁injection": 28291, + "removed": 28292, + "▁praised": 28293, + "▁Asc": 28294, + "erase": 28295, + "▁commissioned": 28296, + "MAIL": 28297, + "▁Boh": 28298, + "Poly": 28299, + "▁cinq": 28300, + "▁Above": 28301, + "▁Joshua": 28302, + "ZERO": 28303, + "▁summit": 28304, + "▁Urs": 28305, + "▁curl": 28306, + "▁visa": 28307, + "▁resur": 28308, + "={'": 28309, + "feat": 28310, + "▁absorb": 28311, + "▁planets": 28312, + "▁princess": 28313, + "▁Jahrhunderts": 28314, + "xp": 28315, + "▁NBC": 28316, + "▁коми": 28317, + "▁FUN": 28318, + "▁neuen": 28319, + "▁déjà": 28320, + "▁Oz": 28321, + "bben": 28322, + "VIDEO": 28323, + "▁ejempl": 28324, + "▁considers": 28325, + "atri": 28326, + "▁arrog": 28327, + "ioso": 28328, + "▁hace": 28329, + "▁contacted": 28330, + "▁unple": 28331, + "▁sponsored": 28332, + "▁trainer": 28333, + "sbi": 28334, + "▁занима": 28335, + "Criterion": 28336, + "ното": 28337, + "scheme": 28338, + "ennial": 28339, + "perform": 28340, + "▁fixing": 28341, + "▁постро": 28342, + "arb": 28343, + "EXIT": 28344, + "▁café": 28345, + "ituted": 28346, + "riages": 28347, + "Tur": 28348, + "▁haber": 28349, + "elasticsearch": 28350, + "▁ал": 28351, + "rh": 28352, + "▁voll": 28353, + "CLU": 28354, + "Mil": 28355, + "▁membres": 28356, + "▁remarked": 28357, + "вана": 28358, + "=\"_": 28359, + "Less": 28360, + "(\"\");": 28361, + "▁Yale": 28362, + "berries": 28363, + "▁releasing": 28364, + "▁imports": 28365, + "idea": 28366, + "▁(+": 28367, + "▁arqu": 28368, + "ificación": 28369, + "▁пара": 28370, + "▁Rangers": 28371, + "Mic": 28372, + "▁nederbörd": 28373, + "▁imaginary": 28374, + "▁specialists": 28375, + "▁hoof": 28376, + "Modules": 28377, + "▁sadly": 28378, + "ceil": 28379, + "TabIndex": 28380, + "ationale": 28381, + "▁Partner": 28382, + "tbody": 28383, + "▁leverage": 28384, + "DN": 28385, + "▁Prec": 28386, + "▁Sé": 28387, + "▁Mam": 28388, + "▁afin": 28389, + "isValid": 28390, + "Pse": 28391, + "▁сторо": 28392, + "▁chopped": 28393, + "▁Minor": 28394, + "▁dabei": 28395, + "David": 28396, + "ussia": 28397, + "▁деревня": 28398, + "▁Identity": 28399, + "▁LGBT": 28400, + "ције": 28401, + "▁Orts": 28402, + "▁parti": 28403, + "▁Bachelor": 28404, + "uga": 28405, + "▁OPT": 28406, + "▁Seth": 28407, + "▁LIABLE": 28408, + "▁inaugur": 28409, + "▁Shanghai": 28410, + "▁relaxing": 28411, + "циона": 28412, + "\"%": 28413, + "▁obey": 28414, + "▁Airlines": 28415, + "Links": 28416, + "▁Celt": 28417, + "▁Admin": 28418, + "agation": 28419, + "▁worries": 28420, + "INTE": 28421, + "arith": 28422, + "Fatalf": 28423, + "]])": 28424, + "colm": 28425, + "▁archae": 28426, + "▁brushed": 28427, + "▁tät": 28428, + "▁structured": 28429, + "тии": 28430, + "▁homem": 28431, + "[:,": 28432, + "▁navy": 28433, + "getKey": 28434, + "powered": 28435, + "▁sucked": 28436, + "▁zomb": 28437, + "issant": 28438, + "▁Might": 28439, + "▁Pull": 28440, + "rir": 28441, + "▁пі": 28442, + "▁seas": 28443, + "▁Wrest": 28444, + "▁tense": 28445, + "▁atm": 28446, + "▁havet": 28447, + "▁pierws": 28448, + "▁tragic": 28449, + "▁Diff": 28450, + "▁confidential": 28451, + "successful": 28452, + "ęż": 28453, + "▁Chain": 28454, + "▁Kenya": 28455, + "Choice": 28456, + "ocur": 28457, + "aniu": 28458, + "▁consultant": 28459, + "▁Advis": 28460, + "Lif": 28461, + "▁Lors": 28462, + "avorite": 28463, + "▁utilizing": 28464, + "▁vintage": 28465, + "Matcher": 28466, + "▁membre": 28467, + "▁Expect": 28468, + "▁tracing": 28469, + "nog": 28470, + "▁dej": 28471, + "▁уче": 28472, + "▁loops": 28473, + "▁onclick": 28474, + "▁GPU": 28475, + "▁Albums": 28476, + "▁Archives": 28477, + "вата": 28478, + "▁stove": 28479, + "шли": 28480, + "ancies": 28481, + "▁gemeente": 28482, + "mob": 28483, + "PDF": 28484, + "eso": 28485, + "▁vég": 28486, + "Resolve": 28487, + "▁teaches": 28488, + "ложе": 28489, + "▁ство": 28490, + "▁Одна": 28491, + "▁fid": 28492, + "Something": 28493, + "▁nebo": 28494, + "▁Valentine": 28495, + "rowning": 28496, + "▁але": 28497, + "awi": 28498, + "ishi": 28499, + "▁SPI": 28500, + "▁spel": 28501, + "▁біль": 28502, + "▁participant": 28503, + "▁Ned": 28504, + "▁Gast": 28505, + "▁blond": 28506, + "▁saves": 28507, + "colored": 28508, + "▁ACTION": 28509, + "▁Politiker": 28510, + "}$)": 28511, + "▁Dum": 28512, + "dentry": 28513, + "Student": 28514, + "▁~=": 28515, + "loads": 28516, + "▁Foster": 28517, + "一个": 28518, + "▁PK": 28519, + "▁SB": 28520, + "▁Hern": 28521, + "▁Exhib": 28522, + "Listeners": 28523, + "Sun": 28524, + "plac": 28525, + "▁Bever": 28526, + "▁incluy": 28527, + "▁dc": 28528, + "argc": 28529, + "▁ged": 28530, + "спа": 28531, + "▁Formula": 28532, + "▁сем": 28533, + "▁empt": 28534, + "unregister": 28535, + "▁Queensland": 28536, + "ández": 28537, + "otive": 28538, + "▁alley": 28539, + "▁Democrat": 28540, + "▁travail": 28541, + "▁$,": 28542, + "RP": 28543, + "рое": 28544, + "personal": 28545, + "▁période": 28546, + "HOME": 28547, + "omes": 28548, + "▁recognised": 28549, + "heng": 28550, + "▁Jung": 28551, + "▁Roland": 28552, + "▁convicted": 28553, + "Locked": 28554, + "▁mari": 28555, + "▁Luxem": 28556, + "referto": 28557, + "Deleted": 28558, + "intent": 28559, + "▁Staats": 28560, + "▁області": 28561, + "ит": 28562, + "▁саве": 28563, + "▁Protocol": 28564, + "ając": 28565, + "chk": 28566, + "TypeInfo": 28567, + "▁pkt": 28568, + "▁scandal": 28569, + "▁individually": 28570, + "FMT": 28571, + "▁nj": 28572, + "abile": 28573, + "▁Rivers": 28574, + "PROPERTY": 28575, + "VB": 28576, + "wort": 28577, + "▁splitting": 28578, + "achten": 28579, + "▁ARISING": 28580, + "▁sip": 28581, + "▁fres": 28582, + "▁groom": 28583, + "Hol": 28584, + "▁canon": 28585, + "▁abruptly": 28586, + "▁afterward": 28587, + "▁Running": 28588, + "▁ji": 28589, + "▁%,": 28590, + "▁Palestinian": 28591, + "RW": 28592, + "pgfscope": 28593, + "▁countryside": 28594, + "▁fortunate": 28595, + "▁cél": 28596, + "▁Pointer": 28597, + "ensors": 28598, + "rating": 28599, + "▁buffers": 28600, + "▁remot": 28601, + "▁PropTypes": 28602, + "▁Nah": 28603, + "altern": 28604, + "▁easiest": 28605, + "▁invas": 28606, + "▁clk": 28607, + "copyright": 28608, + "▁blanc": 28609, + "SAMP": 28610, + "▁Cohen": 28611, + "▁Shell": 28612, + "▁destroying": 28613, + "▁Zel": 28614, + "dater": 28615, + "čen": 28616, + "▁filing": 28617, + "▁integrate": 28618, + "xit": 28619, + "▁RET": 28620, + "lene": 28621, + "calls": 28622, + "▁slaughter": 28623, + "initialized": 28624, + "unches": 28625, + "▁Trace": 28626, + "efficient": 28627, + "▁Woods": 28628, + "▁longitud": 28629, + "GN": 28630, + "▁Kont": 28631, + "▁chunks": 28632, + "ách": 28633, + "▁unemployment": 28634, + "acom": 28635, + "▁slowed": 28636, + "▁outlined": 28637, + "xffff": 28638, + "▁ikke": 28639, + "▁workspace": 28640, + "Mc": 28641, + "▁kicking": 28642, + "▁embedding": 28643, + "chnitt": 28644, + "erten": 28645, + "▁Interior": 28646, + "▁Songs": 28647, + "mmc": 28648, + "▁analyzed": 28649, + "▁Coupe": 28650, + "▁favorites": 28651, + "▁tt": 28652, + "▁той": 28653, + "Routing": 28654, + "▁Silva": 28655, + "▁anderem": 28656, + "▁honom": 28657, + "▁использова": 28658, + ".\"]": 28659, + "▁Wu": 28660, + "legt": 28661, + "▁spoon": 28662, + "▁jap": 28663, + "▁Extension": 28664, + "erne": 28665, + "▁vagy": 28666, + "▁села": 28667, + "▁функ": 28668, + "▁analytics": 28669, + "▁sug": 28670, + "▁Async": 28671, + "▁peaks": 28672, + "▁Gym": 28673, + "▁lawsuit": 28674, + "<>": 28675, + "ialis": 28676, + "etric": 28677, + "faced": 28678, + "▁disrupt": 28679, + "▁få": 28680, + "Inputs": 28681, + "`);": 28682, + "▁Mend": 28683, + "gon": 28684, + "▁\",\"": 28685, + "▁nerves": 28686, + "▁doubts": 28687, + "sap": 28688, + "▁sow": 28689, + ",\\,\\": 28690, + "▁BS": 28691, + "▁Glad": 28692, + "▁aster": 28693, + "œuvre": 28694, + "▁Bangl": 28695, + "▁iPad": 28696, + "useppe": 28697, + "▁conducting": 28698, + "▁({\\": 28699, + "▁Harbor": 28700, + "psz": 28701, + "▁FIFA": 28702, + "_**": 28703, + "emor": 28704, + "▁": 28705, + "e": 28706, + "t": 28707, + "a": 28708, + "o": 28709, + "i": 28710, + "n": 28711, + "r": 28712, + "s": 28713, + "l": 28714, + "d": 28715, + "h": 28716, + "c": 28717, + "u": 28718, + "m": 28719, + "p": 28720, + "g": 28721, + "f": 28722, + ".": 28723, + "y": 28724, + ",": 28725, + "b": 28726, + "w": 28727, + "v": 28728, + "k": 28729, + "_": 28730, + ")": 28731, + "(": 28732, + "-": 28733, + "0": 28734, + "S": 28735, + "*": 28736, + "I": 28737, + "T": 28738, + "\"": 28739, + "1": 28740, + "A": 28741, + "'": 28742, + "C": 28743, + "x": 28744, + ";": 28745, + "=": 28746, + ":": 28747, + "/": 28748, + "E": 28749, + "2": 28750, + "{": 28751, + "}": 28752, + "P": 28753, + "R": 28754, + "M": 28755, + "\\": 28756, + "D": 28757, + "L": 28758, + "N": 28759, + "B": 28760, + "о": 28761, + "O": 28762, + "а": 28763, + "z": 28764, + "F": 28765, + "|": 28766, + ">": 28767, + "j": 28768, + "H": 28769, + "3": 28770, + "#": 28771, + "и": 28772, + "е": 28773, + "9": 28774, + "q": 28775, + "$": 28776, + "G": 28777, + "н": 28778, + "U": 28779, + "W": 28780, + "4": 28781, + "5": 28782, + "8": 28783, + "6": 28784, + "р": 28785, + "т": 28786, + "7": 28787, + "с": 28788, + "<": 28789, + "V": 28790, + "в": 28791, + "[": 28792, + "]": 28793, + "л": 28794, + "к": 28795, + "K": 28796, + "é": 28797, + "J": 28798, + "д": 28799, + "&": 28800, + "\r": 28801, + "Y": 28802, + "м": 28803, + "?": 28804, + "у": 28805, + "+": 28806, + "п": 28807, + "!": 28808, + "’": 28809, + "г": 28810, + "я": 28811, + "з": 28812, + "і": 28813, + "X": 28814, + "^": 28815, + "–": 28816, + "б": 28817, + "@": 28818, + "й": 28819, + "á": 28820, + "—": 28821, + "ь": 28822, + "%": 28823, + "Q": 28824, + "ó": 28825, + "ч": 28826, + "í": 28827, + "Z": 28828, + "ы": 28829, + "ä": 28830, + "х": 28831, + "`": 28832, + "ц": 28833, + "ö": 28834, + "“": 28835, + "ж": 28836, + "ü": 28837, + "”": 28838, + "à": 28839, + "è": 28840, + "ш": 28841, + "ю": 28842, + "ł": 28843, + "С": 28844, + "~": 28845, + "ф": 28846, + "П": 28847, + "»": 28848, + "В": 28849, + "«": 28850, + "å": 28851, + "К": 28852, + "щ": 28853, + "·": 28854, + "ј": 28855, + "М": 28856, + "ç": 28857, + "А": 28858, + "Н": 28859, + "Р": 28860, + "Б": 28861, + "č": 28862, + "ú": 28863, + "ę": 28864, + "ã": 28865, + "ą": 28866, + "ă": 28867, + "Д": 28868, + "ї": 28869, + "ъ": 28870, + "ě": 28871, + "Г": 28872, + "š": 28873, + "О": 28874, + "Т": 28875, + "ê": 28876, + "ñ": 28877, + "…": 28878, + "ž": 28879, + "ß": 28880, + "ё": 28881, + "ż": 28882, + "ř": 28883, + "ś": 28884, + "Л": 28885, + "ő": 28886, + "„": 28887, + "э": 28888, + "ý": 28889, + "У": 28890, + "â": 28891, + "И": 28892, + "є": 28893, + "‘": 28894, + "î": 28895, + "З": 28896, + "Ф": 28897, + "ò": 28898, + "•": 28899, + "ć": 28900, + "É": 28901, + "°": 28902, + "ș": 28903, + "Х": 28904, + "ț": 28905, + "ô": 28906, + "Е": 28907, + "ń": 28908, + "Ч": 28909, + "Ш": 28910, + "ø": 28911, + "ù": 28912, + "ů": 28913, + "的": 28914, + "ا": 28915, + "æ": 28916, + "њ": 28917, + "љ": 28918, + "ë": 28919, + "ï": 28920, + "Э": 28921, + "£": 28922, + "−": 28923, + ",": 28924, + "õ": 28925, + "ћ": 28926, + "­": 28927, + "Ц": 28928, + "І": 28929, + "ā": 28930, + "ű": 28931, + "†": 28932, + "ل": 28933, + "ō": 28934, + "​": 28935, + "º": 28936, + "Я": 28937, + "′": 28938, + "Á": 28939, + "Ö": 28940, + "²": 28941, + "Ж": 28942, + "ì": 28943, + "。": 28944, + "数": 28945, + "×": 28946, + "ر": 28947, + "α": 28948, + "́": 28949, + "Ю": 28950, + "û": 28951, + "œ": 28952, + "ı": 28953, + "م": 28954, + "ن": 28955, + "ª": 28956, + "ź": 28957, + "ο": 28958, + "″": 28959, + "€": 28960, + "Ü": 28961, + "و": 28962, + "用": 28963, + "À": 28964, + "Č": 28965, + "Š": 28966, + "ت": 28967, + "د": 28968, + "一": 28969, + "¿": 28970, + "是": 28971, + "ي": 28972, + "ђ": 28973, + "®": 28974, + "ی": 28975, + "ν": 28976, + "đ": 28977, + "τ": 28978, + "─": 28979, + "ι": 28980, + "ε": 28981, + "→": 28982, + "ب": 28983, + "Å": 28984, + "ū": 28985, + "№": 28986, + "ş": 28987, + "不": 28988, + "џ": 28989, + "ー": 28990, + "中": 28991, + "Î": 28992, + "の": 28993, + ":": 28994, + "个": 28995, + "Й": 28996, + "ρ": 28997, + "有": 28998, + "Ä": 28999, + " ": 29000, + "ī": 29001, + "©": 29002, + "为": 29003, + "ه": 29004, + "י": 29005, + "ו": 29006, + "时": 29007, + "س": 29008, + "Ś": 29009, + "在": 29010, + "件": 29011, + "取": 29012, + "ς": 29013, + "™": 29014, + "이": 29015, + "σ": 29016, + "μ": 29017, + "定": 29018, + "文": 29019, + "据": 29020, + "置": 29021, + "Ž": 29022, + "±": 29023, + "表": 29024, + "成": 29025, + "ň": 29026, + "λ": 29027, + "¡": 29028, + "È": 29029, + "π": 29030, + "字": 29031, + "│": 29032, + "Ј": 29033, + "回": 29034, + "Є": 29035, + "到": 29036, + "行": 29037, + "§": 29038, + "½": 29039, + "ع": 29040, + "、": 29041, + "Ł": 29042, + "다": 29043, + "ン": 29044, + "κ": 29045, + "名": 29046, + "ה": 29047, + "入": 29048, + "η": 29049, + "大": 29050, + "对": 29051, + "可": 29052, + "Â": 29053, + "上": 29054, + "█": 29055, + "新": 29056, + "ف": 29057, + "加": 29058, + "要": 29059, + "Ż": 29060, + "下": 29061, + "分": 29062, + "值": 29063, + "ת": 29064, + "出": 29065, + "类": 29066, + "请": 29067, + "’": 29068, + "息": 29069, + "Ú": 29070, + "υ": 29071, + "获": 29072, + "示": 29073, + "以": 29074, + "ר": 29075, + "接": 29076, + "ל": 29077, + "を": 29078, + "存": 29079, + "信": 29080, + "设": 29081, + "方": 29082, + "ش": 29083, + "能": 29084, + "点": 29085, + "人": 29086, + "前": 29087, + "ğ": 29088, + "作": 29089, + "═": 29090, + "↘": 29091, + "ð": 29092, + "理": 29093, + "■": 29094, + "法": 29095, + "️": 29096, + "ˈ": 29097, + "果": 29098, + "发": 29099, + "ح": 29100, + "γ": 29101, + "ɵ": 29102, + "า": 29103, + "َ": 29104, + "了": 29105, + "户": 29106, + "Í": 29107, + "ə": 29108, + "ス": 29109, + "查": 29110, + "し": 29111, + "מ": 29112, + "单": 29113, + "ť": 29114, + "ق": 29115, + "る": 29116, + "间": 29117, + "如": 29118, + "本": 29119, + "后": 29120, + "ί": 29121, + "式": 29122, + "ト": 29123, + "Щ": 29124, + "Ó": 29125, + "す": 29126, + "א": 29127, + "生": 29128, + "动": 29129, + "ک": 29130, + "和": 29131, + "い": 29132, + "€": 29133, + "ა": 29134, + "가": 29135, + "하": 29136, + "�": 29137, + "小": 29138, + "返": 29139, + "否": 29140, + "ة": 29141, + "日": 29142, + "로": 29143, + "标": 29144, + "码": 29145, + "地": 29146, + "位": 29147, + "에": 29148, + " ": 29149, + "列": 29150, + "수": 29151, + "β": 29152, + "除": 29153, + "使": 29154, + "ש": 29155, + "ج": 29156, + "イ": 29157, + "δ": 29158, + "自": 29159, + "于": 29160, + "지": 29161, + "当": 29162, + "所": 29163, + "기": 29164, + "ი": 29165, + "ב": 29166, + "ร": 29167, + "★": 29168, + "子": 29169, + "号": 29170, + "ك": 29171, + "参": 29172, + "型": 29173, + "に": 29174, + "는": 29175, + "这": 29176, + "开": 29177, + "น": 29178, + "会": 29179, + "器": 29180, + "面": 29181, + "ル": 29182, + "图": 29183, + "度": 29184, + ")": 29185, + "(": 29186, + "의": 29187, + "内": 29188, + "을": 29189, + "最": 29190, + "”": 29191, + "化": 29192, + "建": 29193, + "니": 29194, + "量": 29195, + "😂": 29196, + "始": 29197, + "ē": 29198, + "خ": 29199, + "를": 29200, + "ά": 29201, + "过": 29202, + "³": 29203, + "´": 29204, + "组": 29205, + "功": 29206, + "‎": 29207, + "Ÿ": 29208, + "区": 29209, + "ز": 29210, + "ґ": 29211, + "ό": 29212, + "ッ": 29213, + "ω": 29214, + "Ç": 29215, + "选": 29216, + "通": 29217, + "结": 29218, + "录": 29219, + "改": 29220, + "ク": 29221, + "目": 29222, + "指": 29223, + "务": 29224, + "๐": 29225, + "输": 29226, + "た": 29227, + "อ": 29228, + "关": 29229, + "で": 29230, + "调": 29231, + "ा": 29232, + "정": 29233, + "合": 29234, + "已": 29235, + "시": 29236, + "部": 29237, + "页": 29238, + "━": 29239, + "ː": 29240, + "ま": 29241, + "我": 29242, + "求": 29243, + "市": 29244, + "次": 29245, + "נ": 29246, + "实": 29247, + "将": 29248, + "重": 29249, + "更": 29250, + "制": 29251, + "符": 29252, + "配": 29253, + "象": 29254, + "θ": 29255, + "ก": 29256, + "て": 29257, + "进": 29258, + "需": 29259, + "Đ": 29260, + "性": 29261, + "认": 29262, + "来": 29263, + "题": 29264, + "程": 29265, + "模": 29266, + "!": 29267, + "失": 29268, + "口": 29269, + "な": 29270, + "έ": 29271, + "": 29272, + "空": 29273, + "‍": 29274, + "期": 29275, + "者": 29276, + "は": 29277, + "Ђ": 29278, + "提": 29279, + "ή": 29280, + "ラ": 29281, + "한": 29282, + "态": 29283, + "复": 29284, + "ง": 29285, + "ე": 29286, + "Ø": 29287, + "리": 29288, + "修": 29289, + "‚": 29290, + "得": 29291, + "多": 29292, + "格": 29293, + "자": 29294, + "ע": 29295, + "่": 29296, + "函": 29297, + "应": 29298, + "↗": 29299, + "्": 29300, + "เ": 29301, + "正": 29302, + "注": 29303, + "스": 29304, + "서": 29305, + "リ": 29306, + "φ": 29307, + "ص": 29308, + "が": 29309, + "则": 29310, + "消": 29311, + "节": 29312, + "序": 29313, + "代": 29314, + "사": 29315, + "と": 29316, + "ד": 29317, + "้": 29318, + "र": 29319, + "此": 29320, + "保": 29321, + "ア": 29322, + "ư": 29323, + "인": 29324, + "ė": 29325, + "处": 29326, + "删": 29327, + "ɛ": 29328, + "容": 29329, + "ط": 29330, + "“": 29331, + "之": 29332, + "包": 29333, + "状": 29334, + "ド": 29335, + "İ": 29336, + "体": 29337, + "同": 29338, + "事": 29339, + "🙂": 29340, + "タ": 29341, + "χ": 29342, + "ʿ": 29343, + "Ș": 29344, + "主": 29345, + "品": 29346, + "ק": 29347, + "询": 29348, + "创": 29349, + "该": 29350, + " ": 29351, + "元": 29352, + "第": 29353, + "天": 29354, + "或": 29355, + "年": 29356, + "转": 29357, + "ח": 29358, + "传": 29359, + "ţ": 29360, + "路": 29361, + "例": 29362, + "机": 29363, + "Ã": 29364, + "ď": 29365, + "高": 29366, + "相": 29367, + "โ": 29368, + "片": 29369, + "―": 29370, + "操": 29371, + "ա": 29372, + "ม": 29373, + "全": 29374, + "无": 29375, + "月": 29376, + "称": 29377, + "ั": 29378, + "就": 29379, + "™": 29380, + "明": 29381, + "计": 29382, + "你": 29383, + "败": 29384, + "密": 29385, + "解": 29386, + "れ": 29387, + "أ": 29388, + "变": 29389, + "段": 29390, + "条": 29391, + "默": 29392, + "●": 29393, + "ล": 29394, + "色": 29395, + "断": 29396, + "商": 29397, + "ם": 29398, + "か": 29399, + "里": 29400, + "系": 29401, + "编": 29402, + "错": 29403, + "트": 29404, + "只": 29405, + "县": 29406, + "ს": 29407, + "常": 29408, + "初": 29409, + "ɔ": 29410, + "Α": 29411, + "フ": 29412, + "►": 29413, + "等": 29414, + "일": 29415, + "・": 29416, + "Ō": 29417, + "情": 29418, + "现": 29419, + "Ř": 29420, + "ِ": 29421, + "さ": 29422, + "ạ": 29423, + "용": 29424, + "证": 29425, + "해": 29426, + "手": 29427, + "支": 29428, + "입": 29429, + "服": 29430, + "்": 29431, + "道": 29432, + "어": 29433, + "送": 29434, + "载": 29435, + "限": 29436, + "线": 29437, + "属": 29438, + "—": 29439, + "他": 29440, + "放": 29441, + "记": 29442, + "公": 29443, + "没": 29444, + "添": 29445, + "显": 29446, + "บ": 29447, + "ย": 29448, + "რ": 29449, + "其": 29450, + "集": 29451, + "金": 29452, + "国": 29453, + "任": 29454, + "ە": 29455, + "话": 29456, + "并": 29457, + "被": 29458, + "ύ": 29459, + "都": 29460, + "گ": 29461, + "意": 29462, + "כ": 29463, + "经": 29464, + "성": 29465, + "看": 29466, + "פ": 29467, + "址": 29468, + "ס": 29469, + "드": 29470, + "交": 29471, + "¼": 29472, + "Џ": 29473, + "完": 29474, + "Δ": 29475, + "义": 29476, + "보": 29477, + "向": 29478, + "换": 29479, + "山": 29480, + "算": 29481, + "二": 29482, + "پ": 29483, + "⁄": 29484, + "判": 29485, + "级": 29486, + "工": 29487, + "ด": 29488, + "⠀": 29489, + "家": 29490, + "レ": 29491, + "三": 29492, + "原": 29493, + "】": 29494, + "长": 29495, + "া": 29496, + "管": 29497, + "ѝ": 29498, + "क": 29499, + "学": 29500, + "ロ": 29501, + "验": 29502, + "写": 29503, + "Œ": 29504, + "从": 29505, + "【": 29506, + "收": 29507, + "ả": 29508, + "未": 29509, + "登": 29510, + "고": 29511, + "源": 29512, + "每": 29513, + "µ": 29514, + "误": 29515, + "り": 29516, + "요": 29517, + "按": 29518, + "ว": 29519, + "权": 29520, + "根": 29521, + "プ": 29522, + "串": 29523, + "ส": 29524, + "›": 29525, + "제": 29526, + "シ": 29527, + "Ş": 29528, + "确": 29529, + "好": 29530, + "统": 29531, + "效": 29532, + "网": 29533, + "\u0001": 29534, + "物": 29535, + "아": 29536, + "也": 29537, + "은": 29538, + "ệ": 29539, + "न": 29540, + "项": 29541, + "资": 29542, + "こ": 29543, + "引": 29544, + "ジ": 29545, + "ค": 29546, + "版": 29547, + "ท": 29548, + "平": 29549, + "们": 29550, + "与": 29551, + "き": 29552, + "移": 29553, + "ि": 29554, + "素": 29555, + "执": 29556, + "주": 29557, + "‐": 29558, + "Ґ": 29559, + "ี": 29560, + "板": 29561, + "问": 29562, + "Ε": 29563, + "安": 29564, + "면": 29565, + "소": 29566, + "ต": 29567, + "ิ": 29568, + "持": 29569, + "습": 29570, + "Σ": 29571, + "ら": 29572, + "コ": 29573, + "心": 29574, + "Π": 29575, + "打": 29576, + "」": 29577, + "상": 29578, + "「": 29579, + "检": 29580, + "库": 29581, + "÷": 29582, + "으": 29583, + "测": 29584, + "ん": 29585, + "े": 29586, + "ُ": 29587, + "力": 29588, + "直": 29589, + "由": 29590, + "ى": 29591, + "试": 29592, + "必": 29593, + "端": 29594, + "ʻ": 29595, + "先": 29596, + "↑": 29597, + "命": 29598, + "도": 29599, + "전": 29600, + "ห": 29601, + "员": 29602, + "ɪ": 29603, + "있": 29604, + "比": 29605, + "ṣ": 29606, + "時": 29607, + "择": 29608, + "ذ": 29609, + "テ": 29610, + "‌": 29611, + "构": 29612, + "备": 29613, + "그": 29614, + "链": 29615, + "说": 29616, + "ლ": 29617, + "ן": 29618, + "签": 29619, + "う": 29620, + "غ": 29621, + "ế": 29622, + "ض": 29623, + "ḥ": 29624, + "启": 29625, + "력": 29626, + "ო": 29627, + "付": 29628, + "მ": 29629, + "索": 29630, + "特": 29631, + "ג": 29632, + "西": 29633, + "대": 29634, + "├": 29635, + "–": 29636, + "Ž": 29637, + "外": 29638, + "צ": 29639, + "头": 29640, + "连": 29641, + "流": 29642, + "◄": 29643, + "デ": 29644, + "カ": 29645, + "র": 29646, + "오": 29647, + "找": 29648, + "清": 29649, + "🤣": 29650, + "去": 29651, + "₹": 29652, + "경": 29653, + "グ": 29654, + "ْ": 29655, + "¢": 29656, + "因": 29657, + "": 29658, + "Κ": 29659, + "增": 29660, + "知": 29661, + "¶": 29662, + "像": 29663, + "♥": 29664, + "터": 29665, + "く": 29666, + "ậ": 29667, + "メ": 29668, + "Æ": 29669, + "省": 29670, + "स": 29671, + "म": 29672, + "❤": 29673, + "あ": 29674, + "样": 29675, + "起": 29676, + "台": 29677, + "读": 29678, + "角": 29679, + "南": 29680, + "整": 29681, + "订": 29682, + "\f": 29683, + "ט": 29684, + "マ": 29685, + "্": 29686, + "우": 29687, + "ն": 29688, + "您": 29689, + "ئ": 29690, + "基": 29691, + "水": 29692, + "생": 29693, + "‑": 29694, + "나": 29695, + "画": 29696, + "描": 29697, + "击": 29698, + "っ": 29699, + "라": 29700, + "ნ": 29701, + "ր": 29702, + "业": 29703, + "ბ": 29704, + "别": 29705, + "♦": 29706, + "ィ": 29707, + "त": 29708, + "给": 29709, + "문": 29710, + "形": 29711, + "控": 29712, + "然": 29713, + "동": 29714, + "Њ": 29715, + "⁠": 29716, + "东": 29717, + "ป": 29718, + "州": 29719, + "排": 29720, + "세": 29721, + "装": 29722, + "할": 29723, + "Ć": 29724, + "∞": 29725, + "海": 29726, + "城": 29727, + "键": 29728, + "径": 29729, + "호": 29730, + "화": 29731, + "្": 29732, + "料": 29733, + "ơ": 29734, + "ी": 29735, + "ウ": 29736, + "具": 29737, + "ブ": 29738, + "块": 29739, + "再": 29740, + "ố": 29741, + "电": 29742, + ";": 29743, + "위": 29744, + "两": 29745, + "而": 29746, + "장": 29747, + "آ": 29748, + "Ț": 29749, + "バ": 29750, + "还": 29751, + "令": 29752, + "キ": 29753, + "ّ": 29754, + "값": 29755, + "번": 29756, + "만": 29757, + "总": 29758, + "ल": 29759, + "▲": 29760, + "异": 29761, + "光": 29762, + "客": 29763, + "非": 29764, + "ị": 29765, + "": 29766, + "þ": 29767, + "設": 29768, + "述": 29769, + "합": 29770, + "?": 29771, + "✔": 29772, + "导": 29773, + "ṇ": 29774, + "부": 29775, + "˙": 29776, + "Τ": 29777, + "も": 29778, + "구": 29779, + "镇": 29780, + "작": 29781, + "░": 29782, + "步": 29783, + "ộ": 29784, + "活": 29785, + "พ": 29786, + "←": 29787, + "ǎ": 29788, + "จ": 29789, + "束": 29790, + "ـ": 29791, + "‘": 29792, + "那": 29793, + "प": 29794, + "エ": 29795, + "志": 29796, + "么": 29797, + "运": 29798, + "北": 29799, + "超": 29800, + "་": 29801, + "布": 29802, + "ώ": 29803, + "͡": 29804, + "少": 29805, + "파": 29806, + "ʃ": 29807, + "ム": 29808, + "•": 29809, + "卡": 29810, + "ন": 29811, + "Μ": 29812, + "ɑ": 29813, + "😉": 29814, + "辑": 29815, + "원": 29816, + "美": 29817, + "产": 29818, + "利": 29819, + "모": 29820, + "联": 29821, + "界": 29822, + "체": 29823, + "种": 29824, + "王": 29825, + "ľ": 29826, + "여": 29827, + "메": 29828, + "域": 29829, + "ვ": 29830, + "立": 29831, + "록": 29832, + "게": 29833, + "إ": 29834, + "ṭ": 29835, + "神": 29836, + "ո": 29837, + "音": 29838, + "☆": 29839, + "Ñ": 29840, + "조": 29841, + "動": 29842, + "缓": 29843, + "과": 29844, + "报": 29845, + "ʼ": 29846, + "ា": 29847, + "되": 29848, + "ե": 29849, + "视": 29850, + "ช": 29851, + "详": 29852, + "แ": 29853, + "¦": 29854, + "把": 29855, + "க": 29856, + "ি": 29857, + "출": 29858, + "비": 29859, + "边": 29860, + "框": 29861, + "व": 29862, + "サ": 29863, + "Ι": 29864, + "Ο": 29865, + "オ": 29866, + "¾": 29867, + "历": 29868, + "ŏ": 29869, + "门": 29870, + "ข": 29871, + "含": 29872, + "¬": 29873, + "周": 29874, + "填": 29875, + "待": 29876, + "ะ": 29877, + "დ": 29878, + "Ї": 29879, + "额": 29880, + "음": 29881, + "四": 29882, + "だ": 29883, + "회": 29884, + "止": 29885, + "率": 29886, + "环": 29887, + "パ": 29888, + "래": 29889, + "闭": 29890, + "̀": 29891, + "语": 29892, + "개": 29893, + "身": 29894, + "藏": 29895, + "य": 29896, + "된": 29897, + "即": 29898, + "拉": 29899, + "선": 29900, + "변": 29901, + "≥": 29902, + "ุ": 29903, + "些": 29904, + "🤷": 29905, + "せ": 29906, + "左": 29907, + "ợ": 29908, + "右": 29909, + "ể": 29910, + "내": 29911, + "ּ": 29912, + "ז": 29913, + "ে": 29914, + "告": 29915, + "ấ": 29916, + "白": 29917, + "账": 29918, + "费": 29919, + "江": 29920, + "み": 29921, + "‹": 29922, + "์": 29923, + "‡": 29924, + "造": 29925, + "但": 29926, + "十": 29927, + "它": 29928, + "ं": 29929, + "ŋ": 29930, + "ў": 29931, + "セ": 29932, + "女": 29933, + "⣿": 29934, + "ի": 29935, + "京": 29936, + "触": 29937, + "함": 29938, + "들": 29939, + "Ā": 29940, + "˜": 29941, + "石": 29942, + "よ": 29943, + "田": 29944, + "易": 29945, + "规": 29946, + "展": 29947, + "¯": 29948, + "做": 29949, + "星": 29950, + "უ": 29951, + "✓": 29952, + "თ": 29953, + "供": 29954, + "명": 29955, + "ξ": 29956, + "己": 29957, + "且": 29958, + "插": 29959, + "景": 29960, + "切": 29961, + "ไ": 29962, + "없": 29963, + "ョ": 29964, + "及": 29965, + "Ν": 29966, + "미": 29967, + "ث": 29968, + "데": 29969, + "价": 29970, + "乡": 29971, + "ह": 29972, + "チ": 29973, + "真": 29974, + "太": 29975, + "ู": 29976, + "ダ": 29977, + "局": 29978, + "♂": 29979, + "退": 29980, + "ு": 29981, + "ক": 29982, + "ி": 29983, + "何": 29984, + "😭": 29985, + "¥": 29986, + "": 29987, + "≈": 29988, + "司": 29989, + "层": 29990, + "실": 29991, + "站": 29992, + "首": 29993, + "款": 29994, + "រ": 29995, + "間": 29996, + "ָ": 29997, + "저": 29998, + "监": 29999, + "ァ": 30000, + "册": 30001, + "案": 30002, + "ो": 30003, + "反": 30004, + "听": 30005, + "族": 30006, + "析": 30007, + "ื": 30008, + "秒": 30009, + "공": 30010, + "œ": 30011, + "🚀": 30012, + "거": 30013, + "재": 30014, + "‚": 30015, + "場": 30016, + "广": 30017, + "播": 30018, + "║": 30019, + "⋅": 30020, + "技": 30021, + "贴": 30022, + "想": 30023, + "ʁ": 30024, + "ớ": 30025, + "ャ": 30026, + "중": 30027, + "》": 30028, + "速": 30029, + "频": 30030, + "队": 30031, + "ำ": 30032, + "け": 30033, + "ु": 30034, + "≤": 30035, + "↓": 30036, + "须": 30037, + "菜": 30038, + "̃": 30039, + "剪": 30040, + "버": 30041, + "ェ": 30042, + "Λ": 30043, + "细": 30044, + "選": 30045, + "द": 30046, + "¹": 30047, + "许": 30048, + "ầ": 30049, + "世": 30050, + "ュ": 30051, + "ء": 30052, + "‡": 30053, + "候": 30054, + "共": 30055, + "크": 30056, + "ธ": 30057, + "설": 30058, + "快": 30059, + "友": 30060, + "ְ": 30061, + "车": 30062, + "推": 30063, + "花": 30064, + "言": 30065, + "چ": 30066, + "至": 30067, + "開": 30068, + "校": 30069, + "個": 30070, + "村": 30071, + "つ": 30072, + "▌": 30073, + "ப": 30074, + "결": 30075, + "ņ": 30076, + "优": 30077, + "ន": 30078, + "达": 30079, + "核": 30080, + "ナ": 30081, + "场": 30082, + "影": 30083, + "🏻": 30084, + "钮": 30085, + "ظ": 30086, + "Þ": 30087, + "▼": 30088, + "お": 30089, + "份": 30090, + "微": 30091, + "ờ": 30092, + "识": 30093, + "행": 30094, + "《": 30095, + "ใ": 30096, + "ọ": 30097, + "预": 30098, + "ব": 30099, + "த": 30100, + "": 30101, + "ų": 30102, + "마": 30103, + "않": 30104, + "ɡ": 30105, + "계": 30106, + "연": 30107, + "五": 30108, + "Ź": 30109, + "め": 30110, + "很": 30111, + "간": 30112, + "無": 30113, + "ប": 30114, + "社": 30115, + "Ê": 30116, + "书": 30117, + "顶": 30118, + "ტ": 30119, + "才": 30120, + "云": 30121, + "└": 30122, + "ζ": 30123, + "،": 30124, + "搜": 30125, + "신": 30126, + "유": 30127, + "‏": 30128, + "✅": 30129, + "⭐": 30130, + "照": 30131, + "短": 30132, + "川": 30133, + "後": 30134, + "范": 30135, + "民": 30136, + "治": 30137, + "章": 30138, + "ề": 30139, + "바": 30140, + "ә": 30141, + "⚭": 30142, + "河": 30143, + "论": 30144, + "え": 30145, + "Ω": 30146, + "√": 30147, + "Ă": 30148, + "Γ": 30149, + "坐": 30150, + "적": 30151, + "停": 30152, + "추": 30153, + "受": 30154, + "♀": 30155, + "ʾ": 30156, + "树": 30157, + "林": 30158, + "치": 30159, + "fi": 30160, + "▒": 30161, + "张": 30162, + "着": 30163, + "访": 30164, + "考": 30165, + "教": 30166, + "ग": 30167, + "准": 30168, + "印": 30169, + "精": 30170, + "窗": 30171, + "宝": 30172, + "ち": 30173, + "围": 30174, + "ַ": 30175, + "致": 30176, + "モ": 30177, + "때": 30178, + "随": 30179, + "储": 30180, + "况": 30181, + "邮": 30182, + "武": 30183, + "⛔": 30184, + "维": 30185, + "ү": 30186, + "跳": 30187, + "ब": 30188, + "投": 30189, + "ủ": 30190, + "표": 30191, + "반": 30192, + "英": 30193, + "ʰ": 30194, + "👍": 30195, + "ज": 30196, + "带": 30197, + "為": 30198, + "续": 30199, + "ɨ": 30200, + "처": 30201, + "₂": 30202, + "클": 30203, + "群": 30204, + "현": 30205, + "风": 30206, + "购": 30207, + "ក": 30208, + "老": 30209, + "留": 30210, + "球": 30211, + "프": 30212, + "▄": 30213, + "史": 30214, + "Љ": 30215, + "⟩": 30216, + "분": 30217, + "გ": 30218, + "店": 30219, + "审": 30220, + "료": 30221, + "목": 30222, + "略": 30223, + "관": 30224, + "ִ": 30225, + "科": 30226, + "货": 30227, + "ம": 30228, + "络": 30229, + "阳": 30230, + "Ḥ": 30231, + "資": 30232, + "若": 30233, + "স": 30234, + "ہ": 30235, + "宽": 30236, + "见": 30237, + "ズ": 30238, + "游": 30239, + "방": 30240, + "ồ": 30241, + "ɾ": 30242, + "열": 30243, + "러": 30244, + "ך": 30245, + "\u001b": 30246, + "်": 30247, + "余": 30248, + "响": 30249, + "缩": 30250, + "ட": 30251, + "评": 30252, + "允": 30253, + "离": 30254, + "🤔": 30255, + "Ё": 30256, + "ʊ": 30257, + "黑": 30258, + "马": 30259, + "⟨": 30260, + "値": 30261, + "箱": 30262, + "야": 30263, + "ម": 30264, + "Ő": 30265, + "感": 30266, + "ツ": 30267, + "ụ": 30268, + "ポ": 30269, + "확": 30270, + "声": 30271, + "战": 30272, + "ѕ": 30273, + "変": 30274, + "와": 30275, + "父": 30276, + "ベ": 30277, + "助": 30278, + "업": 30279, + "ʲ": 30280, + "ÿ": 30281, + "充": 30282, + "强": 30283, + "博": 30284, + "ミ": 30285, + "销": 30286, + "당": 30287, + "記": 30288, + "什": 30289, + "匹": 30290, + "ւ": 30291, + "そ": 30292, + "코": 30293, + "ল": 30294, + "ŭ": 30295, + "午": 30296, + "ニ": 30297, + "\u0012": 30298, + "ʒ": 30299, + "შ": 30300, + "某": 30301, + "ォ": 30302, + "足": 30303, + "타": 30304, + "Ð": 30305, + "ხ": 30306, + "름": 30307, + "木": 30308, + "楼": 30309, + "최": 30310, + "红": 30311, + "¨": 30312, + "古": 30313, + "\u0006": 30314, + "단": 30315, + "今": 30316, + "ʔ": 30317, + "ट": 30318, + "ম": 30319, + "斯": 30320, + "語": 30321, + "Ÿ": 30322, + "🙄": 30323, + "牌": 30324, + "안": 30325, + "ស": 30326, + "颜": 30327, + "~": 30328, + "克": 30329, + "深": 30330, + "금": 30331, + "會": 30332, + "尔": 30333, + "释": 30334, + "批": 30335, + "산": 30336, + "野": 30337, + "防": 30338, + "Η": 30339, + "ө": 30340, + "ψ": 30341, + "ボ": 30342, + "š": 30343, + "各": 30344, + "진": 30345, + "追": 30346, + "句": 30347, + "警": 30348, + "Φ": 30349, + "ѣ": 30350, + "ḍ": 30351, + "词": 30352, + "男": 30353, + "글": 30354, + "식": 30355, + "隐": 30356, + "복": 30357, + "盘": 30358, + "Ì": 30359, + "申": 30360, + "议": 30361, + "ザ": 30362, + "近": 30363, + "능": 30364, + "য": 30365, + "東": 30366, + "這": 30367, + "ர": 30368, + "距": 30369, + "院": 30370, + "德": 30371, + "ǐ": 30372, + "针": 30373, + "▀": 30374, + "↔": 30375, + "房": 30376, + "青": 30377, + "政": 30378, + "😅": 30379, + "递": 30380, + "প": 30381, + "波": 30382, + "ソ": 30383, + "绑": 30384, + "ビ": 30385, + "ễ": 30386, + "포": 30387, + "\u0010": 30388, + "ử": 30389, + "등": 30390, + "환": 30391, + "士": 30392, + "ত": 30393, + "Θ": 30394, + "초": 30395, + "境": 30396, + "差": 30397, + "采": 30398, + "디": 30399, + "ĩ": 30400, + "升": 30401, + "背": 30402, + "배": 30403, + "龙": 30404, + "街": 30405, + "್": 30406, + "ṛ": 30407, + "ু": 30408, + "弹": 30409, + "魔": 30410, + "객": 30411, + "‰": 30412, + "⌁": 30413, + "ἐ": 30414, + "禁": 30415, + "ผ": 30416, + "қ": 30417, + "島": 30418, + "ா": 30419, + "♭": 30420, + "百": 30421, + "ứ": 30422, + "ネ": 30423, + "专": 30424, + "來": 30425, + "刷": 30426, + "필": 30427, + "յ": 30428, + "ắ": 30429, + "华": 30430, + "Β": 30431, + "श": 30432, + "¸": 30433, + "屏": 30434, + "死": 30435, + "遍": 30436, + "검": 30437, + "Χ": 30438, + "것": 30439, + "八": 30440, + "览": 30441, + "택": 30442, + "唯": 30443, + "∙": 30444, + "¤": 30445, + "페": 30446, + "让": 30447, + "锁": 30448, + "무": 30449, + "思": 30450, + "隔": 30451, + "Ô": 30452, + "\u0013": 30453, + "ṃ": 30454, + "ワ": 30455, + "低": 30456, + "션": 30457, + "半": 30458, + "较": 30459, + "ត": 30460, + "享": 30461, + "积": 30462, + "ˆ": 30463, + "😊": 30464, + "典": 30465, + "ǔ": 30466, + "六": 30467, + "便": 30468, + "ɐ": 30469, + "简": 30470, + "继": 30471, + "仅": 30472, + "尾": 30473, + "‹": 30474, + "வ": 30475, + "կ": 30476, + "ƒ": 30477, + "영": 30478, + "火": 30479, + "湖": 30480, + "書": 30481, + "발": 30482, + "ハ": 30483, + "循": 30484, + "术": 30485, + "結": 30486, + "ļ": 30487, + "乐": 30488, + "滤": 30489, + "종": 30490, + "ถ": 30491, + "ὶ": 30492, + "满": 30493, + "╝": 30494, + "わ": 30495, + "ど": 30496, + "็": 30497, + "형": 30498, + "國": 30499, + "ự": 30500, + "線": 30501, + "블": 30502, + "封": 30503, + "確": 30504, + "依": 30505, + "ս": 30506, + "永": 30507, + "색": 30508, + "歌": 30509, + "數": 30510, + "福": 30511, + "삭": 30512, + "実": 30513, + "레": 30514, + "ſ": 30515, + "千": 30516, + "\u000e": 30517, + "母": 30518, + "더": 30519, + "임": 30520, + "տ": 30521, + "ے": 30522, + "几": 30523, + "双": 30524, + "노": 30525, + "ณ": 30526, + "掉": 30527, + "Ρ": 30528, + "ἀ": 30529, + "標": 30530, + "長": 30531, + "档": 30532, + "태": 30533, + "ペ": 30534, + "본": 30535, + "Œ": 30536, + "底": 30537, + "终": 30538, + "請": 30539, + "კ": 30540, + "̯": 30541, + "예": 30542, + "▬": 30543, + "報": 30544, + "ピ": 30545, + "๏": 30546, + "暂": 30547, + "李": 30548, + "Υ": 30549, + "\u0005": 30550, + "\u0002": 30551, + "替": 30552, + "운": 30553, + "射": 30554, + "\u0018": 30555, + "매": 30556, + "\u0011": 30557, + "🏼": 30558, + "票": 30559, + "附": 30560, + "ノ": 30561, + "ũ": 30562, + "压": 30563, + "阿": 30564, + "Ò": 30565, + "테": 30566, + "∼": 30567, + "万": 30568, + "մ": 30569, + "후": 30570, + "普": 30571, + "截": 30572, + "속": 30573, + "括": 30574, + "😀": 30575, + "ை": 30576, + "▶": 30577, + "까": 30578, + "ট": 30579, + "曲": 30580, + "师": 30581, + "钱": 30582, + "栏": 30583, + "Ы": 30584, + "走": 30585, + "ữ": 30586, + "‬": 30587, + "归": 30588, + "점": 30589, + "🔥": 30590, + "었": 30591, + "連": 30592, + "私": 30593, + "청": 30594, + "刘": 30595, + "免": 30596, + "": 30597, + "奖": 30598, + "見": 30599, + "ֹ": 30600, + "☺": 30601, + "ケ": 30602, + "역": 30603, + "际": 30604, + "받": 30605, + "望": 30606, + "帝": 30607, + "减": 30608, + "두": 30609, + "领": 30610, + "„": 30611, + "钟": 30612, + "ガ": 30613, + "架": 30614, + "든": 30615, + "ல": 30616, + "松": 30617, + "□": 30618, + "越": 30619, + "答": 30620, + "ɕ": 30621, + "ῦ": 30622, + "染": 30623, + "": 30624, + "质": 30625, + "顺": 30626, + "气": 30627, + "╗": 30628, + "計": 30629, + "ქ": 30630, + "亮": 30631, + "🤦": 30632, + "̂": 30633, + "ٹ": 30634, + "座": 30635, + "ˌ": 30636, + "均": 30637, + "\u000b": 30638, + "官": 30639, + "适": 30640, + "护": 30641, + "久": 30642, + "春": 30643, + "曹": 30644, + "皇": 30645, + "脚": 30646, + "池": 30647, + "延": 30648, + "키": 30649, + "품": 30650, + "現": 30651, + "檔": 30652, + "ば": 30653, + "ⴰ": 30654, + "希": 30655, + "玩": 30656, + "固": 30657, + "黄": 30658, + "": 30659, + "☽": 30660, + "银": 30661, + "\u0003": 30662, + "┃": 30663, + "👏": 30664, + "불": 30665, + "攻": 30666, + "へ": 30667, + "决": 30668, + "⊙": 30669, + "宁": 30670, + "च": 30671, + "機": 30672, + "義": 30673, + "ɲ": 30674, + "\u0015": 30675, + "했": 30676, + "ẩ": 30677, + "愛": 30678, + "矩": 30679, + "패": 30680, + "ặ": 30681, + "郎": 30682, + "Ь": 30683, + "绘": 30684, + "负": 30685, + "ổ": 30686, + "ய": 30687, + "汉": 30688, + "編": 30689, + "ێ": 30690, + "്": 30691, + "じ": 30692, + "카": 30693, + "似": 30694, + "ں": 30695, + "や": 30696, + "認": 30697, + "\u000f": 30698, + "過": 30699, + "통": 30700, + "▪": 30701, + "约": 30702, + "香": 30703, + "买": 30704, + "住": 30705, + "╚": 30706, + "😁": 30707, + "扩": 30708, + "静": 30709, + "려": 30710, + "학": 30711, + "钥": 30712, + "증": 30713, + "ỉ": 30714, + "她": 30715, + "食": 30716, + "往": 30717, + "點": 30718, + "偏": 30719, + "康": 30720, + "\u0014": 30721, + "į": 30722, + "준": 30723, + "\u0004": 30724, + "ฟ": 30725, + "♣": 30726, + "戏": 30727, + "ʂ": 30728, + "井": 30729, + "军": 30730, + "爱": 30731, + "ٱ": 30732, + "七": 30733, + "차": 30734, + "币": 30735, + "♠": 30736, + "哈": 30737, + "阅": 30738, + "介": 30739, + "观": 30740, + "區": 30741, + "˜": 30742, + "ً": 30743, + "又": 30744, + "冲": 30745, + "朝": 30746, + "姓": 30747, + "课": 30748, + "龍": 30749, + "각": 30750, + "∈": 30751, + "米": 30752, + "ƒ": 30753, + "喜": 30754, + "夜": 30755, + "团": 30756, + "⇒": 30757, + "远": 30758, + "\u001a": 30759, + "ὐ": 30760, + "承": 30761, + "ಿ": 30762, + "室": 30763, + "ʀ": 30764, + "ង": 30765, + "अ": 30766, + "罗": 30767, + "🙏": 30768, + "软": 30769, + "🟡": 30770, + "건": 30771, + "؟": 30772, + "း": 30773, + "ᴇ": 30774, + "ユ": 30775, + "토": 30776, + "策": 30777, + "̄": 30778, + "국": 30779, + "ֶ": 30780, + "协": 30781, + "营": 30782, + "関": 30783, + "吉": 30784, + "💀": 30785, + "奇": 30786, + "滚": 30787, + "轴": 30788, + "処": 30789, + "土": 30790, + "划": 30791, + "ड": 30792, + "临": 30793, + "ֵ": 30794, + "航": 30795, + "浏": 30796, + "ゴ": 30797, + "別": 30798, + "寺": 30799, + "於": 30800, + "進": 30801, + "ὸ": 30802, + "風": 30803, + "ன": 30804, + "班": 30805, + "◼": 30806, + "九": 30807, + "̥": 30808, + "號": 30809, + "류": 30810, + "础": 30811, + "般": 30812, + "︙": 30813, + "̈": 30814, + "番": 30815, + "✨": 30816, + "😎": 30817, + "ো": 30818, + "😍": 30819, + "單": 30820, + "帧": 30821, + "授": 30822, + "赋": 30823, + "巴": 30824, + "占": 30825, + "假": 30826, + "ṅ": 30827, + "透": 30828, + "項": 30829, + "ħ": 30830, + "馬": 30831, + "🟢": 30832, + "Ľ": 30833, + "լ": 30834, + "券": 30835, + "같": 30836, + "類": 30837, + "對": 30838, + "월": 30839, + "激": 30840, + "\u0017": 30841, + "戦": 30842, + "独": 30843, + "訊": 30844, + "ិ": 30845, + "套": 30846, + "ʷ": 30847, + "跟": 30848, + "ở": 30849, + "渲": 30850, + "顯": 30851, + "降": 30852, + "ာ": 30853, + "尼": 30854, + "血": 30855, + "언": 30856, + "牛": 30857, + "將": 30858, + "ศ": 30859, + "拍": 30860, + "刻": 30861, + "ზ": 30862, + "╔": 30863, + "藤": 30864, + "్": 30865, + "ῶ": 30866, + "🟠": 30867, + "良": 30868, + "김": 30869, + "দ": 30870, + "Ṣ": 30871, + "録": 30872, + "伊": 30873, + "落": 30874, + "雄": 30875, + "雪": 30876, + "映": 30877, + "著": 30878, + "른": 30879, + "ფ": 30880, + "対": 30881, + "智": 30882, + "译": 30883, + "┬": 30884, + "抽": 30885, + "ῖ": 30886, + "酒": 30887, + "Ћ": 30888, + "股": 30889, + "់": 30890, + "순": 30891, + "직": 30892, + "भ": 30893, + "谷": 30894, + "물": 30895, + "ǒ": 30896, + "⠄": 30897, + "热": 30898, + "終": 30899, + "夹": 30900, + "干": 30901, + "彩": 30902, + "敗": 30903, + "ќ": 30904, + "♯": 30905, + "̣": 30906, + "վ": 30907, + "轮": 30908, + "阵": 30909, + "夏": 30910, + "幕": 30911, + "吧": 30912, + "港": 30913, + "益": 30914, + "儿": 30915, + "액": 30916, + "售": 30917, + "兵": 30918, + "惠": 30919, + "欢": 30920, + "›": 30921, + "零": 30922, + "學": 30923, + "ž": 30924, + "員": 30925, + "ỗ": 30926, + "玉": 30927, + "逻": 30928, + "᥀": 30929, + "吗": 30930, + "沒": 30931, + "≠": 30932, + "너": 30933, + "ச": 30934, + "\u0016": 30935, + "夫": 30936, + "წ": 30937, + "堂": 30938, + "電": 30939, + "≡": 30940, + "陆": 30941, + "져": 30942, + "研": 30943, + "荐": 30944, + "健": 30945, + "碼": 30946, + "练": 30947, + "検": 30948, + "송": 30949, + "ै": 30950, + "哪": 30951, + "圆": 30952, + "Ա": 30953, + "↩": 30954, + "托": 30955, + "̪": 30956, + "ू": 30957, + "缀": 30958, + "네": 30959, + "沙": 30960, + "兴": 30961, + "病": 30962, + "\u0007": 30963, + "ល": 30964, + "ừ": 30965, + "Ἀ": 30966, + "강": 30967, + "항": 30968, + "\u0019": 30969, + "換": 30970, + "温": 30971, + "帖": 30972, + "ទ": 30973, + "込": 30974, + "削": 30975, + "알": 30976, + "征": 30977, + "习": 30978, + "법": 30979, + "栈": 30980, + "绝": 30981, + "": 30982, + "ڕ": 30983, + "圖": 30984, + "苏": 30985, + "発": 30986, + "ု": 30987, + "町": 30988, + "互": 30989, + "়": 30990, + "ც": 30991, + "守": 30992, + "새": 30993, + "侧": 30994, + "草": 30995, + "ས": 30996, + "扫": 30997, + "‒": 30998, + "恢": 30999, + "ң": 31000, + "ण": 31001, + "ற": 31002, + "째": 31003, + "්": 31004, + "拟": 31005, + "派": 31006, + "🏽": 31007, + "呼": 31008, + "Š": 31009, + "演": 31010, + "究": 31011, + "교": 31012, + "ɣ": 31013, + "ए": 31014, + "ី": 31015, + "ף": 31016, + "富": 31017, + "駅": 31018, + "ず": 31019, + "♪": 31020, + "😆": 31021, + "접": 31022, + "ғ": 31023, + "▓": 31024, + "존": 31025, + "ಾ": 31026, + "旋": 31027, + "ゃ": 31028, + "补": 31029, + "ץ": 31030, + "門": 31031, + "ច": 31032, + "날": 31033, + "ภ": 31034, + "ག": 31035, + "傳": 31036, + "∆": 31037, + "†": 31038, + "ׁ": 31039, + "缺": 31040, + "頭": 31041, + "怪": 31042, + "組": 31043, + "별": 31044, + "Ъ": 31045, + "發": 31046, + "雷": 31047, + "ರ": 31048, + "ซ": 31049, + "び": 31050, + "翻": 31051, + "ھ": 31052, + "პ": 31053, + "題": 31054, + "居": 31055, + "집": 31056, + "🌍": 31057, + "˚": 31058, + "避": 31059, + "줄": 31060, + "ុ": 31061, + "滑": 31062, + "故": 31063, + "ญ": 31064, + "〜": 31065, + "ನ": 31066, + "양": 31067, + "완": 31068, + "ள": 31069, + "倍": 31070, + "宗": 31071, + "択": 31072, + "브": 31073, + "ɴ": 31074, + "効": 31075, + "尺": 31076, + "視": 31077, + "ẽ": 31078, + "覆": 31079, + "ध": 31080, + "骨": 31081, + "달": 31082, + "ᴛ": 31083, + "蓝": 31084, + "關": 31085, + "額": 31086, + "Õ": 31087, + "∗": 31088, + "卷": 31089, + "갑": 31090, + "르": 31091, + "众": 31092, + "ᴀ": 31093, + "態": 31094, + "ٰ": 31095, + "暗": 31096, + "君": 31097, + "錯": 31098, + "ɒ": 31099, + "យ": 31100, + "ḫ": 31101, + "ῆ": 31102, + "亚": 31103, + "♡": 31104, + "割": 31105, + "鼠": 31106, + "̶": 31107, + "Ë": 31108, + "読": 31109, + "격": 31110, + "ゲ": 31111, + "眼": 31112, + "Ý": 31113, + "ژ": 31114, + "雨": 31115, + "宮": 31116, + "쪽": 31117, + "ष": 31118, + "複": 31119, + "剩": 31120, + "早": 31121, + "杂": 31122, + "焦": 31123, + "贝": 31124, + "突": 31125, + "워": 31126, + "另": 31127, + "摄": 31128, + "\b": 31129, + "‭": 31130, + "府": 31131, + "외": 31132, + "盖": 31133, + "\u001c": 31134, + "ษ": 31135, + "佛": 31136, + "概": 31137, + "與": 31138, + "經": 31139, + "-": 31140, + "һ": 31141, + "問": 31142, + "ು": 31143, + "ἰ": 31144, + "話": 31145, + "倒": 31146, + "葛": 31147, + "べ": 31148, + "ろ": 31149, + "\u001e": 31150, + "।": 31151, + "ေ": 31152, + "ᴏ": 31153, + "训": 31154, + "體": 31155, + "👌": 31156, + "內": 31157, + "က": 31158, + "企": 31159, + "약": 31160, + "찾": 31161, + "ོ": 31162, + "破": 31163, + "輸": 31164, + "림": 31165, + "塔": 31166, + "턴": 31167, + "杀": 31168, + "』": 31169, + "味": 31170, + "浮": 31171, + "┆": 31172, + "ġ": 31173, + "郡": 31174, + "┐": 31175, + "『": 31176, + "阶": 31177, + "雅": 31178, + "┈": 31179, + "园": 31180, + ".": 31181, + "吃": 31182, + "남": 31183, + " ": 31184, + "ར": 31185, + "帮": 31186, + "毛": 31187, + "耗": 31188, + "举": 31189, + "ర": 31190, + "拿": 31191, + "밀": 31192, + "ご": 31193, + "够": 31194, + "礼": 31195, + "ព": 31196, + "ね": 31197, + "‰": 31198, + "兰": 31199, + "❌": 31200, + "折": 31201, + "십": 31202, + "💎": 31203, + "業": 31204, + "诸": 31205, + "孙": 31206, + "བ": 31207, + "😳": 31208, + "種": 31209, + "Ï": 31210, + "ึ": 31211, + "⁣": 31212, + "医": 31213, + "拼": 31214, + "↵": 31215, + "⅓": 31216, + "\u001f": 31217, + "မ": 31218, + "叫": 31219, + "জ": 31220, + "予": 31221, + "寸": 31222, + "梅": 31223, + "醒": 31224, + "津": 31225, + "န": 31226, + "ి": 31227, + "厂": 31228, + "屋": 31229, + "ख": 31230, + "師": 31231, + "👀": 31232, + "ỏ": 31233, + "ヤ": 31234, + "ὰ": 31235, + "\u001d": 31236, + "◆": 31237, + "ដ": 31238, + "材": 31239, + "ホ": 31240, + "張": 31241, + "洞": 31242, + "餐": 31243, + "천": 31244, + "হ": 31245, + "達": 31246, + "們": 31247, + "斗": 31248, + "横": 31249, + "백": 31250, + "ំ": 31251, + "ۆ": 31252, + "말": 31253, + "গ": 31254, + "佳": 31255, + "랜": 31256, + "仁": 31257, + "陈": 31258, + "飞": 31259, + "极": 31260, + "": 31261, + "및": 31262, + "仓": 31263, + "⬛": 31264, + "昌": 31265, + "錢": 31266, + "殊": 31267, + "┴": 31268, + "○": 31269, + "길": 31270, + "泉": 31271, + "甲": 31272, + "활": 31273, + "ひ": 31274, + "শ": 31275, + "ን": 31276, + "Ť": 31277, + "ღ": 31278, + "皮": 31279, + "強": 31280, + "赛": 31281, + "ా": 31282, + "預": 31283, + "င": 31284, + "튼": 31285, + "플": 31286, + "ყ": 31287, + "⋆": 31288, + "ք": 31289, + "ા": 31290, + "尚": 31291, + "또": 31292, + "բ": 31293, + "┌": 31294, + "節": 31295, + "森": 31296, + "आ": 31297, + "办": 31298, + "園": 31299, + "牙": 31300, + "庆": 31301, + "隆": 31302, + "😔": 31303, + "叉": 31304, + "գ": 31305, + "피": 31306, + "ギ": 31307, + "啊": 31308, + "続": 31309, + "灵": 31310, + "ヒ": 31311, + "忽": 31312, + "ʌ": 31313, + "량": 31314, + "油": 31315, + "讯": 31316, + "ⵉ": 31317, + "릭": 31318, + "刚": 31319, + "氏": 31320, + "ိ": 31321, + "Ī": 31322, + "誤": 31323, + "齐": 31324, + "末": 31325, + "🙌": 31326, + "̞": 31327, + "圈": 31328, + "念": 31329, + "숫": 31330, + "毫": 31331, + "當": 31332, + "規": 31333, + "판": 31334, + "ు": 31335, + "旧": 31336, + "卖": 31337, + "ฉ": 31338, + "幸": 31339, + "署": 31340, + "근": 31341, + "ই": 31342, + "岛": 31343, + "դ": 31344, + "觉": 31345, + "害": 31346, + "毕": 31347, + "ฐ": 31348, + "威": 31349, + "育": 31350, + "呢": 31351, + "峰": 31352, + "职": 31353, + "陽": 31354, + "ි": 31355, + "亞": 31356, + "ұ": 31357, + "₃": 31358, + "따": 31359, + "施": 31360, + "泰": 31361, + "載": 31362, + "…": 31363, + "笑": 31364, + "華": 31365, + "迎": 31366, + "됩": 31367, + "豆": 31368, + "嘉": 31369, + "🤡": 31370, + "ĕ": 31371, + "庄": 31372, + "級": 31373, + "Ψ": 31374, + "ི": 31375, + "気": 31376, + "责": 31377, + "հ": 31378, + "អ": 31379, + "乱": 31380, + "休": 31381, + "約": 31382, + "ฆ": 31383, + "∑": 31384, + "察": 31385, + "온": 31386, + "😬": 31387, + "ড": 31388, + "乘": 31389, + "람": 31390, + "इ": 31391, + "Ά": 31392, + "ந": 31393, + "ើ": 31394, + "亲": 31395, + "េ": 31396, + "委": 31397, + "赤": 31398, + "됨": 31399, + "勝": 31400, + "怎": 31401, + "감": 31402, + "宋": 31403, + "調": 31404, + "짜": 31405, + "ী": 31406, + "难": 31407, + "못": 31408, + "티": 31409, + "備": 31410, + "塞": 31411, + "វ": 31412, + "险": 31413, + "旅": 31414, + "虚": 31415, + "↳": 31416, + "笔": 31417, + "馆": 31418, + "Қ": 31419, + "⚡": 31420, + "ೆ": 31421, + "※": 31422, + "唐": 31423, + "律": 31424, + "稍": 31425, + "散": 31426, + "ર": 31427, + "ヴ": 31428, + "副": 31429, + "尽": 31430, + "挂": 31431, + "県": 31432, + "⚠": 31433, + "洋": 31434, + "鬼": 31435, + "암": 31436, + "孩": 31437, + "℃": 31438, + "並": 31439, + "ց": 31440, + "ូ": 31441, + "ℓ": 31442, + "ⵏ": 31443, + "扣": 31444, + "铁": 31445, + "闻": 31446, + "ˆ": 31447, + "戳": 31448, + "む": 31449, + "秀": 31450, + "細": 31451, + "ပ": 31452, + "御": 31453, + "拖": 31454, + "좌": 31455, + "ؤ": 31456, + "绍": 31457, + "ỹ": 31458, + "참": 31459, + "향": 31460, + "Ď": 31461, + "끝": 31462, + "민": 31463, + "ძ": 31464, + "贵": 31465, + "纪": 31466, + "秋": 31467, + "ಕ": 31468, + "ӏ": 31469, + "網": 31470, + "铺": 31471, + "恋": 31472, + "fl": 31473, + "兼": 31474, + "羽": 31475, + "창": 31476, + "啟": 31477, + "弟": 31478, + "년": 31479, + "慢": 31480, + "효": 31481, + "許": 31482, + "硬": 31483, + "잘": 31484, + "템": 31485, + "્": 31486, + "න": 31487, + "術": 31488, + "ڈ": 31489, + "溪": 31490, + "": 31491, + "暴": 31492, + "混": 31493, + "夢": 31494, + "랑": 31495, + "আ": 31496, + "還": 31497, + "探": 31498, + "祖": 31499, + "织": 31500, + "軍": 31501, + "թ": 31502, + "務": 31503, + "艺": 31504, + "ད": 31505, + "ት": 31506, + "ṁ": 31507, + "應": 31508, + "擇": 31509, + "🥰": 31510, + "ķ": 31511, + "渡": 31512, + "葉": 31513, + "령": 31514, + "決": 31515, + "刀": 31516, + "從": 31517, + "變": 31518, + "올": 31519, + "💪": 31520, + "灣": 31521, + "ር": 31522, + "평": 31523, + "衣": 31524, + "😄": 31525, + "ി": 31526, + "ჩ": 31527, + "ὁ": 31528, + "ほ": 31529, + "Û": 31530, + "চ": 31531, + "ර": 31532, + "製": 31533, + "隊": 31534, + "₱": 31535, + "纳": 31536, + "赖": 31537, + "农": 31538, + "桥": 31539, + "ỳ": 31540, + "🏾": 31541, + "阻": 31542, + "ជ": 31543, + "秘": 31544, + "박": 31545, + "伤": 31546, + "稿": 31547, + "ం": 31548, + "拦": 31549, + "넣": 31550, + "💕": 31551, + "₁": 31552, + "宿": 31553, + "錄": 31554, + "镜": 31555, + "채": 31556, + "Ə": 31557, + "ང": 31558, + "⇔": 31559, + "☼": 31560, + "ུ": 31561, + "党": 31562, + "급": 31563, + "洲": 31564, + "ղ": 31565, + "說": 31566, + "ĭ": 31567, + "尝": 31568, + "담": 31569, + "फ": 31570, + "哥": 31571, + "圣": 31572, + "萨": 31573, + "😏": 31574, + "ʏ": 31575, + "ெ": 31576, + "丁": 31577, + "虎": 31578, + "권": 31579, + "善": 31580, + "岩": 31581, + "커": 31582, + "◦": 31583, + "抛": 31584, + "석": 31585, + "Έ": 31586, + "宣": 31587, + "拳": 31588, + "팅": 31589, + "枚": 31590, + "洛": 31591, + "証": 31592, + "陵": 31593, + "佐": 31594, + "館": 31595, + "누": 31596, + "돌": 31597, + "₄": 31598, + "稱": 31599, + "聊": 31600, + "車": 31601, + "루": 31602, + "״": 31603, + "ಠ": 31604, + "庫": 31605, + "མ": 31606, + "統": 31607, + "련": 31608, + "़": 31609, + "ṯ": 31610, + "ക": 31611, + "旗": 31612, + "励": 31613, + "紀": 31614, + "忠": 31615, + "າ": 31616, + "杨": 31617, + "丹": 31618, + "Ù": 31619, + "ฝ": 31620, + "却": 31621, + "舞": 31622, + "轉": 31623, + "တ": 31624, + "丽": 31625, + "借": 31626, + "ා": 31627, + "ょ": 31628, + "옵": 31629, + "편": 31630, + "蒙": 31631, + "衡": 31632, + "ʋ": 31633, + "叶": 31634, + "̇": 31635, + "⬜": 31636, + "🇺": 31637, + "Հ": 31638, + "谢": 31639, + "Ą": 31640, + "ே": 31641, + "ằ": 31642, + "既": 31643, + "济": 31644, + "≯": 31645, + "準": 31646, + "답": 31647, + "ಲ": 31648, + "残": 31649, + "虑": 31650, + "̆": 31651, + "┘": 31652, + "急": 31653, + "招": 31654, + "막": 31655, + "≮": 31656, + "產": 31657, + "Ṭ": 31658, + "😢": 31659, + "垂": 31660, + "親": 31661, + "ģ": 31662, + "־": 31663, + "猫": 31664, + "ʟ": 31665, + "☃": 31666, + "✪": 31667, + "刪": 31668, + "胡": 31669, + "☉": 31670, + "晚": 31671, + "군": 31672, + "승": 31673, + "న": 31674, + "ὴ": 31675, + "曾": 31676, + "論": 31677, + "ɯ": 31678, + "త": 31679, + "戰": 31680, + "鱼": 31681, + "ǧ": 31682, + "寶": 31683, + "특": 31684, + "💯": 31685, + "崎": 31686, + "甘": 31687, + "該": 31688, + "링": 31689, + "😡": 31690, + "उ": 31691, + "ែ": 31692, + "頁": 31693, + "큰": 31694, + "➤": 31695, + "총": 31696, + "💰": 31697, + "∂": 31698, + "毁": 31699, + "聖": 31700, + "麻": 31701, + "ʐ": 31702, + "敏": 31703, + "運": 31704, + "될": 31705, + "쓰": 31706, + "ಸ": 31707, + "စ": 31708, + "✦": 31709, + "젝": 31710, + "復": 31711, + "寻": 31712, + "茶": 31713, + "ਾ": 31714, + "竹": 31715, + "遇": 31716, + "順": 31717, + "며": 31718, + "累": 31719, + "ĝ": 31720, + "ˇ": 31721, + "覧": 31722, + "এ": 31723, + "株": 31724, + "취": 31725, + "ስ": 31726, + "争": 31727, + "势": 31728, + "宇": 31729, + "橋": 31730, + "Ӏ": 31731, + "堆": 31732, + "ⵙ": 31733, + "丶": 31734, + "棋": 31735, + "肉": 31736, + "የ": 31737, + "": 31738, + "❶": 31739, + "季": 31740, + "ል": 31741, + "殿": 31742, + "優": 31743, + "試": 31744, + "첫": 31745, + "Ό": 31746, + "戶": 31747, + "ண": 31748, + "羅": 31749, + "桃": 31750, + "립": 31751, + "浪": 31752, + "脑": 31753, + "😛": 31754, + "弃": 31755, + "炮": 31756, + "轻": 31757, + "울": 31758, + "": 31759, + "ヘ": 31760, + "奥": 31761, + "💜": 31762, + "忘": 31763, + "遠": 31764, + "飛": 31765, + "魏": 31766, + "Ē": 31767, + "汇": 31768, + "央": 31769, + "逆": 31770, + "露": 31771, + "須": 31772, + "ѐ": 31773, + "ḷ": 31774, + "ದ": 31775, + "✭": 31776, + "寄": 31777, + "盟": 31778, + "财": 31779, + "際": 31780, + "ἔ": 31781, + "ǫ": 31782, + "थ": 31783, + "ാ": 31784, + "宫": 31785, + "巨": 31786, + "途": 31787, + "ʹ": 31788, + "ಗ": 31789, + "帐": 31790, + "‪": 31791, + "拒": 31792, + "药": 31793, + "🙃": 31794, + "ŕ": 31795, + "亡": 31796, + "壁": 31797, + "ም": 31798, + "參": 31799, + "😩": 31800, + "շ": 31801, + "ವ": 31802, + "ណ": 31803, + "丰": 31804, + "獲": 31805, + "莉": 31806, + "좋": 31807, + "ရ": 31808, + "₦": 31809, + "겠": 31810, + "👉": 31811, + "吴": 31812, + "岡": 31813, + "诉": 31814, + "읽": 31815, + "🥺": 31816, + "爆": 31817, + "🇸": 31818, + "ভ": 31819, + "迭": 31820, + "엔": 31821, + "ἄ": 31822, + "捷": 31823, + "納": 31824, + "邀": 31825, + "ಯ": 31826, + "爾": 31827, + "船": 31828, + "赞": 31829, + "胜": 31830, + "므": 31831, + "သ": 31832, + "構": 31833, + "磁": 31834, + "冰": 31835, + "딩": 31836, + "ે": 31837, + "媒": 31838, + "繁": 31839, + "☠": 31840, + "❒": 31841, + "仪": 31842, + "렬": 31843, + "昭": 31844, + "珠": 31845, + "離": 31846, + "ན": 31847, + "ల": 31848, + "ತ": 31849, + "拷": 31850, + "粉": 31851, + "벤": 31852, + "⇽": 31853, + "乌": 31854, + "拥": 31855, + "ҳ": 31856, + "ය": 31857, + "ེ": 31858, + "仙": 31859, + "塊": 31860, + "幅": 31861, + "🎉": 31862, + "Մ": 31863, + "跨": 31864, + "ٔ": 31865, + "恩": 31866, + "损": 31867, + "养": 31868, + "奈": 31869, + "ǀ": 31870, + "严": 31871, + "卫": 31872, + "迟": 31873, + "様": 31874, + "裡": 31875, + "난": 31876, + "았": 31877, + "͜": 31878, + "Ζ": 31879, + "ਰ": 31880, + "պ": 31881, + "ং": 31882, + "丢": 31883, + "伝": 31884, + "컨": 31885, + "ව": 31886, + "ြ": 31887, + "冷": 31888, + "遗": 31889, + "銀": 31890, + "̌": 31891, + "ᴜ": 31892, + "瑞": 31893, + "ฌ": 31894, + "❍": 31895, + "ふ": 31896, + "聚": 31897, + "碎": 31898, + "衛": 31899, + "অ": 31900, + "ញ": 31901, + "퍼": 31902, + "Ս": 31903, + "ນ": 31904, + "ẓ": 31905, + "✌": 31906, + "孝": 31907, + "陳": 31908, + "히": 31909, + "ක": 31910, + "黒": 31911, + "💖": 31912, + "ḩ": 31913, + "応": 31914, + "饰": 31915, + "∪": 31916, + "宜": 31917, + "樂": 31918, + "則": 31919, + "勇": 31920, + "徐": 31921, + "ⵓ": 31922, + "權": 31923, + "鲁": 31924, + "‟": 31925, + "庭": 31926, + "苗": 31927, + "🔴": 31928, + "闲": 31929, + "독": 31930, + "ɹ": 31931, + "ҽ": 31932, + "ថ": 31933, + "宏": 31934, + "尊": 31935, + "總": 31936, + "裝": 31937, + "ම": 31938, + "▸": 31939, + "測": 31940, + "ಮ": 31941, + "አ": 31942, + "轩": 31943, + "兄": 31944, + "剑": 31945, + "ન": 31946, + "朱": 31947, + "ǝ": 31948, + "Ḩ": 31949, + "担": 31950, + "灰": 31951, + "讲": 31952, + "롤": 31953, + "︎": 31954, + "😤": 31955, + "ោ": 31956, + "애": 31957, + "였": 31958, + "질": 31959, + "振": 31960, + "灯": 31961, + "ĉ": 31962, + "ස": 31963, + "閉": 31964, + "램": 31965, + "ಂ": 31966, + "げ": 31967, + "̧": 31968, + "狂": 31969, + "融": 31970, + "仍": 31971, + "實": 31972, + "楽": 31973, + "範": 31974, + "ٌ": 31975, + "వ": 31976, + "嵌": 31977, + "摩": 31978, + "袁": 31979, + "ষ": 31980, + "乎": 31981, + "규": 31982, + "岗": 31983, + "糊": 31984, + "క": 31985, + "雲": 31986, + "심": 31987, + "ई": 31988, + "འ": 31989, + "ἡ": 31990, + "丝": 31991, + "Ħ": 31992, + "ٍ": 31993, + "ٓ": 31994, + "အ": 31995, + "執": 31996, + "벨": 31997, + "ゼ": 31998, + "梦": 31999, + "вле": 32000, + "ак": 32001, + "▁мы": 32002, + "ек": 32003, + "дет": 32004, + "жет": 32005, + "вто": 32006, + "шь": 32007, + "▁уже": 32008, + "▁жиз": 32009, + "▁ее": 32010, + "нных": 32011, + "бя": 32012, + "▁может": 32013, + "▁еще": 32014, + "▁если": 32015, + "▁предста": 32016, + "▁Это": 32017, + "вори": 32018, + "кую": 32019, + "▁мне": 32020, + "▁быть": 32021, + "енно": 32022, + "еня": 32023, + "▁ты": 32024, + "нные": 32025, + "▁можно": 32026, + "▁есть": 32027, + "тически": 32028, + "тому": 32029, + "чень": 32030, + "кие": 32031, + "вления": 32032, + "▁ак": 32033, + "▁меня": 32034, + "▁будет": 32035, + "вает": 32036, + "нако": 32037, + "▁свое": 32038, + "▁чу": 32039, + "можно": 32040, + "вно": 32041, + "▁дела": 32042, + "▁даже": 32043, + "▁которо": 32044, + "▁очень": 32045, + "▁ну": 32046, + "ез": 32047, + "▁поз": 32048, + "▁себя": 32049, + "чь": 32050, + "▁ему": 32051, + "▁сказа": 32052, + "▁прои": 32053, + "▁действи": 32054, + "нк": 32055, + "нный": 32056, + "▁каж": 32057, + "▁эк": 32058, + "менно": 32059, + "рта": 32060, + "бой": 32061, + "торы": 32062, + "▁говори": 32063, + "▁суще": 32064, + "▁цен": 32065, + "льной": 32066, + "▁опреде": 32067, + "▁следу": 32068, + "▁всех": 32069, + "бле": 32070, + "▁уста": 32071, + "▁инте": 32072, + "▁нас": 32073, + "СС": 32074, + "кое": 32075, + "▁друго": 32076, + "йте": 32077, + "▁всего": 32078, + "ностью": 32079, + "▁буду": 32080, + "▁Од": 32081, + "▁сдела": 32082, + "▁жизни": 32083, + "чных": 32084, + "доб": 32085, + "▁стро": 32086, + "▁Если": 32087, + "▁вопро": 32088, + "▁этой": 32089, + "нера": 32090, + "вание": 32091, + "▁больше": 32092, + "▁вз": 32093, + "▁возможно": 32094, + "▁могу": 32095, + "вление": 32096, + "▁день": 32097, + "▁этот": 32098, + "▁соб": 32099, + "▁уда": 32100, + "▁фу": 32101, + "▁сооб": 32102, + "стей": 32103, + "▁просто": 32104, + "▁Как": 32105, + "ваться": 32106, + "ственно": 32107, + "▁своей": 32108, + "держа": 32109, + "▁несколько": 32110, + "лез": 32111, + "обходи": 32112, + "▁наз": 32113, + "▁неко": 32114, + "▁поч": 32115, + "кая": 32116, + "▁вс": 32117, + "▁нет": 32118, + "▁счита": 32119, + "вается": 32120, + "▁самы": 32121, + "казыва": 32122, + "▁себе": 32123, + "▁совер": 32124, + "нти": 32125, + "▁кто": 32126, + "▁необходи": 32127, + "рук": 32128, + "десь": 32129, + "льных": 32130, + "зации": 32131, + "▁мог": 32132, + "яс": 32133, + "▁упра": 32134, + "ети": 32135, + "дели": 32136, + "льный": 32137, + "шел": 32138, + "▁поэ": 32139, + "▁смо": 32140, + "▁чет": 32141, + "▁напра": 32142, + "грам": 32143, + "вить": 32144, + "▁Алек": 32145, + "▁слова": 32146, + "▁лишь": 32147, + "▁хоро": 32148, + "щая": 32149, + "▁вне": 32150, + "чет": 32151, + "▁встре": 32152, + "▁которая": 32153, + "влен": 32154, + "▁времени": 32155, + "▁вну": 32156, + "стя": 32157, + "▁человека": 32158, + "бира": 32159, + "йти": 32160, + "▁благо": 32161, + "чего": 32162, + "▁соот": 32163, + "вают": 32164, + "воз": 32165, + "чные": 32166, + "▁зада": 32167, + "личе": 32168, + "▁нем": 32169, + "ровать": 32170, + "нить": 32171, + "▁обы": 32172, + "▁способ": 32173, + "▁свою": 32174, + "▁каче": 32175, + "▁луч": 32176, + "пример": 32177, + "▁которой": 32178, + "▁людей": 32179, + "▁других": 32180, + "дой": 32181, + "▁продол": 32182, + "▁ры": 32183, + "▁стре": 32184, + "▁своих": 32185, + "▁позво": 32186, + "нт": 32187, + "▁значи": 32188, + "туры": 32189, + "▁эта": 32190, + "меча": 32191, + "руг": 32192, + "перь": 32193, + "слови": 32194, + "льные": 32195, + "пас": 32196, + "▁проис": 32197, + "▁поста": 32198, + "▁поня": 32199, + "▁матери": 32200, + "▁многи": 32201, + "▁свой": 32202, + "▁образом": 32203, + "вших": 32204, + "щения": 32205, + "▁Однако": 32206, + "▁вра": 32207, + "▁называ": 32208, + "ствует": 32209, + "▁там": 32210, + "▁виде": 32211, + "тру": 32212, + "▁Что": 32213, + "▁могут": 32214, + "ять": 32215, + "ключа": 32216, + "▁соответ": 32217, + "▁ху": 32218, + "вести": 32219, + "тельства": 32220, + "▁ответ": 32221, + "▁интере": 32222, + "чем": 32223, + "▁Для": 32224, + "▁нам": 32225, + "▁расска": 32226, + "ружи": 32227, + "нной": 32228, + "▁доста": 32229, + "▁этих": 32230, + "▁доро": 32231, + "▁оказа": 32232, + "▁нео": 32233, + "хва": 32234, + "▁пробле": 32235, + "нец": 32236, + "год": 32237, + "▁уве": 32238, + "▁ней": 32239, + "▁своего": 32240, + "кус": 32241, + "▁оче": 32242, + "щих": 32243, + "▁согла": 32244, + "▁случае": 32245, + "чный": 32246, + "вляет": 32247, + "▁двух": 32248, + "нет": 32249, + "▁чув": 32250, + "рения": 32251, + "▁иде": 32252, + "▁особ": 32253, + "ствие": 32254, + "тиво": 32255, + "нди": 32256, + "строй": 32257, + "ложи": 32258, + "зма": 32259, + "роме": 32260, + "▁выпол": 32261, + "▁разли": 32262, + "▁помощ": 32263, + "▁показа": 32264, + "▁Мы": 32265, + "▁глу": 32266, + "верх": 32267, + "▁некоторы": 32268, + "▁хотя": 32269, + "вую": 32270, + "▁всегда": 32271, + "нуть": 32272, + "▁тот": 32273, + "▁информа": 32274, + "▁вот": 32275, + "шие": 32276, + "час": 32277, + "▁потому": 32278, + "держи": 32279, + "тября": 32280, + "▁проек": 32281, + "ведения": 32282, + "▁тогда": 32283, + "сут": 32284, + "▁фак": 32285, + "▁выра": 32286, + "вшие": 32287, + "▁тя": 32288, + "▁жизнь": 32289, + "▁работы": 32290, + "виси": 32291, + "фф": 32292, + "ческая": 32293, + "стью": 32294, + "▁ог": 32295, + "▁которого": 32296, + "▁сам": 32297, + "ющей": 32298, + "▁здесь": 32299, + "виде": 32300, + "▁переда": 32301, + "скому": 32302, + "пита": 32303, + "мости": 32304, + "прия": 32305, + "ющего": 32306, + "зии": 32307, + "▁услови": 32308, + "что": 32309, + "шло": 32310, + "▁стать": 32311, + "▁програм": 32312, + "▁сла": 32313, + "▁пока": 32314, + "▁уров": 32315, + "стран": 32316, + "▁конце": 32317, + "боль": 32318, + "▁сра": 32319, + "волю": 32320, + "▁сме": 32321, + "щение": 32322, + "воря": 32323, + "вари": 32324, + "▁исследова": 32325, + "санд": 32326, + "clud": 32327, + "▁пор": 32328, + "▁женщи": 32329, + "▁вся": 32330, + "▁собой": 32331, + "ете": 32332, + "▁большо": 32333, + "▁защи": 32334, + "жении": 32335, + "▁дости": 32336, + "▁пря": 32337, + "цией": 32338, + "▁жа": 32339, + "▁ше": 32340, + "▁Когда": 32341, + "▁сист": 32342, + "ственного": 32343, + "▁реши": 32344, + "блю": 32345, + "вил": 32346, + "щий": 32347, + "дра": 32348, + "зиден": 32349, + "▁понима": 32350, + "▁недо": 32351, + "▁одной": 32352, + "▁именно": 32353, + "▁упо": 32354, + "▁Они": 32355, + "▁спи": 32356, + "циали": 32357, + "ствия": 32358, + "тных": 32359, + "▁ря": 32360, + "тельной": 32361, + "▁количе": 32362, + "рую": 32363, + "туа": 32364, + "▁ним": 32365, + "тельство": 32366, + "▁наи": 32367, + "нно": 32368, + "▁нужно": 32369, + "▁элек": 32370, + "тр": 32371, + "ющим": 32372, + "▁часто": 32373, + "▁внима": 32374, + "▁стороны": 32375, + "▁ино": 32376, + "▁такой": 32377, + "▁должно": 32378, + "ору": 32379, + "▁почти": 32380, + "▁тыся": 32381, + "▁противо": 32382, + "▁вместе": 32383, + "кам": 32384, + "▁обя": 32385, + "ческое": 32386, + "нци": 32387, + "▁даль": 32388, + "▁любо": 32389, + "тельных": 32390, + "▁изме": 32391, + "▁пы": 32392, + "▁дерев": 32393, + "жды": 32394, + "▁использу": 32395, + "стой": 32396, + "▁люди": 32397, + "▁непо": 32398, + "▁объек": 32399, + "▁ска": 32400, + "▁затем": 32401, + "лии": 32402, + "▁надо": 32403, + "дви": 32404, + "▁сказал": 32405, + "▁осу": 32406, + "▁начина": 32407, + "▁заня": 32408, + "▁свобо": 32409, + "щей": 32410, + "▁предпо": 32411, + "▁круп": 32412, + "▁дело": 32413, + "сем": 32414, + "ственных": 32415, + "▁должен": 32416, + "грани": 32417, + "зм": 32418, + "рах": 32419, + "пуска": 32420, + "▁лег": 32421, + "▁потом": 32422, + "▁другие": 32423, + "▁имеет": 32424, + "▁взя": 32425, + "▁искус": 32426, + "▁настоя": 32427, + "▁ничего": 32428, + "▁должны": 32429, + "нечно": 32430, + "▁весь": 32431, + "▁сохра": 32432, + "▁написа": 32433, + "▁чего": 32434, + "труд": 32435, + "щие": 32436, + "трен": 32437, + "▁генера": 32438, + "▁пси": 32439, + "тельные": 32440, + "▁экономи": 32441, + "▁современ": 32442, + "лн": 32443, + "▁гор": 32444, + "тить": 32445, + "ствии": 32446, + "ерт": 32447, + "чер": 32448, + "▁наро": 32449, + "▁сей": 32450, + "▁другой": 32451, + "чей": 32452, + "▁вам": 32453, + "нул": 32454, + "нес": 32455, + "сколь": 32456, + "явля": 32457, + "▁тоже": 32458, + "▁жу": 32459, + "рования": 32460, + "▁неме": 32461, + "ственный": 32462, + "еха": 32463, + "▁числе": 32464, + "▁отпра": 32465, + "▁производ": 32466, + "▁сен": 32467, + "▁теперь": 32468, + "мыш": 32469, + "▁ника": 32470, + "▁испол": 32471, + "пусти": 32472, + "имо": 32473, + "▁получа": 32474, + "▁обеспе": 32475, + "шем": 32476, + "▁литера": 32477, + "вшего": 32478, + "▁мето": 32479, + "▁муж": 32480, + "ницы": 32481, + "▁жела": 32482, + "▁которое": 32483, + "▁уг": 32484, + "льное": 32485, + "ждение": 32486, + "шее": 32487, + "▁мину": 32488, + "чему": 32489, + "пере": 32490, + "▁одного": 32491, + "▁отноше": 32492, + "▁вас": 32493, + "емо": 32494, + "▁подоб": 32495, + "тельный": 32496, + "▁Она": 32497, + "виа": 32498, + "гото": 32499, + "▁физи": 32500, + "▁мини": 32501, + "▁меся": 32502, + "тый": 32503, + "▁продолжа": 32504, + "▁зако": 32505, + "жида": 32506, + "щего": 32507, + "шую": 32508, + "▁важ": 32509, + "▁представи": 32510, + "нской": 32511, + "▁дума": 32512, + "тельного": 32513, + "▁связи": 32514, + "няя": 32515, + "▁бое": 32516, + "▁разрабо": 32517, + "щее": 32518, + "или": 32519, + "▁четы": 32520, + "льная": 32521, + "▁обна": 32522, + "▁деся": 32523, + "▁подо": 32524, + "▁однако": 32525, + "▁относи": 32526, + "▁будут": 32527, + "▁постоя": 32528, + "▁Его": 32529, + "▁менее": 32530, + "▁истории": 32531, + "меня": 32532, + "годня": 32533, + "ществ": 32534, + "▁россий": 32535, + "вили": 32536, + "там": 32537, + "пыт": 32538, + "▁качестве": 32539, + "зов": 32540, + "струк": 32541, + "▁сим": 32542, + "▁среди": 32543, + "▁расс": 32544, + "чить": 32545, + "▁всем": 32546, + "▁гражда": 32547, + "▁пример": 32548, + "тря": 32549, + "йской": 32550, + "▁памя": 32551, + "▁проду": 32552, + "дить": 32553, + "доро": 32554, + "▁необходимо": 32555, + "скольку": 32556, + "хода": 32557, + "▁потре": 32558, + "жден": 32559, + "▁национа": 32560, + "▁утвер": 32561, + "▁назна": 32562, + "▁тому": 32563, + "▁годы": 32564, + "▁дли": 32565, + "▁мир": 32566, + "▁спа": 32567, + "седа": 32568, + "▁нико": 32569, + "цов": 32570, + "▁неу": 32571, + "▁например": 32572, + "точно": 32573, + "воль": 32574, + "▁связа": 32575, + "▁хозя": 32576, + "нского": 32577, + "вался": 32578, + "▁содержа": 32579, + "ффек": 32580, + "▁принима": 32581, + "обще": 32582, + "▁кру": 32583, + "пыта": 32584, + "▁поме": 32585, + "▁существо": 32586, + "тая": 32587, + "▁места": 32588, + "▁прекра": 32589, + "▁интер": 32590, + "▁ян": 32591, + "▁тео": 32592, + "тых": 32593, + "жной": 32594, + "▁приме": 32595, + "▁смы": 32596, + "▁бан": 32597, + "▁стали": 32598, + "▁кли": 32599, + "лой": 32600, + "▁какой": 32601, + "▁маши": 32602, + "▁наде": 32603, + "▁ситуа": 32604, + "▁скоро": 32605, + "▁чле": 32606, + "▁Под": 32607, + "ить": 32608, + "чил": 32609, + "нам": 32610, + "▁нор": 32611, + "вались": 32612, + "▁сли": 32613, + "▁еди": 32614, + "ющее": 32615, + "▁эту": 32616, + "▁возду": 32617, + "▁особенно": 32618, + "нев": 32619, + "лого": 32620, + "▁котором": 32621, + "чным": 32622, + "▁люби": 32623, + "▁кажды": 32624, + "▁тут": 32625, + "пря": 32626, + "▁отде": 32627, + "▁наблю": 32628, + "▁обу": 32629, + "▁изу": 32630, + "деть": 32631, + "▁универ": 32632, + "▁этим": 32633, + "▁разме": 32634, + "ляет": 32635, + "кими": 32636, + "▁причи": 32637, + "▁своим": 32638, + "▁пле": 32639, + "▁влия": 32640, + "так": 32641, + "▁отра": 32642, + "смотре": 32643, + "▁социаль": 32644, + "▁возра": 32645, + "▁специаль": 32646, + "▁хорошо": 32647, + "более": 32648, + "▁энер": 32649, + "▁доку": 32650, + "▁Вот": 32651, + "док": 32652, + "гии": 32653, + "▁спра": 32654, + "▁дет": 32655, + "▁поле": 32656, + "гру": 32657, + "льным": 32658, + "строе": 32659, + "▁системы": 32660, + "▁сейчас": 32661, + "▁Бы": 32662, + "▁эле": 32663, + "▁гре": 32664, + "вшись": 32665, + "их": 32666, + "сил": 32667, + "ваются": 32668, + "▁страны": 32669, + "▁собы": 32670, + "▁внутрен": 32671, + "щую": 32672, + "▁реаль": 32673, + "▁стран": 32674, + "▁отли": 32675, + "▁распро": 32676, + "chool": 32677, + "▁ещё": 32678, + "▁дер": 32679, + "жать": 32680, + "▁ей": 32681, + "▁прав": 32682, + "▁пись": 32683, + "▁сотруд": 32684, + "▁кора": 32685, + "▁тан": 32686, + "сили": 32687, + "выми": 32688, + "▁диа": 32689, + "▁кол": 32690, + "▁всё": 32691, + "▁оно": 32692, + "диви": 32693, + "вобо": 32694, + "▁первый": 32695, + "▁требо": 32696, + "▁таких": 32697, + "▁появи": 32698, + "▁бес": 32699, + "▁нару": 32700, + "матри": 32701, + "▁широ": 32702, + "министра": 32703, + "▁уго": 32704, + "▁электро": 32705, + "жных": 32706, + "▁тол": 32707, + "▁возвра": 32708, + "▁глаза": 32709, + "еры": 32710, + "зовать": 32711, + "▁предо": 32712, + "▁сделать": 32713, + "▁убе": 32714, + "▁объяс": 32715, + "▁уч": 32716, + "▁результате": 32717, + "▁Ну": 32718, + "шенно": 32719, + "пли": 32720, + "▁прода": 32721, + "жем": 32722, + "▁Раз": 32723, + "▁Гла": 32724, + "▁вопрос": 32725, + "ющая": 32726, + "▁власти": 32727, + "▁борь": 32728, + "нил": 32729, + "сной": 32730, + "▁течение": 32731, + "чная": 32732, + "лый": 32733, + "тые": 32734, + "▁авиа": 32735, + "мена": 32736, + "▁изобра": 32737, + "▁Пере": 32738, + "дит": 32739, + "▁момент": 32740, + "▁армии": 32741, + "рот": 32742, + "лосо": 32743, + "пара": 32744, + "дца": 32745, + "▁закон": 32746, + "будь": 32747, + "лки": 32748, + "▁друг": 32749, + "▁собствен": 32750, + "обре": 32751, + "мая": 32752, + "▁деле": 32753, + "чное": 32754, + "ями": 32755, + "дро": 32756, + "▁принци": 32757, + "▁удо": 32758, + "▁тек": 32759, + "нять": 32760, + "▁сразу": 32761, + "▁поэтому": 32762, + "▁немец": 32763, + "▁которую": 32764, + "▁собра": 32765, + "▁безо": 32766, + "▁строи": 32767, + "▁чита": 32768, + "ссии": 32769, + "▁ноя": 32770, + "▁неболь": 32771, + "▁свет": 32772, + "▁пози": 32773, + "▁вза": 32774, + "скими": 32775, + "▁указа": 32776, + "▁устано": 32777, + "▁доба": 32778, + "▁сами": 32779, + "тельное": 32780, + "▁Украи": 32781, + "рить": 32782, + "▁миро": 32783, + "мышлен": 32784, + "▁publ": 32785, + "▁восста": 32786, + "чай": 32787, + "▁помощью": 32788, + "ешь": 32789, + "ческую": 32790, + "менты": 32791, + "▁похо": 32792, + "▁такие": 32793, + "рд": 32794, + "▁мя": 32795, + "▁президен": 32796, + "▁представля": 32797, + "▁внеш": 32798, + "▁мень": 32799, + "вало": 32800, + "▁следует": 32801, + "▁никогда": 32802, + "▁отдель": 32803, + "▁револю": 32804, + "▁материа": 32805, + "▁эффек": 32806, + "▁Поэ": 32807, + "евра": 32808, + "▁род": 32809, + "▁теа": 32810, + "▁францу": 32811, + "жит": 32812, + "▁сказать": 32813, + "вли": 32814, + "▁выше": 32815, + "знача": 32816, + "▁исклю": 32817, + "▁вол": 32818, + "ум": 32819, + "▁очеред": 32820, + "▁диви": 32821, + "числе": 32822, + "циа": 32823, + "рует": 32824, + "▁фрон": 32825, + "▁кня": 32826, + "нице": 32827, + "▁древ": 32828, + "▁лучше": 32829, + "тной": 32830, + "жей": 32831, + "▁территории": 32832, + "▁контро": 32833, + "▁включа": 32834, + "▁забо": 32835, + "▁получил": 32836, + "▁кро": 32837, + "▁начала": 32838, + "▁пора": 32839, + "▁Ива": 32840, + "все": 32841, + "лых": 32842, + "нибудь": 32843, + "▁продук": 32844, + "▁заклю": 32845, + "▁Совет": 32846, + "▁заме": 32847, + "лда": 32848, + "▁ограни": 32849, + "▁мало": 32850, + "емых": 32851, + "ческим": 32852, + "▁начале": 32853, + "вре": 32854, + "держ": 32855, + "rans": 32856, + "▁распростра": 32857, + "сона": 32858, + "▁дня": 32859, + "риан": 32860, + "▁период": 32861, + "▁центра": 32862, + "▁един": 32863, + "▁произо": 32864, + "▁возможность": 32865, + "▁быстро": 32866, + "▁встреча": 32867, + "бля": 32868, + "сить": 32869, + "▁четыре": 32870, + "лью": 32871, + "цами": 32872, + "▁сере": 32873, + "ям": 32874, + "влении": 32875, + "вшей": 32876, + "▁либо": 32877, + "▁определен": 32878, + "▁зе": 32879, + "вода": 32880, + "▁площа": 32881, + "▁милли": 32882, + "▁экс": 32883, + "лень": 32884, + "тай": 32885, + "ровал": 32886, + "▁началь": 32887, + "ствовать": 32888, + "▁самом": 32889, + "▁приро": 32890, + "▁говоря": 32891, + "ческом": 32892, + "нулся": 32893, + "▁пя": 32894, + "▁второй": 32895, + "▁восто": 32896, + "полне": 32897, + "▁работу": 32898, + "писы": 32899, + "▁каза": 32900, + "▁осуществ": 32901, + "▁бога": 32902, + "▁каждый": 32903, + "ствуют": 32904, + "▁Боль": 32905, + "ясь": 32906, + "▁срав": 32907, + "шком": 32908, + "▁меди": 32909, + "▁вообще": 32910, + "▁таким": 32911, + "вольно": 32912, + "▁пове": 32913, + "▁замет": 32914, + "▁кры": 32915, + "чности": 32916, + "ментов": 32917, + "▁говорит": 32918, + "лые": 32919, + "юз": 32920, + "▁работ": 32921, + "▁поскольку": 32922, + "▁уме": 32923, + "▁дра": 32924, + "еру": 32925, + "▁группы": 32926, + "дума": 32927, + "▁взгля": 32928, + "нский": 32929, + "гна": 32930, + "▁роль": 32931, + "▁тяже": 32932, + "▁развития": 32933, + "блей": 32934, + "▁кур": 32935, + "жо": 32936, + "рави": 32937, + "▁край": 32938, + "▁зависи": 32939, + "▁пыта": 32940, + "▁реали": 32941, + "шать": 32942, + "▁Поэтому": 32943, + "▁узна": 32944, + "▁анти": 32945, + "▁стала": 32946, + "пени": 32947, + "тербур": 32948, + "▁источ": 32949, + "рию": 32950, + "▁стало": 32951, + "тических": 32952, + "▁Герма": 32953, + "▁ск": 32954, + "лета": 32955, + "▁сегодня": 32956, + "част": 32957, + "дать": 32958, + "роя": 32959, + "▁РФ": 32960, + "▁психо": 32961, + "▁пользова": 32962, + "▁обяза": 32963, + "▁гото": 32964, + "рование": 32965, + "▁созна": 32966, + "▁такое": 32967, + "▁совершенно": 32968, + "муще": 32969, + "тельным": 32970, + "образ": 32971, + "водя": 32972, + "meric": 32973, + "ходят": 32974, + "▁находится": 32975, + "▁выступа": 32976, + "даря": 32977, + "▁зву": 32978, + "надле": 32979, + "▁описа": 32980, + "▁отношения": 32981, + "▁тро": 32982, + "▁достаточно": 32983, + "▁большин": 32984, + "▁тради": 32985, + "дения": 32986, + "▁неиз": 32987, + "льзя": 32988, + "▁огром": 32989, + "▁детей": 32990, + "они": 32991, + "▁этому": 32992, + "▁проводи": 32993, + "▁укра": 32994, + "▁многие": 32995, + "▁нее": 32996, + "▁рели": 32997, + "тек": 32998, + "▁месте": 32999, + "▁деятельности": 33000, + "▁публи": 33001, + "▁Кроме": 33002, + "онов": 33003, + "▁отве": 33004, + "▁поро": 33005, + "▁меха": 33006, + "ствовал": 33007, + "▁выс": 33008, + "▁компании": 33009, + "▁оборо": 33010, + "стом": 33011, + "ilm": 33012, + "▁тысяч": 33013, + "▁права": 33014, + "▁приве": 33015, + "▁всей": 33016, + "▁характер": 33017, + "▁конечно": 33018, + "▁смерти": 33019, + "▁каждо": 33020, + "тельности": 33021, + "▁снова": 33022, + "оз": 33023, + "▁ведь": 33024, + "чик": 33025, + "▁сце": 33026, + "▁оконча": 33027, + "▁многих": 33028, + "зем": 33029, + "мах": 33030, + "лит": 33031, + "▁самого": 33032, + "▁долго": 33033, + "▁пунк": 33034, + "лка": 33035, + "гер": 33036, + "рение": 33037, + "▁сопро": 33038, + "▁струк": 33039, + "▁принадле": 33040, + "говор": 33041, + "чку": 33042, + "▁хоте": 33043, + "▁Воз": 33044, + "пом": 33045, + "никами": 33046, + "▁требу": 33047, + "▁внимание": 33048, + "▁наиболее": 33049, + "щает": 33050, + "▁аб": 33051, + "лить": 33052, + "▁одним": 33053, + "▁конф": 33054, + "либо": 33055, + "гие": 33056, + "чества": 33057, + "щим": 33058, + "сок": 33059, + "лами": 33060, + "▁могли": 33061, + "ственные": 33062, + "▁сообщи": 33063, + "риа": 33064, + "▁заяви": 33065, + "тные": 33066, + "▁оши": 33067, + "моби": 33068, + "▁производи": 33069, + "▁мона": 33070, + "▁организации": 33071, + "▁техни": 33072, + "юсь": 33073, + "жные": 33074, + "▁хозяй": 33075, + "дут": 33076, + "дки": 33077, + "▁приходи": 33078, + "▁количество": 33079, + "▁близ": 33080, + "нного": 33081, + "▁руковод": 33082, + "▁всю": 33083, + "смотря": 33084, + "зад": 33085, + "▁прове": 33086, + "▁руководи": 33087, + "▁возник": 33088, + "▁превра": 33089, + "▁войска": 33090, + "▁администра": 33091, + "▁нашей": 33092, + "▁являются": 33093, + "▁стоя": 33094, + "ведение": 33095, + "▁делать": 33096, + "▁дней": 33097, + "зей": 33098, + "▁совсем": 33099, + "▁фото": 33100, + "тил": 33101, + "▁анали": 33102, + "▁степени": 33103, + "тный": 33104, + "▁несколь": 33105, + "▁пои": 33106, + "телями": 33107, + "жал": 33108, + "чном": 33109, + "▁Пред": 33110, + "▁почему": 33111, + "▁Americ": 33112, + "ложения": 33113, + "▁прямо": 33114, + "тка": 33115, + "▁Федера": 33116, + "▁соеди": 33117, + "▁имени": 33118, + "нений": 33119, + "▁которым": 33120, + "▁случай": 33121, + "▁разре": 33122, + "жить": 33123, + "▁выз": 33124, + "конец": 33125, + "▁отсут": 33126, + "рус": 33127, + "▁француз": 33128, + "▁филосо": 33129, + "▁преду": 33130, + "▁действия": 33131, + "▁практи": 33132, + "▁институ": 33133, + "нта": 33134, + "еты": 33135, + "▁завер": 33136, + "▁силы": 33137, + "▁сни": 33138, + "валось": 33139, + "▁обычно": 33140, + "личие": 33141, + "▁преступ": 33142, + "▁прежде": 33143, + "▁вид": 33144, + "▁повы": 33145, + "тере": 33146, + "шно": 33147, + "▁цар": 33148, + "бен": 33149, + "стно": 33150, + "▁назад": 33151, + "рам": 33152, + "ТА": 33153, + "▁друга": 33154, + "▁должна": 33155, + "▁види": 33156, + "мень": 33157, + "вь": 33158, + "▁некоторые": 33159, + "▁гер": 33160, + "▁твор": 33161, + "▁семь": 33162, + "▁зда": 33163, + "▁образ": 33164, + "пле": 33165, + "▁команди": 33166, + "▁мире": 33167, + "▁суб": 33168, + "▁поряд": 33169, + "деля": 33170, + "▁участие": 33171, + "тного": 33172, + "▁экспе": 33173, + "▁Ис": 33174, + "туре": 33175, + "▁равно": 33176, + "скоре": 33177, + "▁комму": 33178, + "▁международ": 33179, + "▁свиде": 33180, + "▁допол": 33181, + "нина": 33182, + "▁финан": 33183, + "▁двига": 33184, + "▁решение": 33185, + "▁ап": 33186, + "▁большой": 33187, + "▁золо": 33188, + "вок": 33189, + "лик": 33190, + "ссы": 33191, + "ложение": 33192, + "▁арти": 33193, + "▁прибы": 33194, + "емые": 33195, + "вей": 33196, + "лим": 33197, + "▁управления": 33198, + "▁капита": 33199, + "▁полностью": 33200, + "▁отмет": 33201, + "надца": 33202, + "owever": 33203, + "первые": 33204, + "торов": 33205, + "клады": 33206, + "ливо": 33207, + "хом": 33208, + "▁судь": 33209, + "дел": 33210, + "▁коле": 33211, + "▁форма": 33212, + "▁пово": 33213, + "ева": 33214, + "▁зве": 33215, + "▁данных": 33216, + "▁вспо": 33217, + "▁комплек": 33218, + "▁слишком": 33219, + "▁мере": 33220, + "▁попа": 33221, + "▁нес": 33222, + "▁серь": 33223, + "▁оби": 33224, + "▁вок": 33225, + "▁гг": 33226, + "▁сре": 33227, + "▁происходит": 33228, + "▁собира": 33229, + "▁спу": 33230, + "▁облада": 33231, + "▁тон": 33232, + "дами": 33233, + "stem": 33234, + "▁типа": 33235, + "▁поко": 33236, + "пасности": 33237, + "вшая": 33238, + "мых": 33239, + "▁освобо": 33240, + "▁такого": 33241, + "▁ними": 33242, + "ременно": 33243, + "чную": 33244, + "▁стоит": 33245, + "▁использовать": 33246, + "▁вариан": 33247, + "▁кино": 33248, + "льном": 33249, + "▁простран": 33250, + "▁государства": 33251, + "▁воору": 33252, + "▁повто": 33253, + "▁спро": 33254, + "▁поверх": 33255, + "ниях": 33256, + "▁специали": 33257, + "готов": 33258, + "▁уви": 33259, + "▁первой": 33260, + "▁Эти": 33261, + "▁захва": 33262, + "▁оте": 33263, + "▁находя": 33264, + "▁отда": 33265, + "▁попу": 33266, + "▁сна": 33267, + "▁пути": 33268, + "▁официаль": 33269, + "▁воды": 33270, + "▁глубо": 33271, + "▁стол": 33272, + "▁взаимо": 33273, + "▁мощ": 33274, + "▁треть": 33275, + "▁карти": 33276, + "мые": 33277, + "▁нельзя": 33278, + "▁желез": 33279, + "его": 33280, + "▁кам": 33281, + "▁общества": 33282, + "тельность": 33283, + "▁заста": 33284, + "▁англий": 33285, + "чать": 33286, + "ктора": 33287, + "▁имя": 33288, + "▁легко": 33289, + "▁буд": 33290, + "▁движения": 33291, + "▁болез": 33292, + "▁тебя": 33293, + "длен": 33294, + "▁множе": 33295, + "▁ды": 33296, + "▁выда": 33297, + "▁оружи": 33298, + "▁закры": 33299, + "теря": 33300, + "▁механи": 33301, + "езд": 33302, + "▁годов": 33303, + "мана": 33304, + "вов": 33305, + "новь": 33306, + "▁промышлен": 33307, + "▁дире": 33308, + "▁объеди": 33309, + "носи": 33310, + "▁наме": 33311, + "жением": 33312, + "▁средства": 33313, + "▁начал": 33314, + "▁есте": 33315, + "▁импера": 33316, + "тические": 33317, + "▁удалось": 33318, + "▁технологи": 33319, + "▁духов": 33320, + "▁тыс": 33321, + "лях": 33322, + "▁оказыва": 33323, + "ственным": 33324, + "▁руки": 33325, + "льную": 33326, + "▁ана": 33327, + "▁полови": 33328, + "▁тай": 33329, + "▁значение": 33330, + "тельная": 33331, + "жил": 33332, + "▁интерес": 33333, + "▁корпу": 33334, + "▁наши": 33335, + "ственное": 33336, + "пута": 33337, + "▁пожа": 33338, + "▁поги": 33339, + "жный": 33340, + "▁запа": 33341, + "▁Зем": 33342, + "нили": 33343, + "▁сил": 33344, + "ницу": 33345, + "▁ожида": 33346, + "▁иногда": 33347, + "▁обнаружи": 33348, + "рё": 33349, + "▁Мак": 33350, + "нка": 33351, + "▁ито": 33352, + "дко": 33353, + "рыв": 33354, + "хот": 33355, + "▁ощу": 33356, + "▁сум": 33357, + "▁предприя": 33358, + "▁верси": 33359, + "▁дене": 33360, + "▁различных": 33361, + "▁партии": 33362, + "влены": 33363, + "▁оди": 33364, + "▁поддерж": 33365, + "▁малень": 33366, + "▁секре": 33367, + "▁мой": 33368, + "▁пес": 33369, + "▁уничто": 33370, + "▁л": 33371, + "ступил": 33372, + "леко": 33373, + "рее": 33374, + "▁городе": 33375, + "▁название": 33376, + "▁устрой": 33377, + "дий": 33378, + "▁отлича": 33379, + "▁гро": 33380, + "▁автомоби": 33381, + "▁недоста": 33382, + "стоит": 33383, + "▁самых": 33384, + "▁новые": 33385, + "▁какие": 33386, + "шёл": 33387, + "▁невоз": 33388, + "▁система": 33389, + "▁своем": 33390, + "гами": 33391, + "▁число": 33392, + "▁поку": 33393, + "тым": 33394, + "сред": 33395, + "▁весьма": 33396, + "▁евро": 33397, + "▁вполне": 33398, + "▁становится": 33399, + "ныне": 33400, + "меть": 33401, + "рем": 33402, + "рко": 33403, + "▁симво": 33404, + "▁запад": 33405, + "▁работе": 33406, + "▁Москве": 33407, + "ющими": 33408, + "влека": 33409, + "тбо": 33410, + "▁исти": 33411, + "▁солда": 33412, + "форми": 33413, + "джа": 33414, + "▁трех": 33415, + "▁некоторых": 33416, + "нки": 33417, + "▁сю": 33418, + "лья": 33419, + "баты": 33420, + "чении": 33421, + "▁новых": 33422, + "шает": 33423, + "▁журна": 33424, + "вшим": 33425, + "▁пять": 33426, + "юза": 33427, + "▁приобре": 33428, + "навли": 33429, + "▁рез": 33430, + "▁норма": 33431, + "ссиона": 33432, + "▁отказа": 33433, + "щается": 33434, + "▁соба": 33435, + "▁имеют": 33436, + "▁предоста": 33437, + "дил": 33438, + "▁прак": 33439, + "дем": 33440, + "▁куда": 33441, + "валась": 33442, + "таки": 33443, + "чением": 33444, + "▁низ": 33445, + "▁ото": 33446, + "▁добро": 33447, + "▁Восто": 33448, + "▁аре": 33449, + "нении": 33450, + "▁рассказа": 33451, + "сей": 33452, + "новременно": 33453, + "▁разных": 33454, + "рит": 33455, + "▁действительно": 33456, + "▁кого": 33457, + "▁возможности": 33458, + "▁реше": 33459, + "▁довольно": 33460, + "принима": 33461, + "▁Этот": 33462, + "▁вновь": 33463, + "▁рабочи": 33464, + "▁информации": 33465, + "▁дальней": 33466, + "▁крити": 33467, + "влением": 33468, + "▁реак": 33469, + "чек": 33470, + "▁кроме": 33471, + "arri": 33472, + "▁форми": 33473, + "▁регу": 33474, + "▁ран": 33475, + "фици": 33476, + "▁мысли": 33477, + "строен": 33478, + "дах": 33479, + "▁фло": 33480, + "▁рав": 33481, + "щем": 33482, + "▁цели": 33483, + "▁радио": 33484, + "▁возмо": 33485, + "▁вызыва": 33486, + "▁возника": 33487, + "бран": 33488, + "▁наблюда": 33489, + "▁самым": 33490, + "▁спосо": 33491, + "▁Российской": 33492, + "нное": 33493, + "мар": 33494, + "▁зо": 33495, + "▁ори": 33496, + "жного": 33497, + "▁зая": 33498, + "гли": 33499, + "сят": 33500, + "▁обви": 33501, + "▁ца": 33502, + "рис": 33503, + "жений": 33504, + "iversity": 33505, + "гну": 33506, + "поли": 33507, + "нению": 33508, + "▁присут": 33509, + "стями": 33510, + "под": 33511, + "шему": 33512, + "деле": 33513, + "пись": 33514, + "▁зрения": 33515, + "чность": 33516, + "▁подтвер": 33517, + "сами": 33518, + "▁одном": 33519, + "▁транспо": 33520, + "начала": 33521, + "▁основе": 33522, + "▁холо": 33523, + "нная": 33524, + "▁соответству": 33525, + "нос": 33526, + "▁культуры": 33527, + "емый": 33528, + "▁конца": 33529, + "тать": 33530, + "▁нового": 33531, + "▁часов": 33532, + "бов": 33533, + "тию": 33534, + "тили": 33535, + "эн": 33536, + "▁рода": 33537, + "чными": 33538, + "▁тебе": 33539, + "▁расши": 33540, + "▁самой": 33541, + "шить": 33542, + "▁рассматри": 33543, + "мую": 33544, + "били": 33545, + "▁решения": 33546, + "ходить": 33547, + "▁означа": 33548, + "рос": 33549, + "логии": 33550, + "▁форму": 33551, + "▁деньги": 33552, + "overnment": 33553, + "▁новый": 33554, + "доров": 33555, + "читы": 33556, + "▁геро": 33557, + "▁вет": 33558, + "▁книги": 33559, + "нович": 33560, + "▁дом": 33561, + "▁Москов": 33562, + "▁запре": 33563, + "▁приз": 33564, + "▁коллек": 33565, + "шед": 33566, + "жете": 33567, + "▁помощи": 33568, + "▁Тем": 33569, + "▁посвя": 33570, + "▁слово": 33571, + "стья": 33572, + "▁Александр": 33573, + "▁реко": 33574, + "▁бю": 33575, + "▁нескольких": 33576, + "▁лица": 33577, + "мин": 33578, + "▁точки": 33579, + "▁персона": 33580, + "▁уси": 33581, + "рил": 33582, + "▁лицо": 33583, + "сед": 33584, + "▁уз": 33585, + "▁Теперь": 33586, + "СК": 33587, + "▁церков": 33588, + "няет": 33589, + "▁Свя": 33590, + "сам": 33591, + "▁никто": 33592, + "▁вокруг": 33593, + "▁утвержда": 33594, + "▁губер": 33595, + "▁последова": 33596, + "▁боя": 33597, + "▁определя": 33598, + "▁независи": 33599, + "мым": 33600, + "▁перво": 33601, + "▁найти": 33602, + "▁Здесь": 33603, + "▁Таким": 33604, + "бере": 33605, + "▁беспо": 33606, + "▁эпо": 33607, + "▁условиях": 33608, + "▁север": 33609, + "▁Украины": 33610, + "▁работать": 33611, + "лыша": 33612, + "езда": 33613, + "служи": 33614, + "▁совме": 33615, + "▁сторону": 33616, + "tend": 33617, + "▁напо": 33618, + "чета": 33619, + "няется": 33620, + "варти": 33621, + "▁напря": 33622, + "ссу": 33623, + "креп": 33624, + "▁одну": 33625, + "нику": 33626, + "▁\\-": 33627, + "жд": 33628, + "зация": 33629, + "▁религи": 33630, + "▁Цен": 33631, + "▁бло": 33632, + "лам": 33633, + "▁попро": 33634, + "▁идет": 33635, + "лению": 33636, + "шет": 33637, + "▁разру": 33638, + "▁наших": 33639, + "ерен": 33640, + "▁выбо": 33641, + "нюю": 33642, + "▁граждан": 33643, + "▁Анг": 33644, + "цем": 33645, + "▁очередь": 33646, + "лах": 33647, + "▁Зна": 33648, + "гой": 33649, + "▁меньше": 33650, + "шлось": 33651, + "ента": 33652, + "▁эпи": 33653, + "гает": 33654, + "жай": 33655, + "▁каса": 33656, + "▁медици": 33657, + "степ": 33658, + "▁ум": 33659, + "тья": 33660, + "стр": 33661, + "ристиан": 33662, + "▁ус": 33663, + "▁первого": 33664, + "▁потеря": 33665, + "▁Оте": 33666, + "▁минут": 33667, + "▁скры": 33668, + "▁цвет": 33669, + "руется": 33670, + "▁бом": 33671, + "▁характери": 33672, + "▁Затем": 33673, + "▁см": 33674, + "печат": 33675, + "▁практически": 33676, + "▁класси": 33677, + "▁рам": 33678, + "тром": 33679, + "▁иска": 33680, + "фу": 33681, + "▁вд": 33682, + "▁конку": 33683, + "▁впервые": 33684, + "▁значит": 33685, + "▁измени": 33686, + "зор": 33687, + "▁мол": 33688, + "▁самое": 33689, + "▁оде": 33690, + "▁путь": 33691, + "▁умер": 33692, + "▁внутри": 33693, + "▁иностран": 33694, + "ъек": 33695, + "вшихся": 33696, + "мокра": 33697, + "ющую": 33698, + "▁ходе": 33699, + "▁сом": 33700, + "▁рядом": 33701, + "▁подготов": 33702, + "ндии": 33703, + "▁столь": 33704, + "▁Север": 33705, + "▁улица": 33706, + "▁семей": 33707, + "▁труд": 33708, + "ционной": 33709, + "зывать": 33710, + "▁поддержи": 33711, + "зия": 33712, + "▁Вто": 33713, + "▁Например": 33714, + "▁немного": 33715, + "сю": 33716, + "▁ново": 33717, + "оте": 33718, + "▁частности": 33719, + "▁аэ": 33720, + "мый": 33721, + "жным": 33722, + "лье": 33723, + "▁кана": 33724, + "▁данным": 33725, + "▁поя": 33726, + "кну": 33727, + "нным": 33728, + "спублики": 33729, + "▁войск": 33730, + "▁серьез": 33731, + "▁своими": 33732, + "▁забы": 33733, + "▁обсу": 33734, + "сколько": 33735, + "▁мужчи": 33736, + "▁конкре": 33737, + "чит": 33738, + "кет": 33739, + "▁темпера": 33740, + "гах": 33741, + "▁вдо": 33742, + "▁плане": 33743, + "ходил": 33744, + "▁предлага": 33745, + "▁тела": 33746, + "▁пом": 33747, + "▁постоянно": 33748, + "▁эффектив": 33749, + "▁земли": 33750, + "▁прошло": 33751, + "▁млн": 33752, + "▁Также": 33753, + "▁замеча": 33754, + "▁деву": 33755, + "inu": 33756, + "луч": 33757, + "▁Германии": 33758, + "сах": 33759, + "▁процесс": 33760, + "▁отношении": 33761, + "▁словам": 33762, + "▁сильно": 33763, + "туаль": 33764, + "▁Между": 33765, + "жает": 33766, + "циях": 33767, + "▁проблемы": 33768, + "▁появля": 33769, + "иль": 33770, + "▁группа": 33771, + "▁свобод": 33772, + "тический": 33773, + "▁рублей": 33774, + "▁Ком": 33775, + "бло": 33776, + "▁Франции": 33777, + "▁позволя": 33778, + "▁Гор": 33779, + "восто": 33780, + "вки": 33781, + "▁средств": 33782, + "▁силу": 33783, + "▁проте": 33784, + "▁готов": 33785, + "▁благодаря": 33786, + "▁комна": 33787, + "▁столи": 33788, + "пет": 33789, + "стях": 33790, + "чал": 33791, + "▁счет": 33792, + "▁Эта": 33793, + "▁Сле": 33794, + "гам": 33795, + "▁уж": 33796, + "▁дополни": 33797, + "▁расположен": 33798, + "▁разно": 33799, + "чены": 33800, + "ОВ": 33801, + "▁кос": 33802, + "рец": 33803, + "тчи": 33804, + "НИ": 33805, + "▁Ленин": 33806, + "лимпи": 33807, + "▁писал": 33808, + "▁нему": 33809, + "емого": 33810, + "▁генерал": 33811, + "▁профессиона": 33812, + "▁говорить": 33813, + "▁работал": 33814, + "▁стране": 33815, + "ходили": 33816, + "роде": 33817, + "рица": 33818, + "▁осуществля": 33819, + "▁оцен": 33820, + "▁шу": 33821, + "▁сек": 33822, + "▁остро": 33823, + "▁Дру": 33824, + "щении": 33825, + "▁тю": 33826, + "▁опыт": 33827, + "▁отмеча": 33828, + "ственная": 33829, + "▁сторон": 33830, + "▁Ты": 33831, + "▁аген": 33832, + "▁клю": 33833, + "город": 33834, + "лении": 33835, + "▁Федерации": 33836, + "▁доступ": 33837, + "тика": 33838, + "▁ряд": 33839, + "▁непре": 33840, + "▁доказа": 33841, + "телям": 33842, + "туру": 33843, + "▁иметь": 33844, + "▁индиви": 33845, + "▁Глав": 33846, + "▁игро": 33847, + "▁примерно": 33848, + "кин": 33849, + "влено": 33850, + "▁Примеча": 33851, + "▁обстоя": 33852, + "▁выну": 33853, + "▁позна": 33854, + "лад": 33855, + "▁художе": 33856, + "▁Ио": 33857, + "▁следова": 33858, + "▁оце": 33859, + "ческими": 33860, + "▁составляет": 33861, + "ковой": 33862, + "▁верну": 33863, + "шой": 33864, + "▁непри": 33865, + "▁пользу": 33866, + "ровали": 33867, + "йт": 33868, + "▁полно": 33869, + "▁кате": 33870, + "▁воспо": 33871, + "▁биз": 33872, + "▁инстру": 33873, + "▁сколько": 33874, + "тельную": 33875, + "▁Гри": 33876, + "лог": 33877, + "▁применя": 33878, + "▁известно": 33879, + "▁печа": 33880, + "▁увеличи": 33881, + "нял": 33882, + "▁получить": 33883, + "▁аппара": 33884, + "▁жерт": 33885, + "▁непосред": 33886, + "▁Амери": 33887, + "▁моря": 33888, + "▁comple": 33889, + "гани": 33890, + "▁водо": 33891, + "ционных": 33892, + "▁еже": 33893, + "цей": 33894, + "▁будто": 33895, + "▁ребен": 33896, + "▁контра": 33897, + "▁положение": 33898, + "дам": 33899, + "▁посла": 33900, + "▁реда": 33901, + "▁другим": 33902, + "влена": 33903, + "говори": 33904, + "емой": 33905, + "▁Чере": 33906, + "вел": 33907, + "дали": 33908, + "рес": 33909, + "▁зло": 33910, + "▁приводи": 33911, + "▁ат": 33912, + "▁хва": 33913, + "лер": 33914, + "вшиеся": 33915, + "тета": 33916, + "▁кажется": 33917, + "▁точно": 33918, + "рых": 33919, + "▁конструк": 33920, + "▁командова": 33921, + "▁ныне": 33922, + "▁позд": 33923, + "▁противника": 33924, + "▁импе": 33925, + "▁пяти": 33926, + "жали": 33927, + "▁долла": 33928, + "▁Тогда": 33929, + "нит": 33930, + "▁каждого": 33931, + "▁председа": 33932, + "▁неда": 33933, + "бар": 33934, + "тором": 33935, + "▁бума": 33936, + "▁моз": 33937, + "▁Кор": 33938, + "▁новой": 33939, + "▁госпо": 33940, + "▁заболе": 33941, + "▁награ": 33942, + "▁протя": 33943, + "▁другими": 33944, + "▁Там": 33945, + "▁нашего": 33946, + "▁говорил": 33947, + "бка": 33948, + "▁согласи": 33949, + "▁показыва": 33950, + "митри": 33951, + "▁подчи": 33952, + "фри": 33953, + "▁угро": 33954, + "ссия": 33955, + "▁первых": 33956, + "▁мыс": 33957, + "▁убий": 33958, + "▁изменения": 33959, + "▁расте": 33960, + "▁Сто": 33961, + "▁рассказыва": 33962, + "солю": 33963, + "мость": 33964, + "▁церкви": 33965, + "▁автор": 33966, + "▁вместо": 33967, + "▁вече": 33968, + "▁торго": 33969, + "ниями": 33970, + "нда": 33971, + "▁заявил": 33972, + "фон": 33973, + "▁Нет": 33974, + "▁целью": 33975, + "▁пото": 33976, + "роятно": 33977, + "спек": 33978, + "кому": 33979, + "▁Ско": 33980, + "▁прибли": 33981, + "анта": 33982, + "вшийся": 33983, + "▁позволяет": 33984, + "▁мыш": 33985, + "▁Чтобы": 33986, + "чено": 33987, + "▁знако": 33988, + "нике": 33989, + "кли": 33990, + "▁плани": 33991, + "▁газ": 33992, + "▁колле": 33993, + "▁привы": 33994, + "▁провер": 33995, + "мое": 33996, + "▁ката": 33997, + "▁суд": 33998, + "▁ранее": 33999, + "сур": 34000, + "▁опубли": 34001, + "ющихся": 34002, + "▁производства": 34003, + "▁команды": 34004, + "▁компью": 34005, + "▁кило": 34006, + "одо": 34007, + "▁игры": 34008, + "▁Рас": 34009, + "▁предполага": 34010, + "жности": 34011, + "▁обеспечи": 34012, + "никам": 34013, + "▁безопасности": 34014, + "▁наконец": 34015, + "▁действий": 34016, + "▁испыта": 34017, + "наче": 34018, + "▁данные": 34019, + "▁установи": 34020, + "▁существует": 34021, + "рина": 34022, + "▁фигу": 34023, + "▁орде": 34024, + "▁выска": 34025, + "тивных": 34026, + "▁одновременно": 34027, + "ехал": 34028, + "вос": 34029, + "гло": 34030, + "чув": 34031, + "сного": 34032, + "АТ": 34033, + "▁дальше": 34034, + "▁особен": 34035, + "сный": 34036, + "Со": 34037, + "▁Каза": 34038, + "лым": 34039, + "▁преи": 34040, + "▁Государ": 34041, + "▁массо": 34042, + "сад": 34043, + "▁Только": 34044, + "▁земле": 34045, + "ньше": 34046, + "▁мате": 34047, + "▁состоянии": 34048, + "▁четвер": 34049, + "тех": 34050, + "▁союз": 34051, + "▁трудно": 34052, + "шку": 34053, + "рый": 34054, + "▁празд": 34055, + "▁обязан": 34056, + "▁самоле": 34057, + "▁наш": 34058, + "гей": 34059, + "▁основном": 34060, + "▁Владимир": 34061, + "▁предложи": 34062, + "▁формы": 34063, + "▁Европы": 34064, + "Пе": 34065, + "▁разу": 34066, + "▁мета": 34067, + "Во": 34068, + "▁Поль": 34069, + "▁невозможно": 34070, + "▁правило": 34071, + "вели": 34072, + "руют": 34073, + "▁театра": 34074, + "▁Мне": 34075, + "▁катего": 34076, + "лая": 34077, + "▁речь": 34078, + "рёх": 34079, + "▁тво": 34080, + "дение": 34081, + "▁музыка": 34082, + "нему": 34083, + "▁законо": 34084, + "зре": 34085, + "▁события": 34086, + "▁заключа": 34087, + "СТ": 34088, + "▁микро": 34089, + "▁другу": 34090, + "▁сро": 34091, + "▁Пари": 34092, + "гать": 34093, + "поло": 34094, + "▁культур": 34095, + "▁выгля": 34096, + "способ": 34097, + "зин": 34098, + "вла": 34099, + "▁мнению": 34100, + "▁подвер": 34101, + "▁команду": 34102, + "Не": 34103, + "▁знаю": 34104, + "▁самый": 34105, + "щества": 34106, + "▁догово": 34107, + "▁раньше": 34108, + "▁доби": 34109, + "▁середи": 34110, + "▁логи": 34111, + "▁ибо": 34112, + "▁пой": 34113, + "▁студен": 34114, + "▁роли": 34115, + "вился": 34116, + "▁Чу": 34117, + "▁утра": 34118, + "▁пита": 34119, + "▁спор": 34120, + "▁поки": 34121, + "обо": 34122, + "▁стату": 34123, + "▁народа": 34124, + "▁вопросы": 34125, + "ьер": 34126, + "▁Примечания": 34127, + "лений": 34128, + "▁шо": 34129, + "▁управля": 34130, + "▁Согла": 34131, + "▁состоит": 34132, + "▁времен": 34133, + "▁Же": 34134, + "куда": 34135, + "чению": 34136, + "▁мировой": 34137, + "зирова": 34138, + "послед": 34139, + "▁учеб": 34140, + "стьян": 34141, + "▁море": 34142, + "▁опас": 34143, + "▁ау": 34144, + "▁Ново": 34145, + "▁любой": 34146, + "ющем": 34147, + "▁глуби": 34148, + "гия": 34149, + "▁профессо": 34150, + "▁представляет": 34151, + "▁кварти": 34152, + "▁арми": 34153, + "▁решил": 34154, + "▁линии": 34155, + "телю": 34156, + "льными": 34157, + "▁другом": 34158, + "▁Фа": 34159, + "эй": 34160, + "▁понять": 34161, + "▁корот": 34162, + "▁пригла": 34163, + "тива": 34164, + "▁популяр": 34165, + "▁впере": 34166, + "лег": 34167, + "▁региона": 34168, + "▁язык": 34169, + "▁Тур": 34170, + "▁пришлось": 34171, + "▁Кры": 34172, + "▁покры": 34173, + "▁поля": 34174, + "▁бой": 34175, + "▁имел": 34176, + "▁своему": 34177, + "▁некото": 34178, + "тации": 34179, + "▁скло": 34180, + "▁военно": 34181, + "▁которому": 34182, + "ила": 34183, + "дленно": 34184, + "▁случаях": 34185, + "тое": 34186, + "▁окружа": 34187, + "▁ссы": 34188, + "рудова": 34189, + "▁разо": 34190, + "▁школы": 34191, + "лл": 34192, + "▁насто": 34193, + "▁верх": 34194, + "▁потреб": 34195, + "▁экспери": 34196, + "▁Ев": 34197, + "▁вста": 34198, + "▁развитие": 34199, + "влет": 34200, + "поль": 34201, + "▁учре": 34202, + "▁инже": 34203, + "дят": 34204, + "▁христиан": 34205, + "ОН": 34206, + "▁подписа": 34207, + "▁образования": 34208, + "теше": 34209, + "раздо": 34210, + "влению": 34211, + "▁искусства": 34212, + "▁стара": 34213, + "чке": 34214, + "гры": 34215, + "▁Тре": 34216, + "▁воздей": 34217, + "▁товари": 34218, + "▁настоящее": 34219, + "▁самостоя": 34220, + "слов": 34221, + "гина": 34222, + "▁макси": 34223, + "▁перево": 34224, + "▁полез": 34225, + "▁меч": 34226, + "тивно": 34227, + "тирова": 34228, + "▁расстоя": 34229, + "дили": 34230, + "ствовали": 34231, + "▁первые": 34232, + "▁стреми": 34233, + "▁сыгра": 34234, + "▁изо": 34235, + "▁деятельность": 34236, + "ЕР": 34237, + "▁подроб": 34238, + "дже": 34239, + "▁устра": 34240, + "▁пору": 34241, + "▁выи": 34242, + "▁фай": 34243, + "▁фра": 34244, + "вании": 34245, + "▁языка": 34246, + "шими": 34247, + "вит": 34248, + "▁власть": 34249, + "▁ситуации": 34250, + "нке": 34251, + "▁Ху": 34252, + "тни": 34253, + "▁хотел": 34254, + "тивной": 34255, + "▁нуж": 34256, + "▁пост": 34257, + "▁прожи": 34258, + "▁пти": 34259, + "▁финансо": 34260, + "▁правительства": 34261, + "▁паль": 34262, + "▁посо": 34263, + "▁Через": 34264, + "нден": 34265, + "▁Ген": 34266, + "ровки": 34267, + "▁Среди": 34268, + "▁ими": 34269, + "тное": 34270, + "▁ква": 34271, + "▁Дмитри": 34272, + "▁прос": 34273, + "▁япо": 34274, + "вай": 34275, + "▁уверен": 34276, + "зья": 34277, + "▁библи": 34278, + "▁сын": 34279, + "▁скорее": 34280, + "деб": 34281, + "▁Еще": 34282, + "▁первую": 34283, + "ступления": 34284, + "соеди": 34285, + "▁препо": 34286, + "тона": 34287, + "▁заве": 34288, + "ностей": 34289, + "▁высоко": 34290, + "▁давно": 34291, + "▁располага": 34292, + "Ро": 34293, + "тябре": 34294, + "▁ого": 34295, + "ционного": 34296, + "ющиеся": 34297, + "влений": 34298, + "▁соответствии": 34299, + "▁моей": 34300, + "которы": 34301, + "▁охра": 34302, + "▁сокра": 34303, + "тической": 34304, + "▁переме": 34305, + "▁Именно": 34306, + "шек": 34307, + "▁исче": 34308, + "▁знамени": 34309, + "образова": 34310, + "тился": 34311, + "▁опять": 34312, + "▁ата": 34313, + "пят": 34314, + "▁выбра": 34315, + "ссив": 34316, + "рик": 34317, + "▁впечат": 34318, + "▁безу": 34319, + "▁Хотя": 34320, + "тиви": 34321, + "чиво": 34322, + "▁метров": 34323, + "▁ужа": 34324, + "тник": 34325, + "▁Основ": 34326, + "▁исследования": 34327, + "▁целом": 34328, + "▁Роди": 34329, + "▁радо": 34330, + "▁труда": 34331, + "▁преда": 34332, + "▁чуть": 34333, + "последствии": 34334, + "▁особо": 34335, + "▁вдруг": 34336, + "▁дел": 34337, + "прочем": 34338, + "пании": 34339, + "▁работает": 34340, + "тием": 34341, + "▁сайте": 34342, + "▁состояние": 34343, + "кса": 34344, + "жная": 34345, + "щать": 34346, + "дор": 34347, + "▁первым": 34348, + "зить": 34349, + "▁абсолю": 34350, + "бки": 34351, + "▁веду": 34352, + "▁удоб": 34353, + "тики": 34354, + "несе": 34355, + "гель": 34356, + "▁индивиду": 34357, + "цам": 34358, + "▁досто": 34359, + "▁сф": 34360, + "▁двумя": 34361, + "▁мага": 34362, + "▁рамках": 34363, + "▁главным": 34364, + "▁ору": 34365, + "▁сви": 34366, + "жению": 34367, + "▁упомина": 34368, + "▁положи": 34369, + "▁бед": 34370, + "дите": 34371, + "▁сопрово": 34372, + "Ра": 34373, + "▁преимуще": 34374, + "▁держа": 34375, + "▁образу": 34376, + "▁сама": 34377, + "▁Ги": 34378, + "▁карь": 34379, + "▁Совета": 34380, + "duced": 34381, + "▁уровня": 34382, + "▁сверх": 34383, + "▁жить": 34384, + "▁такая": 34385, + "нести": 34386, + "▁услу": 34387, + "▁артилле": 34388, + "▁монасты": 34389, + "▁депута": 34390, + "▁форме": 34391, + "пить": 34392, + "стати": 34393, + "▁жителей": 34394, + "▁людя": 34395, + "▁несмотря": 34396, + "пру": 34397, + "▁серд": 34398, + "▁Гра": 34399, + "▁Коро": 34400, + "▁указыва": 34401, + "▁спокой": 34402, + "Мо": 34403, + "▁ль": 34404, + "▁Их": 34405, + "▁наук": 34406, + "нены": 34407, + "▁гораздо": 34408, + "▁Авто": 34409, + "▁украин": 34410, + "▁инф": 34411, + "▁предме": 34412, + "▁совершен": 34413, + "▁Сте": 34414, + "▁Бар": 34415, + "сных": 34416, + "▁полага": 34417, + "сит": 34418, + "▁другого": 34419, + "▁замести": 34420, + "▁нена": 34421, + "▁сделал": 34422, + "▁голову": 34423, + "▁Им": 34424, + "▁позже": 34425, + "▁зара": 34426, + "▁тело": 34427, + "▁раза": 34428, + "жки": 34429, + "▁говорят": 34430, + "▁установ": 34431, + "▁правитель": 34432, + "▁Ведь": 34433, + "▁религиоз": 34434, + "▁создания": 34435, + "▁останови": 34436, + "▁Рабо": 34437, + "шил": 34438, + "▁знает": 34439, + "▁плохо": 34440, + "▁неф": 34441, + "циями": 34442, + "сные": 34443, + "емся": 34444, + "два": 34445, + "▁умень": 34446, + "▁чрез": 34447, + "сф": 34448, + "▁помощь": 34449, + "▁возгла": 34450, + "станти": 34451, + "ую": 34452, + "▁брига": 34453, + "▁яр": 34454, + "лением": 34455, + "▁слов": 34456, + "▁роман": 34457, + "вайте": 34458, + "тным": 34459, + "▁журнали": 34460, + "▁здоров": 34461, + "▁уровне": 34462, + "▁центр": 34463, + "▁ниже": 34464, + "▁молоды": 34465, + "тке": 34466, + "сова": 34467, + "ждении": 34468, + "▁последние": 34469, + "стить": 34470, + "ус": 34471, + "▁каким": 34472, + "груз": 34473, + "тербург": 34474, + "метров": 34475, + "▁подня": 34476, + "чена": 34477, + "▁Союза": 34478, + "тина": 34479, + "▁исключи": 34480, + "▁множество": 34481, + "▁систем": 34482, + "▁знал": 34483, + "ждать": 34484, + "▁ресур": 34485, + "бви": 34486, + "вка": 34487, + "▁далеко": 34488, + "писко": 34489, + "ствием": 34490, + "▁Тру": 34491, + "▁начали": 34492, + "▁дать": 34493, + "▁пропа": 34494, + "▁пережи": 34495, + "▁значения": 34496, + "▁движение": 34497, + "▁теории": 34498, + "▁назначен": 34499, + "мого": 34500, + "▁сначала": 34501, + "ственности": 34502, + "▁программы": 34503, + "▁развед": 34504, + "▁русской": 34505, + "▁лиц": 34506, + "▁канди": 34507, + "бай": 34508, + "▁Япо": 34509, + "спи": 34510, + "▁федера": 34511, + "реза": 34512, + "▁десяти": 34513, + "▁дни": 34514, + "тивного": 34515, + "▁женщин": 34516, + "▁употре": 34517, + "степенно": 34518, + "дной": 34519, + "▁долларов": 34520, + "▁относительно": 34521, + "нией": 34522, + "▁[/": 34523, + "▁Чем": 34524, + "чика": 34525, + "тивный": 34526, + "▁относя": 34527, + "жность": 34528, + "▁смотре": 34529, + "▁европей": 34530, + "сл": 34531, + "▁Москвы": 34532, + "▁рекомен": 34533, + "гро": 34534, + "ллю": 34535, + "▁главе": 34536, + "▁прото": 34537, + "▁прид": 34538, + "▁кандида": 34539, + "▁мастер": 34540, + "▁Це": 34541, + "▁горя": 34542, + "▁маль": 34543, + "▁Запад": 34544, + "▁операции": 34545, + "чая": 34546, + "▁бур": 34547, + "▁эмо": 34548, + "▁психи": 34549, + "▁документа": 34550, + "▁осно": 34551, + "▁Один": 34552, + "арь": 34553, + "▁ид": 34554, + "▁мел": 34555, + "▁отец": 34556, + "АН": 34557, + "▁животных": 34558, + "▁нами": 34559, + "▁самые": 34560, + "жены": 34561, + "▁страте": 34562, + "▁пишет": 34563, + "▁ще": 34564, + "▁фильм": 34565, + "▁страда": 34566, + "▁женщины": 34567, + "▁краси": 34568, + "▁Ши": 34569, + "▁погиб": 34570, + "▁вскоре": 34571, + "▁Гре": 34572, + "ствова": 34573, + "чью": 34574, + "▁литератур": 34575, + "тальян": 34576, + "тивные": 34577, + "▁процесса": 34578, + "▁Центра": 34579, + "▁Ана": 34580, + "▁месяцев": 34581, + "▁Согласно": 34582, + "▁денег": 34583, + "това": 34584, + "тает": 34585, + "▁доме": 34586, + "▁история": 34587, + "▁нер": 34588, + "▁пересе": 34589, + "▁сих": 34590, + "▁стандар": 34591, + "▁ночь": 34592, + "нте": 34593, + "бил": 34594, + "▁Россия": 34595, + "голь": 34596, + "▁истре": 34597, + "вшее": 34598, + "▁исполни": 34599, + "▁уто": 34600, + "▁турни": 34601, + "▁процен": 34602, + "▁юри": 34603, + "▁двор": 34604, + "▁Рус": 34605, + "▁фир": 34606, + "шев": 34607, + "▁отрица": 34608, + "ченных": 34609, + "тыми": 34610, + "▁испы": 34611, + "▁могла": 34612, + "▁построе": 34613, + "▁начало": 34614, + "▁разве": 34615, + "▁хоть": 34616, + "ссов": 34617, + "▁бле": 34618, + "▁иначе": 34619, + "ваясь": 34620, + "гни": 34621, + "чественной": 34622, + "▁социали": 34623, + "▁отца": 34624, + "▁чаще": 34625, + "▁языке": 34626, + "▁семьи": 34627, + "▁автома": 34628, + "▁революции": 34629, + "▁смерть": 34630, + "зен": 34631, + "▁большинство": 34632, + "▁русских": 34633, + "▁означает": 34634, + "▁парт": 34635, + "пя": 34636, + "▁выяс": 34637, + "тная": 34638, + "джи": 34639, + "▁улуч": 34640, + "ковых": 34641, + "▁оборудова": 34642, + "▁происхо": 34643, + "▁ини": 34644, + "embers": 34645, + "коми": 34646, + "▁Мини": 34647, + "▁смысле": 34648, + "▁сове": 34649, + "▁Сей": 34650, + "ногие": 34651, + "▁удовлет": 34652, + "▁путеше": 34653, + "▁многочисле": 34654, + "рыва": 34655, + "▁семье": 34656, + "▁крестьян": 34657, + "▁паро": 34658, + "▁организова": 34659, + "▁сигна": 34660, + "▁дивизии": 34661, + "▁любви": 34662, + "▁зависимости": 34663, + "▁чисто": 34664, + "▁тепло": 34665, + "▁мои": 34666, + "▁берегу": 34667, + "▁числа": 34668, + "▁отвер": 34669, + "ternational": 34670, + "▁напомина": 34671, + "▁последу": 34672, + "▁двадца": 34673, + "даль": 34674, + "▁согласно": 34675, + "▁видео": 34676, + "▁систему": 34677, + "▁сне": 34678, + "произ": 34679, + "▁делает": 34680, + "ина": 34681, + "▁компози": 34682, + "▁провин": 34683, + "▁Вме": 34684, + "▁избе": 34685, + "▁можете": 34686, + "▁отличие": 34687, + "▁подчер": 34688, + "▁субъек": 34689, + "▁зу": 34690, + "ждений": 34691, + "тку": 34692, + "▁Нью": 34693, + "▁значительно": 34694, + "тую": 34695, + "▁попада": 34696, + "▁уро": 34697, + "мимо": 34698, + "▁туда": 34699, + "▁Константи": 34700, + "▁содержи": 34701, + "стами": 34702, + "▁Конечно": 34703, + "▁упа": 34704, + "▁проекта": 34705, + "▁крепо": 34706, + "стров": 34707, + "нских": 34708, + "▁частью": 34709, + "▁мм": 34710, + "ченные": 34711, + "▁честь": 34712, + "хар": 34713, + "▁памяти": 34714, + "ложить": 34715, + "▁Фо": 34716, + "▁charact": 34717, + "▁взаимодей": 34718, + "▁проблема": 34719, + "бю": 34720, + "▁хле": 34721, + "бить": 34722, + "▁сет": 34723, + "зоваться": 34724, + "▁кисло": 34725, + "▁Верхов": 34726, + "▁проект": 34727, + "▁университета": 34728, + "фы": 34729, + "▁Ке": 34730, + "▁хими": 34731, + "▁законода": 34732, + "▁цвета": 34733, + "тите": 34734, + "▁модели": 34735, + "▁науки": 34736, + "ллек": 34737, + "питан": 34738, + "сшта": 34739, + "которые": 34740, + "▁проблем": 34741, + "ступление": 34742, + "ляции": 34743, + "стной": 34744, + "▁дис": 34745, + "брь": 34746, + "▁класса": 34747, + "менова": 34748, + "▁неизвест": 34749, + "льд": 34750, + "▁Жи": 34751, + "▁зам": 34752, + "ционные": 34753, + "▁какое": 34754, + "▁отря": 34755, + "▁расположе": 34756, + "титься": 34757, + "дови": 34758, + "▁каждой": 34759, + "▁Даже": 34760, + "щик": 34761, + "▁всеми": 34762, + "▁уровень": 34763, + "▁Вол": 34764, + "▁произошло": 34765, + "▁ев": 34766, + "▁лично": 34767, + "▁евре": 34768, + "▁рим": 34769, + "▁видов": 34770, + "вила": 34771, + "гал": 34772, + "▁предмет": 34773, + "▁можем": 34774, + "▁рекла": 34775, + "▁оказался": 34776, + "▁Пла": 34777, + "▁прош": 34778, + "рите": 34779, + "▁пят": 34780, + "▁напа": 34781, + "летия": 34782, + "pril": 34783, + "ленных": 34784, + "▁ниж": 34785, + "пой": 34786, + "▁Есть": 34787, + "▁заво": 34788, + "стые": 34789, + "лимпий": 34790, + "▁Кто": 34791, + "дьми": 34792, + "▁случи": 34793, + "▁завое": 34794, + "▁первом": 34795, + "▁объяви": 34796, + "▁дети": 34797, + "дный": 34798, + "цкий": 34799, + "▁никаких": 34800, + "луа": 34801, + "циони": 34802, + "▁британ": 34803, + "▁свидетель": 34804, + "▁коне": 34805, + "чает": 34806, + "▁существу": 34807, + "ОР": 34808, + "▁Бело": 34809, + "▁влияние": 34810, + "▁Пар": 34811, + "▁Сред": 34812, + "▁итоге": 34813, + "▁службы": 34814, + "Но": 34815, + "▁полка": 34816, + "довать": 34817, + "▁бор": 34818, + "женный": 34819, + "▁член": 34820, + "▁жена": 34821, + "▁президент": 34822, + "▁произведения": 34823, + "жё": 34824, + "▁вышел": 34825, + "▁острова": 34826, + "▁зри": 34827, + "▁Ше": 34828, + "▁видел": 34829, + "▁сня": 34830, + "▁предна": 34831, + "▁дороги": 34832, + "ланд": 34833, + "▁препода": 34834, + "понен": 34835, + "▁получили": 34836, + "▁настолько": 34837, + "эр": 34838, + "ётся": 34839, + "▁принял": 34840, + "▁различные": 34841, + "мера": 34842, + "▁Можно": 34843, + "▁обнару": 34844, + "▁сохрани": 34845, + "▁твер": 34846, + "щал": 34847, + "▁библиоте": 34848, + "тельными": 34849, + "нением": 34850, + "ционный": 34851, + "цом": 34852, + "▁зер": 34853, + "шается": 34854, + "чений": 34855, + "▁дает": 34856, + "▁Май": 34857, + "▁функции": 34858, + "▁демон": 34859, + "▁мл": 34860, + "чий": 34861, + "▁северо": 34862, + "▁солдат": 34863, + "КА": 34864, + "▁сцена": 34865, + "▁живу": 34866, + "ственность": 34867, + "вере": 34868, + "▁метал": 34869, + "▁объя": 34870, + "▁Николай": 34871, + "▁следующий": 34872, + "ленной": 34873, + "▁оке": 34874, + "▁создать": 34875, + "▁каких": 34876, + "ходы": 34877, + "нтов": 34878, + "лив": 34879, + "рачи": 34880, + "▁машины": 34881, + "▁Лон": 34882, + "▁establ": 34883, + "см": 34884, + "▁Мин": 34885, + "▁Пол": 34886, + "▁ребенка": 34887, + "▁войне": 34888, + "▁правительство": 34889, + "▁священ": 34890, + "▁электри": 34891, + "▁мной": 34892, + "▁хочет": 34893, + "▁прочи": 34894, + "▁проя": 34895, + "▁свер": 34896, + "▁подгото": 34897, + "▁воздуш": 34898, + "низ": 34899, + "▁опы": 34900, + "▁сча": 34901, + "▁сообщил": 34902, + "▁каби": 34903, + "▁Шу": 34904, + "▁мое": 34905, + "▁событий": 34906, + "▁суда": 34907, + "дыду": 34908, + "ниципа": 34909, + "▁сотрудни": 34910, + "▁Андре": 34911, + "▁противоре": 34912, + "▁присоеди": 34913, + "▁фронта": 34914, + "▁гар": 34915, + "▁большое": 34916, + "▁военных": 34917, + "вью": 34918, + "▁корре": 34919, + "▁вещи": 34920, + "▁удар": 34921, + "▁психологи": 34922, + "▁бит": 34923, + "виться": 34924, + "кру": 34925, + "щиков": 34926, + "▁план": 34927, + "▁небе": 34928, + "▁Мон": 34929, + "▁неожида": 34930, + "▁добы": 34931, + "▁разные": 34932, + "▁усили": 34933, + "▁путем": 34934, + "стных": 34935, + "▁преж": 34936, + "тории": 34937, + "кипа": 34938, + "▁гвар": 34939, + "▁предела": 34940, + "▁человеком": 34941, + "жат": 34942, + "▁демокра": 34943, + "▁взгляд": 34944, + "▁циф": 34945, + "тельном": 34946, + "тков": 34947, + "▁книге": 34948, + "щаться": 34949, + "тит": 34950, + "▁членов": 34951, + "▁Джон": 34952, + "▁важно": 34953, + "▁которыми": 34954, + "▁компания": 34955, + "луй": 34956, + "оны": 34957, + "▁максима": 34958, + "▁Сергей": 34959, + "строи": 34960, + "шке": 34961, + "▁сочи": 34962, + "▁учё": 34963, + "верь": 34964, + "щими": 34965, + "▁распоря": 34966, + "▁историю": 34967, + "▁людьми": 34968, + "▁использования": 34969, + "ходов": 34970, + "веден": 34971, + "▁подраз": 34972, + "▁описы": 34973, + "▁опа": 34974, + "▁ближай": 34975, + "▁статьи": 34976, + "▁поводу": 34977, + "▁русского": 34978, + "▁имели": 34979, + "бок": 34980, + "▁написал": 34981, + "▁вести": 34982, + "▁изгото": 34983, + "▁переста": 34984, + "▁ува": 34985, + "▁сопроти": 34986, + "▁виду": 34987, + "▁рассмотре": 34988, + "▁процессе": 34989, + "▁вовсе": 34990, + "▁покупа": 34991, + "▁Европе": 34992, + "▁борьбы": 34993, + "жное": 34994, + "ходе": 34995, + "▁всему": 34996, + "▁юго": 34997, + "▁фотографи": 34998, + "▁спустя": 34999, + "▁отношений": 35000, + "▁москов": 35001, + "▁кому": 35002, + "▁позиции": 35003, + "лями": 35004, + "▁условия": 35005, + "▁индивидуаль": 35006, + "▁другое": 35007, + "▁системе": 35008, + "▁солн": 35009, + "▁секу": 35010, + "▁выход": 35011, + "▁газе": 35012, + "▁запро": 35013, + "▁начинает": 35014, + "ческому": 35015, + "стики": 35016, + "▁Иван": 35017, + "разу": 35018, + "лять": 35019, + "▁мать": 35020, + "▁людям": 35021, + "▁необы": 35022, + "дал": 35023, + "ВА": 35024, + "ственном": 35025, + "▁президента": 35026, + "лон": 35027, + "кали": 35028, + "ведений": 35029, + "▁экспер": 35030, + "▁вен": 35031, + "▁обороны": 35032, + "парта": 35033, + "▁концеп": 35034, + "бель": 35035, + "▁моя": 35036, + "▁знать": 35037, + "ТАСС": 35038, + "▁увиде": 35039, + "▁веро": 35040, + "влять": 35041, + "сив": 35042, + "ждая": 35043, + "▁столько": 35044, + "▁Почему": 35045, + "▁принять": 35046, + "▁станции": 35047, + "▁постепенно": 35048, + "▁Ад": 35049, + "▁временем": 35050, + "чиков": 35051, + "бир": 35052, + "▁последний": 35053, + "▁требования": 35054, + "▁предыду": 35055, + "▁Республики": 35056, + "▁причем": 35057, + "▁философи": 35058, + "▁задачи": 35059, + "▁проявля": 35060, + "▁обрабо": 35061, + "▁осозна": 35062, + "▁Сталин": 35063, + "▁хро": 35064, + "▁брат": 35065, + "▁остается": 35066, + "фикации": 35067, + "филь": 35068, + "нули": 35069, + "▁удиви": 35070, + "▁общем": 35071, + "▁коммуни": 35072, + "▁заслу": 35073, + "▁цве": 35074, + "форм": 35075, + "ницей": 35076, + "▁чувство": 35077, + "▁кле": 35078, + "▁Ита": 35079, + "▁кров": 35080, + "▁величи": 35081, + "ссажи": 35082, + "▁неве": 35083, + "▁сосед": 35084, + "▁перегово": 35085, + "▁Великой": 35086, + "▁связь": 35087, + "▁фильма": 35088, + "дка": 35089, + "▁голов": 35090, + "вале": 35091, + "▁пого": 35092, + "ваний": 35093, + "▁Госпо": 35094, + "▁вроде": 35095, + "▁особы": 35096, + "▁большую": 35097, + "даго": 35098, + "бина": 35099, + "▁итальян": 35100, + "▁таком": 35101, + "▁наслед": 35102, + "▁воспита": 35103, + "нную": 35104, + "▁фанта": 35105, + "▁клуб": 35106, + "▁энергии": 35107, + "женных": 35108, + "▁возбу": 35109, + "тю": 35110, + "пень": 35111, + "▁архитек": 35112, + "гий": 35113, + "▁девя": 35114, + "суль": 35115, + "▁ясно": 35116, + "▁зи": 35117, + "жела": 35118, + "▁информацию": 35119, + "сток": 35120, + "▁тка": 35121, + "Ве": 35122, + "▁Оста": 35123, + "стых": 35124, + "▁запи": 35125, + "▁поднима": 35126, + "ственную": 35127, + "▁Пушки": 35128, + "▁будем": 35129, + "ново": 35130, + "▁наше": 35131, + "лку": 35132, + "▁Велико": 35133, + "▁одино": 35134, + "▁Потом": 35135, + "▁фина": 35136, + "▁попыт": 35137, + "плуа": 35138, + "▁выво": 35139, + "▁вернулся": 35140, + "меется": 35141, + "▁сына": 35142, + "▁полков": 35143, + "вленные": 35144, + "лое": 35145, + "ненных": 35146, + "рхи": 35147, + "ждён": 35148, + "▁китай": 35149, + "▁восстано": 35150, + "рые": 35151, + "▁КП": 35152, + "гно": 35153, + "▁Благо": 35154, + "катери": 35155, + "▁потен": 35156, + "▁империи": 35157, + "бин": 35158, + "▁общей": 35159, + "риаль": 35160, + "▁станет": 35161, + "▁навер": 35162, + "▁необходимости": 35163, + "Бо": 35164, + "▁факт": 35165, + "▁парла": 35166, + "▁наказа": 35167, + "види": 35168, + "▁сердце": 35169, + "▁Второй": 35170, + "▁режисс": 35171, + "▁стен": 35172, + "▁поверхности": 35173, + "поста": 35174, + "▁дове": 35175, + "▁имуще": 35176, + "шении": 35177, + "▁Первый": 35178, + "▁муниципа": 35179, + "▁Национа": 35180, + "стного": 35181, + "▁офице": 35182, + "▁души": 35183, + "▁еврей": 35184, + "▁Послед": 35185, + "▁мысль": 35186, + "стической": 35187, + "▁рома": 35188, + "▁пье": 35189, + "▁Кри": 35190, + "▁материаль": 35191, + "▁дал": 35192, + "ваем": 35193, + "лне": 35194, + "▁Некоторые": 35195, + "видно": 35196, + "▁обре": 35197, + "зды": 35198, + "шал": 35199, + "▁органов": 35200, + "▁выигра": 35201, + "▁сети": 35202, + "▁опо": 35203, + "▁писатель": 35204, + "ration": 35205, + "▁уди": 35206, + "начально": 35207, + "▁отношение": 35208, + "▁прис": 35209, + "▁руку": 35210, + "рода": 35211, + "▁спек": 35212, + "▁устанавли": 35213, + "▁уголов": 35214, + "▁опро": 35215, + "▁сос": 35216, + "▁используется": 35217, + "▁круг": 35218, + "нется": 35219, + "нье": 35220, + "емая": 35221, + "▁косми": 35222, + "▁подума": 35223, + "жь": 35224, + "▁Отечественной": 35225, + "▁Александра": 35226, + "▁озе": 35227, + "▁времена": 35228, + "▁природы": 35229, + "бль": 35230, + "▁направлении": 35231, + "▁выпуска": 35232, + "▁баталь": 35233, + "нился": 35234, + "▁воск": 35235, + "вляется": 35236, + "▁сборной": 35237, + "чев": 35238, + "▁месяца": 35239, + "Са": 35240, + "▁руках": 35241, + "▁крови": 35242, + "▁домой": 35243, + "▁шесть": 35244, + "ront": 35245, + "ниям": 35246, + "▁суме": 35247, + "▁судеб": 35248, + "▁кафе": 35249, + "▁партий": 35250, + "▁включая": 35251, + "▁качества": 35252, + "▁оба": 35253, + "▁проз": 35254, + "▁чувства": 35255, + "▁словами": 35256, + "▁сравни": 35257, + "ждает": 35258, + "долго": 35259, + "▁личности": 35260, + "▁внимания": 35261, + "▁относится": 35262, + "дных": 35263, + "▁раскры": 35264, + "▁Стра": 35265, + "▁идеи": 35266, + "вшую": 35267, + "reet": 35268, + "ЕН": 35269, + "▁космо": 35270, + "▁распреде": 35271, + "▁акт": 35272, + "стям": 35273, + "▁совета": 35274, + "меры": 35275, + "кции": 35276, + "▁привле": 35277, + "▁хочу": 35278, + "▁странах": 35279, + "▁отме": 35280, + "надцать": 35281, + "▁любовь": 35282, + "редо": 35283, + "ктором": 35284, + "▁находятся": 35285, + "тим": 35286, + "▁приказа": 35287, + "▁жили": 35288, + "вычай": 35289, + "▁касается": 35290, + "МИ": 35291, + "▁причина": 35292, + "кров": 35293, + "▁вое": 35294, + "▁возраста": 35295, + "▁заседа": 35296, + "▁приходится": 35297, + "▁слы": 35298, + "▁действу": 35299, + "▁землю": 35300, + "\\.": 35301, + "▁письмо": 35302, + "▁вероятно": 35303, + "чили": 35304, + "▁Сейчас": 35305, + "▁вперед": 35306, + "сная": 35307, + "▁рису": 35308, + "дре": 35309, + "нными": 35310, + "▁большим": 35311, + "▁срок": 35312, + "▁Несмотря": 35313, + "йдет": 35314, + "▁Тро": 35315, + "▁смысл": 35316, + "вшейся": 35317, + "бами": 35318, + "▁сообщает": 35319, + "▁русский": 35320, + "▁подви": 35321, + "▁женщина": 35322, + "▁предприятия": 35323, + "▁истреби": 35324, + "▁ам": 35325, + "▁зави": 35326, + "▁запо": 35327, + "▁превы": 35328, + "▁пала": 35329, + "тического": 35330, + "▁ТА": 35331, + "нность": 35332, + "сторон": 35333, + "▁карто": 35334, + "▁Лит": 35335, + "▁Санкт": 35336, + "Да": 35337, + "▁момента": 35338, + "▁домаш": 35339, + "пки": 35340, + "▁академи": 35341, + "сыпа": 35342, + "▁посред": 35343, + "ос": 35344, + "щихся": 35345, + "▁названием": 35346, + "▁Алексе": 35347, + "▁порядке": 35348, + "▁действие": 35349, + "▁Сам": 35350, + "▁вслед": 35351, + "▁широко": 35352, + "рядок": 35353, + "водят": 35354, + "▁беско": 35355, + "▁середине": 35356, + "▁трак": 35357, + "втра": 35358, + "▁секрета": 35359, + "arried": 35360, + "▁Англии": 35361, + "▁трудо": 35362, + "▁Ман": 35363, + "нейших": 35364, + "▁лоша": 35365, + "До": 35366, + "суаль": 35367, + "▁позволи": 35368, + "щены": 35369, + "▁видеть": 35370, + "▁каз": 35371, + "▁протяжении": 35372, + "▁Михай": 35373, + "▁зво": 35374, + "▁стороне": 35375, + "▁инициа": 35376, + "стана": 35377, + "интере": 35378, + "▁связан": 35379, + "ВД": 35380, + "▁пресс": 35381, + "▁моно": 35382, + "▁неуда": 35383, + "днев": 35384, + "▁Может": 35385, + "роприя": 35386, + "▁результат": 35387, + "▁далее": 35388, + "▁захо": 35389, + "▁сда": 35390, + "дру": 35391, + "▁дипло": 35392, + "ходила": 35393, + "нена": 35394, + "▁находился": 35395, + "▁речи": 35396, + "▁получила": 35397, + "ченный": 35398, + "лете": 35399, + "▁масшта": 35400, + "ющийся": 35401, + "▁сущ": 35402, + "▁очи": 35403, + "▁новое": 35404, + "▁общего": 35405, + "▁бывает": 35406, + "новения": 35407, + "▁задача": 35408, + "▁друзья": 35409, + "▁Геор": 35410, + "стического": 35411, + "пустить": 35412, + "▁гри": 35413, + "▁республи": 35414, + "▁любы": 35415, + "▁зависит": 35416, + "▁мора": 35417, + "▁транс": 35418, + "▁стихи": 35419, + "вшегося": 35420, + "▁меж": 35421, + "▁жесто": 35422, + "▁центре": 35423, + "нодоро": 35424, + "▁поступа": 35425, + "товой": 35426, + "кает": 35427, + "пно": 35428, + "кана": 35429, + "стье": 35430, + "▁концов": 35431, + "▁рабочих": 35432, + "▁транспорт": 35433, + "▁площадь": 35434, + "▁конфлик": 35435, + "ruary": 35436, + "ологии": 35437, + "▁посмотре": 35438, + "ждается": 35439, + "гая": 35440, + "▁воду": 35441, + "uthor": 35442, + "▁Екатери": 35443, + "мену": 35444, + "▁Серге": 35445, + "▁нема": 35446, + "▁миллионов": 35447, + "тиру": 35448, + "▁кг": 35449, + "▁округа": 35450, + "▁Многие": 35451, + "▁охо": 35452, + "▁терро": 35453, + "▁испыты": 35454, + "енси": 35455, + "▁Дан": 35456, + "▁осве": 35457, + "▁версии": 35458, + "▁Джо": 35459, + "▁Наи": 35460, + "жется": 35461, + "▁весе": 35462, + "фей": 35463, + "▁гря": 35464, + "▁клет": 35465, + "▁родился": 35466, + "▁правда": 35467, + "▁оказалось": 35468, + "▁света": 35469, + "▁подъ": 35470, + "поле": 35471, + "гали": 35472, + "дные": 35473, + "бий": 35474, + "▁положения": 35475, + "▁избира": 35476, + "ИН": 35477, + "барди": 35478, + "▁отдельных": 35479, + "▁возрасте": 35480, + "▁Кла": 35481, + "▁глаз": 35482, + "▁реша": 35483, + "жается": 35484, + "▁справед": 35485, + "▁Кур": 35486, + "▁литературы": 35487, + "▁доче": 35488, + "▁manag": 35489, + "▁Или": 35490, + "▁Полу": 35491, + "зой": 35492, + "▁повторя": 35493, + "тения": 35494, + "▁предупре": 35495, + "▁пехо": 35496, + "▁Обра": 35497, + "▁марш": 35498, + "сторо": 35499, + "▁моего": 35500, + "▁приводит": 35501, + "▁эксплуа": 35502, + "дного": 35503, + "хан": 35504, + "▁улы": 35505, + "▁считать": 35506, + "▁машин": 35507, + "стую": 35508, + "новен": 35509, + "▁улице": 35510, + "▁большие": 35511, + "▁впоследствии": 35512, + "▁считает": 35513, + "▁учили": 35514, + "▁веке": 35515, + "▁музе": 35516, + "ваю": 35517, + "▁экипа": 35518, + "лист": 35519, + "▁основных": 35520, + "брита": 35521, + "▁взять": 35522, + "▁брать": 35523, + "чали": 35524, + "АР": 35525, + "ступить": 35526, + "ково": 35527, + "рово": 35528, + "▁яко": 35529, + "▁цель": 35530, + "▁магази": 35531, + "▁защиты": 35532, + "▁должность": 35533, + "▁доб": 35534, + "▁страш": 35535, + "▁игру": 35536, + "горь": 35537, + "люби": 35538, + "оборот": 35539, + "зяй": 35540, + "▁тысячи": 35541, + "▁глава": 35542, + "▁красо": 35543, + "▁программ": 35544, + "▁корпуса": 35545, + "няют": 35546, + "▁часа": 35547, + "▁ока": 35548, + "лены": 35549, + "▁Ино": 35550, + "▁редко": 35551, + "▁поддержа": 35552, + "▁Возможно": 35553, + "▁пригото": 35554, + "▁трёх": 35555, + "▁прида": 35556, + "вленных": 35557, + "▁Бога": 35558, + "вшими": 35559, + "▁Фу": 35560, + "ревнова": 35561, + "▁окра": 35562, + "▁война": 35563, + "▁математи": 35564, + "▁исчез": 35565, + "▁буква": 35566, + "▁мероприя": 35567, + "▁политики": 35568, + "▁могло": 35569, + "▁прем": 35570, + "▁снима": 35571, + "▁клуба": 35572, + "▁частей": 35573, + "▁сочета": 35574, + "▁Сы": 35575, + "▁результаты": 35576, + "▁сожа": 35577, + "пора": 35578, + "▁список": 35579, + "▁привлека": 35580, + "▁раство": 35581, + "лую": 35582, + "▁пассажи": 35583, + "рги": 35584, + "▁теоре": 35585, + "▁клиен": 35586, + "▁сведения": 35587, + "кура": 35588, + "▁бар": 35589, + "▁Дей": 35590, + "▁опублико": 35591, + "▁казалось": 35592, + "▁воспринима": 35593, + "▁Аб": 35594, + "ОЛ": 35595, + "печа": 35596, + "▁называется": 35597, + "▁советский": 35598, + "▁атмо": 35599, + "тельств": 35600, + "лга": 35601, + "▁предпринима": 35602, + "▁зад": 35603, + "▁противополо": 35604, + "щество": 35605, + "▁агре": 35606, + "▁патри": 35607, + "▁главное": 35608, + "дыха": 35609, + "▁вспомина": 35610, + "▁соору": 35611, + "▁народов": 35612, + "▁тюрь": 35613, + "▁гости": 35614, + "▁Пав": 35615, + "емое": 35616, + "дио": 35617, + "▁словно": 35618, + "▁Более": 35619, + "рией": 35620, + "▁длин": 35621, + "▁память": 35622, + "▁местах": 35623, + "▁изобре": 35624, + "▁направления": 35625, + "▁интеллек": 35626, + "▁Три": 35627, + "▁завод": 35628, + "▁Михаил": 35629, + "дли": 35630, + "▁ску": 35631, + "▁ассо": 35632, + "▁цивили": 35633, + "▁Уже": 35634, + "мок": 35635, + "ризо": 35636, + "▁вида": 35637, + "▁попыта": 35638, + "▁военной": 35639, + "▁штур": 35640, + "▁кризи": 35641, + "Про": 35642, + "▁Нор": 35643, + "нё": 35644, + "▁незна": 35645, + "мель": 35646, + "ема": 35647, + "равда": 35648, + "▁Гит": 35649, + "▁философ": 35650, + "▁копи": 35651, + "▁гло": 35652, + "▁плат": 35653, + "▁аэро": 35654, + "▁оружия": 35655, + "▁точ": 35656, + "▁юриди": 35657, + "мани": 35658, + "▁непосредственно": 35659, + "▁мер": 35660, + "▁бизнес": 35661, + "▁вспом": 35662, + "▁разде": 35663, + "неве": 35664, + "▁рей": 35665, + "▁месяц": 35666, + "стные": 35667, + "▁Великобрита": 35668, + "▁второго": 35669, + "цеп": 35670, + "▁общи": 35671, + "вии": 35672, + "ера": 35673, + "▁такую": 35674, + "▁Итак": 35675, + "жала": 35676, + "▁церковь": 35677, + "▁Гру": 35678, + "обла": 35679, + "ненно": 35680, + "▁слабо": 35681, + "▁Советского": 35682, + "▁опла": 35683, + "▁ответил": 35684, + "▁новую": 35685, + "▁Даль": 35686, + "▁выбор": 35687, + "▁состояния": 35688, + "▁скорость": 35689, + "▁табли": 35690, + "▁борьбе": 35691, + "▁торгов": 35692, + "▁одинако": 35693, + "▁Кали": 35694, + "▁прием": 35695, + "стая": 35696, + "▁большей": 35697, + "tended": 35698, + "▁посети": 35699, + "ятся": 35700, + "▁установлен": 35701, + "▁большая": 35702, + "чики": 35703, + "▁победи": 35704, + "тесь": 35705, + "ковые": 35706, + "▁чере": 35707, + "▁разгово": 35708, + "▁агент": 35709, + "щена": 35710, + "▁паци": 35711, + "▁больших": 35712, + "вера": 35713, + "блен": 35714, + "▁чинов": 35715, + "▁самоу": 35716, + "тение": 35717, + "служ": 35718, + "как": 35719, + "вку": 35720, + "леку": 35721, + "Па": 35722, + "▁чрезвычай": 35723, + "▁жан": 35724, + "смотри": 35725, + "рота": 35726, + "▁Доб": 35727, + "▁обязательно": 35728, + "▁мг": 35729, + "urther": 35730, + "▁десять": 35731, + "▁техники": 35732, + "цкого": 35733, + "▁продви": 35734, + "сила": 35735, + "▁Дон": 35736, + "▁человеку": 35737, + "▁нач": 35738, + "▁школе": 35739, + "▁превос": 35740, + "▁ред": 35741, + "▁Москву": 35742, + "▁графи": 35743, + "▁теря": 35744, + "▁руководством": 35745, + "лича": 35746, + "Го": 35747, + "▁королев": 35748, + "▁опти": 35749, + "лович": 35750, + "▁серви": 35751, + "▁Прави": 35752, + "ходило": 35753, + "пто": 35754, + "▁регуляр": 35755, + "inning": 35756, + "йна": 35757, + "▁обстанов": 35758, + "▁избран": 35759, + "▁аналоги": 35760, + "▁лагер": 35761, + "▁силь": 35762, + "▁войну": 35763, + "▁аресто": 35764, + "▁прогре": 35765, + "▁Красно": 35766, + "▁предназна": 35767, + "▁мяг": 35768, + "▁ноги": 35769, + "мол": 35770, + "▁оказались": 35771, + "▁называют": 35772, + "щений": 35773, + "▁смог": 35774, + "▁прово": 35775, + "▁Мор": 35776, + "▁удоволь": 35777, + "▁астро": 35778, + "▁энерги": 35779, + "▁эпизо": 35780, + "▁модель": 35781, + "риста": 35782, + "▁вес": 35783, + "▁педаго": 35784, + "свя": 35785, + "▁основной": 35786, + "бера": 35787, + "▁желе": 35788, + "▁выдви": 35789, + "ума": 35790, + "▁пару": 35791, + "▁расти": 35792, + "▁супру": 35793, + "▁государственной": 35794, + "▁Geor": 35795, + "▁Фор": 35796, + "▁фами": 35797, + "▁образование": 35798, + "гут": 35799, + "ждый": 35800, + "жную": 35801, + "▁боевых": 35802, + "гают": 35803, + "▁ЦК": 35804, + "роз": 35805, + "▁дево": 35806, + "stit": 35807, + "един": 35808, + "▁резко": 35809, + "▁преодо": 35810, + "▁стрелко": 35811, + "▁иллю": 35812, + "▁мнение": 35813, + "▁книгу": 35814, + "▁отношению": 35815, + "▁свойства": 35816, + "▁дочь": 35817, + "▁прось": 35818, + "▁Тол": 35819, + "▁требует": 35820, + "нула": 35821, + "▁серии": 35822, + "▁Вар": 35823, + "▁первое": 35824, + "пля": 35825, + "▁огонь": 35826, + "▁счаст": 35827, + "▁площади": 35828, + "аз": 35829, + "кер": 35830, + "редото": 35831, + "▁крайней": 35832, + "ковского": 35833, + "щают": 35834, + "▁Впрочем": 35835, + "рованных": 35836, + "терпе": 35837, + "▁построен": 35838, + "▁короля": 35839, + "шений": 35840, + "▁герман": 35841, + "тную": 35842, + "▁экра": 35843, + "гети": 35844, + "▁видно": 35845, + "▁общество": 35846, + "▁сезона": 35847, + "▁зеле": 35848, + "снова": 35849, + "▁оправ": 35850, + "Ми": 35851, + "▁жало": 35852, + "жая": 35853, + "жели": 35854, + "▁какая": 35855, + "▁брон": 35856, + "▁Коми": 35857, + "▁шести": 35858, + "▁говорится": 35859, + "▁Смо": 35860, + "▁гео": 35861, + "▁письма": 35862, + "тическим": 35863, + "▁РС": 35864, + "▁компонен": 35865, + "против": 35866, + "▁экспеди": 35867, + "▁Международ": 35868, + "▁идти": 35869, + "▁нынеш": 35870, + "▁маршру": 35871, + "▁какого": 35872, + "▁попы": 35873, + "▁экспо": 35874, + "▁военного": 35875, + "▁воспомина": 35876, + "▁Испо": 35877, + "▁оказывается": 35878, + "▁состава": 35879, + "▁Италии": 35880, + "лыми": 35881, + "▁думаю": 35882, + "▁Ленина": 35883, + "▁предвари": 35884, + "▁оригина": 35885, + "▁пояс": 35886, + "▁главный": 35887, + "ченко": 35888, + "▁помочь": 35889, + "▁эми": 35890, + "▁говорили": 35891, + "▁плен": 35892, + "▁коль": 35893, + "▁Бог": 35894, + "▁схе": 35895, + "рика": 35896, + "▁собственно": 35897, + "▁промышленности": 35898, + "▁зато": 35899, + "▁стек": 35900, + "▁крайне": 35901, + "▁четырех": 35902, + "▁спраши": 35903, + "uted": 35904, + "▁едва": 35905, + "▁настрое": 35906, + "никах": 35907, + "▁увидеть": 35908, + "▁создание": 35909, + "▁стрем": 35910, + "▁чемпионата": 35911, + "▁теку": 35912, + "▁леген": 35913, + "▁убеди": 35914, + "▁ВВ": 35915, + "▁представления": 35916, + "▁Фили": 35917, + "▁продолжи": 35918, + "▁объектов": 35919, + "▁Был": 35920, + "▁края": 35921, + "▁наступа": 35922, + "вив": 35923, + "няли": 35924, + "▁следующие": 35925, + "пти": 35926, + "▁своё": 35927, + "хозяй": 35928, + "▁парти": 35929, + "▁Сов": 35930, + "▁вариант": 35931, + "▁корабля": 35932, + "▁исключительно": 35933, + "▁Челове": 35934, + "▁Афри": 35935, + "рили": 35936, + "▁Кре": 35937, + "▁никакого": 35938, + "зил": 35939, + "▁эска": 35940, + "▁элемента": 35941, + "▁креп": 35942, + "ровка": 35943, + "▁Цер": 35944, + "ствий": 35945, + "▁Зе": 35946, + "ждены": 35947, + "жено": 35948, + "▁кара": 35949, + "льности": 35950, + "▁Ры": 35951, + "тельством": 35952, + "▁какую": 35953, + "▁соревнова": 35954, + "▁Тут": 35955, + "▁железнодоро": 35956, + "мысле": 35957, + "▁Слу": 35958, + "▁проходит": 35959, + "▁втор": 35960, + "▁вероят": 35961, + "техни": 35962, + "ъя": 35963, + "▁нарко": 35964, + "шению": 35965, + "▁успеш": 35966, + "▁Бри": 35967, + "▁Гар": 35968, + "▁участников": 35969, + "▁Ря": 35970, + "вляют": 35971, + "▁жил": 35972, + "▁неде": 35973, + "▁резер": 35974, + "▁проведе": 35975, + "менить": 35976, + "▁данном": 35977, + "сел": 35978, + "▁ке": 35979, + "▁крупных": 35980, + "▁особенности": 35981, + "▁Сегодня": 35982, + "▁писать": 35983, + "▁пласти": 35984, + "▁затра": 35985, + "вёл": 35986, + "терна": 35987, + "▁первая": 35988, + "▁выделя": 35989, + "▁элементов": 35990, + "▁трав": 35991, + "▁увидел": 35992, + "дует": 35993, + "рованы": 35994, + "ковский": 35995, + "▁некоторое": 35996, + "▁понял": 35997, + "▁эволю": 35998, + "жена": 35999, + "▁порядка": 36000, + "кле": 36001, + "▁сказала": 36002, + "щему": 36003, + "▁Генера": 36004, + "▁природ": 36005, + "▁отметил": 36006, + "▁жел": 36007, + "▁возникает": 36008, + "▁Тер": 36009, + "поте": 36010, + "▁Моло": 36011, + "▁устройства": 36012, + "шением": 36013, + "▁сложи": 36014, + "лке": 36015, + "чиная": 36016, + "▁чемпионате": 36017, + "▁позднее": 36018, + "серва": 36019, + "▁млрд": 36020, + "▁команда": 36021, + "▁селе": 36022, + "▁спорт": 36023, + "▁разум": 36024, + "▁свободы": 36025, + "▁еписко": 36026, + "▁Перед": 36027, + "▁сельского": 36028, + "▁зака": 36029, + "полу": 36030, + "▁чему": 36031, + "тились": 36032, + "▁наста": 36033, + "▁пребы": 36034, + "коль": 36035, + "части": 36036, + "▁пришел": 36037, + "вол": 36038, + "РА": 36039, + "▁болезни": 36040, + "▁млад": 36041, + "лло": 36042, + "▁конец": 36043, + "▁поиска": 36044, + "тана": 36045, + "вленный": 36046, + "евского": 36047, + "йтесь": 36048, + "▁рассу": 36049, + "вёр": 36050, + "нном": 36051, + "▁поведения": 36052, + "▁откуда": 36053, + "НО": 36054, + "▁количества": 36055, + "▁учиты": 36056, + "▁нечто": 36057, + "▁рождения": 36058, + "▁исследований": 36059, + "тье": 36060, + "▁сформи": 36061, + "▁службу": 36062, + "тябрь": 36063, + "▁полной": 36064, + "сное": 36065, + "▁производство": 36066, + "сыла": 36067, + "коле": 36068, + "▁Роб": 36069, + "▁водой": 36070, + "стера": 36071, + "▁ряда": 36072, + "▁Изра": 36073, + "▁молодо": 36074, + "роваться": 36075, + "▁пусть": 36076, + "▁должности": 36077, + "▁конкурен": 36078, + "цио": 36079, + "лож": 36080, + "сюда": 36081, + "▁недели": 36082, + "▁книг": 36083, + "мит": 36084, + "▁развер": 36085, + "▁книга": 36086, + "▁окончания": 36087, + "▁памят": 36088, + "▁отдела": 36089, + "▁ТАСС": 36090, + "▁тща": 36091, + "▁пет": 36092, + "▁ох": 36093, + "▁Поз": 36094, + "ань": 36095, + "▁деревя": 36096, + "▁Правда": 36097, + "нета": 36098, + "пил": 36099, + "▁Василь": 36100, + "▁начальник": 36101, + "▁характера": 36102, + "▁несо": 36103, + "▁Макси": 36104, + "▁метод": 36105, + "▁пусты": 36106, + "▁слыша": 36107, + "▁титу": 36108, + "▁задержа": 36109, + "чился": 36110, + "▁Кара": 36111, + "▁гаран": 36112, + "ьев": 36113, + "\"[": 36114, + "рень": 36115, + "думы": 36116, + "▁стати": 36117, + "ниться": 36118, + "▁бомбарди": 36119, + "новение": 36120, + "▁пило": 36121, + "мому": 36122, + "▁нака": 36123, + "▁вось": 36124, + "▁запу": 36125, + "ванию": 36126, + "женные": 36127, + "▁случаев": 36128, + "▁спросил": 36129, + "▁полк": 36130, + "▁обозна": 36131, + "дете": 36132, + "▁наша": 36133, + "▁публика": 36134, + "▁решили": 36135, + "▁государство": 36136, + "честве": 36137, + "▁преобразова": 36138, + "▁представителей": 36139, + "стен": 36140, + "говари": 36141, + "▁восем": 36142, + "▁регули": 36143, + "нями": 36144, + "▁никак": 36145, + "▁порядок": 36146, + "▁укреп": 36147, + "личия": 36148, + "▁обстоятельства": 36149, + "Та": 36150, + "мато": 36151, + "дим": 36152, + "дея": 36153, + "▁текст": 36154, + "ЕЛ": 36155, + "Йор": 36156, + "сения": 36157, + "▁начинается": 36158, + "▁периода": 36159, + "жают": 36160, + "стры": 36161, + "▁слуша": 36162, + "емым": 36163, + "▁явно": 36164, + "лера": 36165, + "душ": 36166, + "▁факуль": 36167, + "▁Хи": 36168, + "▁выбира": 36169, + "рабаты": 36170, + "словно": 36171, + "▁принято": 36172, + "▁одному": 36173, + "▁реа": 36174, + "▁Эр": 36175, + "Си": 36176, + "▁Андрей": 36177, + "▁Ир": 36178, + "▁Особ": 36179, + "ющему": 36180, + "вец": 36181, + "▁знаком": 36182, + "▁сосредото": 36183, + "зме": 36184, + "▁прин": 36185, + "чется": 36186, + "конча": 36187, + "▁Земли": 36188, + "шина": 36189, + "▁законом": 36190, + "▁нрави": 36191, + "▁штаба": 36192, + "▁непро": 36193, + "▁данной": 36194, + "▁клад": 36195, + "▁каждом": 36196, + "чие": 36197, + "▁соблю": 36198, + "▁иностранных": 36199, + "▁подвод": 36200, + "▁политической": 36201, + "▁Поскольку": 36202, + "▁дре": 36203, + "▁появились": 36204, + "▁иной": 36205, + "мули": 36206, + "▁насколько": 36207, + "▁баш": 36208, + "▁конкур": 36209, + "гри": 36210, + "кратно": 36211, + "▁армия": 36212, + "рно": 36213, + "стройки": 36214, + "жном": 36215, + "▁конферен": 36216, + "▁матче": 36217, + "▁опу": 36218, + "▁Кан": 36219, + "▁Каждый": 36220, + "▁торже": 36221, + "плы": 36222, + "▁Рей": 36223, + "▁разби": 36224, + "льному": 36225, + "▁жест": 36226, + "сным": 36227, + "чник": 36228, + "зать": 36229, + "читься": 36230, + "▁флота": 36231, + "▁родствен": 36232, + "▁дворя": 36233, + "няются": 36234, + "тила": 36235, + "▁рубе": 36236, + "▁Иногда": 36237, + "▁горе": 36238, + "▁ракет": 36239, + "▁данный": 36240, + "▁Рим": 36241, + "▁современной": 36242, + "▁коммента": 36243, + "▁небольшой": 36244, + "▁земля": 36245, + "▁гос": 36246, + "eneral": 36247, + "змом": 36248, + "▁камен": 36249, + "▁маги": 36250, + "▁направлен": 36251, + "май": 36252, + "▁гим": 36253, + "лови": 36254, + "▁института": 36255, + "ствовала": 36256, + "▁Вен": 36257, + "▁повре": 36258, + "▁шах": 36259, + "▁иск": 36260, + "Ме": 36261, + "▁взял": 36262, + "толи": 36263, + "Мы": 36264, + "ourn": 36265, + "▁дальнейшем": 36266, + "▁класс": 36267, + "▁неодно": 36268, + "▁ядер": 36269, + "ванием": 36270, + "▁завода": 36271, + "нете": 36272, + "фициаль": 36273, + "▁вку": 36274, + "▁обслужи": 36275, + "▁игр": 36276, + "▁Нача": 36277, + "▁получения": 36278, + "зиру": 36279, + "юр": 36280, + "▁води": 36281, + "▁исход": 36282, + "▁меры": 36283, + "▁зарабо": 36284, + "▁голос": 36285, + "зами": 36286, + "▁Иванович": 36287, + "▁членом": 36288, + "эль": 36289, + "штей": 36290, + "▁доли": 36291, + "чера": 36292, + "жка": 36293, + "воен": 36294, + "сии": 36295, + "бенок": 36296, + "ссер": 36297, + "▁основании": 36298, + "циям": 36299, + "▁хозяйства": 36300, + "▁вами": 36301, + "▁активно": 36302, + "▁представить": 36303, + "▁проведения": 36304, + "▁перевод": 36305, + "▁хло": 36306, + "▁Министер": 36307, + "жим": 36308, + "▁записа": 36309, + "▁собственной": 36310, + "▁предложил": 36311, + "indows": 36312, + "▁Джей": 36313, + "бку": 36314, + "▁стихот": 36315, + "нская": 36316, + "▁школу": 36317, + "▁нерв": 36318, + "▁входит": 36319, + "▁оз": 36320, + "благо": 36321, + "щением": 36322, + "▁использование": 36323, + "▁считают": 36324, + "▁претен": 36325, + "▁мед": 36326, + "▁Москва": 36327, + "▁границы": 36328, + "▁задач": 36329, + "▁Пока": 36330, + "▁трени": 36331, + "▁Еги": 36332, + "▁советских": 36333, + "При": 36334, + "▁адре": 36335, + "жье": 36336, + "▁заключается": 36337, + "дю": 36338, + "▁Иль": 36339, + "берг": 36340, + "льность": 36341, + "▁достоин": 36342, + "▁Акаде": 36343, + "▁Поли": 36344, + "▁наоборот": 36345, + "▁Азии": 36346, + "рас": 36347, + "▁вынужден": 36348, + "▁вдоль": 36349, + "▁боро": 36350, + "кнул": 36351, + "▁охва": 36352, + "▁вру": 36353, + "▁сознания": 36354, + "▁вверх": 36355, + "▁неё": 36356, + "▁масса": 36357, + "▁Ак": 36358, + "кал": 36359, + "▁Ок": 36360, + "▁моих": 36361, + "Ба": 36362, + "▁Шта": 36363, + "▁собо": 36364, + "▁придется": 36365, + "▁автора": 36366, + "▁изба": 36367, + "▁МО": 36368, + "▁главного": 36369, + "чами": 36370, + "▁научно": 36371, + "ментом": 36372, + "▁предше": 36373, + "▁большеви": 36374, + "вё": 36375, + "дры": 36376, + "твор": 36377, + "чив": 36378, + "ouncil": 36379, + "Бе": 36380, + "▁специ": 36381, + "▁относятся": 36382, + "▁выстав": 36383, + "▁губернии": 36384, + "канчи": 36385, + "▁бассе": 36386, + "сё": 36387, + "▁Оно": 36388, + "▁сексуаль": 36389, + "▁Очень": 36390, + "бели": 36391, + "▁ликви": 36392, + "▁достижения": 36393, + "▁советской": 36394, + "крови": 36395, + "▁православ": 36396, + "нности": 36397, + "▁герои": 36398, + "▁профессор": 36399, + "irc": 36400, + "▁Президен": 36401, + "▁отсутствие": 36402, + "вились": 36403, + "ченной": 36404, + "▁дороге": 36405, + "▁Afric": 36406, + "▁комитета": 36407, + "▁царя": 36408, + "▁горизо": 36409, + "▁налого": 36410, + "нила": 36411, + "▁Вскоре": 36412, + "▁деревни": 36413, + "▁командир": 36414, + "▁русские": 36415, + "▁инду": 36416, + "▁сравнению": 36417, + "кл": 36418, + "▁Спи": 36419, + "▁воин": 36420, + "▁дыха": 36421, + "▁побере": 36422, + "▁другую": 36423, + "▁высокой": 36424, + "чков": 36425, + "▁увели": 36426, + "▁поселения": 36427, + "дает": 36428, + "▁считается": 36429, + "▁напи": 36430, + "▁неделю": 36431, + "▁Высо": 36432, + "тировал": 36433, + "▁сухо": 36434, + "▁Генри": 36435, + "▁соответственно": 36436, + "надцати": 36437, + "▁стратеги": 36438, + "▁городов": 36439, + "вига": 36440, + "ждению": 36441, + "▁атмосф": 36442, + "стым": 36443, + "▁базе": 36444, + "▁правильно": 36445, + "▁обратно": 36446, + "▁лабора": 36447, + "ственными": 36448, + "▁Наконец": 36449, + "езде": 36450, + "▁здания": 36451, + "▁оружие": 36452, + "▁статье": 36453, + "стам": 36454, + "▁ПО": 36455, + "▁портре": 36456, + "▁сельсо": 36457, + "▁Эн": 36458, + "▁управление": 36459, + "▁лице": 36460, + "имость": 36461, + "▁номер": 36462, + "▁идея": 36463, + "▁выста": 36464, + "▁успешно": 36465, + "▁компьютер": 36466, + "▁считал": 36467, + "▁недавно": 36468, + "▁участвовал": 36469, + "▁Глава": 36470, + "щики": 36471, + "▁преде": 36472, + "стный": 36473, + "▁Жу": 36474, + "▁ночью": 36475, + "▁перемен": 36476, + "▁окончил": 36477, + "▁Алексей": 36478, + "центра": 36479, + "▁ненави": 36480, + "▁Красной": 36481, + "▁бесс": 36482, + "forman": 36483, + "▁СП": 36484, + "ненные": 36485, + "▁население": 36486, + "сля": 36487, + "▁удосто": 36488, + "шкой": 36489, + "▁повер": 36490, + "мыми": 36491, + "▁знания": 36492, + "▁обучения": 36493, + "▁добра": 36494, + "чкой": 36495, + "▁начать": 36496, + "▁Сла": 36497, + "▁стои": 36498, + "ВО": 36499, + "▁Коман": 36500, + "▁Пло": 36501, + "▁трево": 36502, + "▁поведение": 36503, + "▁сче": 36504, + "▁строительства": 36505, + "фов": 36506, + "▁процеду": 36507, + "▁закона": 36508, + "▁постра": 36509, + "▁песни": 36510, + "денти": 36511, + "▁вышла": 36512, + "▁высказыва": 36513, + "▁Россию": 36514, + "бая": 36515, + "▁воздуха": 36516, + "щика": 36517, + "▁Олимпий": 36518, + "ряду": 36519, + "▁символи": 36520, + "▁впло": 36521, + "стических": 36522, + "▁вещества": 36523, + "▁остальные": 36524, + "ровой": 36525, + "▁Кли": 36526, + "прос": 36527, + "купа": 36528, + "▁принимать": 36529, + "кового": 36530, + "▁сай": 36531, + "▁поо": 36532, + "ступили": 36533, + "▁Верховного": 36534, + "кость": 36535, + "нга": 36536, + "▁Дело": 36537, + "Се": 36538, + "стый": 36539, + "▁существования": 36540, + "▁потребо": 36541, + "▁сообщения": 36542, + "▁отчет": 36543, + "▁последних": 36544, + "etwork": 36545, + "мм": 36546, + "▁катастро": 36547, + "▁прика": 36548, + "▁фла": 36549, + "▁оса": 36550, + "▁рост": 36551, + "▁завтра": 36552, + "▁носи": 36553, + "▁большого": 36554, + "▁сила": 36555, + "РО": 36556, + "▁господ": 36557, + "джет": 36558, + "щено": 36559, + "▁оказалась": 36560, + "▁снаря": 36561, + "рной": 36562, + "зербай": 36563, + "▁гром": 36564, + "▁Анто": 36565, + "▁ориен": 36566, + "Ре": 36567, + "зербайджа": 36568, + "▁определить": 36569, + "▁названия": 36570, + "▁заму": 36571, + "▁кем": 36572, + "▁основные": 36573, + "несен": 36574, + "▁сопровожда": 36575, + "▁сожалению": 36576, + "▁фер": 36577, + "право": 36578, + "▁внеза": 36579, + "▁Солн": 36580, + "▁силой": 36581, + "▁вниз": 36582, + "стика": 36583, + "▁заниматься": 36584, + "▁Японии": 36585, + "▁газеты": 36586, + "▁Сло": 36587, + "щаются": 36588, + "▁семи": 36589, + "▁мужчина": 36590, + "▁условий": 36591, + "▁Петербур": 36592, + "▁препят": 36593, + "▁владель": 36594, + "бах": 36595, + "▁мае": 36596, + "▁инженер": 36597, + "тном": 36598, + "▁паралле": 36599, + "▁имеется": 36600, + "деления": 36601, + "▁rese": 36602, + "▁оско": 36603, + "нью": 36604, + "▁подозре": 36605, + "▁боже": 36606, + "▁директор": 36607, + "▁поза": 36608, + "▁вопросов": 36609, + "▁Спа": 36610, + "нья": 36611, + "турой": 36612, + "▁реализации": 36613, + "▁внутренних": 36614, + "спонден": 36615, + "▁вообра": 36616, + "зок": 36617, + "шили": 36618, + "▁нако": 36619, + "стю": 36620, + "▁Ее": 36621, + "▁Ему": 36622, + "▁смотри": 36623, + "▁моду": 36624, + "ividual": 36625, + "▁Филип": 36626, + "ехали": 36627, + "▁Интер": 36628, + "▁яй": 36629, + "▁отре": 36630, + "▁Обы": 36631, + "▁мужчин": 36632, + "▁коммер": 36633, + "йского": 36634, + "зировать": 36635, + "▁контроли": 36636, + "лива": 36637, + "мами": 36638, + "▁прошлом": 36639, + "▁двой": 36640, + "▁связано": 36641, + "▁динами": 36642, + "ковым": 36643, + "▁парамет": 36644, + "▁обеспечения": 36645, + "▁Ст": 36646, + "▁император": 36647, + "▁пожалуй": 36648, + "▁желание": 36649, + "доне": 36650, + "▁ограничи": 36651, + "делить": 36652, + "▁запла": 36653, + "▁Петро": 36654, + "щер": 36655, + "▁доктор": 36656, + "▁Надо": 36657, + "▁понятия": 36658, + "зацию": 36659, + "▁российский": 36660, + "▁сфере": 36661, + "▁применения": 36662, + "▁Вам": 36663, + "▁каком": 36664, + "▁идей": 36665, + "▁чтоб": 36666, + "▁бата": 36667, + "▁неприя": 36668, + "▁искать": 36669, + "▁приходилось": 36670, + "носит": 36671, + "▁эксперимента": 36672, + "▁делу": 36673, + "▁экономики": 36674, + "▁строго": 36675, + "▁эпохи": 36676, + "вому": 36677, + "▁вечер": 36678, + "▁появился": 36679, + "▁играть": 36680, + "▁Суще": 36681, + "▁столк": 36682, + "▁Вене": 36683, + "▁инвести": 36684, + "▁правила": 36685, + "▁содержание": 36686, + "▁улицы": 36687, + "▁спектак": 36688, + "▁сердца": 36689, + "▁оцени": 36690, + "▁нашем": 36691, + "▁остался": 36692, + "▁телефон": 36693, + "▁основы": 36694, + "▁сва": 36695, + "▁главы": 36696, + "▁воде": 36697, + "▁рук": 36698, + "тивное": 36699, + "▁начальника": 36700, + "▁упраж": 36701, + "влял": 36702, + "лости": 36703, + "▁Фри": 36704, + "первых": 36705, + "▁заинтере": 36706, + "нено": 36707, + "▁скорости": 36708, + "▁ситуация": 36709, + "▁креди": 36710, + "▁университет": 36711, + "▁бук": 36712, + "вказ": 36713, + "▁Спе": 36714, + "▁потреби": 36715, + "▁естественно": 36716, + "мум": 36717, + "▁восприя": 36718, + "кол": 36719, + "рных": 36720, + "▁провести": 36721, + "▁Вместе": 36722, + "эт": 36723, + "▁роста": 36724, + "▁хол": 36725, + "▁эн": 36726, + "▁Ах": 36727, + "▁фаши": 36728, + "▁руководство": 36729, + "▁делают": 36730, + "▁герцо": 36731, + "▁абсолютно": 36732, + "▁Хоро": 36733, + "▁дета": 36734, + "▁нрав": 36735, + "летний": 36736, + "▁встречи": 36737, + "▁верто": 36738, + "▁устой": 36739, + "▁сезоне": 36740, + "▁Оль": 36741, + "▁марте": 36742, + "▁Дол": 36743, + "щён": 36744, + "▁степень": 36745, + "товых": 36746, + "▁ордена": 36747, + "▁Ци": 36748, + "▁славя": 36749, + "epend": 36750, + "тность": 36751, + "▁искусство": 36752, + "▁целей": 36753, + "▁рассказал": 36754, + "▁контак": 36755, + "▁мозга": 36756, + "тяну": 36757, + "▁бело": 36758, + "▁губерна": 36759, + "▁друзей": 36760, + "▁интен": 36761, + "▁подготовки": 36762, + "▁отста": 36763, + "▁капитали": 36764, + "▁Народ": 36765, + "▁успеха": 36766, + "▁прошлого": 36767, + "▁текста": 36768, + "шены": 36769, + "▁топли": 36770, + "льского": 36771, + "▁заболевания": 36772, + "▁юно": 36773, + "довой": 36774, + "▁бого": 36775, + "▁Казах": 36776, + "▁нём": 36777, + "▁бесе": 36778, + "▁институт": 36779, + "▁масло": 36780, + "gether": 36781, + "▁впечатление": 36782, + "▁фактически": 36783, + "▁Дэ": 36784, + "▁автомати": 36785, + "▁молодой": 36786, + "▁полиции": 36787, + "▁национальной": 36788, + "▁немедленно": 36789, + "дание": 36790, + "▁представители": 36791, + "▁деревне": 36792, + "дне": 36793, + "▁появляется": 36794, + "▁Без": 36795, + "▁последнее": 36796, + "▁групп": 36797, + "▁элементы": 36798, + "▁лето": 36799, + "▁преступления": 36800, + "▁тип": 36801, + "порт": 36802, + "▁неред": 36803, + "▁langu": 36804, + "ордина": 36805, + "зал": 36806, + "▁объекта": 36807, + "▁будучи": 36808, + "ровании": 36809, + "▁код": 36810, + "енье": 36811, + "▁проник": 36812, + "▁тему": 36813, + "ложений": 36814, + "▁матча": 36815, + "паде": 36816, + "▁головы": 36817, + "▁очевид": 36818, + "▁Родился": 36819, + "▁хотелось": 36820, + "кульп": 36821, + "▁данного": 36822, + "▁узнать": 36823, + "веря": 36824, + "▁гне": 36825, + "лега": 36826, + "▁дро": 36827, + "▁Джа": 36828, + "▁раздра": 36829, + "новой": 36830, + "менять": 36831, + "боро": 36832, + "эм": 36833, + "▁соли": 36834, + "ьи": 36835, + "▁прио": 36836, + "▁Побе": 36837, + "▁вызывает": 36838, + "▁привести": 36839, + "▁дверь": 36840, + "▁здание": 36841, + "прият": 36842, + "жнему": 36843, + "▁мело": 36844, + "реги": 36845, + "▁шел": 36846, + "▁био": 36847, + "например": 36848, + "▁строительство": 36849, + "тировать": 36850, + "▁крат": 36851, + "ИТ": 36852, + "▁ваш": 36853, + "▁концу": 36854, + "рные": 36855, + "▁километров": 36856, + "▁Евге": 36857, + "▁Ль": 36858, + "россий": 36859, + "▁организаций": 36860, + "▁Кана": 36861, + "оном": 36862, + "▁Бори": 36863, + "▁Ленинград": 36864, + "станции": 36865, + "рана": 36866, + "ложил": 36867, + "▁последнего": 36868, + "▁познакоми": 36869, + "▁Воро": 36870, + "▁Дмитрий": 36871, + "▁этими": 36872, + "возь": 36873, + "▁вопло": 36874, + "ционная": 36875, + "чок": 36876, + "ехать": 36877, + "▁январе": 36878, + "▁осталось": 36879, + "▁специально": 36880, + "▁сентябре": 36881, + "▁Хар": 36882, + "▁пришли": 36883, + "няться": 36884, + "▁самолета": 36885, + "тивным": 36886, + "▁тридца": 36887, + "▁ума": 36888, + "▁мерт": 36889, + "▁академии": 36890, + "▁сюда": 36891, + "▁августе": 36892, + "ФСР": 36893, + "ЕТ": 36894, + "▁декабре": 36895, + "▁будущем": 36896, + "вшем": 36897, + "нском": 36898, + "▁кладби": 36899, + "▁положении": 36900, + "▁серебря": 36901, + "▁российских": 36902, + "рована": 36903, + "▁новым": 36904, + "сме": 36905, + "нант": 36906, + "▁схва": 36907, + "▁вода": 36908, + "▁вои": 36909, + "▁видели": 36910, + "▁Иоан": 36911, + "▁сты": 36912, + "▁служи": 36913, + "нях": 36914, + "енью": 36915, + "стской": 36916, + "▁уника": 36917, + "▁школа": 36918, + "▁самолет": 36919, + "шко": 36920, + "▁драма": 36921, + "▁комиссии": 36922, + "▁броса": 36923, + "▁Воло": 36924, + "▁именем": 36925, + "▁буржу": 36926, + "ципли": 36927, + "▁огне": 36928, + "▁здоро": 36929, + "исто": 36930, + "тивная": 36931, + "▁случайно": 36932, + "▁семья": 36933, + "оти": 36934, + "▁выпла": 36935, + "▁лекар": 36936, + "▁богат": 36937, + "рай": 36938, + "▁материалов": 36939, + "ционно": 36940, + "вшаяся": 36941, + "брать": 36942, + "▁среды": 36943, + "жными": 36944, + "бую": 36945, + "тивы": 36946, + "▁анализа": 36947, + "гнуть": 36948, + "▁информация": 36949, + "▁поэт": 36950, + "▁голу": 36951, + "▁форм": 36952, + "▁солне": 36953, + "▁моги": 36954, + "▁самому": 36955, + "▁шли": 36956, + "▁шла": 36957, + "▁изображения": 36958, + "▁сор": 36959, + "▁РСФСР": 36960, + "▁половине": 36961, + "▁втором": 36962, + "▁Сем": 36963, + "▁находились": 36964, + "▁мили": 36965, + "▁такими": 36966, + "pecial": 36967, + "▁допуска": 36968, + "пания": 36969, + "▁знали": 36970, + "зию": 36971, + "▁победу": 36972, + "▁сможет": 36973, + "льник": 36974, + "▁справедливо": 36975, + "▁Упра": 36976, + "▁глазами": 36977, + "▁Петра": 36978, + "▁группе": 36979, + "граф": 36980, + "▁явления": 36981, + "▁эмоциона": 36982, + "▁социальной": 36983, + "жён": 36984, + "▁кан": 36985, + "жие": 36986, + "▁осла": 36987, + "▁корпора": 36988, + "▁думать": 36989, + "ведён": 36990, + "▁глазах": 36991, + "▁показывает": 36992, + "▁поса": 36993, + "▁растений": 36994, + "▁постано": 36995, + "▁Само": 36996, + "▁сотрудников": 36997, + "▁выхода": 36998, + "▁эко": 36999, + "▁гидро": 37000, + "▁сделали": 37001, + "▁установить": 37002, + "▁усилия": 37003, + "▁утром": 37004, + "рованные": 37005, + "▁обществе": 37006, + "▁неизбе": 37007, + "следования": 37008, + "цар": 37009, + "▁лиш": 37010, + "▁старо": 37011, + "▁иденти": 37012, + "▁почув": 37013, + "▁способность": 37014, + "▁кно": 37015, + "▁Иванов": 37016, + "менте": 37017, + "▁бол": 37018, + "хам": 37019, + "пси": 37020, + "▁сути": 37021, + "▁картин": 37022, + "▁вино": 37023, + "ллер": 37024, + "кторов": 37025, + "▁блю": 37026, + "▁Фин": 37027, + "▁рассе": 37028, + "▁министер": 37029, + "ходом": 37030, + "▁организма": 37031, + "▁прикры": 37032, + "▁наси": 37033, + "рованного": 37034, + "▁философии": 37035, + "▁обита": 37036, + "▁небо": 37037, + "▁нередко": 37038, + "▁кори": 37039, + "▁восполь": 37040, + "▁целе": 37041, + "▁появилась": 37042, + "стрее": 37043, + "▁категории": 37044, + "▁performan": 37045, + "▁вещей": 37046, + "Ле": 37047, + "▁новая": 37048, + "тности": 37049, + "▁картины": 37050, + "ьет": 37051, + "дох": 37052, + "▁Ат": 37053, + "Вы": 37054, + "▁двадцать": 37055, + "физи": 37056, + "лога": 37057, + "▁поддержку": 37058, + "▁партия": 37059, + "▁группи": 37060, + "▁лежит": 37061, + "бят": 37062, + "вяз": 37063, + "То": 37064, + "▁очевидно": 37065, + "▁сайт": 37066, + "rain": 37067, + "▁записи": 37068, + "▁Виль": 37069, + "▁стихотво": 37070, + "▁группу": 37071, + "▁известный": 37072, + "деся": 37073, + "▁заметил": 37074, + "выше": 37075, + "▁выполнения": 37076, + "▁лучших": 37077, + "▁республики": 37078, + "▁послу": 37079, + "▁князя": 37080, + "▁прояви": 37081, + "стого": 37082, + "шают": 37083, + "▁подобных": 37084, + "▁силами": 37085, + "▁связыва": 37086, + "жащих": 37087, + "страи": 37088, + "▁миру": 37089, + "мети": 37090, + "▁Наиболее": 37091, + "▁Всего": 37092, + "▁отка": 37093, + "▁разнообраз": 37094, + "▁Институ": 37095, + "▁Великобритании": 37096, + "▁используют": 37097, + "▁уточ": 37098, + "▁виды": 37099, + "▁намере": 37100, + "ЛА": 37101, + "▁Созда": 37102, + "ющейся": 37103, + "тик": 37104, + "▁Рис": 37105, + "▁Северной": 37106, + "▁приблизи": 37107, + "ленные": 37108, + "▁однажды": 37109, + "нилось": 37110, + "щали": 37111, + "тацию": 37112, + "стка": 37113, + "▁взрос": 37114, + "льт": 37115, + "▁Нов": 37116, + "▁остров": 37117, + "▁традиции": 37118, + "страции": 37119, + "▁представитель": 37120, + "▁современных": 37121, + "▁опи": 37122, + "тяги": 37123, + "▁тенден": 37124, + "▁погру": 37125, + "нские": 37126, + "▁технологии": 37127, + "▁проме": 37128, + "пах": 37129, + "iol": 37130, + "рованный": 37131, + "▁Бор": 37132, + "▁получает": 37133, + "льский": 37134, + "▁авиации": 37135, + "евский": 37136, + "▁Далее": 37137, + "▁Америки": 37138, + "▁причине": 37139, + "▁нашу": 37140, + "▁едино": 37141, + "▁конфи": 37142, + "▁ребенок": 37143, + "▁Зи": 37144, + "формы": 37145, + "▁переход": 37146, + "▁представление": 37147, + "▁мра": 37148, + "▁документов": 37149, + "▁стрель": 37150, + "ступила": 37151, + "▁самая": 37152, + "▁размер": 37153, + "чками": 37154, + "охра": 37155, + "мона": 37156, + "▁пространства": 37157, + "дится": 37158, + "▁октябре": 37159, + "▁глубоко": 37160, + "▁содержит": 37161, + "▁покло": 37162, + "вающих": 37163, + "▁оппози": 37164, + "лант": 37165, + "ссию": 37166, + "▁фоне": 37167, + "▁никакой": 37168, + "▁переу": 37169, + "!..": 37170, + "▁документы": 37171, + "▁выстре": 37172, + "▁ведом": 37173, + "▁привет": 37174, + "▁пище": 37175, + "вило": 37176, + "▁вследствие": 37177, + "▁отстав": 37178, + "▁горы": 37179, + "▁Извест": 37180, + "▁вечером": 37181, + "▁невы": 37182, + "▁вернуться": 37183, + "▁участия": 37184, + "▁небольшо": 37185, + "▁генерала": 37186, + "нуться": 37187, + "▁безопас": 37188, + "▁научных": 37189, + "▁самолетов": 37190, + "гант": 37191, + "▁гвардей": 37192, + "кос": 37193, + "тными": 37194, + "▁реф": 37195, + "▁ВВС": 37196, + "▁члены": 37197, + "▁испра": 37198, + "пку": 37199, + "▁продукции": 37200, + "▁строе": 37201, + "мию": 37202, + "▁опыта": 37203, + "прежнему": 37204, + "▁Кита": 37205, + "▁обши": 37206, + "▁контроль": 37207, + "▁сма": 37208, + "рный": 37209, + "▁литературе": 37210, + "▁предложения": 37211, + "дё": 37212, + "▁одер": 37213, + "▁началась": 37214, + "дации": 37215, + "▁упомя": 37216, + "лию": 37217, + "вами": 37218, + "▁сосу": 37219, + "▁природе": 37220, + "чила": 37221, + "жом": 37222, + "▁Автор": 37223, + "▁имела": 37224, + "▁спец": 37225, + "▁разговор": 37226, + "▁разработчи": 37227, + "стром": 37228, + "вшему": 37229, + "▁квали": 37230, + "▁методы": 37231, + "рье": 37232, + "▁газо": 37233, + "цвет": 37234, + "▁министр": 37235, + "▁Ска": 37236, + "▁рукой": 37237, + "▁преимущественно": 37238, + "▁якобы": 37239, + "фом": 37240, + "▁будущего": 37241, + "▁фабри": 37242, + "▁сопер": 37243, + "▁руб": 37244, + "▁лейте": 37245, + "▁требуется": 37246, + "жья": 37247, + "зму": 37248, + "▁мужчины": 37249, + "▁плю": 37250, + "▁скульп": 37251, + "нились": 37252, + "▁Было": 37253, + "▁медленно": 37254, + "▁структуры": 37255, + "▁строй": 37256, + "▁разъ": 37257, + "▁обли": 37258, + "▁основания": 37259, + "▁стари": 37260, + "бан": 37261, + "Об": 37262, + "пуль": 37263, + "▁хво": 37264, + "▁существование": 37265, + "▁зару": 37266, + "▁биологи": 37267, + "кости": 37268, + "▁принадлежит": 37269, + "евна": 37270, + "▁передачи": 37271, + "пок": 37272, + "▁душе": 37273, + "▁знаем": 37274, + "▁артиллерий": 37275, + "тес": 37276, + "▁спорта": 37277, + "▁аэрод": 37278, + "▁верши": 37279, + "▁Много": 37280, + "▁обык": 37281, + "▁третий": 37282, + "несли": 37283, + "▁театр": 37284, + "▁гимна": 37285, + "▁руками": 37286, + "▁предложение": 37287, + "▁окончательно": 37288, + "гон": 37289, + "ИК": 37290, + "▁пенси": 37291, + "▁грамо": 37292, + "пии": 37293, + "▁ключе": 37294, + "▁броне": 37295, + "▁ассоциа": 37296, + "▁ситуацию": 37297, + "▁прими": 37298, + "▁местных": 37299, + "органи": 37300, + "▁провинции": 37301, + "▁Фер": 37302, + "▁правил": 37303, + "▁Нау": 37304, + "▁ночи": 37305, + "▁оформ": 37306, + "▁лицом": 37307, + "▁специфи": 37308, + "дие": 37309, + "ждением": 37310, + "▁фильме": 37311, + "▁устраи": 37312, + "кора": 37313, + "▁зага": 37314, + "▁замы": 37315, + "▁углу": 37316, + "▁сюжет": 37317, + "▁князь": 37318, + "▁назвать": 37319, + "дая": 37320, + "▁снаб": 37321, + "▁Эй": 37322, + "▁дели": 37323, + "▁заказ": 37324, + "▁прия": 37325, + "▁любого": 37326, + "▁договор": 37327, + "▁опер": 37328, + "рет": 37329, + "▁ауди": 37330, + "▁характеризу": 37331, + "▁апреле": 37332, + "▁министра": 37333, + "▁романа": 37334, + "▁интервью": 37335, + "▁обез": 37336, + "пр": 37337, + "▁выступал": 37338, + "▁лета": 37339, + "жима": 37340, + "▁энергети": 37341, + "▁вплоть": 37342, + "▁уско": 37343, + "▁отметить": 37344, + "▁Али": 37345, + "зне": 37346, + "▁пункт": 37347, + "запад": 37348, + "▁летом": 37349, + "лакти": 37350, + "▁зре": 37351, + "тори": 37352, + "▁занимает": 37353, + "▁знак": 37354, + "мян": 37355, + "▁пры": 37356, + "▁примеру": 37357, + "▁объект": 37358, + "▁контроля": 37359, + "▁попытки": 37360, + "▁главных": 37361, + "▁чай": 37362, + "▁Соб": 37363, + "▁стоял": 37364, + "сек": 37365, + "▁видит": 37366, + "▁Владими": 37367, + "сна": 37368, + "▁заканчи": 37369, + "логия": 37370, + "бет": 37371, + "▁нега": 37372, + "▁препара": 37373, + "▁Два": 37374, + "▁добавить": 37375, + "▁колхо": 37376, + "падает": 37377, + "▁вез": 37378, + "▁июне": 37379, + "Как": 37380, + "▁полицей": 37381, + "▁звание": 37382, + "▁восемь": 37383, + "▁телеви": 37384, + "▁государств": 37385, + "шинство": 37386, + "▁обусло": 37387, + "▁государственный": 37388, + "кке": 37389, + "▁политических": 37390, + "▁рассчиты": 37391, + "▁чувству": 37392, + "льской": 37393, + "зве": 37394, + "▁функциона": 37395, + "▁возвы": 37396, + "графии": 37397, + "▁шан": 37398, + "ствования": 37399, + "сматри": 37400, + "▁играл": 37401, + "▁родителей": 37402, + "▁победы": 37403, + "гене": 37404, + "▁шаг": 37405, + "▁консу": 37406, + "коман": 37407, + "▁молоде": 37408, + "▁вклад": 37409, + "ису": 37410, + "пта": 37411, + "▁июле": 37412, + "рк": 37413, + "тическая": 37414, + "гин": 37415, + "▁отказыва": 37416, + "▁днев": 37417, + "▁стены": 37418, + "▁Тор": 37419, + "▁Украине": 37420, + "▁Бал": 37421, + "▁курс": 37422, + "▁включает": 37423, + "▁музей": 37424, + "▁король": 37425, + "вающие": 37426, + "стано": 37427, + "▁способности": 37428, + "▁происхождения": 37429, + "▁пытался": 37430, + "▁программа": 37431, + "Это": 37432, + "▁Потому": 37433, + "▁пан": 37434, + "▁становятся": 37435, + "▁организация": 37436, + "▁изменя": 37437, + "ношения": 37438, + "чия": 37439, + "▁ван": 37440, + "мно": 37441, + "▁мимо": 37442, + "лай": 37443, + "▁моби": 37444, + "▁употребля": 37445, + "▁отличи": 37446, + "тинен": 37447, + "▁квадра": 37448, + "Ли": 37449, + "тропо": 37450, + "стное": 37451, + "▁заместитель": 37452, + "жий": 37453, + "▁необходимость": 37454, + "▁наличие": 37455, + "▁используются": 37456, + "горе": 37457, + "▁приложения": 37458, + "раста": 37459, + "▁бывший": 37460, + "▁свете": 37461, + "▁работают": 37462, + "мас": 37463, + "НК": 37464, + "ально": 37465, + "тельстве": 37466, + "▁миллиар": 37467, + "▁преподава": 37468, + "▁игре": 37469, + "щались": 37470, + "▁сознание": 37471, + "nect": 37472, + "▁Бли": 37473, + "▁Юго": 37474, + "▁прису": 37475, + "▁Где": 37476, + "▁граф": 37477, + "▁прекрасно": 37478, + "▁мин": 37479, + "▁Луч": 37480, + "▁Бан": 37481, + "▁команд": 37482, + "▁выйти": 37483, + "ченного": 37484, + "▁пространство": 37485, + "пуск": 37486, + "▁облег": 37487, + "жало": 37488, + "▁вопросам": 37489, + "▁показать": 37490, + "▁бесконе": 37491, + "▁герой": 37492, + "▁отдельные": 37493, + "▁кораблей": 37494, + "▁рынке": 37495, + "▁достато": 37496, + "▁программи": 37497, + "▁колон": 37498, + "▁посвящен": 37499, + "▁Джор": 37500, + "▁веру": 37501, + "▁Орден": 37502, + "▁гля": 37503, + "▁отличается": 37504, + "зит": 37505, + "▁евреев": 37506, + "чают": 37507, + "▁процессов": 37508, + "▁корабль": 37509, + "женной": 37510, + "▁Пара": 37511, + "▁бизне": 37512, + "щиеся": 37513, + "тров": 37514, + "чеб": 37515, + "рского": 37516, + "▁посту": 37517, + "▁географи": 37518, + "▁Ники": 37519, + "▁вдох": 37520, + "▁дают": 37521, + "▁другая": 37522, + "лил": 37523, + "▁штаб": 37524, + "▁самостоятельно": 37525, + "▁военные": 37526, + "▁подле": 37527, + "▁успех": 37528, + "▁Индии": 37529, + "▁ССР": 37530, + "▁премьер": 37531, + "▁этапе": 37532, + "▁\"...": 37533, + "▁ноябре": 37534, + "мся": 37535, + "▁спокойно": 37536, + "▁куп": 37537, + "щению": 37538, + "▁заранее": 37539, + "▁цело": 37540, + "▁нагруз": 37541, + "▁брата": 37542, + "пустил": 37543, + "▁Сталина": 37544, + "▁сму": 37545, + "▁корпус": 37546, + "▁всеоб": 37547, + "▁разработки": 37548, + "▁умира": 37549, + "▁крестья": 37550, + "щался": 37551, + "▁жены": 37552, + "▁городского": 37553, + "▁говор": 37554, + "▁понятие": 37555, + "▁боевой": 37556, + "неров": 37557, + "нулась": 37558, + "защи": 37559, + "▁назвал": 37560, + "зий": 37561, + "совой": 37562, + "▁коме": 37563, + "▁счастли": 37564, + "спекти": 37565, + "▁государственных": 37566, + "▁товаров": 37567, + "▁пон": 37568, + "▁капитан": 37569, + "вершен": 37570, + "сев": 37571, + "▁сход": 37572, + "▁молодых": 37573, + "▁органы": 37574, + "нулись": 37575, + "▁председатель": 37576, + "▁создании": 37577, + "▁императора": 37578, + "▁Париже": 37579, + "▁Подоб": 37580, + "логов": 37581, + "▁здра": 37582, + "▁сериа": 37583, + "▁Бре": 37584, + "▁Бен": 37585, + "кала": 37586, + "▁диза": 37587, + "▁сложно": 37588, + "▁рассказ": 37589, + "ровала": 37590, + "▁выпуск": 37591, + "▁излу": 37592, + "▁щи": 37593, + "▁героя": 37594, + "▁владе": 37595, + "▁опубликова": 37596, + "▁объяснить": 37597, + "▁Московской": 37598, + "▁массы": 37599, + "▁синте": 37600, + "▁сообщили": 37601, + "▁головой": 37602, + "▁хочется": 37603, + "риф": 37604, + "ционе": 37605, + "зоб": 37606, + "▁буквально": 37607, + "▁будущее": 37608, + "▁аргу": 37609, + "эк": 37610, + "▁феврале": 37611, + "▁стади": 37612, + "▁компаний": 37613, + "▁домов": 37614, + "▁отдыха": 37615, + "▁Помимо": 37616, + "▁чрезвычайно": 37617, + "▁главной": 37618, + "▁достой": 37619, + "▁обеспечить": 37620, + "яз": 37621, + "▁грузо": 37622, + "▁Фло": 37623, + "доби": 37624, + "▁Тот": 37625, + "▁услыша": 37626, + "▁поезд": 37627, + "Ин": 37628, + "▁дали": 37629, + "▁Испании": 37630, + "туда": 37631, + "▁обоих": 37632, + "▁началось": 37633, + "▁потери": 37634, + "▁голове": 37635, + "▁приказ": 37636, + "▁связаны": 37637, + "▁исключением": 37638, + "▁войсками": 37639, + "▁разда": 37640, + "▁блоки": 37641, + "▁вашей": 37642, + "▁Хе": 37643, + "экономи": 37644, + "пред": 37645, + "▁продолжал": 37646, + "ющегося": 37647, + "▁нашли": 37648, + "созна": 37649, + "▁возро": 37650, + "▁простой": 37651, + "хоро": 37652, + "жин": 37653, + "▁нарушения": 37654, + "ровано": 37655, + "шена": 37656, + "▁приняли": 37657, + "▁жидко": 37658, + "ждали": 37659, + "▁армию": 37660, + "пь": 37661, + "▁Люди": 37662, + "▁беспла": 37663, + "▁существуют": 37664, + "сор": 37665, + "▁чуде": 37666, + "чти": 37667, + "стива": 37668, + "▁англича": 37669, + "▁отобра": 37670, + "▁обладает": 37671, + "hern": 37672, + "фак": 37673, + "▁порта": 37674, + "етесь": 37675, + "десят": 37676, + "лено": 37677, + "ведены": 37678, + "▁любом": 37679, + "▁правления": 37680, + "▁практике": 37681, + "▁возле": 37682, + "▁ваши": 37683, + "▁прочита": 37684, + "стным": 37685, + "▁Владимира": 37686, + "▁СМИ": 37687, + "▁Чемпи": 37688, + "сную": 37689, + "▁пожи": 37690, + "▁зачем": 37691, + "▁расстре": 37692, + "▁начинают": 37693, + "вят": 37694, + "▁гипоте": 37695, + "▁концер": 37696, + "▁Предста": 37697, + "▁окре": 37698, + "▁причин": 37699, + "▁воспроиз": 37700, + "▁знают": 37701, + "▁откло": 37702, + "▁последней": 37703, + "▁Особенно": 37704, + "▁хуже": 37705, + "▁дале": 37706, + "▁avail": 37707, + "ьми": 37708, + "▁предска": 37709, + "▁добиться": 37710, + "▁престо": 37711, + "▁питания": 37712, + "▁Кам": 37713, + "▁НА": 37714, + "▁Первая": 37715, + "ваку": 37716, + "▁дисципли": 37717, + "сибо": 37718, + "лкой": 37719, + "ждал": 37720, + "▁переи": 37721, + "▁поступ": 37722, + "леты": 37723, + "▁Пор": 37724, + "▁сотни": 37725, + "▁поставить": 37726, + "▁самолё": 37727, + "гих": 37728, + "▁воздух": 37729, + "▁Василий": 37730, + "▁отделения": 37731, + "▁восстанови": 37732, + "▁темно": 37733, + "дешь": 37734, + "▁страну": 37735, + "▁причиной": 37736, + "▁фунда": 37737, + "▁рынка": 37738, + "▁удовлетво": 37739, + "▁осторо": 37740, + "нивер": 37741, + "▁последствия": 37742, + "вторых": 37743, + "▁пошел": 37744, + "▁показал": 37745, + "лел": 37746, + "▁спаса": 37747, + "▁отправился": 37748, + "▁поддержки": 37749, + "▁представляют": 37750, + "Петербур": 37751, + "гора": 37752, + "тилась": 37753, + "▁журнала": 37754, + "▁жители": 37755, + "видимому": 37756, + "▁премии": 37757, + "чается": 37758, + "▁дочери": 37759, + "рие": 37760, + "▁служил": 37761, + "▁начиная": 37762, + "▁Армии": 37763, + "▁метро": 37764, + "дерни": 37765, + "▁Киев": 37766, + "▁ров": 37767, + "▁столе": 37768, + "levision": 37769, + "▁смогли": 37770, + "▁диск": 37771, + "▁предпри": 37772, + "▁видим": 37773, + "▁предстоя": 37774, + "центри": 37775, + "▁нужны": 37776, + "нером": 37777, + "рка": 37778, + "Ку": 37779, + "▁Пом": 37780, + "где": 37781, + "▁установки": 37782, + "▁хотели": 37783, + "▁подробно": 37784, + "рона": 37785, + "▁навы": 37786, + "▁приходит": 37787, + "дку": 37788, + "▁сот": 37789, + "жество": 37790, + "▁быстрее": 37791, + "▁попал": 37792, + "сан": 37793, + "▁подклю": 37794, + "вока": 37795, + "▁Нам": 37796, + "▁запол": 37797, + "▁занимался": 37798, + "▁скри": 37799, + "▁полномо": 37800, + "▁продуктов": 37801, + "шено": 37802, + "▁машину": 37803, + "руются": 37804, + "▁контр": 37805, + "фера": 37806, + "▁овла": 37807, + "▁договора": 37808, + "жку": 37809, + "▁Мария": 37810, + "Де": 37811, + "▁большинстве": 37812, + "▁склады": 37813, + "▁ведет": 37814, + "носить": 37815, + "рованной": 37816, + "водить": 37817, + "▁Том": 37818, + "диться": 37819, + "реи": 37820, + "▁вырази": 37821, + "▁колеба": 37822, + "▁ава": 37823, + "щина": 37824, + "▁Южной": 37825, + "▁подобные": 37826, + "▁Яро": 37827, + "возгла": 37828, + "ленный": 37829, + "горит": 37830, + "▁уезда": 37831, + "▁выглядит": 37832, + "▁жизнью": 37833, + "▁АН": 37834, + "ад": 37835, + "теров": 37836, + "▁сообра": 37837, + "▁подда": 37838, + "▁Человек": 37839, + "▁подход": 37840, + "бит": 37841, + "▁материалы": 37842, + "▁мен": 37843, + "годно": 37844, + "▁учреждения": 37845, + "▁режим": 37846, + "▁читать": 37847, + "▁комплекс": 37848, + "▁нашел": 37849, + "рони": 37850, + "▁американский": 37851, + "▁чёр": 37852, + "▁Исполь": 37853, + "▁большинства": 37854, + "ченным": 37855, + "▁лидер": 37856, + "без": 37857, + "▁смотреть": 37858, + "стети": 37859, + "▁архе": 37860, + "▁следующем": 37861, + "▁автобу": 37862, + "▁иных": 37863, + "▁хотят": 37864, + "летов": 37865, + "▁расстоянии": 37866, + "▁ски": 37867, + "▁занял": 37868, + "▁секун": 37869, + "▁напротив": 37870, + "▁поступил": 37871, + "▁раско": 37872, + "▁мужа": 37873, + "вающий": 37874, + "лица": 37875, + "вокуп": 37876, + "▁ближе": 37877, + "▁вице": 37878, + "▁видимо": 37879, + "▁арен": 37880, + "▁художник": 37881, + "▁думал": 37882, + "ведении": 37883, + "▁пределах": 37884, + "▁Оде": 37885, + "▁Бого": 37886, + "ковы": 37887, + "▁контек": 37888, + "▁целях": 37889, + "▁ответственность": 37890, + "вляя": 37891, + "▁Крым": 37892, + "▁офицеров": 37893, + "зиди": 37894, + "глу": 37895, + "▁ног": 37896, + "▁тури": 37897, + "▁лес": 37898, + "▁остались": 37899, + "▁мусуль": 37900, + "▁поез": 37901, + "▁дорогу": 37902, + "▁пошли": 37903, + "монт": 37904, + "▁лё": 37905, + "▁изменений": 37906, + "▁приста": 37907, + "▁выходит": 37908, + "кут": 37909, + "стрий": 37910, + "▁сегодняш": 37911, + "▁Ай": 37912, + "▁машина": 37913, + "▁Иису": 37914, + "▁человеческого": 37915, + "▁веществ": 37916, + "▁известных": 37917, + "кина": 37918, + "диа": 37919, + "▁развитии": 37920, + "рпи": 37921, + "▁Ян": 37922, + "▁профи": 37923, + "щет": 37924, + "▁поэта": 37925, + "▁глоба": 37926, + "ждена": 37927, + "▁кавале": 37928, + "▁самим": 37929, + "▁Сначала": 37930, + "▁Такие": 37931, + "▁конститу": 37932, + "▁посмотреть": 37933, + "кен": 37934, + "▁еха": 37935, + "▁ада": 37936, + "▁социальных": 37937, + "груп": 37938, + "▁река": 37939, + "ландии": 37940, + "▁Сиби": 37941, + "кать": 37942, + "ёз": 37943, + "▁источник": 37944, + "▁подру": 37945, + "▁Благодаря": 37946, + "▁неправи": 37947, + "▁Ваши": 37948, + "▁Париж": 37949, + "▁случилось": 37950, + "От": 37951, + "outher": 37952, + "▁университете": 37953, + "▁запуска": 37954, + "▁причины": 37955, + "▁сбо": 37956, + "▁собе": 37957, + "▁процентов": 37958, + "▁контракт": 37959, + "▁крово": 37960, + "▁средней": 37961, + "▁мене": 37962, + "▁служит": 37963, + "голов": 37964, + "▁подлин": 37965, + "▁номе": 37966, + "следование": 37967, + "▁наличи": 37968, + "▁Григо": 37969, + "▁современного": 37970, + "▁искрен": 37971, + "▁минима": 37972, + "▁произведений": 37973, + "▁способом": 37974, + "кома": 37975, + "▁Официаль": 37976, + "нув": 37977, + "кур": 37978, + "еремо": 37979, + "порта": 37980, + "▁решений": 37981, + "▁крупные": 37982, + "▁яв": 37983, + "▁ход": 37984, + "▁определения": 37985, + "чны": 37986, + "▁бюро": 37987, + "дная": 37988, + "▁порт": 37989, + "руя": 37990, + "Лу": 37991, + "▁диплома": 37992, + "▁результатов": 37993, + "▁вывод": 37994, + "▁пишу": 37995, + "▁ярко": 37996, + "▁успо": 37997, + "льф": 37998, + "▁рука": 37999, + "Ви": 38000, + "▁молит": 38001, + "orthern": 38002, + "▁Объ": 38003, + "лева": 38004, + "▁совместно": 38005, + "▁Ура": 38006, + "▁пытается": 38007, + "куро": 38008, + "▁статус": 38009, + "▁анализ": 38010, + "▁действовать": 38011, + "▁боли": 38012, + "лейте": 38013, + "▁алкого": 38014, + "▁Ниж": 38015, + "челове": 38016, + "цах": 38017, + "РИ": 38018, + "▁тщательно": 38019, + "жны": 38020, + "▁живет": 38021, + "▁готовы": 38022, + "▁любов": 38023, + "▁мою": 38024, + "бление": 38025, + "▁кровь": 38026, + "▁страхо": 38027, + "▁немало": 38028, + "▁вашего": 38029, + "▁пале": 38030, + "▁реке": 38031, + "▁связанные": 38032, + "эта": 38033, + "▁писателя": 38034, + "▁архите": 38035, + "▁одни": 38036, + "eum": 38037, + "нят": 38038, + "Ни": 38039, + "▁километ": 38040, + "▁царь": 38041, + "▁высоте": 38042, + "новенно": 38043, + "▁испа": 38044, + "▁соответствует": 38045, + "▁прият": 38046, + "▁промежу": 38047, + "▁свыше": 38048, + "рма": 38049, + "жите": 38050, + "hod": 38051, + "хой": 38052, + "▁обоснова": 38053, + "нав": 38054, + "▁хотите": 38055, + "анали": 38056, + "бления": 38057, + "▁изменить": 38058, + "▁зале": 38059, + "▁похоро": 38060, + "outhern": 38061, + "уре": 38062, + "чом": 38063, + "▁охот": 38064, + "▁командира": 38065, + "▁пуле": 38066, + "▁материал": 38067, + "▁дав": 38068, + "▁взаим": 38069, + "▁Павел": 38070, + "▁атом": 38071, + "мс": 38072, + "▁повсе": 38073, + "▁затруд": 38074, + "жешь": 38075, + "▁веков": 38076, + "▁человечества": 38077, + "новых": 38078, + "▁педагоги": 38079, + "▁Николая": 38080, + "▁Кубка": 38081, + "▁Гали": 38082, + "вшимся": 38083, + "▁дух": 38084, + "▁Сим": 38085, + "▁остальных": 38086, + "юре": 38087, + "гляды": 38088, + "▁стоимость": 38089, + "▁направление": 38090, + "▁целый": 38091, + "ай": 38092, + "ницах": 38093, + "града": 38094, + "▁операций": 38095, + "▁душа": 38096, + "▁коммуника": 38097, + "▁вопроса": 38098, + "▁консерва": 38099, + "стки": 38100, + "хождения": 38101, + "▁Яко": 38102, + "тео": 38103, + "▁нашим": 38104, + "▁постанов": 38105, + "▁разобра": 38106, + "▁принцип": 38107, + "доволь": 38108, + "▁понятно": 38109, + "▁реальности": 38110, + "ьера": 38111, + "зион": 38112, + "▁поколения": 38113, + "▁наблюдения": 38114, + "▁письмен": 38115, + "▁телефо": 38116, + "Те": 38117, + "кови": 38118, + "▁огня": 38119, + "▁Шо": 38120, + "▁Ван": 38121, + "▁посредством": 38122, + "рым": 38123, + "▁услуг": 38124, + "▁играет": 38125, + "▁обма": 38126, + "minist": 38127, + "▁обязанности": 38128, + "▁талант": 38129, + "▁ано": 38130, + "рядо": 38131, + "▁местного": 38132, + "▁создан": 38133, + "слей": 38134, + "ковая": 38135, + "▁насчиты": 38136, + "жаться": 38137, + "▁задачу": 38138, + "водит": 38139, + "▁лечения": 38140, + "▁привя": 38141, + "▁ошибки": 38142, + "брасы": 38143, + "зах": 38144, + "hers": 38145, + "▁бак": 38146, + "▁похоже": 38147, + "НА": 38148, + "▁живут": 38149, + "▁красно": 38150, + "▁неожиданно": 38151, + "▁laun": 38152, + "▁разбира": 38153, + "▁дина": 38154, + "▁ничто": 38155, + "няка": 38156, + "чне": 38157, + "▁координа": 38158, + "▁объем": 38159, + "▁ответственности": 38160, + "▁терми": 38161, + "язы": 38162, + "▁создал": 38163, + "▁сыграл": 38164, + "ится": 38165, + "▁останавли": 38166, + "▁скан": 38167, + "▁Австра": 38168, + "руссии": 38169, + "▁специалистов": 38170, + "▁говорю": 38171, + "ект": 38172, + "▁Инди": 38173, + "▁Петр": 38174, + "▁бюджет": 38175, + "▁финанси": 38176, + "▁следующее": 38177, + "▁кое": 38178, + "▁ез": 38179, + "▁Име": 38180, + "▁мани": 38181, + "▁вспы": 38182, + "рэ": 38183, + "блу": 38184, + "▁приез": 38185, + "▁сообщение": 38186, + "▁центром": 38187, + "▁предприятий": 38188, + "▁Эд": 38189, + "▁Израи": 38190, + "сро": 38191, + "▁своём": 38192, + "▁неоднократно": 38193, + "▁избежать": 38194, + "▁молеку": 38195, + "▁команде": 38196, + "▁написать": 38197, + "▁наверное": 38198, + "▁Олимпийских": 38199, + "▁служить": 38200, + "▁программу": 38201, + "дующий": 38202, + "▁гармо": 38203, + "▁озера": 38204, + "▁определяется": 38205, + "▁оценки": 38206, + "ваемых": 38207, + "▁играх": 38208, + "близи": 38209, + "▁укре": 38210, + "дика": 38211, + "дила": 38212, + "▁ею": 38213, + "▁внутренней": 38214, + "лился": 38215, + "числи": 38216, + "▁Большо": 38217, + "▁словом": 38218, + "▁карьеру": 38219, + "▁помимо": 38220, + "кона": 38221, + "▁типи": 38222, + "▁Джу": 38223, + "▁дебю": 38224, + "▁противостоя": 38225, + "▁связанных": 38226, + "▁медаль": 38227, + "▁структур": 38228, + "▁Мер": 38229, + "▁смысла": 38230, + "жнее": 38231, + "▁вертика": 38232, + "▁суть": 38233, + "▁нужен": 38234, + "▁закончи": 38235, + "▁магни": 38236, + "жан": 38237, + "ремя": 38238, + "▁Позже": 38239, + "▁функциони": 38240, + "▁осуществляется": 38241, + "▁вышли": 38242, + "ыска": 38243, + "▁помогает": 38244, + "всегда": 38245, + "грации": 38246, + "▁отношениях": 38247, + "▁заря": 38248, + "▁идут": 38249, + "▁адрес": 38250, + "тари": 38251, + "▁Юрий": 38252, + "▁прину": 38253, + "дным": 38254, + "тельностью": 38255, + "▁провёл": 38256, + "▁пройти": 38257, + "▁Мэ": 38258, + "▁Рай": 38259, + "▁предусмотре": 38260, + "▁Бере": 38261, + "▁городской": 38262, + "▁тема": 38263, + "▁посёл": 38264, + "▁средневе": 38265, + "щь": 38266, + "ллиген": 38267, + "шали": 38268, + "▁зача": 38269, + "фер": 38270, + "▁желу": 38271, + "дум": 38272, + "▁сумму": 38273, + "▁траге": 38274, + "▁опере": 38275, + "▁сеть": 38276, + "▁рациона": 38277, + "▁устройство": 38278, + "▁исте": 38279, + "▁чел": 38280, + "▁двери": 38281, + "▁прогно": 38282, + "▁голосо": 38283, + "▁актри": 38284, + "▁обеща": 38285, + "▁российской": 38286, + "ненный": 38287, + "▁угле": 38288, + "▁заба": 38289, + "▁комбина": 38290, + "▁городах": 38291, + "▁сказ": 38292, + "▁линей": 38293, + "▁газет": 38294, + "слова": 38295, + "ответ": 38296, + "емом": 38297, + "лектро": 38298, + "дания": 38299, + "▁бара": 38300, + "▁рынок": 38301, + "▁ато": 38302, + "▁Большинство": 38303, + "▁понимать": 38304, + "муни": 38305, + "▁инструк": 38306, + "ЛИ": 38307, + "▁фар": 38308, + "ществи": 38309, + "▁получается": 38310, + "▁периоди": 38311, + "торами": 38312, + "▁устро": 38313, + "▁демонстри": 38314, + "▁несом": 38315, + "рного": 38316, + "▁пона": 38317, + "▁Зо": 38318, + "▁принимает": 38319, + "▁бывшего": 38320, + "▁активи": 38321, + "▁внешней": 38322, + "▁тера": 38323, + "▁следовательно": 38324, + "▁предпочита": 38325, + "▁здоровья": 38326, + "метри": 38327, + "▁эфи": 38328, + "▁полном": 38329, + "▁орби": 38330, + "▁скром": 38331, + "▁зим": 38332, + "нх": 38333, + "▁нужда": 38334, + "▁апо": 38335, + "▁Вся": 38336, + "viron": 38337, + "▁сохранить": 38338, + "▁Однажды": 38339, + "▁Тай": 38340, + "▁военный": 38341, + "мец": 38342, + "▁мон": 38343, + "▁подобно": 38344, + "спорт": 38345, + "▁занятия": 38346, + "▁качество": 38347, + "▁зай": 38348, + "▁работников": 38349, + "▁Разу": 38350, + "▁насле": 38351, + "▁бабу": 38352, + "▁номина": 38353, + "▁Республи": 38354, + "▁понрави": 38355, + "▁музыки": 38356, + "▁вошли": 38357, + "ждено": 38358, + "▁статей": 38359, + "▁администрации": 38360, + "▁Шве": 38361, + "▁материала": 38362, + "▁собственности": 38363, + "▁earl": 38364, + "▁следующим": 38365, + "▁диску": 38366, + "▁старший": 38367, + "▁леса": 38368, + "▁Московского": 38369, + "▁обознача": 38370, + "▁человеческой": 38371, + "▁солнце": 38372, + "▁единственный": 38373, + "▁костю": 38374, + "▁интенсив": 38375, + "▁пользователей": 38376, + "▁валю": 38377, + "шель": 38378, + "ненной": 38379, + "▁идеологи": 38380, + "▁foc": 38381, + "скохозяй": 38382, + "змы": 38383, + "ЕНИ": 38384, + "нится": 38385, + "▁рак": 38386, + "▁вырабо": 38387, + "леть": 38388, + "▁соединения": 38389, + "▁век": 38390, + "▁заверши": 38391, + "▁характеристи": 38392, + "декс": 38393, + "▁теория": 38394, + "▁интересно": 38395, + "▁законы": 38396, + "ляется": 38397, + "▁разделе": 38398, + "▁Виктор": 38399, + "▁реакции": 38400, + "водятся": 38401, + "▁отказался": 38402, + "жих": 38403, + "тило": 38404, + "▁эм": 38405, + "▁зарубе": 38406, + "▁упро": 38407, + "▁contrib": 38408, + "▁ученые": 38409, + "▁Америке": 38410, + "▁минуту": 38411, + "▁трудом": 38412, + "▁советского": 38413, + "▁официально": 38414, + "тят": 38415, + "гром": 38416, + "▁узнал": 38417, + "▁потенциаль": 38418, + "ковь": 38419, + "▁диамет": 38420, + "▁влияния": 38421, + "▁санк": 38422, + "▁кожи": 38423, + "▁началом": 38424, + "▁американских": 38425, + "▁двое": 38426, + "▁becom": 38427, + "лость": 38428, + "▁Меня": 38429, + "▁призыва": 38430, + "рея": 38431, + "▁бла": 38432, + "▁многое": 38433, + "рены": 38434, + "▁прибыли": 38435, + "▁турец": 38436, + "занти": 38437, + "▁собственного": 38438, + "▁Воен": 38439, + "▁недель": 38440, + "▁территорию": 38441, + "▁Кстати": 38442, + "▁сквозь": 38443, + "▁востор": 38444, + "▁ценно": 38445, + "▁открытия": 38446, + "вах": 38447, + "щины": 38448, + "гка": 38449, + "▁черты": 38450, + "▁восьми": 38451, + "▁воздухе": 38452, + "ющимся": 38453, + "▁Брю": 38454, + "▁Анато": 38455, + "▁дважды": 38456, + "ловой": 38457, + "ваны": 38458, + "▁чемпион": 38459, + "▁возоб": 38460, + "▁врага": 38461, + "▁молча": 38462, + "▁ущер": 38463, + "▁Руси": 38464, + "▁танков": 38465, + "▁Обычно": 38466, + "▁кот": 38467, + "▁эпоху": 38468, + "▁всякого": 38469, + "регистри": 38470, + "дке": 38471, + "рский": 38472, + "▁музыкан": 38473, + "▁экзем": 38474, + "▁бух": 38475, + "▁местности": 38476, + "▁Соеди": 38477, + "▁НК": 38478, + "▁совокуп": 38479, + "▁вступа": 38480, + "▁око": 38481, + "сант": 38482, + "▁зал": 38483, + "▁участок": 38484, + "сован": 38485, + "▁выступает": 38486, + "▁международных": 38487, + "▁сосе": 38488, + "▁российского": 38489, + "▁знаете": 38490, + "▁бою": 38491, + "▁металли": 38492, + "▁собственных": 38493, + "▁слабы": 38494, + "▁Бур": 38495, + "▁своеобраз": 38496, + "▁продолжает": 38497, + "▁великого": 38498, + "▁каждая": 38499, + "▁проводить": 38500, + "др": 38501, + "▁назначения": 38502, + "▁Герой": 38503, + "▁дя": 38504, + "▁источников": 38505, + "▁спут": 38506, + "▁либера": 38507, + "клопе": 38508, + "▁общественного": 38509, + "▁окна": 38510, + "АО": 38511, + "▁знаний": 38512, + "▁увле": 38513, + "▁католи": 38514, + "▁минуты": 38515, + "▁происходя": 38516, + "ам": 38517, + "▁перспекти": 38518, + "ровая": 38519, + "тиве": 38520, + "лков": 38521, + "▁приба": 38522, + "▁подверга": 38523, + "лизова": 38524, + "▁храм": 38525, + "▁Кни": 38526, + "кнуть": 38527, + "▁стадии": 38528, + "▁придума": 38529, + "▁КПСС": 38530, + "▁оставить": 38531, + "▁достиг": 38532, + "▁девушка": 38533, + "▁страх": 38534, + "▁вир": 38535, + "▁погре": 38536, + "мога": 38537, + "▁лест": 38538, + "▁крова": 38539, + "▁содержания": 38540, + "▁несчаст": 38541, + "▁описание": 38542, + "▁ООН": 38543, + "▁выборах": 38544, + "▁рассказывает": 38545, + "дию": 38546, + "▁использованием": 38547, + "▁ресурсов": 38548, + "▁Californ": 38549, + "▁тяжело": 38550, + "▁достигну": 38551, + "жна": 38552, + "▁половины": 38553, + "▁Лей": 38554, + "тологи": 38555, + "▁отряд": 38556, + "циал": 38557, + "▁судов": 38558, + "▁карты": 38559, + "▁кладбище": 38560, + "▁угодно": 38561, + "пами": 38562, + "▁свободу": 38563, + "▁ука": 38564, + "дора": 38565, + "▁общее": 38566, + "юзе": 38567, + "▁Перво": 38568, + "▁сцене": 38569, + "рена": 38570, + "▁Мари": 38571, + "лат": 38572, + "▁неприят": 38573, + "▁развитию": 38574, + "▁сомнения": 38575, + "хова": 38576, + "ниаль": 38577, + "теле": 38578, + "вшееся": 38579, + "▁применение": 38580, + "ликт": 38581, + "▁темы": 38582, + "▁офицер": 38583, + "▁немецких": 38584, + "▁Стро": 38585, + "нциклопе": 38586, + "▁Несколько": 38587, + "кля": 38588, + "▁пришла": 38589, + "ствующих": 38590, + "▁инфра": 38591, + "зли": 38592, + "▁национального": 38593, + "▁Вас": 38594, + "▁запас": 38595, + "▁страна": 38596, + "▁одоб": 38597, + "▁марки": 38598, + "▁бригады": 38599, + "▁эффект": 38600, + "▁дож": 38601, + "▁провозгла": 38602, + "▁Китай": 38603, + "▁стой": 38604, + "▁наступление": 38605, + "▁нужна": 38606, + "▁тормо": 38607, + "сет": 38608, + "▁частично": 38609, + "▁Наз": 38610, + "▁процессы": 38611, + "▁осмо": 38612, + "женного": 38613, + "нат": 38614, + "▁Сво": 38615, + "▁озна": 38616, + "еве": 38617, + "▁вв": 38618, + "▁Первой": 38619, + "шит": 38620, + "▁интерфей": 38621, + "▁Пусть": 38622, + "▁проблему": 38623, + "▁почита": 38624, + "▁легче": 38625, + "▁называли": 38626, + "▁вижу": 38627, + "▁расста": 38628, + "▁Первые": 38629, + "▁Азербайджа": 38630, + "▁творчества": 38631, + "▁духа": 38632, + "пка": 38633, + "нау": 38634, + "▁решить": 38635, + "▁будете": 38636, + "▁араб": 38637, + "▁вле": 38638, + "▁среднем": 38639, + "▁родители": 38640, + "▁интернет": 38641, + "▁пак": 38642, + "ТО": 38643, + "чиком": 38644, + "Кор": 38645, + "зили": 38646, + "▁стаби": 38647, + "▁фронт": 38648, + "недель": 38649, + "▁полю": 38650, + "цуз": 38651, + "дился": 38652, + "▁Вале": 38653, + "конструк": 38654, + "▁прошли": 38655, + "▁напол": 38656, + "РУ": 38657, + "▁Наполе": 38658, + "хими": 38659, + "▁выполнять": 38660, + "сим": 38661, + "пин": 38662, + "▁основу": 38663, + "▁предусматри": 38664, + "▁Борис": 38665, + "▁выде": 38666, + "▁сильнее": 38667, + "▁прямой": 38668, + "▁полуо": 38669, + "разуме": 38670, + "▁Мат": 38671, + "неры": 38672, + "▁душу": 38673, + "змов": 38674, + "йдя": 38675, + "▁фраг": 38676, + "▁проигра": 38677, + "▁потря": 38678, + "▁ресто": 38679, + "▁гли": 38680, + "▁оча": 38681, + "йский": 38682, + "ковый": 38683, + "зри": 38684, + "▁Такое": 38685, + "▁спло": 38686, + "▁серде": 38687, + "твра": 38688, + "▁полный": 38689, + "гим": 38690, + "▁удержа": 38691, + "▁насла": 38692, + "▁Николаевич": 38693, + "селение": 38694, + "▁проро": 38695, + "▁режима": 38696, + "▁выступления": 38697, + "бке": 38698, + "▁Распо": 38699, + "ittee": 38700, + "▁аспек": 38701, + "▁буты": 38702, + "▁социально": 38703, + "рованию": 38704, + "▁позицию": 38705, + "▁рит": 38706, + "▁Эк": 38707, + "▁базы": 38708, + "▁помню": 38709, + "тору": 38710, + "вилась": 38711, + "▁сверху": 38712, + "▁функций": 38713, + "▁процессо": 38714, + "▁встречается": 38715, + "▁Такой": 38716, + "чён": 38717, + "▁привело": 38718, + "▁среде": 38719, + "номо": 38720, + "водство": 38721, + "▁сказано": 38722, + "▁влиянием": 38723, + "пили": 38724, + "▁древне": 38725, + "РЕ": 38726, + "▁изучения": 38727, + "▁являлся": 38728, + "▁поверхность": 38729, + "▁шту": 38730, + "▁встречаются": 38731, + "▁директора": 38732, + "▁крупней": 38733, + "▁рейти": 38734, + "НР": 38735, + "▁кух": 38736, + "▁Тра": 38737, + "▁друж": 38738, + "▁Святого": 38739, + "▁Древ": 38740, + "Петербург": 38741, + "▁Петербург": 38742, + "▁пут": 38743, + "стические": 38744, + "▁повышен": 38745, + "▁среднего": 38746, + "▁товар": 38747, + "▁фено": 38748, + "▁Бай": 38749, + "▁тихо": 38750, + "▁делам": 38751, + "вится": 38752, + "▁руководитель": 38753, + "atural": 38754, + "▁отвечает": 38755, + "▁Стре": 38756, + "▁благодар": 38757, + "вина": 38758, + "стрии": 38759, + "▁Пример": 38760, + "▁присвое": 38761, + "дук": 38762, + "▁художника": 38763, + "▁железной": 38764, + "▁МОСК": 38765, + "▁япон": 38766, + "жества": 38767, + "▁Сара": 38768, + "▁училище": 38769, + "▁газа": 38770, + "▁выя": 38771, + "▁осна": 38772, + "товые": 38773, + "▁испан": 38774, + "▁делом": 38775, + "▁пациен": 38776, + "▁существенно": 38777, + "▁первонача": 38778, + "▁плате": 38779, + "▁принимал": 38780, + "▁народного": 38781, + "голо": 38782, + "▁Откры": 38783, + "▁поражения": 38784, + "опера": 38785, + "▁цены": 38786, + "▁сельскохозяй": 38787, + "ционное": 38788, + "зовы": 38789, + "▁Карл": 38790, + "рья": 38791, + "▁населё": 38792, + "▁делега": 38793, + "▁\"«": 38794, + "▁дога": 38795, + "образи": 38796, + "▁конструкции": 38797, + "▁сказали": 38798, + "▁разрабаты": 38799, + "▁фирмы": 38800, + "▁любит": 38801, + "▁переговоры": 38802, + "▁вкус": 38803, + "▁действует": 38804, + "ходу": 38805, + "зирован": 38806, + "▁древних": 38807, + "▁острове": 38808, + "▁лам": 38809, + "▁церемо": 38810, + "▁нев": 38811, + "▁правом": 38812, + "▁телевиде": 38813, + "▁торговли": 38814, + "вленной": 38815, + "▁детали": 38816, + "▁тонн": 38817, + "▁взрыв": 38818, + "▁борьбу": 38819, + "▁пространстве": 38820, + "»;": 38821, + "▁высокого": 38822, + "▁рабочего": 38823, + "▁Любо": 38824, + "Что": 38825, + "нив": 38826, + "▁банков": 38827, + "▁Зве": 38828, + "▁объявил": 38829, + "▁хокке": 38830, + "▁высшей": 38831, + "▁борьба": 38832, + "▁вторая": 38833, + "▁выражение": 38834, + "▁лиде": 38835, + "▁ученых": 38836, + "▁благополу": 38837, + "▁писателей": 38838, + "авто": 38839, + "▁покой": 38840, + "▁многом": 38841, + "▁предотвра": 38842, + "фона": 38843, + "стная": 38844, + "▁орке": 38845, + "дное": 38846, + "▁нравится": 38847, + "▁способен": 38848, + "▁четырёх": 38849, + "▁Гон": 38850, + "▁фронте": 38851, + "▁мель": 38852, + "▁оптими": 38853, + "▁масла": 38854, + "стар": 38855, + "▁режиме": 38856, + "▁картина": 38857, + "тало": 38858, + "▁часы": 38859, + "пел": 38860, + "▁намного": 38861, + "▁рыба": 38862, + "для": 38863, + "▁печати": 38864, + "▁пья": 38865, + "КП": 38866, + "тическое": 38867, + "ровку": 38868, + "▁набор": 38869, + "▁делал": 38870, + "▁полное": 38871, + "▁Харь": 38872, + "▁самих": 38873, + "вляли": 38874, + "▁слегка": 38875, + "▁обно": 38876, + "▁шири": 38877, + "▁Спо": 38878, + "▁Сен": 38879, + "чее": 38880, + "такт": 38881, + "▁проектов": 38882, + "▁пери": 38883, + "▁Ам": 38884, + "▁совеща": 38885, + "▁русском": 38886, + "▁алгорит": 38887, + "▁Тихо": 38888, + "▁штра": 38889, + "▁вере": 38890, + "▁методов": 38891, + "▁подро": 38892, + "▁Осо": 38893, + "▁принадлежа": 38894, + "▁шпи": 38895, + "▁оборудования": 38896, + "▁эваку": 38897, + "▁принципи": 38898, + "▁ощущение": 38899, + "▁Китая": 38900, + "▁каждому": 38901, + "▁Эль": 38902, + "▁опасности": 38903, + "▁собственные": 38904, + "▁районах": 38905, + "▁интеллиген": 38906, + "▁Наде": 38907, + "бь": 38908, + "▁планеты": 38909, + "▁интересы": 38910, + "▁астроно": 38911, + "▁работой": 38912, + "▁теми": 38913, + "▁Город": 38914, + "▁морской": 38915, + "▁посте": 38916, + "▁бал": 38917, + "мысли": 38918, + "▁дивизия": 38919, + "▁госпита": 38920, + "▁МОСКВА": 38921, + "▁немцев": 38922, + "▁дорога": 38923, + "ГУ": 38924, + "муля": 38925, + "▁переписи": 38926, + "▁входят": 38927, + "▁Петров": 38928, + "▁Универ": 38929, + "▁подчерки": 38930, + "▁дворе": 38931, + "▁председателя": 38932, + "▁осуществи": 38933, + "▁интересов": 38934, + "▁изображение": 38935, + "▁рано": 38936, + "▁миллиона": 38937, + "▁интерпре": 38938, + "▁идеаль": 38939, + "▁стиле": 38940, + "▁приказал": 38941, + "союз": 38942, + "ёра": 38943, + "ционным": 38944, + "револю": 38945, + "ненного": 38946, + "гули": 38947, + "▁выступил": 38948, + "это": 38949, + "▁возможностей": 38950, + "ехала": 38951, + "Если": 38952, + "▁Христа": 38953, + "▁независимо": 38954, + "▁интересу": 38955, + "▁берега": 38956, + "мут": 38957, + "▁Прежде": 38958, + "ане": 38959, + "▁настаи": 38960, + "▁провел": 38961, + "▁имена": 38962, + "▁картину": 38963, + "мова": 38964, + "тером": 38965, + "жеб": 38966, + "▁пропо": 38967, + "нуне": 38968, + "▁блестя": 38969, + "▁руководства": 38970, + "▁женой": 38971, + "▁Дар": 38972, + "▁оскор": 38973, + "▁формирования": 38974, + "▁супер": 38975, + "ённых": 38976, + "▁Академии": 38977, + "▁ответа": 38978, + "▁автори": 38979, + "▁резо": 38980, + "раясь": 38981, + "▁программе": 38982, + "▁размыш": 38983, + "▁воздействия": 38984, + "▁мужи": 38985, + "▁строя": 38986, + "▁тренер": 38987, + "ждают": 38988, + "▁Просто": 38989, + "▁открыто": 38990, + "▁Оба": 38991, + "▁вторы": 38992, + "erous": 38993, + "▁Дне": 38994, + "▁саха": 38995, + "▁еги": 38996, + "сомо": 38997, + "▁оболо": 38998, + "▁имеются": 38999, + "▁бег": 39000, + "▁ген": 39001, + "▁интеллектуаль": 39002, + "▁известен": 39003, + "▁Горь": 39004, + "▁французский": 39005, + "нты": 39006, + "▁температура": 39007, + "▁звезды": 39008, + "▁Анти": 39009, + "▁универса": 39010, + "▁транспор": 39011, + "▁бронзо": 39012, + "ствовало": 39013, + "▁другому": 39014, + "▁Западной": 39015, + "▁брю": 39016, + "ИД": 39017, + "кончался": 39018, + "граде": 39019, + "▁добавил": 39020, + "▁депутатов": 39021, + "ткой": 39022, + "стане": 39023, + "▁Един": 39024, + "брал": 39025, + "▁ожи": 39026, + "▁всякий": 39027, + "▁храма": 39028, + "леров": 39029, + "▁создавать": 39030, + "▁грани": 39031, + "тиков": 39032, + "▁Wash": 39033, + "▁итогам": 39034, + "▁никого": 39035, + "ЭС": 39036, + "▁сущности": 39037, + "▁Импера": 39038, + "▁тяжё": 39039, + "дёт": 39040, + "дыва": 39041, + "энер": 39042, + "▁считали": 39043, + "▁Свет": 39044, + "Ар": 39045, + "▁хлеб": 39046, + "▁Фё": 39047, + "▁идею": 39048, + "▁помещения": 39049, + "▁проде": 39050, + "нялись": 39051, + "виков": 39052, + "лят": 39053, + "▁конференции": 39054, + "▁партизан": 39055, + "▁прибо": 39056, + "▁оставил": 39057, + "▁оттуда": 39058, + "▁Анна": 39059, + "пель": 39060, + "▁разумеется": 39061, + "▁наиболь": 39062, + "▁produc": 39063, + "vironment": 39064, + "нис": 39065, + "▁передать": 39066, + "шала": 39067, + "теры": 39068, + "▁лока": 39069, + "▁тести": 39070, + "тран": 39071, + "летнего": 39072, + "anish": 39073, + "▁вряд": 39074, + "▁уте": 39075, + "▁континен": 39076, + "▁зарегистри": 39077, + "шеб": 39078, + "▁слове": 39079, + "▁ждать": 39080, + "▁воли": 39081, + "менту": 39082, + "▁Мен": 39083, + "▁недостаточно": 39084, + "▁Уо": 39085, + "▁английский": 39086, + "▁участник": 39087, + "нося": 39088, + "▁составляют": 39089, + "зю": 39090, + "▁языков": 39091, + "▁семейства": 39092, + "▁иду": 39093, + "▁вмеша": 39094, + "▁полного": 39095, + "▁явление": 39096, + "▁смеша": 39097, + "▁поражение": 39098, + "▁научной": 39099, + "▁судьба": 39100, + "манов": 39101, + "правед": 39102, + "▁Новый": 39103, + "▁выро": 39104, + "cis": 39105, + "▁никому": 39106, + "довал": 39107, + "▁рекоменду": 39108, + "Ва": 39109, + "▁любил": 39110, + "▁подс": 39111, + "▁открыл": 39112, + "▁очередной": 39113, + "▁накло": 39114, + "▁боях": 39115, + "▁Ган": 39116, + "чко": 39117, + "▁состоянию": 39118, + "гона": 39119, + "▁удержи": 39120, + "▁Дю": 39121, + "▁минера": 39122, + "▁гибели": 39123, + "полков": 39124, + "гере": 39125, + "▁лёг": 39126, + "лине": 39127, + "▁переименова": 39128, + "▁патро": 39129, + "▁эстети": 39130, + "▁медали": 39131, + "▁длиной": 39132, + "▁используя": 39133, + "▁прие": 39134, + "таны": 39135, + "дона": 39136, + "▁технологий": 39137, + "▁разделя": 39138, + "▁орденом": 39139, + "▁находилась": 39140, + "▁изде": 39141, + "▁топо": 39142, + "▁комнате": 39143, + "▁днем": 39144, + "▁сахар": 39145, + "Бу": 39146, + "▁Чар": 39147, + "▁многочисленные": 39148, + "▁Неу": 39149, + "емую": 39150, + "▁великоле": 39151, + "▁героев": 39152, + "льти": 39153, + "▁зоны": 39154, + "▁вчера": 39155, + "американ": 39156, + "зора": 39157, + "▁Ответ": 39158, + "▁подходя": 39159, + "▁кварта": 39160, + "▁перешёл": 39161, + "▁династи": 39162, + "стет": 39163, + "▁Причем": 39164, + "▁собаки": 39165, + "рении": 39166, + "чала": 39167, + "▁пау": 39168, + "года": 39169, + "▁Жен": 39170, + "▁потерпе": 39171, + "▁альтерна": 39172, + "▁Марии": 39173, + "▁округ": 39174, + "вете": 39175, + "▁религии": 39176, + "воды": 39177, + "▁криста": 39178, + "▁зар": 39179, + "▁плана": 39180, + "бии": 39181, + "▁Жан": 39182, + "щенный": 39183, + "▁Интере": 39184, + "▁благород": 39185, + "национа": 39186, + "▁визи": 39187, + "▁восхи": 39188, + "рений": 39189, + "тала": 39190, + "▁минимум": 39191, + "stitute": 39192, + "leb": 39193, + "▁Ивана": 39194, + "ДР": 39195, + "сий": 39196, + "▁успел": 39197, + "следу": 39198, + "▁конечном": 39199, + "демокра": 39200, + "▁Мек": 39201, + "инг": 39202, + "▁средство": 39203, + "▁Золо": 39204, + "▁ваше": 39205, + "▁работали": 39206, + "Су": 39207, + "фт": 39208, + "▁Вместо": 39209, + "▁Дума": 39210, + "▁Вя": 39211, + "▁объекты": 39212, + "▁Дер": 39213, + "▁порой": 39214, + "▁побу": 39215, + "▁подразделения": 39216, + "▁незначи": 39217, + "▁террори": 39218, + "тельству": 39219, + "нку": 39220, + "▁демо": 39221, + "▁Крем": 39222, + "sych": 39223, + "▁Вну": 39224, + "▁Королев": 39225, + "▁мотива": 39226, + "▁изменение": 39227, + "▁твердо": 39228, + "▁Пан": 39229, + "▁Конститу": 39230, + "▁концентра": 39231, + "▁общий": 39232, + "▁отверсти": 39233, + "▁будь": 39234, + "тическими": 39235, + "▁моди": 39236, + "▁Хан": 39237, + "▁пользоваться": 39238, + "▁пунктов": 39239, + "туга": 39240, + "хии": 39241, + "▁патриар": 39242, + "▁законов": 39243, + "▁гран": 39244, + "▁союза": 39245, + "▁Отец": 39246, + "▁гумани": 39247, + "▁театре": 39248, + "зидиума": 39249, + "щенных": 39250, + "▁волны": 39251, + "▁Ву": 39252, + "▁Йо": 39253, + "▁Вален": 39254, + "▁кода": 39255, + "▁навсегда": 39256, + "довых": 39257, + "▁способны": 39258, + "▁Аф": 39259, + "▁СС": 39260, + "▁прибе": 39261, + "▁вопросу": 39262, + "▁поздно": 39263, + "▁напада": 39264, + "▁департа": 39265, + "▁поход": 39266, + "▁Досто": 39267, + "▁методи": 39268, + "▁nec": 39269, + "▁став": 39270, + "мирал": 39271, + "тками": 39272, + "▁мама": 39273, + "▁немцы": 39274, + "▁пости": 39275, + "начале": 39276, + "▁рис": 39277, + "▁боло": 39278, + "▁чувстви": 39279, + "▁Союз": 39280, + "▁комплекса": 39281, + "мили": 39282, + "▁винов": 39283, + "▁корабли": 39284, + "шься": 39285, + "▁Леони": 39286, + "▁гиб": 39287, + "▁Вне": 39288, + "▁Право": 39289, + "▁Позд": 39290, + "▁Финля": 39291, + "▁побы": 39292, + "ГБ": 39293, + "ьте": 39294, + "▁воскрес": 39295, + "ждую": 39296, + "▁рыб": 39297, + "тент": 39298, + "▁Лан": 39299, + "▁взаимодействия": 39300, + "▁высоты": 39301, + "▁продукты": 39302, + "ГО": 39303, + "▁Выс": 39304, + "▁реаги": 39305, + "▁выбора": 39306, + "сками": 39307, + "▁адвока": 39308, + "▁иные": 39309, + "▁купить": 39310, + "▁выжи": 39311, + "▁Американ": 39312, + "▁промы": 39313, + "▁назван": 39314, + "▁использует": 39315, + "▁имея": 39316, + "▁уровнем": 39317, + "▁указывает": 39318, + "▁бомбардиров": 39319, + "pecially": 39320, + "тельны": 39321, + "▁авторов": 39322, + "▁иско": 39323, + "провод": 39324, + "пев": 39325, + "кета": 39326, + "ани": 39327, + "▁всяком": 39328, + "▁Христо": 39329, + "▁обру": 39330, + "тт": 39331, + "▁деше": 39332, + "сне": 39333, + "▁враже": 39334, + "▁появления": 39335, + "Хо": 39336, + "▁поэзии": 39337, + "▁Мед": 39338, + "▁американской": 39339, + "▁Окон": 39340, + "▁второе": 39341, + "▁плоско": 39342, + "▁воро": 39343, + "▁общественных": 39344, + "щийся": 39345, + "▁тамо": 39346, + "▁Мои": 39347, + "▁общения": 39348, + "▁признать": 39349, + "▁экономической": 39350, + "▁Гос": 39351, + "▁клетки": 39352, + "▁получать": 39353, + "▁модерни": 39354, + "тится": 39355, + "▁серьёз": 39356, + "степен": 39357, + "уго": 39358, + "▁песен": 39359, + "▁блок": 39360, + "▁Часть": 39361, + "▁лицен": 39362, + "▁нераз": 39363, + "▁Член": 39364, + "▁суток": 39365, + "зву": 39366, + "▁необходимые": 39367, + "▁планы": 39368, + "▁состоялась": 39369, + "▁политика": 39370, + "▁шка": 39371, + "бек": 39372, + "▁пола": 39373, + "▁комисса": 39374, + "▁Нем": 39375, + "ченное": 39376, + "мета": 39377, + "ёлок": 39378, + "▁расчет": 39379, + "▁Нико": 39380, + "чины": 39381, + "▁моим": 39382, + "ведена": 39383, + "▁съе": 39384, + "▁молодё": 39385, + "▁зали": 39386, + "лум": 39387, + "▁мясо": 39388, + "льше": 39389, + "▁докла": 39390, + "▁бизнеса": 39391, + "▁Северо": 39392, + "▁нали": 39393, + "▁появляются": 39394, + "▁мероприятия": 39395, + "▁импуль": 39396, + "▁титул": 39397, + "▁Вашинг": 39398, + "▁нежели": 39399, + "мить": 39400, + "▁возму": 39401, + "▁сезон": 39402, + "пали": 39403, + "▁студентов": 39404, + "дении": 39405, + "▁атаки": 39406, + "Пу": 39407, + "слава": 39408, + "жского": 39409, + "▁крае": 39410, + "▁средствами": 39411, + "▁Предпо": 39412, + "▁связана": 39413, + "▁версия": 39414, + "риях": 39415, + "▁позволяют": 39416, + "▁внезапно": 39417, + "▁симпто": 39418, + "▁гале": 39419, + "ТАР": 39420, + "▁масте": 39421, + "грамма": 39422, + "▁Пушкина": 39423, + "▁выборов": 39424, + "▁точку": 39425, + "▁экза": 39426, + "верен": 39427, + "▁сон": 39428, + "Ки": 39429, + "▁Всё": 39430, + "мма": 39431, + "▁живых": 39432, + "▁посёлок": 39433, + "ъем": 39434, + "▁искусств": 39435, + "виду": 39436, + "ющаяся": 39437, + "▁отказаться": 39438, + "▁Швей": 39439, + "▁граду": 39440, + "▁разведки": 39441, + "▁сложности": 39442, + "▁пробу": 39443, + "▁убийства": 39444, + "▁исследователь": 39445, + "▁юге": 39446, + "▁Библи": 39447, + "плек": 39448, + "▁счёт": 39449, + "▁предметы": 39450, + "▁биографи": 39451, + "▁командованием": 39452, + "Все": 39453, + "▁траги": 39454, + "▁бессо": 39455, + "▁понимаю": 39456, + "▁Органи": 39457, + "▁бумаги": 39458, + "▁разво": 39459, + "бл": 39460, + "utive": 39461, + "▁Верх": 39462, + "▁камер": 39463, + "▁птиц": 39464, + "бей": 39465, + "▁крей": 39466, + "тивов": 39467, + "▁МВД": 39468, + "▁войско": 39469, + "▁ребя": 39470, + "▁орудий": 39471, + "▁Ранее": 39472, + "▁гигант": 39473, + "▁расположены": 39474, + "▁гражданской": 39475, + "▁блока": 39476, + "▁погло": 39477, + "худ": 39478, + "▁замуж": 39479, + "жек": 39480, + "▁Одно": 39481, + "▁Вин": 39482, + "КС": 39483, + "▁бен": 39484, + "▁типов": 39485, + "зыв": 39486, + "шите": 39487, + "▁вступил": 39488, + "МА": 39489, + "лян": 39490, + "▁совершил": 39491, + "щенные": 39492, + "▁издания": 39493, + "▁Впервые": 39494, + "▁конфликт": 39495, + "▁проверки": 39496, + "торе": 39497, + "цкой": 39498, + "▁основным": 39499, + "▁показали": 39500, + "▁ово": 39501, + "▁неот": 39502, + "пал": 39503, + "▁термин": 39504, + "▁воле": 39505, + "▁врач": 39506, + "▁Ника": 39507, + "▁везде": 39508, + "▁бер": 39509, + "▁системой": 39510, + "▁реб": 39511, + "▁мифо": 39512, + "▁немецкий": 39513, + "шками": 39514, + "▁полковник": 39515, + "▁давать": 39516, + "▁известны": 39517, + "▁огра": 39518, + "▁сх": 39519, + "▁прибыл": 39520, + "▁зао": 39521, + "▁вход": 39522, + "▁Фон": 39523, + "▁элемент": 39524, + "▁зерка": 39525, + "▁монастыря": 39526, + "▁ветер": 39527, + "▁журнал": 39528, + "▁охла": 39529, + "▁Результа": 39530, + "▁банка": 39531, + "гура": 39532, + "уса": 39533, + "▁прошел": 39534, + "льда": 39535, + "▁запись": 39536, + "▁балан": 39537, + "▁сцен": 39538, + "ЛО": 39539, + "тивную": 39540, + "рки": 39541, + "фина": 39542, + "▁группой": 39543, + "▁таин": 39544, + "▁диссер": 39545, + "ваи": 39546, + "▁Ear": 39547, + "▁существа": 39548, + "сот": 39549, + "тация": 39550, + "▁Мой": 39551, + "▁Украин": 39552, + "шенных": 39553, + "▁приви": 39554, + "▁сопротивление": 39555, + "чешь": 39556, + "▁услуги": 39557, + "дают": 39558, + "▁структура": 39559, + "▁новом": 39560, + "▁голова": 39561, + "▁недостато": 39562, + "▁погибли": 39563, + "▁прости": 39564, + "▁сутки": 39565, + "▁огромное": 39566, + "▁внед": 39567, + "▁международного": 39568, + "тирован": 39569, + "▁веща": 39570, + "▁боги": 39571, + "▁парламент": 39572, + "▁предлагает": 39573, + "▁пытались": 39574, + "фикси": 39575, + "▁общественной": 39576, + "▁Маль": 39577, + "▁заключения": 39578, + "▁сборную": 39579, + "литься": 39580, + "▁проф": 39581, + "шенко": 39582, + "▁корреспонден": 39583, + "▁термина": 39584, + "▁лежа": 39585, + "▁пусто": 39586, + "▁великий": 39587, + "тория": 39588, + "▁настоящий": 39589, + "▁предметов": 39590, + "▁сталки": 39591, + "▁Жиз": 39592, + "▁станция": 39593, + "▁Ира": 39594, + "скры": 39595, + "▁секретарь": 39596, + "честву": 39597, + "▁свободно": 39598, + "▁посоль": 39599, + "▁атаку": 39600, + "▁Земле": 39601, + "▁транспорта": 39602, + "▁«\"": 39603, + "▁жив": 39604, + "▁ВС": 39605, + "ционную": 39606, + "севдо": 39607, + "туи": 39608, + "▁подве": 39609, + "▁натура": 39610, + "utions": 39611, + "▁состоялся": 39612, + "▁бог": 39613, + "пления": 39614, + "▁непоня": 39615, + "▁преобла": 39616, + "сение": 39617, + "▁имущества": 39618, + "ёв": 39619, + "поля": 39620, + "▁сумел": 39621, + "тры": 39622, + "▁радика": 39623, + "▁инструмента": 39624, + "▁давление": 39625, + "ficult": 39626, + "▁Архи": 39627, + "▁зоне": 39628, + "▁растения": 39629, + "вим": 39630, + "▁ске": 39631, + "▁бюдже": 39632, + "▁швед": 39633, + "▁принципе": 39634, + "стический": 39635, + "▁орден": 39636, + "шер": 39637, + "▁сообща": 39638, + "▁нейтра": 39639, + "▁впрочем": 39640, + "▁чувств": 39641, + "▁делали": 39642, + "цвета": 39643, + "▁разговари": 39644, + "▁масси": 39645, + "▁рассказать": 39646, + "▁разрешения": 39647, + "▁базо": 39648, + "Из": 39649, + "▁забил": 39650, + "▁Основные": 39651, + "▁скоростью": 39652, + "▁Вой": 39653, + "▁Большой": 39654, + "▁обучение": 39655, + "▁утро": 39656, + "гности": 39657, + "▁голоса": 39658, + "▁Мю": 39659, + "чнее": 39660, + "▁хватает": 39661, + "▁единственным": 39662, + "▁аван": 39663, + "▁национали": 39664, + "▁наци": 39665, + "▁сомне": 39666, + "рим": 39667, + "▁писто": 39668, + "▁содей": 39669, + "▁Зак": 39670, + "▁обмен": 39671, + "жаются": 39672, + "▁статья": 39673, + "▁прошед": 39674, + "▁придержи": 39675, + "▁День": 39676, + "▁секунд": 39677, + "▁защиту": 39678, + "▁отва": 39679, + "нюдь": 39680, + "▁останов": 39681, + "фикация": 39682, + "▁собесед": 39683, + "▁хода": 39684, + "▁фикси": 39685, + "▁пищи": 39686, + "▁робо": 39687, + "▁бре": 39688, + "▁обработки": 39689, + "▁напом": 39690, + "▁Одним": 39691, + "▁зажи": 39692, + "▁допусти": 39693, + "КО": 39694, + "▁утверждает": 39695, + "фек": 39696, + "▁груди": 39697, + "▁личность": 39698, + "▁заку": 39699, + "▁механизм": 39700, + "дового": 39701, + "▁вод": 39702, + "▁оза": 39703, + "▁температуры": 39704, + "▁Игорь": 39705, + "▁выбрать": 39706, + "▁прошла": 39707, + "▁подряд": 39708, + "▁буль": 39709, + "▁уса": 39710, + "▁скажем": 39711, + "▁plann": 39712, + "▁наве": 39713, + "▁стояли": 39714, + "▁альбо": 39715, + "▁старых": 39716, + "ИЙ": 39717, + "▁шум": 39718, + "▁оставался": 39719, + "чивость": 39720, + "▁правой": 39721, + "ИА": 39722, + "▁ракеты": 39723, + "▁конц": 39724, + "▁цивилизации": 39725, + "▁Иоси": 39726, + "▁смени": 39727, + "▁спасти": 39728, + "говой": 39729, + "▁определение": 39730, + "▁письме": 39731, + "дена": 39732, + "ненным": 39733, + "▁культура": 39734, + "▁экспедиции": 39735, + "▁Мир": 39736, + "▁Администра": 39737, + "▁рассматривать": 39738, + "▁крепости": 39739, + "сель": 39740, + "мора": 39741, + "▁Сере": 39742, + "▁ценности": 39743, + "▁границу": 39744, + "▁кине": 39745, + "▁автоном": 39746, + "▁зарпла": 39747, + "▁курса": 39748, + "▁рассчита": 39749, + "▁Жа": 39750, + "▁получают": 39751, + "▁столетия": 39752, + "никова": 39753, + "▁мышления": 39754, + "▁ране": 39755, + "ющееся": 39756, + "▁хиру": 39757, + "вьте": 39758, + "▁выражения": 39759, + "▁серий": 39760, + "▁севере": 39761, + "▁непло": 39762, + "▁пострада": 39763, + "▁газета": 39764, + "чника": 39765, + "▁охраны": 39766, + "нек": 39767, + "▁соль": 39768, + "▁декора": 39769, + "▁пригово": 39770, + "▁пожела": 39771, + "▁детьми": 39772, + "▁опасность": 39773, + "▁собрания": 39774, + "▁кали": 39775, + "бия": 39776, + "цева": 39777, + "▁желания": 39778, + "▁американского": 39779, + "▁настой": 39780, + "▁музея": 39781, + "▁учитель": 39782, + "▁этно": 39783, + "▁окно": 39784, + "▁кано": 39785, + "▁среду": 39786, + "▁Кру": 39787, + "oviet": 39788, + "▁Шар": 39789, + "▁поток": 39790, + "▁центральной": 39791, + "испо": 39792, + "▁возникают": 39793, + "▁звезд": 39794, + "▁подобного": 39795, + "▁надея": 39796, + "▁миром": 39797, + "▁расстояние": 39798, + "▁редак": 39799, + "▁упразд": 39800, + "▁службе": 39801, + "▁хре": 39802, + "▁австрий": 39803, + "чим": 39804, + "▁обер": 39805, + "▁урав": 39806, + "▁первен": 39807, + "бое": 39808, + "▁яро": 39809, + "лд": 39810, + "▁сена": 39811, + "▁ходу": 39812, + "▁Оче": 39813, + "совет": 39814, + "▁матч": 39815, + "▁заявление": 39816, + "ляли": 39817, + "▁Греции": 39818, + "▁обратился": 39819, + "▁расту": 39820, + "▁третьего": 39821, + "▁откров": 39822, + "▁визу": 39823, + "▁иное": 39824, + "▁комнату": 39825, + "вшуюся": 39826, + "▁отделение": 39827, + "▁языком": 39828, + "▁незакон": 39829, + "ковать": 39830, + "лям": 39831, + "вут": 39832, + "▁диалек": 39833, + "▁Первое": 39834, + "▁превосход": 39835, + "лона": 39836, + "▁Советской": 39837, + "лланд": 39838, + "▁стоят": 39839, + "щаясь": 39840, + "тарь": 39841, + "▁симпа": 39842, + "пия": 39843, + "▁стоимости": 39844, + "▁судьбы": 39845, + "▁индей": 39846, + "▁испытания": 39847, + "дется": 39848, + "▁сторона": 39849, + "▁уйти": 39850, + "ченная": 39851, + "жской": 39852, + "▁флот": 39853, + "▁Гражда": 39854, + "Кра": 39855, + "▁хороший": 39856, + "▁идеа": 39857, + "▁мото": 39858, + "смотрим": 39859, + "▁наличии": 39860, + "▁поможет": 39861, + "▁Александрович": 39862, + "хождение": 39863, + "ведением": 39864, + "▁инфраструк": 39865, + "▁поговори": 39866, + "▁уво": 39867, + "▁Писа": 39868, + "▁фотографии": 39869, + "▁перехода": 39870, + "▁исследование": 39871, + "▁стремление": 39872, + "носят": 39873, + "▁определяет": 39874, + "▁столицы": 39875, + "▁приехал": 39876, + "стор": 39877, + "▁Красного": 39878, + "▁ура": 39879, + "▁выдержа": 39880, + "▁Рича": 39881, + "▁боле": 39882, + "▁Лондоне": 39883, + "▁приспособ": 39884, + "▁вещь": 39885, + "▁Коло": 39886, + "▁вызвать": 39887, + "▁размере": 39888, + "▁здоровье": 39889, + "▁друже": 39890, + "▁проще": 39891, + "▁опе": 39892, + "▁непрерыв": 39893, + "▁понимает": 39894, + "▁статью": 39895, + "▁защит": 39896, + "▁мнения": 39897, + "тового": 39898, + "▁несу": 39899, + "▁социального": 39900, + "▁посыла": 39901, + "▁наряду": 39902, + "▁определён": 39903, + "▁теп": 39904, + "▁встрече": 39905, + "▁ВМ": 39906, + "▁пони": 39907, + "▁невер": 39908, + "▁база": 39909, + "▁Такая": 39910, + "▁благоприят": 39911, + "▁образа": 39912, + "▁каждое": 39913, + "▁настоящего": 39914, + "▁Сю": 39915, + "сид": 39916, + "потре": 39917, + "▁сде": 39918, + "▁инфек": 39919, + "▁иного": 39920, + "▁этап": 39921, + "▁выполнить": 39922, + "▁создает": 39923, + "пети": 39924, + "▁равен": 39925, + "▁Дом": 39926, + "раиль": 39927, + "▁значительной": 39928, + "▁консульта": 39929, + "▁случаи": 39930, + "▁штата": 39931, + "▁сельсовета": 39932, + "▁черно": 39933, + "рила": 39934, + "▁Игра": 39935, + "▁Богу": 39936, + "▁следующих": 39937, + "▁сцены": 39938, + "уголь": 39939, + "▁каждым": 39940, + "▁Китае": 39941, + "ешься": 39942, + "▁стиль": 39943, + "шне": 39944, + "▁увеличе": 39945, + "▁пропаган": 39946, + "▁Кол": 39947, + "▁Произ": 39948, + "▁обеих": 39949, + "▁акций": 39950, + "жник": 39951, + "хло": 39952, + "▁стремя": 39953, + "▁земель": 39954, + "▁доход": 39955, + "▁гарни": 39956, + "▁кстати": 39957, + "▁мусульман": 39958, + "▁попросил": 39959, + "▁кампании": 39960, + "▁Участ": 39961, + "▁верно": 39962, + "duction": 39963, + "▁близко": 39964, + "▁записы": 39965, + "чному": 39966, + "▁госу": 39967, + "clus": 39968, + "Пи": 39969, + "▁количестве": 39970, + "▁напоминает": 39971, + "номер": 39972, + "мать": 39973, + "ленная": 39974, + "▁оказаться": 39975, + "▁памятник": 39976, + "▁берег": 39977, + "arliam": 39978, + "▁мудро": 39979, + "Рус": 39980, + "▁специальных": 39981, + "кои": 39982, + "?..": 39983, + "хин": 39984, + "▁Буду": 39985, + "нической": 39986, + "дзе": 39987, + "вляются": 39988, + "ода": 39989, + "еруса": 39990, + "▁понимание": 39991, + "▁Руко": 39992, + "▁соци": 39993, + "▁использовали": 39994, + "син": 39995, + "▁впереди": 39996, + "▁дерева": 39997, + "гне": 39998, + "ложении": 39999, + "▁высоких": 40000, + "▁исключа": 40001, + "▁прочих": 40002, + "▁Польши": 40003, + "твори": 40004, + "шенные": 40005, + "▁Кэ": 40006, + "емости": 40007, + "▁Михайлович": 40008, + "▁заметить": 40009, + "▁похи": 40010, + "▁Разве": 40011, + "▁поми": 40012, + "▁скажу": 40013, + "▁ограничения": 40014, + "▁Бель": 40015, + "новский": 40016, + "▁тобой": 40017, + "▁Нужно": 40018, + "▁горизонта": 40019, + "кабу": 40020, + "▁учения": 40021, + "лёт": 40022, + "▁создана": 40023, + "▁поставил": 40024, + "▁фундамента": 40025, + "▁батальона": 40026, + "▁Другие": 40027, + "▁Современ": 40028, + "▁соч": 40029, + "несла": 40030, + "▁Часто": 40031, + "▁отчая": 40032, + "▁Октябрь": 40033, + "▁насы": 40034, + "▁выступ": 40035, + "тике": 40036, + "▁найден": 40037, + "▁Лин": 40038, + "▁рот": 40039, + "▁высокий": 40040, + "лили": 40041, + "▁достовер": 40042, + "▁исторических": 40043, + "▁Обла": 40044, + "▁понимания": 40045, + "▁абстра": 40046, + "▁каждую": 40047, + "▁любое": 40048, + "▁акции": 40049, + "▁отмечает": 40050, + "нувшись": 40051, + "▁отнюдь": 40052, + "▁невозмо": 40053, + "▁фестива": 40054, + "▁выве": 40055, + "▁выса": 40056, + "▁учился": 40057, + "▁предложе": 40058, + "▁обнаружил": 40059, + "▁зла": 40060, + "▁душев": 40061, + "мур": 40062, + "ляция": 40063, + "▁давления": 40064, + "▁счастье": 40065, + "▁проверя": 40066, + "таясь": 40067, + "гря": 40068, + "▁отече": 40069, + "▁важных": 40070, + "▁реме": 40071, + "▁объединения": 40072, + "юри": 40073, + "▁образе": 40074, + "▁издание": 40075, + "стическая": 40076, + "▁Михаила": 40077, + "▁Вз": 40078, + "фан": 40079, + "▁бывают": 40080, + "ilies": 40081, + "▁обоб": 40082, + "▁мною": 40083, + "▁регулярно": 40084, + "▁районов": 40085, + "▁оре": 40086, + "▁оставаться": 40087, + "▁командование": 40088, + "arliament": 40089, + "ИЯ": 40090, + "женным": 40091, + "▁подходит": 40092, + "▁различными": 40093, + "▁дорог": 40094, + "▁гипер": 40095, + "▁дерево": 40096, + "▁организм": 40097, + "▁Социали": 40098, + "▁Кро": 40099, + "▁банки": 40100, + "▁вина": 40101, + "праши": 40102, + "▁оставалось": 40103, + "▁сестра": 40104, + "▁remov": 40105, + "▁конфликта": 40106, + "▁Стани": 40107, + "▁читал": 40108, + "▁Ещё": 40109, + "▁начались": 40110, + "́н": 40111, + "нейшие": 40112, + "▁Тех": 40113, + "▁улыб": 40114, + "▁банк": 40115, + "▁Над": 40116, + "Ан": 40117, + "▁Белоруссии": 40118, + "вик": 40119, + "▁шоссе": 40120, + "▁служеб": 40121, + "▁Хорошо": 40122, + "петь": 40123, + "▁вернуть": 40124, + "▁причинам": 40125, + "ДА": 40126, + "▁Время": 40127, + "▁Петербурге": 40128, + "▁камень": 40129, + "▁веб": 40130, + "▁контакт": 40131, + "▁Спу": 40132, + "▁видом": 40133, + "▁фильмов": 40134, + "рева": 40135, + "▁ладо": 40136, + "▁факты": 40137, + "▁веры": 40138, + "▁соглашения": 40139, + "▁лучший": 40140, + "▁выполнение": 40141, + "▁Больше": 40142, + "▁девушки": 40143, + "▁св": 40144, + "▁кван": 40145, + "▁важным": 40146, + "▁замени": 40147, + "жке": 40148, + "▁занимал": 40149, + "▁позволит": 40150, + "▁несомненно": 40151, + "▁Роберт": 40152, + "▁обстре": 40153, + "▁См": 40154, + "люблен": 40155, + "пуга": 40156, + "▁остаются": 40157, + "▁закре": 40158, + "▁левой": 40159, + "▁administ": 40160, + "▁Лишь": 40161, + "▁клиентов": 40162, + "▁объе": 40163, + "Ла": 40164, + "▁Иса": 40165, + "▁учетом": 40166, + "▁пределы": 40167, + "бал": 40168, + "▁распространение": 40169, + "▁работо": 40170, + "слом": 40171, + "▁диапа": 40172, + "▁матчей": 40173, + "▁Необходи": 40174, + "зло": 40175, + "▁работала": 40176, + "▁Министерства": 40177, + "▁Одновременно": 40178, + "▁страха": 40179, + "▁прока": 40180, + "▁звё": 40181, + "▁старый": 40182, + "▁представлен": 40183, + "▁океана": 40184, + "▁музыку": 40185, + "▁больных": 40186, + "▁окончании": 40187, + "▁нарушение": 40188, + "▁Васильевич": 40189, + "пры": 40190, + "АС": 40191, + "▁сотрудники": 40192, + "▁двигателя": 40193, + "▁свидетельствует": 40194, + "▁Евгений": 40195, + "▁регионе": 40196, + "▁моде": 40197, + "▁культуре": 40198, + "▁взяли": 40199, + "слуши": 40200, + "▁продолжать": 40201, + "▁парламента": 40202, + "▁выбро": 40203, + "стили": 40204, + "▁избра": 40205, + "▁нере": 40206, + "чностью": 40207, + "▁вар": 40208, + "▁результатом": 40209, + "▁Вопрос": 40210, + "▁примени": 40211, + "шенный": 40212, + "▁наука": 40213, + "▁наименова": 40214, + "▁дорого": 40215, + "▁политике": 40216, + "▁штат": 40217, + "▁зачастую": 40218, + "▁Президиума": 40219, + "стема": 40220, + "▁пови": 40221, + "Кон": 40222, + "▁входя": 40223, + "▁детям": 40224, + "▁связей": 40225, + "питы": 40226, + "сках": 40227, + "Му": 40228, + "▁кофе": 40229, + "тному": 40230, + "▁ябло": 40231, + "▁разы": 40232, + "▁задума": 40233, + "overnor": 40234, + "▁физики": 40235, + "уме": 40236, + "▁типо": 40237, + "новича": 40238, + "▁появление": 40239, + "▁изначально": 40240, + "▁болезнь": 40241, + "▁функция": 40242, + "▁дифф": 40243, + "▁европейских": 40244, + "▁вечера": 40245, + "▁держать": 40246, + "▁обращения": 40247, + "▁окружающей": 40248, + "▁Поня": 40249, + "▁любые": 40250, + "▁попол": 40251, + "\"...": 40252, + "▁кирпи": 40253, + "▁услов": 40254, + "▁заявля": 40255, + "▁Обо": 40256, + "▁личного": 40257, + "тивными": 40258, + "моно": 40259, + "▁ряде": 40260, + "▁рев": 40261, + "▁убы": 40262, + "▁целиком": 40263, + "▁рецеп": 40264, + "▁взры": 40265, + "▁собрать": 40266, + "вающей": 40267, + "ляют": 40268, + "▁детства": 40269, + "▁зафикси": 40270, + "▁иу": 40271, + "▁заводе": 40272, + "▁ушел": 40273, + "▁особого": 40274, + "▁живой": 40275, + "▁вело": 40276, + "тащи": 40277, + "▁Гей": 40278, + "▁асси": 40279, + "▁президентом": 40280, + "веси": 40281, + "▁насеко": 40282, + "▁полета": 40283, + "▁заблу": 40284, + "▁сделано": 40285, + "▁месту": 40286, + "▁изли": 40287, + "▁крыла": 40288, + "▁занимается": 40289, + "▁Варша": 40290, + "▁эксплуатации": 40291, + "▁лед": 40292, + "▁Тан": 40293, + "▁собак": 40294, + "▁самую": 40295, + "▁попасть": 40296, + "▁отряда": 40297, + "▁принятия": 40298, + "▁Сама": 40299, + "▁графа": 40300, + "▁проведен": 40301, + "▁выру": 40302, + "▁десятки": 40303, + "рва": 40304, + "▁фили": 40305, + "▁политику": 40306, + "▁народу": 40307, + "ЕВ": 40308, + "▁борту": 40309, + "▁сидя": 40310, + "дневно": 40311, + "▁устойчи": 40312, + "▁Длина": 40313, + "▁Лев": 40314, + "стыми": 40315, + "▁Значит": 40316, + "▁физической": 40317, + "тины": 40318, + "▁нормы": 40319, + "▁верхов": 40320, + "▁факторов": 40321, + "фана": 40322, + "▁экстре": 40323, + "мея": 40324, + "если": 40325, + "▁внутреннего": 40326, + "▁беремен": 40327, + "▁подписал": 40328, + "▁Луи": 40329, + "▁люблю": 40330, + "▁проверить": 40331, + "стон": 40332, + "▁драго": 40333, + "▁Основа": 40334, + "▁пойти": 40335, + "▁мони": 40336, + "зываться": 40337, + "емыми": 40338, + "▁созданию": 40339, + "пова": 40340, + "Че": 40341, + "▁пру": 40342, + "▁исчеза": 40343, + "▁Стар": 40344, + "▁лов": 40345, + "▁обуча": 40346, + "водится": 40347, + "вляться": 40348, + "▁прокуро": 40349, + "▁написано": 40350, + "▁твое": 40351, + "рожден": 40352, + "ренный": 40353, + "АЗ": 40354, + "▁линия": 40355, + "▁ответить": 40356, + "▁потер": 40357, + "▁немно": 40358, + "женная": 40359, + "▁дворян": 40360, + "▁первич": 40361, + "▁островов": 40362, + "▁отличаются": 40363, + "▁использовании": 40364, + "▁сидел": 40365, + "ерархи": 40366, + "▁открыть": 40367, + "▁смогут": 40368, + "▁устре": 40369, + "▁экземпля": 40370, + "▁ткани": 40371, + "стских": 40372, + "▁внимательно": 40373, + "▁турнира": 40374, + "▁опубликован": 40375, + "▁вражде": 40376, + "▁раб": 40377, + "стинк": 40378, + "▁стер": 40379, + "▁строки": 40380, + "▁аппарата": 40381, + "шной": 40382, + "▁проявления": 40383, + "ствующие": 40384, + "▁французского": 40385, + "жутся": 40386, + "▁прозра": 40387, + "▁перейти": 40388, + "▁собою": 40389, + "▁двадцати": 40390, + "▁меньшей": 40391, + "▁волости": 40392, + "▁instit": 40393, + "зина": 40394, + "▁Вообще": 40395, + "льци": 40396, + "▁Россией": 40397, + "▁ворота": 40398, + "▁экипажа": 40399, + "▁актуаль": 40400, + "▁доступа": 40401, + "▁Син": 40402, + "леб": 40403, + "▁укры": 40404, + "ranch": 40405, + "▁понимал": 40406, + "▁исполнения": 40407, + "▁выполня": 40408, + "▁ошибок": 40409, + "▁шер": 40410, + "▁дебютировал": 40411, + "▁фору": 40412, + "▁мозг": 40413, + "яр": 40414, + "▁Восточной": 40415, + "▁надпись": 40416, + "▁ваших": 40417, + "▁Были": 40418, + "гается": 40419, + "фрикан": 40420, + "▁расширя": 40421, + "▁Никто": 40422, + "▁Смолен": 40423, + "▁сравнительно": 40424, + "▁пределами": 40425, + "▁Степа": 40426, + "терии": 40427, + "▁армией": 40428, + "▁оси": 40429, + "линд": 40430, + "▁подзем": 40431, + "▁выбран": 40432, + "▁пограни": 40433, + "▁преу": 40434, + "ваемые": 40435, + "▁наступления": 40436, + "▁местные": 40437, + "зости": 40438, + "▁ухуд": 40439, + "ровке": 40440, + "дкой": 40441, + "▁боевые": 40442, + "▁переговоров": 40443, + "▁верхней": 40444, + "шок": 40445, + "▁bene": 40446, + "деква": 40447, + "▁Ильи": 40448, + "зиат": 40449, + "лайн": 40450, + "▁согласился": 40451, + "штейн": 40452, + "▁бытия": 40453, + "▁автоматически": 40454, + "▁сыном": 40455, + "▁Свер": 40456, + "ведь": 40457, + "▁Список": 40458, + "эф": 40459, + "▁Весь": 40460, + "▁принципы": 40461, + "▁начальником": 40462, + "▁происходило": 40463, + "▁порази": 40464, + "▁линию": 40465, + "чём": 40466, + "▁земе": 40467, + "▁экономического": 40468, + "хожу": 40469, + "▁Тимо": 40470, + "▁осталась": 40471, + "тирует": 40472, + "▁западной": 40473, + "▁военнослу": 40474, + "▁английского": 40475, + "▁каме": 40476, + "▁получилось": 40477, + "▁профессора": 40478, + "джер": 40479, + "▁подразуме": 40480, + "ИИ": 40481, + "Га": 40482, + "▁Сибири": 40483, + "льм": 40484, + "▁Расска": 40485, + "▁телекана": 40486, + "думан": 40487, + "▁метода": 40488, + "▁психологии": 40489, + "следователь": 40490, + "▁общих": 40491, + "кии": 40492, + "▁предполагает": 40493, + "нели": 40494, + "ильям": 40495, + "▁воспри": 40496, + "▁автомобиля": 40497, + "▁леги": 40498, + "новым": 40499, + "▁отъ": 40500, + "▁буржуаз": 40501, + "▁Гитлер": 40502, + "▁следовало": 40503, + "▁журнале": 40504, + "▁участники": 40505, + "▁подготовке": 40506, + "▁немецкой": 40507, + "▁прице": 40508, + "тинг": 40509, + "ergy": 40510, + "ланти": 40511, + "▁заро": 40512, + "▁труп": 40513, + "▁постав": 40514, + "ленного": 40515, + "▁девять": 40516, + "ровского": 40517, + "▁Турции": 40518, + "АТО": 40519, + "▁известного": 40520, + "▁кости": 40521, + "▁стр": 40522, + "▁приго": 40523, + "▁машине": 40524, + "▁разработке": 40525, + "▁тяго": 40526, + "▁Следова": 40527, + "▁суббо": 40528, + "▁подобное": 40529, + "▁маленький": 40530, + "▁ходить": 40531, + "Ло": 40532, + "▁просла": 40533, + "▁врагов": 40534, + "▁середины": 40535, + "▁Роман": 40536, + "цени": 40537, + "▁отдельно": 40538, + "▁Обе": 40539, + "▁тира": 40540, + "▁эволюции": 40541, + "▁напеча": 40542, + "▁звезда": 40543, + "▁точка": 40544, + "▁солдаты": 40545, + "гала": 40546, + "▁черта": 40547, + "▁терпе": 40548, + "бие": 40549, + "ровался": 40550, + "▁расположена": 40551, + "▁кусо": 40552, + "▁предпоч": 40553, + "▁некоторым": 40554, + "▁максимально": 40555, + "▁доказыва": 40556, + "▁автомобиль": 40557, + "▁исходя": 40558, + "▁пушки": 40559, + "▁движении": 40560, + "▁Вселенной": 40561, + "▁взрыва": 40562, + "▁собака": 40563, + "▁достичь": 40564, + "ствование": 40565, + "ристокра": 40566, + "▁Елиза": 40567, + "▁Президент": 40568, + "ллы": 40569, + "▁властей": 40570, + "▁комитет": 40571, + "▁спря": 40572, + "▁обнаружили": 40573, + "лес": 40574, + "▁лучшим": 40575, + "▁одежды": 40576, + "▁Кер": 40577, + "▁советские": 40578, + "▁результатам": 40579, + "мед": 40580, + "▁кло": 40581, + "▁высшего": 40582, + "▁Матери": 40583, + "▁оли": 40584, + "▁обеспечивает": 40585, + "вица": 40586, + "▁уступа": 40587, + "▁пункта": 40588, + "▁продоволь": 40589, + "▁Дере": 40590, + "...>": 40591, + "рока": 40592, + "▁Оп": 40593, + "▁Нар": 40594, + "▁событие": 40595, + "▁выиграл": 40596, + "▁критери": 40597, + "▁Алла": 40598, + "▁многочисленных": 40599, + "▁характеристики": 40600, + "▁Университе": 40601, + "▁продукт": 40602, + "▁художников": 40603, + "▁Тар": 40604, + "▁символ": 40605, + "▁лы": 40606, + "▁важное": 40607, + "▁ваго": 40608, + "▁карте": 40609, + "▁разоча": 40610, + "ОО": 40611, + "▁лесу": 40612, + "▁обыкновен": 40613, + "▁риск": 40614, + "▁волосы": 40615, + "▁ЕС": 40616, + "▁ремон": 40617, + "▁броси": 40618, + "ливый": 40619, + "▁представляется": 40620, + "меся": 40621, + "ренных": 40622, + "▁реклам": 40623, + "▁необ": 40624, + "▁источники": 40625, + "▁здраво": 40626, + "чах": 40627, + "▁Сирии": 40628, + "стере": 40629, + "▁газете": 40630, + "▁Впоследствии": 40631, + "еписко": 40632, + "купи": 40633, + "▁Позднее": 40634, + "▁ведут": 40635, + "▁футболист": 40636, + "▁двер": 40637, + "▁драматур": 40638, + "ксу": 40639, + "▁заби": 40640, + "▁массу": 40641, + "▁четко": 40642, + "десяти": 40643, + "▁глубине": 40644, + "▁актёр": 40645, + "сец": 40646, + "▁орудия": 40647, + "▁границе": 40648, + "▁грома": 40649, + "▁специальные": 40650, + "▁Путин": 40651, + "▁говорилось": 40652, + "▁использовал": 40653, + "▁виртуаль": 40654, + "▁магистра": 40655, + "▁нефти": 40656, + "▁моем": 40657, + "▁сад": 40658, + "нгви": 40659, + "▁расче": 40660, + "▁ир": 40661, + "чках": 40662, + "▁проби": 40663, + "лизации": 40664, + "▁тремя": 40665, + "▁взаимоот": 40666, + "▁признаки": 40667, + "уэ": 40668, + "личество": 40669, + "▁звания": 40670, + "резать": 40671, + "▁участием": 40672, + "тивном": 40673, + "сена": 40674, + "▁розы": 40675, + "▁Сын": 40676, + "▁Россий": 40677, + "▁молодого": 40678, + "чева": 40679, + "внокоман": 40680, + "▁политические": 40681, + "▁общим": 40682, + "▁листь": 40683, + "▁Тю": 40684, + "▁документ": 40685, + "МО": 40686, + "Ти": 40687, + "вный": 40688, + "лец": 40689, + "▁старые": 40690, + "▁перспек": 40691, + "мите": 40692, + "▁клеток": 40693, + "нилась": 40694, + "▁Константин": 40695, + "▁Джона": 40696, + "▁освобождения": 40697, + "▁реку": 40698, + "▁посад": 40699, + "▁рее": 40700, + "лично": 40701, + "▁начался": 40702, + "▁Существует": 40703, + "▁Сева": 40704, + "стояние": 40705, + "▁заслужи": 40706, + "pire": 40707, + "▁весной": 40708, + "▁деятельностью": 40709, + "▁ора": 40710, + "▁изви": 40711, + "▁извле": 40712, + "▁Воору": 40713, + "▁закономер": 40714, + "▁делается": 40715, + "монстри": 40716, + "▁высокие": 40717, + "▁требований": 40718, + "зрения": 40719, + "▁беру": 40720, + "▁классов": 40721, + "▁расстрой": 40722, + "▁золото": 40723, + "день": 40724, + "▁нав": 40725, + "▁Зу": 40726, + "▁Летом": 40727, + "▁репре": 40728, + "драв": 40729, + "▁составил": 40730, + "▁технических": 40731, + "▁ощущения": 40732, + "ключения": 40733, + "щенной": 40734, + "▁отсюда": 40735, + "▁пользователя": 40736, + "▁хлеба": 40737, + "▁размеров": 40738, + "▁поддерживать": 40739, + "▁спортсме": 40740, + "▁ворот": 40741, + "зуется": 40742, + "▁трибу": 40743, + "▁сби": 40744, + "▁активности": 40745, + "▁Сти": 40746, + "▁прогу": 40747, + "▁поддержке": 40748, + "▁Действи": 40749, + "▁разными": 40750, + "▁успехом": 40751, + "чих": 40752, + "▁папа": 40753, + "▁Иеруса": 40754, + "вершенно": 40755, + "▁осенью": 40756, + "нны": 40757, + "▁мяте": 40758, + "▁Мака": 40759, + "▁уходит": 40760, + "▁Разумеется": 40761, + "подоб": 40762, + "совершен": 40763, + "▁зуб": 40764, + "▁русским": 40765, + "▁произведение": 40766, + "▁расходы": 40767, + "уз": 40768, + "▁гордо": 40769, + "▁ошиб": 40770, + "тека": 40771, + "▁имело": 40772, + "Йорк": 40773, + "▁перевоз": 40774, + "фель": 40775, + "▁клима": 40776, + "▁семина": 40777, + "▁аппарат": 40778, + "▁политический": 40779, + "Исто": 40780, + "▁заказа": 40781, + "▁служа": 40782, + "▁размера": 40783, + "▁потерял": 40784, + "▁происше": 40785, + "▁псевдо": 40786, + "▁артиллерии": 40787, + "▁французской": 40788, + "▁резиден": 40789, + "▁повлия": 40790, + "▁Уз": 40791, + "▁построить": 40792, + "▁вел": 40793, + "▁ваша": 40794, + "▁сбро": 40795, + "▁заслуги": 40796, + "▁любопыт": 40797, + "▁Кен": 40798, + "▁мост": 40799, + "▁медлен": 40800, + "▁канала": 40801, + "дений": 40802, + "▁рекорд": 40803, + "▁ничем": 40804, + "▁сколь": 40805, + "риться": 40806, + "▁файл": 40807, + "вной": 40808, + "Он": 40809, + "▁квартире": 40810, + "▁какими": 40811, + "▁остаться": 40812, + "▁targ": 40813, + "▁ов": 40814, + "▁Нео": 40815, + "▁звук": 40816, + "▁повседнев": 40817, + "пать": 40818, + "▁Тео": 40819, + "▁старого": 40820, + "▁Памя": 40821, + "▁Боб": 40822, + "▁носит": 40823, + "▁враждеб": 40824, + "рку": 40825, + "стах": 40826, + "▁чужо": 40827, + "▁сдви": 40828, + "▁опаса": 40829, + "▁третьей": 40830, + "▁свето": 40831, + "▁соглашение": 40832, + "ровались": 40833, + "▁Лат": 40834, + "▁Церкви": 40835, + "▁конгре": 40836, + "▁пля": 40837, + "здо": 40838, + "вето": 40839, + "▁угол": 40840, + "▁тридцать": 40841, + "Мар": 40842, + "▁уезд": 40843, + "вне": 40844, + "ъю": 40845, + "▁слышал": 40846, + "▁взро": 40847, + "▁яи": 40848, + "циан": 40849, + "лял": 40850, + "▁волшеб": 40851, + "▁роско": 40852, + "талки": 40853, + "▁приблизительно": 40854, + "▁принес": 40855, + "▁страницы": 40856, + "▁орган": 40857, + "▁источником": 40858, + "▁потребу": 40859, + "Ди": 40860, + "воро": 40861, + "ённый": 40862, + "нному": 40863, + "▁Кей": 40864, + "▁следующего": 40865, + "▁оружием": 40866, + "▁покрови": 40867, + "▁шар": 40868, + "▁концепции": 40869, + "▁Отсюда": 40870, + "▁вынуждены": 40871, + "▁напряжения": 40872, + "▁солнца": 40873, + "▁хранения": 40874, + "▁тысяче": 40875, + "▁Мало": 40876, + "▁участке": 40877, + "▁реализова": 40878, + "▁подска": 40879, + "▁мелко": 40880, + "▁снять": 40881, + "▁скор": 40882, + "▁Сар": 40883, + "▁пользователь": 40884, + "▁заметно": 40885, + "▁обвинения": 40886, + "▁загру": 40887, + "▁издели": 40888, + "воло": 40889, + "▁приготовления": 40890, + "▁Солнца": 40891, + "▁старой": 40892, + "▁путём": 40893, + "▁моему": 40894, + "сибир": 40895, + "▁находит": 40896, + "▁талан": 40897, + "▁науке": 40898, + "трибу": 40899, + "стся": 40900, + "нков": 40901, + "АК": 40902, + "▁отвра": 40903, + "▁нападения": 40904, + "▁выводу": 40905, + "▁Новгород": 40906, + "берт": 40907, + "казом": 40908, + "▁спать": 40909, + "▁вспомнить": 40910, + "▁зная": 40911, + "▁adop": 40912, + "▁привели": 40913, + "▁штурмо": 40914, + "▁израиль": 40915, + "лите": 40916, + "▁пары": 40917, + "▁несколькими": 40918, + "▁рыбы": 40919, + "▁представлены": 40920, + "▁Уильям": 40921, + "▁монастырь": 40922, + "лот": 40923, + "▁просве": 40924, + "▁семью": 40925, + "▁взор": 40926, + "▁функцию": 40927, + "»:": 40928, + "▁территориаль": 40929, + "▁Уэ": 40930, + "▁Глу": 40931, + "▁distrib": 40932, + "▁немецкого": 40933, + "рывно": 40934, + "▁сюже": 40935, + "▁позиций": 40936, + "▁Григорь": 40937, + "▁архитектуры": 40938, + "▁засе": 40939, + "▁тен": 40940, + "▁началу": 40941, + "▁цветов": 40942, + "▁знание": 40943, + "▁врача": 40944, + "▁коде": 40945, + "▁останется": 40946, + "▁передает": 40947, + "стил": 40948, + "▁экологи": 40949, + "▁обладают": 40950, + "▁специалисты": 40951, + "▁упомяну": 40952, + "▁рабочие": 40953, + "▁вож": 40954, + "▁Худо": 40955, + "▁восстания": 40956, + "▁величай": 40957, + "▁аку": 40958, + "▁народных": 40959, + "▁небольшие": 40960, + "▁Авгу": 40961, + "ренно": 40962, + "▁жар": 40963, + "▁устройств": 40964, + "▁дополнительные": 40965, + "▁попытка": 40966, + "▁Бела": 40967, + "▁фаль": 40968, + "▁Диа": 40969, + "▁вызва": 40970, + "▁удара": 40971, + "▁спуска": 40972, + "▁мла": 40973, + "▁Востока": 40974, + "▁подумал": 40975, + "ченными": 40976, + "▁лейтенант": 40977, + "ношение": 40978, + "▁явлений": 40979, + "▁Цар": 40980, + "▁определенные": 40981, + "▁командой": 40982, + "▁измерения": 40983, + "▁наказания": 40984, + "рисо": 40985, + "▁лагере": 40986, + "▁структуру": 40987, + "▁тесно": 40988, + "▁понадоби": 40989, + "▁избы": 40990, + "▁компанией": 40991, + "▁лучшие": 40992, + "▁celeb": 40993, + "▁управлять": 40994, + "▁Есте": 40995, + "▁Австралии": 40996, + "▁решением": 40997, + "▁ремонт": 40998, + "▁Берлин": 40999, + "▁проходил": 41000, + "▁моне": 41001, + "▁воздействие": 41002, + "▁приема": 41003, + "▁технику": 41004, + "рист": 41005, + "▁пребывания": 41006, + "▁политического": 41007, + "▁извести": 41008, + "мали": 41009, + "▁энергию": 41010, + "рованием": 41011, + "▁нра": 41012, + "ванге": 41013, + "▁пари": 41014, + "хим": 41015, + "▁вблизи": 41016, + "▁Груп": 41017, + "▁арестован": 41018, + "▁вя": 41019, + "▁Патри": 41020, + "▁постара": 41021, + "пке": 41022, + "▁мелких": 41023, + "▁инстинк": 41024, + "▁Счита": 41025, + "формули": 41026, + "▁авторы": 41027, + "▁деревья": 41028, + "▁гряз": 41029, + "▁известные": 41030, + "спор": 41031, + "▁огромный": 41032, + "▁игроков": 41033, + "▁Доро": 41034, + "▁Петрович": 41035, + "▁гон": 41036, + "кове": 41037, + "▁дья": 41038, + "▁заключение": 41039, + "▁Вос": 41040, + "▁Государственной": 41041, + "▁Гро": 41042, + "жок": 41043, + "▁наре": 41044, + "▁появилось": 41045, + "бовать": 41046, + "дир": 41047, + "Ком": 41048, + "▁недалеко": 41049, + "▁охваты": 41050, + "▁свадь": 41051, + "емость": 41052, + "▁городом": 41053, + "преки": 41054, + "▁брак": 41055, + "▁яйца": 41056, + "▁обыча": 41057, + "▁собрание": 41058, + "▁владения": 41059, + "▁кредит": 41060, + "▁поспе": 41061, + "▁зимой": 41062, + "▁Хру": 41063, + "сообраз": 41064, + "▁выго": 41065, + "▁пришло": 41066, + "▁Арме": 41067, + "▁приложение": 41068, + "▁Первым": 41069, + "▁Пробле": 41070, + "▁братьев": 41071, + "гиба": 41072, + "▁способы": 41073, + "▁определенной": 41074, + "▁рассказывал": 41075, + "▁долю": 41076, + "▁магазин": 41077, + "▁странно": 41078, + "▁Европей": 41079, + "вероят": 41080, + "▁открыт": 41081, + "▁Великого": 41082, + "▁разработан": 41083, + "▁внешне": 41084, + "▁властью": 41085, + "onse": 41086, + "▁возможных": 41087, + "▁награждён": 41088, + "▁раска": 41089, + "▁карта": 41090, + "▁голосов": 41091, + "Лю": 41092, + "▁озеро": 41093, + "▁маркси": 41094, + "▁Пушкин": 41095, + "▁поры": 41096, + "нических": 41097, + "тику": 41098, + "▁Ца": 41099, + "сном": 41100, + "▁путей": 41101, + "▁Знамени": 41102, + "arriage": 41103, + "▁уез": 41104, + "▁Зато": 41105, + "▁попере": 41106, + "▁Бел": 41107, + "▁следующей": 41108, + "▁неблаго": 41109, + "▁серьезно": 41110, + "ственному": 41111, + "▁Швейца": 41112, + "▁счё": 41113, + "▁открытие": 41114, + "▁свидетельство": 41115, + "▁территория": 41116, + "▁Олег": 41117, + "▁<...>": 41118, + "▁проч": 41119, + "▁задачей": 41120, + "▁повести": 41121, + "▁лиги": 41122, + "ворить": 41123, + "тара": 41124, + "▁Уи": 41125, + "▁Церковь": 41126, + "▁constit": 41127, + "▁Болга": 41128, + "▁морских": 41129, + "▁реальность": 41130, + "▁прокура": 41131, + "▁Муж": 41132, + "▁фоль": 41133, + "▁увлека": 41134, + "изм": 41135, + "▁потра": 41136, + "пала": 41137, + "▁автором": 41138, + "пейской": 41139, + "▁подверг": 41140, + "▁Почти": 41141, + "▁деревьев": 41142, + "дт": 41143, + "▁констру": 41144, + "▁термо": 41145, + "▁выяснилось": 41146, + "▁количеством": 41147, + "▁персонажей": 41148, + "ровский": 41149, + "▁провод": 41150, + "▁Chic": 41151, + "▁продемонстри": 41152, + "▁состоял": 41153, + "▁пей": 41154, + "▁Продол": 41155, + "▁определенных": 41156, + "porary": 41157, + "▁учителя": 41158, + "▁Кня": 41159, + "▁очереди": 41160, + "▁Венг": 41161, + "▁верить": 41162, + "эффици": 41163, + "▁поселение": 41164, + "вален": 41165, + "▁собственный": 41166, + "рят": 41167, + "▁отказ": 41168, + "▁закреп": 41169, + "нялся": 41170, + "▁Слова": 41171, + "▁беспокой": 41172, + "▁кален": 41173, + "цена": 41174, + "лизма": 41175, + "ферен": 41176, + "Золо": 41177, + "лизм": 41178, + "▁пое": 41179, + "класс": 41180, + "▁полную": 41181, + "стин": 41182, + "сными": 41183, + "▁усилий": 41184, + "▁срока": 41185, + "▁читатель": 41186, + "▁множества": 41187, + "▁крест": 41188, + "▁иерархи": 41189, + "▁Фрей": 41190, + "▁нейро": 41191, + "▁республикан": 41192, + "▁Фридри": 41193, + "▁сильный": 41194, + "▁сложных": 41195, + "▁судо": 41196, + "▁отцом": 41197, + "ими": 41198, + "▁Закон": 41199, + "▁пирами": 41200, + "жались": 41201, + "▁Хор": 41202, + "▁заставить": 41203, + "▁оборудование": 41204, + "сюду": 41205, + "blockquote": 41206, + "▁Соло": 41207, + "▁сигнал": 41208, + "▁повышения": 41209, + "▁Яковле": 41210, + "▁институте": 41211, + "▁столице": 41212, + "▁четвёр": 41213, + "▁практики": 41214, + "▁сервер": 41215, + "▁возвращается": 41216, + "▁разнови": 41217, + "▁описания": 41218, + "люб": 41219, + "▁месторо": 41220, + "▁детстве": 41221, + "▁истины": 41222, + "▁Squ": 41223, + "▁поу": 41224, + "owers": 41225, + "▁испытаний": 41226, + "▁идёт": 41227, + "▁многим": 41228, + "▁называть": 41229, + "сист": 41230, + "▁Сколько": 41231, + "теро": 41232, + "▁пробе": 41233, + "▁квартиру": 41234, + "▁годами": 41235, + "ации": 41236, + "чивать": 41237, + "▁кад": 41238, + "▁народной": 41239, + "▁цикла": 41240, + "▁сообщила": 41241, + "▁достигает": 41242, + "▁самолеты": 41243, + "▁считаю": 41244, + "▁нашему": 41245, + "▁покинул": 41246, + "▁упор": 41247, + "▁молодые": 41248, + "▁областях": 41249, + "▁богов": 41250, + "▁проходят": 41251, + "мину": 41252, + "▁грудь": 41253, + "▁присла": 41254, + "▁выборы": 41255, + "▁набо": 41256, + "▁Афи": 41257, + "▁армий": 41258, + "▁Пле": 41259, + "▁договори": 41260, + "▁известной": 41261, + "▁собран": 41262, + "▁Умер": 41263, + "▁личной": 41264, + "чел": 41265, + "▁пропор": 41266, + "▁лири": 41267, + "▁мечта": 41268, + "▁руке": 41269, + "▁Её": 41270, + "▁северной": 41271, + "хах": 41272, + "▁одних": 41273, + "▁формули": 41274, + "дность": 41275, + "▁Теле": 41276, + "слежи": 41277, + "▁коп": 41278, + "вард": 41279, + "▁улицу": 41280, + "▁посу": 41281, + "▁подра": 41282, + "▁Ничего": 41283, + "▁воспользоваться": 41284, + "▁Работа": 41285, + "▁кризиса": 41286, + "рда": 41287, + "▁втори": 41288, + "▁реконструк": 41289, + "▁библиотеки": 41290, + "▁живописи": 41291, + "▁цена": 41292, + "▁находиться": 41293, + "▁Брази": 41294, + "▁провели": 41295, + "▁кула": 41296, + "▁комнаты": 41297, + "▁крыль": 41298, + "▁национальных": 41299, + "▁откро": 41300, + "ционном": 41301, + "тивность": 41302, + "форд": 41303, + "сой": 41304, + "▁нефте": 41305, + "лаз": 41306, + "рением": 41307, + "гана": 41308, + "▁потребности": 41309, + "▁участвовать": 41310, + "▁Bec": 41311, + "дис": 41312, + "▁Хай": 41313, + "новского": 41314, + "лимпиа": 41315, + "▁возможным": 41316, + "▁подпо": 41317, + "▁точек": 41318, + "▁Пожа": 41319, + "▁шабло": 41320, + "▁чудови": 41321, + "▁слой": 41322, + "ционер": 41323, + "▁Расс": 41324, + "▁сопоста": 41325, + "зам": 41326, + "▁армей": 41327, + "ходится": 41328, + "▁перечисле": 41329, + "▁сумма": 41330, + "Ру": 41331, + "▁особой": 41332, + "чивости": 41333, + "▁радость": 41334, + "хами": 41335, + "▁Британ": 41336, + "▁рабочий": 41337, + "▁собор": 41338, + "▁убить": 41339, + "СП": 41340, + "▁зданий": 41341, + "▁короле": 41342, + "▁руководителей": 41343, + "▁строить": 41344, + "▁трудности": 41345, + "▁поиск": 41346, + "▁накануне": 41347, + "нического": 41348, + "▁собственную": 41349, + "▁побережье": 41350, + "▁доказательства": 41351, + "▁канал": 41352, + "▁птицы": 41353, + "▁доктора": 41354, + "▁латин": 41355, + "▁лидера": 41356, + "▁местом": 41357, + "▁крупнейших": 41358, + "▁аристокра": 41359, + "yth": 41360, + "▁смя": 41361, + "ведено": 41362, + "дача": 41363, + "▁возникновения": 41364, + "▁Официальный": 41365, + "▁языках": 41366, + "▁перео": 41367, + "тью": 41368, + "заи": 41369, + "▁отчасти": 41370, + "▁изгна": 41371, + "▁проника": 41372, + "▁territ": 41373, + "тельному": 41374, + "▁Чемпиона": 41375, + "▁высших": 41376, + "▁турнире": 41377, + "доль": 41378, + "водства": 41379, + "▁возникла": 41380, + "▁возраст": 41381, + "▁следы": 41382, + "▁следствие": 41383, + "▁называет": 41384, + "▁батальон": 41385, + "▁исторической": 41386, + "нину": 41387, + "▁чудо": 41388, + "настоя": 41389, + "▁Зачем": 41390, + "▁опира": 41391, + "▁Фото": 41392, + "▁решила": 41393, + "изе": 41394, + "ваете": 41395, + "▁подели": 41396, + "дых": 41397, + "▁отставку": 41398, + "▁соответствующие": 41399, + "▁эскадри": 41400, + "▁всяких": 41401, + "ёром": 41402, + "▁заседании": 41403, + "чести": 41404, + "▁топлива": 41405, + "вики": 41406, + "зацией": 41407, + "▁Черно": 41408, + "фия": 41409, + "ксе": 41410, + "▁выгод": 41411, + "▁надежды": 41412, + "▁суммы": 41413, + "▁долгое": 41414, + "▁запом": 41415, + "чились": 41416, + "мане": 41417, + "▁пуль": 41418, + "▁Около": 41419, + "▁председателем": 41420, + "пит": 41421, + "▁вооружение": 41422, + "▁мане": 41423, + "▁Окончил": 41424, + "праве": 41425, + "▁опровер": 41426, + "▁самоубий": 41427, + "▁автомобилей": 41428, + "▁смертью": 41429, + "▁продажи": 41430, + "▁Татья": 41431, + "низу": 41432, + "usband": 41433, + "▁лодки": 41434, + "▁первоначально": 41435, + "жев": 41436, + "цова": 41437, + "▁Круп": 41438, + "▁побо": 41439, + "▁пролета": 41440, + "ОД": 41441, + "РГ": 41442, + "▁возглавил": 41443, + "▁хотим": 41444, + "чеством": 41445, + "▁положить": 41446, + "пустили": 41447, + "▁неопреде": 41448, + "▁мило": 41449, + "▁Валь": 41450, + "▁отсутствия": 41451, + "▁осе": 41452, + "▁неизвестно": 41453, + "▁последним": 41454, + "▁грам": 41455, + "▁позволило": 41456, + "▁гит": 41457, + "▁ул": 41458, + "▁городу": 41459, + "истори": 41460, + "▁обеспечение": 41461, + "Пер": 41462, + "▁армя": 41463, + "▁Какие": 41464, + "▁высказа": 41465, + "▁Викто": 41466, + "▁изучение": 41467, + "▁татар": 41468, + "▁реально": 41469, + "▁недоволь": 41470, + "дец": 41471, + "▁сражения": 41472, + "▁литература": 41473, + "тиву": 41474, + "▁схо": 41475, + "▁Встре": 41476, + "▁драгоцен": 41477, + "▁интересо": 41478, + "▁операция": 41479, + "▁ущерб": 41480, + "тури": 41481, + "▁действиях": 41482, + "▁подхода": 41483, + "▁факультет": 41484, + "▁особое": 41485, + "▁Следует": 41486, + "▁ориенти": 41487, + "▁Германия": 41488, + "ничество": 41489, + "▁различия": 41490, + "▁зон": 41491, + "▁рассла": 41492, + "▁внут": 41493, + "лита": 41494, + "▁составляла": 41495, + "ренной": 41496, + "енса": 41497, + "нио": 41498, + "▁предъ": 41499, + "▁принят": 41500, + "▁юг": 41501, + "▁Вторая": 41502, + "▁шоу": 41503, + "▁отры": 41504, + "▁рек": 41505, + "▁приведен": 41506, + "▁соверша": 41507, + "▁духовной": 41508, + "▁вариантов": 41509, + "▁применяется": 41510, + "▁укло": 41511, + "▁квартиры": 41512, + "фра": 41513, + "▁пуска": 41514, + "▁белых": 41515, + "▁любят": 41516, + "хослова": 41517, + "▁танки": 41518, + "▁преследова": 41519, + "▁получив": 41520, + "▁наверняка": 41521, + "нический": 41522, + "▁нечего": 41523, + "▁передви": 41524, + "▁экономических": 41525, + "▁страшно": 41526, + "▁Ниже": 41527, + "▁Норве": 41528, + "ствию": 41529, + "▁романе": 41530, + "▁эс": 41531, + "казывается": 41532, + "круг": 41533, + "нель": 41534, + "▁важные": 41535, + "скри": 41536, + "▁лист": 41537, + "рованная": 41538, + "дев": 41539, + "▁большими": 41540, + "▁Гитлера": 41541, + "▁заявления": 41542, + "▁огромные": 41543, + "▁пассажиров": 41544, + "▁олимпий": 41545, + "▁руководителя": 41546, + "▁гвардии": 41547, + "▁недав": 41548, + "▁независимости": 41549, + "▁нож": 41550, + "▁бороться": 41551, + "▁Эду": 41552, + "▁тяж": 41553, + "нические": 41554, + "▁императри": 41555, + "вятся": 41556, + "▁пункты": 41557, + "▁Председа": 41558, + "▁уделя": 41559, + "▁сжа": 41560, + "▁Нидер": 41561, + "▁кури": 41562, + "▁нижней": 41563, + "Ну": 41564, + "▁капитала": 41565, + "хие": 41566, + "▁Африки": 41567, + "▁выигры": 41568, + "▁сообщества": 41569, + "летней": 41570, + "фии": 41571, + "теру": 41572, + "▁Долго": 41573, + "▁дворец": 41574, + "▁упоминается": 41575, + "вяза": 41576, + "▁противопоста": 41577, + "нто": 41578, + "▁номера": 41579, + "▁преем": 41580, + "▁обмена": 41581, + "▁Вспо": 41582, + "▁десятков": 41583, + "▁обстоятельств": 41584, + "щиком": 41585, + "▁духе": 41586, + "▁Земля": 41587, + "▁решать": 41588, + "▁епар": 41589, + "▁спла": 41590, + "▁плодо": 41591, + "сны": 41592, + "́ть": 41593, + "▁злоу": 41594, + "▁числу": 41595, + "▁вторую": 41596, + "▁южной": 41597, + "▁международной": 41598, + "олог": 41599, + "▁сферы": 41600, + "▁бир": 41601, + "▁проявляется": 41602, + "▁мастера": 41603, + "▁дю": 41604, + "хая": 41605, + "▁достоинства": 41606, + "▁человеке": 41607, + "ИС": 41608, + "мович": 41609, + "▁золотой": 41610, + "▁Дра": 41611, + "▁большее": 41612, + "вида": 41613, + "▁дорогой": 41614, + "▁Император": 41615, + "▁двора": 41616, + "▁подчеркнул": 41617, + "▁Востоке": 41618, + "▁сопротивления": 41619, + "▁округе": 41620, + "▁дикта": 41621, + "▁Героя": 41622, + "ненное": 41623, + "▁трое": 41624, + "▁хорошие": 41625, + "чья": 41626, + "▁сроки": 41627, + "▁историк": 41628, + "▁доказать": 41629, + "▁спас": 41630, + "▁древней": 41631, + "циден": 41632, + "▁лопа": 41633, + "▁Севасто": 41634, + "ренные": 41635, + "▁скончался": 41636, + "▁бюджета": 41637, + "▁ассоциации": 41638, + "припа": 41639, + "▁дат": 41640, + "▁поисках": 41641, + "нён": 41642, + "▁Главное": 41643, + "▁различи": 41644, + "▁Название": 41645, + "▁Отно": 41646, + "▁приписы": 41647, + "▁Риме": 41648, + "Фран": 41649, + "▁Киеве": 41650, + "▁природа": 41651, + "▁Трои": 41652, + "возмо": 41653, + "▁Сергея": 41654, + "▁Афгани": 41655, + "▁забро": 41656, + "▁Сове": 41657, + "▁ежедневно": 41658, + "▁вошел": 41659, + "ровых": 41660, + "▁матер": 41661, + "▁рези": 41662, + "▁хозяйство": 41663, + "▁примере": 41664, + "▁Румы": 41665, + "▁Неда": 41666, + "▁инструмент": 41667, + "▁убит": 41668, + "▁лагеря": 41669, + "▁производстве": 41670, + "▁малей": 41671, + "▁УК": 41672, + "▁подар": 41673, + "▁удовольствие": 41674, + "▁пьесы": 41675, + "зона": 41676, + "ненная": 41677, + "▁годом": 41678, + "▁проекты": 41679, + "▁бассей": 41680, + "▁возвращения": 41681, + "▁нала": 41682, + "▁небольших": 41683, + "▁вор": 41684, + "▁предположить": 41685, + "спект": 41686, + "▁жену": 41687, + "▁сул": 41688, + "▁вопросом": 41689, + "▁моро": 41690, + "▁критики": 41691, + "▁рефлек": 41692, + "▁реформы": 41693, + "тельна": 41694, + "▁умо": 41695, + "▁Грузии": 41696, + "▁стремится": 41697, + "▁остатки": 41698, + "▁физических": 41699, + "матери": 41700, + "▁Божи": 41701, + "▁принципа": 41702, + "нёс": 41703, + "ничества": 41704, + "▁произошла": 41705, + "Ха": 41706, + "▁беспре": 41707, + "▁грави": 41708, + "▁сел": 41709, + "▁Всем": 41710, + "менной": 41711, + "зование": 41712, + "Пре": 41713, + "АП": 41714, + "▁Большая": 41715, + "▁упла": 41716, + "берга": 41717, + "▁свойств": 41718, + "ющимися": 41719, + "вающая": 41720, + "▁имеем": 41721, + "▁сформули": 41722, + "▁основан": 41723, + "▁публикации": 41724, + "▁чувствовал": 41725, + "▁Крыма": 41726, + "жерт": 41727, + "▁решению": 41728, + "▁прошлое": 41729, + "вке": 41730, + "▁ежегодно": 41731, + "▁заболеваний": 41732, + "▁торо": 41733, + "▁радости": 41734, + "▁Карла": 41735, + "гера": 41736, + "▁неизбежно": 41737, + "▁тропи": 41738, + "▁оценить": 41739, + "▁выяви": 41740, + "▁призёр": 41741, + "▁Тран": 41742, + "▁стере": 41743, + "тельница": 41744, + "рием": 41745, + "▁фона": 41746, + "мощ": 41747, + "дала": 41748, + "▁падения": 41749, + "▁частиц": 41750, + "▁мальчик": 41751, + "▁оккупа": 41752, + "▁твой": 41753, + "▁союзников": 41754, + "▁учиться": 41755, + "▁инструментов": 41756, + "▁дабы": 41757, + "виль": 41758, + "▁проводится": 41759, + "▁школ": 41760, + "▁зас": 41761, + "▁обращение": 41762, + "▁длина": 41763, + "▁Марк": 41764, + "▁РК": 41765, + "▁песня": 41766, + "▁установлены": 41767, + "▁суде": 41768, + "слуша": 41769, + "▁лагерь": 41770, + "▁основного": 41771, + "▁варианты": 41772, + "▁Пау": 41773, + "▁созданы": 41774, + "стройка": 41775, + "▁подразделе": 41776, + "пут": 41777, + "▁жизне": 41778, + "▁прой": 41779, + "▁библиотека": 41780, + "графия": 41781, + "▁услы": 41782, + "▁смотря": 41783, + "чников": 41784, + "▁упражнения": 41785, + "▁сайта": 41786, + "дились": 41787, + "▁обратиться": 41788, + "вленного": 41789, + "правления": 41790, + "▁белорус": 41791, + "▁гостей": 41792, + "▁точнее": 41793, + "▁Всемир": 41794, + "▁раздели": 41795, + "▁существовать": 41796, + "▁заменить": 41797, + "ровской": 41798, + "▁большом": 41799, + "▁энергия": 41800, + "▁теорию": 41801, + "▁пищу": 41802, + "▁Михайлов": 41803, + "▁регистрации": 41804, + "▁ослож": 41805, + "▁Гран": 41806, + "▁любых": 41807, + "▁Спустя": 41808, + "▁ликвиди": 41809, + "▁Действительно": 41810, + "▁энциклопе": 41811, + "▁уга": 41812, + "вес": 41813, + "мара": 41814, + "ровок": 41815, + "телен": 41816, + "▁партию": 41817, + "▁увидели": 41818, + "президен": 41819, + "▁применять": 41820, + "▁наблюдать": 41821, + "▁швей": 41822, + "▁разведыва": 41823, + "▁западных": 41824, + "▁восприятия": 41825, + "▁знаешь": 41826, + "▁хочешь": 41827, + "▁ядра": 41828, + "▁счастью": 41829, + "▁Главный": 41830, + "▁границ": 41831, + "▁освое": 41832, + "▁опуска": 41833, + "▁внутрь": 41834, + "▁бои": 41835, + "▁теме": 41836, + "зирует": 41837, + "▁временно": 41838, + "▁Бру": 41839, + "▁Говоря": 41840, + "▁индий": 41841, + "▁Казан": 41842, + "гнали": 41843, + "▁военную": 41844, + "▁товарища": 41845, + "церы": 41846, + "▁показывают": 41847, + "▁развивается": 41848, + "▁сотрудник": 41849, + "▁распространения": 41850, + "▁рабочей": 41851, + "▁соответствующих": 41852, + "▁ля": 41853, + "дности": 41854, + "▁Другой": 41855, + "нома": 41856, + "▁Голо": 41857, + "▁сотрудничества": 41858, + "▁династии": 41859, + "▁Саха": 41860, + "▁всякой": 41861, + "▁Пя": 41862, + "́й": 41863, + "▁реальной": 41864, + "▁Донец": 41865, + "▁отлично": 41866, + "▁искусстве": 41867, + "▁винова": 41868, + "▁учреждений": 41869, + "▁Навер": 41870, + "▁чём": 41871, + "▁половину": 41872, + "▁источника": 41873, + "▁Вороне": 41874, + "▁парень": 41875, + "▁возь": 41876, + "▁требуют": 41877, + "▁проходили": 41878, + "▁замок": 41879, + "зависи": 41880, + "▁Пен": 41881, + "▁здравоохра": 41882, + "льников": 41883, + "▁раду": 41884, + "▁стояла": 41885, + "▁связ": 41886, + "веди": 41887, + "▁окажется": 41888, + "▁защите": 41889, + "▁убийство": 41890, + "▁энерго": 41891, + "▁понедель": 41892, + "граммы": 41893, + "▁фонда": 41894, + "▁проведение": 41895, + "▁списке": 41896, + "▁ср": 41897, + "▁назем": 41898, + "▁Дани": 41899, + "писание": 41900, + "▁размеры": 41901, + "щадь": 41902, + "▁внешних": 41903, + "шень": 41904, + "▁вторым": 41905, + "▁масштаб": 41906, + "▁флаг": 41907, + "▁анге": 41908, + "▁взгляды": 41909, + "лк": 41910, + "▁епископ": 41911, + "▁наблюдается": 41912, + "▁пить": 41913, + "▁Эдуар": 41914, + "▁способов": 41915, + "tained": 41916, + "▁Сек": 41917, + "▁организацию": 41918, + "▁великолеп": 41919, + "orning": 41920, + "▁прися": 41921, + "ИЧ": 41922, + "▁архитектур": 41923, + "▁хищ": 41924, + "▁персонажа": 41925, + "АЛ": 41926, + "▁мероприятий": 41927, + "▁пытаются": 41928, + "евича": 41929, + "▁полным": 41930, + "▁отвечал": 41931, + "▁Але": 41932, + "▁рос": 41933, + "▁кише": 41934, + "чники": 41935, + "▁улыба": 41936, + "▁масс": 41937, + "▁поверхно": 41938, + "▁мэ": 41939, + "▁капитана": 41940, + "▁массив": 41941, + "▁направля": 41942, + "стречу": 41943, + "▁смотрит": 41944, + "▁случая": 41945, + "▁Гай": 41946, + "▁сия": 41947, + "▁второ": 41948, + "▁увеличение": 41949, + "▁teac": 41950, + "▁раздел": 41951, + "нару": 41952, + "▁разря": 41953, + "▁невероят": 41954, + "ченную": 41955, + "▁сож": 41956, + "▁тря": 41957, + "няла": 41958, + "rast": 41959, + "▁перерабо": 41960, + "▁Француз": 41961, + "тира": 41962, + "рующих": 41963, + "▁тракта": 41964, + "▁премия": 41965, + "шков": 41966, + "тости": 41967, + "▁попытался": 41968, + "онер": 41969, + "▁безусловно": 41970, + "извест": 41971, + "стского": 41972, + "▁сидит": 41973, + "началу": 41974, + "▁жду": 41975, + "▁Рома": 41976, + "▁судить": 41977, + "▁боеприпа": 41978, + "▁востоке": 41979, + "▁Бон": 41980, + "▁мелкие": 41981, + "▁мисси": 41982, + "▁найде": 41983, + "женность": 41984, + "▁Шек": 41985, + "▁трам": 41986, + "▁повышение": 41987, + "▁Израиля": 41988, + "лились": 41989, + "бла": 41990, + "▁рисо": 41991, + "▁перепи": 41992, + "▁вошла": 41993, + "нское": 41994, + "времен": 41995, + "▁обрабаты": 41996, + "▁единого": 41997, + "▁уничтожить": 41998, + "▁ценностей": 41999, + "язви": 42000, + "▁волю": 42001, + "▁общие": 42002, + "▁чемпионат": 42003, + "▁Следу": 42004, + "стности": 42005, + "вные": 42006, + "новые": 42007, + "▁агентства": 42008, + "▁удастся": 42009, + "▁разрешение": 42010, + "довые": 42011, + "▁Опера": 42012, + "ённые": 42013, + "▁тени": 42014, + "▁инциден": 42015, + "▁глупо": 42016, + "▁Бро": 42017, + "▁пузы": 42018, + "▁силах": 42019, + "▁разгро": 42020, + "▁конфигура": 42021, + "▁силе": 42022, + "▁некогда": 42023, + "▁отдать": 42024, + "▁продолжали": 42025, + "▁восстановить": 42026, + "▁утверждал": 42027, + "▁прийти": 42028, + "▁архиеписко": 42029, + "мского": 42030, + "▁гол": 42031, + "▁человеческих": 42032, + "▁дворов": 42033, + "время": 42034, + "reland": 42035, + "ваемый": 42036, + "▁вооружения": 42037, + "Запад": 42038, + "▁хотела": 42039, + "Корр": 42040, + "уна": 42041, + "▁заим": 42042, + "▁удается": 42043, + "▁стимули": 42044, + "▁Медаль": 42045, + "▁высоту": 42046, + "▁золота": 42047, + "▁доброволь": 42048, + "▁Харак": 42049, + "▁признаков": 42050, + "▁Сту": 42051, + "▁познания": 42052, + "▁режиссёр": 42053, + "▁некий": 42054, + "▁вероятность": 42055, + "сылки": 42056, + "▁зрителей": 42057, + "▁присвоено": 42058, + "▁белый": 42059, + "▁концерт": 42060, + "▁Дании": 42061, + "▁ие": 42062, + "вающего": 42063, + "мести": 42064, + "▁растя": 42065, + "▁мн": 42066, + "▁Ара": 42067, + "▁ногу": 42068, + "зрение": 42069, + "▁новыми": 42070, + "▁серти": 42071, + "Ри": 42072, + "▁играют": 42073, + "▁полтора": 42074, + "рованным": 42075, + "вети": 42076, + "логом": 42077, + "▁создали": 42078, + "▁имущество": 42079, + "▁Кле": 42080, + "▁научного": 42081, + "▁группо": 42082, + "▁ценность": 42083, + "▁передал": 42084, + "▁метра": 42085, + "▁современные": 42086, + "шний": 42087, + "▁племян": 42088, + "▁представлял": 42089, + "▁сорок": 42090, + "▁Робер": 42091, + "▁нагре": 42092, + "▁Пале": 42093, + "▁игрок": 42094, + "▁фрак": 42095, + "▁некое": 42096, + "▁Боже": 42097, + "▁приу": 42098, + "▁стиля": 42099, + "▁угла": 42100, + "▁ученый": 42101, + "▁кап": 42102, + "мал": 42103, + "▁областей": 42104, + "дятся": 42105, + "▁товары": 42106, + "▁Меди": 42107, + "▁праздник": 42108, + "▁лаборатории": 42109, + "▁святого": 42110, + "▁горь": 42111, + "▁ногами": 42112, + "▁учеников": 42113, + "▁производится": 42114, + "лежа": 42115, + "верху": 42116, + "нейший": 42117, + "▁родилась": 42118, + "ьез": 42119, + "стике": 42120, + "▁тел": 42121, + "жур": 42122, + "▁командиром": 42123, + "▁Эсто": 42124, + "▁гитлеров": 42125, + "▁лошадей": 42126, + "▁Андрея": 42127, + "▁побережья": 42128, + "▁заместителем": 42129, + "менов": 42130, + "станови": 42131, + "▁сведений": 42132, + "▁моменты": 42133, + "риев": 42134, + "▁археологи": 42135, + "▁египет": 42136, + "ального": 42137, + "▁продукта": 42138, + "▁зона": 42139, + "▁справа": 42140, + "▁родной": 42141, + "▁Швеции": 42142, + "кварти": 42143, + "лана": 42144, + "▁взрослых": 42145, + "▁сохранения": 42146, + "движи": 42147, + "▁диагности": 42148, + "▁счастья": 42149, + "▁кандидат": 42150, + "гота": 42151, + "▁участка": 42152, + "▁численность": 42153, + "нори": 42154, + "▁Жизнь": 42155, + "▁заставляет": 42156, + "див": 42157, + "▁отрасли": 42158, + "▁директором": 42159, + "СКА": 42160, + "жников": 42161, + "▁депутат": 42162, + "следовать": 42163, + "▁произошел": 42164, + "▁составляло": 42165, + "▁Франция": 42166, + "доста": 42167, + "▁мирового": 42168, + "ложили": 42169, + "▁послал": 42170, + "▁Жо": 42171, + "▁сми": 42172, + "валь": 42173, + "▁старше": 42174, + "▁Последний": 42175, + "▁Прем": 42176, + "▁отвле": 42177, + "шенной": 42178, + "▁любую": 42179, + "▁платить": 42180, + "▁смотрел": 42181, + "бурга": 42182, + "▁смесь": 42183, + "▁велико": 42184, + "▁Тя": 42185, + "▁промышленность": 42186, + "тав": 42187, + "ваемого": 42188, + "тизма": 42189, + "▁инве": 42190, + "▁Давайте": 42191, + "бам": 42192, + "▁близких": 42193, + "▁осад": 42194, + "▁учение": 42195, + "▁НАТО": 42196, + "▁монархи": 42197, + "культур": 42198, + "бурге": 42199, + "делать": 42200, + "▁кризис": 42201, + "▁приняла": 42202, + "▁делах": 42203, + "▁лей": 42204, + "▁чрезмер": 42205, + "▁завершения": 42206, + "▁экстра": 42207, + "▁похода": 42208, + "▁нос": 42209, + "ОС": 42210, + "▁предстоит": 42211, + "▁очков": 42212, + "▁лиши": 42213, + "▁сило": 42214, + "▁изобрета": 42215, + "торию": 42216, + "▁Код": 42217, + "▁маг": 42218, + "▁независимость": 42219, + "▁Стали": 42220, + "▁мощности": 42221, + "▁Ростов": 42222, + "▁одо": 42223, + "графа": 42224, + "▁Ус": 42225, + "стине": 42226, + "▁Каре": 42227, + "▁отдел": 42228, + "Ге": 42229, + "▁огнем": 42230, + "ровую": 42231, + "▁исполнение": 42232, + "длов": 42233, + "▁Миро": 42234, + "берна": 42235, + "хангель": 42236, + "▁отвеча": 42237, + "▁входили": 42238, + "▁метео": 42239, + "ону": 42240, + "датель": 42241, + "▁Военно": 42242, + "▁Центральной": 42243, + "▁высоким": 42244, + "небре": 42245, + "▁командования": 42246, + "▁Калифор": 42247, + "комо": 42248, + "▁цита": 42249, + "бова": 42250, + "зади": 42251, + "▁иску": 42252, + "▁неба": 42253, + "ано": 42254, + "▁установлено": 42255, + "▁просил": 42256, + "▁предложен": 42257, + "▁Проце": 42258, + "▁сно": 42259, + "▁Следовательно": 42260, + "▁безна": 42261, + "тическую": 42262, + "▁воинов": 42263, + "▁третье": 42264, + "ЕМ": 42265, + "▁деталей": 42266, + "▁простых": 42267, + "▁разным": 42268, + "▁дому": 42269, + "вис": 42270, + "▁вечно": 42271, + "▁Мол": 42272, + "ул": 42273, + "▁Константино": 42274, + "▁сочинения": 42275, + "▁антропо": 42276, + "ложена": 42277, + "▁животные": 42278, + "▁составляли": 42279, + "▁необходимых": 42280, + "▁агрессив": 42281, + "▁фигуры": 42282, + "▁брака": 42283, + "▁Буд": 42284, + "▁здании": 42285, + "▁друзьями": 42286, + "▁Тома": 42287, + "летел": 42288, + "▁ресурсы": 42289, + "ватель": 42290, + "▁Фак": 42291, + "▁занять": 42292, + "▁битвы": 42293, + "▁разобраться": 42294, + "стря": 42295, + "▁битве": 42296, + "Анд": 42297, + "▁феода": 42298, + "▁виру": 42299, + "▁адап": 42300, + "▁военным": 42301, + "▁половина": 42302, + "▁собирается": 42303, + "▁Новой": 42304, + "▁водоро": 42305, + "▁карьеры": 42306, + "▁Русской": 42307, + "▁активность": 42308, + "▁манипу": 42309, + "товый": 42310, + "▁столо": 42311, + "гряз": 42312, + "▁языки": 42313, + "▁Ада": 42314, + "▁частных": 42315, + "сипе": 42316, + "▁старшего": 42317, + "зиа": 42318, + "▁решает": 42319, + "▁столкну": 42320, + "ждо": 42321, + "▁происхождение": 42322, + "Петербурге": 42323, + "▁карту": 42324, + "▁кинемато": 42325, + "▁станут": 42326, + "▁просит": 42327, + "▁заняла": 42328, + "▁образы": 42329, + "▁собора": 42330, + "моро": 42331, + "▁готовности": 42332, + "пте": 42333, + "▁обсужда": 42334, + "луб": 42335, + "зывает": 42336, + "▁благода": 42337, + "▁цикл": 42338, + "▁распозна": 42339, + "▁подпи": 42340, + "▁Павла": 42341, + "▁декла": 42342, + "▁построена": 42343, + "▁органа": 42344, + "тину": 42345, + "▁многими": 42346, + "▁сете": 42347, + "▁знала": 42348, + "▁манев": 42349, + "▁смогла": 42350, + "▁отсутствии": 42351, + "▁ОБ": 42352, + "▁отсутствует": 42353, + "▁пошла": 42354, + "▁выступать": 42355, + "ффи": 42356, + "ок": 42357, + "▁сбли": 42358, + "▁предшествен": 42359, + "гай": 42360, + "▁происходят": 42361, + "▁ошибо": 42362, + "▁крепость": 42363, + "▁ведения": 42364, + "нём": 42365, + "исследователь": 42366, + "▁коры": 42367, + "▁Господь": 42368, + "▁крупный": 42369, + "▁организовать": 42370, + "▁мобили": 42371, + "▁подготовку": 42372, + "▁Мей": 42373, + "▁напряжение": 42374, + "▁Вильгель": 42375, + "▁выделе": 42376, + "▁Статья": 42377, + "щенного": 42378, + "▁обезья": 42379, + "▁ждет": 42380, + "▁Клю": 42381, + "▁танка": 42382, + "▁умол": 42383, + "▁увеличить": 42384, + "▁белые": 42385, + "▁голланд": 42386, + "▁лошади": 42387, + "▁иным": 42388, + "▁коэффици": 42389, + "▁Скоро": 42390, + "ОМ": 42391, + "▁общая": 42392, + "▁долг": 42393, + "▁домини": 42394, + "тино": 42395, + "▁мышцы": 42396, + "▁природу": 42397, + "дную": 42398, + "▁грана": 42399, + "▁пройдет": 42400, + "суди": 42401, + "▁регистра": 42402, + "Би": 42403, + "жался": 42404, + "▁слева": 42405, + "▁революция": 42406, + "▁меняется": 42407, + "Ста": 42408, + "▁прочие": 42409, + "▁базу": 42410, + "▁привиле": 42411, + "▁восстановления": 42412, + "▁доля": 42413, + "▁расходов": 42414, + "▁репута": 42415, + "▁мемо": 42416, + "▁нормально": 42417, + "▁оборони": 42418, + "чилась": 42419, + "▁вышло": 42420, + "▁компанию": 42421, + "▁Елена": 42422, + "▁Уче": 42423, + "▁правду": 42424, + "тивности": 42425, + "▁неподви": 42426, + "▁судьбу": 42427, + "▁перевода": 42428, + "▁мыслей": 42429, + "▁Наталь": 42430, + "inux": 42431, + "▁бывших": 42432, + "▁выдели": 42433, + "проек": 42434, + "Ты": 42435, + "▁выпи": 42436, + "▁Новая": 42437, + "шкин": 42438, + "▁дири": 42439, + "▁формирование": 42440, + "▁правительством": 42441, + "▁преобра": 42442, + "▁комфор": 42443, + "▁реакция": 42444, + "кают": 42445, + "спира": 42446, + "▁ложки": 42447, + "▁Этим": 42448, + "▁акцен": 42449, + "▁ориента": 42450, + "щенно": 42451, + "▁ввести": 42452, + "▁покинуть": 42453, + "▁животного": 42454, + "чье": 42455, + "▁торпе": 42456, + "▁клиента": 42457, + "▁стола": 42458, + "▁принимают": 42459, + "образие": 42460, + "▁тесто": 42461, + "▁решительно": 42462, + "▁новому": 42463, + "▁вычисли": 42464, + "▁компенса": 42465, + "▁комите": 42466, + "▁волну": 42467, + "▁командовал": 42468, + "мита": 42469, + "▁сознании": 42470, + "▁судно": 42471, + "▁больного": 42472, + "рели": 42473, + "▁общины": 42474, + "▁маркет": 42475, + "ЕК": 42476, + "▁душ": 42477, + "▁государством": 42478, + "▁ико": 42479, + "▁Ага": 42480, + "▁частях": 42481, + "▁поняли": 42482, + "▁нагля": 42483, + "▁потребность": 42484, + "чам": 42485, + "▁редактор": 42486, + "▁обойти": 42487, + "▁практику": 42488, + "▁предприятие": 42489, + "▁Лав": 42490, + "чаются": 42491, + "▁Запада": 42492, + "нуло": 42493, + "▁описывает": 42494, + "▁кожу": 42495, + "▁читателя": 42496, + "▁доклад": 42497, + "▁Речь": 42498, + "▁протеста": 42499, + "▁получится": 42500, + "▁коллеги": 42501, + "▁чтения": 42502, + "бат": 42503, + "▁кожа": 42504, + "▁Нидерлан": 42505, + "рная": 42506, + "▁флан": 42507, + "▁ведущих": 42508, + "мам": 42509, + "▁лидеров": 42510, + "▁главная": 42511, + "▁способствует": 42512, + "▁переводе": 42513, + "\".[": 42514, + "▁возме": 42515, + "▁Профе": 42516, + "▁ГУ": 42517, + "▁ехать": 42518, + "логических": 42519, + "▁тотчас": 42520, + "гр": 42521, + "▁голосом": 42522, + "▁воспоминания": 42523, + "▁эго": 42524, + "новей": 42525, + "▁механизма": 42526, + "▁исторического": 42527, + "полномо": 42528, + "▁сильным": 42529, + "▁высота": 42530, + "▁демонстра": 42531, + "▁приговор": 42532, + "фран": 42533, + "▁Ольга": 42534, + "▁поклон": 42535, + "▁войн": 42536, + "шни": 42537, + "▁меню": 42538, + "▁списка": 42539, + "▁компе": 42540, + "▁Джек": 42541, + "▁сделала": 42542, + "▁способно": 42543, + "▁дала": 42544, + "▁массовой": 42545, + "скре": 42546, + "▁Была": 42547, + "вленная": 42548, + "▁полноцен": 42549, + "▁двигаться": 42550, + "нора": 42551, + "▁жертв": 42552, + "▁дне": 42553, + "▁обстоятельствах": 42554, + "▁Австрии": 42555, + "был": 42556, + "▁берет": 42557, + "созда": 42558, + "▁прочим": 42559, + "▁дополнительных": 42560, + "▁работах": 42561, + "гнать": 42562, + "▁общую": 42563, + "кову": 42564, + "▁атрибу": 42565, + "▁восточной": 42566, + "изо": 42567, + "▁звуки": 42568, + "сило": 42569, + "кори": 42570, + "нор": 42571, + "▁движений": 42572, + "▁почет": 42573, + "▁изя": 42574, + "▁лечение": 42575, + "зента": 42576, + "муа": 42577, + "▁продю": 42578, + "▁вырос": 42579, + "▁сильное": 42580, + "ренного": 42581, + "вному": 42582, + "▁англо": 42583, + "тип": 42584, + "▁распа": 42585, + "меха": 42586, + "▁лихо": 42587, + "вных": 42588, + "▁Новосибир": 42589, + "▁рыно": 42590, + "пление": 42591, + "▁захваты": 42592, + "▁просьбой": 42593, + "шины": 42594, + "▁поезда": 42595, + "▁бессозна": 42596, + "жер": 42597, + "▁изъя": 42598, + "▁прод": 42599, + "▁признание": 42600, + "▁тока": 42601, + "▁действием": 42602, + "▁особый": 42603, + "▁сани": 42604, + "▁Стан": 42605, + "▁дистан": 42606, + "реть": 42607, + "▁судна": 42608, + "▁попали": 42609, + "▁цилинд": 42610, + "▁Види": 42611, + "▁внешнего": 42612, + "▁непол": 42613, + "▁клиент": 42614, + "▁женщину": 42615, + "сериа": 42616, + "▁парк": 42617, + "▁русская": 42618, + "▁Соответ": 42619, + "▁исследователи": 42620, + "▁сущность": 42621, + "▁членами": 42622, + "▁лек": 42623, + "ЕЙ": 42624, + "▁составила": 42625, + "▁принимали": 42626, + "▁вышед": 42627, + "мены": 42628, + "▁министерства": 42629, + "дзи": 42630, + "▁хорошего": 42631, + "▁поощ": 42632, + "веду": 42633, + "▁известным": 42634, + "зыка": 42635, + "▁Анатолий": 42636, + "▁распада": 42637, + "▁дизай": 42638, + "вее": 42639, + "битра": 42640, + "▁закону": 42641, + "▁считая": 42642, + "▁Уча": 42643, + "▁пиро": 42644, + "▁эксперти": 42645, + "▁реже": 42646, + "▁Бара": 42647, + "▁пога": 42648, + "▁дата": 42649, + "▁просмо": 42650, + "▁даст": 42651, + "▁Нельзя": 42652, + "▁телевизион": 42653, + "▁confl": 42654, + "▁изделия": 42655, + "жина": 42656, + "▁корабле": 42657, + "рек": 42658, + "ueen": 42659, + "▁отдал": 42660, + "▁понимают": 42661, + "▁эффективности": 42662, + "▁каль": 42663, + "▁быст": 42664, + "▁американские": 42665, + "▁важную": 42666, + "▁единиц": 42667, + "▁допу": 42668, + "▁мальчи": 42669, + "оба": 42670, + "несения": 42671, + "▁Белару": 42672, + "▁компьютера": 42673, + "▁получение": 42674, + "жённых": 42675, + "КИ": 42676, + "▁развитием": 42677, + "▁алле": 42678, + "маном": 42679, + "▁куби": 42680, + "▁гомо": 42681, + "▁Института": 42682, + "▁схемы": 42683, + "ап": 42684, + "▁седь": 42685, + "женное": 42686, + "▁Дона": 42687, + "▁депре": 42688, + "▁Входит": 42689, + "▁выделить": 42690, + "▁подрост": 42691, + "▁социальные": 42692, + "▁христи": 42693, + "▁воспитания": 42694, + "охрани": 42695, + "▁великих": 42696, + "▁обря": 42697, + "▁вызван": 42698, + "▁одежду": 42699, + "▁ветра": 42700, + "строить": 42701, + "▁аккура": 42702, + "зис": 42703, + "▁районы": 42704, + "▁градусов": 42705, + "▁возна": 42706, + "мерть": 42707, + "рное": 42708, + "▁полё": 42709, + "▁загадо": 42710, + "▁склад": 42711, + "▁немецкие": 42712, + "▁недвижи": 42713, + "левой": 42714, + "▁пойдет": 42715, + "▁обнаружить": 42716, + "▁предметом": 42717, + "▁разума": 42718, + "▁кардина": 42719, + "▁arran": 42720, + "▁промежуто": 42721, + "▁поднять": 42722, + "▁оптима": 42723, + "▁сахара": 42724, + "▁Колум": 42725, + "ТИ": 42726, + "▁оже": 42727, + "▁проекту": 42728, + "▁женился": 42729, + "▁основой": 42730, + "▁Великий": 42731, + "▁использовались": 42732, + "деление": 42733, + "▁Естественно": 42734, + "▁давали": 42735, + "▁даёт": 42736, + "▁бессмысле": 42737, + "▁ключ": 42738, + "▁родо": 42739, + "▁учебных": 42740, + "▁Ярослав": 42741, + "▁линий": 42742, + "▁туман": 42743, + "льтра": 42744, + "▁осторожно": 42745, + "▁ожидать": 42746, + "▁Лондон": 42747, + "ПК": 42748, + "▁Прак": 42749, + "дик": 42750, + "▁навстречу": 42751, + "▁моделей": 42752, + "▁земной": 42753, + "▁конвер": 42754, + "рующие": 42755, + "альной": 42756, + "▁сочув": 42757, + "▁Берлине": 42758, + "▁изд": 42759, + "▁дворца": 42760, + "▁упал": 42761, + "▁поддерживает": 42762, + "сал": 42763, + "▁Георгий": 42764, + "▁бежать": 42765, + "▁выр": 42766, + "▁говорила": 42767, + "▁альбом": 42768, + "▁двигатель": 42769, + "▁непременно": 42770, + "▁писем": 42771, + "▁бактери": 42772, + "▁творчество": 42773, + "▁зени": 42774, + "▁пренебре": 42775, + "▁самыми": 42776, + "▁спер": 42777, + "▁соверши": 42778, + "▁пейза": 42779, + "▁Истори": 42780, + "▁училища": 42781, + "▁звучит": 42782, + "▁авторите": 42783, + "▁Опреде": 42784, + "▁горах": 42785, + "▁башни": 42786, + "▁версию": 42787, + "▁роты": 42788, + "▁этни": 42789, + "▁Мур": 42790, + "склю": 42791, + "▁выводы": 42792, + "▁опытом": 42793, + "▁оставались": 42794, + "лис": 42795, + "▁интуи": 42796, + "▁нефтя": 42797, + "▁краю": 42798, + "▁Заслу": 42799, + "чком": 42800, + "тератур": 42801, + "▁заменя": 42802, + "▁приложений": 42803, + "▁футболи": 42804, + "▁необходимым": 42805, + "▁послан": 42806, + "▁десятилетия": 42807, + "▁Ельци": 42808, + "▁круга": 42809, + "▁ссыла": 42810, + "▁пожалуйста": 42811, + "▁размно": 42812, + "▁доволь": 42813, + "▁Африке": 42814, + "▁пытаясь": 42815, + "▁Вероятно": 42816, + "▁погибших": 42817, + "▁Иоанна": 42818, + "▁дохода": 42819, + "▁сложные": 42820, + "▁съем": 42821, + "▁перехва": 42822, + "▁ведомства": 42823, + "▁Труда": 42824, + "▁тюрем": 42825, + "мий": 42826, + "вичем": 42827, + "▁доми": 42828, + "▁оправда": 42829, + "▁продолжил": 42830, + "▁Очевидно": 42831, + "ровалось": 42832, + "▁Финляндии": 42833, + "▁занятий": 42834, + "▁ребён": 42835, + "▁Известно": 42836, + "▁мяса": 42837, + "▁док": 42838, + "мбу": 42839, + "▁точке": 42840, + "▁двум": 42841, + "▁вытес": 42842, + "▁НКВД": 42843, + "▁проспек": 42844, + "▁Мая": 42845, + "▁драмати": 42846, + "▁обстановке": 42847, + "меи": 42848, + "▁престол": 42849, + "держки": 42850, + "▁неле": 42851, + "строва": 42852, + "дня": 42853, + "▁сыновей": 42854, + "жертво": 42855, + "▁Атланти": 42856, + "▁Ум": 42857, + "▁контей": 42858, + "▁белого": 42859, + "манской": 42860, + "▁малых": 42861, + "▁сег": 42862, + "атра": 42863, + "вшемся": 42864, + "кера": 42865, + "▁Принима": 42866, + "▁дово": 42867, + "ricult": 42868, + "▁служба": 42869, + "вилось": 42870, + "▁последнем": 42871, + "▁Анны": 42872, + "▁Твер": 42873, + "▁русско": 42874, + "полковник": 42875, + "▁последовательно": 42876, + "▁Польше": 42877, + "▁продав": 42878, + "Дина": 42879, + "ЕД": 42880, + "▁литов": 42881, + "▁настроение": 42882, + "▁фамилии": 42883, + "▁Григорий": 42884, + "▁коали": 42885, + "▁преимущества": 42886, + "▁оценку": 42887, + "▁серы": 42888, + "дило": 42889, + "тилось": 42890, + "▁Мето": 42891, + "контро": 42892, + "▁лауре": 42893, + "▁остановить": 42894, + "словия": 42895, + "востоке": 42896, + "▁лоб": 42897, + "▁думает": 42898, + "ционеров": 42899, + "вои": 42900, + "зией": 42901, + "▁апосто": 42902, + "▁Святой": 42903, + "тком": 42904, + "▁любовью": 42905, + "▁черт": 42906, + "▁товара": 42907, + "▁обычных": 42908, + "́р": 42909, + "▁фактов": 42910, + "▁основная": 42911, + "▁набира": 42912, + "▁состоялось": 42913, + "льи": 42914, + "▁столом": 42915, + "▁стабили": 42916, + "▁сфе": 42917, + "▁опубликовал": 42918, + "▁наказание": 42919, + "▁Чет": 42920, + "ссор": 42921, + "▁члена": 42922, + "▁замкну": 42923, + "равни": 42924, + "тизм": 42925, + "▁пехоты": 42926, + "▁обога": 42927, + "▁учитывать": 42928, + "▁действуют": 42929, + "зира": 42930, + "треть": 42931, + "ствуя": 42932, + "▁этапа": 42933, + "▁противник": 42934, + "▁сдержа": 42935, + "▁участки": 42936, + "ллера": 42937, + "▁Оказа": 42938, + "▁министров": 42939, + "колов": 42940, + "▁партнера": 42941, + "▁годам": 42942, + "▁проле": 42943, + "дному": 42944, + "▁шля": 42945, + "▁Гам": 42946, + "▁ритуа": 42947, + "▁внутренние": 42948, + "▁собственным": 42949, + "▁важный": 42950, + "▁встретил": 42951, + "▁одинаково": 42952, + "▁звуча": 42953, + "▁уехал": 42954, + "▁объё": 42955, + "тс": 42956, + "▁ранних": 42957, + "▁вред": 42958, + "▁фре": 42959, + "▁дар": 42960, + "▁Марга": 42961, + "▁примеры": 42962, + "атр": 42963, + "зел": 42964, + "▁разъяс": 42965, + "▁Западе": 42966, + "▁особенностей": 42967, + "▁вычисле": 42968, + "▁актер": 42969, + "▁премию": 42970, + "▁параш": 42971, + "▁вызо": 42972, + "▁окрестно": 42973, + "дением": 42974, + "нейшим": 42975, + "▁фило": 42976, + "▁Напом": 42977, + "▁стене": 42978, + "▁братья": 42979, + "женности": 42980, + "▁отсе": 42981, + "▁километрах": 42982, + "▁переходит": 42983, + "▁Ибо": 42984, + "▁студии": 42985, + "▁худ": 42986, + "▁норм": 42987, + "▁усовершен": 42988, + "илл": 42989, + "▁несправед": 42990, + "ленным": 42991, + "▁противоречи": 42992, + "▁фолькло": 42993, + "▁последующие": 42994, + "▁сига": 42995, + "▁особых": 42996, + "Кар": 42997, + "нинград": 42998, + "▁Аристо": 42999, + "▁Стив": 43000, + "▁инициативе": 43001, + "дино": 43002, + "▁подошел": 43003, + "▁Какой": 43004, + "▁причём": 43005, + "▁проблемой": 43006, + "панию": 43007, + "▁содержится": 43008, + "▁сапо": 43009, + "▁Средизем": 43010, + "ционными": 43011, + "▁Югосла": 43012, + "▁Хол": 43013, + "▁вскры": 43014, + "▁обсуждения": 43015, + "▁песню": 43016, + "дьба": 43017, + "▁Изо": 43018, + "фре": 43019, + "▁установлена": 43020, + "сье": 43021, + "▁еды": 43022, + "▁ребята": 43023, + "▁давал": 43024, + "▁растет": 43025, + "эффек": 43026, + "▁сможете": 43027, + "тоне": 43028, + "▁операцию": 43029, + "▁артист": 43030, + "▁матчах": 43031, + "▁служат": 43032, + "▁Рожде": 43033, + "▁местной": 43034, + "скать": 43035, + "ренко": 43036, + "▁высотой": 43037, + "▁камеры": 43038, + "▁вывода": 43039, + "ковое": 43040, + "▁Две": 43041, + "вем": 43042, + "поро": 43043, + "▁вначале": 43044, + "▁Свято": 43045, + "▁запах": 43046, + "▁доходов": 43047, + "▁Дви": 43048, + "Аль": 43049, + "▁сельское": 43050, + "▁оку": 43051, + "▁участвовали": 43052, + "▁классо": 43053, + "▁читателей": 43054, + "▁Мать": 43055, + "▁обвиня": 43056, + "лио": 43057, + "▁наход": 43058, + "▁видите": 43059, + "▁Екатерина": 43060, + "▁Спасибо": 43061, + "▁объяснения": 43062, + "▁менять": 43063, + "тают": 43064, + "▁использоваться": 43065, + "▁уха": 43066, + "▁перекры": 43067, + "щейся": 43068, + "▁Арка": 43069, + "ковской": 43070, + "▁можешь": 43071, + "▁Павлов": 43072, + "▁младен": 43073, + "▁данными": 43074, + "▁Дома": 43075, + "▁осуществления": 43076, + "▁Указом": 43077, + "плю": 43078, + "▁актриса": 43079, + "нутся": 43080, + "▁решено": 43081, + "▁окраи": 43082, + "▁отдельный": 43083, + "▁утверждение": 43084, + "▁четверть": 43085, + "▁игнори": 43086, + "▁прошу": 43087, + "тол": 43088, + "▁известна": 43089, + "▁нежела": 43090, + "▁главные": 43091, + "▁государственные": 43092, + "▁кадров": 43093, + "▁винтов": 43094, + "скет": 43095, + "▁руководил": 43096, + "бр": 43097, + "лоне": 43098, + "▁прибыль": 43099, + "ллин": 43100, + "телях": 43101, + "хотя": 43102, + "▁крем": 43103, + "гими": 43104, + "▁удовлетворя": 43105, + "евро": 43106, + "▁плюс": 43107, + "щегося": 43108, + "▁Способ": 43109, + "▁помнить": 43110, + "▁задания": 43111, + "▁требованиям": 43112, + "▁хватало": 43113, + "▁состояла": 43114, + "▁соединений": 43115, + "▁ООО": 43116, + "▁сооружения": 43117, + "▁эмигра": 43118, + "▁Сме": 43119, + "▁стихов": 43120, + "ссен": 43121, + "▁конкретных": 43122, + "▁улиц": 43123, + "стными": 43124, + "регули": 43125, + "▁фана": 43126, + "▁пропуска": 43127, + "▁длины": 43128, + "▁Св": 43129, + "▁разница": 43130, + "▁проходя": 43131, + "▁бессмер": 43132, + "сскую": 43133, + "▁такому": 43134, + "▁вулка": 43135, + "▁целое": 43136, + "▁перено": 43137, + "грузки": 43138, + "▁лёт": 43139, + "▁поездки": 43140, + "▁бухгал": 43141, + "▁Сразу": 43142, + "▁Приме": 43143, + "дитель": 43144, + "embly": 43145, + "▁десятиле": 43146, + "жах": 43147, + "зар": 43148, + "вицы": 43149, + "▁велосипе": 43150, + "▁Людови": 43151, + "▁возглавлял": 43152, + "▁вернулись": 43153, + "▁личных": 43154, + "▁лесо": 43155, + "▁рестора": 43156, + "▁пород": 43157, + "берта": 43158, + "▁имеющих": 43159, + "▁поте": 43160, + "щалась": 43161, + "▁высокую": 43162, + "▁присутствии": 43163, + "▁Фильм": 43164, + "▁сан": 43165, + "▁правилам": 43166, + "▁подумать": 43167, + "▁строительстве": 43168, + "▁последняя": 43169, + "▁взо": 43170, + "▁обязаны": 43171, + "▁эли": 43172, + "женными": 43173, + "▁присутствует": 43174, + "▁лечеб": 43175, + "▁Оси": 43176, + "▁всевозмо": 43177, + "▁Европу": 43178, + "▁притя": 43179, + "▁отпу": 43180, + "тчик": 43181, + "▁opport": 43182, + "ету": 43183, + "▁Площадь": 43184, + "▁ОС": 43185, + "▁океан": 43186, + "▁неудоб": 43187, + "▁игрока": 43188, + "▁Поля": 43189, + "готавли": 43190, + "майор": 43191, + "▁сцену": 43192, + "▁собственное": 43193, + "▁лицу": 43194, + "▁Собра": 43195, + "▁мошен": 43196, + "▁чьи": 43197, + "шные": 43198, + "▁СО": 43199, + "▁следствия": 43200, + "▁стратегии": 43201, + "▁крю": 43202, + "▁великой": 43203, + "▁сержа": 43204, + "▁переулок": 43205, + "кедо": 43206, + "▁восток": 43207, + "▁камни": 43208, + "▁входа": 43209, + "▁муниципального": 43210, + "▁высокая": 43211, + "▁проводит": 43212, + "▁послужи": 43213, + "▁руба": 43214, + "ходим": 43215, + "erem": 43216, + "▁прокля": 43217, + "▁консо": 43218, + "▁адеква": 43219, + "▁писали": 43220, + "▁юноше": 43221, + "▁Северного": 43222, + "▁условии": 43223, + "▁ставит": 43224, + "▁городских": 43225, + "▁Бей": 43226, + "хай": 43227, + "▁сынов": 43228, + "▁занимались": 43229, + "▁будешь": 43230, + "▁страниц": 43231, + "▁объясняется": 43232, + "▁упре": 43233, + "▁находилось": 43234, + "▁лингви": 43235, + "нологии": 43236, + "▁бригада": 43237, + "кас": 43238, + "▁жертвы": 43239, + "▁врачей": 43240, + "▁прорабо": 43241, + "▁продолжение": 43242, + "▁комиссия": 43243, + "▁секунду": 43244, + "▁объектом": 43245, + "▁журналист": 43246, + "▁доброде": 43247, + "▁восстание": 43248, + "▁ряду": 43249, + "▁краса": 43250, + "▁принципов": 43251, + "▁охран": 43252, + "▁полет": 43253, + "▁Разви": 43254, + "▁коопера": 43255, + "▁снег": 43256, + "▁впечатления": 43257, + "▁ИТАР": 43258, + "министр": 43259, + "▁портрет": 43260, + "▁посты": 43261, + "▁Изда": 43262, + "▁Георги": 43263, + "туро": 43264, + "рью": 43265, + "пча": 43266, + "▁тюрьмы": 43267, + "▁Вра": 43268, + "ляются": 43269, + "▁последнюю": 43270, + "▁параметров": 43271, + "▁лейтенан": 43272, + "▁отор": 43273, + "▁российские": 43274, + "сера": 43275, + "▁плав": 43276, + "▁кримина": 43277, + "▁туа": 43278, + "▁осужден": 43279, + "▁КГБ": 43280, + "▁придвор": 43281, + "▁Разрабо": 43282, + "▁сестры": 43283, + "Йорке": 43284, + "▁металлу": 43285, + "▁помог": 43286, + "▁отступа": 43287, + "▁совпада": 43288, + "▁Дела": 43289, + "▁сообщении": 43290, + "▁космонав": 43291, + "морского": 43292, + "риали": 43293, + "▁водя": 43294, + "▁убежден": 43295, + "▁вызвал": 43296, + "▁внезап": 43297, + "▁Баку": 43298, + "▁превращается": 43299, + "▁родину": 43300, + "▁чувствует": 43301, + "▁утверждения": 43302, + "▁полку": 43303, + "вшимися": 43304, + "тельской": 43305, + "▁дура": 43306, + "▁Рима": 43307, + "▁герцог": 43308, + "▁понедельник": 43309, + "▁всемир": 43310, + "▁вспомога": 43311, + "▁животное": 43312, + "▁избавиться": 43313, + "йся": 43314, + "▁имеющие": 43315, + "делец": 43316, + "▁органами": 43317, + "▁чте": 43318, + "▁воскресенье": 43319, + "▁однозна": 43320, + "блоки": 43321, + "▁рыбо": 43322, + "▁вправе": 43323, + "▁практика": 43324, + "▁ровно": 43325, + "▁сбе": 43326, + "▁тюрьме": 43327, + "▁художественной": 43328, + "▁величины": 43329, + "▁эффективность": 43330, + "▁снижение": 43331, + "▁Казахстана": 43332, + "▁оперы": 43333, + "ровалась": 43334, + "числя": 43335, + "▁Шот": 43336, + "▁холодной": 43337, + "▁матерью": 43338, + "ступило": 43339, + "▁заплани": 43340, + "ПУ": 43341, + "Зе": 43342, + "▁моста": 43343, + "рази": 43344, + "▁ансам": 43345, + "▁распла": 43346, + "▁играли": 43347, + "▁жила": 43348, + "▁ть": 43349, + "▁западе": 43350, + "▁напрямую": 43351, + "трополи": 43352, + "▁кабинет": 43353, + "▁изоли": 43354, + "▁победа": 43355, + "▁родов": 43356, + "▁опор": 43357, + "▁специалист": 43358, + "▁звёзд": 43359, + "▁клубе": 43360, + "▁колхоз": 43361, + "▁параметры": 43362, + "▁совершить": 43363, + "▁признал": 43364, + "▁Казалось": 43365, + "▁падает": 43366, + "▁попадает": 43367, + "▁незамет": 43368, + "▁буржуа": 43369, + "▁решении": 43370, + "▁изделий": 43371, + "▁согласия": 43372, + "▁ряды": 43373, + "▁Булга": 43374, + "▁растер": 43375, + "▁Первоначально": 43376, + "▁уши": 43377, + "▁финале": 43378, + "▁превышает": 43379, + "▁постоянной": 43380, + "рун": 43381, + "▁свободного": 43382, + "ТР": 43383, + "ом": 43384, + "нностью": 43385, + "▁представителями": 43386, + "▁спортс": 43387, + "▁давайте": 43388, + "▁комсомо": 43389, + "▁похожи": 43390, + "▁специальной": 43391, + "миль": 43392, + "▁воспиты": 43393, + "▁ВО": 43394, + "▁цепо": 43395, + "тли": 43396, + "▁старался": 43397, + "▁исключения": 43398, + "▁агентство": 43399, + "генера": 43400, + "▁коммуна": 43401, + "▁Ау": 43402, + "▁обязанностей": 43403, + "▁структуре": 43404, + "▁огромной": 43405, + "▁набра": 43406, + "стое": 43407, + "▁допро": 43408, + "▁экране": 43409, + "▁рассказы": 43410, + "▁Моро": 43411, + "▁постройки": 43412, + "▁преступлений": 43413, + "▁учет": 43414, + "▁сильные": 43415, + "▁камня": 43416, + "▁Хер": 43417, + "▁схема": 43418, + "▁греб": 43419, + "▁СК": 43420, + "▁Горба": 43421, + "▁племен": 43422, + "▁основана": 43423, + "стном": 43424, + "▁словах": 43425, + "▁ежегод": 43426, + "ладель": 43427, + "▁буквы": 43428, + "▁инвесто": 43429, + "▁фонд": 43430, + "▁сельсовет": 43431, + "▁хорошее": 43432, + "▁Иисуса": 43433, + "▁Желез": 43434, + "▁физиологи": 43435, + "чуть": 43436, + "▁неис": 43437, + "мино": 43438, + "▁Представи": 43439, + "дана": 43440, + "▁впа": 43441, + "▁выращи": 43442, + "▁оценке": 43443, + "ливость": 43444, + "▁капу": 43445, + "▁бесполез": 43446, + "▁научные": 43447, + "носится": 43448, + "▁длину": 43449, + "▁отрабо": 43450, + "▁путешествие": 43451, + "▁гроб": 43452, + "службе": 43453, + "▁ближ": 43454, + "▁увеличения": 43455, + "▁видят": 43456, + "коро": 43457, + "▁Кирил": 43458, + "▁муже": 43459, + "▁исчер": 43460, + "▁ставить": 43461, + "▁Гроз": 43462, + "▁Солнце": 43463, + "▁примеров": 43464, + "ИЛ": 43465, + "руем": 43466, + "▁обычной": 43467, + "oura": 43468, + "▁гроз": 43469, + "мён": 43470, + "▁курсы": 43471, + "▁выяснить": 43472, + "хта": 43473, + "▁древние": 43474, + "▁Коль": 43475, + "▁отправил": 43476, + "▁Джордж": 43477, + "▁целого": 43478, + "▁красный": 43479, + "▁древности": 43480, + "▁встал": 43481, + "▁редакции": 43482, + "▁Обще": 43483, + "бюро": 43484, + "кации": 43485, + "ньи": 43486, + "▁имму": 43487, + "жский": 43488, + "adium": 43489, + "▁матри": 43490, + "▁РАН": 43491, + "▁цепи": 43492, + "▁Доба": 43493, + "▁Необходимо": 43494, + "кович": 43495, + "▁Поло": 43496, + "▁приятно": 43497, + "▁инде": 43498, + "лагается": 43499, + "▁стрелковой": 43500, + "тизации": 43501, + "▁дель": 43502, + "москов": 43503, + "▁Алексея": 43504, + "▁Думаю": 43505, + "▁самоо": 43506, + "▁ны": 43507, + "▁колонии": 43508, + "▁оценка": 43509, + "ФА": 43510, + "тони": 43511, + "электро": 43512, + "▁последствий": 43513, + "▁византи": 43514, + "слы": 43515, + "▁категори": 43516, + "▁народы": 43517, + "▁техника": 43518, + "рита": 43519, + "▁синх": 43520, + "▁путешествия": 43521, + "▁прим": 43522, + "▁встречу": 43523, + "▁Стоит": 43524, + "▁невиди": 43525, + "бн": 43526, + "▁евреи": 43527, + "▁умеет": 43528, + "▁явился": 43529, + "▁Занима": 43530, + "▁свидетельства": 43531, + "▁тём": 43532, + "▁партнер": 43533, + "▁инструменты": 43534, + "▁честно": 43535, + "▁маленькие": 43536, + "▁пятницу": 43537, + "▁кита": 43538, + "▁Кузне": 43539, + "женно": 43540, + "▁Балтий": 43541, + "гур": 43542, + "ТС": 43543, + "▁предварительно": 43544, + "ternet": 43545, + "▁СПб": 43546, + "▁лозу": 43547, + "ровые": 43548, + "▁нации": 43549, + "▁Наши": 43550, + "▁содержат": 43551, + "▁отмечается": 43552, + "тена": 43553, + "▁парадок": 43554, + "▁казни": 43555, + "▁вознагра": 43556, + "▁третьем": 43557, + "▁Кавказ": 43558, + "▁целесообраз": 43559, + "▁перешли": 43560, + "стическое": 43561, + "▁цари": 43562, + "▁Эту": 43563, + "▁продолжается": 43564, + "▁движением": 43565, + "▁лин": 43566, + "▁переехал": 43567, + "нятся": 43568, + "▁совету": 43569, + "▁Пси": 43570, + "▁пли": 43571, + "▁замер": 43572, + "▁первыми": 43573, + "▁разруши": 43574, + "▁рок": 43575, + "▁Гого": 43576, + "▁платфор": 43577, + "▁имен": 43578, + "▁опол": 43579, + "зания": 43580, + "▁лука": 43581, + "эл": 43582, + "▁кандидатов": 43583, + "▁соединение": 43584, + "▁назвали": 43585, + "▁платы": 43586, + "▁окружающих": 43587, + "способности": 43588, + "ндия": 43589, + "▁Самое": 43590, + "фта": 43591, + "вам": 43592, + "▁прили": 43593, + "эро": 43594, + "▁правоохрани": 43595, + "▁лук": 43596, + "▁пече": 43597, + "▁куро": 43598, + "▁губернатора": 43599, + "▁призван": 43600, + "швили": 43601, + "▁судьбе": 43602, + "▁здравоохранения": 43603, + "▁развле": 43604, + "▁телом": 43605, + "▁глаго": 43606, + "▁племени": 43607, + "▁сотен": 43608, + "▁специального": 43609, + "▁называемые": 43610, + "стную": 43611, + "▁течения": 43612, + "▁ДНК": 43613, + "Чер": 43614, + "▁Рез": 43615, + "▁соло": 43616, + "▁парка": 43617, + "▁значительное": 43618, + "▁дыхание": 43619, + "▁хозяин": 43620, + "▁французских": 43621, + "рмо": 43622, + "ака": 43623, + "магни": 43624, + "▁принце": 43625, + "▁Чай": 43626, + "▁Нас": 43627, + "▁намерения": 43628, + "▁славы": 43629, + "▁слушать": 43630, + "вского": 43631, + "▁границей": 43632, + "ленд": 43633, + "▁вызывают": 43634, + "stitution": 43635, + "▁Кай": 43636, + "▁жертву": 43637, + "▁Израиль": 43638, + "poration": 43639, + "▁сборник": 43640, + "ковыми": 43641, + "▁вооруженных": 43642, + "▁утверждают": 43643, + "▁протекает": 43644, + "гена": 43645, + "▁тексте": 43646, + "▁НЕ": 43647, + "▁Мя": 43648, + "ала": 43649, + "▁серия": 43650, + "▁мучи": 43651, + "▁болезней": 43652, + "ведению": 43653, + "▁успели": 43654, + "▁странами": 43655, + "нде": 43656, + "▁Советский": 43657, + "тках": 43658, + "▁отпуска": 43659, + "▁ликвидации": 43660, + "▁оборону": 43661, + "▁населённых": 43662, + "▁Президента": 43663, + "▁милиции": 43664, + "▁Архангель": 43665, + "▁получали": 43666, + "▁Подо": 43667, + "▁разговора": 43668, + "▁чемпионом": 43669, + "▁заведения": 43670, + "▁вокза": 43671, + "▁ПВО": 43672, + "▁настоящей": 43673, + "▁листья": 43674, + "▁черный": 43675, + "▁оппозиции": 43676, + "▁тогдаш": 43677, + "▁гуманитар": 43678, + "▁специальный": 43679, + "▁странице": 43680, + "▁удобно": 43681, + "▁услышал": 43682, + "▁дев": 43683, + "▁методом": 43684, + "▁Система": 43685, + "▁устрем": 43686, + "▁Интересно": 43687, + "▁предмета": 43688, + "▁соу": 43689, + "шись": 43690, + "вский": 43691, + "▁компро": 43692, + "▁ем": 43693, + "▁породы": 43694, + "ваемой": 43695, + "▁насилия": 43696, + "▁оборот": 43697, + "▁матро": 43698, + "альных": 43699, + "▁вошёл": 43700, + "▁суста": 43701, + "▁ужас": 43702, + "▁формой": 43703, + "cend": 43704, + "▁сценарий": 43705, + "▁пакет": 43706, + "▁обязательства": 43707, + "▁стано": 43708, + "▁образуют": 43709, + "▁Свердлов": 43710, + "шат": 43711, + "▁Наш": 43712, + "▁продолжают": 43713, + "▁привел": 43714, + "▁Доста": 43715, + "ётр": 43716, + "▁английском": 43717, + "ставьте": 43718, + "▁простым": 43719, + "▁сообщений": 43720, + "психо": 43721, + "▁гет": 43722, + "▁европейской": 43723, + "▁построения": 43724, + "▁рамки": 43725, + "▁входил": 43726, + "▁полосы": 43727, + "▁заявила": 43728, + "▁Новго": 43729, + "▁существовало": 43730, + "▁возглавля": 43731, + "▁вызов": 43732, + "дорович": 43733, + "ганди": 43734, + "слан": 43735, + "▁ранга": 43736, + "▁Александров": 43737, + "▁принадлежат": 43738, + "▁мощность": 43739, + "▁изуча": 43740, + "▁шлю": 43741, + "▁Бю": 43742, + "▁несча": 43743, + "▁обратить": 43744, + "товая": 43745, + "▁Пру": 43746, + "чук": 43747, + "▁машино": 43748, + "▁голода": 43749, + "▁хитро": 43750, + "▁позволить": 43751, + "▁товарищ": 43752, + "▁уголовного": 43753, + "▁рожда": 43754, + "▁аварий": 43755, + "риата": 43756, + "▁домо": 43757, + "▁публику": 43758, + "▁поворачи": 43759, + "▁обстоятельство": 43760, + "▁навод": 43761, + "▁финансовых": 43762, + "▁кислоты": 43763, + "хт": 43764, + "▁назначение": 43765, + "▁переживания": 43766, + "▁мино": 43767, + "▁привлечь": 43768, + "▁ОК": 43769, + "▁развали": 43770, + "▁энту": 43771, + "▁указать": 43772, + "▁экран": 43773, + "ссией": 43774, + "▁объясняет": 43775, + "▁выле": 43776, + "▁проведении": 43777, + "▁Толстого": 43778, + "▁сбора": 43779, + "▁Центр": 43780, + "▁незнако": 43781, + "▁загово": 43782, + "▁таба": 43783, + "▁Сочи": 43784, + "▁моменту": 43785, + "▁личный": 43786, + "▁проекте": 43787, + "▁Максима": 43788, + "▁средством": 43789, + "▁капи": 43790, + "▁интересах": 43791, + "тна": 43792, + "▁существова": 43793, + "слож": 43794, + "▁исполня": 43795, + "▁угрозы": 43796, + "▁partn": 43797, + "дья": 43798, + "▁вашу": 43799, + "▁готова": 43800, + "▁трой": 43801, + "▁дано": 43802, + "▁экипаж": 43803, + "▁дам": 43804, + "▁онлайн": 43805, + "▁сино": 43806, + "щенко": 43807, + "▁классе": 43808, + "ляя": 43809, + "▁одноим": 43810, + "▁православной": 43811, + "▁петербург": 43812, + "пец": 43813, + "лика": 43814, + "▁удивительно": 43815, + "▁проводил": 43816, + "стность": 43817, + "пина": 43818, + "▁Петербурга": 43819, + "▁бассейна": 43820, + "▁нерав": 43821, + "рованное": 43822, + "▁задание": 43823, + "▁Олимпиа": 43824, + "▁средних": 43825, + "пью": 43826, + "▁яс": 43827, + "▁Генерал": 43828, + "▁миссии": 43829, + "▁молока": 43830, + "duce": 43831, + "вель": 43832, + "▁борт": 43833, + "▁волос": 43834, + "альные": 43835, + "маты": 43836, + "рению": 43837, + "▁называемый": 43838, + "▁Египта": 43839, + "▁группировки": 43840, + "▁прор": 43841, + "▁отправля": 43842, + "▁уязви": 43843, + "▁кровью": 43844, + "▁путешествен": 43845, + "▁релье": 43846, + "▁легких": 43847, + "▁современном": 43848, + "▁Джеймс": 43849, + "▁информацией": 43850, + "▁Ричард": 43851, + "штейна": 43852, + "▁измен": 43853, + "▁Книга": 43854, + "▁опасно": 43855, + "сай": 43856, + "▁справедливости": 43857, + "▁безопасность": 43858, + "▁заняли": 43859, + "!\".": 43860, + "костью": 43861, + "шало": 43862, + "способность": 43863, + "ренным": 43864, + "▁ОАО": 43865, + "▁инвали": 43866, + "▁мировоз": 43867, + "киды": 43868, + "▁выполняет": 43869, + "▁Ала": 43870, + "▁переве": 43871, + "▁военное": 43872, + "▁жидкости": 43873, + "▁преодолеть": 43874, + "зет": 43875, + "▁отцу": 43876, + "нским": 43877, + "▁левом": 43878, + "▁Выбор": 43879, + "▁живопи": 43880, + "▁придет": 43881, + "▁спон": 43882, + "▁Свобо": 43883, + "▁оставив": 43884, + "Динамо": 43885, + "▁изну": 43886, + "▁ВКП": 43887, + "▁жене": 43888, + "▁заново": 43889, + "вного": 43890, + "▁МИД": 43891, + "▁расширения": 43892, + "▁несет": 43893, + "▁Сол": 43894, + "▁офицеры": 43895, + "▁чувствовать": 43896, + "▁сокрови": 43897, + "▁поздра": 43898, + "▁красоты": 43899, + "▁Пала": 43900, + "▁зарабаты": 43901, + "▁численности": 43902, + "▁мальчика": 43903, + "▁постоянного": 43904, + "вающим": 43905, + "▁Цеза": 43906, + "▁рыца": 43907, + "▁принципу": 43908, + "▁непода": 43909, + "▁яз": 43910, + "▁поедин": 43911, + "▁войти": 43912, + "▁молодежи": 43913, + "▁повод": 43914, + "▁духо": 43915, + "комен": 43916, + "▁демократии": 43917, + "▁Сви": 43918, + "▁ток": 43919, + "най": 43920, + "женцев": 43921, + "▁финансов": 43922, + "Ша": 43923, + "Восто": 43924, + "▁конкурса": 43925, + "▁восстанавли": 43926, + "▁преодоле": 43927, + "▁Лер": 43928, + "▁регионов": 43929, + "▁дальнейшего": 43930, + "▁участии": 43931, + "▁Мэри": 43932, + "душе": 43933, + "▁медицинской": 43934, + "▁шиф": 43935, + "▁расстояния": 43936, + "рг": 43937, + "▁интегра": 43938, + "▁трагедии": 43939, + "▁установка": 43940, + "▁пишут": 43941, + "целе": 43942, + "▁иннова": 43943, + "▁имею": 43944, + "▁Украина": 43945, + "▁Джи": 43946, + "▁РИА": 43947, + "▁Медведе": 43948, + "▁собственность": 43949, + "изма": 43950, + "▁африкан": 43951, + "▁Белорус": 43952, + "▁ссылкой": 43953, + "томи": 43954, + "▁дистанции": 43955, + "▁вызвало": 43956, + "▁позиция": 43957, + "▁Большого": 43958, + "▁позвоно": 43959, + "▁задумы": 43960, + "▁факультета": 43961, + "▁Богом": 43962, + "▁лекции": 43963, + "вязыва": 43964, + "▁трансформа": 43965, + "▁медицины": 43966, + "▁отнести": 43967, + "▁отвечать": 43968, + "▁Swed": 43969, + "▁параллельно": 43970, + "▁нар": 43971, + "настоящему": 43972, + "ранже": 43973, + "▁Луны": 43974, + "▁приходят": 43975, + "▁телефону": 43976, + "▁пообе": 43977, + "▁последующих": 43978, + "евской": 43979, + "пари": 43980, + "▁определенного": 43981, + "▁удостоен": 43982, + "▁Мухам": 43983, + "▁имену": 43984, + "▁крупного": 43985, + "▁исследователей": 43986, + "▁противодей": 43987, + "▁Профиль": 43988, + "▁девочка": 43989, + "▁ссылки": 43990, + "▁пулемет": 43991, + "▁Ля": 43992, + "▁простые": 43993, + "▁канад": 43994, + "▁контексте": 43995, + "беки": 43996, + "▁таре": 43997, + "▁Пы": 43998, + "цина": 43999, + "пира": 44000, + "▁санти": 44001, + "▁отцов": 44002, + "▁потока": 44003, + "▁Самый": 44004, + "▁производить": 44005, + "▁лен": 44006, + "▁популя": 44007, + "▁взаимосвя": 44008, + "▁физического": 44009, + "Сер": 44010, + "▁Остров": 44011, + "▁эпизод": 44012, + "▁знаки": 44013, + "▁Дет": 44014, + "▁религиозных": 44015, + "▁кипя": 44016, + "▁каран": 44017, + "ковал": 44018, + "▁скон": 44019, + "скур": 44020, + "▁ищу": 44021, + "▁нервной": 44022, + "корре": 44023, + "▁расположение": 44024, + "▁организме": 44025, + "▁печать": 44026, + "▁братом": 44027, + "▁свобода": 44028, + "дак": 44029, + "дрой": 44030, + "▁моче": 44031, + "▁мышц": 44032, + "▁умерла": 44033, + "▁субъекта": 44034, + "▁югу": 44035, + "▁Моя": 44036, + "▁святых": 44037, + "▁стрелкового": 44038, + "▁шло": 44039, + "▁схеме": 44040, + "▁движу": 44041, + "▁хреб": 44042, + "▁ПРО": 44043, + "вленным": 44044, + "вленное": 44045, + "вие": 44046, + "четы": 44047, + "▁прито": 44048, + "▁церк": 44049, + "▁получал": 44050, + "▁Слово": 44051, + "▁сыну": 44052, + "▁представлена": 44053, + "▁маски": 44054, + "▁свойство": 44055, + "▁результата": 44056, + "▁знаменитый": 44057, + "▁вспоминал": 44058, + "▁нигде": 44059, + "▁следовать": 44060, + "▁Похоро": 44061, + "▁tourn": 44062, + "▁фрук": 44063, + "▁прести": 44064, + "▁возникли": 44065, + "совых": 44066, + "▁тренера": 44067, + "домо": 44068, + "▁административно": 44069, + "▁оккупи": 44070, + "▁компонентов": 44071, + "▁соревнованиях": 44072, + "▁оки": 44073, + "▁оказываются": 44074, + "▁ошибка": 44075, + "восток": 44076, + "Так": 44077, + "▁авиаком": 44078, + "▁новей": 44079, + "▁ограничен": 44080, + "довая": 44081, + "▁помещение": 44082, + "▁прозви": 44083, + "правля": 44084, + "ненными": 44085, + "▁разры": 44086, + "▁покон": 44087, + "тирования": 44088, + "▁продаж": 44089, + "▁расположено": 44090, + "▁значений": 44091, + "офи": 44092, + "▁размером": 44093, + "▁серию": 44094, + "▁ислам": 44095, + "▁закончил": 44096, + "▁рубежом": 44097, + "ложены": 44098, + "▁поиски": 44099, + "▁низко": 44100, + "▁кр": 44101, + "ринга": 44102, + "▁точности": 44103, + "▁сбы": 44104, + "Когда": 44105, + "▁представителя": 44106, + "▁спасения": 44107, + "▁кругу": 44108, + "тость": 44109, + "▁людях": 44110, + "▁поднялся": 44111, + "фора": 44112, + "хла": 44113, + "товым": 44114, + "▁ответы": 44115, + "▁пато": 44116, + "комплек": 44117, + "▁посёлка": 44118, + "▁называл": 44119, + "▁судом": 44120, + "▁небольшое": 44121, + "▁заявили": 44122, + "▁испуга": 44123, + "само": 44124, + "чую": 44125, + "секре": 44126, + "▁дете": 44127, + "▁являлись": 44128, + "СКО": 44129, + "▁скре": 44130, + "откры": 44131, + "▁творчестве": 44132, + "▁невро": 44133, + "зует": 44134, + "▁твори": 44135, + "▁реформа": 44136, + "▁классической": 44137, + "▁судя": 44138, + "▁благотвори": 44139, + "▁прер": 44140, + "▁руководя": 44141, + "▁Всероссий": 44142, + "▁открытым": 44143, + "▁зала": 44144, + "▁укрепления": 44145, + "▁гастро": 44146, + "▁цы": 44147, + "▁внутренний": 44148, + "▁СН": 44149, + "▁Нового": 44150, + "лово": 44151, + "▁разор": 44152, + "▁нашими": 44153, + "▁интри": 44154, + "Петербурга": 44155, + "▁сним": 44156, + "▁выходе": 44157, + "▁Армении": 44158, + "нге": 44159, + "▁композиции": 44160, + "▁Будучи": 44161, + "пт": 44162, + "▁процвета": 44163, + "▁распоряжение": 44164, + "▁Лучше": 44165, + "▁уважа": 44166, + "▁растение": 44167, + "чивает": 44168, + "▁частицы": 44169, + "▁Общая": 44170, + "▁эффективно": 44171, + "▁почувствовал": 44172, + "▁попытку": 44173, + "▁остальное": 44174, + "▁вопреки": 44175, + "етра": 44176, + "▁вовремя": 44177, + "▁присутствие": 44178, + "▁секретаря": 44179, + "▁ударов": 44180, + "▁Цель": 44181, + "▁съезда": 44182, + "▁дивизий": 44183, + "▁примет": 44184, + "▁руководителем": 44185, + "▁узнали": 44186, + "▁захватить": 44187, + "▁спиной": 44188, + "▁текстов": 44189, + "▁главную": 44190, + "тельнее": 44191, + "▁материи": 44192, + "vania": 44193, + "▁батареи": 44194, + "радо": 44195, + "▁залива": 44196, + "вения": 44197, + "▁нево": 44198, + "▁индустри": 44199, + "▁заместителя": 44200, + "▁шт": 44201, + "▁известность": 44202, + "▁могуще": 44203, + "▁трудя": 44204, + "▁наступ": 44205, + "▁Василия": 44206, + "▁Успе": 44207, + "▁толщи": 44208, + "паду": 44209, + "▁воспользова": 44210, + "▁кавалерий": 44211, + "▁гражданского": 44212, + "▁желая": 44213, + "▁химии": 44214, + "▁Шан": 44215, + "▁департамента": 44216, + "▁грубо": 44217, + "▁Толстой": 44218, + "▁организацией": 44219, + "▁представлений": 44220, + "▁доказательств": 44221, + "▁свидетельствуют": 44222, + "▁Новости": 44223, + "▁ввиду": 44224, + "грамм": 44225, + "▁укрепле": 44226, + "фио": 44227, + "▁знакомых": 44228, + "▁защищать": 44229, + "▁равни": 44230, + "▁хозяина": 44231, + "пром": 44232, + "БУ": 44233, + "▁воспитан": 44234, + "кладывать": 44235, + "риториаль": 44236, + "gypt": 44237, + "друг": 44238, + "▁уволь": 44239, + "▁галакти": 44240, + "▁допустить": 44241, + "лицы": 44242, + "▁труды": 44243, + "▁управлении": 44244, + "▁дефици": 44245, + "▁пев": 44246, + "▁понятий": 44247, + "▁карт": 44248, + "зированных": 44249, + "▁осуществить": 44250, + "▁смарт": 44251, + "▁хорошим": 44252, + "▁объема": 44253, + "▁правах": 44254, + "▁сок": 44255, + "ттер": 44256, + "летря": 44257, + "▁митрополи": 44258, + "▁определенный": 44259, + "▁привер": 44260, + "▁степ": 44261, + "▁счете": 44262, + "лея": 44263, + "▁майор": 44264, + "edd": 44265, + "▁розо": 44266, + "▁платформы": 44267, + "▁террористи": 44268, + "▁инспе": 44269, + "▁сего": 44270, + "еренци": 44271, + "кипе": 44272, + "▁Помо": 44273, + "▁Участник": 44274, + "▁устрои": 44275, + "▁полиция": 44276, + "▁учреди": 44277, + "▁системати": 44278, + "▁Лет": 44279, + "▁серьезные": 44280, + "альный": 44281, + "▁удовольствием": 44282, + "▁слад": 44283, + "urban": 44284, + "▁граница": 44285, + "▁прива": 44286, + "▁привела": 44287, + "▁ушли": 44288, + "рился": 44289, + "чится": 44290, + "▁стрельбы": 44291, + "бери": 44292, + "▁фильмы": 44293, + "бые": 44294, + "▁сати": 44295, + "▁отряды": 44296, + "▁единственной": 44297, + "▁Бразилии": 44298, + "▁музее": 44299, + "хий": 44300, + "льна": 44301, + "▁Село": 44302, + "▁недолго": 44303, + "▁а́": 44304, + "▁хорошей": 44305, + "▁участков": 44306, + "лятор": 44307, + "▁убедить": 44308, + "горя": 44309, + "▁цифры": 44310, + "▁зак": 44311, + "▁сохранились": 44312, + "▁Иркут": 44313, + "▁Бол": 44314, + "▁сл": 44315, + "▁Лен": 44316, + "▁разработку": 44317, + "зера": 44318, + "▁геологи": 44319, + "▁ультра": 44320, + "Ман": 44321, + "▁собрал": 44322, + "▁объяснение": 44323, + "▁федерального": 44324, + "зывы": 44325, + "тями": 44326, + "▁штраф": 44327, + "▁Револю": 44328, + "▁Абра": 44329, + "дном": 44330, + "▁Германию": 44331, + "▁Лебе": 44332, + "диоз": 44333, + "▁оттен": 44334, + "▁духовного": 44335, + "▁средняя": 44336, + "▁установления": 44337, + "▁похва": 44338, + "▁мужем": 44339, + "▁Швейцарии": 44340, + "ида": 44341, + "▁необычай": 44342, + "▁рецен": 44343, + "▁сторонников": 44344, + "▁кн": 44345, + "▁Вяче": 44346, + "▁северу": 44347, + "▁показалось": 44348, + "▁сдержи": 44349, + "▁железа": 44350, + "▁широкой": 44351, + "▁зелё": 44352, + "▁выходить": 44353, + "вот": 44354, + "▁прилага": 44355, + "люми": 44356, + "▁возобнови": 44357, + "зав": 44358, + "▁ранен": 44359, + "▁раздела": 44360, + "rugg": 44361, + "▁повстан": 44362, + "▁установили": 44363, + "мской": 44364, + "▁беседы": 44365, + "▁эмоции": 44366, + "▁удары": 44367, + "Зна": 44368, + "▁применяют": 44369, + "▁контрак": 44370, + "▁Тере": 44371, + "▁четверг": 44372, + "▁Леонид": 44373, + "▁числи": 44374, + "енья": 44375, + "▁сложной": 44376, + "▁бюрокра": 44377, + "зерца": 44378, + "▁цену": 44379, + "▁данное": 44380, + "▁подготовка": 44381, + "ступит": 44382, + "▁влияет": 44383, + "▁болгар": 44384, + "▁значительные": 44385, + "▁десант": 44386, + "▁взаимодействие": 44387, + "ппи": 44388, + "шён": 44389, + "▁небольшая": 44390, + "▁позади": 44391, + "▁австра": 44392, + "▁периодически": 44393, + "лока": 44394, + "▁носить": 44395, + "▁черте": 44396, + "▁железо": 44397, + "говорил": 44398, + "▁бази": 44399, + "тическом": 44400, + "рным": 44401, + "▁малы": 44402, + "тчиков": 44403, + "▁дождь": 44404, + "▁удавалось": 44405, + "лками": 44406, + "▁некоторыми": 44407, + "▁берегов": 44408, + "▁появится": 44409, + "▁вера": 44410, + "завод": 44411, + "▁Ей": 44412, + "▁полковника": 44413, + "▁маленьких": 44414, + "▁глубины": 44415, + "▁охотно": 44416, + "▁Вьет": 44417, + "▁средний": 44418, + "▁чиновников": 44419, + "ЕНИЕ": 44420, + "▁Чехослова": 44421, + "жили": 44422, + "▁составили": 44423, + "▁регла": 44424, + "Пере": 44425, + "▁тяжелые": 44426, + "▁повреждения": 44427, + "▁поляр": 44428, + "▁обслуживания": 44429, + "▁располагается": 44430, + "▁Пря": 44431, + "▁единой": 44432, + "▁разработчиков": 44433, + "гент": 44434, + "▁единство": 44435, + "▁палу": 44436, + "▁пше": 44437, + "▁оснований": 44438, + "▁предыдущих": 44439, + "▁Рядом": 44440, + "▁Пётр": 44441, + "ведя": 44442, + "чле": 44443, + "▁отстра": 44444, + "▁человечество": 44445, + "ъе": 44446, + "▁поворот": 44447, + "▁уполномо": 44448, + "▁Информа": 44449, + "▁делами": 44450, + "▁главнокоман": 44451, + "мила": 44452, + "▁поддержка": 44453, + "▁подразделений": 44454, + "хина": 44455, + "▁тексты": 44456, + "▁юби": 44457, + "веты": 44458, + "скар": 44459, + "▁Сау": 44460, + "▁примеча": 44461, + "▁континента": 44462, + "▁государственном": 44463, + "▁файла": 44464, + "ipl": 44465, + "▁шанс": 44466, + "▁медицинских": 44467, + "▁забыл": 44468, + "▁перешел": 44469, + "лейтенант": 44470, + "▁тяжелых": 44471, + "щев": 44472, + "rison": 44473, + "▁Тара": 44474, + "▁Солов": 44475, + "▁интереса": 44476, + "ceeded": 44477, + "▁звука": 44478, + "▁проез": 44479, + "▁бросил": 44480, + "▁святой": 44481, + "косно": 44482, + "▁изготовления": 44483, + "▁файлов": 44484, + "▁занимают": 44485, + "▁купил": 44486, + "▁Сбор": 44487, + "писать": 44488, + "▁Поро": 44489, + "▁громко": 44490, + "▁половиной": 44491, + "▁двигателей": 44492, + "▁цене": 44493, + "▁стоять": 44494, + "▁АССР": 44495, + "▁Антон": 44496, + "▁пользуются": 44497, + "▁проводят": 44498, + "▁подарок": 44499, + "▁танк": 44500, + "edom": 44501, + "цет": 44502, + "ложено": 44503, + "▁бомбы": 44504, + "▁иди": 44505, + "▁родственников": 44506, + "▁шагом": 44507, + "маны": 44508, + "▁предков": 44509, + "▁Ната": 44510, + "▁Венгрии": 44511, + "▁ланд": 44512, + "▁излучения": 44513, + "БР": 44514, + "▁полная": 44515, + "▁горных": 44516, + "▁прошёл": 44517, + "▁стакан": 44518, + "▁согласо": 44519, + "фаши": 44520, + "▁ере": 44521, + "▁основание": 44522, + "▁шай": 44523, + "▁успехи": 44524, + "▁упря": 44525, + "монов": 44526, + "▁миллиардов": 44527, + "▁любить": 44528, + "▁величе": 44529, + "▁открыли": 44530, + "золо": 44531, + "чером": 44532, + "▁жё": 44533, + "▁различным": 44534, + "▁кусок": 44535, + "▁воздушных": 44536, + "кисло": 44537, + "▁Жена": 44538, + "ждой": 44539, + "▁женщиной": 44540, + "коном": 44541, + "▁недостатки": 44542, + "▁предположи": 44543, + "хранили": 44544, + "▁зубы": 44545, + "водитель": 44546, + "шева": 44547, + "кау": 44548, + "▁условиям": 44549, + "▁запрос": 44550, + "▁ухода": 44551, + "▁платье": 44552, + "фро": 44553, + "▁синд": 44554, + "▁Каждая": 44555, + "▁произво": 44556, + "▁похож": 44557, + "Россия": 44558, + "▁Болгарии": 44559, + "▁аги": 44560, + "▁субботу": 44561, + "▁Илья": 44562, + "▁рад": 44563, + "сль": 44564, + "▁личные": 44565, + "▁ошибку": 44566, + "ваюсь": 44567, + "▁народом": 44568, + "▁требование": 44569, + "▁зависимость": 44570, + "▁выставки": 44571, + "▁центров": 44572, + "▁изыска": 44573, + "▁вывести": 44574, + "▁отказались": 44575, + "зти": 44576, + "▁Изу": 44577, + "зеле": 44578, + "▁адреса": 44579, + "▁местами": 44580, + "▁авторитет": 44581, + "▁Хра": 44582, + "щенная": 44583, + "▁слия": 44584, + "▁умолча": 44585, + "шах": 44586, + "▁сидеть": 44587, + "▁старта": 44588, + "▁маслом": 44589, + "▁подавля": 44590, + "▁загряз": 44591, + "кеан": 44592, + "▁опусти": 44593, + "емому": 44594, + "▁Ны": 44595, + "▁богатства": 44596, + "▁развива": 44597, + "▁следить": 44598, + "делы": 44599, + "▁какому": 44600, + "▁летних": 44601, + "▁оле": 44602, + "▁навига": 44603, + "▁Компания": 44604, + "▁contem": 44605, + "▁английской": 44606, + "▁Сай": 44607, + "▁поставили": 44608, + "▁счета": 44609, + "▁бай": 44610, + "▁законам": 44611, + "▁сирий": 44612, + "▁созыва": 44613, + "риса": 44614, + "▁настоящим": 44615, + "▁тридцати": 44616, + "▁поиско": 44617, + "▁талантли": 44618, + "летняя": 44619, + "▁врачи": 44620, + "▁испор": 44621, + "▁корне": 44622, + "ковую": 44623, + "▁обнаружены": 44624, + "нового": 44625, + "▁стару": 44626, + "▁причаст": 44627, + "▁венгер": 44628, + "▁режиссёра": 44629, + "▁секунды": 44630, + "▁Фре": 44631, + "▁оставили": 44632, + "▁территорий": 44633, + "▁собирался": 44634, + "▁типы": 44635, + "▁остаётся": 44636, + "▁распростран": 44637, + "▁внешний": 44638, + "▁бойцов": 44639, + "syl": 44640, + "▁лицами": 44641, + "▁южно": 44642, + "▁выража": 44643, + "▁Орлов": 44644, + "▁широкое": 44645, + "▁публици": 44646, + "▁уверены": 44647, + "▁поворо": 44648, + "▁забыть": 44649, + "▁Основной": 44650, + "▁Вслед": 44651, + "водил": 44652, + "▁показано": 44653, + "хих": 44654, + "мил": 44655, + "▁Московский": 44656, + "▁помогают": 44657, + "▁сегодняшний": 44658, + "▁элли": 44659, + "сию": 44660, + "▁столицу": 44661, + "▁деревню": 44662, + "няк": 44663, + "▁прекратить": 44664, + "храни": 44665, + "▁Награ": 44666, + "▁соображения": 44667, + "моло": 44668, + "бют": 44669, + "▁предположение": 44670, + "▁матема": 44671, + "ёд": 44672, + "▁Коммуни": 44673, + "▁камней": 44674, + "▁недостаток": 44675, + "▁патру": 44676, + "▁товарищей": 44677, + "▁Точно": 44678, + "▁широкий": 44679, + "▁полей": 44680, + "▁правя": 44681, + "▁необык": 44682, + "ющуюся": 44683, + "▁процедуры": 44684, + "изме": 44685, + "▁предоставить": 44686, + "▁Иначе": 44687, + "▁возвращении": 44688, + "▁Куль": 44689, + "▁чести": 44690, + "▁учета": 44691, + "▁научный": 44692, + "▁молоко": 44693, + "▁жид": 44694, + "фай": 44695, + "▁Герман": 44696, + "евой": 44697, + "честь": 44698, + "▁помощник": 44699, + "▁способа": 44700, + "▁композитор": 44701, + "▁ара": 44702, + "▁отправить": 44703, + "тского": 44704, + "▁уверенность": 44705, + "▁коллег": 44706, + "▁оставалась": 44707, + "лни": 44708, + "▁девяти": 44709, + "▁установил": 44710, + "йора": 44711, + "▁длинные": 44712, + "▁Жур": 44713, + "▁заряд": 44714, + "▁Род": 44715, + "▁ков": 44716, + "▁почёт": 44717, + "rative": 44718, + "▁Выступа": 44719, + "дению": 44720, + "▁примера": 44721, + "▁Вей": 44722, + "▁лиге": 44723, + "▁посы": 44724, + "▁водитель": 44725, + "ворот": 44726, + "▁неплохо": 44727, + "▁ожесто": 44728, + "льника": 44729, + "▁отбро": 44730, + "▁главой": 44731, + "льская": 44732, + "▁примером": 44733, + "▁Челя": 44734, + "▁цветы": 44735, + "▁муки": 44736, + "▁вторник": 44737, + "▁слухи": 44738, + "▁внизу": 44739, + "▁мгновенно": 44740, + "▁торговле": 44741, + "▁составить": 44742, + "▁сою": 44743, + "▁Арген": 44744, + "ленную": 44745, + "▁скажет": 44746, + "новая": 44747, + "▁стекло": 44748, + "▁приказу": 44749, + "▁рекомендуется": 44750, + "▁образов": 44751, + "жится": 44752, + "▁задей": 44753, + "▁пожертво": 44754, + "▁изящ": 44755, + "носили": 44756, + "нс": 44757, + "▁телефона": 44758, + "опа": 44759, + "▁плоскости": 44760, + "▁посчита": 44761, + "▁довер": 44762, + "риен": 44763, + "▁перец": 44764, + "▁сервис": 44765, + "лак": 44766, + "ставра": 44767, + "▁научиться": 44768, + "▁температуре": 44769, + "▁риско": 44770, + "▁изучать": 44771, + "хоз": 44772, + "▁спасибо": 44773, + "▁контролировать": 44774, + "▁случаю": 44775, + "▁мешает": 44776, + "▁обруши": 44777, + "▁молодым": 44778, + "шаются": 44779, + "▁брау": 44780, + "????": 44781, + "▁остановился": 44782, + "▁поднял": 44783, + "▁сзади": 44784, + "▁ищет": 44785, + "▁Исла": 44786, + "▁выдержи": 44787, + "больше": 44788, + "▁лучшее": 44789, + "▁победил": 44790, + "▁реального": 44791, + "целя": 44792, + "▁дожде": 44793, + "▁ходил": 44794, + "gend": 44795, + "▁измер": 44796, + "▁улучшения": 44797, + "нялась": 44798, + "йс": 44799, + "▁планируется": 44800, + "▁стакана": 44801, + "▁потеряли": 44802, + "▁Эйн": 44803, + "▁убил": 44804, + "▁темати": 44805, + "▁предъя": 44806, + "pri": 44807, + "▁расследования": 44808, + "▁вовле": 44809, + "новремен": 44810, + "▁веса": 44811, + "нимание": 44812, + "▁планов": 44813, + "▁Куда": 44814, + "▁математики": 44815, + "▁пассажир": 44816, + "▁преимущество": 44817, + "менный": 44818, + "▁режиссе": 44819, + "▁деятелей": 44820, + "▁кресто": 44821, + "▁влады": 44822, + "▁указал": 44823, + "▁экви": 44824, + "▁белой": 44825, + "▁экономике": 44826, + "новый": 44827, + "▁тюрьму": 44828, + "▁официальный": 44829, + "▁торговых": 44830, + "чилось": 44831, + "▁Добро": 44832, + "▁нужды": 44833, + "▁сопри": 44834, + "▁посторон": 44835, + "ас": 44836, + "▁Доктор": 44837, + "▁распоряжении": 44838, + "▁Попро": 44839, + "▁бана": 44840, + "неди": 44841, + "▁доктри": 44842, + "становка": 44843, + "дело": 44844, + "▁проли": 44845, + "немся": 44846, + "▁Широ": 44847, + "▁нагрузки": 44848, + "▁губернатор": 44849, + "▁побли": 44850, + "▁чисел": 44851, + "▁природных": 44852, + "▁женщине": 44853, + "▁нену": 44854, + "▁Египет": 44855, + "▁попробовать": 44856, + "хана": 44857, + "▁слову": 44858, + "▁исполнении": 44859, + "▁катастрофы": 44860, + "ёров": 44861, + "▁проходи": 44862, + "▁частями": 44863, + "▁кандидата": 44864, + "▁тё": 44865, + "▁Нек": 44866, + "▁абстракт": 44867, + "▁Иу": 44868, + "▁Феодо": 44869, + "▁Франк": 44870, + "▁указания": 44871, + "▁отклю": 44872, + "▁художественного": 44873, + "▁настав": 44874, + "▁швейцар": 44875, + "▁полгода": 44876, + "▁враг": 44877, + "▁Бах": 44878, + "стские": 44879, + "▁предложить": 44880, + "▁выходя": 44881, + "▁жре": 44882, + "▁ГК": 44883, + "▁предложили": 44884, + "▁безраз": 44885, + "▁симфо": 44886, + "муд": 44887, + "▁отражение": 44888, + "говых": 44889, + "▁послевоен": 44890, + "▁прихода": 44891, + "▁посмотрел": 44892, + "▁Францию": 44893, + "▁кафедры": 44894, + "▁насили": 44895, + "▁Начина": 44896, + "▁мысле": 44897, + "низм": 44898, + "▁треуголь": 44899, + "urrent": 44900, + "▁американцы": 44901, + "▁Сак": 44902, + "▁саму": 44903, + "▁находясь": 44904, + "▁Питер": 44905, + "лектри": 44906, + "▁ребенком": 44907, + "▁глубокой": 44908, + "▁событиях": 44909, + "▁акку": 44910, + "▁наступает": 44911, + "вным": 44912, + "разному": 44913, + "▁изучению": 44914, + "▁перепра": 44915, + "СА": 44916, + "▁кольцо": 44917, + "▁убор": 44918, + "▁СУ": 44919, + "▁клави": 44920, + "▁сидели": 44921, + "▁процессу": 44922, + "▁Сергеевич": 44923, + "▁тепла": 44924, + "▁фигура": 44925, + "▁характеризуется": 44926, + "энь": 44927, + "▁утверждать": 44928, + "вленную": 44929, + "крат": 44930, + "вушка": 44931, + "ounded": 44932, + "▁духовен": 44933, + "▁планет": 44934, + "▁эмиграции": 44935, + "▁управлением": 44936, + "▁верху": 44937, + "▁сериала": 44938, + "полни": 44939, + "динами": 44940, + "▁самоуправления": 44941, + "▁Леон": 44942, + "▁попала": 44943, + "▁тренером": 44944, + "Сан": 44945, + "▁порабо": 44946, + "зак": 44947, + "строения": 44948, + "▁повсюду": 44949, + "▁Непо": 44950, + "▁фамилия": 44951, + "ленное": 44952, + "▁Землю": 44953, + "▁американцев": 44954, + "▁военача": 44955, + "▁отби": 44956, + "▁металла": 44957, + "▁простого": 44958, + "▁Чемпионат": 44959, + "▁Ск": 44960, + "▁Использу": 44961, + "▁числом": 44962, + "▁маркетин": 44963, + "▁палаты": 44964, + "▁велел": 44965, + "лятся": 44966, + "▁объявля": 44967, + "▁применяются": 44968, + "▁познакомился": 44969, + "▁выбирать": 44970, + "▁освя": 44971, + "▁встретить": 44972, + "▁продолжить": 44973, + "▁корруп": 44974, + "▁снего": 44975, + "▁конструктор": 44976, + "▁зате": 44977, + "▁Последние": 44978, + "▁Дмитрия": 44979, + "вела": 44980, + "▁электроэнер": 44981, + "СКИЙ": 44982, + "ктору": 44983, + "▁входила": 44984, + "▁Федо": 44985, + "▁плы": 44986, + "▁журналистов": 44987, + "▁Молда": 44988, + "▁поколение": 44989, + "▁оказывает": 44990, + "▁рекомендации": 44991, + "▁новости": 44992, + "енты": 44993, + "▁космических": 44994, + "▁листьев": 44995, + "ствующий": 44996, + "▁Станислав": 44997, + "Ис": 44998, + "▁разного": 44999, + "▁symb": 45000, + "щала": 45001, + "вная": 45002, + "▁потенциа": 45003, + "▁средне": 45004, + "▁стиму": 45005, + "шный": 45006, + "фикацию": 45007, + "▁звез": 45008, + "▁лежат": 45009, + "isters": 45010, + "ровым": 45011, + "▁легендар": 45012, + "государ": 45013, + "▁Наверное": 45014, + "живать": 45015, + "▁заинтересован": 45016, + "▁гражданин": 45017, + "таря": 45018, + "▁вернулась": 45019, + "▁заканчивается": 45020, + "ИЗ": 45021, + "▁выразил": 45022, + "▁слава": 45023, + "▁режиссер": 45024, + "ология": 45025, + "▁миль": 45026, + "чаян": 45027, + "Фи": 45028, + "▁объединение": 45029, + "▁областного": 45030, + "▁смену": 45031, + "▁чувством": 45032, + "▁Основная": 45033, + "▁произошед": 45034, + "▁представляли": 45035, + "▁фунтов": 45036, + "▁Екатерин": 45037, + "▁рассмотреть": 45038, + "▁лучшего": 45039, + "▁Заслуженный": 45040, + "▁Скорее": 45041, + "пп": 45042, + "▁Центрального": 45043, + "▁вкусу": 45044, + "нева": 45045, + "▁Ур": 45046, + "▁любая": 45047, + "ссоциа": 45048, + "▁песча": 45049, + "тский": 45050, + "▁черепа": 45051, + "▁адмира": 45052, + "▁чистой": 45053, + "▁землей": 45054, + "▁создают": 45055, + "▁больнице": 45056, + "▁еду": 45057, + "▁оказать": 45058, + "▁субъектов": 45059, + "▁приносит": 45060, + "ьем": 45061, + "▁получит": 45062, + "▁эквивален": 45063, + "▁настроен": 45064, + "▁представлять": 45065, + "▁приобрете": 45066, + "▁запомина": 45067, + "▁Режи": 45068, + "▁зрели": 45069, + "▁принципиально": 45070, + "▁короткий": 45071, + "▁картине": 45072, + "плом": 45073, + "▁единицы": 45074, + "▁домашних": 45075, + "логические": 45076, + "▁захоро": 45077, + "▁шей": 45078, + "▁обед": 45079, + "▁разворачи": 45080, + "▁реальных": 45081, + "▁условно": 45082, + "▁мяч": 45083, + "▁Национальной": 45084, + "лаг": 45085, + "проце": 45086, + "▁возникло": 45087, + "▁своя": 45088, + "▁профессии": 45089, + "▁угрозу": 45090, + "▁обращаться": 45091, + "ёй": 45092, + "▁Мама": 45093, + "▁Примерно": 45094, + "XV": 45095, + "▁сочинений": 45096, + "▁Парижа": 45097, + "▁господин": 45098, + "▁факторы": 45099, + "▁занимаются": 45100, + "▁грандиоз": 45101, + "тта": 45102, + "▁труб": 45103, + "▁Абу": 45104, + "▁Национального": 45105, + "▁велика": 45106, + "струи": 45107, + "▁квалифици": 45108, + "▁общение": 45109, + "▁рекламы": 45110, + "▁пропаганди": 45111, + "дые": 45112, + "БА": 45113, + "нило": 45114, + "▁глядя": 45115, + "▁магазина": 45116, + "▁перебро": 45117, + "▁Мона": 45118, + "▁passeng": 45119, + "▁исторический": 45120, + "линского": 45121, + "▁вырабаты": 45122, + "▁поправ": 45123, + "бже": 45124, + "▁Вит": 45125, + "▁способна": 45126, + "▁добле": 45127, + "▁Источник": 45128, + "▁непрерывно": 45129, + "Раз": 45130, + "▁освобождение": 45131, + "▁завоевал": 45132, + "▁отстаи": 45133, + "▁МиГ": 45134, + "водов": 45135, + "▁полученные": 45136, + "▁книгах": 45137, + "▁транзи": 45138, + "▁примы": 45139, + "▁эры": 45140, + "▁Бой": 45141, + "▁способами": 45142, + "цело": 45143, + "▁приступа": 45144, + "▁небольшим": 45145, + "▁горно": 45146, + "ковом": 45147, + "▁варианта": 45148, + "▁хан": 45149, + "▁Видимо": 45150, + "дование": 45151, + "атри": 45152, + "▁несов": 45153, + "▁ссо": 45154, + "▁показатели": 45155, + "▁Вита": 45156, + "▁спецслуж": 45157, + "▁Оле": 45158, + "▁крестьяне": 45159, + "рад": 45160, + "▁морского": 45161, + "▁Соединенных": 45162, + "▁заведу": 45163, + "▁генерального": 45164, + "▁находят": 45165, + "▁пациента": 45166, + "▁тетра": 45167, + "серви": 45168, + "▁взглядом": 45169, + "▁Специаль": 45170, + "▁означало": 45171, + "▁гек": 45172, + "▁кустар": 45173, + "▁относиться": 45174, + "▁эпиде": 45175, + "▁видя": 45176, + "▁московского": 45177, + "▁Эл": 45178, + "▁великим": 45179, + "ринг": 45180, + "▁conclud": 45181, + "▁сотрудничество": 45182, + "▁набе": 45183, + "▁раке": 45184, + "▁знаков": 45185, + "продук": 45186, + "▁оплаты": 45187, + "▁нараста": 45188, + "▁Ней": 45189, + "▁счету": 45190, + "▁больницы": 45191, + "▁Канады": 45192, + "▁Начиная": 45193, + "▁брен": 45194, + "▁девушек": 45195, + "▁ветера": 45196, + "рики": 45197, + "▁строк": 45198, + "▁ожидания": 45199, + "▁видела": 45200, + "▁показания": 45201, + "гнул": 45202, + "▁будди": 45203, + "▁культурного": 45204, + "▁взглядов": 45205, + "промышлен": 45206, + "сновы": 45207, + "▁волн": 45208, + "▁разработка": 45209, + "▁действиями": 45210, + "▁церемонии": 45211, + "▁приобрести": 45212, + "ТУ": 45213, + "▁Павлович": 45214, + "▁рекоменда": 45215, + "▁всякое": 45216, + "▁налогов": 45217, + "▁Музей": 45218, + "▁районного": 45219, + "▁заинтересова": 45220, + "свое": 45221, + "▁задержи": 45222, + "гард": 45223, + "▁ступень": 45224, + "▁являлась": 45225, + "▁плоды": 45226, + "зеф": 45227, + "льны": 45228, + "▁счётом": 45229, + "▁глубину": 45230, + "▁проигры": 45231, + "▁кону": 45232, + "▁сделки": 45233, + "▁Напомним": 45234, + "▁сухопу": 45235, + "▁культуру": 45236, + "▁снови": 45237, + "ersey": 45238, + "▁игроком": 45239, + "▁Дерев": 45240, + "▁реализовать": 45241, + "▁сообщалось": 45242, + "▁объяснил": 45243, + "▁справо": 45244, + "▁ситуациях": 45245, + "▁пассив": 45246, + "каи": 45247, + "ссель": 45248, + "▁Путина": 45249, + "▁существовании": 45250, + "стическим": 45251, + "белев": 45252, + "perial": 45253, + "рировать": 45254, + "▁окружения": 45255, + "▁выразить": 45256, + "хал": 45257, + "▁корни": 45258, + "▁увеличивается": 45259, + "▁Победы": 45260, + "рующий": 45261, + "▁Zh": 45262, + "ливости": 45263, + "▁теряет": 45264, + "▁подкреп": 45265, + "смотрен": 45266, + "▁специальности": 45267, + "▁дольше": 45268, + "▁хватит": 45269, + "▁Смир": 45270, + "▁приклю": 45271, + "▁поэтов": 45272, + "взо": 45273, + "▁Донба": 45274, + "▁альбома": 45275, + "▁аудитории": 45276, + "ево": 45277, + "▁сумас": 45278, + "▁жилищ": 45279, + "▁преступление": 45280, + "▁Утром": 45281, + "▁гнев": 45282, + "▁младший": 45283, + "▁выступление": 45284, + "▁РККА": 45285, + "»\"": 45286, + "▁марок": 45287, + "▁отожде": 45288, + "▁Любовь": 45289, + "▁Возвра": 45290, + "▁руководству": 45291, + "ненко": 45292, + "▁Куба": 45293, + "▁лежал": 45294, + "▁СА": 45295, + "▁называются": 45296, + "▁технического": 45297, + "летних": 45298, + "▁финансовой": 45299, + "милли": 45300, + "rance": 45301, + "▁Валерий": 45302, + "▁выглядеть": 45303, + "▁сложнее": 45304, + "зра": 45305, + "▁официальном": 45306, + "▁граждане": 45307, + "▁монта": 45308, + "▁обращается": 45309, + "▁Дальше": 45310, + "▁больной": 45311, + "▁царство": 45312, + "▁хранили": 45313, + "▁бежал": 45314, + "▁справедли": 45315, + "▁Германией": 45316, + "▁дивер": 45317, + "▁тяжести": 45318, + "▁страной": 45319, + "▁Дем": 45320, + "▁Энгель": 45321, + "▁отоз": 45322, + "▁эро": 45323, + "▁открывает": 45324, + "▁лай": 45325, + "▁вела": 45326, + "чивый": 45327, + "▁умение": 45328, + "▁Кло": 45329, + "▁высшее": 45330, + "▁помогать": 45331, + "кия": 45332, + "▁целые": 45333, + "▁раннего": 45334, + "▁страницах": 45335, + "▁завеща": 45336, + "пири": 45337, + "▁Даге": 45338, + "▁обычного": 45339, + "▁съез": 45340, + "▁воспа": 45341, + "▁умы": 45342, + "▁заняться": 45343, + "▁зама": 45344, + "▁стили": 45345, + "▁эвакуи": 45346, + "▁угля": 45347, + "▁заинтересо": 45348, + "рыз": 45349, + "▁таблицы": 45350, + "▁Татьяна": 45351, + "нист": 45352, + "▁мотор": 45353, + "▁экзо": 45354, + "▁Суво": 45355, + "▁благополучно": 45356, + "▁бесконечно": 45357, + "▁смяг": 45358, + "гаться": 45359, + "ковали": 45360, + "суа": 45361, + "▁футболу": 45362, + "▁военнослужащих": 45363, + "▁единица": 45364, + "▁Кристи": 45365, + "▁пошло": 45366, + "▁Старо": 45367, + "▁исторические": 45368, + "▁Взя": 45369, + "▁менедже": 45370, + "▁орденами": 45371, + "▁попра": 45372, + "▁обычный": 45373, + "Моск": 45374, + "све": 45375, + "линский": 45376, + "▁расширение": 45377, + "▁своев": 45378, + "торий": 45379, + "▁Чарль": 45380, + "▁мульти": 45381, + "▁горю": 45382, + "▁княже": 45383, + "▁неи": 45384, + "▁осуществлять": 45385, + "▁отдельной": 45386, + "▁выпа": 45387, + "хран": 45388, + "▁отправились": 45389, + "▁дог": 45390, + "▁выби": 45391, + "▁кнопку": 45392, + "▁достигли": 45393, + "▁непод": 45394, + "▁нера": 45395, + "▁землетря": 45396, + "▁Абду": 45397, + "▁судей": 45398, + "▁Язы": 45399, + "метрии": 45400, + "▁Богда": 45401, + "▁командующего": 45402, + "▁памятника": 45403, + "▁Еванге": 45404, + "▁разрушения": 45405, + "▁Яку": 45406, + "▁бывшей": 45407, + "▁большевиков": 45408, + "▁приё": 45409, + "▁румы": 45410, + "▁признания": 45411, + "▁мульт": 45412, + "▁миллионы": 45413, + "▁Лос": 45414, + "▁взы": 45415, + "▁убеждения": 45416, + "▁Лео": 45417, + "▁правительству": 45418, + "нову": 45419, + "▁Решение": 45420, + "▁Дэвид": 45421, + "ношений": 45422, + "▁рыча": 45423, + "▁пальцев": 45424, + "▁ЗА": 45425, + "▁Лиги": 45426, + "▁активное": 45427, + "стику": 45428, + "▁выполнении": 45429, + "▁крепко": 45430, + "▁изъ": 45431, + "▁смея": 45432, + "гите": 45433, + "▁вещество": 45434, + "▁Против": 45435, + "▁детских": 45436, + "▁услож": 45437, + "▁развиваться": 45438, + "▁Пись": 45439, + "▁отража": 45440, + "▁маленькой": 45441, + "хоже": 45442, + "▁убедиться": 45443, + "Нет": 45444, + "▁Хей": 45445, + "▁видимости": 45446, + "▁пятьдесят": 45447, + "▁вон": 45448, + "▁технике": 45449, + "▁историей": 45450, + "▁популярность": 45451, + "▁приобретает": 45452, + "▁выходят": 45453, + "▁единства": 45454, + "▁безум": 45455, + "▁вспоминает": 45456, + "▁помещении": 45457, + "ляцию": 45458, + "▁Воль": 45459, + "▁печата": 45460, + "▁Максим": 45461, + "▁Вспом": 45462, + "▁патрио": 45463, + "гун": 45464, + "▁герцога": 45465, + "▁спрашивает": 45466, + "нейшее": 45467, + "▁ежеднев": 45468, + "▁боевого": 45469, + "▁Лука": 45470, + "▁награды": 45471, + "▁разобла": 45472, + "▁крупным": 45473, + "▁воо": 45474, + "беди": 45475, + "вара": 45476, + "▁волей": 45477, + "▁следствием": 45478, + "▁Тек": 45479, + "▁красного": 45480, + "▁дым": 45481, + "▁волна": 45482, + "▁Зака": 45483, + "▁гениаль": 45484, + "▁истребителей": 45485, + "▁сомнений": 45486, + "▁колони": 45487, + "▁пользовался": 45488, + "село": 45489, + "▁некоторой": 45490, + "рской": 45491, + "▁вымы": 45492, + "▁говорим": 45493, + "▁диссертацию": 45494, + "▁получило": 45495, + "▁советская": 45496, + "▁необходимое": 45497, + "▁ценных": 45498, + "▁уничтожения": 45499, + "▁умолчанию": 45500, + "▁Комитета": 45501, + "▁больницу": 45502, + "▁потребления": 45503, + "▁настройки": 45504, + "чьи": 45505, + "▁подводных": 45506, + "▁лошадь": 45507, + "▁губ": 45508, + "▁Главного": 45509, + "▁потерь": 45510, + "▁толпы": 45511, + "▁пальцы": 45512, + "клу": 45513, + "▁Анали": 45514, + "▁наследия": 45515, + "ману": 45516, + "ппо": 45517, + "▁общ": 45518, + "▁референ": 45519, + "▁совести": 45520, + "смотрите": 45521, + "▁частной": 45522, + "хоза": 45523, + "▁пациентов": 45524, + "▁товарищи": 45525, + "веща": 45526, + "▁надеюсь": 45527, + "гова": 45528, + "▁собаку": 45529, + "жига": 45530, + "▁Интернет": 45531, + "▁балет": 45532, + "▁потребуется": 45533, + "▁проща": 45534, + "▁Третья": 45535, + "Воз": 45536, + "▁процента": 45537, + "▁челю": 45538, + "▁изум": 45539, + "includ": 45540, + "▁зовут": 45541, + "▁Каль": 45542, + "▁мощностью": 45543, + "▁бесплатно": 45544, + "▁Уил": 45545, + "дными": 45546, + "▁Гю": 45547, + "▁взяла": 45548, + "куру": 45549, + "▁свеже": 45550, + "▁Крыму": 45551, + "▁подробности": 45552, + "▁ждал": 45553, + "▁фельд": 45554, + "▁производству": 45555, + "лэ": 45556, + "▁рога": 45557, + "▁Византи": 45558, + "нче": 45559, + "▁сыновья": 45560, + "▁отражает": 45561, + "▁убежи": 45562, + "ловский": 45563, + "▁попыток": 45564, + "линей": 45565, + "▁пожало": 45566, + "▁нашла": 45567, + "стник": 45568, + "▁португа": 45569, + "тской": 45570, + "▁шаги": 45571, + "▁фактор": 45572, + "▁Бориса": 45573, + "▁понимали": 45574, + "▁стороной": 45575, + "▁государстве": 45576, + "▁обозначения": 45577, + "единён": 45578, + "▁МА": 45579, + "▁веж": 45580, + "▁защитить": 45581, + "рыми": 45582, + "▁витами": 45583, + "нтер": 45584, + "▁Шев": 45585, + "▁передо": 45586, + "донос": 45587, + "Americ": 45588, + "▁материали": 45589, + "▁Супер": 45590, + "▁Иоанн": 45591, + "словие": 45592, + "▁показатель": 45593, + "▁черной": 45594, + "▁равна": 45595, + "▁бота": 45596, + "▁лекси": 45597, + "▁карьере": 45598, + "▁постели": 45599, + "виз": 45600, + "шников": 45601, + "▁нею": 45602, + "▁социал": 45603, + "ец": 45604, + "▁работник": 45605, + "▁царства": 45606, + "Ду": 45607, + "▁опухо": 45608, + "▁твои": 45609, + "▁поколений": 45610, + "▁количеству": 45611, + "▁Баль": 45612, + "▁отрази": 45613, + "▁раун": 45614, + "▁потенциал": 45615, + "ГА": 45616, + "▁реакцию": 45617, + "▁аспи": 45618, + "▁епископа": 45619, + "▁свободной": 45620, + "▁нуждается": 45621, + "▁открыта": 45622, + "▁собирать": 45623, + "▁аэропор": 45624, + "▁ближайшие": 45625, + "▁министром": 45626, + "▁памятников": 45627, + "▁Ил": 45628, + "▁единственная": 45629, + "▁адресу": 45630, + "▁недоступ": 45631, + "▁создано": 45632, + "▁агрега": 45633, + "▁Проект": 45634, + "▁определё": 45635, + "▁стремился": 45636, + "▁считалось": 45637, + "▁углом": 45638, + "▁клубом": 45639, + "▁площадью": 45640, + "▁проводились": 45641, + "▁Дети": 45642, + "▁предстояло": 45643, + "▁направлений": 45644, + "▁умно": 45645, + "▁совмести": 45646, + "▁Азербайджана": 45647, + "▁справиться": 45648, + "▁Принци": 45649, + "▁Томас": 45650, + "местно": 45651, + "▁монар": 45652, + "▁направлены": 45653, + "▁Белого": 45654, + "▁ростом": 45655, + "▁Лермон": 45656, + "▁произведен": 45657, + "▁электронной": 45658, + "▁национальный": 45659, + "дилась": 45660, + "▁позволили": 45661, + "▁войной": 45662, + "▁мемуа": 45663, + "▁Португа": 45664, + "шенная": 45665, + "▁добился": 45666, + "▁фигур": 45667, + "▁желает": 45668, + "▁разделить": 45669, + "▁месяцы": 45670, + "▁лжи": 45671, + "▁капиту": 45672, + "▁капитал": 45673, + "воя": 45674, + "шай": 45675, + "▁продать": 45676, + "▁вашем": 45677, + "ieuten": 45678, + "▁прекрасный": 45679, + "▁одноимён": 45680, + "inem": 45681, + "▁почвы": 45682, + "▁Является": 45683, + "▁офицера": 45684, + "▁шагов": 45685, + "▁персонаж": 45686, + "▁идеали": 45687, + "ЧС": 45688, + "ссам": 45689, + "▁репли": 45690, + "▁ребенку": 45691, + "ХЛ": 45692, + "▁ближайшее": 45693, + "▁носил": 45694, + "▁регионах": 45695, + "essor": 45696, + "▁узлов": 45697, + "▁Шер": 45698, + "▁Хэ": 45699, + "▁критику": 45700, + "Луч": 45701, + "▁грузи": 45702, + "вающее": 45703, + "▁танковой": 45704, + "▁будущих": 45705, + "▁Характер": 45706, + "▁голосования": 45707, + "Андже": 45708, + "▁озву": 45709, + "▁металлов": 45710, + "▁Оказалось": 45711, + "́ль": 45712, + "▁Наша": 45713, + "▁забра": 45714, + "▁страсти": 45715, + "▁Управление": 45716, + "когда": 45717, + "▁взаимоотношения": 45718, + "▁заговор": 45719, + "▁Чемпион": 45720, + "▁сигнала": 45721, + "▁русскими": 45722, + "▁резолю": 45723, + "▁заметили": 45724, + "▁провали": 45725, + "▁важнейших": 45726, + "▁привязан": 45727, + "▁стекла": 45728, + "▁пружи": 45729, + "▁князей": 45730, + "▁пользовались": 45731, + "альное": 45732, + "нги": 45733, + "▁поту": 45734, + "ступив": 45735, + "▁поговорить": 45736, + "▁сборная": 45737, + "▁номером": 45738, + "▁Октябрьской": 45739, + "▁откровен": 45740, + "▁социализма": 45741, + "▁Най": 45742, + "▁лом": 45743, + "▁каждые": 45744, + "рать": 45745, + "проект": 45746, + "вуд": 45747, + "▁журналистам": 45748, + "▁столкновения": 45749, + "▁проживало": 45750, + "▁долга": 45751, + "▁преры": 45752, + "▁обман": 45753, + "▁транспортных": 45754, + "тельских": 45755, + "новка": 45756, + "▁смеси": 45757, + "▁Геро": 45758, + "▁вдвое": 45759, + "▁ознакоми": 45760, + "▁зону": 45761, + "▁догада": 45762, + "▁Арави": 45763, + "▁приводят": 45764, + "альная": 45765, + "лией": 45766, + "▁представил": 45767, + "▁чеш": 45768, + "▁особенность": 45769, + "▁становились": 45770, + "▁Ран": 45771, + "▁воскре": 45772, + "▁противником": 45773, + "вардей": 45774, + "▁балла": 45775, + "ционера": 45776, + "▁Улица": 45777, + "▁Группа": 45778, + "▁груз": 45779, + "▁мигра": 45780, + "▁символов": 45781, + "▁надежда": 45782, + "стическую": 45783, + "▁чудовищ": 45784, + "▁проволо": 45785, + "▁английских": 45786, + "▁крупной": 45787, + "▁произвести": 45788, + "алы": 45789, + "▁зря": 45790, + "Под": 45791, + "▁печат": 45792, + "▁подобной": 45793, + "▁Югославии": 45794, + "▁Пожалуй": 45795, + "▁настроения": 45796, + "▁генеральный": 45797, + "▁денежных": 45798, + "▁набере": 45799, + "▁Экс": 45800, + "▁показаться": 45801, + "▁корм": 45802, + "▁согласие": 45803, + "▁равнове": 45804, + "rong": 45805, + "▁сетей": 45806, + "▁полки": 45807, + "некдо": 45808, + "▁отдельного": 45809, + "▁малой": 45810, + "▁лодок": 45811, + "▁Татар": 45812, + "▁чине": 45813, + "точных": 45814, + "▁Силь": 45815, + "ив": 45816, + "▁полученных": 45817, + "▁снизу": 45818, + "▁требовалось": 45819, + "▁назначил": 45820, + "▁вопросе": 45821, + "территориаль": 45822, + "▁соревнований": 45823, + "лава": 45824, + "▁спусти": 45825, + "▁Узбеки": 45826, + "▁официальной": 45827, + "▁Министерство": 45828, + "Интер": 45829, + "▁Вет": 45830, + "ковод": 45831, + "▁академик": 45832, + "▁Оре": 45833, + "▁Киева": 45834, + "▁Христос": 45835, + "▁существ": 45836, + "▁значении": 45837, + "▁мужество": 45838, + "▁конкретного": 45839, + "▁ориентирова": 45840, + "▁обратил": 45841, + "▁сооружений": 45842, + "просы": 45843, + "▁встроен": 45844, + "▁замка": 45845, + "▁сообщить": 45846, + "дачи": 45847, + "▁Работал": 45848, + "▁Латвии": 45849, + "▁праздни": 45850, + "▁производит": 45851, + "▁agricult": 45852, + "жами": 45853, + "ОП": 45854, + "▁Масса": 45855, + "▁слоя": 45856, + "▁одея": 45857, + "ёте": 45858, + "▁защита": 45859, + "ническая": 45860, + "▁писала": 45861, + "стал": 45862, + "▁Афана": 45863, + "▁комедии": 45864, + "▁Генрих": 45865, + "▁Генна": 45866, + "▁норве": 45867, + "▁военном": 45868, + "развед": 45869, + "▁отправиться": 45870, + "▁думали": 45871, + "фото": 45872, + "игра": 45873, + "женную": 45874, + "трю": 45875, + "▁учитывая": 45876, + "▁рассказывать": 45877, + "гию": 45878, + "ндо": 45879, + "▁описал": 45880, + "▁Чёр": 45881, + "▁Апол": 45882, + "ренности": 45883, + "▁небы": 45884, + "▁облик": 45885, + "▁усы": 45886, + "▁потребителей": 45887, + "▁размещения": 45888, + "довали": 45889, + "метр": 45890, + "Вели": 45891, + "▁Алексеевич": 45892, + "▁финал": 45893, + "▁дно": 45894, + "▁возвраща": 45895, + "▁достижение": 45896, + "unior": 45897, + "лекопита": 45898, + "▁обещал": 45899, + "▁тайны": 45900, + "▁нанести": 45901, + "▁экскур": 45902, + "▁восприятие": 45903, + "▁девушку": 45904, + "▁сильных": 45905, + "▁стихотворения": 45906, + "▁сравнения": 45907, + "▁статуса": 45908, + "▁инженера": 45909, + "▁Говори": 45910, + "▁называемых": 45911, + "▁спину": 45912, + "▁вреда": 45913, + "▁Саратов": 45914, + "жоу": 45915, + "▁перешла": 45916, + "▁Аналоги": 45917, + "▁оправды": 45918, + "▁передаче": 45919, + "▁Брат": 45920, + "▁полезно": 45921, + "▁смеши": 45922, + "▁слизи": 45923, + "▁неправильно": 45924, + "́,": 45925, + "▁всер": 45926, + "▁тканей": 45927, + "цкая": 45928, + "▁баскет": 45929, + "▁аэропорта": 45930, + "▁контролем": 45931, + "▁образец": 45932, + "▁персид": 45933, + "▁каба": 45934, + "▁покоя": 45935, + "чиками": 45936, + "▁командующий": 45937, + "▁рубля": 45938, + "▁прочего": 45939, + "▁Майкл": 45940, + "▁Люби": 45941, + "▁фрей": 45942, + "▁вожде": 45943, + "▁планете": 45944, + "▁урегули": 45945, + "▁единственное": 45946, + "▁Конгре": 45947, + "▁Николаев": 45948, + "▁травмы": 45949, + "нскую": 45950, + "▁штате": 45951, + "▁произнес": 45952, + "ректор": 45953, + "▁заседания": 45954, + "▁Георгия": 45955, + "ловича": 45956, + "▁доходы": 45957, + "▁праве": 45958, + "▁настрой": 45959, + "щиками": 45960, + "иска": 45961, + "▁указанных": 45962, + "▁составлял": 45963, + "▁основное": 45964, + "▁выступают": 45965, + "▁усер": 45966, + "▁диапазо": 45967, + "шедший": 45968, + "скопи": 45969, + "▁гвоз": 45970, + "▁воля": 45971, + "▁латы": 45972, + "▁совокупность": 45973, + "▁коллекции": 45974, + "▁привык": 45975, + "дивительно": 45976, + "▁ископа": 45977, + "▁гибель": 45978, + "▁ходили": 45979, + "щимся": 45980, + "▁населением": 45981, + "НЕ": 45982, + "▁Ахма": 45983, + "торам": 45984, + "▁бумаг": 45985, + "▁комен": 45986, + "▁дыхания": 45987, + "▁твёр": 45988, + "нинг": 45989, + "▁Результаты": 45990, + "▁подно": 45991, + "▁травы": 45992, + "▁носят": 45993, + "▁лицам": 45994, + "▁советы": 45995, + "▁славу": 45996, + "▁стекля": 45997, + "метов": 45998, + "▁Господа": 45999, + "▁гражданских": 46000, + "рокко": 46001, + "▁эксплуатацию": 46002, + "▁старей": 46003, + "▁всякие": 46004, + "▁рассказов": 46005, + "▁срочно": 46006, + "▁группами": 46007, + "▁ячей": 46008, + "▁образуется": 46009, + "▁Проблема": 46010, + "▁бель": 46011, + "▁Государственный": 46012, + "▁давлением": 46013, + "совые": 46014, + "▁ветви": 46015, + "харак": 46016, + "▁наилуч": 46017, + "▁типу": 46018, + "▁произойдет": 46019, + "жут": 46020, + "▁трубы": 46021, + ".#": 46022, + "▁девочки": 46023, + "▁пало": 46024, + "▁разма": 46025, + "▁Дай": 46026, + "▁Вера": 46027, + "▁массой": 46028, + "▁коллектива": 46029, + "▁шест": 46030, + "▁основал": 46031, + "▁никуда": 46032, + "▁элементами": 46033, + "▁полномочий": 46034, + "▁гипо": 46035, + "▁находящихся": 46036, + "дес": 46037, + "кио": 46038, + "тема": 46039, + "ляться": 46040, + "▁уголовное": 46041, + "ьева": 46042, + "▁Горького": 46043, + "чьих": 46044, + "▁действовали": 46045, + "▁Сент": 46046, + "▁прого": 46047, + "▁вызвали": 46048, + "▁описать": 46049, + "▁злоупотре": 46050, + "▁Начало": 46051, + "▁потребностей": 46052, + "▁взросло": 46053, + "вкой": 46054, + "▁беспоряд": 46055, + "▁Ломоно": 46056, + "▁распределения": 46057, + "▁нале": 46058, + "▁Порт": 46059, + "▁Буха": 46060, + "▁Неужели": 46061, + "▁дай": 46062, + "▁патриарха": 46063, + "▁сливо": 46064, + "▁сделает": 46065, + "▁считаться": 46066, + "▁официальных": 46067, + "▁критика": 46068, + "▁признан": 46069, + "Ор": 46070, + "тчики": 46071, + "▁столкнове": 46072, + "▁Бэ": 46073, + "▁гл": 46074, + "▁cerem": 46075, + "▁посетил": 46076, + "▁корректи": 46077, + "▁отмечал": 46078, + "▁сильной": 46079, + "лама": 46080, + "▁хвост": 46081, + "▁необходимы": 46082, + "▁вашим": 46083, + "▁низкой": 46084, + "▁ограничений": 46085, + "▁умереть": 46086, + "▁лишения": 46087, + "бини": 46088, + "▁подтвердил": 46089, + "Фа": 46090, + "▁забира": 46091, + "рассу": 46092, + "▁подать": 46093, + "▁удовольствия": 46094, + "товал": 46095, + "▁духом": 46096, + "▁подал": 46097, + "cious": 46098, + "▁подозри": 46099, + "ёрт": 46100, + "▁пригласил": 46101, + "дями": 46102, + "▁Постоя": 46103, + "щаяся": 46104, + "▁хорошая": 46105, + "▁смело": 46106, + "▁снизи": 46107, + "▁картофе": 46108, + "▁становился": 46109, + "▁Норвегии": 46110, + "люсь": 46111, + "▁Богороди": 46112, + "▁современный": 46113, + "▁побед": 46114, + "▁плотно": 46115, + "▁Строи": 46116, + "▁саду": 46117, + "вение": 46118, + "▁Леона": 46119, + "▁бь": 46120, + "ждаться": 46121, + "▁восстановление": 46122, + "▁даты": 46123, + "разви": 46124, + "▁твоей": 46125, + "шенного": 46126, + "▁потребовал": 46127, + "▁Гарри": 46128, + "динг": 46129, + "жав": 46130, + "▁различие": 46131, + "▁заключи": 46132, + "▁Астра": 46133, + "▁построены": 46134, + "▁небольшую": 46135, + "▁Иде": 46136, + "▁беспоко": 46137, + "мотри": 46138, + "▁Кубок": 46139, + "▁вину": 46140, + "▁переза": 46141, + "▁ждали": 46142, + "!\",": 46143, + "!»": 46144, + "▁сомни": 46145, + "▁эше": 46146, + "▁Запа": 46147, + "▁призем": 46148, + "▁Ник": 46149, + "▁аварии": 46150, + "СЯ": 46151, + "▁содержанием": 46152, + "▁общественный": 46153, + "▁сильного": 46154, + "▁выбрал": 46155, + "▁печени": 46156, + "▁банди": 46157, + "▁такси": 46158, + "рога": 46159, + "▁Конституции": 46160, + "западе": 46161, + "▁сюр": 46162, + "станция": 46163, + "▁перекре": 46164, + "▁принести": 46165, + "низма": 46166, + "ieutenant": 46167, + "▁попробу": 46168, + "▁фини": 46169, + "▁ждут": 46170, + "▁бесси": 46171, + "▁промышленных": 46172, + "Вот": 46173, + "мем": 46174, + "▁турнир": 46175, + "▁перспективы": 46176, + "▁удовлетвори": 46177, + "▁политическую": 46178, + "▁супруга": 46179, + "▁выпусти": 46180, + "▁осново": 46181, + "▁деньгами": 46182, + "▁огромную": 46183, + "ждала": 46184, + "▁искренне": 46185, + "▁целую": 46186, + "▁расположенных": 46187, + "Спарта": 46188, + "▁жёл": 46189, + "▁ушла": 46190, + "▁выйдет": 46191, + "▁вспомнил": 46192, + "▁двенадцать": 46193, + "▁тяжелой": 46194, + "▁полуша": 46195, + "▁ОТ": 46196, + "▁пробо": 46197, + "▁проблемами": 46198, + "▁dang": 46199, + "конферен": 46200, + "▁Кора": 46201, + "служба": 46202, + "▁файлы": 46203, + "▁сертифика": 46204, + "▁неизмен": 46205, + "▁Бала": 46206, + "▁захватили": 46207, + "▁дифференци": 46208, + "воздуш": 46209, + "▁диска": 46210, + "▁попытке": 46211, + "▁образца": 46212, + "▁Иисус": 46213, + "▁существовали": 46214, + "▁разбой": 46215, + "тыся": 46216, + "▁окрестностях": 46217, + "́т": 46218, + "▁снял": 46219, + "▁приво": 46220, + "▁Адам": 46221, + "▁успехов": 46222, + "рованную": 46223, + "▁Македо": 46224, + "▁факульте": 46225, + "▁покупать": 46226, + "▁Количество": 46227, + "▁круго": 46228, + "▁Русь": 46229, + "▁засу": 46230, + "▁связя": 46231, + "кель": 46232, + "▁начинать": 46233, + "▁Наполеона": 46234, + "▁этаже": 46235, + "▁подсозна": 46236, + "▁расположенный": 46237, + "чёта": 46238, + "совест": 46239, + "▁советское": 46240, + "▁ступени": 46241, + "▁Значи": 46242, + "▁скота": 46243, + "хле": 46244, + "▁профсо": 46245, + "▁надоб": 46246, + "▁Никогда": 46247, + "▁финала": 46248, + "унд": 46249, + "▁применением": 46250, + "▁условие": 46251, + "▁страдания": 46252, + "шных": 46253, + "шлись": 46254, + "▁Англию": 46255, + "▁приоб": 46256, + "тонов": 46257, + "▁плац": 46258, + "▁сорока": 46259, + "▁Ленинграде": 46260, + "вна": 46261, + "ням": 46262, + "льском": 46263, + "▁макро": 46264, + "чивается": 46265, + "▁главу": 46266, + "▁наружу": 46267, + "▁утили": 46268, + "▁приемы": 46269, + "▁Владимирович": 46270, + "▁всад": 46271, + "▁кольца": 46272, + "обе": 46273, + "▁зарубежных": 46274, + "▁Ката": 46275, + "▁Национальный": 46276, + "▁ведо": 46277, + "▁первому": 46278, + "▁яго": 46279, + "▁доверя": 46280, + "▁курсе": 46281, + "▁христианства": 46282, + "▁механизмы": 46283, + "▁развивать": 46284, + "логе": 46285, + "▁американская": 46286, + "▁значительную": 46287, + "▁Калу": 46288, + "▁отче": 46289, + "тятся": 46290, + "▁Итали": 46291, + "▁собирались": 46292, + "▁формально": 46293, + "▁музыке": 46294, + "▁колосса": 46295, + "▁Опять": 46296, + "▁весен": 46297, + "▁древнего": 46298, + "▁полуострова": 46299, + "▁сознательно": 46300, + "▁противников": 46301, + "▁Международного": 46302, + "▁построй": 46303, + "▁проблеме": 46304, + "▁пожар": 46305, + "льских": 46306, + "▁молодости": 46307, + "zil": 46308, + "▁Трам": 46309, + "▁объём": 46310, + "▁библей": 46311, + "▁госуда": 46312, + "чиной": 46313, + "▁Сдела": 46314, + "▁алюми": 46315, + "▁Брита": 46316, + "▁написана": 46317, + "чан": 46318, + "▁австралий": 46319, + "▁определяют": 46320, + "▁тупи": 46321, + "СБ": 46322, + "скоп": 46323, + "▁маленькая": 46324, + "▁Важно": 46325, + "▁чь": 46326, + "▁мгновение": 46327, + "▁формах": 46328, + "ленно": 46329, + "▁слышать": 46330, + "клы": 46331, + "несены": 46332, + "▁насекомых": 46333, + "▁почве": 46334, + "▁компоненты": 46335, + "▁Четы": 46336, + "▁конь": 46337, + "▁мастеров": 46338, + "▁рассмотрения": 46339, + "▁миллион": 46340, + "▁небольшого": 46341, + "▁эксперимент": 46342, + "▁Чаще": 46343, + "▁dra": 46344, + "дни": 46345, + "▁островах": 46346, + "▁захвата": 46347, + "хма": 46348, + "▁римля": 46349, + "▁черного": 46350, + "▁перевер": 46351, + "▁женского": 46352, + "▁будущей": 46353, + "▁мону": 46354, + "▁сказки": 46355, + "▁введения": 46356, + "▁Лег": 46357, + "▁технические": 46358, + "телось": 46359, + "▁символом": 46360, + "ОК": 46361, + "▁споры": 46362, + "▁костей": 46363, + "▁проводятся": 46364, + "зали": 46365, + "odies": 46366, + "▁нагру": 46367, + "▁календар": 46368, + "▁сержант": 46369, + "▁образован": 46370, + "▁засыпа": 46371, + "▁вины": 46372, + "▁сочетании": 46373, + "функ": 46374, + "▁Кав": 46375, + "▁политическая": 46376, + "вери": 46377, + "▁диагно": 46378, + "▁шот": 46379, + "▁спине": 46380, + "▁ценой": 46381, + "▁Институт": 46382, + "▁посовето": 46383, + "▁РА": 46384, + "шна": 46385, + "▁образцы": 46386, + "▁Сказа": 46387, + "▁называемой": 46388, + "▁анима": 46389, + "читывая": 46390, + "▁рю": 46391, + "▁третья": 46392, + "uting": 46393, + "▁навыки": 46394, + "▁старшим": 46395, + "▁механизмов": 46396, + "▁запрет": 46397, + "▁млекопита": 46398, + "▁токси": 46399, + "▁пользуется": 46400, + "▁форси": 46401, + "▁Флорен": 46402, + "▁наименование": 46403, + "сар": 46404, + "▁образует": 46405, + "▁преле": 46406, + "▁чужой": 46407, + "▁свободе": 46408, + "▁литературу": 46409, + "▁реоргани": 46410, + "фильм": 46411, + "▁ню": 46412, + "▁тенденции": 46413, + "▁шле": 46414, + "▁рыбу": 46415, + "▁ремесле": 46416, + "дием": 46417, + "▁Улья": 46418, + "▁происшествия": 46419, + "▁поступать": 46420, + "▁Кот": 46421, + "ocated": 46422, + "▁зат": 46423, + "бота": 46424, + "▁санитар": 46425, + "▁расследова": 46426, + "▁Ирландии": 46427, + "▁коричне": 46428, + "▁показала": 46429, + "▁казаков": 46430, + "▁женской": 46431, + "▁рент": 46432, + "▁азо": 46433, + "▁автодоро": 46434, + "▁Вечером": 46435, + "▁большего": 46436, + "▁выступлений": 46437, + "▁улицах": 46438, + "ровкой": 46439, + "▁брони": 46440, + "▁презента": 46441, + "▁Постано": 46442, + "▁выставке": 46443, + "rowd": 46444, + "▁думают": 46445, + "Бы": 46446, + "▁империали": 46447, + "тово": 46448, + "▁концепция": 46449, + "ниса": 46450, + "▁общаться": 46451, + "▁Ближ": 46452, + "▁фразы": 46453, + "▁сделан": 46454, + "снаб": 46455, + "▁подъем": 46456, + "▁Наталья": 46457, + "▁повест": 46458, + "▁продаже": 46459, + "▁директоров": 46460, + "заны": 46461, + "▁Зай": 46462, + "▁встретиться": 46463, + "▁Осенью": 46464, + "▁позволил": 46465, + "▁судьи": 46466, + "▁юности": 46467, + "▁атмосферу": 46468, + "▁Кир": 46469, + "ленными": 46470, + "▁дивизиона": 46471, + "ГИ": 46472, + "квизи": 46473, + "▁стоило": 46474, + "вите": 46475, + "ванных": 46476, + "юзеля": 46477, + "▁спектра": 46478, + "▁политическим": 46479, + "▁наблюдений": 46480, + "▁возможные": 46481, + "▁приклад": 46482, + "▁Уол": 46483, + "▁разногла": 46484, + "вани": 46485, + "▁возникнове": 46486, + "знание": 46487, + "▁атмосферы": 46488, + "▁философия": 46489, + "▁затрат": 46490, + "▁плечи": 46491, + "▁использовался": 46492, + "мса": 46493, + "▁национально": 46494, + "▁откровенно": 46495, + "▁падение": 46496, + "▁направлению": 46497, + "ваешь": 46498, + "»\".": 46499, + "▁митин": 46500, + "зовая": 46501, + "чатки": 46502, + "▁Собственно": 46503, + "▁диаметром": 46504, + "▁запасы": 46505, + "▁очер": 46506, + "▁экспертов": 46507, + "▁нелег": 46508, + "▁пыль": 46509, + "▁обычные": 46510, + "▁содержать": 46511, + "▁одежда": 46512, + "Боль": 46513, + "▁ТВ": 46514, + "▁дворце": 46515, + "▁гипно": 46516, + "▁океа": 46517, + "▁Эли": 46518, + "▁нелега": 46519, + "▁спросить": 46520, + "▁локали": 46521, + "▁пожара": 46522, + "▁открытой": 46523, + "кнула": 46524, + "сели": 46525, + "▁повезло": 46526, + "▁парази": 46527, + "▁веще": 46528, + "▁причину": 46529, + "▁сеан": 46530, + "▁начнет": 46531, + "▁чтение": 46532, + "носил": 46533, + "свет": 46534, + "▁Хри": 46535, + "▁расто": 46536, + "▁существующих": 46537, + "▁выборе": 46538, + "▁светло": 46539, + "▁разговоры": 46540, + "наго": 46541, + "ОВА": 46542, + "▁включают": 46543, + "ython": 46544, + "кладывают": 46545, + "▁сообщается": 46546, + "хау": 46547, + "▁химических": 46548, + "рованными": 46549, + "▁Имя": 46550, + "▁детской": 46551, + "▁контакты": 46552, + "▁расследование": 46553, + "▁Бак": 46554, + "▁оты": 46555, + "▁разверты": 46556, + "▁неви": 46557, + "▁консуль": 46558, + "▁мотивы": 46559, + "▁перебра": 46560, + "▁твоя": 46561, + "▁замечает": 46562, + "▁Сибир": 46563, + "стина": 46564, + "▁Учи": 46565, + "▁добраться": 46566, + "▁принуди": 46567, + "▁погу": 46568, + "▁свободное": 46569, + "▁начинал": 46570, + "▁важной": 46571, + "▁реформ": 46572, + "тиками": 46573, + "▁целых": 46574, + "▁храме": 46575, + "▁малого": 46576, + "▁Идея": 46577, + "▁нефть": 46578, + "▁доверие": 46579, + "▁Цвет": 46580, + "▁знаменитого": 46581, + "чались": 46582, + "▁реабили": 46583, + "коп": 46584, + "▁архитектор": 46585, + "▁репети": 46586, + "▁забывать": 46587, + "ТП": 46588, + "▁бывало": 46589, + "▁создается": 46590, + "▁мыше": 46591, + "ир": 46592, + "турах": 46593, + "▁фильмах": 46594, + "▁ареста": 46595, + "▁вызывать": 46596, + "пав": 46597, + "▁живого": 46598, + "▁Ради": 46599, + "пила": 46600, + "чался": 46601, + "▁рту": 46602, + "▁сражении": 46603, + "▁ходатай": 46604, + "▁применить": 46605, + "▁идеологии": 46606, + "▁Солне": 46607, + "▁перечень": 46608, + "▁считался": 46609, + "▁перифе": 46610, + "▁открытый": 46611, + "▁угрозой": 46612, + "▁плот": 46613, + "▁Импе": 46614, + "▁четверо": 46615, + "▁Кала": 46616, + "▁квалификации": 46617, + "ая": 46618, + "▁поступает": 46619, + "ЖД": 46620, + "устрой": 46621, + "▁лету": 46622, + "▁созре": 46623, + "▁парке": 46624, + "дент": 46625, + "жание": 46626, + "губерна": 46627, + "▁сюжета": 46628, + "смотреть": 46629, + "▁Полит": 46630, + "▁мужской": 46631, + "▁черные": 46632, + "▁Румынии": 46633, + "дишь": 46634, + "▁венти": 46635, + "▁весом": 46636, + "затор": 46637, + "▁Вдруг": 46638, + "▁приорите": 46639, + "ид": 46640, + "реали": 46641, + "▁сервера": 46642, + "▁кругом": 46643, + "▁афи": 46644, + "▁изображений": 46645, + "▁Правительство": 46646, + "▁Проис": 46647, + "▁предписа": 46648, + "▁приспо": 46649, + "▁свин": 46650, + "▁празднова": 46651, + "▁севера": 46652, + "жники": 46653, + "▁цензу": 46654, + "тине": 46655, + "мигра": 46656, + "лософ": 46657, + "▁жёст": 46658, + "▁храбро": 46659, + "▁добычи": 46660, + "▁отправили": 46661, + "▁пришёл": 46662, + "▁безрабо": 46663, + "▁Новые": 46664, + "▁Кин": 46665, + "сион": 46666, + "▁Ирана": 46667, + "▁монет": 46668, + "▁чечен": 46669, + "▁разработа": 46670, + "▁мифологии": 46671, + "▁глубже": 46672, + "▁персонала": 46673, + "▁экономические": 46674, + "▁соответствующей": 46675, + "irds": 46676, + "численные": 46677, + "▁топ": 46678, + "▁вопросами": 46679, + "▁шасси": 46680, + "▁достигла": 46681, + "▁прогрессив": 46682, + "▁украинский": 46683, + "▁мусо": 46684, + "▁отождеств": 46685, + "▁компроми": 46686, + "▁актов": 46687, + "▁Правительства": 46688, + "▁Волго": 46689, + "▁периоды": 46690, + "▁просить": 46691, + "▁переиз": 46692, + "▁эффекта": 46693, + "колы": 46694, + "▁варианте": 46695, + "▁слезы": 46696, + "▁Весной": 46697, + "▁видны": 46698, + "слове": 46699, + "▁поды": 46700, + "▁рассуждения": 46701, + "▁Экономи": 46702, + "вика": 46703, + "▁Остальные": 46704, + "▁коммуникации": 46705, + "▁хру": 46706, + "▁особые": 46707, + "▁требовал": 46708, + "▁Ким": 46709, + "▁Всесоюз": 46710, + "шенным": 46711, + "▁долине": 46712, + "чьего": 46713, + "▁передней": 46714, + "меров": 46715, + "ровало": 46716, + "▁продолжала": 46717, + "▁Саль": 46718, + "▁Фар": 46719, + "▁чувствую": 46720, + "▁Соответственно": 46721, + "шами": 46722, + "шаться": 46723, + "▁качеств": 46724, + "▁станций": 46725, + "▁Восток": 46726, + "ненную": 46727, + "▁подой": 46728, + "▁боев": 46729, + "ственностью": 46730, + "▁сделаны": 46731, + "грамму": 46732, + "▁ученого": 46733, + "▁художественный": 46734, + "▁КА": 46735, + "▁берут": 46736, + "▁уверенно": 46737, + "нгу": 46738, + "▁традиционно": 46739, + "▁огор": 46740, + "▁кв": 46741, + "▁массового": 46742, + "▁школах": 46743, + "▁Достаточно": 46744, + "▁рассматривается": 46745, + "▁освободить": 46746, + "▁смотрели": 46747, + "▁идее": 46748, + "▁кабине": 46749, + "▁ледя": 46750, + "▁инфраструктуры": 46751, + "пс": 46752, + "▁Юрия": 46753, + "▁полномочия": 46754, + "▁фальши": 46755, + "▁ядро": 46756, + "▁системах": 46757, + "пот": 46758, + "▁бросить": 46759, + "▁услышать": 46760, + "▁коммен": 46761, + "▁характерно": 46762, + "▁свойствами": 46763, + "▁мотоци": 46764, + "▁обраща": 46765, + "▁Почёт": 46766, + "▁измери": 46767, + "тируется": 46768, + "▁преобразования": 46769, + "▁движется": 46770, + "▁съём": 46771, + "шня": 46772, + "дара": 46773, + "▁российская": 46774, + "▁Бир": 46775, + "▁рассея": 46776, + "броса": 46777, + "▁Моги": 46778, + "▁Львов": 46779, + "ликов": 46780, + "▁Иерусали": 46781, + "вской": 46782, + "▁утрен": 46783, + "▁левый": 46784, + "▁поверить": 46785, + "шё": 46786, + "био": 46787, + "звез": 46788, + "▁судья": 46789, + "▁руководители": 46790, + "▁воссозда": 46791, + "▁Похоронен": 46792, + "▁знач": 46793, + "▁воздушного": 46794, + "лиги": 46795, + "▁Каждо": 46796, + "▁думаете": 46797, + "▁долгосро": 46798, + "▁отзыва": 46799, + "▁соответствуют": 46800, + "▁Чего": 46801, + "▁стремительно": 46802, + "▁Екатерины": 46803, + "▁Хью": 46804, + "▁включить": 46805, + "▁стихотворение": 46806, + "▁организовал": 46807, + "▁стоян": 46808, + "▁вершины": 46809, + "▁собрались": 46810, + "▁космического": 46811, + "гс": 46812, + "▁кабинете": 46813, + "▁Электро": 46814, + "▁bey": 46815, + "▁гармони": 46816, + "▁иран": 46817, + "▁объявили": 46818, + "▁отмечают": 46819, + "▁поехал": 46820, + "▁листа": 46821, + "▁Будь": 46822, + "▁Эстонии": 46823, + "мовой": 46824, + "вою": 46825, + "▁прямого": 46826, + "▁Апо": 46827, + "▁лез": 46828, + "таться": 46829, + "▁обстановки": 46830, + "▁упорно": 46831, + "▁поначалу": 46832, + "▁тексту": 46833, + "веров": 46834, + "▁чесно": 46835, + "▁природой": 46836, + "логический": 46837, + "▁МГУ": 46838, + "▁перевести": 46839, + "▁Карло": 46840, + "▁командиров": 46841, + "▁вероятности": 46842, + "▁трети": 46843, + "обы": 46844, + "▁методами": 46845, + "▁украинских": 46846, + "ура": 46847, + "▁технической": 46848, + "▁прибре": 46849, + "▁XXI": 46850, + "▁времён": 46851, + "▁Советов": 46852, + "▁Фра": 46853, + "▁carri": 46854, + "▁органах": 46855, + "ганской": 46856, + "тары": 46857, + "▁проста": 46858, + "▁пятнадцать": 46859, + "▁Египте": 46860, + "▁Соч": 46861, + "▁акта": 46862, + "▁Льво": 46863, + "▁носили": 46864, + "▁Доку": 46865, + "ппе": 46866, + "▁поддержать": 46867, + "▁трубку": 46868, + "▁приведет": 46869, + "знания": 46870, + "▁учёный": 46871, + "▁След": 46872, + "▁Двор": 46873, + "▁Лы": 46874, + "высо": 46875, + "▁страница": 46876, + "▁неизменно": 46877, + "▁китайской": 46878, + "стерои": 46879, + "эле": 46880, + "чёр": 46881, + "▁положил": 46882, + "нько": 46883, + "▁Псков": 46884, + "▁медицинского": 46885, + "▁мышление": 46886, + "▁Показа": 46887, + "▁Ирина": 46888, + "▁нарушений": 46889, + "нуты": 46890, + "▁Росто": 46891, + "ванный": 46892, + "▁стену": 46893, + "▁Америку": 46894, + "▁эмоций": 46895, + "▁трю": 46896, + "▁пресе": 46897, + "▁редакти": 46898, + "▁готовность": 46899, + "▁подтвержда": 46900, + "▁вене": 46901, + "▁рисунок": 46902, + "▁народный": 46903, + "▁снижения": 46904, + "▁определенное": 46905, + "сина": 46906, + "▁расположи": 46907, + "▁служили": 46908, + "▁методо": 46909, + "знь": 46910, + "пкой": 46911, + "тинской": 46912, + "точные": 46913, + "▁Гражданской": 46914, + "▁войскам": 46915, + "▁комментарии": 46916, + "▁Кем": 46917, + "Бар": 46918, + "▁пикабу": 46919, + "ИМ": 46920, + "деш": 46921, + "▁известная": 46922, + "▁аэродром": 46923, + "▁простое": 46924, + "▁КО": 46925, + "▁азербайджа": 46926, + "▁Внутрен": 46927, + "▁тома": 46928, + "▁корпорации": 46929, + "▁королю": 46930, + "▁хозяева": 46931, + "▁тысячу": 46932, + "▁фаса": 46933, + "▁диалог": 46934, + "зированные": 46935, + "Вт": 46936, + "▁шириной": 46937, + "▁аккумуля": 46938, + "▁вселенной": 46939, + "▁поняла": 46940, + "▁неделе": 46941, + "▁уведом": 46942, + "▁экспорт": 46943, + "▁направлениях": 46944, + "▁изобрази": 46945, + "▁Эпи": 46946, + "Север": 46947, + "▁уна": 46948, + "▁Уда": 46949, + "▁совпа": 46950, + "▁колоколь": 46951, + "▁категория": 46952, + "▁Публи": 46953, + "▁естественным": 46954, + "▁самолёт": 46955, + "▁пояснил": 46956, + "▁Colon": 46957, + "▁итого": 46958, + "▁Объеди": 46959, + "фте": 46960, + "▁отк": 46961, + "шники": 46962, + "▁лат": 46963, + "▁открытом": 46964, + "▁предоставля": 46965, + "▁чая": 46966, + "▁трудов": 46967, + "хнул": 46968, + "▁увидела": 46969, + "▁сканда": 46970, + "▁Нере": 46971, + "▁посреди": 46972, + "бого": 46973, + "▁изучал": 46974, + "мба": 46975, + "▁предлагают": 46976, + "▁отдох": 46977, + "▁словарь": 46978, + "▁пулем": 46979, + "▁Мель": 46980, + "▁уменьши": 46981, + "▁хоккей": 46982, + "▁физические": 46983, + "▁хватило": 46984, + "▁Третий": 46985, + "▁мировых": 46986, + "▁ствола": 46987, + "ПО": 46988, + "▁стихий": 46989, + "uilding": 46990, + "невосто": 46991, + "▁Треть": 46992, + "мели": 46993, + "▁поду": 46994, + "монти": 46995, + "▁попе": 46996, + "▁заключил": 46997, + "▁Узна": 46998, + "▁Монте": 46999, + "▁бараба": 47000, + "▁гражданина": 47001, + "▁автомобили": 47002, + "▁реставра": 47003, + "▁открытых": 47004, + "мие": 47005, + "▁терапев": 47006, + "▁оставляет": 47007, + "▁свали": 47008, + "ходятся": 47009, + "▁прогресса": 47010, + "переди": 47011, + "▁Твор": 47012, + "▁Наполеон": 47013, + "▁Гера": 47014, + "▁колебаний": 47015, + "вости": 47016, + "▁нести": 47017, + "▁менедж": 47018, + "дую": 47019, + "▁МЧС": 47020, + "▁залож": 47021, + "▁стенах": 47022, + "▁приход": 47023, + "▁перестал": 47024, + "▁граммати": 47025, + "▁коридо": 47026, + "▁тона": 47027, + "▁Генерального": 47028, + "▁публики": 47029, + "▁внешние": 47030, + "▁Говорят": 47031, + "Фе": 47032, + "▁насиль": 47033, + "▁Какая": 47034, + "▁узел": 47035, + "▁Федор": 47036, + "▁почер": 47037, + "▁огла": 47038, + "▁Бет": 47039, + "Ай": 47040, + "▁близости": 47041, + "куля": 47042, + "▁возникнуть": 47043, + "▁важнее": 47044, + "тко": 47045, + "▁требовать": 47046, + "▁считаются": 47047, + "▁необходима": 47048, + "водили": 47049, + "сми": 47050, + "жины": 47051, + "ровый": 47052, + "щенное": 47053, + "▁обороне": 47054, + "▁туристов": 47055, + "▁энергией": 47056, + "▁Уор": 47057, + "▁ответила": 47058, + "▁Психо": 47059, + "▁французов": 47060, + "▁экспози": 47061, + "▁стереоти": 47062, + "▁конфе": 47063, + "▁двенадцати": 47064, + "цин": 47065, + "▁конкретной": 47066, + "▁состоят": 47067, + "нус": 47068, + "▁Заха": 47069, + "▁аспиран": 47070, + "▁ландша": 47071, + "▁колеса": 47072, + "ппа": 47073, + "серов": 47074, + "▁Подроб": 47075, + "▁сценария": 47076, + "▁вторжения": 47077, + "▁пригод": 47078, + "вказе": 47079, + "▁остановиться": 47080, + "▁крым": 47081, + "▁постановление": 47082, + "▁Мартин": 47083, + "▁деду": 47084, + "▁предназнача": 47085, + "▁джа": 47086, + "▁баскетбо": 47087, + "▁отсутствуют": 47088, + "▁фос": 47089, + "▁заводов": 47090, + "мией": 47091, + "▁триум": 47092, + "▁накры": 47093, + "▁АК": 47094, + "▁частоты": 47095, + "▁взгляда": 47096, + "ренбург": 47097, + "кино": 47098, + "логической": 47099, + "▁князья": 47100, + "▁общественно": 47101, + "▁затраты": 47102, + "▁шотланд": 47103, + "▁рассказала": 47104, + "▁помещений": 47105, + "аньше": 47106, + "▁попытаться": 47107, + "▁чемпионов": 47108, + "▁сотрудника": 47109, + "▁загля": 47110, + "▁открывается": 47111, + "▁фраза": 47112, + "▁заложен": 47113, + "▁штор": 47114, + "▁весело": 47115, + "▁маршрут": 47116, + "▁отпеча": 47117, + "▁Пикабу": 47118, + "▁поче": 47119, + "▁культурных": 47120, + "▁арбитра": 47121, + "▁работода": 47122, + "▁коров": 47123, + "▁критике": 47124, + "▁актера": 47125, + "▁железы": 47126, + "двига": 47127, + "▁затраги": 47128, + "▁рассмотрим": 47129, + "гласно": 47130, + "▁призыв": 47131, + "▁воспитание": 47132, + "стивале": 47133, + "шедших": 47134, + "▁понимании": 47135, + "▁кислорода": 47136, + "▁вступить": 47137, + "стская": 47138, + "▁миниат": 47139, + "стерна": 47140, + "▁Штатов": 47141, + "▁плей": 47142, + "▁площадке": 47143, + "чкам": 47144, + "▁родине": 47145, + "▁патологи": 47146, + "▁головного": 47147, + "▁экземпляров": 47148, + "▁снарядов": 47149, + "▁концентри": 47150, + "▁собираются": 47151, + "▁уд": 47152, + "▁государству": 47153, + "▁морали": 47154, + "▁юсти": 47155, + "▁способностей": 47156, + "▁симпати": 47157, + "довлет": 47158, + "▁Еди": 47159, + "▁классификации": 47160, + "▁хранить": 47161, + "▁колес": 47162, + "▁гимназии": 47163, + "▁Русский": 47164, + "отече": 47165, + "морской": 47166, + "▁произошли": 47167, + "▁вытяну": 47168, + "▁оператор": 47169, + "▁короткие": 47170, + "ука": 47171, + "▁посольства": 47172, + "▁Таш": 47173, + "▁домом": 47174, + "льщиков": 47175, + "▁Серебря": 47176, + "▁повесть": 47177, + "▁ошиба": 47178, + "норма": 47179, + "▁Ныне": 47180, + "▁слоев": 47181, + "▁подпись": 47182, + "▁четверти": 47183, + "▁осле": 47184, + "▁вопросах": 47185, + "зовый": 47186, + "ченность": 47187, + "▁платформа": 47188, + "▁соблаз": 47189, + "▁аренду": 47190, + "ровича": 47191, + "▁деклара": 47192, + "метим": 47193, + "▁форте": 47194, + "▁образованием": 47195, + "▁Моисе": 47196, + "▁именова": 47197, + "▁сменя": 47198, + "▁общепри": 47199, + "▁запечат": 47200, + "▁искал": 47201, + "▁женат": 47202, + "▁Fam": 47203, + "ссиян": 47204, + "▁Кузь": 47205, + "щенным": 47206, + "▁найдены": 47207, + "▁Филипп": 47208, + "▁созерца": 47209, + "▁приехали": 47210, + "▁добровольно": 47211, + "ффе": 47212, + "▁упорядо": 47213, + "несение": 47214, + "деев": 47215, + "▁путе": 47216, + "▁царю": 47217, + "▁ранения": 47218, + "▁выез": 47219, + "жному": 47220, + "▁правый": 47221, + "▁внешним": 47222, + "▁тень": 47223, + "▁детский": 47224, + "чевой": 47225, + "▁построил": 47226, + "▁спросила": 47227, + "▁убира": 47228, + "▁проходила": 47229, + "▁губы": 47230, + "жкой": 47231, + "▁почте": 47232, + "герман": 47233, + "▁ужаса": 47234, + "▁метафизи": 47235, + "▁введен": 47236, + "▁отметили": 47237, + "нейшей": 47238, + "▁факту": 47239, + "▁военная": 47240, + "▁заседание": 47241, + "...\".": 47242, + "▁обнаружения": 47243, + "▁Сил": 47244, + "▁сала": 47245, + "▁коди": 47246, + "▁действующих": 47247, + "тян": 47248, + "▁драмы": 47249, + "▁указывают": 47250, + "▁отслежи": 47251, + "\"».": 47252, + "▁милости": 47253, + "▁насме": 47254, + "▁Времен": 47255, + "▁Бек": 47256, + "мете": 47257, + "кусство": 47258, + "▁спектакль": 47259, + "▁эста": 47260, + "▁принесли": 47261, + "▁сохранять": 47262, + "▁сохранение": 47263, + "▁противотан": 47264, + "▁старались": 47265, + "▁психотера": 47266, + "рено": 47267, + "▁участвует": 47268, + "▁льго": 47269, + "▁англичан": 47270, + "генов": 47271, + "▁блага": 47272, + "▁ремонта": 47273, + "▁удержать": 47274, + "дович": 47275, + "▁юридических": 47276, + "▁анекдо": 47277, + "▁Международной": 47278, + "▁дало": 47279, + "▁следующую": 47280, + "▁родителями": 47281, + "▁инер": 47282, + "▁Особен": 47283, + "▁птица": 47284, + "▁ассоции": 47285, + "▁застре": 47286, + "▁постепен": 47287, + "▁просьбе": 47288, + "▁столб": 47289, + "тившись": 47290, + "▁популярных": 47291, + "▁усадь": 47292, + "ствующего": 47293, + "▁сражение": 47294, + "▁провела": 47295, + "▁Папа": 47296, + "виц": 47297, + "▁листо": 47298, + "▁левого": 47299, + "▁монастыре": 47300, + "▁мыши": 47301, + "▁колонны": 47302, + "▁держит": 47303, + "▁риска": 47304, + "▁измель": 47305, + "мура": 47306, + "▁соревнования": 47307, + "▁блу": 47308, + "▁Понятно": 47309, + "▁плацдар": 47310, + "▁епархии": 47311, + "▁домах": 47312, + "▁сходство": 47313, + "строение": 47314, + "востоку": 47315, + "▁артери": 47316, + "▁ситуаций": 47317, + "▁основную": 47318, + "▁суп": 47319, + "▁славян": 47320, + "утбу": 47321, + "ИР": 47322, + "нешь": 47323, + "▁Черни": 47324, + "▁импер": 47325, + "▁противном": 47326, + "еву": 47327, + "▁студенты": 47328, + "▁коммунистов": 47329, + "▁пропорциона": 47330, + "гори": 47331, + "▁выступали": 47332, + "чику": 47333, + "▁творческой": 47334, + "▁богатство": 47335, + "▁удовлетворения": 47336, + "▁мощный": 47337, + "▁всячески": 47338, + "каче": 47339, + "возможно": 47340, + "▁собственном": 47341, + "▁бок": 47342, + "▁распу": 47343, + "▁фирма": 47344, + "▁реконструкции": 47345, + "▁гей": 47346, + "▁учителей": 47347, + "▁Опыт": 47348, + "▁спортсменов": 47349, + "▁течении": 47350, + "▁устанавливается": 47351, + "ЕСТ": 47352, + "▁Самар": 47353, + "\"!": 47354, + "▁осмысле": 47355, + "зла": 47356, + "▁лучи": 47357, + "▁плохой": 47358, + "▁отбы": 47359, + "▁Постепенно": 47360, + "▁вкла": 47361, + "сфера": 47362, + "▁вытащи": 47363, + "▁праву": 47364, + "▁Напротив": 47365, + "▁закрыть": 47366, + "▁коем": 47367, + "▁зоо": 47368, + "▁Семё": 47369, + "▁греческого": 47370, + "▁Мах": 47371, + "▁совершать": 47372, + "часа": 47373, + "▁международный": 47374, + "▁дока": 47375, + "▁депутатом": 47376, + "▁внесе": 47377, + "▁писатели": 47378, + "▁наличия": 47379, + "▁улучшить": 47380, + "▁обычным": 47381, + "▁Премьер": 47382, + "менами": 47383, + "енко": 47384, + "▁оккупации": 47385, + "▁Лаза": 47386, + "▁плену": 47387, + "▁предложений": 47388, + "▁самолёта": 47389, + "черед": 47390, + "▁существовала": 47391, + "▁холоди": 47392, + "▁высказал": 47393, + "▁говорите": 47394, + "▁сигналы": 47395, + "▁соц": 47396, + "▁собрании": 47397, + "▁строения": 47398, + "▁мяс": 47399, + "▁доверия": 47400, + "▁Виктора": 47401, + "перёд": 47402, + "▁Судя": 47403, + "▁особым": 47404, + "▁направил": 47405, + "▁насчет": 47406, + "гнал": 47407, + "рующей": 47408, + "▁Евгения": 47409, + "менные": 47410, + "ренное": 47411, + "▁ребёнка": 47412, + "стский": 47413, + "▁Изнача": 47414, + "▁насо": 47415, + "▁царе": 47416, + "▁глаг": 47417, + "▁приём": 47418, + "▁приток": 47419, + "▁Бря": 47420, + "▁Библии": 47421, + "▁деталь": 47422, + "тьев": 47423, + "▁любез": 47424, + "▁профилакти": 47425, + "▁исследовании": 47426, + "Вер": 47427, + "▁длинный": 47428, + "отечествен": 47429, + "▁устья": 47430, + "жков": 47431, + "▁политик": 47432, + "Три": 47433, + "венно": 47434, + "▁мечты": 47435, + "▁Ама": 47436, + "дования": 47437, + "жью": 47438, + "▁льда": 47439, + "▁прихо": 47440, + "▁съезд": 47441, + "▁признак": 47442, + "орк": 47443, + "дай": 47444, + "▁правонару": 47445, + "▁активных": 47446, + "▁властями": 47447, + "▁дивизион": 47448, + "▁проход": 47449, + "▁равномер": 47450, + "▁паре": 47451, + "▁Украину": 47452, + "▁согласиться": 47453, + "▁интеллигенции": 47454, + "▁магазине": 47455, + "▁Оказывается": 47456, + "▁правды": 47457, + "▁пеще": 47458, + "▁хирур": 47459, + "▁физически": 47460, + "куси": 47461, + "▁киноте": 47462, + "несса": 47463, + "▁ФРГ": 47464, + "роны": 47465, + "▁уй": 47466, + "▁инвестиций": 47467, + "▁квар": 47468, + "▁митропо": 47469, + "гау": 47470, + "▁каст": 47471, + "▁предоставляет": 47472, + "▁естественных": 47473, + "▁поддержкой": 47474, + "▁Достоевского": 47475, + "▁щу": 47476, + "ванной": 47477, + "▁обществом": 47478, + "биться": 47479, + "зной": 47480, + "▁медиа": 47481, + "▁собственными": 47482, + "ленко": 47483, + "▁отыска": 47484, + "▁богатых": 47485, + "▁выу": 47486, + "▁оппонен": 47487, + "▁Брон": 47488, + "▁соотношение": 47489, + "распо": 47490, + "▁уверя": 47491, + "▁геометри": 47492, + "рьмя": 47493, + "▁обладал": 47494, + "▁измеря": 47495, + "▁попросту": 47496, + "▁действовал": 47497, + "▁регионального": 47498, + "▁участках": 47499, + "▁Федерального": 47500, + "▁Царь": 47501, + "▁Есе": 47502, + "▁убили": 47503, + "▁фестиваля": 47504, + "▁Существуют": 47505, + "▁алфа": 47506, + "▁Гоголя": 47507, + "▁изображением": 47508, + "▁питание": 47509, + "▁возможностью": 47510, + "▁факта": 47511, + "▁фразу": 47512, + "блении": 47513, + ".);": 47514, + "▁показателей": 47515, + "▁заповед": 47516, + "▁Славы": 47517, + "номет": 47518, + "▁рассчитывать": 47519, + "▁гомосек": 47520, + "▁характеристик": 47521, + "▁Суд": 47522, + "▁плотность": 47523, + "▁Сино": 47524, + "▁Фридрих": 47525, + "▁Зим": 47526, + "▁Ом": 47527, + "▁потряса": 47528, + "▁противоречия": 47529, + "▁долгие": 47530, + "▁железных": 47531, + "▁литературного": 47532, + "▁Кажется": 47533, + "▁старик": 47534, + "▁шпа": 47535, + "юрер": 47536, + "▁Яр": 47537, + "▁беременности": 47538, + "▁прототи": 47539, + "▁появлением": 47540, + "▁встреч": 47541, + "▁дальнейшее": 47542, + "▁образованию": 47543, + "▁распределение": 47544, + "рять": 47545, + "▁инструкции": 47546, + "▁обнов": 47547, + "▁технология": 47548, + "▁отличия": 47549, + "▁нович": 47550, + "▁Музыка": 47551, + "▁посол": 47552, + "▁ЦРУ": 47553, + "▁соответствующий": 47554, + "▁накопи": 47555, + "▁легкой": 47556, + "▁психоанали": 47557, + "▁Сал": 47558, + "▁построено": 47559, + "▁дочерью": 47560, + "ада": 47561, + "анти": 47562, + "краин": 47563, + "▁кош": 47564, + "дене": 47565, + "▁награду": 47566, + "▁озабо": 47567, + "▁Гви": 47568, + "нян": 47569, + "▁погиба": 47570, + "▁Большое": 47571, + "▁Ниц": 47572, + "▁трижды": 47573, + "топ": 47574, + "▁вернее": 47575, + "▁паке": 47576, + "▁Офи": 47577, + "▁интегри": 47578, + "▁Поле": 47579, + "▁наград": 47580, + "▁тексто": 47581, + "▁уровней": 47582, + "▁пче": 47583, + "▁аэропорт": 47584, + "тельского": 47585, + "▁проводили": 47586, + "▁обзор": 47587, + "технического": 47588, + "▁шриф": 47589, + "▁полоса": 47590, + "моему": 47591, + "▁одновремен": 47592, + "ностями": 47593, + "▁созданный": 47594, + "явление": 47595, + "▁покупки": 47596, + "▁согласен": 47597, + "▁воспоминаний": 47598, + "бус": 47599, + "▁присоединился": 47600, + "▁восточных": 47601, + "▁увидим": 47602, + "▁проблемам": 47603, + "нита": 47604, + "▁расстройства": 47605, + "▁сохраняется": 47606, + "лером": 47607, + "▁пиво": 47608, + "▁единый": 47609, + "▁надое": 47610, + "текает": 47611, + "▁расположения": 47612, + "сского": 47613, + "▁осадков": 47614, + "берку": 47615, + "▁полях": 47616, + "▁сочетание": 47617, + "▁пасту": 47618, + "▁гиль": 47619, + "▁схему": 47620, + "▁Сохра": 47621, + "▁Казахстан": 47622, + "друго": 47623, + "зость": 47624, + "▁колени": 47625, + "▁сравнении": 47626, + "▁точностью": 47627, + "▁ведущий": 47628, + "зору": 47629, + "▁помощником": 47630, + "▁посетителей": 47631, + "▁огромным": 47632, + "тники": 47633, + "▁КНР": 47634, + "▁рукопи": 47635, + "▁ненависть": 47636, + "вр": 47637, + "▁Функ": 47638, + "▁прибор": 47639, + "▁оформи": 47640, + "▁Каро": 47641, + "▁Прин": 47642, + "▁Король": 47643, + "▁зерна": 47644, + "▁незаметно": 47645, + "▁амби": 47646, + "▁притом": 47647, + "▁логики": 47648, + "▁совместной": 47649, + "▁нехва": 47650, + "▁Чита": 47651, + "▁Физи": 47652, + "▁конкретные": 47653, + "▁соседей": 47654, + "ндию": 47655, + "▁компенси": 47656, + "родный": 47657, + "▁ногах": 47658, + "арьи": 47659, + "▁источниках": 47660, + "▁отправлен": 47661, + "▁Процесс": 47662, + "▁Англия": 47663, + "▁красной": 47664, + "▁припод": 47665, + "▁Казани": 47666, + "▁полузащи": 47667, + "▁заре": 47668, + "▁указ": 47669, + "▁терапии": 47670, + "▁отс": 47671, + "держка": 47672, + "▁проб": 47673, + "Пар": 47674, + "▁Холо": 47675, + "▁Рязан": 47676, + "▁способностью": 47677, + "▁Калинин": 47678, + "▁высе": 47679, + "корреспонден": 47680, + "▁Смит": 47681, + "▁хороших": 47682, + "▁душой": 47683, + "▁приборов": 47684, + "океан": 47685, + "▁проходить": 47686, + "▁изве": 47687, + "▁Изме": 47688, + "▁площадки": 47689, + "▁формате": 47690, + "▁подли": 47691, + "▁проститу": 47692, + "чьей": 47693, + "▁жилья": 47694, + "▁решет": 47695, + "уа": 47696, + "▁звон": 47697, + "страсти": 47698, + "▁экрана": 47699, + "▁востоку": 47700, + "▁боится": 47701, + "▁Уч": 47702, + "▁предотвратить": 47703, + "▁религиозной": 47704, + "▁серб": 47705, + "▁христианской": 47706, + "зопасности": 47707, + "▁неподалеку": 47708, + "▁регулирования": 47709, + "▁простей": 47710, + "▁лекарства": 47711, + "▁терак": 47712, + "▁сложный": 47713, + "▁чёт": 47714, + "▁итальянский": 47715, + "▁гвардейской": 47716, + "▁личным": 47717, + "▁всюду": 47718, + "▁корень": 47719, + "бари": 47720, + "▁отказывается": 47721, + "▁Кавказа": 47722, + "▁дефек": 47723, + "▁дополнительно": 47724, + "▁процент": 47725, + "▁отчетливо": 47726, + "▁лидером": 47727, + "▁Иосиф": 47728, + "▁пап": 47729, + "▁литературных": 47730, + "▁произведениях": 47731, + "скор": 47732, + "▁пик": 47733, + "▁конфликтов": 47734, + "▁миф": 47735, + "▁Настоя": 47736, + "▁Бельгии": 47737, + "рэн": 47738, + "▁смены": 47739, + "▁ы": 47740, + "▁образцов": 47741, + "▁невольно": 47742, + "▁больно": 47743, + "▁сыграла": 47744, + "говые": 47745, + "▁компакт": 47746, + "▁высоком": 47747, + "▁федерации": 47748, + "чите": 47749, + "▁Люд": 47750, + "▁сокру": 47751, + "▁украшения": 47752, + "▁лесов": 47753, + "ссом": 47754, + "▁цепь": 47755, + "▁петру": 47756, + "▁семьей": 47757, + "▁таблице": 47758, + "▁повысить": 47759, + "ствующей": 47760, + "▁принадлежности": 47761, + "rane": 47762, + "▁активной": 47763, + "▁облака": 47764, + "▁произойти": 47765, + "▁относились": 47766, + "спорта": 47767, + "▁устроить": 47768, + "▁документах": 47769, + "▁папы": 47770, + "▁историко": 47771, + "▁рабочим": 47772, + "▁Место": 47773, + "▁состо": 47774, + "▁неприятно": 47775, + "▁обязательств": 47776, + "▁высокое": 47777, + "▁общественные": 47778, + "кторе": 47779, + "тирование": 47780, + "▁уважение": 47781, + "▁лучшей": 47782, + "денса": 47783, + "▁Америка": 47784, + "▁превратился": 47785, + "▁Средней": 47786, + "силь": 47787, + "точной": 47788, + "▁требовали": 47789, + "жденный": 47790, + "▁англичане": 47791, + "▁энтузиа": 47792, + "▁соотечествен": 47793, + "▁дипломати": 47794, + "лие": 47795, + "▁Стивен": 47796, + "▁жилых": 47797, + "▁принадлежал": 47798, + "ъютан": 47799, + "▁Гиль": 47800, + "▁украинского": 47801, + "▁устроен": 47802, + "мик": 47803, + "▁стес": 47804, + "аппара": 47805, + "▁проверка": 47806, + "▁Тей": 47807, + "бс": 47808, + "▁полковод": 47809, + "▁разрыв": 47810, + "▁обстановка": 47811, + "▁железнодорожной": 47812, + "аги": 47813, + "оп": 47814, + "▁антен": 47815, + "▁разнообразных": 47816, + "▁собственному": 47817, + "▁Ие": 47818, + "дией": 47819, + "славя": 47820, + "▁Повто": 47821, + "▁ходит": 47822, + "▁испытывает": 47823, + "ренность": 47824, + "нейшая": 47825, + "▁помога": 47826, + "▁исчезает": 47827, + "▁прочитать": 47828, + "шная": 47829, + "манд": 47830, + "фин": 47831, + "▁Аре": 47832, + "▁короткое": 47833, + "▁раненых": 47834, + "▁лестнице": 47835, + "▁интерфейс": 47836, + "▁похоронен": 47837, + "▁задней": 47838, + "▁надолго": 47839, + "наме": 47840, + "▁равных": 47841, + "▁Оби": 47842, + "▁сухой": 47843, + "▁трубо": 47844, + "▁Андреевич": 47845, + "▁человеческий": 47846, + "▁внести": 47847, + "▁верил": 47848, + "▁фигури": 47849, + "▁Ори": 47850, + "▁зау": 47851, + "уд": 47852, + "▁наблюдение": 47853, + "▁Одной": 47854, + "▁экспре": 47855, + "линг": 47856, + "▁продавать": 47857, + "▁Председатель": 47858, + "писал": 47859, + "▁оказывать": 47860, + "▁участниками": 47861, + "▁водохранили": 47862, + "шного": 47863, + "▁вашему": 47864, + "зако": 47865, + "▁Жела": 47866, + "▁отпуск": 47867, + "▁всём": 47868, + "▁встретился": 47869, + "▁мотиви": 47870, + "▁возвращение": 47871, + "Чи": 47872, + "▁суждения": 47873, + "▁применении": 47874, + "▁рта": 47875, + "▁предполагалось": 47876, + "▁иными": 47877, + "▁заданий": 47878, + "фик": 47879, + "▁каранда": 47880, + "▁указано": 47881, + "▁относился": 47882, + "стик": 47883, + "НАЯ": 47884, + "▁коллектив": 47885, + "▁работники": 47886, + "фами": 47887, + "▁концентрации": 47888, + "▁жанра": 47889, + "▁Хаба": 47890, + "▁информи": 47891, + "▁заслуженный": 47892, + "▁лесах": 47893, + "▁Dani": 47894, + "▁агентов": 47895, + "ол": 47896, + "▁отсутствием": 47897, + "▁подачи": 47898, + "▁разга": 47899, + "тень": 47900, + "▁любым": 47901, + "▁историки": 47902, + "западу": 47903, + "▁муд": 47904, + "▁лучшую": 47905, + "▁купо": 47906, + "▁прохо": 47907, + "▁трудящихся": 47908, + "▁держал": 47909, + ".»": 47910, + "▁подобный": 47911, + "вичи": 47912, + "▁Раньше": 47913, + "чатые": 47914, + "▁Мино": 47915, + "▁слух": 47916, + "▁авиационной": 47917, + "▁толпа": 47918, + "боре": 47919, + "▁поистине": 47920, + "▁человеческие": 47921, + "▁изменилось": 47922, + "▁умел": 47923, + "добро": 47924, + "городской": 47925, + "▁мурав": 47926, + "тис": 47927, + "▁Звезды": 47928, + "туали": 47929, + "стила": 47930, + "▁названа": 47931, + "▁учесть": 47932, + "▁постоянное": 47933, + "▁стри": 47934, + "▁отрядов": 47935, + "▁совершения": 47936, + "▁уксу": 47937, + "дву": 47938, + "▁Чув": 47939, + "▁литературной": 47940, + "▁сперва": 47941, + "▁правого": 47942, + "▁надежду": 47943, + "▁Бес": 47944, + "пуляр": 47945, + "▁загла": 47946, + "▁написаны": 47947, + "▁ребят": 47948, + "▁народе": 47949, + "▁художественных": 47950, + "▁личное": 47951, + "▁Ваш": 47952, + "▁реальные": 47953, + "▁керами": 47954, + "▁съезде": 47955, + "▁участника": 47956, + "▁россиян": 47957, + "▁убийстве": 47958, + "▁грузов": 47959, + "▁всерьез": 47960, + "выс": 47961, + "▁ранней": 47962, + "icine": 47963, + "▁роду": 47964, + "▁ширина": 47965, + "теб": 47966, + "чни": 47967, + "▁эски": 47968, + "▁эскадрильи": 47969, + "▁увидев": 47970, + "▁репер": 47971, + "▁Одни": 47972, + "▁сторонам": 47973, + "цких": 47974, + "моз": 47975, + "▁Брай": 47976, + "▁Брод": 47977, + "▁облом": 47978, + "Газ": 47979, + "▁выходил": 47980, + "▁положено": 47981, + "▁объявлено": 47982, + "▁заголов": 47983, + "коне": 47984, + "▁поставки": 47985, + "▁деревен": 47986, + "▁поставлен": 47987, + "нялось": 47988, + "▁выбрасы": 47989, + "▁светом": 47990, + "▁ядови": 47991, + "▁заключить": 47992, + "▁священник": 47993, + "▁подписы": 47994, + "▁Внутри": 47995, + "▁уроки": 47996, + "▁запрещено": 47997, + "тента": 47998, + "европей": 47999, + "▁золотые": 48000, + "▁вершине": 48001, + "▁колониаль": 48002, + "польского": 48003, + "логического": 48004, + "▁балета": 48005, + "▁куски": 48006, + "▁руд": 48007, + "шках": 48008, + "▁станцию": 48009, + "▁иконо": 48010, + "▁приняты": 48011, + "▁вариа": 48012, + "▁ода": 48013, + "▁заводы": 48014, + "тивом": 48015, + "кратный": 48016, + "▁центрального": 48017, + "▁пира": 48018, + "▁продажу": 48019, + "▁хозяи": 48020, + "▁каналов": 48021, + "▁представителем": 48022, + "▁общественности": 48023, + "▁первобы": 48024, + "▁астрономи": 48025, + "▁средние": 48026, + "сис": 48027, + "▁традиций": 48028, + "▁Выпол": 48029, + "▁санкции": 48030, + "▁выпущен": 48031, + "▁радостью": 48032, + "Фон": 48033, + "▁Деревня": 48034, + "▁хозяйстве": 48035, + "около": 48036, + "нтом": 48037, + "▁сыграть": 48038, + "страда": 48039, + "нулось": 48040, + "рового": 48041, + "▁сервиса": 48042, + "▁занятие": 48043, + "▁быстрого": 48044, + "▁крупными": 48045, + "▁выступили": 48046, + "▁осуществляет": 48047, + "товского": 48048, + "▁кабе": 48049, + "▁Возь": 48050, + "▁анархи": 48051, + "▁стремятся": 48052, + "нута": 48053, + "▁стациона": 48054, + "▁Ды": 48055, + "менем": 48056, + "▁корона": 48057, + "▁арт": 48058, + "▁неблагоприят": 48059, + "точного": 48060, + "▁мужского": 48061, + "▁бага": 48062, + "▁сумели": 48063, + "▁Трудно": 48064, + "▁камеру": 48065, + "▁опыте": 48066, + "мостью": 48067, + "▁сибир": 48068, + "▁Стран": 48069, + "▁невысо": 48070, + "▁траек": 48071, + "▁жертво": 48072, + "▁Прекра": 48073, + "▁получаем": 48074, + "▁аэродро": 48075, + "▁заты": 48076, + "▁шам": 48077, + "▁Средняя": 48078, + "онеров": 48079, + "▁записей": 48080, + "▁засты": 48081, + "▁аф": 48082, + "▁сырья": 48083, + "▁пыли": 48084, + "▁Монго": 48085, + "▁профессором": 48086, + "▁привыкли": 48087, + "▁современным": 48088, + "▁изнутри": 48089, + "▁поднимается": 48090, + "▁продела": 48091, + "▁Государственная": 48092, + "▁Думы": 48093, + "▁План": 48094, + "▁приемле": 48095, + "▁сигналов": 48096, + "ист": 48097, + "▁ного": 48098, + "▁Эри": 48099, + "фори": 48100, + "▁владелец": 48101, + "▁нечи": 48102, + "▁миллиарда": 48103, + "ворец": 48104, + "▁прикреп": 48105, + "▁знакомый": 48106, + "▁набора": 48107, + "▁монеты": 48108, + "▁предприня": 48109, + "▁принятие": 48110, + "чину": 48111, + "▁играла": 48112, + "▁представляла": 48113, + "шан": 48114, + "▁пальцами": 48115, + "▁экспериментов": 48116, + "▁введение": 48117, + "▁состояний": 48118, + "▁радиоак": 48119, + "▁премьера": 48120, + "▁браке": 48121, + "▁разгром": 48122, + "щалось": 48123, + "▁неком": 48124, + "ходите": 48125, + "▁московских": 48126, + "▁участвовала": 48127, + "▁Использование": 48128, + "▁самолётов": 48129, + "рали": 48130, + "▁осени": 48131, + "Жи": 48132, + "▁использованы": 48133, + "▁антисе": 48134, + "▁листов": 48135, + "▁академию": 48136, + "▁финансовые": 48137, + "ражение": 48138, + "▁Управления": 48139, + "▁прови": 48140, + "▁Мастер": 48141, + "▁предыдущего": 48142, + "▁республик": 48143, + "▁капитализма": 48144, + "пило": 48145, + "▁увен": 48146, + "геля": 48147, + "EG": 48148, + "Москва": 48149, + "▁определенным": 48150, + "▁океане": 48151, + "▁коня": 48152, + "ловского": 48153, + "▁слышали": 48154, + "▁биографии": 48155, + "▁конкретно": 48156, + "▁симптомы": 48157, + "▁одержал": 48158, + "ТВ": 48159, + "▁Сотруд": 48160, + "▁предположения": 48161, + "▁Дву": 48162, + "▁ВМФ": 48163, + "▁советник": 48164, + "▁четырьмя": 48165, + "▁позвонил": 48166, + "▁шахма": 48167, + "▁лодка": 48168, + "▁усиления": 48169, + "▁ударом": 48170, + "▁пас": 48171, + "▁внутреннее": 48172, + "Ги": 48173, + "▁отбор": 48174, + "▁наруши": 48175, + "▁Обу": 48176, + "▁финансирования": 48177, + "нду": 48178, + "▁синта": 48179, + "▁рабов": 48180, + "▁Международный": 48181, + "▁соседних": 48182, + "▁отрыв": 48183, + "▁японской": 48184, + "▁направить": 48185, + "▁особую": 48186, + "▁заключении": 48187, + "▁рукописи": 48188, + "дравству": 48189, + "▁отечественной": 48190, + "сутствие": 48191, + "▁нейтро": 48192, + "ины": 48193, + "▁лени": 48194, + "рдо": 48195, + "▁происходили": 48196, + "▁разнообразные": 48197, + "▁вступления": 48198, + "▁мари": 48199, + "▁гряду": 48200, + "▁массовых": 48201, + "шедшие": 48202, + "▁просматри": 48203, + "▁ходом": 48204, + "▁проанали": 48205, + "рель": 48206, + "▁выступить": 48207, + "▁рады": 48208, + "▁Бран": 48209, + "▁прост": 48210, + "эля": 48211, + "щами": 48212, + "▁японских": 48213, + "▁объеме": 48214, + "▁заведующий": 48215, + "▁довести": 48216, + "▁чей": 48217, + "▁гено": 48218, + "▁Эм": 48219, + "▁сферу": 48220, + "▁храни": 48221, + "▁аудио": 48222, + "История": 48223, + "бак": 48224, + "▁недоуме": 48225, + "нутые": 48226, + "▁люд": 48227, + "▁отнес": 48228, + "меди": 48229, + "дольф": 48230, + "▁брази": 48231, + "▁Шотландии": 48232, + "▁хирурги": 48233, + "тоном": 48234, + "▁ирланд": 48235, + "▁бабушка": 48236, + "технологи": 48237, + "▁обойтись": 48238, + "▁физико": 48239, + "▁Наряду": 48240, + "строена": 48241, + "▁теста": 48242, + "▁готовить": 48243, + "▁британской": 48244, + "▁впада": 48245, + "▁бокс": 48246, + "▁Наиболь": 48247, + "▁основанием": 48248, + "▁врагом": 48249, + "▁военноп": 48250, + "две": 48251, + "▁работника": 48252, + "▁Ассоциа": 48253, + "▁фут": 48254, + "▁чья": 48255, + "▁Голла": 48256, + "▁Европа": 48257, + "▁Уж": 48258, + "вавших": 48259, + "▁дебют": 48260, + "▁аспекты": 48261, + "▁шара": 48262, + "▁преподавал": 48263, + "▁калибра": 48264, + "▁слабость": 48265, + "нон": 48266, + "▁русскую": 48267, + "▁Голу": 48268, + "▁Бит": 48269, + "▁эмпири": 48270, + "▁закончилась": 48271, + "▁ИТ": 48272, + "рудно": 48273, + "▁Грин": 48274, + "▁умирает": 48275, + "ологов": 48276, + "▁космос": 48277, + "▁отправляется": 48278, + "ритет": 48279, + "▁великое": 48280, + "тался": 48281, + "▁безы": 48282, + "▁тайно": 48283, + "▁юга": 48284, + "▁Заклю": 48285, + "▁прямым": 48286, + "▁отвлека": 48287, + "▁проси": 48288, + "▁ноутбу": 48289, + "▁защитил": 48290, + "▁атмосфере": 48291, + "▁международном": 48292, + "внове": 48293, + "▁Возро": 48294, + "▁Ленинграда": 48295, + "▁являлось": 48296, + "▁поэмы": 48297, + "▁данная": 48298, + "▁пен": 48299, + "▁однород": 48300, + "▁огромного": 48301, + "▁сказо": 48302, + "▁необходимой": 48303, + "воить": 48304, + "▁Як": 48305, + "Цен": 48306, + "▁дна": 48307, + "▁необходим": 48308, + "▁Всеволо": 48309, + "▁владельца": 48310, + "каго": 48311, + "▁семан": 48312, + "▁публично": 48313, + "▁Жуков": 48314, + "▁купе": 48315, + "▁пох": 48316, + "▁написания": 48317, + "▁тестирования": 48318, + "▁цирку": 48319, + "▁истину": 48320, + "▁проверку": 48321, + "део": 48322, + "вавший": 48323, + "▁зависят": 48324, + "▁подобным": 48325, + "▁сокращения": 48326, + "лком": 48327, + "деры": 48328, + "▁сельский": 48329, + "▁любому": 48330, + "ксо": 48331, + "ПС": 48332, + "гг": 48333, + "▁муниципальных": 48334, + "▁выбе": 48335, + "▁превратить": 48336, + "▁ставят": 48337, + "▁обнаружено": 48338, + "▁Анаста": 48339, + "ращи": 48340, + "▁включены": 48341, + "▁желательно": 48342, + "вляем": 48343, + "▁охране": 48344, + "▁критик": 48345, + "дым": 48346, + "▁Политбюро": 48347, + "▁старин": 48348, + "▁иро": 48349, + "▁высказывания": 48350, + "▁Токио": 48351, + "хен": 48352, + "▁поделиться": 48353, + "▁игрой": 48354, + "▁реализу": 48355, + "▁НИИ": 48356, + "▁одеты": 48357, + "▁появляться": 48358, + "▁лега": 48359, + "точный": 48360, + "сштаб": 48361, + "▁блюдо": 48362, + "рований": 48363, + "▁обратной": 48364, + "▁незаме": 48365, + "▁звали": 48366, + "▁тест": 48367, + "▁индекс": 48368, + "чон": 48369, + "зает": 48370, + "▁версий": 48371, + "▁Форма": 48372, + "▁всплы": 48373, + "джу": 48374, + "▁Откуда": 48375, + "▁подняться": 48376, + "▁кабинета": 48377, + "▁восклик": 48378, + "▁глю": 48379, + "▁Считается": 48380, + "нках": 48381, + "▁пова": 48382, + "▁воздушной": 48383, + "▁атле": 48384, + "хнет": 48385, + "▁отро": 48386, + "▁Вашингтон": 48387, + "▁преподаватель": 48388, + "▁адмирал": 48389, + "кладывает": 48390, + "▁юстиции": 48391, + "▁фюзеля": 48392, + "▁виноград": 48393, + "сеть": 48394, + "▁Паки": 48395, + "▁слои": 48396, + "▁Защи": 48397, + "▁Таджи": 48398, + "▁Михаи": 48399, + "▁Южного": 48400, + "▁Черного": 48401, + "▁иллюстра": 48402, + "▁идеей": 48403, + "▁полезных": 48404, + "▁дед": 48405, + "▁поведении": 48406, + "▁Наблю": 48407, + "▁отверстие": 48408, + "▁Ставро": 48409, + "▁вращения": 48410, + "▁желанию": 48411, + "▁Инг": 48412, + "▁верит": 48413, + "▁сопут": 48414, + "▁телевидения": 48415, + "ПА": 48416, + "▁планирует": 48417, + "ой": 48418, + "▁современников": 48419, + "▁педагог": 48420, + "▁желании": 48421, + "▁растут": 48422, + "▁риску": 48423, + "▁уничтожение": 48424, + "ifically": 48425, + "хема": 48426, + "▁возвращаться": 48427, + "▁максимум": 48428, + "▁доступны": 48429, + "▁eld": 48430, + "▁имеющий": 48431, + "▁стака": 48432, + "лялись": 48433, + "▁ввода": 48434, + "▁Википе": 48435, + "▁принца": 48436, + "▁супруги": 48437, + "▁Московском": 48438, + "ВАТ": 48439, + "▁скот": 48440, + "▁красные": 48441, + "туация": 48442, + "▁нареза": 48443, + "▁Ленинградской": 48444, + "▁прус": 48445, + "▁очки": 48446, + "▁препятствия": 48447, + "летию": 48448, + "▁проезд": 48449, + "▁серьезных": 48450, + "▁победить": 48451, + "менко": 48452, + "▁полчаса": 48453, + "▁препаратов": 48454, + "▁Римской": 48455, + "▁желудо": 48456, + "ervative": 48457, + "▁Черчил": 48458, + "иде": 48459, + "▁потерять": 48460, + "евском": 48461, + "▁внес": 48462, + "▁повторить": 48463, + "▁выиграла": 48464, + "▁соединя": 48465, + "▁нетерпе": 48466, + "▁русское": 48467, + "▁доказательство": 48468, + "▁носа": 48469, + "▁ведется": 48470, + "▁россия": 48471, + "хать": 48472, + "▁богослу": 48473, + "▁участником": 48474, + "ял": 48475, + "▁посёлке": 48476, + "▁еврейского": 48477, + "спери": 48478, + "▁Сооб": 48479, + "▁вступи": 48480, + "▁Задача": 48481, + "▁полагают": 48482, + "▁соблюдать": 48483, + "▁традиционных": 48484, + "▁сё": 48485, + "▁перенос": 48486, + "▁учителем": 48487, + "▁раунде": 48488, + "Ту": 48489, + "▁огромная": 48490, + "▁сравнить": 48491, + "чивая": 48492, + "Мне": 48493, + "▁текущего": 48494, + "▁четыр": 48495, + "ренная": 48496, + "▁Чан": 48497, + "▁живым": 48498, + "▁Джен": 48499, + "▁увы": 48500, + "▁толку": 48501, + "▁колебания": 48502, + "▁пистолет": 48503, + "▁Участвовал": 48504, + "▁ролей": 48505, + "▁предъявля": 48506, + "▁делаем": 48507, + "▁фара": 48508, + "▁Мет": 48509, + "▁украинской": 48510, + "▁государственным": 48511, + "▁минуте": 48512, + "▁переходе": 48513, + "▁изобража": 48514, + "▁категорий": 48515, + "банк": 48516, + "▁несут": 48517, + "▁обращении": 48518, + "▁открыты": 48519, + "▁победитель": 48520, + "Мак": 48521, + "▁раздражи": 48522, + "▁Боро": 48523, + "▁Главная": 48524, + "▁советским": 48525, + "▁Уилья": 48526, + "▁бегу": 48527, + "▁Какое": 48528, + "▁изготавли": 48529, + "леп": 48530, + "стите": 48531, + "▁Изначально": 48532, + "несло": 48533, + "▁тенни": 48534, + "▁прессе": 48535, + "благода": 48536, + "▁захватил": 48537, + "▁интересные": 48538, + "▁племена": 48539, + "ино": 48540, + "▁составит": 48541, + "▁посадки": 48542, + "▁дороже": 48543, + "▁набро": 48544, + "▁Иоган": 48545, + "▁передачу": 48546, + "▁Противо": 48547, + "▁желудка": 48548, + "▁Юпи": 48549, + "▁Маркс": 48550, + "▁свободных": 48551, + "▁дизе": 48552, + "▁ПРИ": 48553, + "▁унаследова": 48554, + "▁голод": 48555, + "▁читателю": 48556, + "правда": 48557, + "▁манифе": 48558, + "▁Кубке": 48559, + "прода": 48560, + "▁проры": 48561, + "▁древеси": 48562, + "▁воздействием": 48563, + "▁близкие": 48564, + "▁Маха": 48565, + "▁великие": 48566, + "▁официального": 48567, + "▁общественное": 48568, + "▁пользователи": 48569, + "▁договору": 48570, + "▁снаружи": 48571, + "▁множеством": 48572, + "▁традиционной": 48573, + "▁отличался": 48574, + "▁затро": 48575, + "▁жертвой": 48576, + "▁северных": 48577, + "▁полит": 48578, + "▁integ": 48579, + "▁Плю": 48580, + "▁опусто": 48581, + "▁излага": 48582, + "▁прогресс": 48583, + "▁аппаратов": 48584, + "▁величина": 48585, + "▁Число": 48586, + "▁выпустил": 48587, + "▁шве": 48588, + "▁дорабо": 48589, + "▁наби": 48590, + "▁постановления": 48591, + "▁крыло": 48592, + "▁Сайт": 48593, + "▁спортсмен": 48594, + "▁правительстве": 48595, + "тум": 48596, + "▁пленных": 48597, + "шался": 48598, + "▁Крон": 48599, + "▁кровати": 48600, + "▁просле": 48601, + "▁attrib": 48602, + "▁Расположен": 48603, + "▁небольшими": 48604, + "▁вручную": 48605, + "▁западу": 48606, + "▁подло": 48607, + "▁купа": 48608, + "▁тура": 48609, + "▁устаре": 48610, + "тус": 48611, + "▁условиями": 48612, + "▁обыкновенно": 48613, + "▁Иерусалим": 48614, + "▁хорошую": 48615, + "▁беда": 48616, + "▁поступить": 48617, + "▁компетен": 48618, + "▁снимать": 48619, + "▁Кирги": 48620, + "▁палец": 48621, + "▁наг": 48622, + "▁княжества": 48623, + "nce": 48624, + "пур": 48625, + "▁такова": 48626, + "▁трудовой": 48627, + "ленность": 48628, + "стическом": 48629, + "▁Командир": 48630, + "▁духовных": 48631, + "▁нападение": 48632, + "▁сектора": 48633, + "▁плану": 48634, + "▁Кавказе": 48635, + "▁вак": 48636, + "▁посвящён": 48637, + "▁канцеля": 48638, + "▁Фактически": 48639, + "▁Безу": 48640, + "udget": 48641, + "ненном": 48642, + "▁заса": 48643, + "▁Англий": 48644, + "▁загра": 48645, + "▁Еже": 48646, + "режи": 48647, + "▁судебного": 48648, + "▁Ефи": 48649, + "▁отчаян": 48650, + "Для": 48651, + "▁выполнил": 48652, + "▁экономика": 48653, + "▁Белый": 48654, + "▁музыкальных": 48655, + "▁дядя": 48656, + "▁становилось": 48657, + "asketball": 48658, + "▁арх": 48659, + "▁золотом": 48660, + "▁религия": 48661, + "ttps": 48662, + "▁прежних": 48663, + "▁финансового": 48664, + "▁изучить": 48665, + "▁провинциаль": 48666, + "▁делая": 48667, + "▁очистить": 48668, + "▁передача": 48669, + "▁Давид": 48670, + "особ": 48671, + "▁бывшие": 48672, + "▁олицет": 48673, + "▁выполняется": 48674, + "▁Главным": 48675, + "теть": 48676, + "▁данному": 48677, + "▁шею": 48678, + "▁избегать": 48679, + "▁изданий": 48680, + "▁отчего": 48681, + "▁залив": 48682, + "▁искусству": 48683, + "нином": 48684, + "▁стараясь": 48685, + "▁успокаи": 48686, + "вывать": 48687, + "▁бассейн": 48688, + "▁пропаганды": 48689, + "▁определенную": 48690, + "▁Пуга": 48691, + "▁помогли": 48692, + "▁прочно": 48693, + "▁прохождения": 48694, + "▁действиям": 48695, + "▁счетом": 48696, + "▁Гага": 48697, + "▁волок": 48698, + "Кто": 48699, + "дта": 48700, + "▁муче": 48701, + "▁Православ": 48702, + "▁весны": 48703, + "▁провока": 48704, + "йки": 48705, + "▁темноте": 48706, + "▁СНГ": 48707, + "▁изоби": 48708, + "пая": 48709, + "ченности": 48710, + "▁пеше": 48711, + "▁уще": 48712, + "▁сана": 48713, + "▁компи": 48714, + "питься": 48715, + "▁рассмотрение": 48716, + "▁атмосфер": 48717, + "▁перерыва": 48718, + "▁ученик": 48719, + "▁наря": 48720, + "▁помогут": 48721, + "▁Коз": 48722, + "▁основными": 48723, + "▁грех": 48724, + "▁соборе": 48725, + "▁призра": 48726, + "дельные": 48727, + "ставка": 48728, + "▁официальным": 48729, + "шным": 48730, + "▁дополнение": 48731, + "▁атомов": 48732, + "товом": 48733, + "▁рассматривает": 48734, + "зированной": 48735, + "▁проявление": 48736, + "▁наса": 48737, + "▁установок": 48738, + "нкер": 48739, + "▁приближа": 48740, + "▁конкурс": 48741, + "гнут": 48742, + "▁прозву": 48743, + "▁персо": 48744, + "▁отбора": 48745, + "▁длительного": 48746, + "▁обсуждение": 48747, + "▁исследу": 48748, + "▁исправить": 48749, + "▁спирт": 48750, + "▁объявила": 48751, + "▁едини": 48752, + "▁Находится": 48753, + "▁избирателей": 48754, + "▁ложь": 48755, + "тологии": 48756, + "▁узнав": 48757, + "▁труднее": 48758, + "юль": 48759, + "▁надеяться": 48760, + "▁проектом": 48761, + "тико": 48762, + "▁подключа": 48763, + "▁созданием": 48764, + "▁батарей": 48765, + "▁Сли": 48766, + "▁дизайн": 48767, + "▁культурной": 48768, + "▁Сами": 48769, + "▁церквей": 48770, + "▁полеми": 48771, + "▁областной": 48772, + "▁Данный": 48773, + "▁приемов": 48774, + "▁Вино": 48775, + "▁угроза": 48776, + "▁образовании": 48777, + "новому": 48778, + "▁перело": 48779, + "▁разработал": 48780, + "сово": 48781, + "▁букв": 48782, + "душно": 48783, + "▁состоится": 48784, + "▁Све": 48785, + "udden": 48786, + "▁казах": 48787, + "▁определять": 48788, + "▁достоинство": 48789, + "▁снега": 48790, + "▁широкого": 48791, + "дини": 48792, + "▁анома": 48793, + "▁происходить": 48794, + "▁монахи": 48795, + "▁ключевых": 48796, + "▁основано": 48797, + "▁человеческое": 48798, + "▁Кал": 48799, + "▁американским": 48800, + "▁недовольство": 48801, + "▁безнаде": 48802, + "▁окружении": 48803, + "▁кай": 48804, + "▁Патриар": 48805, + "▁поступки": 48806, + "▁космической": 48807, + "▁Андер": 48808, + "▁документации": 48809, + "▁приобрел": 48810, + "▁Прошло": 48811, + "▁победителем": 48812, + "ховой": 48813, + "▁плату": 48814, + "▁интернете": 48815, + "▁религиозные": 48816, + "▁ДСС": 48817, + "помина": 48818, + "дце": 48819, + "гоне": 48820, + "▁разработчики": 48821, + "носцев": 48822, + "▁Offic": 48823, + "▁кибер": 48824, + "▁развлека": 48825, + "ое": 48826, + "мари": 48827, + "ваемся": 48828, + "▁королевы": 48829, + "▁аккуратно": 48830, + "▁магазинов": 48831, + "ганов": 48832, + "пий": 48833, + "▁Константина": 48834, + "▁думы": 48835, + "▁широкие": 48836, + "лины": 48837, + "▁нажа": 48838, + "▁накапли": 48839, + "▁Николь": 48840, + "▁Демокра": 48841, + "▁плато": 48842, + "жностью": 48843, + "▁медицине": 48844, + "▁Покров": 48845, + "Нью": 48846, + "▁Общества": 48847, + "▁каре": 48848, + "▁водного": 48849, + "▁ПЕР": 48850, + "ствиях": 48851, + "▁посыпа": 48852, + "▁обстановку": 48853, + "▁Короче": 48854, + "▁колю": 48855, + "▁Сэ": 48856, + "▁ХХ": 48857, + "▁алма": 48858, + "▁медалью": 48859, + "▁Специали": 48860, + "▁копии": 48861, + "▁неуме": 48862, + "▁уко": 48863, + "▁Чехова": 48864, + "▁огромных": 48865, + "▁христианство": 48866, + "▁фактором": 48867, + "▁страсть": 48868, + "тут": 48869, + "▁Марина": 48870, + "▁сигаре": 48871, + "лём": 48872, + "▁Гоголь": 48873, + "▁случается": 48874, + "▁жестоко": 48875, + "биографи": 48876, + "▁удачно": 48877, + "▁фантазии": 48878, + "▁Бос": 48879, + "▁Пои": 48880, + "▁Петроград": 48881, + "▁Поста": 48882, + "▁Иванова": 48883, + "▁изна": 48884, + "▁музыкальной": 48885, + "таски": 48886, + "▁спект": 48887, + "▁манда": 48888, + "▁сорта": 48889, + "▁охоты": 48890, + "▁наце": 48891, + "▁критиков": 48892, + "▁Федоров": 48893, + "менных": 48894, + "▁науку": 48895, + "теран": 48896, + "▁ласко": 48897, + "▁распространены": 48898, + "ложением": 48899, + "▁соответствие": 48900, + "▁родителям": 48901, + "risis": 48902, + "своему": 48903, + "▁вызвала": 48904, + "▁существовал": 48905, + "жую": 48906, + "▁учебного": 48907, + "▁прозаи": 48908, + "редка": 48909, + "uters": 48910, + "▁вылета": 48911, + "▁инженеров": 48912, + "ряет": 48913, + "▁молодая": 48914, + "▁печень": 48915, + "▁Стру": 48916, + "gment": 48917, + "▁ведёт": 48918, + "▁подчеркнуть": 48919, + "Гу": 48920, + "▁уважения": 48921, + "▁кинофе": 48922, + "▁кастрю": 48923, + "▁огля": 48924, + "▁оттого": 48925, + "▁Астраха": 48926, + "▁Привет": 48927, + "ллей": 48928, + "▁вмешательства": 48929, + "▁лучшем": 48930, + "▁верю": 48931, + "ссион": 48932, + "▁маленького": 48933, + "▁старая": 48934, + "▁намерен": 48935, + "боры": 48936, + "яза": 48937, + "▁Макс": 48938, + "▁оболочки": 48939, + "▁замо": 48940, + "▁рядах": 48941, + "▁ось": 48942, + "зета": 48943, + "▁Соф": 48944, + "▁защитник": 48945, + "▁удалить": 48946, + "группы": 48947, + "▁сообщество": 48948, + "Же": 48949, + "▁уны": 48950, + "ederation": 48951, + "▁земного": 48952, + "▁сотрудничестве": 48953, + "▁ваку": 48954, + "ссон": 48955, + "▁миниму": 48956, + "▁клят": 48957, + "▁панели": 48958, + "▁взят": 48959, + "▁занят": 48960, + "▁выглядят": 48961, + "▁муску": 48962, + "трица": 48963, + "пода": 48964, + "▁монголь": 48965, + "▁Женщина": 48966, + "▁погода": 48967, + "▁призы": 48968, + "▁эвакуации": 48969, + "▁Война": 48970, + "▁победе": 48971, + "▁Лондона": 48972, + "▁постоянным": 48973, + "▁посвящена": 48974, + "▁будущий": 48975, + "▁Беларусь": 48976, + "▁сможем": 48977, + "▁заключенных": 48978, + "▁романов": 48979, + "▁Тон": 48980, + "▁Проко": 48981, + "▁языку": 48982, + "▁небольшом": 48983, + "▁видами": 48984, + "▁сердцем": 48985, + "▁газов": 48986, + "▁прилега": 48987, + "▁объявления": 48988, + "▁отчу": 48989, + "шнего": 48990, + "▁понимаете": 48991, + "▁журналов": 48992, + "▁спортивной": 48993, + "▁Генриха": 48994, + "▁положением": 48995, + "сио": 48996, + "▁летчиков": 48997, + "▁мемориаль": 48998, + "▁Перу": 48999, + "▁столу": 49000, + "▁переданы": 49001, + "▁заставил": 49002, + "▁пушек": 49003, + "▁encoura": 49004, + "▁категорически": 49005, + "▁подошли": 49006, + "скочил": 49007, + "▁обществ": 49008, + "▁зиму": 49009, + "рею": 49010, + "▁физике": 49011, + "▁Год": 49012, + "▁сдел": 49013, + "ственны": 49014, + "▁Тради": 49015, + "▁предсказа": 49016, + "▁состя": 49017, + "▁точкой": 49018, + "▁Марка": 49019, + "▁experien": 49020, + "▁Союзе": 49021, + "▁Быть": 49022, + "▁карман": 49023, + "▁деревень": 49024, + "▁нынешнего": 49025, + "▁подтверждение": 49026, + "▁немногих": 49027, + "▁вмеши": 49028, + "▁воображение": 49029, + "▁нарезать": 49030, + "▁Маркса": 49031, + "ьях": 49032, + "ИЕ": 49033, + "▁Высота": 49034, + "▁рассказали": 49035, + "▁передавать": 49036, + "читать": 49037, + "рную": 49038, + "▁наем": 49039, + "▁насчитывалось": 49040, + "▁толко": 49041, + "▁центры": 49042, + "▁Немец": 49043, + "вию": 49044, + "рив": 49045, + "▁кипят": 49046, + "▁правди": 49047, + "▁живот": 49048, + "▁обновления": 49049, + "▁местным": 49050, + "▁обеда": 49051, + "▁Создание": 49052, + "▁УССР": 49053, + "▁значительный": 49054, + "▁женщинам": 49055, + "▁Свое": 49056, + "▁одежде": 49057, + "▁понадобится": 49058, + "Ранее": 49059, + "▁главнокоманду": 49060, + "▁стремились": 49061, + "▁гору": 49062, + "ОГ": 49063, + "бол": 49064, + "▁Ивановича": 49065, + "Челове": 49066, + "▁планах": 49067, + "▁выявля": 49068, + "▁лома": 49069, + "▁блоков": 49070, + "▁ухо": 49071, + "▁погребе": 49072, + "▁конкуренции": 49073, + "?\".": 49074, + "▁основатель": 49075, + "▁друзьям": 49076, + "▁отдельным": 49077, + "▁британского": 49078, + "дцать": 49079, + "▁лучей": 49080, + "щева": 49081, + "▁участвуют": 49082, + "▁органом": 49083, + "▁бумаге": 49084, + "▁навыков": 49085, + "▁предлагал": 49086, + "▁уменьшить": 49087, + "▁нажи": 49088, + "▁сумме": 49089, + "▁замену": 49090, + "евым": 49091, + "▁боялся": 49092, + "▁уло": 49093, + "▁долгов": 49094, + "▁совокупности": 49095, + "▁настоящая": 49096, + "▁быта": 49097, + "▁экономический": 49098, + "▁выполняют": 49099, + "▁мега": 49100, + "лиса": 49101, + "▁перевозки": 49102, + "циоз": 49103, + "▁Суда": 49104, + "▁залить": 49105, + "▁заболевание": 49106, + "▁Шекспира": 49107, + "▁Григорьевич": 49108, + "▁ткань": 49109, + "▁радиа": 49110, + "кат": 49111, + "▁предыдущей": 49112, + "▁заявляет": 49113, + "кай": 49114, + "▁выиграть": 49115, + "▁красиво": 49116, + "▁немецким": 49117, + "горо": 49118, + "менее": 49119, + "▁организмов": 49120, + "▁роде": 49121, + "uccess": 49122, + "▁информационных": 49123, + "▁смотрят": 49124, + "▁освободи": 49125, + "▁осмотре": 49126, + "▁частные": 49127, + "▁Вчера": 49128, + "простра": 49129, + "▁законами": 49130, + "▁личи": 49131, + "▁условием": 49132, + "▁солдата": 49133, + "▁второстепен": 49134, + "▁проведена": 49135, + "▁демонстрации": 49136, + "точки": 49137, + "▁суше": 49138, + "▁стя": 49139, + "▁плавания": 49140, + "▁реализация": 49141, + "жками": 49142, + "▁налога": 49143, + "▁яиц": 49144, + "▁Друго": 49145, + "▁ходят": 49146, + "▁убивает": 49147, + "▁температур": 49148, + "▁зв": 49149, + "гиб": 49150, + "▁материальных": 49151, + "▁владение": 49152, + "▁хлоп": 49153, + "▁срабо": 49154, + "▁оранже": 49155, + "▁производителей": 49156, + "▁надписью": 49157, + "▁глад": 49158, + "▁преди": 49159, + "▁Анге": 49160, + "тела": 49161, + "▁определяются": 49162, + "▁ложи": 49163, + "▁расписа": 49164, + "▁понимая": 49165, + "▁СВ": 49166, + "▁польского": 49167, + "шались": 49168, + "▁просвещения": 49169, + "зором": 49170, + "маль": 49171, + "▁твоего": 49172, + "▁оставшиеся": 49173, + "▁расскажу": 49174, + "▁лок": 49175, + "▁русскому": 49176, + "нутый": 49177, + "номи": 49178, + "▁КН": 49179, + "▁лепе": 49180, + "▁ВМС": 49181, + "▁опло": 49182, + "жденных": 49183, + "дье": 49184, + "▁Япония": 49185, + "▁читает": 49186, + "▁ненависти": 49187, + "▁лову": 49188, + "▁забу": 49189, + "▁бухгалтер": 49190, + "▁новостей": 49191, + "▁туристи": 49192, + "▁кухне": 49193, + "▁снизить": 49194, + "▁царской": 49195, + "▁несовершенно": 49196, + "▁священника": 49197, + "▁делится": 49198, + "▁трапе": 49199, + "▁вперёд": 49200, + "▁атомной": 49201, + "▁наблюдал": 49202, + "спомина": 49203, + "мейстер": 49204, + "▁проиграл": 49205, + "▁уми": 49206, + "▁пиани": 49207, + "цизма": 49208, + "▁лихора": 49209, + "▁парашю": 49210, + "▁жидкость": 49211, + "▁portray": 49212, + "▁Четыре": 49213, + "▁обжа": 49214, + "▁нея": 49215, + "▁враща": 49216, + "▁подбира": 49217, + "▁задол": 49218, + "▁успокои": 49219, + "▁фабрики": 49220, + "▁встретились": 49221, + "ара": 49222, + "ваемая": 49223, + "▁правление": 49224, + "худо": 49225, + "▁государя": 49226, + "ствующим": 49227, + "▁золотых": 49228, + "ристы": 49229, + "▁пилота": 49230, + "▁коротко": 49231, + "▁уступ": 49232, + "ленности": 49233, + "▁королевства": 49234, + "▁включать": 49235, + "▁тенденция": 49236, + "живает": 49237, + "▁сбрасы": 49238, + "▁обществу": 49239, + "банка": 49240, + "▁обсерва": 49241, + "▁художники": 49242, + "▁встречались": 49243, + "▁гусе": 49244, + "▁дисциплины": 49245, + "руемых": 49246, + "▁контактов": 49247, + "кей": 49248, + "▁Италию": 49249, + "▁сохранилось": 49250, + "▁дискуссии": 49251, + "влялся": 49252, + "▁принята": 49253, + "▁выражается": 49254, + "▁Насколько": 49255, + "▁Солда": 49256, + "▁секрет": 49257, + "▁страницу": 49258, + "метра": 49259, + "вну": 49260, + "▁указание": 49261, + "▁Деся": 49262, + "▁библиотеке": 49263, + "▁гора": 49264, + "соном": 49265, + "▁размышления": 49266, + "торо": 49267, + "▁Этого": 49268, + "▁ПК": 49269, + "рном": 49270, + "▁направлена": 49271, + "▁максимальной": 49272, + "▁Памятник": 49273, + "▁заключалась": 49274, + "▁разговоре": 49275, + "▁Ред": 49276, + "▁морем": 49277, + "фет": 49278, + "▁полагает": 49279, + "▁переми": 49280, + "▁дежу": 49281, + "валер": 49282, + "▁Борисо": 49283, + "▁Данные": 49284, + "▁присутствуют": 49285, + "жел": 49286, + "▁прямоуго": 49287, + "▁гау": 49288, + "▁Йе": 49289, + "▁табле": 49290, + "рог": 49291, + "ште": 49292, + "▁Cult": 49293, + "azon": 49294, + "▁родственники": 49295, + "▁еврейской": 49296, + "другому": 49297, + "▁десятилетий": 49298, + "▁арома": 49299, + "кара": 49300, + "мерика": 49301, + "▁миг": 49302, + "▁Русские": 49303, + "▁широком": 49304, + "сях": 49305, + "довым": 49306, + "ДС": 49307, + "▁рубеже": 49308, + "▁консоли": 49309, + "▁Берлина": 49310, + "▁сопровождении": 49311, + "ведем": 49312, + "▁Помните": 49313, + "▁Камен": 49314, + "▁Причина": 49315, + "▁дальнейшей": 49316, + "▁Турк": 49317, + "▁веках": 49318, + "стрия": 49319, + "бороны": 49320, + "ксикан": 49321, + "▁интересное": 49322, + "▁сессии": 49323, + "▁пнев": 49324, + "▁футбола": 49325, + "▁запустить": 49326, + "▁Браун": 49327, + "▁намест": 49328, + "▁тратить": 49329, + "▁правую": 49330, + "▁Второе": 49331, + "▁долины": 49332, + "▁совпадает": 49333, + "сений": 49334, + "▁перенести": 49335, + "▁Рассмотри": 49336, + "▁Uk": 49337, + "▁местность": 49338, + "тяне": 49339, + "ловину": 49340, + "▁повышенной": 49341, + "▁шансы": 49342, + "▁тари": 49343, + "▁игровой": 49344, + "▁капель": 49345, + "▁передан": 49346, + "▁тулови": 49347, + "▁глубокий": 49348, + "▁нормальной": 49349, + "▁выступала": 49350, + "▁сры": 49351, + "▁рейх": 49352, + "▁Другими": 49353, + "▁серебра": 49354, + "▁Уста": 49355, + "сфаль": 49356, + "сями": 49357, + "▁аноним": 49358, + "▁отте": 49359, + "▁списки": 49360, + "▁выделения": 49361, + "▁молитвы": 49362, + "бон": 49363, + "зируется": 49364, + "▁магнит": 49365, + "▁незадолго": 49366, + "▁фамилию": 49367, + "▁боеприпасов": 49368, + "▁сока": 49369, + "▁Лорен": 49370, + "▁передвига": 49371, + "▁лазер": 49372, + "oln": 49373, + "▁меняет": 49374, + "▁жал": 49375, + "▁состоянием": 49376, + "▁разрешить": 49377, + "▁illust": 49378, + "чивания": 49379, + "▁ставки": 49380, + "▁реви": 49381, + "pir": 49382, + "▁иллюстри": 49383, + "▁уку": 49384, + "▁обле": 49385, + "▁мем": 49386, + "▁канале": 49387, + "▁враги": 49388, + "▁упаков": 49389, + "▁прямых": 49390, + "▁препараты": 49391, + "пон": 49392, + "▁занимали": 49393, + "▁иеро": 49394, + "▁изобрете": 49395, + "▁Прибал": 49396, + "▁забыли": 49397, + "▁спасе": 49398, + "пился": 49399, + "▁занималась": 49400, + "▁морские": 49401, + "▁княги": 49402, + "iary": 49403, + "▁взвода": 49404, + "▁банкро": 49405, + "▁Кы": 49406, + "▁борта": 49407, + "▁обл": 49408, + "▁научным": 49409, + "▁Кари": 49410, + "▁корей": 49411, + "▁меру": 49412, + "дины": 49413, + "▁пенсию": 49414, + "▁Набо": 49415, + "▁Подобные": 49416, + "▁лейтенанта": 49417, + "uled": 49418, + "▁тылу": 49419, + "▁охраня": 49420, + "хаи": 49421, + "▁Немного": 49422, + "▁принц": 49423, + "▁заняты": 49424, + "▁обвинение": 49425, + "▁ужасно": 49426, + "ванные": 49427, + "▁ковар": 49428, + "▁хромо": 49429, + "▁милосер": 49430, + "▁слоем": 49431, + "меда": 49432, + "сового": 49433, + "▁живые": 49434, + "▁учреждение": 49435, + "▁Сток": 49436, + "▁перестали": 49437, + "▁Гол": 49438, + "▁классы": 49439, + "▁госте": 49440, + "▁недово": 49441, + "▁деления": 49442, + "▁сада": 49443, + "нология": 49444, + "▁коробки": 49445, + "▁учащихся": 49446, + "▁Республике": 49447, + "▁полуфина": 49448, + "▁сведениям": 49449, + "▁Капитан": 49450, + "▁Всегда": 49451, + "▁Надеюсь": 49452, + "▁Краснодар": 49453, + "фицировать": 49454, + "тировали": 49455, + "ueens": 49456, + "▁сотрудниками": 49457, + "▁пальцем": 49458, + "армей": 49459, + "▁клубов": 49460, + "ИБ": 49461, + "▁поп": 49462, + "памя": 49463, + "часто": 49464, + "▁историков": 49465, + "дках": 49466, + "▁добрый": 49467, + "Гер": 49468, + "▁вождя": 49469, + "▁выходили": 49470, + "▁телу": 49471, + "тано": 49472, + "▁протокол": 49473, + "▁подготовить": 49474, + "оса": 49475, + "▁границах": 49476, + "▁традиция": 49477, + "испыта": 49478, + "▁конкурсе": 49479, + "▁конди": 49480, + "▁Петер": 49481, + "▁монопо": 49482, + "▁охотни": 49483, + "▁французские": 49484, + "▁Лар": 49485, + "▁повреди": 49486, + "▁советско": 49487, + "▁короче": 49488, + "▁попадают": 49489, + "▁Вокруг": 49490, + "▁подтверждает": 49491, + "▁кнопки": 49492, + "вола": 49493, + "▁Нака": 49494, + "▁Смотри": 49495, + "▁эксперты": 49496, + "ллиан": 49497, + "▁неяс": 49498, + "▁актива": 49499, + "▁течению": 49500, + "▁беженцев": 49501, + "бот": 49502, + "француз": 49503, + "▁медалями": 49504, + "▁интеллекта": 49505, + "▁Самые": 49506, + "▁укро": 49507, + "▁цвету": 49508, + "▁флага": 49509, + "▁Сербии": 49510, + "▁любим": 49511, + "▁искусством": 49512, + "кономии": 49513, + "деров": 49514, + "▁Край": 49515, + "льники": 49516, + "▁Кири": 49517, + "▁штам": 49518, + "каса": 49519, + "▁необходимостью": 49520, + "▁морю": 49521, + "▁Литвы": 49522, + "▁округу": 49523, + "▁предельно": 49524, + "кине": 49525, + "▁невероятно": 49526, + "▁оркестра": 49527, + "▁звер": 49528, + "пеней": 49529, + "▁Абсолю": 49530, + "▁номинации": 49531, + "бес": 49532, + "▁написала": 49533, + "▁костюм": 49534, + "▁Иными": 49535, + "▁юрис": 49536, + "▁клавиа": 49537, + "▁Сав": 49538, + "▁росту": 49539, + "▁вправо": 49540, + "▁полосе": 49541, + "губ": 49542, + "▁синтакси": 49543, + "▁римского": 49544, + "▁Недавно": 49545, + "▁отделом": 49546, + "еть": 49547, + "▁урожай": 49548, + "вело": 49549, + "▁лим": 49550, + "▁хранится": 49551, + "троп": 49552, + "▁Ману": 49553, + "социали": 49554, + "▁благослове": 49555, + "▁плу": 49556, + "▁переименован": 49557, + "▁агрессии": 49558, + "▁революцию": 49559, + "женицы": 49560, + "▁Москвой": 49561, + "лилась": 49562, + "держание": 49563, + "▁продли": 49564, + "▁сомнение": 49565, + "▁успоко": 49566, + "▁созвез": 49567, + "▁отличались": 49568, + "▁разделение": 49569, + "▁доволен": 49570, + "▁шты": 49571, + "▁окружи": 49572, + "▁контракта": 49573, + "▁знакомства": 49574, + "писки": 49575, + "▁тонко": 49576, + "▁преследу": 49577, + "▁Гло": 49578, + "▁попо": 49579, + "▁живёт": 49580, + "▁поменя": 49581, + "ework": 49582, + "▁детского": 49583, + "▁государь": 49584, + "▁остановки": 49585, + "▁старается": 49586, + "▁работающих": 49587, + "▁спектакля": 49588, + "▁сельских": 49589, + "▁воров": 49590, + "тянуть": 49591, + "▁Верховный": 49592, + "▁Нач": 49593, + "партий": 49594, + "▁немцами": 49595, + "▁ящик": 49596, + "▁Яков": 49597, + "плин": 49598, + "▁замед": 49599, + "▁Куй": 49600, + "▁сообще": 49601, + "▁механики": 49602, + "▁гласит": 49603, + "▁монито": 49604, + "▁правосла": 49605, + "▁баллов": 49606, + "▁красных": 49607, + "Союз": 49608, + "▁обостре": 49609, + "кладки": 49610, + "▁вирус": 49611, + "▁приле": 49612, + "фессиона": 49613, + "орт": 49614, + "▁великому": 49615, + "▁пыталась": 49616, + "▁произведён": 49617, + "чивают": 49618, + "▁итоги": 49619, + "▁Храм": 49620, + "▁Юрь": 49621, + "▁сиро": 49622, + "▁астерои": 49623, + "▁ибн": 49624, + "плены": 49625, + "▁Эле": 49626, + "вропей": 49627, + "▁сувере": 49628, + "▁французы": 49629, + "мода": 49630, + "▁военнослужа": 49631, + "▁Черны": 49632, + "▁Свой": 49633, + "▁богаты": 49634, + "кается": 49635, + "иды": 49636, + "тельский": 49637, + "▁многократно": 49638, + "шкина": 49639, + "▁непонятно": 49640, + "вань": 49641, + "рующего": 49642, + "▁дерз": 49643, + "▁возьми": 49644, + "▁ущерба": 49645, + "вшемуся": 49646, + "▁британский": 49647, + "▁Штаты": 49648, + "▁исце": 49649, + "▁осен": 49650, + "▁коменда": 49651, + "▁блюда": 49652, + "тихо": 49653, + "▁мягко": 49654, + "Вла": 49655, + "стона": 49656, + "▁односторон": 49657, + "▁южных": 49658, + "ЛЯ": 49659, + "▁недопусти": 49660, + "Гра": 49661, + "▁меньшин": 49662, + "▁возрастает": 49663, + "▁туберку": 49664, + "▁употребления": 49665, + "▁Хен": 49666, + "▁мио": 49667, + "левский": 49668, + "▁Тебе": 49669, + "▁интересует": 49670, + "▁глубокое": 49671, + "жденные": 49672, + "заций": 49673, + "▁Министров": 49674, + "▁беспри": 49675, + "▁императором": 49676, + "▁определению": 49677, + "▁мощь": 49678, + "▁шире": 49679, + "▁пьесе": 49680, + "ейс": 49681, + "президент": 49682, + "▁грубы": 49683, + "▁сопровождается": 49684, + "▁ставший": 49685, + "▁Сици": 49686, + "▁перес": 49687, + "▁легенды": 49688, + "ряется": 49689, + "▁пятидесяти": 49690, + "▁российским": 49691, + "льца": 49692, + "▁ступ": 49693, + "▁помощника": 49694, + "?»": 49695, + "▁переворота": 49696, + "комму": 49697, + "▁поведением": 49698, + "свобо": 49699, + "▁Хорва": 49700, + "▁праздника": 49701, + "▁свидетелей": 49702, + "▁распространён": 49703, + "▁признает": 49704, + "▁азиат": 49705, + "▁третьим": 49706, + "доры": 49707, + "▁регистри": 49708, + "▁Пода": 49709, + "▁Пой": 49710, + "▁бабо": 49711, + "▁Мура": 49712, + "▁планирования": 49713, + "▁предъяви": 49714, + "ваемое": 49715, + "▁тожде": 49716, + "▁живопись": 49717, + "▁брату": 49718, + "▁Роберта": 49719, + "▁перемены": 49720, + "▁аро": 49721, + "величи": 49722, + "▁оставшихся": 49723, + "новской": 49724, + "▁индика": 49725, + "▁Огром": 49726, + "▁призвал": 49727, + "▁исполнительной": 49728, + "▁обратились": 49729, + "няясь": 49730, + "▁институтов": 49731, + "▁безот": 49732, + "▁Пути": 49733, + "▁легкие": 49734, + "▁присутствия": 49735, + "▁соответствовать": 49736, + "▁мудрости": 49737, + "▁входило": 49738, + "▁прекращения": 49739, + "▁эстра": 49740, + "▁грузин": 49741, + "▁горячей": 49742, + "▁следов": 49743, + "▁Нобелев": 49744, + "▁знака": 49745, + "▁боевиков": 49746, + "▁немедлен": 49747, + "▁содержанию": 49748, + "шней": 49749, + "▁обладать": 49750, + "▁интим": 49751, + "▁выражает": 49752, + "▁игроки": 49753, + "льфа": 49754, + "зывают": 49755, + "▁использованию": 49756, + "▁уходят": 49757, + "Москов": 49758, + "▁Веро": 49759, + "▁правед": 49760, + "ссёр": 49761, + "▁полетов": 49762, + "▁формируется": 49763, + "▁полутора": 49764, + "▁торговля": 49765, + "▁настоящие": 49766, + "▁звонок": 49767, + "бита": 49768, + "▁краски": 49769, + "▁обратном": 49770, + "ницами": 49771, + "▁истина": 49772, + "́ться": 49773, + "гую": 49774, + "▁Помню": 49775, + "▁просу": 49776, + "▁глубина": 49777, + "▁пустой": 49778, + "▁штабе": 49779, + "▁гал": 49780, + "▁отверстия": 49781, + "▁обманы": 49782, + "▁Учитывая": 49783, + "uties": 49784, + "▁отталки": 49785, + "▁разделения": 49786, + "▁предусматривает": 49787, + "влялись": 49788, + "▁греческой": 49789, + "▁клей": 49790, + "▁агра": 49791, + "▁любя": 49792, + "▁конструкция": 49793, + "▁ед": 49794, + "исти": 49795, + "дину": 49796, + "▁осуществление": 49797, + "▁дружбы": 49798, + "ЕС": 49799, + "▁эксперименты": 49800, + "▁постоянных": 49801, + "▁землях": 49802, + "▁Роза": 49803, + "▁греков": 49804, + "▁шокола": 49805, + "▁резонан": 49806, + "▁Относи": 49807, + "▁Снова": 49808, + "▁поддержания": 49809, + "ился": 49810, + "▁выставка": 49811, + "▁Чехословакии": 49812, + "▁внутреннюю": 49813, + "▁месторождения": 49814, + "▁неустой": 49815, + "ванного": 49816, + "▁конвен": 49817, + "▁беспомощ": 49818, + "struction": 49819, + "▁Мно": 49820, + "Совет": 49821, + "▁мск": 49822, + "▁интересам": 49823, + "▁телесериа": 49824, + "▁информационной": 49825, + "▁равной": 49826, + "▁необыкновен": 49827, + "льси": 49828, + "▁изменении": 49829, + "▁черных": 49830, + "▁обязанность": 49831, + "Моло": 49832, + "▁контрреволю": 49833, + "вость": 49834, + "▁подхва": 49835, + "▁крейсер": 49836, + "▁мудре": 49837, + "щимися": 49838, + "▁разной": 49839, + "УР": 49840, + "▁Эрик": 49841, + "▁уметь": 49842, + "▁воспринимать": 49843, + "▁сидят": 49844, + "нцев": 49845, + "▁упражнений": 49846, + "▁риф": 49847, + "▁Команда": 49848, + "▁перемещения": 49849, + "▁жалобы": 49850, + "▁дату": 49851, + "тир": 49852, + "▁южнее": 49853, + "▁Петру": 49854, + "▁безуспе": 49855, + "▁Образ": 49856, + "▁приходили": 49857, + "▁коре": 49858, + "▁интересных": 49859, + "тны": 49860, + "▁поддерживал": 49861, + "▁совершили": 49862, + "▁атак": 49863, + "▁формат": 49864, + "▁процессом": 49865, + "▁сокращение": 49866, + "▁нуля": 49867, + "▁пещ": 49868, + "▁международным": 49869, + "▁Четвер": 49870, + "▁фри": 49871, + "кки": 49872, + "▁щедро": 49873, + "▁плечо": 49874, + "Ал": 49875, + "веда": 49876, + "фельд": 49877, + "▁китайских": 49878, + "▁единственно": 49879, + "iang": 49880, + "▁Санта": 49881, + "▁сократить": 49882, + "▁полицейских": 49883, + "▁Профессор": 49884, + "▁иконы": 49885, + "▁национальные": 49886, + "▁переключа": 49887, + "дря": 49888, + "▁узнает": 49889, + "▁газетах": 49890, + "▁пада": 49891, + "▁взыска": 49892, + "сма": 49893, + "▁Последнее": 49894, + "▁Класси": 49895, + "▁биологии": 49896, + "▁оперативно": 49897, + "▁кажутся": 49898, + "грамо": 49899, + "▁конституции": 49900, + "▁consec": 49901, + "тивному": 49902, + "▁Советская": 49903, + "▁Стэн": 49904, + "▁НЛО": 49905, + "ллинг": 49906, + "▁ожидал": 49907, + "дитесь": 49908, + "▁половой": 49909, + "▁соле": 49910, + "Пра": 49911, + "шов": 49912, + "дельный": 49913, + "▁среднее": 49914, + "▁Возник": 49915, + "▁рекор": 49916, + "ристов": 49917, + "▁видишь": 49918, + "▁Мали": 49919, + "▁уверенности": 49920, + "▁двусторон": 49921, + "▁бру": 49922, + "▁полости": 49923, + "▁переведен": 49924, + "▁белым": 49925, + "▁Семи": 49926, + "▁Marsh": 49927, + "▁лидеры": 49928, + "жор": 49929, + "хро": 49930, + "▁Бое": 49931, + "▁логика": 49932, + "▁среда": 49933, + "▁общему": 49934, + "▁расформи": 49935, + "ИНА": 49936, + "дира": 49937, + "добы": 49938, + "▁Ап": 49939, + "▁покинули": 49940, + "▁массе": 49941, + "▁толщиной": 49942, + "▁поре": 49943, + "▁автору": 49944, + "▁Эми": 49945, + "▁рота": 49946, + "▁включения": 49947, + "▁электромагни": 49948, + "▁прочь": 49949, + "▁Addition": 49950, + "бара": 49951, + "▁влюблен": 49952, + "▁взве": 49953, + "▁значительных": 49954, + "име": 49955, + "▁простая": 49956, + "▁сжи": 49957, + "▁рейтинг": 49958, + "▁октябрь": 49959, + "▁организациями": 49960, + "▁отрез": 49961, + "▁Лай": 49962, + "▁забе": 49963, + "▁военными": 49964, + "миная": 49965, + "жском": 49966, + "▁ограничение": 49967, + "▁князем": 49968, + "страя": 49969, + "▁регион": 49970, + "▁Рассмотрим": 49971, + "▁извлека": 49972, + "▁Развитие": 49973, + "▁сообщают": 49974, + "▁замены": 49975, + "▁сбере": 49976, + "▁потеряла": 49977, + "▁спортивных": 49978, + "▁торговые": 49979, + "▁называлась": 49980, + "▁естественного": 49981, + "сской": 49982, + "▁характере": 49983, + "▁Вячеслав": 49984, + "▁коже": 49985, + "▁Клин": 49986, + "ксов": 49987, + "▁Orig": 49988, + "▁живое": 49989, + "▁аренды": 49990, + "▁чиновники": 49991, + "▁престола": 49992, + "▁Ата": 49993, + "▁оценкам": 49994, + "▁перена": 49995, + "рующая": 49996, + "▁зеркало": 49997, + "▁обыгра": 49998, + "ффа": 49999, + "патри": 50000, + "▁повседневной": 50001, + "▁Вначале": 50002, + "▁выделяется": 50003, + "▁Художе": 50004, + "▁Малень": 50005, + "▁бить": 50006, + "▁называемого": 50007, + "▁коррек": 50008, + "rete": 50009, + "▁уважением": 50010, + "▁равновесия": 50011, + "▁имелись": 50012, + "▁посадку": 50013, + "▁продо": 50014, + "▁князю": 50015, + "видной": 50016, + "▁мужик": 50017, + "▁стихах": 50018, + "▁МИ": 50019, + "▁жени": 50020, + "▁постановки": 50021, + "▁простира": 50022, + "ъяс": 50023, + "▁Предположи": 50024, + "▁образуются": 50025, + "▁тренировки": 50026, + "ёры": 50027, + "▁делаю": 50028, + "▁неведо": 50029, + "▁сборки": 50030, + "▁принесла": 50031, + "▁справедливость": 50032, + "закон": 50033, + "▁смогу": 50034, + "▁СМ": 50035, + "utation": 50036, + "▁агента": 50037, + "▁алгоритм": 50038, + "▁перспективе": 50039, + "▁разнообра": 50040, + "▁крик": 50041, + "▁настойчиво": 50042, + "ragon": 50043, + "▁вооружении": 50044, + "▁постоянный": 50045, + "▁назо": 50046, + "сковой": 50047, + "▁цеп": 50048, + "▁авантю": 50049, + "▁Стю": 50050, + "ловых": 50051, + "▁вздох": 50052, + "▁Северная": 50053, + "▁бомб": 50054, + "▁suppor": 50055, + "▁хит": 50056, + "▁ядерного": 50057, + "▁компонент": 50058, + "▁констати": 50059, + "▁убрать": 50060, + "▁надписи": 50061, + "▁пользы": 50062, + "▁сгоре": 50063, + "▁полагал": 50064, + "▁расположенные": 50065, + "особенно": 50066, + "▁любили": 50067, + "▁течением": 50068, + "балан": 50069, + "зино": 50070, + "▁Италия": 50071, + "▁оператора": 50072, + "гета": 50073, + "▁внутренним": 50074, + "▁варьи": 50075, + "▁преступников": 50076, + "лини": 50077, + "слух": 50078, + "▁целая": 50079, + "▁выявить": 50080, + "▁аргумента": 50081, + "ДД": 50082, + "▁новгород": 50083, + "▁смех": 50084, + "▁благодарность": 50085, + "столюби": 50086, + "▁отдых": 50087, + "▁концепцию": 50088, + "сочета": 50089, + "▁положений": 50090, + "▁передач": 50091, + "▁косвен": 50092, + "▁собеседник": 50093, + "▁индейцев": 50094, + "була": 50095, + "▁приборы": 50096, + "▁сосудов": 50097, + "прови": 50098, + "▁рель": 50099, + "▁газету": 50100, + "▁отврати": 50101, + "характери": 50102, + "▁агро": 50103, + "▁Объек": 50104, + "станций": 50105, + "▁изучении": 50106, + "ченном": 50107, + "▁формировании": 50108, + "лила": 50109, + "▁трон": 50110, + "йтед": 50111, + "▁разряд": 50112, + "▁аква": 50113, + "▁Товари": 50114, + "▁Распу": 50115, + "▁завершить": 50116, + "тинский": 50117, + "рованном": 50118, + "▁однозначно": 50119, + "▁давая": 50120, + "▁реакций": 50121, + "▁ула": 50122, + "▁добычу": 50123, + "ницкий": 50124, + "▁кругах": 50125, + "▁Дополни": 50126, + "каты": 50127, + "феро": 50128, + "▁надежде": 50129, + "▁Пастерна": 50130, + "фар": 50131, + "▁дверей": 50132, + "▁брал": 50133, + "шиф": 50134, + "▁противостоять": 50135, + "▁появиться": 50136, + "▁извер": 50137, + "▁надё": 50138, + "▁Мюн": 50139, + "▁ушёл": 50140, + "▁ориентации": 50141, + "▁воины": 50142, + "▁Харьков": 50143, + "▁политическое": 50144, + "▁Живо": 50145, + "▁почву": 50146, + "pedition": 50147, + "уда": 50148, + "▁посмер": 50149, + "рились": 50150, + "▁диплом": 50151, + "▁расхо": 50152, + "▁посмотрим": 50153, + "▁Посо": 50154, + "▁Франсуа": 50155, + "▁сохраняет": 50156, + "▁мю": 50157, + "▁щен": 50158, + "▁государственную": 50159, + "▁архитектора": 50160, + "▁сжима": 50161, + "▁Российского": 50162, + "▁Лауре": 50163, + "▁старших": 50164, + "▁обеспечивают": 50165, + "▁интеграции": 50166, + "зовывать": 50167, + "▁событиями": 50168, + "rove": 50169, + "▁стерж": 50170, + "▁знакомство": 50171, + "▁практической": 50172, + "▁смысло": 50173, + "▁мексикан": 50174, + "▁Оли": 50175, + "▁Грей": 50176, + "▁Успен": 50177, + "▁Самая": 50178, + "▁древнегре": 50179, + "▁программного": 50180, + "▁кучу": 50181, + "▁мобильных": 50182, + "▁повле": 50183, + "▁героем": 50184, + "▁исторически": 50185, + "▁Вест": 50186, + "зель": 50187, + "▁вертолет": 50188, + "ЕЗ": 50189, + "дость": 50190, + "шила": 50191, + "▁скрыть": 50192, + "лики": 50193, + "▁зеленый": 50194, + "▁прежние": 50195, + "▁стараются": 50196, + "▁вёл": 50197, + "Гц": 50198, + "▁Тверской": 50199, + "▁строение": 50200, + "▁Сон": 50201, + "▁стремления": 50202, + "▁ответов": 50203, + "▁ille": 50204, + "▁крестьянской": 50205, + "▁художником": 50206, + "▁тайну": 50207, + "▁подчеркну": 50208, + "▁сводится": 50209, + "▁значительная": 50210, + "▁беспло": 50211, + "▁прежней": 50212, + "ФЗ": 50213, + "▁воевать": 50214, + "▁богу": 50215, + "▁Артур": 50216, + "чур": 50217, + "▁производят": 50218, + "▁Александру": 50219, + "▁снят": 50220, + "▁заставили": 50221, + "электри": 50222, + "▁предопреде": 50223, + "▁учёных": 50224, + "▁распра": 50225, + "▁ладно": 50226, + "▁конденса": 50227, + "▁уклады": 50228, + "▁характером": 50229, + "▁пояса": 50230, + "▁задать": 50231, + "дс": 50232, + "▁конструкций": 50233, + "женном": 50234, + "▁Тбили": 50235, + "▁желанием": 50236, + "▁спаль": 50237, + "▁прямые": 50238, + "ьян": 50239, + "▁электронных": 50240, + "▁любителей": 50241, + "▁разбор": 50242, + "рба": 50243, + "▁двоих": 50244, + "Пред": 50245, + "▁судебной": 50246, + "▁досро": 50247, + "▁рубеж": 50248, + "▁перенес": 50249, + "▁влево": 50250, + "▁германской": 50251, + "▁показывать": 50252, + "▁местный": 50253, + "▁секции": 50254, + "▁бирже": 50255, + "▁важность": 50256, + "▁развиваются": 50257, + "flib": 50258, + "▁Появи": 50259, + "▁покро": 50260, + "▁отзывы": 50261, + "▁памятники": 50262, + "▁сделана": 50263, + "ционеры": 50264, + "▁Неболь": 50265, + "▁интона": 50266, + "▁исправи": 50267, + "▁водорода": 50268, + "▁Сухо": 50269, + "▁яд": 50270, + "стически": 50271, + "ланда": 50272, + "НОСТ": 50273, + "▁ядерной": 50274, + "▁синтеза": 50275, + "▁судебных": 50276, + "▁реализацию": 50277, + "▁ожидании": 50278, + "товое": 50279, + "мь": 50280, + "▁Чин": 50281, + "цки": 50282, + "▁нанес": 50283, + "▁центральных": 50284, + "▁спасение": 50285, + "▁единое": 50286, + "▁материальной": 50287, + "черки": 50288, + "▁Дмитриевич": 50289, + "▁германских": 50290, + "▁танце": 50291, + "▁зубов": 50292, + "▁пятна": 50293, + "▁приводя": 50294, + "▁Джим": 50295, + "▁мастерской": 50296, + "▁Бла": 50297, + "▁кристалли": 50298, + "▁колла": 50299, + "▁сообщал": 50300, + "ДП": 50301, + "техники": 50302, + "▁советов": 50303, + "▁страхов": 50304, + "▁авиационного": 50305, + "▁зерно": 50306, + "▁умом": 50307, + "▁уменьшается": 50308, + "рях": 50309, + "▁претенден": 50310, + "▁окне": 50311, + "▁называемая": 50312, + "лени": 50313, + "▁штука": 50314, + "▁вибра": 50315, + "▁парадокса": 50316, + "▁встать": 50317, + "▁заключению": 50318, + "▁ресторан": 50319, + "▁припа": 50320, + "зят": 50321, + "▁сгу": 50322, + "Пла": 50323, + "Стра": 50324, + "▁Съ": 50325, + "▁удли": 50326, + "▁Васильев": 50327, + "▁открытого": 50328, + "▁пош": 50329, + "▁Сою": 50330, + "▁бояться": 50331, + "▁звуко": 50332, + "▁увидите": 50333, + "▁Великобритания": 50334, + "▁предупреждения": 50335, + "нео": 50336, + "▁модуль": 50337, + "▁Льва": 50338, + "▁заодно": 50339, + "риат": 50340, + "▁характерны": 50341, + "▁византий": 50342, + "▁прочее": 50343, + "▁тяжелый": 50344, + "▁достигается": 50345, + "▁климата": 50346, + "▁знакоми": 50347, + "тях": 50348, + "живания": 50349, + "▁запросов": 50350, + "жон": 50351, + "▁Ол": 50352, + "правление": 50353, + "▁суждено": 50354, + "▁выросла": 50355, + "▁обыден": 50356, + "▁Медведев": 50357, + "▁усе": 50358, + "▁старости": 50359, + "льцы": 50360, + "стит": 50361, + "▁этажа": 50362, + "▁днях": 50363, + "скрип": 50364, + "▁помогал": 50365, + "▁выры": 50366, + "После": 50367, + "▁somew": 50368, + "торных": 50369, + "▁достижений": 50370, + "▁возможной": 50371, + "▁Реги": 50372, + "▁объединя": 50373, + "▁познакомиться": 50374, + "▁общин": 50375, + "▁ОП": 50376, + "▁партнеров": 50377, + "▁разом": 50378, + "▁установленных": 50379, + "▁уровню": 50380, + "▁революционной": 50381, + "▁Сне": 50382, + "▁провода": 50383, + "▁Смерть": 50384, + "▁занимать": 50385, + "▁жаль": 50386, + "▁фарма": 50387, + "▁западного": 50388, + "▁дешевле": 50389, + "щах": 50390, + "▁упразднён": 50391, + "▁лого": 50392, + "▁Программа": 50393, + "байка": 50394, + "▁мужу": 50395, + "носятся": 50396, + "▁завоевания": 50397, + "летом": 50398, + "▁Игна": 50399, + "▁Иран": 50400, + "▁прегра": 50401, + "▁ключи": 50402, + "▁Лук": 50403, + "▁раны": 50404, + "▁Баш": 50405, + "▁моск": 50406, + "▁неа": 50407, + "женер": 50408, + "▁привед": 50409, + "▁определении": 50410, + "▁отдельными": 50411, + "▁канц": 50412, + "▁звуков": 50413, + "▁управлению": 50414, + "▁давай": 50415, + "▁ближайших": 50416, + "▁музыкального": 50417, + "▁Уа": 50418, + "знец": 50419, + "арт": 50420, + "▁обнаруживает": 50421, + "▁Мира": 50422, + "▁неограни": 50423, + "▁прони": 50424, + "▁счастлив": 50425, + "▁прошлой": 50426, + "вавшие": 50427, + "смер": 50428, + "▁подойти": 50429, + "ВС": 50430, + "▁заблоки": 50431, + "▁Португалии": 50432, + "▁Зву": 50433, + "▁убитых": 50434, + "▁обмо": 50435, + "▁электроэнергии": 50436, + "▁недове": 50437, + "▁равновеси": 50438, + "листов": 50439, + "▁комбини": 50440, + "▁ножом": 50441, + "▁интерпретации": 50442, + "▁десятка": 50443, + "▁летчик": 50444, + "▁улицам": 50445, + "▁дошли": 50446, + "▁знакомые": 50447, + "▁музыкальный": 50448, + "▁Матве": 50449, + "▁продукцию": 50450, + "▁уходить": 50451, + "itants": 50452, + "▁Вполне": 50453, + "rack": 50454, + "▁Шах": 50455, + "▁усу": 50456, + "▁продолжения": 50457, + "▁пома": 50458, + "▁народные": 50459, + "▁вступает": 50460, + "▁рем": 50461, + "▁Куту": 50462, + "▁Кому": 50463, + "▁врачом": 50464, + "▁Мило": 50465, + "▁исследовать": 50466, + "▁чистого": 50467, + "▁высочай": 50468, + "▁доброво": 50469, + "▁Плу": 50470, + "▁баро": 50471, + "▁Департа": 50472, + "▁квадратных": 50473, + "▁набрал": 50474, + "▁виден": 50475, + "▁возможны": 50476, + "▁Эдуард": 50477, + "▁модернизации": 50478, + "▁таки": 50479, + "▁позор": 50480, + "пович": 50481, + "▁сравнение": 50482, + "▁коалиции": 50483, + "▁Виш": 50484, + "▁сыграли": 50485, + "чься": 50486, + "▁вызова": 50487, + "▁родом": 50488, + "▁итальянского": 50489, + "▁подполковник": 50490, + "ёнок": 50491, + "▁Хоть": 50492, + "вз": 50493, + "Авто": 50494, + "▁Леви": 50495, + "▁способствовать": 50496, + "социаль": 50497, + "▁расход": 50498, + "▁запросы": 50499, + "довской": 50500, + "ructure": 50501, + "▁Александром": 50502, + "▁возобно": 50503, + "▁ритуаль": 50504, + "etts": 50505, + "западной": 50506, + "▁Республика": 50507, + "▁пропу": 50508, + "▁Южно": 50509, + "▁визита": 50510, + "▁пир": 50511, + "▁акционер": 50512, + "▁Ивановна": 50513, + "▁акты": 50514, + "листы": 50515, + "▁Рузве": 50516, + "▁британских": 50517, + "▁подсо": 50518, + "▁беспоща": 50519, + "▁редактором": 50520, + "▁выреза": 50521, + "▁книгой": 50522, + "▁расширить": 50523, + "▁Понима": 50524, + "flibusta": 50525, + "▁Русского": 50526, + "рится": 50527, + "▁эпоха": 50528, + "▁мощи": 50529, + "▁Мадри": 50530, + "▁пласт": 50531, + "▁Кё": 50532, + "скопа": 50533, + "тируя": 50534, + "▁депутаты": 50535, + "▁соответствующим": 50536, + "▁ирони": 50537, + "▁решился": 50538, + "▁лечении": 50539, + "▁старым": 50540, + "▁употребление": 50541, + "▁задолго": 50542, + "▁ветери": 50543, + "▁заведений": 50544, + "▁нужд": 50545, + "▁победой": 50546, + "деятельности": 50547, + "ВМ": 50548, + "ourney": 50549, + "тк": 50550, + "▁патриоти": 50551, + "▁аук": 50552, + "▁сложным": 50553, + "▁широкую": 50554, + "▁империя": 50555, + "▁Звезда": 50556, + "▁войсках": 50557, + "▁компьютеров": 50558, + "▁лоя": 50559, + "▁издал": 50560, + "▁Обладатель": 50561, + "▁Чехов": 50562, + "▁длительное": 50563, + "▁младшего": 50564, + "▁возвышен": 50565, + "дере": 50566, + "▁автоно": 50567, + "▁новость": 50568, + "▁отказалась": 50569, + "▁издательства": 50570, + "▁секс": 50571, + "▁верность": 50572, + "▁палом": 50573, + "▁сторонники": 50574, + "▁выбрали": 50575, + "▁хозяйств": 50576, + "▁ученики": 50577, + "▁региональных": 50578, + "▁Расстояние": 50579, + "▁разное": 50580, + "ническое": 50581, + "говая": 50582, + "чаться": 50583, + "▁построили": 50584, + "▁Совершенно": 50585, + "▁кадра": 50586, + "▁Остро": 50587, + "▁кафедрой": 50588, + "▁спрос": 50589, + "▁новорожден": 50590, + "▁Юлия": 50591, + "▁вытека": 50592, + "▁Отто": 50593, + "▁встретили": 50594, + "▁установление": 50595, + "▁пролетариата": 50596, + "▁обитания": 50597, + "▁силам": 50598, + "▁этапах": 50599, + "▁точность": 50600, + "▁буй": 50601, + "надцатого": 50602, + "▁предполагается": 50603, + "доступ": 50604, + "▁отделении": 50605, + "▁предводи": 50606, + "▁наркома": 50607, + "▁Мала": 50608, + "лёв": 50609, + "▁погибло": 50610, + "▁Вороши": 50611, + "▁разбу": 50612, + "▁Пье": 50613, + "▁доклады": 50614, + "нси": 50615, + "▁Гаври": 50616, + "▁отклик": 50617, + "▁Законо": 50618, + "шние": 50619, + "▁Депута": 50620, + "▁скле": 50621, + "▁Западного": 50622, + "▁Давы": 50623, + "▁тонкой": 50624, + "▁глубокие": 50625, + "▁пунктом": 50626, + "▁пункте": 50627, + "▁действ": 50628, + "ствовавших": 50629, + "ОТ": 50630, + "▁оказывают": 50631, + "▁дожида": 50632, + "▁запер": 50633, + "плен": 50634, + "▁исчезли": 50635, + "▁секретар": 50636, + "▁похожа": 50637, + "▁опозда": 50638, + "▁республике": 50639, + "▁угрожа": 50640, + "▁исключение": 50641, + "▁лежали": 50642, + "▁Призна": 50643, + "▁мирного": 50644, + "▁прямое": 50645, + "▁немецкими": 50646, + "▁происхождении": 50647, + "▁эфире": 50648, + "щееся": 50649, + "▁принимала": 50650, + "▁опытный": 50651, + "▁ином": 50652, + "▁итог": 50653, + "пустим": 50654, + "▁принадлежность": 50655, + "▁Никита": 50656, + "видные": 50657, + "▁Краснояр": 50658, + "▁удаления": 50659, + "▁улыбкой": 50660, + "▁испытывать": 50661, + "▁натри": 50662, + "▁очередного": 50663, + "▁Таи": 50664, + "плет": 50665, + "▁Буда": 50666, + "▁превратилась": 50667, + "ровав": 50668, + "▁Лоу": 50669, + "▁лауреа": 50670, + "avig": 50671, + "▁капли": 50672, + "▁архив": 50673, + "зированный": 50674, + "▁находим": 50675, + "▁возможностями": 50676, + "лас": 50677, + "▁печи": 50678, + "▁устранить": 50679, + "▁проголосо": 50680, + "▁непред": 50681, + "▁естественной": 50682, + "▁ай": 50683, + "▁Дека": 50684, + "▁общении": 50685, + "▁продолжалось": 50686, + "▁банке": 50687, + "▁кадры": 50688, + "▁предусмотрен": 50689, + "▁монаше": 50690, + "▁ночной": 50691, + "офф": 50692, + "следует": 50693, + "▁штук": 50694, + "▁служб": 50695, + "хия": 50696, + "▁жалова": 50697, + "▁стоимо": 50698, + "▁полуостро": 50699, + "▁различной": 50700, + "▁нынешней": 50701, + "неру": 50702, + "▁Фила": 50703, + "зки": 50704, + "tical": 50705, + "▁сквер": 50706, + "нцы": 50707, + "▁заблуждение": 50708, + "▁индивидуальных": 50709, + "▁сорат": 50710, + "▁Кремля": 50711, + "▁нова": 50712, + "▁фракции": 50713, + "▁общежи": 50714, + "▁красным": 50715, + "▁Индоне": 50716, + "▁Рэ": 50717, + "зида": 50718, + "▁различного": 50719, + "▁Сибирь": 50720, + "▁Красную": 50721, + "▁реальном": 50722, + "▁Рио": 50723, + "▁служащих": 50724, + "РК": 50725, + "▁зрителя": 50726, + "ставки": 50727, + "гле": 50728, + "▁диско": 50729, + "▁Гим": 50730, + "▁поддерживают": 50731, + "▁Ваше": 50732, + "▁спроса": 50733, + "▁запасов": 50734, + "▁даром": 50735, + "▁Меха": 50736, + "▁классу": 50737, + "▁администрация": 50738, + "▁Богородицы": 50739, + "после": 50740, + "нна": 50741, + "ПП": 50742, + "▁летчики": 50743, + "▁устоя": 50744, + "▁мотивам": 50745, + "▁кипе": 50746, + "▁землев": 50747, + "▁адвокат": 50748, + "▁уничтожил": 50749, + "▁направился": 50750, + "▁descript": 50751, + "▁орна": 50752, + "жко": 50753, + "▁гравита": 50754, + "▁владельцев": 50755, + "▁пользования": 50756, + "▁исследованиях": 50757, + "▁Действие": 50758, + "▁дресси": 50759, + "▁Уай": 50760, + "▁синхрони": 50761, + "▁жалу": 50762, + "▁выдающихся": 50763, + "▁преследования": 50764, + "▁сопря": 50765, + "▁некоторого": 50766, + "▁Шей": 50767, + "▁извне": 50768, + "▁господа": 50769, + "Бер": 50770, + "▁экстреми": 50771, + "мерно": 50772, + "▁Северном": 50773, + "мел": 50774, + "▁центру": 50775, + "▁Сталину": 50776, + "мага": 50777, + "▁персонажи": 50778, + "▁Ква": 50779, + "▁мужчину": 50780, + "дово": 50781, + "▁погоды": 50782, + "▁летопи": 50783, + "▁доставить": 50784, + "▁именами": 50785, + "▁Виталий": 50786, + "▁Положение": 50787, + "▁боюсь": 50788, + "жусь": 50789, + "▁придумал": 50790, + "▁контакта": 50791, + "▁международные": 50792, + "▁полицию": 50793, + "▁зана": 50794, + "▁едет": 50795, + "▁выши": 50796, + "▁проявил": 50797, + "▁девочек": 50798, + "▁сантиметров": 50799, + "▁повествования": 50800, + "▁спя": 50801, + "чатый": 50802, + "▁обой": 50803, + "▁грозит": 50804, + "▁химической": 50805, + "приз": 50806, + "▁пива": 50807, + "▁поси": 50808, + "▁Хуан": 50809, + "лейтенан": 50810, + "▁фортепи": 50811, + "▁отдавать": 50812, + "чине": 50813, + "▁населенных": 50814, + "▁умеют": 50815, + "бою": 50816, + "▁убиты": 50817, + "▁посещения": 50818, + "▁редактора": 50819, + "▁плата": 50820, + "▁заработной": 50821, + "няков": 50822, + "▁чужих": 50823, + "▁Горо": 50824, + "▁помните": 50825, + "▁Гин": 50826, + "стическими": 50827, + "лизация": 50828, + "▁детские": 50829, + "▁нахождения": 50830, + "▁Ленинградского": 50831, + "коммуни": 50832, + "▁благочести": 50833, + "мчу": 50834, + "толе": 50835, + "▁польских": 50836, + "тируют": 50837, + "▁судоро": 50838, + "▁расчета": 50839, + "▁составляющих": 50840, + "▁спутников": 50841, + "▁чье": 50842, + "▁положительные": 50843, + "▁выпить": 50844, + "▁бумагу": 50845, + "▁головной": 50846, + "коммен": 50847, + "▁Нидерландов": 50848, + "▁располагаются": 50849, + "▁Прото": 50850, + "▁соавто": 50851, + "▁сугу": 50852, + "▁эсмин": 50853, + "▁креста": 50854, + "▁причу": 50855, + "▁орудие": 50856, + "пам": 50857, + "▁ФСБ": 50858, + "▁Секре": 50859, + "▁Суть": 50860, + "▁футбол": 50861, + "▁Нару": 50862, + "летнюю": 50863, + "третьих": 50864, + "▁позволила": 50865, + "▁находящиеся": 50866, + "эна": 50867, + "▁метрах": 50868, + "▁свидетельству": 50869, + "убий": 50870, + "▁создавая": 50871, + "▁Центральный": 50872, + "▁вслух": 50873, + "стят": 50874, + "▁дается": 50875, + "▁содержимое": 50876, + "жими": 50877, + "▁сосла": 50878, + "▁держав": 50879, + "▁ученым": 50880, + "▁doct": 50881, + "брю": 50882, + "▁дозво": 50883, + "▁Другая": 50884, + "ЗА": 50885, + "▁Новое": 50886, + "▁сделав": 50887, + "льмо": 50888, + "зовой": 50889, + "сяга": 50890, + "▁Суб": 50891, + "зиться": 50892, + "▁ссылку": 50893, + "intend": 50894, + "коричне": 50895, + "ханов": 50896, + "полага": 50897, + "▁Кирилл": 50898, + "хота": 50899, + "▁нужным": 50900, + "▁упала": 50901, + "вободи": 50902, + "▁ложка": 50903, + "▁упражнение": 50904, + "▁чин": 50905, + "▁постов": 50906, + "▁Путь": 50907, + "▁мотив": 50908, + "раж": 50909, + "▁закуп": 50910, + "▁возможного": 50911, + "▁урок": 50912, + "▁пытаться": 50913, + "▁кукуру": 50914, + "▁достига": 50915, + "▁Увы": 50916, + "зировал": 50917, + "шкам": 50918, + "▁торжественно": 50919, + "лор": 50920, + "▁крылья": 50921, + "▁внутренняя": 50922, + "▁Полков": 50923, + "restling": 50924, + "ложите": 50925, + "▁грязи": 50926, + "▁характеру": 50927, + "▁характерные": 50928, + "транспорт": 50929, + "▁Князь": 50930, + "ровень": 50931, + "▁противоречит": 50932, + "льские": 50933, + "▁важности": 50934, + "▁посвятил": 50935, + "▁надлежа": 50936, + "▁Вид": 50937, + "▁переклю": 50938, + "▁ЦСКА": 50939, + "ггер": 50940, + "▁добросовест": 50941, + "▁изложен": 50942, + "▁фотографий": 50943, + "мето": 50944, + "▁ленты": 50945, + "которое": 50946, + "▁ГЭС": 50947, + "▁гипотезы": 50948, + "Кни": 50949, + "▁розни": 50950, + "▁возможное": 50951, + "▁атаковать": 50952, + "▁походе": 50953, + "▁напомнил": 50954, + "▁окружение": 50955, + "▁обсудить": 50956, + "▁переска": 50957, + "▁Вильгельм": 50958, + "▁ГДР": 50959, + "▁Бона": 50960, + "▁странным": 50961, + "тировала": 50962, + "только": 50963, + "▁Ден": 50964, + "▁деса": 50965, + "▁составу": 50966, + "теи": 50967, + "▁пута": 50968, + "▁известное": 50969, + "▁асфаль": 50970, + "▁жителями": 50971, + "▁Авра": 50972, + "▁Имеет": 50973, + "▁двою": 50974, + "действие": 50975, + "▁западное": 50976, + "▁мера": 50977, + "▁тыл": 50978, + "▁мировую": 50979, + "ЕНИЯ": 50980, + "▁ритм": 50981, + "▁картинки": 50982, + "▁график": 50983, + "▁выражением": 50984, + "▁испытывал": 50985, + "▁Рос": 50986, + "▁генери": 50987, + "Ат": 50988, + "▁Энд": 50989, + "лз": 50990, + "▁Литера": 50991, + "▁послать": 50992, + "▁важны": 50993, + "▁протокола": 50994, + "▁слобо": 50995, + "▁конфликты": 50996, + "▁Вай": 50997, + "▁Ближай": 50998, + "ничать": 50999, + "▁санкций": 51000, + "▁назывался": 51001, + "▁побывал": 51002, + "▁переехала": 51003, + "▁культурно": 51004, + "achus": 51005, + "▁паспорт": 51006, + "▁корпусе": 51007, + "▁относят": 51008, + "▁элементом": 51009, + "▁почи": 51010, + "▁исключено": 51011, + "пытно": 51012, + "▁королем": 51013, + "▁совершает": 51014, + "▁водителя": 51015, + "▁расшиф": 51016, + "▁польский": 51017, + "▁пациент": 51018, + "▁стремиться": 51019, + "▁английским": 51020, + "▁предложением": 51021, + "шайте": 51022, + "▁Подобно": 51023, + "Ча": 51024, + "▁Васили": 51025, + "▁метрополи": 51026, + "▁Украинской": 51027, + "▁растор": 51028, + "▁авиакомпании": 51029, + "▁самолете": 51030, + "▁усмотре": 51031, + "восточной": 51032, + "▁авиационный": 51033, + "зила": 51034, + "▁трактов": 51035, + "бру": 51036, + "▁Эффек": 51037, + "▁округов": 51038, + "штадт": 51039, + "▁западные": 51040, + "▁близким": 51041, + "▁хе": 51042, + "▁холе": 51043, + "▁молодежь": 51044, + "▁высокими": 51045, + "▁активного": 51046, + "▁доски": 51047, + "сети": 51048, + "▁Фрэ": 51049, + "atab": 51050, + "▁Елизавета": 51051, + "▁надле": 51052, + "▁Тимофе": 51053, + "▁Ани": 51054, + "▁коз": 51055, + "▁Оне": 51056, + "▁родного": 51057, + "olec": 51058, + "▁любимой": 51059, + "▁пота": 51060, + "▁президенту": 51061, + "▁офис": 51062, + "▁взглянуть": 51063, + "▁фронтах": 51064, + "▁Вернувшись": 51065, + "▁шума": 51066, + "▁реклама": 51067, + "▁начи": 51068, + "▁свободный": 51069, + "▁аэропорту": 51070, + "▁ща": 51071, + "вателя": 51072, + "▁завершил": 51073, + "▁дань": 51074, + "дского": 51075, + "совая": 51076, + "▁овощи": 51077, + "Дон": 51078, + "ройте": 51079, + "эти": 51080, + "▁Рю": 51081, + "▁запя": 51082, + "▁кампанию": 51083, + "жечь": 51084, + "▁корзи": 51085, + "▁сесть": 51086, + "▁женщинами": 51087, + "▁ладони": 51088, + "▁лицензии": 51089, + "русски": 51090, + "таркти": 51091, + "▁слушал": 51092, + "▁просвет": 51093, + "▁знаменитой": 51094, + "▁кадро": 51095, + "▁сконча": 51096, + "Рас": 51097, + "▁оспари": 51098, + "стаби": 51099, + "▁хозяев": 51100, + "▁Русская": 51101, + "incoln": 51102, + "▁предпочитают": 51103, + "формации": 51104, + "▁жемчу": 51105, + "▁начнут": 51106, + "▁экспор": 51107, + "▁слю": 51108, + "▁возбуждения": 51109, + "▁стенки": 51110, + "▁опубликована": 51111, + "▁выно": 51112, + "▁житель": 51113, + "▁селек": 51114, + "▁живем": 51115, + "▁Последняя": 51116, + "▁гармонии": 51117, + "хую": 51118, + "▁доска": 51119, + "hips": 51120, + "▁Комитет": 51121, + "▁приключения": 51122, + "▁Тело": 51123, + "▁юноша": 51124, + "▁Зев": 51125, + "▁иерархии": 51126, + "▁горло": 51127, + "▁реестра": 51128, + "▁Едва": 51129, + "▁обособ": 51130, + "▁западном": 51131, + "ленапра": 51132, + "Еди": 51133, + "▁Каспи": 51134, + "ческо": 51135, + "▁давала": 51136, + "▁оставля": 51137, + "▁начальной": 51138, + "▁Скончался": 51139, + "▁национальную": 51140, + "▁монумента": 51141, + "▁окраине": 51142, + "▁женских": 51143, + "чало": 51144, + "osl": 51145, + "▁пустыне": 51146, + "▁мудрость": 51147, + "платель": 51148, + "сать": 51149, + "▁мифа": 51150, + "▁стрелять": 51151, + "▁открытии": 51152, + "▁шага": 51153, + "▁сложность": 51154, + "▁мни": 51155, + "▁скопи": 51156, + "честер": 51157, + "▁молекулы": 51158, + "экс": 51159, + "▁молекуляр": 51160, + "▁положительно": 51161, + "▁Василье": 51162, + "строены": 51163, + "▁темой": 51164, + "▁Пин": 51165, + "диг": 51166, + "▁впадает": 51167, + "сталь": 51168, + "▁приведены": 51169, + "▁вдохнов": 51170, + "добие": 51171, + "фанта": 51172, + "▁склонны": 51173, + "▁поддержал": 51174, + "-\"": 51175, + "▁экономии": 51176, + "▁неудовлет": 51177, + "▁ВА": 51178, + "▁польской": 51179, + "▁упоминание": 51180, + "▁немецко": 51181, + "▁строится": 51182, + "▁конфигурации": 51183, + "Чу": 51184, + "▁родном": 51185, + "▁думала": 51186, + "эра": 51187, + "▁партнё": 51188, + "▁закончить": 51189, + "нениями": 51190, + "▁символы": 51191, + "▁катор": 51192, + "▁пешком": 51193, + "▁проникнуть": 51194, + "▁оду": 51195, + "▁степи": 51196, + "образных": 51197, + "▁охватывает": 51198, + "▁подключения": 51199, + "▁Алексеев": 51200, + "▁королевской": 51201, + "ченно": 51202, + "▁психиатри": 51203, + "▁записал": 51204, + "▁взяв": 51205, + "▁социологи": 51206, + "▁императрицы": 51207, + "▁управлен": 51208, + "▁сепара": 51209, + "▁искали": 51210, + "▁металлурги": 51211, + "волнова": 51212, + "жания": 51213, + "▁тысячелетия": 51214, + "▁имелось": 51215, + "грамми": 51216, + "▁близок": 51217, + "ганы": 51218, + "шедшего": 51219, + "▁взамен": 51220, + "Вол": 51221, + "▁прокуратуры": 51222, + "серы": 51223, + "▁левую": 51224, + "rine": 51225, + "конференции": 51226, + "воци": 51227, + "▁потоков": 51228, + "гат": 51229, + "▁Армия": 51230, + "мак": 51231, + "▁желал": 51232, + "▁проблемати": 51233, + "▁Порошенко": 51234, + "▁суду": 51235, + "▁документе": 51236, + "▁столетий": 51237, + "▁зимы": 51238, + "▁Саша": 51239, + "enna": 51240, + "валы": 51241, + "▁Малой": 51242, + "▁психики": 51243, + "▁раствор": 51244, + "▁морфо": 51245, + "▁настраи": 51246, + "▁утом": 51247, + "▁Представьте": 51248, + "▁баланс": 51249, + "найтед": 51250, + "любо": 51251, + "▁виноват": 51252, + "▁страдает": 51253, + "▁экрани": 51254, + "▁Рафа": 51255, + "Мир": 51256, + "▁палео": 51257, + "▁приказом": 51258, + "нутых": 51259, + "▁билет": 51260, + "▁железная": 51261, + "сенко": 51262, + "▁кислород": 51263, + "▁признали": 51264, + "▁берегах": 51265, + "▁Канаде": 51266, + "▁дополнительный": 51267, + "▁Дзер": 51268, + "▁этапов": 51269, + "▁вражеских": 51270, + "▁прояс": 51271, + "▁напоминают": 51272, + "▁Учился": 51273, + "зеро": 51274, + "ъемле": 51275, + "▁возлага": 51276, + "логию": 51277, + "▁авиация": 51278, + "▁правовой": 51279, + "яна": 51280, + "лённый": 51281, + "▁развра": 51282, + "▁Самым": 51283, + "▁физическое": 51284, + "▁Получив": 51285, + "▁млекопитающих": 51286, + "▁дубли": 51287, + "▁держаться": 51288, + "▁неудачи": 51289, + "англий": 51290, + "▁разду": 51291, + "▁остано": 51292, + "класси": 51293, + "▁отмени": 51294, + "▁почувствовать": 51295, + "▁отреза": 51296, + "▁ищут": 51297, + "градской": 51298, + "▁руга": 51299, + "лели": 51300, + "▁варе": 51301, + "▁разыгры": 51302, + "▁пьян": 51303, + "▁ногой": 51304, + "▁составлять": 51305, + "▁вин": 51306, + "ленном": 51307, + "▁опозна": 51308, + "меном": 51309, + "▁выплаты": 51310, + "▁закрыт": 51311, + "▁выстраи": 51312, + "▁слепо": 51313, + "▁трамвай": 51314, + "▁владеет": 51315, + "▁извра": 51316, + "▁песок": 51317, + "▁джу": 51318, + "▁космоса": 51319, + "коен": 51320, + "кент": 51321, + "▁сложная": 51322, + "▁огур": 51323, + "▁дисло": 51324, + "▁нужные": 51325, + "▁индустрии": 51326, + "линской": 51327, + "▁недостатков": 51328, + "системы": 51329, + "▁соз": 51330, + "▁согласились": 51331, + "▁шну": 51332, + "▁Совсем": 51333, + "▁лишен": 51334, + "▁социальный": 51335, + "казывает": 51336, + "▁ежемеся": 51337, + "▁нелов": 51338, + "▁французским": 51339, + "▁ощути": 51340, + "▁делегации": 51341, + "бби": 51342, + "▁Витеб": 51343, + "▁периоде": 51344, + "▁английские": 51345, + "шоу": 51346, + "кало": 51347, + "▁Социаль": 51348, + "▁продолжалась": 51349, + "▁проведены": 51350, + "▁степенью": 51351, + "▁юмо": 51352, + "▁выклю": 51353, + "▁бытие": 51354, + "▁Солженицы": 51355, + "▁Тен": 51356, + "▁сменил": 51357, + "▁фестиваль": 51358, + "▁холод": 51359, + "товую": 51360, + "▁экономику": 51361, + "много": 51362, + "▁Исклю": 51363, + "чивым": 51364, + "▁рыболов": 51365, + "▁выдающиеся": 51366, + "▁Игоря": 51367, + "▁интересный": 51368, + "▁молекул": 51369, + "керов": 51370, + "▁располагались": 51371, + "▁быстры": 51372, + "▁называться": 51373, + "ласти": 51374, + "▁просмотра": 51375, + "▁курсов": 51376, + "▁расы": 51377, + "шину": 51378, + "▁изнача": 51379, + "▁дальнейших": 51380, + "юры": 51381, + "▁Похоже": 51382, + "▁разговаривать": 51383, + "▁оставляя": 51384, + "▁Служ": 51385, + "▁противнику": 51386, + "▁глупы": 51387, + "▁подростков": 51388, + "летним": 51389, + "▁беседу": 51390, + "Пет": 51391, + "▁фильтра": 51392, + "▁студент": 51393, + "▁влияют": 51394, + "гнув": 51395, + "▁партией": 51396, + "▁Попробу": 51397, + "▁бродя": 51398, + "шник": 51399, + "▁рыцар": 51400, + "▁напр": 51401, + "▁популярности": 51402, + "▁заграни": 51403, + "▁некоего": 51404, + "▁среднюю": 51405, + "шится": 51406, + "гового": 51407, + "▁Валентина": 51408, + "▁литературо": 51409, + "▁Аркти": 51410, + "▁измерений": 51411, + "▁терпеть": 51412, + "▁преоблада": 51413, + "▁разгля": 51414, + "хлад": 51415, + "▁удивление": 51416, + "▁обсуждать": 51417, + "▁опасных": 51418, + "▁консерватории": 51419, + "▁редких": 51420, + "▁бояр": 51421, + "Жиз": 51422, + "▁видение": 51423, + "▁политикой": 51424, + "́в": 51425, + "могу": 51426, + "▁вакан": 51427, + "щикам": 51428, + "▁гибри": 51429, + "▁передали": 51430, + "▁петь": 51431, + "▁розыгры": 51432, + "Гор": 51433, + "▁Пове": 51434, + "▁башня": 51435, + "▁социальная": 51436, + "▁четвертый": 51437, + "▁несло": 51438, + "▁Фро": 51439, + "▁начинали": 51440, + "ссамбле": 51441, + "▁этаж": 51442, + "▁пароход": 51443, + "▁признается": 51444, + "▁сроком": 51445, + "▁Оренбург": 51446, + "▁яйцо": 51447, + "▁подальше": 51448, + "▁оф": 51449, + "▁клубы": 51450, + "▁WW": 51451, + "▁глубокого": 51452, + "▁присваи": 51453, + "▁стена": 51454, + "▁вклады": 51455, + "▁полете": 51456, + "▁наследство": 51457, + "▁Сэм": 51458, + "!),": 51459, + "▁коммуны": 51460, + "▁общеприня": 51461, + "▁ГО": 51462, + "▁dipl": 51463, + "▁устанавливать": 51464, + "▁европейского": 51465, + "летие": 51466, + "▁зажига": 51467, + "▁летать": 51468, + "▁Красная": 51469, + "▁данную": 51470, + "▁Пас": 51471, + "▁способных": 51472, + "▁выступая": 51473, + "▁буржуазии": 51474, + "▁Некра": 51475, + "ъюнк": 51476, + "олока": 51477, + "▁выслу": 51478, + "▁колхоза": 51479, + "▁фактом": 51480, + "▁ману": 51481, + "▁Неа": 51482, + "▁написан": 51483, + "фонов": 51484, + "жника": 51485, + "▁властям": 51486, + "▁прит": 51487, + "плане": 51488, + "▁прожил": 51489, + "▁остальным": 51490, + "▁футов": 51491, + "▁аэродрома": 51492, + "ниа": 51493, + "ownt": 51494, + "▁приступил": 51495, + "▁стадионе": 51496, + "чак": 51497, + "рями": 51498, + "▁лесной": 51499, + "▁подробнее": 51500, + "▁королева": 51501, + "цким": 51502, + "▁арест": 51503, + "▁ролях": 51504, + "▁интенси": 51505, + "дый": 51506, + "▁Мандель": 51507, + "▁выделяют": 51508, + "▁рака": 51509, + "▁хранятся": 51510, + "▁дождя": 51511, + "земе": 51512, + "довое": 51513, + "▁табу": 51514, + "▁французском": 51515, + "▁семена": 51516, + "▁цивилизация": 51517, + "▁Пруссии": 51518, + "▁таков": 51519, + "▁погоду": 51520, + "▁климат": 51521, + "▁загруз": 51522, + "▁Уэль": 51523, + "▁подписан": 51524, + "▁интернациона": 51525, + ",[": 51526, + "▁комплексов": 51527, + "мли": 51528, + "▁деление": 51529, + "▁гры": 51530, + "▁мальчиков": 51531, + "▁Аба": 51532, + "▁важная": 51533, + "▁беседа": 51534, + "перед": 51535, + "▁фрагменты": 51536, + "▁поручил": 51537, + "▁подходят": 51538, + "▁удовлетворение": 51539, + "▁длине": 51540, + "ivered": 51541, + "▁парня": 51542, + "▁немецком": 51543, + "▁Корни": 51544, + "▁иниции": 51545, + "▁забот": 51546, + "▁павиль": 51547, + "▁ситуацией": 51548, + "▁уют": 51549, + "примеча": 51550, + "▁Табли": 51551, + "▁нашёл": 51552, + "▁Лечение": 51553, + "▁необходимого": 51554, + "УН": 51555, + "▁уходя": 51556, + "▁тайной": 51557, + "▁сайтов": 51558, + "otten": 51559, + "▁религиозного": 51560, + "▁долгих": 51561, + "вена": 51562, + "▁христиа": 51563, + "▁нью": 51564, + "▁Всех": 51565, + "токси": 51566, + "▁Рек": 51567, + "▁Киевской": 51568, + "▁считались": 51569, + "объек": 51570, + "́ние": 51571, + "новна": 51572, + "▁исчерпы": 51573, + "▁нарушением": 51574, + "▁выступила": 51575, + "дорф": 51576, + "гуа": 51577, + "▁принялся": 51578, + "▁промышленного": 51579, + "▁Музе": 51580, + "▁АО": 51581, + "▁явилось": 51582, + "вленными": 51583, + "▁повели": 51584, + "▁ИЗ": 51585, + "стке": 51586, + "▁холодно": 51587, + "▁Обя": 51588, + "▁трансли": 51589, + "▁Работы": 51590, + "▁отражения": 51591, + "▁добрые": 51592, + "▁каналы": 51593, + "▁получении": 51594, + "воем": 51595, + "▁Дя": 51596, + "▁егип": 51597, + "▁врожден": 51598, + "▁получивший": 51599, + "нутой": 51600, + "▁пострадавших": 51601, + "▁Алтай": 51602, + "▁храмов": 51603, + "▁споров": 51604, + "▁Первого": 51605, + "▁освещения": 51606, + "▁проше": 51607, + "▁расще": 51608, + "▁Здание": 51609, + "▁настро": 51610, + "▁державы": 51611, + "▁хар": 51612, + "▁потоки": 51613, + "▁шёл": 51614, + "▁вступили": 51615, + "▁слабости": 51616, + "▁рассказывали": 51617, + "обу": 51618, + "▁отом": 51619, + "▁Элиза": 51620, + "▁процедура": 51621, + "ткам": 51622, + "▁богатый": 51623, + "▁неспособ": 51624, + "▁Хро": 51625, + "▁движению": 51626, + "оно": 51627, + "▁ценные": 51628, + "▁приглашение": 51629, + "▁тун": 51630, + "▁оро": 51631, + "▁улучшение": 51632, + "▁Ученые": 51633, + "план": 51634, + "▁ведущие": 51635, + "ждаются": 51636, + "▁модуля": 51637, + "▁включён": 51638, + "▁красоту": 51639, + "▁выдать": 51640, + "МП": 51641, + "▁важна": 51642, + "▁белыми": 51643, + "▁необходимую": 51644, + "компа": 51645, + "▁вынуждена": 51646, + "▁Сцена": 51647, + "alty": 51648, + "чива": 51649, + "▁гово": 51650, + "▁доставки": 51651, + "▁танковых": 51652, + "▁митрополит": 51653, + "▁боятся": 51654, + "ническим": 51655, + "льностью": 51656, + "▁ГА": 51657, + "▁японского": 51658, + "▁Северный": 51659, + "▁зелень": 51660, + "▁овладеть": 51661, + "▁работами": 51662, + "?\",": 51663, + "▁предки": 51664, + "▁водки": 51665, + "▁Чехии": 51666, + "▁приняло": 51667, + "▁жира": 51668, + "слой": 51669, + "▁выполнял": 51670, + "▁вышеу": 51671, + "ладший": 51672, + "▁местными": 51673, + "▁запуск": 51674, + "делия": 51675, + "жам": 51676, + "▁заполне": 51677, + "▁встречает": 51678, + "▁Алжи": 51679, + "▁красота": 51680, + ":#": 51681, + "▁опубликованы": 51682, + "ковская": 51683, + "▁приеха": 51684, + "▁грабе": 51685, + "▁психологической": 51686, + "ЛЕ": 51687, + "▁показан": 51688, + "тировки": 51689, + "▁лауреат": 51690, + "▁продвижения": 51691, + "▁трей": 51692, + "▁опыты": 51693, + "ливым": 51694, + "▁Чили": 51695, + "▁лежала": 51696, + "Мор": 51697, + "▁сэр": 51698, + "двиг": 51699, + "▁разбе": 51700, + "▁Пришлось": 51701, + "▁Аллах": 51702, + "▁скалы": 51703, + "▁взаимоотношений": 51704, + "▁прямом": 51705, + "▁прокурора": 51706, + "приим": 51707, + "▁терять": 51708, + "▁статистики": 51709, + "▁отметила": 51710, + "▁попытались": 51711, + "▁компенсации": 51712, + "▁Волы": 51713, + "▁плечами": 51714, + "▁уехать": 51715, + "▁востре": 51716, + "Тор": 51717, + "▁Практически": 51718, + "▁ФИ": 51719, + "вайтесь": 51720, + "сви": 51721, + "▁обработке": 51722, + "сский": 51723, + "▁Советском": 51724, + "▁литературный": 51725, + "▁немногие": 51726, + "▁высшие": 51727, + "▁искусственного": 51728, + "ллу": 51729, + "▁постоянные": 51730, + "▁содержатся": 51731, + "▁придумать": 51732, + "▁священно": 51733, + "гл": 51734, + "лык": 51735, + "▁рече": 51736, + "ducing": 51737, + "▁Арно": 51738, + "...\",": 51739, + "▁революционного": 51740, + "▁апте": 51741, + "▁герба": 51742, + "▁Нередко": 51743, + "▁надеялся": 51744, + "▁чешу": 51745, + "ностях": 51746, + "▁физ": 51747, + "▁подразумевает": 51748, + "▁уровнях": 51749, + "▁подлежа": 51750, + "▁названий": 51751, + "▁ведение": 51752, + "▁утвержден": 51753, + "▁катастрофи": 51754, + "▁невыноси": 51755, + "▁подста": 51756, + "▁соответствующее": 51757, + "▁Хам": 51758, + "▁находить": 51759, + "▁высла": 51760, + "▁сильная": 51761, + "чикам": 51762, + "▁квантовой": 51763, + "▁заслуживает": 51764, + "души": 51765, + "▁заплатить": 51766, + "▁султана": 51767, + "смысле": 51768, + "racy": 51769, + "▁изменилась": 51770, + "▁изменяется": 51771, + "▁Фрун": 51772, + "фен": 51773, + "▁цветом": 51774, + "▁широким": 51775, + "▁сентябрь": 51776, + "пенди": 51777, + "▁просыпа": 51778, + "чжу": 51779, + "▁комиссар": 51780, + "▁прессы": 51781, + "▁Средний": 51782, + "▁нисколько": 51783, + "▁Троцкий": 51784, + "▁организаторов": 51785, + "▁удостове": 51786, + "мский": 51787, + "▁бывал": 51788, + "▁противоречие": 51789, + "▁нужный": 51790, + "▁длится": 51791, + "образные": 51792, + "▁англ": 51793, + "▁прозвище": 51794, + "▁реальный": 51795, + "▁разброса": 51796, + "▁предостере": 51797, + "▁Результат": 51798, + "говорить": 51799, + "▁величину": 51800, + "ядер": 51801, + "▁Попов": 51802, + "ёк": 51803, + "деи": 51804, + "▁парус": 51805, + "▁подразделение": 51806, + "▁брали": 51807, + "▁возвращает": 51808, + "ьями": 51809, + "▁германского": 51810, + "▁длинной": 51811, + "▁связанный": 51812, + "▁Куйбы": 51813, + "▁отделе": 51814, + "▁белка": 51815, + "пости": 51816, + "▁уволен": 51817, + "▁правителя": 51818, + "варить": 51819, + "▁порядку": 51820, + "▁сенса": 51821, + "▁серебро": 51822, + "▁Крю": 51823, + "шняя": 51824, + "▁творения": 51825, + "▁переходить": 51826, + "▁твоих": 51827, + "▁большому": 51828, + "▁удобства": 51829, + "▁диапазоне": 51830, + "▁казар": 51831, + "товский": 51832, + "▁тревоги": 51833, + "▁Израиле": 51834, + "▁генералов": 51835, + "▁обмени": 51836, + "зян": 51837, + "▁Закона": 51838, + "▁возникновение": 51839, + "▁Водо": 51840, + "▁творческого": 51841, + "▁слез": 51842, + "▁естество": 51843, + "▁восходя": 51844, + "хали": 51845, + "▁рва": 51846, + "▁техникой": 51847, + "▁признался": 51848, + "▁изредка": 51849, + "▁Радио": 51850, + "рицы": 51851, + "▁партийной": 51852, + "▁многочисленными": 51853, + "▁нанима": 51854, + "▁зачисле": 51855, + "▁Хочу": 51856, + "▁белая": 51857, + "▁историй": 51858, + "трет": 51859, + "▁недвижимости": 51860, + "▁правосу": 51861, + "▁колба": 51862, + "▁парни": 51863, + "КОВ": 51864, + "▁Гёте": 51865, + "▁снабжения": 51866, + "▁Веду": 51867, + "▁Достоевский": 51868, + "▁считаем": 51869, + "▁пристрасти": 51870, + "тти": 51871, + "лялся": 51872, + "ванным": 51873, + "▁полы": 51874, + "▁операциях": 51875, + "▁мышь": 51876, + "▁моментов": 51877, + "▁закри": 51878, + "▁населён": 51879, + "▁конструкцию": 51880, + "▁министерство": 51881, + "▁Кю": 51882, + "▁Фей": 51883, + "▁текстом": 51884, + "▁ДТП": 51885, + "▁привилеги": 51886, + "▁оперативной": 51887, + "нея": 51888, + "▁смыслу": 51889, + "шир": 51890, + "▁юридического": 51891, + "▁детек": 51892, + "▁Голова": 51893, + "▁Дама": 51894, + "▁тишина": 51895, + "шевского": 51896, + "чатых": 51897, + "▁жизненных": 51898, + "▁дорогие": 51899, + "▁библиотеку": 51900, + "▁пенсион": 51901, + "▁Дени": 51902, + "▁Перио": 51903, + "▁Administ": 51904, + "холо": 51905, + "▁склонность": 51906, + "хер": 51907, + "▁закончился": 51908, + "етии": 51909, + "литет": 51910, + "тилле": 51911, + "▁федеральных": 51912, + "рову": 51913, + "▁Мсти": 51914, + "▁претерпе": 51915, + "эли": 51916, + "ИТАР": 51917, + "▁красноре": 51918, + "▁делала": 51919, + "▁устанавливает": 51920, + "▁водах": 51921, + "▁автобус": 51922, + "▁чеки": 51923, + "▁импор": 51924, + "▁генов": 51925, + "▁Пана": 51926, + "▁выжить": 51927, + "▁рассказывают": 51928, + "сбор": 51929, + "▁просту": 51930, + "▁феномен": 51931, + "пати": 51932, + "Зве": 51933, + "пив": 51934, + "▁учить": 51935, + "▁специалиста": 51936, + "▁коэффициент": 51937, + "▁привлечения": 51938, + "▁передвижения": 51939, + "ничной": 51940, + "▁неду": 51941, + "воде": 51942, + "▁размы": 51943, + "▁традиционные": 51944, + "▁грибы": 51945, + "▁системами": 51946, + "▁демонстрирует": 51947, + "▁Прошу": 51948, + "▁настоящем": 51949, + "▁придумы": 51950, + "игры": 51951, + "▁подор": 51952, + "зовые": 51953, + "темати": 51954, + "▁подсуди": 51955, + "▁приступить": 51956, + "корей": 51957, + "▁насилие": 51958, + "альным": 51959, + "▁полагать": 51960, + "несено": 51961, + "▁замечания": 51962, + "ловка": 51963, + "совым": 51964, + "Коро": 51965, + "▁освобождении": 51966, + "▁гонке": 51967, + "▁гарнизо": 51968, + "тишь": 51969, + "▁поступок": 51970, + "▁укрепление": 51971, + "▁музыкой": 51972, + "▁конкурентов": 51973, + "щица": 51974, + "шевский": 51975, + "▁забастов": 51976, + "▁сказав": 51977, + "▁кисти": 51978, + "▁восклица": 51979, + "▁неофициаль": 51980, + "рийский": 51981, + "▁Палести": 51982, + "▁просьбу": 51983, + "▁объектами": 51984, + "прем": 51985, + "▁идеями": 51986, + "леба": 51987, + "▁просили": 51988, + "▁убивать": 51989, + "монта": 51990, + "▁высшим": 51991, + "▁аналогии": 51992, + "переда": 51993, + "▁флоти": 51994, + "▁Воскре": 51995, + "фло": 51996, + "▁Стати": 51997, + "▁сложилась": 51998, + "▁озер": 51999, + "дилось": 52000, + "▁звании": 52001, + "▁шпиона": 52002, + "▁использовалась": 52003, + "▁любила": 52004, + "▁изле": 52005, + "▁кодекса": 52006, + "Фо": 52007, + "▁территориях": 52008, + "▁изби": 52009, + "▁вооружений": 52010, + "▁битва": 52011, + "гара": 52012, + "▁сатири": 52013, + "▁ставил": 52014, + "▁здорово": 52015, + "курс": 52016, + "пляр": 52017, + "чжоу": 52018, + "▁еле": 52019, + "▁запада": 52020, + "▁поэзия": 52021, + "▁инквизи": 52022, + "▁эр": 52023, + "▁Дуб": 52024, + "▁отдели": 52025, + "▁плотности": 52026, + "▁величине": 52027, + "▁Ой": 52028, + "Йорка": 52029, + "▁петрушки": 52030, + "▁Рам": 52031, + "▁планировалось": 52032, + "▁озере": 52033, + "▁Указа": 52034, + "▁временной": 52035, + "▁ритми": 52036, + "▁Швар": 52037, + "▁Забо": 52038, + "▁личном": 52039, + "▁отвечают": 52040, + "▁пустыни": 52041, + "▁подарки": 52042, + "▁несостоя": 52043, + "▁целенапра": 52044, + "▁профсою": 52045, + "▁родных": 52046, + "▁вечеру": 52047, + "▁плодотвор": 52048, + "стора": 52049, + "▁Нина": 52050, + "▁пь": 52051, + "▁римлян": 52052, + "▁цветами": 52053, + "▁троллей": 52054, + "НИЕ": 52055, + "рийского": 52056, + "▁дополнительного": 52057, + "▁лягу": 52058, + "▁разведку": 52059, + "▁поступила": 52060, + "▁охарактери": 52061, + "▁мировом": 52062, + "▁равновесие": 52063, + "▁таковой": 52064, + "▁продвижение": 52065, + "▁прив": 52066, + "▁коллегами": 52067, + "▁явились": 52068, + "▁занялся": 52069, + "▁активов": 52070, + "▁изменил": 52071, + "▁поставлена": 52072, + "▁тонкие": 52073, + "ори": 52074, + "▁обры": 52075, + "скоро": 52076, + "▁Герои": 52077, + "▁налоги": 52078, + "блением": 52079, + "▁архипе": 52080, + "▁Одессе": 52081, + "▁безупре": 52082, + "▁сугубо": 52083, + "валов": 52084, + "▁порядо": 52085, + "▁архиепископ": 52086, + "▁повторять": 52087, + "▁кольце": 52088, + "▁придать": 52089, + "▁РУ": 52090, + "▁богатые": 52091, + "▁КБ": 52092, + "▁Кузнецов": 52093, + "▁гвардейского": 52094, + "жело": 52095, + "фос": 52096, + "▁Приня": 52097, + "▁доклада": 52098, + "▁претензии": 52099, + "▁дошло": 52100, + "▁Ильич": 52101, + "▁тестов": 52102, + "▁жюри": 52103, + "▁Закавказ": 52104, + "▁Чуть": 52105, + "гада": 52106, + "▁трудового": 52107, + "▁Брэ": 52108, + "теста": 52109, + "avalry": 52110, + "▁государственная": 52111, + "▁переез": 52112, + "▁принадлежала": 52113, + "▁успешного": 52114, + "▁хор": 52115, + "▁страхом": 52116, + "▁иностранные": 52117, + "▁Еле": 52118, + "▁библио": 52119, + "▁определенном": 52120, + "▁исключить": 52121, + "▁защища": 52122, + "▁Вологод": 52123, + "циско": 52124, + "▁переведён": 52125, + "▁Сера": 52126, + "▁договорились": 52127, + "▁делятся": 52128, + "▁договоров": 52129, + "Фонтан": 52130, + "▁алкоголя": 52131, + "систе": 52132, + "▁полосу": 52133, + "▁Старший": 52134, + "▁полов": 52135, + "▁подлежит": 52136, + "▁декабрь": 52137, + "риди": 52138, + "▁указом": 52139, + "лённые": 52140, + "▁видах": 52141, + "▁брош": 52142, + "▁высокопоста": 52143, + "наз": 52144, + "▁сферах": 52145, + "▁охлаждения": 52146, + "▁предусмотрено": 52147, + "▁Вере": 52148, + "▁Кореи": 52149, + "зай": 52150, + "▁устройстве": 52151, + "▁догады": 52152, + "▁Теха": 52153, + "хнуть": 52154, + "▁мрамор": 52155, + "▁Объяс": 52156, + "▁гнева": 52157, + "▁верующих": 52158, + "▁пирамиды": 52159, + "▁определил": 52160, + "дэ": 52161, + "мала": 52162, + "показа": 52163, + "▁современная": 52164, + "▁Гонча": 52165, + "емен": 52166, + "▁царем": 52167, + "▁Информация": 52168, + "▁Представители": 52169, + "▁мирных": 52170, + "▁дюй": 52171, + "шное": 52172, + "▁городские": 52173, + "▁пуга": 52174, + "▁гонки": 52175, + "▁плодов": 52176, + "▁месяце": 52177, + "▁сельском": 52178, + "▁древний": 52179, + "▁Министр": 52180, + "▁гр": 52181, + "рифмети": 52182, + "Тай": 52183, + "▁поединке": 52184, + "тимся": 52185, + "▁добавляет": 52186, + "▁Адмирал": 52187, + "▁хранение": 52188, + "▁КНДР": 52189, + "▁энергетики": 52190, + "▁Меж": 52191, + "▁формулы": 52192, + "▁режиссера": 52193, + "пту": 52194, + "▁культурой": 52195, + "нимом": 52196, + "▁чистый": 52197, + "▁Робин": 52198, + "▁подводной": 52199, + "▁берегам": 52200, + "интер": 52201, + "▁продовольствия": 52202, + "рида": 52203, + "▁наполовину": 52204, + "▁налогооб": 52205, + "▁открыла": 52206, + "▁однои": 52207, + "▁идио": 52208, + "▁Рен": 52209, + "▁ювели": 52210, + "▁наукой": 52211, + "▁Теория": 52212, + "▁инфекции": 52213, + "▁захотел": 52214, + "▁проживания": 52215, + "▁Вадим": 52216, + "▁сознанием": 52217, + "тельские": 52218, + "щность": 52219, + "▁приобрела": 52220, + "▁колесо": 52221, + "гров": 52222, + "▁пропове": 52223, + "▁рекламу": 52224, + "▁Ски": 52225, + "▁семейство": 52226, + "▁кив": 52227, + "▁покупателей": 52228, + "зоре": 52229, + "▁установку": 52230, + "▁понравилось": 52231, + "▁двигатели": 52232, + "▁почты": 52233, + "▁Люк": 52234, + "▁экспертизы": 52235, + "▁инди": 52236, + "▁оформления": 52237, + "▁греч": 52238, + "▁отмечалось": 52239, + "▁Иор": 52240, + "▁достать": 52241, + "▁товарище": 52242, + "▁объявлен": 52243, + "▁переселен": 52244, + "▁Российская": 52245, + "ЦИЯ": 52246, + "▁полового": 52247, + "▁Блю": 52248, + "▁музыкантов": 52249, + "▁белков": 52250, + "▁разрыва": 52251, + "▁смертной": 52252, + "▁Жор": 52253, + "выбор": 52254, + "▁Филиппа": 52255, + "▁срабаты": 52256, + "▁Завер": 52257, + "▁ночам": 52258, + "▁носом": 52259, + "▁загрузки": 52260, + "▁рукопись": 52261, + "▁оказали": 52262, + "шны": 52263, + "▁мощные": 52264, + "▁усиление": 52265, + "таций": 52266, + "▁Мэй": 52267, + "руйте": 52268, + "▁трога": 52269, + "▁Мерку": 52270, + "единённых": 52271, + "▁Пьер": 52272, + "▁мечтал": 52273, + "▁Каким": 52274, + "▁двигателем": 52275, + "▁предоставления": 52276, + "▁располагался": 52277, + "хэ": 52278, + "▁ритори": 52279, + "несена": 52280, + "ствующее": 52281, + "▁политиков": 52282, + "▁выйдя": 52283, + "водом": 52284, + "тчика": 52285, + "▁разнообразие": 52286, + "▁хруп": 52287, + "▁папи": 52288, + "▁пожиз": 52289, + "▁выздоро": 52290, + "▁рабочем": 52291, + "▁опираясь": 52292, + "▁целям": 52293, + "▁бежали": 52294, + "▁выглядел": 52295, + "▁переговорах": 52296, + "▁иную": 52297, + "▁сооружение": 52298, + "▁неотъемле": 52299, + "менного": 52300, + "пус": 52301, + "▁Возрождения": 52302, + "▁кроше": 52303, + "▁сало": 52304, + "ливые": 52305, + "▁достаточной": 52306, + "▁criticized": 52307, + "▁масле": 52308, + "Анджеле": 52309, + "▁Наука": 52310, + "▁бельгий": 52311, + "▁материалом": 52312, + "▁требованиями": 52313, + "▁Следующий": 52314, + "▁Алма": 52315, + "▁странное": 52316, + "планет": 52317, + "▁немысли": 52318, + "оборудова": 52319, + "▁крупная": 52320, + "морских": 52321, + "▁отмечено": 52322, + "▁пятый": 52323, + "▁основанный": 52324, + "▁существи": 52325, + "▁животным": 52326, + "▁Университета": 52327, + "тается": 52328, + "▁Неза": 52329, + "▁хули": 52330, + "▁Яросла": 52331, + "▁вообража": 52332, + "▁баз": 52333, + "торией": 52334, + "▁Самой": 52335, + "▁выполнены": 52336, + "▁вермах": 52337, + "▁адмирала": 52338, + "▁зверь": 52339, + "▁покра": 52340, + "▁приходил": 52341, + "▁предлагается": 52342, + "ксом": 52343, + "вязки": 52344, + "▁урод": 52345, + "▁дневнике": 52346, + "▁нано": 52347, + "▁резерва": 52348, + "▁наций": 52349, + "▁самоот": 52350, + "▁поселений": 52351, + "▁материального": 52352, + "▁пальца": 52353, + "▁масон": 52354, + "▁согре": 52355, + "▁позабо": 52356, + "▁специальным": 52357, + "плей": 52358, + "▁ожидает": 52359, + "▁журналисты": 52360, + "▁Сор": 52361, + "вязать": 52362, + "мало": 52363, + "▁домашнего": 52364, + "▁эскадры": 52365, + "▁прочитал": 52366, + "▁навести": 52367, + "▁ОГ": 52368, + "▁заботы": 52369, + "говорили": 52370, + "▁бомбо": 52371, + "▁Ог": 52372, + "▁севернее": 52373, + "▁переворот": 52374, + "вное": 52375, + "▁подчеркивает": 52376, + "вающую": 52377, + "▁генералом": 52378, + "рующим": 52379, + "▁эффекты": 52380, + "▁молодёжи": 52381, + "▁первенстве": 52382, + "▁выку": 52383, + "▁обвини": 52384, + "▁используем": 52385, + "▁производством": 52386, + "▁пользуясь": 52387, + "▁терпи": 52388, + "▁Пир": 52389, + "▁смена": 52390, + "▁вниманием": 52391, + "▁водных": 52392, + "▁селения": 52393, + "▁объединить": 52394, + "▁нанесен": 52395, + "▁магазины": 52396, + "▁задум": 52397, + "▁ознаменова": 52398, + "▁Трудового": 52399, + "гмати": 52400, + "▁аргументы": 52401, + "▁РО": 52402, + "нусь": 52403, + "бины": 52404, + "ницкого": 52405, + "▁камере": 52406, + "▁Infantry": 52407, + "хво": 52408, + "▁осваи": 52409, + "▁европейские": 52410, + "▁планета": 52411, + "живание": 52412, + "▁девушкой": 52413, + "нго": 52414, + "▁важен": 52415, + "▁Кристо": 52416, + "▁Преобра": 52417, + "▁сражаться": 52418, + "▁исполнял": 52419, + "цкие": 52420, + "▁деревянные": 52421, + "▁жанре": 52422, + "втори": 52423, + "xual": 52424, + "▁Блок": 52425, + "бона": 52426, + "▁торгового": 52427, + "▁сгора": 52428, + "▁распоряжения": 52429, + "▁кэ": 52430, + "▁принадлежали": 52431, + "▁хвосто": 52432, + "▁Язык": 52433, + "▁помнит": 52434, + "vant": 52435, + "гнан": 52436, + "▁demonst": 52437, + "▁Калифорнии": 52438, + "▁Лауреат": 52439, + "▁созданные": 52440, + "Фор": 52441, + "▁заработать": 52442, + "▁Семе": 52443, + "▁сохранил": 52444, + "▁Венесу": 52445, + "▁отраслей": 52446, + "дагоги": 52447, + "зированного": 52448, + "▁Exec": 52449, + "▁помогали": 52450, + "нишь": 52451, + "▁способствовало": 52452, + "▁дочерей": 52453, + "▁Логи": 52454, + "▁мертвых": 52455, + "▁шее": 52456, + "▁досу": 52457, + "стрелко": 52458, + "▁Джер": 52459, + "▁surre": 52460, + "▁туалет": 52461, + "▁килограм": 52462, + "▁пролив": 52463, + "▁снай": 52464, + "hered": 52465, + "▁Обратите": 52466, + "▁программой": 52467, + "▁начнется": 52468, + "стрит": 52469, + "▁Паль": 52470, + "▁крыши": 52471, + "▁Колле": 52472, + "▁Полковник": 52473, + "▁Кеннеди": 52474, + "▁кошки": 52475, + "▁живопис": 52476, + "▁страхования": 52477, + "▁сень": 52478, + "танные": 52479, + "▁Духов": 52480, + "▁собраны": 52481, + "▁историка": 52482, + "▁Ворон": 52483, + "ностям": 52484, + "▁всякую": 52485, + "▁стыдно": 52486, + "вающими": 52487, + "▁разуме": 52488, + "▁пострадали": 52489, + "▁Днепро": 52490, + "▁господина": 52491, + "▁Космо": 52492, + "▁правильный": 52493, + "▁казаки": 52494, + "▁Основным": 52495, + "▁композитора": 52496, + "▁разбо": 52497, + "▁управляет": 52498, + "▁Госдумы": 52499, + "▁юбилей": 52500, + "▁должностных": 52501, + "▁парков": 52502, + "▁фикса": 52503, + "▁regiment": 52504, + "▁привычки": 52505, + "▁внедре": 52506, + "▁придает": 52507, + "▁Независи": 52508, + "▁бросился": 52509, + "сак": 52510, + "▁затя": 52511, + "водных": 52512, + "▁членам": 52513, + "важно": 52514, + "стандар": 52515, + "▁злоб": 52516, + "▁фирм": 52517, + "▁Ницше": 52518, + "▁проница": 52519, + "зируют": 52520, + "▁матчи": 52521, + "▁быстрый": 52522, + "украин": 52523, + "OW": 52524, + "▁наполне": 52525, + "пунк": 52526, + "▁колы": 52527, + "▁мысленно": 52528, + "▁Gord": 52529, + "▁Начальник": 52530, + "▁ден": 52531, + "▁хоре": 52532, + "▁кишечника": 52533, + "▁родила": 52534, + "щённый": 52535, + "▁живущих": 52536, + "▁достигнуть": 52537, + "четыре": 52538, + "тернациона": 52539, + "гражда": 52540, + "▁гнез": 52541, + "▁свар": 52542, + "ционному": 52543, + "▁Премия": 52544, + "▁легенда": 52545, + "▁совещания": 52546, + "▁беспокои": 52547, + "производи": 52548, + "▁экспедиция": 52549, + "▁подходе": 52550, + "▁Бабу": 52551, + "▁отой": 52552, + "читал": 52553, + "▁рассказе": 52554, + "▁дамы": 52555, + "▁поступления": 52556, + "▁Всю": 52557, + "▁ставили": 52558, + "нево": 52559, + "нистов": 52560, + "▁Авиа": 52561, + "▁аспект": 52562, + "▁шеи": 52563, + "од": 52564, + "▁явилась": 52565, + "▁Мое": 52566, + "▁Геннадий": 52567, + "▁комментариях": 52568, + "▁Девушка": 52569, + "▁протека": 52570, + "▁значимости": 52571, + "▁обозначение": 52572, + "кся": 52573, + "▁подтвердили": 52574, + "▁ане": 52575, + "▁романы": 52576, + "▁Таджики": 52577, + "▁культ": 52578, + "▁спровоци": 52579, + "▁установке": 52580, + "▁крупно": 52581, + "▁анализе": 52582, + "▁используемых": 52583, + "▁китайского": 52584, + "▁индивидуального": 52585, + "▁ворон": 52586, + "▁превращения": 52587, + "▁Алба": 52588, + "▁ракови": 52589, + "▁греческих": 52590, + "▁половых": 52591, + "▁фазы": 52592, + "▁поставок": 52593, + "тимента": 52594, + "▁встречался": 52595, + "▁Иа": 52596, + "▁молод": 52597, + "ступы": 52598, + "▁Мани": 52599, + "▁засо": 52600, + "▁минус": 52601, + "▁полёта": 52602, + "▁пилот": 52603, + "▁лаби": 52604, + "eck": 52605, + "▁солидар": 52606, + "▁чужие": 52607, + "коны": 52608, + "▁недостатка": 52609, + "▁слышу": 52610, + "косми": 52611, + "▁московской": 52612, + "▁шизо": 52613, + "▁лодку": 52614, + "▁раннем": 52615, + "▁вагонов": 52616, + "куляр": 52617, + "▁подтверждения": 52618, + "▁Запоро": 52619, + "▁ган": 52620, + "тальной": 52621, + "▁церковью": 52622, + "▁кату": 52623, + "▁поблизости": 52624, + "▁пал": 52625, + "▁начинаются": 52626, + "кис": 52627, + "Золотой": 52628, + "▁приобретения": 52629, + "роды": 52630, + "▁коллегии": 52631, + "▁определенно": 52632, + "▁семян": 52633, + "▁Чернигов": 52634, + "▁вою": 52635, + "хара": 52636, + "▁сконцентри": 52637, + "рилась": 52638, + "▁опасения": 52639, + "▁Джефф": 52640, + "▁держится": 52641, + "▁спины": 52642, + "▁Исследова": 52643, + "▁уравнения": 52644, + "▁жанр": 52645, + "▁завоевала": 52646, + "▁Любой": 52647, + "▁взаимопо": 52648, + "▁Афганистане": 52649, + "▁присутствовал": 52650, + "▁мыслью": 52651, + "▁строительству": 52652, + "▁принимая": 52653, + "▁востока": 52654, + "▁образований": 52655, + "▁номере": 52656, + "▁Пей": 52657, + "Дру": 52658, + "▁итальянской": 52659, + "чительно": 52660, + "дочной": 52661, + "▁мелкими": 52662, + "▁записать": 52663, + "plate": 52664, + "леру": 52665, + "▁террористов": 52666, + "▁транспортного": 52667, + "▁ВВП": 52668, + "▁автобиографи": 52669, + "чевский": 52670, + "▁Дель": 52671, + "▁портреты": 52672, + "▁Золотой": 52673, + "нса": 52674, + "▁духовное": 52675, + "▁Неме": 52676, + "▁долл": 52677, + "▁предпочтение": 52678, + "▁подобная": 52679, + "тует": 52680, + "▁Людовика": 52681, + "▁упоминает": 52682, + "тинского": 52683, + "круп": 52684, + "▁Большую": 52685, + "▁плоти": 52686, + "▁выходом": 52687, + "▁моряков": 52688, + "▁топливо": 52689, + "▁зарплаты": 52690, + "▁ПОЛ": 52691, + "▁значением": 52692, + "▁Boe": 52693, + "▁сква": 52694, + "▁балло": 52695, + "▁взрослые": 52696, + "▁орбиту": 52697, + "ых": 52698, + "родных": 52699, + "▁Войска": 52700, + "ствах": 52701, + "▁велик": 52702, + "боли": 52703, + "▁порту": 52704, + "▁верили": 52705, + "▁вступ": 52706, + "кевич": 52707, + "▁обычай": 52708, + "▁драй": 52709, + "▁Марсе": 52710, + "▁Строительство": 52711, + "▁магнито": 52712, + "сиа": 52713, + "▁широких": 52714, + "риал": 52715, + "▁исполнять": 52716, + "▁становилась": 52717, + "▁орто": 52718, + "▁складывается": 52719, + "▁животными": 52720, + "▁помешать": 52721, + "▁раски": 52722, + "цовой": 52723, + "дельно": 52724, + "ricts": 52725, + "▁труде": 52726, + "▁журналах": 52727, + "▁капитаном": 52728, + "вита": 52729, + "жках": 52730, + "▁кровоте": 52731, + "▁нападающий": 52732, + "▁тяжелым": 52733, + "▁невозможным": 52734, + "видел": 52735, + "▁Фреде": 52736, + "ложению": 52737, + "▁золотую": 52738, + "▁градо": 52739, + "▁упло": 52740, + "▁атмосфера": 52741, + "▁бедных": 52742, + "▁церковных": 52743, + "тиза": 52744, + "▁разрушение": 52745, + "чило": 52746, + "▁следуют": 52747, + "▁Юли": 52748, + "ковья": 52749, + "РФ": 52750, + "дник": 52751, + "▁российском": 52752, + "▁отдельная": 52753, + "▁опытных": 52754, + "▁вольно": 52755, + "▁преподоб": 52756, + "гуляр": 52757, + "щину": 52758, + "▁знакомы": 52759, + "▁свадьбы": 52760, + "▁трудностей": 52761, + "▁заставля": 52762, + "▁ездил": 52763, + "▁деятели": 52764, + "▁поце": 52765, + "▁Числе": 52766, + "▁беседе": 52767, + "▁рво": 52768, + "▁кровать": 52769, + "▁сериал": 52770, + "▁довелось": 52771, + "▁вдали": 52772, + "▁Применение": 52773, + "▁разработать": 52774, + "▁останки": 52775, + "▁Шевченко": 52776, + "▁Общество": 52777, + "носа": 52778, + "жив": 52779, + "▁направо": 52780, + "▁масштабе": 52781, + "стку": 52782, + "▁действию": 52783, + "крова": 52784, + "▁Dougl": 52785, + "▁радостно": 52786, + "▁учреждениях": 52787, + "▁короткой": 52788, + "▁деви": 52789, + "▁поступили": 52790, + "▁Соро": 52791, + "▁вокзала": 52792, + "▁поехали": 52793, + "▁жителя": 52794, + "▁патронов": 52795, + "▁прибытия": 52796, + "▁думая": 52797, + "▁значительным": 52798, + "доподоб": 52799, + "▁ударил": 52800, + "▁странам": 52801, + "▁Струк": 52802, + "сности": 52803, + "▁долей": 52804, + "царь": 52805, + "▁комиссию": 52806, + "▁лёгкой": 52807, + "▁любимый": 52808, + "распреде": 52809, + "▁превосходство": 52810, + "▁полуострове": 52811, + "▁Францией": 52812, + "▁сельской": 52813, + "▁Средневе": 52814, + "▁интерфейса": 52815, + "▁необходимый": 52816, + "▁Единственное": 52817, + "▁яйце": 52818, + "▁затяну": 52819, + "▁Беля": 52820, + "▁состоящий": 52821, + "▁обслуживание": 52822, + "▁индивида": 52823, + "▁случится": 52824, + "▁Кинг": 52825, + "▁читали": 52826, + "зоры": 52827, + "десятых": 52828, + "▁рассмотрении": 52829, + "▁промо": 52830, + "▁Посе": 52831, + "▁импрови": 52832, + "ливая": 52833, + "▁национальности": 52834, + "▁Андро": 52835, + "▁сед": 52836, + "▁царей": 52837, + "▁животно": 52838, + "ЕФА": 52839, + "▁уцеле": 52840, + "христиан": 52841, + "▁громо": 52842, + "▁туре": 52843, + "▁получим": 52844, + "▁выгодно": 52845, + "▁издании": 52846, + "лететь": 52847, + "▁Гора": 52848, + "▁квартир": 52849, + "шив": 52850, + "▁Народный": 52851, + "▁соперника": 52852, + "шт": 52853, + "▁municipality": 52854, + "▁твою": 52855, + "arant": 52856, + "▁крестьянских": 52857, + "▁централизова": 52858, + "▁ся": 52859, + "▁легкий": 52860, + "▁частного": 52861, + "▁церковной": 52862, + "▁комната": 52863, + "▁подчас": 52864, + "▁нари": 52865, + "▁абсолютной": 52866, + "клов": 52867, + "▁культа": 52868, + "▁разговоров": 52869, + "ренными": 52870, + "▁узнала": 52871, + "лятора": 52872, + "▁возможна": 52873, + "▁двойной": 52874, + "▁отдохнуть": 52875, + "▁получены": 52876, + "▁Ува": 52877, + "тропи": 52878, + "▁Божией": 52879, + "▁круги": 52880, + "▁мастерство": 52881, + "▁биологических": 52882, + "▁Фео": 52883, + "▁Великая": 52884, + "гроб": 52885, + "▁входи": 52886, + "▁ссылке": 52887, + "▁Лучший": 52888, + "▁модификации": 52889, + "ворения": 52890, + "▁бесчисле": 52891, + "▁духу": 52892, + "проти": 52893, + "▁Григория": 52894, + "▁Дик": 52895, + "▁мистер": 52896, + "▁благосо": 52897, + "▁верблю": 52898, + "▁посвящены": 52899, + "▁Неве": 52900, + "▁Степан": 52901, + "▁мировая": 52902, + "валом": 52903, + "▁существующие": 52904, + "▁фру": 52905, + "▁публикаций": 52906, + "▁понимаем": 52907, + "▁знаменитых": 52908, + "марка": 52909, + "▁сигнали": 52910, + "▁социальную": 52911, + "▁Боло": 52912, + "▁ответили": 52913, + "▁олигар": 52914, + "▁автомобиле": 52915, + "▁суммар": 52916, + "▁Применя": 52917, + "Человек": 52918, + "coh": 52919, + "▁вертолета": 52920, + "▁гарантии": 52921, + "▁порождает": 52922, + "▁предприятиях": 52923, + "▁дальность": 52924, + "▁прон": 52925, + "▁вда": 52926, + "Золотая": 52927, + "▁боевую": 52928, + "▁нарисо": 52929, + "▁турок": 52930, + "очень": 52931, + "▁Севера": 52932, + "▁Никаких": 52933, + "▁доцен": 52934, + "▁столкнулся": 52935, + "Там": 52936, + "конструи": 52937, + "▁волнения": 52938, + "ед": 52939, + "▁коммунизма": 52940, + "политической": 52941, + "▁Данная": 52942, + "зовых": 52943, + "баль": 52944, + "▁прорыва": 52945, + "▁пошёл": 52946, + "▁захват": 52947, + "▁вреза": 52948, + "▁теорий": 52949, + "▁нормального": 52950, + "▁красивый": 52951, + "маш": 52952, + "▁издательство": 52953, + "▁вытекает": 52954, + "▁верхнего": 52955, + "ерей": 52956, + "▁Христиан": 52957, + "▁Бреж": 52958, + "УТ": 52959, + "▁солнцем": 52960, + "левых": 52961, + "▁устроил": 52962, + "▁овра": 52963, + "▁наркотиков": 52964, + "▁объявить": 52965, + "▁поблагода": 52966, + "▁Спаси": 52967, + "▁Луна": 52968, + "пились": 52969, + "▁Божь": 52970, + "▁объективно": 52971, + "▁испыту": 52972, + "▁репутацию": 52973, + "▁слушателей": 52974, + "видетельство": 52975, + "▁смотрю": 52976, + "▁яркие": 52977, + "новаться": 52978, + "вину": 52979, + "▁антисовет": 52980, + "▁больным": 52981, + "▁камнями": 52982, + "▁продвига": 52983, + "▁букси": 52984, + "▁повлиять": 52985, + "сказу": 52986, + "▁одиночку": 52987, + "antasy": 52988, + "▁уменьшения": 52989, + "шине": 52990, + "▁написали": 52991, + "▁спир": 52992, + "▁варвар": 52993, + "стояния": 52994, + "▁Константинополь": 52995, + "▁Усть": 52996, + "рань": 52997, + "дям": 52998, + "▁потребля": 52999, + "ав": 53000, + "▁подбо": 53001, + "▁Исти": 53002, + "▁камера": 53003, + "тиком": 53004, + "ценка": 53005, + "▁объяснять": 53006, + "▁московский": 53007, + "▁картофель": 53008, + "ничто": 53009, + "▁партийных": 53010, + "▁хозяйственной": 53011, + "▁Фёдор": 53012, + "▁бежит": 53013, + "▁помогло": 53014, + "▁спутника": 53015, + "▁рисунке": 53016, + "▁докладе": 53017, + "▁запе": 53018, + "▁масштаба": 53019, + "▁дама": 53020, + "▁тащи": 53021, + "▁общеобразова": 53022, + "▁Ясно": 53023, + "▁пламя": 53024, + "▁Перевод": 53025, + "▁Зво": 53026, + "▁сняли": 53027, + "▁снижается": 53028, + "▁убо": 53029, + "▁фронтом": 53030, + "▁малейшего": 53031, + "▁пули": 53032, + "▁жандар": 53033, + "▁КОН": 53034, + "▁верят": 53035, + "▁понимаешь": 53036, + "▁доллара": 53037, + "▁уход": 53038, + "▁Главной": 53039, + "▁свободным": 53040, + "вателей": 53041, + "▁наглядно": 53042, + "▁Мексики": 53043, + "▁предписы": 53044, + "▁осведом": 53045, + "▁частям": 53046, + "тников": 53047, + "пенга": 53048, + "▁знамена": 53049, + "вером": 53050, + "▁тесты": 53051, + "▁Лени": 53052, + "▁июнь": 53053, + "▁Вашингтоне": 53054, + "хли": 53055, + "▁Цвета": 53056, + "▁привез": 53057, + "▁низким": 53058, + "▁Ов": 53059, + "ена": 53060, + "▁иудей": 53061, + "▁очерта": 53062, + "▁встречаться": 53063, + "цком": 53064, + "▁колду": 53065, + "▁ВЦ": 53066, + "▁сестре": 53067, + "▁женский": 53068, + "▁жительства": 53069, + "▁физик": 53070, + "десант": 53071, + "▁экземпляр": 53072, + "▁волнова": 53073, + "▁добавляют": 53074, + "▁греки": 53075, + "▁исполнилось": 53076, + "▁несли": 53077, + "▁вектор": 53078, + "▁происходящее": 53079, + "смотр": 53080, + "▁стоимостью": 53081, + "▁городке": 53082, + "жане": 53083, + "▁шку": 53084, + "uris": 53085, + "▁потерпел": 53086, + "▁жут": 53087, + "▁временного": 53088, + "▁рада": 53089, + "▁Балтийского": 53090, + "▁Университет": 53091, + "▁поворота": 53092, + "▁сохранилась": 53093, + "▁Conc": 53094, + "▁закрытия": 53095, + "▁Краснозна": 53096, + "▁Словом": 53097, + "▁выключа": 53098, + "▁эпизодов": 53099, + "▁изменять": 53100, + "▁стира": 53101, + "▁снис": 53102, + "летки": 53103, + "онера": 53104, + "▁Стокголь": 53105, + "шн": 53106, + "▁фила": 53107, + "▁секретарем": 53108, + "▁нюан": 53109, + "вени": 53110, + "▁Верховной": 53111, + "▁желающих": 53112, + "▁создаются": 53113, + "▁направлено": 53114, + "▁Таври": 53115, + "▁совещание": 53116, + "▁посетить": 53117, + "дура": 53118, + "▁владел": 53119, + "▁обеспечивать": 53120, + "▁расцвета": 53121, + "▁видам": 53122, + "▁Старый": 53123, + "▁прислуши": 53124, + "▁марша": 53125, + "родинами": 53126, + "▁тщет": 53127, + "▁временам": 53128, + "кула": 53129, + "▁Альбер": 53130, + "▁крейсера": 53131, + "родные": 53132, + "▁ранние": 53133, + "Вен": 53134, + "видение": 53135, + "▁пузырь": 53136, + "инте": 53137, + "▁волость": 53138, + "▁согласова": 53139, + "arner": 53140, + "▁ликвида": 53141, + "▁стратегия": 53142, + "▁обеспо": 53143, + "▁жителям": 53144, + "руса": 53145, + "▁Соколов": 53146, + "хор": 53147, + "ственна": 53148, + "▁обая": 53149, + "▁Башки": 53150, + "▁остановились": 53151, + "▁ввел": 53152, + "▁кратков": 53153, + "▁видо": 53154, + "▁чемпионатов": 53155, + "▁казна": 53156, + "дух": 53157, + "▁съё": 53158, + "▁неделя": 53159, + "▁внедрения": 53160, + "▁Пора": 53161, + "▁серьезный": 53162, + "▁чувствуют": 53163, + "щенными": 53164, + "▁леди": 53165, + "▁борода": 53166, + "живают": 53167, + "▁слабые": 53168, + "▁стрельбе": 53169, + "▁футбольный": 53170, + "▁терра": 53171, + "▁свире": 53172, + "▁правилами": 53173, + "▁всякая": 53174, + "▁трибуна": 53175, + "▁совесть": 53176, + "менная": 53177, + "▁следующая": 53178, + "▁Абха": 53179, + "▁учёные": 53180, + "▁РП": 53181, + "▁ремеслен": 53182, + "▁приоритет": 53183, + "▁оказал": 53184, + "▁Итальян": 53185, + "▁Господи": 53186, + "▁Ер": 53187, + "центр": 53188, + "▁мороз": 53189, + "▁дезин": 53190, + "рядка": 53191, + "рациона": 53192, + "▁публике": 53193, + "▁удовлетворить": 53194, + "лею": 53195, + "▁специальное": 53196, + "бовал": 53197, + "оста": 53198, + "▁сериале": 53199, + "▁жизненно": 53200, + "▁соотно": 53201, + "▁Выступал": 53202, + "▁Чтоб": 53203, + "▁коммерческих": 53204, + "▁размести": 53205, + "▁поверхностью": 53206, + "▁Ельцина": 53207, + "▁ужи": 53208, + "▁известными": 53209, + "▁арте": 53210, + "▁пенсии": 53211, + "▁сектор": 53212, + "▁вяз": 53213, + "▁подразделя": 53214, + "▁Каждое": 53215, + "▁состяза": 53216, + "▁скульптуры": 53217, + "▁ленинград": 53218, + "▁звери": 53219, + "▁завет": 53220, + "чёте": 53221, + "стижи": 53222, + "▁серо": 53223, + "▁банкрот": 53224, + "▁вечерин": 53225, + "▁выстрела": 53226, + "юрера": 53227, + "пользова": 53228, + "▁Движение": 53229, + "▁Ночью": 53230, + "▁подво": 53231, + "▁обходи": 53232, + "▁попросили": 53233, + "▁Ив": 53234, + "▁обнаружен": 53235, + "бека": 53236, + "▁диаметр": 53237, + "▁истинно": 53238, + "Франциско": 53239, + "провода": 53240, + "▁кругов": 53241, + "жская": 53242, + "▁завла": 53243, + "▁Женщины": 53244, + "▁реальностью": 53245, + "▁готовится": 53246, + "▁бывшим": 53247, + "▁инспек": 53248, + "чивание": 53249, + "▁городок": 53250, + "▁явлением": 53251, + "uilt": 53252, + "▁ИГ": 53253, + "▁возлюблен": 53254, + "olished": 53255, + "▁Кули": 53256, + "▁диалога": 53257, + "СЕ": 53258, + "▁популярной": 53259, + "▁альян": 53260, + "▁скульптур": 53261, + "▁скорей": 53262, + "товать": 53263, + "▁амор": 53264, + "▁проживали": 53265, + "▁часами": 53266, + "▁Художник": 53267, + "▁странные": 53268, + "▁готово": 53269, + "▁найдено": 53270, + "▁событием": 53271, + "▁травя": 53272, + "▁наимень": 53273, + "▁тюрк": 53274, + "русской": 53275, + "▁ут": 53276, + "ЛС": 53277, + "▁Ибра": 53278, + "▁утверждали": 53279, + "просто": 53280, + "\"»": 53281, + "▁ани": 53282, + "▁зимних": 53283, + "▁сестрой": 53284, + "▁сердцу": 53285, + "▁франков": 53286, + "▁свету": 53287, + "▁полицейские": 53288, + "▁основателей": 53289, + "▁модифика": 53290, + "▁вещах": 53291, + "▁Андреев": 53292, + "▁лишним": 53293, + "▁независимых": 53294, + "▁напрасно": 53295, + "гонь": 53296, + "▁пища": 53297, + "▁черту": 53298, + "цеден": 53299, + "▁прокурор": 53300, + "▁прочесть": 53301, + "▁диких": 53302, + "▁хорва": 53303, + "▁сотрудником": 53304, + "▁Тибе": 53305, + "▁государствами": 53306, + "▁процедуру": 53307, + "▁сиони": 53308, + "▁отступ": 53309, + "ьба": 53310, + "▁казен": 53311, + "▁гражданам": 53312, + "▁Элли": 53313, + "▁облига": 53314, + "▁инициативу": 53315, + "▁выраста": 53316, + "▁подписи": 53317, + "▁писателем": 53318, + "▁Современные": 53319, + "▁визит": 53320, + "▁оставлять": 53321, + "▁вр": 53322, + "▁параметр": 53323, + "▁казнь": 53324, + "▁СТ": 53325, + "▁современное": 53326, + "секретарь": 53327, + "▁осты": 53328, + "▁сохраня": 53329, + "ugby": 53330, + "uble": 53331, + "▁спит": 53332, + "▁занимала": 53333, + "вины": 53334, + "ализации": 53335, + "▁совершении": 53336, + "▁металло": 53337, + "жаю": 53338, + "тчиками": 53339, + "▁Восточного": 53340, + "▁поступают": 53341, + "▁пунктах": 53342, + "▁заб": 53343, + "▁гигие": 53344, + "▁главном": 53345, + "хей": 53346, + "▁характеристика": 53347, + "▁безжало": 53348, + "▁перепол": 53349, + "▁Сокра": 53350, + "▁расчеты": 53351, + "▁вошло": 53352, + "▁Скан": 53353, + "▁посольство": 53354, + "afe": 53355, + "зут": 53356, + "▁живота": 53357, + "▁разведка": 53358, + "▁тези": 53359, + "▁овец": 53360, + "▁затво": 53361, + "живал": 53362, + "▁единственного": 53363, + "▁проектирования": 53364, + "кни": 53365, + "▁усугу": 53366, + "взя": 53367, + "▁потомков": 53368, + "▁уеди": 53369, + "▁описании": 53370, + "▁верхних": 53371, + "▁опья": 53372, + "суда": 53373, + "▁налогоплатель": 53374, + "рёл": 53375, + "▁Галь": 53376, + "▁абонен": 53377, + "ппер": 53378, + "▁великая": 53379, + "▁мастерства": 53380, + "▁Штатах": 53381, + "родной": 53382, + "▁выделяются": 53383, + "rations": 53384, + "▁воображения": 53385, + "▁советскими": 53386, + "rapy": 53387, + "▁ОКБ": 53388, + "▁Лью": 53389, + "ловым": 53390, + "корреспондент": 53391, + "▁особенностями": 53392, + "зируя": 53393, + "▁барон": 53394, + "▁римской": 53395, + "▁температуру": 53396, + "▁экспан": 53397, + "влю": 53398, + "мунд": 53399, + "▁Дево": 53400, + "▁участникам": 53401, + "▁менеджер": 53402, + "▁раскрыть": 53403, + "▁некотором": 53404, + "цизм": 53405, + "▁свидетелем": 53406, + "▁крипто": 53407, + "▁Другое": 53408, + "▁Антонио": 53409, + "▁ядерных": 53410, + "▁Диони": 53411, + "▁заклина": 53412, + "▁законопроек": 53413, + "хари": 53414, + "▁заключен": 53415, + "▁Евра": 53416, + "тируются": 53417, + "▁столица": 53418, + "▁инсу": 53419, + "▁тотали": 53420, + "▁зрение": 53421, + "▁Валентин": 53422, + "▁миров": 53423, + "▁низкий": 53424, + "▁несовершен": 53425, + "таи": 53426, + "▁сели": 53427, + "▁похожие": 53428, + "▁туризма": 53429, + "▁раст": 53430, + "▁продюсер": 53431, + "▁пониманию": 53432, + "▁строительных": 53433, + "емле": 53434, + "▁успешной": 53435, + "▁решается": 53436, + "▁корреспондент": 53437, + "▁воспринимается": 53438, + "▁Джорджа": 53439, + "щику": 53440, + "ъесте": 53441, + "▁индо": 53442, + "▁Ирак": 53443, + "▁хана": 53444, + "▁активную": 53445, + "▁ракета": 53446, + "▁способные": 53447, + "▁появлению": 53448, + "▁община": 53449, + "права": 53450, + "▁спаси": 53451, + "▁нижних": 53452, + "▁сидела": 53453, + "▁трагедия": 53454, + "рины": 53455, + "▁эфир": 53456, + "▁врагами": 53457, + "▁субъект": 53458, + "▁вооруженные": 53459, + "фли": 53460, + "▁набережной": 53461, + "стеров": 53462, + "▁объединяет": 53463, + "▁богослов": 53464, + "▁Главнокоман": 53465, + "▁эмигри": 53466, + "▁неприятеля": 53467, + "▁испанский": 53468, + "▁СД": 53469, + "▁растительного": 53470, + "валифици": 53471, + "▁откли": 53472, + "дда": 53473, + "▁индивидуальной": 53474, + "▁доса": 53475, + "▁южном": 53476, + "▁дивизию": 53477, + "▁Федорович": 53478, + "▁неуверен": 53479, + "чником": 53480, + "▁Империи": 53481, + "зированы": 53482, + "▁истребители": 53483, + "станно": 53484, + "▁Pit": 53485, + "▁Ситуация": 53486, + "▁карьера": 53487, + "рум": 53488, + "▁корабе": 53489, + "голу": 53490, + "▁разгра": 53491, + "логу": 53492, + "▁чудеса": 53493, + "скара": 53494, + "▁толка": 53495, + "▁сервисов": 53496, + "▁необычайно": 53497, + "▁совершенства": 53498, + "▁Парла": 53499, + "▁активным": 53500, + "лливуд": 53501, + "▁придётся": 53502, + "▁бойцы": 53503, + "щине": 53504, + "▁чугу": 53505, + "▁городском": 53506, + "▁Чарльз": 53507, + "службы": 53508, + "▁прохлад": 53509, + "▁паст": 53510, + "▁казался": 53511, + "▁Польшу": 53512, + "▁металл": 53513, + "▁пропустить": 53514, + "▁импорт": 53515, + "▁любимого": 53516, + "▁открытое": 53517, + "▁ярких": 53518, + "▁весть": 53519, + "▁инструментом": 53520, + "▁выходные": 53521, + "▁вывел": 53522, + "чут": 53523, + "ОЙ": 53524, + "▁вернемся": 53525, + "▁устроили": 53526, + "▁особая": 53527, + "▁цивилизова": 53528, + "▁пики": 53529, + "зала": 53530, + "▁случиться": 53531, + "▁узла": 53532, + "▁приехать": 53533, + "таре": 53534, + "родного": 53535, + "▁побольше": 53536, + "▁безобра": 53537, + "воил": 53538, + "рджи": 53539, + "тону": 53540, + "▁орбиты": 53541, + "кок": 53542, + "▁разлу": 53543, + "графической": 53544, + "▁Недоста": 53545, + "▁достигают": 53546, + "▁еврейских": 53547, + "чта": 53548, + "▁пострадал": 53549, + "говоры": 53550, + "▁прорыв": 53551, + "нины": 53552, + "▁Коб": 53553, + "▁Энер": 53554, + "▁CN": 53555, + "▁Вольф": 53556, + "▁советника": 53557, + "▁составом": 53558, + "нейшего": 53559, + "▁бутылки": 53560, + "▁полотен": 53561, + "▁девушке": 53562, + "ванная": 53563, + "▁покрытия": 53564, + "▁кухни": 53565, + "▁больший": 53566, + "мири": 53567, + "▁питом": 53568, + "▁проверять": 53569, + "▁возбуди": 53570, + "▁зме": 53571, + "▁мунди": 53572, + "▁влиять": 53573, + "варда": 53574, + "▁жизненного": 53575, + "▁уверенностью": 53576, + "мони": 53577, + ";#": 53578, + "▁освобожден": 53579, + "▁приносят": 53580, + "▁Олега": 53581, + "▁открывать": 53582, + "▁владений": 53583, + "▁Рассе": 53584, + "▁соотношения": 53585, + "▁песка": 53586, + "▁Гот": 53587, + "▁денежные": 53588, + "▁отбира": 53589, + "ризации": 53590, + "▁ездить": 53591, + "▁пригласили": 53592, + "▁Изобра": 53593, + "минг": 53594, + "▁немецкая": 53595, + "▁Денис": 53596, + "▁Розен": 53597, + "▁человеко": 53598, + "точная": 53599, + "▁Потре": 53600, + "▁духовенства": 53601, + "оле": 53602, + "зистен": 53603, + "▁Дея": 53604, + "рике": 53605, + "▁мыслями": 53606, + "▁мощным": 53607, + "бры": 53608, + "▁красивые": 53609, + "▁феномена": 53610, + "▁фактора": 53611, + "▁отныне": 53612, + "▁жениться": 53613, + "▁Надежда": 53614, + "▁стенами": 53615, + "▁видна": 53616, + "▁военнопленных": 53617, + "▁взволнова": 53618, + "▁Эйзен": 53619, + "▁необо": 53620, + "факс": 53621, + "▁Киевского": 53622, + "▁спутник": 53623, + "▁семе": 53624, + "▁безграни": 53625, + "▁научился": 53626, + "щин": 53627, + "пса": 53628, + "▁превзо": 53629, + "▁столовой": 53630, + "пять": 53631, + "▁действии": 53632, + "▁думаешь": 53633, + "▁Исполни": 53634, + "▁отмечали": 53635, + "▁просвети": 53636, + "юк": 53637, + "нце": 53638, + "▁яркий": 53639, + "▁плит": 53640, + "▁лучшая": 53641, + "▁шестой": 53642, + "▁договором": 53643, + "▁спроек": 53644, + "▁союзники": 53645, + "▁лако": 53646, + "▁специальную": 53647, + "▁выросли": 53648, + "▁Бло": 53649, + "▁Пять": 53650, + "▁некро": 53651, + "▁моими": 53652, + "▁Авторы": 53653, + "▁работая": 53654, + "▁привлекает": 53655, + "▁кулина": 53656, + "Россий": 53657, + "ХА": 53658, + "▁холода": 53659, + "▁целостности": 53660, + "▁резю": 53661, + "▁оркестр": 53662, + "энд": 53663, + "▁Чо": 53664, + "▁Принцип": 53665, + "Свя": 53666, + "▁оказания": 53667, + "скольз": 53668, + "▁обусловли": 53669, + "▁Теодо": 53670, + "летела": 53671, + "▁казаться": 53672, + "▁Плани": 53673, + "▁поляков": 53674, + "джо": 53675, + "▁сохран": 53676, + "▁курт": 53677, + "▁Таган": 53678, + "▁послание": 53679, + "лённых": 53680, + "▁присутствовать": 53681, + "▁получат": 53682, + "▁жалоб": 53683, + "▁господства": 53684, + "nee": 53685, + "▁отрядом": 53686, + "▁правильное": 53687, + "▁подполков": 53688, + "▁рисунки": 53689, + "▁Спас": 53690, + "▁дизайна": 53691, + "▁прежнего": 53692, + "▁маленькую": 53693, + "▁медалей": 53694, + "делки": 53695, + "▁обнаро": 53696, + "▁гнезда": 53697, + "кило": 53698, + "▁каш": 53699, + "▁последовал": 53700, + "▁Минске": 53701, + "▁сочинение": 53702, + "▁попла": 53703, + "▁гиган": 53704, + "▁философских": 53705, + "▁цикло": 53706, + "▁школьников": 53707, + "▁безуслов": 53708, + "▁Хмель": 53709, + "▁ощущений": 53710, + "▁получился": 53711, + "▁способствуют": 53712, + "▁приводить": 53713, + "▁Вода": 53714, + "▁обход": 53715, + "▁названы": 53716, + "▁Метод": 53717, + "▁японский": 53718, + "▁митрополита": 53719, + "▁сетях": 53720, + "▁мозаи": 53721, + "▁доступен": 53722, + "▁употреблять": 53723, + "▁Дор": 53724, + "▁периодом": 53725, + "▁нога": 53726, + "▁́": 53727, + "▁достопримеча": 53728, + "лировать": 53729, + "▁вымышлен": 53730, + "▁оперативного": 53731, + "▁награжден": 53732, + "▁статьях": 53733, + "▁рождается": 53734, + "▁географии": 53735, + "▁допускается": 53736, + "▁строку": 53737, + "▁заявку": 53738, + "owered": 53739, + "▁призёром": 53740, + "▁слабе": 53741, + "▁пересека": 53742, + "▁спал": 53743, + "▁бесстра": 53744, + "зана": 53745, + "кивает": 53746, + "▁болезнью": 53747, + "▁пролетар": 53748, + "▁архаи": 53749, + "▁пообещал": 53750, + "▁письмах": 53751, + "▁шансов": 53752, + "▁ожидали": 53753, + "▁праздники": 53754, + "▁базой": 53755, + "▁флотом": 53756, + "ткин": 53757, + "▁Славя": 53758, + "▁созданных": 53759, + "мби": 53760, + "▁постановке": 53761, + "▁потенциала": 53762, + "▁Элизабет": 53763, + "▁проживает": 53764, + "▁колен": 53765, + "▁дорогах": 53766, + "▁прекло": 53767, + "▁подвиг": 53768, + "▁устраивает": 53769, + "▁Британии": 53770, + "▁кин": 53771, + "▁съемо": 53772, + "▁взялся": 53773, + "▁одиночестве": 53774, + "▁приобретение": 53775, + "▁продолжались": 53776, + "▁кричит": 53777, + "igrants": 53778, + "▁сара": 53779, + "▁отстоя": 53780, + "▁появлялись": 53781, + "▁истолко": 53782, + "▁идентифика": 53783, + "▁взаимодействии": 53784, + "▁опоры": 53785, + "▁оценивается": 53786, + "уров": 53787, + "▁клин": 53788, + "▁торговой": 53789, + "▁подготови": 53790, + "тикой": 53791, + "▁космосе": 53792, + "▁Самолет": 53793, + "▁видения": 53794, + "ющемся": 53795, + "▁согласны": 53796, + "▁мэра": 53797, + "▁исполнителей": 53798, + "▁жалко": 53799, + "▁Зла": 53800, + "▁пробы": 53801, + "▁выгоды": 53802, + "▁земледель": 53803, + "▁доказывает": 53804, + "▁хутор": 53805, + "дях": 53806, + "жских": 53807, + "▁подошла": 53808, + "▁надеясь": 53809, + "нхен": 53810, + "▁prosec": 53811, + "▁перей": 53812, + "ровском": 53813, + "▁держали": 53814, + "▁потомки": 53815, + "▁ставку": 53816, + "Тре": 53817, + "ссой": 53818, + "▁линией": 53819, + "▁электронов": 53820, + "▁задействова": 53821, + "▁Аля": 53822, + "▁проектирова": 53823, + "▁дополнительной": 53824, + "▁арабо": 53825, + "▁большинством": 53826, + "tion": 53827, + "▁бабушки": 53828, + "▁случалось": 53829, + "utor": 53830, + "▁Симферо": 53831, + "▁древе": 53832, + "▁Горький": 53833, + "▁мамы": 53834, + "▁приговора": 53835, + "chang": 53836, + "▁опыту": 53837, + "бинской": 53838, + "▁повышает": 53839, + "▁преуспе": 53840, + "Ше": 53841, + "▁беге": 53842, + "▁готовят": 53843, + "▁изменениями": 53844, + "▁разновидность": 53845, + "▁Ладно": 53846, + "▁увеличивает": 53847, + "▁операционной": 53848, + "▁совещании": 53849, + "▁массовые": 53850, + "▁суши": 53851, + "▁самосозна": 53852, + "▁бары": 53853, + "outheast": 53854, + "▁Софи": 53855, + "муществ": 53856, + "▁парадиг": 53857, + "рих": 53858, + "▁Донецкой": 53859, + "▁полезным": 53860, + "ордини": 53861, + "▁Общий": 53862, + "▁Корот": 53863, + "ничный": 53864, + "▁гипотеза": 53865, + "▁методики": 53866, + "▁реальное": 53867, + "эпи": 53868, + "▁уде": 53869, + "жия": 53870, + "▁Распростра": 53871, + "▁некая": 53872, + "▁поездов": 53873, + "▁огнестре": 53874, + "▁психических": 53875, + "▁влю": 53876, + "ДИ": 53877, + "▁Фрейд": 53878, + "▁отставке": 53879, + "▁Новгороде": 53880, + "▁Чикаго": 53881, + "▁главными": 53882, + "▁обеспечению": 53883, + "▁извлечь": 53884, + "зировали": 53885, + "▁протест": 53886, + "▁Тони": 53887, + "тования": 53888, + "▁балли": 53889, + "▁кабины": 53890, + "▁нарушении": 53891, + "щенную": 53892, + "▁противоречий": 53893, + "▁гуля": 53894, + "▁помы": 53895, + "▁вызывали": 53896, + "▁несовмести": 53897, + "▁центральный": 53898, + "▁факультете": 53899, + "▁стратегических": 53900, + "готовка": 53901, + "▁проявлять": 53902, + "▁анализу": 53903, + "▁удобнее": 53904, + "▁покое": 53905, + "▁изменением": 53906, + "▁некоторую": 53907, + "▁историо": 53908, + "▁Сель": 53909, + "бавок": 53910, + "▁императору": 53911, + "▁Общее": 53912, + "▁умерших": 53913, + "блению": 53914, + "▁ФБР": 53915, + "▁трава": 53916, + "▁ветеранов": 53917, + "▁почек": 53918, + "▁субси": 53919, + "▁безвоз": 53920, + "▁змей": 53921, + "▁предложила": 53922, + "▁дежур": 53923, + "▁выпустила": 53924, + "▁апел": 53925, + "▁сладо": 53926, + "тини": 53927, + "ложив": 53928, + "▁армян": 53929, + "▁пятнадцати": 53930, + "▁реформи": 53931, + "▁Пресвя": 53932, + "▁Марса": 53933, + "км": 53934, + "▁платформе": 53935, + "▁ското": 53936, + "лека": 53937, + "▁воплощение": 53938, + "▁Письмо": 53939, + "▁серьезным": 53940, + "▁Беларуси": 53941, + "▁техно": 53942, + "▁корней": 53943, + "бине": 53944, + "▁организу": 53945, + "▁Ога": 53946, + "▁доложил": 53947, + "▁упру": 53948, + "▁найдет": 53949, + "▁superv": 53950, + "стером": 53951, + "▁возвращался": 53952, + "▁советом": 53953, + "▁принимается": 53954, + "▁дистри": 53955, + "▁уничтожены": 53956, + "▁вед": 53957, + "▁пользователям": 53958, + "▁Контро": 53959, + "▁Ере": 53960, + "▁Нер": 53961, + "▁грехов": 53962, + "▁попало": 53963, + "▁Википедии": 53964, + "▁заведомо": 53965, + "▁Дек": 53966, + "чивые": 53967, + "▁поэтом": 53968, + "▁собеседника": 53969, + "▁старую": 53970, + "трин": 53971, + "▁превосходя": 53972, + "▁маленьким": 53973, + "▁архитектуре": 53974, + "▁специальная": 53975, + "▁вкуса": 53976, + "▁кресла": 53977, + "▁Мировой": 53978, + "▁молчали": 53979, + "▁средствах": 53980, + "▁беспокойство": 53981, + "хол": 53982, + "▁умело": 53983, + "▁заставляют": 53984, + "еврей": 53985, + "▁финансирование": 53986, + "▁налог": 53987, + "▁тяжелое": 53988, + "▁вторг": 53989, + "▁Мюнхе": 53990, + "▁Свердловской": 53991, + "евская": 53992, + "▁отзыв": 53993, + "▁ас": 53994, + "лома": 53995, + "▁делаете": 53996, + "▁глазом": 53997, + "США": 53998, + "▁замке": 53999, + "сурд": 54000, + "алов": 54001, + "▁Роль": 54002, + "▁долгого": 54003, + "▁Ефре": 54004, + "тывает": 54005, + "шино": 54006, + "▁Семен": 54007, + "▁рядов": 54008, + "▁мисти": 54009, + "▁кратко": 54010, + "▁нижнем": 54011, + "▁номеров": 54012, + "товской": 54013, + "▁юношей": 54014, + "▁упоминания": 54015, + "▁захочет": 54016, + "▁философа": 54017, + "%),": 54018, + "▁Анализ": 54019, + "▁временных": 54020, + "сылка": 54021, + "▁предприниматель": 54022, + "▁Уильяма": 54023, + "▁союзных": 54024, + "▁указанием": 54025, + "▁Красный": 54026, + "▁Немцы": 54027, + "▁передана": 54028, + "▁проводя": 54029, + "бба": 54030, + "▁популярностью": 54031, + "▁вах": 54032, + "▁обрадова": 54033, + "▁Рису": 54034, + "потом": 54035, + "разрабо": 54036, + "▁майора": 54037, + "▁могилы": 54038, + "▁усилить": 54039, + "▁записки": 54040, + "пери": 54041, + "лс": 54042, + "▁позволяло": 54043, + "▁бедра": 54044, + "▁переводчик": 54045, + "▁открытые": 54046, + "▁иммигра": 54047, + "азиат": 54048, + "▁художеств": 54049, + "▁прекрасной": 54050, + "▁круто": 54051, + "▁текущей": 54052, + "плета": 54053, + "зился": 54054, + "ЯТ": 54055, + "▁Круг": 54056, + "провер": 54057, + "▁взрослого": 54058, + "▁пришель": 54059, + "частие": 54060, + "▁выведен": 54061, + "▁несогла": 54062, + "▁официальные": 54063, + "▁актеров": 54064, + "▁превыша": 54065, + "▁Тбилиси": 54066, + "▁Жак": 54067, + "▁приехала": 54068, + "▁Литератур": 54069, + "▁дополне": 54070, + "▁лампо": 54071, + "▁показало": 54072, + "▁крики": 54073, + "рийской": 54074, + "▁столицей": 54075, + "▁мосту": 54076, + "▁выполнен": 54077, + "▁меняются": 54078, + "шом": 54079, + "▁домашней": 54080, + "▁хорошень": 54081, + "▁связывает": 54082, + "▁убра": 54083, + "▁Описание": 54084, + "▁запаса": 54085, + "ваш": 54086, + "▁Эрн": 54087, + "▁ист": 54088, + "▁васса": 54089, + "стреби": 54090, + "скова": 54091, + "▁меща": 54092, + "▁фондов": 54093, + "▁подняли": 54094, + "▁певица": 54095, + "▁ГЛА": 54096, + "▁эмбле": 54097, + "шивают": 54098, + "▁Battalion": 54099, + "тенти": 54100, + "▁верхнем": 54101, + "iege": 54102, + "▁плаву": 54103, + "▁Крымской": 54104, + "▁Саму": 54105, + "▁поддерживали": 54106, + "▁находящийся": 54107, + "▁детство": 54108, + "▁Лор": 54109, + "▁наки": 54110, + "▁серьезное": 54111, + "▁Мере": 54112, + "▁поговорим": 54113, + "▁подписали": 54114, + "▁моё": 54115, + "▁Цин": 54116, + "▁подруга": 54117, + "▁раствора": 54118, + "▁устранения": 54119, + "▁поездку": 54120, + "▁направленные": 54121, + "▁относительности": 54122, + "▁пригород": 54123, + "▁приспосо": 54124, + "▁хвали": 54125, + "▁Вопросы": 54126, + "▁манере": 54127, + "▁требованием": 54128, + "▁теорией": 54129, + "▁отдельности": 54130, + "▁Южная": 54131, + "ИХ": 54132, + "▁документами": 54133, + "чнике": 54134, + "▁Герак": 54135, + "шнее": 54136, + "▁невозможности": 54137, + "▁squadron": 54138, + "▁глюко": 54139, + "▁точное": 54140, + "▁всесторон": 54141, + "▁Ряза": 54142, + "помя": 54143, + "гран": 54144, + "▁созданной": 54145, + "▁разработана": 54146, + "▁принятии": 54147, + "▁деспо": 54148, + "▁местам": 54149, + "▁драматург": 54150, + "▁зашел": 54151, + "▁ова": 54152, + "owntown": 54153, + "▁Челябин": 54154, + "▁устойчивости": 54155, + "▁вертолетов": 54156, + "▁желаний": 54157, + "▁Состав": 54158, + "клеи": 54159, + "▁японцы": 54160, + "▁гостиницы": 54161, + "▁фрагмента": 54162, + "кот": 54163, + "▁грибов": 54164, + "▁Вооружённых": 54165, + "▁Альберт": 54166, + "▁УЕФА": 54167, + "▁эква": 54168, + "▁поступи": 54169, + "▁Корне": 54170, + "▁подчинения": 54171, + "нившись": 54172, + "▁революционных": 54173, + "▁Фай": 54174, + "▁освоения": 54175, + "декса": 54176, + "муж": 54177, + "▁входящих": 54178, + "▁процессах": 54179, + "▁Будет": 54180, + "чис": 54181, + "▁зароды": 54182, + "▁Тим": 54183, + "▁Численность": 54184, + "зена": 54185, + "▁продуктами": 54186, + "Жа": 54187, + "эмп": 54188, + "▁кафедра": 54189, + "▁змеи": 54190, + "▁страданий": 54191, + "сасы": 54192, + "▁коче": 54193, + "▁впечатля": 54194, + "▁вегета": 54195, + "▁уравнове": 54196, + "▁Молодой": 54197, + "▁показаний": 54198, + "▁Арт": 54199, + "▁галлю": 54200, + "▁японцев": 54201, + "▁револь": 54202, + "учи": 54203, + "▁супруже": 54204, + "▁никакие": 54205, + "▁скандал": 54206, + "дравствуйте": 54207, + "▁Волги": 54208, + "▁завоевать": 54209, + "▁Шекспи": 54210, + "▁родины": 54211, + "▁последующей": 54212, + "▁комментариев": 54213, + "▁тексти": 54214, + "▁девяно": 54215, + "тицы": 54216, + "▁забрать": 54217, + "▁Молдавии": 54218, + "▁правовых": 54219, + "▁воскликнул": 54220, + "ваемым": 54221, + "тамина": 54222, + "▁подтвердить": 54223, + "▁идеально": 54224, + "маров": 54225, + "▁получите": 54226, + "▁действующей": 54227, + "рико": 54228, + "▁Фёдорович": 54229, + "▁пьеса": 54230, + "спокой": 54231, + "▁положению": 54232, + "▁гриб": 54233, + "▁бактерий": 54234, + "птом": 54235, + "▁фли": 54236, + "▁контрразвед": 54237, + "▁флаго": 54238, + "▁апель": 54239, + "▁форума": 54240, + "Ад": 54241, + "▁билеты": 54242, + "▁компре": 54243, + "▁Платона": 54244, + "▁Цу": 54245, + "▁большевики": 54246, + "▁Прибы": 54247, + "▁просты": 54248, + "▁длинных": 54249, + "▁рождение": 54250, + "шалось": 54251, + "▁дыма": 54252, + "▁нагрузку": 54253, + "▁aired": 54254, + "▁Мужчина": 54255, + "▁козы": 54256, + "▁всеобщего": 54257, + "▁компетент": 54258, + "▁вынес": 54259, + "▁постановлением": 54260, + "▁дадут": 54261, + "▁депрессии": 54262, + "▁историческом": 54263, + "▁чертой": 54264, + "▁атака": 54265, + "atabase": 54266, + "▁обработка": 54267, + "▁парашют": 54268, + "▁дик": 54269, + "▁дереву": 54270, + "▁Родители": 54271, + "▁указывается": 54272, + "▁исходит": 54273, + "зывов": 54274, + "▁логике": 54275, + "▁арген": 54276, + "совета": 54277, + "▁конгресс": 54278, + "ждался": 54279, + "▁отклонения": 54280, + "▁юридической": 54281, + "едино": 54282, + "рян": 54283, + "такте": 54284, + "Почему": 54285, + "▁строю": 54286, + "▁телеканала": 54287, + "▁нужное": 54288, + "▁ИН": 54289, + "▁низких": 54290, + "▁Светлана": 54291, + "▁Зеландии": 54292, + "▁торговлю": 54293, + "▁оценил": 54294, + "илла": 54295, + "▁вводить": 54296, + "▁китайский": 54297, + "erto": 54298, + "▁Эдвард": 54299, + "▁утверждён": 54300, + "▁способствовали": 54301, + "▁испытывают": 54302, + "▁Адриа": 54303, + "▁пали": 54304, + "▁Граф": 54305, + "race": 54306, + "▁обусловлено": 54307, + "▁депо": 54308, + "▁известие": 54309, + "▁исполнил": 54310, + "▁Лам": 54311, + "▁передается": 54312, + "образования": 54313, + "▁лекций": 54314, + "ничестве": 54315, + "▁заявлял": 54316, + "▁двести": 54317, + "▁похожий": 54318, + "Послед": 54319, + "▁Синга": 54320, + "▁знаниями": 54321, + "▁грязь": 54322, + "▁хребта": 54323, + "▁журналы": 54324, + "▁Марты": 54325, + "▁вузов": 54326, + "▁осматри": 54327, + "▁численностью": 54328, + "▁Энциклопе": 54329, + "мовых": 54330, + "▁плохого": 54331, + "▁Неизвест": 54332, + "ocracy": 54333, + "▁гермети": 54334, + "▁стремясь": 54335, + "▁пресса": 54336, + "▁Восточно": 54337, + "▁изоляции": 54338, + "▁идеал": 54339, + "▁покая": 54340, + "▁Власти": 54341, + "▁запроса": 54342, + "▁выбирает": 54343, + "▁сторонами": 54344, + "▁старое": 54345, + "▁машиной": 54346, + "лках": 54347, + "arsh": 54348, + "▁плод": 54349, + "▁фавори": 54350, + "ture": 54351, + "технической": 54352, + "▁официальное": 54353, + "▁заявлении": 54354, + "▁заболеваниях": 54355, + "▁формула": 54356, + "льником": 54357, + "▁Аки": 54358, + "▁римский": 54359, + "▁выпря": 54360, + "▁нелегко": 54361, + "▁находили": 54362, + "▁формами": 54363, + "▁могиле": 54364, + "▁увеличением": 54365, + "▁стану": 54366, + "▁пьес": 54367, + "▁инженером": 54368, + "ilit": 54369, + "▁пакета": 54370, + "▁присоединиться": 54371, + "▁Интернете": 54372, + "▁интеллект": 54373, + "лову": 54374, + "диями": 54375, + "▁попри": 54376, + "▁слышит": 54377, + "даже": 54378, + "▁моделя": 54379, + "▁состояло": 54380, + "▁подарил": 54381, + "▁арифмети": 54382, + "▁целой": 54383, + "▁проявить": 54384, + "▁erect": 54385, + "▁тонкий": 54386, + "▁соседней": 54387, + "▁сделанные": 54388, + "▁Будапе": 54389, + "снов": 54390, + "▁пройдут": 54391, + "▁Литература": 54392, + "▁средневековой": 54393, + "▁провоци": 54394, + "▁Кази": 54395, + "Ху": 54396, + "▁шутку": 54397, + "▁доходит": 54398, + "▁соответствия": 54399, + "▁племя": 54400, + "▁поручено": 54401, + "▁изре": 54402, + "▁оценивать": 54403, + "▁успела": 54404, + "▁Суворова": 54405, + "▁зоопар": 54406, + "▁ели": 54407, + "▁Венеции": 54408, + "нас": 54409, + "▁разоб": 54410, + "▁католической": 54411, + "▁намерение": 54412, + "Евро": 54413, + "метрия": 54414, + "▁спрашивал": 54415, + "▁подавления": 54416, + "▁Духа": 54417, + "Кре": 54418, + "логами": 54419, + "▁аэродроме": 54420, + "▁вих": 54421, + "▁гнездо": 54422, + "▁граби": 54423, + "▁Зеле": 54424, + "▁упад": 54425, + "▁кресло": 54426, + "!).": 54427, + "▁химического": 54428, + "мвор": 54429, + "▁бутылку": 54430, + "▁супругов": 54431, + "▁проблемах": 54432, + "одно": 54433, + "стному": 54434, + "шивать": 54435, + "▁создала": 54436, + "СО": 54437, + "вленно": 54438, + "▁появлении": 54439, + "▁наподобие": 54440, + "▁лампы": 54441, + "▁Рыба": 54442, + "▁Окс": 54443, + "▁небре": 54444, + "▁Сена": 54445, + "▁переменной": 54446, + "▁Законода": 54447, + "▁locomot": 54448, + "▁ведении": 54449, + "▁защитой": 54450, + "▁приобрели": 54451, + "▁рассматриваются": 54452, + "▁инициативы": 54453, + "▁настоящих": 54454, + "▁КВ": 54455, + "▁частота": 54456, + "лится": 54457, + "рующее": 54458, + "▁вагон": 54459, + "▁интересом": 54460, + "коди": 54461, + "тией": 54462, + "▁братьями": 54463, + "▁спора": 54464, + "▁познава": 54465, + "▁запута": 54466, + "▁признаком": 54467, + "ТОР": 54468, + "вак": 54469, + "▁семейной": 54470, + "▁ресурс": 54471, + "▁сексуальной": 54472, + "▁усилиями": 54473, + "СКАЯ": 54474, + "рут": 54475, + "▁Небе": 54476, + "лль": 54477, + "▁верхом": 54478, + "▁переписы": 54479, + "чике": 54480, + "▁социальное": 54481, + "стать": 54482, + "▁Единственный": 54483, + "▁летописи": 54484, + "▁рекомендова": 54485, + "▁кошка": 54486, + "▁фальси": 54487, + "▁Дья": 54488, + "▁подчёр": 54489, + "▁railroad": 54490, + "▁дипломат": 54491, + "шкова": 54492, + "ресчур": 54493, + "▁промышленной": 54494, + "▁поехать": 54495, + "▁Божий": 54496, + "▁ветром": 54497, + "▁защитника": 54498, + "▁АЭС": 54499, + "▁правителей": 54500, + "неся": 54501, + "▁расстреля": 54502, + "▁врачу": 54503, + "▁правильного": 54504, + "сфер": 54505, + "▁исполнитель": 54506, + "▁Франци": 54507, + "▁реестре": 54508, + "▁килограммов": 54509, + "▁Севастополь": 54510, + "ссиони": 54511, + "▁Оконча": 54512, + "▁воевода": 54513, + "▁отправилась": 54514, + "▁Шми": 54515, + "▁уезде": 54516, + "дский": 54517, + "основа": 54518, + "▁километра": 54519, + "▁заимствова": 54520, + "▁выехал": 54521, + "▁нежи": 54522, + "▁образуя": 54523, + "мят": 54524, + "▁оставляют": 54525, + "▁описаны": 54526, + "▁читатели": 54527, + "▁выпустить": 54528, + "▁повсеместно": 54529, + "псо": 54530, + "▁Кино": 54531, + "производ": 54532, + "▁правде": 54533, + "жева": 54534, + "жёр": 54535, + "▁следуя": 54536, + "жьте": 54537, + "▁переходя": 54538, + "▁Отсутствие": 54539, + "▁солнечных": 54540, + "▁хлопо": 54541, + "▁Boeing": 54542, + "▁фокус": 54543, + "▁зверей": 54544, + "▁цифровой": 54545, + "▁ожидается": 54546, + "▁отрицательно": 54547, + "▁длинными": 54548, + "рене": 54549, + "▁обнима": 54550, + "▁природного": 54551, + "▁Севастополя": 54552, + "▁переживаний": 54553, + "▁десяток": 54554, + "ситесь": 54555, + "▁Польша": 54556, + "▁каменные": 54557, + "▁нестаби": 54558, + "Восточной": 54559, + "▁Забайка": 54560, + "▁тв": 54561, + "▁Вза": 54562, + "▁Узнав": 54563, + "образно": 54564, + "▁pric": 54565, + "▁разницы": 54566, + "▁Иосифа": 54567, + "▁радиолока": 54568, + "▁обозначает": 54569, + "▁результатами": 54570, + "▁скру": 54571, + "▁ня": 54572, + "▁электрических": 54573, + "▁Вселенная": 54574, + "▁замысел": 54575, + "▁предлогом": 54576, + "▁третью": 54577, + "пию": 54578, + "▁предчув": 54579, + "▁ехал": 54580, + "▁отнима": 54581, + "▁физика": 54582, + "▁Получается": 54583, + "▁отечественных": 54584, + "▁отклады": 54585, + "▁местном": 54586, + "▁качеством": 54587, + "▁собесе": 54588, + "▁открылась": 54589, + "оси": 54590, + "▁верный": 54591, + "Они": 54592, + "erted": 54593, + "динга": 54594, + "▁Антаркти": 54595, + "▁Подума": 54596, + "▁Среднего": 54597, + "▁Скотт": 54598, + "▁академика": 54599, + "▁загоре": 54600, + "▁мотори": 54601, + "▁просят": 54602, + "▁Особое": 54603, + "▁Вре": 54604, + "гивает": 54605, + "▁нескольким": 54606, + "▁валюты": 54607, + "▁правы": 54608, + "▁разницу": 54609, + "▁Ваша": 54610, + "▁ледо": 54611, + "менкла": 54612, + "▁мусор": 54613, + "▁наряд": 54614, + "▁Пост": 54615, + "▁законопроект": 54616, + "льщики": 54617, + "▁Ильин": 54618, + "▁Инте": 54619, + "▁густой": 54620, + "▁Свою": 54621, + "▁траве": 54622, + "ствующая": 54623, + "▁статуи": 54624, + "▁наращи": 54625, + "▁включена": 54626, + "▁соприкосно": 54627, + "▁ампли": 54628, + "личные": 54629, + "▁реагировать": 54630, + "▁близки": 54631, + "▁историческое": 54632, + "▁рукоят": 54633, + "▁Мета": 54634, + "▁тр": 54635, + "ньте": 54636, + "▁Цы": 54637, + "Сей": 54638, + "менным": 54639, + "▁переменных": 54640, + "▁фотоаппара": 54641, + "▁трансформи": 54642, + "▁Стамбу": 54643, + "грать": 54644, + "▁Вор": 54645, + "ценден": 54646, + "▁привезли": 54647, + "▁разработкой": 54648, + "▁интервен": 54649, + "▁учебные": 54650, + "▁созданная": 54651, + "▁столкнулись": 54652, + "ИЧЕ": 54653, + "ronze": 54654, + "▁крыше": 54655, + "▁сине": 54656, + "▁амино": 54657, + "▁исчезла": 54658, + "▁профиль": 54659, + "тока": 54660, + "лкома": 54661, + "▁Схема": 54662, + "▁открылся": 54663, + "ellect": 54664, + "▁съемки": 54665, + "▁Троцкого": 54666, + "▁пережить": 54667, + "▁Аса": 54668, + "▁неправ": 54669, + "▁мужчиной": 54670, + "▁проповед": 54671, + "леев": 54672, + "▁Требу": 54673, + "▁площадку": 54674, + "▁составило": 54675, + "▁Людмила": 54676, + "▁королём": 54677, + "▁разграни": 54678, + "▁декре": 54679, + "логическая": 54680, + "вленном": 54681, + "▁Поначалу": 54682, + "▁Наза": 54683, + "▁поместить": 54684, + "ПЛ": 54685, + "пость": 54686, + "▁когни": 54687, + "▁готовых": 54688, + "iency": 54689, + "▁пропуск": 54690, + "▁приостанови": 54691, + "дав": 54692, + "▁нажима": 54693, + "▁Николаевна": 54694, + "▁отру": 54695, + "▁Сюда": 54696, + "▁развитых": 54697, + "▁напомнить": 54698, + "▁Шам": 54699, + "щуюся": 54700, + "▁строке": 54701, + "▁воздухом": 54702, + "▁стадион": 54703, + "▁различий": 54704, + "ерба": 54705, + "▁выполнена": 54706, + "шную": 54707, + "▁жилой": 54708, + "▁кля": 54709, + "▁раствори": 54710, + "▁квалифика": 54711, + "▁Тихого": 54712, + "▁математике": 54713, + "▁дочер": 54714, + "▁зверя": 54715, + "▁Узбекистана": 54716, + "▁Дочь": 54717, + "▁стихотворений": 54718, + "Дону": 54719, + "▁наступил": 54720, + "ксы": 54721, + "▁Выше": 54722, + "▁инстанции": 54723, + "▁применяться": 54724, + "стем": 54725, + "▁жажду": 54726, + "▁Яковлевич": 54727, + "▁вине": 54728, + "▁ом": 54729, + "▁культурные": 54730, + "▁магазинах": 54731, + "▁описывается": 54732, + "вывает": 54733, + "▁Несом": 54734, + "▁эпизоде": 54735, + "дд": 54736, + "▁ЦИК": 54737, + "▁depict": 54738, + "▁техническим": 54739, + "▁ноябрь": 54740, + "▁Собор": 54741, + "▁попросить": 54742, + "▁Шли": 54743, + "сному": 54744, + "▁устье": 54745, + "▁Таблица": 54746, + "▁предви": 54747, + "▁итальянских": 54748, + "▁теоретически": 54749, + "▁фрагмент": 54750, + "▁ископаемых": 54751, + "гнит": 54752, + "▁обвинению": 54753, + "▁уму": 54754, + "▁населённые": 54755, + "▁ипоте": 54756, + "▁mys": 54757, + "▁деревянных": 54758, + "▁прогресси": 54759, + "▁заду": 54760, + "▁координаты": 54761, + "inema": 54762, + "▁вещами": 54763, + "▁казалась": 54764, + "▁злове": 54765, + "▁республика": 54766, + "▁правам": 54767, + "Мон": 54768, + "▁немину": 54769, + "▁копей": 54770, + "▁оставила": 54771, + "доу": 54772, + "▁Петропав": 54773, + "▁Тамбов": 54774, + "▁возвратился": 54775, + "ссими": 54776, + "▁Дальнем": 54777, + "▁национальным": 54778, + "▁решают": 54779, + "▁предназначен": 54780, + "чиваться": 54781, + "числения": 54782, + "рными": 54783, + "▁перо": 54784, + "▁фигуру": 54785, + "▁пету": 54786, + "▁коротких": 54787, + "▁жертвами": 54788, + "▁личную": 54789, + "▁америка": 54790, + "▁предпринять": 54791, + "ВИ": 54792, + "тль": 54793, + "▁щел": 54794, + "▁воздушные": 54795, + "▁Европейского": 54796, + "▁ник": 54797, + "▁Стоимость": 54798, + "▁Хрущев": 54799, + "юра": 54800, + "▁наследие": 54801, + "▁законе": 54802, + "▁представлено": 54803, + "▁наду": 54804, + "▁свести": 54805, + "▁равны": 54806, + "▁поселка": 54807, + "▁произвел": 54808, + "варь": 54809, + "▁Лек": 54810, + "▁Завтра": 54811, + "▁Паралле": 54812, + "▁миссис": 54813, + "▁активные": 54814, + "▁деревянный": 54815, + "ricket": 54816, + "▁зарплату": 54817, + "▁популярным": 54818, + "Май": 54819, + "▁коммуникаций": 54820, + "▁Марша": 54821, + "унда": 54822, + "▁нати": 54823, + "▁особей": 54824, + "▁превратились": 54825, + "кр": 54826, + "нту": 54827, + "▁злоумышлен": 54828, + "▁совпадают": 54829, + "предь": 54830, + "▁Хлеб": 54831, + "▁национальном": 54832, + "редиенты": 54833, + "жмите": 54834, + "▁фабрика": 54835, + "▁Генеральный": 54836, + "▁Тель": 54837, + "▁значимость": 54838, + "▁монополи": 54839, + "▁Ср": 54840, + "▁Аравии": 54841, + "▁кало": 54842, + "▁жертвопри": 54843, + "рино": 54844, + "▁адъютан": 54845, + "▁образцо": 54846, + "▁эссе": 54847, + "▁ученика": 54848, + "дутся": 54849, + "▁насти": 54850, + "ОБ": 54851, + "евка": 54852, + "▁заказу": 54853, + "▁resemb": 54854, + "▁ничуть": 54855, + "▁Невского": 54856, + "▁казались": 54857, + "▁Исходя": 54858, + "пожа": 54859, + "▁Театра": 54860, + "ЕЧ": 54861, + "▁Конец": 54862, + "▁головок": 54863, + "▁корпусом": 54864, + "▁льду": 54865, + "риков": 54866, + "▁конференция": 54867, + "бытия": 54868, + "ховского": 54869, + "римина": 54870, + "▁Отра": 54871, + "▁солнечной": 54872, + "▁певец": 54873, + "▁входить": 54874, + "▁квартале": 54875, + "▁вери": 54876, + "ench": 54877, + "▁playoff": 54878, + "▁запра": 54879, + "▁храмы": 54880, + "▁убедительно": 54881, + "▁рассматриваться": 54882, + "▁дальности": 54883, + "Нор": 54884, + "▁отреаги": 54885, + "▁чересчур": 54886, + "▁рефор": 54887, + "▁артиллерийского": 54888, + "вающихся": 54889, + "▁Причиной": 54890, + "▁массива": 54891, + "▁вспых": 54892, + "▁населению": 54893, + "▁предусмотренных": 54894, + "▁Осу": 54895, + "▁поинтере": 54896, + "▁Организация": 54897, + "▁организован": 54898, + "▁связывают": 54899, + "▁Пят": 54900, + "▁черная": 54901, + "▁становления": 54902, + "vements": 54903, + "▁сохранился": 54904, + "▁пират": 54905, + "▁научная": 54906, + "▁комедий": 54907, + "▁скандина": 54908, + "▁стадиона": 54909, + "▁больные": 54910, + "▁сформировать": 54911, + "▁сложилось": 54912, + "имуще": 54913, + "▁завершении": 54914, + "▁компо": 54915, + "▁результатах": 54916, + "▁выражению": 54917, + "▁кафедре": 54918, + "▁ширину": 54919, + "▁сфера": 54920, + "▁малый": 54921, + "▁находил": 54922, + "▁затяги": 54923, + "▁стабильности": 54924, + "▁Жил": 54925, + "▁испытание": 54926, + "▁связать": 54927, + "▁футболь": 54928, + "мад": 54929, + "▁Шере": 54930, + "▁Полтав": 54931, + "▁вечной": 54932, + "▁Конструк": 54933, + "▁вооружён": 54934, + "разум": 54935, + "моли": 54936, + "▁кром": 54937, + "▁лимон": 54938, + "▁покупку": 54939, + "▁Фрэн": 54940, + "▁подко": 54941, + "▁будьте": 54942, + "▁погреба": 54943, + "▁несоответ": 54944, + "бию": 54945, + "▁охота": 54946, + "▁особенностью": 54947, + "▁естественный": 54948, + "▁разработаны": 54949, + "▁презира": 54950, + "▁мебель": 54951, + "▁Учеб": 54952, + "нком": 54953, + "льцев": 54954, + "▁Ряд": 54955, + "▁спле": 54956, + "▁белом": 54957, + "▁глубоких": 54958, + "МС": 54959, + "▁molec": 54960, + "▁кратковремен": 54961, + "▁вдохнови": 54962, + "▁квартира": 54963, + "▁Станислава": 54964, + "денный": 54965, + "▁боялись": 54966, + "▁обрести": 54967, + "ализация": 54968, + "▁велась": 54969, + "▁возможен": 54970, + "▁Вон": 54971, + "▁лежать": 54972, + "▁обсуждали": 54973, + "▁отрас": 54974, + "▁горной": 54975, + "▁заливе": 54976, + "▁будущим": 54977, + "гено": 54978, + "▁джи": 54979, + "точное": 54980, + "▁поправки": 54981, + "▁социальным": 54982, + "▁песне": 54983, + "▁учётом": 54984, + "графы": 54985, + "▁правами": 54986, + "▁Джеймса": 54987, + "▁изучением": 54988, + "▁прекрасные": 54989, + "▁библиотек": 54990, + "▁лодке": 54991, + "▁сном": 54992, + "▁прокоммен": 54993, + "графов": 54994, + "▁излучение": 54995, + "вичей": 54996, + "родом": 54997, + "▁копий": 54998, + "▁Жители": 54999, + "▁страшный": 55000, + "▁удерживать": 55001, + "▁уточнил": 55002, + "▁исследованию": 55003, + "▁колледж": 55004, + "▁творческих": 55005, + "▁воздви": 55006, + "▁фин": 55007, + "▁назначении": 55008, + "▁Лё": 55009, + "▁анато": 55010, + "▁снимает": 55011, + "▁народами": 55012, + "▁каменных": 55013, + "▁проявляет": 55014, + "▁готовые": 55015, + "лук": 55016, + "▁собрали": 55017, + "▁упомянуть": 55018, + "▁Возника": 55019, + "▁платежей": 55020, + "▁высу": 55021, + "▁единую": 55022, + "▁направленных": 55023, + "▁чудом": 55024, + "снабжения": 55025, + "▁Стало": 55026, + "▁стул": 55027, + "зовского": 55028, + "косновен": 55029, + "▁Видео": 55030, + "▁максимальная": 55031, + "ливой": 55032, + "▁моды": 55033, + "▁Франко": 55034, + "▁доброго": 55035, + "вардии": 55036, + "▁поздней": 55037, + "▁жилого": 55038, + "▁уступил": 55039, + "летние": 55040, + "▁первенства": 55041, + "▁охрану": 55042, + "кинг": 55043, + "▁уговари": 55044, + "шар": 55045, + "▁речной": 55046, + "▁снаряд": 55047, + "сущ": 55048, + "▁называем": 55049, + "▁скучно": 55050, + "▁блин": 55051, + "баланси": 55052, + "▁Террито": 55053, + "▁человеческая": 55054, + "▁Конвен": 55055, + "▁шерсти": 55056, + "роман": 55057, + "сре": 55058, + "▁Смы": 55059, + "▁божества": 55060, + "▁катастрофа": 55061, + "▁составляющие": 55062, + "▁заверша": 55063, + "▁университетов": 55064, + "▁«»": 55065, + "́к": 55066, + "▁Фридриха": 55067, + "▁предел": 55068, + "▁проследить": 55069, + "▁оборачи": 55070, + "▁организациях": 55071, + "ivate": 55072, + "▁стеной": 55073, + "▁морально": 55074, + "временно": 55075, + "днее": 55076, + "▁Внеза": 55077, + "▁красивая": 55078, + "▁поэты": 55079, + "шенными": 55080, + "▁городами": 55081, + "▁реальным": 55082, + "nest": 55083, + "▁Основными": 55084, + "▁вступила": 55085, + "сень": 55086, + "▁Отве": 55087, + "▁богатой": 55088, + "▁Текст": 55089, + "▁Капи": 55090, + "процен": 55091, + "▁прижи": 55092, + "▁Вооруженных": 55093, + "▁пророка": 55094, + "гони": 55095, + "ниор": 55096, + "▁резь": 55097, + "▁повторил": 55098, + "▁Термин": 55099, + "▁предыдущие": 55100, + "▁Древней": 55101, + "▁сердечно": 55102, + "▁практических": 55103, + "▁лап": 55104, + "новую": 55105, + "▁сборника": 55106, + "▁научились": 55107, + "▁сверхъесте": 55108, + "ворение": 55109, + "▁subsid": 55110, + "▁Деньги": 55111, + "▁комбинации": 55112, + "▁остальными": 55113, + "▁воспоминаниях": 55114, + "▁Евросо": 55115, + "майора": 55116, + "туар": 55117, + "Свобо": 55118, + "▁взлета": 55119, + "▁потенциальных": 55120, + "▁солнечного": 55121, + "▁жестко": 55122, + "ordan": 55123, + "лют": 55124, + "▁генералу": 55125, + "фир": 55126, + "▁юмора": 55127, + "▁командующим": 55128, + "▁святы": 55129, + "▁заходит": 55130, + "▁телевизор": 55131, + "ревич": 55132, + "▁пальто": 55133, + "▁институты": 55134, + "МК": 55135, + "йка": 55136, + "▁корпусов": 55137, + "▁медицинский": 55138, + "▁ставится": 55139, + "▁вмешательство": 55140, + "▁Дли": 55141, + "▁Предполага": 55142, + "▁чуже": 55143, + "▁местона": 55144, + "▁Яну": 55145, + "▁кадет": 55146, + "▁означать": 55147, + "але": 55148, + "▁Ваг": 55149, + "▁испове": 55150, + "▁сырье": 55151, + "▁встречал": 55152, + "▁отыскать": 55153, + "▁фестивале": 55154, + "▁налево": 55155, + "щенности": 55156, + "▁искусственно": 55157, + "▁очевидным": 55158, + "▁Российский": 55159, + "▁введены": 55160, + "▁Дзержи": 55161, + "▁Премьера": 55162, + "▁требованию": 55163, + "▁Этому": 55164, + "▁проспект": 55165, + "▁бывшая": 55166, + "▁использован": 55167, + "▁деда": 55168, + "▁выезд": 55169, + "▁Галли": 55170, + "́м": 55171, + "▁подъема": 55172, + "▁Монголии": 55173, + "▁murd": 55174, + "▁Вследствие": 55175, + "вающиеся": 55176, + "mosp": 55177, + "▁Византии": 55178, + "▁согласован": 55179, + "▁засло": 55180, + "▁игрушки": 55181, + "▁верхний": 55182, + "▁кусочек": 55183, + "▁Хозя": 55184, + "thodox": 55185, + "▁координат": 55186, + "▁метеоро": 55187, + "рака": 55188, + "▁оборон": 55189, + "гуш": 55190, + "▁Главные": 55191, + "▁улыбнулся": 55192, + "▁смотрите": 55193, + "▁троих": 55194, + "▁холодный": 55195, + "▁Победитель": 55196, + "▁журналиста": 55197, + "▁Яна": 55198, + "▁учебно": 55199, + "▁ствол": 55200, + "▁давало": 55201, + "▁таблицу": 55202, + "▁настаивал": 55203, + "▁прогноз": 55204, + "▁спорить": 55205, + "▁французская": 55206, + "▁Печа": 55207, + "▁Исследования": 55208, + "чевского": 55209, + "▁построенный": 55210, + "▁договориться": 55211, + "▁технический": 55212, + "яли": 55213, + "филд": 55214, + "▁Фрунзе": 55215, + "▁теоретической": 55216, + "▁духовно": 55217, + "▁изменился": 55218, + "▁мешок": 55219, + "▁свидетельств": 55220, + "▁трудовых": 55221, + "▁накоп": 55222, + "▁всевозможные": 55223, + "▁Ох": 55224, + "▁зима": 55225, + "▁Хосе": 55226, + "▁плавно": 55227, + "▁непредсказу": 55228, + "▁попадания": 55229, + "▁Основное": 55230, + "▁уголь": 55231, + "▁прекрасное": 55232, + "▁компьютерной": 55233, + "▁Бом": 55234, + "▁штри": 55235, + "▁дворянства": 55236, + "▁телевидении": 55237, + "сце": 55238, + "▁теплой": 55239, + "▁научить": 55240, + "▁гну": 55241, + "мение": 55242, + "▁Сити": 55243, + "ражи": 55244, + "▁богом": 55245, + "дди": 55246, + "▁коля": 55247, + "▁Уголов": 55248, + "▁духовную": 55249, + "▁Верхне": 55250, + "▁рельеф": 55251, + "▁депутата": 55252, + "▁Высшей": 55253, + "▁острый": 55254, + "▁прослежи": 55255, + "▁узлы": 55256, + "▁электрического": 55257, + "нрав": 55258, + "▁слияния": 55259, + "▁Руководство": 55260, + "▁нуждаются": 55261, + "▁совершается": 55262, + "▁выдержать": 55263, + "▁сборнике": 55264, + "▁компьютерных": 55265, + "Укра": 55266, + "▁рейс": 55267, + "▁арене": 55268, + "▁очу": 55269, + "▁рекой": 55270, + "▁деловой": 55271, + "▁применительно": 55272, + "стол": 55273, + "▁полузащитник": 55274, + "olis": 55275, + "▁золоти": 55276, + "▁перепле": 55277, + "▁лондо": 55278, + "▁надпи": 55279, + "▁задержан": 55280, + "▁наблюдали": 55281, + "edding": 55282, + "▁предприятии": 55283, + "▁выстрелов": 55284, + "дакти": 55285, + "философ": 55286, + "Кур": 55287, + "фея": 55288, + "▁свети": 55289, + "▁лестницы": 55290, + "▁Экспер": 55291, + "▁насторо": 55292, + "▁серьезной": 55293, + "▁элиты": 55294, + "▁овощей": 55295, + "▁repro": 55296, + "▁пропита": 55297, + "▁православных": 55298, + "▁являясь": 55299, + "▁народная": 55300, + "▁осы": 55301, + "▁высший": 55302, + "▁звена": 55303, + "▁слышно": 55304, + "▁здоровью": 55305, + "▁организатор": 55306, + "▁последующим": 55307, + "▁вооружённых": 55308, + "▁истребителя": 55309, + "Извести": 55310, + "▁родились": 55311, + "▁Институте": 55312, + "▁защитников": 55313, + "▁объявление": 55314, + "▁сложное": 55315, + "▁вернется": 55316, + "▁наличием": 55317, + "▁второму": 55318, + "▁сделало": 55319, + "тиль": 55320, + "▁Елизаветы": 55321, + "▁лесных": 55322, + "тироваться": 55323, + "▁наверх": 55324, + "▁духовные": 55325, + "▁Слава": 55326, + "Жизнь": 55327, + "▁взи": 55328 + }, + "merges": [ + "▁ п", + "с т", + "▁ в", + "▁ с", + "н о", + "н и", + "н а", + "р а", + "▁ и", + "к о", + "т о", + "▁ о", + "р о", + "р е", + "г о", + "л и", + "н е", + "▁п о", + "▁ по", + "▁ д", + "в а", + "л е", + "к а", + "л ь", + "н ы", + "р и", + "т е", + "▁н а", + "▁ на", + "▁ м", + "▁ t", + "л о", + "л а", + "в о", + "▁ б", + "h e", + "т а", + "е н", + "з а", + "е т", + "▁ a", + "к и", + "д а", + "i n", + "т ь", + "▁н е", + "▁ не", + "ч е", + "с я", + "е р", + "▁ у", + "т и", + "м и", + "▁к о", + "▁ ко", + "e r", + "▁t he", + "▁th e", + "▁ the", + "д е", + "в и", + "р у", + "o n", + "▁ ч", + "д и", + "ж е", + "▁з а", + "▁ за", + "▁р а", + "▁ ра", + "▁с о", + "▁ со", + "▁ к", + "ст а", + "с та", + "л я", + "▁ В", + "r e", + "ск о", + "с ко", + "▁п ро", + "▁пр о", + "▁ про", + "▁ а", + "ц и", + "в е", + "ни я", + "м а", + "▁ э", + "м о", + "ни е", + "д о", + "м е", + "п о", + "▁ е", + "▁ o", + "▁ s", + "▁ П", + "▁о т", + "▁ от", + "▁в о", + "▁ во", + "▁г о", + "▁ го", + "▁ С", + "▁ w", + "б о", + "▁п ри", + "▁пр и", + "▁ при", + "ст и", + "с ти", + "e d", + "n d", + "ст о", + "с то", + "a t", + "▁к а", + "▁ ка", + "х о", + "▁б ы", + "▁ бы", + "▁ -", + "▁ г", + "▁о б", + "▁ об", + "ч а", + "▁ \"", + "с е", + "ч и", + "▁д о", + "▁ до", + "▁т о", + "▁ то", + "e n", + "o r", + "ск и", + "с ки", + "▁ч то", + "▁ что", + "с ь", + "р ы", + "i t", + "i s", + "ш е", + "но й", + "н ой", + "д у", + "▁ c", + "▁ К", + "a n", + "щ е", + "e s", + "с и", + "a r", + "н у", + "▁ f", + "a l", + "▁в ы", + "▁ вы", + "▁и з", + "▁ из", + "▁o f", + "▁ of", + "м у", + "ны х", + "н ых", + "ш и", + "▁ Н", + "▁м о", + "▁ мо", + "▁i n", + "▁ in", + "▁ т", + "▁ b", + "с о", + "ж и", + "л у", + "но го", + "те ль", + "тел ь", + "▁ (", + "▁ p", + "▁ М", + "к у", + "in g", + "i ng", + "ст ь", + "с ть", + "г а", + "г и", + "a s", + "▁п ре", + "▁пр е", + "▁ пре", + "▁a nd", + "▁an d", + "▁ and", + "в ы", + "ер е", + "е ре", + "▁ О", + "▁р е", + "▁ ре", + "▁т а", + "▁ та", + "п а", + "ны е", + "▁ ф", + "▁э то", + "▁ это", + "▁т е", + "▁ те", + "с а", + "ст в", + "▁ А", + "щ и", + "i c", + "▁t o", + "▁ to", + "ны й", + "r o", + "▁ з", + "л ю", + "▁д е", + "▁ де", + "▁ m", + "▁ра з", + "▁р аз", + "▁ раз", + "п и", + "io n", + "i on", + "▁б о", + "▁ бо", + "ю т", + "р я", + "▁ И", + "▁ я", + "▁ d", + "▁н о", + "▁ но", + "н я", + "▁ h", + "▁ко то", + "▁кот о", + "▁ кото", + "▁ Д", + "е м", + "l e", + "▁ Р", + "т у", + "▁ Т", + "т ы", + "▁м е", + "▁ ме", + "з о", + "o u", + "ет ся", + "е тся", + "п е", + "▁ Б", + "▁ч е", + "▁ че", + "ц е", + "ж а", + "▁в се", + "▁вс е", + "▁ все", + "▁м а", + "▁ ма", + "ме н", + "м ен", + "▁ T", + "▁п од", + "▁по д", + "▁ под", + "сл е", + "с ле", + "▁к ак", + "▁ка к", + "▁ как", + "з и", + "ст во", + "ств о", + "с тво", + "▁ S", + "▁ Г", + "▁с во", + "▁св о", + "▁с е", + "▁ се", + "▁с т", + "▁ ст", + "▁П о", + "▁ По", + "▁ A", + "en t", + "e nt", + "i l", + "б и", + "ве р", + "в ер", + "▁с та", + "▁ст а", + "▁ ста", + ". .", + "ско й", + "ск ой", + "с кой", + "▁л и", + "▁ ли", + "ны м", + "ци и", + "в ле", + "ни и", + "▁н и", + "▁ ни", + "▁д а", + "▁ да", + "▁с а", + "▁ са", + "▁ —", + "▁ C", + "▁r e", + "▁ re", + "▁ «", + "s t", + "▁п ере", + "▁пер е", + "▁пе ре", + "▁ пере", + "б ы", + "д ы", + "ск а", + "с ка", + "▁в е", + "▁ ве", + "ско го", + "с кого", + "▁е го", + "▁ его", + "но е", + "н ое", + "к е", + "ст вен", + "ств ен", + "стве н", + "▁ n", + "e l", + "o m", + "▁д ля", + "▁ для", + "м ы", + "на я", + "н ая", + "с у", + "▁ I", + "▁ж е", + "▁ же", + "ро в", + "р ов", + "с по", + "з ы", + "лс я", + "л ся", + "б е", + "ко в", + "к ов", + "▁с и", + "▁ си", + "е й", + "▁t h", + "▁ th", + "ж но", + "а р", + "▁ l", + "ва ть", + "о р", + "че ски", + "a m", + "о б", + "ш а", + "▁ Л", + "но м", + "н ом", + "▁о н", + "▁ он", + "c t", + "▁ M", + "г да", + "ст ва", + "ств а", + "но в", + "н ов", + "▁т ак", + "▁та к", + "▁ так", + "▁ e", + "a d", + "▁п ред", + "▁пре д", + "▁пр ед", + "▁ пред", + "o l", + "▁м и", + "▁ ми", + "х а", + "в ля", + "ц а", + "▁ко торы", + "▁кото ры", + "▁ которы", + "e t", + "б а", + "ль ко", + "гр а", + "г ра", + "но сти", + "нос ти", + "п у", + "▁б е", + "▁ бе", + "▁л е", + "▁ ле", + "▁с у", + "▁ су", + "▁го да", + "▁г ода", + "▁год а", + "▁ года", + "ни й", + "▁ко н", + "▁к он", + "▁ кон", + "о н", + "▁Н а", + "▁ На", + "u r", + "▁w as", + "▁wa s", + "▁и н", + "▁ ин", + "▁ B", + "пр о", + "п ро", + "▁в оз", + "▁во з", + "▁ воз", + "хо ди", + "ход и", + "сс и", + "с си", + "г у", + "i d", + "но сть", + "нос ть", + "▁ж и", + "▁ жи", + "ю щи", + "▁б у", + "▁ бу", + "c h", + "м я", + "ро ва", + "ров а", + "▁р о", + "▁ ро", + "ве т", + "в ет", + "i m", + "л ы", + "то в", + "т ов", + "▁х о", + "▁ хо", + "▁д ру", + "▁др у", + "▁ дру", + "▁ Е", + "i v", + "▁ P", + "▁и ли", + "▁ или", + "щ а", + "ли сь", + "лис ь", + "▁ра с", + "▁р ас", + "▁ рас", + "▁T he", + "▁Th e", + "▁ The", + "l y", + "▁ З", + "▁o n", + "▁ on", + "ка за", + "каз а", + "▁ Э", + "o t", + "c e", + "u t", + "пр а", + "п ра", + "▁п ра", + "▁пр а", + "▁ пра", + "▁о д", + "▁ од", + "з у", + "▁в ре", + "▁вр е", + "▁ вре", + "ф и", + "▁ H", + "ть ся", + "▁ g", + "ко й", + "к ой", + "ра н", + "р ан", + "ал ь", + "а ль", + "▁ч а", + "▁ ча", + "i g", + "▁f or", + "▁ for", + "▁ У", + "ти в", + "т ив", + "i r", + "u s", + "а к", + "ски й", + "с кий", + "▁бы л", + "▁ был", + "▁р у", + "▁ ру", + "ен ь", + "е нь", + "▁в и", + "▁ ви", + "at ion", + "ati on", + "a tion", + "а н", + "в у", + "ну ю", + "н ую", + "▁с то", + "▁ст о", + "▁ сто", + "▁b e", + "▁ be", + "тс я", + "т ся", + "ст е", + "с те", + "сл и", + "с ли", + "з на", + "\" .", + "ст у", + "с ту", + "▁п а", + "▁ па", + "ст ви", + "ств и", + "▁ Ф", + "o w", + "▁з на", + "▁ зна", + "ле н", + "л ен", + "ро м", + "р ом", + "во й", + "в ой", + "te r", + "t er", + "в я", + "r a", + "▁л ю", + "▁ лю", + "▁ра бо", + "▁раб о", + "▁ рабо", + "ло сь", + "it h", + "i th", + "▁a s", + "▁ as", + ") .", + "▁h e", + "▁ he", + "ме р", + "м ер", + "\" ,", + "▁бы ло", + "▁был о", + "▁ D", + "▁ R", + "пр е", + "п ре", + "б у", + "ко м", + "к ом", + "▁s t", + "▁ st", + "▁в а", + "▁ ва", + "ни ма", + "ним а", + "▁бо ль", + "▁бол ь", + "▁ боль", + "же н", + "ж ен", + "▁ N", + "ve r", + "v er", + "ни ю", + "▁м ы", + "▁ мы", + "▁ Ч", + "ло ве", + "лов е", + "сто я", + "▁и х", + "▁ их", + "a y", + "u n", + "▁о бра", + "▁об ра", + "▁ обра", + "▁и с", + "▁ ис", + "в ши", + "▁ F", + "▁п ер", + "▁пе р", + "▁ пер", + "▁по сле", + "▁пос ле", + "▁ после", + "он а", + "о на", + "ны ми", + "ным и", + "▁w ith", + "▁ with", + "ни ем", + "ние м", + "▁о с", + "▁ ос", + "▁ х", + "▁ ш", + "то м", + "т ом", + "▁го ду", + "▁год у", + "e m", + "▁ L", + "ют ся", + "ю тся", + "▁i s", + "▁ is", + ") ,", + "ро й", + "р ой", + "▁ W", + "и з", + "ла сь", + "лас ь", + "▁с лу", + "▁сл у", + "▁ слу", + "▁Н о", + "▁ Но", + "▁ G", + "u l", + "ле й", + "л ей", + "т я", + ".. .", + ". ..", + "▁К о", + "▁ Ко", + "ци я", + "ма н", + "м ан", + "жд е", + "ж де", + "е к", + "▁п и", + "▁ пи", + "▁д ол", + "▁до л", + "▁ дол", + "ч но", + "▁t hat", + "▁th at", + "er s", + "▁п у", + "▁ пу", + "пр и", + "п ри", + "▁Р о", + "▁ Ро", + "▁ ц", + "де т", + "д ет", + "▁ко м", + "▁к ом", + "▁ ком", + "ст ву", + "ств у", + "с ы", + "▁В о", + "▁ Во", + "▁че лове", + "▁ челове", + "▁то лько", + "▁ только", + "д я", + "▁ Х", + "▁к у", + "▁ ку", + "де р", + "д ер", + "п ы", + "ни ка", + "ник а", + "▁w h", + "▁ wh", + "▁С о", + "▁ Со", + "ле е", + "▁д и", + "▁ ди", + "зы ва", + "зыв а", + "ро д", + "р од", + "ре д", + "р ед", + "▁ Я", + "▁ф и", + "▁ фи", + "кр а", + "к ра", + "не й", + "н ей", + "де н", + "д ен", + "o s", + "▁са мо", + "▁сам о", + "▁ само", + "ски х", + "ск их", + "с ких", + "ни к", + "ле к", + "л ек", + "▁по лу", + "▁пол у", + "▁ полу", + "▁a l", + "▁ al", + "г е", + "▁c on", + "▁co n", + "▁ con", + "тр е", + "т ре", + "▁и ме", + "▁им е", + "▁ име", + "▁b y", + "▁ by", + "зо ва", + "зов а", + "те р", + "т ер", + "▁с ло", + "▁сл о", + "▁ сло", + "▁ E", + "t h", + "▁в ремя", + "▁вре мя", + "▁ время", + "o d", + "е в", + "he r", + "h er", + "an d", + "a nd", + "▁a t", + "▁ at", + "же т", + "ж ет", + "н ь", + "ри и", + "a g", + "▁a n", + "▁ an", + "▁К а", + "▁ Ка", + "a c", + "is t", + "i st", + "▁на ча", + "▁нач а", + "▁ нача", + "тр а", + "т ра", + "с к", + "ска я", + "ск ая", + "с кая", + "▁о ни", + "▁он и", + "▁ они", + "▁ J", + "▁п е", + "▁ пе", + "▁м у", + "▁ му", + "д ь", + "▁бы ли", + "▁был и", + "до ва", + "дов а", + "ro m", + "r om", + "u m", + "х и", + "сл о", + "с ло", + "ст ра", + "стр а", + "с тра", + "▁З а", + "▁ За", + "те льно", + "тель но", + "ло ги", + "лог и", + "▁о р", + "▁ ор", + "тр и", + "т ри", + "жд а", + "ж да", + "кр ы", + "к ры", + "да р", + "д ар", + "▁с тра", + "▁ст ра", + "▁стр а", + "▁ стра", + "es t", + "e st", + "с пе", + "r i", + "не е", + "▁М о", + "▁ Мо", + "вы х", + "в ых", + "в то", + "ст ро", + "стр о", + "с тро", + "▁о ста", + "▁ос та", + "▁ост а", + "▁ оста", + "▁и спо", + "▁ис по", + "▁ испо", + "▁э ти", + "▁ эти", + "зд а", + "з да", + "ме т", + "м ет", + "a v", + "▁d e", + "▁ de", + "▁что бы", + "▁чтоб ы", + "▁г ла", + "▁гл а", + "▁ гла", + "▁Н е", + "▁ Не", + "▁ O", + "ц ы", + "▁ч и", + "▁ чи", + "▁с вои", + "▁сво и", + "▁т ре", + "▁тр е", + "▁ тре", + "▁I n", + "▁ In", + "▁i t", + "▁ it", + "ai n", + "a in", + "▁П ри", + "▁ При", + "но ва", + "нов а", + "бл и", + "б ли", + "гл а", + "г ла", + "ди н", + "д ин", + "пе р", + "п ер", + "ш ь", + "▁с ле", + "▁сл е", + "▁ сле", + "вы е", + "ю ще", + "▁у же", + "▁уж е", + "o p", + "▁так же", + "кл ю", + "к лю", + "▁бы ла", + "▁был а", + "ско м", + "ск ом", + "с ком", + "▁ко гда", + "▁ когда", + "▁ v", + "▁п ла", + "▁ пла", + "▁а р", + "▁ ар", + "▁ц е", + "▁ це", + "▁p ro", + "▁pr o", + "▁ pro", + "▁ч ем", + "▁че м", + "▁ чем", + "▁б а", + "▁ ба", + "u p", + "i f", + "▁п ол", + "▁по л", + "▁ пол", + "до в", + "д ов", + "o c", + "по л", + "п ол", + "▁s e", + "▁ se", + "со б", + "с об", + "▁h is", + "▁д у", + "▁ ду", + "▁М а", + "▁ Ма", + "во д", + "в од", + "p e", + "▁кото рые", + "▁которы е", + "▁ которые", + "жд у", + "ж ду", + "▁жи з", + "▁ж из", + "ру п", + "▁c om", + "▁co m", + "▁ com", + "re s", + "r es", + "▁ Ш", + "▁в ер", + "▁ве р", + "▁ вер", + "▁то го", + "▁ того", + "де й", + "д ей", + "▁f rom", + "▁fr om", + "▁ from", + "▁об ъ", + "at e", + "a te", + "▁е е", + "нны х", + "н ных", + "ст ре", + "стр е", + "с тре", + "▁в ой", + "▁во й", + "▁ вой", + "▁с вя", + "▁св я", + "▁ свя", + "ло в", + "л ов", + "же ния", + "e w", + "б я", + "a b", + "ва л", + "в ал", + "▁с по", + "▁ спо", + "н д", + "ль но", + "р ь", + "il l", + "i ll", + "▁Б о", + "▁ Бо", + "▁мо жет", + "l d", + "ме ни", + "мен и", + "и н", + "з я", + "s e", + "сл а", + "с ла", + "▁о на", + "▁он а", + "▁ она", + "▁э том", + "▁это м", + "it y", + "i ty", + "▁и сто", + "▁ис то", + "▁ист о", + "▁ исто", + "ти я", + "▁дру ги", + "▁друг и", + "ко н", + "к он", + "то р", + "т ор", + "▁бо лее", + "▁боле е", + "▁ более", + "ar t", + "» .", + "▁Ро сси", + "▁Рос си", + "фо р", + "ф ор", + "▁с оста", + "▁со ста", + "▁сос та", + "ле ния", + "лени я", + "▁и м", + "▁ им", + "ва я", + "в ая", + "▁Р а", + "▁ Ра", + "▁то м", + "▁т ом", + "▁ том", + "q u", + "ш о", + "▁е ще", + "ки х", + "к их", + "че н", + "ч ен", + "or t", + "▁е сли", + "▁ если", + "▁об ще", + "▁общ е", + "▁ обще", + "▁пред ста", + "▁д ей", + "▁де й", + "▁ дей", + "▁т у", + "▁ ту", + "тр о", + "т ро", + "u d", + "▁Э то", + "▁ Это", + "▁ор га", + "вы й", + "те ля", + "тел я", + "ж у", + "во го", + "во ри", + "вор и", + "в ори", + "or e", + "o re", + "де ла", + "дел а", + "во ди", + "вод и", + "ку ю", + "к ую", + "ем ы", + "е мы", + "▁о тно", + "▁от но", + "ски е", + "с кие", + "▁м не", + "▁мн е", + "бр а", + "б ра", + "▁г ра", + "▁гр а", + "▁ гра", + "же ние", + "▁бы ть", + "ig h", + "i gh", + "ен но", + "е нно", + "▁o r", + "▁ or", + "ве де", + "вед е", + "ie s", + "i es", + "о т", + "▁э того", + "▁это го", + "ен я", + "е ня", + "▁т ы", + "▁ ты", + "▁т ем", + "▁те м", + "▁ тем", + "a k", + "ст ы", + "с ты", + "нны е", + "н ные", + "ва ли", + "вал и", + "в али", + "▁г е", + "▁ ге", + "er e", + "e re", + "че ской", + "ческо й", + "▁кото рый", + "▁которы й", + "до м", + "д ом", + "▁мо жно", + "▁ можно", + "ь ю", + "з е", + "▁к ра", + "▁кр а", + "▁ кра", + "▁о к", + "▁ ок", + "es s", + "e ss", + "те ри", + "тер и", + "▁ис поль", + "▁испо ль", + "▁испол ь", + "an t", + "a nt", + "▁я вля", + "▁яв ля", + "▁ явля", + "со в", + "с ов", + "▁е сть", + "ст ве", + "ств е", + "▁ U", + "▁ K", + "al l", + "a ll", + "ти чески", + "ic h", + "i ch", + "ar d", + "a rd", + "▁про из", + "▁прои з", + "▁ произ", + "то му", + "том у", + "▁о бла", + "▁об ла", + "▁обл а", + "▁ обла", + "▁б ез", + "▁бе з", + "▁ без", + "▁ r", + "ни ков", + "ник ов", + "be r", + "b er", + "▁г де", + "▁ где", + "▁e x", + "▁ ex", + "a p", + "ско е", + "ск ое", + "с кое", + "▁со зда", + "▁соз да", + "▁ созда", + "ше й", + "ш ей", + "че нь", + "чен ь", + "ч ень", + "ки е", + "▁слу ча", + "ко го", + "ци аль", + "циа ль", + "циал ь", + "▁п оло", + "▁по ло", + "▁пол о", + "▁ поло", + "че ние", + "▁о бо", + "▁об о", + "▁ обо", + "▁у ча", + "▁уч а", + "об ра", + "о бра", + "вле ния", + "в ления", + "ф е", + "u b", + "ци ю", + "▁О н", + "▁ Он", + "▁ле т", + "▁л ет", + "▁ лет", + "▁а к", + "▁ ак", + "▁по мо", + "▁пом о", + "▁а вто", + "▁ав то", + "▁ авто", + "▁м еня", + "▁ме ня", + "▁мен я", + "▁ меня", + "▁Т а", + "▁ Та", + "те лей", + "тел ей", + "теле й", + "▁ф ор", + "▁фо р", + "▁ фор", + "пи са", + "пис а", + "пре де", + "пред е", + "▁бу дет", + "▁буд ет", + "▁w ere", + "▁we re", + "▁к и", + "▁ ки", + "су дар", + "суда р", + "▁ме жду", + "▁меж ду", + "не ния", + "ал и", + "а ли", + "ва ет", + "» ,", + "ци он", + "цио н", + "чи та", + "чит а", + "с с", + "ви ч", + "д но", + "me nt", + "men t", + "m ent", + "на ко", + "▁с вое", + "▁сво е", + "▁св ое", + "▁ свое", + "ре н", + "р ен", + "iv e", + "i ve", + "▁ч у", + "▁ чу", + "бр я", + "б ря", + "▁ y", + "▁c h", + "▁ ch", + "g e", + "▁М и", + "▁ Ми", + "ло м", + "л ом", + "че ния", + "мо жно", + "в но", + "▁a re", + "▁ar e", + "▁ are", + "ре з", + "р ез", + "▁ V", + "пе ра", + "пер а", + "п ера", + "▁те х", + "▁ тех", + "во е", + "в ое", + ". ,", + "at ed", + "ate d", + "a ted", + "▁по ли", + "▁пол и", + "▁ поли", + "▁де ла", + "▁дел а", + "▁ дела", + "н г", + "▁да же", + "▁ даже", + "т но", + "и т", + "▁ко торо", + "▁кото ро", + "g h", + "i p", + "▁с торо", + "▁сто ро", + "▁ сторо", + "i a", + "▁Т о", + "▁ То", + "ou r", + "o ur", + "▁о чень", + "▁оче нь", + "▁ очень", + "ра к", + "р ак", + "▁ко ман", + "▁ком ан", + "▁ коман", + "че ского", + "ческо го", + "ц у", + "▁п рави", + "▁пра ви", + "▁прав и", + "▁ прави", + "▁S t", + "▁ St", + "un d", + "u nd", + "▁Г о", + "▁ Го", + "▁н у", + "▁ ну", + "ше го", + "ш его", + "ки м", + "к им", + "е з", + "с но", + "▁Н и", + "▁ Ни", + "ка н", + "к ан", + "▁не ско", + "▁нес ко", + "▁п оз", + "▁по з", + "▁В е", + "▁ Ве", + "ц о", + "▁се бя", + "ia l", + "i al", + "я х", + "▁т ру", + "▁тр у", + "▁ тру", + "ни ки", + "ник и", + "ве ст", + "вес т", + "ле ние", + "лени е", + "▁п ар", + "▁па р", + "▁ пар", + "am e", + "a me", + "ч ь", + "ше ния", + "▁е му", + "▁ем у", + "▁с каза", + "▁ска за", + "▁сказ а", + "▁с ов", + "▁со в", + "▁ сов", + "el l", + "e ll", + "▁С а", + "▁ Са", + "▁П а", + "▁ Па", + "▁м ного", + "▁мно го", + "▁ много", + "ia n", + "i an", + "▁ра бота", + "▁рабо та", + "▁работ а", + "▁ор гани", + "▁орга ни", + "▁орган и", + "▁ органи", + "кл а", + "к ла", + "▁ Ц", + "▁п рои", + "▁про и", + "▁l e", + "▁ le", + "▁дей стви", + "▁действ и", + "н к", + "ка ми", + "кам и", + "нны й", + "н ный", + "▁ни х", + "▁н их", + "▁ них", + "▁ка ж", + "▁э к", + "▁ эк", + "o v", + "ющи х", + "ю щих", + "▁p l", + "▁ pl", + "▁с ко", + "▁ск о", + "▁ ско", + "ме нно", + "мен но", + "м енно", + "▁П ро", + "▁ Про", + "▁В а", + "▁ Ва", + "ва ния", + "вани я", + "рт а", + "р та", + "e ar", + "сту п", + "бо й", + "б ой", + "▁Д а", + "▁ Да", + "ч у", + "on g", + "o ng", + "▁ k", + "▁в ла", + "▁ вла", + "то ры", + "тор ы", + "▁в ос", + "▁во с", + "▁ вос", + "▁полу чи", + "▁пол учи", + "во р", + "в ор", + "▁h ad", + "▁ha d", + "▁с пе", + "▁ спе", + "▁го ро", + "▁гор о", + "▁ горо", + "сл у", + "с лу", + "ur e", + "u re", + "че ских", + "чески х", + "▁го вори", + "▁говор и", + "▁гово ри", + "▁ говори", + "▁s h", + "▁ sh", + "см о", + "с мо", + "▁го судар", + "▁госу дар", + "▁госуда р", + "▁ государ", + "вы м", + "ш у", + "▁су ще", + "▁сущ е", + "▁ц ен", + "▁це н", + "▁ цен", + "ка х", + "ar y", + "a ry", + "ра я", + "р ая", + "n t", + "▁л о", + "▁ ло", + "▁wh ich", + "▁ which", + "но ви", + "нов и", + "os t", + "o st", + "ct ion", + "c tion", + "as t", + "a st", + "ющи е", + "ю щие", + "хо дя", + "ход я", + "вр а", + "в ра", + "▁г а", + "▁ га", + "o g", + "▁л у", + "▁ лу", + "те ли", + "тел и", + "▁т ер", + "▁те р", + "▁ тер", + "ль ной", + "льно й", + "us t", + "u st", + "кр е", + "к ре", + "не н", + "н ен", + "in e", + "i ne", + "▁о преде", + "ль та", + "льт а", + "▁про тив", + "▁ против", + "ки й", + "ig ht", + "igh t", + "сс а", + "с са", + "хо д", + "х од", + "▁сле ду", + "▁след у", + "▁ следу", + "ри я", + "▁л а", + "▁ ла", + "▁Д о", + "▁ До", + "▁все х", + "лл и", + "л ли", + "▁ра й", + "▁р ай", + "▁ рай", + "▁ ю", + "▁на д", + "▁н ад", + "▁ над", + "бл е", + "б ле", + "▁с ред", + "▁сре д", + "▁ср ед", + "▁ сред", + "▁у ста", + "▁ус та", + "▁n ot", + "▁no t", + "▁ not", + "▁м но", + "▁мн о", + "▁ мно", + "▁и нте", + "▁ин те", + "▁ инте", + "ё н", + "ла го", + "лаг о", + "▁т и", + "▁ ти", + "▁на у", + "▁ нау", + "▁на с", + "▁н ас", + "▁ нас", + "С С", + "ко е", + "к ое", + "▁дру го", + "▁друг о", + "▁др уго", + "▁ друго", + "йт е", + "й те", + "▁челове к", + "ши х", + "ш их", + "це н", + "ц ен", + "▁все го", + "▁вс его", + "но стью", + "ность ю", + "нос тью", + "▁со стоя", + "▁состо я", + "▁ Ж", + "я ви", + "кт о", + "к то", + "ir e", + "i re", + "▁бу ду", + "▁буд у", + "ци она", + "цион а", + "цио на", + "▁раз ви", + "▁ разви", + "▁с ер", + "▁се р", + "▁ сер", + "▁О д", + "t e", + "▁ [", + "▁с дела", + "▁сде ла", + "▁сдел а", + "ла га", + "лаг а", + "▁п ло", + "▁ пло", + "▁В ы", + "▁ Вы", + "▁Ро ссии", + "▁Росси и", + "▁Рос сии", + "▁к ре", + "▁кр е", + "▁ кре", + "ск ую", + "ску ю", + "с кую", + "ющи й", + "ю щий", + "▁C h", + "▁ Ch", + "ли я", + "до л", + "д ол", + "не р", + "н ер", + "це в", + "ц ев", + "ва н", + "в ан", + "ме нта", + "мен та", + "мент а", + "м ента", + "бо р", + "б ор", + "th er", + "the r", + "t her", + "мо й", + "м ой", + "▁жи зни", + "▁жиз ни", + "ра в", + "р ав", + "чны х", + "ч ных", + "хо дит", + "ходи т", + "ход ит", + "ь я", + "p t", + "до б", + "д об", + "▁о дин", + "▁од ин", + "▁оди н", + "▁с тро", + "▁ст ро", + "▁стр о", + "▁ стро", + "av e", + "a ve", + "▁х а", + "▁ ха", + "▁Е сли", + "▁ Если", + "ци й", + "ра бо", + "раб о", + "ми на", + "мин а", + "м ина", + "▁во про", + "▁д ви", + "▁ дви", + "▁вы со", + "▁выс о", + "▁ высо", + "де ль", + "дел ь", + "ле т", + "л ет", + "▁э той", + "▁это й", + "▁Л е", + "▁ Ле", + "▁че рез", + "▁чер ез", + "▁чере з", + "ли чи", + "зо м", + "з ом", + "or d", + "o rd", + "ст вом", + "ств ом", + "ство м", + "▁не го", + "▁н его", + "▁ него", + "не ра", + "нер а", + "н ера", + "▁г руп", + "▁гру п", + "▁ груп", + "ро н", + "р он", + "u c", + "i e", + "ва ние", + "вани е", + "▁бо льше", + "▁боль ше", + "▁ больше", + "сс о", + "с со", + "ед и", + "е ди", + "s o", + "p l", + "я т", + "те м", + "т ем", + "▁в з", + "▁ вз", + "▁воз можно", + "▁возмо жно", + "▁ возможно", + "c l", + "те ра", + "тер а", + "т ера", + "▁мо гу", + "▁мог у", + "▁ могу", + "вле ние", + "в ление", + "▁д ень", + "▁де нь", + "▁ден ь", + "▁ день", + "▁это т", + "▁с об", + "▁со б", + "▁ соб", + "▁В се", + "▁ Все", + "ac k", + "a ck", + "▁ X", + "не м", + "н ем", + "и м", + "or k", + "▁д ву", + "▁ дву", + "▁С е", + "▁ Се", + "сле дова", + "ic al", + "ica l", + "зу льта", + "▁д ва", + "▁ два", + "o k", + "ски м", + "ск им", + "с ким", + "▁ру с", + "▁р ус", + "▁ рус", + "▁у да", + "▁уд а", + "▁ уда", + "▁H e", + "▁ He", + "▁Р е", + "▁ Ре", + "ту р", + "т ур", + "▁ф у", + "▁ фу", + "u e", + "ше н", + "ш ен", + "ar e", + "a re", + "▁со об", + "ше ние", + "f f", + "то й", + "т ой", + "ст ей", + "сте й", + "с тей", + "▁про сто", + "▁прос то", + "▁прост о", + "▁ просто", + "▁я вляется", + "▁явля ется", + "▁яв ляется", + "▁по след", + "▁после д", + "▁ послед", + "▁К ак", + "▁Ка к", + "▁ Как", + "ль ного", + "льно го", + "▁к ла", + "▁ кла", + "чно й", + "ч ной", + "п ла", + "ва ться", + "вать ся", + "ст венно", + "ств енно", + "ствен но", + "стве нно", + "ме ри", + "мер и", + "▁u n", + "▁ un", + "▁сво ей", + "▁свое й", + "▁К у", + "▁ Ку", + "ря д", + "▁ Ю", + "дер жа", + "держ а", + "▁не сколько", + "▁неско лько", + "▁несколь ко", + "ле з", + "л ез", + "▁Т ак", + "▁Та к", + "▁ Так", + "р т", + "▁о бе", + "▁об е", + "▁ обе", + "об ходи", + "▁на з", + "▁н аз", + "▁ наз", + "во м", + "в ом", + "▁от кры", + "▁отк ры", + "▁ откры", + "ra n", + "r an", + "ou ld", + "oul d", + "▁го ло", + "▁г оло", + "▁гол о", + "▁ голо", + "ou s", + "o us", + "▁По сле", + "▁ После", + "▁не ко", + "х ра", + "▁по ч", + "is h", + "i sh", + "ка я", + "к ая", + "om e", + "o me", + "▁в с", + "▁не т", + "▁н ет", + "▁ нет", + "▁с чита", + "щ у", + "вр о", + "в ро", + "▁з ем", + "▁зе м", + "▁ зем", + "▁w he", + "▁wh e", + "▁ко р", + "▁к ор", + "▁ кор", + "▁к ар", + "▁ка р", + "▁ кар", + "▁ре зульта", + "▁кото рых", + "▁которы х", + "ва ется", + "вает ся", + "ко но", + "кон о", + "к оно", + "▁са мы", + "▁сам ы", + "ка зыва", + "i z", + "▁се бе", + "▁со вер", + "▁сов ер", + "▁сове р", + "▁М е", + "▁ Ме", + "▁ф а", + "▁ фа", + "▁к ни", + "▁кн и", + "▁ кни", + "ре ди", + "ред и", + "р еди", + "нт и", + "н ти", + "▁u s", + "▁ us", + "лл е", + "л ле", + "▁Б а", + "▁ Ба", + "▁про це", + "▁ проце", + "▁к то", + "▁ кто", + "сту па", + "ступ а", + "por t", + "p ort", + "ни м", + "н им", + "pe r", + "p er", + "▁не обходи", + "▁необ ходи", + "ри й", + "▁в ме", + "▁дол ж", + "ру к", + "де сь", + "дес ь", + "r y", + "ще н", + "щ ен", + "чи на", + "чин а", + "ч ина", + "ли н", + "л ин", + "ль ных", + "льны х", + "ag e", + "a ge", + "ве та", + "вет а", + "ми и", + "as s", + "a ss", + "за ции", + "з ации", + "▁мо г", + "▁с ы", + "▁ сы", + "▁a r", + "▁ ar", + "я с", + "▁у пра", + "ет и", + "е ти", + "де ли", + "дел и", + "та н", + "т ан", + "фор ма", + "фо рма", + "форм а", + "▁я зы", + "▁яз ы", + "▁ язы", + "ль ный", + "льны й", + "ше л", + "▁по э", + "ф а", + "it ion", + "i tion", + "▁из вест", + "▁изве ст", + "▁ извест", + "▁т ри", + "▁тр и", + "▁ три", + "▁с мо", + "▁см о", + "▁ смо", + "ле м", + "л ем", + "не ние", + "ре й", + "р ей", + "▁Б е", + "▁ Бе", + "▁ч ет", + "▁че т", + "▁ чет", + "хо в", + "х ов", + "▁т ра", + "▁тр а", + "▁ тра", + "ф о", + "▁the ir", + "▁на пра", + "▁напр а", + "гра м", + "гр ам", + "г рам", + "ви ть", + "вит ь", + "в ить", + "▁А лек", + "▁Ал ек", + "▁Але к", + "▁г лав", + "▁гла в", + "▁гл ав", + "▁при ня", + "▁прин я", + "▁В и", + "▁ Ви", + "▁c l", + "▁ cl", + "▁с лова", + "▁сло ва", + "▁слов а", + "▁ слова", + "▁ко ро", + "▁кор о", + "▁ коро", + "▁ли шь", + "▁лиш ь", + "▁на ходи", + "▁наход и", + "▁и г", + "▁с те", + "▁ст е", + "▁ сте", + "вши й", + "в ший", + "▁com p", + "▁co mp", + "ir st", + "▁ра спо", + "▁рас по", + "▁ распо", + "▁хо ро", + "▁хор о", + "▁ хоро", + "жде ния", + "ж дения", + "тк и", + "т ки", + "ща я", + "щ ая", + "▁и ю", + "ь е", + "▁к ри", + "▁кр и", + "▁ кри", + "id e", + "i de", + "бе р", + "б ер", + "че ские", + "чески е", + "▁в не", + "▁ вне", + "ig n", + "i gn", + "▁К и", + "▁ Ки", + "ме нт", + "мен т", + "м ент", + "ft er", + "f ter", + "че т", + "ч ет", + "▁в стре", + "▁вс тре", + "гл я", + "г ля", + "на ми", + "нам и", + "те й", + "т ей", + "▁о снов", + "▁ос нов", + "▁осно в", + "▁al so", + "▁h er", + "▁he r", + "▁ her", + "▁же н", + "▁ж ен", + "▁ жен", + "▁С и", + "▁ Си", + "ва р", + "в ар", + "▁ча сти", + "▁част и", + "▁час ти", + "▁ части", + "▁О т", + "▁ От", + "ти й", + "ни х", + "н их", + "▁кото рая", + "вле н", + "в лен", + "▁пере д", + "▁пер ед", + "▁пе ред", + "▁ перед", + "п ло", + "▁в то", + "▁ вто", + "▁р и", + "▁ ри", + "▁вре мени", + "▁времен и", + "▁време ни", + "ec t", + "e ct", + "▁в ну", + "▁ вну", + "▁ш а", + "▁ ша", + "▁с тал", + "▁ст ал", + "▁ста л", + "▁ стал", + "ic e", + "i ce", + "ст я", + "с тя", + "I I", + "▁c ont", + "▁con t", + "▁co nt", + "▁ cont", + "▁челове ка", + "▁человек а", + "▁со вет", + "▁сов ет", + "▁сове т", + "▁ совет", + "ст ов", + "сто в", + "с тов", + "ша я", + "ш ая", + "▁b ut", + "▁bu t", + "▁ but", + "би ра", + "бир а", + "йт и", + "й ти", + "▁б лаго", + "▁бла го", + "▁ благо", + "▁ /", + "че го", + "ч его", + "▁со от", + "ва ют", + "ваю т", + "во з", + "в оз", + "▁д ере", + "▁де ре", + "▁дер е", + "▁ дере", + "чны е", + "ч ные", + "но му", + "ном у", + "▁за да", + "▁з ада", + "▁зад а", + "ли че", + "▁не м", + "▁н ем", + "▁ нем", + "▁in t", + "▁i nt", + "▁ int", + "он е", + "о не", + "▁б и", + "▁ би", + "▁С та", + "▁Ст а", + "▁ Ста", + "▁ру ко", + "▁рук о", + "ou t", + "o ut", + "ствен ной", + "стве нной", + "ственно й", + "▁Л и", + "▁ Ли", + "▁a d", + "▁ ad", + "ро вать", + "рова ть", + "ни ть", + "нит ь", + "н ить", + "▁у ни", + "▁о бы", + "▁об ы", + "▁ обы", + "im e", + "i me", + "▁спо соб", + "▁спосо б", + "▁ способ", + "▁с вою", + "▁сво ю", + "ти е", + "ul t", + "▁по ль", + "▁пол ь", + "▁ поль", + "▁ка че", + "▁ каче", + "▁ча сть", + "▁част ь", + "▁час ть", + "▁лу ч", + "▁ луч", + "▁T h", + "▁ Th", + "при мер", + "▁кото рой", + "▁которо й", + "me r", + "m er", + "▁лю дей", + "▁люд ей", + "▁дру гих", + "▁други х", + "▁друг их", + "▁де я", + "▁ дея", + "▁п ос", + "▁по с", + "▁об ласти", + "▁обла сти", + "не го", + "н его", + "i b", + "ч ки", + "▁h as", + "▁ha s", + "▁пи са", + "▁ писа", + "▁a b", + "▁ ab", + "до й", + "д ой", + "ё т", + "▁ j", + "▁h ave", + "▁ha ve", + "▁у че", + "▁уч е", + "ри о", + "▁про дол", + "▁прод ол", + "▁продо л", + "▁Т е", + "▁ Те", + "▁р ы", + "▁ ры", + "ра з", + "р аз", + "▁с тре", + "▁ст ре", + "▁стр е", + "▁ стре", + "▁П ер", + "▁Пе р", + "▁ Пер", + "at er", + "ate r", + "a ter", + "▁r o", + "▁ ro", + "▁сво их", + "▁свои х", + "▁f irst", + "▁по зво", + "▁поз во", + "н т", + "▁re s", + "▁r es", + "▁ res", + "че ский", + "чески й", + "▁зна чи", + "▁знач и", + "ту ры", + "тур ы", + "▁э та", + "▁ эта", + "r u", + "▁И з", + "▁ Из", + "ri t", + "r it", + "on d", + "o nd", + "ме ча", + "▁м оло", + "▁мо ло", + "▁мол о", + "▁ моло", + "ру г", + "пе рь", + "пер ь", + "сло ви", + "слов и", + "с лови", + "и л", + "т вер", + "ль ные", + "льны е", + "па с", + "п ас", + "▁про ис", + "▁прои с", + "н ю", + "▁п оста", + "▁по ста", + "▁пос та", + "▁пост а", + "▁ поста", + "▁ха рак", + "▁хар ак", + "▁ харак", + "▁по ня", + "▁пон я", + "en ce", + "enc e", + "e nce", + "▁th is", + "▁ this", + "ре мен", + "рем ен", + "р емен", + "▁ма тери", + "▁мате ри", + "▁матер и", + "▁ матери", + "▁ме сто", + "▁мест о", + "▁мно ги", + "▁с вой", + "▁сво й", + "▁св ой", + "▁обра зом", + "▁образ ом", + "вши х", + "в ших", + "ще ния", + "▁С у", + "▁ Су", + "▁б ра", + "▁ бра", + "▁Од нако", + "▁Одна ко", + "▁в ра", + "▁вр а", + "▁ вра", + "со м", + "с ом", + "ст ер", + "сте р", + "с тер", + "сту пи", + "ступ и", + "ве д", + "в ед", + "▁w ho", + "▁wh o", + "▁ who", + "he d", + "h ed", + "▁a p", + "▁ ap", + "▁на зыва", + "ству ет", + "- -", + "▁т ам", + "▁та м", + "▁ там", + "ш ки", + "er v", + "▁в иде", + "▁ви де", + "▁вид е", + "▁ виде", + "на д", + "н ад", + "тр у", + "т ру", + "▁во ен", + "▁вое н", + "▁ воен", + "▁Ч то", + "▁ Что", + "▁мо гут", + "▁могу т", + "▁мог ут", + "▁г и", + "▁ ги", + "ши н", + "ш ин", + "▁it s", + "▁i ts", + "▁ its", + "▁Д е", + "▁ Де", + "▁ком па", + "▁комп а", + "▁ компа", + "▁a ll", + "▁al l", + "▁ all", + "ma n", + "m an", + "ко ло", + "кол о", + "к оло", + "ят ь", + "я ть", + "клю ча", + "го в", + "г ов", + "w o", + "ре в", + "р ев", + "▁со ответ", + "▁соот вет", + "▁ш и", + "▁ ши", + "▁х у", + "▁ ху", + "ве сти", + "вест и", + "вес ти", + "il e", + "i le", + "тель ства", + "тельств а", + "▁от вет", + "▁отве т", + "▁ ответ", + "ё м", + "▁ин тере", + "▁инте ре", + "▁интер е", + "▁ интере", + "на ли", + "нал и", + "н али", + "че м", + "ч ем", + "▁Д ля", + "▁ Для", + "▁на м", + "▁н ам", + "▁ нам", + "кл о", + "к ло", + "▁рас ска", + "▁расс ка", + "▁с ти", + "▁ст и", + "▁ сти", + "ру жи", + "сс е", + "с се", + "in d", + "i nd", + "нно й", + "н ной", + "▁д оста", + "▁до ста", + "▁ доста", + "▁a c", + "▁ ac", + "▁те ле", + "▁тел е", + "▁ теле", + "▁эти х", + "▁до ро", + "▁ доро", + "ти и", + "▁о каза", + "▁ока за", + "ow n", + "o wn", + "▁p art", + "▁par t", + "▁ part", + "▁не о", + "▁ нео", + "кт и", + "к ти", + "х ва", + "▁a g", + "▁ ag", + "▁про бле", + "▁проб ле", + "не ц", + "н ец", + "го д", + "г од", + "▁t e", + "▁ te", + "▁у ве", + "▁не й", + "▁н ей", + "▁ ней", + "▁сво его", + "▁свое го", + "ку с", + "к ус", + "at ions", + "ation s", + "ati ons", + "▁e n", + "▁ en", + "▁при зна", + "▁приз на", + "al ly", + "all y", + "те н", + "т ен", + "▁о че", + "▁А р", + "▁ Ар", + "▁o ne", + "▁on e", + "▁ one", + "мо в", + "м ов", + "▁ Y", + "щи х", + "щ их", + "▁со гла", + "▁г у", + "▁ гу", + "▁ц и", + "▁ ци", + "▁случа е", + "чны й", + "ч ный", + "ге н", + "г ен", + "вля ет", + "в ляет", + "▁m an", + "▁ man", + "▁Х о", + "▁ Хо", + "▁ку ль", + "▁ куль", + "та ми", + "там и", + "▁дву х", + "▁а д", + "▁ ад", + "не т", + "н ет", + "▁Р у", + "▁ Ру", + "▁чу в", + "▁ чув", + "ug h", + "u gh", + "ш ли", + "▁си сте", + "▁сист е", + "▁ систе", + "гр е", + "г ре", + "re e", + "r ee", + "ре ния", + "▁у спе", + "▁ус пе", + "▁и де", + "▁ид е", + "▁ иде", + "▁Мо ск", + "▁ Моск", + "я н", + "▁ис пользова", + "▁исполь зова", + "ли й", + "▁о соб", + "▁ос об", + "▁осо б", + "▁ особ", + "i k", + "▁б ли", + "▁ бли", + "ov er", + "ove r", + "o ver", + "ст вие", + "стви е", + "ри то", + "рит о", + "гра фи", + "граф и", + "▁го д", + "▁г од", + "▁ год", + "ти во", + "тив о", + "an g", + "a ng", + "▁дея тель", + "СС Р", + "С СР", + "ac h", + "a ch", + "нд и", + "н ди", + "▁ш ко", + "▁ шко", + "▁с ем", + "▁се м", + "▁ сем", + "▁p er", + "▁pe r", + "▁ per", + "ст рой", + "стро й", + "стр ой", + "▁за нима", + "чно го", + "ч ного", + "▁Б у", + "▁ Бу", + "ло жи", + "лож и", + "▁вой ны", + "▁войн ы", + "ac e", + "a ce", + "зм а", + "з ма", + "ро ме", + "ром е", + "▁вы пол", + "# #", + "▁Г е", + "▁ Ге", + "▁ра зли", + "▁раз ли", + "▁по мощ", + "▁помо щ", + "▁по каза", + "▁пока за", + "▁ показа", + "▁о снова", + "▁ос нова", + "▁основ а", + "▁осно ва", + "▁ основа", + "▁О б", + "▁ Об", + "▁i m", + "▁ im", + "за н", + "з ан", + "бр о", + "б ро", + "▁ ж", + "▁М ы", + "▁ Мы", + "на ча", + "▁г лу", + "▁гл у", + "▁ глу", + "вер х", + "▁не которы", + "▁неко торы", + "▁некото ры", + "ва ла", + "вал а", + "в ала", + "▁b ec", + "▁be c", + "▁ bec", + "пу бли", + "▁хо тя", + "▁ хотя", + "▁y ear", + "▁ year", + "го во", + "гов о", + "ву ю", + "в ую", + "то к", + "т ок", + "▁е ё", + "▁все гда", + "▁ всегда", + "ну ть", + "нут ь", + "▁то т", + "▁т от", + "on e", + "o ne", + "ou nt", + "oun t", + "o unt", + "▁ин форма", + "▁в от", + "▁во т", + "▁ вот", + "ши е", + "ча с", + "ч ас", + "▁по тому", + "▁потом у", + "▁пото му", + "▁the y", + "▁th ey", + "дер жи", + "держ и", + "тя бря", + "ол о", + "о ло", + "▁про ек", + "▁ проек", + "ве дения", + "веде ния", + "▁то гда", + "ши м", + "ш им", + "но ве", + "нов е", + "en s", + "e ns", + "▁b een", + "▁be en", + "су т", + "с ут", + "▁ф ак", + "▁фа к", + "▁ фак", + "па д", + "п ад", + "▁вы ра", + "▁выр а", + "▁o ut", + "▁ out", + "▁A l", + "▁ Al", + "вши е", + "в шие", + "▁т я", + "▁ тя", + "▁то р", + "▁т ор", + "▁ тор", + "сси й", + "с сий", + "▁жи знь", + "▁жиз нь", + "▁U n", + "▁ Un", + "▁рабо ты", + "▁работ ы", + "e c", + "▁го рода", + "▁горо да", + "▁город а", + "▁гор ода", + "на х", + "ac t", + "a ct", + "ни н", + "н ин", + "▁го род", + "▁горо д", + "▁гор од", + "▁ город", + "ви си", + "вис и", + "▁пе рио", + "▁пери о", + "ф ф", + "▁с мер", + "▁сме р", + "▁см ер", + "▁ смер", + "or y", + "o ry", + "ко номи", + "коно ми", + "коном и", + "че ская", + "ст ью", + "сть ю", + "с тью", + "▁о г", + "▁кото рого", + "▁которо го", + "то ра", + "тор а", + "▁с ам", + "▁са м", + "▁ сам", + "юще й", + "ю щей", + "▁на се", + "▁нас е", + "бу р", + "б ур", + "▁з десь", + "ви де", + "вид е", + "в иде", + "▁пере да", + "▁перед а", + "▁ переда", + "ско му", + "ском у", + "с кому", + "пи та", + "пит а", + "▁ис тори", + "▁исто ри", + "▁ист ори", + "▁ истори", + "▁u p", + "▁ up", + "n e", + "ou nd", + "oun d", + "o und", + "мери кан", + "мерика н", + "мо сти", + "при я", + "п рия", + "▁ве ли", + "▁вел и", + "▁ вели", + "де ра", + "дер а", + "д ера", + "юще го", + "ю щего", + "зи и", + "▁o ther", + "▁ other", + "▁у слови", + "▁ус лови", + "▁услов и", + "ско в", + "ск ов", + "с ков", + "ч то", + "ad e", + "a de", + "▁пра во", + "▁прав о", + "▁ право", + "uc h", + "u ch", + "ш ло", + "▁с тать", + "▁ста ть", + "▁ стать", + "▁про грам", + "▁ –", + "▁с ла", + "▁сл а", + "▁ сла", + "▁по ка", + "ко ва", + "ков а", + "▁о дно", + "▁од но", + "▁ одно", + "▁п обе", + "▁по бе", + "▁у ров", + "▁уро в", + "▁ уров", + "к т", + "ст ран", + "стра н", + "стр ан", + "с тран", + "▁ко нце", + "▁кон це", + "▁конц е", + "il d", + "i ld", + "▁d is", + "▁di s", + "ши й", + "бо ль", + "бол ь", + "▁с ра", + "▁ср а", + "во лю", + "вол ю", + "▁с ме", + "▁см е", + "▁ сме", + "▁обра зова", + "▁образов а", + "▁ образова", + "▁поли ти", + "▁полит и", + "ще ние", + "▁I t", + "▁ It", + "во ря", + "вор я", + "ва ри", + "вар и", + "▁ис следова", + "▁о фи", + "▁оф и", + "▁ офи", + "са нд", + "сан д", + "in t", + "i nt", + "cl ud", + "▁п ор", + "▁по р", + "▁ пор", + "ё р", + "▁у чи", + "▁уч и", + "▁ учи", + "▁жен щи", + "▁N o", + "▁ No", + "ri c", + "r ic", + "ar k", + "Ш А", + "▁в ся", + "▁вс я", + "▁o ff", + "▁of f", + "▁ off", + "▁Ф е", + "▁ Фе", + "▁о кру", + "▁ок ру", + ") ;", + "f or", + "▁о пера", + "▁оп ера", + "▁опер а", + "▁опе ра", + "▁ опера", + "▁со бой", + "▁соб ой", + "▁собо й", + "ет е", + "е те", + "кс и", + "к си", + "▁боль шо", + "л ё", + "▁ н", + "▁за щи", + "▁ защи", + "re ss", + "res s", + "r ess", + "же нии", + "▁о п", + "▁ оп", + "▁до сти", + "ё л", + "▁С ССР", + "▁СС СР", + "▁ми ра", + "▁мир а", + "▁ мира", + "e p", + "a w", + "▁тер рито", + "▁п ря", + "▁пр я", + "▁ пря", + "ци ей", + "▁ж а", + "▁ жа", + "▁у ли", + "▁ул и", + "ни ца", + "ниц а", + "▁ш е", + "▁ ше", + "ol l", + "o ll", + "▁Ко гда", + "▁ Когда", + "ion s", + "io ns", + "i ons", + "х е", + "▁с ист", + "▁си ст", + "▁ сист", + "мо м", + "м ом", + "ствен ного", + "стве нного", + "ственно го", + "▁ре ши", + "▁о со", + "▁ос о", + "ро ван", + "ров ан", + "рова н", + "ur n", + "▁ро ди", + "▁род и", + "▁ роди", + "ми ни", + "мин и", + "бл ю", + "б лю", + "ur ing", + "u ring", + "▁Т у", + "▁ Ту", + "ви л", + "в ил", + "▁re c", + "▁r ec", + "▁ rec", + "щи й", + "др а", + "д ра", + "зи ден", + "▁по нима", + "▁пони ма", + "▁t wo", + "▁tw o", + "▁не до", + "▁о дной", + "▁од ной", + "▁одно й", + "▁К он", + "▁Ко н", + "▁ Кон", + "▁и менно", + "▁име нно", + "▁им енно", + "▁имен но", + "ab le", + "abl e", + "a ble", + "▁у по", + "▁О ни", + "▁Он и", + "▁ Они", + "el y", + "e ly", + "▁д ан", + "▁да н", + "▁ дан", + "▁с пи", + "▁ спи", + "ци али", + "циа ли", + "циал и", + "ol d", + "o ld", + "ст вия", + "стви я", + "тны х", + "т ных", + "▁р я", + "▁ ря", + "▁А лександ", + "▁Алек санд", + "ни ком", + "ник ом", + "те льной", + "тель ной", + "тельно й", + "▁ко личе", + "▁o ver", + "▁ over", + ". \"", + "ру ю", + "р ую", + "ту а", + "т уа", + "▁ме ст", + "▁г ру", + "▁гр у", + "▁ гру", + "▁ни м", + "▁н им", + "▁ ним", + "тель ство", + "тельств о", + "▁С ША", + "▁ США", + "▁на и", + "▁s c", + "▁ sc", + "▁ф иль", + "▁фи ль", + "▁ филь", + "н но", + "▁П у", + "▁ Пу", + "▁Л а", + "▁ Ла", + "▁Г а", + "▁ Га", + "▁ну жно", + "▁нуж но", + "▁э лек", + "▁эле к", + "т р", + "▁h im", + "▁ком п", + "сти ту", + "стит у", + "ющи м", + "ю щим", + "▁ча сто", + "▁част о", + "▁час то", + "▁ часто", + "n g", + "▁в нима", + "▁сто роны", + "▁сторо ны", + "▁сторон ы", + "▁и но", + "▁ин о", + "▁ ино", + "▁w ork", + "▁wor k", + "▁ work", + "те лем", + "тел ем", + "теле м", + "ма ти", + "мат и", + "▁та кой", + "▁так ой", + "▁дол жно", + "▁долж но", + "ор у", + "о ру", + "▁по чти", + "▁поч ти", + "▁и гра", + "▁иг ра", + "▁игр а", + "▁ игра", + "▁ты ся", + "▁тыс я", + "▁ тыся", + "it e", + "i te", + "▁про тиво", + "▁против о", + "▁вме сте", + "ка м", + "к ам", + "am p", + "a mp", + "▁о бя", + "▁об я", + "кр о", + "к ро", + "w n", + "че ское", + "ческо е", + "ub l", + "u bl", + "ve l", + "v el", + "н ци", + "▁n ew", + "▁ne w", + "▁ new", + "▁д аль", + "▁да ль", + "▁дал ь", + "▁ даль", + "▁лю бо", + "▁ любо", + "od e", + "o de", + "те льных", + "тель ных", + "тельны х", + "▁n e", + "▁ ne", + "▁s he", + "▁sh e", + "▁и зме", + "▁из ме", + "▁ изме", + "▁п ы", + "▁ пы", + "or s", + "▁де рев", + "▁дере в", + "▁дер ев", + "▁М ар", + "▁Ма р", + "▁ Мар", + "жд ы", + "ж ды", + "ai l", + "a il", + "▁исполь зу", + "▁ч ер", + "▁че р", + "▁ чер", + "ст ой", + "сто й", + "с той", + "▁лю ди", + "▁люд и", + "en ts", + "ent s", + "▁не по", + "▁жи во", + "▁жив о", + "▁a fter", + "▁ after", + "▁о коло", + "▁ок оло", + "▁око ло", + "▁ около", + "▁а в", + "▁ ав", + "то го", + "▁об ъек", + "▁объ ек", + "▁объе к", + "▁ объек", + "▁с ка", + "▁ск а", + "▁ ска", + "▁ =", + "▁за тем", + "▁зате м", + "▁зат ем", + "ли и", + "▁на до", + "▁над о", + "▁б ере", + "▁бе ре", + "▁бер е", + "▁ бере", + "д ви", + "▁сказа л", + "▁ска зал", + "▁сказ ал", + "▁м ар", + "▁ма р", + "▁ мар", + "▁о су", + "▁ос у", + "▁П ре", + "▁ Пре", + "▁на чина", + "▁нач ина", + "▁начи на", + "ou gh", + "o ugh", + "oo l", + "o ol", + "▁за ня", + "▁с вобо", + "▁сво бо", + "▁св обо", + "▁ свобо", + "та х", + "ще й", + "щ ей", + "ко ла", + "кол а", + "▁пред по", + "▁к руп", + "▁кру п", + "▁ круп", + "оло ги", + "олог и", + "о логи", + "▁де ло", + "▁дел о", + "▁ дело", + "ter n", + "t ern", + "▁w ould", + "па да", + "пад а", + "п ада", + "сле д", + "сл ед", + "▁у част", + "▁уча ст", + "▁ра ди", + "▁рад и", + "щ ё", + "но к", + "н ок", + "се м", + "с ем", + "ствен ных", + "стве нных", + "ственны х", + "▁c omm", + "▁com m", + "▁co mm", + "▁ comm", + "▁p re", + "▁pr e", + "▁ pre", + "▁дол жен", + "▁долж ен", + "гра ни", + "гр ани", + "гран и", + "at es", + "ate s", + "a tes", + "бр е", + "б ре", + "f t", + "з м", + "▁у би", + "ра х", + "пу ска", + "пуск а", + "пус ка", + "▁ле г", + "▁ лег", + "▁по том", + "▁пото м", + "▁ потом", + "▁дру гие", + "▁други е", + "▁име ет", + "▁в зя", + "▁вз я", + "▁ взя", + "as e", + "a se", + "ти н", + "т ин", + "▁e v", + "▁ ev", + "▁in clud", + "▁ includ", + "▁ис кус", + "▁иск ус", + "▁иску с", + "la nd", + "lan d", + "l and", + "▁на стоя", + "▁насто я", + "▁ настоя", + "ля р", + "л яр", + "▁ни чего", + "▁дол жны", + "▁долж ны", + "▁до ма", + "▁дом а", + "▁in to", + "▁int o", + "не чно", + "▁ве сь", + "▁вес ь", + "os e", + "o se", + "▁с охра", + "▁со хра", + "▁на писа", + "▁напи са", + "w e", + "▁ч его", + "▁че го", + "▁ чего", + "тру д", + "тр уд", + "at ional", + "ation al", + "щи е", + "ро к", + "р ок", + "u g", + "тре н", + "тр ен", + "т рен", + "▁ге нера", + "▁гене ра", + "▁ген ера", + "▁ генера", + "▁п си", + "▁ пси", + "▁п ара", + "▁па ра", + "▁пар а", + "▁ пара", + "те льные", + "тель ные", + "тельны е", + "▁э кономи", + "▁эко номи", + "▁ экономи", + "ла н", + "л ан", + "▁д ве", + "▁ две", + "▁о кон", + "▁ок он", + "▁око н", + "▁со времен", + "▁сов ремен", + "▁Г ер", + "▁Ге р", + "▁ Гер", + "ш ла", + "л н", + "▁Ф ран", + "▁Фра н", + "▁ Фран", + "▁х ра", + "▁ хра", + "▁го р", + "▁г ор", + "▁ гор", + "ти ть", + "тит ь", + "т ить", + "o y", + "ст вии", + "стви и", + "▁d es", + "▁de s", + "▁ des", + "ер т", + "е рт", + "an ce", + "anc e", + "a nce", + "ie d", + "i ed", + "че р", + "ч ер", + "▁на ро", + "▁нар о", + "▁с ей", + "▁се й", + "▁ сей", + "on s", + "o ns", + "▁c an", + "▁ can", + "▁дру гой", + "▁друго й", + "▁друг ой", + "че й", + "ч ей", + "▁в ам", + "▁ва м", + "▁ вам", + "ну л", + "н ул", + "не с", + "o b", + "х у", + "та л", + "т ал", + "oo d", + "o od", + "▁t ime", + "▁tim e", + "▁ time", + "ce s", + "c es", + "ско ль", + "с коль", + "я вля", + "з д", + "▁то же", + "▁ж у", + "▁ жу", + "▁w e", + "▁ we", + "ро вания", + "рова ния", + "▁не ме", + "▁нем е", + "▁s p", + "▁ sp", + "▁Л у", + "▁ Лу", + "ствен ный", + "стве нный", + "ственны й", + "е ха", + "▁В ла", + "▁ Вла", + "▁чи сле", + "▁ числе", + "▁М у", + "▁ Му", + "▁А н", + "▁ Ан", + "▁от пра", + "▁К ра", + "▁ Кра", + "▁произ вод", + "▁произво д", + "▁ производ", + "▁фу нк", + "▁ функ", + "▁б ро", + "▁ бро", + "p h", + "oc k", + "o ck", + "▁с ен", + "▁се н", + "▁ сен", + "на н", + "н ан", + "▁те перь", + "мы ш", + "ту ра", + "тур а", + "т ура", + "fe r", + "f er", + "▁ни ка", + "▁ник а", + "▁ ника", + "▁m e", + "▁ me", + "▁Е вро", + "▁Ев ро", + "▁ Евро", + "▁ис пол", + "▁испо л", + "пу сти", + "пус ти", + "им о", + "и мо", + "▁полу ча", + "кто р", + "кт ор", + "к тор", + "▁обе спе", + "▁т ран", + "▁тра н", + "▁тр ан", + "▁ тран", + "ше м", + "ш ем", + "▁ли тера", + "в шего", + "▁ме то", + "▁мет о", + "▁ мето", + "▁П е", + "▁ Пе", + "▁му ж", + "▁ муж", + "ни цы", + "ниц ы", + "▁un d", + "▁u nd", + "▁ und", + "▁же ла", + "▁жел а", + "▁ жела", + "▁кото рое", + "▁которо е", + "▁ которое", + "▁у г", + "ль ное", + "льно е", + "жде ние", + "ж дение", + "ше е", + "oo k", + "o ok", + "▁ми ну", + "▁мин у", + "▁ мину", + "▁A r", + "▁ Ar", + "▁ф о", + "▁ фо", + "че му", + "чем у", + "пе ре", + "пер е", + "п ере", + "is s", + "i ss", + "▁о дного", + "▁од ного", + "▁одно го", + "▁отно ше", + "▁в ас", + "▁ва с", + "си те", + "сит е", + "▁п ода", + "▁по да", + "▁под а", + "▁ пода", + "ем о", + "е мо", + "▁ху до", + "▁худ о", + "▁ худо", + "▁по доб", + "▁под об", + "▁подо б", + "▁ подоб", + "те льный", + "тель ный", + "тельны й", + "▁О на", + "▁Он а", + "ви а", + "▁Р и", + "▁ Ри", + "▁у части", + "▁уча сти", + "▁участ и", + "го то", + "▁фи зи", + "▁физ и", + "▁ физи", + "▁ми ни", + "▁мин и", + "▁ мини", + "▁ме ся", + "▁ меся", + "▁а мерикан", + "▁америка н", + "▁ американ", + "at h", + "a th", + "ты й", + "▁продол жа", + "▁за ко", + "▁зак о", + "▁ зако", + "жи да", + "ж ида", + "ще го", + "щ его", + "шу ю", + "ш ую", + "▁ц ер", + "▁це р", + "▁ цер", + "▁ва ж", + "▁A s", + "▁пред стави", + "▁предста ви", + "ч ка", + "нс кой", + "н ской", + "▁Д ж", + "▁И н", + "▁ Ин", + "▁д ума", + "▁ду ма", + "▁ дума", + "те льного", + "тель ного", + "тельно го", + "П о", + "▁свя зи", + "▁связ и", + "▁с ту", + "▁ст у", + "▁ сту", + "ня я", + "▁б ое", + "▁бо е", + "▁ бое", + "▁раз рабо", + "▁ разрабо", + "in gs", + "ing s", + "ще е", + "ил и", + "и ли", + "▁m ore", + "▁mor e", + "▁ more", + "▁p lay", + "▁pl ay", + "▁ play", + "▁ч еты", + "▁че ты", + "▁чет ы", + "▁ четы", + "ль ная", + "льна я", + "▁об на", + "ak e", + "a ke", + "▁де ся", + "▁ деся", + "▁r a", + "▁ ra", + "▁с тан", + "▁ст ан", + "▁ста н", + "▁ стан", + "▁п одо", + "▁по до", + "▁под о", + "▁од нако", + "▁одна ко", + "▁от носи", + "▁отно си", + "▁не за", + "▁про фе", + "▁проф е", + "▁бу дут", + "▁буду т", + "▁буд ут", + "it ed", + "ite d", + "i ted", + "▁по стоя", + "▁Е го", + "▁ме нее", + "▁мене е", + "▁ менее", + "▁ис тории", + "▁исто рии", + "▁истори и", + "ме ня", + "мен я", + "м еня", + "ве н", + "в ен", + "ro ugh", + "r ough", + "го дня", + "год ня", + "ще ств", + "▁ро ссий", + "▁рос сий", + "▁ россий", + "ви ли", + "вил и", + "в или", + "ра ми", + "рам и", + "▁по се", + "▁пос е", + "та м", + "т ам", + "пы т", + "▁ка честве", + "▁каче стве", + "▁качеств е", + "as ed", + "ase d", + "зо в", + "з ов", + "ст рук", + "стру к", + "▁с им", + "▁си м", + "▁ сим", + "▁ко ми", + "▁ком и", + "▁ коми", + "▁с реди", + "▁сред и", + "▁сре ди", + "▁ср еди", + "▁ра сс", + "▁рас с", + "чи ть", + "чит ь", + "ч ить", + "▁в сем", + "▁все м", + "▁вс ем", + "ga n", + "g an", + "▁и зда", + "▁из да", + "▁изд а", + "▁гра жда", + "▁ гражда", + "р ю", + "▁при мер", + "▁приме р", + "▁прим ер", + "▁ пример", + "▁П ет", + "▁Пе т", + "▁ Пет", + "тр я", + "т ря", + "▁к м", + "▁ км", + "йс кой", + "й ской", + "▁па мя", + "▁ памя", + "▁ча ст", + "▁час т", + "▁ част", + "▁O n", + "▁ On", + "▁про ду", + "▁прод у", + "ди ть", + "дит ь", + "д ить", + "до ро", + "дор о", + "▁w hen", + "▁wh en", + "▁whe n", + "▁необходи мо", + "▁необходим о", + "та ль", + "тал ь", + "т аль", + "сколь ку", + "хо да", + "ход а", + "х ода", + "▁по тре", + "▁ потре", + "ш ка", + "жде н", + "жд ен", + "ж ден", + "▁на циона", + "▁наци она", + "▁ национа", + "▁чем пи", + "▁у твер", + "▁ут вер", + "▁Х а", + "▁ Ха", + "▁на зна", + "▁наз на", + "▁то му", + "▁том у", + "▁ тому", + "на род", + "нар од", + "▁го ды", + "▁год ы", + "▁д ли", + "▁ дли", + "▁м ир", + "▁ми р", + "▁ мир", + "▁с па", + "▁ спа", + "се да", + "сед а", + "▁Л ю", + "▁ Лю", + "▁П и", + "▁ Пи", + "▁У кра", + "▁ Укра", + "▁ни ко", + "▁ник о", + "цо в", + "ц ов", + "▁не у", + "▁на пример", + "▁ например", + "лл а", + "л ла", + "▁С ер", + "▁Се р", + "▁ Сер", + "то чно", + "во ль", + "вол ь", + "▁с вяза", + "▁свя за", + "▁св яза", + "▁связ а", + "▁хо зя", + "нс кого", + "н ского", + "▁се ль", + "▁сел ь", + "▁ сель", + "ва лся", + "вал ся", + "ce ss", + "ces s", + "c ess", + "em ber", + "emb er", + "e mber", + "▁со держа", + "фф ек", + "ффе к", + "ф фек", + "an s", + "a ns", + "▁при нима", + "▁ принима", + "об ще", + "▁к ру", + "▁кр у", + "▁ кру", + "пы та", + "пыт а", + "▁по ме", + "▁пом е", + "ме й", + "м ей", + "▁су щество", + "▁суще ство", + "▁существ о", + "та я", + "т ая", + "▁ме ста", + "▁мест а", + "on t", + "o nt", + "▁пре кра", + "▁M ar", + "▁Ma r", + "▁и нтер", + "▁ин тер", + "▁инте р", + "▁ интер", + "▁Ве ли", + "▁ Вели", + "▁я н", + "▁ ян", + "▁ш та", + "▁шт а", + "▁ шта", + "▁t ra", + "▁tr a", + "▁ tra", + "▁те о", + "▁ тео", + "ты х", + "т ых", + "▁де ка", + "▁ф ран", + "▁фра н", + "▁ фран", + "ло же", + "лож е", + "▁на род", + "▁наро д", + "▁нар од", + "▁ народ", + "жно й", + "ж ной", + "▁при ме", + "▁пр име", + "▁прим е", + "▁с мы", + "▁см ы", + "▁б ан", + "▁ба н", + "▁ бан", + "▁с тали", + "▁ст али", + "▁ста ли", + "▁стал и", + "▁к ли", + "▁ кли", + "le s", + "l es", + "ло й", + "л ой", + "▁g ro", + "▁gr o", + "▁ка кой", + "▁как ой", + "▁ма ши", + "▁Ч е", + "▁ Че", + "▁на де", + "▁над е", + "▁си туа", + "▁с коро", + "▁ско ро", + "▁скор о", + "▁ скоро", + "▁ч ле", + "▁ чле", + "▁П од", + "▁По д", + "▁ Под", + "ит ь", + "и ть", + "чи л", + "ч ил", + "на м", + "н ам", + "▁но р", + "▁н ор", + "▁ нор", + "ic k", + "i ck", + "▁ве ка", + "▁век а", + "ва лись", + "вали сь", + "ст ан", + "ста н", + "с тан", + "▁N ew", + "▁Ne w", + "▁ New", + "▁с ли", + "▁сл и", + "▁ сли", + "▁е ди", + "▁ед и", + "▁ еди", + "ви н", + "в ин", + "юще е", + "ю щее", + "ст ри", + "стр и", + "с три", + "▁ф е", + "▁ фе", + "▁э ту", + "▁воз ду", + "▁особ енно", + "▁особен но", + "▁ особенно", + "не в", + "н ев", + "▁t hem", + "▁the m", + "▁th em", + "ло го", + "лог о", + "▁ко тором", + "▁кото ром", + "▁которо м", + "мо н", + "м он", + "чны м", + "ч ным", + "▁лю би", + "▁ люби", + "▁ка жды", + "▁каж ды", + "▁т ут", + "▁ту т", + "▁ тут", + "пр я", + "п ря", + "▁re t", + "▁r et", + "▁ ret", + "▁В ер", + "▁Ве р", + "▁ Вер", + "▁о дна", + "▁од на", + "▁C om", + "▁Co m", + "▁ Com", + "▁s pe", + "▁sp e", + "▁ spe", + "▁от де", + "▁un der", + "▁und er", + "▁u nder", + "▁ under", + "ua l", + "u al", + "▁на блю", + "▁ре ги", + "▁ реги", + "▁му зы", + "▁о бу", + "▁об у", + "▁ обу", + "▁и зу", + "▁из у", + "io us", + "i ous", + "де ть", + "дет ь", + "д еть", + "▁у нивер", + "▁уни вер", + "бр и", + "б ри", + "_ _", + "▁э тим", + "▁эти м", + "▁ра зме", + "▁раз ме", + "ля ет", + "▁ж ур", + "▁жу р", + "▁ жур", + "ки ми", + "ким и", + "к ими", + "ло к", + "л ок", + "▁при чи", + "▁сво им", + "▁свои м", + "▁y ou", + "▁п ле", + "▁ пле", + "▁в лия", + "▁D e", + "▁ De", + "та к", + "т ак", + "▁о тра", + "▁от ра", + "▁p r", + "▁ pr", + "смо тре", + "смотр е", + "▁ав гу", + "с публи", + "▁со циаль", + "▁соци аль", + "▁социал ь", + "▁ социаль", + "▁во зра", + "▁воз ра", + "▁спе циаль", + "▁специ аль", + "▁хоро шо", + "бо лее", + "▁э нер", + "▁эн ер", + "▁ энер", + "▁до ку", + "▁док у", + "▁R e", + "▁ Re", + "▁В от", + "▁Во т", + "▁ Вот", + "до к", + "д ок", + "re d", + "r ed", + "i o", + "▁ag ain", + "зе р", + "з ер", + "ги и", + "▁с пра", + "▁д ет", + "▁де т", + "▁ дет", + "▁п оле", + "▁по ле", + "▁пол е", + "▁ поле", + "гр у", + "г ру", + "▁s o", + "▁ so", + "ль ным", + "льны м", + "ст рое", + "стро е", + "стр ое", + "к ви", + "v e", + "▁систе мы", + "▁сист емы", + "▁систем ы", + "▁ системы", + "au s", + "a us", + "war d", + "wa rd", + "w ard", + "▁сей час", + "▁Б ы", + "▁ Бы", + "▁э ле", + "▁ эле", + "▁г ре", + "▁гр е", + "▁ гре", + "▁ре жи", + "▁ режи", + "вши сь", + "в шись", + "ic t", + "i ct", + "и х", + "си л", + "с ил", + "ва ются", + "вают ся", + "ваю тся", + "▁стра ны", + "▁стран ы", + "ло жен", + "ложе н", + "лож ен", + "▁с обы", + "▁со бы", + "▁соб ы", + "ск у", + "с ку", + "▁а нг", + "▁ан г", + "▁ анг", + "▁вну трен", + "▁внут рен", + "▁Ни кола", + "▁Нико ла", + "щу ю", + "щ ую", + "en d", + "e nd", + "▁ре аль", + "▁реа ль", + "▁с тран", + "▁ст ран", + "▁стра н", + "▁стр ан", + "▁ стран", + "▁о тли", + "▁от ли", + "▁a tt", + "▁at t", + "▁ att", + "▁Вла ди", + "▁рас про", + "ch ool", + "cho ol", + "▁е щё", + "▁д ер", + "▁де р", + "▁ дер", + "жа ть", + "жат ь", + "▁е й", + "▁ ей", + "▁п рав", + "▁пра в", + "▁пр ав", + "▁ прав", + "▁пи сь", + "▁ пись", + "ст ав", + "ста в", + "с тав", + "▁со труд", + "▁q u", + "▁ qu", + "▁ко ра", + "▁кор а", + "▁ кора", + "d u", + "▁т ан", + "▁та н", + "▁ тан", + "си ли", + "сил и", + "с или", + "вы ми", + "вым и", + "▁ян ва", + "▁ди а", + "▁ диа", + "ри сти", + "рис ти", + "рист и", + "р исти", + "▁К ар", + "▁Ка р", + "▁ Кар", + "re at", + "▁ко л", + "▁к ол", + "▁ кол", + "▁в сё", + "▁вс ё", + "▁о но", + "▁он о", + "▁ оно", + "ди ви", + "див и", + "во бо", + "в обо", + ". )", + "▁b et", + "▁be t", + "з ь", + "▁пер вый", + "▁х и", + "▁ хи", + "но логи", + "н ологи", + "▁тре бо", + "▁s ec", + "▁se c", + "▁ sec", + "hi p", + "h ip", + "▁та ких", + "▁так их", + "▁таки х", + "▁по яви", + "▁поя ви", + "er ed", + "ere d", + "e red", + "▁бе с", + "▁ бес", + "▁на ру", + "▁нар у", + "▁ нару", + "ма три", + "мат ри", + "м атри", + "▁ши ро", + "▁d o", + "▁ do", + "мини стра", + "министр а", + "ra m", + "r am", + "▁у го", + "▁уг о", + "▁ уго", + "▁s up", + "▁su p", + "▁k n", + "▁ kn", + "▁t here", + "▁the re", + "▁th ere", + "▁э лектро", + "▁элек тро", + "▁ электро", + "жны х", + "ж ных", + "▁o p", + "▁ op", + "in al", + "ina l", + "▁то л", + "▁т ол", + "▁ тол", + "▁воз вра", + "wa y", + "w ay", + "▁гла за", + "▁глаз а", + "ер ы", + "е ры", + "зо вать", + "зова ть", + "▁п редо", + "▁пре до", + "▁пред о", + "▁с делать", + "▁сдела ть", + "ск е", + "с ке", + "▁у бе", + "▁с бор", + "▁сбо р", + "▁ сбор", + "▁об ъяс", + "▁объ яс", + "▁объя с", + "▁у ч", + "▁результа те", + "▁результат е", + "▁S e", + "▁ Se", + "ка з", + "к аз", + "▁Н у", + "▁ Ну", + "ше нно", + "шен но", + "ш енно", + "ot h", + "o th", + "п ли", + "▁п рода", + "▁про да", + "▁пр ода", + "▁прод а", + "▁ прода", + "▁Д у", + "▁ Ду", + "же м", + "ж ем", + "▁Р аз", + "▁Ра з", + "▁ Раз", + "▁L e", + "▁ Le", + "▁Г ла", + "▁во прос", + "▁вопро с", + "▁Д и", + "▁ Ди", + "ю щая", + "▁со став", + "▁соста в", + "▁сос тав", + "▁в ласти", + "▁вла сти", + "▁бо рь", + "▁бор ь", + "ни л", + "н ил", + "сно й", + "с ной", + "▁ак тив", + "▁акт ив", + "ми р", + "м ир", + "le ct", + "l ect", + "▁те чение", + "чна я", + "ч ная", + "лы й", + "ты е", + "▁а виа", + "ме на", + "мен а", + "м ена", + "▁из обра", + "▁изо бра", + "▁П ере", + "▁Пер е", + "▁Пе ре", + "▁ Пере", + "ri b", + "r ib", + "ди т", + "д ит", + "▁мо мент", + "▁ар мии", + "▁арми и", + "or n", + "ро т", + "р от", + "ло со", + "па ра", + "пар а", + "п ара", + "д ца", + "ле в", + "л ев", + "▁за кон", + "▁зако н", + "▁зак он", + "▁ закон", + "ча т", + "ч ат", + "бу дь", + "ce d", + "c ed", + "лк и", + "л ки", + "re n", + "r en", + "▁д руг", + "▁дру г", + "▁ друг", + "▁соб ствен", + "об ре", + "о бре", + "iv ers", + "iver s", + "i vers", + "ма я", + "м ая", + "▁де ле", + "▁дел е", + "▁ деле", + "▁органи за", + "чно е", + "ч ное", + "▁а пре", + "▁ап ре", + "ям и", + "я ми", + "for m", + "f orm", + "▁on ly", + "др о", + "д ро", + "▁м ет", + "▁ме т", + "▁ мет", + "▁при нци", + "▁прин ци", + "▁принц и", + "▁у до", + "▁уд о", + "▁т ек", + "▁те к", + "▁ тек", + "▁а рхи", + "▁ар хи", + "▁арх и", + "ня ть", + "нят ь", + "н ять", + "▁с разу", + "▁сра зу", + "▁поэ тому", + "▁поэтом у", + "▁не мец", + "▁нем ец", + "▁неме ц", + "▁ко ло", + "▁к оло", + "▁кол о", + "▁ коло", + "та р", + "т ар", + "▁кото рую", + "▁с обра", + "▁со бра", + "▁соб ра", + "▁бе зо", + "▁без о", + "▁слу ж", + "▁ служ", + "▁ст рои", + "▁стро и", + "▁ строи", + "▁чи та", + "▁ чита", + "▁b u", + "▁in ter", + "▁int er", + "▁inte r", + "▁ inter", + "сси и", + "с сии", + "▁к лу", + "▁ клу", + "▁но я", + "▁re g", + "▁ reg", + "▁не боль", + "▁небо ль", + "▁с вет", + "▁све т", + "▁св ет", + "▁ свет", + "▁по зи", + "▁поз и", + "▁ пози", + "▁в за", + "▁вз а", + "▁с ве", + "▁св е", + "▁ све", + "ски ми", + "ск ими", + "ским и", + "с кими", + "▁у каза", + "▁ука за", + "▁указ а", + "▁у стано", + "▁уста но", + "▁ус тано", + "▁д оба", + "▁до ба", + "▁доб а", + "▁са ми", + "▁сам и", + "▁ сами", + "▁I I", + "▁ II", + "] .", + "те льное", + "тель ное", + "тельно е", + "▁Укра и", + "▁ '", + "ри ть", + "рит ь", + "р ить", + "▁ми ро", + "▁мир о", + "мыш лен", + "▁p ubl", + "▁in d", + "▁i nd", + "▁ ind", + "▁вос ста", + "ри н", + "р ин", + "ча й", + "ч ай", + "▁помощ ью", + "▁помощь ю", + "е шь", + "че скую", + "▁c ons", + "▁con s", + "▁co ns", + "ме нты", + "мен ты", + "мент ы", + "м енты", + "▁по хо", + "▁пох о", + "▁та кие", + "▁таки е", + "р д", + "▁м я", + "▁ мя", + "▁пре зиден", + "▁ президен", + "▁ab out", + "▁предста вля", + "▁вне ш", + "▁ста нови", + "▁станов и", + "▁стано ви", + "▁ станови", + "▁w here", + "▁wh ere", + "▁whe re", + "▁ where", + "or ld", + "фи ка", + "фик а", + "▁м ень", + "▁ме нь", + "▁мен ь", + "▁ мень", + "ва ло", + "вал о", + "▁сле дует", + "▁следу ет", + "▁ следует", + "▁ни когда", + "▁нико гда", + "▁y ears", + "▁year s", + "▁от дель", + "▁отде ль", + "▁отдел ь", + "▁ре волю", + "▁ револю", + "▁матери а", + "▁мате риа", + "pr o", + "p ro", + "▁э ффек", + "▁ эффек", + "▁с тар", + "▁ст ар", + "▁ста р", + "▁ стар", + "▁По э", + "ев ра", + "е вра", + "▁ро д", + "▁р од", + "▁ род", + "▁Th is", + "ст ру", + "стр у", + "с тру", + "▁те а", + "▁фран цу", + "en er", + "ene r", + "e ner", + "▁s erv", + "▁ser v", + "▁ serv", + "жи т", + "ж ит", + "o int", + "▁сказа ть", + "▁ска зать", + "в ли", + "▁вы ше", + "▁ выше", + "▁Л о", + "▁ Ло", + "зна ча", + "з нача", + "▁и склю", + "▁ис клю", + "▁иск лю", + "▁в ол", + "▁во л", + "▁ вол", + "ch e", + "c he", + "у м", + "▁о черед", + "▁оче ред", + "▁очер ед", + "▁ди ви", + "▁ диви", + "чи сле", + "чис ле", + "▁( \"", + "▁ (\"", + "ци а", + "ру ет", + "▁ф рон", + "▁к ня", + "▁кн я", + "▁p e", + "▁ pe", + "ни це", + "ниц е", + "▁д рев", + "▁др ев", + "▁дре в", + "▁f l", + "▁ fl", + "▁луч ше", + "тно й", + "т ной", + "же й", + "ж ей", + "ди и", + "▁ $", + "к с", + "▁террито рии", + "▁кон тро", + "▁контр о", + "▁ контро", + "▁в ключа", + "▁вклю ча", + "▁re m", + "▁r em", + "▁ rem", + "▁за бо", + "▁заб о", + "▁полу чил", + "▁получи л", + "▁к ро", + "▁кр о", + "▁ кро", + "▁t han", + "▁th an", + "▁на чала", + "▁нача ла", + "▁начал а", + "▁нач ала", + "▁ начала", + "▁по ра", + "▁пор а", + "▁ пора", + "▁б ри", + "▁ бри", + "▁И ва", + "▁Ив а", + "в се", + "лы х", + "л ых", + "ни будь", + "▁про дук", + "▁проду к", + "▁ продук", + "▁за клю", + "▁зак лю", + "▁s ome", + "▁so me", + "▁som e", + "▁Со вет", + "▁Сов ет", + "▁Сове т", + "▁ Совет", + "▁за ме", + "▁зам е", + "лд а", + "л да", + "▁о грани", + "▁огра ни", + "▁ма ло", + "▁ мало", + "▁re l", + "▁r el", + "▁ rel", + "ем ых", + "емы х", + "е мых", + "te d", + "t ed", + "че ским", + "чески м", + "▁нача ле", + "▁начал е", + "▁нач але", + "▁ начале", + "▁a ss", + "▁as s", + "▁ ass", + "вр е", + "в ре", + "дер ж", + "ra ns", + "ran s", + "r ans", + "▁рай она", + "▁район а", + "▁рас простра", + "▁распро стра", + "со на", + "сон а", + "с она", + "▁e ar", + "▁ ear", + "we en", + "w een", + "▁д ня", + "▁ дня", + "▁f e", + "▁ fe", + "ри ан", + "риа н", + "je ct", + "j ect", + "▁универ сите", + "▁перио д", + "▁пери од", + "▁цен тра", + "▁центр а", + "▁ центра", + "i x", + "▁е дин", + "▁еди н", + "▁ед ин", + "▁ един", + "▁про изо", + "▁произ о", + "▁прои зо", + "го м", + "г ом", + "ai d", + "a id", + "▁возможно сть", + "▁возмо жность", + "▁бы стро", + "▁быст ро", + "▁встре ча", + "▁встреч а", + "бл я", + "б ля", + "▁m ost", + "▁ most", + "си ть", + "сит ь", + "с ить", + "▁четы ре", + "▁четыр е", + "▁ четыре", + "ль ю", + "л ью", + "t s", + "▁a ct", + "▁ac t", + "▁ act", + "▁t hen", + "▁the n", + "▁th en", + "▁ then", + "ца ми", + "цам и", + "▁с ере", + "▁се ре", + "▁сер е", + "я м", + "k s", + "вле нии", + "в лении", + "l l", + "▁О с", + "▁ф евра", + "▁фе вра", + "в шей", + "▁ли бо", + "▁ либо", + "is hed", + "ish ed", + "▁опреде лен", + "▁з е", + "▁ зе", + "се р", + "с ер", + "for e", + "f ore", + "во да", + "вод а", + "в ода", + "▁пло ща", + "▁ми лли", + "▁ милли", + "▁э кс", + "▁эк с", + "▁ экс", + "ле нь", + "лен ь", + "л ень", + "та й", + "т ай", + "ро вал", + "ров ал", + "рова л", + "▁нача ль", + "▁начал ь", + "▁нач аль", + "▁ р", + "id ent", + "ide nt", + "ство вать", + "ствова ть", + "▁са мом", + "▁само м", + "▁сам ом", + "▁при ро", + "▁го воря", + "▁говор я", + "▁гово ря", + "че ском", + "ческо м", + "ну лся", + "нул ся", + "▁п я", + "▁ пя", + "▁вто рой", + "▁втор ой", + "▁второ й", + "ou n", + "o un", + "▁во сто", + "▁вос то", + "▁ восто", + "по лне", + "пол не", + "▁рабо ту", + "▁работ у", + "ul ar", + "ula r", + "▁Т и", + "▁ Ти", + "▁th rough", + "▁thr ough", + "пи сы", + "пис ы", + "е вич", + "▁ка за", + "▁каз а", + "▁ каза", + "▁осу ществ", + "▁S h", + "▁ Sh", + "▁бо га", + "▁бог а", + "ra d", + "r ad", + "▁ка ждый", + "▁каж дый", + "▁кажды й", + "ству ют", + "▁Бо ль", + "▁Бол ь", + "▁ Боль", + "яс ь", + "я сь", + "▁с рав", + "▁сра в", + "▁ср ав", + "шко м", + "ш ком", + "▁Ми ха", + "▁м еди", + "▁ме ди", + "▁мед и", + "▁ меди", + "▁во обще", + "▁та ким", + "▁так им", + "▁таки м", + "во льно", + "воль но", + "▁по ве", + "▁пов е", + "▁за мет", + "▁заме т", + "▁зам ет", + "▁к ры", + "▁кр ы", + "▁ кры", + "ка де", + "чно сти", + "ч ности", + "▁v er", + "▁ve r", + "▁ ver", + "ме нтов", + "мен тов", + "мент ов", + "▁говори т", + "▁говор ит", + "▁гово рит", + "лы е", + "бо ра", + "бор а", + "ю з", + "▁ра бот", + "▁рабо т", + "▁раб от", + "▁по скольку", + "a h", + "▁рай оне", + "▁район е", + "▁у ме", + "▁ум е", + "▁ уме", + "▁д ра", + "▁др а", + "▁ дра", + "ер у", + "е ру", + "▁s y", + "▁ sy", + "▁груп пы", + "▁групп ы", + "▁ группы", + "ду ма", + "дум а", + "д ума", + "ol og", + "o log", + "▁вз гля", + "нс кий", + "н ский", + "г на", + "▁ро ль", + "▁тя же", + "▁тяж е", + "▁разви тия", + "бле й", + "бл ей", + "б лей", + "▁к ур", + "▁ку р", + "▁ кур", + "ж о", + "ра ви", + "рав и", + "▁к рай", + "▁кра й", + "▁кр ай", + "▁за виси", + "▁зави си", + "▁ зависи", + "▁пы та", + "▁ пыта", + "▁m ade", + "▁st ud", + "▁ре али", + "▁реа ли", + "▁ реали", + "▁s uch", + "▁suc h", + "▁su ch", + "ша ть", + "шат ь", + "at ing", + "ati ng", + "a ting", + "▁Поэ тому", + "▁d uring", + "▁du ring", + "▁у зна", + "▁уз на", + "▁а нти", + "▁ан ти", + "▁ анти", + "▁с тала", + "▁ст ала", + "▁ста ла", + "▁стал а", + "▁s ub", + "▁su b", + "▁ sub", + "пе ни", + "пен и", + "тер бур", + "▁м ая", + "▁ма я", + "▁ мая", + "▁исто ч", + "ри ю", + "▁ Z", + "▁с тало", + "▁ста ло", + "▁стал о", + "ти ческих", + "тически х", + "▁Ге рма", + "▁Гер ма", + "▁с к", + "▁ ск", + "ле та", + "лет а", + "▁се годня", + "▁сего дня", + "co de", + "c ode", + "ча ст", + "час т", + "да ть", + "дат ь", + "ро я", + "▁Р Ф", + "▁ РФ", + "▁пси хо", + "▁ психо", + "▁поль зова", + "▁ пользова", + "▁l oc", + "▁lo c", + "▁об яза", + "▁обя за", + "▁го то", + "▁ гото", + "ро вание", + "рова ние", + "▁со зна", + "▁соз на", + "▁ созна", + "▁та кое", + "▁так ое", + "▁со вершенно", + "▁совер шенно", + "▁совершен но", + "му ще", + "▁м ат", + "▁ма т", + "▁ мат", + "те льным", + "тель ным", + "тельны м", + "il y", + "i ly", + "об раз", + "обра з", + "▁a m", + "▁ am", + "во дя", + "вод я", + "mer ic", + "me ric", + "хо дят", + "ходя т", + "ход ят", + "▁на ходится", + "▁находи тся", + "▁находит ся", + "▁наход ится", + "as on", + "a son", + "▁f orm", + "▁for m", + "▁ form", + "▁вы ступа", + "▁выступ а", + "да ря", + "дар я", + "▁з ву", + "▁зв у", + "▁ зву", + "над ле", + "▁c ent", + "▁ce nt", + "▁ cent", + "▁о писа", + "▁опи са", + "▁м ор", + "▁мо р", + "▁ мор", + "▁от ношения", + "▁отно шения", + "▁отноше ния", + "▁т ро", + "▁тр о", + "▁ тро", + "o h", + "▁доста точно", + "▁достато чно", + "▁боль шин", + "▁e nd", + "▁en d", + "▁ end", + "▁тра ди", + "сла в", + "сл ав", + "с лав", + "де ния", + "oll ow", + "се н", + "с ен", + "▁не из", + "▁неи з", + "▁bet ween", + "p r", + "ль зя", + "▁о гром", + "▁ог ром", + "▁де тей", + "▁дет ей", + "▁дете й", + "он и", + "о ни", + "▁э тому", + "▁это му", + "▁этом у", + "▁про води", + "▁прово ди", + "▁провод и", + "▁у кра", + "ми ра", + "мир а", + "▁м ногие", + "▁мно гие", + "▁многи е", + "▁не е", + "▁ нее", + "▁ре ли", + "▁ рели", + "те к", + "т ек", + "▁ме сте", + "▁мест е", + "▁дея тельности", + "▁деятель ности", + "▁ деятельности", + "▁О р", + "▁ Ор", + "▁пу бли", + "▁ публи", + "▁К роме", + "▁Кро ме", + "он ов", + "оно в", + "о нов", + "▁от ве", + "▁по ро", + "▁пор о", + "▁ поро", + "▁м еха", + "▁ме ха", + "▁ меха", + "ство вал", + "ствова л", + "▁Г у", + "▁ Гу", + "▁вы с", + "▁ выс", + "▁ком пании", + "▁компа нии", + "to n", + "t on", + "ev er", + "e ver", + "▁о боро", + "▁обо ро", + "ст ом", + "сто м", + "с том", + "il m", + "▁тыся ч", + "in s", + "i ns", + "▁c ol", + "▁co l", + "▁ col", + "лк о", + "л ко", + "▁пра ва", + "▁прав а", + "▁ права", + "▁при ве", + "▁прив е", + "по в", + "п ов", + "▁в сей", + "▁все й", + "▁вс ей", + "ли на", + "лин а", + "л ина", + "▁харак тер", + "ar s", + "▁m ov", + "то н", + "т он", + "▁ко нечно", + "▁коне чно", + "▁смер ти", + "▁ка ждо", + "▁каж до", + "те льности", + "тель ности", + "тельно сти", + "▁с нова", + "▁сно ва", + "▁ снова", + "о з", + "▁ве дь", + "▁вед ь", + "▁ ведь", + "чи к", + "▁с це", + "▁ сце", + "it ies", + "i ties", + "▁о конча", + "▁окон ча", + "▁мно гих", + "▁многи х", + "зе м", + "з ем", + "ai r", + "a ir", + "▁соста вля", + "▁состав ля", + "ма х", + "▁Ч а", + "▁ Ча", + "▁ию ля", + "el f", + "ли т", + "л ит", + "po s", + "p os", + "▁чемпи она", + "▁чемпион а", + "▁А нд", + "▁Ан д", + "▁ Анд", + "ci al", + "c ial", + "▁са мого", + "▁само го", + "▁дол го", + "▁долг о", + "▁ долго", + "▁пу нк", + "▁ пунк", + "▁n o", + "▁ no", + "лк а", + "л ка", + "ге р", + "г ер", + "ре ние", + "▁со про", + "▁in v", + "▁ст рук", + "▁стру к", + "▁ струк", + "▁при надле", + "го вор", + "гов ор", + "гово р", + "ч ку", + "▁хо те", + "▁х оте", + "▁В оз", + "▁Во з", + "▁ Воз", + "▁in c", + "▁ inc", + "по м", + "п ом", + "▁us ed", + "▁use d", + "▁ used", + "ни ками", + "ника ми", + "никам и", + "a z", + "at t", + "a tt", + "ov ern", + "over n", + "▁тре бу", + "▁в нимание", + "▁внима ние", + "ou se", + "ous e", + "o use", + "▁наи более", + "ща ет", + "▁о ст", + "▁ос т", + "га н", + "г ан", + "ar g", + "▁а б", + "ди я", + "ли ть", + "лит ь", + "л ить", + "al s", + "a ls", + "ik e", + "i ke", + "▁од ним", + "▁одни м", + "▁кон ф", + "▁A n", + "▁ An", + "▁l ater", + "▁la ter", + "▁late r", + "▁lat er", + "ли бо", + "ги е", + "че ства", + "щи м", + "щ им", + "со к", + "с ок", + "ла ми", + "лам и", + "▁p ol", + "▁po l", + "▁сен тября", + "▁мо гли", + "▁мог ли", + "ствен ные", + "стве нные", + "ственны е", + "▁сооб щи", + "an y", + "a ny", + "ри а", + "▁за яви", + "▁зая ви", + "тны е", + "т ные", + "▁о ши", + "мо би", + "e x", + "ро б", + "р об", + "▁произ води", + "▁производ и", + "▁произво ди", + "▁ производи", + "▁м она", + "▁мо на", + "▁мон а", + "▁ мона", + "▁органи зации", + "▁организа ции", + "▁тех ни", + "▁ техни", + "ю сь", + "he n", + "h en", + "жны е", + "ж ные", + "▁d ef", + "▁de f", + "▁ def", + "▁авгу ста", + "▁ию ня", + "▁хо зяй", + "▁хозя й", + "▁ хозяй", + "ду т", + "д ут", + "д ки", + "▁b l", + "▁ bl", + "▁при ходи", + "▁приход и", + "▁прихо ди", + "el d", + "e ld", + "▁ко личество", + "▁количе ство", + "▁Б ер", + "▁Бе р", + "▁ Бер", + "▁бли з", + "по зи", + "▁p res", + "▁pre s", + "▁pr es", + "нно го", + "н ного", + "▁ру ковод", + "▁руко вод", + "▁в сю", + "▁вс ю", + "смо тря", + "смотр я", + "за д", + "з ад", + "▁про ве", + "▁руко води", + "▁руковод и", + "▁воз ник", + "e y", + "ot her", + "oth er", + "o ther", + "▁пре вра", + "▁пр евра", + "▁вой ска", + "▁войск а", + "▁c o", + "▁ co", + "▁ад министра", + "▁на шей", + "▁наш ей", + "▁наше й", + "if e", + "i fe", + "▁я вляются", + "▁явля ются", + "▁яв ляются", + "▁сто я", + "▁ стоя", + "an n", + "c c", + "ве дение", + "веде ние", + "▁ма рта", + "▁мар та", + "▁дела ть", + "▁ делать", + "З а", + "▁д ней", + "▁дне й", + "▁С ан", + "▁Са н", + "▁ Сан", + "зе й", + "з ей", + "▁сов сем", + "ie w", + "i ew", + "▁фо то", + "▁ фото", + "ти л", + "т ил", + "▁ок тября", + "▁а нали", + "▁ана ли", + "▁ан али", + "▁ анали", + "▁сте пени", + "пе й", + "п ей", + "▁янва ря", + "тны й", + "т ный", + "▁не сколь", + "▁неско ль", + "▁нес коль", + "▁c all", + "▁cal l", + "пи си", + "пис и", + "▁по и", + "те лями", + "теля ми", + "телям и", + "тел ями", + "▁го дах", + "▁года х", + "жа л", + "ж ал", + "чно м", + "ч ном", + "if ic", + "i fic", + "▁П ред", + "▁Пре д", + "▁ Пред", + "▁по чему", + "▁поче му", + "▁соста ве", + "▁состав е", + "▁A meric", + "▁ Americ", + "ie t", + "i et", + "ло жения", + "ложе ния", + "▁пря мо", + "тк а", + "т ка", + "▁Фе дера", + "▁со еди", + "▁ соеди", + "▁и мени", + "▁име ни", + "▁имен и", + "не ний", + "▁кото рым", + "▁которы м", + "▁слу чай", + "▁случа й", + "▁ра зре", + "▁раз ре", + "du c", + "d uc", + "жи ть", + "жит ь", + "ж ить", + "▁вы з", + "ic s", + "▁th ree", + "▁thr ee", + "ко нец", + "кон ец", + "коне ц", + "▁от сут", + "▁отс ут", + "ou th", + "out h", + "o uth", + "! \"", + "ру с", + "р ус", + "ве ро", + "вер о", + "▁фран цуз", + "▁францу з", + "▁ француз", + "▁Ф и", + "▁ Фи", + "Н а", + "▁фи лосо", + "▁фило со", + "ло ва", + "лов а", + "▁пре ду", + "▁пред у", + "ку ль", + "▁дей ствия", + "▁действи я", + "in ce", + "inc e", + "i nce", + "op le", + "o ple", + "▁пра кти", + "▁прак ти", + "▁ин ститу", + "нт а", + "н та", + "ет ы", + "е ты", + "or th", + "ort h", + "is ion", + "▁то й", + "▁т ой", + "▁ той", + "▁s et", + "▁se t", + "▁ set", + "▁за вер", + "▁заве р", + "▁се зо", + "▁си лы", + "▁сил ы", + "▁p os", + "▁po s", + "▁ pos", + "▁д р", + "▁ др", + "▁f ound", + "▁с ни", + "▁ сни", + "ва лось", + "вало сь", + "▁обы чно", + "ли чие", + "личи е", + "▁пре ступ", + "▁пре жде", + "▁преж де", + "▁в ид", + "▁ви д", + "▁ вид", + "▁по вы", + "▁пов ы", + "те ре", + "тер е", + "т ере", + "шн о", + "ш но", + "▁ц ар", + "▁ца р", + "▁ цар", + "бе н", + "б ен", + "▁e nt", + "▁en t", + "▁ ent", + "ст но", + "с тно", + "ie r", + "i er", + "▁на зад", + "▁наз ад", + "ра м", + "р ам", + "Т А", + "▁дру га", + "▁друг а", + "ro und", + "r ound", + "▁n um", + "▁дол жна", + "▁долж на", + "▁ви ди", + "▁вид и", + "▁ види", + "ме нь", + "мен ь", + "м ень", + "в ь", + "▁не которые", + "▁некоторы е", + "▁некото рые", + "at her", + "ath er", + "a ther", + "▁г ер", + "▁ге р", + "▁ гер", + "▁т вор", + "▁тво р", + "▁тв ор", + "▁ твор", + "▁се мь", + "▁сем ь", + "em ent", + "e ment", + "ми я", + "▁з да", + "▁ зда", + "▁а л", + "▁ ал", + "по р", + "п ор", + "▁об раз", + "▁обра з", + "▁ образ", + "п ле", + "▁коман ди", + "▁команд и", + "▁ми ре", + "▁мир е", + "▁дека бря", + "▁су б", + "▁по ряд", + "де ля", + "дел я", + "▁be ing", + "iv ed", + "ive d", + "i ved", + "▁у частие", + "▁участи е", + "тно го", + "т ного", + "▁эк спе", + "▁экс пе", + "▁И с", + "▁ Ис", + "ту ре", + "тур е", + "т уре", + "al e", + "a le", + "▁ра вно", + "▁рав но", + "a j", + "▁pro v", + "▁pr ov", + "ско ре", + "скор е", + "▁ком му", + "▁ комму", + "▁д во", + ". :", + "▁между народ", + "▁с виде", + "▁сви де", + "▁св иде", + "▁до пол", + "▁с ъ", + "ни на", + "нин а", + "н ина", + "ow er", + "o wer", + "▁фи нан", + "▁фина н", + "▁фин ан", + "co m", + "c om", + "▁д вига", + "▁дви га", + "▁ двига", + "▁ре шение", + "▁реше ние", + "▁а п", + "▁ ап", + "▁боль шой", + "▁большо й", + "▁з оло", + "▁зо ло", + "▁ золо", + "t y", + "in es", + "ine s", + "i nes", + "во к", + "в ок", + "ли к", + "сс ы", + "с сы", + "▁w ell", + "▁we ll", + "▁ well", + "ло жение", + "ложе ние", + "▁ар ти", + "▁арт и", + "▁при бы", + "емы е", + "е мые", + "▁g o", + "▁ go", + "ве й", + "в ей", + "vel op", + "ли м", + "л им", + "▁у правления", + "▁упра вления", + "▁# #", + "▁ ##", + "▁ка пита", + "▁капи та", + "▁пол ностью", + "▁полно стью", + "ди на", + "дин а", + "д ина", + "▁от мет", + "▁отме т", + "на дца", + "над ца", + "ow ever", + "пер вые", + "▁апре ля", + "пра в", + "пр ав", + "п рав", + "то ров", + "тор ов", + "торо в", + "кла ды", + "клад ы", + "▁S he", + "▁Sh e", + "ли во", + "лив о", + "er t", + "хо м", + "х ом", + "▁су дь", + "▁суд ь", + "де л", + "at ive", + "ati ve", + "▁ко ле", + "▁к оле", + "▁кол е", + "▁ коле", + "▁фор ма", + "▁фо рма", + "▁форм а", + "▁ форма", + "▁по во", + "▁пов о", + "ев а", + "е ва", + "▁A t", + "▁з ве", + "▁зв е", + "▁ зве", + "▁да нных", + "▁дан ных", + "▁в спо", + "▁вс по", + "▁ком плек", + "▁комп лек", + "▁ комплек", + "ra l", + "r al", + "▁сли шком", + "▁м ере", + "▁ме ре", + "▁мер е", + "▁п опа", + "▁по па", + "▁поп а", + "▁не с", + "▁ нес", + "▁се рь", + "▁сер ь", + "▁о би", + "▁об и", + "▁в ок", + "▁во к", + "▁ вок", + "▁г г", + "▁ гг", + "▁d ec", + "▁de c", + "▁с ре", + "▁ср е", + "▁ сре", + "▁проис ходит", + "▁происхо дит", + "▁со бира", + "мо р", + "м ор", + "▁с пу", + "▁обла да", + "▁обл ада", + "▁то н", + "▁т он", + "▁ тон", + "да ми", + "дам и", + "st em", + "ste m", + "▁ти па", + "▁тип а", + "▁по ко", + "па сности", + "пас ности", + "в шая", + "мы х", + "м ых", + "▁о свобо", + "▁ос вобо", + "is e", + "i se", + "▁та кого", + "▁ни ми", + "▁н ими", + "▁ним и", + "▁ ними", + "ре менно", + "ремен но", + "рем енно", + "s s", + "ч ную", + "▁сто ит", + "▁стои т", + "▁ стоит", + "▁исполь зовать", + "▁использова ть", + "▁ва риан", + "▁вариа н", + "▁к ино", + "▁ки но", + "▁кин о", + "▁ кино", + "ль ном", + "льно м", + "▁про стран", + "▁прос тран", + "▁прост ран", + "▁государ ства", + "▁государств а", + "▁во ору", + "▁воо ру", + "▁по вто", + "▁пов то", + "▁ <", + "▁с про", + "▁по верх", + "▁повер х", + "гра д", + "гр ад", + "г рад", + "as h", + "a sh", + "ни ях", + "ния х", + "▁спе циали", + "▁специ али", + "го тов", + "гото в", + "ur y", + "u ry", + "▁again st", + "▁bec ame", + "▁у ви", + "▁пер вой", + "▁перво й", + "▁а ль", + "▁ал ь", + "▁ аль", + "▁Э ти", + "▁за хва", + "▁о те", + "▁от е", + "▁ оте", + "▁на ходя", + "▁наход я", + "▁от да", + "▁ноя бря", + "▁P ro", + "▁Pr o", + "▁ Pro", + "ка р", + "к ар", + "▁по пу", + "▁поп у", + "▁с на", + "▁ сна", + "▁пу ти", + "▁пут и", + "▁m any", + "▁man y", + "▁о фициаль", + "▁офи циаль", + "▁во ды", + "▁вод ы", + "▁ воды", + "▁глу бо", + "▁с тол", + "▁ст ол", + "▁сто л", + "▁ стол", + "▁Б и", + "▁ Би", + "▁вза имо", + "▁взаим о", + "▁мо щ", + "▁ мощ", + "со н", + "с он", + "бо м", + "б ом", + "▁т реть", + "▁тре ть", + "▁тр еть", + "▁ треть", + "▁кар ти", + "▁карт и", + "▁ *", + "мы е", + "▁wh ile", + "▁ while", + "▁не льзя", + "ви д", + "в ид", + "▁же лез", + "▁желе з", + "▁жел ез", + "е го", + "▁к ам", + "▁ка м", + "▁ кам", + "▁t rans", + "▁tra ns", + "▁tr ans", + "▁об щества", + "▁обще ства", + "▁обществ а", + "te n", + "t en", + "те льность", + "тель ность", + "тельно сть", + "ни ц", + "ро го", + "рог о", + "▁за ста", + "▁зас та", + "▁a dd", + "▁ad d", + "▁ add", + "▁e m", + "▁ em", + "is m", + "i sm", + "▁анг лий", + "▁ англий", + "ча ть", + "чат ь", + "▁Ш а", + "▁ Ша", + "le d", + "l ed", + "кто ра", + "ктор а", + "к тора", + "▁w ill", + "▁s ur", + "▁su r", + "▁и мя", + "▁им я", + "▁лег ко", + "▁б уд", + "▁бу д", + "▁ret urn", + "▁дви жения", + "▁f ollow", + "▁бо лез", + "▁бол ез", + "▁боле з", + "▁те бя", + "д лен", + "▁sec ond", + "aus e", + "au se", + "a use", + "▁мно же", + "▁д ы", + "▁ ды", + "▁вы да", + "▁о ружи", + "▁ору жи", + "▁p h", + "▁ ph", + "▁за кры", + "▁зак ры", + "те ря", + "тер я", + "▁меха ни", + "▁ .", + "ез д", + "е зд", + "c k", + "▁го дов", + "▁год ов", + "ма на", + "ман а", + "м ана", + "во в", + "в ов", + "но вь", + "нов ь", + "▁про мышлен", + "▁ промышлен", + "▁f am", + "▁fa m", + "in ed", + "ine d", + "i ned", + "▁ди ре", + "it s", + "i ts", + "▁b ack", + "▁ back", + "▁объ еди", + "▁объе ди", + "но си", + "нос и", + "н оси", + "▁на ме", + "▁нам е", + "▁ наме", + "же нием", + "жение м", + "▁сред ства", + "▁средств а", + "▁ >", + "▁на чал", + "▁нача л", + "▁нач ал", + "▁е сте", + "▁им пера", + "▁импе ра", + "▁импер а", + "so n", + "s on", + "ти ческие", + "тически е", + "▁уда лось", + "▁тех нологи", + "▁техно логи", + "▁ технологи", + "▁f ilm", + "▁fil m", + "▁ду хов", + "▁дух ов", + "▁духо в", + "▁ты с", + "er n", + "ля х", + "л ях", + "▁о казыва", + "▁ока зыва", + "er m", + "e rm", + "ствен ным", + "стве нным", + "ственны м", + "▁ру ки", + "▁рук и", + "ль ную", + "▁а на", + "▁ан а", + "▁ ана", + "▁по лови", + "▁поло ви", + "▁полов и", + "▁т ай", + "▁та й", + "▁ тай", + "▁зна чение", + "те льная", + "тель ная", + "тельна я", + "▁be fore", + "жи л", + "ж ил", + "▁инте рес", + "▁интере с", + "▁кор пу", + "▁d ay", + "▁ day", + "▁C l", + "▁ Cl", + "▁на ши", + "▁наш и", + "▁насе ления", + "ствен ное", + "стве нное", + "ственно е", + "▁in st", + "▁ins t", + "пу та", + "пут а", + "▁по жа", + "▁ пожа", + "▁по ги", + "жны й", + "ж ный", + "▁за па", + "▁З ем", + "▁Зе м", + "ни ли", + "нил и", + "н или", + "? \"", + "▁с ил", + "▁си л", + "▁ сил", + "ни цу", + "ниц у", + "▁о жида", + "▁ожи да", + "ро е", + "р ое", + "▁ино гда", + "▁обна ружи", + "▁обнару жи", + "р ё", + "▁М ак", + "▁Ма к", + "▁ Мак", + "нк а", + "н ка", + "▁и то", + "em b", + "e mb", + "д ко", + "ры в", + "хо т", + "х от", + "▁а н", + "▁ ан", + "x t", + "▁о щу", + "▁с ум", + "▁су м", + "▁пред прия", + "▁предпри я", + "▁вер си", + "▁re le", + "▁rel e", + "▁де не", + "▁ден е", + "▁ дене", + "▁разли чных", + "▁ \\", + "кла д", + "кл ад", + "к лад", + "▁пар тии", + "▁парти и", + "вле ны", + "влен ы", + "в лены", + "▁о ди", + "▁од и", + "▁под держ", + "y s", + "та ли", + "тал и", + "т али", + "▁ма лень", + "am es", + "ame s", + "a mes", + "▁o wn", + "▁ own", + "▁се кре", + "▁сек ре", + "▁ секре", + "▁м ой", + "▁мо й", + "▁ мой", + "▁пе с", + "pl e", + "p le", + "▁i f", + "▁ if", + "▁у ничто", + "▁уни что", + "▁a ny", + "▁an y", + "▁ any", + "▁ л", + "сту пил", + "ступ ил", + "ступи л", + "ле ко", + "лек о", + "ре е", + "▁го роде", + "▁горо де", + "▁город е", + "▁наз вание", + "▁назва ние", + "▁у строй", + "▁устро й", + "▁ устрой", + "▁т ур", + "▁ту р", + "▁ тур", + "ди й", + "▁от лича", + "▁отли ча", + "▁г ро", + "▁гр о", + "▁ гро", + "-- --", + "▁авто моби", + "▁не доста", + "▁недо ста", + "▁te am", + "сто ит", + "ter s", + "t ers", + "▁са мых", + "▁самы х", + "▁сам ых", + "▁но вые", + "▁ новые", + "▁Ч ер", + "▁Че р", + "▁ Чер", + "▁X V", + "▁ XV", + "▁ка кие", + ".. ..", + "... .", + ". ...", + "шё л", + "ш ёл", + "▁не воз", + "▁нев оз", + "▁нево з", + "▁си стема", + "▁систе ма", + "▁сист ема", + "▁систем а", + "▁с воем", + "▁сво ем", + "▁свое м", + "ut ion", + "u tion", + "га ми", + "гам и", + "▁чи сло", + "▁по ку", + "ты м", + "сре д", + "с ред", + "▁весь ма", + "▁февра ля", + "▁pe ople", + "▁е вро", + "▁ев ро", + "▁ евро", + "шт а", + "ш та", + "▁в полне", + "▁Ва си", + "▁Вас и", + "e b", + "▁станови тся", + "▁станов ится", + "▁стано вится", + "▁s aid", + "ны не", + "ме ть", + "мет ь", + "м еть", + "ч о", + "ре м", + "р ем", + "рк о", + "р ко", + "▁сим во", + "▁за пад", + "▁запа д", + "▁ запад", + "▁худо ж", + "▁s chool", + "▁sch ool", + "▁рабо те", + "▁работ е", + "▁раб оте", + "▁F or", + "▁ For", + "▁Моск ве", + "ющи ми", + "ющим и", + "ю щими", + "вле ка", + "в лека", + "т бо", + "ви ча", + "вич а", + "▁и сти", + "▁ис ти", + "▁ист и", + "▁ исти", + "▁со лда", + "фор ми", + "форм и", + "дж а", + "д жа", + "ce pt", + "▁тре х", + "▁некоторы х", + "▁некото рых", + "нк и", + "н ки", + "▁в оло", + "▁во ло", + "▁вол о", + "▁ воло", + "▁с ю", + "▁ сю", + "ль я", + "л ья", + "ба ты", + "бат ы", + "че нии", + "ra ct", + "rac t", + "r act", + "▁но вых", + "▁нов ых", + "▁ новых", + "ша ет", + "▁жур на", + "ow s", + "вши м", + "в шим", + "▁I nd", + "▁In d", + "▁ Ind", + "▁наз ва", + "▁A fter", + "▁Af ter", + "▁п ять", + "▁пя ть", + "▁пят ь", + "▁ пять", + "in n", + "юз а", + "ю за", + "▁при обре", + "▁прио бре", + "▁приоб ре", + "на вли", + "нав ли", + "▁ре з", + "▁р ез", + "▁ рез", + "ul l", + "u ll", + "▁l ead", + "▁le ad", + "▁но рма", + "▁нор ма", + "▁норм а", + "▁ норма", + "сси она", + "ссион а", + "▁от каза", + "▁отка за", + "▁отказ а", + "ща ется", + "щает ся", + "▁с оба", + "▁со ба", + "▁соб а", + "▁име ют", + "▁имею т", + "▁пре доста", + "▁пред оста", + "▁предо ста", + "ди л", + "д ил", + "▁S c", + "▁ Sc", + "ur es", + "ure s", + "u res", + "▁п рак", + "▁пра к", + "▁пр ак", + "▁c ould", + "▁cou ld", + "де м", + "д ем", + "an k", + "▁к уда", + "▁ку да", + "▁ куда", + "ва лась", + "вала сь", + "та ки", + "так и", + "че нием", + "чение м", + "▁ни з", + "▁н из", + "▁ низ", + "▁о то", + "▁от о", + "▁до бро", + "▁доб ро", + "▁ добро", + "▁Во сто", + "▁Вос то", + "▁ Восто", + "▁а ре", + "▁ар е", + "не нии", + "▁расска за", + "▁расс каза", + "▁рассказ а", + "се й", + "с ей", + "▁ре ки", + "▁рек и", + "но временно", + "нов ременно", + "новремен но", + "▁раз ных", + "ir ect", + "ire ct", + "i rect", + "ри т", + "р ит", + "▁действи тельно", + "▁ко го", + "▁ кого", + "▁возможно сти", + "▁возмо жности", + "▁ре ше", + "▁до вольно", + "▁доволь но", + "▁дово льно", + "при нима", + "▁Это т", + "ie ld", + "iel d", + "i eld", + "▁в новь", + "▁рабо чи", + "▁ин формации", + "▁информа ции", + "▁d id", + "▁di d", + "▁даль ней", + "те т", + "т ет", + "▁кри ти", + "вле нием", + "вление м", + "в лением", + "▁ре ак", + "▁реа к", + "че к", + "ч ек", + "▁к роме", + "▁кро ме", + "▁кром е", + "ar ri", + "▁фор ми", + "▁форм и", + "▁ форми", + "f l", + "▁ре гу", + "▁ра н", + "▁р ан", + "▁ ран", + "фи ци", + "▁мы сли", + "▁мыс ли", + "▁ мысли", + "стро ен", + "строе н", + "да х", + "▁ф ло", + "▁ фло", + "f ul", + "▁ра в", + "▁р ав", + "▁ рав", + "ще м", + "щ ем", + "is ts", + "ist s", + "▁це ли", + "▁ра дио", + "▁ради о", + "▁воз мо", + "▁ возмо", + "▁вы зыва", + "▁воз ника", + "▁возник а", + "бра н", + "бр ан", + "б ран", + "▁ap pe", + "▁app e", + "▁ appe", + "▁наблю да", + "▁са мым", + "▁самы м", + "▁W h", + "▁спо со", + "▁Росси йской", + "▁Россий ской", + "нно е", + "н ное", + "ма р", + "м ар", + "▁ar t", + "▁ art", + "▁з о", + "▁ зо", + "▁о ри", + "▁ор и", + "▁ ори", + "жно го", + "ж ного", + "▁за я", + "▁з ая", + "гл и", + "г ли", + "ся т", + "с ят", + "▁о бви", + "▁об ви", + "▁ц а", + "▁ ца", + "ри с", + "р ис", + "же ний", + "ivers ity", + "г ну", + "по ли", + "пол и", + "не нию", + "▁d if", + "▁di f", + "▁при сут", + "▁прис ут", + "▁прису т", + "ст ями", + "стя ми", + "стям и", + "с тями", + "▁b oth", + "▁bo th", + "по д", + "п од", + "ше му", + "шем у", + "й н", + "де ле", + "дел е", + "▁s ign", + "пи сь", + "пис ь", + "▁з рения", + "▁зре ния", + "▁ зрения", + "▁ф он", + "▁фо н", + "▁ фон", + "д ж", + "a x", + "чно сть", + "ч ность", + "▁под твер", + "▁p op", + "▁po p", + "са ми", + "сам и", + "▁о дном", + "▁од ном", + "▁одно м", + "ro n", + "r on", + "▁тран спо", + "▁транс по", + "c y", + "на чала", + "нача ла", + "ir ed", + "ire d", + "i red", + "▁ос нове", + "▁основ е", + "▁осно ве", + "▁хо ло", + "▁х оло", + "▁хол о", + "▁ холо", + "at ure", + "atur e", + "a ture", + "▁includ ing", + "▁ including", + "нна я", + "н ная", + "▁соответ ству", + "но с", + "н ос", + "▁de velop", + "▁куль туры", + "▁культур ы", + "емы й", + "е мый", + "▁кон ца", + "▁конц а", + "▁o b", + "▁ ob", + "та ть", + "▁но вого", + "▁ново го", + "▁ нового", + "▁ча сов", + "▁час ов", + "pe d", + "p ed", + "бо в", + "б ов", + "▁m et", + "▁me t", + "▁ met", + "ти ю", + "ти ли", + "тил и", + "т или", + "э н", + "▁ро да", + "▁род а", + "▁р ода", + "▁ рода", + "чным и", + "чны ми", + "ч ными", + "▁те бе", + "▁/ /", + "▁ //", + "▁рас ши", + "de r", + "d er", + "▁са мой", + "▁само й", + "▁сам ой", + "ши ть", + "шит ь", + "ш ить", + "▁рас сматри", + "▁расс матри", + "ut e", + "u te", + "му ю", + "м ую", + "би ли", + "бил и", + "б или", + "▁ре шения", + "▁реше ния", + "▁s er", + "▁se r", + "▁ ser", + "хо дить", + "ходи ть", + "ход ить", + "ходит ь", + "▁о знача", + "▁оз нача", + "▁озна ча", + "ро с", + "р ос", + "ло гии", + "логи и", + "▁фор му", + "▁форм у", + "▁d ist", + "▁dis t", + "▁di st", + "▁день ги", + "overn ment", + "▁C ol", + "▁Co l", + "▁ Col", + "▁e st", + "▁es t", + "▁ est", + "iv er", + "ive r", + "i ver", + "▁но вый", + "▁ новый", + "до ров", + "доро в", + "дор ов", + "чи ты", + "чит ы", + "к ва", + "▁ге ро", + "▁гер о", + "▁в ет", + "▁ве т", + "▁ вет", + "▁кни ги", + "▁книг и", + "но вич", + "нови ч", + "ve d", + "v ed", + "▁д ом", + "▁до м", + "▁ дом", + "▁Мо сков", + "▁Моск ов", + "▁ Москов", + "▁за пре", + "▁при з", + "▁пр из", + "▁ приз", + "▁ко ллек", + "▁кол лек", + "▁колле к", + "ше д", + "ш ед", + "▁h igh", + "▁hig h", + "же те", + "жет е", + "ж ете", + "▁m us", + "▁помо щи", + "▁помощ и", + "▁Т ем", + "▁Те м", + "▁по свя", + "▁пос вя", + "▁с лово", + "▁сло во", + "▁слов о", + "ст ья", + "сть я", + "с тья", + "▁Александ р", + "▁ре ко", + "▁рек о", + "о графи", + "▁б ю", + "▁ бю", + "▁B l", + "▁ Bl", + "▁несколь ких", + "▁ли ца", + "▁лиц а", + "▁ лица", + "ми н", + "м ин", + "▁c ap", + "▁то чки", + "▁точ ки", + "▁ точки", + "t ing", + "▁пер сона", + "▁персо на", + "▁у си", + "▁ус и", + "▁s m", + "▁ sm", + "ри л", + "р ил", + "▁m od", + "▁ mod", + "▁m on", + "▁ mon", + "ve n", + "v en", + "ual ly", + "u ally", + "▁ли цо", + "▁лиц о", + "се д", + "с ед", + "▁p ublic", + "▁publ ic", + "▁у з", + "▁ уз", + "▁Те перь", + "▁f our", + "▁m ain", + "С К", + "▁цер ков", + "▁церк ов", + "ня ет", + "ain ed", + "ai ned", + "aine d", + "a ined", + "че ство", + "▁c ount", + "▁co unt", + "▁cou nt", + "▁coun t", + "▁С вя", + "▁Св я", + "▁ Свя", + "са м", + "с ам", + "▁ch ar", + "▁ни кто", + "▁ник то", + "▁во круг", + "▁вок руг", + "▁утвер жда", + "▁гу бер", + "▁губ ер", + "▁по следова", + "▁после дова", + "▁бо я", + "▁опреде ля", + "▁не зависи", + "▁неза виси", + "мы м", + "▁пер во", + "▁b ro", + "▁br o", + "▁ bro", + "▁на йти", + "▁най ти", + "▁З десь", + "▁Та ким", + "▁Так им", + "▁e d", + "▁ ed", + "бе ре", + "бер е", + "б ере", + "▁бе спо", + "▁бес по", + "▁э по", + "iz ed", + "ize d", + "▁услови ях", + "▁условия х", + "▁се вер", + "▁Укра ины", + "▁Украи ны", + "▁Украин ы", + "▁рабо тать", + "▁работа ть", + "лы ша", + "ез да", + "езд а", + "е зда", + "ob er", + "obe r", + "o ber", + "К а", + "слу жи", + "служ и", + "▁сов ме", + "▁сторо ну", + "▁сторон у", + "te nd", + "ten d", + "t end", + "▁на по", + "че та", + "чет а", + "ня ется", + "няет ся", + "вар ти", + "▁на пря", + "▁напр я", + "сс у", + "с су", + "кре п", + "▁од ну", + "ни ку", + "ник у", + "ri ng", + "r ing", + "▁the se", + "▁th ese", + "le y", + "l ey", + "▁\\ -", + "ar ed", + "are d", + "a red", + "▁C on", + "▁Co n", + "▁ Con", + "▁J oh", + "▁Jo h", + "▁фу тбо", + "▁фут бо", + "ж д", + "за ция", + "▁ре лиги", + "▁рели ги", + "▁Ц ен", + "▁Це н", + "▁ Цен", + "▁б ло", + "▁ бло", + "ла м", + "л ам", + "us s", + "u ss", + "▁rec ord", + "▁по про", + "▁поп ро", + "▁a cc", + "▁ac c", + "▁ acc", + "▁и дет", + "▁иде т", + "▁ид ет", + "К о", + "ле нию", + "лени ю", + "ше т", + "ш ет", + "▁g roup", + "▁gro up", + "▁раз ру", + "▁на ших", + "▁наши х", + "▁наш их", + "ер ен", + "ере н", + "е рен", + "▁вы бо", + "ню ю", + "▁гражда н", + "▁А нг", + "▁Ан г", + "це м", + "ц ем", + "▁очеред ь", + "ла х", + "▁З на", + "▁ Зна", + "го й", + "г ой", + "▁ме ньше", + "▁мень ше", + "▁c re", + "▁cr e", + "▁se ason", + "▁sea son", + "t il", + "шло сь", + "ш лось", + "ен та", + "ент а", + "е нта", + "▁э пи", + "▁ эпи", + "га ет", + "▁А в", + "жа й", + "ж ай", + "▁ка са", + "▁ каса", + "▁меди ци", + "сте п", + "▁у м", + "▁ ум", + "ть я", + "т ья", + "ст р", + "с тр", + "ристи ан", + "pe ct", + "p ect", + "▁а каде", + "▁X I", + "и с", + "▁у с", + "▁ ус", + "▁пер вого", + "▁перво го", + "▁по теря", + "▁потер я", + "▁поте ря", + "▁Un ited", + "▁О те", + "▁От е", + "▁ми нут", + "▁мину т", + "▁мин ут", + "▁с кры", + "▁ск ры", + "▁ скры", + "t t", + "▁ц вет", + "▁цве т", + "▁ цвет", + "ру ется", + "рует ся", + "▁б ом", + "▁бо м", + "▁ бом", + "▁харак тери", + "▁характер и", + "▁ характери", + "▁За тем", + "im es", + "ime s", + "i mes", + "▁с м", + "▁ см", + "пе чат", + "печа т", + "▁практи чески", + "▁прак тически", + "▁кла сси", + "▁класс и", + "▁ класси", + "▁ра м", + "▁р ам", + "▁ рам", + "тро м", + "тр ом", + "т ром", + "▁st art", + "▁star t", + "▁и ска", + "▁ис ка", + "▁иск а", + "▁ иска", + "ф у", + "▁в д", + "▁ко нку", + "▁кон ку", + "▁в первые", + "▁зна чит", + "▁значи т", + "▁знач ит", + "▁из мени", + "▁изме ни", + "▁измен и", + "зо р", + "з ор", + "▁l ong", + "▁lo ng", + "▁ long", + "▁м ол", + "▁мо л", + "▁ мол", + "▁са мое", + "▁само е", + "▁сам ое", + "▁f in", + "▁о де", + "▁од е", + "▁пу ть", + "▁пут ь", + "▁у мер", + "▁уме р", + "▁ум ер", + "▁вну три", + "▁внут ри", + "▁ино стран", + "ъе к", + "ъ ек", + "вших ся", + "мо кра", + "мок ра", + "ю щую", + "▁хо де", + "▁ход е", + "▁ ходе", + "in k", + "▁с ом", + "▁со м", + "▁ сом", + "▁ря дом", + "▁ряд ом", + "▁под готов", + "▁подгото в", + "oo t", + "o ot", + "нди и", + "н дии", + "▁сто ль", + "▁стол ь", + "▁Се вер", + "▁ Север", + "▁у лица", + "▁ули ца", + "▁улиц а", + "др и", + "д ри", + "▁се мей", + "▁сем ей", + "▁семе й", + "▁тру д", + "▁тр уд", + "▁ труд", + "цион ной", + "цио нной", + "ционно й", + "зы вать", + "зыва ть", + "▁us e", + "▁u se", + "▁ use", + "▁под держи", + "▁поддерж и", + "зи я", + "▁В то", + "▁На пример", + "▁не много", + "▁нем ного", + "▁немно го", + "с ю", + "▁но во", + "▁нов о", + "▁ ново", + "от е", + "о те", + "▁ча стности", + "▁част ности", + "▁час тности", + "el s", + "e ls", + "er son", + "ers on", + "▁а э", + "мы й", + "жны м", + "ж ным", + "ль е", + "л ье", + "▁к ана", + "▁ка на", + "▁кан а", + "▁ кана", + "▁да нным", + "▁дан ным", + "▁по я", + "к ну", + "нны м", + "н ным", + "спубли ки", + "▁вой ск", + "▁w rit", + "▁ writ", + "▁сер ьез", + "▁серь ез", + "▁сво ими", + "▁свои ми", + "▁своим и", + "▁за бы", + "▁заб ы", + "а т", + "ur ch", + "▁об су", + "▁v ar", + "▁ var", + "ско лько", + "сколь ко", + "▁муж чи", + "▁кон кре", + "чи т", + "ч ит", + "▁в клю", + "ке т", + "к ет", + "▁тем пера", + "га х", + "▁в до", + "▁вд о", + "▁m ay", + "▁E ng", + "▁En g", + "▁пла не", + "▁план е", + "▁ плане", + "хо дил", + "ходи л", + "ход ил", + "▁пред лага", + "▁те ла", + "▁тел а", + "▁ тела", + "▁п ом", + "▁по м", + "▁ пом", + "ни те", + "нит е", + "er man", + "erm an", + "co n", + "c on", + "▁постоя нно", + "▁s ever", + "▁se ver", + "▁эффек тив", + "▁эффект ив", + "▁зем ли", + "▁зе мли", + "▁S p", + "▁ Sp", + "▁про шло", + "▁прош ло", + "▁м лн", + "▁мл н", + "ie nt", + "ien t", + "i ent", + "▁Так же", + "▁за меча", + "▁заме ча", + "▁д еву", + "▁де ву", + "▁дев у", + "in u", + "лу ч", + "▁Герма нии", + "са х", + "▁проце сс", + "▁отно шении", + "▁отноше нии", + "▁сло вам", + "▁слова м", + "▁слов ам", + "▁си льно", + "▁силь но", + "o x", + "ту аль", + "туа ль", + "▁Ме жду", + "▁Меж ду", + "▁con st", + "▁cons t", + "жа ет", + "ци ях", + "ция х", + "▁o per", + "▁op er", + "▁ oper", + "▁пробле мы", + "▁проблем ы", + "▁un til", + "▁по явля", + "▁поя вля", + "ил ь", + "и ль", + "▁груп па", + "▁гру ппа", + "▁групп а", + "▁F ran", + "▁C omm", + "▁Com m", + "▁Co mm", + "▁свобо д", + "ти ческий", + "тически й", + "▁ру блей", + "▁руб лей", + "▁К ом", + "▁Ко м", + "▁ Ком", + "ib le", + "i ble", + "бл о", + "б ло", + "▁Фран ции", + "▁Франци и", + "▁позво ля", + "▁Г ор", + "▁Го р", + "▁ Гор", + "во сто", + "вос то", + "в ки", + "▁сред ств", + "▁си лу", + "▁сил у", + "▁про те", + "▁пр оте", + "▁го тов", + "▁гото в", + "▁ готов", + "▁благо даря", + "▁благодар я", + "▁благода ря", + "▁m in", + "▁mi n", + "▁ min", + "▁ком на", + "▁на й", + "▁н ай", + "▁ най", + "▁с толи", + "▁сто ли", + "▁стол и", + "пе т", + "п ет", + "ст ях", + "стя х", + "с тях", + "ча л", + "ч ал", + "▁с чет", + "▁сче т", + "▁Э та", + "ia m", + "i am", + "gr am", + "g ram", + "▁С ле", + "▁s ame", + "▁sam e", + "га м", + "г ам", + "▁A d", + "▁ Ad", + "▁у ж", + "▁до полни", + "▁допол ни", + "▁распо ложен", + "▁расположе н", + "▁раз но", + "че ны", + "чен ы", + "О В", + "▁вы пу", + "il ity", + "ili ty", + "ilit y", + "▁ко с", + "▁к ос", + "▁ кос", + "ре ц", + "р ец", + "▁sy stem", + "т чи", + "▁Joh n", + "Н И", + "▁Ле нин", + "▁Лен ин", + "▁Лени н", + "en n", + "лим пи", + "▁пи сал", + "▁писа л", + "▁ писал", + "▁не му", + "▁нем у", + "▁ нему", + "k e", + "емо го", + "е мого", + "▁I s", + "▁ Is", + "▁генера л", + "▁гене рал", + "▁про фессиона", + "▁профе ссиона", + "▁го ворить", + "▁говори ть", + "▁говорит ь", + "▁говор ить", + "▁гово рить", + "▁ говорить", + "▁e ff", + "▁рабо тал", + "▁работа л", + "▁работ ал", + "▁стра не", + "▁стран е", + "▁стр ане", + "хо дили", + "ходи ли", + "ход или", + "ходил и", + "ve nt", + "ven t", + "v ent", + "▁Ч и", + "▁ Чи", + "ро де", + "род е", + ".. .\"", + "... \"", + "ak ing", + "aki ng", + "a king", + "ри ца", + "▁осуществ ля", + "▁о цен", + "▁оце н", + "▁ш у", + "▁ шу", + "▁n umber", + "▁num ber", + "▁с ек", + "▁се к", + "▁ сек", + "▁о стро", + "▁ос тро", + "▁ост ро", + "▁Д ру", + "▁ Дру", + "ще нии", + "▁т ю", + "▁ тю", + "▁о пыт", + "▁опы т", + "▁b uild", + "▁bu ild", + "▁от меча", + "▁отме ча", + "ствен ная", + "стве нная", + "ственна я", + "un e", + "u ne", + "▁сто рон", + "▁сторо н", + "▁ сторон", + "▁ `", + "▁Т ы", + "▁ Ты", + "an ts", + "ant s", + "▁а ген", + "▁к лю", + "▁ клю", + "го род", + "гор од", + "горо д", + "ле нии", + "лени и", + "▁Федера ции", + "▁до ступ", + "▁ доступ", + "ти ка", + "тик а", + "▁ря д", + "▁ ряд", + "▁не пре", + "▁до каза", + "▁дока за", + "те лям", + "теля м", + "тел ям", + "ту ру", + "тур у", + "▁и меть", + "▁име ть", + "▁им еть", + "▁ин диви", + "▁инди ви", + "▁А ль", + "▁Ал ь", + "▁ Аль", + "▁Г лав", + "▁Гла в", + "▁и гро", + "▁иг ро", + "▁игр о", + "▁при мерно", + "▁пример но", + "▁приме рно", + "ки н", + "к ин", + "вле но", + "влен о", + "в лено", + "▁При меча", + "▁Приме ча", + "▁об стоя", + "▁вы ну", + "▁по зна", + "▁поз на", + "ла д", + "л ад", + "▁худо же", + "▁худож е", + "▁И о", + "ч ё", + "▁сле дова", + "▁следов а", + "▁ следова", + "e k", + "ur o", + "u ro", + "▁о це", + "et s", + "e ts", + "че скими", + "чески ми", + "ческим и", + "▁соста вляет", + "▁состав ляет", + "▁составля ет", + "ко вой", + "ков ой", + "ково й", + "▁вер ну", + "iv es", + "ive s", + "i ves", + "ct ions", + "ction s", + "▁c alled", + "▁call ed", + "▁cal led", + "шо й", + "ш ой", + "▁не при", + "▁поль зу", + "ро вали", + "ров али", + "рова ли", + "ровал и", + "й т", + "▁пол но", + "▁ка те", + "▁во спо", + "▁вос по", + "▁б из", + "▁би з", + "▁kn own", + "▁know n", + "▁ known", + "▁ин стру", + "▁o pen", + "▁op en", + "▁ско лько", + "▁сколь ко", + "▁ сколько", + "те льную", + "тель ную", + "▁Г ри", + "ло г", + "▁при меня", + "▁приме ня", + "▁прим еня", + "▁извест но", + "▁изве стно", + "▁пе ча", + "▁ печа", + "II I", + "I II", + "m y", + "▁у величи", + "▁уве личи", + "▁увели чи", + "ня л", + "н ял", + "▁полу чить", + "▁получи ть", + "▁получит ь", + "▁ап пара", + "▁ аппара", + "▁же рт", + "▁ж ерт", + "▁ жерт", + "▁непо сред", + "in a", + "i na", + "▁А мери", + "▁мо ря", + "▁мор я", + "▁com ple", + "▁comp le", + "▁compl e", + "га ни", + "ган и", + "г ани", + "▁в одо", + "▁во до", + "▁вод о", + "цион ных", + "цио нных", + "▁g ener", + "▁gen er", + "▁ge ner", + "▁е же", + "це й", + "ц ей", + "▁буд то", + "▁ре бен", + "▁реб ен", + "▁кон тра", + "▁контр а", + "▁o ffic", + "▁of fic", + "▁off ic", + "▁по ложение", + "▁поло жение", + "да м", + "д ам", + "▁рай он", + "▁re p", + "▁r ep", + "▁по сла", + "▁пос ла", + "▁ре да", + "▁ред а", + "па р", + "п ар", + "▁дру гим", + "▁други м", + "▁друг им", + "вле на", + "влен а", + "в лена", + "го вори", + "гов ори", + "гово ри", + "говор и", + "ем ой", + "емо й", + "е мой", + "▁Ч ере", + "▁Че ре", + "▁Чер е", + "ве л", + "да ли", + "дал и", + "д али", + "ре с", + "▁з ло", + "▁ зло", + "▁P h", + "▁ Ph", + "▁при води", + "▁приво ди", + "▁а т", + "▁ ат", + "▁х ва", + "▁ хва", + "ле р", + "л ер", + "вшие ся", + "▁The y", + "▁Th ey", + "▁b el", + "▁be l", + "▁ bel", + "те та", + "тет а", + "ur al", + "ura l", + "u ral", + "▁ка жется", + "▁каж ется", + "▁то чно", + "▁точ но", + "▁ точно", + "ры х", + "р ых", + "▁кон струк", + "▁констру к", + "▁ конструк", + "▁коман дова", + "▁ны не", + "▁ ныне", + "▁по зд", + "▁поз д", + "▁s uc", + "▁su c", + "ut h", + "u th", + "▁против ника", + "▁противник а", + "▁им пе", + "▁пя ти", + "▁пят и", + "жа ли", + "жал и", + "ж али", + "▁до лла", + "▁дол ла", + "▁долл а", + "▁То гда", + "ни т", + "н ит", + "▁каждо го", + "▁пред седа", + "▁не да", + "ба р", + "б ар", + "то ром", + "тор ом", + "торо м", + "▁б ума", + "▁бу ма", + "▁м оз", + "▁мо з", + "▁ моз", + "▁К ор", + "▁Ко р", + "▁ Кор", + "М а", + "▁но вой", + "▁ново й", + "▁нов ой", + "▁ новой", + "▁го спо", + "▁гос по", + "▁M ay", + "▁Ma y", + "▁забо ле", + "▁заб оле", + "▁на гра", + "▁наг ра", + "▁про тя", + "▁дру гими", + "▁други ми", + "▁друг ими", + "▁другим и", + "▁Т ам", + "▁Та м", + "▁ Там", + "at ch", + "▁на шего", + "▁наш его", + "▁наше го", + "▁o rig", + "▁or ig", + "▁говори л", + "▁говор ил", + "▁гово рил", + "▁ говорил", + "s h", + "б ка", + "▁согла си", + "▁по казыва", + "▁пока зыва", + "ми три", + "мит ри", + "▁e ver", + "▁ev er", + "▁ ever", + "▁под чи", + "ф ри", + "▁у гро", + "▁уг ро", + "сси я", + "с сия", + "пра ви", + "прав и", + "п рави", + "▁пер вых", + "▁ первых", + "en e", + "e ne", + "це р", + "ц ер", + "▁мы с", + "▁у бий", + "▁уби й", + "▁ убий", + "▁изме нения", + "ar n", + "Th e", + "T he", + "▁ра сте", + "▁рас те", + "▁раст е", + "ar m", + "a rm", + "▁С то", + "▁Ст о", + "▁расска зыва", + "▁расс казыва", + "▁рассказы ва", + "со лю", + "мо сть", + "th e", + "t he", + "▁цер кви", + "▁церк ви", + "▁авто р", + "▁ав тор", + "▁вме сто", + ".) .", + ". ).", + "▁m ed", + "▁me d", + "▁ med", + "▁re ce", + "▁rec e", + "▁ве че", + "▁тор го", + "ни ями", + "ния ми", + "ниям и", + "нд а", + "н да", + "▁B rit", + "▁Br it", + "▁заяви л", + "▁зая вил", + "фо н", + "ф он", + "▁Н ет", + "▁Не т", + "▁ Нет", + "▁це лью", + "▁цель ю", + "▁по то", + "роя тно", + "спе к", + "ко му", + "ком у", + "▁С ко", + "▁Ск о", + "▁при бли", + "ан та", + "а нта", + "вши йся", + "вший ся", + "▁ch ild", + "▁позво ляет", + "▁позволя ет", + "ен т", + "е нт", + "▁мы ш", + "▁ мыш", + "▁Что бы", + "▁Чтоб ы", + "че но", + "чен о", + "▁з нако", + "▁зна ко", + "▁знак о", + "ни ке", + "ник е", + "кл и", + "к ли", + "an ge", + "ang e", + "▁Americ an", + "▁America n", + "▁ American", + "▁пла ни", + "▁план и", + "▁г аз", + "▁га з", + "▁ко лле", + "▁кол ле", + "▁при вы", + "▁прив ы", + "ment s", + "men ts", + "m ents", + "▁про вер", + "▁прове р", + "▁ провер", + "▁Б ра", + "мо е", + "м ое", + "▁ка та", + "▁ ката", + "▁с уд", + "▁су д", + "▁ра нее", + "▁ране е", + "су р", + "с ур", + "is ed", + "ise d", + "en g", + "e ng", + "▁о публи", + "▁опу бли", + "▁ear ly", + "▁earl y", + "ющих ся", + "ю щихся", + "id ed", + "ide d", + "▁произ водства", + "▁производ ства", + "▁Un iversity", + "▁Univers ity", + "▁коман ды", + "▁команд ы", + "▁be gan", + "▁beg an", + "▁ком пью", + "▁комп ью", + "▁ки ло", + "▁ кило", + "од о", + "о до", + "ge t", + "g et", + "▁и гры", + "▁иг ры", + "▁игр ы", + "▁ игры", + "▁. ..", + "▁ ...", + "▁Р ас", + "▁Ра с", + "▁ Рас", + "▁пред полага", + "▁предпо лага", + "жно сти", + "ж ности", + "▁обеспе чи", + "ни кам", + "ника м", + "ник ам", + "▁бе зопасности", + "▁безо пасности", + "▁безопас ности", + "▁an n", + "▁ ann", + "▁на конец", + "▁нако нец", + "▁дей ствий", + "▁действи й", + "▁ис пыта", + "▁испы та", + "▁ испыта", + "на че", + "▁да нные", + "▁дан ные", + "▁у станови", + "▁уста нови", + "▁устано ви", + "▁установ и", + "▁суще ствует", + "▁существу ет", + "ri d", + "r id", + "ри на", + "рин а", + "р ина", + "▁фи гу", + "▁ор де", + "at a", + "a ta", + "▁в ыска", + "▁вы ска", + "▁выс ка", + "ти вных", + "тив ных", + "▁од новременно", + "▁одно временно", + "▁одновремен но", + "еха л", + "е хал", + "▁t r", + "▁ tr", + "во с", + "в ос", + "▁sup port", + "▁suppor t", + "гл о", + "г ло", + "▁sh ow", + "чу в", + "сно го", + "с ного", + "А Т", + "▁да льше", + "▁даль ше", + "▁особ ен", + "▁осо бен", + "сны й", + "с ный", + "С о", + "▁Ка за", + "iv ing", + "i ving", + "лы м", + "▁п реи", + "▁пре и", + "▁Го судар", + "▁ма ссо", + "▁масс о", + "са д", + "с ад", + "▁r un", + "▁ru n", + "▁ run", + "▁То лько", + "▁з емле", + "▁зем ле", + "нь ше", + "▁ма те", + "▁мат е", + "▁d isc", + "▁dis c", + "▁di sc", + "▁состоя нии", + "▁че твер", + "▁чет вер", + "те х", + "▁pro du", + "▁со юз", + "▁сою з", + "▁ союз", + "па н", + "п ан", + "▁т рудно", + "▁тру дно", + "▁труд но", + "ш ку", + "ры й", + "ри сто", + "рис то", + "рист о", + "р исто", + "▁пра зд", + "▁обя зан", + "▁обяза н", + "▁само ле", + "▁сам оле", + "▁на ш", + "ге й", + "г ей", + "▁основ ном", + "▁Влади мир", + "▁Владими р", + "▁пред ложи", + "ru ct", + "r uct", + "▁ #", + "▁фор мы", + "▁форм ы", + "▁ формы", + "▁Евро пы", + "П е", + "▁ра зу", + "▁раз у", + "▁ разу", + "▁ме та", + "▁мет а", + "▁ мета", + "В о", + "▁И сто", + "▁Ис то", + "▁ Исто", + "▁По ль", + "▁Пол ь", + "▁не возможно", + "▁невоз можно", + "▁невозмо жно", + "▁пра вило", + "▁прави ло", + "▁правил о", + "ве ли", + "вел и", + "ру ют", + "рую т", + "▁те атра", + "▁теа тра", + "▁театр а", + "▁М не", + "▁ Мне", + "▁кате го", + "ла я", + "л ая", + "ir d", + "i rd", + "▁ ,", + "▁ре чь", + "рё х", + "▁т во", + "▁тв о", + "▁ тво", + "де ние", + "ro ss", + "ros s", + "r oss", + "▁му зыка", + "▁музы ка", + "не му", + "нем у", + "▁g overnment", + "▁govern ment", + "▁за коно", + "▁зако но", + "▁закон о", + "▁зак оно", + "з ре", + "▁со бытия", + "▁собы тия", + "▁за ключа", + "▁заклю ча", + "С Т", + "▁des ign", + "▁ми кро", + "▁дру гу", + "▁друг у", + "▁с ро", + "▁ср о", + "▁ сро", + "▁Па ри", + "▁Пар и", + "га ть", + "гат ь", + "по ло", + "пол о", + "п оло", + "▁куль тур", + "▁культ ур", + "▁ культур", + "▁вы гля", + "спо соб", + "▁s ing", + "зи н", + "з ин", + "▁h ist", + "▁his t", + "▁ hist", + "▁n ame", + "▁ name", + "в ла", + "▁s l", + "▁ sl", + "▁м нению", + "▁мне нию", + "▁под вер", + "▁подве р", + "▁коман ду", + "▁команд у", + "Н е", + "▁зна ю", + "▁са мый", + "▁самы й", + "▁B e", + "▁ Be", + "ще ства", + "ществ а", + "▁до гово", + "▁J an", + "▁l and", + "▁la nd", + "▁ land", + "▁sever al", + "▁ра ньше", + "▁р аньше", + "▁до би", + "▁доб и", + "▁ доби", + "▁се реди", + "▁сер еди", + "▁сере ди", + "▁ло ги", + "▁ логи", + "▁и бо", + "▁п ой", + "▁по й", + "▁ пой", + "▁ %", + "▁сту ден", + "▁p ass", + "▁ pass", + "▁ро ли", + "i um", + "ви лся", + "вил ся", + "в ился", + "▁Ч у", + "▁ Чу", + "▁то ва", + "▁ това", + "▁у тра", + "▁ут ра", + "▁пи та", + "▁ пита", + "iss ion", + "▁с пор", + "▁спо р", + "▁ спор", + "▁по ки", + "об о", + "о бо", + "▁ста ту", + "ar l", + "▁на рода", + "▁наро да", + "▁народ а", + "▁нар ода", + "▁во просы", + "▁вопро сы", + "▁вопрос ы", + "ье р", + "ь ер", + "▁Примеча ния", + "p s", + "it al", + "ita l", + "ле ний", + "лени й", + "▁ш о", + "▁ шо", + "▁у правля", + "▁упра вля", + "▁Со гла", + "▁со стоит", + "▁состо ит", + "▁res ult", + "С Р", + "▁в ремен", + "▁вре мен", + "▁време н", + "▁вр емен", + "▁ времен", + "am ed", + "ame d", + "a med", + "▁Ж е", + "▁ Же", + "▁l ike", + "▁lik e", + "▁ like", + "ку да", + "к уда", + "▁g u", + "▁ gu", + "▁w hat", + "▁wh at", + "че нию", + "▁ми ровой", + "▁миро вой", + "▁миров ой", + "зи рова", + "▁Y ork", + "по след", + "после д", + "▁у чеб", + "▁уче б", + "ст ьян", + "сть ян", + "стья н", + "▁мо ре", + "▁мор е", + "▁о пас", + "▁оп ас", + "▁опа с", + "▁а у", + "▁Но во", + "▁Нов о", + "▁лю бой", + "▁любо й", + "/ .", + "юще м", + "ю щем", + "▁глу би", + "ги я", + "po r", + "p or", + "▁профе ссо", + "га р", + "г ар", + "▁предста вляет", + "▁представля ет", + "a i", + "▁к варти", + "▁квар ти", + "▁ кварти", + "▁ар ми", + "▁ре шил", + "▁реши л", + "▁ли нии", + "▁A nd", + "▁An d", + "▁ And", + "aj or", + "те лю", + "тел ю", + "▁d irect", + "▁di rect", + "▁dire ct", + "ль ными", + "льным и", + "льны ми", + "▁дру гом", + "▁друго м", + "▁друг ом", + "▁Ф а", + "▁ Фа", + "▁e le", + "▁el e", + "э й", + "▁по нять", + "▁поня ть", + "▁пон ять", + "▁ко рот", + "▁кор от", + "▁коро т", + "▁при гла", + "ти ва", + "тив а", + "▁по пуляр", + "▁попу ляр", + "▁популя р", + "▁в пере", + "ле г", + "ста нов", + "стан ов", + "стано в", + "▁реги она", + "▁регион а", + "▁c ity", + "▁cit y", + "▁язы к", + "▁ex p", + "▁Т ур", + "▁Ту р", + "▁при шлось", + "▁пришло сь", + "▁- -", + "▁ --", + "▁P l", + "▁К ры", + "▁по кры", + "▁a ir", + "▁ air", + "ко р", + "к ор", + "▁по ля", + "▁пол я", + "▁ поля", + "▁б ой", + "▁бо й", + "▁ бой", + "▁и мел", + "▁име л", + "▁свое му", + "▁своем у", + "▁ своему", + "▁не кото", + "▁неко то", + "bl e", + "b le", + "та ции", + "т ации", + "▁с кло", + "▁ск ло", + "▁во енно", + "▁воен но", + "▁вое нно", + "▁G erman", + "▁Ger man", + "▁которо му", + "▁котором у", + "ил а", + "и ла", + "длен но", + "д ленно", + "▁случа ях", + "▁случая х", + "ic ally", + "ical ly", + "\" )", + "▁are a", + "то е", + "т ое", + "▁in s", + "▁i ns", + "▁ ins", + "▁окру жа", + "▁с сы", + "▁ ссы", + "ру дова", + "▁ра зо", + "▁раз о", + "▁ш колы", + "▁шко лы", + "▁школ ы", + "__ __", + "ov e", + "o ve", + "▁m y", + "▁ my", + "▁bec ause", + "л л", + "▁на сто", + "▁нас то", + "▁вер х", + "▁ верх", + "▁потре б", + "▁T here", + "▁The re", + "▁Th ere", + "▁эк спери", + "▁экс пери", + "▁экспе ри", + "▁экспер и", + "▁Е в", + "▁в ста", + "▁вс та", + "▁разви тие", + "вле т", + "в лет", + "▁s im", + "▁m il", + "▁mi l", + "по ль", + "пол ь", + "▁сле д", + "▁сл ед", + "▁ след", + "▁уч ре", + "▁ин же", + "дя т", + "д ят", + "▁х ристиан", + "▁христи ан", + "▁христиа н", + "▁ христиан", + "О Н", + "▁под писа", + "▁подпи са", + "▁образова ния", + "▁ образования", + "те ше", + "* *", + "ра здо", + "раз до", + "вле нию", + "в лению", + "▁W orld", + "ri st", + "ris t", + "r ist", + "▁h ead", + "▁he ad", + "▁ head", + "▁искус ства", + "▁искусств а", + "▁с тара", + "▁ст ара", + "▁ста ра", + "▁стар а", + "ч ке", + "гр ы", + "г ры", + "▁Т ре", + "▁ Тре", + "▁воз дей", + "▁то вари", + "▁това ри", + "▁товар и", + "▁d own", + "▁do wn", + "▁ down", + "▁настоя щее", + "▁само стоя", + "сло в", + "сл ов", + "с лов", + "▁J u", + "ги на", + "гин а", + "г ина", + "▁ма кси", + "▁or gan", + "▁ organ", + "▁X X", + "▁ XX", + "▁пере во", + "▁пер ево", + "▁по лез", + "▁пол ез", + "▁поле з", + "▁ме ч", + "ти вно", + "тив но", + "ти рова", + "▁рас стоя", + "ди ли", + "дил и", + "д или", + "is ter", + "ist er", + "i ster", + "▁U S", + "▁ US", + "ство вали", + "ствовал и", + "ствова ли", + "▁пер вые", + "▁ первые", + "▁стре ми", + "▁стрем и", + "▁сы гра", + "t le", + "▁и зо", + "▁из о", + "▁ изо", + "▁дея тельность", + "▁деятель ность", + "Е Р", + "ue s", + "u es", + "▁под роб", + "▁подро б", + "дж е", + "д же", + "av ing", + "a ving", + "▁у стра", + "▁ус тра", + "▁п ору", + "▁по ру", + "▁пор у", + "▁вы и", + "▁ф ай", + "▁фа й", + "▁ фай", + "ra nd", + "ran d", + "r and", + "▁dif fer", + "▁ф ра", + "▁ фра", + "ва нии", + "вани и", + "▁я зыка", + "▁язы ка", + "▁язык а", + "ши ми", + "шим и", + "ш ими", + "ви т", + "в ит", + "▁cl ass", + "▁ class", + "▁st ate", + "▁stat e", + "▁ state", + "▁вла сть", + "▁ситуа ции", + "нк е", + "н ке", + "▁Х у", + "▁ Ху", + "т ни", + "▁хо тел", + "▁хоте л", + "ти вной", + "тив ной", + "тивно й", + "▁ну ж", + "▁по ст", + "▁пос т", + "▁про жи", + "ar ch", + "arc h", + "▁п ти", + "▁ пти", + "▁h el", + "▁he l", + "▁ hel", + "▁финан со", + "▁прави тельства", + "▁правитель ства", + "▁п аль", + "▁па ль", + "▁пал ь", + "▁по со", + "▁пос о", + "▁Че рез", + "▁Чер ез", + "▁Чере з", + "нд ен", + "нде н", + "н ден", + "▁Г ен", + "▁Ге н", + "ро вки", + "ров ки", + "▁С реди", + "▁Сред и", + "▁Ср еди", + "лё н", + "л ён", + "▁и ми", + "▁им и", + "▁ ими", + "тно е", + "т ное", + "▁H owever", + "▁How ever", + "▁к ва", + "▁кв а", + "▁ ква", + "▁W ar", + "▁Д митри", + "▁п рос", + "▁про с", + "▁пр ос", + "▁ прос", + "▁я по", + "ag es", + "age s", + "a ges", + "ва й", + "в ай", + "▁part ic", + "▁у верен", + "▁уве рен", + "зь я", + "з ья", + "▁би бли", + "▁сы н", + "▁ско рее", + "де б", + "▁Е ще", + "▁пер вую", + "сту пления", + "ступ ления", + "со еди", + "ан а", + "а на", + "▁пре по", + "то на", + "тон а", + "т она", + "▁за ве", + "но стей", + "нос тей", + "▁высо ко", + "ab l", + "a bl", + "▁да вно", + "▁дав но", + "▁рас полага", + "▁распо лага", + "Р о", + "тя бре", + "▁о го", + "▁ог о", + "цион ного", + "цио нного", + "ционно го", + "ющие ся", + "ю щиеся", + "re t", + "r et", + "вле ний", + "в лений", + "iz e", + "i ze", + "▁соответ ствии", + "▁мо ей", + "▁мое й", + "ко торы", + "кото ры", + "▁о хра", + "▁ох ра", + "▁ охра", + "▁со кра", + "▁сок ра", + "▁H is", + "ти ческой", + "▁p oint", + "▁po int", + "▁ point", + "▁пере ме", + "▁И менно", + "▁Им енно", + "▁Име нно", + "ше к", + "ш ек", + "▁ис че", + "▁n ear", + "▁ne ar", + "▁t ook", + "▁to ok", + "▁too k", + "▁n ow", + "▁no w", + "▁ now", + "▁зна мени", + "обра зова", + "ill ion", + "ти лся", + "тил ся", + "т ился", + "▁о пять", + "▁оп ять", + "▁а та", + "▁ат а", + "пя т", + "п ят", + "▁вы бра", + "сси в", + "сс ив", + "с сив", + "ри к", + "▁в печат", + "▁А л", + "▁ Ал", + "▁бе зу", + "▁без у", + "▁p rom", + "▁pro m", + "▁pr om", + "▁Хо тя", + "ти ви", + "тив и", + "ро вич", + "чи во", + "чив о", + "▁ме тров", + "▁мет ров", + "▁метро в", + "▁ метров", + "▁o cc", + "or m", + "o rm", + "▁у жа", + "▁уж а", + "тни к", + "т ник", + "▁О снов", + "▁Ос нов", + "▁I II", + "▁II I", + "▁ III", + "▁ис следования", + "▁исследова ния", + "▁це лом", + "▁цело м", + "▁Ро ди", + "▁Род и", + "▁ра до", + "▁рад о", + "▁ радо", + "▁тру да", + "▁труд а", + "▁тр уда", + "▁дерев ня", + "▁пре да", + "▁пред а", + "pe nd", + "pen d", + "p end", + "▁чу ть", + "▁ чуть", + "послед ствии", + "er y", + "e ry", + "] ,", + "▁ос обо", + "▁особ о", + "▁осо бо", + "▁в друг", + "▁вд руг", + "▁де л", + "▁ дел", + "про чем", + "па нии", + "▁рабо тает", + "▁работа ет", + "ти ем", + "тие м", + "▁са йте", + "▁сай те", + "▁сайт е", + "▁со стояние", + "▁состоя ние", + "кс а", + "к са", + "жна я", + "ж ная", + "ща ть", + "до р", + "д ор", + "▁fam ily", + "ion al", + "▁пер вым", + "зи ть", + "зит ь", + "з ить", + "▁аб солю", + "б ки", + "▁ве ду", + "▁вед у", + "▁ веду", + "▁у доб", + "▁удо б", + "▁уд об", + "ти ки", + "тик и", + "b y", + "не се", + "нес е", + "ге ль", + "▁индиви ду", + "▁инди виду", + "ца м", + "ц ам", + "▁до сто", + "▁с ф", + "▁ сф", + "io r", + "i or", + "▁дву мя", + "▁двум я", + "▁ма га", + "▁маг а", + "▁ мага", + "▁рам ках", + "▁гла вным", + "▁глав ным", + "▁о ру", + "▁ор у", + "▁ ору", + "▁с ви", + "▁св и", + "▁ сви", + "же нию", + "▁у помина", + "▁упо мина", + "▁по ложи", + "▁поло жи", + "▁б ед", + "▁бе д", + "ди те", + "дит е", + "▁сопро во", + "Р а", + "▁пре имуще", + "▁преи муще", + "▁дер жа", + "▁ держа", + "▁об разу", + "▁обра зу", + "▁образ у", + "▁са ма", + "▁сам а", + "▁Г и", + "▁ Ги", + "▁к арь", + "▁ка рь", + "▁кар ь", + "▁Со вета", + "▁Совет а", + "▁Сове та", + "du ced", + "duc ed", + "duce d", + "▁уров ня", + "▁с верх", + "▁свер х", + "ri s", + "r is", + "a u", + "▁жи ть", + "▁ж ить", + "▁ жить", + "▁та кая", + "▁так ая", + "▁g ame", + "▁j ust", + "не сти", + "нес ти", + "▁у слу", + "▁ус лу", + "▁ар тилле", + "▁арти лле", + ", \"", + "▁мона сты", + "▁де пута", + "▁фор ме", + "▁форм е", + "пи ть", + "пит ь", + "п ить", + "ста ти", + "▁re qu", + "▁r equ", + "oc i", + "o ci", + "ну т", + "н ут", + "▁жи телей", + "▁лю дя", + "▁люд я", + "▁не смотря", + "пр у", + "п ру", + "▁се рд", + "▁сер д", + "▁pro gram", + "▁Г ра", + "▁ Гра", + "▁Ко ро", + "▁Кор о", + "▁ Коро", + "▁St ates", + "▁State s", + "▁у казыва", + "▁ука зыва", + "▁спо кой", + "▁ спокой", + "М о", + "▁л ь", + "▁ ль", + "▁И х", + "▁нау к", + "не ны", + "нен ы", + "▁го раздо", + "▁гора здо", + "om en", + "ome n", + "o men", + "▁А вто", + "▁Ав то", + "▁ Авто", + "▁у краин", + "▁укра ин", + "▁ украин", + "▁ин ф", + "▁пред ме", + "▁со вершен", + "▁совер шен", + "▁ совершен", + "▁С те", + "▁Ст е", + "▁Б ар", + "▁Ба р", + "▁ Бар", + "сны х", + "с ных", + "▁вре ме", + "▁a long", + "▁al ong", + "▁по лага", + "▁пола га", + "▁ полага", + "си т", + "с ит", + "▁re port", + "▁rep ort", + "▁друго го", + "▁e ach", + "▁за мести", + "▁заме сти", + "▁не на", + "▁н ена", + "▁ нена", + "▁сдела л", + "▁сдел ал", + "▁го лову", + "▁голо ву", + "▁голов у", + "▁w ay", + "▁wa y", + "▁ way", + "▁T e", + "▁w orld", + "▁wor ld", + "▁ world", + "▁И м", + "d e", + "▁поз же", + "▁r ight", + "▁ right", + "▁за ра", + "▁з ара", + "▁зар а", + "▁те ло", + "▁тел о", + "▁ра за", + "▁раз а", + "ж ки", + "▁говоря т", + "▁говор ят", + "▁гово рят", + "▁у станов", + "▁уста нов", + "▁устано в", + "▁прави тель", + "ra ph", + "rap h", + "r aph", + "re ad", + "r ead", + "▁Ве дь", + "▁религи оз", + "▁a round", + "▁ar ound", + "▁созда ния", + "▁соз дания", + "▁о станови", + "▁оста нови", + "▁останов и", + "▁остано ви", + "he s", + "h es", + "▁pl ace", + "▁ place", + "▁comm un", + "▁Ра бо", + "ши л", + "ш ил", + "at or", + "ato r", + "ie nce", + "ien ce", + "i ence", + "▁зна ет", + "ro w", + "r ow", + "▁пло хо", + "▁не ф", + "ци ями", + "ция ми", + "циям и", + "сны е", + "с ные", + "ем ся", + "е мся", + "▁re f", + "▁r ef", + "д ва", + "a f", + "▁у мень", + "▁уме нь", + "▁ум ень", + "▁ч рез", + "с ф", + "om an", + "oma n", + "o man", + "▁помо щь", + "▁помощ ь", + "▁воз гла", + "▁ возгла", + "▁sm all", + "ст анти", + "ста нти", + "стан ти", + "у ю", + "▁a pp", + "▁ap p", + "▁ app", + "▁бри га", + "▁s uccess", + "▁suc cess", + "▁я р", + "▁ яр", + "ле нием", + "ление м", + "лени ем", + "▁с лов", + "▁сло в", + "▁сл ов", + "▁ слов", + "▁ро ман", + "▁рома н", + "▁ роман", + "ва йте", + "вай те", + "тны м", + "т ным", + "om et", + "ome t", + "o met", + "▁жур нали", + "▁журна ли", + "▁журнал и", + "▁з доров", + "▁здоро в", + "ic es", + "ice s", + "i ces", + "▁уров не", + "▁уро вне", + "▁цен тр", + "▁ центр", + "▁ни же", + "▁ниж е", + "▁моло ды", + "▁молод ы", + "тк е", + "т ке", + "ar ge", + "arg e", + "со ва", + "сов а", + "жде нии", + "ж дении", + "olog y", + "▁послед ние", + "ст ить", + "сти ть", + "стит ь", + "с тить", + "un g", + "u ng", + "у с", + "▁ка ким", + "▁как им", + "гру з", + "гр уз", + "тер бург", + "тербур г", + "ме тров", + "мет ров", + "метр ов", + "ch n", + "▁по дня", + "▁под ня", + "че на", + "чен а", + "ч ена", + "▁Со юза", + "▁Союз а", + "▁Сою за", + "▁se ries", + "▁ser ies", + "ти на", + "тин а", + "т ина", + "▁b ook", + "▁bo ok", + "▁ book", + "▁исклю чи", + "▁мно жество", + "▁множе ство", + "b um", + "▁си стем", + "▁систе м", + "▁сист ем", + "▁з нал", + "▁зна л", + "жда ть", + "ж дать", + "il t", + "▁ре сур", + "б ви", + "o ard", + "в ка", + "▁да леко", + "▁дале ко", + "пи ско", + "пис ко", + "стви ем", + "ствие м", + "▁Т ру", + "▁на чали", + "▁нача ли", + "▁начал и", + "▁нач али", + "▁e ven", + "▁ev en", + "▁да ть", + "▁дат ь", + "▁ дать", + "▁A ug", + "▁le ft", + "пе н", + "п ен", + "▁про па", + "▁пр опа", + "▁пере жи", + "▁пе режи", + "▁П ра", + "▁ Пра", + "▁зна чения", + "▁дви жение", + "▁тео рии", + "▁назна чен", + "мо го", + "▁с начала", + "▁сна чала", + "ствен ности", + "стве нности", + "ственно сти", + "▁th ough", + "▁ though", + "▁про граммы", + "▁програм мы", + "▁программ ы", + "▁раз вед", + "▁разве д", + "▁ развед", + "vi ew", + "v iew", + "▁ру сской", + "▁рус ской", + "▁русско й", + "▁ русской", + "▁N ov", + "▁No v", + "ge d", + "g ed", + "▁ли ц", + "▁ка нди", + "▁кан ди", + "▁h ouse", + "▁hous e", + "▁ house", + "ба й", + "б ай", + "▁o ld", + "▁ old", + "▁Я по", + "с пи", + "ia ns", + "ian s", + "i ans", + "▁фе дера", + "ре за", + "рез а", + "▁деся ти", + "▁ десяти", + "▁д ни", + "▁ дни", + "▁A ll", + "▁Al l", + "▁ All", + "ти вного", + "тив ного", + "тивно го", + "▁cont inu", + "▁contin u", + "▁h and", + "▁ha nd", + "▁ hand", + "▁s ince", + "▁жен щин", + "▁женщи н", + "▁у потре", + "▁упо тре", + "степ енно", + "степен но", + "дно й", + "д ной", + "▁долла ров", + "▁относи тельно", + "ни ей", + "ние й", + "ro l", + "r ol", + "▁[ /", + "▁Ч ем", + "▁Че м", + "чи ка", + "чик а", + "ти вный", + "тив ный", + "▁от нося", + "▁отно ся", + "жно сть", + "ж ность", + "▁смо тре", + "▁ смотре", + "▁е вропей", + "▁евро пей", + "▁ европей", + "с л", + "▁Моск вы", + "▁ре комен", + "▁реко мен", + "гр о", + "г ро", + "лл ю", + "л лю", + "▁гла ве", + "▁глав е", + "▁про то", + "▁при д", + "▁пр ид", + "▁канди да", + "▁ма стер", + "▁масте р", + "▁Ц е", + "▁d et", + "▁de t", + "▁го ря", + "▁гор я", + "▁ горя", + "ul ation", + "ula tion", + "ua ry", + "u ary", + "▁м аль", + "▁ма ль", + "▁ маль", + "▁За пад", + "▁Запа д", + "▁ Запад", + "▁опера ции", + "▁опер ации", + "ча я", + "ч ая", + "▁б ур", + "▁бу р", + "▁ бур", + "▁э мо", + "▁эм о", + "▁пси хи", + "th ough", + "▁доку мента", + "▁документ а", + "▁о сно", + "▁ос но", + "▁О дин", + "▁Од ин", + "▁M an", + "▁Ma n", + "▁ Man", + "ар ь", + "а рь", + "▁и д", + "▁ ид", + "▁ме л", + "▁ мел", + "▁от ец", + "▁оте ц", + "А Н", + "▁живо тных", + "▁живот ных", + "▁на ми", + "▁нам и", + "▁ нами", + "▁са мые", + "▁самы е", + "me d", + "m ed", + "▁sp ec", + "▁spe c", + "▁c ur", + "▁e xt", + "▁ex t", + "▁ ext", + "▁re st", + "▁r est", + "▁res t", + "▁ rest", + "re nt", + "ren t", + "r ent", + "же ны", + "жен ы", + "▁стра те", + "▁d r", + "▁ dr", + "▁c our", + "▁co ur", + "▁cou r", + "▁h ome", + "▁hom e", + "▁пи шет", + "▁ ще", + "▁фи льм", + "▁филь м", + "▁ фильм", + "▁стра да", + "▁стр ада", + "▁ страда", + "▁жен щины", + "▁женщи ны", + "▁женщин ы", + "▁кра си", + "▁Ш и", + "▁O r", + "▁по гиб", + "▁поги б", + "▁в скоре", + "▁Г ре", + "ство ва", + "чь ю", + "ч ью", + "▁ли тератур", + "▁литера тур", + "тал ьян", + "таль ян", + "ти вные", + "тив ные", + "▁v ery", + "▁ver y", + "▁ve ry", + "▁ very", + "▁проце сса", + "▁процесс а", + "▁Цен тра", + "▁Центр а", + "▁E uro", + "▁А на", + "▁Ан а", + "▁меся цев", + "▁месяц ев", + "▁месяце в", + "▁Со гласно", + "▁Согла сно", + "▁дене г", + "то ва", + "тов а", + "▁Aug ust", + "▁P r", + "та ет", + "▁до ме", + "▁дом е", + "▁ис тория", + "▁исто рия", + "▁истори я", + "▁не р", + "▁н ер", + "▁ нер", + "ai m", + "a im", + "pt ember", + "▁пере се", + "▁перес е", + "▁с их", + "▁си х", + "▁O ct", + "▁стан дар", + "▁ стандар", + "▁но чь", + "нт е", + "н те", + "би л", + "б ил", + "▁Ро ссия", + "▁Росси я", + "▁Рос сия", + "▁ Россия", + "го ль", + "▁и стре", + "▁ис тре", + "▁ист ре", + "в шее", + "ain s", + "ai ns", + "a ins", + "▁C an", + "▁Ca n", + "▁ис полни", + "▁испо лни", + "▁испол ни", + "▁у то", + "▁ут о", + "▁тур ни", + "▁про цен", + "▁проце н", + "▁ процен", + "▁ю ри", + "▁ юри", + "▁д вор", + "▁дво р", + "▁Р ус", + "▁Ру с", + "▁ Рус", + "▁ф ир", + "▁фи р", + "▁ фир", + "▁rele ased", + "▁release d", + "ше в", + "ш ев", + "▁о трица", + "▁от рица", + "▁G e", + "че нных", + "чен ных", + "ты ми", + "тым и", + "▁ис пы", + "▁мо гла", + "▁мог ла", + "▁по строе", + "▁пост рое", + "▁постро е", + "▁A ust", + "▁на чало", + "▁нача ло", + "▁начал о", + "▁ра зве", + "▁раз ве", + "▁хо ть", + "ac ed", + "ace d", + "a ced", + "сс ов", + "ссо в", + "с сов", + "▁б ле", + "▁ бле", + "▁и наче", + "ва ясь", + "вая сь", + "г ни", + "че ственной", + "честве нной", + "ce nt", + "c ent", + "▁со циали", + "▁соци али", + "▁социал и", + "▁ социали", + "▁от ца", + "▁ча ще", + "▁язы ке", + "▁язык е", + "▁st ill", + "▁сем ьи", + "▁семь и", + "▁m ake", + "▁авто ма", + "▁l ast", + "▁la st", + "▁револю ции", + "▁с мерть", + "▁смер ть", + "▁E x", + "▁ Ex", + "зе н", + "з ен", + "▁m ajor", + "▁боль шинство", + "▁большин ство", + "▁рус ских", + "▁означа ет", + "▁озна чает", + "▁п арт", + "▁па рт", + "▁пар т", + "п я", + "▁вы яс", + "▁выя с", + "тна я", + "т ная", + "дж и", + "д жи", + "▁у луч", + "ко вых", + "ков ых", + "ковы х", + "▁обо рудова", + "▁ оборудова", + "▁Se ptember", + "▁проис хо", + "▁l ife", + "▁lif e", + "▁ life", + "▁t y", + "▁ ty", + "▁и ни", + "▁ин и", + "em bers", + "ember s", + "emb ers", + "ко ми", + "ком и", + "ot e", + "o te", + "▁Ми ни", + "▁Мин и", + "▁с мысле", + "▁смы сле", + "▁смысл е", + "▁ смысле", + "▁со ве", + "▁сов е", + "▁С ей", + "▁Се й", + "▁ Сей", + "но гие", + "ag ue", + "agu e", + "▁s ong", + "▁so ng", + "▁son g", + "▁у довлет", + "▁удо влет", + "▁пу теше", + "▁путе ше", + "▁c ar", + "▁ car", + "▁много числе", + "ры ва", + "рыв а", + "▁N ational", + "▁сем ье", + "▁семь е", + "▁J une", + "▁Ju ne", + "au gh", + "aug h", + "a ugh", + "▁кре стьян", + "▁крестья н", + "▁крест ьян", + "▁па ро", + "▁пар о", + "▁ap pro", + "▁app ro", + "▁органи зова", + "▁си гна", + "▁диви зии", + "▁дивизи и", + "▁A m", + "▁лю бви", + "▁зависи мости", + "▁ч исто", + "▁чи сто", + "▁те пло", + "▁теп ло", + "▁мо и", + "▁бере гу", + "▁берег у", + "▁C ent", + "▁чи сла", + "▁s oc", + "▁so c", + "▁о твер", + "▁от вер", + "▁отве р", + "tern ational", + "▁на помина", + "▁напо мина", + "▁напом ина", + "▁по следу", + "▁после ду", + "▁послед у", + "c o", + "▁два дца", + "да ль", + "дал ь", + "д аль", + "▁со гласно", + "▁согла сно", + "чё т", + "ч ёт", + "▁ви део", + "▁виде о", + "▁s tr", + "▁st r", + "▁ str", + "▁систе му", + "▁систем у", + "▁с не", + "▁ сне", + "про из", + "▁дела ет", + "ин а", + "и на", + "▁ком пози", + "▁компо зи", + "▁про вин", + "▁прови н", + "▁В ме", + "▁из бе", + "▁l it", + "on y", + "o ny", + "▁мо жете", + "▁может е", + "▁от личие", + "▁отли чие", + "▁отличи е", + "uf f", + "u ff", + "▁под чер", + "ле на", + "лен а", + "л ена", + "▁суб ъек", + "▁з у", + "▁ зу", + "▁M arch", + "▁Mar ch", + "▁Marc h", + "жде ний", + "ж дений", + "тк у", + "т ку", + "▁Н ью", + "▁ Нью", + "▁зна чительно", + "▁значи тельно", + "ту ю", + "т ую", + "▁по пада", + "▁попа да", + "▁поп ада", + "▁у ро", + "ми мо", + "м имо", + "\" :", + "▁т уда", + "▁ту да", + "▁ туда", + "▁Кон станти", + "od y", + "at ely", + "ate ly", + "▁со держи", + "ста ми", + "стам и", + "с тами", + "▁al bum", + "▁Ко нечно", + "▁у па", + "▁проек та", + "▁проект а", + "▁кре по", + "▁креп о", + "ст ров", + "стро в", + "стр ов", + "с тров", + "ent ly", + "нс ких", + "н ских", + "▁ча стью", + "▁часть ю", + "▁част ью", + "▁час тью", + "▁м м", + "▁ мм", + "▁t ri", + "▁tr i", + "ни ци", + "ниц и", + "че нные", + "чен ные", + "▁Oct ober", + "▁th ose", + "▁че сть", + "▁ честь", + "ха р", + "х ар", + "▁памя ти", + "▁памят и", + "ло жить", + "ложи ть", + "лож ить", + "▁Ф о", + "▁ Фо", + "▁char act", + "▁l ocal", + "▁loc al", + "▁взаимо дей", + "▁пробле ма", + "▁проблем а", + "б ю", + "▁х ле", + "▁ хле", + "би ть", + "бит ь", + "б ить", + "▁mus ic", + "▁с ет", + "▁се т", + "▁ сет", + "qu e", + "q ue", + "зо ваться", + "зова ться", + "зовать ся", + "▁ки сло", + "▁ кисло", + "▁Вер хов", + "▁Верх ов", + "▁про ект", + "▁проек т", + "▁ проект", + "/ /", + "▁университе та", + "▁университет а", + "ф ы", + "▁К е", + "▁х ими", + "▁хи ми", + "▁ хими", + "▁inc re", + "▁закон ода", + "▁законо да", + "▁ц вета", + "▁цвет а", + "▁цве та", + "▁ цвета", + "ти те", + "тит е", + "m e", + "▁мо дели", + "▁моде ли", + "▁нау ки", + "▁наук и", + "лле к", + "лл ек", + "л лек", + "▁п ов", + "▁по в", + "▁ пов", + "пи тан", + "пита н", + "пит ан", + "с шта", + "которы е", + "кото рые", + "▁пробле м", + "▁проб лем", + "t o", + "сту пление", + "ступ ление", + "ля ции", + "ст ной", + "стно й", + "с тной", + "al es", + "ale s", + "a les", + "at ic", + "ati c", + "▁д ис", + "▁ди с", + "▁ дис", + "бр ь", + "б рь", + "▁кла сса", + "▁класс а", + "ме нова", + "менов а", + "▁d em", + "▁de m", + "▁не извест", + "▁неиз вест", + "ль д", + "▁Ж и", + "▁ Жи", + "▁за м", + "▁з ам", + "▁ зам", + "цион ные", + "цио нные", + "▁ка кое", + "▁как ое", + "▁о тря", + "▁от ря", + "▁распо ложе", + "ти ться", + "тить ся", + "ни ми", + "ним и", + "н ими", + "до ви", + "дов и", + "▁ка ждой", + "▁каж дой", + "▁каждо й", + "▁Да же", + "щи к", + "▁все ми", + "▁всем и", + "▁у ровень", + "▁уров ень", + "▁im port", + "▁imp ort", + "▁В ол", + "▁Во л", + "▁ Вол", + "▁произо шло", + "▁е в", + "▁ ев", + "▁M us", + "▁Mu s", + "▁ли чно", + "▁ лично", + "▁е вре", + "▁ев ре", + "▁ри м", + "▁р им", + "▁ рим", + "▁ви дов", + "▁вид ов", + "▁видо в", + "ne r", + "n er", + "ви ла", + "вил а", + "в ила", + "га л", + "г ал", + "▁an other", + "▁пред мет", + "▁предме т", + "▁мо жем", + "▁e ng", + "▁en g", + "▁ eng", + "▁X IX", + "▁XI X", + "▁ре кла", + "▁рек ла", + "▁оказа лся", + "▁оказал ся", + "▁l aw", + "▁la w", + "▁ law", + "▁П ла", + "▁ Пла", + "▁про ш", + "ри те", + "рит е", + "▁п ят", + "▁пя т", + "▁ пят", + "▁на па", + "ле тия", + "pr il", + "pri l", + "ле нных", + "лен ных", + "▁ни ж", + "sel f", + "s elf", + "по й", + "п ой", + "▁Е сть", + "os s", + "o ss", + "▁за во", + "сты е", + "с тые", + "or ed", + "ore d", + "o red", + "лим пий", + "лимпи й", + "▁К то", + "▁ Кто", + "дь ми", + "д ьми", + "▁S y", + "▁слу чи", + "▁сл учи", + "▁за вое", + "▁заво е", + "▁пер вом", + "▁перво м", + "▁объ яви", + "▁объя ви", + "▁Ju ly", + "▁Jul y", + "▁c are", + "▁car e", + "▁p erson", + "▁per son", + "▁pers on", + "▁д ети", + "▁де ти", + "▁дет и", + "д ный", + "цки й", + "ц кий", + "▁ника ких", + "▁никак их", + "лу а", + "л уа", + "ци они", + "цион и", + "цио ни", + "▁бри тан", + "▁свиде тель", + "▁b us", + "▁bu s", + "▁ bus", + "▁ко не", + "▁к оне", + "▁кон е", + "▁ коне", + "ча ет", + "▁Brit ish", + "▁e lect", + "▁ele ct", + "▁el ect", + "▁суще ству", + "▁существ у", + "О Р", + "▁Бе ло", + "▁Бел о", + "▁влия ние", + "▁Jan uary", + "▁П ар", + "▁Па р", + "▁ Пар", + "in ess", + "ine ss", + "ines s", + "i ness", + "▁D uring", + "▁Du ring", + "▁С ред", + "▁Ср ед", + "▁ито ге", + "▁итог е", + "▁m uch", + "▁служ бы", + "▁служб ы", + "▁ службы", + "Н о", + "▁по лка", + "▁пол ка", + "▁полк а", + "iv al", + "iva l", + "i val", + "▁S outh", + "▁So uth", + "до вать", + "дова ть", + "at s", + "a ts", + "▁б ор", + "▁бо р", + "▁ бор", + "же нный", + "жен ный", + "▁ч лен", + "▁чле н", + "▁же на", + "▁жен а", + "▁ж ена", + "▁ жена", + "▁президен т", + "▁ президент", + "▁произ ведения", + "ж ё", + "▁вы шел", + "▁выше л", + "▁о строва", + "▁ост рова", + "▁остро ва", + "▁остров а", + "▁з ри", + "▁ зри", + "▁Ш е", + "▁ Ше", + "▁ви дел", + "▁виде л", + "▁ видел", + "▁с ня", + "▁ сня", + "▁пре дна", + "▁пред на", + "▁доро ги", + "▁дорог и", + "ла нд", + "лан д", + "▁пре пода", + "▁препо да", + "по нен", + "пон ен", + "▁полу чили", + "▁получи ли", + "▁получил и", + "▁нас только", + "▁насто лько", + "э р", + "ёт ся", + "ё тся", + "▁при нял", + "▁приня л", + "▁прин ял", + "▁c amp", + "▁cam p", + "▁раз личные", + "▁разли чные", + "ме ра", + "мер а", + "м ера", + "▁Мо жно", + "▁об нару", + "▁обна ру", + "▁с охрани", + "▁со храни", + "▁сохра ни", + "▁сохран и", + "an e", + "a ne", + "▁т вер", + "▁тв ер", + "▁ твер", + "ща л", + "щ ал", + "▁follow ing", + "▁ i", + "▁библи оте", + "▁библио те", + "те льными", + "тель ными", + "тельным и", + "тельны ми", + "не нием", + "нение м", + "in ing", + "ini ng", + "i ning", + "цион ный", + "цио нный", + ") :", + "цо м", + "ц ом", + "ne ss", + "nes s", + "n ess", + "▁з ер", + "▁зе р", + "▁ зер", + "ша ется", + "шает ся", + "▁A pril", + "че ний", + "▁да ет", + "▁ дает", + "▁М ай", + "▁Ма й", + "▁ Май", + "▁функ ции", + "▁де мон", + "▁демо н", + "▁S chool", + "▁Sch ool", + "▁м л", + "чи й", + "▁се веро", + "▁север о", + "▁солда т", + "К А", + "▁с цена", + "▁сце на", + "▁сцен а", + "▁жи ву", + "▁жив у", + "ствен ность", + "стве нность", + "ственно сть", + "ве ре", + "вер е", + "в ере", + "▁ме тал", + "▁мет ал", + "▁мета л", + "▁об ъя", + "▁объ я", + "▁Никола й", + "▁Нико лай", + "▁сле дующий", + "▁следу ющий", + "ле нной", + "лен ной", + "ленно й", + "▁о ке", + "▁ок е", + "▁созда ть", + "▁соз дать", + "▁ка ких", + "▁как их", + "mb er", + "m ber", + "хо ды", + "ход ы", + "нт ов", + "нто в", + "н тов", + "ли в", + "л ив", + "ра чи", + "▁ма шины", + "▁маши ны", + "▁машин ы", + "▁g et", + "▁ge t", + "▁ get", + "ro p", + "r op", + "▁Л он", + "▁Ло н", + "▁est abl", + "с м", + "▁М ин", + "▁Ми н", + "▁П ол", + "▁По л", + "▁ребен ка", + "▁вой не", + "▁войн е", + "▁w on", + "▁E d", + "▁прави тельство", + "▁правитель ство", + "▁свя щен", + "▁l arge", + "▁larg e", + "▁э лектри", + "▁элек три", + "▁ электри", + "▁cons id", + "ie n", + "i en", + "▁ad v", + "▁W hen", + "▁Wh en", + "▁Whe n", + "▁м ной", + "▁мно й", + "▁мн ой", + "▁хо чет", + "▁m embers", + "▁member s", + "▁mem bers", + "▁про чи", + "▁проч и", + "▁п роя", + "▁про я", + "▁с вер", + "▁све р", + "▁св ер", + "▁под гото", + "in c", + "▁воз душ", + "▁возду ш", + "▁ воздуш", + "ни з", + "н из", + "▁о пы", + "▁оп ы", + "▁с ча", + "▁сообщи л", + "s c", + "▁ка би", + "▁Ш у", + "▁м ое", + "▁мо е", + "▁ мое", + "▁собы тий", + "▁с уда", + "▁су да", + "▁суд а", + "▁ суда", + "ды ду", + "ници па", + "▁сотруд ни", + "▁Ан дре", + "▁Анд ре", + "▁m ark", + "▁mar k", + "▁ mark", + "▁противо ре", + "▁при соеди", + "S t", + "▁фрон та", + "▁фронт а", + "▁г ар", + "▁га р", + "▁ гар", + "▁l a", + "▁ la", + "▁большо е", + "▁воен ных", + "▁вое нных", + "▁v is", + "▁ vis", + "си я", + "вь ю", + "в ью", + "▁d ep", + "▁de p", + "▁кор ре", + "▁ корре", + "▁ве щи", + "re en", + "ree n", + "r een", + "▁у дар", + "▁уда р", + "▁уд ар", + "▁психо логи", + "▁B ro", + "▁Br o", + "▁б ит", + "▁би т", + "▁ бит", + "s y", + "ро ди", + "род и", + "▁G u", + "ap p", + "a pp", + "ви ться", + "вить ся", + "m in", + "кр у", + "к ру", + "щи ков", + "щик ов", + "▁п лан", + "▁пла н", + "▁ план", + "ord ing", + "▁не бе", + "▁М он", + "▁Мо н", + "▁ Мон", + "▁e vent", + "▁ev ent", + "▁even t", + "▁нео жида", + "▁д обы", + "▁до бы", + "▁доб ы", + "▁ добы", + "▁раз ные", + "al k", + "▁у сили", + "▁уси ли", + "▁ус или", + "▁пу тем", + "▁пут ем", + "▁путе м", + "ст ных", + "с тных", + "▁пре ж", + "то рии", + "тори и", + "ки па", + "▁l ine", + "▁ line", + "▁г вар", + "uc k", + "u ck", + "▁пре дела", + "▁преде ла", + "▁предел а", + "▁челове ком", + "▁человек ом", + "▁человеко м", + "жа т", + "ж ат", + "▁де мокра", + "▁демо кра", + "▁ демокра", + "▁взгля д", + "▁ци ф", + "те льном", + "тель ном", + "тельно м", + "тко в", + "тк ов", + "т ков", + "▁кни ге", + "▁книг е", + "▁A p", + "ща ться", + "щать ся", + "ти т", + "т ит", + "▁w ar", + "▁wa r", + "▁ war", + "▁чле нов", + "▁член ов", + "▁Д жон", + "▁Дж он", + "▁Джо н", + "▁ва жно", + "▁важ но", + "▁ важно", + "▁кото рыми", + "▁которы ми", + "▁которым и", + "▁се ло", + "▁сел о", + "▁ село", + "▁ком пания", + "▁компа ния", + "лу й", + "▁Euro pe", + "он ы", + "о ны", + "▁макси ма", + "▁comp any", + "▁compan y", + "▁Сер гей", + "▁Серге й", + "▁pol it", + "ст рои", + "стро и", + "ш ке", + "ba ll", + "bal l", + "b all", + "▁со чи", + "▁соч и", + "o ad", + "as ter", + "ast er", + "aste r", + "a ster", + "▁у чё", + "▁уч ё", + "ве рь", + "вер ь", + "щи ми", + "щим и", + "щ ими", + "▁распо ря", + "▁ис торию", + "▁исто рию", + "▁истори ю", + "iv en", + "ive n", + "i ven", + "ward s", + "w ards", + "ra y", + "r ay", + "▁лю дьми", + "▁люд ьми", + "▁использова ния", + "хо дов", + "ход ов", + "ве ден", + "веде н", + "вед ен", + "▁под раз", + "▁подра з", + "▁о писы", + "▁опи сы", + "▁о па", + "▁оп а", + "▁ опа", + "ri end", + "rie nd", + "▁бли жай", + "▁ближ ай", + "▁стать и", + "▁пово ду", + "▁повод у", + "▁ру сского", + "▁рус ского", + "▁русско го", + "▁и мели", + "▁име ли", + "▁имел и", + "бо к", + "б ок", + "▁на писал", + "▁написа л", + "▁напи сал", + "▁ве сти", + "▁вес ти", + "▁ вести", + "ce mber", + "c ember", + "▁e very", + "▁ev ery", + "▁ever y", + "▁из гото", + "▁пере ста", + "▁перес та", + "▁re sp", + "▁res p", + "▁у ва", + "▁ Й", + "▁со проти", + "▁сопро ти", + "до н", + "д он", + "▁ви ду", + "▁вид у", + "▁ виду", + "▁рас смотре", + "ri pt", + "rip t", + "▁проце ссе", + "▁процесс е", + "▁p ower", + "▁po wer", + "▁ power", + "▁во все", + "▁по купа", + "▁поку па", + "▁Евро пе", + "▁a ge", + "▁ag e", + "▁ age", + "▁борь бы", + "жно е", + "ж ное", + "▁d esc", + "▁de sc", + "▁des c", + "хо де", + "ход е", + "▁все му", + "▁всем у", + "▁ю го", + "▁юг о", + "▁фото графи", + "▁спу стя", + "▁Nov ember", + "▁от ношений", + "▁отно шений", + "▁отноше ний", + "▁мо сков", + "▁моск ов", + "▁ москов", + "▁ко му", + "▁ком у", + "▁ кому", + "▁пози ции", + "ля ми", + "лям и", + "л ями", + "▁у словия", + "▁услови я", + "▁индивиду аль", + "▁друго е", + "▁друг ое", + "▁систе ме", + "▁систем е", + "▁со лн", + "▁се ку", + "▁сек у", + "▁вы ход", + "▁га зе", + "▁газ е", + "▁за про", + "▁d ue", + "▁du e", + "ie ty", + "iet y", + "i ety", + "da y", + "d ay", + "▁начина ет", + "че скому", + "ческом у", + "ческо му", + "сти ки", + "стик и", + "с тики", + "g y", + "▁И ван", + "▁Ива н", + "▁Ив ан", + "ра зу", + "раз у", + "▁cent ury", + "▁ century", + "ля ть", + "лят ь", + "л ять", + "▁ма ть", + "▁мат ь", + "▁ мать", + "▁лю дям", + "▁людя м", + "▁люд ям", + "▁не обы", + "▁нео бы", + "▁необ ы", + "да л", + "д ал", + "В А", + "ствен ном", + "стве нном", + "ственно м", + "▁президен та", + "▁президент а", + "ra ft", + "r aft", + "ло н", + "л он", + "ка ли", + "кал и", + "к али", + "ве дений", + "веде ний", + "▁att ack", + "▁экс пер", + "▁экспе р", + "▁в ен", + "▁ве н", + "▁ вен", + "▁F l", + "▁о бороны", + "▁обо роны", + "▁оборо ны", + "▁оборон ы", + "▁ex per", + "▁exp er", + "па рта", + "пар та", + "▁кон цеп", + "▁конце п", + "▁a v", + "▁ av", + "▁De cember", + "▁Dec ember", + "бе ль", + "▁мо я", + "▁зна ть", + "▁le g", + "▁ leg", + "it ions", + "ition s", + "▁B y", + "id es", + "ide s", + "i des", + "▁b and", + "▁ban d", + "▁ band", + "ТА СС", + "▁у виде", + "▁уви де", + "▁ве ро", + "▁вер о", + "▁ веро", + "вля ть", + "в лять", + "й о", + "си в", + "с ив", + "жда я", + "жд ая", + "ж дая", + "▁с только", + "▁сто лько", + "▁столь ко", + "▁По чему", + "▁ Почему", + "▁Д же", + "▁Дж е", + "▁t erm", + "▁te rm", + "▁ter m", + "▁ term", + "▁при нять", + "▁приня ть", + "▁прин ять", + "▁принят ь", + "▁стан ции", + "▁ станции", + "▁диви зи", + "ку п", + "io d", + "i od", + "▁по степенно", + "▁постепен но", + "▁А д", + "▁ Ад", + "▁вре менем", + "▁времен ем", + "▁време нем", + "ur ed", + "ure d", + "u red", + "▁p resent", + "▁pres ent", + "чи ков", + "чик ов", + "би р", + "б ир", + "re w", + "r ew", + "▁послед ний", + "▁требо вания", + "▁пре дыду", + "▁Ре спублики", + "▁Республи ки", + "▁t own", + "▁to wn", + "al th", + "alt h", + "▁при чем", + "▁филосо фи", + "▁философ и", + "if ied", + "▁m en", + "▁me n", + "▁ men", + "▁за дачи", + "▁зада чи", + "▁задач и", + "▁про явля", + "▁проя вля", + "▁об рабо", + "▁обра бо", + "▁о созна", + "▁осо зна", + "▁de ath", + "▁Ста лин", + "▁Стали н", + "▁х ро", + "▁ хро", + "▁б рат", + "▁бра т", + "▁t urn", + "▁tur n", + "▁ос тается", + "▁оста ется", + "▁v al", + "▁ val", + "фи кации", + "фика ции", + "фик ации", + "фи ль", + "ф иль", + "ну ли", + "нул и", + "▁W ill", + "▁Wil l", + "▁Wi ll", + "▁m illion", + "▁mill ion", + "▁у диви", + "▁уди ви", + "у р", + "▁об щем", + "▁обще м", + "▁общ ем", + "▁ком муни", + "▁комму ни", + "▁ коммуни", + "▁за слу", + "▁зас лу", + "ot t", + "o tt", + "▁ц ве", + "фор м", + "ни цей", + "нице й", + "ниц ей", + "▁чув ство", + "▁чувств о", + "▁к ле", + "▁ кле", + "▁И та", + "▁к ров", + "▁кро в", + "▁кр ов", + "▁ кров", + "▁ве личи", + "▁вели чи", + "▁ величи", + "сса жи", + "▁не ве", + "▁н еве", + "▁нев е", + "▁ неве", + "▁со сед", + "▁сос ед", + "▁сосе д", + "▁пере гово", + "▁Вели кой", + "▁Велико й", + "▁свя зь", + "▁связ ь", + "▁h eld", + "▁he ld", + "▁hel d", + "▁филь ма", + "▁фильм а", + "д ка", + "▁го лов", + "▁голо в", + "▁гол ов", + "▁ голов", + "ва ле", + "вал е", + "в але", + "у н", + "▁по го", + "w ork", + "ва ний", + "вани й", + "▁Го спо", + "▁Гос по", + "ve s", + "v es", + "▁в роде", + "▁ос обы", + "▁особ ы", + "▁осо бы", + "▁боль шую", + "да го", + "▁f inal", + "▁fin al", + "▁О дна", + "▁Од на", + "▁t it", + "би на", + "бин а", + "б ина", + "▁и тальян", + "▁та ком", + "▁так ом", + "iv ely", + "ive ly", + "▁на след", + "▁насле д", + "pa r", + "p ar", + "▁E m", + "▁вос пита", + "er ing", + "e ring", + "н ную", + "▁ф анта", + "▁фа нта", + "▁ фанта", + "▁к луб", + "▁клу б", + "▁энер гии", + "▁энерги и", + "же нных", + "жен ных", + "▁воз бу", + "т ю", + "пе нь", + "пен ь", + "п ень", + "▁архи тек", + "▁архите к", + "ги й", + "▁W e", + "▁ We", + "▁де вя", + "▁дев я", + "су ль", + "▁я сно", + "▁яс но", + "кр и", + "к ри", + "▁j o", + "▁ jo", + "lin g", + "li ng", + "l ing", + "▁K ing", + "▁з и", + "▁ зи", + "же ла", + "жел а", + "▁c ame", + "▁cam e", + "▁информа цию", + "ст ок", + "сто к", + "с ток", + "▁т ка", + "▁ тка", + "В е", + "▁О ста", + "▁Ос та", + "ст ых", + "сты х", + "с тых", + "▁за пи", + "▁под нима", + "\") .", + "\" ).", + "ствен ную", + "стве нную", + "▁Пу шки", + "▁бу дем", + "▁буд ем", + "но во", + "нов о", + "▁c or", + "▁co r", + "▁for mer", + "▁form er", + "▁ former", + "▁на ше", + "▁наш е", + "лк у", + "л ку", + "▁Вели ко", + "▁о дино", + "▁од ино", + "▁один о", + "▁оди но", + "▁re ceived", + "▁rece ived", + "▁receive d", + "▁По том", + "▁N orth", + "▁Nor th", + "▁e s", + "▁ es", + "▁ф ина", + "▁фи на", + "▁фин а", + "▁ фина", + "▁по пыт", + "▁попы т", + "п луа", + "▁вы во", + "▁вер нулся", + "▁верну лся", + "ме ется", + "▁сы на", + "▁сын а", + "▁по лков", + "▁пол ков", + "▁полк ов", + "▁ полков", + "▁p oss", + "▁pos s", + "▁po ss", + "▁ poss", + "вле нные", + "влен ные", + "в ленные", + "ло е", + "л ое", + "не нных", + "нен ных", + "р хи", + "жд ён", + "▁ки тай", + "▁кита й", + "▁ex pl", + "▁exp l", + "▁вос стано", + "▁восста но", + "ch es", + "che s", + "c hes", + "ры е", + "▁К П", + "▁ КП", + "г но", + "▁con f", + "▁ conf", + "▁Б лаго", + "▁Бла го", + "▁M c", + "ка тери", + "▁по тен", + "▁поте н", + "▁импе рии", + "▁play ed", + "би н", + "б ин", + "▁об щей", + "▁обще й", + "▁общ ей", + "ри аль", + "риа ль", + "риал ь", + "▁ста нет", + "▁стан ет", + "▁на вер", + "▁наве р", + "▁нав ер", + "▁p o", + "▁ po", + "▁необходи мости", + "▁необходимо сти", + "Б о", + "▁фа кт", + "▁фак т", + "! !", + "▁пар ла", + "▁на каза", + "▁нака за", + "ви ди", + "вид и", + "iz ation", + "▁сер дце", + "▁серд це", + "▁Вто рой", + "▁режи сс", + "▁с тен", + "▁ст ен", + "▁сте н", + "▁ стен", + "▁поверх ности", + "▁поверхно сти", + "по ста", + "п оста", + "▁до ве", + "▁и муще", + "▁ имуще", + "ше нии", + "▁Пер вый", + "▁му ниципа", + "ri ct", + "ric t", + "r ict", + "▁На циона", + "ст ного", + "стно го", + "с тного", + "▁офи це", + "▁ду ши", + "▁душ и", + "▁ души", + "▁ев рей", + "▁евре й", + "▁ еврей", + "▁По след", + "▁После д", + "▁ Послед", + "▁мы сль", + "▁мыс ль", + "сти ческой", + "с тической", + "▁Ch rist", + "▁Chris t", + "ak es", + "ake s", + "a kes", + "▁ро ма", + "▁ рома", + "▁п ье", + "▁пь е", + "▁К ри", + "▁h um", + "▁C o", + "▁матери аль", + "▁материа ль", + "▁мате риаль", + "▁материал ь", + "▁д ал", + "▁да л", + "▁ дал", + "ва ем", + "лн е", + "л не", + "▁ :", + "▁C ity", + "▁Не которые", + "ви дно", + "вид но", + "▁о бре", + "▁об ре", + "▁ обре", + "зд ы", + "з ды", + "ша л", + "ш ал", + "▁ор ганов", + "▁орга нов", + "▁орган ов", + "▁вы игра", + "▁выи гра", + "▁с ети", + "▁се ти", + "▁сет и", + "▁ сети", + "▁о по", + "▁оп о", + "▁писа тель", + "▁st and", + "▁ stand", + "ra tion", + "rat ion", + "r ation", + "▁у ди", + "▁уд и", + "нача льно", + "▁от ношение", + "▁отно шение", + "▁отноше ние", + "▁п рис", + "▁при с", + "▁пр ис", + "▁differ ent", + "▁k ill", + "▁kil l", + "▁ру ку", + "▁рук у", + "ро да", + "род а", + "р ода", + "▁спе к", + "▁ спек", + "▁уста навли", + "▁у голов", + "▁уго лов", + "▁угол ов", + "▁о про", + "▁оп ро", + "▁w ater", + "▁wa ter", + "▁ water", + "▁с ос", + "▁со с", + "▁be g", + "▁исполь зуется", + "▁использу ется", + "▁использует ся", + "▁к руг", + "▁кру г", + "▁ круг", + "не тся", + "нет ся", + "н ется", + "нь е", + "н ье", + "ем ая", + "ема я", + "е мая", + "▁ко сми", + "▁кос ми", + "▁ косми", + "▁по дума", + "▁под ума", + "▁поду ма", + "ж ь", + "▁Оте чественной", + "▁Александ ра", + "▁Александр а", + "▁о зе", + "▁оз е", + "▁вре мена", + "▁времен а", + "▁време на", + "▁C ar", + "▁Ca r", + "▁при роды", + "▁приро ды", + "▁природ ы", + "бл ь", + "б ль", + "▁напра влении", + "▁вы пуска", + "▁выпу ска", + "▁выпуск а", + "▁P ol", + "▁Po l", + "ne y", + "n ey", + "бу рг", + "бур г", + "▁ба таль", + "▁бата ль", + "ни лся", + "нил ся", + "н ился", + "▁во ск", + "▁вос к", + "▁s ay", + "вля ется", + "вляет ся", + "в ляется", + "▁сбор ной", + "▁сбо рной", + "че в", + "ч ев", + "▁меся ца", + "▁месяц а", + "С а", + "▁ру ках", + "▁рука х", + "▁кро ви", + "▁кров и", + "▁ крови", + "▁до мой", + "▁дом ой", + "▁домо й", + "▁ше сть", + "▁шест ь", + "ro nt", + "ron t", + "r ont", + "ни ям", + "ния м", + "▁с уме", + "▁су ме", + "▁сум е", + "▁су деб", + "▁суде б", + "▁ка фе", + "▁пар тий", + "▁парти й", + "▁ партий", + "▁включа я", + "▁вклю чая", + "▁ка чества", + "▁каче ства", + "▁качеств а", + "▁A ss", + "▁As s", + "▁о ба", + "▁об а", + "▁ оба", + "▁п роз", + "▁про з", + "▁пр оз", + "▁чув ства", + "▁чувств а", + "▁n eed", + "▁ne ed", + "▁сло вами", + "▁слова ми", + "▁словам и", + "▁с равни", + "▁срав ни", + "▁with in", + "жда ет", + "ж дает", + "▁s ix", + "дол го", + "▁ли чности", + "▁лично сти", + "▁внима ния", + "▁от носится", + "▁относи тся", + "д ных", + "▁ра скры", + "▁рас кры", + "▁С тра", + "▁Ст ра", + "▁ Стра", + "▁f un", + "▁и деи", + "▁иде и", + "в шую", + "re et", + "ree t", + "Е Н", + "▁ко смо", + "▁кос мо", + "▁is s", + "▁i ss", + "▁ iss", + "▁рас преде", + "▁ распреде", + "▁а кт", + "▁ак т", + "ст ям", + "стя м", + "▁со вета", + "▁совет а", + "▁сове та", + "▁ совета", + "ме ры", + "мер ы", + "м еры", + "en se", + "ens e", + "к ции", + "▁при вле", + "▁прив ле", + "▁хо чу", + "▁стра нах", + "▁страна х", + "▁от ме", + "на дцать", + "надца ть", + "▁любо вь", + "▁любов ь", + "ре до", + "ред о", + "кто ром", + "ктор ом", + "к тором", + "▁на ходятся", + "▁находя тся", + "▁наход ятся", + "▁находят ся", + "ти м", + "т им", + "▁при каза", + "▁прика за", + "▁приказ а", + "▁жи ли", + "▁ж или", + "▁жил и", + "▁ жили", + "вы чай", + "▁каса ется", + "М И", + "▁при чина", + "▁причи на", + "▁причин а", + "кро в", + "кр ов", + "к ров", + "▁в ое", + "▁во е", + "▁ вое", + "▁воз раста", + "▁возра ста", + "▁возраст а", + "le t", + "l et", + "▁за седа", + "▁засе да", + "▁при ходится", + "▁приходи тся", + "▁приходит ся", + "▁приход ится", + "▁прихо дится", + "▁с лы", + "▁сл ы", + "▁ слы", + "▁дей ству", + "▁действ у", + "▁зем лю", + "\\ .", + "▁H ar", + "▁Ha r", + "▁пись мо", + "al f", + "▁ве роятно", + "▁вероят но", + "▁child ren", + "чи ли", + "чил и", + "ч или", + "ie f", + "i ef", + "▁n amed", + "▁name d", + "▁Сей час", + "▁в перед", + "▁впере д", + "сна я", + "с ная", + "▁ри су", + "▁р ису", + "▁рис у", + "др е", + "д ре", + "▁all ow", + "▁p ar", + "▁ par", + "нным и", + "нны ми", + "н ными", + "▁боль шим", + "▁с рок", + "▁сро к", + "▁ср ок", + "▁Не смотря", + "й дет", + "▁Т ро", + "▁смы сл", + "вшей ся", + "ба ми", + "бам и", + "st er", + "ste r", + "s ter", + "▁сооб щает", + "▁сообща ет", + "▁ру сский", + "▁рус ский", + "▁по дви", + "▁под ви", + "▁жен щина", + "▁женщи на", + "▁женщин а", + "y n", + "▁предприя тия", + "▁и стреби", + "▁истре би", + "▁а м", + "▁ ам", + "▁за ви", + "▁за по", + "▁l ed", + "▁le d", + "▁ led", + "▁пре вы", + "▁п ала", + "▁па ла", + "▁пал а", + "▁ пала", + "ти ческого", + "▁Т А", + "▁ ТА", + "нно сть", + "н ность", + "сто рон", + "сторо н", + "стор он", + "▁кар то", + "▁карт о", + "▁Л ит", + "▁Ли т", + "▁Сан кт", + "Д а", + "▁мо мента", + "▁момент а", + "▁до маш", + "▁дома ш", + "п ки", + "▁акаде ми", + "сы па", + "le ge", + "leg e", + "▁t rad", + "▁tra d", + "▁tr ad", + "\" ;", + "▁по сред", + "▁пос ред", + "о с", + "щих ся", + "▁наз ванием", + "▁название м", + "▁назва нием", + "▁Алек се", + "▁Але ксе", + "▁поряд ке", + "▁дей ствие", + "▁действи е", + "▁ действие", + "▁С ам", + "▁Са м", + "▁в след", + "▁широ ко", + "ря док", + "ряд ок", + "рядо к", + "во дят", + "вод ят", + "водя т", + "▁бе ско", + "▁бес ко", + "▁середи не", + "▁т рак", + "▁тра к", + "▁тр ак", + "em pt", + "в тра", + "▁секре та", + "▁секрет а", + ". -", + "ar ried", + "arri ed", + "▁Анг лии", + "▁f act", + "▁fac t", + "▁fa ct", + "▁тру до", + "▁труд о", + "▁М ан", + "▁Ма н", + "▁ Ман", + "▁p at", + "▁ pat", + "ней ших", + "▁of ten", + "ial ly", + "i ally", + "▁ло ша", + "Д о", + "су аль", + "суа ль", + "▁позво ли", + "ще ны", + "щен ы", + "▁ви деть", + "▁виде ть", + "▁вид еть", + "▁к аз", + "▁ка з", + "▁ каз", + "▁протя жении", + "▁Ми хай", + "▁Миха й", + "res ent", + "▁з во", + "▁зв о", + "▁ зво", + ") )", + "▁сторо не", + "▁сторон е", + "▁ини циа", + "▁t ake", + "ст ана", + "ста на", + "стан а", + "с тана", + "ин тере", + "интер е", + "инте ре", + "▁свя зан", + "▁связа н", + "▁связ ан", + "is on", + "i son", + "В Д", + "▁пре сс", + "▁м оно", + "▁мо но", + "▁мон о", + "▁ моно", + "▁не уда", + "▁неу да", + "дне в", + "д нев", + "▁Мо жет", + "ро прия", + "▁результа т", + "▁да лее", + "▁дале е", + "▁за хо", + "▁с да", + "др у", + "д ру", + "▁E l", + "▁re pl", + "▁rep l", + "▁ди пло", + "хо дила", + "ходи ла", + "ход ила", + "ходил а", + "m s", + "не на", + "нен а", + "н ена", + "▁находи лся", + "▁наход ился", + "▁находил ся", + "▁ре чи", + "▁полу чила", + "▁получи ла", + "▁получил а", + "че нный", + "чен ный", + "ле те", + "лет е", + "л ете", + "▁ма сшта", + "ющи йся", + "ющий ся", + "ю щийся", + "▁су щ", + "▁ сущ", + "▁о чи", + "▁но вое", + "▁ново е", + "▁нов ое", + "▁об щего", + "▁обще го", + "▁общ его", + "▁бы вает", + "но вения", + "нове ния", + "▁за дача", + "▁зада ча", + "▁задач а", + "▁b uilt", + "▁bu ilt", + "▁p ost", + "▁pos t", + "▁po st", + "▁ post", + "▁дру зья", + "▁Ге ор", + "сти ческого", + "с тического", + "пу стить", + "пусти ть", + "пус тить", + "▁г ри", + "▁гр и", + "▁ гри", + "▁ре спубли", + "▁лю бы", + "▁зависи т", + "▁зави сит", + "▁мо ра", + "▁мор а", + "▁ мора", + "▁mon th", + "▁тра нс", + "▁тран с", + "▁сти хи", + "вшего ся", + "▁per iod", + "▁ме ж", + "▁же сто", + "▁жест о", + "▁pro f", + "▁pr of", + "▁цен тре", + "▁центр е", + "но доро", + "▁по ступа", + "▁посту па", + "▁поступ а", + "▁l arg", + "то вой", + "тов ой", + "тово й", + "at ter", + "att er", + "s ide", + "ка ет", + "п но", + "▁F eb", + "▁Fe b", + "▁c rit", + "▁cr it", + "ка на", + "кан а", + "к ана", + "\") ,", + "\" ),", + "▁A b", + "ur s", + "ст ье", + "сть е", + "с тье", + "▁кон цов", + "▁конц ов", + "▁w ent", + "▁we nt", + "▁eff ect", + "▁рабо чих", + "▁рабочи х", + "▁includ ed", + "▁include d", + "▁тран спорт", + "▁транспо рт", + "▁транс порт", + "▁транспор т", + "▁ транспорт", + "ard s", + "▁пло щадь", + "▁площа дь", + "▁конф лик", + "▁f ive", + "ru ary", + "r uary", + "оло гии", + "ологи и", + "о логии", + "▁по смотре", + "жда ется", + "ждает ся", + "га я", + "г ая", + "▁во ду", + "▁вод у", + "le r", + "l er", + "uth or", + "▁Е катери", + "ме ну", + "мен у", + "▁Сер ге", + "it ary", + "itar y", + "ita ry", + "▁не ма", + "▁нем а", + "▁н ема", + "▁милли онов", + "▁миллион ов", + "ти ру", + "тир у", + "▁к г", + "ta in", + "t ain", + "▁окру га", + "▁округ а", + "▁М ногие", + "▁Мно гие", + "▁о хо", + "▁ох о", + "▁тер ро", + "▁испы ты", + "ен си", + "е нси", + "▁Д ан", + "▁Да н", + "▁о све", + "▁ос ве", + "▁вер сии", + "▁верси и", + "▁Д жо", + "▁Дж о", + "pl oy", + "▁На и", + "же тся", + "жет ся", + "ж ется", + "▁ве се", + "▁вес е", + "ма т", + "м ат", + "фе й", + "ф ей", + "▁г ря", + "▁гр я", + "▁ гря", + "▁к лет", + "▁кле т", + "▁ро дился", + "▁роди лся", + "▁род ился", + "▁A f", + "▁п равда", + "▁прав да", + "▁ правда", + "al ity", + "ali ty", + "▁оказа лось", + "▁с вета", + "▁свет а", + "▁све та", + "▁под ъ", + "по ле", + "пол е", + "п оле", + "га ли", + "гал и", + "г али", + "д ные", + "би й", + "▁по ложения", + "▁поло жения", + "▁из бира", + "▁изби ра", + "И Н", + "бар ди", + "▁отде льных", + "▁отдель ных", + "▁возра сте", + "▁возраст е", + "▁К ла", + "▁г лаз", + "▁гла з", + "▁гл аз", + "▁ре ша", + "жа ется", + "жает ся", + ".) ,", + ". ),", + "▁с правед", + "▁спра вед", + "▁К ур", + "▁Ку р", + "▁ Кур", + "▁литера туры", + "▁литератур ы", + "▁до че", + "▁sh ort", + "▁man ag", + "▁A ir", + "▁И ли", + "▁Ил и", + "ren ch", + "r ench", + "▁По лу", + "▁Пол у", + "зо й", + "з ой", + "▁повто ря", + "те ния", + "▁преду пре", + "e ad", + "▁пе хо", + "▁О бра", + "▁Об ра", + "▁мар ш", + "сто ро", + "стор о", + "с торо", + "▁мо его", + "▁мое го", + "▁при водит", + "▁приводи т", + "▁приво дит", + "▁экс плуа", + "▁ann oun", + "дно го", + "д ного", + "ха н", + "х ан", + "▁у лы", + "▁ул ы", + "▁с читать", + "▁счита ть", + "▁Feb ruary", + "▁ма шин", + "▁маши н", + "ст ую", + "сту ю", + "с тую", + "но вен", + "нов ен", + "нове н", + "▁ули це", + "▁улиц е", + "▁боль шие", + "▁в последствии", + "▁n ext", + "▁ne xt", + "▁счита ет", + "▁у чили", + "▁учи ли", + "▁уч или", + "▁ве ке", + "▁век е", + "▁му зе", + "ва ю", + "▁э кипа", + "ha m", + "h am", + "ли ст", + "лис т", + "л ист", + "▁основ ных", + "▁осно вных", + "бри та", + "б рита", + "▁вз ять", + "▁взя ть", + "▁взят ь", + "il le", + "ill e", + "▁e l", + "▁ el", + "▁P ar", + "▁ Par", + "▁б рать", + "▁бра ть", + "▁брат ь", + "▁ брать", + "ча ли", + "чал и", + "ч али", + "А Р", + "сту пить", + "ступ ить", + "ступи ть", + "ступит ь", + "ко во", + "ков о", + "ро во", + "ров о", + "▁я ко", + "▁це ль", + "▁мага зи", + "▁защи ты", + "▁защит ы", + "▁H er", + "▁He r", + "▁дол жность", + "▁долж ность", + "▁должно сть", + "▁д об", + "▁до б", + "▁ доб", + "▁стра ш", + "▁и гру", + "▁иг ру", + "▁игр у", + "го рь", + "гор ь", + "лю би", + "люб и", + "обо рот", + "▁b uilding", + "▁build ing", + "зя й", + "▁тыся чи", + "▁тысяч и", + "▁г лава", + "▁гла ва", + "▁глав а", + "▁am ong", + "▁кра со", + "at tle", + "att le", + "▁про грамм", + "▁програм м", + "▁корпу са", + "▁корпус а", + "ня ют", + "▁ча са", + "▁час а", + "▁ часа", + "▁о ка", + "▁ок а", + "ле ны", + "лен ы", + "▁v ers", + "▁ver s", + "▁ vers", + "▁И но", + "▁Ин о", + "▁ре дко", + "▁ред ко", + "▁под держа", + "▁поддерж а", + "▁add ition", + "▁Воз можно", + "▁or der", + "▁ord er", + "▁ order", + "▁при гото", + "▁приго то", + "▁т рёх", + "▁п рида", + "▁при да", + "▁прид а", + "▁пр ида", + "вле нных", + "влен ных", + "в ленных", + "▁Бо га", + "▁Бог а", + "вши ми", + "вшим и", + "в шими", + "▁Ф у", + "▁f ew", + "▁fe w", + "рев нова", + "▁о кра", + "▁ок ра", + "▁во йна", + "▁вой на", + "▁войн а", + "▁ма темати", + "▁мате мати", + "▁матема ти", + "▁t op", + "▁to p", + "▁ top", + "id d", + "i dd", + "▁исче з", + "▁бу ква", + "▁бук ва", + "▁букв а", + "▁ме роприя", + "▁поли тики", + "▁полити ки", + "▁политик и", + "▁мо гло", + "▁мог ло", + "▁п рем", + "▁пре м", + "▁пр ем", + "▁ прем", + "▁с нима", + "▁сни ма", + "▁сним а", + "▁клу ба", + "▁клуб а", + "as k", + "a sk", + "▁ча стей", + "▁част ей", + "▁час тей", + "▁со чета", + "▁ сочета", + "▁С ы", + "▁con c", + "▁результа ты", + "▁результат ы", + "▁со жа", + "▁сож а", + "по ра", + "пор а", + "▁спи сок", + "▁при влека", + "▁привле ка", + "▁прив лека", + "▁ра ство", + "▁рас тво", + "▁раст во", + "▁g reat", + "▁gre at", + "лу ю", + "л ую", + "▁па ссажи", + "▁be h", + "рг и", + "р ги", + "on don", + "ond on", + "▁тео ре", + "▁кли ен", + "▁с ведения", + "▁све дения", + "ку ра", + "кур а", + "к ура", + "▁б ар", + "▁ба р", + "▁ бар", + "um ent", + "ume nt", + "u ment", + "▁Д ей", + "▁Де й", + "▁опубли ко", + "▁каза лось", + "▁вос принима", + "▁воспри нима", + "ch ed", + "che d", + "c hed", + "▁А б", + "О Л", + "▁b re", + "▁br e", + "▁ bre", + "▁desc rib", + "пе ча", + "▁называ ется", + "▁называет ся", + "▁совет ский", + "▁сове тский", + "▁обла сть", + "▁ат мо", + "тель ств", + "▁O ne", + "▁On e", + "▁Com p", + "▁Co mp", + "▁sing le", + "л га", + "▁cl ub", + "▁пред принима", + "▁предпри нима", + "▁за д", + "▁з ад", + "▁ зад", + "▁противо поло", + "ще ство", + "ществ о", + "▁sh ould", + "▁а гре", + "▁п атри", + "▁па три", + "▁ патри", + "▁гла вное", + "▁глав ное", + "ды ха", + "дых а", + "▁C al", + "▁Ca l", + "ubl ic", + "▁в спомина", + "▁вс помина", + "▁вспо мина", + "▁вспом ина", + "▁d el", + "▁de l", + "▁со ору", + "▁наро дов", + "▁народ ов", + "▁тю рь", + "▁го сти", + "▁гос ти", + "▁П ав", + "▁Па в", + "ем ое", + "емо е", + "е мое", + "ди о", + "▁сло вно", + "▁слов но", + "▁ словно", + "▁Бо лее", + "ри ей", + "рие й", + "▁д лин", + "▁дли н", + "▁памя ть", + "▁памят ь", + "▁ме стах", + "▁места х", + "▁из обре", + "▁изо бре", + "▁на правления", + "▁напра вления", + "▁инте ллек", + "▁Т ри", + "▁ Три", + "▁за вод", + "▁заво д", + "▁ завод", + "▁Миха ил", + "▁Михаи л", + "д ли", + "▁с ку", + "▁ск у", + "▁ ску", + "▁а ссо", + "▁ас со", + "▁s hip", + "▁sh ip", + "▁ ship", + "▁ци вили", + "▁У же", + "▁Уж е", + "мо к", + "м ок", + "▁e p", + "▁ ep", + "ри зо", + "р изо", + "▁в ида", + "▁ви да", + "▁вид а", + "▁ вида", + "▁по пыта", + "▁попыт а", + "▁попы та", + "▁воен ной", + "▁военно й", + "▁вое нной", + "▁ш тур", + "▁шту р", + "▁шт ур", + "▁c r", + "▁кри зи", + "П ро", + "▁Н ор", + "▁Но р", + "▁ Нор", + "▁d eb", + "▁de b", + "▁p ort", + "▁ port", + "н ё", + "▁не зна", + "ме ль", + "мел ь", + "ем а", + "е ма", + "рав да", + "▁Г ит", + "▁Ги т", + "▁фи лософ", + "▁филосо ф", + "▁ философ", + "▁ко пи", + "▁коп и", + "▁г ло", + "▁гл о", + "▁ гло", + "▁п лат", + "▁пла т", + "▁а эро", + "▁аэ ро", + "vi ous", + "v ious", + "▁оружи я", + "▁ору жия", + "▁s old", + "▁so ld", + "▁sol d", + "▁то ч", + "▁ю риди", + "▁юри ди", + "ма ни", + "ман и", + "м ани", + "ed er", + "e der", + "ur g", + "▁непосред ственно", + "▁м ер", + "▁ме р", + "▁ мер", + "▁cl aim", + "▁ claim", + "▁d iv", + "▁di v", + "▁ div", + "▁биз нес", + "▁бизне с", + "кт а", + "к та", + "▁вс пом", + "▁вспо м", + "▁раз де", + "ap an", + "a pan", + "▁pro cess", + "не ве", + "нев е", + "н еве", + "▁ре й", + "▁р ей", + "▁ рей", + "▁меся ц", + "ст ные", + "с тные", + "▁Велико брита", + "▁вто рого", + "▁второ го", + "це п", + "▁об щи", + "▁общ и", + "ви и", + "ер а", + "е ра", + "▁та кую", + "▁так ую", + "▁И так", + "▁Ита к", + "жа ла", + "жал а", + "ж ала", + "▁цер ковь", + "▁церков ь", + "▁Г ру", + "▁G o", + "об ла", + "о бла", + "не нно", + "нен но", + "н енно", + "▁сла бо", + "▁Совет ского", + "▁Сове тского", + "am b", + "a mb", + "▁g l", + "▁ gl", + "o f", + "▁о пла", + "▁оп ла", + "▁ответ ил", + "▁отве тил", + "▁но вую", + "▁нов ую", + "▁ новую", + "▁Д аль", + "▁Да ль", + "▁вы бор", + "▁выбо р", + "▁ выбор", + "▁со стояния", + "▁состоя ния", + "▁b ased", + "▁bas ed", + "▁base d", + "▁ based", + "▁скоро сть", + "▁та бли", + "▁борь бе", + "▁тор гов", + "▁торго в", + "▁оди нако", + "▁К али", + "▁Ка ли", + "▁Кал и", + "▁п рием", + "▁при ем", + "▁прие м", + "ст ая", + "ста я", + "с тая", + "▁боль шей", + "▁больше й", + "tend ed", + "▁по сети", + "▁пос ети", + "▁посе ти", + "ят ся", + "я тся", + "an gu", + "ang u", + "▁устано влен", + "▁установ лен", + "▁боль шая", + "чи ки", + "чик и", + "▁по беди", + "▁побе ди", + "▁побед и", + "as es", + "ase s", + "a ses", + "те сь", + "тес ь", + "ко вые", + "ковы е", + "▁f ather", + "▁fa ther", + "▁ father", + "▁ч ере", + "▁че ре", + "▁чер е", + "▁раз гово", + "▁а гент", + "▁аген т", + "ще на", + "щен а", + "щ ена", + "og raph", + "ograp h", + "▁ч ас", + "▁ча с", + "▁ час", + "▁па ци", + "▁боль ших", + "ве ра", + "вер а", + "в ера", + "бле н", + "бл ен", + "б лен", + "▁чи нов", + "▁чин ов", + "▁само у", + "a e", + "те ние", + "▁Aust ral", + "слу ж", + "▁per form", + "▁f ind", + "▁fin d", + "ка к", + "к ак", + "в ку", + "ле ку", + "лек у", + "▁M in", + "П а", + "▁чрез вычай", + "▁ж ан", + "▁жа н", + "▁ жан", + "смо три", + "смотр и", + "с мотри", + "ро та", + "рот а", + "▁Д об", + "▁До б", + "▁e qu", + "▁ equ", + "▁обяза тельно", + "▁м г", + "ur ther", + "urt her", + "▁s k", + "▁ sk", + "▁деся ть", + "▁тех ники", + "▁техни ки", + "▁ техники", + "ц кого", + "▁W est", + "▁We st", + "om in", + "o min", + "▁про дви", + "▁прод ви", + "▁s ent", + "▁se nt", + "▁sen t", + "си ла", + "сил а", + "с ила", + "▁Д он", + "▁До н", + "▁ Дон", + "▁челове ку", + "▁человек у", + "▁на ч", + "▁ш коле", + "▁шко ле", + "▁школ е", + "▁пре вос", + "▁ре д", + "▁р ед", + "▁ ред", + "▁Моск ву", + "▁гра фи", + "▁граф и", + "▁ графи", + "▁те ря", + "▁тер я", + "▁ теря", + "▁руковод ством", + "▁руководство м", + "ли ча", + "Г о", + "▁l ate", + "▁la te", + "▁lat e", + "▁коро лев", + "▁короле в", + "▁о пти", + "▁оп ти", + "ло вич", + "лови ч", + "▁сер ви", + "▁ серви", + "▁П рави", + "▁Пра ви", + "хо дило", + "ходи ло", + "ходил о", + "пт о", + "п то", + "▁ре гуляр", + "▁регу ляр", + "in ning", + "inn ing", + "йн а", + "й на", + "▁об станов", + "▁из бран", + "▁избра н", + "▁ана логи", + "▁ла гер", + "▁с иль", + "▁си ль", + "▁сил ь", + "▁ силь", + "▁L ondon", + "▁вой ну", + "▁войн у", + "▁B ar", + "▁Ba r", + "▁аре сто", + "▁арест о", + "▁про гре", + "▁pro ject", + "▁Кра сно", + "▁w omen", + "▁предна зна", + "▁мя г", + "▁но ги", + "▁ног и", + "мо л", + "м ол", + "▁оказа лись", + "▁оказали сь", + "▁на зывают", + "▁называ ют", + "ще ний", + "▁be come", + "▁bec ome", + "▁becom e", + "▁смо г", + "▁a ff", + "▁ aff", + "▁п рово", + "▁про во", + "▁М ор", + "▁Мо р", + "▁ Мор", + "▁у доволь", + "▁удо воль", + "▁а стро", + "▁ас тро", + "▁энер ги", + "▁эпи зо", + "▁мо дель", + "▁моде ль", + "ри ста", + "рис та", + "рист а", + "▁ве с", + "▁ вес", + "▁пе даго", + "▁Y ou", + "▁ You", + "с вя", + "▁основ ной", + "▁осно вной", + "бе ра", + "бер а", + "б ера", + "▁же ле", + "▁жел е", + "▁вы дви", + "ум а", + "у ма", + "▁па ру", + "▁пар у", + "▁ра сти", + "▁рас ти", + "▁раст и", + "▁су пру", + "▁суп ру", + "▁государ ственной", + "▁государстве нной", + "▁Ge or", + "▁Ф ор", + "▁Фо р", + "▁ Фор", + "▁фа ми", + "▁ фами", + "▁обра зование", + "▁образова ние", + "гу т", + "г ут", + "жды й", + "ж дый", + "ж ную", + "▁in it", + "▁ init", + "▁бое вых", + "▁боев ых", + "га ют", + "▁Ц К", + "▁re ad", + "▁r ead", + "▁ read", + "ро з", + "р оз", + "▁д ево", + "▁де во", + "▁дев о", + "▁g ood", + "▁go od", + "st it", + "еди н", + "ед ин", + "е дин", + "et er", + "e ter", + "▁рез ко", + "▁пре одо", + "▁стре лко", + "▁ стрелко", + "▁и ллю", + "▁м нение", + "▁мне ние", + "pos ed", + "pose d", + "▁кни гу", + "▁книг у", + "▁n on", + "▁no n", + "▁F rench", + "▁отно шению", + "▁отноше нию", + "▁свой ства", + "▁свойств а", + "▁до чь", + "▁про сь", + "▁прос ь", + "▁по стро", + "▁пос тро", + "▁пост ро", + "▁Т ол", + "▁То л", + "▁требу ет", + "ну ла", + "нул а", + "▁се рии", + "▁В ар", + "▁Ва р", + "▁пер вое", + "▁перво е", + "▁th ird", + "▁R uss", + "▁Ru ss", + "▁you ng", + "п ля", + "▁о гонь", + "▁ого нь", + "▁с част", + "▁сча ст", + "▁with out", + "▁площа ди", + "а з", + "ке р", + "к ер", + "редо то", + "▁M e", + "▁край ней", + "▁крайне й", + "ко вского", + "ков ского", + "ща ют", + "▁В прочем", + "ро ванных", + "рова нных", + "рован ных", + "▁inv ol", + "тер пе", + "▁по строен", + "▁построе н", + "▁постро ен", + "▁коро ля", + "ше ний", + "▁гер ман", + "▁ герман", + "т ную", + "▁serv ice", + "▁э кра", + "▁эк ра", + "---- ----", + "ге ти", + "г ети", + "▁ви дно", + "▁вид но", + "▁ видно", + "▁об щество", + "▁обще ство", + "▁обществ о", + "▁се зона", + "▁сезо на", + "▁сезон а", + "▁C ount", + "▁Co unt", + "▁зе ле", + "▁ зеле", + "сно ва", + "снов а", + "с нова", + "lin e", + "li ne", + "l ine", + "▁о прав", + "▁оп рав", + "▁се ла", + "▁сел а", + "▁mov ed", + "▁move d", + "М и", + "▁жа ло", + "▁жал о", + "▁ жало", + "▁le vel", + "▁ level", + "жа я", + "ж ая", + "же ли", + "жел и", + "▁C or", + "▁Co r", + "▁ка кая", + "▁как ая", + "▁б рон", + "▁бро н", + "▁S w", + "▁Ко ми", + "▁Ком и", + "▁ше сти", + "▁шест и", + "▁говори тся", + "▁говорит ся", + "▁говор ится", + "▁гово рится", + "▁С мо", + "▁См о", + "▁ге о", + "▁пись ма", + "ти ческим", + "тически м", + "▁Р С", + "con om", + "▁ком понен", + "▁компо нен", + "про тив", + "проти в", + "▁экспе ди", + "▁Между народ", + "▁ид ти", + "▁ныне ш", + "▁марш ру", + "▁ка кого", + "▁по пы", + "▁поп ы", + "▁эк спо", + "▁экс по", + "▁s on", + "▁so n", + "▁ son", + "m it", + "▁воен ного", + "▁военно го", + "▁вое нного", + "▁во спомина", + "▁вос помина", + "▁воспо мина", + "▁И спо", + "▁Ис по", + "▁о казывается", + "▁оказыва ется", + "▁оказывает ся", + "▁соста ва", + "▁состав а", + "▁Ита лии", + "▁Итали и", + "▁count ry", + "лы ми", + "лым и", + "▁дума ю", + "▁Ле нина", + "▁Ленин а", + "▁Лен ина", + "▁Лени на", + "▁пред вари", + "▁st at", + "▁ори гина", + "▁по яс", + "▁поя с", + "▁гла вный", + "▁глав ный", + "чен ко", + "ч енко", + "▁us ing", + "▁ using", + "▁помо чь", + "▁c over", + "▁co ver", + "▁s ide", + "▁ side", + "ci l", + "c il", + "▁э ми", + "▁эм и", + "▁говори ли", + "▁говорил и", + "▁говор или", + "▁гово рили", + "▁ говорили", + "▁п лен", + "▁пле н", + "▁ плен", + "▁ко ль", + "▁кол ь", + "▁ коль", + "▁Бо г", + "▁с хе", + "▁сх е", + "▁n ational", + "▁nation al", + "ри ка", + "рик а", + "▁соб ственно", + "▁собствен но", + "▁промышлен ности", + "▁за то", + "▁зат о", + "▁с тек", + "▁ст ек", + "▁сте к", + "▁f ac", + "▁fa c", + "▁край не", + "▁четыре х", + "s p", + "ru ction", + "ruct ion", + ": //", + "▁с праши", + "▁спра ши", + "ut ed", + "ute d", + "u ted", + "▁е два", + "▁ед ва", + "▁на строе", + "▁настро е", + "il ar", + "ila r", + "ни ках", + "ника х", + "го р", + "г ор", + "▁h ow", + "▁уви деть", + "▁увиде ть", + "▁созда ние", + "▁соз дание", + "es e", + "e se", + "▁ст рем", + "▁стре м", + "▁стр ем", + "▁h owever", + "▁how ever", + "▁чемпиона та", + "▁чемпионат а", + "▁orig inal", + "▁origin al", + "ge r", + "g er", + "▁те ку", + "▁тек у", + "an c", + "▁ле ген", + "▁лег ен", + "▁у беди", + "▁убе ди", + "▁В В", + "▁предста вления", + "▁J apan", + "▁Ф или", + "▁Фи ли", + "▁te chn", + "▁продол жи", + "а л", + "▁объек тов", + "▁объект ов", + "▁Бы л", + "▁к рая", + "▁кра я", + "▁кр ая", + "▁на ступа", + "▁наступ а", + "▁char acter", + "▁charact er", + "ви в", + "в ив", + "ня ли", + "нял и", + "н яли", + "le ss", + "les s", + "l ess", + "▁ch ang", + "▁ chang", + "▁следу ющие", + "am ple", + "amp le", + "пт и", + "п ти", + "▁сво ё", + "хо зяй", + "▁пар ти", + "▁парт и", + "▁w in", + "▁ win", + "▁С ов", + "▁Со в", + "▁вариан т", + "▁вариа нт", + "▁k e", + "▁ ke", + "▁кора бля", + "▁исклю чительно", + "▁исключи тельно", + "▁Че лове", + "▁ Челове", + "▁А фри", + "▁Аф ри", + "ри ли", + "рил и", + "р или", + "▁К ре", + "▁ Кре", + "▁ника кого", + "зи л", + "з ил", + "▁э ска", + "▁эс ка", + "▁эле мента", + "▁элемент а", + "▁кре п", + "▁ креп", + "▁S ec", + "▁Se c", + "hi ng", + "h ing", + "ро вка", + "ров ка", + "ol ution", + "▁Ц ер", + "▁Це р", + "ст вий", + "стви й", + "▁З е", + "▁ Зе", + "жде ны", + "жден ы", + "же но", + "жен о", + "▁к ара", + "▁ка ра", + "▁кар а", + "▁ кара", + "ль ности", + "льно сти", + "▁Р ы", + "тель ством", + "тельство м", + "тельств ом", + "ak en", + "ake n", + "a ken", + "▁E n", + "▁ En", + "▁ка кую", + "▁как ую", + "▁со ревнова", + "▁Т ут", + "▁Ту т", + "▁includ e", + "▁желез нодоро", + "мы сле", + "▁С лу", + "▁про ходит", + "▁проходи т", + "▁проход ит", + "▁прохо дит", + "▁в тор", + "▁вто р", + "▁appe ar", + "▁app ear", + "▁веро ят", + "▁ вероят", + "тех ни", + "ъ я", + "▁B ut", + "▁Bu t", + "▁ But", + "▁на рко", + "▁нар ко", + "ше нию", + "▁успе ш", + "▁Б ри", + "▁Г ар", + "▁Га р", + "▁участ ников", + "▁участник ов", + "▁Р я", + "вля ют", + "в ляют", + "▁жи л", + "▁ж ил", + "▁ жил", + "▁не де", + "▁ре зер", + "▁рез ер", + "b e", + "▁про веде", + "▁прове де", + "ме нить", + "мен ить", + "мени ть", + "▁да нном", + "▁дан ном", + "се л", + "▁к е", + "▁ ке", + "▁круп ных", + "▁особенно сти", + "▁особен ности", + "▁c he", + "▁ch e", + "▁ che", + "re st", + "res t", + "r est", + "▁Се годня", + "▁пи сать", + "▁писа ть", + "▁ писать", + "▁п ласти", + "▁пла сти", + "▁пласт и", + "▁за тра", + "▁з атра", + "▁зат ра", + "вё л", + "в ёл", + "тер на", + "▁St ate", + "▁пер вая", + "▁publ ished", + "▁вы деля", + "▁выде ля", + "▁эле ментов", + "▁элемент ов", + "▁f ore", + "▁for e", + "▁ fore", + "▁т рав", + "▁тра в", + "▁тр ав", + "▁у видел", + "▁уви дел", + "▁увиде л", + "ro te", + "r ote", + "ду ет", + "ро ваны", + "рова ны", + "рован ы", + "ко вский", + "ков ский", + "▁не которое", + "▁некото рое", + "▁по нял", + "▁поня л", + "▁пон ял", + "ord s", + "en tion", + "ent ion", + "▁э волю", + "же на", + "жен а", + "ж ена", + "▁по рядка", + "▁поряд ка", + "кл е", + "к ле", + "▁сказа ла", + "▁ска зала", + "▁сказал а", + "▁сказ ала", + "ще му", + "щем у", + "▁Ге нера", + "▁Ген ера", + "▁при род", + "▁приро д", + "es ts", + "est s", + "▁отмет ил", + "▁отме тил", + "amp ions", + "ampion s", + "▁же л", + "▁ жел", + "ap e", + "a pe", + "▁pop ulation", + "▁возника ет", + "▁Т ер", + "▁Те р", + "по те", + "пот е", + "п оте", + "▁М оло", + "▁Мо ло", + "▁Мол о", + "▁ Моло", + "▁устрой ства", + "▁устройств а", + "▁f riend", + "▁ friend", + "ше нием", + "шение м", + "▁с ложи", + "▁сло жи", + "лк е", + "л ке", + "▁g r", + "▁ gr", + "чи ная", + "чина я", + "чин ая", + "▁чемпиона те", + "▁чемпионат е", + "▁поз днее", + "▁позд нее", + "се рва", + "сер ва", + "▁мл рд", + "▁коман да", + "▁команд а", + "▁се ле", + "▁сел е", + "▁с порт", + "▁спо рт", + "▁спор т", + "▁ спорт", + "▁раз ум", + "▁разу м", + "▁ разум", + "▁свобо ды", + "▁свобод ы", + "▁е писко", + "▁ еписко", + "▁Пер ед", + "▁Пе ред", + "▁Пере д", + "▁се льского", + "▁сель ского", + "( )", + "▁за ка", + "▁з ака", + "▁зак а", + "▁k now", + "▁kn ow", + "▁ know", + "по лу", + "пол у", + "▁h aving", + "▁ha ving", + "▁че му", + "▁чем у", + "▁ чему", + "▁com pet", + "▁comp et", + "ти лись", + "тили сь", + "▁на ста", + "▁нас та", + "▁пре бы", + "ко ль", + "кол ь", + "ча сти", + "час ти", + "част и", + "z e", + "re am", + "▁P res", + "▁Pr es", + "▁Pre s", + "▁при шел", + "во л", + "в ол", + "Р А", + "▁болез ни", + "▁боле зни", + "▁м лад", + "▁мл ад", + "▁мла д", + "▁c ult", + "лл о", + "л ло", + "▁ко нец", + "▁кон ец", + "▁коне ц", + "▁ конец", + "▁по иска", + "▁пои ска", + "▁поиск а", + "та на", + "тан а", + "т ана", + "вле нный", + "влен ный", + "в ленный", + "ев ского", + "е вского", + "йте сь", + "й тесь", + "▁ра ссу", + "▁рас су", + "▁расс у", + "▁ рассу", + "вё р", + "в ёр", + "нно м", + "н ном", + "▁по ведения", + "▁пове дения", + "▁in fl", + "▁inf l", + "▁от куда", + "▁отк уда", + "b l", + "Н О", + "▁количе ства", + "▁The se", + "▁Th ese", + "▁у читы", + "▁учи ты", + "▁l ook", + "▁lo ok", + "▁ look", + "▁не что", + "▁ро ждения", + "▁s it", + "▁исследова ний", + "ть е", + "т ье", + "▁с форми", + "▁служ бу", + "▁служб у", + "▁act iv", + "ra w", + "r aw", + "▁Will iam", + "тя брь", + "▁пол ной", + "▁полно й", + "en cy", + "enc y", + "сно е", + "с ное", + "▁n ever", + "▁ne ver", + "▁произ водство", + "▁производ ство", + "сы ла", + "ко ле", + "кол е", + "к оле", + "▁Р об", + "▁Ро б", + "▁во дой", + "▁водо й", + "▁вод ой", + "ст ера", + "сте ра", + "стер а", + "с тера", + "▁ря да", + "▁ряд а", + "▁И зра", + "▁Из ра", + "▁моло до", + "▁мол одо", + "▁молод о", + "ро ваться", + "рова ться", + "ровать ся", + "▁пу сть", + "▁дол жности", + "▁долж ности", + "▁должно сти", + "▁r ole", + "▁ro le", + "▁f re", + "▁fr e", + "▁конку рен", + "▁конкур ен", + "al d", + "a ld", + "ци о", + "ri es", + "rie s", + "r ies", + "ло ж", + "li sh", + "l ish", + "сю да", + "▁не дели", + "▁неде ли", + "▁кни г", + "ми т", + "м ит", + "▁раз вер", + "▁разве р", + "▁кни га", + "▁книг а", + "▁оконча ния", + "▁re al", + "▁ real", + "▁па мят", + "▁памя т", + "▁от дела", + "▁отде ла", + "▁отдел а", + "▁I V", + "▁ IV", + "▁ТА СС", + "▁ ТАСС", + "op s", + "o ps", + "▁т ща", + "▁п ет", + "▁пе т", + "▁ пет", + "▁st ation", + "▁stat ion", + "▁о х", + "au l", + "a ul", + "▁П оз", + "▁По з", + "ан ь", + "а нь", + "▁дере вя", + "▁дерев я", + "▁П равда", + "не та", + "нет а", + "пи л", + "п ил", + "▁Ва силь", + "▁Васи ль", + "▁Вас иль", + "▁нача льник", + "▁началь ник", + "▁харак тера", + "▁характер а", + "▁не со", + "▁нес о", + "▁Ма кси", + "▁Мак си", + "▁Макс и", + "▁мето д", + "▁мет од", + "▁пу сты", + "▁bus iness", + "▁с лыша", + "▁слы ша", + "▁ти ту", + "▁за держа", + "чи лся", + "чил ся", + "ч ился", + "▁К ара", + "▁Ка ра", + "▁Кар а", + "et h", + "e th", + "▁d ied", + "▁di ed", + "▁die d", + "▁га ран", + "▁гар ан", + "ье в", + "ь ев", + "\" [", + "ре нь", + "рен ь", + "р ень", + "ду мы", + "дум ы", + "▁start ed", + "▁star ted", + "▁ста ти", + "▁ стати", + "▁A cc", + "▁Ac c", + "▁t em", + "▁te m", + "ни ться", + "нить ся", + "▁бом барди", + "но вение", + "нове ние", + "▁пи ло", + "▁ пило", + "мо му", + "мом у", + "▁на ка", + "▁н ака", + "▁во сь", + "▁вос ь", + "▁за пу", + "ва нию", + "вани ю", + "же нные", + "жен ные", + "▁случа ев", + "▁случае в", + "▁спро сил", + "▁спрос ил", + "▁по лк", + "▁пол к", + "on es", + "one s", + "o nes", + "▁обо зна", + "▁A ng", + "▁An g", + "ar ent", + "are nt", + "aren t", + "a rent", + "де те", + "дет е", + "д ете", + "▁на ша", + "▁наш а", + "▁публи ка", + "▁ре шили", + "▁реши ли", + "▁решил и", + "▁государ ство", + "▁государств о", + "че стве", + "▁пре образова", + "▁преобра зова", + "▁представи телей", + "ib er", + "i ber", + "▁att empt", + "ст ен", + "сте н", + "с тен", + "го вари", + "гова ри", + "▁M ed", + "▁Me d", + "▁во сем", + "▁вос ем", + "▁ре гули", + "▁регу ли", + "▁ регули", + "ня ми", + "ням и", + "н ями", + "▁ни как", + "▁ника к", + "▁ник ак", + "▁по рядок", + "▁поряд ок", + "▁порядо к", + "▁у креп", + "▁укре п", + "ли чия", + "личи я", + "▁обстоя тельства", + "▁обстоятельств а", + "Т а", + "ol e", + "o le", + "ма то", + "мат о", + "ди м", + "д им", + "де я", + "на р", + "н ар", + "▁тек ст", + "os p", + "o sp", + "Е Л", + "▁comm and", + "Й ор", + "се ния", + "▁начина ется", + "▁начинает ся", + "u k", + "▁перио да", + "▁период а", + "▁пери ода", + "жа ют", + "жаю т", + "ст ры", + "стр ы", + "с тры", + "▁слу ша", + "▁ слуша", + "емы м", + "е мым", + "▁я вно", + "▁яв но", + "ле ра", + "лер а", + "л ера", + "ver s", + "v ers", + "ac hed", + "ach ed", + "ache d", + "a ched", + "ду ш", + "▁фа куль", + "▁Х и", + "▁вы бира", + "▁выби ра", + "ра баты", + "сло вно", + "слов но", + "▁приня то", + "▁принят о", + "▁о дному", + "▁од ному", + "▁одно му", + "▁одном у", + "▁ре а", + "▁Э р", + "▁p rote", + "▁pro te", + "▁pr ote", + "▁prot e", + "С и", + "▁Анд рей", + "▁Андре й", + "▁И р", + "▁R es", + "▁Re s", + "▁ Res", + "▁О соб", + "▁Ос об", + "▁Осо б", + "юще му", + "ющем у", + "ю щему", + "ве ц", + "в ец", + "▁зна ком", + "▁знако м", + "▁знак ом", + "▁сос редото", + "зм е", + "з ме", + "▁п рин", + "▁при н", + "▁пр ин", + "че тся", + "чет ся", + "ч ется", + "va l", + "v al", + "кон ча", + "▁Зем ли", + "▁Зе мли", + "ли за", + "ши на", + "шин а", + "ш ина", + "▁за коном", + "▁зако ном", + "▁закон ом", + "▁законо м", + "▁зак оном", + "▁W ith", + "▁Wi th", + "▁н рави", + "▁нрав и", + "▁нра ви", + "▁шта ба", + "▁штаб а", + "tt p", + "▁не про", + "▁да нной", + "▁дан ной", + "▁к лад", + "▁кла д", + "▁ клад", + "▁каж дом", + "▁каждо м", + "чи е", + "▁со блю", + "▁соб лю", + "▁иностран ных", + "b s", + "▁под вод", + "▁подво д", + "▁поли тической", + "▁полити ческой", + "▁ политической", + "▁По скольку", + "an a", + "a na", + "▁## ##", + "▁### #", + "▁ ####", + "▁w ant", + "▁wa nt", + "▁д ре", + "▁др е", + "▁ дре", + "▁hist ory", + "▁histor y", + "le v", + "l ev", + "▁появи лись", + "▁поя вились", + "? ?", + "▁и ной", + "▁ин ой", + "▁ино й", + "му ли", + "▁d ays", + "▁day s", + "▁на сколько", + "▁e duc", + "▁ed uc", + "▁ба ш", + "▁s ee", + "▁se e", + "▁ see", + "▁кон кур", + "▁конку р", + "гр и", + "г ри", + "кра тно", + "крат но", + "▁ар мия", + "▁арми я", + "р но", + "стро йки", + "строй ки", + "▁в у", + "▁ ву", + "жно м", + "ж ном", + "▁кон ферен", + "▁конф ерен", + "▁конфе рен", + "▁ конферен", + "▁мат че", + "▁матч е", + "▁n orth", + "▁nor th", + "▁nort h", + "▁о пу", + "▁оп у", + "▁К ан", + "▁Ка н", + "ра б", + "▁Ка ждый", + "▁тор же", + "п лы", + "▁Р ей", + "▁Ре й", + "▁раз би", + "ль ному", + "льно му", + "льном у", + "▁же ст", + "сны м", + "с ным", + "▁v iew", + "▁ view", + "чни к", + "ч ник", + "за ть", + "чи ться", + "чить ся", + "▁фло та", + "▁флот а", + "▁род ствен", + "▁P art", + "▁Par t", + "▁announ ced", + "▁д воря", + "▁дво ря", + "▁двор я", + "ня ются", + "няют ся", + "ти ла", + "тил а", + "т ила", + "▁r ad", + "▁ra d", + "▁ rad", + "▁ру бе", + "▁руб е", + "▁Ино гда", + "▁го ре", + "▁гор е", + "▁ горе", + "▁ра кет", + "▁рак ет", + "▁раке т", + "▁t w", + "▁да нный", + "▁дан ный", + "▁m ember", + "▁me mber", + "▁mem ber", + "▁continu ed", + "▁contin ued", + "▁continue d", + "▁Р им", + "▁Ри м", + "▁современ ной", + "▁S up", + "▁Su p", + "▁ком мента", + "▁коммен та", + "▁cl os", + "▁ clos", + "▁неболь шой", + "▁небольшо й", + "▁зем ля", + "▁го с", + "▁г ос", + "le ar", + "l ear", + "en eral", + "ener al", + "ene ral", + "зм ом", + "з мом", + "▁ка мен", + "▁кам ен", + "▁каме н", + "▁м аги", + "▁ма ги", + "▁маг и", + "▁напра влен", + "ма й", + "м ай", + "es tern", + "est ern", + "ester n", + "▁г им", + "▁ги м", + "▁ гим", + "ло ви", + "лов и", + "▁институ та", + "▁институт а", + "ство вала", + "ствовал а", + "ствова ла", + "▁В ен", + "▁Ве н", + "▁ Вен", + "iv id", + "▁по вре", + "▁пов ре", + "▁g iven", + "▁give n", + "▁ша х", + "▁ шах", + "▁и ск", + "▁ис к", + "М е", + "▁вз ял", + "▁взя л", + "то ли", + "тол и", + "▁L a", + "▁ La", + "or ies", + "ori es", + "o ries", + "М ы", + "▁l et", + "▁le t", + "▁ let", + "our n", + "o urn", + "▁дальней шем", + "▁кла сс", + "▁ класс", + "▁не одно", + "▁нео дно", + "▁я дер", + "▁яд ер", + "▁ ядер", + "ва нием", + "вание м", + "вани ем", + "▁за вода", + "▁заво да", + "▁завод а", + "oo n", + "o on", + "ra g", + "r ag", + "не те", + "нет е", + "н ете", + "фи циаль", + "фици аль", + "▁в ку", + "▁ вку", + "▁об служи", + "▁и гр", + "▁иг р", + "▁На ча", + "▁Нач а", + "▁him self", + "% .", + "▁полу чения", + "зи ру", + "ю р", + "▁во ди", + "▁вод и", + "▁ води", + "▁ис ход", + "▁м еры", + "▁ме ры", + "▁мер ы", + "▁ меры", + "▁hel p", + "▁за рабо", + "▁зара бо", + "▁голо с", + "▁гол ос", + "▁s qu", + "за ми", + "зам и", + "▁Ива нович", + "es ted", + "est ed", + "▁чле ном", + "▁член ом", + "эл ь", + "э ль", + "ште й", + "шт ей", + "ш тей", + "▁до ли", + "▁дол и", + "че ра", + "чер а", + "ч ера", + "▁cont rol", + "▁contro l", + "ж ка", + "во ен", + "вое н", + "in o", + "i no", + "си и", + "бе нок", + "бен ок", + "сс ер", + "ссе р", + "с сер", + "▁основа нии", + "▁осно вании", + "ци ям", + "ция м", + "▁хозяй ства", + "▁хозяйств а", + "▁ва ми", + "▁вам и", + "▁ вами", + "▁ак тивно", + "▁актив но", + "▁предста вить", + "▁представи ть", + "▁про ведения", + "▁прове дения", + "▁проведе ния", + "▁пере вод", + "▁перево д", + "▁х ло", + "▁ хло", + "▁Мини стер", + "жи м", + "ж им", + "▁за писа", + "▁запи са", + "▁соб ственной", + "▁собствен ной", + "▁собственно й", + "▁пред ложил", + "▁предложи л", + "ind ows", + "▁Д жей", + "▁Дж ей", + "▁Дже й", + "б ку", + "▁сти хот", + "нс кая", + "н ская", + "▁шко лу", + "▁школ у", + "▁нер в", + "▁в ходит", + "▁вход ит", + "▁входи т", + "e f", + "▁о з", + "▁ оз", + "af f", + "a ff", + "бла го", + "б лаго", + "▁w rote", + "ще нием", + "щение м", + "▁исполь зование", + "▁использова ние", + "▁Can ad", + "▁счита ют", + "▁считаю т", + "▁return ed", + "▁пре тен", + "op h", + "o ph", + "▁м ед", + "▁ме д", + "▁ мед", + "▁Моск ва", + "▁ Москва", + "▁гра ницы", + "▁грани цы", + "▁границ ы", + "▁зада ч", + "ot s", + "o ts", + "▁По ка", + "▁l ist", + "▁ list", + "▁тре ни", + "▁Е ги", + "▁совет ских", + "П ри", + "▁а дре", + "▁ад ре", + "▁s w", + "▁ sw", + "жь е", + "ж ье", + "▁заклю чается", + "▁заключа ется", + "д ю", + "▁И ль", + "▁Ил ь", + "бе рг", + "бер г", + "ль ность", + "льно сть", + "▁досто ин", + "▁А каде", + "▁По ли", + "▁Пол и", + "ug g", + "▁на оборот", + "▁А зии", + "ра с", + "р ас", + "▁выну жден", + "▁в доль", + "▁вдо ль", + "▁бо ро", + "▁бор о", + "▁ боро", + "кну л", + "к нул", + "▁s erved", + "▁serv ed", + "▁ser ved", + "▁serve d", + "▁о хва", + "▁ох ва", + "▁в ру", + "▁вр у", + "▁b est", + "▁be st", + "▁bes t", + "▁со знания", + "▁созна ния", + "▁в верх", + "▁не ё", + "▁ма сса", + "▁масс а", + "▁А к", + "ка л", + "к ал", + "▁О к", + "▁мо их", + "▁мои х", + "▁a uthor", + "▁auth or", + "Б а", + "▁Ш та", + "▁с обо", + "▁со бо", + "▁соб о", + "▁при дется", + "▁прид ется", + "▁придет ся", + "' ,", + "▁авто ра", + "▁ав тора", + "▁автор а", + "▁из ба", + "▁М О", + "▁ МО", + "▁гла вного", + "▁глав ного", + "ча ми", + "чам и", + "▁in form", + "▁inf orm", + "▁нау чно", + "ме нтом", + "мен том", + "мент ом", + "▁пред ше", + "▁rep resent", + "▁больше ви", + "в ё", + "др ы", + "д ры", + "▁ге не", + "▁ген е", + "▁ гене", + "тво р", + "т вор", + "чи в", + "ч ив", + "oun cil", + "Б е", + "▁спе ци", + "▁спец и", + "= =", + "fer ence", + "fe rence", + "▁от носятся", + "▁относя тся", + "▁относят ся", + "us ed", + "use d", + "▁вы став", + "▁выс тав", + "▁выста в", + "▁губер нии", + "кан чи", + "▁Eng lish", + "▁ба ссе", + "for d", + "f ord", + "с ё", + "▁О но", + "▁Он о", + "▁сек суаль", + "▁О чень", + "▁Оче нь", + "бе ли", + "▁t ot", + "▁to t", + "▁ли кви", + "▁develop ment", + "▁дости жения", + "▁совет ской", + "▁сове тской", + "▁советско й", + "▁stud ents", + "▁student s", + "re g", + "кро ви", + "кров и", + "▁право слав", + "▁правосла в", + "▁P ark", + "▁Par k", + "o id", + "er r", + "нно сти", + "н ности", + "▁ге рои", + "▁геро и", + "▁профе ссор", + "▁профессо р", + "ab or", + "a bor", + "ir c", + "i rc", + "▁Пре зиден", + "▁от сутствие", + "▁отсут ствие", + "ви лись", + "вили сь", + "че нной", + "чен ной", + "ченно й", + "▁доро ге", + "▁дорог е", + "ing ton", + "▁Af ric", + "▁коми тета", + "▁комитет а", + "▁комите та", + "▁цар я", + "▁ца ря", + "▁го ризо", + "▁гор изо", + "▁на лого", + "▁налог о", + "ни ла", + "нил а", + "н ила", + "▁com mon", + "▁comm on", + "▁В скоре", + "▁дерев ни", + "▁коман дир", + "▁команди р", + "▁команд ир", + "▁рус ские", + "▁и нду", + "▁ин ду", + "▁срав нению", + "к л", + "▁С пи", + "▁во ин", + "▁вои н", + "▁ды ха", + "▁ дыха", + "▁по бере", + "▁побе ре", + "▁дру гую", + "▁друг ую", + "▁другу ю", + "▁высо кой", + "▁высоко й", + "чко в", + "ч ков", + "▁у вели", + "▁уве ли", + "▁посе ления", + "▁pre vious", + "да ет", + "▁счита ется", + "▁считает ся", + "▁на пи", + "n a", + "▁p ain", + "▁неде лю", + "▁Вы со", + "▁Выс о", + "▁pos ition", + "▁ position", + "ти ровал", + "тирова л", + "▁су хо", + "▁Ген ри", + "▁f ield", + "▁ field", + "▁соответ ственно", + "надца ти", + "rid ge", + "▁bel ie", + "▁страте ги", + "▁горо дов", + "▁город ов", + "ви га", + "жде нию", + "ж дению", + "▁атмо сф", + "сты м", + "с тым", + "▁d oes", + "▁do es", + "▁s omet", + "▁so met", + "▁some t", + "▁som et", + "▁ба зе", + "▁баз е", + "▁pr iv", + "▁pri v", + "▁прави льно", + "▁D av", + "▁обра тно", + "▁ла бора", + "ствен ными", + "стве нными", + "ственным и", + "ственны ми", + "▁На конец", + "ез де", + "езд е", + "i us", + "▁з дания", + "▁зда ния", + "pl ic", + "▁оружи е", + "▁ору жие", + "▁ста тье", + "▁стать е", + "ст ам", + "ста м", + "с там", + "▁П О", + "▁ ПО", + "▁пор тре", + "▁порт ре", + "▁сель со", + "▁Э н", + "▁у правление", + "▁упра вление", + "▁ли це", + "▁лиц е", + "имо сть", + "и мость", + "ir on", + "iro n", + "i ron", + "▁но мер", + "▁номе р", + "▁ номер", + "▁и дея", + "▁иде я", + "▁вы ста", + "▁выс та", + "▁in f", + "▁ inf", + "▁успе шно", + "▁успеш но", + "▁компью тер", + "▁l ess", + "▁le ss", + "▁les s", + "▁ less", + "да н", + "д ан", + "▁с читал", + "▁счита л", + "▁m ag", + "▁d est", + "▁de st", + "▁des t", + "▁S er", + "▁Se r", + "▁неда вно", + "▁недав но", + "se qu", + "s equ", + "▁уча ствовал", + "▁Г лава", + "▁Гла ва", + "▁Глав а", + "щи ки", + "щик и", + "▁пре де", + "▁пред е", + "▁ преде", + "▁S oc", + "▁So c", + "ст ный", + "с тный", + "▁Ж у", + "▁но чью", + "▁ночь ю", + "E R", + "▁ar r", + "▁N e", + "▁ Ne", + "▁пере мен", + "▁пер емен", + "▁пе ремен", + "▁переме н", + "▁окон чил", + "▁Алек сей", + "▁Алексе й", + "цен тра", + "центр а", + "ab ly", + "abl y", + "▁нена ви", + "▁Кра сной", + "▁Красно й", + "▁G l", + "▁бе сс", + "▁бес с", + "for man", + "form an", + "▁С П", + "▁ СП", + "не нные", + "нен ные", + "▁на селение", + "▁насе ление", + "▁im p", + "▁i mp", + "сл я", + "с ля", + "▁удо сто", + "шко й", + "ш кой", + "▁по вер", + "▁пове р", + "▁пов ер", + "мы ми", + "мым и", + "▁зна ния", + "▁ знания", + "▁обу чения", + "du ct", + "duc t", + "d uct", + "▁д обра", + "▁до бра", + "▁доб ра", + "чко й", + "ч кой", + "▁на чать", + "▁нача ть", + "▁c ase", + "▁cas e", + "▁D es", + "▁De s", + "▁С ла", + "▁сто и", + "В О", + "▁T r", + "▁Ко ман", + "▁Ком ан", + "▁П ло", + "▁тре во", + "▁тр ево", + "▁по ведение", + "▁пове дение", + "▁с че", + "▁polit ical", + "▁строи тельства", + "фо в", + "ф ов", + "▁проце ду", + "▁за кона", + "▁зако на", + "▁закон а", + "▁зак она", + "▁по стра", + "▁пос тра", + "▁пост ра", + "▁пе сни", + "▁пес ни", + "▁м ай", + "▁ма й", + "▁ май", + "B C", + "де нти", + "ден ти", + "дент и", + "▁вы шла", + "▁выс казыва", + "▁выска зыва", + "ue d", + "u ed", + "▁Ро ссию", + "▁Росси ю", + "▁Рос сию", + "ба я", + "б ая", + "▁возду ха", + "▁воздух а", + "щи ка", + "щик а", + "▁О лимпий", + "ря ду", + "ряд у", + "▁симво ли", + "▁символ и", + "▁H igh", + "▁R ep", + "▁Re p", + "▁в пло", + "сти ческих", + "стически х", + "с тических", + "▁ве щества", + "▁веществ а", + "▁веще ства", + "▁p ut", + "▁ put", + "▁оста льные", + "▁ост альные", + "ро вой", + "ров ой", + "рово й", + "▁К ли", + "▁v ill", + "про с", + "пр ос", + "п рос", + "ку па", + "куп а", + "▁Ph il", + "▁принима ть", + "ко вого", + "ково го", + "av y", + "▁с ай", + "▁са й", + "▁ сай", + "▁по о", + "сту пили", + "ступ или", + "ступи ли", + "ступил и", + "▁Верхов ного", + "ко сть", + "кос ть", + "нг а", + "н га", + "▁Де ло", + "С е", + "сты й", + "с тый", + "▁суще ствования", + "▁существо вания", + "▁существова ния", + "▁потре бо", + "▁потреб о", + "▁i de", + "▁id e", + "▁ ide", + "▁сооб щения", + "▁сообще ния", + "▁s pecial", + "▁spe cial", + "▁spec ial", + "art ment", + "▁от чет", + "▁отче т", + "▁послед них", + "ni ng", + "n ing", + "et work", + "ра т", + "р ат", + "▁p ract", + "▁pr act", + "▁pra ct", + "м м", + "▁ката стро", + "▁п рика", + "▁при ка", + "▁ф ла", + "▁о са", + "▁ос а", + "▁ оса", + "▁ро ст", + "▁рос т", + "yl e", + "y le", + "▁за втра", + "▁var ious", + "▁vari ous", + "▁но си", + "▁н оси", + "▁нос и", + "▁ носи", + "A S", + "▁a nt", + "▁an t", + "▁ ant", + "▁большо го", + "▁с ила", + "▁си ла", + "▁сил а", + "▁ сила", + "Р О", + "▁госпо д", + "▁гос под", + "дж ет", + "дже т", + "д жет", + "ще но", + "щен о", + "▁оказа лась", + "▁сна ря", + "рно й", + "р ной", + "▁t ro", + "▁tr o", + "▁me et", + "зер бай", + "▁г ром", + "▁гро м", + "▁гр ом", + "▁ гром", + "▁А нто", + "▁Ан то", + "▁c urrent", + "▁cur rent", + "▁de fe", + "▁def e", + "▁## #", + "▁# ##", + "▁о риен", + "▁ори ен", + "Р е", + "зербай джа", + "▁ x", + "▁опреде лить", + "in ation", + "ina tion", + "▁наз вания", + "▁назва ния", + "▁за му", + "▁зам у", + "▁к ем", + "▁ке м", + "▁основ ные", + "▁осно вные", + "не сен", + "нес ен", + "несе н", + "▁сопрово жда", + "▁сожа лению", + "▁ф ер", + "▁фе р", + "▁ фер", + "пра во", + "прав о", + "▁import ant", + "▁вне за", + "im ent", + "ime nt", + "i ment", + "▁mil itary", + "▁Со лн", + "▁Сол н", + "▁си лой", + "▁сил ой", + "▁сило й", + "▁в низ", + "of f", + "o ff", + "сти ка", + "стик а", + "с тика", + "▁занима ться", + "▁занимать ся", + "▁Япо нии", + "▁газ еты", + "▁газе ты", + "▁газет ы", + "▁С ло", + "ща ются", + "щают ся", + "▁ z", + "▁се ми", + "▁сем и", + "▁муж чина", + "▁мужчи на", + "▁мужчин а", + "▁услови й", + "▁Пе тербур", + "▁Петер бур", + "▁ Петербур", + "▁пре пят", + "▁в ладель", + "▁вла дель", + "▁владе ль", + "▁владел ь", + "ба х", + "▁ма е", + "▁ин женер", + "▁инже нер", + "тно м", + "т ном", + "▁пара лле", + "▁и меется", + "▁име ется", + "▁имеет ся", + "де ления", + "деле ния", + "▁re se", + "▁r ese", + "▁res e", + "▁о ско", + "▁ос ко", + "нь ю", + "н ью", + "▁подо зре", + "▁бо же", + "▁ди ректор", + "▁дире ктор", + "▁по за", + "▁поз а", + "▁A g", + "▁вопро сов", + "▁вопрос ов", + "om b", + "o mb", + "▁С па", + "us h", + "u sh", + "▁T o", + "▁ To", + "нь я", + "н ья", + "ту рой", + "тур ой", + "туро й", + "▁S an", + "▁Sa n", + "▁ре ализации", + "▁реали зации", + "▁реа лизации", + "▁внутрен них", + "спо нден", + "it her", + "ith er", + "i ther", + "▁во обра", + "▁воо бра", + "зо к", + "з ок", + "ши ли", + "шил и", + "ш или", + "▁на ко", + "▁ нако", + ". ;", + "ст ю", + "с тю", + "▁Е е", + "▁Е му", + "▁с мотри", + "▁смо три", + "▁ смотри", + "▁мо ду", + "ivid ual", + "▁Фили п", + "еха ли", + "ехал и", + "е хали", + "▁И нтер", + "▁Ин тер", + "▁Инте р", + "▁ Интер", + "▁ста нов", + "▁стан ов", + "▁стано в", + "▁ станов", + "▁я й", + "▁о тре", + "▁от ре", + "▁О бы", + "▁Об ы", + "▁s outh", + "▁so uth", + "▁a way", + "▁aw ay", + "▁муж чин", + "▁мужчи н", + "▁ком мер", + "йс кого", + "й ского", + "зи ровать", + "зирова ть", + "▁контро ли", + "ли ва", + "лив а", + "ма ми", + "мам и", + "ul e", + "u le", + "▁прошло м", + "▁прош лом", + "▁д вой", + "▁дво й", + "▁связа но", + "▁связан о", + "▁связ ано", + "▁ди нами", + "▁дина ми", + "▁ динами", + "ко вым", + "ковы м", + "▁пара мет", + "▁обеспе чения", + "▁С т", + "▁импера тор", + "▁пожа луй", + "▁жела ние", + "до не", + "дон е", + "д оне", + "▁ограни чи", + "де лить", + "дели ть", + "дел ить", + "▁за пла", + "▁Пе тро", + "▁Пет ро", + "▁Петр о", + "ще р", + "щ ер", + "▁до ктор", + "▁док тор", + "way s", + "wa ys", + "w ays", + "▁На до", + "▁Над о", + "▁поня тия", + "за цию", + "▁россий ский", + "▁сф ере", + "▁сфе ре", + "al y", + "a ly", + "▁приме нения", + "▁В ам", + "▁Ва м", + "▁ка ком", + "▁как ом", + "▁и дей", + "▁иде й", + "▁ид ей", + "▁что б", + "is c", + "i sc", + "▁m ust", + "▁mus t", + "▁ба та", + "▁fe ature", + "▁feat ure", + "▁не прия", + "▁непри я", + "▁и скать", + "▁ис кать", + "▁иска ть", + "▁establ ished", + "▁establish ed", + "▁приходи лось", + "▁прихо дилось", + "но сит", + "носи т", + "нос ит", + "▁f urther", + "▁fur ther", + "▁экспери мента", + "▁эксперимент а", + "▁де лу", + "▁дел у", + "▁экономи ки", + "▁ст рого", + "▁стро го", + "▁эпо хи", + "во му", + "вом у", + "▁ве чер", + "▁вече р", + "▁появи лся", + "▁поя вился", + "er tain", + "ert ain", + "▁и грать", + "▁иг рать", + "▁игра ть", + "▁Су ще", + "og n", + "o gn", + "▁сто лк", + "▁стол к", + "▁Ве не", + "▁Вен е", + "▁ин вести", + "▁инве сти", + "ic ro", + "iv il", + "▁пра вила", + "▁прави ла", + "▁прав ила", + "▁правил а", + "▁S m", + "▁со держание", + "▁содержа ние", + "ut es", + "ute s", + "u tes", + "▁у лицы", + "▁ули цы", + "▁улиц ы", + "▁спек так", + "▁спект ак", + "▁B r", + "▁сер дца", + "▁серд ца", + "▁о цени", + "▁оцен и", + "▁оце ни", + "▁на шем", + "▁наш ем", + "▁наше м", + "▁ос тался", + "▁оста лся", + "▁теле фон", + "▁телефо н", + "▁о сновы", + "▁основ ы", + "▁осно вы", + "id ence", + "ide nce", + "▁с ва", + "▁св а", + "▁гла вы", + "▁глав ы", + "ho ld", + "h old", + "▁c aus", + "▁во де", + "▁вод е", + "▁ воде", + "▁ру к", + "▁ рук", + "ти вное", + "тив ное", + "тивно е", + "▁Re g", + "op e", + "o pe", + "▁нача льника", + "▁началь ника", + "▁начальник а", + "▁f em", + "▁fe m", + "▁упра ж", + "вля л", + "в лял", + "ло сти", + "▁sim ilar", + "▁Ф ри", + "пер вых", + "▁за интере", + "не но", + "нен о", + "▁скоро сти", + "▁си туация", + "▁ситуа ция", + "▁int ro", + "▁к реди", + "▁кре ди", + "▁кр еди", + "▁университе т", + "▁бу к", + "▁S ch", + "▁Sc h", + "вка з", + "в каз", + "▁С пе", + "▁потре би", + "▁потреб и", + "▁есте ственно", + "му м", + "м ум", + "▁вос прия", + "▁воспри я", + "ко л", + "к ол", + "р ных", + "▁про вести", + "▁прове сти", + "▁Вме сте", + "э т", + "▁ро ста", + "▁р оста", + "▁рост а", + "▁рос та", + "▁хо л", + "▁х ол", + "▁ хол", + "▁f ull", + "▁э н", + "▁ эн", + "▁А х", + "li n", + "l in", + "▁фа ши", + "▁ фаши", + "▁руко водство", + "▁руковод ство", + "▁дела ют", + "▁делаю т", + "▁гер цо", + "▁абсолю тно", + "▁Хо ро", + "▁Хор о", + "▁де та", + "▁дет а", + "▁g ames", + "▁game s", + "▁н рав", + "▁нра в", + "▁ нрав", + "▁st ory", + "▁A ct", + "▁Ac t", + "лет ний", + "▁встре чи", + "▁встреч и", + "▁вер то", + "▁у стой", + "▁ус той", + "▁сезо не", + "▁сезон е", + "ro ll", + "rol l", + "r oll", + "▁О ль", + "▁Ол ь", + "▁мар те", + "ra p", + "r ap", + "▁l im", + "▁ lim", + "▁t imes", + "▁time s", + "▁tim es", + "▁Д ол", + "▁До л", + "щё н", + "щ ён", + "igh ts", + "ight s", + "▁сте пень", + "▁степ ень", + "то вых", + "тов ых", + "▁ор дена", + "▁орде на", + "▁орден а", + "▁Ц и", + "▁сла вя", + "▁ славя", + "ep end", + "e pend", + "тно сть", + "т ность", + "al t", + "▁ис кусство", + "▁искус ство", + "▁искусств о", + "▁infl u", + "▁це лей", + "▁целе й", + "▁расска зал", + "▁рассказа л", + "▁рассказ ал", + "▁кон так", + "▁v ol", + "▁vo l", + "▁моз га", + "▁мозг а", + "тя ну", + "тян у", + "▁бе ло", + "▁гу берна", + "▁губер на", + "▁ губерна", + "▁дру зей", + "▁ин тен", + "▁инте н", + "▁подготов ки", + "▁подгото вки", + "▁k m", + "▁ km", + "▁от ста", + "▁отс та", + "▁капита ли", + "▁капи тали", + "▁капитал и", + "▁На род", + "▁Нар од", + "▁успе ха", + "▁успех а", + "▁прошло го", + "▁прош лого", + "▁тек ста", + "▁текст а", + "ше ны", + "шен ы", + "le ction", + "lect ion", + "l ection", + "▁то пли", + "▁топ ли", + "um b", + "u mb", + "ль ского", + "▁заболе вания", + "ro up", + "▁ю но", + "до вой", + "дов ой", + "дово й", + "▁бо го", + "▁бог о", + "▁ бого", + "▁Ка зах", + "▁Каза х", + "▁н ём", + "▁ нём", + "▁бе се", + "▁бес е", + "▁институ т", + "▁ма сло", + "ge ther", + "get her", + "g ether", + "▁впечат ление", + "▁so cial", + "▁soc ial", + "w h", + "▁t ogether", + "▁to gether", + "▁фак тически", + "▁Д э", + "▁in vest", + "▁inv est", + "▁авто мати", + "▁автома ти", + "▁моло дой", + "▁молодо й", + "▁молод ой", + "▁поли ции", + "▁национа льной", + "▁национально й", + "ampions hip", + "ampion ship", + "▁неме дленно", + "▁немедлен но", + "да ние", + "▁представи тели", + "▁дере вне", + "▁дерев не", + "д не", + "▁partic ular", + "▁поя вляется", + "▁появля ется", + "▁Б ез", + "▁Бе з", + "▁l ost", + "▁lo st", + "▁los t", + "▁после днее", + "▁послед нее", + "▁груп п", + "▁гру пп", + "▁эле менты", + "▁элемент ы", + "▁ле то", + "▁лет о", + "▁пре ступления", + "▁преступ ления", + "▁ти п", + "▁ тип", + "по рт", + "пор т", + "п орт", + "▁pop ular", + "▁не ред", + "▁нер ед", + "▁нере д", + "▁l angu", + "▁pro duction", + "▁produ ction", + "▁product ion", + "▁produc tion", + "ор дина", + "за л", + "з ал", + "▁объек та", + "▁объект а", + "▁объе кта", + "▁буду чи", + "▁буд учи", + "ро вании", + "рова нии", + "▁e t", + "▁ et", + "▁ко д", + "▁к од", + "ен ье", + "ень е", + "е нье", + "▁про ник", + "▁прони к", + "▁те му", + "▁тем у", + "ло жений", + "ложе ний", + "▁мат ча", + "▁матч а", + "па де", + "пад е", + "▁голо вы", + "▁голов ы", + "▁оче вид", + "o e", + "▁Ро дился", + "▁Роди лся", + "▁Род ился", + "ad em", + "ade m", + "▁ide nt", + "▁id ent", + "▁ ident", + "▁хо телось", + "▁хоте лось", + "куль п", + "▁да нного", + "▁дан ного", + "▁узна ть", + "ве ря", + "вер я", + "▁c omb", + "▁com b", + "▁co mb", + "▁f ail", + "▁fa il", + "▁г не", + "▁ гне", + "▁XV III", + "▁XVII I", + "▁XVI II", + "on ey", + "one y", + "o ney", + "ле га", + "лег а", + "▁д ро", + "▁др о", + "▁ дро", + "▁ar ch", + "▁ arch", + "▁в ъ", + "▁Д жа", + "▁Дж а", + "▁раз дра", + "▁h alf", + "но вой", + "нов ой", + "ново й", + "▁s ol", + "▁so l", + "ме нять", + "мен ять", + "меня ть", + "бо ро", + "бор о", + "э м", + "▁s um", + "▁su m", + "▁со ли", + "ь и", + "▁п рио", + "▁при о", + "▁П обе", + "▁По бе", + "▁вы зывает", + "▁вызыва ет", + "▁при вести", + "▁приве сти", + "▁д верь", + "▁две рь", + "▁двер ь", + "▁з дание", + "▁зда ние", + "y ing", + "при ят", + "прия т", + "ж нему", + "our s", + "o urs", + "▁ме ло", + "▁мел о", + "ре ги", + "▁с тво", + "▁ст во", + "▁ ство", + "▁ше л", + "▁ шел", + "▁би о", + "▁ био", + "на пример", + "▁e conom", + "▁строи тельство", + "m ost", + "ти ровать", + "тирова ть", + "▁к рат", + "▁кра т", + "▁кр ат", + "▁ крат", + "И Т", + "ar a", + "a ra", + "▁ва ш", + "▁ ваш", + "▁кон цу", + "▁конц у", + "р ные", + "▁кило метров", + "▁километ ров", + "▁Ев ге", + "▁Л ь", + "ро ссий", + "рос сий", + "▁органи заций", + "▁организа ций", + "▁К ана", + "▁Ка на", + "▁Кан а", + "он ом", + "оно м", + "о ном", + "▁Б ори", + "▁Бо ри", + "▁Бор и", + "▁Ле нинград", + "▁Ленин град", + "стан ции", + "ра на", + "ран а", + "р ана", + "is ing", + "ло жил", + "ложи л", + "лож ил", + "▁послед него", + "▁позна коми", + "▁Во ро", + "▁Вор о", + "▁Дмитри й", + "▁эти ми", + "▁этим и", + "у т", + "во зь", + "воз ь", + "▁во пло", + "цион ная", + "цио нная", + "чо к", + "ч ок", + "еха ть", + "е хать", + "▁янва ре", + "▁оста лось", + "▁специаль но", + "▁специ ально", + "▁сен тябре", + "▁Х ар", + "▁Ха р", + "▁при шли", + "ня ться", + "нять ся", + "▁само лета", + "▁самоле та", + "▁самолет а", + "ти вным", + "тив ным", + "▁три дца", + "▁у ма", + "▁ум а", + "▁ ума", + "▁м ерт", + "▁ме рт", + "▁мер т", + "▁акаде мии", + "▁академи и", + "▁сю да", + "▁ сюда", + "▁авгу сте", + "Ф СР", + "k y", + "Е Т", + "▁m atch", + "▁mat ch", + "▁дека бре", + "▁буду щем", + "в шем", + "нс ком", + "н ском", + "▁ind ividual", + "▁клад би", + "▁по ложении", + "▁поло жении", + "▁сере бря", + "▁c ond", + "▁con d", + "▁co nd", + "ui t", + "u it", + "▁care er", + "▁россий ских", + "ро вана", + "ров ана", + "рова на", + "рован а", + "▁g eneral", + "▁gener al", + "▁gen eral", + "▁но вым", + "▁ новым", + "см е", + "с ме", + "на нт", + "нан т", + "▁с хва", + "▁сх ва", + "▁в ода", + "▁во да", + "▁вод а", + "▁ вода", + "▁Le ague", + "▁во и", + "▁ вои", + "▁ви дели", + "▁виде ли", + "▁видел и", + "▁ex ample", + "▁exam ple", + "▁Ио ан", + "▁с ты", + "▁ст ы", + "▁ сты", + "▁слу жи", + "▁служ и", + "▁ служи", + "ня х", + "н ях", + "ен ью", + "ень ю", + "е нью", + "ст ской", + "с тской", + "▁у ника", + "▁уни ка", + "ca st", + "c ast", + "▁ш кола", + "▁шко ла", + "▁школ а", + "▁само лет", + "▁самоле т", + "ш ко", + "▁дра ма", + "el ls", + "ell s", + "▁коми ссии", + "▁бро са", + "▁ броса", + "▁tot al", + "▁В оло", + "▁Во ло", + "▁Вол о", + "▁и менем", + "▁име нем", + "▁имен ем", + "▁h uman", + "▁hum an", + "▁бур жу", + "▁h ig", + "ци пли", + "▁о гне", + "▁ог не", + "▁з доро", + "ис то", + "ист о", + "и сто", + "ти вная", + "тив ная", + "▁случай но", + "▁сем ья", + "▁семь я", + "от и", + "о ти", + "▁вы пла", + "▁ле кар", + "▁лек ар", + "▁бо гат", + "▁бога т", + "▁бог ат", + "ра й", + "р ай", + "= \"", + "▁матери алов", + "▁материа лов", + "▁материал ов", + "цион но", + "цио нно", + ".... ....", + "вшая ся", + "бра ть", + "б рать", + "▁b orn", + "▁bor n", + "▁ born", + "▁сред ы", + "▁сре ды", + "bo r", + "b or", + "жным и", + "жны ми", + "ж ными", + "бу ю", + "б ую", + "ти вы", + "тив ы", + "▁анали за", + "▁ана лиза", + "▁анализ а", + "▁cre ated", + "▁creat ed", + "▁create d", + "гну ть", + "гнут ь", + "г нуть", + "▁информа ция", + "▁по эт", + "▁поэ т", + "▁го лу", + "▁гол у", + "▁ голу", + "▁фор м", + "▁ форм", + "▁со лне", + "▁солн е", + "▁мо ги", + "▁мог и", + "▁са мому", + "▁само му", + "▁самом у", + "an ces", + "ance s", + "anc es", + "▁ш ли", + "▁ шли", + "re m", + "r em", + "▁ш ла", + "▁ шла", + "▁изобра жения", + "▁с ор", + "▁со р", + "▁ сор", + "▁РС ФСР", + "▁полови не", + "▁в тором", + "▁вто ром", + "▁втор ом", + "▁второ м", + "A T", + "▁С ем", + "▁Се м", + "▁находи лись", + "▁находили сь", + "▁м или", + "▁ми ли", + "▁ мили", + "▁та кими", + "▁так ими", + "▁таким и", + "▁таки ми", + "pe cial", + "▁до пуска", + "▁допу ска", + "▁Wh ile", + "па ния", + "▁f ire", + "▁з нали", + "▁зна ли", + "▁знал и", + "▁h ost", + "▁ host", + "зи ю", + "▁побе ду", + "▁побед у", + "▁смо жет", + "ль ник", + "▁справед ливо", + "▁справедли во", + "▁У пра", + "▁гла зами", + "▁глаза ми", + "le x", + "l ex", + "ru g", + "r ug", + "▁П етра", + "▁Пе тра", + "▁Пет ра", + "▁Петр а", + "▁груп пе", + "▁гру ппе", + "▁групп е", + "гра ф", + "▁Acc ording", + "▁я вления", + "▁яв ления", + "▁эмо циона", + "▁социаль ной", + "▁социально й", + "▁соци альной", + "жё н", + "ж ён", + "▁к ан", + "▁ка н", + "▁ кан", + "▁a sk", + "▁as k", + "▁ ask", + "жи е", + "▁о сла", + "▁ос ла", + "▁кор пора", + "▁ду мать", + "▁дума ть", + "вед ён", + "▁гла зах", + "▁глаза х", + "le g", + "▁p rim", + "▁pr im", + "▁pri m", + "▁по казывает", + "▁пока зывает", + "▁показыва ет", + "▁п оса", + "▁по са", + "▁пос а", + "▁расте ний", + "▁по стано", + "▁пос тано", + "▁поста но", + "▁пост ано", + "▁Са мо", + "▁Сам о", + "▁сотруд ников", + "▁сотрудни ков", + "▁сотрудник ов", + "▁вы хода", + "▁выход а", + "▁э ко", + "▁эк о", + "▁ги дро", + "▁сдела ли", + "▁сделал и", + "▁сдел али", + "▁устано вить", + "▁установи ть", + "▁установ ить", + "▁уси лия", + "▁усили я", + "▁у тром", + "▁утро м", + "▁ут ром", + "ро ванные", + "рова нные", + "рован ные", + "▁обще стве", + "▁обществ е", + "▁неиз бе", + "сле дования", + "следова ния", + "ца р", + "ц ар", + "▁ли ш", + "▁ста ро", + "▁стар о", + "▁и денти", + "▁иде нти", + "▁по чув", + "▁способ ность", + "▁способно сть", + "▁ способность", + "▁report ed", + "▁к но", + "▁кн о", + "▁Ива нов", + "▁Иван ов", + "ме нте", + "мен те", + "мент е", + "▁l ocated", + "▁loc ated", + "▁б ол", + "▁бо л", + "▁ бол", + "ха м", + "х ам", + "пс и", + "п си", + "▁су ти", + "▁R iver", + "▁кар тин", + "▁карти н", + "▁карт ин", + "▁в ино", + "▁ви но", + "▁вин о", + "лле р", + "лл ер", + "л лер", + "кто ров", + "ктор ов", + "к торов", + "▁б лю", + "▁ блю", + "▁Ф ин", + "▁Фи н", + "▁ра ссе", + "▁рас се", + "▁расс е", + "ai gn", + "a ign", + "▁мини стер", + "хо дом", + "ход ом", + "▁p ri", + "▁pr i", + "▁ pri", + "▁орга низма", + "▁органи зма", + "▁организм а", + "▁орган изма", + "▁offic ial", + "▁f und", + "▁fun d", + "▁pro per", + "▁pr oper", + "▁prop er", + "▁при кры", + "▁на си", + "▁нас и", + "ро ванного", + "рова нного", + "рован ного", + "▁филосо фии", + "▁философи и", + "▁de cl", + "▁dec l", + "▁о бита", + "▁оби та", + "▁не бо", + "▁G eneral", + "▁Gen eral", + "▁неред ко", + "▁нере дко", + "▁ко ри", + "▁к ори", + "▁кор и", + "▁ кори", + "▁вос поль", + "▁воспо ль", + "▁це ле", + "▁ целе", + "▁появи лась", + "▁поя вилась", + "ст рее", + "стре е", + "▁катего рии", + "▁категори и", + "▁per forman", + "▁perform an", + "▁d ev", + "▁de v", + "▁ dev", + "▁ве щей", + "▁веще й", + "it or", + "ito r", + "Л е", + "▁но вая", + "▁нов ая", + "▁нова я", + "▁ новая", + "тно сти", + "т ности", + "▁кар тины", + "▁карти ны", + "▁картин ы", + "▁карт ины", + "ье т", + "ь ет", + "el t", + "до х", + "▁А т", + "▁ Ат", + "В ы", + "▁два дцать", + "▁двадца ть", + "фи зи", + "▁t itle", + "▁tit le", + "ло га", + "лог а", + "▁поддерж ку", + "▁пар тия", + "▁парти я", + "▁груп пи", + "▁гру ппи", + "▁групп и", + "▁ле жит", + "бя т", + "б ят", + "вя з", + "в яз", + "Т о", + "▁оче видно", + "▁очевид но", + "▁са йт", + "▁сай т", + "ra in", + "r ain", + "▁за писи", + "▁запи си", + "▁В иль", + "▁Ви ль", + "▁P er", + "▁Pe r", + "▁стихот во", + "▁груп пу", + "▁групп у", + "▁извест ный", + "▁известны й", + "▁изве стный", + "де ся", + "дес я", + "▁заме тил", + "▁замет ил", + "вы ше", + "▁выпол нения", + "▁g rad", + "▁gr ad", + "▁gra d", + "▁ grad", + "▁луч ших", + "A R", + "▁ind ust", + "▁H ouse", + "▁Ho use", + "▁Hou se", + "▁ре спублики", + "▁республи ки", + "▁республик и", + "▁по слу", + "▁пос лу", + "▁кня зя", + "▁про яви", + "▁проя ви", + "▁In ternational", + "сто го", + "с того", + "ша ют", + "▁comm unity", + "▁commun ity", + "▁подоб ных", + "▁a ut", + "▁ aut", + "▁си лами", + "▁сила ми", + "▁силам и", + "▁с вязыва", + "▁свя зыва", + "жа щих", + "стра и", + "ay s", + "a ys", + "▁ми ру", + "▁мир у", + "ic a", + "i ca", + "ме ти", + "мет и", + "м ети", + "▁Наи более", + "▁y our", + "▁you r", + "▁Все го", + "▁о тка", + "▁от ка", + "▁отк а", + "▁разно образ", + "▁разнообра з", + "▁Ин ститу", + "▁Великобрита нии", + "▁использу ют", + "▁уто ч", + "▁в иды", + "▁ви ды", + "▁вид ы", + "▁нам ере", + "▁наме ре", + "et t", + "e tt", + "Л А", + "▁Со зда", + "▁f oot", + "▁ foot", + "юще йся", + "ющей ся", + "ю щейся", + "ти к", + "ra ted", + "rate d", + "rat ed", + "r ated", + "▁Р ис", + "▁Ри с", + "▁Север ной", + "en ces", + "ence s", + "enc es", + "▁при близи", + "▁прибли зи", + "▁de g", + "▁ deg", + "ле нные", + "лен ные", + "▁одна жды", + "ни лось", + "нило сь", + "ща ли", + "щал и", + "щ али", + "та цию", + "ст ка", + "с тка", + "▁вз рос", + "▁взро с", + "ль т", + "▁Н ов", + "▁Но в", + "▁о стров", + "▁ос тров", + "▁ост ров", + "▁остро в", + "▁v ict", + "▁тради ции", + "стра ции", + "стр ации", + "▁представи тель", + "▁современ ных", + "▁о пи", + "▁оп и", + "тя ги", + "▁те нден", + "▁тен ден", + "▁по гру", + "нс кие", + "н ские", + "▁тех нологии", + "▁технологи и", + "▁техно логии", + "▁п роме", + "▁про ме", + "па х", + "io l", + "i ol", + "ir l", + "ро ванный", + "рова нный", + "рован ный", + "hi b", + "h ib", + "▁St reet", + "e e", + "▁Б ор", + "▁Бо р", + "▁полу чает", + "▁получа ет", + "▁ep is", + "ль ский", + "▁авиа ции", + "ев ский", + "е вский", + "▁Да лее", + "▁Амери ки", + "▁g row", + "▁gro w", + "▁gr ow", + "▁при чине", + "▁причи не", + "▁причин е", + "en ed", + "ene d", + "e ned", + "▁на шу", + "▁наш у", + "▁е дино", + "▁еди но", + "▁един о", + "▁ед ино", + "▁ едино", + "▁кон фи", + "▁конф и", + "▁consid ered", + "▁consider ed", + "▁ре бенок", + "▁ребен ок", + "▁З и", + "фор мы", + "форм ы", + "▁пере ход", + "▁предста вление", + "I n", + "▁м ра", + "▁доку ментов", + "▁документ ов", + "▁ст рель", + "▁стре ль", + "сту пила", + "ступ ила", + "ступи ла", + "ступил а", + "▁са мая", + "▁сам ая", + "▁сама я", + "y l", + "▁раз мер", + "▁разме р", + "чка ми", + "чкам и", + "ч ками", + "▁b ody", + "▁ body", + "о хра", + "▁Col lege", + "мо на", + "мон а", + "м она", + "▁h old", + "▁ hold", + "▁m aking", + "▁простран ства", + "ди тся", + "дит ся", + "д ится", + "▁ок тябре", + "▁глубо ко", + "▁содержи т", + "▁по кло", + "ва ющих", + "ваю щих", + "▁st ruct", + "▁str uct", + "▁ struct", + "he re", + "her e", + "h ere", + "▁b as", + "▁оп пози", + "▁Eng land", + "ла нт", + "лан т", + "сси ю", + "с сию", + "▁ф оне", + "▁фо не", + "▁фон е", + "▁ника кой", + "▁никак ой", + "▁пере у", + "▁other s", + "! ..", + "▁доку менты", + "▁документ ы", + "▁вы стре", + "▁выс тре", + "▁ве дом", + "▁ведо м", + "▁вед ом", + "▁o rd", + "▁or d", + "▁ ord", + "▁при вет", + "▁приве т", + "▁прив ет", + "▁пи ще", + "▁t oo", + "▁to o", + "ви ло", + "вил о", + "▁вслед ствие", + "our ce", + "▁от став", + "▁отста в", + "▁отс тав", + "▁го ры", + "▁гор ы", + "▁Из вест", + "▁ве чером", + "▁вече ром", + "▁вечер ом", + "▁не вы", + "▁нев ы", + "▁вер нуться", + "▁верну ться", + "▁вернуть ся", + "▁участи я", + "▁неболь шо", + "▁генера ла", + "▁генерал а", + "ну ться", + "нуть ся", + "▁prof ess", + "▁безо пас", + "▁нау чных", + "▁hist or", + "▁само летов", + "▁самоле тов", + "▁самолет ов", + "га нт", + "ган т", + "▁г вардей", + "▁гвар дей", + "ко с", + "к ос", + "тным и", + "тны ми", + "т ными", + "▁ре ф", + "▁В ВС", + "▁ВВ С", + "▁ч лены", + "▁чле ны", + "▁член ы", + "▁ис пра", + "п ку", + "▁проду кции", + "▁продук ции", + "▁ст рое", + "▁стро е", + "▁стр ое", + "▁ строе", + "ми ю", + "▁C he", + "▁Ch e", + "▁о пыта", + "▁опыт а", + "▁опы та", + "пре жнему", + "fer red", + "▁Ки та", + "▁об ши", + "▁контро ль", + "▁с ма", + "▁см а", + "▁ сма", + "р ный", + "▁F rom", + "▁work ed", + "▁Ar t", + "▁литера туре", + "▁литератур е", + "▁пред ложения", + "▁предложе ния", + "д ё", + "▁о дер", + "▁од ер", + "▁оде р", + "▁m other", + "▁mot her", + "▁нача лась", + "▁начала сь", + "да ции", + "д ации", + "ain ing", + "ai ning", + "a ining", + "▁у помя", + "▁упо мя", + "p ite", + "ли ю", + "ва ми", + "вам и", + "▁со су", + "▁сос у", + "▁при роде", + "▁приро де", + "▁природ е", + "чи ла", + "чил а", + "ч ила", + "жо м", + "ж ом", + "▁Ав тор", + "▁Авто р", + "▁orig in", + "it ing", + "i ting", + "▁Pres ident", + "▁име ла", + "▁имел а", + "▁с пец", + "▁спе ц", + "m a", + "▁bro ther", + "▁br other", + "▁раз говор", + "▁разгово р", + "▁разрабо тчи", + "ст ром", + "стро м", + "стр ом", + "с тром", + "вшем у", + "в шему", + "▁к вали", + "▁ква ли", + "▁кв али", + "oy al", + "o yal", + "▁P e", + "▁мето ды", + "▁метод ы", + "▁M on", + "▁Mo n", + "рь е", + "р ье", + "▁га зо", + "▁газ о", + "ц вет", + "▁мини стр", + "▁ министр", + "▁С ка", + "▁Ск а", + "▁ру кой", + "▁руко й", + "▁рук ой", + "▁преимуще ственно", + "▁яко бы", + "▁Ar my", + "▁Arm y", + "фо м", + "ф ом", + "nd er", + "n der", + "▁буду щего", + "▁фа бри", + "▁со пер", + "▁ру б", + "▁we ek", + "▁ле йте", + "▁лей те", + "▁ лейте", + "▁требу ется", + "▁требует ся", + "жь я", + "ж ья", + "зм у", + "з му", + "▁муж чины", + "▁мужчи ны", + "▁мужчин ы", + "▁jo ined", + "▁join ed", + "▁E ast", + "▁п лю", + "▁ плю", + "▁с кульп", + "ne t", + "n et", + "ни лись", + "нили сь", + "▁Бы ло", + "▁Был о", + "▁ме дленно", + "▁мед ленно", + "▁медлен но", + "▁струк туры", + "▁структур ы", + "▁ст рой", + "▁стро й", + "▁стр ой", + "▁ строй", + "▁раз ъ", + "▁о бли", + "▁об ли", + "▁обл и", + "▁основа ния", + "▁осно вания", + "▁с тари", + "▁ста ри", + "▁стар и", + "ба н", + "б ан", + "▁l ow", + "▁lo w", + "О б", + "▁s ite", + "▁sit e", + "пу ль", + "▁х во", + "▁ хво", + "▁суще ствование", + "▁существо вание", + "▁существова ние", + "▁work ing", + "▁wor king", + "▁за ру", + "▁зар у", + "▁g ave", + "▁би ологи", + "▁био логи", + "ко сти", + "кос ти", + "▁ )", + "▁принадле жит", + "ев на", + "е вна", + "▁ap point", + "▁app oint", + "▁пере дачи", + "▁переда чи", + "▁передач и", + "по к", + "п ок", + "▁ду ше", + "▁душ е", + "▁ душе", + "▁зна ем", + "▁артилле рий", + "те с", + "m p", + "▁g round", + "▁gro und", + "▁gr ound", + "▁ ground", + "▁с порта", + "▁спо рта", + "▁спор та", + "▁спорт а", + "▁ спорта", + "▁аэ род", + "▁аэро д", + "▁вер ши", + "▁М ного", + "▁Мно го", + "▁обы к", + "▁тре тий", + "▁трети й", + "не сли", + "нес ли", + "н если", + "▁те атр", + "▁теа тр", + "▁гим на", + "▁ру ками", + "▁рука ми", + "▁пред ложение", + "▁предложе ние", + "▁оконча тельно", + "го н", + "г он", + "И К", + "▁ar g", + "▁ arg", + "▁п енси", + "▁пе нси", + "▁пен си", + "▁гра мо", + "▁грам о", + "▁ грамо", + "пи и", + "▁клю че", + "▁ключ е", + "▁бро не", + "▁брон е", + "▁o nce", + "▁on ce", + "▁а ссоциа", + "▁ассо циа", + "▁ситуа цию", + "▁t est", + "▁te st", + "▁ test", + "▁при ми", + "▁пр ими", + "▁прим и", + "▁ме стных", + "▁мест ных", + "ор гани", + "▁провин ции", + "▁Ф ер", + "▁Фе р", + "▁пра вил", + "▁прави л", + "▁прав ил", + "▁На у", + "▁но чи", + "▁о форм", + "▁ли цом", + "▁лицо м", + "▁лиц ом", + "▁специ фи", + "ди е", + "жде нием", + "ждение м", + "ж дением", + "▁P ort", + "▁филь ме", + "▁фильм е", + "olog ical", + "▁у страи", + "▁устра и", + "ко ра", + "кор а", + "▁за га", + "▁за мы", + "▁зам ы", + "▁у глу", + "▁уг лу", + "▁сю жет", + "▁сюже т", + "▁кня зь", + "er a", + "e ra", + "▁наз вать", + "▁назва ть", + "да я", + "д ая", + "▁сна б", + "▁ снаб", + "▁A c", + "▁Э й", + "▁де ли", + "▁дел и", + "▁ дели", + "▁за каз", + "▁зака з", + "▁зак аз", + "▁п рия", + "▁при я", + "▁ прия", + "▁лю бого", + "▁любо го", + "▁до говор", + "▁догово р", + "▁о пер", + "▁оп ер", + "▁опе р", + "ре т", + "р ет", + "▁ау ди", + "▁характери зу", + "▁апре ле", + "▁мини стра", + "▁министр а", + "▁ министра", + "▁ро мана", + "▁роман а", + "▁рома на", + "▁ass oci", + "▁интер вью", + "▁о без", + "▁об ез", + "▁обе з", + "oo r", + "o or", + "п р", + "▁выступа л", + "▁выступ ал", + "▁ле та", + "▁лет а", + "▁ лета", + "w w", + "жи ма", + "жим а", + "▁энер гети", + "▁впло ть", + "▁ag re", + "▁у ско", + "▁ус ко", + "▁отмет ить", + "▁отме тить", + "▁А ли", + "▁Ал и", + "з не", + "▁пунк т", + "og le", + "ur b", + "за пад", + "▁vers ion", + "▁o ur", + "▁ our", + "▁ле том", + "▁лет ом", + "▁лето м", + "▁ летом", + "ла кти", + "лак ти", + "▁r ound", + "▁ro und", + "▁ round", + "▁l ight", + "▁ light", + "f ield", + "▁m ater", + "▁mat er", + "▁з ре", + "▁ зре", + "то ри", + "тор и", + "т ори", + "▁f ront", + "▁fr ont", + "▁занима ет", + "▁st rong", + "▁str ong", + "▁зна к", + "мя н", + "м ян", + "▁S ome", + "▁So me", + "▁Som e", + "▁п ры", + "▁пр ы", + "▁ пры", + "▁пример у", + "▁приме ру", + "▁прим еру", + "▁объ ект", + "▁объек т", + "▁объе кт", + "▁контро ля", + "▁попыт ки", + "▁попы тки", + "▁гла вных", + "▁глав ных", + "▁ч ай", + "▁ча й", + "▁ чай", + "▁С об", + "▁Со б", + "▁сто ял", + "▁стоя л", + "се к", + "с ек", + "▁R ed", + "▁Re d", + "▁ви дит", + "▁вид ит", + "▁види т", + "▁Влади ми", + "▁em ploy", + "с на", + "▁за канчи", + "ло гия", + "логи я", + "бе т", + "б ет", + "▁не га", + "▁пре пара", + "▁Д ва", + "▁доба вить", + "▁Ch ar", + "▁кол хо", + "ide o", + "па дает", + "пада ет", + "▁в ез", + "▁ве з", + "▁ию не", + "Ка к", + "К ак", + "▁поли цей", + "▁з вание", + "▁восем ь", + "▁теле ви", + "▁pro ble", + "▁prob le", + "▁государ ств", + "шин ство", + "▁обу сло", + "▁rel ations", + "▁государ ственный", + "▁государстве нный", + "к ке", + "▁trad ition", + "▁R ec", + "▁Re c", + "▁поли тических", + "▁полити ческих", + "war e", + "wa re", + "w are", + "▁расс читы", + "▁чув ству", + "▁чувств у", + "ль ской", + "з ве", + "▁функ циона", + "▁воз вы", + "гра фии", + "графи и", + "ap er", + "ape r", + "a per", + "▁ш ан", + "▁ша н", + "▁ шан", + "ство вания", + "ствова ния", + "см атри", + "сма три", + "с матри", + "▁Count y", + "▁иг рал", + "▁игра л", + "▁игр ал", + "▁роди телей", + "▁побе ды", + "▁побед ы", + "ге не", + "ген е", + "▁ша г", + "ue l", + "u el", + "▁кон су", + "% ,", + "ко ман", + "ком ан", + "кома н", + "▁моло де", + "▁молод е", + "▁Ис тория", + "▁Исто рия", + "▁Истори я", + "▁ История", + "▁в клад", + "▁вкла д", + "ис у", + "и су", + "пт а", + "п та", + "▁ию ле", + "р к", + "ct or", + "ти ческая", + "ги н", + "г ин", + "▁от казыва", + "▁отка зыва", + "▁д нев", + "▁дне в", + "▁ днев", + "▁сте ны", + "▁стен ы", + "▁Т ор", + "▁То р", + "▁ Тор", + "▁Украи не", + "▁Украин е", + "▁Б ал", + "▁Ба л", + "▁кур с", + "▁ курс", + "▁п р", + "▁ пр", + "▁включа ет", + "▁вклю чает", + "▁му зей", + "▁музе й", + "▁коро ль", + "ва ющие", + "ваю щие", + "ст ано", + "ста но", + "стан о", + "с тано", + "▁способ ности", + "▁способно сти", + "▁ способности", + "▁проис хождения", + "▁происхо ждения", + "▁пы тался", + "▁пыта лся", + "▁про грамма", + "▁програм ма", + "▁программ а", + "▁c ost", + "▁co st", + "▁h ttp", + "▁ http", + "Э то", + "▁По тому", + "▁Потом у", + "▁п ан", + "▁па н", + "▁ пан", + "▁станов ятся", + "▁стано вятся", + "▁органи зация", + "▁организа ция", + "▁из меня", + "▁изме ня", + "▁измен я", + "но шения", + "чи я", + "▁в ан", + "▁ва н", + "▁ ван", + "▁t aken", + "▁take n", + "ier s", + "i ers", + "м но", + "▁м имо", + "▁ми мо", + "▁ мимо", + "▁describ ed", + "ла й", + "л ай", + "▁мо би", + "▁ моби", + "▁Ch urch", + "▁употре бля", + "▁от личи", + "▁отли чи", + "ти нен", + "тин ен", + "тине н", + "▁ква дра", + "Л и", + "тро по", + "троп о", + "▁pro duced", + "▁produ ced", + "▁produc ed", + "▁produce d", + "ст ное", + "стно е", + "с тное", + "▁замести тель", + "жи й", + "▁необходи мость", + "▁необходимо сть", + "▁на личие", + "▁наличи е", + "▁нали чие", + "▁использу ются", + "▁используют ся", + "го ре", + "гор е", + "▁при ложения", + "ра ста", + "рас та", + "▁eng ine", + "▁бы вший", + "▁с вете", + "▁свет е", + "▁све те", + "▁св ете", + "▁рабо тают", + "▁работа ют", + "ма с", + "м ас", + "▁a ble", + "▁ab le", + "▁ able", + "Н К", + "аль но", + "а льно", + "тель стве", + "тельств е", + "▁милли ар", + "▁w ife", + "▁препода ва", + "▁и гре", + "▁иг ре", + "▁игр е", + "ща лись", + "щали сь", + "no w", + "n ow", + "▁со знание", + "▁созна ние", + "▁al though", + "ne ct", + "n ect", + "▁a ver", + "▁av er", + "▁ aver", + "▁Б ли", + "▁s ugg", + "▁Ю го", + "▁при су", + "▁прис у", + "▁пр ису", + "▁Г де", + "▁гра ф", + "▁ граф", + "▁прекра сно", + "▁м ин", + "▁ми н", + "▁ мин", + "▁Лу ч", + "▁ Луч", + "▁Б ан", + "▁Ба н", + "▁ко манд", + "▁коман д", + "▁вы йти", + "че нного", + "чен ного", + "ченно го", + "▁ex ist", + "▁простран ство", + "пу ск", + "пус к", + "▁об лег", + "▁обле г", + "жа ло", + "жал о", + "▁вопро сам", + "▁вопрос ам", + "▁вопроса м", + "▁показа ть", + "▁пока зать", + "▁бес коне", + "▁беско не", + "▁ге рой", + "▁гер ой", + "▁геро й", + "▁от дельные", + "▁отде льные", + "▁отдель ные", + "▁кора блей", + "▁корабле й", + "▁ры нке", + "▁доста то", + "ar i", + "a ri", + "▁про грамми", + "▁програм ми", + "▁программ и", + "▁ко лон", + "▁кол он", + "▁коло н", + "▁посвя щен", + "▁Д жор", + "▁Дж ор", + "▁Джо р", + "▁в еру", + "▁ве ру", + "▁вер у", + "▁Ор ден", + "▁г ля", + "▁гл я", + "▁ гля", + "▁отли чается", + "▁отлича ется", + "зи т", + "з ит", + "▁евре ев", + "ча ют", + "▁F rance", + "▁Fran ce", + "▁проце ссов", + "▁процесс ов", + "▁процессо в", + "▁D ep", + "▁De p", + "▁s aw", + "▁кора бль", + "же нной", + "жен ной", + "женно й", + "▁П ара", + "▁Па ра", + "▁Пар а", + "▁би зне", + "▁биз не", + "щие ся", + "тро в", + "тр ов", + "т ров", + "че б", + "▁St ud", + "р ского", + "▁по сту", + "▁пос ту", + "▁пост у", + "▁ге ографи", + "▁гео графи", + "▁Ни ки", + "▁Ник и", + "▁s uff", + "▁su ff", + "iqu e", + "i que", + "▁в дох", + "▁вдо х", + "▁да ют", + "▁ дают", + "▁дру гая", + "▁друг ая", + "▁друга я", + "____ ____", + "ли л", + "л ил", + "▁S te", + "▁St e", + "▁шта б", + "▁самостоя тельно", + "▁m at", + "▁ mat", + "▁p ress", + "▁pre ss", + "▁pr ess", + "▁pres s", + "▁ press", + "▁воен ные", + "▁вое нные", + "I N", + "▁под ле", + "▁успе х", + "▁И ндии", + "▁Ин дии", + "▁Инди и", + "▁С СР", + "▁СС Р", + "▁ ССР", + "▁прем ьер", + "▁f ree", + "▁fre e", + "▁fr ee", + "▁эта пе", + "▁этап е", + "▁\" ...", + "▁ \"...", + "▁ноя бре", + "мс я", + "м ся", + "▁fe at", + "▁спокой но", + "▁B er", + "▁Be r", + "▁month s", + "▁ку п", + "▁ куп", + "ще нию", + "▁зара нее", + "▁це ло", + "▁ цело", + "▁на груз", + "▁нагру з", + "▁бра та", + "▁брат а", + "пу стил", + "пусти л", + "пус тил", + "▁Ста лина", + "▁Сталин а", + "▁Стали на", + "is hing", + "ish ing", + "▁с му", + "▁см у", + "▁кор пус", + "▁корпу с", + "c raft", + "▁все об", + "▁разрабо тки", + "▁у мира", + "▁уми ра", + "▁кре стья", + "▁крест ья", + "ща лся", + "щал ся", + "▁же ны", + "▁жен ы", + "▁ жены", + "▁горо дского", + "▁город ского", + "▁го вор", + "▁гово р", + "▁ говор", + "▁поня тие", + "▁бо евой", + "▁бое вой", + "▁боев ой", + "не ров", + "нер ов", + "ну лась", + "нула сь", + "за щи", + "▁наз вал", + "▁назва л", + "зи й", + "▁re v", + "▁r ev", + "со вой", + "сов ой", + "сово й", + "▁ко ме", + "▁ком е", + "▁счаст ли", + "спе кти", + "спек ти", + "спект и", + "▁l ittle", + "▁lit tle", + "▁m er", + "▁me r", + "▁ mer", + "▁государ ственных", + "▁государстве нных", + "▁s een", + "▁se en", + "▁see n", + "▁m arried", + "▁mar ried", + "▁това ров", + "▁товар ов", + "▁п он", + "▁по н", + "▁ пон", + "▁ка питан", + "▁капита н", + "▁капи тан", + "вер шен", + "▁m ult", + "се в", + "с ев", + "▁с ход", + "▁сх од", + "▁схо д", + "▁моло дых", + "▁молоды х", + "▁молод ых", + "▁ch urch", + "▁M ich", + "▁Mic h", + "▁ор ганы", + "▁орга ны", + "▁орган ы", + "ну лись", + "нули сь", + "▁председа тель", + "▁созда нии", + "▁импера тора", + "▁император а", + "▁Пари же", + "▁Париж е", + "▁По доб", + "▁Под об", + "▁Подо б", + "▁sign ific", + "ло гов", + "лого в", + "лог ов", + "▁з дра", + "▁се риа", + "▁ сериа", + "▁Б ре", + "g o", + "▁Б ен", + "▁Бе н", + "ка ла", + "кал а", + "к ала", + "▁ди за", + "ва на", + "ван а", + "в ана", + "▁сло жно", + "▁расска з", + "▁расс каз", + "▁op ened", + "▁open ed", + "ро вала", + "ров ала", + "рова ла", + "ровал а", + "▁вы пуск", + "▁выпу ск", + "▁ac ross", + "▁из лу", + "▁ щи", + "▁ге роя", + "▁геро я", + "▁n ight", + "▁ night", + "▁вла де", + "▁опубли кова", + "▁опублико ва", + "▁объяс нить", + "▁Москов ской", + "▁ма ссы", + "▁масс ы", + "▁с инте", + "▁си нте", + "▁сообщи ли", + "▁сообщил и", + "▁го ловой", + "▁голо вой", + "▁голов ой", + "▁хо чется", + "▁хочет ся", + "ри ф", + "ци оне", + "цион е", + "цио не", + "зо б", + "з об", + "▁буква льно", + "▁букв ально", + "▁буду щее", + "▁ар гу", + "ap s", + "a ps", + "▁ty p", + "э к", + "▁февра ле", + "▁ста ди", + "▁компа ний", + "▁до мов", + "▁дом ов", + "▁домо в", + "▁p lan", + "▁pl an", + "▁от дыха", + "▁отдых а", + "▁По мимо", + "▁Пом имо", + "O S", + "▁чрезвычай но", + "▁гла вной", + "▁глав ной", + "▁d on", + "▁do n", + "▁ don", + "▁are as", + "▁area s", + "au t", + "a ut", + "▁до стой", + "▁досто й", + "▁обеспе чить", + "▁обеспечи ть", + "я з", + "▁гру зо", + "▁груз о", + "▁Ф ло", + "до би", + "доб и", + "▁Т от", + "▁То т", + "▁ус лыша", + "▁услы ша", + "▁по езд", + "▁поез д", + "▁пое зд", + "И н", + "▁д али", + "▁да ли", + "▁дал и", + "▁ дали", + "▁Ис пании", + "ту да", + "т уда", + "▁обо их", + "▁нача лось", + "▁начало сь", + "▁по тери", + "▁потер и", + "▁поте ри", + "▁го лове", + "▁голо ве", + "▁голов е", + ". [", + "▁при каз", + "▁прика з", + "▁свя заны", + "▁связа ны", + "▁связан ы", + "▁исклю чением", + "▁исключение м", + "▁вой сками", + "▁войска ми", + "▁войскам и", + "▁ра зда", + "▁раз да", + "▁work s", + "▁wor ks", + "▁бло ки", + "▁блок и", + "▁ блоки", + "▁ва шей", + "▁ваш ей", + "▁ваше й", + "▁Х е", + "э кономи", + "пре д", + "пр ед", + "п ред", + "▁Americ a", + "▁продол жал", + "▁продолжа л", + "ющего ся", + "ю щегося", + "▁на шли", + "▁наш ли", + "со зна", + "▁воз ро", + "▁про стой", + "▁просто й", + "▁прос той", + "▁прост ой", + "f ic", + "хо ро", + "хор о", + "жи н", + "ж ин", + "▁нару шения", + "ро вано", + "ров ано", + "рова но", + "рован о", + "▁m ot", + "ше на", + "шен а", + "ш ена", + "▁при няли", + "▁приня ли", + "▁принял и", + "▁прин яли", + "▁жи дко", + "▁жид ко", + "жда ли", + "жд али", + "ждал и", + "ж дали", + "▁ар мию", + "▁арми ю", + "п ь", + "▁Лю ди", + "▁Люд и", + "▁бес пла", + "▁суще ствуют", + "▁существу ют", + "со р", + "с ор", + "pl ay", + "p lay", + "an i", + "a ni", + "▁чу де", + "ч ти", + "▁part y", + "▁par ty", + "сти ва", + "с тива", + "▁анг лича", + "▁partic ip", + "▁e as", + "▁от обра", + "▁ото бра", + "▁обла дает", + "▁облада ет", + "▁bl ack", + "ye ar", + "y ear", + "her n", + "h ern", + "фа к", + "ф ак", + "▁по рта", + "▁пор та", + "▁порт а", + "▁ порта", + "ете сь", + "е тесь", + "де сят", + "деся т", + "дес ят", + "ough t", + "ле но", + "лен о", + "веде ны", + "веден ы", + "▁лю бом", + "▁любо м", + "▁r oad", + "▁ro ad", + "▁ road", + "▁пра вления", + "▁прав ления", + "▁ правления", + "▁практи ке", + "▁прак тике", + "▁воз ле", + "▁ва ши", + "▁ваш и", + "▁про чита", + "▁прочи та", + "ст ным", + "с тным", + "▁Влади мира", + "▁Владимир а", + "▁Владими ра", + "▁С МИ", + "▁СМ И", + "▁Чем пи", + "с ную", + "▁по жи", + "il ls", + "ill s", + "▁за чем", + "▁рас стре", + "▁расс тре", + "▁начина ют", + "вя т", + "в ят", + "▁ги поте", + "▁гипо те", + "▁кон цер", + "▁конце р", + "▁конц ер", + "▁Пред ста", + "▁о кре", + "▁ок ре", + "▁D r", + "▁при чин", + "▁причи н", + "▁вос произ", + "u f", + "▁W indows", + "▁Wind ows", + "▁M y", + "▁ My", + "▁зна ют", + "▁знаю т", + "▁от кло", + "▁отк ло", + "▁H ol", + "▁Ho l", + "▁послед ней", + "▁Особ енно", + "▁Особен но", + "▁ху же", + "port s", + "por ts", + "▁д але", + "▁да ле", + "▁дал е", + "lect ed", + "▁av ail", + "ь ми", + "▁пред ска", + "▁до биться", + "▁доби ться", + "▁пре сто", + "▁пита ния", + "▁К ам", + "▁Ка м", + "▁Н А", + "▁ НА", + "▁mod ern", + "▁c oll", + "▁col l", + "▁co ll", + "▁Пер вая", + "ва ку", + "вак у", + "st and", + "▁дис ципли", + "си бо", + "лко й", + "лк ой", + "л кой", + "жда л", + "жд ал", + "ж дал", + "▁пере и", + "▁пе реи", + "▁for ces", + "▁force s", + "▁по ступ", + "▁посту п", + "▁camp aign", + "ле ты", + "лет ы", + "л еты", + "▁П ор", + "▁По р", + "▁со тни", + "▁сот ни", + "▁поста вить", + "▁постав ить", + "▁само лё", + "ги х", + "г их", + "▁воз дух", + "▁возду х", + "▁Васи лий", + "▁Васили й", + "▁от деления", + "▁отде ления", + "▁отделе ния", + "▁вос станови", + "▁восста нови", + "▁восстано ви", + "at ors", + "ator s", + "▁те мно", + "▁тем но", + "де шь", + "деш ь", + "д ешь", + "▁стра ну", + "▁стран у", + "▁при чиной", + "▁причи ной", + "▁причин ой", + "▁ф унда", + "▁фу нда", + "▁ры нка", + "▁удовлет во", + "▁о сторо", + "▁ос торо", + "ни вер", + "нив ер", + "▁послед ствия", + "aul t", + "a ult", + "вто рых", + "▁по шел", + "▁показа л", + "▁пока зал", + "ле л", + "▁спа са", + "▁спас а", + "▁отпра вился", + "▁отправил ся", + "▁под держки", + "▁поддерж ки", + "▁предста вляют", + "▁представля ют", + "Пе тербур", + "го ра", + "гор а", + "ти лась", + "тила сь", + "▁t en", + "▁te n", + "▁ ten", + "▁журна ла", + "▁журнал а", + "▁жи тели", + "види мому", + "▁пре мии", + "ча ется", + "чает ся", + "▁доче ри", + "▁дочер и", + "ри е", + "▁слу жил", + "▁служ ил", + "▁служи л", + "▁на чиная", + "▁начина я", + "▁начи ная", + "▁t er", + "▁te r", + "▁ ter", + "ourn al", + "▁M or", + "▁Mo r", + "▁D iv", + "▁Di v", + "▁Ар мии", + "▁ме тро", + "▁мет ро", + "дер ни", + "land s", + "l ands", + "▁C our", + "▁Co ur", + "▁Ки ев", + "▁ро в", + "▁р ов", + "▁ ров", + "▁r oom", + "▁ro om", + "▁ room", + "▁с толе", + "▁ст оле", + "▁сто ле", + "▁стол е", + "lev ision", + "▁смо гли", + "▁смог ли", + "▁ди ск", + "▁дис к", + "▁пред при", + "▁ви дим", + "▁вид им", + "▁види м", + "▁пред стоя", + "цен три", + "центр и", + "▁ну жны", + "▁нуж ны", + "не ром", + "нер ом", + "рк а", + "р ка", + "К у", + "▁П ом", + "▁По м", + "г де", + "▁устано вки", + "▁установ ки", + "▁хо тели", + "▁хоте ли", + "▁хотел и", + "▁подроб но", + "ро на", + "рон а", + "р она", + "▁на вы", + "▁нав ы", + "▁при ходит", + "▁приходи т", + "▁приход ит", + "▁прихо дит", + "д ку", + "▁с от", + "▁со т", + "▁ сот", + "же ство", + "▁бы стрее", + "▁быст рее", + "▁r ail", + "▁ra il", + "▁по пал", + "▁попа л", + "▁поп ал", + "▁success ful", + "са н", + "с ан", + "▁под клю", + "во ка", + "вок а", + "it ive", + "ri ck", + "ric k", + "r ick", + "▁Н ам", + "▁На м", + "▁за пол", + "▁запо л", + "▁занима лся", + "▁занимал ся", + "▁с кри", + "▁ск ри", + "▁ скри", + "▁пол номо", + "▁полно мо", + "▁полном о", + "▁ полномо", + "▁продук тов", + "▁продукт ов", + "ше но", + "шен о", + "▁ма шину", + "▁маши ну", + "▁машин у", + "ру ются", + "рую тся", + "руют ся", + "▁кон тр", + "фе ра", + "фер а", + "ф ера", + "▁о вла", + "▁ов ла", + "▁догово ра", + "▁договор а", + "ж ку", + "▁Ма рия", + "▁Мари я", + "Д е", + "▁c e", + "▁ ce", + "▁большин стве", + "▁с клады", + "▁скла ды", + "▁склад ы", + "▁ве дет", + "▁вед ет", + "но сить", + "носи ть", + "нос ить", + "носит ь", + "ро ванной", + "рова нной", + "рован ной", + "во дить", + "вод ить", + "води ть", + "водит ь", + "▁Т ом", + "▁То м", + "ди ться", + "дить ся", + "ре и", + "▁вы рази", + "▁выра зи", + "▁ко леба", + "▁коле ба", + "▁а ва", + "▁ав а", + "щи на", + "щин а", + "щ ина", + "▁f ight", + "▁fig ht", + "▁Ю жной", + "▁Южно й", + "▁подоб ные", + "▁Я ро", + "▁Яр о", + "воз гла", + "ле нный", + "лен ный", + "го рит", + "гор ит", + "гори т", + "▁у езда", + "▁уезд а", + "▁уез да", + "ot ed", + "ote d", + "o ted", + "▁выгля дит", + "ist ic", + "▁Th om", + "▁жиз нью", + "▁жизнь ю", + "▁А Н", + "▁ АН", + "а д", + "те ров", + "тер ов", + "теро в", + "▁со обра", + "▁сооб ра", + "▁по дда", + "▁под да", + "▁Челове к", + "▁ Человек", + "▁под ход", + "би т", + "б ит", + "▁c apt", + "▁cap t", + "ent ial", + "▁матери алы", + "▁материа лы", + "▁материал ы", + "▁м ен", + "▁ме н", + "▁ мен", + "го дно", + "год но", + "г одно", + "▁учре ждения", + "▁ре жим", + "▁режи м", + "▁R oman", + "▁Ro man", + "▁Rom an", + "▁чи тать", + "▁чита ть", + "▁ читать", + "ic le", + "i cle", + "▁комплек с", + "▁на шел", + "▁наше л", + "ро ни", + "рон и", + "р они", + "▁американ ский", + "▁америка нский", + "▁ч ёр", + "▁ чёр", + "am ent", + "ame nt", + "a ment", + "▁Ис поль", + "▁Испо ль", + "h a", + "▁большин ства", + "че нным", + "чен ным", + "▁ли дер", + "▁лиде р", + "▁res earch", + "▁rese arch", + "it te", + "itt e", + "бе з", + "б ез", + "▁смо треть", + "▁смотре ть", + "▁ смотреть", + "ст ети", + "сте ти", + "стет и", + "▁ар хе", + "▁арх е", + "▁следу ющем", + "▁авто бу", + "▁h y", + "▁ hy", + "▁и ных", + "▁ин ых", + "▁V al", + "▁ Val", + "▁хо тят", + "▁хотя т", + "ле тов", + "лет ов", + "▁develop ed", + "▁расстоя нии", + "▁b road", + "▁bro ad", + "▁br oad", + "▁с ки", + "▁ск и", + "▁ ски", + "ens ive", + "▁за нял", + "▁заня л", + "▁сек ун", + "▁секу н", + "зо н", + "з он", + "▁на против", + "▁по ступил", + "▁посту пил", + "▁поступ ил", + "▁поступи л", + "? !", + "▁ра ско", + "▁рас ко", + "c ript", + "ro y", + "r oy", + "▁му жа", + "▁муж а", + "ва ющий", + "ваю щий", + "ли ца", + "во куп", + "▁бли же", + "▁ближ е", + "ро и", + "▁ви це", + "▁вид имо", + "▁види мо", + "▁видим о", + "▁а рен", + "▁ар ен", + "▁аре н", + "t ime", + "▁худо жник", + "▁худож ник", + "▁ду мал", + "▁дума л", + "ве дении", + "веде нии", + "▁предела х", + "▁преде лах", + "▁О де", + "▁Од е", + "▁Бо го", + "▁Бог о", + "▁h ous", + "ко вы", + "ков ы", + "▁кон тек", + "▁це лях", + "▁ответ ственность", + "id ing", + "▁J ames", + "po n", + "p on", + "вля я", + "в ляя", + "▁К рым", + "▁Кры м", + "▁en c", + "▁ enc", + "▁f all", + "▁fa ll", + "▁офице ров", + "▁офицер ов", + "▁m id", + "▁mi d", + "зи ди", + "▁appe ared", + "▁appear ed", + "гл у", + "г лу", + "me n", + "m en", + "▁но г", + "▁ту ри", + "▁тур и", + "▁ тури", + "▁ле с", + "▁ лес", + "▁оста лись", + "▁му суль", + "▁Ass oci", + "▁по ез", + "▁пое з", + "▁доро гу", + "▁дорог у", + "▁по шли", + "▁пош ли", + "мо нт", + "мон т", + "▁л ё", + "▁ лё", + "▁изме нений", + "▁п риста", + "▁при ста", + "▁прис та", + "▁follow ed", + "▁вы ходит", + "▁выход ит", + "▁cont ract", + "ку т", + "к ут", + "er ship", + "ers hip", + "ст рий", + "стри й", + "▁сегодня ш", + "▁А й", + "▁ Ай", + "▁ма шина", + "▁маши на", + "▁машин а", + "▁И ису", + "▁челове ческого", + "▁ве ществ", + "▁веще ств", + "▁извест ных", + "▁известны х", + "▁изве стных", + "ки на", + "кин а", + "к ина", + "ди а", + "▁разви тии", + "O N", + "р пи", + "▁Я н", + "▁про фи", + "▁пр офи", + "▁проф и", + "ще т", + "щ ет", + "▁по эта", + "▁поэ та", + "▁поэт а", + "he l", + "h el", + "▁гло ба", + "▁гл оба", + "жде на", + "жден а", + "жд ена", + "ж дена", + "▁ка вале", + "▁сам им", + "▁сами м", + "▁С начала", + "▁Та кие", + "▁кон ститу", + "▁по смотреть", + "▁посмотре ть", + "ке н", + "к ен", + "▁е ха", + "▁ еха", + "▁а да", + "▁ад а", + "▁ ада", + "▁социаль ных", + "▁соци альных", + "гру п", + "г руп", + "▁ре ка", + "▁рек а", + "ла ндии", + "лан дии", + "▁pr ivate", + "▁priv ate", + "▁Си би", + "ка ть", + "кат ь", + "ё з", + "o o", + "▁исто чник", + "▁источ ник", + "▁по дру", + "▁под ру", + "▁im pro", + "▁imp ro", + "ab ility", + "▁Благо даря", + "▁не прави", + "▁неправ и", + "▁Ва ши", + "▁Ваш и", + "idd le", + "▁Пари ж", + "▁слу чилось", + "▁случи лось", + "О т", + "ou ther", + "out her", + "outh er", + "o uther", + "ce ed", + "c eed", + "▁университе те", + "▁университет е", + "▁за пуска", + "▁запу ска", + "▁запуск а", + "▁при чины", + "▁причи ны", + "▁причин ы", + "▁с бо", + "▁c ome", + "▁com e", + "▁co me", + "▁ come", + "▁с обе", + "▁со бе", + "▁соб е", + "▁проце нтов", + "▁процен тов", + "▁процент ов", + "▁контра кт", + "▁контрак т", + "▁к рово", + "▁кро во", + "▁кров о", + "▁сред ней", + "▁средне й", + "▁ме не", + "▁мен е", + "▁ мене", + "▁слу жит", + "▁служ ит", + "▁служи т", + "го лов", + "голо в", + "▁под лин", + "▁подли н", + "▁Geor ge", + "▁Georg e", + "▁но ме", + "am a", + "a ma", + "сле дование", + "следова ние", + "▁на личи", + "▁нали чи", + "▁Гри го", + "▁современ ного", + "he ad", + "h ead", + "▁иск рен", + "▁ми нима", + "▁мини ма", + "▁произ ведений", + "▁способ ом", + "▁спосо бом", + "ко ма", + "ком а", + "▁a ward", + "▁aw ard", + "▁О фициаль", + "▁Офи циаль", + "do m", + "d om", + "ну в", + "на л", + "н ал", + "ку р", + "к ур", + "ер емо", + "ере мо", + "по рта", + "пор та", + "порт а", + "▁ре шений", + "▁реше ний", + "▁круп ные", + "▁я в", + "▁reg ion", + "▁хо д", + "▁х од", + "▁ ход", + "▁опреде ления", + "ч ны", + "▁бю ро", + "▁ бюро", + "дна я", + "д ная", + "▁п орт", + "▁по рт", + "▁пор т", + "▁ порт", + "ac y", + "a cy", + "▁l iving", + "ру я", + "Л у", + "▁дипло ма", + "▁диплом а", + "▁результа тов", + "▁результат ов", + "▁вы вод", + "▁выво д", + "▁пи шу", + "▁я рко", + "▁яр ко", + "▁у спо", + "▁ус по", + "ль ф", + "▁ру ка", + "▁р ука", + "▁рук а", + "В и", + "▁мо лит", + "▁мол ит", + "ort hern", + "orth ern", + "▁Об ъ", + "ле ва", + "лев а", + "л ева", + "▁сов местно", + "▁совме стно", + "▁У ра", + "▁Ур а", + "▁пы тается", + "▁пыта ется", + "ку ро", + "кур о", + "▁Europe an", + "▁ста тус", + "▁стату с", + "▁анали з", + "▁дей ствовать", + "▁бо ли", + "▁бол и", + "▁ боли", + "▁re lig", + "▁rel ig", + "ле йте", + "лей те", + "▁ал кого", + "▁Ни ж", + "че лове", + "ic o", + "i co", + "ца х", + "Р И", + "▁l ive", + "▁тща тельно", + "ж ны", + "▁P al", + "▁жи вет", + "▁жив ет", + "▁гото вы", + "▁готов ы", + "▁R ober", + "▁Rob er", + "▁Ro ber", + "▁лю бов", + "▁любо в", + "▁мо ю", + "бле ние", + "б ление", + "▁кро вь", + "▁кров ь", + "▁стра хо", + "▁страх о", + "▁d am", + "▁не мало", + "▁нема ло", + "▁ва шего", + "▁ваш его", + "▁ваше го", + "▁п але", + "▁па ле", + "▁пал е", + "rough t", + "r ought", + "▁ре ке", + "▁рек е", + "▁связа нные", + "▁связан ные", + "эт а", + "э та", + "p ut", + "▁писа теля", + "▁архи те", + "▁c ou", + "▁co u", + "▁о дни", + "▁од ни", + "e um", + "ня т", + "н ят", + "Н и", + "▁кило мет", + "▁ц арь", + "▁цар ь", + "▁ца рь", + "▁ царь", + "▁высо те", + "▁выс оте", + "но венно", + "нов енно", + "нове нно", + "новен но", + "▁и спа", + "▁ис па", + "▁соответ ствует", + "▁соответству ет", + "it ch", + "augh ter", + "aught er", + "▁при ят", + "▁прия т", + "▁ прият", + "▁R ich", + "▁проме жу", + "▁с выше", + "▁Bl ack", + "р ма", + "жи те", + "жит е", + "ho d", + "h od", + "хо й", + "х ой", + "▁об основа", + "▁обо снова", + "на в", + "н ав", + "▁хо тите", + "▁le arn", + "ан али", + "ана ли", + "а нали", + "бле ния", + "б ления", + "▁из менить", + "▁изме нить", + "▁измени ть", + "▁измен ить", + "▁за ле", + "▁з але", + "▁зал е", + "▁по хоро", + "▁похо ро", + "gr ess", + "g ress", + "out hern", + "outh ern", + "outher n", + "ур е", + "у ре", + "чо м", + "ч ом", + "▁о хот", + "▁охо т", + "▁ох от", + "▁ме да", + "▁мед а", + "▁ меда", + "▁коман дира", + "▁команди ра", + "▁командир а", + "▁Go ogle", + "▁пу ле", + "▁матери ал", + "▁материа л", + "▁мате риал", + "▁д ав", + "▁да в", + "▁ дав", + "▁вза им", + "▁Па вел", + "▁m em", + "▁me m", + "▁а том", + "▁ат ом", + "▁ато м", + "м с", + "▁по все", + "▁пов се", + "▁за труд", + "же шь", + "ж ешь", + "▁ве ков", + "▁век ов", + "▁челове чества", + "▁Ind ian", + "▁India n", + "но вых", + "нов ых", + "▁пе дагоги", + "▁педаго ги", + "▁педагог и", + "▁Никола я", + "▁Нико лая", + "▁Ку бка", + "ae l", + "a el", + "▁Г али", + "▁Га ли", + "вши мся", + "вшим ся", + "▁ду х", + "▁ дух", + "▁С им", + "▁Си м", + "ро ма", + "ром а", + "▁оста льных", + "▁ост альных", + "▁Al though", + "юр е", + "ю ре", + "гля ды", + "▁сто имость", + "▁стои мость", + "▁стоимо сть", + "▁на правление", + "▁напра вление", + "▁це лый", + "а й", + "ни цах", + "ница х", + "▁rem ained", + "▁remain ed", + "гра да", + "град а", + "гр ада", + "▁опера ций", + "▁ду ша", + "▁душ а", + "▁комму ника", + "▁коммуни ка", + "▁вопро са", + "▁вопрос а", + "▁кон серва", + "ст ки", + "с тки", + "хо ждения", + "▁Я ко", + "▁Як о", + "те о", + "▁rec ogn", + "▁s te", + "▁st e", + "▁ ste", + "▁на шим", + "▁наши м", + "▁наш им", + "▁b r", + "▁ br", + "▁по станов", + "▁поста нов", + "▁постано в", + "E S", + "▁раз обра", + "▁разо бра", + "▁разоб ра", + "▁принци п", + "до воль", + "дово ль", + "▁поня тно", + "▁реаль ности", + "▁реа льности", + "▁реально сти", + "ье ра", + "ьер а", + "ь ера", + "зи он", + "▁поко ления", + "▁наблю дения", + "▁b o", + "▁ bo", + "▁пись мен", + "▁письме н", + "p ing", + "▁теле фо", + "Т е", + "ко ви", + "ков и", + "▁c ast", + "▁cas t", + "▁ cast", + "▁ог ня", + "▁g en", + "▁ge n", + "▁ gen", + "▁Ш о", + "▁В ан", + "▁Ва н", + "▁f unction", + "▁fun ction", + "ag ed", + "age d", + "a ged", + "▁посред ством", + "ры м", + "▁услу г", + "▁игра ет", + "ib r", + "i br", + "▁об ма", + "min ist", + "▁обяза нности", + "▁обязан ности", + "▁та лант", + "▁талан т", + "** **", + "▁а но", + "▁ан о", + "▁ ано", + "ря до", + "ряд о", + "▁ме стного", + "▁мест ного", + "▁созда н", + "▁соз дан", + "сле й", + "сл ей", + "с лей", + "ко вая", + "ков ая", + "кова я", + "▁нас читы", + "▁up on", + "▁u pon", + "жа ться", + "жать ся", + "ud d", + "u dd", + "▁зада чу", + "▁задач у", + "во дит", + "вод ит", + "води т", + "▁ле чения", + "▁при вя", + "▁прив я", + "▁оши бки", + "▁ошиб ки", + "бра сы", + "за х", + "her s", + "h ers", + "▁б ак", + "▁ба к", + "▁ бак", + "▁по хоже", + "▁похо же", + "▁похож е", + "Н А", + "▁жи вут", + "▁живу т", + "▁жив ут", + "▁кра сно", + "▁неожида нно", + "▁la un", + "▁раз бира", + "▁разби ра", + "▁д ина", + "▁ди на", + "▁ дина", + "▁ни что", + "▁ ничто", + "ня ка", + "няк а", + "ч не", + "▁Comp any", + "o ice", + "▁ко ордина", + "▁об ъем", + "▁объ ем", + "▁объе м", + "▁ответ ственности", + "▁тер ми", + "яз ы", + "я зы", + "▁созда л", + "▁соз дал", + "▁сыгра л", + "ит ся", + "и тся", + "те л", + "▁оста навли", + "▁mater ial", + "▁с кан", + "▁ска н", + "▁ск ан", + "▁Ав стра", + "ру ссии", + "рус сии", + "▁специали стов", + "▁специалист ов", + "▁говор ю", + "▁гово рю", + "ек т", + "е кт", + "▁И нди", + "▁Ин ди", + "▁Пе тр", + "▁Пет р", + "▁бю джет", + "▁бюдже т", + "▁th ought", + "▁though t", + "▁финан си", + "▁фина нси", + "▁r ul", + "▁ru l", + "▁A nt", + "▁An t", + "▁следу ющее", + "▁ко е", + "▁к ое", + "▁ кое", + "▁е з", + "▁ ез", + "▁O p", + "▁И ме", + "▁Им е", + "▁м ани", + "▁ма ни", + "▁ мани", + "ig ned", + "ign ed", + "▁вс пы", + "р э", + "бл у", + "б лу", + "▁при ез", + "▁прие з", + "▁d ata", + "▁ data", + "▁сооб щение", + "▁сообще ние", + "▁цен тром", + "▁центр ом", + "▁предприя тий", + "▁com pos", + "▁comp os", + "▁rele ase", + "▁Э д", + "▁Изра и", + "с ро", + "▁сво ём", + "▁своё м", + "▁неодно кратно", + "▁избе жать", + "▁мо леку", + "▁коман де", + "▁команд е", + "▁на писать", + "▁написа ть", + "▁напи сать", + "▁навер ное", + "▁наве рное", + "▁Олимпий ских", + "▁слу жить", + "▁служ ить", + "▁служи ть", + "▁служит ь", + "▁про грамму", + "▁програм му", + "▁программ у", + "▁re n", + "▁r en", + "▁ ren", + "ду ющий", + "дую щий", + "▁га рмо", + "▁гар мо", + "▁о зера", + "▁озе ра", + "▁оз ера", + "▁озер а", + "▁d oc", + "▁do c", + "▁se par", + "▁опреде ляется", + "▁определя ется", + "▁определяет ся", + "▁оцен ки", + "▁оце нки", + "ва емых", + "ваем ых", + "A C", + "▁for med", + "▁form ed", + "▁иг рах", + "▁игра х", + "бли зи", + "▁у кре", + "ди ка", + "дик а", + "el ling", + "ell ing", + "▁c ross", + "▁cr oss", + "▁cro ss", + "ди ла", + "дил а", + "д ила", + "I D", + "▁е ю", + "▁внутрен ней", + "ли лся", + "лил ся", + "л ился", + "чи сли", + "чис ли", + "▁Боль шо", + "▁сло вом", + "▁слово м", + "▁слов ом", + "▁карь еру", + "▁stud y", + "▁по мимо", + "▁пом имо", + "▁поми мо", + "ко на", + "кон а", + "к она", + "▁ти пи", + "▁тип и", + "▁Д жу", + "▁Дж у", + "▁де бю", + "▁p ay", + "▁противо стоя", + "▁связа нных", + "▁связан ных", + "as ing", + "▁ме даль", + "▁мед аль", + "▁меда ль", + "▁струк тур", + "▁М ер", + "▁Ме р", + "▁смы сла", + "▁смысл а", + "ж нее", + "▁вер тика", + "▁су ть", + "▁ну жен", + "▁нуж ен", + "▁закон чи", + "▁ма гни", + "▁маг ни", + "▁ магни", + "жа н", + "ж ан", + "ре мя", + "рем я", + "▁Поз же", + "▁функ циони", + "▁осуществ ляется", + "▁осуществля ется", + "▁осуществляет ся", + "▁v e", + "▁ ve", + "▁вы шли", + "ы ска", + "чи н", + "ч ин", + "▁помо гает", + "▁помога ет", + "все гда", + "гра ции", + "гр ации", + "▁отноше ниях", + "▁отношения х", + "▁s ex", + "▁se x", + "▁ sex", + "▁за ря", + "▁зар я", + "▁и дут", + "▁ид ут", + "▁иду т", + "▁ад рес", + "▁адре с", + "▁C ap", + "▁Ca p", + "та ри", + "тар и", + "▁f ar", + "▁fa r", + "▁Ю рий", + "▁при ну", + "▁прин у", + "д ным", + "те льностью", + "тель ностью", + "тельно стью", + "тельность ю", + "▁про вёл", + "se l", + "s el", + "▁про йти", + "▁прой ти", + "v ille", + "▁М э", + "▁Р ай", + "▁Ра й", + "av a", + "a va", + "▁преду смотре", + "▁S am", + "▁Sa m", + "▁off ice", + "▁offic e", + "▁Б ере", + "▁Бе ре", + "▁Бер е", + "▁disc over", + "▁h on", + "▁город ской", + "▁ городской", + "▁т ема", + "▁те ма", + "▁тем а", + "▁ тема", + "▁пос ёл", + "▁сред неве", + "▁средне ве", + "щ ь", + "лли ген", + "ша ли", + "шал и", + "ш али", + "▁за ча", + "фе р", + "ф ер", + "▁же лу", + "▁жел у", + "ви я", + "ду м", + "д ум", + "▁сум му", + "▁тра ге", + "▁о пере", + "▁оп ере", + "▁опер е", + "▁опе ре", + "▁с еть", + "▁се ть", + "▁сет ь", + "▁ сеть", + "▁J ew", + "▁Je w", + "▁ра циона", + "▁ рациона", + "▁устрой ство", + "▁устройств о", + "▁и сте", + "▁ис те", + "▁ист е", + "▁че л", + "▁ чел", + "▁д вери", + "▁две ри", + "▁двер и", + "▁про гно", + "▁g un", + "▁gu n", + "▁an im", + "▁го лосо", + "▁голо со", + "▁голос о", + "▁ак три", + "▁акт ри", + "▁обе ща", + "cl e", + "c le", + "▁россий ской", + "не нный", + "нен ный", + "ce r", + "c er", + "▁у гле", + "▁уг ле", + "▁за ба", + "▁заб а", + "f ace", + "▁ком бина", + "▁горо дах", + "▁города х", + "▁с каз", + "▁ска з", + "▁ск аз", + "▁ли ней", + "▁лин ей", + "▁ линей", + "▁га зет", + "▁газ ет", + "▁газе т", + "сло ва", + "слов а", + "с лова", + "от вет", + "ем ом", + "емо м", + "е мом", + "лек тро", + "да ния", + "▁б ара", + "▁ба ра", + "▁бар а", + "▁ бара", + "▁ры нок", + "▁рыно к", + "▁а то", + "▁ат о", + "▁ac cept", + "▁Боль шинство", + "▁play er", + "▁понима ть", + "▁пони мать", + "му ни", + "▁ин струк", + "▁инстру к", + "Л И", + "▁ф ар", + "▁фа р", + "▁ фар", + "ще стви", + "ществ и", + "▁полу чается", + "▁получа ется", + "▁получает ся", + "▁перио ди", + "▁период и", + "то рами", + "тора ми", + "торам и", + "▁у стро", + "▁ус тро", + "▁де монстри", + "▁демон стри", + "▁не сом", + "▁нес ом", + "▁несо м", + "pl y", + "p ly", + "▁n ov", + "▁no v", + "▁avail able", + "рно го", + "р ного", + "▁п она", + "▁по на", + "▁пон а", + "▁writ ten", + "▁t re", + "▁tr e", + "▁З о", + "▁принима ет", + "▁бы вшего", + "▁ак тиви", + "▁актив и", + "▁вне шней", + "▁внеш ней", + "▁внешне й", + "▁ph ys", + "▁т ера", + "▁те ра", + "▁тер а", + "▁ тера", + "▁следова тельно", + "em s", + "e ms", + "▁предпо чита", + "▁здоров ья", + "ме три", + "мет ри", + "метр и", + "▁э фи", + "▁пол ном", + "▁полно м", + "▁ор би", + "▁ск ром", + "▁з им", + "▁зи м", + "н х", + "▁ну жда", + "▁нуж да", + "▁нужд а", + "▁O ff", + "▁Of f", + "▁pres ident", + "▁st ated", + "▁state d", + "▁stat ed", + "▁а по", + "▁ап о", + "▁В ся", + "vi ron", + "v iron", + "▁сохра нить", + "▁сохрани ть", + "▁сохран ить", + "▁Одна жды", + "▁Т ай", + "▁Та й", + "▁ Тай", + "ud e", + "u de", + "▁S im", + "▁Si m", + "▁воен ный", + "▁вое нный", + "ме ц", + "м ец", + "▁м он", + "▁мо н", + "▁ мон", + "▁подоб но", + "спо рт", + "спор т", + "с порт", + "▁заня тия", + "ol ic", + "oli c", + "▁ка чество", + "▁каче ство", + "▁качеств о", + "▁за й", + "▁з ай", + "▁ зай", + "▁рабо тников", + "▁работ ников", + "▁работник ов", + "▁Ра зу", + "▁Раз у", + "▁на сле", + "▁нас ле", + "▁ба бу", + "▁но мина", + "▁mark et", + "▁Ре спубли", + "▁пон рави", + "▁музы ки", + "▁во шли", + "жде но", + "жден о", + "▁ста тей", + "▁администра ции", + "▁Ш ве", + "▁матери ала", + "▁материа ла", + "▁материал а", + "▁соб ственности", + "▁собствен ности", + "▁собственно сти", + "▁C ouncil", + "▁e arl", + "▁ear l", + "▁следу ющим", + "▁c irc", + "▁ди ску", + "▁дис ку", + "▁диск у", + "▁стар ший", + "▁ле са", + "▁лес а", + "▁Москов ского", + "▁обо знача", + "▁обозна ча", + "▁челове ческой", + "ba ck", + "b ack", + "▁солн це", + "▁един ственный", + "▁in formation", + "▁inform ation", + "▁ко стю", + "▁кос тю", + "▁интен сив", + "▁интенси в", + "▁пользова телей", + "▁ва лю", + "ше ль", + "шел ь", + "не нной", + "нен ной", + "ненно й", + "▁иде ологи", + "▁f oc", + "ско хозяй", + "зм ы", + "з мы", + "ЕН И", + "Е НИ", + "▁s elf", + "▁ self", + "ни тся", + "нит ся", + "н ится", + "▁ра к", + "▁р ак", + "▁ рак", + "▁вы рабо", + "▁выра бо", + "ле ть", + "лет ь", + "л еть", + "ge s", + "g es", + "▁соеди нения", + "▁в ек", + "▁ве к", + "▁d er", + "▁de r", + "▁ der", + "▁завер ши", + "▁характер исти", + "▁характери сти", + "де кс", + "▁тео рия", + "min g", + "m ing", + "▁интере сно", + "▁интерес но", + "▁ch ange", + "▁chang e", + "▁ change", + "▁за коны", + "▁зако ны", + "▁закон ы", + "▁зак оны", + "ля ется", + "ляет ся", + "▁раз деле", + "▁разде ле", + "▁раздел е", + "▁Ви ктор", + "▁Викто р", + "▁реак ции", + "▁реа кции", + "▁I f", + "во дятся", + "вод ятся", + "водя тся", + "водят ся", + "▁отказа лся", + "жи х", + "ж их", + "ти ло", + "тил о", + "▁k illed", + "▁kill ed", + "▁kil led", + "▁э м", + "▁ эм", + "▁зару бе", + "▁у про", + "▁cont rib", + "▁уче ные", + "▁Амери ке", + "▁мину ту", + "▁минут у", + "▁тру дом", + "▁труд ом", + "▁трудо м", + "▁совет ского", + "▁сове тского", + "▁советско го", + "▁официаль но", + "тя т", + "т ят", + "гро м", + "гр ом", + "г ром", + "ur ity", + "▁узна л", + "▁уз нал", + "▁потен циаль", + "▁потенциа ль", + "▁потенциал ь", + "▁point s", + "ко вь", + "ков ь", + "if orn", + "▁диа мет", + "C h", + "▁влия ния", + "▁са нк", + "▁сан к", + "▁ко жи", + "▁нача лом", + "▁начал ом", + "▁начало м", + "▁американ ских", + "▁америка нских", + "▁д вое", + "▁дво е", + "▁be com", + "▁bec om", + "ло сть", + "ru p", + "r up", + "▁М еня", + "▁Ме ня", + "▁Мен я", + "▁signific ant", + "▁при зыва", + "▁призыв а", + "▁призы ва", + "ре я", + "▁re d", + "▁r ed", + "▁ red", + "▁б ла", + "▁ бла", + "▁много е", + "ре ны", + "рен ы", + "▁прибы ли", + "▁прибыл и", + "▁ту рец", + "▁тур ец", + "▁туре ц", + "за нти", + "зан ти", + "з анти", + "▁соб ственного", + "▁собствен ного", + "▁собственно го", + "▁Во ен", + "▁не дель", + "▁неде ль", + "▁ недель", + "▁террито рию", + "▁К стати", + "▁ск возь", + "▁C up", + "▁во стор", + "▁вос тор", + "▁восто р", + "va n", + "v an", + "▁ц енно", + "▁це нно", + "▁цен но", + "▁откры тия", + "ва х", + "щи ны", + "щин ы", + "щ ины", + "▁XV II", + "▁XVI I", + "\" ?", + "▁h ard", + "▁har d", + "▁ha rd", + "▁ hard", + "▁ent ire", + "г ка", + "▁re view", + "▁rev iew", + "▁чер ты", + "▁черт ы", + "▁вос ьми", + "▁вось ми", + "▁возду хе", + "▁воздух е", + "ющи мся", + "ющим ся", + "ю щимся", + "▁Б рю", + "▁Ана то", + "▁два жды", + "ло вой", + "лов ой", + "лово й", + "▁s igned", + "▁sign ed", + "ва ны", + "ван ы", + "▁чемпи он", + "▁во зоб", + "▁воз об", + "ress ed", + "r essed", + "▁вра га", + "▁враг а", + "▁мол ча", + "▁у щер", + "▁уще р", + "▁Ру си", + "▁Рус и", + "▁cl ose", + "▁clos e", + "▁та нков", + "▁тан ков", + "▁танк ов", + "▁Обы чно", + "▁ко т", + "▁к от", + "▁ кот", + "вр и", + "в ри", + "▁event ually", + "▁P aul", + "▁эпо ху", + "▁ac cess", + "▁acc ess", + "▁вся кого", + "реги стри", + "д ке", + "un t", + "u nt", + "р ский", + "▁музы кан", + "▁музыка н", + "▁эк зем", + "▁бу х", + "▁ме стности", + "▁мест ности", + "▁Со еди", + "▁Н К", + "▁ НК", + "▁со вокуп", + "▁in ternational", + "▁intern ational", + "▁в ступа", + "▁вступ а", + "▁о ко", + "▁ок о", + "са нт", + "сан т", + "▁за л", + "▁з ал", + "▁ зал", + "▁уча сток", + "▁участ ок", + "со ван", + "сов ан", + "сова н", + "▁выступа ет", + "▁международ ных", + "▁со се", + "▁сос е", + "▁россий ского", + "▁t reat", + "▁tre at", + "▁зна ете", + "▁знает е", + "▁бо ю", + "▁ бою", + "▁мета лли", + "▁метал ли", + "▁металл и", + "▁соб ственных", + "▁собствен ных", + "▁сла бы", + "▁Б ур", + "▁Бу р", + "▁свое образ", + "▁продол жает", + "▁продолжа ет", + "▁вели кого", + "▁велико го", + "▁ка ждая", + "▁каж дая", + "▁про водить", + "▁проводи ть", + "▁прово дить", + "▁провод ить", + "▁проводит ь", + "д р", + "▁назна чения", + "▁Ге рой", + "▁Гер ой", + "▁Геро й", + "▁д я", + "▁ дя", + "▁исто чников", + "▁источ ников", + "▁источник ов", + "▁с пут", + "▁спу т", + "▁ли бера", + "кло пе", + "▁aver age", + "▁G roup", + "▁обще ственного", + "▁обществе нного", + "▁общественно го", + "▁ass ist", + "▁ок на", + "▁co urt", + "▁cour t", + "А О", + "▁зна ний", + "▁у вле", + "▁ка толи", + "▁като ли", + "▁ми нуты", + "▁мину ты", + "▁минут ы", + "▁проис ходя", + "▁происхо дя", + ". /", + "а м", + "▁e ither", + "▁пер спекти", + "▁перспек ти", + "▁T ra", + "▁Tr a", + "▁H en", + "▁He n", + "▁M ag", + "▁Ma g", + "ро вая", + "ров ая", + "рова я", + "▁p olic", + "▁pol ic", + "ти ве", + "тив е", + "лко в", + "лк ов", + "л ков", + "▁при ба", + "▁подвер га", + "▁подверг а", + "▁l anguage", + "▁langu age", + "ли зова", + "▁х рам", + "▁хра м", + "▁go ing", + "▁ going", + "▁К ни", + "▁ Кни", + "кну ть", + "к нуть", + "▁f ell", + "▁fe ll", + "▁ста дии", + "▁стади и", + "▁при дума", + "▁прид ума", + "▁КП СС", + "▁оста вить", + "▁дости г", + "▁educ ation", + "▁Un ion", + "▁де вушка", + "▁деву шка", + "▁ст рах", + "▁стра х", + "▁в ир", + "▁ви р", + "▁по гре", + "▁b rought", + "▁br ought", + "med i", + "мо га", + "▁ле ст", + "▁лес т", + "▁к рова", + "▁кро ва", + "▁кров а", + "▁ крова", + "▁содержа ния", + "▁нес част", + "▁несча ст", + "im ately", + "imate ly", + "▁о писание", + "▁описа ние", + "▁О ОН", + "g in", + "▁выбо рах", + "▁выбора х", + "▁расска зывает", + "▁расс казывает", + "▁рассказыва ет", + "▁рассказы вает", + "▁ind epend", + "ди ю", + "▁использова нием", + "▁использование м", + "▁ресур сов", + "▁ресурс ов", + "▁Cal iforn", + "▁тя жело", + "▁тяже ло", + "▁дости гну", + "▁достиг ну", + "ж на", + "▁Rep ublic", + "▁p ast", + "▁поло вины", + "▁полови ны", + "▁полов ины", + "▁Л ей", + "▁Ле й", + "ac es", + "ace s", + "a ces", + "то логи", + "т ологи", + "▁L ou", + "▁Lo u", + "▁от ряд", + "▁отря д", + "▁re b", + "▁r eb", + "ци ал", + "циа л", + "▁су дов", + "▁суд ов", + "▁судо в", + "▁кар ты", + "▁карт ы", + "▁qu est", + "▁ quest", + "▁in j", + "▁кладби ще", + "▁у годно", + "▁уг одно", + "▁уго дно", + "па ми", + "пам и", + "▁свобо ду", + "▁свобод у", + "▁у ка", + "▁ ука", + "до ра", + "дор а", + "▁об щее", + "▁обще е", + "юз е", + "ю зе", + "▁Пер во", + "▁сце не", + "▁сцен е", + "ре на", + "рен а", + "р ена", + "▁Ма ри", + "▁Мар и", + "ла т", + "л ат", + "▁e ight", + "▁не прият", + "▁непри ят", + "▁неприя т", + "▁t our", + "▁to ur", + "▁разви тию", + "▁сом нения", + "▁сомне ния", + "▁f av", + "▁fa v", + "хо ва", + "хов а", + "ни аль", + "ниа ль", + "те ле", + "тел е", + "вшее ся", + "▁приме нение", + "ли кт", + "лик т", + "▁т емы", + "▁те мы", + "▁тем ы", + "▁офи цер", + "▁офице р", + "▁неме цких", + "▁немец ких", + "▁С тро", + "▁Ст ро", + "if ication", + "ific ation", + "il ities", + "ili ties", + "ilit ies", + "нци клопе", + "em ents", + "ement s", + "e ments", + "▁dec ided", + "▁Не сколько", + "кл я", + "к ля", + "▁при шла", + "ству ющих", + "▁ин фра", + "▁инф ра", + "▁I m", + "з ли", + "▁ac qu", + "▁национа льного", + "▁национально го", + "▁В ас", + "▁Ва с", + "▁за пас", + "▁запа с", + "▁ст рана", + "▁стра на", + "▁стран а", + "▁стр ана", + "▁о доб", + "▁од об", + "▁одо б", + "▁ма рки", + "▁мар ки", + "▁брига ды", + "▁эффек т", + "▁до ж", + "▁про возгла", + "▁Ки тай", + "▁Кита й", + "▁с той", + "▁ст ой", + "▁сто й", + "▁ стой", + "▁на ступление", + "▁наступ ление", + "▁ну жна", + "▁нуж на", + "▁то рмо", + "▁тор мо", + "се т", + "с ет", + "▁части чно", + "▁through out", + "▁Н аз", + "▁На з", + "▁beh ind", + "▁проце ссы", + "▁процесс ы", + "▁Ind ia", + "▁о смо", + "▁ос мо", + "же нного", + "жен ного", + "женно го", + "на т", + "н ат", + "▁С во", + "▁Св о", + "▁о зна", + "▁оз на", + "ев е", + "е ве", + "▁r ather", + "▁ra ther", + "▁rat her", + "▁в в", + "▁Пер вой", + "▁Перво й", + "▁th ink", + "ши т", + "ш ит", + "▁интер фей", + "▁Пу сть", + "▁пробле му", + "▁проблем у", + "▁по чита", + "▁почи та", + "▁лег че", + "▁называ ли", + "▁называл и", + "▁ви жу", + "▁рас ста", + "▁расс та", + "▁Пер вые", + "▁А зербайджа", + "▁твор чества", + "▁ду ха", + "▁дух а", + "▁con struction", + "▁const ruction", + "▁construct ion", + "п ка", + "на у", + "▁ре шить", + "▁реши ть", + "▁бу дете", + "▁будет е", + "▁буд ете", + "▁а раб", + "▁ара б", + "▁в ле", + "▁ вле", + "▁tra ining", + "▁tr aining", + "▁train ing", + "▁сред нем", + "▁средне м", + "▁роди тели", + "▁интер нет", + "▁п ак", + "▁па к", + "Т О", + "чи ком", + "чик ом", + "Ко р", + "К ор", + "▁g ot", + "▁go t", + "зи ли", + "зил и", + "з или", + "▁ста би", + "▁ стаби", + "▁фрон т", + "P I", + "не дель", + "▁pro t", + "▁pr ot", + "▁по лю", + "▁пол ю", + "цу з", + "ц уз", + "ди лся", + "дил ся", + "д ился", + "▁В але", + "▁Ва ле", + "кон струк", + "▁про шли", + "▁прош ли", + "▁на пол", + "▁напо л", + "Р У", + "un ic", + "u nic", + "▁На поле", + "хи ми", + "хим и", + "х ими", + "▁выпол нять", + "▁выполня ть", + "си м", + "с им", + "пи н", + "п ин", + "▁ос нову", + "▁основ у", + "▁осно ву", + "▁преду сматри", + "▁Бо рис", + "▁Бори с", + "▁Бор ис", + "▁вы де", + "▁H all", + "▁Ha ll", + "▁Hal l", + "▁spec ies", + "▁силь нее", + "▁пря мой", + "▁прямо й", + "▁eff ort", + "▁Dav id", + "▁полу о", + "раз уме", + "разу ме", + "разум е", + "▁М ат", + "▁Ма т", + "не ры", + "нер ы", + "н еры", + "▁pol ice", + "▁polic e", + "▁ду шу", + "▁душ у", + "зм ов", + "з мов", + "wo od", + "w ood", + "й дя", + "▁фра г", + "▁про игра", + "▁прои гра", + "▁по тря", + "▁ре сто", + "▁г ли", + "▁гл и", + "▁ гли", + "▁о ча", + "▁с тру", + "▁ст ру", + "▁стр у", + "▁ стру", + "av es", + "ave s", + "a ves", + "▁serv ices", + "▁service s", + "йс кий", + "й ский", + "ко вый", + "ковы й", + "з ри", + "▁Californ ia", + "▁Та кое", + "▁Так ое", + "ut ure", + "u ture", + "▁с пло", + "▁сер де", + "▁серд е", + "т вра", + "ain t", + "ai nt", + "a int", + "▁M ac", + "▁Ma c", + "▁пол ный", + "ги м", + "г им", + "ad d", + "a dd", + "▁M il", + "▁у держа", + "▁poss ible", + "▁на сла", + "▁нас ла", + "▁Никола евич", + "се ление", + "▁al most", + "▁про ро", + "▁прор о", + "▁ре жима", + "▁режи ма", + "▁режим а", + "▁вы ступления", + "▁выступ ления", + "б ке", + "▁Ра спо", + "▁Рас по", + "itte e", + "itt ee", + "< /", + "▁V I", + "▁ VI", + "ia tion", + "iat ion", + "i ation", + "▁а спек", + "▁бу ты", + "▁социаль но", + "▁соци ально", + "ро ванию", + "рова нию", + "▁пози цию", + "▁ри т", + "▁р ит", + "▁ рит", + "▁Э к", + "▁ба зы", + "▁баз ы", + "▁пом ню", + "то ру", + "тор у", + "т ору", + "▁ex ec", + "ви лась", + "вила сь", + "▁с верху", + "▁сверх у", + "▁свер ху", + "▁функ ций", + "▁проце ссо", + "▁процесс о", + "▁встре чается", + "▁встреча ется", + "▁встречает ся", + "▁Та кой", + "▁Так ой", + "чё н", + "ч ён", + "▁при вело", + "▁приве ло", + "▁привел о", + "▁сред е", + "▁сре де", + "но мо", + "ном о", + "вод ство", + "▁сказа но", + "▁сказ ано", + "▁влия нием", + "▁влияние м", + "пи ли", + "пил и", + "п или", + "▁древ не", + "▁дре вне", + "ed eral", + "eder al", + "Р Е", + "▁изу чения", + "▁le ast", + "▁я влялся", + "▁явля лся", + "▁яв лялся", + "▁поверх ность", + "▁поверхно сть", + "▁d ou", + "▁do u", + "▁ш ту", + "▁шт у", + "A N", + "▁встре чаются", + "▁встреча ются", + "▁дире ктора", + "▁директор а", + "▁inter est", + "▁inte rest", + "▁ob ject", + "▁l ik", + "▁he alth", + "▁круп ней", + "▁inv olved", + "▁invol ved", + "▁ре йти", + "▁рей ти", + "Н Р", + "▁w id", + "▁ку х", + "▁Т ра", + "▁s oon", + "▁so on", + "▁дру ж", + "eng th", + "▁Свя того", + "▁Свято го", + "▁Д рев", + "Пе тербург", + "Петербур г", + "▁Пе тербург", + "▁Петербур г", + "▁Петер бург", + "▁ Петербург", + "▁ev ents", + "▁even ts", + "▁event s", + "▁п ут", + "▁пу т", + "▁ пут", + "сти ческие", + "стически е", + "с тические", + "▁повы шен", + "▁сред него", + "▁средне го", + "▁то вар", + "▁това р", + "▁фе но", + "▁Б ай", + "▁Ба й", + "▁prov ided", + "▁provide d", + "▁ти хо", + "▁ тихо", + "▁де лам", + "▁дела м", + "▁дел ам", + "ви тся", + "вит ся", + "в ится", + "i qu", + "an der", + "and er", + "a nder", + "▁руко водитель", + "▁руководи тель", + "▁s ound", + "▁so und", + "▁Par ty", + "▁Part y", + "at ural", + "atur al", + "▁отве чает", + "▁отвеча ет", + "з во", + "ra b", + "r ab", + "▁С тре", + "▁Ст ре", + "▁благо дар", + "▁благода р", + "ви на", + "вин а", + "в ина", + "ст рии", + "стри и", + "▁При мер", + "▁Приме р", + "▁for ce", + "▁ force", + "▁при свое", + "▁прис вое", + "ду к", + "▁худо жника", + "▁худож ника", + "▁художник а", + "▁sub ject", + "▁желез ной", + "▁желе зной", + "▁МО СК", + "▁b ar", + "▁ bar", + "▁я пон", + "▁япо н", + "же ства", + "▁С ара", + "▁Са ра", + "▁Сар а", + "▁b ase", + "▁bas e", + "▁учили ще", + "▁га за", + "▁газ а", + "▁вы я", + "▁st ri", + "▁str i", + "▁о сна", + "▁ос на", + "ac hing", + "ach ing", + "▁record ed", + "то вые", + "▁ис пан", + "▁испа н", + "se c", + "s ec", + "▁де лом", + "▁дело м", + "▁дел ом", + "▁t ype", + "▁ty pe", + "▁typ e", + "▁ type", + "▁паци ен", + "▁d i", + "▁суще ственно", + "▁существ енно", + "▁перво нача", + "▁пла те", + "▁плат е", + "▁принима л", + "▁на родного", + "▁наро дного", + "▁народ ного", + "го ло", + "г оло", + "▁От кры", + "▁пора жения", + "▁Co urt", + "▁Cour t", + "оп ера", + "о пера", + "re ady", + "read y", + "ount er", + "oun ter", + "▁це ны", + "▁цен ы", + "▁pro duct", + "▁produ ct", + "▁produc t", + "▁сель скохозяй", + "цион ное", + "цио нное", + "ционно е", + "зо вы", + "зов ы", + "▁Кар л", + "рь я", + "р ья", + "▁насе лё", + "▁де лега", + "▁деле га", + "▁\" «", + "▁до га", + "▁дог а", + "ser v", + "s erv", + "об рази", + "обра зи", + "образ и", + "▁конструк ции", + "▁констру кции", + "▁сказа ли", + "▁ска зали", + "▁сказал и", + "▁сказ али", + "▁раз рабаты", + "▁фир мы", + "▁фирм ы", + "▁лю бит", + "▁люби т", + "▁пере говоры", + "▁перегово ры", + "▁в кус", + "▁вку с", + "k i", + "▁дей ствует", + "▁действу ет", + "▁sur v", + "▁M a", + "хо ду", + "ход у", + "зи рован", + "зирова н", + "▁resp ons", + "▁древ них", + "▁остро ве", + "▁остров е", + "▁s ize", + "▁ size", + "▁ла м", + "▁л ам", + "▁ лам", + "▁ц еремо", + "▁цер емо", + "▁не в", + "▁н ев", + "▁ нев", + "▁пра вом", + "▁право м", + "▁прав ом", + "▁теле виде", + "▁телеви де", + "▁P at", + "▁торго вли", + "▁торгов ли", + "in ese", + "ine se", + "ines e", + "вле нной", + "влен ной", + "вленно й", + "в ленной", + "▁де тали", + "▁дет али", + "▁дета ли", + "▁M al", + "▁Ma l", + "▁тон н", + "▁вз рыв", + "▁взры в", + "▁борь бу", + "▁простран стве", + "st r", + "s tr", + "» ;", + "▁высо кого", + "▁высоко го", + "▁C ont", + "▁Con t", + "▁Co nt", + "▁ Cont", + "▁h om", + "▁рабо чего", + "▁Лю бо", + "Ч то", + "▁m ight", + "ни в", + "н ив", + "▁ба нков", + "▁бан ков", + "▁банк ов", + "▁З ве", + "▁ Зве", + "▁объяви л", + "▁объя вил", + "▁хо кке", + "▁выс шей", + "▁a ud", + "▁ aud", + "▁борь ба", + "▁бор ьба", + "▁вто рая", + "▁втор ая", + "▁вы ражение", + "▁выра жение", + "▁ли де", + "▁л иде", + "▁уче ных", + "▁благо полу", + "▁r ace", + "▁ra ce", + "▁ race", + "▁писа телей", + "▁v iol", + "ав то", + "а вто", + "▁по кой", + "▁поко й", + "▁много м", + "▁мно гом", + "▁s top", + "▁st op", + "▁предо твра", + "фо на", + "фон а", + "ф она", + "ст ная", + "с тная", + "▁R oyal", + "▁Ro yal", + "▁Roy al", + "▁M ary", + "▁Mar y", + "▁Ma ry", + "▁ор ке", + "дно е", + "д ное", + "re ek", + "ree k", + "▁нрави тся", + "▁нрав ится", + "▁нра вится", + "▁способ ен", + "▁спосо бен", + "▁четы рёх", + "▁Г он", + "▁Го н", + "▁фрон те", + "▁фронт е", + "▁ме ль", + "▁мел ь", + "▁ мель", + "▁c op", + "▁co p", + "▁опти ми", + "ch ie", + "▁ма сла", + "ст ар", + "ста р", + "с тар", + "▁perform ance", + "▁performan ce", + "▁Div ision", + "▁режи ме", + "▁режим е", + "▁кар тина", + "▁карти на", + "▁картин а", + "▁карт ина", + "та ло", + "тал о", + "▁ча сы", + "▁час ы", + "пе л", + "▁на много", + "▁нам ного", + "▁e sc", + "▁es c", + "▁ esc", + "▁ры ба", + "▁рыб а", + "д ля", + "▁печа ти", + "▁печат и", + "▁п ья", + "▁пь я", + "▁group s", + "▁t rack", + "▁tra ck", + "▁tr ack", + "▁ track", + "К П", + "ти ческое", + "▁h app", + "▁ha pp", + "ро вку", + "ров ку", + "▁на бор", + "▁набо р", + "▁дела л", + "▁дел ал", + "▁p ot", + "▁po t", + "▁пол ное", + "▁полно е", + "▁ke ep", + "▁Х арь", + "▁Ха рь", + "▁Хар ь", + "▁сам их", + "▁сами х", + "вля ли", + "влял и", + "в ляли", + "▁сле гка", + "▁об но", + "▁ши ри", + "▁С по", + "▁vill age", + "▁С ен", + "▁Се н", + "че е", + "▁N or", + "▁No r", + "та кт", + "так т", + "▁проек тов", + "▁проект ов", + "▁пер и", + "▁пе ри", + "▁ пери", + "▁А м", + "▁со веща", + "▁сове ща", + "▁рус ском", + "▁русско м", + "▁ал горит", + "▁Ти хо", + "▁ш тра", + "▁шт ра", + "▁в ере", + "▁ве ре", + "▁вер е", + "▁ вере", + "▁J e", + "▁мето дов", + "▁метод ов", + "▁методо в", + "▁по дро", + "▁под ро", + "ме не", + "мен е", + "▁О со", + "▁Ос о", + "▁принадле жа", + "▁ш пи", + "▁оборудова ния", + "▁э ваку", + "▁принци пи", + "▁принцип и", + "▁ощу щение", + "▁Ки тая", + "▁Кита я", + "▁каждо му", + "▁каждом у", + "▁Э ль", + "▁Эл ь", + "▁о пасности", + "▁опас ности", + "▁опа сности", + "▁опасно сти", + "▁соб ственные", + "▁собствен ные", + "▁района х", + "▁инте ллиген", + "▁На де", + "▁Над е", + "б ь", + "▁плане ты", + "▁план еты", + "▁планет ы", + "▁интере сы", + "▁интерес ы", + "▁астро но", + "▁рабо той", + "▁работ ой", + "▁работо й", + "it ect", + "ite ct", + "▁те ми", + "▁тем и", + "▁Го род", + "▁Гор од", + "▁Горо д", + "▁мо рской", + "▁мор ской", + "▁ морской", + "▁по сте", + "▁пос те", + "▁пост е", + "▁б ал", + "▁ба л", + "▁ бал", + "мы сли", + "ban d", + "ba nd", + "b and", + "▁диви зия", + "▁дивизи я", + "▁гос пита", + "▁МОСК ВА", + "▁нем цев", + "ag o", + "a go", + "▁v ideo", + "▁до рога", + "▁доро га", + "▁дорог а", + "Г У", + "му ля", + "▁Austral ia", + "▁пере писи", + "▁перепи си", + "▁в ходят", + "▁вход ят", + "▁входя т", + "▁Пе тров", + "▁Пет ров", + "▁Петро в", + "▁Петр ов", + "▁У нивер", + "▁под черки", + "▁подчер ки", + "▁дво ре", + "▁двор е", + "▁председа теля", + "▁осу ществи", + "▁осуществ и", + "▁интере сов", + "▁интерес ов", + "▁интересо в", + "▁изобра жение", + "▁ра но", + "▁р ано", + "▁ран о", + "▁милли она", + "▁миллион а", + "▁интер пре", + "▁иде аль", + "▁идеа ль", + "▁идеал ь", + "▁сти ле", + "▁S l", + "▁приказа л", + "▁прика зал", + "▁приказ ал", + "со юз", + "ёр а", + "ё ра", + "цион ным", + "цио нным", + "ре волю", + "не нного", + "нен ного", + "ненно го", + "▁wh ite", + "ber g", + "гу ли", + "▁вы ступил", + "▁выступ ил", + "▁m iss", + "▁mi ss", + "▁mis s", + "▁ miss", + "эт о", + "э то", + "▁возможно стей", + "еха ла", + "ехал а", + "Е сли", + "▁Х риста", + "▁Хри ста", + "▁независи мо", + "▁M r", + "our ces", + "ource s", + "▁интере су", + "▁интерес у", + "▁бере га", + "▁берег а", + "му т", + "м ут", + "ber t", + "b ert", + "▁con duct", + "▁cond uct", + "▁Пре жде", + "ан е", + "а не", + "ic tion", + "ict ion", + "i ction", + "▁нас таи", + "▁наста и", + "▁про вел", + "▁прове л", + "▁и мена", + "▁име на", + "▁им ена", + "▁имен а", + "▁кар тину", + "▁карти ну", + "▁картин у", + "мо ва", + "мов а", + "те ром", + "тер ом", + "теро м", + "же б", + "▁про по", + "ну не", + "or es", + "ore s", + "o res", + "▁J ack", + "▁Jac k", + "▁бле стя", + "▁руко водства", + "▁руковод ства", + "▁же ной", + "▁жен ой", + "▁Д ар", + "▁Да р", + "▁о скор", + "▁ос кор", + "▁оско р", + "▁st ar", + "▁ star", + "▁форми рования", + "▁су пер", + "▁суп ер", + "ён ных", + "ё нных", + "▁res pect", + "▁resp ect", + "▁epis ode", + "▁Акаде мии", + "▁re ve", + "▁rev e", + "▁от вета", + "▁ответ а", + "▁отве та", + "▁а втори", + "▁авто ри", + "▁ав тори", + "▁автор и", + "▁ре зо", + "▁рез о", + "ра ясь", + "рая сь", + "▁програм ме", + "▁программ е", + "▁раз мыш", + "▁размы ш", + "▁German y", + "▁воздей ствия", + "▁му жи", + "▁муж и", + "▁ст роя", + "▁стро я", + "▁тре нер", + "жда ют", + "ж дают", + "▁Про сто", + "▁откры то", + "▁открыт о", + "▁О ба", + "▁Об а", + "▁в торы", + "▁вто ры", + "▁втор ы", + "er ous", + "ero us", + "▁Д не", + "▁са ха", + "▁е ги", + "со мо", + "сом о", + "▁об оло", + "▁обо ло", + "▁S erv", + "▁Ser v", + "▁n etwork", + "▁net work", + "▁t ry", + "▁tr y", + "▁име ются", + "▁имеют ся", + "▁имею тся", + "▁бе г", + "▁G od", + "▁Go d", + "▁г ен", + "▁ге н", + "▁ ген", + "se t", + "s et", + "▁интеллек туаль", + "▁извест ен", + "▁изве стен", + "▁Го рь", + "▁Гор ь", + "▁француз ский", + "нт ы", + "н ты", + "▁темпера тура", + "▁температур а", + "▁зве зды", + "▁звезд ы", + "▁звез ды", + "▁А нти", + "▁Ан ти", + "▁универ са", + "▁тран спор", + "▁транспо р", + "▁транс пор", + "▁Ch ina", + "▁брон зо", + "▁M art", + "▁Mar t", + "ство вало", + "ствовал о", + "ствова ло", + "▁друго му", + "▁другом у", + "▁ другому", + "▁Запад ной", + "▁Запа дной", + "▁appoint ed", + "▁б рю", + "▁ брю", + "e v", + "И Д", + "кон чался", + "конча лся", + "гра де", + "град е", + "▁доба вил", + "▁депута тов", + "▁депутат ов", + "тко й", + "тк ой", + "т кой", + "ст ане", + "ста не", + "стан е", + "▁Е дин", + "▁Еди н", + "бра л", + "бр ал", + "б рал", + "▁о жи", + "▁вся кий", + "▁хра ма", + "▁храм а", + "ле ров", + "лер ов", + "▁созда вать", + "▁гра ни", + "▁гран и", + "▁гр ани", + "▁ грани", + "▁k ey", + "▁ke y", + "▁ key", + "▁perform ed", + "ти ков", + "тик ов", + "тико в", + "▁W ash", + "▁ито гам", + "▁итог ам", + "▁ни кого", + "▁нико го", + "▁le ading", + "▁lead ing", + "E T", + "▁B el", + "▁Be l", + "Э С", + "▁ne g", + "▁сущ ности", + "▁Им пера", + "▁Импе ра", + "▁тя жё", + "▁тяж ё", + "дё т", + "д ёт", + "i j", + "ды ва", + "эн ер", + "э нер", + "▁счита ли", + "▁считал и", + "▁С вет", + "▁Св ет", + "▁Све т", + "ap t", + "a pt", + "А р", + "▁х леб", + "▁хле б", + "▁Ф ё", + "▁иде ю", + "▁поме щения", + "bo ok", + "b ook", + "▁п роде", + "▁про де", + "▁прод е", + "▁p ur", + "ня лись", + "няли сь", + "ви ков", + "вик ов", + "ля т", + "л ят", + "▁P S", + "▁ PS", + "▁конферен ции", + "▁ конференции", + "▁ph ot", + "▁парти зан", + "▁при бо", + "▁оста вил", + "▁V ir", + "▁Vi r", + "▁от туда", + "▁А нна", + "▁Ан на", + "пе ль", + "пел ь", + "▁разу меется", + "▁разуме ется", + "▁наи боль", + "▁pro duc", + "▁produ c", + "viron ment", + "ни с", + "н ис", + "▁пере дать", + "▁переда ть", + "ша ла", + "шал а", + "ш ала", + "те ры", + "тер ы", + "т еры", + "▁ло ка", + "▁лок а", + "▁ лока", + "▁те сти", + "▁тест и", + "тра н", + "тр ан", + "т ран", + "лет него", + "it z", + "▁bre ak", + "an ish", + "ani sh", + "▁в ряд", + "ress ion", + "r ession", + "▁у те", + "▁ут е", + "▁кон тинен", + "▁за регистри", + "ше б", + "▁с лове", + "▁сло ве", + "▁слов е", + "▁ слове", + "▁ж дать", + "▁ ждать", + "inc ip", + "▁во ли", + "▁вол и", + "ме нту", + "мен ту", + "мент у", + "▁mod el", + "▁mode l", + "▁М ен", + "▁Ме н", + "▁недоста точно", + "▁недостато чно", + "▁comple ted", + "▁complet ed", + "▁complete d", + "no t", + "n ot", + "▁У о", + "▁англий ский", + "re l", + "r el", + "▁уча стник", + "▁участ ник", + "at ory", + "ator y", + "ato ry", + "но ся", + "нос я", + "▁соста вляют", + "▁состав ляют", + "▁составля ют", + "з ю", + "▁язы ков", + "▁язык ов", + "▁семей ства", + "▁и ду", + "▁ид у", + "▁вме ша", + "▁пол ного", + "▁полно го", + "▁я вление", + "▁яв ление", + "▁ явление", + "▁сме ша", + "▁по ражение", + "▁пора жение", + "▁нау чной", + "▁научно й", + "▁су дьба", + "▁судь ба", + "▁суд ьба", + "ма нов", + "ман ов", + "пра вед", + "прав ед", + "праве д", + "▁Но вый", + "▁вы ро", + "▁выр о", + "E C", + "ci s", + "c is", + "▁ни кому", + "▁нико му", + "до вал", + "дова л", + "дов ал", + "▁рекомен ду", + "▁i ll", + "▁ ill", + "В а", + "▁лю бил", + "▁люби л", + "▁по дс", + "▁под с", + "▁D ist", + "▁Dis t", + "▁Di st", + "▁откры л", + "▁очеред ной", + "▁на кло", + "▁o pt", + "▁op t", + "▁бо ях", + "▁боя х", + "▁Г ан", + "▁Га н", + "▁l oss", + "▁lo ss", + "▁los s", + "ч ко", + "▁состоя нию", + "го на", + "гон а", + "г она", + "▁у держи", + "▁Д ю", + "▁ми нера", + "▁мин ера", + "▁ги бели", + "по лков", + "пол ков", + "ге ре", + "гер е", + "г ере", + "▁X VI", + "▁XV I", + "▁лё г", + "ли не", + "лин е", + "▁переи менова", + "▁acc ount", + "▁па тро", + "▁m oney", + "▁mon ey", + "▁э стети", + "▁ме дали", + "▁мед али", + "▁меда ли", + "▁house hold", + "▁дли ной", + "▁длин ой", + "▁использу я", + "▁п рие", + "▁при е", + "▁m ethod", + "▁met hod", + "ar ies", + "ari es", + "a ries", + "та ны", + "тан ы", + "до на", + "дон а", + "д она", + "▁технологи й", + "▁раз деля", + "▁разде ля", + "▁раздел я", + "▁орде ном", + "▁орден ом", + "▁находи лась", + "▁из де", + "▁изд е", + "▁e lection", + "▁ele ction", + "▁elect ion", + "▁el ection", + "▁то по", + "▁топ о", + "▁de al", + "▁комна те", + "▁д нем", + "▁дне м", + "▁са хар", + "▁саха р", + "Б у", + "▁Ч ар", + "▁Ча р", + "▁много численные", + "▁многочисле нные", + "▁Не у", + "ем ую", + "е мую", + "▁вели коле", + "▁велико ле", + "▁велик оле", + "▁геро ев", + "ль ти", + "льт и", + "▁з оны", + "▁зо ны", + "▁зон ы", + "▁в чера", + "а мерикан", + "зо ра", + "зор а", + "▁От вет", + "▁Отве т", + "▁под ходя", + "▁подход я", + "▁ква рта", + "▁квар та", + "air s", + "▁пере шёл", + "▁дина сти", + "ст ет", + "сте т", + "с тет", + "▁При чем", + "▁соба ки", + "▁собак и", + "ре нии", + "ча ла", + "чал а", + "ч ала", + "▁c ivil", + "▁st ates", + "▁state s", + "▁stat es", + "▁inst ead", + "▁па у", + "го да", + "год а", + "г ода", + "▁a ction", + "▁ac tion", + "▁act ion", + "▁ action", + "if t", + "i ft", + "▁Ж ен", + "▁Же н", + "▁по терпе", + "▁потер пе", + "▁b oard", + "▁bo ard", + "▁ board", + "▁аль терна", + "▁Ма рии", + "▁Мари и", + "▁о круг", + "▁ок руг", + "▁окру г", + "ве те", + "вет е", + "в ете", + "▁рели гии", + "▁религи и", + "во ды", + "вод ы", + "▁к риста", + "▁кри ста", + "▁за р", + "▁з ар", + "▁ зар", + "▁п лана", + "▁пла на", + "▁план а", + "би и", + "▁Ж ан", + "▁Жа н", + "ще нный", + "щен ный", + "▁Ин тере", + "▁Интер е", + "▁Инте ре", + "▁благо род", + "▁бла город", + "на циона", + "▁ви зи", + "▁вос хи", + "ре ний", + "та ла", + "тал а", + "т ала", + "▁мини мум", + "▁миниму м", + "stit ute", + "le b", + "l eb", + "al ed", + "ale d", + "a led", + "▁И вана", + "▁Ива на", + "▁Иван а", + "▁Ив ана", + "Д Р", + "▁crit ic", + "ak er", + "ake r", + "a ker", + "си й", + "▁успе л", + "▁ус пел", + "сле ду", + "след у", + "▁конечно м", + "▁коне чном", + "де мокра", + "▁М ек", + "▁Ме к", + "ин г", + "и нг", + "▁сред ство", + "▁средств о", + "▁reg ular", + "vin g", + "vi ng", + "v ing", + "▁З оло", + "▁Зо ло", + "▁ Золо", + "▁ва ше", + "▁ваш е", + "▁рабо тали", + "▁работа ли", + "▁работ али", + "▁работал и", + "С у", + "ф т", + "▁l o", + "▁ lo", + "▁Вме сто", + "▁Д ума", + "▁Ду ма", + "▁В я", + "▁объек ты", + "▁объект ы", + "▁Д ер", + "▁Де р", + "▁по рой", + "▁пор ой", + "▁поро й", + "▁п обу", + "▁по бу", + "▁подраз деления", + "▁подразделе ния", + "▁незна чи", + "▁терро ри", + "тель ству", + "тельств у", + "нк у", + "н ку", + "▁prov ide", + "▁д емо", + "▁де мо", + "▁К рем", + "▁Кре м", + "sy ch", + "▁В ну", + "▁Коро лев", + "▁мо тива", + "▁мотив а", + "▁occ ur", + "▁изме нение", + "▁твер до", + "m b", + "▁П ан", + "▁Па н", + "▁Кон ститу", + "▁кон центра", + "▁об щий", + "▁общи й", + "▁w est", + "▁we st", + "▁ west", + "▁отвер сти", + "▁бу дь", + "▁буд ь", + "▁ будь", + "ти ческими", + "тически ми", + "тическим и", + "▁мо ди", + "▁l ab", + "▁la b", + "▁h it", + "▁Х ан", + "▁Ха н", + "ok e", + "o ke", + "▁поль зоваться", + "▁пользова ться", + "▁пунк тов", + "▁пункт ов", + "ту га", + "▁fin ished", + "▁finish ed", + "▁p ers", + "▁per s", + "хи и", + "▁c ut", + "▁патри ар", + "▁O ther", + "▁зако нов", + "▁закон ов", + "▁законо в", + "▁зак онов", + "▁г ран", + "▁гра н", + "▁гр ан", + "▁ гран", + "▁со юза", + "▁союз а", + "▁сою за", + "▁e ast", + "▁eas t", + "▁От ец", + "▁Оте ц", + "▁гу мани", + "if f", + "i ff", + "▁T hat", + "▁Th at", + "▁теа тре", + "▁театр е", + "зиди ума", + "ще нных", + "щен ных", + "▁вол ны", + "▁волн ы", + "▁В у", + "▁ac com", + "▁acc om", + "▁Й о", + "▁Ва лен", + "▁Вале н", + "▁ко да", + "▁к ода", + "▁код а", + "▁add ed", + "▁на всегда", + "▁me an", + "до вых", + "дов ых", + "▁способ ны", + "▁sub sequ", + "▁subs equ", + "▁te levision", + "▁А ф", + "k a", + "▁С С", + "▁ СС", + "▁при бе", + "▁вопро су", + "▁вопрос у", + "▁поз дно", + "▁позд но", + "▁на пада", + "▁напа да", + "ou l", + "o ul", + "▁де парта", + "▁по ход", + "▁похо д", + "▁пох од", + "▁До сто", + "il es", + "ile s", + "i les", + "▁мето ди", + "▁метод и", + "▁n ec", + "▁ne c", + "▁с тав", + "▁ст ав", + "▁ста в", + "▁ став", + "ми рал", + "мир ал", + "мира л", + "тка ми", + "ткам и", + "т ками", + "▁al ready", + "▁ма ма", + "▁нем цы", + "▁по сти", + "▁пос ти", + "▁пост и", + "▁ пости", + "нача ле", + "▁ри с", + "▁р ис", + "▁ рис", + "▁б оло", + "▁бо ло", + "▁бол о", + "▁чув стви", + "▁чувств и", + "▁Со юз", + "▁Сою з", + "▁ Союз", + "▁комплек са", + "▁комплекс а", + "▁S en", + "▁Se n", + "ми ли", + "мил и", + "м или", + "▁ви нов", + "▁вино в", + "▁вин ов", + "▁кора бли", + "шь ся", + "▁sp ace", + "▁Ле они", + "▁Леон и", + "▁Лео ни", + "▁st re", + "▁str e", + "▁ги б", + "▁ гиб", + "▁В не", + "▁Пра во", + "▁D em", + "▁De m", + "▁По зд", + "▁Поз д", + "▁Фин ля", + "▁п обы", + "▁по бы", + "Г Б", + "▁m ar", + "▁ mar", + "ь те", + "▁воск рес", + "▁воскре с", + "жду ю", + "жд ую", + "ж дую", + "▁ры б", + "те нт", + "тен т", + "т ент", + "▁p arent", + "▁par ent", + "▁c ertain", + "▁cert ain", + "▁Л ан", + "▁Ла н", + "▁взаимодей ствия", + "▁высо ты", + "▁продук ты", + "▁продукт ы", + "Г О", + "▁Вы с", + "▁ре аги", + "▁реа ги", + "▁вы бора", + "▁выбо ра", + "▁выбор а", + "ска ми", + "с ками", + "▁ад вока", + "▁ask ed", + "▁и ные", + "▁ку пить", + "▁куп ить", + "▁вы жи", + "▁r ights", + "▁right s", + "▁А мерикан", + "▁Амери кан", + "▁Америка н", + "▁про мы", + "▁наз ван", + "▁назва н", + "▁исполь зует", + "▁использу ет", + "▁и мея", + "▁име я", + "▁уров нем", + "▁уровне м", + "▁у казывает", + "▁указыва ет", + "▁ука зывает", + "▁бомбарди ров", + "pecial ly", + "те льны", + "тель ны", + "▁авто ров", + "▁ав торов", + "▁автор ов", + "▁и ско", + "▁ис ко", + "▁иск о", + "▁f ig", + "про вод", + "пе в", + "п ев", + "ке та", + "кет а", + "ан и", + "а ни", + "▁c lear", + "▁cl ear", + "▁cle ar", + "▁вся ком", + "▁Х ристо", + "▁Хри сто", + "▁о бру", + "▁об ру", + "т т", + "▁де ше", + "с не", + "▁вра же", + "▁t old", + "▁to ld", + "is l", + "i sl", + "▁поя вления", + "▁H ist", + "▁His t", + "▁Wash ington", + "Х о", + "▁поэ зии", + "▁М ед", + "▁Ме д", + "▁американ ской", + "▁америка нской", + "▁О кон", + "▁Ок он", + "▁вто рое", + "▁втор ое", + "▁второ е", + "▁пло ско", + "▁во ро", + "▁вор о", + "▁ воро", + "▁обще ственных", + "▁обществе нных", + "щи йся", + "щий ся", + "▁та мо", + "▁там о", + "▁Мо и", + "▁Japan ese", + "▁об щения", + "▁обще ния", + "▁призна ть", + "▁экономи ческой", + "▁Г ос", + "▁Го с", + "▁к летки", + "▁кле тки", + "▁клет ки", + "▁полу чать", + "▁получа ть", + "▁получат ь", + "▁мо дерни", + "▁allow ed", + "ти тся", + "тит ся", + "т ится", + "▁серь ёз", + "сте пен", + "степ ен", + "▁M ark", + "▁Mar k", + "у го", + "▁it self", + "▁its elf", + "u x", + "▁пе сен", + "▁пес ен", + "▁б лок", + "▁бло к", + "st on", + "s ton", + "▁Ча сть", + "▁ли цен", + "▁лиц ен", + "▁лице н", + "▁не раз", + "▁нер аз", + "▁нера з", + "▁Ч лен", + "▁су ток", + "з ву", + "▁необходи мые", + "▁необходимы е", + "um e", + "u me", + "▁пла ны", + "▁план ы", + "▁play ing", + "▁состоя лась", + "▁состояла сь", + "▁поли тика", + "▁полити ка", + "▁политик а", + "▁ш ка", + "▁ шка", + "бе к", + "б ек", + "▁по ла", + "▁пол а", + "un k", + "▁коми сса", + "▁Н ем", + "▁Не м", + "▁Cent er", + "че нное", + "чен ное", + "ченно е", + "ме та", + "мет а", + "ёл ок", + "ё лок", + "▁cons ist", + "▁рас чет", + "▁расче т", + "▁Ни ко", + "▁Ник о", + "ad es", + "ade s", + "a des", + "чи ны", + "чин ы", + "ч ины", + "▁мо им", + "▁мои м", + "ве дена", + "веде на", + "вед ена", + "веден а", + "▁с ъе", + "▁съ е", + "▁моло дё", + "▁молод ё", + "▁за ли", + "▁з али", + "▁зал и", + "▁ зали", + "лу м", + "л ум", + "▁мя со", + "▁мяс о", + "ль ше", + "▁до кла", + "▁док ла", + "▁бизнес а", + "▁бизне са", + "▁Се веро", + "▁Север о", + "▁на ли", + "▁н али", + "▁ нали", + "▁поя вляются", + "▁появля ются", + "▁out side", + "▁relations hip", + "A M", + "▁мероприя тия", + "▁Can ada", + "▁Canad a", + "▁им пуль", + "▁титу л", + "▁des igned", + "▁design ed", + "▁Ваши нг", + "▁Ваш инг", + "▁r ange", + "▁ran ge", + "▁rang e", + "▁ range", + "s w", + "▁не жели", + "osp ital", + "▁D on", + "▁Do n", + "▁ Don", + "▁Ch inese", + "ми ть", + "мит ь", + "м ить", + "▁во зму", + "▁воз му", + "if y", + "▁се зон", + "▁сезо н", + "па ли", + "пал и", + "п али", + "▁студен тов", + "▁студент ов", + "ч на", + "де нии", + "▁а таки", + "▁ата ки", + "▁атак и", + "П у", + "сла ва", + "слав а", + "с лава", + "ж ского", + "▁A lex", + "▁Al ex", + "▁кра е", + "▁средства ми", + "▁d aughter", + "ate g", + "▁F irst", + "▁M et", + "▁Me t", + "▁Пред по", + "▁r an", + "▁ra n", + "▁ ran", + "▁свя зана", + "▁связа на", + "▁связан а", + "▁связ ана", + "▁вер сия", + "▁верси я", + "ри ях", + "рия х", + "▁позво ляют", + "▁позволя ют", + "▁внеза пно", + "▁внезап но", + "▁tra vel", + "▁trav el", + "▁сим пто", + "▁г але", + "▁га ле", + "▁гал е", + "oc r", + "ТА Р", + "Т АР", + "▁ма сте", + "гра мма", + "грам ма", + "грамм а", + "▁Пу шкина", + "▁Пушки на", + "▁Пушкин а", + "▁Associ ation", + "▁выбо ров", + "▁выбор ов", + "▁то чку", + "▁точ ку", + "▁эк за", + "ве рен", + "вер ен", + "вере н", + "в ерен", + "▁с он", + "▁со н", + "▁ сон", + "al ls", + "all s", + "К и", + "▁В сё", + "мм а", + "м ма", + "▁жи вых", + "▁жив ых", + "▁пос ёлок", + "▁посёл ок", + "ъе м", + "ъ ем", + "▁искус ств", + "ви ду", + "вид у", + "ющая ся", + "ю щаяся", + "▁отказа ться", + "▁Ш вей", + "▁Шве й", + "▁st yle", + "▁гра ду", + "▁развед ки", + "▁разве дки", + "▁сло жности", + "▁сложно сти", + "▁про бу", + "▁пр обу", + "▁проб у", + "▁con v", + "▁Ang el", + "▁убий ства", + "▁ис следователь", + "▁исследова тель", + "▁ исследователь", + "▁ю ге", + "▁юг е", + "▁Би бли", + "пле к", + "п лек", + "▁с чёт", + "▁счё т", + "▁предме ты", + "▁предмет ы", + "▁би ографи", + "▁био графи", + "▁ биографи", + "▁командова нием", + "▁командование м", + "▁m iles", + "▁mil es", + "▁mi les", + "▁mile s", + "В се", + "▁тра ги", + "▁тр аги", + "▁бе ссо", + "▁бес со", + "▁бесс о", + "▁понима ю", + "▁Ор гани", + "▁бума ги", + "▁бумаг и", + "▁us ually", + "▁ра зво", + "▁раз во", + "б л", + "ut ive", + "▁Вер х", + "pl es", + "ple s", + "p les", + "▁ка мер", + "▁кам ер", + "▁каме р", + "▁re ached", + "▁reach ed", + "▁пти ц", + "O R", + "бе й", + "б ей", + "I S", + "▁Ch ampionship", + "▁к рей", + "▁кре й", + "▁кр ей", + "ти вов", + "тив ов", + "тиво в", + "▁М ВД", + "▁вой ско", + "▁войск о", + "▁ре бя", + "▁реб я", + "▁ору дий", + "▁Ра нее", + "▁ Ранее", + "▁ги гант", + "▁гиган т", + "▁распо ложены", + "▁расположен ы", + "▁расположе ны", + "▁гражда нской", + "▁граждан ской", + "▁б лока", + "▁бло ка", + "▁блок а", + "um p", + "u mp", + "▁по гло", + "ху д", + "х уд", + "▁за муж", + "▁заму ж", + "же к", + "ж ек", + "▁О дно", + "▁Од но", + "▁В ин", + "▁Ви н", + "К С", + "▁б ен", + "▁бе н", + "▁ бен", + "▁ти пов", + "▁тип ов", + "▁типо в", + "зы в", + "ши те", + "шит е", + "▁count ries", + "пи с", + "п ис", + "▁l iter", + "▁lit er", + "▁в ступил", + "▁вступи л", + "▁вступ ил", + "М А", + "ля н", + "л ян", + "▁совер шил", + "▁соверши л", + "ще нные", + "щен ные", + "▁из дания", + "▁изда ния", + "▁В первые", + "▁конф ликт", + "▁конфлик т", + "▁прове рки", + "▁провер ки", + "то ре", + "тор е", + "ц кой", + "▁основ ным", + "▁осно вным", + "▁go al", + "est ival", + "▁показа ли", + "▁пока зали", + "▁показал и", + "▁о во", + "▁ов о", + "▁не от", + "▁нео т", + "па л", + "п ал", + "▁тер мин", + "▁терми н", + "▁в оле", + "▁во ле", + "▁вол е", + "▁вра ч", + "▁Ни ка", + "▁Ник а", + "▁B ra", + "▁Br a", + "▁c reat", + "▁cre at", + "▁bet ter", + "▁в езде", + "▁вез де", + "▁б ер", + "▁бе р", + "▁ бер", + "▁систе мой", + "▁сист емой", + "▁систем ой", + "▁school s", + "▁ре б", + "▁ми фо", + "▁миф о", + "▁неме цкий", + "▁немец кий", + "шка ми", + "шкам и", + "ш ками", + "▁b i", + "▁полков ник", + "▁ полковник", + "▁m ount", + "▁да вать", + "▁извест ны", + "▁Par is", + "ust om", + "▁о гра", + "▁ог ра", + "▁с х", + "▁при был", + "▁прибы л", + "▁за о", + "▁в ход", + "▁Ф он", + "▁Фо н", + "▁ Фон", + "▁эле мент", + "▁зе рка", + "▁зер ка", + "▁монасты ря", + "▁ве тер", + "▁вет ер", + "▁жур нал", + "▁журна л", + "▁о хла", + "▁ох ла", + "▁Ре зульта", + "▁ба нка", + "▁бан ка", + "▁банк а", + "▁ банка", + "▁T om", + "▁To m", + "гу ра", + "гур а", + "г ура", + "ус а", + "у са", + "▁про шел", + "▁проше л", + "id s", + "ль да", + "льд а", + "▁за пись", + "▁запи сь", + "▁ба лан", + "▁бал ан", + "▁ балан", + "▁с цен", + "▁сце н", + "▁Christ ian", + "Л О", + "im ate", + "ima te", + "тив ную", + "рк и", + "р ки", + "фи на", + "фин а", + "ф ина", + "▁груп пой", + "▁групп ой", + "▁группо й", + "▁та ин", + "ce ption", + "cept ion", + "▁M ex", + "▁Me x", + "▁ди ссер", + "▁дис сер", + "▁se ven", + "ва и", + "▁E ar", + "▁су щества", + "▁суще ства", + "▁существ а", + "со т", + "с от", + "та ция", + "▁М ой", + "▁Мо й", + "▁m ass", + "▁У краин", + "▁Укра ин", + "▁Украи н", + "al led", + "all ed", + "alle d", + "ше нных", + "шен ных", + "▁при ви", + "▁прив и", + "▁сопроти вление", + "че шь", + "ч ешь", + "з ни", + "▁g ive", + "▁услу ги", + "▁услуг и", + "ib ility", + "да ют", + "▁струк тура", + "▁структур а", + "▁R oad", + "▁Ro ad", + "▁но вом", + "▁ново м", + "▁нов ом", + "▁го лова", + "▁голо ва", + "▁голов а", + "▁недоста то", + "▁поги бли", + "▁погиб ли", + "▁про сти", + "▁прос ти", + "▁прост и", + "▁су тки", + "▁air craft", + "▁огром ное", + "▁вне д", + "▁международ ного", + "ти рован", + "тирова н", + "▁ве ща", + "▁ веща", + "▁бо ги", + "▁бог и", + "th ing", + "t hing", + "▁парла мент", + "▁предлага ет", + "▁пыта лись", + "фи кси", + "фик си", + "▁обще ственной", + "▁обществе нной", + "▁общественно й", + "▁М аль", + "▁Ма ль", + "▁за ключения", + "▁заклю чения", + "▁сбор ную", + "▁сбо рную", + "ли ться", + "лить ся", + "▁про ф", + "шен ко", + "ш енко", + "▁корре спонден", + "▁ корреспонден", + "▁Char les", + "▁Charl es", + "▁тер мина", + "▁терми на", + "▁термин а", + "▁ле жа", + "▁ лежа", + "▁пу сто", + "▁вели кий", + "то рия", + "тори я", + "▁настоя щий", + "▁пред метов", + "▁предме тов", + "▁предмет ов", + "▁с талки", + "▁ста лки", + "▁стал ки", + "▁Ж из", + "▁Жи з", + "▁ Жиз", + "▁стан ция", + "▁ станция", + "ai t", + "a it", + "▁И ра", + "▁Ир а", + "ск ры", + "с кры", + "▁секре тарь", + "▁секрета рь", + "▁секрет арь", + "▁секретар ь", + "▁ секретарь", + "▁L aw", + "▁La w", + "че ству", + "▁ar my", + "▁arm y", + "▁reg ard", + "▁свобо дно", + "▁свобод но", + "▁посо ль", + "▁посол ь", + "▁ата ку", + "▁атак у", + "▁C ong", + "▁Con g", + "▁Co ng", + "▁З емле", + "▁Зем ле", + "▁тран спорта", + "▁транспо рта", + "▁транс порта", + "▁транспорт а", + "▁транспор та", + "ge n", + "g en", + "▁« \"", + "▁conc ern", + "▁жи в", + "▁ж ив", + "▁ жив", + "▁В С", + "▁ ВС", + "ci ng", + "c ing", + "цион ную", + "цио нную", + "сев до", + "ту и", + "▁по две", + "▁под ве", + "▁T V", + "▁ TV", + "▁на тура", + "ut ions", + "ution s", + "▁состоя лся", + "▁состоял ся", + "▁бо г", + "пле ния", + "п ления", + "▁непо ня", + "▁пре обла", + "се ние", + "▁имуще ства", + "ё в", + "по ля", + "пол я", + "av al", + "ava l", + "a val", + "▁су мел", + "▁суме л", + "тр ы", + "т ры", + "▁ра дика", + "▁ради ка", + "▁инстру мента", + "▁инструмент а", + "▁s us", + "▁su s", + "▁да вление", + "▁дав ление", + "fic ult", + "▁st age", + "▁А рхи", + "▁Ар хи", + "▁grad u", + "▁gra du", + "▁з оне", + "▁зо не", + "▁зон е", + "▁рас тения", + "▁расте ния", + "ви м", + "в им", + "▁al ways", + "▁с ке", + "▁ск е", + "▁ ске", + "ha n", + "h an", + "▁бю дже", + "▁ш вед", + "▁шве д", + "▁Rober t", + "▁Rob ert", + "▁Ro bert", + "ip p", + "i pp", + "▁принци пе", + "▁принцип е", + "сти ческий", + "стически й", + "с тический", + "▁ор ден", + "▁орде н", + "ше р", + "ш ер", + "so ft", + "▁сооб ща", + "▁ней тра", + "▁в прочем", + "▁чув ств", + "C A", + "▁дела ли", + "▁дел али", + "▁делал и", + "цвет а", + "ц вета", + "▁I nt", + "▁In t", + "▁ Int", + "▁раз говари", + "▁ма сси", + "▁масс и", + "▁расска зать", + "▁рассказа ть", + "▁разре шения", + "ri an", + "ria n", + "r ian", + "▁ба зо", + "▁баз о", + "И з", + "▁за бил", + "▁заби л", + "▁заб ил", + "▁Основ ные", + "▁G reat", + "▁Gre at", + "▁скоро стью", + "▁скорость ю", + "▁M er", + "▁Me r", + "▁В ой", + "▁Во й", + "▁Боль шой", + "▁Большо й", + "▁обу чение", + "ir es", + "ire s", + "i res", + "▁T imes", + "▁Time s", + "▁Tim es", + "▁у тро", + "▁ут ро", + "гно сти", + "г ности", + "▁голо са", + "▁голос а", + "▁гол оса", + "▁М ю", + "▁j ob", + "▁jo b", + "чне е", + "ч нее", + "▁хва тает", + "▁един ственным", + "▁а ван", + "▁ав ан", + "▁ава н", + "▁национа ли", + "▁на ци", + "▁сом не", + "ри м", + "р им", + "▁requ ired", + "▁require d", + "▁п исто", + "▁пи сто", + "▁со дей", + "▁З ак", + "▁За к", + "▁e y", + "▁ ey", + "▁об мен", + "жа ются", + "жают ся", + "жаю тся", + "▁ста тья", + "▁стать я", + "▁S o", + "▁repl aced", + "▁replace d", + "▁P lay", + "▁Pl ay", + "▁про шед", + "▁прош ед", + "▁проше д", + "! )", + "▁при держи", + "▁Д ень", + "▁Де нь", + "▁Ден ь", + "▁сек унд", + "▁секу нд", + "▁секун д", + "▁защи ту", + "▁защит у", + "▁от ва", + "ню дь", + "▁о станов", + "▁оста нов", + "▁остано в", + "фика ция", + "▁собе сед", + "▁собесе д", + "▁хо да", + "▁х ода", + "▁ход а", + "▁ хода", + "▁фи кси", + "▁ фикси", + "▁пи щи", + "▁M icro", + "▁Mic ro", + "▁ро бо", + "▁р обо", + "▁б ре", + "▁ бре", + "▁обрабо тки", + "▁на пом", + "▁напо м", + "▁Од ним", + "▁Одни м", + "▁за жи", + "▁до пусти", + "▁допу сти", + "К О", + "▁Thom as", + "▁утвер ждает", + "▁утвержда ет", + "фе к", + "ф ек", + "▁гру ди", + "▁ли чность", + "▁лично сть", + "▁за ку", + "▁зак у", + "▁меха низм", + "▁механи зм", + "до вого", + "дово го", + "▁S al", + "▁Sa l", + "▁в од", + "▁во д", + "▁ вод", + "▁о за", + "▁оз а", + "▁темпера туры", + "▁температур ы", + "▁И горь", + "▁вы брать", + "▁выбра ть", + "▁f ounded", + "▁found ed", + "▁про шла", + "▁прош ла", + "▁под ряд", + "▁бу ль", + "▁у са", + "▁ус а", + "▁ уса", + "▁ска жем", + "▁pl ann", + "▁plan n", + "▁invest ig", + "▁на ве", + "▁нав е", + "▁a chie", + "▁сто яли", + "▁стоя ли", + "▁стоял и", + "▁аль бо", + "it es", + "ite s", + "i tes", + "▁ста рых", + "▁стар ых", + "И Й", + "▁ш ум", + "▁шу м", + "▁оста вался", + "чи вость", + "чиво сть", + "▁m ove", + "▁mov e", + "▁пра вой", + "▁право й", + "▁прав ой", + "И А", + "▁t ax", + "az ine", + "▁ракет ы", + "▁рак еты", + "▁раке ты", + "▁кон ц", + "▁цивили зации", + "▁w ind", + "▁win d", + "▁И оси", + "▁Ио си", + "▁occ up", + "▁с мени", + "▁сме ни", + "il i", + "i li", + "▁спа сти", + "▁спас ти", + "го вой", + "гов ой", + "гово й", + "▁опреде ление", + "▁пись ме", + "де на", + "ден а", + "д ена", + ": :", + "te xt", + "t ext", + "не нным", + "нен ным", + "▁куль тура", + "▁культур а", + "▁культ ура", + "▁экспеди ции", + "▁М ир", + "▁Ми р", + "▁ Мир", + "▁Ад министра", + "▁рассматри вать", + "▁dif ficult", + "▁кре пости", + "▁крепо сти", + "се ль", + "сел ь", + "мо ра", + "мор а", + "▁me as", + "▁С ере", + "▁Се ре", + "▁Сер е", + "▁sit u", + "▁це нности", + "▁цен ности", + "▁ценно сти", + "▁гра ницу", + "▁грани цу", + "▁границ у", + "▁ки не", + "▁кин е", + "▁ кине", + "▁ab ove", + "▁авто ном", + "▁ав тоном", + "▁автоно м", + "▁зар пла", + "▁feature d", + "▁feat ured", + "▁кур са", + "▁курс а", + "▁расс чита", + "▁Wh ite", + "▁Whit e", + "▁Ж а", + "▁ Жа", + "▁полу чают", + "▁получа ют", + "▁сто летия", + "▁столе тия", + "ни кова", + "ников а", + "▁T ex", + "▁Te x", + "▁мыш ления", + "▁ра не", + "▁р ане", + "▁ран е", + "ющее ся", + "ю щееся", + "▁хи ру", + "вь те", + "в ьте", + "▁выра жения", + "▁се рий", + "▁f ood", + "▁U K", + "▁се вере", + "▁север е", + "▁не пло", + "▁по страда", + "▁постра да", + "▁га зета", + "▁газе та", + "▁газет а", + "▁p red", + "▁pre d", + "▁pr ed", + "чник а", + "чни ка", + "ч ника", + "▁охра ны", + "▁охран ы", + "не к", + "н ек", + "▁со ль", + "▁B ay", + "▁Ba y", + "▁де кора", + "▁при гово", + "▁приго во", + "▁по жела", + "▁дет ьми", + "▁опас ность", + "▁опасно сть", + "▁собра ния", + "▁к али", + "▁ка ли", + "▁ кали", + "би я", + "це ва", + "цев а", + "ц ева", + "ho od", + "h ood", + "▁жела ния", + "▁американ ского", + "▁америка нского", + "▁на стой", + "▁нас той", + "▁насто й", + "▁музе я", + "▁учи тель", + "▁э тно", + "▁ок но", + "▁к ано", + "▁ка но", + "▁кан о", + "▁сред у", + "▁сре ду", + "▁К ру", + "ov iet", + "▁Ш ар", + "▁Ша р", + "▁по ток", + "▁пото к", + "( \"", + "ut er", + "ute r", + "u ter", + "▁центра льной", + "▁центр альной", + "ис по", + "и спо", + "▁возника ют", + "▁зве зд", + "▁звез д", + "▁зв езд", + "▁подоб ного", + "▁подобно го", + "▁на дея", + "▁наде я", + "▁wh ose", + "▁who se", + "▁ми ром", + "▁мир ом", + "▁миро м", + "▁рас стояние", + "▁расстоя ние", + "▁t aking", + "▁ре дак", + "▁реда к", + "▁ред ак", + "▁упра зд", + "▁служ бе", + "▁служб е", + "▁ службе", + "▁х ре", + "▁ав стрий", + "чи м", + "ч им", + "▁h ere", + "▁he re", + "▁her e", + "▁ here", + "▁о бер", + "▁об ер", + "▁обе р", + "▁T rans", + "▁Tr ans", + "▁Tra ns", + "▁у рав", + "▁ура в", + "▁пер вен", + "g r", + "бо е", + "б ое", + "▁я ро", + "▁яр о", + "л д", + "▁с ена", + "▁се на", + "▁сен а", + "▁ сена", + "▁хо ду", + "▁ход у", + "▁ ходу", + "▁О че", + "▁im m", + "▁i mm", + "со вет", + "сов ет", + "▁мат ч", + "▁b ig", + "▁bi g", + "▁intro duced", + "▁за явление", + "▁зая вление", + "ля ли", + "лял и", + "л яли", + "▁Гре ции", + "▁обра тился", + "▁обратил ся", + "▁ра сту", + "▁рас ту", + "▁раст у", + "▁cont in", + "▁треть его", + "▁третье го", + "▁от кров", + "▁откро в", + "▁отк ров", + "▁G r", + "bl ock", + "b lock", + "▁direct or", + "▁dire ctor", + "▁ви зу", + "▁com pan", + "▁comp an", + "▁и ное", + "▁ин ое", + "▁ино е", + "▁комна ту", + "▁mov ement", + "▁move ment", + "вшую ся", + "▁от деление", + "▁отде ление", + "▁отделе ние", + "▁f uture", + "▁язы ком", + "▁язык ом", + "▁не закон", + "▁неза кон", + "ко вать", + "кова ть", + "ля м", + "л ям", + "ву т", + "в ут", + "▁диа лек", + "▁Пер вое", + "▁Перво е", + "▁превос ход", + "ло на", + "лон а", + "л она", + "▁Совет ской", + "▁Сове тской", + "лла нд", + "л ланд", + "▁сто ят", + "▁стоя т", + "ща ясь", + "щая сь", + "u z", + "та рь", + "тар ь", + "т арь", + "▁сим па", + "пи я", + "ac tion", + "act ion", + "a ction", + "▁стои мости", + "▁стоимо сти", + "ck s", + "c ks", + "▁судь бы", + "▁ин дей", + "▁инде й", + "▁испыта ния", + "де тся", + "дет ся", + "д ется", + "ke y", + "k ey", + "▁сто рона", + "▁сторо на", + "▁сторон а", + "▁у йти", + "▁уй ти", + "че нная", + "чен ная", + "ж ской", + "▁ф лот", + "▁фло т", + "▁Гра жда", + "▁dest roy", + "bur g", + "b urg", + "К ра", + "▁хоро ший", + "▁иде а", + "▁мо то", + "смотри м", + "смотр им", + "▁наличи и", + "▁помо жет", + "▁Александ рович", + "хо ждение", + "ве дением", + "веде нием", + "ведение м", + "▁b ur", + "▁bu r", + "▁ bur", + "▁инфра струк", + "▁по говори", + "▁пого вори", + "▁у во", + "▁Пи са", + "▁фото графии", + "▁фотографи и", + "▁to wards", + "▁toward s", + "▁пере хода", + "▁переход а", + "▁g irl", + "▁ис следование", + "▁исследова ние", + "▁стрем ление", + "но сят", + "нос ят", + "нося т", + "▁опреде ляет", + "▁определя ет", + "▁сто лицы", + "▁столи цы", + "▁при ехал", + "▁прие хал", + "▁приеха л", + "ст ор", + "сто р", + "с тор", + "ar ily", + "ari ly", + "▁Кра сного", + "▁Красно го", + "▁S ince", + "▁Si nce", + "▁у ра", + "▁ ура", + "▁вы держа", + "▁Ри ча", + "▁б оле", + "▁бо ле", + "▁бол е", + "▁Лон доне", + "▁Лондон е", + "▁при способ", + "▁приспо соб", + "▁приспосо б", + "▁ве щь", + "▁p urch", + "▁pur ch", + "▁К оло", + "▁Ко ло", + "▁Кол о", + "▁sh ows", + "▁show s", + "▁выз вать", + "▁вызва ть", + "▁разме ре", + "▁размер е", + "▁здоров ье", + "▁дру же", + "▁друж е", + "▁про ще", + "io s", + "i os", + "▁о пе", + "▁оп е", + "gr ound", + "g round", + "▁непре рыв", + "▁понима ет", + "▁cour se", + "▁es pecially", + "▁large st", + "▁larg est", + "▁ста тью", + "▁стать ю", + "▁защи т", + "▁м нения", + "▁мне ния", + "то вого", + "тово го", + "▁не су", + "▁нес у", + "▁d en", + "▁de n", + "▁ den", + "▁социаль ного", + "▁социально го", + "▁соци ального", + "▁по сыла", + "▁посы ла", + "▁на ряду", + "▁наря ду", + "▁наряд у", + "or der", + "ord er", + "▁опреде лён", + "▁определё н", + "▁те п", + "▁встре че", + "▁встреч е", + "▁В М", + "▁ ВМ", + "▁п они", + "▁по ни", + "▁пон и", + "▁не вер", + "▁неве р", + "▁нев ер", + "▁ба за", + "▁баз а", + "▁Та кая", + "▁Так ая", + "▁благо прият", + "▁обра за", + "▁образ а", + "▁каждо е", + "▁настоя щего", + "▁С ю", + "си д", + "с ид", + "по тре", + "пот ре", + "▁с де", + "a o", + "▁ин фек", + "▁инф ек", + "▁и ного", + "▁ино го", + "▁эта п", + "▁b lock", + "▁bl ock", + "▁ block", + "▁выпол нить", + "▁созда ет", + "▁соз дает", + "▁qu ick", + "пе ти", + "пет и", + "п ети", + "▁ра вен", + "▁рав ен", + "▁en ough", + "▁Д ом", + "▁До м", + "ра иль", + "▁значи тельной", + "▁значительно й", + "▁play ers", + "▁player s", + "an cial", + "anc ial", + "▁консу льта", + "▁консуль та", + "▁случа и", + "▁шта та", + "▁штат а", + "▁сель совета", + "▁сельсо вета", + "▁сельсовет а", + "▁че рно", + "▁чер но", + "ри ла", + "рил а", + "р ила", + "▁И гра", + "▁Бо гу", + "▁Бог у", + "▁следу ющих", + "▁M ad", + "▁Ma d", + "▁сце ны", + "▁сцен ы", + "уго ль", + "у голь", + "▁каж дым", + "▁кажды м", + "▁Кита е", + "ешь ся", + "е шься", + "▁с тиль", + "▁ст иль", + "▁сти ль", + "▁b attle", + "▁batt le", + "шн е", + "ш не", + "▁pl aced", + "▁place d", + "▁уве личе", + "▁увели че", + "▁пропа ган", + "▁К ол", + "▁Ко л", + "▁Про из", + "▁обе их", + "ne d", + "n ed", + "▁ак ций", + "ж ник", + "▁writ ing", + "х ло", + "▁ст ремя", + "▁стре мя", + "▁стрем я", + "▁зе мель", + "▁земе ль", + "▁до ход", + "▁гар ни", + "▁к стати", + "▁мусуль ман", + "▁попро сил", + "▁кам пании", + "▁У част", + "▁Уча ст", + "▁ве рно", + "▁вер но", + "du ction", + "duc tion", + "duct ion", + "▁близ ко", + "▁за писы", + "▁запи сы", + "чно му", + "чном у", + "ч ному", + "▁C ath", + "▁Cat h", + "▁Ca th", + "▁p rison", + "▁pr ison", + "▁pri son", + "▁ prison", + "▁го су", + "▁гос у", + "cl us", + "▁op pos", + "П и", + "▁количе стве", + "▁напомина ет", + "но мер", + "ном ер", + "▁k ing", + "▁ king", + "ма ть", + "мат ь", + "ле нная", + "лен ная", + "▁оказа ться", + "▁оказать ся", + "▁памя тник", + "▁памят ник", + "▁бере г", + "arl iam", + "▁му дро", + "▁муд ро", + "ro id", + "r oid", + "▁R ail", + "Ру с", + "Р ус", + "▁специаль ных", + "▁специ альных", + "ко и", + "? ..", + "▁Dep artment", + "▁rad io", + "хи н", + "х ин", + "▁Бу ду", + "▁Буд у", + "ни ческой", + "y a", + "bo ard", + "b oard", + "д зе", + "вля ются", + "вляют ся", + "в ляются", + "од а", + "о да", + "ер уса", + "еру са", + "е руса", + "▁по нимание", + "▁понима ние", + "▁Ру ко", + "▁со ци", + "▁соц и", + "ro wn", + "row n", + "r own", + "▁использова ли", + "▁использовал и", + "си н", + "с ин", + "▁в переди", + "▁впере ди", + "▁вперед и", + "▁де рева", + "▁дере ва", + "▁дерев а", + "▁дер ева", + "▁f ace", + "▁fac e", + "▁fa ce", + "▁ face", + "▁s at", + "г не", + "ло жении", + "ложе нии", + "mer cial", + "▁высо ких", + "▁ис ключа", + "▁исклю ча", + "▁d one", + "▁do ne", + "▁don e", + "▁про чих", + "▁прочи х", + "▁проч их", + "▁Поль ши", + "твор и", + "тво ри", + "т вори", + "ше нные", + "шен ные", + "▁К э", + "▁r ock", + "▁ro ck", + "емо сти", + "е мости", + "▁Михай лович", + "▁заме тить", + "▁замет ить", + "▁по хи", + "▁пох и", + "▁Ра зве", + "▁Раз ве", + "▁по ми", + "▁пом и", + "▁ска жу", + "▁ограни чения", + "se r", + "s er", + "▁Бе ль", + "▁Бел ь", + "но вский", + "нов ский", + "▁то бой", + "ub e", + "u be", + "▁Ну жно", + "ic ated", + "ica ted", + "icate d", + "▁горизо нта", + "ка бу", + "▁T w", + "▁у чения", + "▁уче ния", + "лё т", + "л ёт", + "▁созда на", + "▁создан а", + "▁соз дана", + "ens ion", + "▁поста вил", + "▁постав ил", + "▁d raw", + "▁dr aw", + "▁dra w", + "▁фунда мента", + "▁баталь она", + "▁батальон а", + "▁Дру гие", + "▁Со времен", + "▁Сов ремен", + "▁со ч", + "▁s il", + "at re", + "не сла", + "нес ла", + "▁с кла", + "▁ск ла", + "▁Ча сто", + "▁от чая", + "▁Ок тябрь", + "▁на сы", + "▁нас ы", + "▁вы ступ", + "ти ке", + "тик е", + "▁най ден", + "▁найде н", + "y pe", + "▁Л ин", + "▁Ли н", + "▁ро т", + "▁р от", + "▁ рот", + "▁D o", + "▁высо кий", + "ли ли", + "лил и", + "л или", + "▁h or", + "▁fre qu", + "▁fr equ", + "ar ing", + "ari ng", + "a ring", + "▁досто вер", + "▁истори ческих", + "▁исторически х", + "▁О бла", + "▁Об ла", + "▁понима ния", + "▁аб стра", + "ir th", + "irt h", + "▁ка ждую", + "▁каж дую", + "▁лю бое", + "▁любо е", + "▁j ud", + "▁а кции", + "▁ак ции", + "▁отмеча ет", + "▁отме чает", + "ir t", + "ну вшись", + "нув шись", + "▁от нюдь", + "▁не возмо", + "▁невоз мо", + "▁фе стива", + "▁вы ве", + "▁вы са", + "▁выс а", + "an nel", + "ann el", + "▁у чился", + "▁учи лся", + "▁уч ился", + "с па", + "▁пред ложе", + "▁обнаружи л", + "▁обнару жил", + "▁з ла", + "▁ зла", + "▁ду шев", + "▁душе в", + "▁душ ев", + "му р", + "м ур", + "ля ция", + "C l", + "▁да вления", + "▁дав ления", + "▁I r", + "▁сча стье", + "▁счаст ье", + "▁про веря", + "▁прове ря", + "▁провер я", + "та ясь", + "тая сь", + "гр я", + "г ря", + "▁оте че", + "▁ отече", + "▁ва жных", + "▁важ ных", + "▁важны х", + "at ives", + "ative s", + "ati ves", + "▁ре ме", + "▁рем е", + "▁объеди нения", + "юр и", + "ю ри", + "▁обра зе", + "▁образ е", + "▁из дание", + "▁изда ние", + "сти ческая", + "с тическая", + "▁Миха ила", + "▁Михаил а", + "▁Михаи ла", + "▁В з", + "▁H am", + "▁Ha m", + "▁w oman", + "фа н", + "ф ан", + "▁бы вают", + "il ies", + "ili es", + "▁об об", + "▁обо б", + "▁м ною", + "▁мно ю", + "▁регуляр но", + "▁рай онов", + "▁район ов", + "▁о ре", + "▁ор е", + "▁оста ваться", + "▁коман дование", + "▁командова ние", + "▁T ur", + "it ar", + "ita r", + "arliam ent", + "И Я", + "же нным", + "жен ным", + "▁под ходит", + "▁подход ит", + "▁разли чными", + "▁различным и", + "▁до рог", + "▁доро г", + "▁G old", + "▁Go ld", + "▁ги пер", + "▁дере во", + "▁дерев о", + "▁дер ево", + "▁Russ ian", + "▁Russia n", + "▁орга низм", + "▁органи зм", + "▁орган изм", + "▁Со циали", + "▁К ро", + "▁ба нки", + "▁бан ки", + "▁банк и", + "▁в ина", + "▁ви на", + "▁вин а", + "▁ вина", + "▁A ward", + "us e", + "u se", + "пра ши", + "▁R ad", + "▁оста валось", + "▁се стра", + "▁rem ov", + "▁конфлик та", + "▁конфликт а", + "▁Ста ни", + "▁Ст ани", + "▁Стан и", + "▁чи тал", + "▁чита л", + "▁ читал", + "▁V ol", + "▁Е щё", + "▁на чались", + "▁нача лись", + "▁начали сь", + "́ н", + "ней шие", + "▁Те х", + "▁улы б", + "▁ба нк", + "▁бан к", + "▁ банк", + "▁Н ад", + "▁На д", + "А н", + "▁Бело руссии", + "▁Белорус сии", + "ви к", + "▁шо ссе", + "▁слу жеб", + "as ion", + "op er", + "ope r", + "o per", + "▁Хоро шо", + "▁f arm", + "▁far m", + "▁fa rm", + "пе ть", + "пет ь", + "п еть", + "▁вер нуть", + "▁верну ть", + "▁причи нам", + "▁причина м", + "▁причин ам", + "Д А", + "▁В ремя", + "▁Вре мя", + "▁Петербур ге", + "▁Петербург е", + "▁Петер бурге", + "▁ Петербурге", + "▁ка мень", + "▁кам ень", + "▁камен ь", + "▁каме нь", + "▁ве б", + "▁На селение", + "um n", + "ui ld", + "u ild", + "▁кон такт", + "▁контак т", + "▁С пу", + "▁ви дом", + "▁вид ом", + "▁видо м", + "▁филь мов", + "▁фильм ов", + "ре ва", + "рев а", + "р ева", + "▁ла до", + "▁фак ты", + "▁факт ы", + "▁в еры", + "▁ве ры", + "▁вер ы", + "▁согла шения", + "▁луч ший", + "▁выпол нение", + "▁Бо льше", + "▁Боль ше", + "▁деву шки", + "▁с в", + "▁к ван", + "▁ква н", + "▁кв ан", + "▁Fran k", + "▁ва жным", + "▁важ ным", + "▁важны м", + "ibr ary", + "▁за мени", + "▁заме ни", + "ж ке", + "▁занима л", + "▁позво лит", + "▁позволи т", + "▁несом ненно", + "▁Ро берт", + "▁Роб ерт", + "▁Робер т", + "▁W estern", + "▁West ern", + "▁об стре", + "▁С м", + "лю блен", + "люб лен", + "sel ves", + "пу га", + "▁want ed", + "▁оста ются", + "▁за кре", + "▁зак ре", + "▁ле вой", + "▁л евой", + "▁ левой", + "▁them selves", + "▁ad minist", + "▁Ли шь", + "▁клиен тов", + "▁клиент ов", + "▁об ъе", + "▁объ е", + "Л а", + "▁И са", + "▁Ис а", + "▁уче том", + "▁учет ом", + "he m", + "h em", + "▁пре делы", + "▁преде лы", + "▁предел ы", + "ба л", + "б ал", + "▁распростра нение", + "▁рабо то", + "▁работ о", + "сло м", + "сл ом", + "с лом", + "▁beg inning", + "▁begin ning", + "▁диа па", + "▁мат чей", + "▁матче й", + "▁матч ей", + "▁Не обходи", + "з ло", + "▁рабо тала", + "▁работа ла", + "▁работ ала", + "▁работал а", + "ra el", + "r ael", + "▁Министер ства", + "▁Од новременно", + "▁Одно временно", + "▁In ter", + "▁Int er", + "▁стра ха", + "▁страх а", + "▁п рока", + "▁про ка", + "▁з вё", + "▁зв ё", + "▁G reen", + "▁Gr een", + "▁Gre en", + "▁Gree n", + "▁ста рый", + "▁предста влен", + "▁оке ана", + "▁океан а", + "▁океа на", + "id ents", + "ident s", + "▁музы ку", + "▁бо льных", + "▁боль ных", + "▁оконча нии", + "▁нару шение", + "re y", + "r ey", + "▁Василь евич", + "▁Василье вич", + "▁dist rict", + "пр ы", + "п ры", + "А С", + "▁c reate", + "▁cre ate", + "▁creat e", + "▁сотруд ники", + "▁сотрудни ки", + "▁сотрудник и", + "▁двига теля", + "▁свидетель ствует", + "▁свидетельству ет", + "▁Евге ний", + "▁prote ct", + "▁prot ect", + "▁реги оне", + "▁регион е", + "rig ht", + "r ight", + "▁мо де", + "▁ev idence", + "▁fem ale", + "▁m edia", + "▁med ia", + "▁ex pect", + "▁exp ect", + "▁de but", + "▁deb ut", + "▁con nect", + "▁conne ct", + "ir m", + "i rm", + "▁куль туре", + "▁культур е", + "▁культ уре", + "▁вз яли", + "▁взя ли", + "▁взял и", + "слу ши", + "▁продол жать", + "▁продолжа ть", + "▁парла мента", + "▁парламент а", + "▁вы бро", + "ст или", + "сти ли", + "стил и", + "с тили", + "▁Hen ry", + "▁из бра", + "▁не ре", + "▁н ере", + "▁нер е", + "чно стью", + "чность ю", + "ч ностью", + "▁в ар", + "▁ва р", + "▁ вар", + "▁результа том", + "▁результат ом", + "▁Во прос", + "▁v ia", + "▁при мени", + "▁приме ни", + "ше нный", + "шен ный", + "▁на ука", + "▁нау ка", + "▁наук а", + "▁наи менова", + "▁до рого", + "▁доро го", + "▁дорог о", + "▁поли тике", + "▁полити ке", + "▁политик е", + "▁шта т", + "▁шт ат", + "▁зача стую", + "▁Пре зидиума", + "li m", + "l im", + "ст ема", + "сте ма", + "стем а", + "с тема", + "▁по ви", + "▁пов и", + "Ко н", + "К он", + "▁в ходя", + "▁вход я", + "▁дет ям", + "▁свя зей", + "▁связ ей", + "▁pr int", + "▁pri nt", + "▁ print", + "пи ты", + "пит ы", + "ска х", + "с ках", + "М у", + "▁friend s", + "▁ко фе", + "тно му", + "тном у", + "т ному", + "▁Cl ub", + "▁я бло", + "▁ра зы", + "▁раз ы", + "▁за дума", + "▁зад ума", + "▁задум а", + "▁заду ма", + "overn or", + "▁физи ки", + "▁физик и", + "ум е", + "у ме", + "▁ти по", + "▁тип о", + "но вича", + "нови ча", + "нович а", + "▁pl ant", + "▁plan t", + "▁Is land", + "▁по явление", + "▁поя вление", + "▁из начально", + "▁изнача льно", + "▁болез нь", + "▁боле знь", + "▁функ ция", + "▁ди фф", + "▁part s", + "▁par ts", + "▁европей ских", + "▁ве чера", + "▁вече ра", + "▁вечер а", + "▁wh om", + "▁who m", + "▁дер жать", + "▁держа ть", + "▁incre ased", + "▁increase d", + "▁обра щения", + "▁de term", + "▁det erm", + "▁окружа ющей", + "▁По ня", + "P S", + "▁лю бые", + "▁любы е", + "▁s ch", + "▁sc h", + "▁ sch", + "▁по пол", + "▁поп ол", + "▁попо л", + "\". ..", + "\" ...", + "▁ки рпи", + "▁у слов", + "▁ус лов", + "▁chang ed", + "▁change d", + "▁за явля", + "▁зая вля", + "▁О бо", + "▁Об о", + "▁Mich ael", + "▁ли чного", + "▁лично го", + "тив ными", + "тивным и", + "мо но", + "мон о", + "м оно", + "▁ря де", + "▁ряд е", + "▁ре в", + "▁р ев", + "▁ рев", + "▁у бы", + "▁цели ком", + "▁ре цеп", + "▁вз ры", + "▁со брать", + "▁соб рать", + "▁собра ть", + "▁S oviet", + "▁P ri", + "▁Pr i", + "ва ющей", + "ваю щей", + "ля ют", + "▁дет ства", + "▁за фикси", + "y m", + "▁и у", + "▁за воде", + "▁заво де", + "▁завод е", + "▁у шел", + "▁осо бого", + "▁особо го", + "▁жи вой", + "▁живо й", + "▁жив ой", + "▁ве ло", + "▁вел о", + "▁ вело", + "та щи", + "▁Г ей", + "▁Ге й", + "▁а сси", + "▁ас си", + "▁президен том", + "▁президент ом", + "ве си", + "вес и", + "▁насе ко", + "▁по лета", + "▁поле та", + "▁полет а", + "▁за блу", + "▁заб лу", + "▁сдела но", + "▁сделан о", + "▁сдел ано", + "▁fe atures", + "▁feature s", + "▁feat ures", + "▁ме сту", + "▁мест у", + "▁и зли", + "▁из ли", + "▁кры ла", + "▁занима ется", + "▁занимает ся", + "▁s em", + "▁se m", + "▁Вар ша", + "▁Soc iety", + "▁эксплуа тации", + "▁ле д", + "▁л ед", + "▁M any", + "▁Man y", + "▁Ma ny", + "▁Т ан", + "▁Та н", + "▁со бак", + "▁соб ак", + "▁соба к", + "ic les", + "icle s", + "i cles", + "▁са мую", + "▁сам ую", + "▁саму ю", + "▁попа сть", + "▁отря да", + "▁отряд а", + "▁приня тия", + "as ons", + "ason s", + "▁Са ма", + "▁Сам а", + "▁гра фа", + "▁граф а", + "▁ графа", + "▁про веден", + "▁прове ден", + "▁проведе н", + "▁вы ру", + "▁выр у", + "▁деся тки", + "р ва", + "▁ф или", + "▁фи ли", + "▁im medi", + "▁поли тику", + "▁полити ку", + "▁политик у", + "▁наро ду", + "▁народ у", + "Е В", + "▁бор ту", + "▁борт у", + "▁per cent", + "▁си дя", + "днев но", + "дне вно", + "▁устой чи", + "▁Д лина", + "▁Дли на", + "▁Л ев", + "▁Ле в", + "li ke", + "l ike", + "сты ми", + "стым и", + "с тыми", + "▁Зна чит", + "▁Значи т", + "▁l ove", + "▁lo ve", + "▁lov e", + "▁физи ческой", + "it er", + "ite r", + "i ter", + "ти ны", + "тин ы", + "т ины", + "▁нор мы", + "▁норм ы", + "▁вер хов", + "▁верх ов", + "▁фа кторов", + "▁фак торов", + "▁фактор ов", + "фа на", + "фан а", + "ф ана", + "▁эк стре", + "▁экс тре", + "▁F ollow", + "ме я", + "е сли", + "▁внутрен него", + "▁бе ремен", + "▁бере мен", + "▁бер емен", + "▁под писал", + "▁подписа л", + "▁подпи сал", + "▁Лу и", + "▁лю блю", + "▁прове рить", + "▁провер ить", + "ст он", + "сто н", + "с тон", + "▁дра го", + "▁О снова", + "▁Ос нова", + "▁Основ а", + "▁по йти", + "▁пой ти", + "▁м они", + "▁мо ни", + "▁мон и", + "▁ мони", + "зы ваться", + "зыва ться", + "зывать ся", + "емы ми", + "емым и", + "е мыми", + "▁созда нию", + "по ва", + "пов а", + "▁P et", + "▁Pe t", + "▁fe et", + "Ч е", + "▁п ру", + "▁пр у", + "▁ пру", + "▁исче за", + "▁исчез а", + "▁С тар", + "▁Ста р", + "▁Ст ар", + "▁ло в", + "▁л ов", + "▁ лов", + "▁обу ча", + "во дится", + "вод ится", + "води тся", + "водит ся", + "▁m ur", + "вля ться", + "влять ся", + "в ляться", + "▁про куро", + "▁написа но", + "▁написан о", + "▁т вое", + "▁тво е", + "▁тв ое", + "▁W il", + "▁Wi l", + "ро жден", + "ре нный", + "рен ный", + "А З", + "as c", + "a sc", + "▁ли ния", + "▁a rm", + "▁ar m", + "▁ arm", + "▁l ower", + "▁low er", + "▁lo wer", + "▁ответ ить", + "▁отве тить", + "▁по тер", + "▁поте р", + "▁не мно", + "▁нем но", + "же нная", + "жен ная", + "un n", + "▁дво рян", + "▁двор ян", + "▁дворя н", + "▁пер вич", + "is k", + "i sk", + "▁остро вов", + "▁остров ов", + "▁отли чаются", + "▁отлича ются", + "▁использова нии", + "▁си дел", + "ера рхи", + "▁откры ть", + "▁открыт ь", + "▁G rand", + "▁Gr and", + "▁Gra nd", + "▁смо гут", + "▁смог ут", + "▁смогу т", + "▁у стре", + "▁ус тре", + "▁turn ed", + "▁tur ned", + "▁экзем пля", + "▁тка ни", + "ст ских", + "▁внима тельно", + "▁турни ра", + "▁турнир а", + "▁опублико ван", + "▁опубликова н", + "ar ter", + "art er", + "▁вра жде", + "▁ра б", + "▁ раб", + "сти нк", + "стин к", + "▁th us", + "▁с тер", + "▁ст ер", + "▁сте р", + "▁ стер", + "▁song s", + "▁son gs", + "▁стро ки", + "▁строк и", + "▁аппара та", + "▁аппарат а", + "M S", + "▁b oy", + "▁bo y", + "▁ boy", + "шно й", + "шн ой", + "ш ной", + "▁проя вления", + "ству ющие", + "or ing", + "ori ng", + "o ring", + "▁француз ского", + "жу тся", + "жут ся", + "ograph y", + "ograp hy", + "▁про зра", + "▁проз ра", + "▁пере йти", + "▁перей ти", + "▁со бою", + "▁собо ю", + "▁двадца ти", + "▁мень шей", + "▁меньше й", + "▁во лости", + "▁воло сти", + "▁волос ти", + "▁in stit", + "▁inst it", + "m on", + "зи на", + "зин а", + "з ина", + "▁Во обще", + "ль ци", + "▁Ро ссией", + "▁Росси ей", + "▁во рота", + "▁воро та", + "▁ворот а", + "▁экипа жа", + "▁экипаж а", + "▁ак туаль", + "▁до ступа", + "▁доступ а", + "▁С ин", + "▁Си н", + "▁ex am", + "▁Afric an", + "▁Africa n", + "ле б", + "and s", + "▁у кры", + "ran ch", + "▁понима л", + "▁пони мал", + "▁испол нения", + "▁a bs", + "▁ab s", + "▁выпол ня", + "▁оши бок", + "▁ошиб ок", + "▁ошибо к", + "▁ш ер", + "▁ше р", + "▁ шер", + "▁дебю тировал", + "▁ф ору", + "▁фор у", + "▁фо ру", + "▁моз г", + "o z", + "я р", + "▁Восто чной", + "▁Вос точной", + "▁Восточно й", + "▁ Восточной", + "▁над пись", + "▁надпи сь", + "▁ва ших", + "▁ваш их", + "▁ваши х", + "▁Бы ли", + "▁Был и", + "▁T wo", + "▁Tw o", + "га ется", + "гает ся", + "фри кан", + "▁расши ря", + "▁Ни кто", + "▁Ник то", + "▁Смо лен", + "▁сравни тельно", + "▁предела ми", + "▁преде лами", + "▁Сте па", + "T h", + "▁V ict", + "▁Vi ct", + "те рии", + "тери и", + "▁ар мией", + "▁арми ей", + "▁о си", + "▁ос и", + "▁ оси", + "ли нд", + "лин д", + "▁под зем", + "▁вы бран", + "▁выбра н", + "▁по грани", + "▁пре у", + "ва емые", + "▁M od", + "▁Mo d", + "▁ Mod", + "▁sup er", + "▁su per", + "▁на ступления", + "▁наступ ления", + "▁ме стные", + "▁мест ные", + "зо сти", + "▁у худ", + "ро вке", + "ров ке", + "дко й", + "д кой", + "▁бое вые", + "el led", + "ell ed", + "elle d", + "▁перегово ров", + "▁верх ней", + "шо к", + "ш ок", + "▁b ene", + "▁be ne", + "де ква", + "▁И льи", + "▁Иль и", + "▁Ил ьи", + "зи ат", + "зиа т", + "ла йн", + "лай н", + "▁l ack", + "▁la ck", + "▁согласи лся", + "штей н", + "ште йн", + "▁бы тия", + "▁ бытия", + "▁автома тически", + "▁автомати чески", + "▁сы ном", + "▁сын ом", + "▁С вер", + "▁Св ер", + "▁Све р", + "ве дь", + "вед ь", + "ol f", + "▁J ust", + "▁Ju st", + "▁e mb", + "▁em b", + "▁ emb", + "▁high er", + "▁hig her", + "▁Спи сок", + "э ф", + "▁Ве сь", + "▁squ are", + "▁val ue", + "▁ value", + "▁принци пы", + "▁принцип ы", + "▁нача льником", + "▁началь ником", + "▁начальник ом", + "▁me ans", + "▁mean s", + "▁проис ходило", + "▁происхо дило", + "▁по рази", + "▁пора зи", + "▁ли нию", + "чё м", + "ч ём", + "▁зем е", + "▁зе ме", + "▁ земе", + "▁экономи ческого", + "хо жу", + "▁Т имо", + "▁Ти мо", + "▁Тим о", + "▁p ark", + "▁par k", + "▁pro b", + "▁pr ob", + "▁оста лась", + "ти рует", + "тиру ет", + "▁запа дной", + "▁запад ной", + "▁ западной", + "▁военно слу", + "▁англий ского", + "I T", + "▁ка ме", + "▁кам е", + "▁полу чилось", + "▁получи лось", + "▁получило сь", + "▁профессо ра", + "▁профессор а", + "▁cent ral", + "дж ер", + "дже р", + "д жер", + "▁под разуме", + "▁подраз уме", + "И И", + "Г а", + "▁Сиби ри", + "▁Сибир и", + "ль м", + "▁Рас ска", + "▁Расс ка", + "▁теле кана", + "ду ман", + "дума н", + "дум ан", + "▁мето да", + "▁мет ода", + "▁метод а", + "▁R ock", + "▁Ro ck", + "▁психо логии", + "▁психологи и", + "▁end ed", + "следова тель", + "▁об щих", + "▁общи х", + "▁общ их", + "▁disc uss", + "ки и", + "▁Sm ith", + "▁предполага ет", + "не ли", + "иль ям", + "▁вос при", + "▁автомоби ля", + "▁ле ги", + "▁лег и", + "▁e lected", + "▁elect ed", + "но ю", + "▁fe el", + "▁l ay", + "▁la y", + "▁ lay", + "но вым", + "▁от ъ", + "▁буржу аз", + "▁буржуа з", + "▁Гит лер", + "▁ob serv", + "▁следова ло", + "▁журна ле", + "▁журнал е", + "au r", + "a ur", + "▁arch itect", + "▁участ ники", + "▁участник и", + "▁C ons", + "▁Con s", + "▁Co ns", + "▁подготов ке", + "▁подгото вке", + "▁неме цкой", + "▁немец кой", + "▁немецко й", + "▁при це", + "ти нг", + "тин г", + "т инг", + "er gy", + "ла нти", + "лан ти", + "лант и", + "л анти", + "▁за ро", + "▁зар о", + "▁g rand", + "▁gr and", + "▁gra nd", + "▁no vel", + "▁nov el", + "▁т руп", + "▁тру п", + "▁по став", + "▁пос тав", + "▁поста в", + "▁пост ав", + "ле нного", + "лен ного", + "ленно го", + "▁девя ть", + "▁дев ять", + "ро вского", + "ров ского", + "▁Тур ции", + "() ;", + "( );", + "АТ О", + "А ТО", + "▁tr ue", + "▁извест ного", + "▁известно го", + "▁изве стного", + "▁ко сти", + "▁кос ти", + "▁ кости", + "id a", + "i da", + "▁с тр", + "▁ст р", + "▁ стр", + "▁при го", + "▁ма шине", + "▁маши не", + "▁машин е", + "ul a", + "u la", + "▁system s", + "▁разрабо тке", + "▁тя го", + "▁pr incip", + "▁doc ument", + "▁Сле дова", + "▁суб бо", + "▁un its", + "▁unit s", + "▁подоб ное", + "▁подобно е", + "▁Follow ing", + "▁малень кий", + "▁хо дить", + "▁ход ить", + "▁ходит ь", + "▁ ходить", + "Л о", + "▁про сла", + "▁прос ла", + "▁вра гов", + "▁враг ов", + "▁сере дины", + "▁середи ны", + "▁Ро ман", + "▁Рома н", + "це ни", + "цен и", + "▁от дельно", + "▁отде льно", + "▁отдель но", + "▁О бе", + "▁Об е", + "▁ти ра", + "▁ тира", + "tern al", + "▁эволю ции", + "▁на печа", + "▁ ?", + "▁зве зда", + "▁звезд а", + "▁звез да", + "▁зв езда", + "▁p ie", + "▁J os", + "▁Jo s", + "▁то чка", + "▁точ ка", + "▁солда ты", + "▁солдат ы", + "га ла", + "гал а", + "г ала", + "▁earl ier", + "h i", + "▁че рта", + "▁чер та", + "▁черт а", + "▁тер пе", + "▁ терпе", + "би е", + "ро вался", + "рова лся", + "ровал ся", + "▁распо ложена", + "▁расположен а", + "▁расположе на", + "is es", + "ise s", + "i ses", + "▁ку со", + "▁предпо ч", + "▁некоторы м", + "▁некото рым", + "▁максима льно", + "▁до казыва", + "▁дока зыва", + "▁It al", + "▁автомоби ль", + "▁ис ходя", + "▁исход я", + "▁пу шки", + "▁дви жении", + "▁Все ленной", + "▁вз рыва", + "▁взрыв а", + "▁взры ва", + "▁соб ака", + "▁соба ка", + "▁собак а", + "▁дости чь", + "ство вание", + "ствова ние", + "ристо кра", + "▁Е лиза", + "▁acc ording", + "▁Президен т", + "▁pass ed", + "лл ы", + "л лы", + "▁вла стей", + "▁коми тет", + "▁комите т", + "▁Lou is", + "▁с пря", + "▁обнаружи ли", + "▁обнару жили", + "▁обнаружил и", + "ле с", + "▁луч шим", + "ch an", + "c han", + "▁dec ision", + "▁оде жды", + "▁К ер", + "▁Ке р", + "id er", + "ide r", + "i der", + "▁совет ские", + "▁результа там", + "▁результат ам", + "▁результата м", + "ме д", + "м ед", + "▁person al", + "en ced", + "ence d", + "enc ed", + "▁к ло", + "▁ кло", + "▁выс шего", + "▁Ма тери", + "▁foot ball", + "▁о ли", + "▁обеспе чивает", + "▁обеспечи вает", + "ви ца", + "виц а", + "▁у ступа", + "▁уступ а", + "▁indust ry", + "▁пунк та", + "▁пункт а", + "▁про доволь", + "▁продо воль", + "▁Д ере", + "▁Де ре", + "▁Дер е", + "... >", + "ро ка", + "рок а", + "▁О п", + "▁Н ар", + "▁На р", + "▁собы тие", + "▁выигра л", + "▁кри тери", + "▁l og", + "▁lo g", + "▁ log", + "▁А лла", + "▁Ал ла", + "▁многочисле нных", + "▁характери стики", + "▁характеристи ки", + "▁характеристик и", + "▁st ep", + "▁ste p", + "▁Универ сите", + "▁проду кт", + "▁продук т", + "▁худо жников", + "▁худож ников", + "▁художник ов", + "▁ex c", + "▁Т ар", + "▁Та р", + "▁сим вол", + "▁симво л", + "▁л ы", + "▁ лы", + "▁ва жное", + "▁важ ное", + "▁важно е", + "▁ва го", + "▁for ced", + "▁force d", + "▁кар те", + "▁карт е", + "▁разо ча", + "О О", + "▁ле су", + "▁лес у", + "▁обык новен", + "▁ри ск", + "▁рис к", + "▁воло сы", + "▁волос ы", + "▁Е С", + "▁ ЕС", + "▁ре мон", + "▁рем он", + "▁бро си", + "ли вый", + "▁предста вляется", + "▁представля ется", + "▁представляет ся", + "▁st ay", + "ме ся", + "▁s ett", + "▁se tt", + "▁set t", + "ре нных", + "рен ных", + "ro ad", + "r oad", + "▁рекла м", + "▁рек лам", + "▁не об", + "▁нео б", + "▁исто чники", + "▁источ ники", + "▁источник и", + "▁здра во", + "ча х", + "▁Си рии", + "pa n", + "p an", + "ст ере", + "сте ре", + "стер е", + "с тере", + "▁R ev", + "▁Re v", + "▁газ ете", + "▁газе те", + "▁газет е", + "▁В последствии", + "е писко", + "▁L at", + "▁La t", + "ку пи", + "куп и", + "▁Поз днее", + "▁Позд нее", + "▁ве дут", + "▁веду т", + "▁вед ут", + "▁футбо лист", + "▁футболи ст", + "▁футбол ист", + "▁д вер", + "▁две р", + "▁драма тур", + "кс у", + "к су", + "▁за би", + "▁заб и", + "▁ма ссу", + "▁масс у", + "▁че тко", + "▁чет ко", + "деся ти", + "десят и", + "▁tro ops", + "▁глу бине", + "▁глуби не", + "oc h", + "o ch", + "▁акт ёр", + "се ц", + "с ец", + "▁ору дия", + "▁гра нице", + "▁грани це", + "▁границ е", + "▁г рома", + "▁гро ма", + "▁гром а", + "▁g ra", + "▁gr a", + "▁специаль ные", + "▁специ альные", + "▁Пу тин", + "▁Пути н", + "▁говори лось", + "▁использова л", + "▁вир туаль", + "▁маги стра", + "oc al", + "oca l", + "▁неф ти", + "▁мо ем", + "▁мое м", + "▁с ад", + "▁са д", + "▁ сад", + "нг ви", + "▁рас че", + "▁и р", + "▁ ир", + "чка х", + "ч ках", + "▁f if", + "ek s", + "e ks", + "▁про би", + "▁проб и", + "ли зации", + "лиза ции", + "▁In stitute", + "▁т ремя", + "▁тре мя", + "▁взаимо от", + "▁призна ки", + "▁признак и", + "у э", + "ou d", + "o ud", + "ли чество", + "личе ство", + "▁з вания", + "▁B ill", + "▁Bi ll", + "ре зать", + "реза ть", + "om m", + "o mm", + "▁участи ем", + "▁участие м", + "▁c it", + "тив ном", + "тивно м", + "се на", + "сен а", + "с ена", + "▁ро зы", + "▁роз ы", + "▁Сы н", + "▁Ро ссий", + "▁Росси й", + "▁Рос сий", + "▁ Россий", + "ess ion", + "▁молодо го", + "че ва", + "чев а", + "ч ева", + "вно коман", + "▁поли тические", + "▁полити ческие", + "▁P eter", + "▁Pe ter", + "▁Pet er", + "▁k ind", + "▁об щим", + "▁общи м", + "▁общ им", + "▁ли сть", + "▁лист ь", + "▁Т ю", + "▁доку мент", + "М О", + "Т и", + "O M", + "в ный", + "▁s af", + "ле ц", + "л ец", + "▁f le", + "▁fl e", + "▁Ac adem", + "▁ста рые", + "▁пер спек", + "ми те", + "мит е", + "▁cap ital", + "k n", + "▁кле ток", + "▁клет ок", + "▁th reat", + "ни лась", + "нила сь", + "▁Константи н", + "▁Дж она", + "▁Джон а", + "▁Джо на", + "▁освобо ждения", + "un ity", + "▁ре ку", + "▁рек у", + "▁по сад", + "▁пос ад", + "▁поса д", + "▁ре е", + "▁ рее", + "ли чно", + "ri al", + "ria l", + "r ial", + "▁на чался", + "▁нача лся", + "▁начал ся", + "▁Суще ствует", + "▁С ева", + "▁Се ва", + "стоя ние", + "▁за служи", + "▁заслу жи", + "al a", + "a la", + "pir e", + "p ire", + "it a", + "i ta", + "▁ве сной", + "▁вес ной", + "▁дея тельностью", + "▁деятель ностью", + "▁деятельность ю", + "um ents", + "ument s", + "u ments", + "▁о ра", + "▁ор а", + "▁из ви", + "▁из вле", + "▁Во ору", + "▁зако номер", + "▁законо мер", + "▁законом ер", + "▁дела ется", + "▁делает ся", + "мон стри", + "▁высо кие", + "▁требо ваний", + "зре ния", + "з рения", + "▁original ly", + "▁origin ally", + "▁б еру", + "▁бе ру", + "▁бер у", + "▁кла ссов", + "▁класс ов", + "▁классо в", + "▁рас строй", + "▁золо то", + "де нь", + "ден ь", + "д ень", + "▁E r", + "▁на в", + "▁н ав", + "▁ нав", + "▁З у", + "▁Ле том", + "▁Лет ом", + "▁ре пре", + "дра в", + "др ав", + "д рав", + "▁t ext", + "▁te xt", + "▁ text", + "▁соста вил", + "▁состав ил", + "▁тех нических", + "▁техни ческих", + "▁ощу щения", + "ver t", + "v ert", + "▁some thing", + "▁somet hing", + "клю чения", + "ще нной", + "щен ной", + "щенно й", + "▁от сюда", + "▁пользова теля", + "▁х леба", + "▁хле ба", + "▁хлеб а", + "▁h ours", + "▁hour s", + "▁раз меров", + "▁разме ров", + "▁размер ов", + "▁поддержи вать", + "▁sum mer", + "▁c red", + "▁cre d", + "▁cr ed", + "▁спорт сме", + "▁спортс ме", + "▁во рот", + "▁воро т", + "▁вор от", + "▁ ворот", + "зу ется", + "зует ся", + "▁три бу", + "▁ трибу", + "▁с би", + "▁ак тивности", + "▁актив ности", + "▁активно сти", + "pos e", + "po se", + "p ose", + "▁M ount", + "▁Mo unt", + "▁С ти", + "▁Ст и", + "er o", + "e ro", + "▁про гу", + "▁поддерж ке", + "▁Austral ian", + "▁Australia n", + "▁F in", + "▁Дей стви", + "▁раз ными", + "▁разным и", + "▁успе хом", + "▁успех ом", + "чи х", + "ч их", + "▁c and", + "▁can d", + "▁па па", + "▁пап а", + "ma r", + "m ar", + "▁ex hib", + "▁m ach", + "▁И еруса", + "▁Ие руса", + "▁an c", + "▁ anc", + "вер шенно", + "вершен но", + "▁ос енью", + "▁осе нью", + "▁осен ью", + "н ны", + "▁b ank", + "▁ban k", + "▁inter view", + "▁мя те", + "▁ne igh", + "▁r ank", + "▁ran k", + "▁М ака", + "▁Ма ка", + "▁Мак а", + "▁pre vent", + "▁у ходит", + "▁ухо дит", + "▁уход ит", + "▁Разу меется", + "по доб", + "под об", + "▁Sc ott", + "▁Scot t", + "со вершен", + "▁зу б", + "▁рус ским", + "▁произ ведение", + "▁рас ходы", + "▁расхо ды", + "▁расход ы", + "у з", + "▁го рдо", + "▁гор до", + "▁оши б", + "те ка", + "тек а", + "▁име ло", + "▁имел о", + "Йор к", + "Й орк", + "▁пере воз", + "▁перево з", + "ha b", + "h ab", + "фе ль", + "▁кли ма", + "▁се мина", + "▁сем ина", + "▁семи на", + "▁аппара т", + "▁caus ed", + "▁cause d", + "▁Z e", + "▁поли тический", + "▁полити ческий", + "Ис то", + "И сто", + "▁за каза", + "▁зака за", + "▁заказ а", + "▁слу жа", + "▁служ а", + "▁Ar ch", + "▁раз мера", + "▁разме ра", + "▁размер а", + "▁потеря л", + "▁потер ял", + "▁проис ше", + "▁e mer", + "▁em er", + "▁п севдо", + "augh t", + "aug ht", + "▁артилле рии", + "▁француз ской", + "▁T or", + "▁To r", + "▁ре зиден", + "▁рези ден", + "E N", + "▁пов лия", + "▁У з", + "▁ap plic", + "▁по строить", + "▁постро ить", + "▁ве л", + "▁ вел", + "▁ва ша", + "▁ваш а", + "▁с бро", + "▁заслу ги", + "▁любо пыт", + "▁К ен", + "▁Ке н", + "▁мо ст", + "▁Is rael", + "▁ме длен", + "▁мед лен", + "▁Rich ard", + "▁кана ла", + "▁кан ала", + "▁канал а", + "▁cent er", + "де ний", + "▁реко рд", + "▁рекор д", + "▁ни чем", + "▁с коль", + "▁ско ль", + "▁ сколь", + "ри ться", + "рить ся", + "▁фай л", + "вно й", + "в ной", + "О н", + "in i", + "i ni", + "▁кварти ре", + "▁квартир е", + "▁ка кими", + "▁как ими", + "▁каким и", + "▁ос таться", + "▁оста ться", + "▁t arg", + "▁о в", + "▁ ов", + "▁Mus ic", + "▁M ost", + "▁Mos t", + "▁Mo st", + "▁Не о", + "▁Min ister", + "▁зву к", + "▁повсе днев", + "па ть", + "▁Те о", + "▁ста рого", + "▁старо го", + "▁Па мя", + "▁Б об", + "▁Бо б", + "▁но сит", + "▁носи т", + "▁нос ит", + "▁ носит", + "▁вражде б", + "рк у", + "р ку", + "ста х", + "с тах", + "▁чу жо", + "▁n atural", + "▁с дви", + "▁опас а", + "▁опа са", + "U S", + "▁треть ей", + "▁третье й", + "▁с вето", + "▁свет о", + "▁све то", + "ly ing", + "l ying", + "▁согла шение", + "ро вались", + "рова лись", + "ровали сь", + "▁Л ат", + "▁Ла т", + "▁t rib", + "▁tr ib", + "▁tri b", + "▁Цер кви", + "T V", + "▁кон гре", + "▁п ля", + "▁ пля", + "зд о", + "з до", + "ве то", + "вет о", + "▁уг ол", + "▁уго л", + "▁три дцать", + "▁тридца ть", + "Ма р", + "М ар", + "▁у езд", + "▁уез д", + "в не", + "ъ ю", + "▁слы шал", + "▁слыша л", + "▁вз ро", + "▁я и", + "ци ан", + "циа н", + "▁n ar", + "ля л", + "л ял", + "▁c al", + "▁вол шеб", + "▁ро ско", + "▁рос ко", + "та лки", + "тал ки", + "▁приблизи тельно", + "▁при нес", + "▁стра ницы", + "▁страниц ы", + "il ed", + "ile d", + "i led", + "▁ор ган", + "▁орга н", + "▁исто чником", + "▁источ ником", + "▁источник ом", + "I t", + "▁потре бу", + "▁потреб у", + "▁M ont", + "▁Mon t", + "▁Mo nt", + "Д и", + "na me", + "nam e", + "n ame", + "▁cons ider", + "▁consid er", + "во ро", + "вор о", + "ён ный", + "ё нный", + "нно му", + "нном у", + "н ному", + "▁К ей", + "▁Ке й", + "▁следу ющего", + "▁оружи ем", + "▁оружие м", + "▁по крови", + "▁покро ви", + "▁ш ар", + "▁ша р", + "▁ шар", + "▁концеп ции", + "▁От сюда", + "▁выну ждены", + "▁вынужден ы", + "▁Cent ral", + "▁напря жения", + "m od", + "▁солн ца", + "▁хра нения", + "▁тыся че", + "▁тысяч е", + "▁Ма ло", + "▁p en", + "▁pe n", + "▁ pen", + "g l", + "▁уча стке", + "▁участ ке", + "▁реали зова", + "▁реа лизова", + "▁oper ations", + "▁operation s", + "▁qu al", + "▁q ual", + "▁под ска", + "▁подс ка", + "▁ме лко", + "▁мел ко", + "▁с нять", + "▁сня ть", + "▁снят ь", + "▁с кор", + "▁ско р", + "▁ск ор", + "▁ скор", + "▁С ар", + "▁Са р", + "▁пользова тель", + "▁заме тно", + "▁замет но", + "▁обви нения", + "▁за гру", + "▁tradition al", + "bo ur", + "b our", + "▁из дели", + "▁изде ли", + "во ло", + "вол о", + "в оло", + "▁пригото вления", + "▁sc ored", + "▁score d", + "▁Солн ца", + "▁ста рой", + "▁стар ой", + "▁старо й", + "▁пут ём", + "▁N ot", + "▁No t", + "▁мое му", + "▁моем у", + "▁ моему", + "си бир", + "▁на ходит", + "▁находи т", + "▁наход ит", + "▁та лан", + "▁s ection", + "▁se ction", + "▁sec tion", + "▁нау ке", + "▁наук е", + "три бу", + "ст ся", + "с тся", + "нк ов", + "н ков", + "А К", + "▁о твра", + "▁от вра", + "▁m ix", + "▁mi x", + "▁напа дения", + "▁выво ду", + "▁вывод у", + "▁Нов город", + "▁Новго род", + "▁am ount", + "en a", + "e na", + "бе рт", + "бер т", + "б ерт", + "ка зом", + "каз ом", + "▁с пать", + "▁спа ть", + "▁вспом нить", + "▁з ная", + "▁зна я", + "▁ad op", + "▁при вели", + "▁приве ли", + "▁привел и", + "an o", + "a no", + "▁штур мо", + "▁шту рмо", + "▁Sup er", + "▁Su per", + "▁из раиль", + "ли те", + "лит е", + "▁па ры", + "▁пар ы", + "▁несколь кими", + "▁нескольким и", + "▁ры бы", + "▁рыб ы", + "▁предста влены", + "▁представлен ы", + "▁У ильям", + "▁Уилья м", + "▁монасты рь", + "ло т", + "л от", + "▁про све", + "▁прос ве", + "▁сем ью", + "▁семь ю", + "▁в зор", + "▁вз ор", + "▁взо р", + "▁функ цию", + "» :", + "▁тер риториаль", + "▁террито риаль", + "▁ территориаль", + "▁У э", + "▁Г лу", + "▁s en", + "▁se n", + "▁ sen", + "▁dist rib", + "▁неме цкого", + "▁немец кого", + "▁немецко го", + "▁D ay", + "ры вно", + "рыв но", + "▁сю же", + "▁пози ций", + "▁Гри горь", + "▁Григо рь", + "▁архитек туры", + "▁архитектур ы", + "▁за се", + "▁зас е", + "▁т ен", + "▁те н", + "▁ тен", + "▁en vironment", + "▁нача лу", + "▁начал у", + "▁ началу", + "▁цвет ов", + "▁цве тов", + "▁Fran cis", + "▁зна ние", + "▁ знание", + "▁вра ча", + "▁врач а", + "▁ко де", + "▁код е", + "▁оста нется", + "▁пере дает", + "▁переда ет", + "ст ил", + "сти л", + "с тил", + "▁эк ологи", + "▁эко логи", + "▁com mercial", + "▁обла дают", + "▁облада ют", + "▁con struct", + "▁const ruct", + "▁специали сты", + "▁специалист ы", + "▁упомя ну", + "▁рабо чие", + "▁рабочи е", + "▁во ж", + "▁Ху до", + "▁восста ния", + "▁но в", + "▁н ов", + "▁ нов", + "▁вели чай", + "▁а ку", + "▁ак у", + "▁на родных", + "▁наро дных", + "▁народ ных", + "▁неболь шие", + "▁Ав гу", + "ре нно", + "рен но", + "р енно", + "▁ж ар", + "▁жа р", + "▁устрой ств", + "▁дополни тельные", + "▁попыт ка", + "▁попы тка", + "▁Бе ла", + "▁Бел а", + "▁ф аль", + "▁фа ль", + "iz ing", + "▁Ди а", + "▁выз ва", + "▁у дара", + "▁уда ра", + "▁удар а", + "▁уд ара", + "▁с пуска", + "▁спу ска", + "▁м ла", + "▁мл а", + "▁Восто ка", + "▁Вос тока", + "▁Восток а", + "▁подума л", + "▁поду мал", + "че нными", + "чен ными", + "ченным и", + "▁S ing", + "▁Si ng", + "▁лейте нант", + "▁лейтенан т", + "▁ лейтенант", + "▁L os", + "▁Lo s", + "но шение", + "▁я влений", + "▁яв лений", + "▁Ц ар", + "▁Ца р", + "▁опреде ленные", + "▁определен ные", + "▁коман дой", + "▁команд ой", + "▁изме рения", + "▁наказа ния", + "▁нака зания", + "ри со", + "рис о", + "▁includ es", + "▁include s", + "▁ла гере", + "▁лагер е", + "▁струк туру", + "▁структур у", + "▁те сно", + "▁пона доби", + "▁le ague", + "▁из бы", + "▁компа нией", + "▁луч шие", + "▁ce leb", + "▁упра влять", + "▁управля ть", + "▁Е сте", + "▁Австра лии", + "▁ре шением", + "▁решение м", + "▁реше нием", + "▁ре монт", + "▁ремон т", + "▁Бер лин", + "▁про ходил", + "▁проходи л", + "▁проход ил", + "▁прохо дил", + "▁м оне", + "▁мо не", + "▁мон е", + "▁воз действие", + "▁воздей ствие", + "▁при ема", + "▁прием а", + "▁прие ма", + "▁тех нику", + "▁техни ку", + "ри ст", + "рис т", + "р ист", + "▁пребы вания", + "▁поли тического", + "▁полити ческого", + "▁из вести", + "▁извест и", + "▁изве сти", + "ep h", + "e ph", + "ма ли", + "мал и", + "м али", + "▁co ast", + "▁энер гию", + "▁энерги ю", + "ро ванием", + "рова нием", + "рование м", + "▁н ра", + "▁sec ret", + "ва нге", + "ван ге", + "▁sp ent", + "▁spe nt", + "uf act", + "▁па ри", + "▁пар и", + "▁ пари", + "хи м", + "х им", + "▁в близи", + "▁Г руп", + "▁Гру п", + "▁аресто ван", + "▁в я", + "▁ вя", + "▁П атри", + "▁Па три", + "▁пос тара", + "▁поста ра", + "▁пост ара", + "п ке", + "▁c y", + "▁ cy", + "▁мел ких", + "▁ин стинк", + "▁С чита", + "фор мули", + "▁build ings", + "▁building s", + "▁авто ры", + "▁ав торы", + "▁автор ы", + "▁claim ed", + "▁дерев ья", + "▁Micro soft", + "▁w ood", + "▁ wood", + "▁гря з", + "▁гр яз", + "▁ гряз", + "▁извест ные", + "▁известны е", + "▁изве стные", + "спо р", + "с пор", + "▁огром ный", + "▁игро ков", + "▁игрок ов", + "▁До ро", + "▁Дор о", + "▁Пет рович", + "▁Петро вич", + "▁го н", + "▁г он", + "▁ гон", + "ко ве", + "ков е", + "▁д ья", + "▁ дья", + "▁заклю чение", + "▁incre ase", + "▁В ос", + "▁Во с", + "▁O per", + "▁Op er", + "▁Государ ственной", + "▁Г ро", + "жо к", + "ж ок", + "▁на ре", + "▁нар е", + "▁появи лось", + "▁поя вилось", + "бо вать", + "бова ть", + "ди р", + "д ир", + "Ко м", + "К ом", + "▁long er", + "▁неда леко", + "▁охва ты", + "▁сва дь", + "емо сть", + "е мость", + "▁го родом", + "▁горо дом", + "▁город ом", + "пре ки", + "▁Ме кси", + "▁Мек си", + "▁б рак", + "▁бра к", + "▁яй ца", + "▁обы ча", + "▁собра ние", + "▁вла дения", + "▁владе ния", + "▁кре дит", + "▁креди т", + "▁по спе", + "▁пос пе", + "▁зи мой", + "▁зим ой", + "g a", + "▁Х ру", + "со образ", + "▁вы го", + "▁при шло", + "▁Ар ме", + "▁при ложение", + "▁Пер вым", + "▁Про бле", + "▁Sy stem", + "▁бра тьев", + "▁брат ьев", + "▁брать ев", + "ги ба", + "гиб а", + "▁способ ы", + "▁спосо бы", + "▁опреде ленной", + "▁определен ной", + "▁определенно й", + "▁рассказыва л", + "▁рассказы вал", + "▁до лю", + "▁дол ю", + "▁мага зин", + "▁магази н", + "▁стра нно", + "▁стран но", + "▁Е вропей", + "▁Евро пей", + "▁Европе й", + "веро ят", + "▁откры т", + "▁Вели кого", + "▁Велико го", + "▁разрабо тан", + "▁разработа н", + "ан г", + "а нг", + "▁вне шне", + "▁внеш не", + "▁вла стью", + "▁власть ю", + "on se", + "ons e", + "▁возмо жных", + "▁возможны х", + "er ve", + "erv e", + "▁награ ждён", + "▁ра ска", + "▁рас ка", + "▁ка рта", + "▁кар та", + "▁карт а", + "▁голо сов", + "▁голос ов", + "▁голосо в", + "Л ю", + "▁о зеро", + "▁озе ро", + "▁озер о", + "▁мар кси", + "▁Пу шкин", + "▁Пушки н", + "▁по ры", + "▁пор ы", + "ни ческих", + "am s", + "a ms", + "ти ку", + "тик у", + "▁Ц а", + "сно м", + "с ном", + "▁пу тей", + "▁пут ей", + "▁путе й", + "▁Зна мени", + "▁belie ved", + "▁believe d", + "arri age", + "▁у ез", + "▁meet ing", + "▁За то", + "▁по пере", + "▁попе ре", + "▁поп ере", + "▁Бе л", + "▁C amp", + "▁Cam p", + "▁Ca mp", + "ob al", + "o bal", + "▁следу ющей", + "▁не благо", + "▁серьез но", + "ствен ному", + "стве нному", + "ственно му", + "ственном у", + "▁Швей ца", + "▁с чё", + "▁откры тие", + "▁с видетельство", + "▁свиде тельство", + "▁свидетель ство", + "▁свидетельств о", + "▁d rop", + "▁dr op", + "▁Dist rict", + "▁act ive", + "▁activ e", + "▁ active", + "▁террито рия", + "▁econom ic", + "▁Ap ple", + "▁App le", + "▁О лег", + "▁Оле г", + "▁< ...>", + "▁про ч", + "▁зада чей", + "▁задач ей", + "▁по вести", + "▁пове сти", + "▁повест и", + "▁ли ги", + "▁ лиги", + "во рить", + "вори ть", + "вор ить", + "та ра", + "тар а", + "т ара", + "▁У и", + "▁Цер ковь", + "▁con stit", + "▁const it", + "qu ote", + "▁Бо лга", + "▁Бол га", + "▁мор ских", + "▁ морских", + "▁реаль ность", + "▁реа льность", + "▁реально сть", + "▁про кура", + "▁Му ж", + "▁фо ль", + "▁у влека", + "▁увле ка", + "из м", + "и зм", + "ist ry", + "▁P ost", + "▁Po st", + "▁по тра", + "he st", + "hes t", + "h est", + "па ла", + "пал а", + "п ала", + "▁авто ром", + "▁ав тором", + "▁автор ом", + "пе йской", + "пей ской", + "▁подвер г", + "▁подве рг", + "▁По чти", + "▁дерев ьев", + "д т", + "▁кон стру", + "▁те рмо", + "▁тер мо", + "▁выяс нилось", + "C on", + "ug e", + "u ge", + "- >", + "▁количе ством", + "▁количество м", + "▁персона жей", + "▁персонаж ей", + "ро вский", + "ров ский", + "▁про вод", + "▁прово д", + "▁ провод", + "▁Ch ic", + "▁проде монстри", + "▁состоя л", + "▁состо ял", + "▁B ur", + "▁Bu r", + "▁п ей", + "▁пе й", + "▁ пей", + "▁Про дол", + "▁опреде ленных", + "▁определен ных", + "▁le ave", + "▁proper ty", + "por ary", + "▁учи теля", + "▁К ня", + "-------- --------", + "▁оче реди", + "▁очеред и", + "▁очер еди", + "▁Ве нг", + "▁Вен г", + "▁ве рить", + "▁вер ить", + "▁верит ь", + "▁вери ть", + "▁v ot", + "▁vo t", + "эф фици", + "▁по селение", + "▁посе ление", + "▁b ring", + "▁br ing", + "▁w ord", + "▁wor d", + "▁ word", + "ва лен", + "вал ен", + "вале н", + "▁соб ственный", + "▁собствен ный", + "▁New s", + "▁ide a", + "ря т", + "р ят", + "▁от каз", + "▁отка з", + "▁отк аз", + "▁за креп", + "▁закре п", + "▁pr ior", + "▁pri or", + "ня лся", + "нял ся", + "▁С лова", + "▁Сло ва", + "▁бе спокой", + "▁беспо кой", + "▁беспоко й", + "▁ка лен", + "це на", + "цен а", + "ц ена", + "ли зма", + "лизм а", + "л изма", + "фе рен", + "фер ен", + "ф ерен", + "З оло", + "ли зм", + "л изм", + "▁п ое", + "▁по е", + "▁O pen", + "▁Op en", + "кла сс", + "▁пол ную", + "ст ин", + "сти н", + "с тин", + "▁book s", + "▁g old", + "▁go ld", + "▁defe ated", + "▁defeat ed", + "сным и", + "сны ми", + "с ными", + "▁уси лий", + "▁усили й", + "▁с рока", + "▁сро ка", + "▁срок а", + "▁чита тель", + "▁мно жества", + "▁множе ства", + "▁кре ст", + "▁и ерархи", + "▁Ф рей", + "▁Фре й", + "mit ted", + "▁ней ро", + "▁Sp anish", + "▁республи кан", + "▁республик ан", + "▁республика н", + "er ror", + "err or", + "▁Фри дри", + "▁си льный", + "▁силь ный", + "▁сло жных", + "▁су до", + "▁суд о", + "▁от цом", + "им и", + "и ми", + "in ter", + "int er", + "▁За кон", + "▁Зак он", + "ro s", + "r os", + "▁пи рами", + "▁пира ми", + "жа лись", + "жали сь", + "▁Х ор", + "▁Хо р", + "▁заста вить", + "▁оборудова ние", + "ut y", + "u ty", + "сю ду", + "block quote", + "▁С оло", + "▁Со ло", + "▁Сол о", + "▁B en", + "▁Be n", + "▁си гнал", + "▁сигна л", + "т во", + "▁повы шения", + "▁Яко вле", + "▁Яков ле", + "▁институ те", + "▁институт е", + "▁столи це", + "▁чет вёр", + "▁практи ки", + "▁прак тики", + "▁сер вер", + "▁возвра щается", + "▁возвраща ется", + "▁возвращает ся", + "▁раз нови", + "▁разно ви", + "▁описа ния", + "лю б", + "▁ме сторо", + "▁место ро", + "▁дет стве", + "▁ис тины", + "▁исти ны", + "▁ист ины", + "▁S qu", + "▁по у", + "ow ers", + "ower s", + "▁испыта ний", + "▁и дёт", + "▁ид ёт", + "▁P ress", + "▁Pr ess", + "▁Pres s", + "▁Pre ss", + "▁мно гим", + "▁многи м", + "▁на зывать", + "▁называ ть", + "си ст", + "сис т", + "с ист", + "b ased", + "▁F ort", + "▁For t", + "▁Ско лько", + "те ро", + "тер о", + "S S", + "▁про бе", + "▁пр обе", + "▁проб е", + "▁кварти ру", + "▁квар тиру", + "▁квартир у", + "▁го дами", + "▁года ми", + "▁годам и", + "▁gener ally", + "▁general ly", + "а ции", + "чи вать", + "чива ть", + "A r", + "▁Vir gin", + "▁somet imes", + "▁к ад", + "▁ка д", + "▁на родной", + "▁наро дной", + "▁народ ной", + "▁ци кла", + "▁цикл а", + "▁сообщи ла", + "▁сообщил а", + "▁дости гает", + "▁достига ет", + "▁само леты", + "▁самоле ты", + "▁самолет ы", + "▁счита ю", + "▁на шему", + "▁наше му", + "▁нашем у", + "▁s ource", + "▁поки нул", + "A L", + "▁у пор", + "▁упо р", + "▁моло дые", + "▁молоды е", + "▁обла стях", + "▁бо гов", + "▁бого в", + "▁бог ов", + "▁st aff", + "▁iss ue", + "▁про ходят", + "▁проходя т", + "▁проход ят", + "▁прохо дят", + "ми ну", + "мин у", + "▁гру дь", + "▁при сла", + "▁прис ла", + "▁iss ues", + "▁issue s", + "▁вы боры", + "▁выбо ры", + "▁выбор ы", + "▁compan ies", + "▁на бо", + "▁А фи", + "▁Аф и", + "▁ар мий", + "▁арми й", + "▁П ле", + "▁до говори", + "▁догово ри", + "▁договор и", + "▁извест ной", + "▁известно й", + "▁изве стной", + "▁st ructure", + "▁struct ure", + "▁со бран", + "▁соб ран", + "▁собра н", + "▁У мер", + "▁Ум ер", + "▁ли чной", + "▁лично й", + "че л", + "▁про пор", + "▁пропо р", + "▁pract ice", + "▁ли ри", + "▁ме чта", + "▁меч та", + "▁ру ке", + "▁рук е", + "▁Е ё", + "▁север ной", + "ха х", + "▁од них", + "▁одни х", + "▁say ing", + "▁фор мули", + "▁форму ли", + "▁ формули", + "дно сть", + "д ность", + "▁Те ле", + "сле жи", + "▁ко п", + "▁к оп", + "▁ коп", + "ва рд", + "вар д", + "▁ули цу", + "▁улиц у", + "gin g", + "g ing", + "▁по су", + "▁пос у", + "▁по дра", + "▁под ра", + "▁Ни чего", + "▁V II", + "▁VI I", + "▁восполь зоваться", + "▁воспользова ться", + "▁d u", + "▁ du", + "▁relig ious", + "▁Ра бота", + "▁Рабо та", + "ch ange", + "chan ge", + "chang e", + "▁кризи са", + "▁кризис а", + "рд а", + "р да", + "▁sh ot", + "▁в тори", + "▁вто ри", + "▁втор и", + "▁ втори", + "▁ре конструк", + "▁библиоте ки", + "▁библиотек и", + "A F", + "▁M iss", + "▁живо писи", + "▁живопи си", + "▁живопис и", + "▁ц ена", + "▁це на", + "▁цен а", + "▁ цена", + "▁находи ться", + "▁находить ся", + "▁Б рази", + "▁Бра зи", + "▁про вели", + "▁прове ли", + "▁провел и", + "mar k", + "m ark", + "▁r iver", + "▁ri ver", + "▁ку ла", + "▁ кула", + "▁комна ты", + "▁at tend", + "▁att end", + "▁кры ль", + "▁национа льных", + "▁от кро", + "▁отк ро", + "цион ном", + "цио нном", + "ционно м", + "▁Afric a", + "тив ность", + "тивно сть", + "фор д", + "фо рд", + "со й", + "с ой", + "▁не фте", + "▁неф те", + "ла з", + "л аз", + "ре нием", + "рение м", + "га на", + "ган а", + "г ана", + "▁at tended", + "▁attend ed", + "▁потреб ности", + "▁уча ствовать", + "▁B ec", + "▁Be c", + "ди с", + "д ис", + "▁Х ай", + "▁Ха й", + "▁le gal", + "▁leg al", + "но вского", + "нов ского", + "лимпи а", + "▁возмо жным", + "▁возможны м", + "▁requ ire", + "▁под по", + "▁th ings", + "▁thing s", + "▁то чек", + "▁точ ек", + "▁По жа", + "▁H ill", + "▁ша бло", + "▁чу дови", + "▁чудо ви", + "▁с лой", + "▁сло й", + "▁сл ой", + "▁ слой", + "ци онер", + "цион ер", + "цио нер", + "ционе р", + "▁Ра сс", + "▁Рас с", + "▁со поста", + "за м", + "з ам", + "▁tra de", + "▁tr ade", + "▁trad e", + "▁ар мей", + "▁ армей", + "хо дится", + "ходи тся", + "ход ится", + "ходит ся", + "▁пере числе", + "▁су мма", + "▁сум ма", + "Р у", + "▁особ ой", + "▁осо бой", + "▁особо й", + "чи вости", + "чиво сти", + "▁ра дость", + "▁радо сть", + "he t", + "h et", + "ха ми", + "хам и", + "▁Бри тан", + "▁Брита н", + "▁рабо чий", + "▁рабочи й", + "▁со бор", + "▁соб ор", + "▁собо р", + "▁у бить", + "▁уби ть", + "▁убит ь", + "▁equ ip", + "С П", + "▁op ening", + "▁open ing", + "▁зда ний", + "pl ement", + "ple ment", + "▁кор оле", + "▁коро ле", + "▁руководи телей", + "▁stand ard", + "▁exper ience", + "▁experien ce", + "▁стро ить", + "▁строи ть", + "▁ строить", + "▁тру дности", + "▁труд ности", + "▁трудно сти", + "▁resp onse", + "▁respons e", + "▁пои ск", + "ience s", + "ien ces", + "i ences", + "▁нака нуне", + "ни ческого", + "▁D el", + "▁De l", + "st e", + "s te", + "▁соб ственную", + "▁собствен ную", + "▁побере жье", + "▁comp lex", + "▁comple x", + "▁compl ex", + "▁wh ole", + "▁who le", + "▁доказа тельства", + "▁доказательств а", + "▁ка нал", + "▁кана л", + "▁кан ал", + "▁п тицы", + "▁пти цы", + "▁птиц ы", + "▁до ктора", + "▁доктор а", + "▁док тора", + "ri a", + "r ia", + "▁ла тин", + "▁лат ин", + "▁ли дера", + "▁лидер а", + "▁лиде ра", + "▁ме стом", + "▁место м", + "▁мест ом", + "▁re ason", + "▁круп нейших", + "▁крупней ших", + "ch er", + "che r", + "c her", + "in ent", + "ine nt", + "▁а ристокра", + "y th", + "▁с мя", + "▁см я", + "веде но", + "веден о", + "да ча", + "ri ef", + "rie f", + "r ief", + "▁возник новения", + "▁возникнове ния", + "▁Официаль ный", + "▁язы ках", + "▁языка х", + "▁пере о", + "ть ю", + "т ью", + "за и", + "▁от части", + "▁из гна", + "▁про ника", + "▁проник а", + "▁прони ка", + "▁ter rit", + "те льному", + "тель ному", + "тельно му", + "тельном у", + "▁Чемпи она", + "▁Чемпион а", + "▁new s", + "▁arr ived", + "▁выс ших", + "▁турни ре", + "▁турнир е", + "до ль", + "дол ь", + "вод ства", + "▁возник ла", + "▁D irect", + "▁Di rect", + "▁возра ст", + "▁p rem", + "▁pre m", + "▁pr em", + "▁сле ды", + "▁след ы", + "▁след ствие", + "▁на зывает", + "▁называ ет", + "in ary", + "ina ry", + "▁vict ory", + "▁баталь он", + "▁истори ческой", + "ни ну", + "нин у", + "▁чу до", + "на стоя", + "▁За чем", + "▁b all", + "▁bal l", + "▁ ball", + "▁о пира", + "▁опи ра", + "▁Фо то", + "▁ре шила", + "▁реши ла", + "▁решил а", + "из е", + "и зе", + "ва ете", + "вает е", + "▁по дели", + "ды х", + "д ых", + "▁отста вку", + "▁отстав ку", + "▁соответ ствующие", + "▁соответству ющие", + "▁эска дри", + "▁вся ких", + "ёр ом", + "ё ром", + "▁ant i", + "▁chang es", + "▁change s", + "▁def end", + "▁defe nd", + "▁заседа нии", + "че сти", + "▁топли ва", + "▁топ лива", + "ви ки", + "вик и", + "u a", + "за цией", + "▁Че рно", + "▁Чер но", + "фи я", + "▁sur round", + "кс е", + "к се", + "▁g rant", + "▁gr ant", + "▁gra nt", + "▁вы год", + "▁выго д", + "▁E v", + "▁наде жды", + "▁сум мы", + "▁долго е", + "▁долг ое", + "ol s", + "o ls", + "▁particular ly", + "▁за пом", + "▁запо м", + "чи лись", + "чили сь", + "ма не", + "ман е", + "м ане", + "▁c at", + "▁пу ль", + "▁ пуль", + "▁О коло", + "▁Ок оло", + "▁председа телем", + "пи т", + "п ит", + "▁воору жение", + "▁м ане", + "▁ма не", + "▁ мане", + "▁n oted", + "▁not ed", + "▁no ted", + "▁note d", + "▁Окон чил", + "пра ве", + "прав е", + "▁о провер", + "▁опро вер", + "or ial", + "ori al", + "o rial", + "▁само убий", + "▁самоу бий", + "▁автомоби лей", + "▁автомобиле й", + "▁смер тью", + "▁смерть ю", + "▁прода жи", + "▁продаж и", + "ru s", + "r us", + "▁four th", + "▁we eks", + "▁week s", + "▁Та тья", + "▁Mus eum", + "ни зу", + "низ у", + "us band", + "▁fin ally", + "▁final ly", + "▁ло дки", + "▁перво начально", + "▁первонача льно", + "же в", + "ж ев", + "цо ва", + "цов а", + "▁К руп", + "▁Кру п", + "▁п обо", + "▁по бо", + "▁про лета", + "▁проле та", + "О Д", + "▁stud ent", + "Р Г", + "▁e ns", + "▁en s", + "▁ ens", + "▁run ning", + "▁возгла вил", + "▁хо тим", + "че ством", + "чество м", + "▁по ложить", + "▁поло жить", + "▁положи ть", + "пу стили", + "пусти ли", + "пустил и", + "пус тили", + "▁нео преде", + "▁ми ло", + "▁wh ether", + "▁whe ther", + "▁В аль", + "▁Ва ль", + "▁отсут ствия", + "ear ch", + "e arch", + "▁о се", + "▁ос е", + "▁неизвест но", + "▁послед ним", + "▁г рам", + "▁гра м", + "▁гр ам", + "▁ грам", + "▁позволи ло", + "▁позволил о", + "▁г ит", + "▁ги т", + "▁у л", + "▁ ул", + "▁S ir", + "▁Si r", + "▁горо ду", + "▁город у", + "▁foc us", + "ис тори", + "исто ри", + "ист ори", + "▁Vict or", + "▁Vi ctor", + "we st", + "w est", + "▁обеспе чение", + "Пе р", + "П ер", + "▁ар мя", + "▁term s", + "▁ter ms", + "▁Ка кие", + "▁выс каза", + "▁выска за", + "▁prim ary", + "▁ar rest", + "▁arr est", + "▁Ви кто", + "▁изу чение", + "▁ne cess", + "▁nec ess", + "▁та тар", + "I C", + "▁ре ально", + "▁реаль но", + "▁реа льно", + "▁не доволь", + "▁недо воль", + "▁недово ль", + "▁organ ization", + "▁organiz ation", + "де ц", + "д ец", + "▁сра жения", + "▁le ader", + "▁lead er", + "▁литера тура", + "▁литератур а", + "ти ву", + "тив у", + "▁broad cast", + "▁fin ancial", + "▁с хо", + "▁сх о", + "▁deg ree", + "▁В стре", + "▁драго цен", + "▁интере со", + "▁интерес о", + "▁l ived", + "▁live d", + "▁L ater", + "▁La ter", + "▁Lat er", + "▁опера ция", + "an ks", + "ank s", + "▁ущер б", + "ту ри", + "тур и", + "▁дей ствиях", + "▁действи ях", + "▁действия х", + "▁под хода", + "▁подход а", + "▁Com mission", + "▁Comm ission", + "▁W eb", + "▁We b", + "▁факуль тет", + "▁факульте т", + "▁особ ое", + "▁осо бое", + "▁особо е", + "▁Сле дует", + "▁Следу ет", + "▁ориен ти", + "▁Герма ния", + "ни чество", + "▁раз личия", + "▁разли чия", + "▁различи я", + "▁trans port", + "▁з он", + "▁зо н", + "▁ зон", + "▁рас сла", + "▁расс ла", + "re me", + "rem e", + "▁stud ies", + "▁в нут", + "▁вну т", + "ли та", + "лит а", + "▁составля ла", + "▁составлял а", + "ре нной", + "рен ной", + "ренно й", + "ен са", + "е нса", + "▁old er", + "ни о", + "ail y", + "ai ly", + "a ily", + "▁пред ъ", + "▁при нят", + "▁приня т", + "▁прин ят", + "▁ю г", + "▁Вто рая", + "▁шо у", + "▁ шоу", + "▁о тры", + "▁от ры", + "▁ре к", + "▁р ек", + "▁ рек", + "ul ated", + "ula ted", + "ulate d", + "▁при веден", + "▁приве ден", + "▁привед ен", + "▁mult ip", + "▁multi p", + "▁совер ша", + "▁духов ной", + "▁духо вной", + "▁духовно й", + "▁вариан тов", + "▁вариант ов", + "▁вариа нтов", + "▁приме няется", + "▁применя ется", + "▁B o", + "▁у кло", + "▁кварти ры", + "▁квартир ы", + "▁m ission", + "▁miss ion", + "▁ mission", + "ф ра", + "▁пу ска", + "▁ пуска", + "▁бе лых", + "▁лю бят", + "▁любя т", + "хо слова", + "▁та нки", + "▁тан ки", + "▁танк и", + "▁пре следова", + "▁полу чив", + "▁получи в", + "ant ic", + "▁навер няка", + "ни ческий", + "▁comp let", + "▁comple t", + "▁compl et", + "▁не чего", + "▁пере дви", + "▁перед ви", + "▁экономи ческих", + "▁стра шно", + "▁страш но", + "▁Ни же", + "▁Ниж е", + "▁Нор ве", + "ст вию", + "стви ю", + "▁ро мане", + "▁роман е", + "▁рома не", + "▁э с", + "казыва ется", + "казывает ся", + "кру г", + "к руг", + "не ль", + "▁ва жные", + "▁важ ные", + "▁важны е", + "ск ри", + "с кри", + "' .", + "▁ли ст", + "▁л ист", + "▁ лист", + "ir it", + "i rit", + "ро ванная", + "рова нная", + "рован ная", + "P ro", + "де в", + "д ев", + "▁боль шими", + "▁большим и", + "▁Гит лера", + "▁Гитлер а", + "▁зая вления", + "▁огром ные", + "it t", + "i tt", + "▁пассажи ров", + "▁пассажир ов", + "▁о лимпий", + "▁руководи теля", + "▁г вардии", + "▁гвар дии", + "▁не дав", + "▁неда в", + "pr ess", + "pre ss", + "p ress", + "▁независи мости", + "▁независимо сти", + "▁но ж", + "▁боро ться", + "▁Э ду", + "▁Эд у", + "▁te ams", + "▁team s", + "ia nce", + "ian ce", + "i ance", + "▁off ered", + "▁offer ed", + "▁тя ж", + "ни ческие", + "▁импера три", + "▁импер атри", + "вя тся", + "вят ся", + "в ятся", + "▁пунк ты", + "▁пункт ы", + "▁G ra", + "▁Gr a", + "▁Пред седа", + "▁у деля", + "▁уде ля", + "▁с жа", + "▁Ни дер", + "▁ку ри", + "▁кур и", + "▁ниж ней", + "Н у", + "▁капита ла", + "▁капи тала", + "▁капитал а", + "хи е", + "▁Афри ки", + "▁Аф рики", + "▁exp and", + "▁c arried", + "▁car ried", + "▁carri ed", + "▁вы игры", + "▁выи гры", + "▁сооб щества", + "▁сообще ства", + "лет ней", + "▁sc ient", + "фи и", + "те ру", + "тер у", + "т еру", + "▁Дол го", + "▁д ворец", + "▁дво рец", + "▁двор ец", + "▁дворе ц", + "m l", + "▁упомина ется", + "▁упоминает ся", + "вя за", + "вяз а", + "в яза", + "▁For ce", + "▁противо поста", + "нт о", + "н то", + "▁но мера", + "▁номер а", + "▁номе ра", + "▁пре ем", + "▁об мена", + "▁обмен а", + "▁В спо", + "▁деся тков", + "▁Con gress", + "▁Cong ress", + "▁обстоя тельств", + "щи ком", + "щик ом", + "▁ду хе", + "▁дух е", + "▁Зем ля", + "▁ре шать", + "▁реша ть", + "▁е пар", + "▁с пла", + "▁пло до", + "▁плод о", + "▁d ead", + "▁de ad", + "с ны", + "́т ь", + "́ ть", + "▁зло у", + "▁чи слу", + "▁X IV", + "▁XI V", + "▁d om", + "▁do m", + "▁ dom", + "▁support ed", + "▁suppor ted", + "▁вто рую", + "▁втор ую", + "▁ю жной", + "▁южно й", + "▁международ ной", + "pr e", + "p re", + "led ge", + "оло г", + "о лог", + "▁quest ion", + "▁vis it", + "▁сф еры", + "▁сфе ры", + "▁pr omot", + "▁prom ot", + "▁б ир", + "▁би р", + "▁ бир", + "▁проя вляется", + "▁проявля ется", + "▁проявляет ся", + "▁f ailed", + "▁fail ed", + "▁fa iled", + "▁l ength", + "▁ма стера", + "▁мастер а", + "▁масте ра", + "▁д ю", + "▁ дю", + "ха я", + "х ая", + "▁достоин ства", + "▁челове ке", + "▁человек е", + "И С", + "мо вич", + "▁золо той", + "▁золото й", + "▁Д ра", + "▁боль шее", + "▁больше е", + "ви да", + "вид а", + "в ида", + "▁доро гой", + "▁дорог ой", + "▁дорого й", + "▁Импера тор", + "▁дво ра", + "▁двор а", + "▁подчер кнул", + "▁подчеркну л", + "▁Восто ке", + "▁Восток е", + "ag er", + "age r", + "a ger", + "▁сопроти вления", + "▁окру ге", + "▁округ е", + "it ter", + "itte r", + "itt er", + "▁ди кта", + "▁дик та", + "▁Ге роя", + "▁Геро я", + "не нное", + "нен ное", + "ненно е", + "▁т рое", + "▁тро е", + "▁тр ое", + "▁rem ain", + "▁comple te", + "▁complet e", + "▁хоро шие", + "чь я", + "ч ья", + "▁pol icy", + "▁polic y", + "▁сро ки", + "▁срок и", + "▁R ob", + "▁Ro b", + "▁исто рик", + "▁истори к", + "▁доказа ть", + "▁дока зать", + "▁с пас", + "▁спа с", + "▁древ ней", + "▁древне й", + "ци ден", + "▁ло па", + "▁л опа", + "▁Сева сто", + "ре нные", + "рен ные", + "▁с кончался", + "▁скон чался", + "▁сконча лся", + "▁бюджет а", + "▁бюдже та", + "▁ассоциа ции", + "при па", + "▁д ат", + "▁да т", + "▁ дат", + "▁пои сках", + "▁поиска х", + "нё н", + "н ён", + "▁Cath olic", + "▁l ocation", + "▁loc ation", + "▁d ate", + "▁ date", + "▁de mon", + "▁dem on", + "▁charact ers", + "▁character s", + "▁Гла вное", + "▁Глав ное", + "▁раз личи", + "▁разли чи", + "▁ve h", + "▁Наз вание", + "▁О тно", + "▁От но", + "▁при писы", + "▁Р име", + "▁Ри ме", + "▁Рим е", + "Ф ран", + "▁Ки еве", + "▁Киев е", + "▁при рода", + "▁приро да", + "▁природ а", + "▁At l", + "▁D u", + "▁Т рои", + "▁Тро и", + "воз мо", + "▁Серге я", + "▁Аф гани", + "▁за бро", + "▁заб ро", + "▁Со ве", + "▁Сов е", + "▁еже дневно", + "▁ежеднев но", + ", -", + "▁во шел", + "▁h ot", + "ро вых", + "ров ых", + "▁ма тер", + "▁мат ер", + "▁мате р", + "▁ре зи", + "▁рез и", + "▁хозяй ство", + "▁хозяйств о", + "▁пример е", + "▁приме ре", + "▁прим ере", + "▁Ру мы", + "▁Не да", + "▁инстру мент", + "▁C D", + "▁ CD", + "▁у бит", + "▁уби т", + "▁лагер я", + "▁производ стве", + "▁ма лей", + "▁addition al", + "▁p oor", + "▁po or", + "▁У К", + "▁по дар", + "▁под ар", + "▁пода р", + "um an", + "uma n", + "u man", + "▁удоволь ствие", + "▁пье сы", + "▁пьес ы", + "зо на", + "зон а", + "з она", + "▁n orm", + "▁no rm", + "▁nor m", + "▁fam ilies", + "we ll", + "w ell", + "▁ _", + "не нная", + "нен ная", + "▁го дом", + "▁год ом", + "▁проек ты", + "▁проект ы", + "▁бассе й", + "▁возвра щения", + "▁на ла", + "▁н ала", + "▁неболь ших", + "▁в ор", + "▁во р", + "▁ вор", + "tr a", + "t ra", + "▁предпо ложить", + "▁предположи ть", + "спе кт", + "спек т", + "▁же ну", + "▁жен у", + "▁с ул", + "▁су л", + "▁l ines", + "▁line s", + "▁ lines", + "▁вопро сом", + "▁вопрос ом", + "▁мо ро", + "▁мор о", + "▁ моро", + "▁кри тики", + "▁крити ки", + "▁критик и", + "▁реф лек", + "▁ре формы", + "▁реформ ы", + "▁рефор мы", + "те льна", + "тель на", + "▁у мо", + "▁ум о", + "▁Гру зии", + "▁стреми тся", + "▁стрем ится", + "▁оста тки", + "▁физи ческих", + "▁физически х", + "ма тери", + "▁Бо жи", + "▁принци па", + "▁принцип а", + "▁to day", + "▁award ed", + "нё с", + "ec h", + "e ch", + "do wn", + "d own", + "ни чества", + "▁произо шла", + "▁g e", + "▁ ge", + "Х а", + "pl ied", + "▁бес пре", + "il s", + "i ls", + "ke n", + "k en", + "▁U nder", + "▁Un der", + "▁г рави", + "▁гра ви", + "▁се л", + "▁ сел", + "▁В сем", + "▁Все м", + "ме нной", + "мен ной", + "менно й", + "зо вание", + "зова ние", + "П ре", + "А П", + "▁Боль шая", + "▁у пла", + "▁par ents", + "▁parent s", + "бер га", + "берг а", + "▁свой ств", + "▁T own", + "▁To wn", + "▁le aving", + "ющими ся", + "ю щимися", + "ва ющая", + "ваю щая", + "▁име ем", + "▁с формули", + "▁основ ан", + "▁основа н", + "▁осно ван", + "▁публи кации", + "▁публика ции", + "▁чув ствовал", + "▁чувство вал", + "▁Кры ма", + "▁Крым а", + "же рт", + "жер т", + "ж ерт", + "▁ре шению", + "▁реше нию", + "▁прошло е", + "▁прош лое", + "в ке", + "▁еже годно", + "▁ежегод но", + "▁заболе ваний", + "▁то ро", + "▁тор о", + "▁ торо", + "▁радо сти", + "▁Кар ла", + "▁Карл а", + "ге ра", + "гер а", + "г ера", + "▁неизбе жно", + "▁con cept", + "▁тро пи", + "▁ тропи", + "▁оцен ить", + "▁оце нить", + "▁оцени ть", + "▁вы яви", + "▁выя ви", + "▁приз ёр", + "▁Т ран", + "▁Тра н", + "und red", + "▁с тере", + "▁ст ере", + "▁сте ре", + "▁стер е", + "▁ стере", + "тель ница", + "ри ем", + "рие м", + "▁ф она", + "▁фо на", + "▁фон а", + "▁ фона", + "мо щ", + "да ла", + "дал а", + "д ала", + "ver y", + "ve ry", + "v ery", + "▁па дения", + "▁части ц", + "▁маль чик", + "▁мальчи к", + "ve y", + "v ey", + "▁Des pite", + "▁ок купа", + "r d", + "▁т вой", + "▁тво й", + "▁тв ой", + "▁союз ников", + "▁у читься", + "▁учи ться", + "▁учить ся", + "▁инстру ментов", + "▁инструмент ов", + "▁да бы", + "ви ль", + "вил ь", + "в иль", + "▁про водится", + "▁проводи тся", + "▁прово дится", + "▁провод ится", + "▁проводит ся", + "▁ш кол", + "▁шко л", + "c a", + "▁за с", + "▁з ас", + "▁обра щение", + "at o", + "a to", + "▁det ail", + "▁д лина", + "▁дли на", + "▁длин а", + "▁en tered", + "▁ent ered", + "▁enter ed", + "▁r ate", + "▁ra te", + "▁rat e", + "▁ rate", + "ber s", + "b ers", + "▁Ма рк", + "▁Мар к", + "▁Р К", + "▁ РК", + "▁пе сня", + "▁пес ня", + "▁устано влены", + "▁установ лены", + "▁установлен ы", + "▁су де", + "▁суд е", + "слу ша", + "▁лагер ь", + "▁основ ного", + "▁осно вного", + "▁вариан ты", + "▁вариант ы", + "▁вариа нты", + "▁Па у", + "▁созда ны", + "▁создан ы", + "стро йка", + "строй ка", + "▁подраз деле", + "пу т", + "п ут", + "il la", + "ill a", + "▁жи зне", + "▁жиз не", + "▁п рой", + "▁про й", + "▁пр ой", + "▁библиоте ка", + "▁библио тека", + "▁библиотек а", + "▁f elt", + "гра фия", + "графи я", + "▁у слы", + "▁ус лы", + "▁смо тря", + "▁ смотря", + "чник ов", + "чни ков", + "ч ников", + "▁упраж нения", + "la m", + "l am", + "▁сай та", + "▁сайт а", + "ди лись", + "дили сь", + "▁se em", + "▁see m", + "▁обра титься", + "▁обратить ся", + "▁clos ed", + "▁close d", + "▁Chic ago", + "▁St ar", + "вле нного", + "влен ного", + "вленно го", + "в ленного", + "▁b att", + "пра вления", + "прав ления", + "B S", + "ee s", + "e es", + "▁h usband", + "▁бело рус", + "▁го стей", + "▁гос тей", + "▁госте й", + "▁то чнее", + "▁точ нее", + "▁c ases", + "▁case s", + "▁cas es", + "▁Все мир", + "▁Всем ир", + "▁раз дели", + "▁разде ли", + "▁раздел и", + "▁суще ствовать", + "▁существо вать", + "▁существова ть", + "▁за менить", + "▁заме нить", + "▁замени ть", + "ро вской", + "ров ской", + "▁боль шом", + "▁большо м", + "▁энер гия", + "▁энерги я", + "▁тео рию", + "▁пи щу", + "▁Михай лов", + "▁реги страции", + "▁регистра ции", + "▁о слож", + "▁ос лож", + "▁Г ран", + "▁Гра н", + "ed y", + "▁любы х", + "▁Спу стя", + "▁B et", + "▁Be t", + "▁ликви ди", + "▁Действи тельно", + "▁э нциклопе", + "▁у га", + "▁уг а", + "A D", + "ве с", + "ма ра", + "мар а", + "м ара", + "b it", + "ро вок", + "ров ок", + "рово к", + "▁H ow", + "▁Ho w", + "▁cult ure", + "те лен", + "тел ен", + "теле н", + "▁пар тию", + "▁парти ю", + "▁уви дели", + "▁увиде ли", + "▁увидел и", + "stand ing", + "▁fore ign", + "▁f ort", + "▁for t", + "▁ fort", + "пре зиден", + "▁при менять", + "▁приме нять", + "▁применя ть", + "▁наблю дать", + "▁наблюда ть", + "▁d ig", + "▁di g", + "▁ш вей", + "▁шве й", + "▁разве дыва", + "▁запа дных", + "▁запад ных", + "▁восприя тия", + "▁зна ешь", + "▁ch all", + "▁хо чешь", + "▁я дра", + "▁яд ра", + "ar es", + "are s", + "a res", + "▁сча стью", + "▁счаст ью", + "▁Гла вный", + "▁Глав ный", + "▁гра ниц", + "▁грани ц", + "ur a", + "u ra", + "▁о свое", + "▁ос вое", + "▁о пуска", + "▁опу ска", + "▁внут рь", + "▁бо и", + "▁те ме", + "▁тем е", + "зи рует", + "зиру ет", + "▁в ременно", + "▁вре менно", + "▁времен но", + "▁време нно", + "▁ временно", + "▁Б ру", + "▁Го воря", + "▁hel ped", + "▁help ed", + "▁previous ly", + "▁ин дий", + "▁инди й", + "▁Ка зан", + "▁Каза н", + "гна ли", + "гнал и", + "г нали", + "▁воен ную", + "▁вое нную", + "== ==", + "▁товари ща", + "▁товарищ а", + "це ры", + "цер ы", + "ц еры", + "▁пока зывают", + "▁показыва ют", + "▁разви вается", + "▁развива ется", + "▁сотруд ник", + "▁сотрудни к", + "▁распростра нения", + "▁рабо чей", + "▁соответ ствующих", + "▁соответству ющих", + "▁л я", + "▁ ля", + "дно сти", + "д ности", + "▁Дру гой", + "▁Друго й", + "но ма", + "ном а", + "▁Г оло", + "▁Го ло", + "▁Гол о", + "▁сотруд ничества", + "▁сотрудни чества", + "▁династи и", + "A P", + "▁Са ха", + "▁вся кой", + "▁П я", + "▁profess ional", + "▁profession al", + "́ й", + "▁ре альной", + "▁реаль ной", + "▁реа льной", + "▁реально й", + "▁До нец", + "▁Дон ец", + "▁от лично", + "▁отли чно", + "as tern", + "ast ern", + "aster n", + "▁искус стве", + "▁искусств е", + "▁c ause", + "▁caus e", + "▁ви нова", + "▁вино ва", + "▁винов а", + "▁учре ждений", + "▁На вер", + "▁ч ём", + "▁ чём", + "▁по ловину", + "▁поло вину", + "▁полови ну", + "▁исто чника", + "▁источ ника", + "▁источник а", + "▁Воро не", + "▁Ворон е", + "▁Вор оне", + "▁D is", + "▁Di s", + "▁па рень", + "▁пар ень", + "▁паре нь", + "▁во зь", + "▁воз ь", + "▁ возь", + "▁требу ют", + "▁про ходили", + "▁проходил и", + "▁проходи ли", + "▁проход или", + "▁прохо дили", + "▁r u", + "▁ ru", + "▁за мок", + "▁зам ок", + "▁замо к", + "за виси", + "▁lim ited", + "▁limit ed", + "▁П ен", + "▁Пе н", + "▁здраво охра", + "ль ников", + "льник ов", + "▁ра ду", + "▁рад у", + "▁influ ence", + "▁стоя ла", + "▁стоял а", + "▁с вяз", + "▁свя з", + "▁св яз", + "n y", + "ве ди", + "вед и", + "в еди", + "▁ока жется", + "▁защи те", + "▁защит е", + "▁убий ство", + "▁энер го", + "▁по недель", + "ed s", + "▁is land", + "грам мы", + "грамм ы", + "▁фо нда", + "▁фон да", + "▁фонд а", + "ua n", + "u an", + "▁про ведение", + "▁прове дение", + "▁проведе ние", + "▁спи ске", + "▁с р", + "▁на зем", + "▁наз ем", + "▁Д ани", + "▁Да ни", + "▁Дан и", + "писа ние", + "▁P enn", + "▁Pen n", + "▁раз меры", + "▁разме ры", + "▁размер ы", + "ща дь", + "▁внеш них", + "ше нь", + "шен ь", + "ш ень", + "▁вто рым", + "▁вторы м", + "▁ма сштаб", + "▁масшта б", + "▁ф лаг", + "▁фла г", + "▁а нге", + "▁анг е", + "▁ан ге", + "▁c ustom", + "▁вз гляды", + "▁взгля ды", + "▁взгляд ы", + "▁y et", + "л к", + "▁еписко п", + "▁наблюда ется", + "▁п ить", + "▁пи ть", + "▁ пить", + "od es", + "ode s", + "o des", + "▁Эду ар", + "▁B attle", + "▁Batt le", + "▁Bat tle", + "▁способ ов", + "▁спосо бов", + "miss ion", + "m ission", + "▁cand id", + "tain ed", + "ta ined", + "t ained", + "▁С ек", + "▁Се к", + "▁органи зацию", + "▁организа цию", + "▁великоле п", + "▁велико леп", + "or ning", + "orn ing", + "▁при ся", + "▁прис я", + "И Ч", + "▁архитек тур", + "▁хи щ", + "▁персона жа", + "▁персонаж а", + "А Л", + "▁мероприя тий", + "▁пыта ются", + "евич а", + "е вича", + "▁пол ным", + "▁отве чал", + "▁отвеча л", + "▁А ле", + "▁Ал е", + "▁ро с", + "▁р ос", + "▁ рос", + "▁proble ms", + "▁problem s", + "ot a", + "o ta", + "▁ки ше", + "чник и", + "чни ки", + "ч ники", + "▁улы ба", + "▁улыб а", + "▁ма сс", + "▁поверх но", + "▁м э", + "▁капита на", + "▁капитан а", + "▁капи тана", + "▁ма ссив", + "▁масси в", + "▁масс ив", + "▁X II", + "▁XI I", + "▁did n", + "▁на правля", + "▁напра вля", + "стре чу", + "▁смотри т", + "▁слу чая", + "▁случа я", + "▁Г ай", + "▁Га й", + "▁си я", + "▁ сия", + "▁в торо", + "▁вто ро", + "▁втор о", + "▁Y ear", + "▁увели чение", + "▁увеличе ние", + "▁te ac", + "▁раз дел", + "▁разде л", + "▁min utes", + "▁minute s", + "на ру", + "нар у", + "▁раз ря", + "▁col lege", + "▁colle ge", + "▁не вероят", + "че нную", + "чен ную", + "▁со ж", + "▁т ря", + "▁тр я", + "▁ тря", + "it ation", + "ita tion", + "ня ла", + "нял а", + "▁ro ute", + "ra st", + "ras t", + "r ast", + "▁пере рабо", + "en c", + "▁Фран цуз", + "▁c arry", + "▁car ry", + "ти ра", + "тир а", + "▁Sec ond", + "ру ющих", + "рую щих", + "▁тра кта", + "▁трак та", + "▁пре мия", + "шко в", + "ш ков", + "то сти", + "▁попыта лся", + "▁попы тался", + "он ер", + "оне р", + "о нер", + "▁безу словно", + "▁безуслов но", + "▁w ords", + "▁word s", + "из вест", + "ст ского", + "с тского", + "▁F ore", + "▁For e", + "ol k", + "▁си дит", + "нача лу", + "▁ж ду", + "▁ жду", + "▁Ро ма", + "▁су дить", + "▁суд ить", + "▁бое припа", + "▁en ergy", + "▁восто ке", + "▁восток е", + "▁ востоке", + "kn own", + "know n", + "▁Б он", + "▁Бо н", + "▁мел кие", + "▁ми сси", + "▁най де", + "же нность", + "жен ность", + "женно сть", + "▁Ш ек", + "▁Ше к", + "▁т рам", + "▁тра м", + "▁тр ам", + "▁F ilm", + "▁Ital ian", + "▁повы шение", + "▁Израи ля", + "on a", + "o na", + "ли лись", + "лили сь", + "бл а", + "б ла", + "ol a", + "o la", + "▁laun ched", + "▁launch ed", + "▁activ ities", + "▁ри со", + "▁рис о", + "▁ рисо", + "▁пере пи", + "▁во шла", + "нс кое", + "н ское", + "вре мен", + "вр емен", + "в ремен", + "▁об рабаты", + "▁обра баты", + "▁еди ного", + "▁едино го", + "▁уничто жить", + "▁цен ностей", + "▁ценно стей", + "яз ви", + "▁во лю", + "▁вол ю", + "▁ волю", + "▁об щие", + "▁общи е", + "▁чемпиона т", + "▁чемпион ат", + "con t", + "co nt", + "c ont", + "ho use", + "h ouse", + "▁Сле ду", + "▁След у", + "ст ности", + "стно сти", + "с тности", + "в ные", + "но вые", + "▁агент ства", + "▁уда стся", + "▁разре шение", + "до вые", + "▁major ity", + "▁О пера", + "▁Оп ера", + "ён ные", + "ё нные", + "▁I P", + "▁ IP", + "▁те ни", + "▁тен и", + "▁ин циден", + "▁M el", + "▁Me l", + "▁глу по", + "▁Б ро", + "▁O ver", + "▁пу зы", + "▁си лах", + "▁сила х", + "▁раз гро", + "▁конфи гура", + "▁си ле", + "▁сил е", + "▁не когда", + "▁неко гда", + "▁от дать", + "▁отда ть", + "▁продол жали", + "▁продолжа ли", + "▁продолжал и", + "▁восстано вить", + "▁восстанови ть", + "▁утвер ждал", + "▁утвержда л", + "▁man ufact", + "▁при йти", + "▁архи еписко", + "мс кого", + "м ского", + "▁го л", + "▁г ол", + "▁dis p", + "▁di sp", + "▁T er", + "▁Te r", + "▁челове ческих", + "▁new sp", + "▁news p", + "▁дво ров", + "▁двор ов", + "вре мя", + "в ремя", + "re land", + "rel and", + "ва емый", + "▁воору жения", + "За пад", + "▁хо тела", + "▁хоте ла", + "▁хотел а", + "Кор р", + "ун а", + "у на", + "▁за им", + "▁col on", + "▁уда ется", + "▁сти мули", + "▁стиму ли", + "▁Ме даль", + "▁Мед аль", + "▁высо ту", + "▁f t", + "▁ ft", + "▁incre asing", + "▁W ork", + "ir ing", + "i ring", + "▁золо та", + "▁добро воль", + "▁доброво ль", + "▁Ха рак", + "▁Хар ак", + "!! !", + "! !!", + "▁призна ков", + "▁признак ов", + "▁Comm ittee", + "▁С ту", + "▁Ст у", + "▁по знания", + "▁позна ния", + "▁режи ссёр", + "▁режисс ёр", + "ce l", + "c el", + "▁не кий", + "▁an al", + "▁вероятно сть", + "▁вероят ность", + "▁individual s", + "сы лки", + "▁зри телей", + "▁присвое но", + "▁бе лый", + "▁конце рт", + "▁концер т", + "▁конц ерт", + "▁Да нии", + "▁Дани и", + "▁и е", + "▁G overnment", + "▁b irth", + "▁establ ish", + "ва ющего", + "ваю щего", + "ous ly", + "ме сти", + "▁ра стя", + "▁рас тя", + "▁раст я", + "▁м н", + "ient s", + "ien ts", + "i ents", + "unic ip", + "▁А ра", + "▁Ар а", + "▁но гу", + "▁ног у", + "зре ние", + "з рение", + "▁но выми", + "▁новым и", + "▁сер ти", + "Р и", + "▁игра ют", + "▁пол тора", + "ро ванным", + "рова нным", + "рован ным", + "ве ти", + "вет и", + "в ети", + "▁K n", + "ло гом", + "лого м", + "лог ом", + "ic ation", + "ica tion", + "▁созда ли", + "▁создал и", + "▁соз дали", + "▁имуще ство", + "▁К ле", + "▁нау чного", + "▁научно го", + "▁груп по", + "▁гру ппо", + "▁групп о", + "▁це нность", + "▁цен ность", + "▁ценно сть", + "▁пере дал", + "▁перед ал", + "▁переда л", + "R e", + "▁м етра", + "▁ме тра", + "▁мет ра", + "▁ метра", + "▁large r", + "▁larg er", + "is ions", + "ision s", + "▁современ ные", + "шни й", + "ш ний", + "▁пле мян", + "▁племя н", + "▁предста влял", + "▁представля л", + "▁со рок", + "▁сор ок", + "▁Ро бер", + "▁Роб ер", + "▁на гре", + "▁наг ре", + "▁П але", + "▁Па ле", + "▁иг рок", + "▁игро к", + "▁игр ок", + "▁ф рак", + "▁фра к", + "▁не кое", + "▁неко е", + "▁J ava", + "▁Бо же", + "▁при у", + "▁сти ля", + "▁у гла", + "▁уг ла", + "▁уче ный", + "▁rem ains", + "▁remain s", + "▁к ап", + "▁ка п", + "ма л", + "м ал", + "▁обла стей", + "дя тся", + "дят ся", + "д ятся", + "▁това ры", + "▁товар ы", + "с ня", + "▁М еди", + "▁Ме ди", + "▁Мед и", + "▁празд ник", + "▁праздни к", + "▁An other", + "▁лабора тории", + "▁свя того", + "▁го рь", + "▁гор ь", + "▁ горь", + "ish op", + "ur t", + "▁но гами", + "▁нога ми", + "▁C ast", + "▁Ca st", + "▁Cas t", + "▁уче ников", + "▁ученик ов", + "▁произ водится", + "▁производ ится", + "▁производи тся", + "▁произво дится", + "▁производит ся", + "ле жа", + "ect ion", + "ec tion", + "e ction", + "вер ху", + "верх у", + "ней ший", + "▁ро дилась", + "▁роди лась", + "▁родила сь", + "ье з", + "ь ез", + "▁run s", + "▁ru ns", + "сти ке", + "стик е", + "с тике", + "▁sh own", + "▁show n", + "▁те л", + "▁ тел", + "жу р", + "ж ур", + "▁команди ром", + "▁командир ом", + "▁Э сто", + "▁гит леров", + "▁лоша дей", + "▁Анд рея", + "▁Андре я", + "▁побере жья", + "▁замести телем", + "ме нов", + "мен ов", + "▁com mission", + "▁comm ission", + "▁associ ated", + "▁quick ly", + "ста нови", + "станов и", + "стано ви", + "▁с ведений", + "▁све дений", + "▁мо менты", + "▁момент ы", + "ри ев", + "рие в", + "▁appear ance", + "▁архе ологи", + "▁еги пет", + "▁егип ет", + "▁like ly", + "▁lik ely", + "аль ного", + "ально го", + "а льного", + "▁проду кта", + "▁продук та", + "▁продукт а", + "▁з она", + "▁зо на", + "▁зон а", + "▁ зона", + "▁с права", + "▁спра ва", + "▁ро дной", + "▁род ной", + "▁ родной", + "▁Шве ции", + "к варти", + "ла на", + "лан а", + "л ана", + "▁взрос лых", + "▁сохра нения", + "дви жи", + "▁диа гности", + "▁диагно сти", + "▁сча стья", + "▁счаст ья", + "▁t rain", + "▁tra in", + "▁tr ain", + "▁канди дат", + "▁кандида т", + "го та", + "▁уча стка", + "▁участ ка", + "▁числе нность", + "▁sch ol", + "но ри", + "нор и", + "н ори", + "▁Жи знь", + "▁Жиз нь", + "▁ Жизнь", + "▁заста вляет", + "▁заставля ет", + "ди в", + "д ив", + "▁отра сли", + "▁отрас ли", + "▁дире ктором", + "▁директор ом", + "СК А", + "С КА", + "жник ов", + "ж ников", + "▁депута т", + "▁soc iety", + "сле довать", + "следова ть", + "▁произо шел", + "▁составля ло", + "▁составлял о", + "▁Фран ция", + "▁Франци я", + "▁King dom", + "до ста", + "д оста", + "▁ми рового", + "▁миро вого", + "ло жили", + "ложи ли", + "лож или", + "ложил и", + "▁посла л", + "▁Ж о", + "▁с ми", + "▁см и", + "▁ сми", + "ва ль", + "вал ь", + "в аль", + "▁стар ше", + "▁ra ised", + "▁raise d", + "▁Послед ний", + "▁П рем", + "▁Пре м", + "▁от вле", + "ше нной", + "шен ной", + "шенно й", + "▁лю бую", + "▁пла тить", + "▁плат ить", + "▁смотре л", + "бур га", + "бург а", + "▁сме сь", + "▁trans l", + "▁вели ко", + "▁велик о", + "st ant", + "▁Т я", + "▁промышлен ность", + "та в", + "т ав", + "ва емого", + "▁co ach", + "ти зма", + "тизм а", + "т изма", + "▁m ess", + "▁me ss", + "▁ин ве", + "▁Да вайте", + "ба м", + "б ам", + "▁близ ких", + "▁близки х", + "▁о сад", + "▁ос ад", + "▁оса д", + "▁у чение", + "▁уче ние", + "▁Н АТО", + "▁НА ТО", + "▁мона рхи", + "▁монар хи", + "куль тур", + "▁st atus", + "▁stat us", + "in ner", + "inn er", + "бур ге", + "бург е", + "дела ть", + "▁кри зис", + "▁кризи с", + "M L", + "▁при няла", + "▁приня ла", + "▁принял а", + "▁де лах", + "▁дела х", + "▁ле й", + "▁л ей", + "▁ лей", + "▁чрез мер", + "▁завер шения", + "▁эк стра", + "▁экс тра", + "or g", + "▁t alk", + "▁tal k", + "▁col lection", + "▁coll ection", + "▁collect ion", + "▁colle ction", + "▁по хода", + "▁похо да", + "▁поход а", + "▁пох ода", + "▁но с", + "▁н ос", + "▁ нос", + "О С", + "▁Academ y", + "▁пред стоит", + "▁w inning", + "▁win ning", + "▁о чков", + "▁ли ши", + "▁лиш и", + "▁си ло", + "▁сил о", + "▁ сило", + "▁изобре та", + "то рию", + "тори ю", + "▁К од", + "▁Ко д", + "un ction", + "unc tion", + "ad o", + "a do", + "▁ма г", + "▁независи мость", + "▁независимо сть", + "▁С тали", + "▁Ста ли", + "▁Ст али", + "▁мощ ности", + "▁Ро стов", + "▁Росто в", + "▁Рос тов", + "▁о до", + "▁од о", + "▁ одо", + "гра фа", + "граф а", + "▁У с", + "сти не", + "стин е", + "с тине", + "▁div ision", + "▁Serv ice", + "▁Ка ре", + "▁Кар е", + "▁от дел", + "▁отде л", + "Г е", + "▁ог нем", + "▁огне м", + "ро вую", + "ров ую", + "рову ю", + "▁испол нение", + "д лов", + "▁num erous", + "▁Ми ро", + "▁Мир о", + "бер на", + "хан гель", + "▁K ore", + "ch en", + "che n", + "c hen", + "▁отве ча", + "▁в ходили", + "▁вход или", + "▁входил и", + "▁входи ли", + "▁ме тео", + "он у", + "о ну", + "да тель", + "▁Во енно", + "▁Воен но", + "▁Центра льной", + "▁Центр альной", + "▁высо ким", + "не бре", + "▁be coming", + "▁becom ing", + "▁коман дования", + "▁командова ния", + "▁Кали фор", + "ко мо", + "ком о", + "▁ци та", + "бо ва", + "бов а", + "за ди", + "зад и", + "▁I S", + "▁ IS", + "▁и ску", + "▁ис ку", + "▁иск у", + "▁не ба", + "ан о", + "а но", + "▁sold iers", + "▁устано влено", + "▁установ лено", + "▁установлен о", + "▁про сил", + "▁прос ил", + "▁проси л", + "▁пред ложен", + "▁предложе н", + "▁Про це", + "▁с но", + "▁ сно", + "▁Следова тельно", + "▁бе зна", + "▁без на", + "ти ческую", + "▁воин ов", + "▁вои нов", + "▁тре тье", + "▁треть е", + "Е М", + "▁дета лей", + "▁про стых", + "▁прос тых", + "▁прост ых", + "▁просты х", + "▁раз ным", + "▁до му", + "▁дом у", + "ви с", + "в ис", + "▁ве чно", + "▁М ол", + "▁Мо л", + "▁he avy", + "▁heav y", + "у л", + "▁Константи но", + "▁Константин о", + "▁сочи нения", + "▁ан тропо", + "▁F ound", + "▁init ially", + "▁initial ly", + "▁initi ally", + "ло жена", + "ложе на", + "ложен а", + "лож ена", + "▁живо тные", + "▁живот ные", + "▁соста вляли", + "▁состав ляли", + "▁составля ли", + "▁составлял и", + "▁необходи мых", + "▁необходимы х", + "▁необходим ых", + "▁агре ссив", + "▁фигу ры", + "▁фигур ы", + "▁б рака", + "▁бра ка", + "▁брак а", + "▁Б уд", + "▁Бу д", + "▁зда нии", + "▁друзья ми", + "▁друзьям и", + "▁То ма", + "▁Том а", + "ле тел", + "лете л", + "▁n orthern", + "▁north ern", + "▁nort hern", + "▁ресур сы", + "▁ресурс ы", + "ва тель", + "▁Ф ак", + "▁Фа к", + "▁за нять", + "▁заня ть", + "▁занят ь", + "▁бит вы", + "▁ch arg", + "▁char g", + "▁разобра ться", + "▁t akes", + "▁take s", + "t ies", + "ст ря", + "стр я", + "с тря", + "▁бит ве", + "ven ue", + "Ан д", + "А нд", + "el lig", + "ell ig", + "▁фе ода", + "▁ви ру", + "▁вир у", + "▁ад ап", + "▁ада п", + "▁воен ным", + "▁вое нным", + "▁поло вина", + "▁полови на", + "▁полов ина", + "▁собира ется", + "▁Но вой", + "▁Ново й", + "▁Нов ой", + "▁во доро", + "▁водо ро", + "▁карь еры", + "▁Ру сской", + "▁Рус ской", + "▁ак тивность", + "▁актив ность", + "▁активно сть", + "▁мани пу", + "ru pt", + "rup t", + "то вый", + "▁ст оло", + "▁сто ло", + "▁стол о", + "гря з", + "гр яз", + "▁язы ки", + "▁язык и", + "z a", + "▁А да", + "▁Ад а", + "▁ча стных", + "▁част ных", + "▁час тных", + "си пе", + "en th", + "ent h", + "▁стар шего", + "▁старше го", + "in et", + "ine t", + "i net", + "I V", + "▁Tex as", + "зи а", + "▁ре шает", + "▁реша ет", + "▁стол кну", + "▁столк ну", + "жд о", + "ж до", + "▁проис хождение", + "▁происхо ждение", + "Петербур ге", + "Петербург е", + "▁кар ту", + "▁карт у", + "▁кине мато", + "▁ста нут", + "▁стан ут", + "▁стану т", + "▁he art", + "▁hear t", + "▁про сит", + "▁прос ит", + "▁проси т", + "▁за няла", + "▁заня ла", + "▁занял а", + "▁обра зы", + "▁образ ы", + "▁со бора", + "▁собо ра", + "▁собор а", + "мо ро", + "мор о", + "▁готов ности", + "пт е", + "п те", + "▁обсу жда", + "▁in n", + "▁ inn", + "▁n ature", + "лу б", + "зы вает", + "зыва ет", + "▁благо да", + "▁бла года", + "▁ благода", + "lo ad", + "l oad", + "▁ци кл", + "▁распо зна", + "▁под пи", + "▁en em", + "▁m akes", + "▁make s", + "▁Па вла", + "▁Пав ла", + "▁де кла", + "▁по строена", + "▁построе на", + "▁постро ена", + "▁построен а", + "▁P ac", + "▁c rew", + "▁cre w", + "▁cr ew", + "▁ор гана", + "▁орга на", + "▁орган а", + "ти ну", + "тин у", + "▁мно гими", + "▁многи ми", + "▁многим и", + "▁с ете", + "▁се те", + "▁сет е", + "▁зна ла", + "▁знал а", + "▁s outhern", + "▁south ern", + "ad a", + "a da", + "▁ма нев", + "▁мане в", + "▁смо гла", + "▁смог ла", + "▁отсут ствии", + "▁О Б", + "▁ ОБ", + "▁отсут ствует", + "▁по шла", + "▁пош ла", + "▁выступа ть", + "▁program s", + "фф и", + "ф фи", + "о к", + "▁independ ent", + "▁с бли", + "▁предше ствен", + "га й", + "г ай", + "▁проис ходят", + "▁происхо дят", + "▁происходя т", + "▁f ederal", + "▁p ath", + "▁pat h", + "▁ path", + "▁оши бо", + "▁ошиб о", + "▁O ut", + "▁кре пость", + "▁крепо сть", + "▁ве дения", + "▁ ведения", + "нё м", + "н ём", + "ис следователь", + "▁ко ры", + "▁кор ы", + "▁Госпо дь", + "▁круп ный", + "▁органи зовать", + "▁организова ть", + "▁мо били", + "▁моби ли", + "▁подготов ку", + "▁подгото вку", + "▁М ей", + "▁Ме й", + "▁Angel es", + "▁напря жение", + "▁appro x", + "▁Виль гель", + "▁вы деле", + "▁выде ле", + "▁Ста тья", + "ще нного", + "щен ного", + "щенно го", + "▁F ace", + "▁Fa ce", + "▁обе зья", + "▁обез ья", + "▁m ention", + "▁men tion", + "▁ment ion", + "an ta", + "ant a", + "▁ж дет", + "▁К лю", + "▁та нка", + "▁тан ка", + "▁танк а", + "▁у мол", + "▁ум ол", + "▁умо л", + "▁увеличи ть", + "▁увели чить", + "▁бе лые", + "ha t", + "h at", + "▁го лланд", + "▁гол ланд", + "▁лоша ди", + "▁и ным", + "▁ко эффици", + "ri m", + "r im", + "▁С коро", + "▁Ско ро", + "О М", + "▁об щая", + "▁общ ая", + "▁дол г", + "▁до мини", + "▁доми ни", + "ти но", + "тин о", + "т ино", + "▁b ox", + "▁bo x", + "▁ box", + "▁мыш цы", + "▁мышц ы", + "▁приро ду", + "▁природ у", + "д ную", + "▁г рана", + "▁гра на", + "▁гран а", + "▁гр ана", + "▁про йдет", + "▁прой дет", + "▁aff ect", + "су ди", + "▁реги стра", + "▁near ly", + "Б и", + "жа лся", + "жал ся", + "▁с лева", + "▁сле ва", + "▁сл ева", + "▁револю ция", + "▁need ed", + "▁ме няется", + "▁меня ется", + "▁меняет ся", + "se e", + "s ee", + "С та", + "▁про чие", + "▁прочи е", + "▁ба зу", + "▁баз у", + "▁приви ле", + "▁восстано вления", + "▁до ля", + "▁дол я", + "▁рас ходов", + "▁расхо дов", + "▁расход ов", + "▁ре пута", + "▁м емо", + "▁ме мо", + "▁мем о", + "▁des pite", + "▁норма льно", + "▁норм ально", + "▁g re", + "▁gr e", + "▁обо рони", + "▁оборо ни", + "▁оборон и", + "чи лась", + "чила сь", + "▁вы шло", + "▁ком панию", + "▁компа нию", + "▁O ld", + "▁Ol d", + "▁Е лена", + "▁Еле на", + "lig ht", + "l ight", + "▁У че", + "▁Уч е", + "▁прав ду", + "тив ности", + "тивно сти", + "▁непо дви", + "▁непод ви", + "▁судь бу", + "▁пере вода", + "▁перево да", + "▁перевод а", + "▁мы слей", + "▁мыс лей", + "▁мысле й", + "▁На таль", + "▁Ната ль", + "in ux", + "inu x", + "▁бы вших", + "om s", + "o ms", + "▁un it", + "▁вы дели", + "▁выде ли", + "il led", + "ill ed", + "ille d", + "про ек", + "Т ы", + "▁вы пи", + "▁Но вая", + "▁Нов ая", + "▁rel ated", + "▁ related", + "▁set tle", + "▁sett le", + "шки н", + "ш кин", + "▁the ory", + "▁ди ри", + "▁форми рование", + "▁прави тельством", + "▁правитель ством", + "▁правительство м", + "▁пре обра", + "▁ad j", + "▁B ook", + "▁Bo ok", + "▁ком фор", + "▁ph il", + "▁реак ция", + "ка ют", + "en ing", + "e ning", + "спи ра", + "с пира", + "▁ло жки", + "▁man ager", + "▁manag er", + "▁Э тим", + "▁Эти м", + "▁ак цен", + "▁ори ента", + "▁ориен та", + "ще нно", + "щен но", + "щ енно", + "▁в вести", + "▁поки нуть", + "▁живо тного", + "▁живот ного", + "▁животно го", + "чь е", + "ч ье", + "▁тор пе", + "▁кли ента", + "▁клиен та", + "▁клиент а", + "▁M os", + "▁Mo s", + "▁сто ла", + "▁стол а", + "▁r ap", + "▁ra p", + "▁ rap", + "ab les", + "able s", + "abl es", + "▁S S", + "▁ SS", + "▁d ire", + "▁di re", + "▁принима ют", + "образи е", + "▁те сто", + "▁тест о", + "▁реши тельно", + "▁но вому", + "▁ново му", + "▁новом у", + "▁ новому", + "▁вы числи", + "▁комп енса", + "▁компе нса", + "▁ко мите", + "▁коми те", + "▁c le", + "▁cl e", + "▁ cle", + "▁вол ну", + "▁волн у", + "▁коман довал", + "▁командова л", + "ми та", + "мит а", + "▁созна нии", + "▁су дно", + "▁суд но", + "▁бо льного", + "▁боль ного", + "▁больно го", + "ре ли", + "▁pro posed", + "▁propos ed", + "▁об щины", + "▁общи ны", + "▁общ ины", + "▁общин ы", + "▁мар кет", + "Е К", + "▁ду ш", + "▁ душ", + "▁государ ством", + "▁государство м", + "▁государств ом", + "▁и ко", + "▁А га", + "▁ча стях", + "▁част ях", + "▁час тях", + "▁по няли", + "▁поня ли", + "▁понял и", + "▁пон яли", + "▁на гля", + "▁наг ля", + "▁потреб ность", + "ча м", + "ч ам", + "▁реда ктор", + "▁редак тор", + "▁обо йти", + "▁обой ти", + "▁proble m", + "ist an", + "ista n", + "▁O l", + "▁практи ку", + "▁прак тику", + "▁предприя тие", + "▁Л ав", + "▁Ла в", + "ча ются", + "чают ся", + "▁За пада", + "▁Запад а", + "▁Запа да", + "ну ло", + "нул о", + "▁описы вает", + "▁ко жу", + "▁чита теля", + "▁до клад", + "▁докла д", + "▁док лад", + "▁Ре чь", + "▁про теста", + "▁проте ста", + "▁протест а", + "▁полу чится", + "▁получи тся", + "▁получит ся", + "▁колле ги", + "▁коллег и", + "▁ч тения", + "▁чте ния", + "ба т", + "б ат", + "▁ко жа", + "▁Нидер лан", + "р ная", + "▁S pe", + "▁Sp e", + "▁ф лан", + "▁фла н", + "▁веду щих", + "ма м", + "м ам", + "▁ли деров", + "▁лидер ов", + "▁лиде ров", + "▁гла вная", + "▁глав ная", + "▁способ ствует", + "▁пере воде", + "▁перево де", + "▁перевод е", + "\". [", + "\" .[", + "▁во зме", + "▁воз ме", + "▁F re", + "▁Про фе", + "▁de ep", + "▁P re", + "▁Pr e", + "▁Г У", + "▁ ГУ", + "▁е хать", + "▁еха ть", + "▁ ехать", + "▁bl ood", + "логи ческих", + "▁тот час", + "г р", + "▁голо сом", + "▁голос ом", + "▁голосо м", + "▁se a", + "▁воспомина ния", + "▁film s", + "▁fil ms", + "▁э го", + "но вей", + "нов ей", + "нове й", + "▁меха низма", + "▁механи зма", + "▁механизм а", + "▁истори ческого", + "пол номо", + "▁p ick", + "▁си льным", + "▁силь ным", + "▁высо та", + "▁демон стра", + "▁при говор", + "▁пригово р", + "▁приго вор", + "( '", + "фра н", + "ф ран", + "▁Оль га", + "▁покло н", + "▁во йн", + "▁вой н", + "шн и", + "ш ни", + "▁S un", + "▁Su n", + "▁ме ню", + "▁мен ю", + "▁спи ска", + "▁ком пе", + "▁комп е", + "▁Д жек", + "▁Дж ек", + "▁Дже к", + "▁min or", + "▁p sych", + "▁compet ition", + "▁d epend", + "▁de pend", + "▁dep end", + "▁сдела ла", + "▁сделал а", + "▁сдел ала", + "▁способ но", + "▁д ала", + "▁да ла", + "▁дал а", + "▁ дала", + "▁массо вой", + "ск ре", + "с кре", + "▁pl ans", + "▁plan s", + "▁Бы ла", + "▁Был а", + "en ty", + "ent y", + "вле нная", + "влен ная", + "в ленная", + "▁w alk", + "▁полно цен", + "▁m om", + "▁дви гаться", + "▁двига ться", + "но ра", + "нор а", + "▁beh av", + "▁жерт в", + "▁m ale", + "▁д не", + "▁ дне", + "▁ch ief", + "▁обстоятельства х", + "▁Ав стрии", + "бы л", + "▁w ide", + "▁wid e", + "▁ wide", + "▁бе рет", + "▁бере т", + "▁бер ет", + "со зда", + "▁про чим", + "▁прочи м", + "▁проч им", + "▁дополни тельных", + "▁M ill", + "▁Mil l", + "▁рабо тах", + "▁работа х", + "гна ть", + "▁об щую", + "▁общ ую", + "ко ву", + "ков у", + "▁а трибу", + "▁вос точной", + "▁восто чной", + "▁ восточной", + "из о", + "и зо", + "▁зву ки", + "▁звук и", + "си ло", + "сил о", + "ко ри", + "кор и", + "к ори", + "но р", + "н ор", + "▁дви жений", + "▁B rown", + "▁Bro wn", + "▁Br own", + "be d", + "b ed", + "▁по чет", + "▁поч ет", + "▁поче т", + "▁и зя", + "▁из я", + "▁ле чение", + "ut ch", + "зе нта", + "зен та", + "з ента", + "▁order ed", + "▁ord ered", + "▁spec ific", + "му а", + "м уа", + "▁s hips", + "▁sh ips", + "▁ship s", + "▁про дю", + "▁прод ю", + "▁so ft", + "▁ soft", + "▁вы рос", + "▁выро с", + "▁выр ос", + "▁си льное", + "▁сильно е", + "▁силь ное", + "ре нного", + "рен ного", + "ренно го", + "вно му", + "в ному", + "▁анг ло", + "▁ан гло", + "▁англ о", + "ти п", + "▁ра спа", + "▁рас па", + "ме ха", + "м еха", + "▁ли хо", + "в ных", + "▁Ново сибир", + "▁ры но", + "пле ние", + "п ление", + "▁захва ты", + "▁захват ы", + "▁прось бой", + "ши ны", + "шин ы", + "ш ины", + "ra s", + "r as", + "ac ing", + "a cing", + "▁по езда", + "▁поезд а", + "▁поез да", + "▁пое зда", + "▁бес созна", + "▁бессо зна", + "же р", + "ж ер", + "▁из ъя", + "▁изъ я", + "▁п род", + "▁про д", + "▁пр од", + "▁при знание", + "▁призна ние", + "f it", + "▁то ка", + "▁ток а", + "▁ тока", + "▁дей ствием", + "▁действи ем", + "▁действие м", + "▁L ord", + "▁Lo rd", + "▁особы й", + "▁с ани", + "▁са ни", + "▁сан и", + "▁С тан", + "▁Ста н", + "▁Ст ан", + "▁ди стан", + "▁дис тан", + "▁pl at", + "ре ть", + "рет ь", + "р еть", + "▁су дна", + "▁суд на", + "▁по пали", + "▁попа ли", + "▁попал и", + "▁поп али", + "▁ци линд", + "▁Ви ди", + "▁Вид и", + "B A", + "l a", + "▁вне шнего", + "▁внеш него", + "▁внешне го", + "▁не пол", + "▁непо л", + "▁кли ент", + "▁клиен т", + "▁жен щину", + "▁женщи ну", + "▁женщин у", + "се риа", + "▁па рк", + "▁пар к", + "▁рус ская", + "▁Со ответ", + "▁B oard", + "▁Bo ard", + "▁исследова тели", + "▁X III", + "▁XI II", + "▁XII I", + "▁су щность", + "▁сущ ность", + "▁чле нами", + "▁члена ми", + "▁членам и", + "▁ле к", + "▁л ек", + "▁ лек", + "ко то", + "кот о", + "Е Й", + "▁соста вила", + "▁состав ила", + "▁составил а", + "▁Brit ain", + "▁принима ли", + "▁принимал и", + "▁вы шед", + "▁выше д", + "ме ны", + "мен ы", + "▁министер ства", + "▁Dem ocr", + "д зи", + "▁хоро шего", + "▁поо щ", + "ве ду", + "вед у", + "▁R os", + "▁Ro s", + "▁S ur", + "▁Su r", + "▁извест ным", + "▁известны м", + "▁изве стным", + "▁Jew ish", + "▁L ake", + "▁La ke", + "зы ка", + "N A", + "▁Анато лий", + "▁рас пада", + "▁распа да", + "▁ди зай", + "▁диза й", + "▁M ore", + "▁Mor e", + "▁Mo re", + "▁com mit", + "▁comm it", + "▁cit iz", + "▁Russ ia", + "▁Mart in", + "ве е", + "би тра", + "бит ра", + "▁зако ну", + "▁закон у", + "▁зак ону", + "▁счита я", + "▁У ча", + "▁Уч а", + "▁пи ро", + "▁пир о", + "▁экспер ти", + "▁ре же", + "▁Б ара", + "▁Ба ра", + "▁Бар а", + "▁по га", + "▁да та", + "▁дат а", + "▁про смо", + "▁прос мо", + "▁да ст", + "▁Не льзя", + "▁continu e", + "▁contin ue", + "▁телеви зион", + "▁cond itions", + "▁condition s", + "▁con fl", + "▁conf l", + "▁из делия", + "▁изде лия", + "▁издели я", + "жи на", + "жин а", + "ж ина", + "▁кора бле", + "▁m ind", + "▁min d", + "▁mi nd", + "ре к", + "р ек", + "▁el se", + "ue en", + "u een", + "ri g", + "r ig", + "▁p il", + "▁от дал", + "▁отда л", + "▁понима ют", + "▁понимаю т", + "▁эффек тивности", + "▁эффектив ности", + "▁эффективно сти", + "▁к аль", + "▁ка ль", + "▁бы ст", + "▁американ ские", + "▁америка нские", + "▁ва жную", + "▁важ ную", + "▁еди ниц", + "▁едини ц", + "▁до пу", + "▁маль чи", + "об а", + "о ба", + "не сения", + "несе ния", + "▁Бела ру", + "▁компью тера", + "▁компьютер а", + "▁de part", + "▁dep art", + "▁полу чение", + "жё нных", + "жён ных", + "ж ённых", + "in gu", + "ing u", + "К И", + "▁разви тием", + "▁развитие м", + "▁а лле", + "▁ал ле", + "ма ном", + "ман ом", + "▁ку би", + "▁го мо", + "▁med ical", + "▁s ays", + "▁say s", + "▁Институ та", + "▁Институт а", + "▁схе мы", + "▁сх емы", + "а п", + "sh ip", + "s hip", + "▁се дь", + "▁сед ь", + "же нное", + "жен ное", + "женно е", + "▁Д она", + "▁До на", + "▁Дон а", + "▁де пре", + "▁В ходит", + "▁вы делить", + "▁выде лить", + "▁выдели ть", + "co l", + "c ol", + "▁подро ст", + "▁социаль ные", + "▁соци альные", + "▁х ристи", + "▁воспита ния", + "охра ни", + "о храни", + "▁вели ких", + "▁велик их", + "▁о бря", + "▁об ря", + "▁b omb", + "▁bo mb", + "▁выз ван", + "▁вызва н", + "▁bel ow", + "▁оде жду", + "▁M ur", + "▁Mu r", + "▁в етра", + "▁ве тра", + "▁вет ра", + "стро ить", + "строи ть", + "▁ак кура", + "▁акку ра", + "зи с", + "з ис", + "▁рай оны", + "▁район ы", + "▁граду сов", + "ar ian", + "ari an", + "aria n", + "a rian", + "▁во зна", + "▁воз на", + "мер ть", + "▁V III", + "▁VI II", + "▁VII I", + "рно е", + "р ное", + "▁по лё", + "▁пол ё", + "▁зага до", + "▁B ank", + "▁с клад", + "▁ск лад", + "▁скла д", + "▁неме цкие", + "▁немец кие", + "▁we ap", + "▁не движи", + "ле вой", + "лев ой", + "л евой", + "ul f", + "▁по йдет", + "▁пой дет", + "ex t", + "e xt", + "or al", + "ora l", + "o ral", + "▁обнаружи ть", + "▁обнару жить", + "▁предме том", + "▁предмет ом", + "▁раз ума", + "▁разу ма", + "▁разум а", + "▁m arriage", + "▁кар дина", + "▁offic ers", + "▁officer s", + "▁r i", + "▁ ri", + "▁ar ran", + "▁arr an", + "▁промежу то", + "▁под нять", + "▁подня ть", + "▁опти ма", + "▁са хара", + "▁саха ра", + "▁сахар а", + "▁sc ene", + "▁Ко лум", + "▁Кол ум", + "Т И", + "▁о же", + "▁проек ту", + "▁проект у", + "▁же нился", + "▁жен ился", + "▁жени лся", + "▁ос новой", + "▁основ ой", + "▁осно вой", + "▁осново й", + "▁Вели кий", + "▁использова лись", + "▁использовали сь", + "de n", + "d en", + "де ление", + "деле ние", + "▁Есте ственно", + "▁да вали", + "▁дав али", + "▁давал и", + "▁да ёт", + "▁com ment", + "▁comm ent", + "▁бес смысле", + "▁бесс мысле", + "▁клю ч", + "▁ро до", + "▁род о", + "▁р одо", + "▁учеб ных", + "▁Яро слав", + "▁Яросла в", + "▁ли ний", + "▁ту ман", + "ль тра", + "льт ра", + "au d", + "a ud", + "▁high est", + "▁hig hest", + "▁осторо жно", + "▁C arl", + "▁Car l", + "n o", + "▁ожида ть", + "▁ожи дать", + "▁Лон дон", + "П К", + "▁m iddle", + "at ively", + "ative ly", + "▁П рак", + "▁Пра к", + "ди к", + "▁нав стречу", + "▁моде лей", + "▁зем ной", + "▁кон вер", + "ру ющие", + "рую щие", + "аль ной", + "ально й", + "а льной", + "ic ient", + "▁man agement", + "▁manag ement", + "▁со чув", + "▁Бер лине", + "▁Берлин е", + "▁и зд", + "▁из д", + "▁двор ца", + "▁у пал", + "▁упа л", + "▁поддержи вает", + "▁P an", + "са л", + "с ал", + "▁Геор гий", + "▁Георги й", + "▁бе жать", + "▁вы р", + "▁говори ла", + "▁говорил а", + "▁говор ила", + "▁гово рила", + "▁аль бом", + "▁альбо м", + "▁двига тель", + "▁непре менно", + "▁пи сем", + "▁бак тери", + "▁твор чество", + "C C", + "▁зе ни", + "in ct", + "inc t", + "▁пре небре", + "▁са мыми", + "▁самы ми", + "▁самым и", + "▁с пер", + "▁спе р", + "▁совер ши", + "▁пей за", + "▁Ис тори", + "▁Исто ри", + "▁учили ща", + "▁зву чит", + "▁pres ented", + "▁present ed", + "▁авто рите", + "▁автори те", + "▁О преде", + "▁n ames", + "▁name s", + "▁го рах", + "▁гора х", + "▁ба шни", + "▁баш ни", + "▁вер сию", + "▁верси ю", + "▁ро ты", + "▁рот ы", + "▁э тни", + "▁М ур", + "▁Му р", + "ск лю", + "с клю", + "▁R o", + "▁вы воды", + "▁выво ды", + "▁вывод ы", + "▁опыт ом", + "▁опы том", + "▁оста вались", + "ли с", + "л ис", + "▁ин туи", + "▁c ell", + "▁ce ll", + "▁ cell", + "▁неф тя", + "▁кра ю", + "▁S il", + "▁Si l", + "▁За слу", + "чко м", + "ч ком", + "тера тур", + "▁b rief", + "▁br ief", + "▁за меня", + "▁заме ня", + "▁зам еня", + "T P", + "▁при ложений", + "▁футбо ли", + "▁фут боли", + "▁футбол и", + "▁необходи мым", + "▁необходимы м", + "▁по слан", + "▁пос лан", + "▁посла н", + "▁десяти летия", + "▁десятиле тия", + "▁Е льци", + "▁F lor", + "▁Fl or", + "▁кру га", + "▁круг а", + "ro r", + "r or", + "▁с сыла", + "▁ссы ла", + "▁пожалуй ста", + "▁Cl ass", + "▁leg isl", + "▁раз мно", + "li b", + "l ib", + "▁до воль", + "▁дово ль", + "▁ доволь", + "▁Афри ке", + "▁Аф рике", + "▁пы таясь", + "▁пыта ясь", + "▁Ве роятно", + "▁погиб ших", + "▁Иоан на", + "▁Иоанн а", + "▁до хода", + "▁доход а", + "▁сло жные", + "▁с ъем", + "▁съ ем", + "▁съе м", + "ound s", + "N o", + "▁пере хва", + "▁ведом ства", + "▁result s", + "▁Тру да", + "▁тю рем", + "ми й", + "ви чем", + "вич ем", + "ia nt", + "ian t", + "i ant", + "▁до ми", + "▁дом и", + "▁о правда", + "▁оп равда", + "▁оправ да", + "▁продол жил", + "▁продолжи л", + "▁Оче видно", + "ро валось", + "рова лось", + "ровало сь", + "▁Финля ндии", + "▁заня тий", + "▁реб ён", + "▁Извест но", + "▁мя са", + "▁мяс а", + "▁д ок", + "▁до к", + "▁ док", + "м бу", + "▁то чке", + "▁точ ке", + "▁дву м", + "▁вы тес", + "▁go als", + "▁goal s", + "▁НК ВД", + "▁про спек", + "▁М ая", + "▁Ма я", + "▁дра мати", + "▁драма ти", + "▁обстанов ке", + "ме и", + "▁пре стол", + "▁престо л", + "дер жки", + "держ ки", + "▁не ле", + "ст рова", + "стро ва", + "стров а", + "д ня", + "▁сы новей", + "▁сынов ей", + "жерт во", + "жер тво", + "▁Ат ланти", + "▁У м", + "▁in te", + "▁int e", + "▁кон тей", + "▁бе лого", + "▁бело го", + "ма нской", + "ман ской", + "▁ма лых", + "▁малы х", + "▁се г", + "ат ра", + "атр а", + "а тра", + "вшем ся", + "ке ра", + "кер а", + "к ера", + "▁При нима", + "▁до во", + "▁ дово", + "▁I reland", + "ric ult", + "▁служ ба", + "▁служб а", + "▁ служба", + "ви лось", + "вило сь", + "▁Canad ian", + "▁послед нем", + "▁А нны", + "▁Ан ны", + "▁h undred", + "▁agre ed", + "▁mag azine", + "▁Т вер", + "▁рус ско", + "полков ник", + "▁последова тельно", + "▁По льше", + "▁Поль ше", + "▁про дав", + "▁прода в", + "▁прод ав", + "Ди на", + "Д ина", + "Е Д", + "ra te", + "rat e", + "r ate", + "▁ли тов", + "▁на строение", + "▁настрое ние", + "▁p rop", + "▁pro p", + "▁pr op", + "▁h ands", + "▁hand s", + "ad y", + "▁dis play", + "▁disp lay", + "▁фами лии", + "▁Григо рий", + "▁ко али", + "▁преимуще ства", + "▁оцен ку", + "▁оце нку", + "me t", + "m et", + "▁с еры", + "▁се ры", + "▁сер ы", + "▁ серы", + "ди ло", + "дил о", + "et her", + "eth er", + "e ther", + "ти лось", + "тило сь", + "▁M ot", + "▁Mo t", + "▁Ме то", + "▁Мет о", + "кон тро", + "▁ла уре", + "▁u t", + "▁ ut", + "▁останови ть", + "▁останов ить", + "▁остано вить", + "сло вия", + "слови я", + "восто ке", + "восток е", + "▁ло б", + "▁л об", + "▁дума ет", + "ic an", + "ica n", + "i can", + "ци онеров", + "цио неров", + "ционе ров", + "ционер ов", + "во и", + "▁Car ol", + "▁Ca rol", + "зи ей", + "▁апо сто", + "▁Свя той", + "▁Свято й", + "▁K e", + "тко м", + "тк ом", + "т ком", + "▁любо вью", + "▁любовь ю", + "▁любов ью", + "▁ч ерт", + "▁че рт", + "▁чер т", + "▁то вара", + "▁това ра", + "▁товар а", + "E D", + "▁обы чных", + "▁sc reen", + "▁n ation", + "▁P ublic", + "́ р", + "▁фак тов", + "▁факт ов", + "▁основ ная", + "▁осно вная", + "▁на бира", + "▁наби ра", + "▁состоя лось", + "▁состояло сь", + "ль и", + "л ьи", + "en es", + "ene s", + "e nes", + "▁сто лом", + "▁стол ом", + "▁столо м", + "▁ста били", + "▁стаби ли", + "▁с фе", + "▁сф е", + "▁опубли ковал", + "▁опублико вал", + "▁опубликова л", + "▁наказа ние", + "▁Ч ет", + "▁Че т", + "сс ор", + "ссо р", + "с сор", + "▁ч лена", + "▁чле на", + "▁член а", + "▁зам кну", + "рав ни", + "ти зм", + "т изм", + "▁пехо ты", + "▁e ss", + "▁es s", + "▁ ess", + "▁s al", + "▁обо га", + "▁учиты вать", + "▁дей ствуют", + "▁действу ют", + "ia s", + "i as", + "зи ра", + "тре ть", + "тр еть", + "трет ь", + "т реть", + "ству я", + "▁эта па", + "▁этап а", + "▁против ник", + "▁с держа", + "▁уча стки", + "▁участ ки", + "лле ра", + "лл ера", + "ллер а", + "л лера", + "ра ль", + "рал ь", + "р аль", + "▁О каза", + "▁The ir", + "▁мини стров", + "▁министр ов", + "ac he", + "ach e", + "a che", + "ко лов", + "коло в", + "кол ов", + "▁парт нера", + "▁партнер а", + "▁го дам", + "▁года м", + "▁год ам", + "▁про ле", + "▁пр оле", + "дно му", + "дном у", + "д ному", + "▁ш ля", + "▁Г ам", + "▁Га м", + "▁ри туа", + "▁рит уа", + "▁внутрен ние", + "▁соб ственным", + "▁собствен ным", + "▁ва жный", + "▁важ ный", + "▁важны й", + "▁d ed", + "▁de d", + "▁встре тил", + "▁D ev", + "▁De v", + "▁одинако во", + "▁зву ча", + "▁у ехал", + "▁объ ё", + "▁targ et", + "т с", + "▁ран них", + "▁в ред", + "▁вре д", + "▁вр ед", + "▁squ ad", + "▁ф ре", + "▁ фре", + "▁д ар", + "▁да р", + "▁ дар", + "▁Мар га", + "▁при меры", + "▁пример ы", + "▁приме ры", + "▁прим еры", + "ат р", + "а тр", + "зе л", + "▁) .", + "▁ ).", + "▁O f", + "▁раз ъяс", + "▁разъ яс", + "▁За паде", + "▁Запад е", + "▁Запа де", + "▁особенно стей", + "▁особен ностей", + "▁вы числе", + "▁ак тер", + "▁акт ер", + "▁пре мию", + "▁пара ш", + "▁вы зо", + "▁выз о", + "▁V er", + "▁Ve r", + "▁окре стно", + "де нием", + "дение м", + "▁d omin", + "▁do min", + "▁dom in", + "ней шим", + "▁фи ло", + "▁На пом", + "▁сте не", + "▁стен е", + "▁бра тья", + "▁брат ья", + "▁брать я", + "же нности", + "жен ности", + "женно сти", + "▁от се", + "▁отс е", + "for t", + "f ort", + "ys is", + "▁километ рах", + "▁километра х", + "▁пере ходит", + "▁переход ит", + "▁И бо", + "▁сту дии", + "▁х уд", + "▁ху д", + "▁ худ", + "▁нор м", + "▁у совершен", + "ил л", + "и лл", + "▁нес правед", + "ле нным", + "лен ным", + "▁противоре чи", + "▁un s", + "▁u ns", + "▁фоль кло", + "▁Mex ico", + "▁последу ющие", + "▁M o", + "▁си га", + "▁let ter", + "▁особ ых", + "▁особы х", + "Ка р", + "К ар", + "▁Sec ret", + "нин град", + "нинг рад", + "▁А ристо", + "▁Ар исто", + "▁in come", + "▁inc ome", + "▁Sc ience", + "▁С тив", + "▁Ст ив", + "▁Сти в", + "▁инициа тиве", + "ди но", + "дин о", + "д ино", + "▁подо шел", + "▁Ка кой", + "▁Как ой", + "▁при чём", + "▁l ink", + "▁пробле мой", + "▁проблем ой", + "ven tion", + "vent ion", + "v ention", + "па нию", + "▁содержи тся", + "▁содержит ся", + "▁immedi ately", + "▁са по", + "▁D ef", + "▁De f", + "▁c ounter", + "▁count er", + "▁coun ter", + "▁att ention", + "▁Среди зем", + "цион ными", + "цио нными", + "ционным и", + "▁Юго сла", + "▁Х ол", + "▁Хо л", + "▁в скры", + "▁вс кры", + "▁обсу ждения", + "▁пес ню", + "дь ба", + "д ьба", + "▁d ram", + "▁dr am", + "▁dra m", + "▁И зо", + "▁Из о", + "pe ror", + "per or", + "ф ре", + "▁устано влена", + "▁установ лена", + "▁установлен а", + "сь е", + "с ье", + "▁е ды", + "▁ед ы", + "an ced", + "ance d", + "anc ed", + "▁ребя та", + "▁ребят а", + "▁да вал", + "▁дав ал", + "▁ра стет", + "▁рас тет", + "▁расте т", + "▁раст ет", + "▁in side", + "▁ins ide", + "эф фек", + "э ффек", + "▁смо жете", + "▁сможет е", + "▁In c", + "то не", + "тон е", + "т оне", + "▁опера цию", + "▁арти ст", + "▁арт ист", + "▁мат чах", + "▁матча х", + "▁слу жат", + "▁служ ат", + "▁служа т", + "▁Ро жде", + "▁ме стной", + "▁мест ной", + "ска ть", + "с кать", + "рен ко", + "р енко", + "▁высо той", + "▁Te chn", + "▁ка меры", + "▁кам еры", + "▁камер ы", + "▁каме ры", + "▁вы вода", + "▁выво да", + "▁вывод а", + "ко вое", + "ков ое", + "ково е", + "▁Д ве", + "ве м", + "в ем", + "по ро", + "пор о", + "▁в начале", + "▁Свя то", + "▁за пах", + "▁запа х", + "▁до ходов", + "▁доход ов", + "▁Д ви", + "Ал ь", + "А ль", + "▁j ournal", + "▁сель ское", + "▁о ку", + "▁ок у", + "bo n", + "b on", + "▁us es", + "▁use s", + "▁u ses", + "▁ uses", + "▁уча ствовали", + "▁участвовал и", + "▁кла ссо", + "▁класс о", + "ba n", + "b an", + "▁чита телей", + "▁E duc", + "▁Ed uc", + "▁Ма ть", + "▁Мат ь", + "F A", + "▁обви ня", + "ли о", + "▁на ход", + "▁ви дите", + "▁види те", + "▁видит е", + "▁Екатери на", + "▁Екатерин а", + "▁Спа сибо", + "▁Спаси бо", + "▁объяс нения", + "▁ме нять", + "▁меня ть", + "▁мен ять", + "▁ менять", + "та ют", + "▁direct ly", + "▁исполь зоваться", + "▁использова ться", + "▁использовать ся", + "▁у ха", + "▁пере кры", + "os oph", + "▁sh oot", + "ще йся", + "щей ся", + "▁I T", + "▁ IT", + "▁А рка", + "▁Ар ка", + "▁oper ation", + "ко вской", + "ков ской", + "▁мо жешь", + "▁Пав лов", + "▁in sp", + "▁ins p", + "▁млад ен", + "▁мла ден", + "▁s ens", + "▁se ns", + "▁sen s", + "▁да нными", + "▁дан ными", + "▁данным и", + "▁un ivers", + "lo r", + "l or", + "▁До ма", + "▁Дом а", + "▁осуществ ления", + "▁subsequ ently", + "▁subsequent ly", + "▁У казом", + "п лю", + "▁акт риса", + "▁актри са", + "ну тся", + "нут ся", + "▁rem aining", + "▁remain ing", + "▁ре шено", + "▁реше но", + "ip s", + "i ps", + "▁окра и", + "▁от дельный", + "▁отде льный", + "▁отдель ный", + "▁l atter", + "▁lat ter", + "▁утвер ждение", + "▁четвер ть", + "▁иг нори", + "▁про шу", + "▁прош у", + "то л", + "т ол", + "▁извест на", + "▁не жела", + "▁гла вные", + "▁глав ные", + "▁государ ственные", + "▁государстве нные", + "▁кад ров", + "▁кадро в", + "▁H ot", + "▁Ho t", + "▁ви нтов", + "▁вин тов", + "ск ет", + "ске т", + "с кет", + "V D", + "▁руко водил", + "▁руковод ил", + "▁руководи л", + "б р", + "▁law s", + "ло не", + "лон е", + "л оне", + "▁прибы ль", + "▁прибыл ь", + "лли н", + "лл ин", + "л лин", + "те лях", + "теля х", + "тел ях", + "хо тя", + "хот я", + "▁S ol", + "▁So l", + "▁к рем", + "▁кре м", + "▁кр ем", + "▁me chan", + "ги ми", + "гим и", + "г ими", + "▁удовлет воря", + "▁удовлетво ря", + "ев ро", + "е вро", + "▁cont act", + "▁плю с", + "щего ся", + "▁F estival", + "▁Спо соб", + "▁пом нить", + "▁помнит ь", + "▁L u", + "▁за дания", + "▁зада ния", + "▁требования м", + "▁хва тало", + "▁состоя ла", + "▁состоял а", + "▁It aly", + "▁Ital y", + "▁соеди нений", + "ur ies", + "u ries", + "ac hes", + "ach es", + "ache s", + "a ches", + "▁О ОО", + "▁соору жения", + "▁э мигра", + "▁эми гра", + "▁эм игра", + "▁С ме", + "▁См е", + "▁сти хов", + "сс ен", + "ссе н", + "с сен", + "▁sur face", + "▁конкре тных", + "▁ули ц", + "ст ными", + "стным и", + "с тными", + "ре гули", + "▁ф ана", + "▁фа на", + "▁ фана", + "▁most ly", + "▁про пуска", + "▁пропу ска", + "▁пропуск а", + "w rit", + "▁д лины", + "▁дли ны", + "▁длин ы", + "▁С в", + "▁раз ница", + "▁про ходя", + "▁проход я", + "▁прохо дя", + "▁бес смер", + "▁бесс мер", + "al se", + "als e", + "сс кую", + "с скую", + "▁та кому", + "▁таком у", + "▁ву лка", + "▁це лое", + "▁цело е", + "▁пере но", + "▁пе рено", + "w ide", + "гру зки", + "груз ки", + "▁M ass", + "▁Ma ss", + "▁Mas s", + "▁л ёт", + "▁лё т", + "▁ лёт", + "▁поезд ки", + "▁поез дки", + "▁бух гал", + "▁С разу", + "▁При ме", + "▁e th", + "▁et h", + "▁ eth", + "ди тель", + "дите ль", + "emb ly", + "▁й о", + "▁ йо", + "▁десяти ле", + "жа х", + "за р", + "з ар", + "▁re cent", + "▁rec ent", + "▁rece nt", + "ви цы", + "виц ы", + "▁вело сипе", + "▁art ists", + "▁artist s", + "▁Лю дови", + "▁b ad", + "▁возгла влял", + "▁возглавля л", + "▁вер нулись", + "▁верну лись", + "▁ли чных", + "im um", + "▁A PI", + "▁ле со", + "▁лес о", + "▁ре стора", + "▁ресто ра", + "▁по род", + "▁пор од", + "▁поро д", + "бе рта", + "бер та", + "берт а", + "▁име ющих", + "▁имею щих", + "▁п оте", + "▁по те", + "▁ поте", + "ща лась", + "щала сь", + "▁высо кую", + "▁присут ствии", + "▁Фи льм", + "▁с ан", + "▁са н", + "▁ сан", + "▁прави лам", + "▁правила м", + "▁правил ам", + "▁подума ть", + "▁поду мать", + "▁строи тельстве", + "▁послед няя", + "▁в зо", + "▁вз о", + "▁ взо", + "▁separ ate", + "▁обя заны", + "▁обяза ны", + "▁обязан ы", + "▁э ли", + "▁ эли", + "же нными", + "жен ными", + "женным и", + "▁ ult", + "▁присут ствует", + "▁ле чеб", + "▁О си", + "▁Ос и", + "▁все возмо", + "▁Евро пу", + "▁при тя", + "▁прит я", + "▁от пу", + "тчи к", + "т чик", + "▁K h", + "▁op port", + "ет у", + "е ту", + "▁Пло щадь", + "▁О С", + "▁ ОС", + "▁о кеан", + "▁оке ан", + "▁океа н", + "▁ океан", + "▁неу доб", + "ast ic", + "▁иг рока", + "▁игро ка", + "▁игрок а", + "um ber", + "umb er", + "u mber", + "▁По ля", + "▁Пол я", + "гота вли", + "▁S k", + "май ор", + "▁сце ну", + "▁сцен у", + "▁соб ственное", + "▁собствен ное", + "▁собственно е", + "▁ли цу", + "▁лиц у", + "▁С обра", + "▁Со бра", + "▁Соб ра", + "▁мо шен", + "ic ted", + "ict ed", + "▁t ried", + "▁tr ied", + "▁tri ed", + "▁init ial", + "▁initi al", + "▁A dd", + "▁Ad d", + "▁ч ьи", + "▁чь и", + "▁ чьи", + "шны е", + "ш ные", + "▁С О", + "▁ СО", + "▁след ствия", + "▁страте гии", + "▁стратеги и", + "▁est im", + "▁к рю", + "▁кр ю", + "▁вели кой", + "▁велико й", + "▁велик ой", + "▁сер жа", + "▁переу лок", + "ке до", + "▁во сток", + "▁вос ток", + "▁восто к", + "▁ восток", + "▁кам ни", + "▁в хода", + "▁вход а", + "▁d rug", + "▁dr ug", + "▁work ers", + "▁муниципа льного", + "iv ity", + "▁высо кая", + "▁U p", + "▁про водит", + "▁проводи т", + "▁прово дит", + "▁провод ит", + "▁по служи", + "▁послу жи", + "▁ру ба", + "▁руб а", + "хо дим", + "ходи м", + "ход им", + "er em", + "ere m", + "e rem", + "▁про кля", + "▁кон со", + "U R", + "▁а деква", + "▁писа ли", + "▁писал и", + "▁юно ше", + "▁offic er", + "▁office r", + "▁Север ного", + "▁услови и", + "▁An n", + "▁ста вит", + "▁став ит", + "▁город ских", + "▁Б ей", + "▁Бе й", + "ха й", + "х ай", + "▁сы нов", + "▁сын ов", + "v a", + "▁B oth", + "▁Bo th", + "▁занима лись", + "▁занимали сь", + "▁бу дешь", + "▁буд ешь", + "▁стра ниц", + "▁объяс няется", + "▁объясняет ся", + "▁у пре", + "▁En ter", + "▁находи лось", + "▁ли нгви", + "но логии", + "нологи и", + "н ологии", + "▁al tern", + "▁alt ern", + "▁бри гада", + "▁брига да", + "ка с", + "к ас", + "▁жерт вы", + "▁жертв ы", + "▁вра чей", + "▁врач ей", + "▁про рабо", + "▁продол жение", + "▁коми ссия", + "▁секу нду", + "▁секун ду", + "▁секунд у", + "▁объек том", + "▁объект ом", + "▁журна лист", + "▁журнали ст", + "▁журнал ист", + "▁ind ic", + "▁добро де", + "▁доб роде", + "▁восста ние", + "▁ря ду", + "▁ряд у", + "▁ ряду", + "▁кра са", + "▁ann ual", + "▁принци пов", + "▁принцип ов", + "▁о хран", + "▁охра н", + "▁ох ран", + "▁по лет", + "▁пол ет", + "▁поле т", + "▁Раз ви", + "▁ко опера", + "▁сне г", + "▁впечат ления", + "▁direct ed", + "▁И ТАР", + "▁ИТ АР", + "▁ ИТАР", + "мини стр", + "▁пор трет", + "▁портре т", + "▁порт рет", + "te en", + "t een", + "▁по сты", + "▁пос ты", + "▁пост ы", + "▁И зда", + "▁Из да", + "▁Геор ги", + "ту ро", + "тур о", + "рь ю", + "р ью", + "п ча", + "▁тюрь мы", + "▁В ра", + "ля ются", + "ляют ся", + "▁послед нюю", + "▁пара метров", + "▁парамет ров", + "▁параметр ов", + "is ation", + "▁cent re", + "▁лейте нан", + "▁ лейтенан", + "▁о тор", + "▁от ор", + "▁ото р", + "▁fam ous", + "▁россий ские", + "el la", + "ell a", + "▁L iber", + "▁Li ber", + "се ра", + "сер а", + "с ера", + "▁п лав", + "▁пла в", + "▁к римина", + "▁кри мина", + "▁т уа", + "▁ту а", + "▁ туа", + "▁осу жден", + "▁К ГБ", + "▁прид вор", + "▁Раз рабо", + "▁се стры", + "Йор ке", + "Йорк е", + "▁мета ллу", + "▁метал лу", + "▁металл у", + "▁помо г", + "▁от ступа", + "▁отступ а", + "▁сов пада", + "▁совпа да", + "▁Де ла", + "▁сооб щении", + "▁сообще нии", + "▁космо нав", + "мо рского", + "мор ского", + "it ude", + "ри али", + "риа ли", + "риал и", + "▁во дя", + "▁вод я", + "▁ водя", + "▁убе жден", + "▁выз вал", + "▁вызва л", + "▁внеза п", + "▁mus ical", + "▁music al", + "I M", + "▁stud io", + "i h", + "▁Ба ку", + "▁Бак у", + "ri ed", + "rie d", + "r ied", + "▁превра щается", + "▁ро дину", + "▁роди ну", + "▁чув ствует", + "▁чувству ет", + "▁утвер ждения", + "▁по лку", + "▁пол ку", + "▁полк у", + "вшими ся", + "те льской", + "тель ской", + "▁д ура", + "▁ду ра", + "▁ дура", + "▁p ack", + "▁Ри ма", + "▁Рим а", + "▁герцо г", + "▁col lect", + "▁coll ect", + "▁colle ct", + "▁понедель ник", + "▁re ally", + "▁real ly", + "▁все мир", + "▁всем ир", + "▁всеми р", + "▁вспо мога", + "▁живо тное", + "▁живот ное", + "▁животно е", + "▁изба виться", + "йс я", + "й ся", + "▁име ющие", + "▁имею щие", + "ve ment", + "v ement", + "де лец", + "дел ец", + "деле ц", + "▁орга нами", + "▁органа ми", + "▁ч те", + "▁воскрес енье", + "▁одно зна", + "▁H el", + "▁He l", + "cl ass", + "▁ch ap", + "бло ки", + "▁ры бо", + "▁рыб о", + "▁в праве", + "▁S ub", + "▁Su b", + "▁sc ience", + "▁практи ка", + "▁прак тика", + "▁ро вно", + "▁ров но", + "▁с бе", + "▁тюрь ме", + "▁level s", + "ki ns", + "kin s", + "k ins", + "▁художе ственной", + "▁вели чины", + "▁величи ны", + "▁s ister", + "▁эффек тивность", + "▁эффектив ность", + "▁эффективно сть", + "▁p aper", + "ant ry", + "▁сни жение", + "▁Казах стана", + "▁Казахстан а", + "▁оп еры", + "▁опер ы", + "▁опе ры", + "ро валась", + "рова лась", + "ровала сь", + "чи сля", + "чис ля", + "▁Ш от", + "▁Шо т", + "▁reve aled", + "▁холо дной", + "▁холод ной", + "▁холодно й", + "▁мате рью", + "▁матер ью", + "▁in str", + "▁inst r", + "▁ins tr", + "сту пило", + "ступи ло", + "ступил о", + "▁запла ни", + "al and", + "ala nd", + "a land", + "П У", + "З е", + "▁м оста", + "▁мо ста", + "▁мост а", + "ра зи", + "раз и", + "▁B us", + "▁Bu s", + "▁ан сам", + "▁рас пла", + "▁иг рали", + "▁игра ли", + "▁игр али", + "▁играл и", + "▁жи ла", + "▁ж ила", + "▁жил а", + "▁т ь", + "▁ ть", + "▁за паде", + "▁запа де", + "▁запад е", + "▁ западе", + "▁pro gress", + "▁напря мую", + "тро поли", + "тропо ли", + "▁A rab", + "▁Ar ab", + "▁каби нет", + "▁кабине т", + "▁изо ли", + "▁побе да", + "▁побед а", + "▁inc or", + "▁ро дов", + "▁род ов", + "▁родо в", + "▁о пор", + "▁оп ор", + "▁опо р", + "▁специали ст", + "▁звё зд", + "▁клу бе", + "▁клуб е", + "▁кол хоз", + "▁колхо з", + "▁парамет ры", + "▁параметр ы", + "▁S aint", + "▁Sa int", + "▁совер шить", + "▁соверши ть", + "▁techn ology", + "▁призна л", + "▁приз нал", + "▁Каза лось", + "um ed", + "ume d", + "u med", + "▁па дает", + "▁пада ет", + "▁ падает", + "▁Ear th", + "▁по падает", + "▁попа дает", + "▁попада ет", + "▁неза мет", + "▁незаме т", + "▁буржу а", + "▁ре шении", + "▁реше нии", + "▁изде лий", + "▁издели й", + "▁согла сия", + "▁согласи я", + "] ;", + "▁ря ды", + "▁ряд ы", + "▁Бу лга", + "im s", + "i ms", + "▁ра стер", + "▁рас тер", + "▁расте р", + "▁раст ер", + "▁Перво начально", + "▁у ши", + "▁фина ле", + "▁финал е", + "▁фин але", + "▁превы шает", + "▁превыша ет", + "▁постоя нной", + "▁постоянно й", + "ру н", + "р ун", + "▁свобо дного", + "▁свобод ного", + "▁свободно го", + "▁B est", + "▁Be st", + "Т Р", + "о м", + "fe ct", + "f ect", + "нно стью", + "нность ю", + "н ностью", + "▁представи телями", + "▁представителя ми", + "▁спор тс", + "▁спорт с", + "▁да вайте", + "▁давай те", + "E L", + "▁ком сомо", + "▁H y", + "▁похо жи", + "▁похож и", + "▁специаль ной", + "▁специ альной", + "▁специально й", + "ми ль", + "мил ь", + "м иль", + "▁d ark", + "▁вос питы", + "▁В О", + "▁ ВО", + "▁це по", + "▁цеп о", + "т ли", + "▁стара лся", + "▁ис ключения", + "▁исклю чения", + "▁агент ство", + "ге нера", + "ген ера", + "гене ра", + "▁комму на", + "▁А у", + "▁N avy", + "▁art ist", + "▁обязан ностей", + "▁струк туре", + "▁структур е", + "▁огром ной", + "▁на бра", + "▁own ed", + "ст ое", + "сто е", + "с тое", + "▁до про", + "▁экра не", + "▁экран е", + "▁расска зы", + "▁рассказ ы", + "▁Мо ро", + "▁Мор о", + "▁re ferred", + "▁refer red", + "▁по стройки", + "▁постро йки", + "▁построй ки", + "▁appe ars", + "▁app ears", + "▁appear s", + "▁преступ лений", + "▁у чет", + "▁уче т", + "▁уч ет", + "▁си льные", + "▁силь ные", + "▁кам ня", + "▁Х ер", + "▁Хе р", + "▁с хема", + "▁схе ма", + "▁сх ема", + "▁гре б", + "▁Em pire", + "▁С К", + "▁ СК", + "▁Го рба", + "▁Гор ба", + ". '", + "▁пле мен", + "▁основ ана", + "▁основа на", + "▁осно вана", + "▁основан а", + "ст ном", + "стно м", + "с тном", + "▁сло вах", + "▁слова х", + "▁d ise", + "▁dis e", + "▁di se", + "▁еже год", + "ла дель", + "▁бук вы", + "▁букв ы", + "▁инве сто", + "▁B BC", + "▁фо нд", + "▁фон д", + "▁p ra", + "▁pr a", + "▁сель совет", + "▁сельсо вет", + "▁хоро шее", + "▁s equ", + "▁se qu", + "▁ sequ", + "▁p le", + "▁pl e", + "▁ ple", + "▁Иису са", + "▁Иисус а", + "▁Же лез", + "▁физи ологи", + "чу ть", + "чут ь", + "▁не ис", + "▁неи с", + "ми но", + "мин о", + "м ино", + "▁Пред стави", + "▁Предста ви", + "да на", + "дан а", + "д ана", + "▁в па", + "▁вы ращи", + "▁выра щи", + "▁оцен ке", + "▁оце нке", + "ли вость", + "ливо сть", + "▁s end", + "▁se nd", + "▁sen d", + "▁ка пу", + "▁кап у", + "▁беспо лез", + "▁нау чные", + "носи тся", + "нос ится", + "носит ся", + "▁дли ну", + "▁длин у", + "▁от рабо", + "▁отра бо", + "▁путеше ствие", + "▁г роб", + "▁гро б", + "▁гр об", + "▁ гроб", + "▁n omin", + "▁no min", + "▁ac adem", + "▁h ospital", + "▁W ood", + "▁B re", + "▁Br e", + "служ бе", + "▁бли ж", + "▁увели чения", + "▁увеличе ния", + "▁ви дят", + "▁вид ят", + "▁видя т", + "ко ро", + "кор о", + "▁Rec ords", + "▁e r", + "▁ er", + "▁Ки рил", + "▁Кир ил", + "▁Кири л", + "▁му же", + "▁муж е", + "▁ис чер", + "▁исче р", + "▁ста вить", + "▁став ить", + "▁ставит ь", + "▁Г роз", + "▁Гро з", + "▁Солн це", + "▁Сол нце", + "▁при меров", + "▁пример ов", + "▁приме ров", + "▁n ine", + "И Л", + "ру ем", + "▁обы чной", + "▁обычно й", + "ou ra", + "our a", + "o ura", + "▁г роз", + "▁гро з", + "▁гр оз", + "м ён", + "▁кур сы", + "▁курс ы", + "▁выяс нить", + "хт а", + "х та", + "▁древ ние", + "ar ters", + "art ers", + "arter s", + "▁Ко ль", + "▁Кол ь", + "▁отпра вил", + "▁Джор дж", + "▁coll abor", + "▁це лого", + "▁цело го", + "▁кра сный", + "▁do uble", + "▁dou ble", + "▁doub le", + "▁древ ности", + "▁в стал", + "▁вс тал", + "▁вста л", + "▁dem and", + "▁реда кции", + "▁редак ции", + "▁Об ще", + "бю ро", + "ка ции", + "к ации", + "нь и", + "н ьи", + "▁ab ility", + "▁ ability", + "▁им му", + "ж ский", + "▁iss ued", + "▁issue d", + "ad ium", + "▁м атри", + "▁ма три", + "▁мат ри", + "▁ матри", + "▁Р АН", + "▁РА Н", + "▁B ig", + "▁Bi g", + "▁це пи", + "▁цеп и", + "▁Д оба", + "▁До ба", + "▁Доб а", + "▁Необходи мо", + "▁H aw", + "▁Ha w", + "ко вич", + "кови ч", + "▁П оло", + "▁По ло", + "▁Пол о", + "▁approx imately", + "▁прия тно", + "▁прият но", + "▁и нде", + "▁ин де", + "ла гается", + "лага ется", + "▁стрелко вой", + "ти зации", + "тиза ции", + "▁де ль", + "▁дел ь", + "▁ дель", + "мо сков", + "▁Алексе я", + "▁Дума ю", + "▁само о", + "▁н ы", + "▁ ны", + "lo g", + "l og", + "▁коло нии", + "▁колони и", + "▁о ценка", + "▁оцен ка", + "▁оце нка", + "Ф А", + "ul ly", + "ull y", + "то ни", + "тон и", + "т они", + "э лектро", + "▁послед ствий", + "▁ви занти", + "сл ы", + "с лы", + "br e", + "b re", + "ob ile", + "▁кате гори", + "▁катего ри", + "▁на роды", + "▁наро ды", + "▁народ ы", + "▁тех ника", + "▁техни ка", + "ри та", + "рит а", + "▁си нх", + "с ни", + "▁путеше ствия", + "▁п рим", + "▁при м", + "▁пр им", + "▁в стречу", + "▁встре чу", + "▁встреч у", + "▁Сто ит", + "▁не види", + "▁неви ди", + "б н", + "▁ев реи", + "▁евре и", + "▁уме ет", + "▁я вился", + "▁яв ился", + "▁За нима", + "▁свиде тельства", + "▁свидетель ства", + "▁свидетельств а", + "▁re pe", + "▁rep e", + "▁т ём", + "▁тё м", + "▁парт нер", + "▁l os", + "▁lo s", + "▁инстру менты", + "▁инструмент ы", + "▁че стно", + "▁малень кие", + "▁пят ницу", + "▁ки та", + "▁Ку зне", + "же нно", + "жен но", + "ж енно", + "▁Бал тий", + "гу р", + "г ур", + "▁C y", + "Т С", + "▁предвари тельно", + "ter net", + "tern et", + "▁СП б", + "▁ло зу", + "ро вые", + "▁на ции", + "▁н ации", + "▁наци и", + "▁На ши", + "▁Наш и", + "▁содержа т", + "▁отмеча ется", + "▁отме чается", + "▁отмечает ся", + "те на", + "тен а", + "т ена", + "▁Pro f", + "▁Pr of", + "▁пара док", + "▁ка зни", + "▁каз ни", + "▁возна гра", + "▁треть ем", + "▁третье м", + "▁Ка вказ", + "▁Кав каз", + "▁целе сообраз", + "▁Face book", + "▁пере шли", + "сти ческое", + "с тическое", + "▁ke pt", + "▁цар и", + "▁ца ри", + "▁Э ту", + "▁I X", + "▁ IX", + "▁продол жается", + "▁продолжа ется", + "▁продолжает ся", + "▁дви жением", + "▁движение м", + "▁ли н", + "▁л ин", + "▁ лин", + "▁пере ехал", + "ня тся", + "нят ся", + "н ятся", + "▁сов ету", + "▁совет у", + "▁сове ту", + "▁П си", + "▁п ли", + "▁ пли", + "rol led", + "roll ed", + "▁ ;", + "▁за мер", + "▁заме р", + "▁зам ер", + "▁пер выми", + "▁первым и", + "▁разру ши", + "▁prob ably", + "E x", + "▁ро к", + "▁р ок", + "▁ рок", + "▁Го го", + "▁плат фор", + "▁и мен", + "▁име н", + "▁им ен", + "▁о пол", + "▁оп ол", + "▁опо л", + "за ния", + "▁лу ка", + "▁л ука", + "▁лук а", + "э л", + "▁кандида тов", + "▁кандидат ов", + "d d", + "▁соеди нение", + "▁наз вали", + "▁назва ли", + "▁назвал и", + "g u", + "▁пла ты", + "▁плат ы", + "▁окружа ющих", + "способ ности", + "нди я", + "н дия", + "▁Са мое", + "▁Сам ое", + "▁Само е", + "фт а", + "ф та", + "▁sec urity", + "ва м", + "в ам", + "▁J im", + "an da", + "and a", + "▁п рили", + "▁при ли", + "▁пр или", + "эр о", + "э ро", + "▁право охрани", + "▁лу к", + "▁ лук", + "▁пе че", + "▁ку ро", + "▁кур о", + "▁ куро", + "▁губерна тора", + "▁губернатор а", + "▁D en", + "▁De n", + "▁приз ван", + "▁s tra", + "▁st ra", + "▁str a", + "▁ stra", + "ш вили", + "▁судь бе", + "▁а бо", + "▁аб о", + "▁r ule", + "▁rul e", + "▁ru le", + "▁здравоохра нения", + "▁раз вле", + "▁те лом", + "▁тело м", + "▁тел ом", + "▁г лаго", + "▁гла го", + "▁глаг о", + "▁пле мени", + "▁племен и", + "▁со тен", + "▁сот ен", + "▁специаль ного", + "▁специ ального", + "▁специально го", + "▁th ous", + "▁называ емые", + "▁G ar", + "ст ную", + "с тную", + "▁те чения", + "▁sp read", + "▁Д НК", + "Че р", + "Ч ер", + "om a", + "o ma", + "▁Р ез", + "▁Ре з", + "▁с оло", + "▁со ло", + "▁cult ural", + "▁па рка", + "▁пар ка", + "▁парк а", + "▁значи тельное", + "▁значительно е", + "▁дыха ние", + "▁pro duce", + "▁produ ce", + "▁produc e", + "▁хозя ин", + "▁хозяи н", + "▁француз ских", + "р мо", + "ак а", + "а ка", + "ма гни", + "▁при нце", + "▁прин це", + "▁принц е", + "▁Ч ай", + "▁Ча й", + "▁Н ас", + "▁На с", + "▁наме рения", + "▁намере ния", + "▁сла вы", + "▁слу шать", + "▁слуша ть", + "в ского", + "▁гра ницей", + "▁грани цей", + "▁границе й", + "▁границ ей", + "ле нд", + "лен д", + "▁вы зывают", + "▁вызыва ют", + "stit ution", + "▁effort s", + "▁К ай", + "▁Ка й", + "▁жерт ву", + "▁жертв у", + "▁Из раиль", + "▁Изра иль", + "▁Израи ль", + "▁Jos eph", + "▁Jose ph", + "por ation", + "po ration", + "p oration", + "▁сбор ник", + "ко выми", + "ковым и", + "ковы ми", + "▁воору женных", + "▁утвер ждают", + "▁утвержда ют", + "m ore", + "▁про текает", + "▁проте кает", + "▁протека ет", + "ге на", + "ген а", + "г ена", + "▁тек сте", + "▁текст е", + "▁Н Е", + "▁ НЕ", + "▁М я", + "ал а", + "а ла", + "▁се рия", + "▁м учи", + "▁му чи", + "▁болез ней", + "ве дению", + "веде нию", + "▁успе ли", + "▁успел и", + "▁sh are", + "▁стра нами", + "▁страна ми", + "▁странам и", + "▁un iversity", + "▁univers ity", + "нд е", + "н де", + "▁Совет ский", + "▁Сове тский", + "тка х", + "т ках", + "▁от пуска", + "▁отпу ска", + "▁отпуск а", + "▁ликви дации", + "▁ликвида ции", + "▁оборо ну", + "▁оборон у", + "▁насе лённых", + "▁населё нных", + "▁населён ных", + "▁Президен та", + "▁Президент а", + "▁мили ции", + "▁Ар хангель", + "▁полу чали", + "▁получа ли", + "▁получал и", + "▁B as", + "▁Ba s", + "▁tem per", + "▁П одо", + "▁По до", + "▁Под о", + "▁разгово ра", + "▁разговор а", + "▁чемпи оном", + "▁чемпион ом", + "▁effect s", + "▁за ведения", + "▁заве дения", + "▁вок за", + "▁П ВО", + "▁In f", + "▁se lected", + "▁select ed", + "▁house s", + "▁hous es", + "▁настоя щей", + "▁mov ie", + "▁ли стья", + "▁листь я", + "▁лист ья", + "▁че рный", + "▁чер ный", + "▁оппози ции", + "ac ity", + "▁тогда ш", + "▁гумани тар", + "▁специаль ный", + "▁специ альный", + "▁стра нице", + "▁страниц е", + "we r", + "w er", + "▁удоб но", + "▁услыша л", + "▁услы шал", + "▁д ев", + "▁де в", + "▁ дев", + "▁мето дом", + "▁метод ом", + "▁методо м", + "▁Си стема", + "▁устре м", + "▁D ou", + "▁Do u", + "▁Интере сно", + "av en", + "ave n", + "a ven", + "▁act ually", + "▁actual ly", + "▁пред мета", + "▁предме та", + "▁предмет а", + "▁со у", + "▁w a", + "▁ wa", + "ши сь", + "ent al", + "в ский", + "▁ком про", + "▁комп ро", + "▁е м", + "▁ ем", + "▁по роды", + "▁поро ды", + "▁пород ы", + "ва емой", + "ваем ой", + "▁discover ed", + "at ur", + "▁наси лия", + "▁насили я", + "▁обо рот", + "▁оборо т", + "▁ оборот", + "▁ма тро", + "▁мат ро", + "аль ных", + "а льных", + "▁во шёл", + "▁су ста", + "▁o il", + "▁уж ас", + "▁ужа с", + "▁фор мой", + "▁форм ой", + "ell ow", + "ello w", + "▁confl ict", + "t a", + "ce nd", + "c end", + "▁сцена рий", + "▁start ing", + "▁star ting", + "▁па кет", + "▁пак ет", + "▁паке т", + "▁обяза тельства", + "▁обязательств а", + "▁с тано", + "▁ст ано", + "▁ста но", + "▁стан о", + "▁ стано", + "▁образу ют", + "▁Свер длов", + "ша т", + "ш ат", + "▁Ir ish", + "▁B C", + "▁ BC", + "▁На ш", + "▁Sc ot", + "▁продол жают", + "▁продолжа ют", + "▁при вел", + "▁приве л", + "▁Д оста", + "▁До ста", + "ёт р", + "ё тр", + "▁s u", + "▁англий ском", + "ста вьте", + "став ьте", + "▁про стым", + "▁прос тым", + "▁просты м", + "▁сооб щений", + "▁сообще ний", + "▁ch air", + "пси хо", + "▁г ет", + "▁ге т", + "▁евро пейской", + "▁европей ской", + "▁по строения", + "▁построе ния", + "▁рам ки", + "▁в ходил", + "▁вход ил", + "▁входи л", + "▁поло сы", + "▁w estern", + "▁west ern", + "▁заяви ла", + "▁зая вила", + "▁заявил а", + "▁Нов го", + "▁суще ствовало", + "▁существо вало", + "▁существова ло", + "▁существовал о", + "▁возгла вля", + "▁вы зов", + "▁выз ов", + "▁вызо в", + "до рович", + "доро вич", + "га нди", + "ган ди", + "▁L and", + "▁La nd", + "сла н", + "сл ан", + "с лан", + "▁ра нга", + "▁ран га", + "▁Александ ров", + "▁Александр ов", + "▁for ms", + "▁form s", + "▁принадле жат", + "▁принадлежа т", + "▁мо щность", + "▁мощ ность", + "▁изу ча", + "▁c orn", + "▁cor n", + "▁ш лю", + "▁Б ю", + "▁нес ча", + "▁d iss", + "▁dis s", + "▁di ss", + "▁sc ore", + "▁обра тить", + "то вая", + "тов ая", + "това я", + "▁П ру", + "▁for est", + "▁fore st", + "чу к", + "▁ма шино", + "▁маши но", + "▁машин о", + "▁голо да", + "▁гол ода", + "▁голод а", + "▁ele ments", + "▁el ements", + "▁element s", + "▁хи тро", + "▁хит ро", + "▁позво лить", + "▁позволи ть", + "▁позволит ь", + "▁товари щ", + "▁уголов ного", + "▁G al", + "▁ро жда", + "▁ава рий", + "риа та", + "риат а", + "▁до мо", + "▁дом о", + "▁ домо", + "▁публи ку", + "▁J o", + "▁пово рачи", + "▁обстоя тельство", + "▁обстоятельств о", + "▁на вод", + "▁нав од", + "▁финан совых", + "▁финансо вых", + "▁финансов ых", + "▁кисло ты", + "х т", + "▁назна чение", + "▁пере живания", + "▁пережи вания", + "▁м ино", + "▁ми но", + "▁мин о", + "▁ мино", + "▁привле чь", + "ul ations", + "ulation s", + "▁О К", + "▁ ОК", + "▁раз вали", + "▁э нту", + "▁эн ту", + "▁указа ть", + "▁ука зать", + "▁эк ран", + "▁экра н", + "сси ей", + "▁объяс няет", + "▁вы ле", + "▁про ведении", + "▁прове дении", + "▁проведе нии", + "▁Тол стого", + "▁с бора", + "▁сбор а", + "▁сбо ра", + "▁can not", + "▁Цен тр", + "▁незна ко", + "in ated", + "ina ted", + "inate d", + "▁за гово", + "▁та ба", + "▁l ot", + "▁lo t", + "▁Со чи", + "▁Соч и", + "▁мо менту", + "▁момент у", + "▁res idents", + "▁resident s", + "▁ли чный", + "▁проек те", + "▁проект е", + "▁Макси ма", + "▁Максим а", + "▁fl oor", + "▁flo or", + "▁B oy", + "▁Bo y", + "▁сред ством", + "▁средств ом", + "▁средство м", + "▁ка пи", + "▁кап и", + "L e", + "▁интере сах", + "▁интереса х", + "т на", + "▁суще ствова", + "▁существо ва", + "сло ж", + "с лож", + "▁respons ible", + "▁испол ня", + "▁угро зы", + "▁part n", + "дь я", + "д ья", + "▁current ly", + "▁ва шу", + "▁ваш у", + "▁го това", + "▁гото ва", + "▁готов а", + "▁v oice", + "▁vo ice", + "▁т рой", + "▁тро й", + "▁тр ой", + "▁д ано", + "▁да но", + "▁дан о", + "▁экипа ж", + "▁G reek", + "▁Gre ek", + "▁Gree k", + "▁д ам", + "▁да м", + "▁ дам", + "▁он лайн", + "▁с ино", + "▁си но", + "▁Res earch", + "щен ко", + "щ енко", + "▁кла ссе", + "▁класс е", + "ля я", + "▁одно им", + "▁однои м", + "▁православ ной", + "▁правосла вной", + "▁пе тербург", + "пе ц", + "п ец", + "ли ка", + "лик а", + "▁Ar ts", + "▁Art s", + "▁F red", + "▁Fre d", + "▁ser ious", + "▁у дивительно", + "▁удиви тельно", + "▁про водил", + "▁проводи л", + "▁прово дил", + "▁провод ил", + "ст ность", + "стно сть", + "с тность", + "пи на", + "пин а", + "п ина", + "▁Петербур га", + "▁Петербург а", + "▁Петер бурга", + "▁ Петербурга", + "▁бассе йна", + "▁бассей на", + "▁бассейн а", + "ag ing", + "a ging", + "▁не рав", + "▁нер ав", + "▁нера в", + "рова нное", + "рован ное", + "▁за дание", + "▁зада ние", + "▁ex cept", + "▁remov ed", + "▁О лимпиа", + "▁сред них", + "пь ю", + "п ью", + "▁я с", + "▁ яс", + "д на", + "▁Генера л", + "▁I ts", + "▁It s", + "▁man aged", + "▁manag ed", + "▁ми ссии", + "▁мисси и", + "▁rec over", + "▁м олока", + "▁мо лока", + "▁моло ка", + "▁grow th", + "du ce", + "duc e", + "▁sp eed", + "▁spe ed", + "▁pot ential", + "ве ль", + "вел ь", + "▁б орт", + "▁бо рт", + "▁бор т", + "` ,", + "▁вол ос", + "▁воло с", + "аль ные", + "а льные", + "ма ты", + "мат ы", + "ре нию", + "▁var iety", + "▁vari ety", + "▁называ емый", + "▁Еги пта", + "▁группи ровки", + "▁про р", + "▁пр ор", + "▁от правля", + "▁отпра вля", + "▁str eng", + "▁stre ng", + "▁s erve", + "▁serv e", + "▁ser ve", + "▁у язви", + "▁кро вью", + "▁кров ью", + "▁кровь ю", + "▁M em", + "▁Me m", + "▁F e", + "▁путеше ствен", + "▁ре лье", + "▁рель е", + "▁лег ких", + "▁современ ном", + "▁Джей мс", + "▁информа цией", + "▁Рича рд", + "штей на", + "штейн а", + "ште йна", + "▁из мен", + "▁изме н", + "▁Кни га", + "▁опас но", + "▁опа сно", + "са й", + "с ай", + "▁справед ливости", + "▁справедливо сти", + "▁справедли вости", + "▁безопас ность", + "ar den", + "ard en", + "▁за няли", + "▁заня ли", + "▁занял и", + "b ur", + "for ce", + "!\" .", + "! \".", + "▁com ing", + "▁co ming", + "▁ coming", + "ко стью", + "кость ю", + "кос тью", + "ша ло", + "шал о", + "t r", + "способ ность", + "I A", + "▁S um", + "▁Su m", + "ре нным", + "рен ным", + "▁J ud", + "▁Ju d", + "▁О АО", + "▁ин вали", + "▁миро воз", + "▁миров оз", + "ки ды", + "к иды", + "▁выпол няет", + "▁выполня ет", + "▁А ла", + "▁Ал а", + "▁of fer", + "▁off er", + "▁пере ве", + "▁пер еве", + "▁воен ное", + "▁военно е", + "▁вое нное", + "▁жидко сти", + "▁жид кости", + "▁преодо леть", + "▁преодоле ть", + "зе т", + "з ет", + "▁от цу", + "нс ким", + "н ским", + "▁ле вом", + "▁Вы бор", + "▁живо пи", + "▁при дет", + "▁прид ет", + "▁с пон", + "▁спо н", + "▁re fer", + "▁ref er", + "▁A v", + "▁С вобо", + "▁Сво бо", + "▁Св обо", + "▁ Свобо", + "▁оста вив", + "▁b ound", + "▁bo und", + "Дина мо", + "i i", + "▁из ну", + "▁В КП", + "▁же не", + "▁жен е", + "▁за ново", + "вно го", + "в ного", + "on ic", + "o nic", + "▁М ИД", + "▁МИ Д", + "▁high ly", + "S h", + "▁multip le", + "▁multi ple", + "▁расши рения", + "▁не сет", + "▁нес ет", + "▁С ол", + "▁Со л", + "▁офи церы", + "▁офице ры", + "▁офицер ы", + "▁чув ствовать", + "▁чувство вать", + "▁со крови", + "▁поз дра", + "▁позд ра", + "▁красо ты", + "▁П ала", + "▁Па ла", + "▁за рабаты", + "▁зара баты", + "▁числе нности", + "▁маль чика", + "▁мальчик а", + "▁мальчи ка", + "▁постоя нного", + "▁постоянно го", + "ва ющим", + "ваю щим", + "▁Це за", + "at ers", + "ater s", + "a ters", + "▁t end", + "▁te nd", + "▁ten d", + "▁ tend", + "▁ры ца", + "▁принци пу", + "▁принцип у", + "▁не пода", + "▁непо да", + "▁непод а", + "▁я з", + "▁ яз", + "▁по един", + "▁пое дин", + "▁во йти", + "▁вой ти", + "▁молоде жи", + "▁по вод", + "▁пово д", + "▁пов од", + "▁ду хо", + "▁дух о", + "ко мен", + "ком ен", + "▁act ivity", + "▁activ ity", + "% )", + "▁демокра тии", + "▁С ви", + "▁Св и", + "▁то к", + "▁т ок", + "▁ ток", + "на й", + "н ай", + "же нцев", + "жен цев", + "▁c ities", + "▁cit ies", + "▁финан сов", + "▁финансо в", + "N ame", + "▁sl ow", + "al le", + "all e", + "▁organ iz", + "▁phys ical", + "Ш а", + "Во сто", + "▁конкур са", + "▁конкурс а", + "et te", + "ett e", + "▁восста навли", + "▁a ng", + "▁an g", + "▁ ang", + "▁se xual", + "▁sex ual", + "▁преодо ле", + "▁Л ер", + "▁Ле р", + "▁реги онов", + "▁регион ов", + "▁даль нейшего", + "▁дальней шего", + "▁участи и", + "▁Мэ ри", + "ду ше", + "душ е", + "▁медици нской", + "▁ши ф", + "▁ шиф", + "▁рас стояния", + "▁расстоя ния", + "pa ss", + "p ass", + "р г", + "▁инте гра", + "▁траге дии", + "▁у становка", + "▁уста новка", + "▁устано вка", + "▁установ ка", + "▁пишу т", + "це ле", + "▁ин нова", + "▁име ю", + "▁Укра ина", + "▁Украи на", + "▁Украин а", + "▁Д жи", + "▁Дж и", + "▁Р ИА", + "▁Мед веде", + "et y", + "e ty", + "▁соб ственность", + "▁собствен ность", + "▁собственно сть", + "из ма", + "изм а", + "и зма", + "▁а фрикан", + "▁Бело рус", + "▁L ife", + "▁Li fe", + "▁ссы лкой", + "то ми", + "том и", + "en der", + "end er", + "e nder", + "▁ди станции", + "▁дистан ции", + "▁выз вало", + "▁вызва ло", + "▁вызвал о", + "▁пози ция", + "▁Большо го", + "▁позво но", + "▁за думы", + "▁задум ы", + "▁заду мы", + "▁факуль тета", + "▁факультет а", + "▁факульте та", + "▁Бо гом", + "▁Бог ом", + "▁Бого м", + "▁ле кции", + "▁лек ции", + "вя зыва", + "▁un c", + "▁ unc", + "▁транс форма", + "▁медици ны", + "▁от нести", + "▁отнес ти", + "▁отве чать", + "▁отвеча ть", + "▁con ne", + "▁v ote", + "▁vot e", + "▁vo te", + "▁Sw ed", + "▁паралле льно", + "▁Ge org", + "▁Geor g", + "▁на р", + "▁н ар", + "▁ нар", + "настоя щему", + "ран же", + "▁Лу ны", + "▁при ходят", + "▁приход ят", + "▁прихо дят", + "ens us", + "▁Pac ific", + "▁телефон у", + "▁телефо ну", + "▁по обе", + "▁поо бе", + "▁последу ющих", + "ев ской", + "е вской", + "па ри", + "пар и", + "▁b ridge", + "▁опреде ленного", + "▁определен ного", + "▁определенно го", + "▁удосто ен", + "▁Му хам", + "▁и мену", + "▁име ну", + "▁имен у", + "▁круп ного", + "▁крупно го", + "▁исследова телей", + "▁in tended", + "▁противо дей", + "▁< /", + "▁ ", + "Та к", + "Т ак", + "▁p urs", + "▁pur s", + "▁авиа ком", + "▁но вей", + "▁нов ей", + "▁ новей", + "▁ограни чен", + "до вая", + "дова я", + "дов ая", + "▁поме щение", + "▁проз ви", + "пра вля", + "прав ля", + "не нными", + "нен ными", + "ненным и", + "▁раз ры", + "▁по кон", + "▁поко н", + "ти рования", + "тирова ния", + "▁прода ж", + "▁распо ложено", + "▁расположен о", + "▁расположе но", + "▁зна чений", + "▁Mc C", + "о фи", + "▁разме ром", + "▁размер ом", + "▁се рию", + "▁ис лам", + "▁St ep", + "▁Ste p", + "mon d", + "m ond", + "▁закон чил", + "▁закончи л", + "▁рубе жом", + "▁рубеж ом", + "ло жены", + "ложе ны", + "ложен ы", + "........ ........", + "▁пои ски", + "▁поиск и", + "▁низ ко", + "▁к р", + "▁ кр", + "ри нга", + "рин га", + "ринг а", + "▁prov ides", + "▁provide s", + "▁то чности", + "▁точно сти", + "▁точ ности", + "ir o", + "i ro", + "▁с бы", + "ca n", + "c an", + "Ко гда", + "▁представи теля", + "▁спа сения", + "▁спасе ния", + "▁кру гу", + "▁круг у", + "то сть", + "▁лю дях", + "▁людя х", + "▁люд ях", + "g s", + "▁под нялся", + "▁подня лся", + "▁поднял ся", + "фор а", + "фо ра", + "х ла", + "то вым", + "▁от веты", + "▁ответ ы", + "▁отве ты", + "▁па то", + "ком плек", + "▁посёл ка", + "▁называ л", + "▁су дом", + "▁суд ом", + "▁судо м", + "▁небольшо е", + "▁l if", + "▁заяви ли", + "▁зая вили", + "▁заявил и", + "▁ис пуга", + "▁sen ior", + "са мо", + "сам о", + "чу ю", + "ч ую", + "се кре", + "сек ре", + "▁show ed", + "▁д ете", + "▁де те", + "▁дет е", + "▁ дете", + "▁я влялись", + "▁явля лись", + "▁яв лялись", + "СК О", + "С КО", + "▁с кре", + "▁ск ре", + "▁ скре", + "от кры", + "▁твор честве", + "▁не вро", + "▁н евро", + "▁нев ро", + "зу ет", + "▁т вори", + "▁твор и", + "▁тво ри", + "▁тв ори", + "▁ твори", + "▁ре форма", + "▁реформ а", + "▁рефор ма", + "▁appro ach", + "▁класси ческой", + "▁M at", + "▁Ma t", + "▁су дя", + "▁суд я", + "▁благо твори", + "T A", + "▁пре р", + "▁пр ер", + "▁руко водя", + "▁руковод я", + "▁Все россий", + "▁откры тым", + "▁открыты м", + "▁за ла", + "▁з ала", + "▁зал а", + "▁ зала", + "▁укреп ления", + "▁укре пления", + "▁укрепле ния", + "▁га стро", + "▁ц ы", + "▁ цы", + "▁acqu ired", + "▁внутрен ний", + "▁С Н", + "▁J ul", + "▁Ju l", + "▁Но вого", + "▁Ново го", + "ло во", + "лов о", + "▁ра зор", + "▁раз ор", + "▁разо р", + "▁O b", + "▁ Ob", + "▁w ear", + "▁we ar", + "▁на шими", + "▁наши ми", + "▁наш ими", + "▁нашим и", + "▁ин три", + "Петербур га", + "Петербург а", + "▁I N", + "▁ IN", + "▁с ним", + "▁сни м", + "▁вы ходе", + "▁выход е", + "▁Арме нии", + "нг е", + "н ге", + "▁компози ции", + "▁Буду чи", + "▁Буд учи", + "п т", + "▁ch ampionship", + "▁champion ship", + "▁destroy ed", + "▁про цвета", + "▁T y", + "▁распоря жение", + "▁Луч ше", + "▁ува жа", + "▁рас тение", + "▁расте ние", + "чи вает", + "чива ет", + "▁L uc", + "▁Lu c", + "▁части цы", + "▁час тицы", + "▁частиц ы", + "▁re place", + "▁repl ace", + "▁Об щая", + "▁эффек тивно", + "▁эффектив но", + "▁почув ствовал", + "sp e", + "s pe", + "▁попыт ку", + "▁попы тку", + "▁оста льное", + "▁ост альное", + "▁во преки", + "ет ра", + "е тра", + "▁во время", + "▁при сутствие", + "▁присут ствие", + "▁секре таря", + "▁секрета ря", + "▁секретар я", + "▁уда ров", + "▁удар ов", + "▁Це ль", + "▁съ езда", + "▁съе зда", + "▁съез да", + "▁съезд а", + "bur y", + "b ury", + "▁диви зий", + "▁дивизи й", + "▁при мет", + "▁приме т", + "▁прим ет", + "▁руководи телем", + "▁Con f", + "▁узна ли", + "▁уз нали", + "▁узнал и", + "▁захва тить", + "▁захват ить", + "▁спи ной", + "▁тек стов", + "▁текст ов", + "▁тексто в", + "▁глав ную", + "тель нее", + "▁ма терии", + "▁матери и", + "▁мате рии", + "van ia", + "▁rail way", + "▁бата реи", + "ра до", + "рад о", + "▁за лива", + "▁зали ва", + "▁залив а", + "ве ния", + "вени я", + "▁не во", + "▁н ево", + "▁нев о", + "▁ нево", + "▁инду стри", + "▁замести теля", + "▁ш т", + "▁ шт", + "▁m i", + "▁T hen", + "▁The n", + "▁Th en", + "▁извест ность", + "▁известно сть", + "▁изве стность", + "▁могу ще", + "▁тру дя", + "▁труд я", + "▁на ступ", + "▁Васи лия", + "▁Васили я", + "▁У спе", + "▁Ус пе", + "ut s", + "u ts", + "▁тол щи", + "па ду", + "пад у", + "▁W al", + "▁for ward", + "▁вос пользова", + "▁восполь зова", + "▁кавале рий", + "▁гражда нского", + "▁граждан ского", + "▁же лая", + "▁жела я", + "▁жел ая", + "▁n othing", + "▁not hing", + "▁no thing", + "▁хи мии", + "▁хими и", + "▁Ш ан", + "▁Ша н", + "▁департа мента", + "▁гру бо", + "▁Тол стой", + "▁органи зацией", + "▁организа цией", + "▁предста влений", + "▁доказа тельств", + "▁свидетель ствуют", + "▁свидетельству ют", + "▁Но вости", + "▁Ново сти", + "▁в виду", + "гра мм", + "грам м", + "▁укреп ле", + "▁укре пле", + "фи о", + "▁defe at", + "▁lead ers", + "▁leader s", + "▁знако мых", + "▁знаком ых", + "▁знакомы х", + "▁защи щать", + "▁защища ть", + "▁рав ни", + "▁ равни", + "▁Soc ial", + "▁So cial", + "▁хозя ина", + "▁хозяин а", + "▁хозяи на", + "про м", + "пр ом", + "п ром", + "Б У", + "▁вос питан", + "▁воспита н", + "клады вать", + "▁f a", + "рито риаль", + "gy pt", + "дру г", + "д руг", + "▁у воль", + "▁уво ль", + "▁know ledge", + "▁га лакти", + "▁до пустить", + "▁допусти ть", + "▁допу стить", + "ли цы", + "▁тру ды", + "▁труд ы", + "▁упра влении", + "▁pl anned", + "▁plan ned", + "▁plann ed", + "▁де фици", + "▁п ев", + "▁пе в", + "▁ пев", + "▁поня тий", + "it ness", + "▁к арт", + "▁ка рт", + "▁кар т", + "зи рованных", + "зирова нных", + "зирован ных", + "▁re form", + "▁ref orm", + "▁осуществ ить", + "▁осуществи ть", + "▁см арт", + "▁сма рт", + "▁хоро шим", + "▁ch arge", + "▁char ge", + "▁charg e", + "▁объ ема", + "▁объем а", + "▁объе ма", + "▁im plement", + "▁пра вах", + "▁права х", + "▁с ок", + "▁со к", + "▁ сок", + "тт ер", + "т тер", + "▁m aster", + "ле тря", + "лет ря", + "h t", + "▁ми трополи", + "▁митропо ли", + "` .", + "▁опреде ленный", + "▁определен ный", + "▁при вер", + "▁приве р", + "▁прив ер", + "▁сте п", + "▁ степ", + "▁счет е", + "▁сче те", + "▁qu arter", + "ле я", + "▁май ор", + "▁ майор", + "ed d", + "e dd", + "▁ро зо", + "▁роз о", + "▁плат формы", + "▁платфор мы", + "▁al one", + "▁терро ристи", + "▁террори сти", + "▁m atter", + "▁mat ter", + "▁ин спе", + "▁с его", + "▁се го", + "▁сег о", + "ере нци", + "ерен ци", + "ки пе", + "▁По мо", + "▁Пом о", + "▁Участ ник", + "▁Уча стник", + "▁C le", + "▁Cl e", + "▁we bs", + "▁web s", + "▁у строи", + "▁устро и", + "▁поли ция", + "▁уч реди", + "▁учре ди", + "▁систе мати", + "▁система ти", + "▁m orning", + "▁mor ning", + "▁Л ет", + "▁Ле т", + "▁серьез ные", + "аль ный", + "а льный", + "▁s ail", + "par t", + "p art", + "▁удоволь ствием", + "▁удовольствие м", + "▁с лад", + "▁сла д", + "▁сл ад", + "ur ban", + "urb an", + "▁гра ница", + "▁грани ца", + "▁границ а", + "▁при ва", + "▁прив а", + "▁And roid", + "▁при вела", + "▁приве ла", + "▁привел а", + "▁у шли", + "ри лся", + "рил ся", + "р ился", + "чи тся", + "чит ся", + "ч ится", + "▁стрель бы", + "бе ри", + "бер и", + "▁E lect", + "▁El ect", + "▁Ele ct", + "▁филь мы", + "▁фильм ы", + "бы е", + "▁са ти", + "▁отря ды", + "▁отряд ы", + "▁един ственной", + "▁единственно й", + "▁Брази лии", + "▁музе е", + "хи й", + "ль на", + "▁Се ло", + "▁не долго", + "▁а ́", + "▁хоро шей", + "▁участ ков", + "ля тор", + "лят ор", + "▁убе дить", + "▁убеди ть", + "го ря", + "гор я", + "▁циф ры", + "▁за к", + "▁з ак", + "▁ зак", + "▁сохра нились", + "▁сохрани лись", + "▁p aid", + "▁Ир кут", + "▁Б ол", + "▁Бо л", + "W e", + "▁с л", + "▁ сл", + "▁Л ен", + "▁Ле н", + "▁разрабо тку", + "зе ра", + "зер а", + "з ера", + "▁ге ологи", + "▁гео логи", + "▁у льтра", + "Ма н", + "М ан", + "▁со брал", + "▁соб рал", + "▁собра л", + "▁g iving", + "▁G all", + "▁Gal l", + "▁объяс нение", + "▁федера льного", + "зы вы", + "зыв ы", + "▁st ore", + "тя ми", + "т ями", + "▁штра ф", + "▁Ре волю", + "▁pre p", + "▁pr ep", + "▁А бра", + "▁Аб ра", + "дно м", + "д ном", + "▁F ire", + "▁Герма нию", + "▁Ле бе", + "ди оз", + "дио з", + "▁B ob", + "▁Bo b", + "▁от тен", + "▁отте н", + "▁духов ного", + "▁духо вного", + "▁духовно го", + "▁сред няя", + "▁устано вления", + "▁установ ления", + "▁com es", + "▁co mes", + "▁come s", + "▁по хва", + "▁пох ва", + "▁му жем", + "▁муж ем", + "▁муже м", + "▁Швейца рии", + "▁st ations", + "▁stat ions", + "▁station s", + "ид а", + "и да", + "▁необы чай", + "an don", + "and on", + "▁ре цен", + "▁S und", + "▁Sun d", + "▁Su nd", + "▁сторон ников", + "▁к н", + "▁Вя че", + "▁север у", + "▁показа лось", + "▁показало сь", + "▁с держи", + "▁Educ ation", + "▁желез а", + "▁желе за", + "▁широ кой", + "▁широко й", + "▁there fore", + "▁M ax", + "▁Ma x", + "▁зе лё", + "▁вы ходить", + "▁выход ить", + "▁выходит ь", + "во т", + "в от", + "▁при лага", + "лю ми", + "▁возоб нови", + "▁возобно ви", + "▁res ist", + "▁s n", + "m ir", + "за в", + "з ав", + "▁ра нен", + "▁ран ен", + "▁ране н", + "▁раз дела", + "▁разде ла", + "▁раздел а", + "rug g", + "r ugg", + "▁пов стан", + "▁устано вили", + "▁установи ли", + "▁установ или", + "▁установил и", + "мс кой", + "м ской", + "▁бесе ды", + "▁эмо ции", + "▁уда ры", + "▁удар ы", + "З на", + "▁приме няют", + "▁применя ют", + "▁w all", + "▁wa ll", + "▁D ie", + "▁Di e", + "▁контра к", + "▁контр ак", + "▁Т ере", + "▁Те ре", + "▁Тер е", + "▁четвер г", + "▁Леони д", + "▁Леон ид", + "▁чи сли", + "▁ числи", + "▁s pl", + "▁sp l", + "ran ge", + "r ange", + "ен ья", + "ень я", + "е нья", + "▁сло жной", + "▁сложно й", + "▁бюро кра", + "зер ца", + "▁це ну", + "▁цен у", + "▁да нное", + "▁дан ное", + "▁ex tended", + "▁extend ed", + "▁под готовка", + "▁подготов ка", + "▁подгото вка", + "▁O lymp", + "сту пит", + "ступ ит", + "ступи т", + "▁влия ет", + "▁rec ording", + "▁record ing", + "▁бол гар", + "▁att ract", + "▁значи тельные", + "▁де сант", + "▁деса нт", + "▁ десант", + "▁взаимо действие", + "▁взаимодей ствие", + "▁ex pected", + "▁expect ed", + "пп и", + "п пи", + "шё н", + "ш ён", + "▁неболь шая", + "▁по зади", + "▁поза ди", + "▁ав стра", + "▁Ch ief", + "▁периоди чески", + "b o", + "ло ка", + "лок а", + "▁но сить", + "▁носи ть", + "▁носит ь", + "▁нос ить", + "▁ носить", + "▁чер те", + "▁черт е", + "▁желез о", + "▁желе зо", + "гово рил", + "говор ил", + "говори л", + "▁ба зи", + "▁баз и", + "ти ческом", + "р ным", + "▁м алы", + "▁ма лы", + "тчи ков", + "тчик ов", + "т чиков", + "▁дож дь", + "▁уда валось", + "лка ми", + "л ками", + "▁i r", + "▁ ir", + "▁некоторы ми", + "▁некото рыми", + "▁некоторым и", + "▁бере гов", + "▁берег ов", + "▁s earch", + "▁se arch", + "▁появи тся", + "▁поя вится", + "▁в ера", + "▁ве ра", + "▁вер а", + "▁ вера", + "▁ex tra", + "▁ext ra", + "▁press ure", + "за вод", + "зав од", + "▁Е й", + "▁полков ника", + "▁полковник а", + "▁малень ких", + "▁глу бины", + "▁глуби ны", + "▁охо тно", + "▁охот но", + "▁В ьет", + "▁сред ний", + "▁sugg ested", + "▁suggest ed", + "▁чинов ников", + "ЕН ИЕ", + "ЕНИ Е", + "Е НИЕ", + "▁Че хослова", + "жи ли", + "жил и", + "ж или", + "▁соста вили", + "▁состав или", + "▁составил и", + "▁ре гла", + "▁s le", + "▁sl e", + "Пе ре", + "Пер е", + "П ере", + "▁тяже лые", + "▁повре ждения", + "▁по ляр", + "▁пол яр", + "▁поля р", + "▁обслужи вания", + "▁распо лагается", + "▁располага ется", + "▁П ря", + "▁еди ной", + "▁един ой", + "▁едино й", + "▁разрабо тчиков", + "▁разработчи ков", + "ге нт", + "ген т", + "г ент", + "▁един ство", + "▁па лу", + "▁пал у", + "▁п ше", + "▁do ing", + "▁основа ний", + "▁осно ваний", + "it tle", + "itt le", + "▁g rew", + "▁gr ew", + "▁gre w", + "▁предыду щих", + "▁Ря дом", + "▁Ряд ом", + "▁П ётр", + "ве дя", + "вед я", + "ч ле", + "▁Mus lim", + "▁от стра", + "▁отс тра", + "▁челове чество", + "ъ е", + "▁по ворот", + "▁пово рот", + "▁поворо т", + "▁fav or", + "▁у полномо", + "▁Ин форма", + "▁де лами", + "▁дела ми", + "▁делам и", + "▁Off ice", + "▁Offic e", + "er ry", + "err y", + "▁гла внокоман", + "▁Le g", + "▁accept ed", + "ми ла", + "мил а", + "м ила", + "▁под держка", + "▁поддерж ка", + "▁подразделе ний", + "▁N orthern", + "▁North ern", + "хи на", + "хин а", + "х ина", + "▁тек сты", + "▁текст ы", + "▁ю би", + "ве ты", + "вет ы", + "в еты", + "ска р", + "ск ар", + "с кар", + "▁Са у", + "▁при меча", + "▁приме ча", + "▁ примеча", + "▁континен та", + "▁imp act", + "▁государ ственном", + "▁государстве нном", + "▁фай ла", + "▁файл а", + "▁suff ered", + "ip l", + "i pl", + "▁ша нс", + "▁шан с", + "▁медици нских", + "st ra", + "str a", + "s tra", + "▁за был", + "▁забы л", + "▁пере шел", + "лейте нант", + "лейтенан т", + "▁s ched", + "▁sc hed", + "▁sch ed", + "▁sche d", + "▁тяже лых", + "ще в", + "щ ев", + "sh ire", + "s hire", + "ri son", + "ris on", + "r ison", + "▁Т ара", + "▁Та ра", + "▁Тар а", + "▁Со лов", + "▁Соло в", + "▁Сол ов", + "▁интере са", + "▁интерес а", + "it an", + "ita n", + "ceed ed", + "▁зву ка", + "▁звук а", + "▁зв ука", + "▁про ез", + "▁бро сил", + "▁броси л", + "▁свя той", + "ко сно", + "кос но", + "▁изгото вления", + "▁фай лов", + "▁файл ов", + "▁занима ют", + "▁ку пил", + "▁куп ил", + "▁С бор", + "пи сать", + "писа ть", + "w ith", + "▁По ро", + "▁Пор о", + "▁гром ко", + "▁полови ной", + "▁mov ing", + "▁двига телей", + "▁це не", + "▁цен е", + "▁сто ять", + "▁стоя ть", + "▁стоят ь", + "▁А ССР", + "▁Ан тон", + "▁Анто н", + "▁пользу ются", + "▁l ic", + "▁про водят", + "▁прово дят", + "▁провод ят", + "▁проводя т", + "▁пода рок", + "▁подар ок", + "▁та нк", + "▁тан к", + "ed om", + "e dom", + "це т", + "ц ет", + "▁v oid", + "▁vo id", + "ло жено", + "ложе но", + "ложен о", + "▁me ant", + "▁mean t", + "▁бом бы", + "▁бомб ы", + "▁и ди", + "▁ид и", + "▁родствен ников", + "▁ша гом", + "▁шаг ом", + "ма ны", + "ман ы", + "▁пред ков", + "w in", + "▁На та", + "**** ****", + "▁Венг рии", + "▁ла нд", + "▁ ланд", + "▁Val ley", + "▁излу чения", + "Б Р", + "▁near by", + "▁пол ная", + "▁го рных", + "▁гор ных", + "▁про шёл", + "▁прош ёл", + "▁ста кан", + "▁стака н", + "▁согла со", + "фа ши", + "▁е ре", + "▁ ере", + "▁основа ние", + "▁осно вание", + "▁ш ай", + "▁ша й", + "▁ шай", + "▁успе хи", + "▁успех и", + "▁conduct ed", + "▁у пря", + "мо нов", + "мон ов", + "моно в", + "м онов", + "▁миллиар дов", + "▁лю бить", + "▁люби ть", + "▁любит ь", + "▁T ri", + "▁Tr i", + "▁ве личе", + "▁вели че", + "▁откры ли", + "▁открыл и", + "▁t im", + "зо ло", + "з оло", + "че ром", + "чер ом", + "▁ж ё", + "▁ жё", + "▁разли чным", + "▁d oor", + "▁do or", + "▁ку сок", + "▁кусо к", + "▁возду шных", + "▁воздуш ных", + "ки сло", + "кис ло", + "▁Found ation", + "▁Ж ена", + "▁Же на", + "▁Жен а", + "жд ой", + "ждо й", + "ж дой", + "▁женщи ной", + "▁женщин ой", + "▁re ach", + "ко ном", + "кон ом", + "коно м", + "к оном", + "▁недоста тки", + "▁предпо ложи", + "хра нили", + "храни ли", + "хран или", + "▁зу бы", + "▁зуб ы", + "во дитель", + "води тель", + "ше ва", + "шев а", + "ш ева", + "ка у", + "▁услови ям", + "▁условия м", + "▁за прос", + "▁запро с", + "▁у хода", + "▁ухо да", + "▁уход а", + "▁пла тье", + "▁плат ье", + "▁be gin", + "▁beg in", + "ф ро", + "▁си нд", + "▁Ка ждая", + "▁произ во", + "▁прои зво", + "▁похо ж", + "Ро ссия", + "▁Болга рии", + "▁rec ords", + "▁record s", + "▁а ги", + "▁ аги", + "▁суббо ту", + "▁И лья", + "▁Иль я", + "▁Ил ья", + "▁ра д", + "▁р ад", + "▁ рад", + "▁O tt", + "сл ь", + "с ль", + "▁Ze aland", + "▁ли чные", + "▁ личные", + "▁оши бку", + "▁ошиб ку", + "▁T ime", + "▁Tim e", + "▁ Time", + "ва юсь", + "ваю сь", + "▁на родом", + "▁наро дом", + "▁народ ом", + "▁small er", + "▁требо вание", + "▁зависи мость", + "▁вы ставки", + "▁выстав ки", + "▁выста вки", + "▁цен тров", + "▁центр ов", + "▁из ыска", + "▁вы вести", + "▁выве сти", + "▁отказа лись", + "з ти", + "in ger", + "ing er", + "▁И зу", + "▁Из у", + "зе ле", + "зел е", + "ut en", + "ute n", + "u ten", + "▁адре са", + "▁адрес а", + "▁f irm", + "▁ме стами", + "▁места ми", + "▁местам и", + "▁авто ритет", + "▁автори тет", + "▁авторите т", + "▁Х ра", + "ще нная", + "щен ная", + "▁l ives", + "▁live s", + "▁spe ak", + "▁с лия", + "▁сли я", + "▁умол ча", + "ша х", + "▁си деть", + "▁ста рта", + "▁стар та", + "▁ма слом", + "▁масло м", + "▁пода вля", + "▁за гряз", + "ке ан", + "▁sit uation", + "▁situ ation", + "▁о пусти", + "▁опу сти", + "емо му", + "емом у", + "е мому", + "▁Н ы", + "ff ic", + "f fic", + "▁богат ства", + "▁разви ва", + "▁сле дить", + "▁след ить", + "де лы", + "дел ы", + "▁ка кому", + "▁каком у", + "▁лет них", + "▁ летних", + "▁Flor ida", + "▁о ле", + "▁ оле", + "▁на вига", + "▁Ком пания", + "P h", + "▁h op", + "▁cont em", + "▁англий ской", + "▁С ай", + "▁Са й", + "▁поста вили", + "▁поставил и", + "▁постав или", + "▁с чета", + "▁счет а", + "▁сче та", + "▁б ай", + "▁ба й", + "▁ бай", + "▁зако нам", + "▁закон ам", + "▁закона м", + "▁си рий", + "▁со зыва", + "ри са", + "рис а", + "▁настоя щим", + "▁cover ed", + "▁тридца ти", + "▁пои ско", + "▁поиск о", + "▁талант ли", + "▁талан тли", + "▁Ch arl", + "▁Char l", + "лет няя", + "al ing", + "ali ng", + "a ling", + "▁в рачи", + "▁вра чи", + "▁врач и", + "▁и спор", + "▁ис пор", + "▁испо р", + "▁кор не", + "ко вую", + "ков ую", + "кову ю", + "▁обнару жены", + "▁обнаружен ы", + "но вого", + "ново го", + "▁ста ру", + "▁стар у", + "▁cont ent", + "▁при част", + "▁вен гер", + "▁режисс ёра", + "▁режиссёр а", + "▁секун ды", + "▁секунд ы", + "▁Ф ре", + "▁оста вили", + "▁оставил и", + "▁террито рий", + "▁construct ed", + "▁t al", + "▁собира лся", + "▁ти пы", + "▁тип ы", + "in als", + "inal s", + "ina ls", + "▁оста ётся", + "▁распро стран", + "▁распростра н", + "▁agre ement", + "▁W all", + "▁Wal l", + "▁вне шний", + "▁внеш ний", + "▁бой цов", + "sy l", + "s yl", + "▁pat tern", + "▁ли цами", + "▁лица ми", + "▁лицам и", + "▁ю жно", + "▁выра жа", + "▁Ор лов", + "▁широ кое", + "▁широко е", + "▁публи ци", + "▁уве рены", + "▁уверен ы", + "▁по воро", + "▁пово ро", + "re ct", + "rec t", + "r ect", + "▁забы ть", + "▁Основ ной", + "▁В след", + "во дил", + "вод ил", + "води л", + "▁показа но", + "▁показан о", + "хи х", + "х их", + "ми л", + "м ил", + "▁bas is", + "▁Москов ский", + "▁помо гают", + "▁помога ют", + "▁сегодня шний", + "▁сегодняш ний", + "▁э лли", + "▁S outhern", + "▁South ern", + "си ю", + "▁столи цу", + "▁c ode", + "▁co de", + "▁ code", + "▁дерев ню", + "ня к", + "▁прекра тить", + "хра ни", + "хран и", + "▁На гра", + "▁pro pos", + "▁prop os", + "▁сообра жения", + "мо ло", + "мол о", + "м оло", + "бю т", + "б ют", + "▁init i", + "▁предпо ложение", + "▁ма тема", + "▁мат ема", + "▁мате ма", + "ё д", + "na m", + "n am", + "▁Ком муни", + "▁кам ней", + "▁Rad io", + "▁недоста ток", + "▁недостато к", + "▁па тру", + "▁товари щей", + "▁товарищ ей", + "▁товарище й", + "▁То чно", + "▁широ кий", + "▁по лей", + "▁пол ей", + "▁поле й", + "▁f r", + "▁пра вя", + "▁прав я", + "▁необы к", + "ющую ся", + "ю щуюся", + "▁процеду ры", + "из ме", + "изм е", + "и зме", + "▁предоста вить", + "▁И наче", + "▁возвра щении", + "▁Ку ль", + "▁че сти", + "▁ чести", + "▁у чета", + "▁уче та", + "▁учет а", + "▁нау чный", + "▁моло ко", + "▁жи д", + "▁ж ид", + "фа й", + "ф ай", + "▁Гер ман", + "▁Герма н", + "ев ой", + "ево й", + "е вой", + "че сть", + "▁Te am", + "▁помощ ник", + "▁product s", + "▁produc ts", + "▁L ab", + "▁La b", + "▁способ а", + "▁спосо ба", + "▁компози тор", + "▁а ра", + "▁ар а", + "▁ ара", + "▁In st", + "▁Ins t", + "ste in", + "▁отпра вить", + "▁s ports", + "▁sport s", + "▁direct ion", + "▁dire ction", + "тс кого", + "т ского", + "▁уве ренность", + "▁уверен ность", + "▁уверенно сть", + "M A", + "▁кол лег", + "▁колле г", + "▁оста валась", + "лн и", + "л ни", + "▁девя ти", + "▁устано вил", + "▁установи л", + "▁установ ил", + "▁G ame", + "йо ра", + "▁дли нные", + "▁длин ные", + "ви й", + "▁Ж ур", + "▁Жу р", + "▁за ряд", + "▁заря д", + "▁Р од", + "▁Ро д", + "▁ко в", + "▁к ов", + "▁ ков", + "▁A ut", + "▁по чёт", + "▁поч ёт", + "▁an sw", + "▁W hat", + "▁Wh at", + "▁ What", + "rat ive", + "r ative", + "▁Вы ступа", + "де нию", + "▁при мера", + "▁пример а", + "▁приме ра", + "▁прим ера", + "▁h ar", + "▁ha r", + "▁В ей", + "▁Ве й", + "▁ли ге", + "▁по сы", + "▁пос ы", + "▁P arliament", + "▁во дитель", + "▁води тель", + "▁ водитель", + "▁a mb", + "▁am b", + "▁ amb", + "во рот", + "вор от", + "воро т", + "▁непло хо", + "▁оже сто", + "I P", + "ль ника", + "льник а", + "▁от бро", + "▁гла вой", + "▁глав ой", + "▁l abor", + "▁la bor", + "▁lab or", + "ль ская", + "▁пример ом", + "▁приме ром", + "▁Че ля", + "▁ц веты", + "▁цвет ы", + "▁цве ты", + "os ton", + "ost on", + "o ston", + "▁му ки", + "▁втор ник", + "▁слу хи", + "▁слух и", + "▁в низу", + "▁вниз у", + "l i", + "▁great er", + "▁gre ater", + "▁Ed ward", + "▁мг новенно", + "▁торго вле", + "▁торгов ле", + "▁соста вить", + "▁состав ить", + "▁составит ь", + "▁Col umb", + "▁со ю", + "▁Ар ген", + "ле нную", + "лен ную", + "▁ска жет", + "но вая", + "нов ая", + "нова я", + "▁t ells", + "▁tell s", + "▁сте кло", + "▁стек ло", + "▁прика зу", + "▁приказ у", + "▁рекоменду ется", + "▁обра зов", + "▁образ ов", + "жи тся", + "жит ся", + "ж ится", + "▁за дей", + "▁зад ей", + "▁по жертво", + "▁изя щ", + "но сили", + "носи ли", + "нос или", + "носил и", + "ens ity", + "н с", + "▁теле фона", + "▁телефон а", + "▁телефо на", + "▁st reet", + "▁stre et", + "▁E gypt", + "оп а", + "о па", + "▁mem ory", + "▁плоско сти", + "ro nic", + "ron ic", + "r onic", + "▁пос чита", + "▁ear ned", + "igh ter", + "ight er", + "▁до вер", + "▁дове р", + "ри ен", + "рие н", + "▁пере ц", + "▁пер ец", + "▁пе рец", + "F L", + "▁сер вис", + "▁серви с", + "ла к", + "л ак", + "ста вра", + "став ра", + "▁нау читься", + "▁научить ся", + "▁con ver", + "▁conv er", + "▁темпера туре", + "▁температур е", + "▁ри ско", + "▁рис ко", + "▁риск о", + "▁s ense", + "▁sen se", + "▁sens e", + "▁изу чать", + "▁изуча ть", + "хо з", + "х оз", + "▁A z", + "▁спа сибо", + "▁спаси бо", + "▁контро лировать", + "▁контроли ровать", + "▁случа ю", + "▁ме шает", + "▁обру ши", + "▁моло дым", + "▁молоды м", + "ша ются", + "шают ся", + "▁бра у", + "?? ??", + "▁V an", + "▁останови лся", + "▁останов ился", + "▁остано вился", + "F C", + "▁под нял", + "▁подня л", + "▁с зади", + "▁и щет", + "▁И сла", + "▁Ис ла", + "▁вы держи", + "бо льше", + "боль ше", + "▁луч шее", + "▁лучше е", + "▁побе дил", + "▁победи л", + "▁побед ил", + "▁ре ального", + "▁реаль ного", + "▁реа льного", + "▁реально го", + "I L", + "це ля", + "▁до жде", + "▁дож де", + "▁хо дил", + "▁ход ил", + "▁ ходил", + "ge nd", + "gen d", + "g end", + "▁P C", + "▁ PC", + "▁из мер", + "▁изме р", + "▁улуч шения", + "ня лась", + "няла сь", + "▁over all", + "▁Pro v", + "▁Pr ov", + "й с", + "▁плани руется", + "▁планирует ся", + "▁ста кана", + "▁стакан а", + "▁стака на", + "▁потеря ли", + "▁потер яли", + "▁потерял и", + "▁Э йн", + "▁Эй н", + "▁у бил", + "▁уби л", + "ir med", + "irm ed", + "▁те мати", + "▁тема ти", + "▁ темати", + "▁L i", + "▁L inux", + "▁пред ъя", + "▁предъ я", + "ap ed", + "ape d", + "a ped", + "pr i", + "p ri", + "▁рас следования", + "▁расследова ния", + "▁во вле", + "но времен", + "нов ремен", + "▁ве са", + "▁вес а", + "нима ние", + "▁пла нов", + "▁план ов", + "▁К уда", + "▁Ку да", + "▁математи ки", + "▁матема тики", + "▁пассажи р", + "▁преимуще ство", + "ме нный", + "мен ный", + "▁режи ссе", + "▁режисс е", + "▁av oid", + "▁k new", + "▁kn ew", + "▁c hem", + "▁ch em", + "▁che m", + "▁дея телей", + "▁кре сто", + "▁крест о", + "ag ement", + "age ment", + "▁вла ды", + "▁указа л", + "▁ука зал", + "▁указ ал", + "▁э кви", + "▁эк ви", + "▁бе лой", + "▁бело й", + "▁экономи ке", + "но вый", + "▁pres ence", + "▁тюрь му", + "▁официаль ный", + "az z", + "a zz", + "▁тор говых", + "▁торго вых", + "▁торгов ых", + "чи лось", + "чило сь", + "▁До бро", + "▁Доб ро", + "▁ну жды", + "▁нуж ды", + "▁нужд ы", + "▁со при", + "▁по сторон", + "а с", + "he ast", + "▁Is lam", + "▁До ктор", + "▁распоря жении", + "li st", + "l ist", + "▁По про", + "▁б ана", + "▁ба на", + "▁бан а", + "▁large ly", + "▁larg ely", + "не ди", + "н еди", + "▁док три", + "ста новка", + "станов ка", + "стано вка", + "де ло", + "дел о", + "▁про ли", + "не мся", + "нем ся", + "н емся", + "▁De velop", + "▁Ши ро", + "▁на грузки", + "▁нагруз ки", + "▁нагру зки", + "▁histor ical", + "▁historic al", + "▁губерна тор", + "▁по бли", + "▁чи сел", + "▁при родных", + "▁приро дных", + "▁природ ных", + "▁жен щине", + "▁женщи не", + "▁женщин е", + "▁не ну", + "▁Еги пет", + "▁попро бовать", + "▁T od", + "▁To d", + "▁be long", + "▁bel ong", + "ха на", + "хан а", + "х ана", + "▁l abel", + "▁la bel", + "▁lab el", + "▁с лову", + "▁сло ву", + "▁слов у", + "▁испол нении", + "▁катастро фы", + "▁b order", + "▁bor der", + "ёр ов", + "ё ров", + "▁про ходи", + "▁проход и", + "▁прохо ди", + "▁en ter", + "▁ent er", + "▁ча стями", + "▁част ями", + "▁час тями", + "▁частям и", + "▁кандида та", + "▁кандидат а", + "▁т ё", + "▁Н ек", + "▁Не к", + "▁абстра кт", + "▁И у", + "▁Фе одо", + "▁Фео до", + "▁Фран к", + "▁Фра нк", + "▁указа ния", + "▁ука зания", + "▁от клю", + "▁отк лю", + "▁cont ains", + "▁contain s", + "jo y", + "j oy", + "▁художе ственного", + "▁t able", + "▁occur red", + "▁на став", + "▁нас тав", + "▁наста в", + "▁швей цар", + "▁decl ared", + "▁con cent", + "▁conc ent", + "▁пол года", + "▁вра г", + "▁Ба х", + "ст ские", + "▁пред ложить", + "▁предложи ть", + "▁вы ходя", + "▁выход я", + "R A", + "▁ж ре", + "▁p ict", + "an cy", + "anc y", + "▁Г К", + "▁пред ложили", + "▁предложи ли", + "▁предложил и", + "▁без раз", + "ap ers", + "aper s", + "▁сим фо", + "му д", + "м уд", + "▁от ражение", + "▁отра жение", + "го вых", + "гов ых", + "▁после воен", + "▁при хода", + "▁приход а", + "▁прихо да", + "▁посмотре л", + "▁m ill", + "▁mil l", + "▁mi ll", + "▁Sh ow", + "▁Фран цию", + "▁Франци ю", + "▁ty pes", + "▁typ es", + "▁type s", + "▁кафе дры", + "▁на сили", + "▁нас или", + "▁наси ли", + "▁На чина", + "▁Нач ина", + "▁мы сле", + "▁мыс ле", + "▁ мысле", + "▁U N", + "▁ UN", + "ни зм", + "низ м", + "н изм", + "▁тре уголь", + "ur rent", + "▁американ цы", + "▁америка нцы", + "▁С ак", + "▁Са к", + "▁C amb", + "▁Cam b", + "▁Ca mb", + "▁dam age", + "▁са му", + "▁сам у", + "▁находя сь", + "▁наход ясь", + "▁Пи тер", + "лек три", + "▁aut om", + "▁ребен ком", + "▁глубо кой", + "▁глубоко й", + "▁события х", + "▁ак ку", + "▁S ar", + "▁Sa r", + "▁наступа ет", + "в ным", + "раз ному", + "▁изу чению", + "▁пере пра", + "С А", + "▁p un", + "▁коль цо", + "▁у бор", + "▁убо р", + "▁С У", + "▁кла ви", + "▁t hr", + "▁th r", + "▁си дели", + "▁сидел и", + "▁qu ality", + "▁qual ity", + "▁проце ссу", + "▁процесс у", + "▁Серге евич", + "ig an", + "i gan", + "▁те пла", + "▁теп ла", + "▁фи гура", + "▁фигу ра", + "▁фигур а", + "▁характери зуется", + "▁характеризу ется", + "эн ь", + "э нь", + "▁U l", + "▁утвер ждать", + "▁утвержда ть", + "вле нную", + "влен ную", + "в ленную", + "кра т", + "кр ат", + "к рат", + "ву шка", + "ound ed", + "▁духов ен", + "▁духо вен", + "▁пла нет", + "▁плане т", + "▁план ет", + "▁ планет", + "▁эми грации", + "▁эмигра ции", + "▁упра влением", + "▁управление м", + "▁вер ху", + "▁верх у", + "▁ верху", + "▁сериа ла", + "▁сериал а", + "по лни", + "пол ни", + "ди нами", + "дина ми", + "▁самоу правления", + "▁Ле он", + "▁Лео н", + "i y", + ", ,", + "▁по пала", + "▁попа ла", + "▁попал а", + "▁поп ала", + "▁тре нером", + "▁тренер ом", + "Са н", + "С ан", + "▁) ,", + "▁ ),", + "▁по рабо", + "▁пора бо", + "за к", + "з ак", + "ig r", + "i gr", + "строе ния", + "▁пов сюду", + "▁Не по", + "▁L ee", + "▁Le e", + "▁фами лия", + "at us", + "ле нное", + "лен ное", + "ленно е", + "▁Зем лю", + "▁американ цев", + "▁америка нцев", + "p p", + "▁вое нача", + "▁от би", + "syl vania", + "▁мета лла", + "▁метал ла", + "▁металл а", + "▁про стого", + "▁просто го", + "▁прос того", + "▁Чемпиона т", + "▁Чемпион ат", + "▁С к", + "▁Исполь зу", + "▁чи слом", + "▁число м", + "▁маркет ин", + "▁пала ты", + "▁st rugg", + "▁str ugg", + "▁ве лел", + "ля тся", + "лят ся", + "л ятся", + "▁объ явля", + "▁объя вля", + "▁приме няются", + "▁применя ются", + "▁применяют ся", + "▁познакоми лся", + "▁выбира ть", + "▁выби рать", + "▁о свя", + "▁ос вя", + "▁he ard", + "▁hear d", + "▁встре тить", + "▁продол жить", + "▁продолжи ть", + "ne s", + "n es", + "▁кор руп", + "▁M ain", + "▁Ma in", + "▁с него", + "▁сне го", + "▁снег о", + "▁John son", + "▁конструк тор", + "▁констру ктор", + "▁за те", + "▁зат е", + "▁Послед ние", + "▁Дмитри я", + "▁citiz ens", + "ве ла", + "вел а", + "▁be at", + "▁электро энер", + "СК ИЙ", + "кто ру", + "кт ору", + "ктор у", + "к тору", + "▁в ходила", + "▁вход ила", + "▁входил а", + "▁входи ла", + "▁d og", + "▁do g", + "▁Фе до", + "▁п лы", + "▁ плы", + "▁журна листов", + "▁журнали стов", + "▁журналист ов", + "▁Мо лда", + "▁Мол да", + "▁поко ление", + "▁о казывает", + "▁оказыва ет", + "▁ока зывает", + "▁рекомен дации", + "▁рекоменда ции", + "▁mur der", + "▁murd er", + "▁но вости", + "▁ново сти", + "ен ты", + "ент ы", + "е нты", + "▁косми ческих", + "▁листь ев", + "▁лист ьев", + "ству ющий", + "▁Стани слав", + "И с", + "▁раз ного", + "▁разно го", + "▁sy mb", + "▁sym b", + "ща ла", + "щал а", + "щ ала", + "вна я", + "в ная", + "▁потен циа", + "▁сред не", + "▁сре дне", + "▁w or", + "▁сти му", + "▁belie ve", + "шны й", + "ш ный", + "фика цию", + "▁зве з", + "▁зв ез", + "▁ звез", + "▁ле жат", + "▁лежа т", + "is ters", + "ist ers", + "ister s", + "ро вым", + "▁леген дар", + "▁легенда р", + "го судар", + "▁Навер ное", + "жи вать", + "▁заинтере сован", + "▁заинтересова н", + "▁заинтересо ван", + "▁гражда нин", + "▁граждан ин", + "та ря", + "тар я", + "▁вер нулась", + "▁верну лась", + "▁заканчи вается", + "И З", + "▁выра зил", + "▁вырази л", + "▁n uc", + "▁с лава", + "▁сла ва", + "▁ слава", + "▁режи ссер", + "▁режисс ер", + "▁режиссе р", + "оло гия", + "ологи я", + "о логия", + "▁trans ferred", + "▁transfer red", + "▁м иль", + "▁ми ль", + "▁ миль", + "ча ян", + "чая н", + "Ф и", + "▁объеди нение", + "▁обла стного", + "▁с мену", + "▁сме ну", + "▁Pr ince", + "▁Pri nce", + "▁f ast", + "▁fa st", + "▁чув ством", + "▁чувство м", + "▁чувств ом", + "▁Основ ная", + "▁произо шед", + "▁cou ple", + "▁предста вляли", + "▁представля ли", + "▁представлял и", + "iz es", + "ize s", + "▁ed itor", + "▁фу нтов", + "po int", + "p oint", + "▁ey es", + "▁eye s", + "▁sugg est", + "▁Екатери н", + "▁рас смотреть", + "▁рассмотре ть", + "▁луч шего", + "▁лучше го", + "▁Заслу женный", + "▁Ско рее", + "п п", + "▁ab andon", + "▁Центра льного", + "▁Центр ального", + "▁вку су", + "▁вкус у", + "не ва", + "нев а", + "н ева", + "▁У р", + "▁лю бая", + "ссо циа", + "▁пес ча", + "▁ref used", + "тс кий", + "т ский", + "▁чере па", + "▁equip ment", + "▁ад мира", + "▁чи стой", + "▁чисто й", + "▁зем лей", + "▁земле й", + "▁созда ют", + "▁соз дают", + "▁боль нице", + "ho st", + "h ost", + "▁е ду", + "▁ед у", + "Y ou", + "▁оказа ть", + "▁ока зать", + "▁субъек тов", + "▁субъект ов", + "▁sp irit", + "te st", + "tes t", + "t est", + "▁при носит", + "ье м", + "ь ем", + "▁полу чит", + "▁получи т", + "▁экви вален", + "▁на строен", + "▁настрое н", + "▁настро ен", + "▁предста влять", + "▁представля ть", + "▁приобре те", + "▁за помина", + "▁запо мина", + "▁запом ина", + "▁Ре жи", + "ib ly", + "▁з рели", + "▁зре ли", + "▁принципи ально", + "▁i d", + "▁ id", + "▁корот кий", + "▁кар тине", + "▁карти не", + "▁картин е", + "ww w", + "w ww", + "▁oper ated", + "▁operate d", + "пло м", + "п лом", + "▁еди ницы", + "▁единиц ы", + "▁едини цы", + "▁домаш них", + "логи ческие", + "▁за хоро", + "▁захо ро", + "▁ш ей", + "▁ше й", + "▁ шей", + "▁anc ient", + "▁об ед", + "▁обе д", + "▁gu itar", + "▁разво рачи", + "▁ре альных", + "▁реаль ных", + "▁реа льных", + "▁у словно", + "▁услов но", + "▁мя ч", + "▁writ er", + "▁write r", + "▁Национа льной", + "▁c ouncil", + "▁coun cil", + "ла г", + "про це", + "▁возник ло", + "▁с воя", + "▁сво я", + "▁stud ied", + "▁T em", + "▁Te m", + "m iss", + "▁профе ссии", + "▁угро зу", + "▁обра щаться", + "▁обраща ться", + "ё й", + "▁Ма ма", + "▁Pe ople", + "▁При мерно", + "▁Пример но", + "▁Приме рно", + "X V", + "▁сочи нений", + "▁Пари жа", + "▁Париж а", + "▁госпо дин", + "▁господ ин", + "im b", + "i mb", + "▁фак торы", + "▁фактор ы", + "▁занима ются", + "▁занимают ся", + "▁гран диоз", + "тт а", + "т та", + "▁тру б", + "▁А бу", + "▁Аб у", + "▁Национа льного", + "▁ве лика", + "▁вели ка", + "▁велик а", + "▁Sp ain", + "▁J ones", + "▁Jo nes", + "▁Jon es", + "стру и", + "▁к валифици", + "▁квали фици", + "ul es", + "ule s", + "u les", + "▁об щение", + "▁обще ние", + "▁рекла мы", + "▁реклам ы", + "▁пропа ганди", + "▁пропаган ди", + "ды е", + "Б А", + "ни ло", + "нил о", + "▁гля дя", + "▁мага зина", + "▁магази на", + "▁магазин а", + "▁пере бро", + "▁st ories", + "▁М она", + "▁Мо на", + "▁Мон а", + "vi s", + "v is", + "на та", + "нат а", + "▁pass eng", + "▁истори ческий", + "▁исторически й", + "ли нского", + "лин ского", + "▁вы рабаты", + "▁выра баты", + "▁по прав", + "▁попра в", + "▁поп рав", + "б же", + "▁F oot", + "▁В ит", + "▁Ви т", + "▁necess ary", + "▁re con", + "▁rec on", + "▁способ на", + "▁до бле", + "▁доб ле", + "▁Исто чник", + "▁непре рывно", + "▁непрерыв но", + "▁t rial", + "▁tr ial", + "▁tri al", + "Ра з", + "Р аз", + "▁освобо ждение", + "▁завое вал", + "▁отста и", + "▁отс таи", + "▁Ми Г", + "во дов", + "вод ов", + "▁полу ченные", + "▁w hy", + "▁wh y", + "▁D VD", + "▁кни гах", + "▁книга х", + "▁тран зи", + "▁при мы", + "▁прим ы", + "▁э ры", + "▁эр ы", + "▁Б ой", + "▁Бо й", + "▁спосо бами", + "▁способа ми", + "ful ly", + "f ully", + "ee n", + "e en", + "це ло", + "▁при ступа", + "▁неболь шим", + "▁го рно", + "▁гор но", + "ies t", + "ie st", + "i est", + "ко вом", + "ков ом", + "ково м", + "▁вариан та", + "▁вариант а", + "▁вариа нта", + "▁х ан", + "▁ха н", + "▁ хан", + "▁Види мо", + "▁Вид имо", + "до вание", + "дова ние", + "ат ри", + "атр и", + "а три", + "▁не сов", + "▁нес ов", + "▁несо в", + "▁с со", + "▁ ссо", + "s k", + "▁показа тели", + "▁Ви та", + "▁Вит а", + "▁спец служ", + "▁О ле", + "▁Ол е", + "▁крестьян е", + "▁крестья не", + "ра д", + "р ад", + "▁мо рского", + "▁мор ского", + "▁ морского", + "▁Соеди ненных", + "▁за веду", + "▁заве ду", + "▁генера льного", + "▁на ходят", + "▁находя т", + "▁наход ят", + "▁паци ента", + "▁пациен та", + "▁пациент а", + "▁т етра", + "▁те тра", + "сер ви", + "▁взгля дом", + "▁взгляд ом", + "▁Penn sylvania", + "▁Спе циаль", + "▁m m", + "▁ mm", + "▁означа ло", + "▁озна чало", + "▁art icle", + "▁г ек", + "▁ге к", + "▁result ed", + "▁ку стар", + "▁относи ться", + "ro om", + "r oom", + "▁эпи де", + "▁ви дя", + "▁вид я", + "▁москов ского", + "▁Э л", + "▁вели ким", + "▁велик им", + "ри нг", + "рин г", + "р инг", + "▁con clud", + "▁сотруд ничество", + "▁сотрудни чество", + "▁на бе", + "▁ра ке", + "▁рак е", + "at i", + "▁зна ков", + "▁знако в", + "▁знак ов", + "про дук", + "▁You ng", + "▁опла ты", + "▁b al", + "▁ bal", + "▁на раста", + "▁Н ей", + "▁Не й", + "▁счет у", + "▁сче ту", + "▁com pl", + "▁comp l", + "▁боль ницы", + "▁Кана ды", + "▁На чиная", + "▁Начина я", + "▁б рен", + "▁бре н", + "▁деву шек", + "▁ве тера", + "▁вет ера", + "▁ветер а", + "ри ки", + "рик и", + "▁ст рок", + "▁стро к", + "▁стр ок", + "▁ожида ния", + "▁ожи дания", + "▁writ e", + "▁ви дела", + "▁виде ла", + "▁видел а", + "▁показа ния", + "▁пока зания", + "гну л", + "г нул", + "▁бу дди", + "▁буд ди", + "▁культур ного", + "▁культурно го", + "▁взгля дов", + "▁взгляд ов", + "▁t ell", + "▁te ll", + "про мышлен", + "сно вы", + "снов ы", + "▁во лн", + "▁вол н", + "S T", + "▁разрабо тка", + "▁действи ями", + "▁действия ми", + "▁действиям и", + "▁церемо нии", + "▁приобре сти", + "Т У", + "▁Пав лович", + "▁рекомен да", + "▁вся кое", + "▁на логов", + "▁налого в", + "▁налог ов", + "▁Му зей", + "▁Музе й", + "▁район ного", + "▁заинтере сова", + "▁заинтересо ва", + "▁C ivil", + "с вое", + "▁B oston", + "▁Bo ston", + "▁Bos ton", + "▁за держи", + "га рд", + "гар д", + "▁project s", + "▁сту пень", + "▁ступ ень", + "▁явля лась", + "▁пло ды", + "▁плод ы", + "зе ф", + "ль ны", + "▁p et", + "▁pe t", + "▁ pet", + "▁счёт ом", + "▁счё том", + "▁глуби ну", + "▁про игры", + "▁прои гры", + "▁ко ну", + "▁к ону", + "▁кон у", + "or ation", + "ora tion", + "o ration", + "▁с делки", + "▁сде лки", + "▁сдел ки", + "▁Напом ним", + "▁сухо пу", + "▁куль туру", + "▁культур у", + "g n", + "▁с нови", + "▁сно ви", + "er sey", + "ers ey", + "▁игро ком", + "▁игрок ом", + "▁Де рев", + "▁Дер ев", + "▁Дере в", + "▁реали зовать", + "▁реализова ть", + "▁сооб щалось", + "▁сообща лось", + "▁объяс нил", + "▁The atre", + "▁с право", + "▁спра во", + "ol es", + "ole s", + "o les", + "▁ситуа циях", + "▁ситуация х", + "▁па ссив", + "▁пас сив", + "ка и", + "ссе ль", + "с сель", + "pon d", + "po nd", + "p ond", + "▁Пу тина", + "▁Путин а", + "▁Пути на", + "▁существо вании", + "▁существова нии", + "сти ческим", + "стически м", + "с тическим", + "▁m ut", + "бе лев", + "pe rial", + "per ial", + "ри ровать", + "▁окру жения", + "▁C ro", + "▁Cr o", + "▁выра зить", + "▁вырази ть", + "ellig ence", + "ха л", + "х ал", + "▁кор ни", + "▁Francis co", + "▁увеличи вается", + "▁увели чивается", + "▁увеличивает ся", + "▁Побе ды", + "ру ющий", + "рую щий", + "▁Z h", + "ли вости", + "ливо сти", + "▁те ряет", + "▁теря ет", + "▁под креп", + "▁l iber", + "смо трен", + "смотре н", + "смотр ен", + "▁специаль ности", + "▁специально сти", + "▁Cor ps", + "▁до льше", + "▁хва тит", + "▁С мир", + "▁См ир", + "▁при клю", + "▁поэ тов", + "▁поэт ов", + "вз о", + "в зо", + "▁Дон ба", + "▁cont ro", + "▁official s", + "▁Eng ine", + "▁альбо ма", + "▁альбом а", + "▁ауди тории", + "▁J es", + "▁Je s", + "ев о", + "е во", + "▁су мас", + "▁сум ас", + "▁жили щ", + "▁пре ступление", + "▁преступ ление", + "▁У тром", + "▁г нев", + "▁гне в", + "▁м ладший", + "▁млад ший", + "▁вы ступление", + "▁выступ ление", + "▁РК КА", + "» \"", + "▁enem y", + "▁ма рок", + "▁мар ок", + "▁main ly", + "▁ото жде", + "▁Любо вь", + "▁Воз вра", + "▁руковод ству", + "▁cond ition", + "нен ко", + "н енко", + "▁Ку ба", + "▁ле жал", + "▁лежа л", + "▁С А", + "▁ СА", + "▁называ ются", + "▁называют ся", + "▁тех нического", + "▁техни ческого", + "▁ технического", + "лет них", + "▁финан совой", + "▁финансо вой", + "▁финансов ой", + "ми лли", + "мил ли", + "ra nce", + "ran ce", + "r ance", + "▁Вале рий", + "▁выгля деть", + "▁сло жнее", + "is her", + "ish er", + "з ра", + "▁официаль ном", + "▁официально м", + "▁гражда не", + "▁граждан е", + "▁мо нта", + "▁мон та", + "▁ монта", + "▁обра щается", + "▁обраща ется", + "▁Да льше", + "▁Даль ше", + "▁бо льной", + "▁боль ной", + "▁больно й", + "▁R el", + "▁Re l", + "▁цар ство", + "▁хра нили", + "▁храни ли", + "▁ хранили", + "▁бе жал", + "▁справед ли", + "pl ace", + "▁Герма нией", + "▁ди вер", + "▁re comm", + "▁rec omm", + "▁тяже сти", + "▁to uch", + "▁стра ной", + "▁стран ой", + "▁Д ем", + "▁Де м", + "▁fight ing", + "▁Эн гель", + "▁от оз", + "▁ото з", + "▁э ро", + "▁эр о", + "▁ эро", + "▁откры вает", + "▁ла й", + "▁л ай", + "▁ лай", + "▁ве ла", + "▁вел а", + "▁ вела", + "чи вый", + "▁у мение", + "▁уме ние", + "▁К ло", + "▁выс шее", + "▁ad ult", + "en ge", + "eng e", + "▁comp uter", + "▁помо гать", + "▁помога ть", + "ки я", + "\") ;", + "\" );", + "▁це лые", + "▁s uit", + "▁su it", + "▁ран него", + "▁стра ницах", + "▁страница х", + "▁за веща", + "▁заве ща", + "пи ри", + "▁Да ге", + "▁обы чного", + "▁обычно го", + "▁съ ез", + "▁съе з", + "▁во спа", + "▁вос па", + "▁household s", + "▁у мы", + "▁ум ы", + "▁за няться", + "▁заня ться", + "▁занять ся", + "▁за ма", + "▁зам а", + "▁с тили", + "▁ст или", + "▁сти ли", + "▁ стили", + "▁эваку и", + "▁у гля", + "▁уг ля", + "▁W omen", + "▁заинтере со", + "ры з", + "▁= =", + "▁ ==", + "▁табли цы", + "▁Татья на", + "ни ст", + "нис т", + "н ист", + "▁мо тор", + "▁мото р", + "▁эк зо", + "▁Су во", + "▁благополу чно", + "▁беско нечно", + "▁бесконе чно", + "▁смя г", + "га ться", + "гать ся", + "▁comp ared", + "▁compar ed", + "ко вали", + "ков али", + "кова ли", + "ковал и", + "су а", + "с уа", + "▁футбо лу", + "▁футбол у", + "▁военнослу жащих", + "▁военнослужа щих", + "▁еди ница", + "▁единиц а", + "▁едини ца", + "▁К ристи", + "▁Кри сти", + "▁по шло", + "▁пош ло", + "▁Ста ро", + "▁Стар о", + "▁represent ed", + "▁истори ческие", + "▁исторически е", + "▁В зя", + "▁Вз я", + "▁мене дже", + "▁менедж е", + "▁орде нами", + "▁ордена ми", + "▁по пра", + "▁поп ра", + "▁обы чный", + "Мо ск", + "с ве", + "ли нский", + "лин ский", + "▁расши рение", + "▁сво ев", + "▁свое в", + "то рий", + "тори й", + "▁P ower", + "▁Po wer", + "▁M iddle", + "ha ps", + "h aps", + "▁Чар ль", + "▁му льти", + "▁мульт и", + "▁neigh bor", + "▁го рю", + "▁гор ю", + "▁кня же", + "▁не и", + "▁осуществ лять", + "▁осуществля ть", + "▁t hing", + "▁th ing", + "▁ thing", + "▁O x", + "▁отде льной", + "▁отдель ной", + "▁отдельно й", + "▁вы па", + "ab b", + "хра н", + "х ран", + "▁Bec ause", + "▁отпра вились", + "▁отправили сь", + "▁до г", + "▁вы би", + "▁кно пку", + "▁дости гли", + "▁достиг ли", + "▁не под", + "▁непо д", + "▁не ра", + "▁н ера", + "▁нер а", + "▁ нера", + "▁зем летря", + "▁земле тря", + "▁Аб ду", + "▁су дей", + "▁суд ей", + "▁суде й", + "▁Я зы", + "мет рии", + "метри и", + "▁Бо гда", + "▁Бог да", + "▁команду ющего", + "▁памят ника", + "▁памятник а", + "▁Е ванге", + "▁разру шения", + "▁Я ку", + "▁Як у", + "▁attack s", + "▁бы вшей", + "▁больше виков", + "▁большеви ков", + "▁при ё", + "▁ру мы", + "▁при знания", + "▁призна ния", + "▁M ah", + "▁Ma h", + "▁му льт", + "▁some one", + "▁милли оны", + "▁миллион ы", + "▁claim s", + "▁Л ос", + "▁Ло с", + "▁в зы", + "▁вз ы", + "▁убе ждения", + "og ue", + "▁Ле о", + "▁прави тельству", + "▁правитель ству", + "но ву", + "нов у", + "▁Ре шение", + "▁Дэ вид", + "но шений", + "▁ры ча", + "▁па льцев", + "▁паль цев", + "▁З А", + "▁ ЗА", + "▁Ли ги", + "▁ак тивное", + "▁актив ное", + "▁активно е", + "▁R ome", + "▁Ro me", + "▁Rom e", + "▁T re", + "▁Tr e", + "▁pl aces", + "▁place s", + "сти ку", + "стик у", + "с тику", + "▁выпол нении", + "▁креп ко", + "▁из ъ", + "▁с мея", + "▁сме я", + "ги те", + "▁ве щество", + "▁веществ о", + "▁веще ство", + "▁Про тив", + "▁дет ских", + "▁у слож", + "▁ус лож", + "▁разви ваться", + "▁развива ться", + "▁развивать ся", + "▁Пи сь", + "▁отра жа", + "cl es", + "cle s", + "c les", + "▁малень кой", + "хо же", + "ag on", + "ago n", + "▁убе диться", + "▁убеди ться", + "▁убедить ся", + "Не т", + "Н ет", + "▁Х ей", + "▁Хе й", + "ist ics", + "istic s", + "▁види мости", + "▁видимо сти", + "▁ !", + "▁пять десят", + "▁в он", + "▁во н", + "▁hon or", + "▁тех нике", + "▁техни ке", + "▁ис торией", + "▁исто рией", + "▁истори ей", + "▁популяр ность", + "▁prom oted", + "▁promot ed", + "▁promote d", + "▁приобре тает", + "▁вы ходят", + "▁выход ят", + "▁выходя т", + "▁един ства", + "▁без ум", + "▁безу м", + "▁D i", + "▁Gu ard", + "it led", + "itle d", + "▁вспомина ет", + "▁поме щении", + "▁mom ent", + "ля цию", + "▁Во ль", + "▁Вол ь", + "▁печа та", + "▁печат а", + "▁Мак сим", + "▁Макси м", + "▁Макс им", + "▁Вспо м", + "▁plat form", + "▁патри о", + "гу н", + "г ун", + "▁William s", + "▁st one", + "▁ stone", + "erv ation", + "▁герцо га", + "▁герцог а", + "▁спраши вает", + "ней шее", + "▁еже днев", + "A l", + "▁бое вого", + "▁Л ука", + "▁Лу ка", + "▁Лук а", + "▁награ ды", + "▁наград ы", + "▁раз обла", + "▁разо бла", + "▁разоб ла", + "▁круп ным", + "▁во о", + "бе ди", + "б еди", + "ографи я", + "о графия", + "ва ра", + "вар а", + "в ара", + "▁во лей", + "▁вол ей", + "▁воле й", + "▁след ствием", + "▁следствие м", + "▁Т ек", + "▁Те к", + "▁кра сного", + "▁красно го", + "▁ды м", + "▁ дым", + "▁вол на", + "▁волн а", + "▁З ака", + "▁За ка", + "▁Зак а", + "▁ге ниаль", + "▁истреби телей", + "am m", + "a mm", + "▁сом нений", + "▁сомне ний", + "▁кол они", + "▁коло ни", + "▁колон и", + "▁пользова лся", + "се ло", + "сел о", + "▁некото рой", + "р ской", + "▁вы мы", + "▁W ales", + "▁Wal es", + "▁говори м", + "▁говор им", + "▁гово рим", + "▁диссер тацию", + "▁полу чило", + "▁получи ло", + "▁получил о", + "▁совет ская", + "▁administ ration", + "▁необходи мое", + "▁необходимо е", + "▁необходим ое", + "▁це нных", + "▁цен ных", + "▁уничто жения", + "▁умолча нию", + "▁Коми тета", + "▁Комитет а", + "▁боль ницу", + "▁I ll", + "▁Il l", + "▁потре бления", + "▁потреб ления", + "▁на стройки", + "▁настрой ки", + "▁настро йки", + "чь и", + "ч ьи", + "▁Bl ue", + "▁под водных", + "▁подвод ных", + "▁подво дных", + "▁лоша дь", + "▁гу б", + "▁ губ", + "▁Гла вного", + "▁Глав ного", + "ke r", + "k er", + "▁потер ь", + "▁поте рь", + "▁тол пы", + "▁па льцы", + "▁паль цы", + "кл у", + "к лу", + "▁А нали", + "▁Ан али", + "▁Ана ли", + "▁насле дия", + "ма ну", + "ман у", + "▁count y", + "▁coun ty", + "пп о", + "п по", + "▁об щ", + "▁ре ферен", + "▁реф ерен", + "▁со вести", + "▁сове сти", + "смотри те", + "▁ча стной", + "▁част ной", + "▁час тной", + "хо за", + "хоз а", + "▁пациен тов", + "▁пациент ов", + "▁товари щи", + "▁товарищ и", + "ве ща", + "▁do ub", + "▁dou b", + "▁F ox", + "▁наде юсь", + "го ва", + "гов а", + "▁D utch", + "▁соба ку", + "▁собак у", + "жи га", + "▁Интер нет", + "▁ба лет", + "▁бал ет", + "▁потребу ется", + "▁про ща", + "▁Тре тья", + "▁Треть я", + "Во з", + "В оз", + "▁проце нта", + "▁процен та", + "▁процент а", + "▁че лю", + "▁чел ю", + "▁из ум", + "▁изу м", + "ad el", + "ade l", + "in clud", + "▁зо вут", + "▁К аль", + "▁Ка ль", + "▁Кал ь", + "▁мощ ностью", + "▁мощность ю", + "▁беспла тно", + "▁У ил", + "▁Уи л", + "дным и", + "д ными", + "k o", + "▁Г ю", + "▁взя ла", + "▁взял а", + "ко ю", + "▁H or", + "▁Ho r", + "▁T im", + "▁Se a", + "ку ру", + "кур у", + "or ship", + "ors hip", + "▁complet ely", + "▁complete ly", + "▁све же", + "al i", + "a li", + "▁Кры му", + "▁Крым у", + "▁newsp aper", + "▁подроб ности", + "▁подробно сти", + "▁ж дал", + "▁ ждал", + "▁фе льд", + "▁ фельд", + "▁производ ству", + "л э", + "▁ро га", + "▁ рога", + "▁Ви занти", + "▁sim ply", + "н че", + "▁сынов ья", + "▁O h", + "▁отра жает", + "▁отража ет", + "▁убе жи", + "ло вский", + "лов ский", + "▁I D", + "▁ ID", + "▁M att", + "▁Ma tt", + "▁Mat t", + "ia ble", + "i able", + "▁попыт ок", + "▁попы ток", + "ли ней", + "лин ей", + "лине й", + "▁по жало", + "▁пожа ло", + "▁на шла", + "▁наш ла", + "ст ник", + "с тник", + "▁пор туга", + "▁порту га", + "тс кой", + "т ской", + "▁ш аги", + "▁ша ги", + "▁шаг и", + "▁фа ктор", + "▁фак тор", + "▁факт ор", + "▁Бо риса", + "▁Бори са", + "▁Борис а", + "▁понима ли", + "▁пони мали", + "▁понимал и", + "▁сторо ной", + "▁сторон ой", + "▁государ стве", + "▁государств е", + "▁обозна чения", + "еди нён", + "един ён", + "▁М А", + "▁ МА", + "▁re duced", + "▁reduce d", + "▁ве ж", + "▁защи тить", + "▁защит ить", + "ры ми", + "рым и", + "▁sup ply", + "▁ви тами", + "нт ер", + "нте р", + "н тер", + "▁Ш ев", + "▁Ше в", + "▁пере до", + "▁пе редо", + "▁перед о", + "до нос", + "дон ос", + "A meric", + "▁матери али", + "▁материа ли", + "▁мате риали", + "▁материал и", + "▁b illion", + "▁bill ion", + "ee d", + "e ed", + "▁Су пер", + "▁Иоан н", + "сло вие", + "слови е", + "▁показа тель", + "▁adop ted", + "▁че рной", + "▁чер ной", + "▁черно й", + "▁ра вна", + "▁рав на", + "▁бо та", + "▁ бота", + "▁ле кси", + "▁лек си", + "▁карь ере", + "▁пос тели", + "▁посте ли", + "ви з", + "в из", + "шни ков", + "шник ов", + "ш ников", + "▁не ю", + "▁со циал", + "▁соци ал", + "е ц", + "▁рабо тник", + "▁работ ник", + "▁цар ства", + "▁: )", + "Д у", + "▁опу хо", + "▁B ow", + "▁Bo w", + "▁т вои", + "▁тво и", + "▁поко лений", + "▁количе ству", + "▁Б аль", + "▁Ба ль", + "▁Бал ь", + "▁от рази", + "▁отра зи", + "▁ра ун", + "▁потен циал", + "▁потенциа л", + "Г А", + "▁реак цию", + "▁а спи", + "▁ас пи", + "▁еписко па", + "▁епископ а", + "▁свобо дной", + "▁свобод ной", + "▁свободно й", + "▁ну ждается", + "▁нужда ется", + "▁откры та", + "▁открыт а", + "▁собира ть", + "▁аэро пор", + "▁ближай шие", + "▁мини стром", + "▁министр ом", + "▁памя тников", + "▁памят ников", + "▁памятник ов", + "▁И л", + "▁един ственная", + "▁адре су", + "▁адрес у", + "▁s ales", + "▁sal es", + "▁sale s", + "▁to ward", + "▁не доступ", + "▁недо ступ", + "▁pur pose", + "▁J ac", + "? )", + "▁созда но", + "▁создан о", + "▁агре га", + "▁Про ект", + "▁опреде лё", + "▁стреми лся", + "▁стрем ился", + "▁счита лось", + "▁уг лом", + "▁клу бом", + "▁клуб ом", + "▁площадь ю", + "▁проводи лись", + "▁прово дились", + "▁проводили сь", + "st one", + "ston e", + "▁Д ети", + "▁Де ти", + "▁Дет и", + "▁предстоя ло", + "▁напра влений", + "H e", + "▁r isk", + "▁ri sk", + "al ion", + "ali on", + "▁cap acity", + "▁у мно", + "▁ум но", + "▁hous ing", + "▁mach ine", + "▁сов мести", + "▁совме сти", + "▁Азербайджа на", + "▁спра виться", + "▁При нци", + "▁Прин ци", + "▁То мас", + "▁Том ас", + "▁Тома с", + "ме стно", + "▁мо нар", + "▁мона р", + "▁мон ар", + "▁напра влены", + "▁направлен ы", + "▁Бе лого", + "▁Бело го", + "P A", + "▁e astern", + "▁eas tern", + "▁east ern", + "▁ро стом", + "▁рост ом", + "▁рос том", + "▁y outh", + "▁you th", + "▁Лер мон", + "▁произ веден", + "▁электро нной", + "▁национа льный", + "ди лась", + "дила сь", + "▁p erman", + "▁per man", + "ma s", + "m as", + "▁k il", + "ri ch", + "ric h", + "r ich", + "▁позво лили", + "▁позволи ли", + "▁позволил и", + "▁T op", + "▁To p", + "▁вой ной", + "▁войн ой", + "▁ме муа", + "▁мем уа", + "▁Пор туга", + "ше нная", + "шен ная", + "▁доби лся", + "▁доб ился", + "▁фи гур", + "▁фигу р", + "▁жела ет", + "▁раз делить", + "▁разде лить", + "▁раздели ть", + "▁раздел ить", + "▁меся цы", + "▁месяц ы", + "▁л жи", + "▁капи ту", + "▁капита л", + "▁капи тал", + "▁up per", + "во я", + "ша й", + "ш ай", + "▁про дать", + "▁прода ть", + "R E", + "▁ва шем", + "▁ваш ем", + "▁ваше м", + "ie uten", + "▁прекра сный", + "▁одноим ён", + "▁однои мён", + "in em", + "ine m", + "▁поч вы", + "▁Я вляется", + "▁офице ра", + "▁офицер а", + "▁ша гов", + "▁шаг ов", + "▁персона ж", + "ia na", + "ian a", + "i ana", + "▁иде али", + "▁идеа ли", + "▁идеал и", + "Ч С", + "сс ам", + "сса м", + "с сам", + "▁ре пли", + "▁ребен ку", + "Х Л", + "▁ближай шее", + "▁но сил", + "▁носи л", + "▁нос ил", + "▁ носил", + "▁r are", + "▁ra re", + "▁региона х", + "ess or", + "▁уз лов", + "▁Ш ер", + "▁Ше р", + "▁Х э", + "re sh", + "res h", + "r esh", + "▁кри тику", + "▁крити ку", + "▁критик у", + "Лу ч", + "▁f ellow", + "▁fell ow", + "▁гру зи", + "▁груз и", + "ва ющее", + "ваю щее", + "▁тан ковой", + "▁танков ой", + "▁буду щих", + "▁G ood", + "▁Go od", + "▁c ard", + "▁car d", + "▁Харак тер", + "▁голосо вания", + "Ан дже", + "Анд же", + "▁о зву", + "▁оз ву", + "▁метал лов", + "▁металло в", + "▁металл ов", + "▁Оказа лось", + "▁H a", + "́ ль", + "en ted", + "ent ed", + "▁c am", + "▁recomm end", + "▁На ша", + "▁Наш а", + "▁за бра", + "▁заб ра", + "▁стра сти", + "▁ страсти", + "▁У правление", + "▁Упра вление", + "ко гда", + "▁взаимоот ношения", + "▁за говор", + "▁загово р", + "▁Чемпи он", + "▁сигна ла", + "▁сигнал а", + "▁рус скими", + "▁русским и", + "st ate", + "▁резо лю", + "▁заме тили", + "▁замет или", + "▁заметил и", + "▁п ровали", + "▁про вали", + "▁важ нейших", + "▁привя зан", + "▁A re", + "▁Ar e", + "▁fl ag", + "▁сте кла", + "▁стек ла", + "▁п ружи", + "▁пру жи", + "▁кня зей", + "▁пользова лись", + "▁purch ased", + "▁purchase d", + "аль ное", + "ально е", + "а льное", + "нг и", + "н ги", + "▁w atch", + "▁по ту", + "сту пив", + "ступ ив", + "ступи в", + "▁по говорить", + "▁пого ворить", + "▁поговори ть", + "▁сбор ная", + "▁сбо рная", + "▁номер ом", + "▁номе ром", + "▁Октябрь ской", + "▁откров ен", + "▁откро вен", + "▁социали зма", + "▁социал изма", + "▁Н ай", + "▁На й", + "▁se ek", + "▁see k", + "▁ло м", + "▁л ом", + "▁ лом", + "▁ed ition", + "ig er", + "i ger", + "▁каж дые", + "▁кажды е", + "ра ть", + "рат ь", + "▁tr ying", + "▁try ing", + "про ект", + "проек т", + "ву д", + "в уд", + "▁журнали стам", + "▁журналист ам", + "▁журналиста м", + "▁столк новения", + "▁столкнове ния", + "▁res pond", + "▁resp ond", + "▁ respond", + "▁прожи вало", + "▁до лга", + "▁дол га", + "▁долг а", + "▁E astern", + "▁East ern", + "▁пре ры", + "▁пр еры", + "▁прер ы", + "▁об ман", + "▁обма н", + "▁транспорт ных", + "▁транспор тных", + "те льских", + "тель ских", + "▁r at", + "▁ra t", + "▁ rat", + "▁b rand", + "▁br and", + "▁bra nd", + "но вка", + "нов ка", + "ot i", + "▁сме си", + "▁Ге ро", + "▁Гер о", + "▁вд вое", + "▁озна коми", + "▁з ону", + "▁зо ну", + "▁зон у", + "▁до гада", + "▁дога да", + "▁дог ада", + "▁А рави", + "▁Ара ви", + "▁при водят", + "▁приво дят", + "▁приводя т", + "аль ная", + "а льная", + "ли ей", + "лие й", + "▁предста вил", + "▁представи л", + "▁че ш", + "▁особенно сть", + "▁особен ность", + "▁станови лись", + "▁стано вились", + "▁Р ан", + "▁Ра н", + "▁во скре", + "▁вос кре", + "▁воск ре", + "▁против ником", + "▁противник ом", + "вар дей", + "вард ей", + "▁ба лла", + "▁бал ла", + "ци онера", + "цион ера", + "цио нера", + "ционе ра", + "ционер а", + "▁Ch ap", + "▁У лица", + "▁Гру ппа", + "▁Груп па", + "▁гру з", + "▁гр уз", + "▁ груз", + "▁м игра", + "▁ми гра", + "▁миг ра", + "▁ мигра", + "▁симво лов", + "▁символ ов", + "▁наде жда", + "сти ческую", + "с тическую", + "▁чудови щ", + "▁про воло", + "▁прово ло", + "▁англий ских", + "▁круп ной", + "▁крупно й", + "▁произ вести", + "ал ы", + "а лы", + "▁з ря", + "ce an", + "▁G overnor", + "По д", + "П од", + "▁пе чат", + "▁печа т", + "▁ печат", + "▁подоб ной", + "▁подобно й", + "▁Югосла вии", + "▁d yn", + "▁Пожа луй", + "▁S and", + "▁San d", + "▁Sa nd", + "▁на строения", + "▁настрое ния", + "▁генера льный", + "▁f ix", + "▁дене жных", + "▁tw enty", + "▁на бере", + "▁набе ре", + "▁Э кс", + "▁Эк с", + "▁показа ться", + "▁показать ся", + "▁кор м", + "▁согласи е", + "▁S ever", + "▁Se ver", + "▁ра внове", + "▁равно ве", + "▁рав нове", + "ro ng", + "ron g", + "r ong", + "▁c ars", + "▁car s", + "▁B road", + "▁Bro ad", + "▁Br oad", + "▁се тей", + "▁сет ей", + "▁сете й", + "▁по лки", + "▁пол ки", + "▁полк и", + "▁F our", + "нек до", + "▁отде льного", + "▁отдель ного", + "▁отдельно го", + "▁ма лой", + "▁мало й", + "▁ло док", + "ric al", + "r ical", + "▁Та тар", + "▁чи не", + "▁чин е", + "▁ чине", + "то чных", + "▁along side", + "▁С иль", + "▁Си ль", + "▁Сил ь", + "и в", + "▁полу ченных", + "▁L y", + "▁B rig", + "▁Br ig", + "▁с низу", + "▁сни зу", + "▁требо валось", + "ga r", + "g ar", + "▁назна чил", + "▁вопро се", + "▁вопрос е", + "▁R am", + "тер риториаль", + "▁соревнова ний", + "▁V iet", + "▁Vi et", + "ла ва", + "лав а", + "s l", + "▁с пусти", + "▁спу сти", + "▁Уз беки", + "▁официаль ной", + "▁официально й", + "▁Министер ство", + "Ин тер", + "И нтер", + "▁В ет", + "▁Ве т", + "ко вод", + "ков од", + "ково д", + "▁акаде мик", + "▁академи к", + "▁О ре", + "▁Ор е", + "▁Ки ева", + "▁Киев а", + "ol ved", + "▁Христо с", + "▁су ществ", + "▁суще ств", + "▁зна чении", + "▁му жество", + "▁муже ство", + "▁конкре тного", + "▁конкретно го", + "▁ориен тирова", + "▁ориенти рова", + "▁обра тил", + "as y", + "a sy", + "▁соору жений", + "▁rec ently", + "▁recent ly", + "про сы", + "прос ы", + "▁в строен", + "▁зам ка", + "▁сообщи ть", + "да чи", + "▁Рабо тал", + "▁Работа л", + "▁Лат вии", + "▁празд ни", + "▁произ водит", + "▁производ ит", + "▁производи т", + "▁произво дит", + "▁ag ricult", + "жа ми", + "жам и", + "О П", + "▁Ма сса", + "▁сло я", + "ag n", + "a gn", + "▁о дея", + "▁оде я", + "ёт е", + "ё те", + "▁защи та", + "▁защит а", + "ни ческая", + "▁писа ла", + "▁писал а", + "ст ал", + "ста л", + "с тал", + "▁А фана", + "▁Аф ана", + "▁коме дии", + "▁Ген рих", + "▁Генри х", + "▁v irt", + "▁vir t", + "▁Ге нна", + "▁Ген на", + "▁нор ве", + "▁воен ном", + "▁военно м", + "▁вое нном", + "раз вед", + "▁отпра виться", + "▁отправить ся", + "▁ду мали", + "▁дума ли", + "▁думал и", + "▁crit ical", + "▁critic al", + "фо то", + "и гра", + "же нную", + "жен ную", + "тр ю", + "т рю", + "▁у читывая", + "▁учиты вая", + "▁расска зывать", + "▁рассказыва ть", + "▁рассказы вать", + "ги ю", + "▁p al", + "нд о", + "н до", + "▁о писал", + "▁описа л", + "▁опи сал", + "▁become s", + "▁becom es", + "▁Ч ёр", + "▁А пол", + "▁Апо л", + "▁Ап ол", + "▁main tain", + "▁f light", + "▁fl ight", + "ре нности", + "рен ности", + "ренно сти", + "▁s ources", + "▁source s", + "▁не бы", + "▁об лик", + "▁обли к", + "▁у сы", + "▁ус ы", + "▁g oes", + "▁go es", + "▁потреби телей", + "▁разме щения", + "________ ________", + "до вали", + "дова ли", + "дов али", + "довал и", + "ме тр", + "мет р", + "Ве ли", + "▁gro wing", + "▁grow ing", + "▁Алексе евич", + "▁фи нал", + "▁фина л", + "▁фин ал", + "▁д но", + "▁ дно", + "▁возвра ща", + "▁дости жение", + "un ior", + "леко пита", + "▁обе щал", + "▁обеща л", + "▁тай ны", + "▁на нести", + "▁нанес ти", + "▁эк скур", + "▁экс кур", + "▁восприя тие", + "▁деву шку", + "▁си льных", + "▁силь ных", + "▁стихот ворения", + "▁стихотво рения", + "▁срав нения", + "▁A D", + "▁ AD", + "▁стату са", + "▁статус а", + "▁инже нера", + "▁инженер а", + "▁Го вори", + "▁называ емых", + "▁называем ых", + "▁спи ну", + "▁вре да", + "▁вред а", + "▁Сара тов", + "ar io", + "ari o", + "жо у", + "▁пере шла", + "▁Ана логи", + "▁оправ ды", + "▁переда че", + "▁передач е", + "▁Б рат", + "▁Бра т", + "▁полез но", + "▁сме ши", + "▁сли зи", + "▁P ak", + "▁неправи льно", + "́ ,", + "▁в сер", + "▁все р", + "▁вс ер", + "▁тка ней", + "ц кая", + "▁ба скет", + "qu est", + "que st", + "ques t", + "▁аэро порта", + "▁аэропор та", + "▁аэропорт а", + "▁incor por", + "▁контро лем", + "▁образ ец", + "▁образе ц", + "ve st", + "ves t", + "v est", + "▁пер сид", + "▁ка ба", + "▁поко я", + "▁rece ive", + "чи ками", + "чика ми", + "чикам и", + "▁коман дующий", + "▁команду ющий", + "▁ру бля", + "▁руб ля", + "▁про чего", + "▁проч его", + "▁elect ric", + "▁Май кл", + "▁Лю би", + "▁ф рей", + "▁фре й", + "▁attack ed", + "▁во жде", + "▁вож де", + "▁Hist ory", + "▁Histor y", + "▁пла нете", + "▁плане те", + "▁план ете", + "▁планет е", + "▁у регули", + "▁един ственное", + "▁единственно е", + "▁Кон гре", + "▁lead ership", + "▁leader ship", + "▁leaders hip", + "▁Никола ев", + "pr ise", + "pri se", + "▁трав мы", + "нс кую", + "н скую", + "▁шта те", + "▁штат е", + "▁произ нес", + "ul s", + "u ls", + "ре ктор", + "рек тор", + "▁заседа ния", + "▁засе дания", + "▁Геор гия", + "▁Георги я", + "ло вича", + "лович а", + "лови ча", + "▁до ходы", + "▁доход ы", + "▁пра ве", + "▁прав е", + "▁ праве", + "▁на строй", + "▁настро й", + "щи ками", + "щика ми", + "щикам и", + "▁c ells", + "▁cell s", + "ис ка", + "и ска", + "▁указа нных", + "▁соста влял", + "▁состав лял", + "▁составля л", + "qu arters", + "▁основ ное", + "▁осно вное", + "▁b ra", + "▁br a", + "▁ bra", + "▁выступа ют", + "▁у сер", + "▁ус ер", + "▁усе р", + "▁диапа зо", + "шед ший", + "▁f it", + "▁ fit", + "▁se at", + "▁sea t", + "▁en joy", + "ско пи", + "скоп и", + "▁г воз", + "▁во ля", + "▁вол я", + "▁ла ты", + "▁лат ы", + "▁совокуп ность", + "▁F ar", + "▁Fa r", + "▁m is", + "▁mi s", + "▁коллек ции", + "▁колле кции", + "▁привы к", + "диви тельно", + "▁и скопа", + "▁иск опа", + "▁иско па", + "▁ги бель", + "▁estim ated", + "ask et", + "▁хо дили", + "▁ход или", + "▁ходил и", + "▁ ходили", + "щи мся", + "щим ся", + "▁насе лением", + "▁население м", + "Н Е", + "▁Th ree", + "▁А хма", + "▁Ах ма", + "то рам", + "тор ам", + "тора м", + "▁бума г", + "▁ass igned", + "▁ко мен", + "▁ком ен", + "▁коме н", + "▁ комен", + "▁дыха ния", + "▁т вёр", + "▁тв ёр", + "ни нг", + "нин г", + "н инг", + "▁Результа ты", + "▁Результат ы", + "▁п одно", + "▁по дно", + "▁под но", + "▁pos itive", + "▁тра вы", + "▁трав ы", + "▁но сят", + "▁нос ят", + "▁ носят", + "▁ли цам", + "▁лица м", + "▁лиц ам", + "▁со веты", + "▁сов еты", + "▁совет ы", + "▁сове ты", + "▁сла ву", + "▁сте кля", + "▁стек ля", + "ме тов", + "мет ов", + "мето в", + "▁Госпо да", + "▁Гос пода", + "▁гражда нских", + "▁граждан ских", + "рок ко", + "▁эксплуа тацию", + "R O", + "▁ста рей", + "▁стар ей", + "▁вся кие", + "▁расска зов", + "▁рассказ ов", + "ia no", + "ian o", + "i ano", + "▁сро чно", + "▁груп пами", + "▁группа ми", + "wh ich", + "▁я чей", + "▁Lat in", + "▁обра зуется", + "▁образу ется", + "▁образует ся", + "▁Пробле ма", + "▁бе ль", + "▁ бель", + "▁Государ ственный", + "▁да влением", + "▁дав лением", + "▁давление м", + "со вые", + "ur ation", + "ura tion", + "u ration", + "form ation", + "▁вет ви", + "ха рак", + "хар ак", + "хара к", + "▁наи луч", + "▁ти пу", + "▁тип у", + "▁m icro", + "▁произо йдет", + "жу т", + "ж ут", + "▁тру бы", + "▁труб ы", + ". #", + "▁match es", + "▁mat ches", + "▁дево чки", + "▁па ло", + "▁пал о", + "▁ра зма", + "▁раз ма", + "▁Д ай", + "▁Да й", + "▁В ера", + "▁Ве ра", + "▁Вер а", + "▁ма ссой", + "▁массо й", + "▁масс ой", + "▁коллек тива", + "▁коллектив а", + "▁ше ст", + "▁основ ал", + "▁основа л", + "▁осно вал", + "▁ни куда", + "▁ник уда", + "▁элемента ми", + "▁полномо чий", + "▁wid ely", + "▁wide ly", + "▁ги по", + "▁находя щихся", + "де с", + "ки о", + "те ма", + "тем а", + "т ема", + "ля ться", + "лять ся", + "▁уголов ное", + "ье ва", + "ьев а", + "ь ева", + "da te", + "d ate", + "▁Горь кого", + "чь их", + "чьи х", + "▁prim arily", + "▁дей ствовали", + "▁действовал и", + "▁С ент", + "▁Се нт", + "▁Сен т", + "▁п рого", + "▁про го", + "▁выз вали", + "▁вызва ли", + "▁вызвал и", + "▁offic ially", + "▁official ly", + "▁о писать", + "▁описа ть", + "▁опи сать", + "▁злоу потре", + "▁На чало", + "▁Нача ло", + "▁потреб ностей", + "▁serv ing", + "▁ser ving", + "▁взрос ло", + "▁взро сло", + "в кой", + "▁беспо ряд", + "▁Ло моно", + "▁распреде ления", + "▁на ле", + "▁н але", + "T S", + "▁П орт", + "▁По рт", + "▁Пор т", + "▁Бу ха", + "▁fac ilities", + "▁Неу жели", + "▁д ай", + "▁да й", + "▁ дай", + "▁патриар ха", + "u i", + "▁с ливо", + "▁сли во", + "▁сдела ет", + "▁Hist or", + "▁счита ться", + "▁считать ся", + "▁официаль ных", + "▁g reen", + "▁gr een", + "▁gre en", + "▁кри тика", + "▁крити ка", + "▁критик а", + "▁призна н", + "▁приз нан", + "О р", + "тчи ки", + "тчик и", + "т чики", + "▁столк нове", + "▁Б э", + "▁г л", + "▁ гл", + "▁c erem", + "▁ce rem", + "Ne w", + "N ew", + "▁посе тил", + "▁посети л", + "▁корре кти", + "▁коррек ти", + "▁отмеча л", + "▁отме чал", + "▁си льной", + "▁сильно й", + "▁силь ной", + "ла ма", + "лам а", + "▁хво ст", + "▁необходи мы", + "▁необходим ы", + "▁he av", + "▁ва шим", + "▁ваш им", + "▁ваши м", + "▁низ кой", + "▁низко й", + "if ying", + "ify ing", + "▁ограни чений", + "▁уме реть", + "▁умер еть", + "▁v on", + "▁vo n", + "▁ли шения", + "би ни", + "бин и", + "ab eth", + "▁T ro", + "▁Tr o", + "▁подтвер дил", + "Ф а", + "▁за бира", + "▁заби ра", + "ра ссу", + "рас су", + "▁He alth", + "▁по дать", + "▁пода ть", + "▁St an", + "▁удоволь ствия", + "то вал", + "тов ал", + "това л", + "▁ду хом", + "▁дух ом", + "▁духо м", + "▁s pend", + "▁sp end", + "▁spe nd", + "\" >", + "▁по дал", + "▁под ал", + "▁пода л", + "▁l oad", + "▁lo ad", + "▁ load", + "ci ous", + "c ious", + "▁B ell", + "▁Be ll", + "▁Bel l", + "▁подо зри", + "ёр т", + "ё рт", + "▁пригла сил", + "дя ми", + "дям и", + "д ями", + "▁По стоя", + "щая ся", + "▁хоро шая", + "▁сме ло", + "▁N etwork", + "▁Net work", + "▁сни зи", + "▁карто фе", + "▁станови лся", + "▁станов ился", + "▁стано вился", + "▁Норве гии", + "лю сь", + "л юсь", + "▁Бого роди", + "▁schol ars", + "▁h ab", + "▁ha b", + "▁ hab", + "▁современ ный", + "▁побе д", + "▁пло тно", + "▁плот но", + "▁Ст рои", + "▁Стро и", + "▁са ду", + "▁сад у", + "ве ние", + "вени е", + "▁Ле она", + "▁Леон а", + "▁Лео на", + "▁б ь", + "▁ бь", + "▁Jack son", + "жда ться", + "ждать ся", + "▁восстано вление", + "▁да ты", + "▁дат ы", + "раз ви", + "▁тво ей", + "▁твое й", + "ше нного", + "шен ного", + "шенно го", + "man n", + "m ann", + "▁потре бовал", + "▁потребо вал", + "▁Гар ри", + "ди нг", + "дин г", + "д инг", + "жа в", + "ж ав", + "▁раз личие", + "▁разли чие", + "▁различи е", + "▁bl ue", + "▁заклю чи", + "▁А стра", + "▁по строены", + "▁построе ны", + "▁построен ы", + "▁re quest", + "▁requ est", + "▁неболь шую", + "▁tourn ament", + "▁fig ure", + "▁И де", + "▁беспо ко", + "мо три", + "▁Ку бок", + "▁ви ну", + "▁вин у", + "▁ вину", + "▁пере за", + "▁пе реза", + "▁ж дали", + "▁ждал и", + "▁ ждали", + "!\" ,", + "! \",", + "! »", + "de f", + "d ef", + "▁look ed", + "▁сом ни", + "▁э ше", + "g reg", + "▁За па", + "▁her self", + "▁при зем", + "▁приз ем", + "▁Ни к", + "▁ава рии", + "С Я", + "▁result ing", + "▁содержа нием", + "▁содержание м", + "▁обще ственный", + "▁обществе нный", + "▁camp us", + "bor n", + "b orn", + "▁си льного", + "▁сильно го", + "▁силь ного", + "▁вы брал", + "▁выбра л", + "il ing", + "ili ng", + "i ling", + "▁пече ни", + "▁ба нди", + "▁бан ди", + "▁Port ug", + "▁та кси", + "▁так си", + "ро га", + "рог а", + "▁Конститу ции", + "▁exper iment", + "за паде", + "запад е", + "▁с юр", + "▁сю р", + "▁C ross", + "▁Cro ss", + "▁Cr oss", + "j o", + "▁qu ite", + "стан ция", + "▁inst all", + "▁пере кре", + "▁при нести", + "▁принес ти", + "ни зма", + "низ ма", + "низм а", + "н изма", + "ieuten ant", + "▁попро бу", + "▁фи ни", + "▁фин и", + "im a", + "i ma", + "▁ж дут", + "▁жду т", + "▁бе сси", + "▁бес си", + "▁бесс и", + "▁промышлен ных", + "Во т", + "В от", + "ме м", + "м ем", + "▁турни р", + "▁перспекти вы", + "▁перспек тивы", + "▁удовлет вори", + "▁удовлетво ри", + "▁поли тическую", + "▁полити ческую", + "▁супру га", + "▁вы пусти", + "▁выпу сти", + "▁ос ново", + "▁основ о", + "▁осно во", + "▁день гами", + "▁огром ную", + "жда ла", + "жд ала", + "ждал а", + "ж дала", + "▁искрен не", + "▁це лую", + "▁расположен ных", + "▁расположе нных", + "С парта", + "▁ж ёл", + "▁жё л", + "▁un able", + "▁у шла", + "▁вы йдет", + "ul ate", + "ula te", + "▁вспом нил", + "▁две надцать", + "▁тяже лой", + "▁тяжело й", + "▁полу ша", + "▁О Т", + "▁ ОТ", + "▁про бо", + "▁пр обо", + "▁проб о", + "▁пробле мами", + "▁проблема ми", + "▁проблемам и", + "▁d ang", + "кон ферен", + "▁Ко ра", + "▁Кор а", + "служ ба", + "▁фай лы", + "▁файл ы", + "▁серти фика", + "▁неиз мен", + "▁re ject", + "▁Б ала", + "▁Ба ла", + "▁Бал а", + "▁захва тили", + "▁захватил и", + "▁захват или", + "▁дифф еренци", + "воз душ", + "▁д иска", + "▁ди ска", + "▁дис ка", + "▁диск а", + "▁попыт ке", + "▁попы тке", + "▁образ ца", + "▁Иису с", + "▁суще ствовали", + "▁существо вали", + "▁существова ли", + "▁существовал и", + "cl aim", + "th let", + "▁E ll", + "▁El l", + "▁раз бой", + "▁разбо й", + "▁webs ite", + "ты ся", + "▁rap id", + "▁prom inent", + "▁окрестно стях", + "́ т", + "▁с нял", + "▁сня л", + "▁при во", + "▁прив о", + "▁re ports", + "▁report s", + "▁А дам", + "▁Ад ам", + "▁Ада м", + "▁успе хов", + "▁успех ов", + "рова нную", + "рован ную", + "▁Ма кедо", + "▁b urn", + "▁bur n", + "▁факуль те", + "▁поку пать", + "▁покупа ть", + "▁Ко личество", + "▁кру го", + "▁круг о", + "▁кр уго", + "▁Ру сь", + "▁Рус ь", + "▁j oint", + "▁jo int", + "▁join t", + "▁E ven", + "▁Ev en", + "▁commun ities", + "▁за су", + "▁зас у", + "▁свя зя", + "▁связ я", + "ке ль", + "▁начина ть", + "▁new ly", + "▁Наполе она", + "▁Наполеон а", + "▁эта же", + "▁этаж е", + "▁под созна", + "▁подсо зна", + "▁расположен ный", + "▁расположе нный", + "чё та", + "чёт а", + "со вест", + "▁совет ское", + "▁советско е", + "us ion", + "▁gu ns", + "▁gun s", + "▁сту пени", + "▁Зна чи", + "▁ско та", + "▁скот а", + "х ле", + "▁проф со", + "▁на доб", + "▁над об", + "▁надо б", + "▁Ни когда", + "▁Нико гда", + "▁фина ла", + "▁финал а", + "▁фин ала", + "▁oper ating", + "ун д", + "у нд", + "▁приме нением", + "▁применение м", + "▁у словие", + "▁услови е", + "▁w ild", + "▁стра дания", + "▁страда ния", + "шны х", + "шн ых", + "ш ных", + "шли сь", + "ш лись", + "▁Анг лию", + "▁при об", + "▁прио б", + "то нов", + "тон ов", + "т онов", + "▁пла ц", + "an cing", + "anc ing", + "▁со рока", + "▁сорок а", + "▁Ленин граде", + "▁Ленинград е", + "в на", + "ня м", + "н ям", + "ль ском", + "▁ма кро", + "ab y", + "a by", + "чи вается", + "чивает ся", + "чива ется", + "▁гла ву", + "▁глав у", + "▁нару жу", + "▁B udd", + "▁Bu dd", + "▁у тили", + "▁ут или", + "▁при емы", + "▁прием ы", + "▁прие мы", + "▁Владими рович", + "▁в сад", + "▁вс ад", + "▁sp ring", + "▁ко льца", + "▁коль ца", + "▁grant ed", + "об е", + "о бе", + "▁зарубе жных", + "la w", + "l aw", + "▁author ities", + "▁Ка та", + "▁Национа льный", + "S P", + "▁ве до", + "▁вед о", + "▁пер вому", + "▁перво му", + "▁первом у", + "▁g ained", + "▁gain ed", + "▁я го", + "▁до веря", + "▁дове ря", + "▁довер я", + "▁кур се", + "▁курс е", + "▁христиан ства", + "il ly", + "ill y", + "▁механи змы", + "▁механизм ы", + "▁разви вать", + "▁развива ть", + "ло ге", + "лог е", + "▁американ ская", + "▁америка нская", + "▁значи тельную", + "▁Ка лу", + "▁Кал у", + "▁от че", + "тя тся", + "тят ся", + "т ятся", + "▁И тали", + "▁Ита ли", + "▁comb ined", + "▁собира лись", + "▁allow ing", + "▁cons um", + "▁форма льно", + "▁форм ально", + "▁музы ке", + "▁коло сса", + "▁О пять", + "▁Оп ять", + "▁ве сен", + "▁весе н", + "▁вес ен", + "▁древ него", + "▁древне го", + "▁полуо строва", + "▁полуостро ва", + "▁созна тельно", + "▁против ников", + "▁противник ов", + "▁us er", + "▁use r", + "▁u ser", + "▁ user", + "▁Международ ного", + "▁по строй", + "▁пост рой", + "▁постро й", + "▁пробле ме", + "▁проблем е", + "▁пожа р", + "ль ских", + "▁молодо сти", + "z il", + "▁Т рам", + "▁Тра м", + "▁объ ём", + "▁объё м", + "▁f ile", + "▁fil e", + "▁ file", + "▁би блей", + "▁го суда", + "▁гос уда", + "▁госу да", + "чи ной", + "чин ой", + "▁С дела", + "▁Rail way", + "▁а люми", + "▁Б рита", + "▁Бри та", + "▁написа на", + "▁написан а", + "ча н", + "ч ан", + "▁австра лий", + "▁опреде ляют", + "▁определя ют", + "▁ту пи", + "С Б", + "ско п", + "ск оп", + "с коп", + "▁малень кая", + "▁Ва жно", + "▁L ove", + "▁Lo ve", + "▁ч ь", + "▁ чь", + "▁мг новение", + "▁фор мах", + "▁форма х", + "ле нно", + "лен но", + "л енно", + "▁слы шать", + "▁слыша ть", + "кл ы", + "к лы", + "несе ны", + "несен ы", + "▁mod els", + "▁model s", + "▁mode ls", + "▁насеко мых", + "▁n ative", + "▁A wards", + "▁Award s", + "▁поч ве", + "▁компонен ты", + "▁компонент ы", + "▁Ч еты", + "▁Че ты", + "▁Чет ы", + "▁ко нь", + "▁кон ь", + "▁ма стеров", + "▁мастер ов", + "▁масте ров", + "ка та", + "кат а", + "▁рассмотре ния", + "▁милли он", + "gr ad", + "g rad", + "▁небольшо го", + "▁экспери мент", + "▁Ча ще", + "▁d ra", + "▁dr a", + "д ни", + "▁остро вах", + "▁острова х", + "▁Cap tain", + "▁захва та", + "▁захват а", + "х ма", + "▁рим ля", + "▁a ctions", + "▁act ions", + "▁action s", + "▁ actions", + "▁organ ized", + "▁organiz ed", + "▁че рного", + "▁чер ного", + "▁черно го", + "▁пере вер", + "▁переве р", + "▁C a", + "▁же нского", + "▁жен ского", + "▁буду щей", + "▁м ону", + "▁мо ну", + "▁мон у", + "▁ска зки", + "▁сказ ки", + "▁в ведения", + "▁Ber lin", + "▁Ле г", + "▁тех нические", + "▁техни ческие", + "те лось", + "▁симво лом", + "▁символ ом", + "▁b ill", + "▁bi ll", + "re c", + "r ec", + "О К", + "▁спо ры", + "▁спор ы", + "B M", + "▁ко стей", + "▁кос тей", + "▁про водятся", + "▁прово дятся", + "▁провод ятся", + "▁проводят ся", + "▁проводя тся", + "ch o", + "c ho", + "за ли", + "зал и", + "з али", + "▁l isted", + "▁list ed", + "od ies", + "▁на гру", + "▁наг ру", + "▁кален дар", + "▁сержа нт", + "▁образова н", + "▁образов ан", + "▁за сыпа", + "▁в ины", + "▁ви ны", + "▁вин ы", + "▁ вины", + "▁сочета нии", + "фу нк", + "▁К ав", + "▁Ка в", + "▁territ ory", + "▁поли тическая", + "▁полити ческая", + "▁s cript", + "▁sc ript", + "▁ script", + "ве ри", + "вер и", + "▁диа гно", + "▁ш от", + "▁шо т", + "j a", + "▁спи не", + "▁це ной", + "▁цен ой", + "▁Институ т", + "▁посо вето", + "▁Р А", + "▁ РА", + "шн а", + "ш на", + "▁образ цы", + "▁С каза", + "▁Ска за", + "▁называ емой", + "▁называем ой", + "▁а нима", + "▁ани ма", + "читы вая", + "▁р ю", + "▁ рю", + "▁тре тья", + "▁треть я", + "ut ing", + "u ting", + "▁навы ки", + "▁стар шим", + "▁механи змов", + "▁механизм ов", + "▁запре т", + "▁м лекопита", + "▁то кси", + "▁ток си", + "▁ токси", + "▁поль зуется", + "▁пользу ется", + "▁фор си", + "▁Фло рен", + "▁наименова ние", + "са р", + "с ар", + "▁E nd", + "▁En d", + "▁обра зует", + "▁образу ет", + "▁пре ле", + "▁чужо й", + "▁свобо де", + "▁свобод е", + "▁литера туру", + "▁литератур у", + "▁ре органи", + "фи льм", + "филь м", + "▁part ies", + "▁par ties", + "▁н ю", + "▁ ню", + "▁aud ience", + "▁тенден ции", + "▁ш ле", + "▁ры бу", + "▁рыб у", + "▁реме сле", + "ди ем", + "дие м", + "▁У лья", + "▁происше ствия", + "▁поступа ть", + "▁посту пать", + "▁К от", + "▁Ко т", + "oc ated", + "oca ted", + "▁за т", + "▁з ат", + "ru m", + "r um", + "бо та", + "бот а", + "▁сани тар", + "▁рас следова", + "▁b roke", + "▁bro ke", + "▁br oke", + "▁Be fore", + "▁Ир ландии", + "▁кори чне", + "▁ коричне", + "in y", + "i ny", + "▁показа ла", + "▁пока зала", + "▁показал а", + "▁каза ков", + "▁же нской", + "▁жен ской", + "▁ре нт", + "▁р ент", + "▁а зо", + "amp ion", + "▁авто доро", + "▁Ве чером", + "▁боль шего", + "▁больше го", + "▁typ ically", + "▁typical ly", + "▁p aint", + "▁pain t", + "▁выступ лений", + "▁ули цах", + "▁улица х", + "▁fif th", + "ро вкой", + "ров кой", + "▁б рони", + "▁бро ни", + "▁брон и", + "▁dist ance", + "▁di stance", + "▁пре зента", + "▁com posed", + "▁compos ed", + "▁По стано", + "▁Поста но", + "▁Пост ано", + "▁e ra", + "▁er a", + "▁ era", + "▁выстав ке", + "▁выста вке", + "▁op position", + "▁oppos ition", + "row d", + "▁дума ют", + "▁думаю т", + "Б ы", + "▁импе риали", + "то во", + "тов о", + "▁any thing", + "▁концеп ция", + "ни са", + "нис а", + "▁C O", + "▁ CO", + "▁об щаться", + "▁Бли ж", + "▁фра зы", + "▁attempt ed", + "▁сдела н", + "▁сде лан", + "▁сдел ан", + "сна б", + "▁под ъем", + "▁подъ ем", + "▁Наталь я", + "▁Ната лья", + "▁по вест", + "▁пове ст", + "▁про даже", + "▁прода же", + "▁продаж е", + "▁дире кторов", + "▁директор ов", + "за ны", + "зан ы", + "▁З ай", + "▁За й", + "▁встре титься", + "▁встретить ся", + "▁Ос енью", + "▁позво лил", + "▁позволи л", + "▁судь и", + "▁суд ьи", + "▁ю ности", + "▁юно сти", + "▁атмосф еру", + "▁атмосфер у", + "▁К ир", + "▁Ки р", + "pe t", + "p et", + "ле нными", + "лен ными", + "ленным и", + "▁дивизи она", + "▁дивизион а", + "Г И", + "кви зи", + "▁стои ло", + "b ody", + "ви те", + "вит е", + "ва нных", + "ван ных", + "юзе ля", + "▁спек тра", + "▁спект ра", + "▁поли тическим", + "▁полити ческим", + "▁наблю дений", + "▁возмо жные", + "▁возможны е", + "C om", + "ga l", + "g al", + "▁при клад", + "▁indust rial", + "▁y ards", + "ya l", + "y al", + "▁Alex ander", + "▁У ол", + "▁Уо л", + "est ic", + "▁разно гла", + "▁st ring", + "▁str ing", + "▁stri ng", + "▁ string", + "ва ни", + "ван и", + "в ани", + "▁возник нове", + "зна ние", + "▁атмосф еры", + "▁атмосфер ы", + "▁филосо фия", + "▁философи я", + "ch ester", + "che ster", + "ches ter", + "▁затра т", + "▁зат рат", + "▁пле чи", + "or ter", + "ort er", + "▁использова лся", + "▁использовал ся", + "d a", + "мс а", + "м са", + "▁национа льно", + "▁откров енно", + "▁откро венно", + "▁откровен но", + "▁па дение", + "ak ed", + "ake d", + "con f", + "▁напра влению", + "ва ешь", + "»\" .", + "» \".", + "▁ми тин", + "зо вая", + "зова я", + "зов ая", + "ча тки", + "чат ки", + "▁f ully", + "▁full y", + "▁ fully", + "▁Соб ственно", + "▁диамет ром", + "▁диаметр ом", + "ant ly", + "▁запа сы", + "▁запас ы", + "▁о чер", + "▁оче р", + "▁экспер тов", + "▁d ie", + "▁di e", + "▁не лег", + "▁неле г", + "▁r aces", + "▁ra ces", + "▁race s", + "▁пы ль", + "▁trans fer", + "▁обы чные", + "▁содержа ть", + "▁содержат ь", + "▁оде жда", + "Бо ль", + "▁Т В", + "▁ ТВ", + "▁двор це", + "▁ги пно", + "▁оке а", + "▁Э ли", + "▁Эл и", + "▁не лега", + "▁неле га", + "▁нелег а", + "▁спро сить", + "▁спрос ить", + "▁ло кали", + "▁лока ли", + "▁лок али", + "▁пожа ра", + "▁пожар а", + "▁M en", + "▁Me n", + "▁откры той", + "▁открыто й", + "▁открыт ой", + "кну ла", + "кнул а", + "к нула", + "▁Secret ary", + "h y", + "се ли", + "сел и", + "▁пове зло", + "▁па рази", + "▁пара зи", + "▁H ead", + "▁He ad", + "▁ве ще", + "▁при чину", + "▁причи ну", + "▁причин у", + "▁се ан", + "▁нач нет", + "▁ч тение", + "▁чте ние", + "▁Direct or", + "но сил", + "носи л", + "нос ил", + "' )", + "све т", + "с вет", + "▁Х ри", + "▁ра сто", + "▁рас то", + "▁раст о", + "▁суще ствующих", + "▁существу ющих", + "▁вы боре", + "▁выбо ре", + "▁выбор е", + "▁свет ло", + "▁раз говоры", + "▁разгово ры", + "▁разговор ы", + "на го", + "ОВ А", + "О ВА", + "▁включа ют", + "▁вклю чают", + "ра л", + "р ал", + "ock ed", + "▁H ome", + "▁Hom e", + "▁Ho me", + "▁f air", + "▁fa ir", + "yth on", + "om y", + "o my", + "клады вают", + "▁сооб щается", + "▁сообщает ся", + "▁сообща ется", + "▁v ac", + "▁ar ms", + "▁arm s", + "ха у", + "▁хими ческих", + "рова нными", + "рован ными", + "рованным и", + "▁mention ed", + "▁И мя", + "▁Им я", + "▁El iz", + "▁r ob", + "▁ro b", + "▁де тской", + "▁дет ской", + "▁контак ты", + "▁контакт ы", + "▁рас следование", + "▁расследова ние", + "▁ident ified", + "▁Б ак", + "▁Ба к", + "▁о ты", + "▁от ы", + "▁развер ты", + "ans ion", + "▁не ви", + "▁нев и", + "▁кон суль", + "▁консу ль", + "▁мо тивы", + "▁мотив ы", + "▁пере бра", + "▁f ear", + "▁fe ar", + "▁т воя", + "▁тво я", + "z y", + "▁заме чает", + "▁замеча ет", + "▁Си бир", + "▁Сиби р", + "ст ина", + "сти на", + "стин а", + "с тина", + "▁ded icated", + "▁У чи", + "▁Уч и", + "▁добра ться", + "▁look ing", + "▁прину ди", + "▁по гу", + "▁Th rough", + "▁свобо дное", + "▁свобод ное", + "▁свободно е", + "▁начина л", + "▁начи нал", + "▁ва жной", + "▁важ ной", + "▁важно й", + "▁ре форм", + "▁рефор м", + "▁c ateg", + "ти ками", + "тика ми", + "▁це лых", + "▁хра ме", + "▁храм е", + "▁Pro ject", + "▁ма лого", + "▁мало го", + "▁R ay", + "▁K enn", + "▁Ken n", + "▁И дея", + "▁Иде я", + "▁неф ть", + "▁дове рие", + "▁Ц вет", + "▁знамени того", + "ча лись", + "чали сь", + "▁реа били", + "ко п", + "к оп", + "▁архитек тор", + "▁архите ктор", + "▁ре пети", + "▁забы вать", + "Т П", + "▁Ch ild", + "▁бы вало", + "▁бывал о", + "▁созда ется", + "▁создает ся", + "▁мы ше", + "▁мыш е", + "▁anim als", + "▁animal s", + "и р", + "ту рах", + "тура х", + "▁филь мах", + "▁фильма х", + "▁ex tend", + "▁ext end", + "▁ch annel", + "▁аре ста", + "▁арест а", + "▁вы зывать", + "▁вызыва ть", + "па в", + "п ав", + "▁R y", + "▁жи вого", + "▁живо го", + "▁Ра ди", + "пи ла", + "пил а", + "п ила", + "ча лся", + "чал ся", + "▁р ту", + "▁сра жении", + "ty pe", + "t ype", + "▁хода тай", + "▁при менить", + "▁приме нить", + "▁примени ть", + "▁иде ологии", + "▁идеологи и", + "▁Со лне", + "▁Солн е", + "▁Сол не", + "▁пере чень", + "▁счита лся", + "▁считал ся", + "▁пери фе", + "▁откры тый", + "▁открыты й", + "▁угро зой", + "▁h all", + "▁ha ll", + "▁п лот", + "▁пло т", + "▁Им пе", + "▁чет веро", + "▁четвер о", + "▁К ала", + "▁Ка ла", + "▁Кал а", + "▁квали фикации", + "▁квалифика ции", + "а я", + "res pond", + "▁поступа ет", + "Ж Д", + "os en", + "ose n", + "o sen", + "у строй", + "▁cre ation", + "▁creat ion", + "im al", + "ima l", + "▁ле ту", + "▁лет у", + "▁л ету", + "▁со зре", + "▁соз ре", + "▁пар ке", + "▁парк е", + "де нт", + "ден т", + "д ент", + "жа ние", + "гу берна", + "▁сюжет а", + "▁сюже та", + "смо треть", + "смотре ть", + "смотр еть", + "▁D an", + "▁По лит", + "▁Пол ит", + "▁Поли т", + "M an", + "▁му жской", + "▁муж ской", + "▁че рные", + "▁чер ные", + "▁Румы нии", + "wh ile", + "ди шь", + "▁hor se", + "▁hors e", + "▁Cor poration", + "ler s", + "l ers", + "▁ве нти", + "▁вен ти", + "▁be aut", + "▁ве сом", + "▁вес ом", + "за тор", + "▁В друг", + "▁прио рите", + "и д", + "ре али", + "▁сер вера", + "▁сервер а", + "▁кру гом", + "▁круг ом", + "▁круго м", + "▁а фи", + "▁аф и", + "▁изобра жений", + "▁Прави тельство", + "be c", + "b ec", + "▁Про ис", + "▁пред писа", + "▁при спо", + "▁прис по", + "▁пр испо", + "▁M u", + "▁с вин", + "▁сви н", + "▁св ин", + "▁празд нова", + "ic ed", + "ice d", + "i ced", + "▁се вера", + "▁север а", + "жник и", + "ж ники", + "▁цен зу", + "ти не", + "тин е", + "ми гра", + "м игра", + "лосо ф", + "▁жё ст", + "▁хра бро", + "▁добы чи", + "▁отпра вили", + "▁отправил и", + "▁при шёл", + "▁без рабо", + "▁Но вые", + "▁К ин", + "▁Ки н", + "си он", + "сио н", + "▁И рана", + "▁Ир ана", + "▁Ира на", + "▁Иран а", + "▁мо нет", + "▁мон ет", + "▁моне т", + "▁че чен", + "▁разрабо та", + "▁мифо логии", + "▁миф ологии", + "▁pos itions", + "▁position s", + "▁глу бже", + "▁персона ла", + "▁экономи ческие", + "▁pie ce", + "▁M id", + "▁соответ ствующей", + "▁соответству ющей", + "ird s", + "числе нные", + "чис ленные", + "▁то п", + "▁т оп", + "▁ топ", + "▁вопро сами", + "▁вопросам и", + "▁вопроса ми", + "▁ша сси", + "▁дости гла", + "▁достиг ла", + "▁прогре ссив", + "▁прогресс ив", + "▁прогресси в", + "▁украин ский", + "▁му со", + "▁отожде ств", + "▁L es", + "▁Le s", + "▁компро ми", + "▁ак тов", + "▁акт ов", + "aw a", + "a wa", + "▁Прави тельства", + "▁Вол го", + "▁перио ды", + "▁период ы", + "▁H uman", + "▁Hu man", + "or age", + "ora ge", + "o rage", + "▁про сить", + "▁прос ить", + "▁просит ь", + "▁проси ть", + "▁пере из", + "▁переи з", + "▁эффек та", + "▁эффект а", + "ко лы", + "кол ы", + "▁conf irmed", + "▁pl ays", + "▁play s", + "▁вариан те", + "▁вариант е", + "▁вариа нте", + "▁сле зы", + "▁слез ы", + "▁Ве сной", + "ph y", + "p hy", + "▁вид ны", + "un te", + "unt e", + "▁dise ase", + "сло ве", + "слов е", + "с лове", + "▁по ды", + "▁под ы", + "▁рассу ждения", + "▁Э кономи", + "ique s", + "iqu es", + "i ques", + "ви ка", + "вик а", + "▁Оста льные", + "▁коммуни кации", + "▁коммуника ции", + "▁х ру", + "▁осо бые", + "▁особы е", + "▁тре бовал", + "▁требо вал", + "▁W in", + "▁Wi n", + "▁К им", + "▁Ки м", + "▁Все союз", + "ше нным", + "шен ным", + "▁до лине", + "▁доли не", + "чь его", + "чье го", + "▁перед ней", + "ме ров", + "мер ов", + "ро вало", + "рова ло", + "ровал о", + "▁продол жала", + "▁продолжа ла", + "▁продолжал а", + "▁С аль", + "▁Са ль", + "▁Сал ь", + "▁sim ple", + "▁p oll", + "▁pol l", + "▁po ll", + "▁Ф ар", + "▁Фа р", + "▁чувству ю", + "▁чувств ую", + "▁Соответ ственно", + "ша ми", + "ша ться", + "шать ся", + "▁каче ств", + "▁стан ций", + "▁ станций", + "▁ne eds", + "▁need s", + "Con t", + "C ont", + "ki n", + "k in", + "▁tra cks", + "▁track s", + "▁C ard", + "▁Car d", + "▁Ca rd", + "▁Во сток", + "▁Восто к", + "▁Вос ток", + "не нную", + "нен ную", + "▁по дой", + "▁под ой", + "▁подо й", + "▁бо ев", + "▁бое в", + "ar c", + "a rc", + "ствен ностью", + "стве нностью", + "ственно стью", + "ственность ю", + "▁w ays", + "▁way s", + "▁wa ys", + "▁ ways", + "▁E ach", + "▁сдела ны", + "▁сделан ы", + "грам му", + "грамм у", + "▁уче ного", + "▁художе ственный", + "C O", + "▁К А", + "▁ КА", + "▁los ing", + "▁бе рут", + "▁бер ут", + "▁беру т", + "▁T our", + "▁To ur", + "▁уве ренно", + "▁уверен но", + "нг у", + "н гу", + "▁Rev olution", + "▁тради ционно", + "▁о гор", + "▁ог ор", + "▁ого р", + "▁к в", + "▁массо вого", + "▁шко лах", + "▁школа х", + "▁Доста точно", + "▁рассматри вается", + "▁рассматривает ся", + "▁освобо дить", + "▁освободи ть", + "▁смотре ли", + "▁смотрел и", + "▁comm ander", + "▁command er", + "▁иде е", + "▁ка бине", + "▁каби не", + "▁ле дя", + "▁лед я", + "▁инфраструк туры", + "п с", + "▁Ю рия", + "▁полномо чия", + "▁фаль ши", + "▁я дро", + "▁яд ро", + "▁систе мах", + "▁система х", + "he w", + "h ew", + "по т", + "п от", + "▁бро сить", + "▁броси ть", + "▁услыша ть", + "▁услы шать", + "▁ком мен", + "▁ коммен", + "▁характер но", + "▁a im", + "▁ aim", + "▁свойства ми", + "▁мото ци", + "▁обра ща", + "▁По чёт", + "▁prov iding", + "▁из мери", + "▁изме ри", + "▁измер и", + "ти руется", + "тиру ется", + "тирует ся", + "▁пре образования", + "▁преобразова ния", + "ne w", + "n ew", + "▁дви жется", + "▁съ ём", + "▁съё м", + "шн я", + "ш ня", + "да ра", + "дар а", + "д ара", + "▁россий ская", + "A n", + "▁Б ир", + "▁Би р", + "▁рассе я", + "бро са", + "бр оса", + "▁Мо ги", + "▁Ль вов", + "▁Льво в", + "ли ков", + "лик ов", + "▁Иеруса ли", + "в ской", + "▁M ajor", + "C P", + "▁у трен", + "▁ут рен", + "▁ле вый", + "▁пове рить", + "▁повер ить", + "ш ё", + "би о", + "зве з", + "▁су дья", + "▁судь я", + "▁суд ья", + "▁руководи тели", + "ad or", + "ado r", + "▁вос созда", + "▁Se ries", + "▁Ser ies", + "▁Похоро нен", + "o ir", + "▁зна ч", + "▁возду шного", + "▁воздуш ного", + "ли ги", + "▁Ка ждо", + "▁V is", + "▁Vi s", + "▁дума ете", + "▁думает е", + "▁долго сро", + "▁от зыва", + "▁отзыв а", + "▁соответ ствуют", + "▁соответству ют", + "▁Ч его", + "▁Че го", + "▁I ra", + "▁Ir a", + "▁стреми тельно", + "▁L ine", + "▁Li ne", + "▁Екатери ны", + "▁Екатерин ы", + "▁v ess", + "▁ve ss", + "▁Х ью", + "pr int", + "pri nt", + "▁вклю чить", + "▁стихот ворение", + "▁стихотво рение", + "▁организова л", + "▁сто ян", + "▁стоя н", + "▁вер шины", + "▁верши ны", + "▁собра лись", + "▁собрали сь", + "▁косми ческого", + "▁ex press", + "▁exp ress", + "г с", + "▁Int el", + "▁каби нете", + "▁кабинет е", + "▁кабине те", + "▁Э лектро", + "▁b ey", + "▁be y", + "▁con tain", + "▁cont ain", + "▁гар мони", + "▁гармо ни", + "▁и ран", + "▁ир ан", + "▁объяви ли", + "▁объя вили", + "▁объявил и", + "▁отмеча ют", + "▁отме чают", + "▁по ехал", + "▁пое хал", + "▁ли ста", + "▁лист а", + "ni c", + "n ic", + "▁w arn", + "▁war n", + "▁t itled", + "▁tit led", + "▁title d", + "▁Бу дь", + "▁Буд ь", + "▁Эсто нии", + "▁F ield", + "мо вой", + "мов ой", + "во ю", + "▁L ittle", + "▁пря мого", + "▁прямо го", + "▁al le", + "▁all e", + "▁ alle", + "▁А по", + "▁Ап о", + "▁e lim", + "▁el im", + "▁ле з", + "▁л ез", + "▁ лез", + "та ться", + "тать ся", + "▁обстанов ки", + "▁et c", + "▁упо рно", + "▁упор но", + "▁по началу", + "▁тек сту", + "▁текст у", + "ве ров", + "вер ов", + "веро в", + "▁че сно", + "▁приро дой", + "▁природ ой", + "логи ческий", + "▁М ГУ", + "▁пере вести", + "▁переве сти", + "▁Кар ло", + "▁Карл о", + "▁команди ров", + "▁командир ов", + "▁вероятно сти", + "▁вероят ности", + "▁expand ed", + "▁drop ped", + "▁тре ти", + "▁тр ети", + "об ы", + "о бы", + "▁мето дами", + "▁метода ми", + "▁on line", + "▁украин ских", + "▁Un ivers", + "ур а", + "у ра", + "▁тех нической", + "▁техни ческой", + "▁ технической", + "▁при бре", + "▁XX I", + "▁вре мён", + "▁Совет ов", + "▁Сове тов", + "▁Ф ра", + "▁t ask", + "▁c arri", + "▁car ri", + "▁орга нах", + "▁органа х", + "▁continu es", + "▁contin ues", + "▁continue s", + "in ate", + "ina te", + "de g", + "ne l", + "n el", + "га нской", + "ган ской", + "та ры", + "тар ы", + "▁про ста", + "▁прос та", + "▁пр оста", + "▁прост а", + "▁пят надцать", + "▁пятна дцать", + "▁f alse", + "▁Еги пте", + "se n", + "s en", + "▁Со ч", + "▁а кта", + "▁ак та", + "▁акт а", + "▁co al", + "▁Ль во", + "▁но сили", + "▁носи ли", + "▁нос или", + "▁носил и", + "▁ носили", + "▁До ку", + "пп е", + "п пе", + "▁поддержа ть", + "▁тру бку", + "▁труб ку", + "▁приве дет", + "▁привед ет", + "зна ния", + "▁учё ный", + "▁Сле д", + "▁reg ister", + "▁Д вор", + "▁Л ы", + "вы со", + "выс о", + "▁стра ница", + "▁страниц а", + "▁неиз менно", + "▁неизмен но", + "▁all ows", + "▁allow s", + "▁китай ской", + "▁кита йской", + "сте рои", + "эл е", + "э ле", + "чё р", + "ч ёр", + "▁E p", + "▁по ложил", + "▁поло жил", + "▁положи л", + "нь ко", + "▁П сков", + "▁медици нского", + "▁мыш ление", + "▁As ia", + "▁in hab", + "▁По каза", + "▁Пока за", + "▁И рина", + "▁Ир ина", + "▁нару шений", + "ну ты", + "нут ы", + "▁Ро сто", + "▁Рос то", + "ва нный", + "ван ный", + "▁сте ну", + "▁стен у", + "▁Амери ку", + "▁эмо ций", + "▁т рю", + "▁тр ю", + "▁ трю", + "▁пре се", + "▁ре дакти", + "▁реда кти", + "▁редак ти", + "ash ion", + "▁готов ность", + "▁B ul", + "▁Bu l", + "▁подтвер жда", + "▁ве не", + "▁вен е", + "▁рису нок", + "▁chall eng", + "▁G re", + "▁Gr e", + "▁на родный", + "▁наро дный", + "▁народ ный", + "▁b ul", + "▁bu l", + "▁сни жения", + "▁опреде ленное", + "▁определен ное", + "▁определенно е", + "▁mus eum", + "▁arr ested", + "▁arrest ed", + "си на", + "син а", + "с ина", + "▁распо ложи", + "▁слу жили", + "▁служ или", + "▁служи ли", + "▁служил и", + "▁N ight", + "▁мето до", + "▁мет одо", + "▁метод о", + "з нь", + "п кой", + "ти нской", + "тин ской", + "то чные", + "▁Гражда нской", + "▁Scot land", + "▁Pr ime", + "▁Pri me", + "▁stra ight", + "▁войска м", + "▁войск ам", + "▁vis ited", + "▁visit ed", + "▁коммента рии", + "▁К ем", + "▁Ке м", + "▁author ity", + "▁s light", + "▁sl ight", + "Ба р", + "Б ар", + "▁пи кабу", + "И М", + "▁Sy d", + "де ш", + "▁извест ная", + "▁известна я", + "▁изве стная", + "ru n", + "r un", + "▁аэрод ром", + "▁аэродро м", + "▁про стое", + "▁просто е", + "▁прос тое", + "▁прост ое", + "▁К О", + "▁ КО", + "▁а зербайджа", + "▁Вну трен", + "▁D et", + "▁De t", + "▁то ма", + "▁том а", + "▁la unch", + "▁laun ch", + "▁корпора ции", + "▁коро лю", + "▁хозя ева", + "▁хозяев а", + "▁bey ond", + "▁тыся чу", + "▁тысяч у", + "▁фа са", + "▁st ock", + "▁диа лог", + "D on", + "▁d raft", + "▁dr aft", + "▁dra ft", + "зи рованные", + "зирова нные", + "зирован ные", + "В т", + "▁шири ной", + "▁акку муля", + "▁все ленной", + "▁по няла", + "▁поня ла", + "▁понял а", + "▁не деле", + "▁неде ле", + "▁A rm", + "▁Ar m", + "▁F ord", + "▁For d", + "▁уве дом", + "▁эк спорт", + "▁экс порт", + "▁экспо рт", + "▁экспор т", + "▁направления х", + "▁из образи", + "▁изобра зи", + "▁Э пи", + "Се вер", + "▁у на", + "▁ уна", + "▁exist ing", + "▁У да", + "▁сов па", + "▁коло коль", + "▁катего рия", + "▁категори я", + "▁Пу бли", + "▁есте ственным", + "▁sp ot", + "▁само лёт", + "▁самолё т", + "▁пояс нил", + "▁Col on", + "▁и того", + "▁ито го", + "▁итог о", + "▁Объ еди", + "фт е", + "ф те", + "▁Americ ans", + "▁American s", + "▁America ns", + "▁о тк", + "▁от к", + "шни ки", + "шник и", + "ш ники", + "▁ла т", + "▁л ат", + "▁ лат", + "▁откры том", + "▁открыто м", + "▁открыт ом", + "▁предоста вля", + "▁col umn", + "▁ч ая", + "▁ча я", + "▁ чая", + "▁тру дов", + "▁труд ов", + "▁трудо в", + "х нул", + "▁уви дела", + "▁увиде ла", + "▁увидел а", + "▁ска нда", + "▁скан да", + "▁D un", + "▁Du n", + "▁Н ере", + "▁Не ре", + "▁Нер е", + "▁пос реди", + "▁посред и", + "▁phil osoph", + "бо го", + "▁изу чал", + "▁изуча л", + "м ба", + "▁предлага ют", + "▁attempt s", + "dr o", + "d ro", + "▁от дох", + "▁сло варь", + "▁слова рь", + "▁слов арь", + "in ity", + "ini ty", + "init y", + "ge nt", + "gen t", + "g ent", + "▁пу лем", + "▁пуле м", + "▁Ме ль", + "▁умень ши", + "▁хокке й", + "▁физи ческие", + "▁физически е", + "▁хва тило", + "▁Тре тий", + "▁ми ровых", + "▁миро вых", + "▁миров ых", + "▁ст вола", + "▁ство ла", + "▁ствол а", + "B l", + "П О", + "▁сти хий", + "▁стихи й", + "uild ing", + "не восто", + "нево сто", + "▁Т реть", + "▁Тре ть", + "ме ли", + "мел и", + "▁по ду", + "▁под у", + "▁V en", + "▁Ve n", + "мо нти", + "мон ти", + "монт и", + "▁по пе", + "▁поп е", + "▁fem ales", + "▁female s", + "▁заклю чил", + "▁заключи л", + "▁У зна", + "▁Уз на", + "▁Мо нте", + "▁Мон те", + "▁бара ба", + "▁гражда нина", + "▁граждан ина", + "▁гражданин а", + "▁автомоби ли", + "▁ret ired", + "▁retire d", + "▁ре ставра", + "▁откры тых", + "▁открыт ых", + "▁открыты х", + "ми е", + "▁тера пев", + "▁off ers", + "▁offer s", + "▁own er", + "▁оста вляет", + "▁оставля ет", + "▁Con ference", + "▁с вали", + "▁сва ли", + "▁св али", + "хо дятся", + "ходя тся", + "ход ятся", + "ходят ся", + "▁прогре сса", + "▁прогресс а", + "пе реди", + "пер еди", + "пере ди", + "перед и", + "▁Т вор", + "▁Наполе он", + "▁met al", + "▁M ir", + "▁Г ера", + "▁Ге ра", + "▁Гер а", + "▁колеба ний", + "во сти", + "вос ти", + "▁W ater", + "▁Wat er", + "ay a", + "a ya", + "▁G en", + "▁Ge n", + "▁не сти", + "▁нес ти", + "▁ нести", + "▁мене дж", + "ду ю", + "д ую", + "▁М ЧС", + "▁за лож", + "▁b ranch", + "▁сте нах", + "▁стена х", + "▁при ход", + "▁прихо д", + "▁пере стал", + "▁переста л", + "▁перес тал", + "▁грам мати", + "▁кори до", + "▁то на", + "▁т она", + "▁тон а", + "▁ тона", + "▁Генера льного", + "▁публи ки", + "▁вне шние", + "▁внеш ние", + "▁Говоря т", + "Ф е", + "▁B al", + "▁Ba l", + "▁на силь", + "▁нас иль", + "▁наси ль", + "▁Ка кая", + "▁Как ая", + "▁у зел", + "▁Фе дор", + "▁Федо р", + "▁по чер", + "▁поч ер", + "▁поче р", + "▁о гла", + "▁ог ла", + "▁Б ет", + "▁Бе т", + "А й", + "▁бли зости", + "▁P o", + "ку ля", + "▁возник нуть", + "▁H on", + "▁Ho n", + "▁ва жнее", + "▁важ нее", + "тк о", + "т ко", + "▁тре бовать", + "▁требо вать", + "▁счита ются", + "▁считают ся", + "▁считаю тся", + "▁необходи ма", + "▁необходим а", + "во дили", + "вод или", + "води ли", + "водил и", + "▁S a", + "uc t", + "u ct", + "см и", + "с ми", + "жи ны", + "жин ы", + "ж ины", + "▁p it", + "ро вый", + "ще нное", + "щен ное", + "щенно е", + "▁оборо не", + "▁оборон е", + "▁ту ристов", + "▁тури стов", + "▁энерги ей", + "▁У ор", + "▁Уо р", + "▁M P", + "▁ MP", + "▁d ance", + "▁ответ ила", + "▁отве тила", + "▁ответил а", + "▁Пси хо", + "▁францу зов", + "▁француз ов", + "▁экс пози", + "▁экспо зи", + "▁стере оти", + "▁кон фе", + "▁конф е", + "▁две надцати", + "ци н", + "ц ин", + "▁конкре тной", + "▁конкретно й", + "▁состоя т", + "▁состо ят", + "ну с", + "н ус", + "▁S ky", + "▁Sk y", + "▁За ха", + "is hes", + "ish es", + "▁аспи ран", + "▁ланд ша", + "ion e", + "io ne", + "i one", + "▁коле са", + "▁колес а", + "пп а", + "п па", + "се ров", + "сер ов", + "▁Под роб", + "▁сцена рия", + "▁r ules", + "▁rul es", + "▁ru les", + "▁rule s", + "▁втор жения", + "▁при год", + "▁приго д", + "вка зе", + "вказ е", + "▁material s", + "er c", + "e rc", + "▁останови ться", + "▁остановить ся", + "▁остано виться", + "▁к рым", + "▁кры м", + "▁постано вление", + "▁постанов ление", + "▁Мар тин", + "▁де ду", + "▁дед у", + "▁con vers", + "▁conv ers", + "▁conver s", + "▁предна знача", + "▁предназна ча", + "▁д жа", + "▁ джа", + "▁баскет бо", + "▁we ight", + "▁ weight", + "▁отсут ствуют", + "▁app arent", + "▁ф ос", + "▁фо с", + "▁ фос", + "▁за водов", + "▁заво дов", + "▁завод ов", + "ph as", + "pha s", + "ми ей", + "мие й", + "▁три ум", + "▁на кры", + "▁А К", + "▁ АК", + "▁часто ты", + "▁power ful", + "▁reg ional", + "▁region al", + "▁Je an", + "▁взгля да", + "▁взгляд а", + "▁ad vant", + "▁adv ant", + "▁Em peror", + "рен бург", + "ки но", + "кин о", + "к ино", + "логи ческой", + "▁inj ury", + "▁кня зья", + "▁князь я", + "▁обще ственно", + "▁обществе нно", + "▁обществ енно", + "▁затра ты", + "▁затрат ы", + "▁шот ланд", + "▁расска зала", + "▁рассказа ла", + "▁рассказал а", + "▁рассказ ала", + "he ns", + "hen s", + "h ens", + "▁поме щений", + "ань ше", + "а ньше", + "▁попыта ться", + "▁попы таться", + "▁чемпи онов", + "▁чемпион ов", + "▁сотруд ника", + "▁сотрудни ка", + "▁сотрудник а", + "▁за гля", + "▁откры вается", + "▁открывает ся", + "▁фра за", + "▁за ложен", + "▁залож ен", + "▁ш тор", + "▁шт ор", + "▁dep artment", + "▁depart ment", + "▁ве село", + "▁весе ло", + "pt ion", + "p tion", + "▁марш рут", + "▁маршру т", + "▁от печа", + "▁Пи кабу", + "▁B ern", + "▁Ber n", + "▁c rim", + "▁cr im", + "ol id", + "oli d", + "▁по че", + "▁поч е", + "▁культур ных", + "▁ар битра", + "▁работ ода", + "▁работо да", + "▁ко ров", + "▁кор ов", + "▁коро в", + "▁g ives", + "▁give s", + "▁кри тике", + "▁крити ке", + "▁критик е", + "▁ак тера", + "▁акт ера", + "▁актер а", + "▁res ources", + "▁on to", + "▁ onto", + "▁желез ы", + "▁желе зы", + "дви га", + "двиг а", + "д вига", + "ger s", + "g ers", + "▁затра ги", + "▁рас смотрим", + "▁r oll", + "▁ro ll", + "▁ roll", + "гла сно", + "▁при зыв", + "▁призы в", + "▁воспита ние", + "сти вале", + "стива ле", + "шед ших", + "▁понима нии", + "▁кисло рода", + "▁кислород а", + "▁в ступить", + "▁вступи ть", + "▁вступ ить", + "ст ская", + "▁Just ice", + "▁мини ат", + "стер на", + "с терна", + "ro me", + "rom e", + "r ome", + "▁Шта тов", + "▁п лей", + "▁пле й", + "▁ плей", + "▁площа дке", + "▁M ov", + "▁Mo v", + "чка м", + "ч кам", + "▁роди не", + "▁па тологи", + "▁пато логи", + "▁голо вного", + "▁голов ного", + "▁экземпля ров", + "▁экземпляр ов", + "▁снаря дов", + "▁снаряд ов", + "▁кон центри", + "▁собира ются", + "▁у д", + "▁ уд", + "▁государ ству", + "▁государств у", + "▁мо рали", + "▁мор али", + "▁мора ли", + "▁ю сти", + "▁способ ностей", + "▁способно стей", + "▁сим пати", + "▁симпа ти", + "до влет", + "дов лет", + "▁Е ди", + "▁ Еди", + "▁класси фикации", + "▁хра нить", + "▁храни ть", + "▁ко лес", + "▁коле с", + "▁гимна зии", + "▁Ру сский", + "▁Рус ский", + "оте че", + "▁spl it", + "мо рской", + "мор ской", + "▁произо шли", + "▁вы тяну", + "ba r", + "b ar", + "▁опера тор", + "▁e state", + "▁est ate", + "▁корот кие", + "у ка", + "▁посоль ства", + "▁Та ш", + "▁до мом", + "▁дом ом", + "▁домо м", + "ль щиков", + "▁Сере бря", + "▁Am ong", + "▁пове сть", + "▁повест ь", + "▁оши ба", + "▁ошиб а", + "▁s we", + "▁sw e", + "но рма", + "нор ма", + "▁P ers", + "▁Per s", + "▁Ны не", + "▁сло ев", + "▁под пись", + "▁подпи сь", + "▁anal ysis", + "▁четвер ти", + "▁о сле", + "▁ос ле", + "▁A M", + "▁ AM", + "▁вопро сах", + "▁вопроса х", + "зо вый", + "зовы й", + "▁com pon", + "▁comp on", + "че нность", + "чен ность", + "ченно сть", + "▁плат форма", + "▁платфор ма", + "▁соб лаз", + "▁аре нду", + "▁арен ду", + "ро вича", + "рович а", + "▁декла ра", + "ме тим", + "мет им", + "мети м", + "▁фор те", + "▁образова нием", + "▁образование м", + "▁Мои се", + "▁и менова", + "▁име нова", + "▁с меня", + "▁сме ня", + "▁см еня", + "▁un ique", + "▁обще при", + "▁за печат", + "▁запе чат", + "▁B on", + "▁Bo n", + "▁ис кал", + "▁иска л", + "▁иск ал", + "burg h", + "bur gh", + "▁A venue", + "▁же нат", + "▁жен ат", + "▁жена т", + "▁dig ital", + "▁F am", + "▁Fa m", + "сси ян", + "ссия н", + "▁Ку зь", + "▁occ asion", + "▁occas ion", + "▁sh op", + "ще нным", + "щен ным", + "▁найден ы", + "▁найде ны", + "▁Фили пп", + "▁Филип п", + "▁effect ive", + "▁со зерца", + "▁C E", + "▁при ехали", + "▁прие хали", + "▁приехал и", + "▁приеха ли", + "▁добро вольно", + "▁доброволь но", + "▁доброво льно", + "фф е", + "ф фе", + "▁get ting", + "▁упо рядо", + "не сение", + "несе ние", + "▁as pect", + "де ев", + "▁пу те", + "▁пут е", + "▁цар ю", + "▁ца рю", + "L E", + "▁ра нения", + "▁ране ния", + "▁вы ез", + "▁U s", + "▁le aves", + "▁leave s", + "жно му", + "жном у", + "ж ному", + "▁пра вый", + "▁правы й", + "▁внеш ним", + "S I", + "▁т ень", + "▁те нь", + "▁тен ь", + "▁ тень", + "▁де тский", + "▁дет ский", + "▁op posed", + "▁oppos ed", + "че вой", + "чев ой", + "ч евой", + "▁f lo", + "▁fl o", + "▁постро ил", + "▁ear th", + "▁спро сила", + "▁спросил а", + "▁спрос ила", + "▁у бира", + "▁уби ра", + "▁про ходила", + "▁проходил а", + "▁проходи ла", + "▁проход ила", + "▁прохо дила", + "▁гу бы", + "▁губ ы", + "жко й", + "ж кой", + "▁поч те", + "гер ман", + "▁ужа са", + "▁ужас а", + "▁spe ech", + "▁мета физи", + "▁в веден", + "▁отмет или", + "▁отме тили", + "▁отметил и", + "▁h ero", + "▁he ro", + "▁her o", + "ней шей", + "▁фак ту", + "▁факт у", + "▁воен ная", + "▁вое нная", + "▁m ile", + "▁mil e", + "▁mi le", + "▁заседа ние", + "▁засе дание", + "... \".", + "...\" .", + "▁обнару жения", + "el a", + "e la", + "▁С ил", + "▁Си л", + "▁с ала", + "▁са ла", + "▁ко ди", + "▁код и", + "▁ коди", + "▁дей ствующих", + "▁действу ющих", + "тя н", + "т ян", + "▁дра мы", + "▁указыва ют", + "▁ука зывают", + "▁от слежи", + "\"» .", + "\" ».", + "▁ми лости", + "▁мило сти", + "▁на сме", + "▁нас ме", + "▁В ремен", + "▁Вре мен", + "▁Б ек", + "▁Бе к", + "ме те", + "мет е", + "м ете", + "кус ство", + "▁спектак ль", + "▁э ста", + "▁эс та", + "▁Bra zil", + "se x", + "s ex", + "▁при несли", + "▁прин если", + "▁принес ли", + "▁сохра нять", + "▁сохраня ть", + "▁сохран ять", + "▁сохра нение", + "▁b ought", + "▁Co ast", + "▁противо тан", + "▁стара лись", + "▁психо тера", + "ре но", + "рен о", + "▁уча ствует", + "▁ль го", + "▁англича н", + "▁T est", + "▁Te st", + "ге нов", + "ген ов", + "гено в", + "▁б лага", + "▁бла га", + "▁ре монта", + "▁ремон та", + "▁ремонт а", + "▁удержа ть", + "▁P op", + "▁Po p", + "до вич", + "дови ч", + "▁юриди ческих", + "▁а некдо", + "▁sh all", + "el le", + "ell e", + "▁organization s", + "▁organiz ations", + "▁Международ ной", + "▁да ло", + "▁дал о", + "▁следу ющую", + "▁роди телями", + "▁родителям и", + "▁и нер", + "▁ин ер", + "▁b ed", + "▁be d", + "▁ bed", + "▁e scape", + "▁esc ape", + "▁Особ ен", + "▁Осо бен", + "▁пти ца", + "▁птиц а", + "▁ассо ции", + "▁за стре", + "▁зас тре", + "▁ap plied", + "▁comb at", + "▁по степен", + "▁посте пен", + "in ks", + "ink s", + "▁прось бе", + "▁стол б", + "▁Develop ment", + "ти вшись", + "тив шись", + "▁популяр ных", + "▁популя рных", + "▁уса дь", + "ству ющего", + "▁с ражение", + "▁сра жение", + "▁про вела", + "▁прове ла", + "▁провел а", + "▁Па па", + "ви ц", + "▁N AS", + "▁cre ating", + "▁creat ing", + "b a", + "▁ли сто", + "▁л исто", + "▁лист о", + "li g", + "l ig", + "▁ле вого", + "▁монасты ре", + "▁мы ши", + "▁мыш и", + "▁коло нны", + "▁колон ны", + "▁дер жит", + "▁ри ска", + "▁р иска", + "▁рис ка", + "▁риск а", + "▁из мель", + "▁изме ль", + "му ра", + "мур а", + "м ура", + "▁соревнова ния", + "▁б лу", + "▁ блу", + "▁Поня тно", + "▁плац дар", + "▁епар хии", + "▁до мах", + "▁дома х", + "▁сход ство", + "строе ние", + "восто ку", + "восток у", + "▁ар тери", + "▁арте ри", + "▁ситуа ций", + "▁основ ную", + "▁су п", + "▁mot or", + "▁славя н", + "▁Pro gram", + "ут бу", + "▁beg ins", + "▁begin s", + "И Р", + "▁econom y", + "не шь", + "н ешь", + "▁Чер ни", + "▁им пер", + "▁импе р", + "▁про тивном", + "▁против ном", + "ев у", + "е ву", + "▁студен ты", + "▁студент ы", + "▁комму нистов", + "▁коммуни стов", + "▁пропор циона", + "▁s ort", + "го ри", + "гор и", + "г ори", + "▁выступа ли", + "▁выступал и", + "▁выступ али", + "ar p", + "чи ку", + "чик у", + "▁Cent re", + "es h", + "e sh", + "▁твор ческой", + "▁богат ство", + "▁удовлет ворения", + "▁удовлетво рения", + "▁мощ ный", + "▁вся чески", + "ка че", + "воз можно", + "возмо жно", + "▁соб ственном", + "▁собствен ном", + "▁собственно м", + "▁б ок", + "▁бо к", + "▁ бок", + "▁рас пу", + "▁фи рма", + "▁фир ма", + "▁фирм а", + "▁реконструк ции", + "▁г ей", + "▁ге й", + "▁ гей", + "▁Sp ace", + "▁L ew", + "▁Le w", + "▁учи телей", + "▁О пыт", + "▁спортсме нов", + "▁спортс менов", + "▁спортсмен ов", + "da ta", + "d ata", + "▁l ibrary", + "▁те чении", + "▁устанавли вается", + "▁устанавливает ся", + "ЕС Т", + "Е СТ", + "▁Са мар", + "▁Сам ар", + "▁Сама р", + "\" !", + "▁о смысле", + "▁ос мысле", + "з ла", + "▁лу чи", + "▁луч и", + "▁л учи", + "▁пло хой", + "▁плохо й", + "▁от бы", + "▁По степенно", + "▁в кла", + "сф ера", + "сфер а", + "с фера", + "▁вы тащи", + "▁пра ву", + "▁прав у", + "▁На против", + "▁закры ть", + "▁закрыт ь", + "▁ко ем", + "▁кое м", + "▁зо о", + "▁Сем ё", + "▁гре ческого", + "▁Ма х", + "▁совер шать", + "▁соверша ть", + "ча са", + "час а", + "▁weap ons", + "▁международ ный", + "▁до ка", + "▁док а", + "▁депута том", + "▁депутат ом", + "▁в несе", + "▁вне се", + "▁внес е", + "▁писа тели", + "▁на личия", + "▁наличи я", + "▁нали чия", + "▁te le", + "▁улуч шить", + "▁R og", + "▁Ro g", + "▁обы чным", + "▁Прем ьер", + "ме нами", + "мена ми", + "ен ко", + "▁s ought", + "▁R h", + "▁f ans", + "▁fa ns", + "▁fan s", + "▁оккупа ции", + "▁Ла за", + "▁A R", + "▁ AR", + "▁пле ну", + "▁плен у", + "▁E le", + "▁El e", + "▁пред ложений", + "▁предложе ний", + "▁самолё та", + "▁самолёт а", + "че ред", + "чер ед", + "▁суще ствовала", + "▁существо вала", + "▁существова ла", + "▁существовал а", + "▁холо ди", + "▁холод и", + "▁выска зал", + "▁высказа л", + "av ed", + "ave d", + "a ved", + "▁говори те", + "▁говорит е", + "▁гово рите", + "▁сигна лы", + "▁сигнал ы", + "▁со ц", + "ak a", + "a ka", + "▁собра нии", + "▁norm al", + "▁строе ния", + "▁ строения", + "▁м яс", + "▁мя с", + "▁дове рия", + "▁Ви ктора", + "▁Виктор а", + "▁Викто ра", + "пер ёд", + "▁Су дя", + "▁Суд я", + "▁особы м", + "▁div ided", + "▁напра вил", + "▁нас чет", + "гна л", + "г нал", + "ру ющей", + "рую щей", + "▁Евге ния", + "ме нные", + "мен ные", + "▁surround ing", + "ре нное", + "рен ное", + "ренно е", + "▁ребён ка", + "ст ский", + "с тский", + "▁И знача", + "▁Из нача", + "s m", + "▁на со", + "▁нас о", + "▁цар е", + "▁ца ре", + "▁def in", + "▁г лаг", + "▁гла г", + "▁при ём", + "▁приё м", + "▁при ток", + "▁прито к", + "▁прит ок", + "▁Б ря", + "▁w eb", + "▁we b", + "▁Библи и", + "▁де таль", + "▁дет аль", + "▁дета ль", + "ть ев", + "тье в", + "т ьев", + "▁лю без", + "▁профи лакти", + "▁исследова нии", + "Ве р", + "В ер", + "▁дли нный", + "▁длин ный", + "отече ствен", + "▁у стья", + "▁ус тья", + "жко в", + "ж ков", + "▁поли тик", + "▁полити к", + "Т ри", + "▁fl ow", + "▁flo w", + "▁dr ive", + "ве нно", + "вен но", + "в енно", + "▁And rew", + "▁Andre w", + "▁меч ты", + "▁ad vert", + "▁adv ert", + "▁me asure", + "▁meas ure", + "▁А ма", + "▁Ам а", + "до вания", + "дова ния", + "жь ю", + "ж ью", + "▁ль да", + "▁ льда", + "▁при хо", + "▁съ езд", + "▁съе зд", + "▁съез д", + "▁призна к", + "ор к", + "о рк", + "да й", + "д ай", + "▁право нару", + "▁ак тивных", + "▁актив ных", + "▁вла стями", + "▁властям и", + "▁диви зион", + "▁дивизи он", + "▁ u", + "enc ies", + "▁tra ffic", + "▁про ход", + "▁прохо д", + "▁равно мер", + "▁рав номер", + "▁па ре", + "▁пар е", + "▁Украи ну", + "▁Украин у", + "▁F ree", + "▁Fre e", + "▁согласи ться", + "▁интеллиген ции", + "▁магази не", + "▁магазин е", + "▁О казывается", + "▁прав ды", + "▁L ibrary", + "▁пе ще", + "▁пещ е", + "▁хиру р", + "I d", + "▁физи чески", + "ку си", + "кус и", + "▁кино те", + "▁кин оте", + "не сса", + "нес са", + "▁Ф РГ", + "ро ны", + "рон ы", + "р оны", + "▁у й", + "▁Je ff", + "▁инвести ций", + "▁к вар", + "▁ква р", + "▁кв ар", + "▁ми тропо", + "▁prote ction", + "▁prot ection", + "▁protect ion", + "га у", + "▁ка ст", + "▁behav ior", + "▁предоста вляет", + "▁предоставля ет", + "▁есте ственных", + "▁поддерж кой", + "▁Syd ney", + "▁Досто евского", + "▁ щу", + "ва нной", + "ван ной", + "▁обще ством", + "▁общество м", + "▁обществ ом", + "T C", + "би ться", + "бить ся", + "з ной", + "▁ме диа", + "▁меди а", + "▁соб ственными", + "▁собствен ными", + "▁собственным и", + "com e", + "co me", + "c ome", + "лен ко", + "л енко", + "▁от ыска", + "▁оты ска", + "▁бога тых", + "▁богат ых", + "▁богаты х", + "▁вы у", + "▁оп понен", + "▁Б рон", + "▁Бро н", + "▁R ou", + "▁Ro u", + "▁соот ношение", + "▁соотно шение", + "▁F er", + "▁Fe r", + "ра спо", + "рас по", + "▁у веря", + "▁уве ря", + "▁гео метри", + "рь мя", + "▁обла дал", + "▁облада л", + "▁изме ря", + "▁измер я", + "▁rel atively", + "▁relative ly", + "▁попро сту", + "▁дей ствовал", + "▁региона льного", + "▁регион ального", + "▁участ ках", + "▁участка х", + "▁Федера льного", + "▁Ц арь", + "▁Цар ь", + "▁Ца рь", + "▁Е се", + "▁у били", + "▁уби ли", + "▁убил и", + "▁фестива ля", + "▁W ild", + "▁Wil d", + "▁Wi ld", + "▁Суще ствуют", + "▁ал фа", + "▁Гого ля", + "un der", + "und er", + "u nder", + "▁изобра жением", + "▁изображение м", + "▁пита ние", + "▁ка то", + "▁возможно стью", + "▁возможность ю", + "▁возмо жностью", + "▁return ing", + "▁фа кта", + "▁фак та", + "▁факт а", + "ai s", + "a is", + "▁ф разу", + "▁фра зу", + "бле нии", + "б лении", + ".) ;", + ". );", + "ir ty", + "irt y", + "▁показа телей", + "▁запо вед", + "st ream", + "▁In ternet", + "▁Inter net", + "▁col le", + "▁coll e", + "▁Сла вы", + "но мет", + "ном ет", + "▁рассчиты вать", + "▁fund ing", + "▁гомо сек", + "▁характери стик", + "▁характеристи к", + "▁С уд", + "▁Су д", + "▁arg ued", + "▁пло тность", + "▁плотно сть", + "▁плот ность", + "▁С ино", + "▁Си но", + "▁Син о", + "▁Фридри х", + "▁З им", + "▁Зи м", + "▁О м", + "▁mark ed", + "▁потря са", + "▁противоре чия", + "▁противоречи я", + "▁дол гие", + "▁желез ных", + "▁литератур ного", + "▁Ка жется", + "▁ста рик", + "▁стари к", + "▁ш па", + "▁dist inct", + "юр ер", + "юре р", + "▁Я р", + "▁беремен ности", + "▁прото ти", + "▁поя влением", + "▁появление м", + "▁s ides", + "▁side s", + "▁learn ing", + "▁встре ч", + "▁даль нейшее", + "▁дальней шее", + "▁образова нию", + "▁распреде ление", + "ря ть", + "рят ь", + "р ять", + "▁инстру кции", + "▁инструк ции", + "▁об нов", + "▁обно в", + "▁тех нология", + "▁технологи я", + "▁техно логия", + "▁exec utive", + "▁от личия", + "▁отли чия", + "▁отличи я", + "▁но вич", + "▁ нович", + "▁Му зыка", + "▁пос ол", + "▁посо л", + "▁class es", + "▁Ц РУ", + "▁соответ ствующий", + "▁соответству ющий", + "▁нако пи", + "▁накоп и", + "▁лег кой", + "▁легко й", + "▁M edia", + "▁Med ia", + "▁психо анали", + "▁С ал", + "▁Са л", + "▁построе но", + "▁построен о", + "▁доче рью", + "▁дочер ью", + "ад а", + "а да", + "ан ти", + "а нти", + "кра ин", + "▁ко ш", + "де не", + "ден е", + "▁награ ду", + "▁наград у", + "▁оза бо", + "▁F ederal", + "▁Г ви", + "ня н", + "н ян", + "▁по гиба", + "▁поги ба", + "▁погиб а", + "▁Большо е", + "▁Ни ц", + "▁три жды", + "▁respect ively", + "ill ery", + "ille ry", + "iller y", + "то п", + "т оп", + "▁вер нее", + "▁па ке", + "▁пак е", + "▁О фи", + "▁инте гри", + "▁П оле", + "▁По ле", + "▁Пол е", + "▁на град", + "▁награ д", + "▁наг рад", + "▁тек сто", + "▁текст о", + "▁уров ней", + "▁уровне й", + "U n", + "▁п че", + "▁аэро порт", + "▁аэропор т", + "те льского", + "тель ского", + "▁про водили", + "▁проводи ли", + "▁прово дили", + "▁провод или", + "▁проводил и", + "▁об зор", + "ak s", + "a ks", + "тех нического", + "техни ческого", + "▁ш риф", + "▁пол оса", + "▁поло са", + "мое му", + "▁de ploy", + "il a", + "i la", + "▁од новремен", + "▁одно времен", + "но стями", + "нос тями", + "ностям и", + "▁созда нный", + "▁создан ный", + "▁comm ittee", + "▁Ira q", + "▁b ott", + "▁bo tt", + "я вление", + "▁поку пки", + "▁согла сен", + "▁воспомина ний", + "L L", + "бу с", + "б ус", + "▁присоеди нился", + "▁вос точных", + "▁восто чных", + "▁уви дим", + "▁пробле мам", + "▁проблема м", + "▁проблем ам", + "ни та", + "нит а", + "▁расстрой ства", + "▁сохра няется", + "▁сохраняет ся", + "▁сохраня ется", + "ле ром", + "лер ом", + "▁пи во", + "▁Sen ate", + "▁Foot ball", + "▁еди ный", + "▁p rec", + "▁pre c", + "▁pr ec", + "▁над ое", + "▁надо е", + "те кает", + "тека ет", + "▁распо ложения", + "▁расположе ния", + "сс кого", + "с ского", + "▁осад ков", + "ва не", + "ван е", + "в ане", + "бе рку", + "бер ку", + "▁по лях", + "▁пол ях", + "▁поля х", + "▁сочета ние", + "▁па сту", + "▁пас ту", + "▁паст у", + "▁г иль", + "▁ги ль", + "▁схе му", + "▁С охра", + "▁Со хра", + "▁Казах стан", + "▁young er", + "▁M aster", + "▁Ma ster", + "▁Mas ter", + "дру го", + "др уго", + "друг о", + "▁method s", + "зо сть", + "▁ко лени", + "▁коле ни", + "▁колен и", + "▁срав нении", + "▁то чностью", + "▁точно стью", + "▁точ ностью", + "▁точность ю", + "▁веду щий", + "зо ру", + "зор у", + "з ору", + "▁помощ ником", + "▁помощник ом", + "▁посети телей", + "am ber", + "amb er", + "a mber", + "▁огром ным", + "тни ки", + "тник и", + "т ники", + "▁N az", + "▁Na z", + "▁К НР", + "▁КН Р", + "▁руко пи", + "▁ненави сть", + "в р", + "S c", + "▁Фу нк", + "▁при бор", + "▁прибо р", + "▁о форми", + "▁оформ и", + "▁Ка ро", + "▁Кар о", + "▁П рин", + "▁При н", + "▁Коро ль", + "▁зер на", + "▁незамет но", + "▁незаме тно", + "▁а мби", + "▁ам би", + "▁при том", + "▁прито м", + "▁прит ом", + "▁логи ки", + "▁совме стной", + "▁совместно й", + "▁не хва", + "ir a", + "i ra", + "▁Чи та", + "▁Фи зи", + "▁конкре тные", + "▁сосед ей", + "▁сосе дей", + "нди ю", + "н дию", + "▁N ow", + "▁No w", + "▁комп енси", + "▁компе нси", + "ро дный", + "род ный", + "▁но гах", + "▁нога х", + "ар ьи", + "арь и", + "▁ex change", + "▁источ никах", + "▁источника х", + "▁fig ures", + "▁figure s", + "▁отпра влен", + "▁Проце сс", + "▁Анг лия", + "▁кра сной", + "▁красно й", + "▁при под", + "▁Каза ни", + "▁Казан и", + "▁полу защи", + "▁за ре", + "▁зар е", + "▁у каз", + "▁ука з", + "▁тера пии", + "▁liter ature", + "▁о тс", + "▁от с", + "дер жка", + "держ ка", + "▁п роб", + "▁про б", + "▁пр об", + "Па р", + "П ар", + "▁Х оло", + "▁Хо ло", + "▁Хол о", + "▁Ря зан", + "▁Ряза н", + "▁способ ностью", + "▁способность ю", + "▁способно стью", + "▁Кали нин", + "▁вы се", + "▁выс е", + "▁feat uring", + "корре спонден", + "▁W ay", + "▁С мит", + "▁См ит", + "▁Jew s", + "▁хоро ших", + "▁ду шой", + "▁душ ой", + "▁прибо ров", + "▁прибор ов", + "▁w alls", + "▁wall s", + "о кеан", + "▁s om", + "▁so m", + "▁saf ety", + "▁safe ty", + "▁se asons", + "▁season s", + "▁про ходить", + "▁проходит ь", + "▁проходи ть", + "▁проход ить", + "▁прохо дить", + "▁и зве", + "▁из ве", + "▁И зме", + "▁Из ме", + "D e", + "▁площа дки", + "▁форма те", + "▁формат е", + "e qu", + "▁по дли", + "▁под ли", + "▁про ститу", + "▁прости ту", + "чь ей", + "чье й", + "▁жи лья", + "▁жил ья", + "▁ре шет", + "▁реше т", + "у а", + "▁зво н", + "▁зв он", + "стра сти", + "▁эк рана", + "▁экра на", + "▁экран а", + "▁восто ку", + "▁восток у", + "▁ востоку", + "▁бо ится", + "▁бои тся", + "▁ap plication", + "▁applic ation", + "▁A tt", + "▁At t", + "▁У ч", + "▁предотвра тить", + "▁религиоз ной", + "S A", + "▁сер б", + "▁христиан ской", + "▁христиа нской", + "зо пасности", + "▁непода леку", + "▁v an", + "▁ van", + "▁регули рования", + "▁про стей", + "▁прос тей", + "▁прост ей", + "▁neg oti", + "▁лекар ства", + "▁те рак", + "▁тер ак", + "▁тера к", + "▁сло жный", + "ze n", + "z en", + "▁ч ёт", + "▁ чёт", + "▁итальян ский", + "▁sh ared", + "▁share d", + "▁гвардей ской", + "▁ли чным", + "▁в сюду", + "▁всю ду", + "▁ко рень", + "▁кор ень", + "▁коре нь", + "ба ри", + "бар и", + "▁от казывается", + "▁отказыва ется", + "▁Кавказ а", + "▁Кав каза", + "▁де фек", + "▁дополни тельно", + "▁проце нт", + "▁процен т", + "▁отчет ливо", + "▁лидер ом", + "▁лиде ром", + "▁Иоси ф", + "▁Eliz abeth", + "▁F le", + "▁Fl e", + "▁п ап", + "▁па п", + "▁литератур ных", + "▁произведения х", + "ско р", + "ск ор", + "с кор", + "▁пи к", + "▁конфлик тов", + "▁конфликт ов", + "▁ми ф", + "▁На стоя", + "▁Бель гии", + "▁produ cer", + "▁produc er", + "▁produce r", + "▁t aught", + "рэ н", + "р эн", + "▁с мены", + "▁сме ны", + "in der", + "ind er", + "i nder", + "▁B or", + "▁Bo r", + "▁ ы", + "▁образ цов", + "▁образцо в", + "▁con ference", + "▁не вольно", + "▁нево льно", + "▁бо льно", + "▁боль но", + "el lo", + "ell o", + "▁сыгра ла", + "▁сыграл а", + "го вые", + "▁компа кт", + "line s", + "lin es", + "li nes", + "l ines", + "▁высо ком", + "▁высоко м", + "▁федера ции", + "w a", + "▁r oyal", + "▁ro yal", + "чи те", + "чит е", + "▁Лю д", + "▁со кру", + "▁сок ру", + "▁укра шения", + "▁ле сов", + "▁лес ов", + "▁лесо в", + "▁frequ ently", + "▁H u", + "сс ом", + "ссо м", + "с сом", + "▁це пь", + "▁цеп ь", + "▁пе тру", + "▁пет ру", + "▁семь ей", + "▁семье й", + "▁табли це", + "▁повы сить", + "ству ющей", + "▁принадле жности", + "ra ne", + "ran e", + "r ane", + "th ur", + "▁ide as", + "▁idea s", + "▁ак тивной", + "▁актив ной", + "▁активно й", + "▁обла ка", + "▁обл ака", + "▁произо йти", + "▁относи лись", + "спо рта", + "спорт а", + "спор та", + "с порта", + "▁у строить", + "▁устро ить", + "▁устрои ть", + "▁P rem", + "▁Pr em", + "▁Pre m", + "▁документа х", + "▁gl obal", + "▁па пы", + "▁пап ы", + "us hed", + "ush ed", + "▁appear ances", + "▁appearance s", + "▁исто рико", + "▁истори ко", + "▁историк о", + "▁рабо чим", + "▁рабочи м", + "▁Ме сто", + "▁со сто", + "▁сос то", + "▁неприя тно", + "▁неприят но", + "▁обяза тельств", + "▁Tw itter", + "▁высо кое", + "▁высоко е", + "▁обще ственные", + "▁обществе нные", + "кто ре", + "ктор е", + "к торе", + "ти рование", + "тирова ние", + "▁ува жение", + "▁луч шей", + "▁лучше й", + "де нса", + "ден са", + "д енса", + "▁А мерика", + "▁Амери ка", + "▁T ay", + "▁превра тился", + "ig en", + "i gen", + "▁Сред ней", + "си ль", + "сил ь", + "с иль", + "то чной", + "точно й", + "▁требо вали", + "▁требовал и", + "ul pt", + "жде нный", + "жден ный", + "ж денный", + "▁англича не", + "▁англичан е", + "▁энту зиа", + "▁со отечествен", + "▁sett led", + "▁settle d", + "▁дипло мати", + "▁диплома ти", + "▁дипломат и", + "ли е", + "▁Сти вен", + "▁Стив ен", + "▁жи лых", + "▁жил ых", + "▁принадле жал", + "▁принадлежа л", + "ъю тан", + "▁K ent", + "▁Ke nt", + "▁Ken t", + "▁Г иль", + "▁Ги ль", + "▁украин ского", + "▁у строен", + "▁устро ен", + "ми к", + "▁с тес", + "▁сте с", + "ап пара", + "▁R u", + "▁прове рка", + "▁провер ка", + "▁Т ей", + "▁Те й", + "б с", + "▁пол ковод", + "▁полков од", + "▁раз рыв", + "▁разры в", + "▁об становка", + "▁обстанов ка", + "▁R om", + "▁Ro m", + "▁железнодоро жной", + "а ги", + "▁b it", + "▁bi t", + "▁ bit", + "о п", + "▁cons ists", + "▁consist s", + "▁ан тен", + "▁разно образных", + "▁разнообраз ных", + "▁соб ственному", + "▁собствен ному", + "▁собственно му", + "▁собственном у", + "▁И е", + "ди ей", + "дие й", + "сла вя", + "слав я", + "▁По вто", + "▁хо дит", + "▁ход ит", + "▁ ходит", + "▁испы тывает", + "▁испыты вает", + "ре нность", + "рен ность", + "ренно сть", + "▁conc ert", + "ней шая", + "▁по мога", + "▁помо га", + "▁помог а", + "▁исче зает", + "▁исчеза ет", + "ok en", + "oke n", + "o ken", + "▁про читать", + "▁прочи тать", + "▁прочита ть", + "шна я", + "шн ая", + "ш ная", + "ма нд", + "ман д", + "фи н", + "ф ин", + "▁H om", + "▁Ho m", + "▁back ground", + "▁А ре", + "▁Ар е", + "▁корот кое", + "▁коротко е", + "▁fl ood", + "▁flo od", + "▁ране ных", + "▁ранен ых", + "os h", + "o sh", + "▁лест нице", + "▁p air", + "▁интерфей с", + "▁похоро нен", + "▁зад ней", + "▁на долго", + "на ме", + "нам е", + "▁ра вных", + "▁рав ных", + "▁равны х", + "▁О би", + "▁Об и", + "▁су хой", + "▁сухо й", + "▁тру бо", + "▁труб о", + "▁Андре евич", + "▁челове ческий", + "▁в нести", + "▁вне сти", + "▁внес ти", + "▁ве рил", + "▁вер ил", + "▁вери л", + "▁фигу ри", + "▁фигур и", + "ma il", + "m ail", + "▁О ри", + "▁Ор и", + "▁за у", + "у д", + "▁наблю дение", + "▁О дной", + "▁Од ной", + "▁Одно й", + "▁pl ants", + "▁plan ts", + "▁plant s", + "og rap", + "▁экс пре", + "ли нг", + "лин г", + "л инг", + "▁прода вать", + "▁Председа тель", + "пи сал", + "писа л", + "пис ал", + "▁оказыва ть", + "▁ока зывать", + "▁участ никами", + "▁участника ми", + "▁участникам и", + "▁водо хранили", + "▁so lo", + "▁sol o", + "шно го", + "ш ного", + "▁ва шему", + "▁ваше му", + "▁вашем у", + "за ко", + "зак о", + "▁Же ла", + "▁от пуск", + "▁отпу ск", + "▁re in", + "▁вс ём", + "▁всё м", + "▁встре тился", + "▁встретил ся", + "▁мо тиви", + "▁мотив и", + "▁P en", + "▁Pe n", + "▁J ersey", + "▁Jer sey", + "▁c as", + "▁возвра щение", + "Ч и", + "▁су ждения", + "▁приме нении", + "▁р та", + "▁ рта", + "▁st ream", + "▁stre am", + "▁ stream", + "▁Sup reme", + "▁предполага лось", + "▁и ными", + "▁иным и", + "▁зада ний", + "фи к", + "▁кара нда", + "▁каран да", + "▁указа но", + "▁указ ано", + "▁относи лся", + "it age", + "ita ge", + "сти к", + "с тик", + "НА Я", + "▁коллек тив", + "▁рабо тники", + "▁работ ники", + "▁работник и", + "фа ми", + "▁концентра ции", + "▁жан ра", + "▁жанр а", + "▁Ха ба", + "▁ин форми", + "▁заслу женный", + "▁recogn ized", + "ap pe", + "app e", + "▁ле сах", + "▁леса х", + "▁D ani", + "▁Dan i", + "▁аген тов", + "▁агент ов", + "▁e c", + "▁ ec", + "о л", + "▁отсут ствием", + "▁отсутствие м", + "▁по дачи", + "▁пода чи", + "▁раз га", + "те нь", + "тен ь", + "т ень", + "▁любы м", + "▁исто рики", + "▁истори ки", + "▁историк и", + "f ile", + "за паду", + "запад у", + "▁connect ed", + "▁м уд", + "▁му д", + "▁ муд", + "▁луч шую", + "▁ку по", + "▁куп о", + "▁про хо", + "▁трудя щихся", + "ad ing", + "▁se ems", + "▁see ms", + "▁seem s", + "▁дер жал", + "▁держа л", + "▁brother s", + ". »", + "▁подоб ный", + "ви чи", + "вич и", + "▁Р аньше", + "▁Ра ньше", + "ча тые", + "▁М ино", + "▁Ми но", + "▁Мин о", + "▁settle ment", + "▁слу х", + "▁ слух", + "▁авиа ционной", + "▁тол па", + "бо ре", + "бор е", + "▁пои стине", + "▁челове ческие", + "▁изме нилось", + "▁измени лось", + "▁у мел", + "▁уме л", + "до бро", + "доб ро", + "город ской", + "▁му рав", + "ти с", + "т ис", + "▁Зве зды", + "ту али", + "туа ли", + "▁re ar", + "▁r ear", + "O C", + "ст ила", + "сти ла", + "стил а", + "с тила", + "▁наз вана", + "▁назва на", + "▁назван а", + "▁у честь", + "▁уче сть", + "▁постоя нное", + "▁постоянно е", + "▁с три", + "▁ст ри", + "▁стр и", + "▁ стри", + "j s", + "re al", + "▁отря дов", + "▁отряд ов", + "▁ren amed", + "▁d rum", + "▁dr um", + "▁совер шения", + "▁у ксу", + "д ву", + "▁Чу в", + "▁H ung", + "▁Hu ng", + "▁Hun g", + "▁литератур ной", + "▁спе рва", + "▁спер ва", + "▁пра вого", + "▁право го", + "▁B i", + "▁наде жду", + "▁Бе с", + "пу ляр", + "▁за гла", + "▁cor respond", + "▁написа ны", + "▁написан ы", + "▁t rees", + "▁tr ees", + "▁tre es", + "▁tree s", + "▁ре бят", + "▁ребя т", + "▁реб ят", + "▁на роде", + "▁наро де", + "▁народ е", + "▁художе ственных", + "▁ли чное", + "▁лично е", + "▁Ва ш", + "▁t ree", + "▁tr ee", + "▁tre e", + "▁ре альные", + "▁реаль ные", + "▁реа льные", + "ha nd", + "han d", + "h and", + "▁ке рами", + "▁съ езде", + "▁съез де", + "▁съезд е", + "▁участ ника", + "▁участник а", + "▁ро ссиян", + "▁россия н", + "▁убий стве", + "er ved", + "erv ed", + "erve d", + "h r", + "▁гру зов", + "▁грузо в", + "▁груз ов", + "Americ an", + "▁всер ьез", + "вы с", + "▁gl ass", + "▁ран ней", + "X X", + "ic ine", + "▁ро ду", + "▁род у", + "▁ши рина", + "▁шири на", + "▁ й", + "те б", + "ч ни", + "▁э ски", + "▁эс ки", + "▁S pecial", + "▁Spe cial", + "▁F air", + "▁Fa ir", + "▁эскадри льи", + "▁adv ance", + "▁уви дев", + "▁увиде в", + "▁ре пер", + "ва в", + "в ав", + "ui ng", + "u ing", + "▁H D", + "▁Carol ina", + "▁О дни", + "▁Од ни", + "ru it", + "r uit", + "▁сторо нам", + "▁сторон ам", + "▁сторона м", + "цки х", + "ц ких", + "▁S her", + "▁Sh er", + "▁She r", + "▁V e", + "мо з", + "м оз", + "▁Б рай", + "▁Бра й", + "▁Б род", + "▁Бро д", + "▁об лом", + "▁обл ом", + "Га з", + "Г аз", + "▁Pol ish", + "▁Po lish", + "▁вы ходил", + "▁выход ил", + "▁по ложено", + "▁поло жено", + "▁объя влено", + "▁объявлен о", + "▁за голов", + "ко не", + "кон е", + "к оне", + "▁по ставки", + "▁поста вки", + "▁постав ки", + "in er", + "ine r", + "i ner", + "▁дере вен", + "▁дерев ен", + "▁поста влен", + "▁постав лен", + "ня лось", + "▁вы брасы", + "▁выбра сы", + "oe s", + "o es", + "▁свет ом", + "▁све том", + "▁свето м", + "▁я дови", + "▁i ron", + "▁ir on", + "▁ iron", + "▁заклю чить", + "▁заключи ть", + "▁священ ник", + "▁Democr atic", + "▁dec re", + "▁под писы", + "▁подпи сы", + "▁St and", + "▁Stan d", + "wa n", + "w an", + "▁Вну три", + "▁уро ки", + "▁урок и", + "▁запре щено", + "▁del iver", + "те нта", + "тен та", + "тент а", + "т ента", + "евро пей", + "е вропей", + "▁золо тые", + "▁вер шине", + "▁верши не", + "▁em ot", + "ik i", + "i ki", + "▁коло ниаль", + "▁колони аль", + "▁s ites", + "▁sit es", + "▁site s", + "▁particip ated", + "▁participate d", + "по льского", + "поль ского", + "логи ческого", + "▁H ind", + "▁ба лета", + "▁балет а", + "▁ку ски", + "▁ру д", + "▁р уд", + "▁Bro ok", + "▁Br ook", + "шка х", + "ш ках", + "▁стан цию", + "▁G ames", + "▁Game s", + "▁ch eck", + "▁che ck", + "▁и коно", + "▁ико но", + "▁pre par", + "▁prep ar", + "▁приня ты", + "▁принят ы", + "▁ва риа", + "▁о да", + "▁од а", + "▁ ода", + "▁за воды", + "▁заво ды", + "▁завод ы", + "ти вом", + "тив ом", + "тиво м", + "кра тный", + "крат ный", + "▁центра льного", + "▁центр ального", + "▁пи ра", + "▁пир а", + "▁ пира", + "▁occup ied", + "▁ac ting", + "▁act ing", + "▁прода жу", + "▁продаж у", + "▁ele ment", + "▁el ement", + "▁Sever al", + "▁хозя и", + "▁w inter", + "▁win ter", + "▁кана лов", + "▁кан алов", + "▁канал ов", + "▁представи телем", + "▁обще ственности", + "▁обществе нности", + "▁общественно сти", + "▁перво бы", + "▁астро номи", + "▁астроно ми", + "▁сред ние", + "си с", + "с ис", + "▁тради ций", + "▁Вы пол", + "▁санк ции", + "▁сан кции", + "▁выпу щен", + "▁радо стью", + "▁радость ю", + "ad ed", + "ade d", + "▁op in", + "Фо н", + "Ф он", + "adel ph", + "p y", + "▁Дерев ня", + "▁хозяй стве", + "▁хозяйств е", + "▁form ation", + "▁format ion", + "▁ formation", + "ок оло", + "о коло", + "d iv", + "нт ом", + "нто м", + "н том", + "▁сы грать", + "▁сыгра ть", + "стра да", + "стр ада", + "▁academ ic", + "ну лось", + "нуло сь", + "x y", + "ро вого", + "рово го", + "▁серви са", + "▁сервис а", + "▁заня тие", + "▁быстро го", + "▁быст рого", + "▁viol ence", + "▁cont rast", + "▁круп ными", + "▁крупным и", + "▁вы ступили", + "▁выступил и", + "▁выступ или", + "▁d ial", + "▁di al", + "▁осуществ ляет", + "▁осуществля ет", + "то вского", + "тов ского", + "▁ка бе", + "▁Во зь", + "▁Воз ь", + "▁ана рхи", + "▁стрем ятся", + "▁стремя тся", + "ну та", + "нут а", + "▁ста циона", + "▁Д ы", + "ме нем", + "мен ем", + "мене м", + "▁ко рона", + "▁кор она", + "▁коро на", + "▁L ight", + "▁subsequ ent", + "▁а рт", + "▁ар т", + "▁ арт", + "▁неблаго прият", + "то чного", + "точно го", + "▁c alls", + "▁call s", + "▁cal ls", + "▁му жского", + "▁муж ского", + "▁ба га", + "▁су мели", + "▁суме ли", + "▁сумел и", + "▁Т рудно", + "▁Тру дно", + "▁кам еру", + "▁камер у", + "▁каме ру", + "▁Or der", + "▁опыт е", + "▁опы те", + "мо стью", + "мость ю", + "▁си бир", + "▁ сибир", + "▁С тран", + "▁Стра н", + "▁Ст ран", + "▁не высо", + "▁невы со", + "▁тра ек", + "▁жерт во", + "▁жертв о", + "▁ жертво", + "▁U SA", + "▁US A", + "▁Пре кра", + "▁pro ved", + "▁prov ed", + "▁получа ем", + "▁аэро дро", + "▁аэрод ро", + "L A", + "▁за ты", + "▁зат ы", + "▁Republic an", + "▁ш ам", + "▁ша м", + "ab led", + "able d", + "abl ed", + "▁Сред няя", + "оне ров", + "онер ов", + "о неров", + "▁запи сей", + "▁за сты", + "▁зас ты", + "▁C op", + "▁Co p", + "▁а ф", + "▁сы рья", + "▁пы ли", + "▁Мо нго", + "▁Мон го", + "▁профессо ром", + "▁профессор ом", + "▁привы кли", + "▁привык ли", + "▁современ ным", + "▁изну три", + "▁поднима ется", + "▁про дела", + "▁проде ла", + "▁adv anced", + "▁advance d", + "▁Государ ственная", + "▁Ду мы", + "▁П лан", + "▁Пла н", + "▁при емле", + "▁прием ле", + "▁u r", + "▁ ur", + "▁сигна лов", + "▁сигнал ов", + "ис т", + "и ст", + "▁но го", + "▁ног о", + "▁ ного", + "▁Э ри", + "▁Эр и", + "фор и", + "фо ри", + "ф ори", + "▁g od", + "▁go d", + "▁вла делец", + "▁владе лец", + "▁владел ец", + "▁w ing", + "▁win g", + "▁ wing", + "▁не чи", + "▁миллиар да", + "во рец", + "вор ец", + "b r", + "▁при креп", + "▁знако мый", + "▁знакомы й", + "▁на бора", + "▁набор а", + "▁набо ра", + "▁J r", + "▁мон еты", + "▁моне ты", + "▁монет ы", + "▁предпри ня", + "▁приня тие", + "▁insp ired", + "чи ну", + "чин у", + "▁игра ла", + "▁игр ала", + "▁играл а", + "▁представля ла", + "▁представлял а", + "ша н", + "ш ан", + "▁паль цами", + "▁пальца ми", + "▁экспери ментов", + "▁эксперимент ов", + "▁в ведение", + "▁состоя ний", + "▁радио ак", + "▁прем ьера", + "▁премьер а", + "▁бра ке", + "▁брак е", + "▁раз гром", + "▁разгро м", + "▁al t", + "▁ alt", + "ща лось", + "▁не ком", + "▁неко м", + "хо дите", + "ходи те", + "ходит е", + "▁москов ских", + "▁уча ствовала", + "▁участвовал а", + "▁Исполь зование", + "▁самолё тов", + "▁самолёт ов", + "ра ли", + "рал и", + "р али", + "▁осе ни", + "▁осен и", + "Ж и", + "vi n", + "v in", + "▁использова ны", + "▁использован ы", + "Sc ript", + "S cript", + "▁анти се", + "▁ли стов", + "▁лист ов", + "▁листо в", + "▁ листов", + "▁акаде мию", + "▁академи ю", + "▁финан совые", + "▁финансо вые", + "ра жение", + "▁Columb ia", + "▁У правления", + "▁Упра вления", + "im ents", + "iment s", + "i ments", + "▁про ви", + "▁ прови", + "▁Ма стер", + "▁предыду щего", + "▁республи к", + "▁капита лизма", + "▁капитали зма", + "▁капитал изма", + "пи ло", + "пил о", + "▁у вен", + "▁уве н", + "ak ers", + "aker s", + "ге ля", + "E G", + "▁h our", + "Моск ва", + "▁acc ident", + "▁Du ke", + "▁опреде ленным", + "▁определен ным", + "▁se lect", + "▁оке ане", + "▁океан е", + "▁океа не", + "▁D ata", + "▁ Data", + "▁ко ня", + "▁кон я", + "ло вского", + "лов ского", + "ov a", + "o va", + "▁B rad", + "▁Br ad", + "▁Bra d", + "▁слы шали", + "▁слыша ли", + "▁слышал и", + "pl ies", + "▁био графии", + "▁биографи и", + "▁конкре тно", + "▁he ight", + "▁симпто мы", + "▁одер жал", + "Т В", + "▁Со труд", + "▁r ot", + "▁ro t", + "▁предпо ложения", + "▁Д ву", + "▁C orn", + "▁Cor n", + "▁ВМ Ф", + "▁совет ник", + "▁сове тник", + "▁четы рьмя", + "▁позво нил", + "▁ша хма", + "▁шах ма", + "▁ло дка", + "▁уси ления", + "▁уда ром", + "▁удар ом", + "▁п ас", + "▁па с", + "▁ пас", + "▁внутрен нее", + "Г и", + "▁от бор", + "▁нару ши", + "▁О бу", + "▁Об у", + "▁n ob", + "▁no b", + "▁финанси рования", + "нд у", + "н ду", + "▁h air", + "▁ha ir", + "▁си нта", + "▁perform ances", + "▁performan ces", + "▁performance s", + "▁ра бов", + "▁рабо в", + "▁раб ов", + "▁Pol ice", + "▁J oe", + "▁Jo e", + "▁Международ ный", + "▁сосед них", + "▁re sc", + "▁r esc", + "▁res c", + "▁от рыв", + "▁отры в", + "▁япо нской", + "▁япон ской", + "▁напра вить", + "▁особ ую", + "▁осо бую", + "▁заклю чении", + "O T", + "▁руко писи", + "▁рукопи си", + "драв ству", + "▁оте чественной", + "▁отече ственной", + "сут ствие", + "▁ней тро", + "ин ы", + "и ны", + "▁ле ни", + "▁лен и", + "▁ лени", + "рд о", + "р до", + "ye r", + "y er", + "▁проис ходили", + "▁происхо дили", + "▁разно образные", + "▁разнообраз ные", + "▁в ступления", + "▁вступ ления", + "▁instr ument", + "▁ма ри", + "▁мар и", + "▁ мари", + "ia t", + "i at", + "▁s ac", + "▁г ряду", + "▁гря ду", + "▁массо вых", + "шед шие", + "▁про сматри", + "▁прос матри", + "▁g overn", + "▁хо дом", + "▁ход ом", + "▁ ходом", + "▁se vent", + "▁seven t", + "▁про анали", + "ре ль", + "▁вы ступить", + "▁выступ ить", + "▁ur ban", + "▁ urban", + "▁ра ды", + "▁рад ы", + "▁Б ран", + "▁Бра н", + "▁про ст", + "▁прос т", + "эл я", + "э ля", + "ща ми", + "▁met res", + "▁employ ed", + "▁япо нских", + "▁япон ских", + "▁We ek", + "lo ng", + "l ong", + "▁объем е", + "▁объе ме", + "T ube", + "▁заве дующий", + "▁заведу ющий", + "▁до вести", + "▁дове сти", + "▁ч ей", + "▁че й", + "▁ чей", + "▁ге но", + "▁ген о", + "▁ гено", + "▁Э м", + "▁сф еру", + "▁сфе ру", + "▁хра ни", + "▁ храни", + "▁ау дио", + "▁ауди о", + "Исто рия", + "Ис тория", + "ба к", + "б ак", + "▁недо уме", + "ну тые", + "нуты е", + "▁ch osen", + "▁cho sen", + "▁chose n", + "▁лю д", + "▁от нес", + "ме ди", + "мед и", + "м еди", + "до льф", + "доль ф", + "▁б рази", + "▁бра зи", + "▁m essage", + "▁mess age", + "I X", + "▁Шот ландии", + "▁хиру рги", + "▁хирур ги", + "то ном", + "тон ом", + "т оном", + "▁ир ланд", + "▁бабу шка", + "▁st ars", + "▁star s", + "тех нологи", + "▁обойти сь", + "▁физи ко", + "▁физик о", + "▁На ряду", + "стро ена", + "строе на", + "строен а", + "▁c rowd", + "▁те ста", + "▁тест а", + "▁ теста", + "p o", + "▁tw ice", + "▁ent itled", + "▁гото вить", + "▁готов ить", + "▁британ ской", + "us es", + "use s", + "u ses", + "▁в пада", + "▁впа да", + "▁sem i", + "▁бо кс", + "▁бок с", + "▁Наи боль", + "▁A k", + "▁основа нием", + "▁осно ванием", + "▁основание м", + "▁вра гом", + "▁враг ом", + "▁военно п", + "д ве", + "▁работ ника", + "▁работник а", + "▁А ссоциа", + "▁ф ут", + "▁фу т", + "▁F urther", + "▁ч ья", + "▁чь я", + "▁ чья", + "▁Го лла", + "▁Гол ла", + "▁Евро па", + "▁У ж", + "ва вших", + "вав ших", + "▁де бют", + "▁дебю т", + "▁аспек ты", + "▁аспект ы", + "▁not able", + "▁order s", + "▁ord ers", + "▁ orders", + "▁ш ара", + "▁ша ра", + "▁шар а", + "▁препода вал", + "▁преподава л", + "▁кали бра", + "▁слабо сть", + "но н", + "н он", + "▁find s", + "▁p ul", + "▁ру сскую", + "▁рус скую", + "▁Го лу", + "▁Гол у", + "▁Б ит", + "▁Би т", + "▁эм пири", + "▁закон чилась", + "▁закончи лась", + "▁И Т", + "▁ ИТ", + "ру дно", + "is f", + "▁Г рин", + "▁Гри н", + "▁умира ет", + "▁C reek", + "оло гов", + "олог ов", + "о логов", + "▁космо с", + "▁отпра вляется", + "▁отправля ется", + "ри тет", + "рит ет", + "рите т", + "▁вели кое", + "▁велико е", + "▁велик ое", + "та лся", + "тал ся", + "▁бе зы", + "▁без ы", + "▁тай но", + "▁ю га", + "▁юг а", + "adelph ia", + "▁За клю", + "▁Зак лю", + "oo m", + "o om", + "▁пря мым", + "▁от влека", + "▁отвле ка", + "▁te aching", + "▁teac hing", + "▁про си", + "▁прос и", + "▁пр оси", + "▁но утбу", + "▁защи тил", + "▁защит ил", + "▁атмосф ере", + "▁атмосфер е", + "▁международ ном", + "вно ве", + "в нове", + "▁we alth", + "▁Воз ро", + "▁Ленин града", + "▁Ленинград а", + "▁явля лось", + "▁поэ мы", + "▁re ference", + "▁refer ence", + "▁да нная", + "▁дан ная", + "▁п ен", + "▁пе н", + "▁ пен", + "▁одно род", + "▁As ian", + "▁Asia n", + "▁огром ного", + "▁ска зо", + "▁сказ о", + "▁pain ting", + "▁paint ing", + "▁необходи мой", + "▁необходимо й", + "▁необходим ой", + "▁gu ard", + "во ить", + "вои ть", + "▁Я к", + "Ц ен", + "▁д на", + "▁ дна", + "▁необходи м", + "▁необ ходим", + "il ling", + "ill ing", + "▁Все воло", + "▁владель ца", + "▁владе льца", + "ка го", + "▁се ман", + "▁сем ан", + "▁публи чно", + "▁Жу ков", + "la y", + "l ay", + "▁det ect", + "▁ку пе", + "▁куп е", + "▁по х", + "▁написа ния", + "▁тести рования", + "▁ци рку", + "▁ис тину", + "▁исти ну", + "▁прове рку", + "▁провер ку", + "де о", + "ва вший", + "вав ший", + "▁зави сят", + "▁подоб ным", + "▁m ist", + "▁mi st", + "▁mis t", + "▁сокра щения", + "win g", + "w ing", + "лко м", + "лк ом", + "л ком", + "де ры", + "дер ы", + "д еры", + "▁се льский", + "▁сель ский", + "▁любо му", + "▁любом у", + "кс о", + "к со", + "▁em phas", + "П С", + "г г", + "▁U r", + "▁муниципа льных", + "▁вы бе", + "▁fin ish", + "▁f ish", + "▁превра тить", + "D A", + "▁ста вят", + "▁став ят", + "▁обнару жено", + "▁обнаружен о", + "▁contem porary", + "▁Ана ста", + "ра щи", + "▁вклю чены", + "▁жела тельно", + "вля ем", + "▁охра не", + "▁охран е", + "▁кри тик", + "▁крити к", + "ды м", + "▁Полит бюро", + "▁ста рин", + "▁стар ин", + "▁стари н", + "▁scient ific", + "ip e", + "i pe", + "▁и ро", + "▁ир о", + "▁re asons", + "▁reason s", + "▁высказыва ния", + "▁То кио", + "хе н", + "х ен", + "▁подели ться", + "▁иг рой", + "▁игро й", + "▁игр ой", + "▁реали зу", + "▁Н ИИ", + "▁од еты", + "▁оде ты", + "▁поя вляться", + "▁появля ться", + "▁ле га", + "▁лег а", + "▁ лега", + "то чный", + "сшта б", + "▁Cl ark", + "▁блю до", + "ро ваний", + "рова ний", + "▁обра тной", + "▁обратно й", + "▁K ong", + "▁неза ме", + "▁з вали", + "▁зв али", + "▁те ст", + "▁ин декс", + "▁инде кс", + "чо н", + "ч он", + "за ет", + "▁вер сий", + "▁верси й", + "▁Фо рма", + "▁Фор ма", + "▁вс плы", + "дж у", + "д жу", + "▁От куда", + "▁под няться", + "▁подня ться", + "▁поднять ся", + "▁каби нета", + "▁кабинет а", + "▁кабине та", + "▁воск лик", + "▁г лю", + "▁гл ю", + "▁exp ressed", + "▁express ed", + "▁f aced", + "▁fac ed", + "▁face d", + "▁fa ced", + "▁Счита ется", + "нка х", + "н ках", + "▁по ва", + "▁пов а", + "▁ пова", + "▁Phil ipp", + "▁Philip p", + "▁возду шной", + "▁воздуш ной", + "▁ат ле", + "х нет", + "▁о тро", + "▁от ро", + "▁Вашинг тон", + "▁препода ватель", + "▁преподава тель", + "▁ад мирал", + "▁адмира л", + "▁Ox ford", + "клады вает", + "▁юсти ции", + "▁ф юзеля", + "▁вино град", + "се ть", + "сет ь", + "с еть", + "▁girl s", + "▁Па ки", + "▁сло и", + "▁За щи", + "▁Comm un", + "▁Та джи", + "▁Ми хаи", + "▁Миха и", + "▁Ю жного", + "▁Южно го", + "▁Че рного", + "▁Чер ного", + "▁Черно го", + "▁иллю стра", + "▁иде ей", + "▁идее й", + "if orm", + "i form", + "▁f uel", + "el ler", + "ell er", + "elle r", + "▁полез ных", + "▁r ise", + "▁ri se", + "▁cr ime", + "▁crim e", + "▁д ед", + "▁де д", + "▁по ведении", + "▁пове дении", + "▁На блю", + "▁отверсти е", + "▁Ста вро", + "▁for mat", + "▁form at", + "▁вра щения", + "▁жела нию", + "▁И нг", + "▁Ин г", + "▁set ting", + "▁sett ing", + "▁ве рит", + "▁вер ит", + "▁вери т", + "▁со пут", + "▁телеви дения", + "▁телевиде ния", + "П А", + "▁плани рует", + "о й", + "▁under stand", + "▁современ ников", + "▁педаго г", + "▁жела нии", + "▁рас тут", + "▁расту т", + "▁раст ут", + "▁fle et", + "▁ри ску", + "▁рис ку", + "▁риск у", + "▁def ense", + "▁уничто жение", + "if ically", + "ific ally", + "хе ма", + "х ема", + "▁возвра щаться", + "▁возвраща ться", + "un ch", + "unc h", + "▁S ong", + "▁So ng", + "▁Son g", + "▁H ospital", + "▁макси мум", + "▁доступ ны", + "▁e ld", + "▁el d", + "▁ eld", + "▁име ющий", + "▁имею щий", + "▁ст ака", + "▁ста ка", + "ля лись", + "ляли сь", + "▁в вода", + "▁вв ода", + "P C", + "br o", + "b ro", + "▁Ви кипе", + "▁прин ца", + "▁принц а", + "▁супру ги", + "▁Москов ском", + "ВА Т", + "В АТ", + "▁wind ow", + "▁с кот", + "▁ско т", + "▁ск от", + "▁кра сные", + "▁langu ages", + "▁language s", + "туа ция", + "▁на реза", + "▁наре за", + "▁Ленин градской", + "▁Ленинград ской", + "▁п рус", + "▁пр ус", + "▁пру с", + "▁f ought", + "▁о чки", + "▁препят ствия", + "▁str ength", + "▁streng th", + "ле тию", + "▁про езд", + "▁проез д", + "▁tr ust", + "▁med ian", + "▁media n", + "▁серьез ных", + "▁побе дить", + "▁победи ть", + "▁побед ить", + "мен ко", + "м енко", + "▁alle ged", + "▁alleg ed", + "▁пол часа", + "▁препара тов", + "▁Ри мской", + "▁Рим ской", + "▁желу до", + "erv ative", + "▁Чер чил", + "ид е", + "и де", + "▁потеря ть", + "▁потер ять", + "▁поте рять", + "ев ском", + "▁в нес", + "▁вне с", + "▁повто рить", + "▁выигра ла", + "▁выиграл а", + "▁соеди ня", + "▁не терпе", + "▁g ar", + "▁ gar", + "▁рус ское", + "▁русско е", + "▁L ike", + "▁Li ke", + "▁доказа тельство", + "▁доказательств о", + "ou red", + "our ed", + "o ured", + "▁но са", + "▁н оса", + "▁нос а", + "▁ носа", + "▁ве дется", + "▁ведет ся", + "▁вед ется", + "▁ро ссия", + "▁рос сия", + "ха ть", + "▁бого слу", + "▁участ ником", + "▁участник ом", + "я л", + "▁посёл ке", + "▁евре йского", + "▁еврей ского", + "спе ри", + "с пери", + "▁# ####", + "▁#### #", + "▁### ##", + "▁Со об", + "▁в ступи", + "▁вступ и", + "ain e", + "ai ne", + "a ine", + "▁За дача", + "▁полага ют", + "▁пола гают", + "▁соблю дать", + "▁тради ционных", + "▁D ar", + "▁с ё", + "▁ сё", + "▁r ing", + "▁ri ng", + "▁ ring", + "▁пере нос", + "▁перено с", + "▁учи телем", + "▁раун де", + "ke s", + "k es", + "▁c ry", + "▁cr y", + "Т у", + "▁огром ная", + "▁срав нить", + "▁сравни ть", + "чи вая", + "чив ая", + "чива я", + "М не", + "▁bu ried", + "▁bur ied", + "▁теку щего", + "▁четы р", + "▁M as", + "▁Ma s", + "ре нная", + "рен ная", + "▁exp ansion", + "▁Ч ан", + "▁Ча н", + "▁жи вым", + "▁Д жен", + "▁Дж ен", + "▁Дже н", + "▁s inger", + "▁sing er", + "▁у вы", + "▁то лку", + "▁тол ку", + "▁колеба ния", + "▁A sh", + "▁As h", + "▁писто лет", + "▁Уча ствовал", + "▁ро лей", + "▁предъ явля", + "▁предъя вля", + "▁K ar", + "▁дела ем", + "▁ф ара", + "▁фа ра", + "▁фар а", + "▁М ет", + "▁Ме т", + "▁украин ской", + "▁Comm and", + "▁ele ctions", + "▁elect ions", + "▁election s", + "ot o", + "o to", + "▁государ ственным", + "▁государстве нным", + "▁мину те", + "▁минут е", + "▁пере ходе", + "▁переход е", + "▁изобра жа", + "▁катего рий", + "▁категори й", + "ба нк", + "бан к", + "▁не сут", + "▁нес ут", + "▁несу т", + "▁обра щении", + "▁откры ты", + "▁открыт ы", + "▁побе дитель", + "▁победи тель", + "Ма к", + "М ак", + "▁раздра жи", + "▁Бо ро", + "▁Бор о", + "▁Гла вная", + "▁Глав ная", + "▁совет ским", + "▁teac her", + "▁Уи лья", + "▁Уил ья", + "▁бе гу", + "▁бег у", + "▁Ка кое", + "▁Как ое", + "▁из готавли", + "ле п", + "сти те", + "стит е", + "с тите", + "▁Из начально", + "▁Изнача льно", + "не сло", + "нес ло", + "▁тен ни", + "▁пре ссе", + "▁пресс е", + "благо да", + "бла года", + "▁захва тил", + "▁захват ил", + "L S", + "▁интере сные", + "▁интерес ные", + "▁пле мена", + "▁племен а", + "ин о", + "и но", + "▁соста вит", + "▁состав ит", + "▁поса дки", + "▁посад ки", + "▁O s", + "se y", + "s ey", + "▁pl ot", + "▁доро же", + "▁на бро", + "▁Ио ган", + "▁переда чу", + "▁передач у", + "▁p owers", + "▁power s", + "▁hold ing", + "▁I ran", + "▁Ir an", + "▁Ira n", + "▁M aria", + "▁Mar ia", + "▁Ma ria", + "▁Про тиво", + "▁Против о", + "▁желу дка", + "▁Ю пи", + "▁Мар кс", + "▁Марк с", + "▁inc ident", + "▁свобо дных", + "▁свобод ных", + "▁д изе", + "▁ди зе", + "▁П РИ", + "▁уна следова", + "▁голо д", + "▁гол од", + "▁чита телю", + "▁state ment", + "▁stat ement", + "прав да", + "п равда", + "▁мани фе", + "▁Al bert", + "▁Alb ert", + "▁opport unity", + "▁Ку бке", + "▁connect ion", + "▁conne ction", + "про да", + "пр ода", + "п рода", + "▁про ры", + "▁прор ы", + "pos ition", + "▁дре веси", + "▁древе си", + "▁воздей ствием", + "▁воздействие м", + "▁близ кие", + "▁близки е", + "▁Ма ха", + "▁Мах а", + "▁вели кие", + "▁официаль ного", + "▁официально го", + "▁обще ственное", + "▁обществе нное", + "▁общественно е", + "▁пользова тели", + "▁E s", + "▁Bro ther", + "▁Br other", + "▁догово ру", + "▁договор у", + "▁сна ружи", + "▁множе ством", + "▁множество м", + "▁Com mon", + "▁Comm on", + "▁тради ционной", + "▁традиционно й", + "▁отли чался", + "▁отлича лся", + "▁за тро", + "▁зат ро", + "▁жерт вой", + "▁жертв ой", + "▁жертво й", + "▁север ных", + "▁по лит", + "▁пол ит", + "▁поли т", + "▁inte g", + "▁ult imately", + "▁П лю", + "▁опу сто", + "T I", + "▁из лага", + "▁прогре сс", + "▁аппара тов", + "▁аппарат ов", + "▁вели чина", + "▁величи на", + "▁Чи сло", + "▁вы пустил", + "▁выпу стил", + "▁выпусти л", + "▁ш ве", + "▁до рабо", + "▁Victor ia", + "▁на би", + "▁постано вления", + "▁постанов ления", + "▁кры ло", + "▁Са йт", + "▁Сай т", + "id den", + "idd en", + "▁спортсме н", + "▁спортс мен", + "▁прави тельстве", + "▁правитель стве", + "ту м", + "т ум", + "▁п ленных", + "▁пле нных", + "▁плен ных", + "▁G er", + "▁Ge r", + "ша лся", + "шал ся", + "▁К рон", + "▁Кро н", + "▁крова ти", + "▁про сле", + "▁прос ле", + "▁att rib", + "▁Распо ложен", + "▁неболь шими", + "▁небольшим и", + "▁вру чную", + "▁за паду", + "▁запа ду", + "▁запад у", + "▁ западу", + "▁под ло", + "▁ку па", + "▁куп а", + "▁ купа", + "▁т ура", + "▁ту ра", + "▁тур а", + "▁ тура", + "▁уста ре", + "▁ус таре", + "ту с", + "т ус", + "▁услови ями", + "▁условия ми", + "▁условиям и", + "▁обык новенно", + "▁обыкновен но", + "▁Иеруса лим", + "▁Иерусали м", + "▁Phil adelphia", + "▁хоро шую", + "▁бе да", + "▁бед а", + "P U", + "▁D C", + "▁ DC", + "▁s yn", + "▁sy n", + "▁по ступить", + "▁посту пить", + "▁поступ ить", + "▁поступи ть", + "▁компе тен", + "▁сни мать", + "▁снима ть", + "▁G i", + "▁ext rem", + "▁c ab", + "w ise", + "▁Ки рги", + "▁Кир ги", + "▁па лец", + "▁пале ц", + "▁пал ец", + "▁на г", + "A A", + "▁кня жества", + "▁княже ства", + "n ce", + "пу р", + "п ур", + "▁та кова", + "▁таков а", + "▁тру довой", + "▁трудо вой", + "▁трудов ой", + "▁g overnor", + "▁govern or", + "ле нность", + "лен ность", + "ленно сть", + "▁investig ation", + "▁min ister", + "сти ческом", + "с тическом", + "▁Коман дир", + "▁духов ных", + "▁духо вных", + "▁напа дение", + "ic ian", + "▁h arm", + "▁har m", + "▁ha rm", + "▁се ктора", + "▁сек тора", + "▁сектор а", + "▁candid ate", + "▁пла ну", + "▁план у", + "▁Ка вказе", + "▁Кавказ е", + "▁в ак", + "▁ва к", + "▁ вак", + "▁посвя щён", + "▁кан целя", + "▁Фак тически", + "▁Бе зу", + "▁Без у", + "ud get", + "не нном", + "нен ном", + "ненно м", + "ва но", + "ван о", + "в ано", + "▁f eed", + "▁fe ed", + "▁за са", + "▁зас а", + "▁Анг лий", + "▁let ters", + "▁letter s", + "▁за гра", + "▁pr ice", + "▁pri ce", + "▁pric e", + "▁Е же", + "ре жи", + "D ata", + "▁судеб ного", + "▁Е фи", + "▁от чаян", + "▁отчая н", + "Д ля", + "▁выпол нил", + "▁экономи ка", + "on ia", + "▁d im", + "▁di m", + "▁Бе лый", + "ol y", + "o ly", + "▁музыка льных", + "▁дя дя", + "▁станови лось", + "▁стано вилось", + "asket ball", + "▁ар х", + "▁золо том", + "▁золото м", + "oc ks", + "ock s", + "o cks", + "▁рели гия", + "▁религи я", + "tt ps", + "ttp s", + "▁преж них", + "▁финан сового", + "▁финансо вого", + "St ring", + "▁изу чить", + "▁провин циаль", + "▁де лая", + "▁дела я", + "▁дел ая", + "▁очи стить", + "▁пере дача", + "▁переда ча", + "▁передач а", + "▁Да вид", + "la n", + "l an", + "▁You Tube", + "ос об", + "о соб", + "▁бы вшие", + "▁оли цет", + "▁выпол няется", + "▁выполня ется", + "▁выполняет ся", + "▁Гла вным", + "▁Глав ным", + "те ть", + "тет ь", + "т еть", + "▁да нному", + "▁дан ному", + "▁данном у", + "▁ше ю", + "▁избе гать", + "▁Ass embly", + "▁изда ний", + "▁sp ons", + "▁от чего", + "▁отче го", + "▁B att", + "▁Bat t", + "▁Ba tt", + "▁за лив", + "▁зал ив", + "▁зали в", + "▁искус ству", + "▁искусств у", + "ни ном", + "нин ом", + "▁ста раясь", + "▁стара ясь", + "▁старая сь", + "▁appro ved", + "▁успо каи", + "вы вать", + "▁бассе йн", + "▁бассей н", + "▁пропаган ды", + "▁fail ure", + "▁опреде ленную", + "▁определен ную", + "▁Пу га", + "▁помо гли", + "▁помог ли", + "▁про чно", + "▁проч но", + "▁про хождения", + "▁прохо ждения", + "▁действи ям", + "▁действия м", + "▁счет ом", + "▁сче том", + "▁Га га", + "▁un ion", + "▁во лок", + "▁вол ок", + "▁воло к", + "К то", + "дт а", + "д та", + "▁му че", + "▁Право слав", + "▁ве сны", + "▁вес ны", + "F F", + "▁про вока", + "▁прово ка", + "й ки", + "▁ro of", + "▁темно те", + "▁СН Г", + "▁изо би", + "па я", + "п ая", + "че нности", + "чен ности", + "ченно сти", + "▁пе ше", + "▁у ще", + "▁с ана", + "▁са на", + "▁сан а", + "▁ком пи", + "▁комп и", + "пи ться", + "пить ся", + "▁рассмотре ние", + "C H", + "▁атмо сфер", + "▁атмосф ер", + "▁пере рыва", + "▁уче ник", + "▁на ря", + "▁нар я", + "▁помо гут", + "▁помог ут", + "in f", + "▁К оз", + "▁Ко з", + "▁основ ными", + "▁основным и", + "▁гре х", + "▁со боре", + "▁собо ре", + "▁собор е", + "▁mix ed", + "▁при зра", + "▁приз ра", + "де льные", + "дель ные", + "ста вка", + "став ка", + "▁официаль ным", + "шны м", + "ш ным", + "▁s and", + "▁san d", + "▁допол нение", + "▁дополне ние", + "▁атом ов", + "▁ато мов", + "▁kil omet", + "то вом", + "тов ом", + "тово м", + "▁рассматри вает", + "зи рованной", + "зирова нной", + "зирован ной", + "▁про явление", + "▁проя вление", + "▁на са", + "▁нас а", + "▁s ure", + "▁sur e", + "▁su re", + "▁устано вок", + "▁установ ок", + "нк ер", + "нке р", + "н кер", + "ig ration", + "igr ation", + "▁прибли жа", + "▁кон курс", + "▁конкур с", + "гну т", + "г нут", + "▁про зву", + "▁проз ву", + "▁пер со", + "▁от бора", + "▁отбор а", + "▁H ay", + "▁Ha y", + "▁дли тельного", + "T o", + "▁обсу ждение", + "▁ис следу", + "▁dev ice", + "▁испра вить", + "▁исправи ть", + "us ta", + "ust a", + "▁спи рт", + "▁спир т", + "▁объяви ла", + "▁объя вила", + "▁объявил а", + "▁s pect", + "▁sp ect", + "▁spe ct", + "▁spec t", + "▁е дини", + "▁еди ни", + "▁един и", + "▁На ходится", + "▁избира телей", + "▁ло жь", + "то логии", + "тологи и", + "т ологии", + "▁узна в", + "▁уз нав", + "▁тру днее", + "▁труд нее", + "▁A pp", + "▁Ap p", + "ю ль", + "▁надея ться", + "▁проек том", + "▁проект ом", + "▁l y", + "▁ ly", + "▁common ly", + "ти ко", + "тик о", + "▁под ключа", + "▁подклю ча", + "▁созда нием", + "▁создание м", + "▁part ner", + "▁partn er", + "▁бата рей", + "▁С ли", + "▁диза йн", + "▁дизай н", + "▁культур ной", + "▁культурно й", + "▁Са ми", + "▁Сам и", + "▁церк вей", + "▁поле ми", + "▁обла стной", + "▁Да нный", + "▁Дан ный", + "▁прием ов", + "▁прие мов", + "▁В ино", + "▁Ви но", + "▁Вин о", + "▁угро за", + "▁E conom", + "▁образова нии", + "но вому", + "ново му", + "▁in ternal", + "▁intern al", + "▁пере ло", + "▁разрабо тал", + "▁разработа л", + "со во", + "сов о", + "▁бук в", + "ду шно", + "душ но", + "▁состоит ся", + "▁состо ится", + "▁С ве", + "▁Св е", + "ud den", + "udd en", + "in son", + "ins on", + "▁ка зах", + "▁каза х", + "▁опреде лять", + "▁определя ть", + "▁достоин ство", + "▁сне га", + "▁снег а", + "▁широ кого", + "▁широко го", + "ric s", + "r ics", + "ди ни", + "дин и", + "▁а нома", + "▁ано ма", + "▁nar row", + "▁C r", + "▁проис ходить", + "▁происходит ь", + "▁происхо дить", + "▁мона хи", + "▁ключе вых", + "▁основ ано", + "▁основа но", + "▁осно вано", + "▁основан о", + "▁con stitution", + "▁constit ution", + "▁челове ческое", + "▁К ал", + "▁Ка л", + "he im", + "th is", + "▁американ ским", + "▁америка нским", + "▁недоволь ство", + "▁безна де", + "C ol", + "▁окру жении", + "▁к ай", + "▁ка й", + "▁ кай", + "▁Патри ар", + "▁bas ic", + "▁посту пки", + "▁поступ ки", + "▁косми ческой", + "▁th row", + "▁thr ow", + "▁Ан дер", + "▁Анд ер", + "▁документа ции", + "▁документ ации", + "▁s ector", + "▁se ctor", + "▁приобре л", + "▁Про шло", + "▁победи телем", + "хо вой", + "хов ой", + "▁- >", + "▁ ->", + "▁пла ту", + "▁плат у", + "▁O nce", + "▁On ce", + "▁интер нете", + "▁интернет е", + "▁религиоз ные", + "лек санд", + "▁Д СС", + "по мина", + "пом ина", + "д це", + "го не", + "гон е", + "г оне", + "cl usion", + "clus ion", + "▁разрабо тчики", + "▁разработчи ки", + "нос цев", + "▁O ffic", + "▁Off ic", + "▁Of fic", + "▁ки бер", + "▁раз влека", + "▁развле ка", + "о е", + "ма ри", + "мар и", + "ва емся", + "ваем ся", + "▁королев ы", + "▁короле вы", + "▁аккура тно", + "▁магази нов", + "▁магазин ов", + "га нов", + "ган ов", + "пи й", + "▁Константи на", + "▁Константин а", + "▁ду мы", + "▁ думы", + "▁широ кие", + "ли ны", + "лин ы", + "л ины", + "▁на жа", + "▁нака пли", + "▁Ни коль", + "▁Нико ль", + "▁Де мокра", + "af t", + "a ft", + "▁пла то", + "▁плат о", + "жно стью", + "жность ю", + "ж ностью", + "▁медици не", + "▁По кров", + "▁J on", + "▁Jo n", + "Н ью", + "ad er", + "ade r", + "a der", + "▁Об щества", + "▁Обще ства", + "▁ка ре", + "▁кар е", + "▁во дного", + "▁вод ного", + "wa ter", + "w ater", + "▁П ЕР", + "стви ях", + "ствия х", + "▁по сыпа", + "▁посы па", + "▁обстанов ку", + "▁Коро че", + "▁ко лю", + "▁кол ю", + "▁С э", + "▁Х Х", + "▁b ow", + "▁bo w", + "▁ал ма", + "▁меда лью", + "▁медаль ю", + "▁Спе циали", + "▁ко пии", + "▁копи и", + "▁не уме", + "▁неу ме", + "▁у ко", + "▁Че хова", + "▁Чехов а", + "▁cle an", + "▁огром ных", + "▁ret ire", + "▁христиан ство", + "▁фа ктором", + "▁фак тором", + "▁фактор ом", + "▁стра сть", + "ту т", + "т ут", + "▁Ма рина", + "▁Мар ина", + "▁Мари на", + "▁сига ре", + "лё м", + "л ём", + "▁Го голь", + "▁Гого ль", + "▁слу чается", + "▁случа ется", + "▁случае тся", + "▁жесто ко", + "би ографи", + "био графи", + "▁уда чно", + "▁фанта зии", + "▁L im", + "▁Li m", + "▁Б ос", + "▁Бо с", + "▁По и", + "▁ext ensive", + "▁Петро град", + "▁second ary", + "▁assist ant", + "▁П оста", + "▁По ста", + "▁Пост а", + "▁Ива нова", + "▁Иванов а", + "▁и зна", + "▁из на", + "▁ident ity", + "▁музыка льной", + "та ски", + "▁fund s", + "▁спе кт", + "▁спек т", + "▁ спект", + "E M", + "▁reg ions", + "▁region s", + "ki ng", + "kin g", + "k ing", + "▁ма нда", + "▁со рта", + "▁сор та", + "▁охо ты", + "▁охот ы", + "▁на це", + "▁кри тиков", + "▁крити ков", + "▁критик ов", + "▁Фе доров", + "▁Федо ров", + "▁Федор ов", + "ar et", + "are t", + "a ret", + "ме нных", + "мен ных", + "▁нау ку", + "▁наук у", + "▁Th ough", + "те ран", + "тер ан", + "тера н", + "▁ла ско", + "▁распростра нены", + "ло жением", + "ложе нием", + "ложение м", + "▁соответ ствие", + "▁роди телям", + "ris is", + "et ic", + "свое му", + "▁выз вала", + "▁вызва ла", + "▁вызвал а", + "▁суще ствовал", + "▁существо вал", + "▁существова л", + "it ors", + "itor s", + "▁Squ ad", + "▁Tur k", + "жу ю", + "ж ую", + "▁учеб ного", + "▁учебно го", + "▁про заи", + "ре дка", + "ред ка", + "ut ers", + "uter s", + "u ters", + "ans as", + "▁вы лета", + "▁выле та", + "▁B and", + "▁Ba nd", + "▁инже неров", + "▁инженер ов", + "ря ет", + "▁моло дая", + "▁молод ая", + "▁пе чень", + "▁пече нь", + "▁С тру", + "▁Ст ру", + "g ment", + "▁ве дёт", + "▁вед ёт", + "▁a id", + "▁ aid", + "▁подчер кнуть", + "▁подчеркну ть", + "Г у", + "▁ува жения", + "▁кино фе", + "▁каст рю", + "▁о гля", + "▁ог ля", + "▁от того", + "▁Астра ха", + "▁K ir", + "▁s ets", + "▁se ts", + "▁set s", + "▁При вет", + "▁M S", + "▁ MS", + "лле й", + "лл ей", + "л лей", + "▁вмеша тельства", + "▁луч шем", + "▁лучше м", + "▁res ident", + "▁ве рю", + "▁вер ю", + "сси он", + "с сион", + "▁малень кого", + "▁ста рая", + "▁стар ая", + "▁стара я", + "▁нам ерен", + "▁наме рен", + "▁намере н", + "бо ры", + "бор ы", + "▁success fully", + "▁successful ly", + "яз а", + "я за", + "▁Ма кс", + "▁Мак с", + "V iew", + "▁оболо чки", + "▁за мо", + "▁зам о", + "▁ря дах", + "▁ряда х", + "▁determ ined", + "▁determine d", + "▁о сь", + "▁ос ь", + "зе та", + "зет а", + "▁Со ф", + "▁port ion", + "▁St ation", + "▁защи тник", + "▁защит ник", + "▁уда лить", + "груп пы", + "▁сооб щество", + "▁сообще ство", + "▁n or", + "▁no r", + "▁P oint", + "▁Po int", + "▁soft ware", + "e z", + "Ж е", + "▁у ны", + "eder ation", + "▁зем ного", + "▁зе много", + "▁сотруд ничестве", + "▁сотрудни честве", + "▁ва ку", + "▁вак у", + "▁ ваку", + "сс он", + "ссо н", + "с сон", + "▁мини му", + "▁к лят", + "▁кля т", + "▁B at", + "▁Ba t", + "▁i ce", + "▁ ice", + "▁па нели", + "to p", + "t op", + "▁в зят", + "▁вз ят", + "▁взя т", + "▁за нят", + "▁заня т", + "▁co py", + "▁cop y", + "▁v ent", + "▁ve nt", + "▁ven t", + "▁ vent", + "▁выгля дят", + "▁d ensity", + "▁d aily", + "▁му ску", + "три ца", + "т рица", + "по да", + "под а", + "п ода", + "▁мон голь", + "▁Жен щина", + "▁по года", + "▁пого да", + "▁при зы", + "▁приз ы", + "▁эваку ации", + "▁Во йна", + "▁Вой на", + "▁побе де", + "▁побед е", + "▁Лон дона", + "▁Лондон а", + "▁постоя нным", + "▁посвя щена", + "▁посвящен а", + "▁bel ief", + "▁belie f", + "▁Wil son", + "▁буду щий", + "▁Белару сь", + "▁смо жем", + "▁заклю ченных", + "▁заключен ных", + "▁ро манов", + "▁роман ов", + "▁рома нов", + "▁Т он", + "▁То н", + "▁Про ко", + "▁язы ку", + "▁язык у", + "▁w itness", + "▁неболь шом", + "▁небольшо м", + "▁ви дами", + "▁вида ми", + "▁видам и", + "▁серд цем", + "▁сердце м", + "pt on", + "p ton", + "▁relig ion", + "▁га зов", + "▁газ ов", + "▁газо в", + "▁при лега", + "▁приле га", + "▁объя вления", + "▁от чу", + "шне го", + "шн его", + "ш него", + "▁понима ете", + "▁понимает е", + "▁журна лов", + "▁журнал ов", + "▁ex act", + "▁спор тивной", + "▁Генри ха", + "▁Генрих а", + "▁sc oring", + "▁по ложением", + "▁поло жением", + "▁положение м", + "me s", + "m es", + "си о", + "▁ле тчиков", + "▁лет чиков", + "▁летчик ов", + "▁мемо риаль", + "▁П еру", + "▁Пер у", + "▁Пе ру", + "▁сто лу", + "▁стол у", + "▁переда ны", + "▁передан ы", + "ri p", + "r ip", + "▁заста вил", + "▁пу шек", + "▁enc oura", + "▁категори чески", + "▁подо шли", + "ско чил", + "▁об ществ", + "▁обще ств", + "ot ic", + "oti c", + "▁зи му", + "▁зим у", + "ре ю", + "▁физи ке", + "▁физик е", + "▁Г од", + "▁Го д", + "▁с дел", + "▁сде л", + "ствен ны", + "стве нны", + "▁Georg ia", + "▁Тра ди", + "▁предска за", + "▁st orm", + "▁со стя", + "▁сос тя", + "▁то чкой", + "▁точ кой", + "▁Ма рка", + "▁Мар ка", + "▁Марк а", + "▁fac ility", + "▁exper ien", + "▁Со юзе", + "▁Союз е", + "▁Сою зе", + "▁Бы ть", + "▁кар ман", + "▁дерев ень", + "▁деревен ь", + "▁ныне шнего", + "▁нынеш него", + ". ]", + "▁подтвер ждение", + "▁немно гих", + "нь о", + "▁вме ши", + "▁вообра жение", + "▁H ong", + "▁Hon g", + "▁Ho ng", + "▁на резать", + "▁наре зать", + "▁нареза ть", + "▁Мар кса", + "▁Марк са", + "▁Маркс а", + "ья х", + "ь ях", + "▁achie ved", + "▁achieve d", + "▁To day", + "▁Tod ay", + "И Е", + "▁Высо та", + "▁расска зали", + "▁рассказа ли", + "▁рассказал и", + "▁рассказ али", + "▁переда вать", + "чи тать", + "чита ть", + "р ную", + "▁на ем", + "▁насчиты валось", + "▁то лко", + "▁тол ко", + "▁цен тры", + "▁центр ы", + "▁Не мец", + "▁Нем ец", + "▁Неме ц", + "ви ю", + "ри в", + "р ив", + "▁ки пят", + "▁кипя т", + "▁an imal", + "▁anim al", + "▁прав ди", + "▁жи вот", + "▁живо т", + "▁жив от", + "▁m ap", + "▁ map", + "▁обно вления", + "▁обнов ления", + "▁cap tain", + "▁capt ain", + "▁ме стным", + "▁мест ным", + "▁обе да", + "▁обед а", + "▁Созда ние", + "▁У ССР", + "▁значи тельный", + "▁женщи нам", + "▁женщин ам", + "▁женщина м", + "▁С вое", + "▁Сво е", + "▁Св ое", + "▁оде жде", + "▁понадоби тся", + "Ра нее", + "▁главнокоман ду", + "▁стреми лись", + "▁го ру", + "▁г ору", + "▁гор у", + "oot h", + "oo th", + "o oth", + "О Г", + "бо л", + "б ол", + "▁Ива новича", + "▁Иванович а", + "Че лове", + "▁пла нах", + "▁плана х", + "▁вы явля", + "▁выя вля", + "▁ло ма", + "▁лом а", + "▁ лома", + "▁бло ков", + "▁блок ов", + "ла в", + "л ав", + "▁у хо", + "▁погре бе", + "▁конкурен ции", + "?\" .", + "? \".", + "▁основа тель", + "▁осно ватель", + "▁друзья м", + "▁отде льным", + "▁отдель ным", + "▁британ ского", + "дца ть", + "▁short ly", + "k l", + "▁лу чей", + "▁луч ей", + "▁D ue", + "▁Du e", + "ще ва", + "щев а", + "щ ева", + "▁уча ствуют", + "▁орга ном", + "▁орган ом", + "▁бума ге", + "▁бумаг е", + "▁навы ков", + "▁предлага л", + "▁ob tained", + "▁obtain ed", + "▁умень шить", + "▁уменьши ть", + "▁на жи", + "en z", + "▁сум ме", + "▁за мену", + "▁заме ну", + "е вым", + "ograph ic", + "▁боя лся", + "▁у ло", + "▁ул о", + "▁дол гов", + "▁долго в", + "▁долг ов", + "▁совокуп ности", + "▁s ym", + "▁sy m", + "▁настоя щая", + "va r", + "v ar", + "▁бы та", + "▁экономи ческий", + "▁выпол няют", + "▁выполня ют", + "▁ме га", + "ли са", + "лис а", + "▁перево зки", + "▁перевоз ки", + "ци оз", + "цио з", + "▁С уда", + "▁Су да", + "▁Суд а", + "▁за лить", + "▁зал ить", + "▁зали ть", + "▁e lev", + "▁ele v", + "▁el ev", + "▁заболе вание", + "▁Шек спира", + "▁Шекспи ра", + "▁Григорь евич", + "▁тка нь", + "▁ра диа", + "▁ради а", + "ка т", + "к ат", + "te s", + "t es", + "▁B h", + "▁the me", + "▁them e", + "▁предыду щей", + "▁зая вляет", + "▁заявля ет", + "ка й", + "к ай", + "▁выи грать", + "▁выигра ть", + "▁ch ance", + "▁краси во", + "▁неме цким", + "▁немец ким", + "го ро", + "гор о", + "ме нее", + "мене е", + "▁r id", + "▁ri d", + "▁ rid", + "▁органи змов", + "▁организм ов", + "▁ро де", + "▁род е", + "▁ роде", + "uc cess", + "▁информа ционных", + "▁смотря т", + "▁st ood", + "▁ос вободи", + "▁освобо ди", + "▁о смотре", + "▁осмо тре", + "▁distrib ution", + "▁ча стные", + "▁част ные", + "▁час тные", + "▁В чера", + "про стра", + "прос тра", + "▁зако нами", + "▁закона ми", + "▁законам и", + "▁ли чи", + "▁ личи", + "▁услови ем", + "▁условие м", + "▁солда та", + "▁солдат а", + "▁второ степен", + "▁про ведена", + "▁прове дена", + "▁проведе на", + "▁проведен а", + "▁демон страции", + "▁демонстра ции", + "то чки", + "▁су ше", + "▁с тя", + "▁ст я", + "▁ стя", + "▁cor ner", + "▁corn er", + "▁пла вания", + "▁ре ализация", + "▁реали зация", + "▁реа лизация", + "▁m ales", + "▁male s", + "▁R od", + "▁Ro d", + "жка ми", + "ж ками", + "▁на лога", + "▁налог а", + "▁i gn", + "▁ ign", + "▁яи ц", + "▁Дру го", + "▁field s", + "▁ch oice", + "▁cho ice", + "▁хо дят", + "▁ход ят", + "▁ ходят", + "▁уби вает", + "▁темпера тур", + "▁з в", + "ги б", + "▁матери альных", + "▁материа льных", + "▁материаль ных", + "▁вла дение", + "▁владе ние", + "▁хло п", + "▁с рабо", + "▁сра бо", + "▁о ранже", + "▁veh icles", + "▁vehicle s", + "▁производи телей", + "▁надпись ю", + "▁г лад", + "▁гла д", + "▁гл ад", + "▁п реди", + "▁пре ди", + "▁пред и", + "▁пр еди", + "▁А нге", + "▁Ан ге", + "▁Анг е", + "те ла", + "тел а", + "▁опреде ляются", + "▁определя ются", + "▁определяют ся", + "▁ло жи", + "▁ ложи", + "▁рас писа", + "▁B ridge", + "▁понима я", + "▁пони мая", + "▁С В", + "▁по льского", + "▁поль ского", + "▁ польского", + "ша лись", + "шали сь", + "▁просве щения", + "зо ром", + "зор ом", + "ма ль", + "мал ь", + "м аль", + "os is", + "▁тво его", + "▁твое го", + "▁S T", + "▁ ST", + "▁оста вшиеся", + "▁pat ients", + "▁расска жу", + "▁ло к", + "▁л ок", + "▁ лок", + "▁рус скому", + "▁русском у", + "▁русско му", + "ну тый", + "нуты й", + "но ми", + "ном и", + "▁К Н", + "▁ле пе", + "▁W ars", + "▁War s", + "▁В МС", + "▁ВМ С", + "▁о пло", + "▁оп ло", + "жде нных", + "жден ных", + "дь е", + "д ье", + "▁Япо ния", + "▁чи тает", + "▁чита ет", + "▁st ating", + "▁stat ing", + "▁ненави сти", + "▁ло ву", + "▁лов у", + "▁ лову", + "▁за бу", + "▁заб у", + "▁бухгал тер", + "▁ново стей", + "▁ту ристи", + "▁тур исти", + "▁тури сти", + "▁epis odes", + "▁episode s", + "▁t or", + "▁to r", + "▁кух не", + "▁сни зить", + "▁снизи ть", + "▁цар ской", + "▁ца рской", + "▁prem i", + "▁несо вершенно", + "▁несовершен но", + "▁Sh ort", + "▁священ ника", + "▁священник а", + "▁де лится", + "▁дел ится", + "▁дели тся", + "▁тра пе", + "▁в перёд", + "▁атом ной", + "▁наблю дал", + "▁наблюда л", + "спо мина", + "с помина", + "мей стер", + "▁проигра л", + "cl os", + "▁у ми", + "▁ум и", + "▁пи ани", + "ци зма", + "цизм а", + "ц изма", + "▁лихо ра", + "▁параш ю", + "▁жидко сть", + "▁жид кость", + "▁port ray", + "▁Четы ре", + "▁B u", + "▁об жа", + "▁не я", + "▁ нея", + "▁polit ics", + "▁des cend", + "▁desc end", + "▁gradu ated", + "▁вра ща", + "▁под бира", + "▁за дол", + "▁зад ол", + "▁успо кои", + "▁успоко и", + "▁фабри ки", + "▁встре тились", + "▁встретили сь", + "if ul", + "i ful", + "▁C oll", + "▁Col l", + "▁Co ll", + "ар а", + "а ра", + "ва емая", + "ваем ая", + "▁Atl antic", + "▁пра вление", + "▁прав ление", + "▁ правление", + "ху до", + "худ о", + "▁государ я", + "▁госу даря", + "▁госуда ря", + "ству ющим", + "▁золо тых", + "ри сты", + "рис ты", + "рист ы", + "▁пило та", + "▁пилот а", + "▁p ros", + "▁pro s", + "▁pr os", + "▁Bet ween", + "▁коро тко", + "▁корот ко", + "▁у ступ", + "ле нности", + "лен ности", + "ленно сти", + "▁observ ed", + "▁королев ства", + "▁включа ть", + "▁вклю чать", + "▁тенден ция", + "жи вает", + "▁с брасы", + "▁обще ству", + "▁обществ у", + "ба нка", + "бан ка", + "банк а", + "▁об серва", + "▁худо жники", + "▁худож ники", + "▁художник и", + "▁встре чались", + "▁встреча лись", + "ge st", + "ges t", + "g est", + "▁гу се", + "▁дисципли ны", + "ру емых", + "руем ых", + "▁контак тов", + "▁контакт ов", + "ке й", + "к ей", + "▁Ита лию", + "▁Итали ю", + "▁сохра нилось", + "▁сохрани лось", + "▁диску ссии", + "вля лся", + "влял ся", + "в лялся", + "▁приня та", + "▁принят а", + "▁выра жается", + "▁выража ется", + "▁выражает ся", + "ver se", + "vers e", + "▁На сколько", + "▁Со лда", + "▁Сол да", + "er al", + "era l", + "e ral", + "▁секре т", + "▁сек рет", + "f e", + "▁com par", + "▁comp ar", + "▁стра ницу", + "▁страниц у", + "▁not es", + "▁no tes", + "▁note s", + "ме тра", + "мет ра", + "метр а", + "м етра", + "в ну", + "▁указа ние", + "▁Де ся", + "▁библиоте ке", + "▁библиотек е", + "▁го ра", + "▁гор а", + "▁ гора", + "▁sc ale", + "со ном", + "сон ом", + "с оном", + "▁размыш ления", + "то ро", + "тор о", + "▁Э того", + "▁Это го", + "▁c m", + "▁П К", + "▁ ПК", + "рно м", + "р ном", + "▁s ust", + "▁sus t", + "▁su st", + "▁D ec", + "▁De c", + "▁напра влена", + "▁направлен а", + "▁head quarters", + "▁максима льной", + "▁максимально й", + "▁Памя тник", + "▁every thing", + "▁заключа лась", + "▁pl anning", + "▁plan ning", + "▁plann ing", + "as ty", + "ast y", + "▁K u", + "▁Bus iness", + "▁разгово ре", + "▁разговор е", + "▁Р ед", + "▁Ре д", + "▁o nes", + "▁on es", + "▁one s", + "▁ ones", + "ol t", + "▁мо рем", + "▁мор ем", + "▁море м", + "▁Te le", + "фе т", + "ф ет", + "▁полага ет", + "▁пола гает", + "▁пере ми", + "▁де жу", + "ва лер", + "вал ер", + "вале р", + "▁Бо рисо", + "▁Бори со", + "▁Борис о", + "▁Да нные", + "▁Дан ные", + "▁присут ствуют", + "▁L o", + "же л", + "▁прямо уго", + "▁D am", + "▁га у", + "▁ гау", + "▁Й е", + "▁та бле", + "ро г", + "шт е", + "ш те", + "▁C ult", + "az on", + "▁родствен ники", + "▁regard ing", + "▁евре йской", + "▁еврей ской", + "друго му", + "▁десятиле тий", + "▁а рома", + "▁аро ма", + "ка ра", + "кар а", + "к ара", + "ме рика", + "мери ка", + "▁Sun day", + "▁Sund ay", + "▁ми г", + "▁Рус ские", + "▁широ ком", + "▁широко м", + "ся х", + "с ях", + "до вым", + "Д С", + "▁рубе же", + "▁рубеж е", + "▁консо ли", + "▁N ic", + "▁sc ulpt", + "▁Бер лина", + "▁Берлин а", + "I G", + "▁сопрово ждении", + "ве дем", + "веде м", + "вед ем", + "▁Пом ните", + "▁Ка мен", + "▁Кам ен", + "on to", + "ont o", + "▁При чина", + "▁даль нейшей", + "▁дальней шей", + "▁Ту рк", + "▁Тур к", + "▁ве ках", + "▁века х", + "ro g", + "r og", + "H P", + "ст рия", + "стри я", + "бо роны", + "бор оны", + "боро ны", + "кси кан", + "▁интере сное", + "▁интерес ное", + "▁интересно е", + "▁се ссии", + "▁п нев", + "▁футбо ла", + "▁футбол а", + "▁за пустить", + "▁запу стить", + "▁Бра ун", + "▁наме ст", + "▁тра тить", + "▁пра вую", + "▁прав ую", + "▁праву ю", + "▁Вто рое", + "▁до лины", + "▁дол ины", + "▁доли ны", + "▁сов падает", + "▁совпада ет", + "▁совпа дает", + "се ний", + "▁пере нести", + "▁перенес ти", + "▁stop ped", + "▁Рас смотри", + "▁Расс мотри", + "▁U k", + "▁ме стность", + "▁мест ность", + "b in", + "тя не", + "тян е", + "ло вину", + "лови ну", + "▁abandon ed", + "▁w orth", + "▁wor th", + "▁ worth", + "▁повы шенной", + "▁повышен ной", + "▁шан сы", + "▁шанс ы", + "▁do ctor", + "▁doct or", + "▁та ри", + "▁ тари", + "▁иг ровой", + "▁игро вой", + "▁ка пель", + "▁пере дан", + "▁перед ан", + "▁переда н", + "▁ту лови", + "▁глубо кий", + "▁норма льной", + "▁нормально й", + "▁норм альной", + "▁выступа ла", + "▁выступал а", + "▁выступ ала", + "▁с ры", + "▁ср ы", + "▁рей х", + "▁Дру гими", + "▁k illing", + "▁kill ing", + "▁kil ling", + "▁Hol ly", + "▁сере бра", + "▁У ста", + "▁Ус та", + "да т", + "д ат", + "сф аль", + "ся ми", + "с ями", + "t d", + "▁import ance", + "▁ано ним", + "▁от те", + "▁s un", + "▁su n", + "▁с писки", + "▁спи ски", + "▁вы деления", + "▁выде ления", + "▁выделе ния", + "▁молит вы", + "бо н", + "б он", + "зи руется", + "зиру ется", + "зирует ся", + "▁B a", + "▁ма гнит", + "▁магни т", + "▁маг нит", + "▁неза долго", + "▁фами лию", + "▁H al", + "▁Ha l", + "▁Ind ust", + "▁боеприпа сов", + "▁со ка", + "▁сок а", + "▁heav ily", + "▁Ло рен", + "▁Лор ен", + "▁пере двига", + "▁перед вига", + "▁передви га", + "▁ла зер", + "ol n", + "▁ме няет", + "▁меня ет", + "▁ж ал", + "▁жа л", + "▁ жал", + "▁состоя нием", + "▁состояние м", + "▁разре шить", + "▁ill ust", + "чи вания", + "чива ния", + "▁ста вки", + "▁став ки", + "▁ ставки", + "▁ре ви", + "▁рев и", + "p ir", + "▁иллю стри", + "▁у ку", + "▁о бле", + "▁об ле", + "▁обл е", + "▁м ем", + "▁ме м", + "▁ мем", + "▁кана ле", + "▁кан але", + "▁канал е", + "▁вра ги", + "▁враг и", + "▁вр аги", + "▁упа ков", + "▁пря мых", + "▁V ill", + "▁Vi ll", + "▁препара ты", + "re ate", + "reat e", + "по н", + "п он", + "▁занима ли", + "▁занимал и", + "▁ие ро", + "▁изобре те", + "▁При бал", + "▁rece iving", + "▁забы ли", + "▁забыл и", + "▁спа се", + "▁спас е", + "пи лся", + "пил ся", + "п ился", + "▁занима лась", + "▁занимала сь", + "▁мор ские", + "▁кня ги", + "ia ry", + "i ary", + "▁вз вода", + "▁бан кро", + "▁банк ро", + "▁К ы", + "▁бо рта", + "▁бор та", + "▁борт а", + "▁о бл", + "▁об л", + "▁нау чным", + "▁R em", + "▁Re m", + "V al", + "▁Ка ри", + "▁Кар и", + "▁L et", + "▁Le t", + "▁ко рей", + "▁кор ей", + "▁коре й", + "▁ корей", + "▁м еру", + "▁ме ру", + "▁мер у", + "re nce", + "ren ce", + "r ence", + "▁c ru", + "▁cr u", + "ди ны", + "дин ы", + "д ины", + "▁пенси ю", + "▁пен сию", + "ur ance", + "ura nce", + "u rance", + "▁На бо", + "▁Подоб ные", + "▁лейтенант а", + "▁лейтенан та", + "ul ed", + "ule d", + "u led", + "▁ты лу", + "▁тыл у", + "▁охра ня", + "▁охран я", + "ха и", + "▁Не много", + "▁Нем ного", + "▁прин ц", + "▁заня ты", + "▁занят ы", + "▁обви нение", + "▁ужа сно", + "▁ужас но", + "ва нные", + "ван ные", + "▁ко вар", + "▁ков ар", + "▁хро мо", + "▁мило сер", + "▁re ading", + "▁read ing", + "▁сло ем", + "ме да", + "мед а", + "со вого", + "сово го", + "▁Or gan", + "▁pie ces", + "▁piece s", + "▁re mark", + "▁rem ark", + "▁жи вые", + "▁учре ждение", + "▁С ток", + "▁Сто к", + "▁Ст ок", + "▁переста ли", + "▁перестал и", + "▁перес тали", + "▁Г ол", + "▁Го л", + "▁кла ссы", + "▁класс ы", + "▁го сте", + "▁гос те", + "▁не дово", + "▁недо во", + "▁де ления", + "▁деле ния", + "▁ деления", + "▁с ада", + "▁са да", + "▁сад а", + "но логия", + "нологи я", + "н ология", + "▁коро бки", + "▁уча щихся", + "▁Республи ке", + "▁полу фина", + "▁сведения м", + "▁H an", + "▁Ha n", + "▁Ка питан", + "▁Капи тан", + "▁Все гда", + "▁Наде юсь", + "▁Красно дар", + "ob e", + "o be", + "фици ровать", + "ти ровали", + "тирова ли", + "тировал и", + "ue ens", + "ueen s", + "▁a ware", + "▁aw are", + "▁сотруд никами", + "▁сотрудни ками", + "▁сотрудника ми", + "▁паль цем", + "▁cal c", + "ар мей", + "hi st", + "h ist", + "▁s ave", + "▁клу бов", + "▁клуб ов", + "И Б", + "▁п оп", + "▁по п", + "па мя", + "пам я", + "ча сто", + "час то", + "част о", + "▁исто риков", + "▁истори ков", + "▁историк ов", + "▁историко в", + "дка х", + "д ках", + "▁доб рый", + "Ге р", + "Г ер", + "▁вож дя", + "▁вы ходили", + "▁выход или", + "▁выходил и", + "▁те лу", + "▁тел у", + "▁demon str", + "▁demonst r", + "та но", + "тан о", + "т ано", + "▁прото кол", + "▁подготов ить", + "▁подгото вить", + "▁подготови ть", + "▁A C", + "▁ AC", + "ос а", + "о са", + "ap h", + "a ph", + "▁гра ницах", + "▁грани цах", + "▁граница х", + "▁тради ция", + "ис пыта", + "▁конкур се", + "▁конкурс е", + "▁ко нди", + "▁кон ди", + "▁Пе тер", + "▁Пет ер", + "▁моно по", + "▁охо тни", + "▁охот ни", + "▁Le on", + "▁француз ские", + "▁Л ар", + "▁Ла р", + "▁пов реди", + "▁повре ди", + "▁совет ско", + "▁r oles", + "▁ro les", + "▁role s", + "▁коро че", + "▁попа дают", + "▁попада ют", + "▁Во круг", + "▁подтвер ждает", + "▁подтвержда ет", + "▁кно пки", + "во ла", + "вол а", + "▁Н ака", + "▁На ка", + "▁С мотри", + "▁Смо три", + "▁экспер ты", + "лли ан", + "▁не яс", + "▁нея с", + "T ype", + "▁ак тива", + "▁актив а", + "▁те чению", + "▁cent uries", + "▁бе женцев", + "бо т", + "б от", + "am ing", + "amin g", + "ami ng", + "a ming", + "фран цуз", + "▁меда лями", + "▁интеллек та", + "▁интеллект а", + "▁Са мые", + "▁у кро", + "▁цвет у", + "▁цве ту", + "▁hy p", + "▁ф лага", + "▁фла га", + "▁флаг а", + "▁Сер бии", + "▁люби м", + "▁искус ством", + "▁искусство м", + "▁искусств ом", + "коно мии", + "кономи и", + "де ров", + "дер ов", + "▁К рай", + "▁Кра й", + "ль ники", + "льник и", + "▁Ки ри", + "▁Кир и", + "▁ш там", + "▁шта м", + "▁шт ам", + "ка са", + "кас а", + "▁необходи мостью", + "▁необходимо стью", + "▁необходимость ю", + "▁мо рю", + "▁мор ю", + "▁Лит вы", + "▁r ang", + "▁ra ng", + "▁ran g", + "▁окру гу", + "▁округ у", + "▁inv ited", + "▁пре дельно", + "▁преде льно", + "▁K ey", + "▁Ke y", + "ки не", + "кин е", + "▁L ive", + "▁Li ve", + "▁неве роятно", + "▁невероят но", + "▁орке стра", + "▁оркестр а", + "▁H un", + "▁Hu n", + "▁з вер", + "▁зве р", + "▁зв ер", + "пе ней", + "пен ей", + "▁s port", + "▁sp ort", + "▁Аб солю", + "▁B ase", + "▁Bas e", + "▁Ba se", + "▁номина ции", + "pr et", + "pre t", + "p ret", + "бе с", + "▁Sp ring", + "▁Spr ing", + "▁написа ла", + "▁написал а", + "▁костю м", + "▁И ными", + "▁ю рис", + "▁юри с", + "▁кла виа", + "▁клави а", + "▁С ав", + "▁Са в", + "▁ро сту", + "▁рост у", + "▁рос ту", + "▁в право", + "▁поло се", + "▁Th us", + "▁pro vin", + "▁prov in", + "гу б", + "▁синта кси", + "▁ри мского", + "▁рим ского", + "▁Неда вно", + "▁отде лом", + "▁отдел ом", + "ет ь", + "е ть", + ".. .)", + "... )", + "▁уро жай", + "ве ло", + "вел о", + "▁ли м", + "▁л им", + "▁ лим", + "▁хра нится", + "▁храни тся", + "тро п", + "тр оп", + "▁Ма ну", + "▁Ман у", + "со циали", + "▁благо слове", + "▁п лу", + "▁переименова н", + "▁агре ссии", + "▁револю цию", + "же ницы", + "▁Моск вой", + "▁D er", + "▁De r", + "on der", + "ond er", + "o nder", + "▁b rain", + "▁br ain", + "▁bra in", + "ли лась", + "лила сь", + "дер жание", + "держа ние", + "▁develop ing", + "▁про дли", + "▁прод ли", + "▁сом нение", + "▁сомне ние", + "▁успо ко", + "▁со звез", + "▁отли чались", + "▁отлича лись", + "▁раз деление", + "▁разде ление", + "▁разделе ние", + "▁дово лен", + "▁ш ты", + "▁шт ы", + "▁L ady", + "▁ок ружи", + "▁окру жи", + "▁veh icle", + "▁end s", + "▁контра кта", + "▁контракт а", + "▁контрак та", + "▁знаком ства", + "I s", + "пи ски", + "пис ки", + "▁тон ко", + "▁пре следу", + "▁rem ember", + "▁Г ло", + "▁по по", + "▁поп о", + "▁жив ёт", + "▁по меня", + "▁поме ня", + "▁пом еня", + "ew ork", + "e work", + "▁c art", + "▁car t", + "▁де тского", + "▁дет ского", + "▁государ ь", + "▁госуда рь", + "um es", + "ume s", + "u mes", + "▁останов ки", + "▁остано вки", + "▁стара ется", + "▁работа ющих", + "▁crit ics", + "▁critic s", + "▁Reg iment", + "▁спектак ля", + "▁се льских", + "▁сель ских", + "▁во ров", + "▁воро в", + "▁вор ов", + "тя нуть", + "тяну ть", + "▁Верхов ный", + "▁На ч", + "пар тий", + "▁нем цами", + "▁s ons", + "▁so ns", + "▁son s", + "▁я щик", + "▁Я ков", + "▁Яко в", + "▁Як ов", + "▁review s", + "пли н", + "п лин", + "▁par ish", + "I R", + "▁c ert", + "▁tem ple", + "▁за мед", + "▁заме д", + "▁зам ед", + "▁Ку й", + "▁со обще", + "▁сооб ще", + "▁меха ники", + "▁механи ки", + "▁гла сит", + "ot hes", + "oth es", + "▁мони то", + "▁право сла", + "▁бал лов", + "▁балло в", + "▁ad apt", + "▁кра сных", + "Со юз", + "▁обо стре", + "кла дки", + "клад ки", + "▁ви рус", + "▁вир ус", + "▁виру с", + "▁при ле", + "фе ссиона", + "ор т", + "о рт", + "▁вели кому", + "▁велико му", + "▁p arliament", + "▁пыта лась", + "▁per haps", + "▁произ ведён", + "чи вают", + "чива ют", + "▁ито ги", + "▁итог и", + "▁Sec urity", + "▁Х рам", + "▁Хра м", + "▁Ю рь", + "▁foc used", + "▁focus ed", + "▁си ро", + "▁а стерои", + "▁и бн", + "пле ны", + "плен ы", + "п лены", + "▁Э ле", + "▁Эл е", + "вро пей", + "▁су вере", + "▁def ined", + "▁defin ed", + "▁францу зы", + "▁француз ы", + "мо да", + "м ода", + "▁военнослу жа", + "▁Чер ны", + "▁С вой", + "▁Сво й", + "▁Св ой", + "▁бога ты", + "▁богат ы", + "ка ется", + "кает ся", + "▁% .", + "▁ %.", + "ид ы", + "и ды", + "те льский", + "тель ский", + "▁много кратно", + "▁r ival", + "▁ri val", + "▁M un", + "▁Mu n", + "ed ia", + "шки на", + "шкин а", + "ш кина", + "▁непоня тно", + "ва нь", + "ван ь", + "в ань", + "ру ющего", + "рую щего", + "au g", + "a ug", + "▁nuc lear", + "▁дер з", + "▁воз ьми", + "▁возь ми", + "▁ущер ба", + "▁ущерб а", + "▁уще рба", + "вшему ся", + "▁британ ский", + "▁host ed", + "▁Шта ты", + "▁S ports", + "▁influ enced", + "▁influence d", + "▁и сце", + "▁ис це", + "▁о сен", + "▁ос ен", + "▁осе н", + "▁коме нда", + "▁комен да", + "▁блю да", + "ти хо", + "▁мяг ко", + "В ла", + "ст она", + "сто на", + "стон а", + "с тона", + "▁одно сторон", + "▁ю жных", + "Л Я", + "▁недо пусти", + "Г ра", + "▁мень шин", + "▁возраста ет", + "▁ту берку", + "▁употре бления", + "▁Х ен", + "▁Хе н", + "▁ми о", + "▁repe ated", + "▁con sequ", + "▁cons equ", + "ле вский", + "лев ский", + "л евский", + "ua te", + "u ate", + "▁p hr", + "▁ph r", + "▁see med", + "▁seem ed", + "▁Те бе", + "▁интересу ет", + "▁глубо кое", + "▁глубоко е", + "жде нные", + "жден ные", + "за ций", + "▁eas ily", + "▁Мини стров", + "▁Министр ов", + "▁бес при", + "▁импера тором", + "▁император ом", + "▁опреде лению", + "▁g raph", + "▁gr aph", + "▁gra ph", + "▁мо щь", + "▁мощ ь", + "▁ши ре", + "ess ed", + "▁пье се", + "▁пьес е", + "ей с", + "е йс", + "президен т", + "▁гру бы", + "▁сопрово ждается", + "▁сопровожда ется", + "▁ста вший", + "▁став ший", + "▁Си ци", + "▁S us", + "▁Su s", + "▁пере с", + "▁пе рес", + "▁леген ды", + "▁Oh io", + "ря ется", + "ряет ся", + "▁пяти десяти", + "▁россий ским", + "ль ца", + "▁p age", + "▁сту п", + "▁ ступ", + "▁помощ ника", + "▁помощник а", + "? »", + "▁перево рота", + "▁переворот а", + "G B", + "ком му", + "▁по ведением", + "▁пове дением", + "▁поведение м", + "▁n et", + "▁ne t", + "▁ net", + "с вобо", + "▁Хо рва", + "▁Хор ва", + "▁Me an", + "▁празд ника", + "▁праздник а", + "▁праздни ка", + "▁свиде телей", + "▁ref lect", + "▁распростра нён", + "▁распростран ён", + "▁призна ет", + "▁а зиат", + "▁ азиат", + "▁треть им", + "до ры", + "дор ы", + "▁реги стри", + "▁ регистри", + "▁T al", + "▁publ ication", + "▁public ation", + "▁П ода", + "▁По да", + "▁Под а", + "▁П ой", + "▁По й", + "▁ба бо", + "▁can cer", + "▁d oll", + "▁do ll", + "▁М ура", + "▁Му ра", + "▁Мур а", + "▁m ort", + "▁mor t", + "▁плани рования", + "▁предъ яви", + "▁предъя ви", + "j i", + "ва емое", + "ваем ое", + "▁a gent", + "▁ag ent", + "▁age nt", + "▁то жде", + "▁живо пись", + "▁живопи сь", + "▁живопис ь", + "▁бра ту", + "▁брат у", + "▁Ро берта", + "▁Роберт а", + "▁Робер та", + "▁пере мены", + "▁переме ны", + "▁перемен ы", + "▁а ро", + "▁ар о", + "ве личи", + "вели чи", + "▁оста вшихся", + "▁w ww", + "▁ www", + "но вской", + "нов ской", + "▁ин дика", + "▁инди ка", + "▁О гром", + "▁Ог ром", + "▁приз вал", + "▁Scott ish", + "▁исполни тельной", + "▁исполнитель ной", + "ra t", + "r at", + "▁обра тились", + "ня ясь", + "няя сь", + "▁институ тов", + "▁институт ов", + "▁без от", + "▁безо т", + "▁Пу ти", + "S p", + "▁лег кие", + "▁присут ствия", + "▁соответ ствовать", + "▁vot es", + "▁vote s", + "▁vo tes", + "w orth", + "▁мудро сти", + "▁в ходило", + "▁входил о", + "▁входи ло", + "▁прекра щения", + "▁э стра", + "▁эс тра", + "▁гру зин", + "▁грузи н", + "▁груз ин", + "▁home s", + "▁hom es", + "▁Bel g", + "▁горя чей", + "et hod", + "eth od", + "▁сле дов", + "▁след ов", + "▁Но белев", + "▁зна ка", + "▁знак а", + "▁бое виков", + "▁неме длен", + "▁содержа нию", + "шне й", + "шн ей", + "ш ней", + "▁обла дать", + "▁облада ть", + "▁sc enes", + "▁scene s", + "▁ин тим", + "▁re duce", + "▁выра жает", + "▁выража ет", + "▁игро ки", + "▁игрок и", + "po ol", + "p ool", + "ль фа", + "льф а", + "зы вают", + "зыва ют", + "▁использова нию", + "▁у ходят", + "▁ухо дят", + "▁уходя т", + "▁уход ят", + "Мо сков", + "Моск ов", + "▁Ве ро", + "▁Вер о", + "▁sub s", + "▁su bs", + "▁пра вед", + "▁прав ед", + "▁праве д", + "▁ правед", + "сс ёр", + "▁по летов", + "▁поле тов", + "▁полет ов", + "▁t ower", + "▁to wer", + "▁форми руется", + "▁sil ver", + "▁полу тора", + "▁торго вля", + "▁торгов ля", + "▁настоя щие", + "▁зво нок", + "▁звон ок", + "▁instit utions", + "▁institution s", + "би та", + "бит а", + "▁кра ски", + "▁prov ince", + "▁provin ce", + "▁обра тном", + "▁обратно м", + "ни цами", + "ница ми", + "▁и стина", + "▁ис тина", + "▁исти на", + "▁ист ина", + "́ть ся", + "́ ться", + "гу ю", + "г ую", + "▁Пом ню", + "▁про су", + "▁прос у", + "ent ially", + "ential ly", + "▁глу бина", + "▁глуби на", + "▁con text", + "▁cont ext", + "▁пу стой", + "▁пусто й", + "▁шта бе", + "▁штаб е", + "▁г ал", + "▁га л", + "▁ гал", + "▁отверсти я", + "▁im ag", + "▁Tay lor", + "▁об маны", + "▁обма ны", + "▁обман ы", + "▁У читывая", + "ut ies", + "u ties", + "▁от талки", + "▁раз деления", + "▁разде ления", + "▁разделе ния", + "▁предусматри вает", + "вля лись", + "вляли сь", + "в лялись", + "▁гре ческой", + "▁к лей", + "▁кле й", + "▁vers ions", + "▁version s", + "▁а гра", + "▁лю бя", + "▁конструк ция", + "▁е д", + "▁ ед", + "ис ти", + "ист и", + "и сти", + "ди ну", + "дин у", + "▁осуществ ление", + "▁друж бы", + "tain ment", + "f riend", + "Е С", + "▁экспери менты", + "▁эксперимент ы", + "▁постоя нных", + "▁зем лях", + "▁земля х", + "▁Ро за", + "▁гре ков", + "▁шо кола", + "▁резо нан", + "▁От носи", + "▁Отно си", + "▁С нова", + "th en", + "the n", + "t hen", + "▁caus ing", + "▁поддержа ния", + "ил ся", + "и лся", + "▁вы ставка", + "▁выстав ка", + "▁выста вка", + "▁Чехослова кии", + "▁внутрен нюю", + "▁месторо ждения", + "▁неу стой", + "ва нного", + "ван ного", + "▁кон вен", + "▁tra ins", + "▁tr ains", + "▁train s", + "un a", + "u na", + "▁form al", + ")) )", + ") ))", + "▁беспо мощ", + "st ruction", + "struct ion", + "▁М но", + "Со вет", + "▁м ск", + "▁интере сам", + "▁интерес ам", + "▁интереса м", + "▁теле сериа", + "▁информа ционной", + "▁ра вной", + "▁равно й", + "▁рав ной", + "▁Re view", + "▁Rev iew", + "▁необык новен", + "ль си", + "▁изме нении", + "▁че рных", + "▁чер ных", + "▁обяза нность", + "▁обязан ность", + "Мо ло", + "М оло", + "▁dom estic", + "▁контр револю", + "во сть", + "вос ть", + "▁call ing", + "▁cal ling", + "▁N ative", + "▁под хва", + "▁крей сер", + "▁му дре", + "▁муд ре", + "щими ся", + "▁ра зной", + "▁раз ной", + "▁разно й", + "У Р", + "▁Э рик", + "▁Эри к", + "▁у меть", + "▁уме ть", + "▁ум еть", + "▁воспринима ть", + "▁U pon", + "▁Up on", + "▁си дят", + "▁сидя т", + "нце в", + "н цев", + "▁упраж нений", + "▁rest aur", + "▁D ig", + "▁Di g", + "▁ри ф", + "▁ риф", + "af ter", + "aft er", + "a fter", + "▁pro ced", + "▁Коман да", + "▁переме щения", + "▁жало бы", + "▁жал обы", + "▁жалоб ы", + "▁да ту", + "▁дат у", + "ти р", + "т ир", + "▁ю жнее", + "u v", + "▁Пе тру", + "▁Пет ру", + "▁Петр у", + "▁безу спе", + "▁Об раз", + "▁Обра з", + "▁a head", + "▁при ходили", + "▁приходи ли", + "▁приход или", + "▁прихо дили", + "▁приходил и", + "▁K en", + "▁Ke n", + "▁ко ре", + "▁кор е", + "▁интере сных", + "▁интерес ных", + "▁learn ed", + "N S", + "т ны", + "▁поддержи вал", + "▁совер шили", + "▁совершил и", + "▁соверши ли", + "▁а так", + "▁ат ак", + "▁ата к", + "▁фор мат", + "▁форма т", + "▁форм ат", + "▁проце ссом", + "▁процесс ом", + "▁процессо м", + "▁сокра щение", + "▁ну ля", + "▁пе щ", + "▁международ ным", + "▁Че твер", + "▁Чет вер", + "▁ф ри", + "▁ фри", + "к ки", + "▁f ine", + "▁fin e", + "▁ще дро", + "▁пле чо", + "А л", + "ве да", + "вед а", + "фе льд", + "фель д", + "▁fa ith", + "▁китай ских", + "▁един ственно", + "ia ng", + "ian g", + "i ang", + "▁С анта", + "▁Са нта", + "▁Сан та", + "▁сокра тить", + "▁полицей ских", + "▁Профе ссор", + "▁и коны", + "▁ико ны", + "▁национа льные", + "L ist", + "▁пере ключа", + "▁переклю ча", + "др я", + "д ря", + "▁узна ет", + "▁газе тах", + "▁газета х", + "▁п ада", + "▁па да", + "▁ пада", + "▁вз ыска", + "▁взы ска", + "см а", + "с ма", + "▁После днее", + "▁Послед нее", + "▁Кла сси", + "▁би ологии", + "▁био логии", + "▁биологи и", + "il ton", + "ilt on", + "▁B ack", + "▁Ba ck", + "▁опера тивно", + "▁perman ent", + "▁ка жутся", + "гра мо", + "грам о", + "▁конститу ции", + "▁acc used", + "▁con sec", + "▁cons ec", + "ти вному", + "тив ному", + "тивно му", + "тивном у", + "▁advant age", + "▁Совет ская", + "▁Ст эн", + "▁Н ЛО", + "▁a uth", + "▁aut h", + "лли нг", + "лл инг", + "ллин г", + "л линг", + "▁ожида л", + "▁ожи дал", + "de s", + "d es", + "ди тесь", + "дите сь", + "▁по ловой", + "▁поло вой", + "▁полов ой", + "▁с оле", + "▁со ле", + "П ра", + "all el", + "alle l", + "шо в", + "ш ов", + "де льный", + "дель ный", + "▁сред нее", + "▁сре днее", + "▁средне е", + "▁Воз ник", + "▁sle ep", + "▁str ike", + "▁stri ke", + "act ive", + "▁ре кор", + "▁реко р", + "▁рек ор", + "ри стов", + "рис тов", + "ристо в", + "рист ов", + "▁ви дишь", + "▁види шь", + "▁М али", + "▁Ма ли", + "▁уве ренности", + "▁уверен ности", + "▁уверенно сти", + "em an", + "e man", + "▁дву сторон", + "co w", + "c ow", + "▁r ough", + "▁ro ugh", + "▁ rough", + "▁б ру", + "▁ бру", + "▁s ell", + "▁se ll", + "▁по лости", + "▁поло сти", + "▁пере веден", + "▁переве ден", + "▁бе лым", + "▁Се ми", + "▁Сем и", + "▁M arsh", + "▁Mar sh", + "▁ли деры", + "▁лидер ы", + "▁лиде ры", + "жо р", + "ж ор", + "х ро", + "▁Mich igan", + "▁M ike", + "▁Б ое", + "▁Бо е", + "▁логи ка", + "▁сред а", + "▁сре да", + "▁об щему", + "▁обще му", + "▁общем у", + "▁рас форми", + "ИН А", + "И НА", + "ди ра", + "дир а", + "▁eng aged", + "▁l aid", + "▁la id", + "до бы", + "доб ы", + "д обы", + "▁А п", + "▁поки нули", + "▁покинул и", + "▁ма ссе", + "▁масс е", + "▁толщи ной", + "▁по ре", + "▁пор е", + "▁авто ру", + "▁ав тору", + "▁автор у", + "▁Э ми", + "▁Эм и", + "▁W at", + "▁ро та", + "▁рот а", + "▁ рота", + "b ut", + "▁в ключения", + "▁вклю чения", + "▁электро магни", + "Re s", + "R es", + "▁op pon", + "▁pil ot", + "▁про чь", + "▁проч ь", + "▁b or", + "▁bo r", + "▁ bor", + "▁Add ition", + "ба ра", + "бар а", + "б ара", + "▁в люблен", + "▁влю блен", + "▁в зве", + "▁вз ве", + "▁значи тельных", + "им е", + "и ме", + "▁про стая", + "▁прос тая", + "▁проста я", + "▁прост ая", + "▁с жи", + "▁рей тинг", + "▁рейти нг", + "▁ок тябрь", + "▁организа циями", + "▁организация ми", + "▁от рез", + "▁отре з", + "▁Л ай", + "▁Ла й", + "▁sh ut", + "▁за бе", + "▁заб е", + "▁воен ными", + "▁вое нными", + "▁военным и", + "ми ная", + "мина я", + "мин ая", + "ж ском", + "▁ограни чение", + "▁кня зем", + "ст рая", + "стра я", + "стр ая", + "▁реги он", + "▁Рас смотрим", + "▁Рассмотри м", + "▁из влека", + "▁извле ка", + "▁Разви тие", + "▁сооб щают", + "▁сообща ют", + "▁за мены", + "▁заме ны", + "▁cost s", + "▁с бере", + "▁сбе ре", + "▁потеря ла", + "▁потерял а", + "▁спор тивных", + "▁view s", + "▁exist ence", + "▁тор говые", + "▁торго вые", + "▁называ лась", + "▁есте ственного", + "▁естественно го", + "сс кой", + "с ской", + "O b", + "act ions", + "action s", + "a ctions", + "▁sub stant", + "▁m or", + "▁харак тере", + "▁характер е", + "▁Вяче слав", + "▁N ap", + "▁Na p", + "▁Al f", + "▁ко же", + "▁dr iver", + "▁drive r", + "uc ky", + "uck y", + "▁К лин", + "▁Кли н", + "кс ов", + "ксо в", + "к сов", + "▁O rig", + "▁Or ig", + "▁жи вое", + "▁живо е", + "▁жив ое", + "▁арен ды", + "▁чинов ники", + "▁престо ла", + "▁престол а", + "▁a part", + "▁ap art", + "el ve", + "▁А та", + "▁Ат а", + "▁оцен кам", + "▁оценка м", + "▁C irc", + "▁пере на", + "▁пер ена", + "▁пе рена", + "ру ющая", + "рую щая", + "▁зер кало", + "▁зерка ло", + "▁обы гра", + "фф а", + "ф фа", + "па три", + "п атри", + "▁повседнев ной", + "ri f", + "r if", + "▁В начале", + "▁выделя ется", + "▁выде ляется", + "▁Ind epend", + "▁Худо же", + "▁Ма лень", + "▁б ить", + "▁би ть", + "▁бит ь", + "▁ бить", + "▁называ емого", + "▁кор рек", + "▁корре к", + "re te", + "ret e", + "▁ува жением", + "▁уважение м", + "▁равнове сия", + "▁равновеси я", + "▁име лись", + "▁имели сь", + "▁поса дку", + "▁посад ку", + "▁про до", + "▁пр одо", + "▁прод о", + "▁кня зю", + "ви дной", + "вид ной", + "видно й", + "▁мужи к", + "▁contrib uted", + "▁сти хах", + "▁М И", + "▁ МИ", + "▁же ни", + "▁жен и", + "▁постано вки", + "▁постанов ки", + "y e", + "▁прос тира", + "▁прости ра", + "▁s an", + "ъя с", + "ъ яс", + "▁de lay", + "▁del ay", + "▁Предпо ложи", + "▁dec ades", + "▁decade s", + "ter ed", + "te red", + "t ered", + "▁образу ются", + "▁образуют ся", + "▁трени ровки", + "ёр ы", + "ё ры", + "▁дела ю", + "▁неве до", + "▁сбор ки", + "▁сбо рки", + "▁при несла", + "▁принес ла", + "▁справед ливость", + "▁справедливо сть", + "▁справедли вость", + "за кон", + "зак он", + "зако н", + "▁с могу", + "▁смо гу", + "▁смог у", + "▁perform ing", + "▁С М", + "▁h un", + "ut ation", + "▁object s", + "▁аген та", + "▁агент а", + "▁алгорит м", + "▁перспекти ве", + "▁перспек тиве", + "▁разно обра", + "an ning", + "ann ing", + "▁к рик", + "▁кри к", + "▁настой чиво", + "rag on", + "r agon", + "▁un known", + "▁воору жении", + "▁постоя нный", + "▁на зо", + "▁наз о", + "ско вой", + "сков ой", + "с ковой", + "▁це п", + "▁ цеп", + "▁аван тю", + "▁t rav", + "▁tra v", + "▁tr av", + "ur d", + "u rd", + "▁С тю", + "▁Ст ю", + "us ter", + "ust er", + "u ster", + "ло вых", + "лов ых", + "▁вз дох", + "▁Север ная", + "▁suc ceeded", + "▁бом б", + "▁sup por", + "▁imp rove", + "▁impro ve", + "▁х ит", + "▁хи т", + "▁ядер ного", + "▁компонен т", + "▁кон стати", + "▁associ ation", + "▁у брать", + "▁убра ть", + "▁над писи", + "▁надпи си", + "▁E st", + "▁Es t", + "▁ac res", + "▁поль зы", + "▁с горе", + "▁полага л", + "▁пола гал", + "os a", + "▁расположен ные", + "▁расположе нные", + "особ енно", + "▁лю били", + "▁люби ли", + "▁любил и", + "▁те чением", + "▁течение м", + "ба лан", + "бал ан", + "зи но", + "зин о", + "з ино", + "▁Ита лия", + "▁Итали я", + "▁опера тора", + "▁оператор а", + "in king", + "ink ing", + "ге та", + "▁внутрен ним", + "▁в арьи", + "▁вар ьи", + "▁преступ ников", + "ли ни", + "лин и", + "слу х", + "▁це лая", + "▁val ues", + "▁value s", + "▁выя вить", + "▁выяви ть", + "▁аргу мента", + "ot hing", + "oth ing", + "o thing", + "Д Д", + "ou ts", + "out s", + "o uts", + "▁v en", + "▁ve n", + "▁ ven", + "▁нов город", + "- ,", + "▁сме х", + "▁I d", + "▁ Id", + "▁благодар ность", + "сто люби", + "▁от дых", + "▁pass ing", + "▁w rong", + "▁концеп цию", + "со чета", + "▁по ложений", + "▁поло жений", + "▁переда ч", + "▁кос вен", + "▁собесед ник", + "▁собесе дник", + "▁индей цев", + "бу ла", + "▁при боры", + "▁прибо ры", + "▁прибор ы", + "▁сосу дов", + "про ви", + "▁ре ль", + "▁ рель", + "▁us ers", + "▁user s", + "▁газ ету", + "▁газе ту", + "▁газет у", + "▁отвра ти", + "харак тери", + "▁а гро", + "▁Об ъек", + "▁Объ ек", + "стан ций", + "▁изу чении", + "че нном", + "чен ном", + "ченно м", + "▁inv asion", + "▁форми ровании", + "ли ла", + "лил а", + "л ила", + "▁т рон", + "▁тро н", + "▁тр он", + "йте д", + "йт ед", + "▁раз ряд", + "▁разря д", + "▁а ква", + "▁ак ва", + "▁То вари", + "▁Рас пу", + "▁завер шить", + "▁заверши ть", + "ти нский", + "тин ский", + "рова нном", + "рован ном", + "▁однозна чно", + "▁J er", + "▁Je r", + "▁да вая", + "▁дав ая", + "▁mount ain", + "rop ol", + "▁N ations", + "▁реак ций", + "▁у ла", + "▁ул а", + "▁добы чу", + "ни цкий", + "ниц кий", + "▁e ye", + "▁ey e", + "▁кру гах", + "▁круга х", + "▁До полни", + "ка ты", + "кат ы", + "фе ро", + "фер о", + "oc key", + "ock ey", + "▁наде жде", + "▁Па стерна", + "▁Пас терна", + "фа р", + "ф ар", + "▁две рей", + "▁двер ей", + "▁б рал", + "▁бра л", + "▁ брал", + "ши ф", + "▁противостоя ть", + "▁появи ться", + "▁поя виться", + "▁из вер", + "▁изве р", + "▁на дё", + "▁над ё", + "▁Мю н", + "▁у шёл", + "▁gu est", + "▁A ff", + "▁Af f", + "▁ориен тации", + "▁ориента ции", + "▁во ины", + "▁воин ы", + "▁вои ны", + "▁Харь ков", + "▁поли тическое", + "▁полити ческое", + "▁a w", + "▁ aw", + "▁Жи во", + "▁поч ву", + "ped ition", + "уд а", + "у да", + "▁по смер", + "▁пос мер", + "▁sus p", + "▁su sp", + "ри лись", + "рили сь", + "▁ди плом", + "▁дипло м", + "▁рас хо", + "▁по смотрим", + "▁S ant", + "▁San t", + "▁Sa nt", + "▁По со", + "▁Фран суа", + "▁act ual", + "▁сохра няет", + "▁сохраня ет", + "ic y", + "i cy", + "▁м ю", + "▁ще н", + "▁ щен", + "▁государ ственную", + "▁государстве нную", + "▁архитек тора", + "▁архите ктора", + "▁архитектор а", + "▁с жима", + "▁сжи ма", + "▁Росси йского", + "▁Россий ского", + "▁Ла уре", + "▁стар ших", + "▁обеспе чивают", + "▁обеспечи вают", + "▁инте грации", + "▁интегра ции", + "зо вывать", + "зовы вать", + "▁события ми", + "ro ve", + "r ove", + "▁стер ж", + "▁знаком ство", + "▁f estival", + "▁практи ческой", + "▁прак тической", + "▁equ al", + "▁смы сло", + "▁смысл о", + "▁ме ксикан", + "▁[ ...", + "▁О ли", + "▁Ол и", + "▁Г рей", + "▁Гре й", + "▁Ус пен", + "▁Успе н", + "▁Са мая", + "▁Сам ая", + "▁Сама я", + "▁древне гре", + "▁програм много", + "▁программ ного", + "▁ку чу", + "▁моби льных", + "or gan", + "org an", + "▁по вле", + "▁пов ле", + "▁геро ем", + "▁истори чески", + "▁Ве ст", + "зе ль", + "зел ь", + "▁the atre", + "▁верто лет", + "Е З", + "до сть", + "ши ла", + "шил а", + "ш ила", + "▁скры ть", + "ли ки", + "лик и", + "▁зеле ный", + "▁преж ние", + "▁стара ются", + "▁в ёл", + "▁ вёл", + "Г ц", + "▁Твер ской", + "▁строе ние", + "▁ строение", + "so le", + "s ole", + "▁С он", + "▁Со н", + "▁стрем ления", + "▁happ ened", + "▁ответ ов", + "▁отве тов", + "▁club s", + "▁ill e", + "▁ ille", + "▁крестьян ской", + "▁крестья нской", + "▁худож ником", + "▁художник ом", + "▁тай ну", + "▁подчер кну", + "▁с водится", + "▁сво дится", + "▁значи тельная", + "▁бес пло", + "▁преж ней", + "▁R on", + "▁Ro n", + "Ф З", + "▁вое вать", + "▁бо гу", + "▁бог у", + "▁Ар тур", + "▁Арт ур", + "чу р", + "ч ур", + "▁произ водят", + "▁производ ят", + "▁произво дят", + "▁qu ant", + "▁Александ ру", + "▁Александр у", + "▁с нят", + "▁сня т", + "▁in stance", + "▁inst ance", + "▁заста вили", + "▁заставил и", + "э лектри", + "▁предо преде", + "▁учё ных", + "▁end ing", + "▁рас пра", + "▁g one", + "▁go ne", + "▁ла дно", + "▁princip al", + "▁кон денса", + "▁у клады", + "▁харак тером", + "▁характер ом", + "▁cor rect", + "▁поя са", + "▁пояс а", + "▁за дать", + "▁зада ть", + "д с", + "▁конструк ций", + "же нном", + "жен ном", + "женно м", + "▁Т били", + "▁жела нием", + "▁желание м", + "▁dist ingu", + "▁c aught", + "▁rev olution", + "▁спа ль", + "▁спал ь", + "▁Step hen", + "▁ste el", + "▁пря мые", + "ья н", + "ь ян", + "ic ks", + "ick s", + "i cks", + "▁электро нных", + "▁люби телей", + "at al", + "ata l", + "▁entire ly", + "▁раз бор", + "▁разбо р", + "р ба", + "▁дво их", + "▁P R", + "▁ PR", + "Пре д", + "П ред", + "▁судеб ной", + "▁до сро", + "▁рубе ж", + "▁пере нес", + "▁r ow", + "▁ro w", + "▁ row", + "▁g all", + "▁вле во", + "▁W alk", + "▁Wal k", + "▁гер манской", + "▁герман ской", + "▁пока зывать", + "▁показыва ть", + "▁ме стный", + "▁мест ный", + "▁се кции", + "▁сек ции", + "▁бир же", + "▁ва жность", + "▁важ ность", + "▁важно сть", + "▁con test", + "▁cont est", + "▁b atter", + "▁batt er", + "▁разви ваются", + "▁развива ются", + "fl ib", + "f lib", + "▁По яви", + "▁по кро", + "▁от зывы", + "▁отзыв ы", + "▁памя тники", + "▁памят ники", + "▁памятник и", + "▁сдела на", + "▁сде лана", + "▁сделан а", + "▁сдел ана", + "цион еры", + "цио неры", + "ционе ры", + "ционер ы", + "▁Не боль", + "▁ин тона", + "▁h ired", + "▁C ub", + "▁ис прави", + "▁испра ви", + "▁водо рода", + "▁водоро да", + "▁Су хо", + "▁conclud ed", + "▁я д", + "▁g ain", + "▁P u", + "сти чески", + "с тически", + "ла нда", + "лан да", + "ланд а", + "▁a go", + "▁ag o", + "▁ ago", + "▁Cast le", + "▁Cas tle", + "НО СТ", + "▁ядер ной", + "▁синте за", + "▁судеб ных", + "▁реали зацию", + "▁ожида нии", + "то вое", + "тов ое", + "тово е", + "м ь", + "▁Ч ин", + "▁Чи н", + "ц ки", + "▁на нес", + "▁центра льных", + "▁центр альных", + "▁спа сение", + "▁спасе ние", + "▁еди ное", + "▁един ое", + "▁едино е", + "▁матери альной", + "▁материа льной", + "▁материаль ной", + "pat h", + "pa th", + "p ath", + "че рки", + "чер ки", + "▁Дмитри евич", + "▁герман ских", + "▁та нце", + "▁тан це", + "▁зу бов", + "▁зуб ов", + "▁пя тна", + "▁пят на", + "▁при водя", + "▁приво дя", + "▁Д жим", + "▁Дж им", + "▁Джи м", + "▁мастер ской", + "▁масте рской", + "▁Б ла", + "▁криста лли", + "▁hot el", + "▁ко лла", + "▁кол ла", + "▁сооб щал", + "▁сообща л", + "Д П", + "тех ники", + "техни ки", + "▁совет ов", + "▁сове тов", + "▁стра хов", + "▁страхо в", + "▁страх ов", + "▁авиа ционного", + "▁зе рно", + "▁зер но", + "▁у мом", + "▁ум ом", + "▁умо м", + "▁умень шается", + "ря х", + "р ях", + "D P", + "▁ac ts", + "▁act s", + "▁l ands", + "▁land s", + "▁ lands", + "▁претен ден", + "▁ок не", + "▁называ емая", + "▁называем ая", + "ле ни", + "лен и", + "▁шту ка", + "▁шт ука", + "▁штук а", + "▁ви бра", + "▁парадок са", + "▁в стать", + "▁вс тать", + "▁вста ть", + "▁заклю чению", + "▁ресто ран", + "▁рестора н", + "▁при па", + "▁ припа", + "зя т", + "з ят", + "▁neg ative", + "▁с гу", + "▁fav our", + "П ла", + "С тра", + "▁С ъ", + "▁у дли", + "▁уд ли", + "▁Василь ев", + "▁Василье в", + "▁откры того", + "▁открыто го", + "▁по ш", + "▁Со ю", + "▁A ud", + "▁Pol and", + "▁Po land", + "▁боя ться", + "▁зву ко", + "▁звук о", + "▁sh ape", + "▁уви дите", + "▁Великобрита ния", + "▁предупре ждения", + "▁ent ry", + "не о", + "▁моду ль", + "▁Ль ва", + "▁за одно", + "▁зао дно", + "ри ат", + "риа т", + "▁характер ны", + "▁cons ult", + "▁stand ing", + "▁ standing", + "▁византи й", + "is ms", + "ism s", + "▁про чее", + "▁тяже лый", + "▁Ar thur", + "▁дости гается", + "▁достигает ся", + "▁достига ется", + "▁C R", + "▁клима та", + "▁климат а", + "▁Enter tainment", + "▁main tained", + "▁maintain ed", + "▁зна коми", + "▁знако ми", + "▁знаком и", + "тя х", + "т ях", + "▁affect ed", + "жи вания", + "▁запро сов", + "▁запрос ов", + "жо н", + "ж он", + "▁О л", + "▁Pak istan", + "ar ia", + "ari a", + "a ria", + "пра вление", + "прав ление", + "▁су ждено", + "▁выро сла", + "▁вырос ла", + "▁обы ден", + "▁Медведе в", + "ps on", + "p son", + "▁у се", + "▁ус е", + "▁старо сти", + "ль цы", + "ст ит", + "сти т", + "с тит", + "▁эта жа", + "▁этаж а", + "▁д нях", + "▁дня х", + "скри п", + "▁помо гал", + "▁помог ал", + "▁помога л", + "▁вы ры", + "▁выр ы", + "По сле", + "▁some w", + "▁som ew", + "то рных", + "тор ных", + "▁дости жений", + "▁возможно й", + "▁возмо жной", + "▁Ре ги", + "▁объеди ня", + "▁познакоми ться", + "▁об щин", + "▁общи н", + "▁общ ин", + "▁О П", + "▁ ОП", + "▁парт неров", + "▁партнер ов", + "▁ра зом", + "▁раз ом", + "▁разо м", + "▁устано вленных", + "▁установ ленных", + "▁установлен ных", + "j e", + "▁уров ню", + "▁револю ционной", + "▁С не", + "▁про вода", + "▁прово да", + "▁провод а", + "▁ провода", + "▁С мерть", + "▁занима ть", + "▁ж аль", + "▁жа ль", + "▁жал ь", + "▁фа рма", + "▁фар ма", + "▁запа дного", + "▁запад ного", + "▁деше вле", + "ща х", + "▁упразд нён", + "▁ло го", + "▁ лого", + "▁Про грамма", + "ба йка", + "бай ка", + "▁му жу", + "▁муж у", + "нос ятся", + "нося тся", + "носят ся", + "▁завое вания", + "▁S u", + "ле том", + "лет ом", + "/ ,", + "▁r om", + "▁ro m", + "▁ rom", + "▁И гна", + "▁И ран", + "▁Ир ан", + "▁Ира н", + "▁пре гра", + "▁клю чи", + "▁ключ и", + "▁Лу к", + "▁ра ны", + "▁ран ы", + "wo rd", + "w ord", + "▁b odies", + "▁Ба ш", + "▁мо ск", + "▁не а", + "же нер", + "жен ер", + "▁при вед", + "▁приве д", + "▁прив ед", + "▁опреде лении", + "▁отде льными", + "▁отдель ными", + "▁отдельным и", + "▁кан ц", + "▁struct ures", + "▁structure s", + "▁зву ков", + "▁звук ов", + "▁звуко в", + "▁упра влению", + "▁да вай", + "▁дав ай", + "pect ed", + "▁ближай ших", + "▁музыка льного", + "▁У а", + "зне ц", + "з нец", + "ар т", + "а рт", + "it o", + "i to", + "▁обнаружи вает", + "▁обнару живает", + "▁Ми ра", + "▁Мир а", + "▁Camb ridge", + "▁US B", + "▁нео грани", + "▁п рони", + "▁про ни", + "▁пр они", + "▁прон и", + "▁счаст лив", + "▁счастли в", + "el er", + "e ler", + "▁прошло й", + "▁прош лой", + "ва вшие", + "вав шие", + "см ер", + "сме р", + "с мер", + "▁подо йти", + "▁подой ти", + "▁L og", + "▁Lo g", + "В С", + "▁за блоки", + "▁Португа лии", + "▁З ву", + "▁уби тых", + "▁убит ых", + "▁убиты х", + "▁об мо", + "▁conv erted", + "▁conver ted", + "▁электроэнер гии", + "▁Kore a", + "▁недо ве", + "▁равно веси", + "▁равнове си", + "ce ived", + "ли стов", + "лист ов", + "лис тов", + "▁ком бини", + "▁con tained", + "▁cont ained", + "▁contain ed", + "▁но жом", + "▁нож ом", + "▁интерпре тации", + "▁деся тка", + "▁ле тчик", + "▁лет чик", + "▁ули цам", + "▁улица м", + "▁улиц ам", + "▁до шли", + "▁знако мые", + "▁знакомы е", + "▁музыка льный", + "▁Мат ве", + "▁продук цию", + "▁у ходить", + "▁уходит ь", + "▁ухо дить", + "▁уход ить", + "it ants", + "itan ts", + "cent ury", + "▁В полне", + "ra ck", + "rac k", + "r ack", + "▁Ша х", + "▁у су", + "▁ус у", + "ac ter", + "act er", + "▁продол жения", + "▁d uty", + "▁du ty", + "▁по ма", + "▁пом а", + "▁на родные", + "▁наро дные", + "▁народ ные", + "▁вступа ет", + "▁ре м", + "▁р ем", + "▁ рем", + "▁Ку ту", + "▁Ко му", + "▁Ком у", + "▁вра чом", + "▁врач ом", + "▁Ми ло", + "▁ис следовать", + "▁исследова ть", + "el ess", + "e less", + "bour ne", + "▁чи стого", + "▁чисто го", + "▁высо чай", + "▁v ir", + "▁добро во", + "▁доб рово", + "▁П лу", + "▁ба ро", + "▁бар о", + "▁Де парта", + "▁квадра тных", + "▁на брал", + "▁набра л", + "d o", + "▁ви ден", + "▁виде н", + "▁вид ен", + "▁gener ation", + "▁resist ance", + "▁возмо жны", + "▁Эдуар д", + "▁модерни зации", + "▁та ки", + "▁так и", + "▁ таки", + "▁по зор", + "▁поз ор", + "по вич", + "▁срав нение", + "▁коали ции", + "▁Ви ш", + "▁сыгра ли", + "▁сыграл и", + "чь ся", + "▁вы зова", + "▁вызо ва", + "▁вызов а", + "▁ро дом", + "▁род ом", + "▁родо м", + "▁ родом", + "▁итальян ского", + "▁под полковник", + "▁подполков ник", + "ён ок", + "ё нок", + "▁Хо ть", + "▁Lew is", + "в з", + "А вто", + "▁Ле ви", + "▁Лев и", + "▁способ ствовать", + "▁St one", + "со циаль", + "▁рас ход", + "▁расхо д", + "▁за просы", + "▁запро сы", + "▁запрос ы", + "до вской", + "дов ской", + "▁Min istry", + "ruct ure", + "▁Александ ром", + "▁Александр ом", + "▁возоб но", + "▁ри туаль", + "▁ритуа ль", + "et ts", + "ett s", + "запад ной", + "▁An ton", + "▁Ant on", + "▁Республи ка", + "▁про пу", + "▁Ю жно", + "▁визи та", + "▁визит а", + "▁str ateg", + "▁п ир", + "▁пи р", + "▁ак ционер", + "▁Ива новна", + "▁Иванов на", + "▁ак ты", + "▁акт ы", + "▁ass ault", + "▁accom pan", + "ли сты", + "лист ы", + "лис ты", + "▁ar med", + "▁arm ed", + "▁Ру зве", + "ac hel", + "ach el", + "ache l", + "▁A ri", + "▁Ar i", + "▁британ ских", + "▁под со", + "▁подс о", + "▁беспо ща", + "▁реда ктором", + "▁редак тором", + "▁редактор ом", + "▁cop ies", + "▁вы реза", + "▁кни гой", + "▁книг ой", + "▁расши рить", + "▁По нима", + "flib usta", + "▁Ру сского", + "▁Рус ского", + "ри тся", + "рит ся", + "р ится", + "▁эпо ха", + "▁мо щи", + "▁мощ и", + "▁Ма дри", + "▁пла ст", + "▁К ё", + "ско па", + "ск опа", + "скоп а", + "ти руя", + "тиру я", + "▁депута ты", + "▁депутат ы", + "▁соответ ствующим", + "▁соответству ющим", + "▁support ing", + "▁suppor ting", + "▁и рони", + "▁ир они", + "▁иро ни", + "ur ches", + "urch es", + "▁реши лся", + "▁решил ся", + "om ot", + "▁ле чении", + "▁ста рым", + "▁bro ken", + "▁br oken", + "▁broke n", + "▁употре бление", + "▁за долго", + "▁задол го", + "▁ве тери", + "▁ветер и", + "▁за ведений", + "▁заве дений", + "▁In it", + "▁ну жд", + "▁нуж д", + "▁побе дой", + "▁побед ой", + "( $", + "▁p up", + "▁Ch ris", + "дея тельности", + "В М", + "▁Dis ney", + "our ney", + "ourn ey", + "т к", + "▁патри оти", + "▁патрио ти", + "▁ау к", + "о в", + "▁сло жным", + "▁широ кую", + "▁импе рия", + "▁Зве зда", + "▁вой сках", + "▁войска х", + "d r", + "▁компью теров", + "▁компьютер ов", + "▁ло я", + "▁из дал", + "▁изда л", + "▁изд ал", + "▁Обла датель", + "▁Че хов", + "▁дли тельное", + "▁млад шего", + "▁Phil ip", + "▁возвы шен", + "де ре", + "дер е", + "д ере", + "▁авто но", + "▁но вость", + "▁ново сть", + "▁отказа лась", + "▁изда тельства", + "▁се кс", + "▁сек с", + "▁r ural", + "▁ru ral", + "▁вер ность", + "▁верно сть", + "▁па лом", + "▁пало м", + "▁пал ом", + "▁сторон ники", + "▁выбра ли", + "▁выбрал и", + "be ll", + "bel l", + "b ell", + "▁хозяй ств", + "▁reject ed", + "▁уче ники", + "▁ученик и", + "▁региона льных", + "▁регион альных", + "▁Рас стояние", + "▁раз ное", + "▁разно е", + "ни ческое", + "го вая", + "гов ая", + "гова я", + "ча ться", + "чать ся", + "▁K el", + "▁Ke l", + "▁f ram", + "▁fr am", + "▁постро или", + "▁построил и", + "▁Со вершенно", + "▁sign al", + "▁ка дра", + "▁кад ра", + "os ter", + "ost er", + "o ster", + "▁О стро", + "▁Ос тро", + "▁кафе дрой", + "▁с прос", + "▁спро с", + "▁ново рожден", + "▁Ю лия", + "▁Юли я", + "▁вы тека", + "▁От то", + "▁встре тили", + "▁встретил и", + "▁T am", + "▁устано вление", + "▁установ ление", + "▁пролета риата", + "▁обита ния", + "▁си лам", + "▁сил ам", + "▁сила м", + "▁эта пах", + "▁этапа х", + "▁то чность", + "▁точно сть", + "▁точ ность", + "▁бу й", + "надца того", + "▁предпо лагается", + "▁предполага ется", + "▁предполагает ся", + "до ступ", + "▁отде лении", + "▁отделе нии", + "▁пред води", + "he mat", + "hem at", + "▁нарко ма", + "▁нар кома", + "▁М ала", + "▁Ма ла", + "▁independ ence", + "лё в", + "л ёв", + "▁поги бло", + "▁погиб ло", + "▁Воро ши", + "ic ate", + "ica te", + "▁раз бу", + "▁П ье", + "aw n", + "a wn", + "▁до клады", + "▁докла ды", + "▁доклад ы", + "T R", + "нс и", + "н си", + "▁Га ври", + "▁отк лик", + "▁откли к", + "▁За коно", + "▁Зак оно", + "▁Закон о", + "шни е", + "ш ние", + "▁Де пута", + "▁с кле", + "▁ск ле", + "▁Запад ного", + "▁Запа дного", + "▁Да вы", + "▁тон кой", + "▁тонко й", + "▁глубо кие", + "▁пунк том", + "▁пункт ом", + "▁пунк те", + "▁пункт е", + "▁дей ств", + "ство вавших", + "ствова вших", + "О Т", + "▁оказыва ют", + "▁ока зывают", + "▁techn ical", + "▁до жида", + "▁дож ида", + "iv als", + "ival s", + "iva ls", + "▁за пер", + "▁запе р", + "пле н", + "п лен", + "▁исче зли", + "▁исчез ли", + "▁f resh", + "▁fre sh", + "▁fr esh", + "▁секре тар", + "▁секрета р", + "▁секрет ар", + "▁похо жа", + "▁похож а", + "▁опо зда", + "▁республи ке", + "▁республик е", + "▁угро жа", + "▁исклю чение", + "▁ле жали", + "▁лежа ли", + "▁лежал и", + "▁При зна", + "▁ми рного", + "▁мир ного", + "▁пря мое", + "▁прямо е", + "▁немец кими", + "▁немецким и", + "▁происхо ждении", + "▁эфи ре", + "▁эфир е", + "щее ся", + "▁принима ла", + "▁принимал а", + "▁опыт ный", + "▁опы тный", + "▁и ном", + "▁ин ом", + "▁ино м", + "▁On ly", + "▁ито г", + "пусти м", + "пус тим", + "▁принадле жность", + "▁Ники та", + "ви дные", + "вид ные", + "▁Красно яр", + "▁R aj", + "we ight", + "▁уда ления", + "▁S ee", + "▁Se e", + "ens ions", + "ension s", + "▁улыб кой", + "▁F orm", + "▁For m", + "▁Col or", + "▁Co lor", + "▁испыты вать", + "▁s ale", + "▁sal e", + "▁на три", + "▁н атри", + "▁очеред ного", + "▁Та и", + "se s", + "s es", + "пле т", + "п лет", + "▁Б уда", + "▁Бу да", + "▁Буд а", + "▁превра тилась", + "ро вав", + "ров ав", + "рова в", + "▁Ло у", + "▁лауре а", + "▁rank ed", + "av ig", + "▁ка пли", + "▁кап ли", + "▁архи в", + "▁арх ив", + "▁Tor onto", + "▁promot ion", + "зи рованный", + "зирова нный", + "зирован ный", + "ag an", + "aga n", + "a gan", + "▁lim it", + "▁на ходим", + "▁находи м", + "▁наход им", + "▁возможно стями", + "▁f ashion", + "ла с", + "л ас", + "▁пе чи", + "▁устра нить", + "el ine", + "e line", + "▁прого лосо", + "▁не пред", + "▁непре д", + "▁есте ственной", + "▁естественно й", + "▁quest ions", + "▁question s", + "▁а й", + "▁ ай", + "▁Де ка", + "▁Дек а", + "▁об щении", + "▁обще нии", + "▁продолжа лось", + "▁ба нке", + "▁бан ке", + "▁банк е", + "▁ка дры", + "▁кад ры", + "▁преду смотрен", + "▁предусмотре н", + "D S", + "▁мона ше", + "▁но чной", + "о фф", + "▁G irl", + "сле дует", + "следу ет", + "▁fre edom", + "▁free dom", + "▁шту к", + "▁служ б", + "хи я", + "▁жа лова", + "▁жало ва", + "▁сто имо", + "▁стои мо", + "▁полуо стро", + "▁разли чной", + "▁ныне шней", + "▁нынеш ней", + "не ру", + "нер у", + "н еру", + "▁Ф ила", + "▁Фи ла", + "▁chair man", + "з ки", + "t ical", + "▁ск вер", + "▁sh ell", + "▁she ll", + "▁shel l", + "y o", + "н цы", + "▁заблу ждение", + "▁индивиду альных", + "▁индивидуаль ных", + "▁l at", + "▁la t", + "▁со рат", + "▁сор ат", + "▁Крем ля", + "▁slight ly", + "▁но ва", + "▁нов а", + "▁ нова", + "▁фра кции", + "▁фрак ции", + "▁обще жи", + "▁кра сным", + "U N", + "▁Ин доне", + "▁Р э", + "зи да", + "з ида", + "▁разли чного", + "▁T H", + "▁Сиби рь", + "▁Сибир ь", + "▁S anta", + "▁San ta", + "▁Sant a", + "D R", + "em et", + "e met", + "▁Кра сную", + "▁реаль ном", + "▁реа льном", + "▁реально м", + "▁Ри о", + "▁слу жащих", + "▁служа щих", + "Р К", + "▁W ell", + "▁We ll", + "▁зри теля", + "ста вки", + "став ки", + "гл е", + "г ле", + "▁ди ско", + "▁дис ко", + "▁диск о", + "▁it ems", + "▁ent rance", + "▁Г им", + "▁Ги м", + "▁поддержи вают", + "▁environment al", + "com m", + "co mm", + "c omm", + "▁Ва ше", + "▁Ваш е", + "▁спро са", + "▁спрос а", + "▁запа сов", + "▁запас ов", + "▁да ром", + "▁дар ом", + "▁P sych", + "▁М еха", + "▁Ме ха", + "▁ph ase", + "▁кла ссу", + "▁класс у", + "▁администра ция", + "▁Богороди цы", + "по сле", + "н на", + "▁trans form", + "П П", + "▁tit les", + "▁title s", + "▁ле тчики", + "▁лет чики", + "▁летчик и", + "▁у стоя", + "▁мотива м", + "▁мотив ам", + "▁ки пе", + "▁ кипе", + "▁зем лев", + "▁земле в", + "▁адвока т", + "▁уничто жил", + "▁town s", + "▁напра вился", + "▁направил ся", + "▁de script", + "▁des cript", + "▁desc ript", + "▁ор на", + "ж ко", + "▁гра вита", + "▁грави та", + "▁владель цев", + "▁владе льцев", + "▁пользова ния", + "▁исследова ниях", + "▁исследования х", + "▁Дей ствие", + "▁Действи е", + "▁дре сси", + "▁У ай", + "▁Уа й", + "▁синх рони", + "▁жа лу", + "▁жал у", + "▁выда ющихся", + "▁пре следования", + "▁преследова ния", + "▁со пря", + "▁некото рого", + "▁b an", + "▁ ban", + "▁Ш ей", + "▁Ше й", + "▁из вне", + "▁госпо да", + "▁гос пода", + "▁господ а", + "Бе р", + "Б ер", + "▁экстре ми", + "ме рно", + "мер но", + "▁Север ном", + "ме л", + "ce ll", + "cel l", + "c ell", + "▁цен тру", + "▁центр у", + "▁Сталин у", + "▁Стали ну", + "ма га", + "▁персона жи", + "▁персонаж и", + "av er", + "ave r", + "a ver", + "▁К ва", + "▁H ard", + "▁Har d", + "▁Ha rd", + "il er", + "ile r", + "i ler", + "▁we ather", + "▁муж чину", + "▁мужчи ну", + "▁мужчин у", + "до во", + "дов о", + "▁пого ды", + "▁лето пи", + "▁bu y", + "▁доста вить", + "▁и менами", + "▁име нами", + "▁имена ми", + "▁ex clus", + "▁Вита лий", + "▁prof essor", + "▁profess or", + "▁По ложение", + "▁Поло жение", + "▁бо юсь", + "▁бою сь", + "жу сь", + "▁pro ceed", + "▁придума л", + "▁контак та", + "▁контакт а", + "▁международ ные", + "▁поли цию", + "▁за на", + "▁з ана", + "▁ зана", + "▁е дет", + "▁ед ет", + "▁B ad", + "▁Ba d", + "▁вы ши", + "▁проя вил", + "▁прояви л", + "▁дево чек", + "▁санти метров", + "▁пове ствования", + "▁с пя", + "ча тый", + "▁R et", + "▁Re t", + "▁о бой", + "▁об ой", + "▁обо й", + "▁гро зит", + "▁гроз ит", + "▁хими ческой", + "при з", + "пр из", + "ya rd", + "y ard", + "▁пи ва", + "▁п оси", + "▁по си", + "▁пос и", + "▁* /", + "▁v oc", + "▁vo c", + "▁Ху ан", + "▁ev ening", + "▁even ing", + "лейте нан", + "▁форте пи", + "▁отда вать", + "чи не", + "чин е", + "▁насе ленных", + "▁уме ют", + "бо ю", + "▁impro ved", + "▁improve d", + "▁уби ты", + "▁убит ы", + "▁посе щения", + "▁реда ктора", + "▁редак тора", + "▁редактор а", + "▁пла та", + "▁плат а", + "▁J ose", + "▁Jos e", + "▁Jo se", + "st ring", + "str ing", + "▁зарабо тной", + "ня ков", + "няк ов", + "h ttp", + "▁чу жих", + "▁Го ро", + "▁Гор о", + "▁int elligence", + "▁пом ните", + "▁помнит е", + "▁Г ин", + "▁Ги н", + "▁a ctor", + "▁act or", + "ur er", + "ure r", + "сти ческими", + "стическим и", + "стически ми", + "с тическими", + "ли зация", + "лиза ция", + "▁дет ские", + "▁на хождения", + "▁Ленинград ского", + "ком муни", + "комму ни", + "▁благо чести", + "м чу", + "то ле", + "тол е", + "т оле", + "▁по льских", + "▁поль ских", + "ти руют", + "тиру ют", + "▁су доро", + "▁судо ро", + "▁G et", + "▁Ge t", + "▁ Get", + "▁рас чета", + "▁расчет а", + "▁расче та", + "▁составля ющих", + "▁спу тников", + "▁спут ников", + "▁спутник ов", + "▁ч ье", + "▁чь е", + "▁ чье", + "▁положи тельные", + "▁вы пить", + "▁выпи ть", + "▁vol unte", + "▁бума гу", + "▁бумаг у", + "▁голо вной", + "▁голов ной", + "ком мен", + "▁Нидерлан дов", + "▁располага ются", + "▁Про то", + "▁со авто", + "▁су гу", + "▁эс мин", + "▁кре ста", + "▁крест а", + "▁при чу", + "▁ору дие", + "па м", + "п ам", + "▁Ф СБ", + "ag en", + "age n", + "a gen", + "▁P lan", + "▁Pl an", + "▁Се кре", + "▁Сек ре", + "▁Су ть", + "▁футбо л", + "▁фут бол", + "▁На ру", + "▁Нар у", + "▁w inner", + "▁win ner", + "▁cap ture", + "▁capt ure", + "лет нюю", + "треть их", + "▁позво лила", + "▁позволи ла", + "▁позволил а", + "▁находя щиеся", + "эн а", + "э на", + "▁мет рах", + "▁метра х", + "▁свиде тельству", + "▁свидетель ству", + "▁свидетельств у", + "у бий", + "▁Ch annel", + "▁созда вая", + "▁Центра льный", + "▁Центр альный", + "▁в слух", + "ст ят", + "стя т", + "с тят", + "▁да ется", + "▁дает ся", + "▁altern ative", + "▁An ne", + "▁Ann e", + "▁inst alled", + "▁install ed", + "▁содержи мое", + "▁R oss", + "▁Ros s", + "▁Ro ss", + "жи ми", + "жим и", + "ж ими", + "▁со сла", + "▁сос ла", + "▁дер жав", + "▁держа в", + "▁уче ным", + "▁do ct", + "▁doc t", + "бр ю", + "б рю", + "▁до зво", + "▁Дру гая", + "З А", + "▁Но вое", + "▁Ново е", + "▁Нов ое", + "▁сдела в", + "▁сде лав", + "▁сдел ав", + "ль мо", + "льм о", + "зо вой", + "зов ой", + "ся га", + "▁Су б", + "▁l ect", + "▁le ct", + "▁ lect", + "зи ться", + "зить ся", + "▁ссы лку", + "in tend", + "int end", + "кори чне", + "ха нов", + "хан ов", + "по лага", + "▁Кирил л", + "▁Кир илл", + "▁Кири лл", + "хо та", + "хот а", + "▁ну жным", + "▁нуж ным", + "▁нужны м", + "▁у пала", + "▁упа ла", + "▁упал а", + "▁caus es", + "▁cause s", + "вобо ди", + "▁ло жка", + "▁упраж нение", + "▁ч ин", + "▁чи н", + "▁ чин", + "▁по стов", + "▁пос тов", + "▁пост ов", + "▁Пу ть", + "▁crim inal", + "▁мо тив", + "ра ж", + "▁за куп", + "▁заку п", + "▁возможно го", + "▁возмо жного", + "▁у рок", + "▁уро к", + "▁пы таться", + "▁пыта ться", + "▁ку куру", + "ie l", + "i el", + "▁дости га", + "▁достиг а", + "▁У вы", + "▁C ur", + "зи ровал", + "зирова л", + "шка м", + "ш кам", + "▁торже ственно", + "ло р", + "л ор", + "▁кры лья", + "▁крыль я", + "▁внутрен няя", + "▁По лков", + "▁Пол ков", + "▁vis ual", + "rest ling", + "ло жите", + "ложи те", + "▁im ages", + "▁image s", + "▁imag es", + "▁гря зи", + "▁гряз и", + "▁харак теру", + "▁характер у", + "▁характер ные", + "▁характерны е", + "тран спорт", + "▁Кня зь", + "ров ень", + "▁противоре чит", + "▁противоречи т", + "ль ские", + "▁architect ure", + "▁ва жности", + "▁важ ности", + "▁важно сти", + "enn is", + "▁посвя тил", + "▁над лежа", + "▁надле жа", + "▁В ид", + "▁Ви д", + "▁пере клю", + "▁G ree", + "▁Gr ee", + "▁Gre e", + "▁Ц СКА", + "S e", + "U T", + "гг ер", + "г гер", + "▁c old", + "▁col d", + "▁co ld", + "▁добро совест", + "▁из ложен", + "▁фотографи й", + "▁W rit", + "ме то", + "мет о", + "▁ле нты", + "▁л енты", + "▁лен ты", + "кото рое", + "▁Г ЭС", + "▁гипоте зы", + "К ни", + "▁ро зни", + "▁роз ни", + "▁возможно е", + "▁возмо жное", + "▁ата ковать", + "▁h ear", + "▁he ar", + "▁Mr s", + "▁по ходе", + "▁похо де", + "▁поход е", + "▁напом нил", + "▁cons isted", + "▁consist ed", + "▁mer ch", + "▁окру жение", + "▁обсу дить", + "▁пере ска", + "▁перес ка", + "▁Вильгель м", + "▁Г ДР", + "▁t rip", + "▁tr ip", + "▁tri p", + "▁Б она", + "▁Бо на", + "▁Бон а", + "▁стра нным", + "▁стран ным", + "ти ровала", + "тирова ла", + "тировал а", + "то лько", + "▁Д ен", + "▁Де н", + "▁де са", + "▁соста ву", + "▁состав у", + "▁ar ts", + "▁art s", + "те и", + "▁пу та", + "▁пут а", + "▁ пута", + "▁c ore", + "▁co re", + "▁cor e", + "▁извест ное", + "▁известно е", + "▁изве стное", + "het ic", + "h etic", + "▁а сфаль", + "▁жи телями", + "▁жителя ми", + "▁жителям и", + "▁А вра", + "▁Ав ра", + "▁Име ет", + "h o", + "▁д вою", + "▁дво ю", + "дей ствие", + "▁запа дное", + "▁запад ное", + "▁м ера", + "▁ме ра", + "▁мер а", + "▁ мера", + "==== ====", + "▁ты л", + "▁ми ровую", + "▁миро вую", + "▁миров ую", + "ЕН ИЯ", + "ЕНИ Я", + "▁рит м", + "▁карти нки", + "▁картин ки", + "▁гра фик", + "▁графи к", + "olog ies", + "▁выра жением", + "▁выражение м", + "▁g ets", + "▁get s", + "▁ge ts", + "▁испыты вал", + "▁s udden", + "▁Р ос", + "▁Ро с", + "▁m ent", + "▁me nt", + "▁men t", + "▁ ment", + "▁гене ри", + "А т", + "▁D aily", + "▁Christ mas", + "▁Э нд", + "▁Эн д", + "л з", + "▁Ли тера", + "▁Лит ера", + "▁посла ть", + "▁ва жны", + "▁важ ны", + "▁прото кола", + "▁протокол а", + "▁H art", + "▁Har t", + "▁сло бо", + "▁сл обо", + "▁конфлик ты", + "▁конфликт ы", + "▁В ай", + "▁Ва й", + "▁B ang", + "▁Ba ng", + "▁Бли жай", + "▁Ближ ай", + "▁I BM", + "ни чать", + "▁санк ций", + "▁называ лся", + "▁называл ся", + "▁B ishop", + "▁побы вал", + "▁пере ехала", + "▁переехал а", + "▁культур но", + "ach us", + "▁па спорт", + "▁пас порт", + "▁корпу се", + "▁корпус е", + "▁от носят", + "▁отно сят", + "▁относя т", + "▁эле ментом", + "▁элемент ом", + "▁по чи", + "▁поч и", + "▁исклю чено", + "ock et", + "пы тно", + "пыт но", + "▁коро лем", + "▁короле м", + "▁совер шает", + "▁соверша ет", + "▁води теля", + "▁рас шиф", + "▁расши ф", + "cript ion", + "▁v ari", + "▁var i", + "▁cont rolled", + "▁control led", + "▁по льский", + "▁поль ский", + "▁паци ент", + "▁пациен т", + "▁стреми ться", + "▁англий ским", + "▁M arg", + "▁Mar g", + "▁пред ложением", + "▁предложение м", + "▁предложе нием", + "ша йте", + "шай те", + "▁Подоб но", + "Ч а", + "▁A N", + "▁ AN", + "▁Ва сили", + "▁Васи ли", + "▁Вас или", + "▁ме трополи", + "▁метро поли", + "▁S ix", + "▁Si x", + "▁Украи нской", + "▁Украин ской", + "▁ра стор", + "▁рас тор", + "▁расто р", + "▁раст ор", + "▁авиаком пании", + "▁само лете", + "▁самоле те", + "▁самолет е", + "▁у смотре", + "восто чной", + "вос точной", + "▁авиа ционный", + "зи ла", + "зил а", + "з ила", + "▁трак тов", + "pe s", + "p es", + "▁s ole", + "▁so le", + "▁sol e", + "▁ sole", + "бр у", + "б ру", + "▁Ste ve", + "▁C ode", + "▁Co de", + "▁Э ффек", + "▁окру гов", + "▁округ ов", + "шта дт", + "▁запа дные", + "▁запад ные", + "▁близ ким", + "▁близки м", + "▁х е", + "▁ хе", + "▁хо ле", + "▁х оле", + "▁хол е", + "▁молоде жь", + "▁высо кими", + "▁высоким и", + "▁ак тивного", + "▁актив ного", + "▁активно го", + "▁до ски", + "се ти", + "сет и", + "с ети", + "▁Ф рэ", + "at ab", + "ata b", + "▁dis miss", + "▁Елиза вета", + "▁над ле", + "▁ надле", + "▁bo ys", + "▁boy s", + "▁Тимо фе", + "▁А ни", + "▁Ан и", + "▁ко з", + "▁к оз", + "▁О не", + "▁Он е", + "▁ро дного", + "▁род ного", + "▁ родного", + "ol ec", + "ole c", + "▁люби мой", + "▁любим ой", + "▁по та", + "▁sk ills", + "▁президен ту", + "▁президент у", + "▁офи с", + "▁оф ис", + "▁взгля нуть", + "▁фрон тах", + "▁фронта х", + "▁Вер нувшись", + "▁ш ума", + "▁шу ма", + "▁шум а", + "▁рекла ма", + "▁реклам а", + "▁рек лама", + "▁на чи", + "▁нач и", + "▁свобо дный", + "▁свобод ный", + "ad ow", + "ado w", + "▁аэропор ту", + "▁аэропорт у", + "▁ ща", + "ва теля", + "▁завер шил", + "▁заверши л", + "▁Comm unity", + "▁Commun ity", + "▁д ань", + "▁да нь", + "▁дан ь", + "▁Man agement", + "дс кого", + "д ского", + "▁m outh", + "со вая", + "сов ая", + "сова я", + "▁ово щи", + "До н", + "Д он", + "ро йте", + "рой те", + "эт и", + "э ти", + "▁Р ю", + "▁за пя", + "▁кам панию", + "же чь", + "▁кор зи", + "▁се сть", + "▁женщи нами", + "▁женщина ми", + "▁женщинам и", + "▁ладо ни", + "▁лицен зии", + "рус ски", + "тар кти", + "▁слу шал", + "▁слуша л", + "▁про свет", + "▁прос вет", + "▁просве т", + "▁знамени той", + "▁ка дро", + "▁кад ро", + "▁Con stitution", + "▁с конча", + "▁скон ча", + "ic ians", + "ician s", + "Ра с", + "Р ас", + "▁ос пари", + "ста би", + "ar en", + "are n", + "a ren", + "▁хозя ев", + "▁Рус ская", + "inc oln", + "▁предпочита ют", + "▁l ov", + "▁lo v", + "форма ции", + "форм ации", + "▁char ges", + "▁charg es", + "▁charge s", + "▁же мчу", + "▁нач нут", + "▁эк спор", + "▁экс пор", + "▁экспо р", + "▁с лю", + "▁сл ю", + "▁возбу ждения", + "▁сте нки", + "▁стен ки", + "▁опублико вана", + "▁опубликова на", + "▁опубликован а", + "▁вы но", + "▁жи тель", + "▁се лек", + "▁селе к", + "▁сел ек", + "▁жи вем", + "▁жив ем", + "▁Послед няя", + "▁гармо нии", + "▁гармони и", + "▁S av", + "▁Sa v", + "br a", + "b ra", + "ху ю", + "х ую", + "▁m el", + "▁me l", + "▁до ска", + "hip s", + "hi ps", + "h ips", + "▁Коми тет", + "▁при ключения", + "▁приклю чения", + "▁Те ло", + "▁юно ша", + "▁З ев", + "▁Зе в", + "▁иерархи и", + "▁гор ло", + "▁рее стра", + "▁Е два", + "ess ions", + "ession s", + "▁об особ", + "▁обо соб", + "▁ch ose", + "▁cho se", + "▁запа дном", + "▁запад ном", + "лена пра", + "Е ди", + "E P", + "▁Ка спи", + "че ско", + "▁да вала", + "▁дав ала", + "▁давал а", + "▁оста вля", + "▁нача льной", + "▁началь ной", + "▁нач альной", + "▁С кончался", + "▁thous ands", + "▁thousand s", + "▁национа льную", + "▁acc ur", + "▁мону мента", + "▁окраи не", + "▁expl ained", + "▁Fre der", + "▁Fred er", + "▁же нских", + "▁жен ских", + "ча ло", + "чал о", + "os l", + "o sl", + "▁пусты не", + "▁мудро сть", + "пла тель", + "▁w ounded", + "са ть", + "▁ми фа", + "▁миф а", + "▁стре лять", + "▁откры тии", + "▁ша га", + "▁шаг а", + "▁сло жность", + "▁сложно сть", + "▁recogn ition", + "▁м ни", + "▁мн и", + "▁ско пи", + "▁ скопи", + "че стер", + "▁молеку лы", + "▁молекул ы", + "эк с", + "э кс", + "F or", + "▁Ab b", + "▁молеку ляр", + "▁молекул яр", + "▁положи тельно", + "▁S on", + "▁So n", + "▁Васи лье", + "▁Василь е", + "строе ны", + "строен ы", + "▁т емой", + "▁те мой", + "▁тем ой", + "▁П ин", + "▁Пи н", + "ди г", + "▁в падает", + "▁впа дает", + "▁впада ет", + "ст аль", + "ста ль", + "стал ь", + "с таль", + "▁при ведены", + "▁приведен ы", + "▁вдох нов", + "до бие", + "доби е", + "▁Prof essor", + "▁establ ishment", + "▁establish ment", + "фа нта", + "фан та", + "ф анта", + "▁скло нны", + "▁поддерж ал", + "▁поддержа л", + "- \"", + "▁э кономии", + "▁экономи и", + "▁partn ership", + "▁partner ship", + "▁неу довлет", + "che stra", + "ches tra", + "▁В А", + "▁ ВА", + "▁stand ards", + "▁standard s", + "▁по льской", + "▁поль ской", + "▁упомина ние", + "▁немец ко", + "▁стро ится", + "▁строи тся", + "▁конфигура ции", + "Ч у", + "ly n", + "l yn", + "▁ро дном", + "▁род ном", + "pos es", + "pose s", + "po ses", + "▁ду мала", + "▁дума ла", + "▁думал а", + "эр а", + "э ра", + "▁парт нё", + "▁закон чить", + "▁закончи ть", + "не ниями", + "нения ми", + "▁симво лы", + "▁символ ы", + "emet ery", + "igh th", + "ight h", + "▁b udget", + "▁C as", + "▁Ca s", + "▁ка тор", + "▁като р", + "▁пе шком", + "▁проник нуть", + "▁прони кнуть", + "▁An th", + "▁Ant h", + "▁о ду", + "▁од у", + "▁сте пи", + "▁степ и", + "образ ных", + "▁охва тывает", + "▁охваты вает", + "▁под ключения", + "▁подклю чения", + "▁Алексе ев", + "▁королев ской", + "▁короле вской", + "че нно", + "чен но", + "ч енно", + "▁психи атри", + "] )", + "▁за писал", + "▁запи сал", + "▁записа л", + "▁взя в", + "▁соци ологи", + "▁императри цы", + "▁упра влен", + "▁се пара", + "▁ис кали", + "▁иска ли", + "▁иск али", + "▁искал и", + "▁металлу рги", + "вол нова", + "▁co oper", + "жа ния", + "▁тысяче летия", + "▁име лось", + "▁имело сь", + "грам ми", + "грамм и", + "▁Techn ology", + "▁бли зок", + "▁близ ок", + "га ны", + "ган ы", + "шед шего", + "▁bene f", + "▁вза мен", + "Во л", + "В ол", + "▁circ um", + "▁прокура туры", + "се ры", + "сер ы", + "с еры", + "▁ле вую", + "ri ne", + "r ine", + "конферен ции", + "во ци", + "▁пото ков", + "▁поток ов", + "га т", + "г ат", + "▁Ар мия", + "ма к", + "м ак", + "▁жела л", + "▁жел ал", + "▁пробле мати", + "▁проблема ти", + "▁Поро шенко", + "▁су ду", + "▁суд у", + "▁n ote", + "▁not e", + "▁no te", + "▁доку менте", + "▁документ е", + "ter m", + "te rm", + "t erm", + "▁столе тий", + "▁зи мы", + "▁зим ы", + "▁Са ша", + "en na", + "enn a", + "ва лы", + "вал ы", + "в алы", + "▁Ма лой", + "▁Мало й", + "▁психи ки", + "▁рас твор", + "▁раство р", + "▁раст вор", + "▁мор фо", + "▁на страи", + "▁у том", + "▁уто м", + "▁ут ом", + "▁Пред ставьте", + "▁Предста вьте", + "▁l es", + "▁le s", + "▁ les", + "▁балан с", + "на йтед", + "лю бо", + "люб о", + "▁винов ат", + "▁винова т", + "▁стра дает", + "▁страда ет", + "▁H arry", + "▁Har ry", + "ze r", + "z er", + "▁экра ни", + "▁экран и", + "y r", + "▁Ра фа", + "▁inter ests", + "▁interest s", + "Ми р", + "М ир", + "▁H oly", + "▁Hol y", + "▁Ho ly", + "▁пале о", + "▁при казом", + "▁прика зом", + "▁приказ ом", + "ну тых", + "нут ых", + "нуты х", + "▁би лет", + "▁желез ная", + "ac c", + "a cc", + "сен ко", + "с енко", + "▁кисло род", + "▁призна ли", + "▁приз нали", + "▁признал и", + "▁бере гах", + "▁берега х", + "▁Кана де", + "▁дополни тельный", + "▁Д зер", + "▁эта пов", + "▁этап ов", + "▁враже ских", + "▁про яс", + "▁проя с", + "▁follow s", + "▁напомина ют", + "▁У чился", + "▁Учи лся", + "▁Уч ился", + "зе ро", + "зер о", + "ъем ле", + "ъ емле", + "▁воз лага", + "▁prom ote", + "▁promot e", + "ло гию", + "логи ю", + "▁авиа ция", + "▁право вой", + "ян а", + "я на", + "лё нный", + "лён ный", + "л ённый", + "▁раз вра", + "▁Са мым", + "▁K im", + "▁физи ческое", + "▁Полу чив", + "▁млекопита ющих", + "▁ду бли", + "▁ob tain", + "▁vol ume", + "▁дер жаться", + "▁держа ться", + "▁держать ся", + "▁Dav is", + "▁неу дачи", + "▁неуда чи", + "анг лий", + "▁раз ду", + "▁о стано", + "▁ос тано", + "▁оста но", + "▁ост ано", + "кла сси", + "класс и", + "▁от мени", + "▁отме ни", + "gen cy", + "g ency", + "▁почув ствовать", + "▁от реза", + "▁отре за", + "▁отрез а", + "▁ищу т", + "град ской", + "▁ру га", + "ле ли", + "лел и", + "▁ва ре", + "▁вар е", + "▁разы гры", + "▁п ьян", + "▁пья н", + "▁пь ян", + "▁но гой", + "▁ног ой", + "▁ного й", + "▁соста влять", + "▁состав лять", + "▁составля ть", + "ia te", + "iat e", + "i ate", + "▁в ин", + "▁ви н", + "▁ вин", + "ле нном", + "лен ном", + "ленно м", + "▁опо зна", + "ме ном", + "мен ом", + "▁выпла ты", + "▁закры т", + "▁вы страи", + "▁сле по", + "▁трам вай", + "▁владе ет", + "oc ker", + "ock er", + "▁из вра", + "▁пе сок", + "▁пес ок", + "▁Ar gent", + "▁д жу", + "▁ джу", + "An d", + "A nd", + "▁космо са", + "▁космос а", + "ко ен", + "кое н", + "D C", + "ке нт", + "кен т", + "к ент", + "▁сло жная", + "▁B ru", + "▁Br u", + "▁о гур", + "▁ог ур", + "▁ди сло", + "▁дис ло", + "▁ну жные", + "▁нуж ные", + "▁нужны е", + "U M", + "▁инду стрии", + "▁индустри и", + "ли нской", + "лин ской", + "it zer", + "itz er", + "▁недоста тков", + "▁a st", + "▁as t", + "▁ ast", + "сист емы", + "систе мы", + "▁с оз", + "▁со з", + "▁согласи лись", + "▁ш ну", + "▁Сов сем", + "▁ли шен", + "▁лиш ен", + "▁социаль ный", + "▁соци альный", + "li fe", + "l ife", + "ка зывает", + "казыва ет", + "▁еже меся", + "▁не лов", + "▁француз ским", + "▁ощу ти", + "▁re ign", + "▁делега ции", + "б би", + "▁Ви теб", + "▁L ind", + "▁Li nd", + "▁перио де", + "▁период е", + "▁R en", + "▁Re n", + "▁англий ские", + "шо у", + "ка ло", + "кал о", + "▁G il", + "▁Gi l", + "▁Со циаль", + "▁продолжа лась", + "▁продолжала сь", + "▁про ведены", + "▁проведе ны", + "▁проведен ы", + "▁степень ю", + "▁степ енью", + "▁ю мо", + "▁вы клю", + "▁бы тие", + "▁Сол женицы", + "▁Т ен", + "▁Те н", + "▁сме нил", + "▁смени л", + "▁фестива ль", + "▁холо д", + "▁хол од", + "то вую", + "тов ую", + "▁экономи ку", + "мно го", + "м ного", + "▁И склю", + "▁Ис клю", + "▁P ope", + "▁Po pe", + "▁Pop e", + "▁H o", + "чи вым", + "▁was n", + "▁рыбо лов", + "▁выда ющиеся", + "▁И горя", + "▁интере сный", + "▁интерес ный", + "olog ist", + "▁молеку л", + "▁d ry", + "▁dr y", + "ке ров", + "кер ов", + "▁re ady", + "▁read y", + "▁ ready", + "▁располага лись", + "▁бы стры", + "▁быст ры", + "▁на зываться", + "▁называ ться", + "▁называть ся", + "▁B ir", + "▁Bi r", + "ла сти", + "лас ти", + "▁просмо тра", + "▁кур сов", + "▁курс ов", + "am in", + "ami n", + "a min", + "▁ра сы", + "▁рас ы", + "ши ну", + "шин у", + "▁и знача", + "▁из нача", + "▁изна ча", + "▁даль нейших", + "▁дальней ших", + "юр ы", + "ю ры", + "▁По хоже", + "▁разговари вать", + "E n", + "▁оста вляя", + "▁оставля я", + "▁B alt", + "▁Bal t", + "▁Слу ж", + "▁против нику", + "▁противник у", + "▁глу пы", + "▁подрост ков", + "лет ним", + "▁N ether", + "▁Ne ther", + "▁Net her", + "▁бесе ду", + "Пе т", + "П ет", + "▁lo an", + "▁фи льтра", + "▁филь тра", + "▁сту дент", + "▁студен т", + "▁влия ют", + "▁\" \"", + "гну в", + "г нув", + "▁пар тией", + "▁парти ей", + "▁Попро бу", + "▁бро дя", + "шни к", + "ш ник", + "▁ры цар", + "▁рыца р", + "▁на пр", + "n ight", + "▁популяр ности", + "▁за грани", + "▁загра ни", + "▁неко его", + "▁некое го", + "▁сред нюю", + "wh ere", + "w here", + "ши тся", + "шит ся", + "ш ится", + "▁spec ifically", + "▁specific ally", + "го вого", + "гово го", + "▁Вален тина", + "▁Валентин а", + "▁литера туро", + "▁литератур о", + "▁Ар кти", + "▁изме рений", + "▁тер петь", + "▁терпе ть", + "▁преобла да", + "▁раз гля", + "хла д", + "х лад", + "▁уди вление", + "▁in stitution", + "▁instit ution", + "▁обсу ждать", + "▁обсужда ть", + "▁опас ных", + "▁опа сных", + "▁консерва тории", + "▁ред ких", + "▁employ ees", + "▁бо яр", + "▁боя р", + "pa t", + "p at", + "Жи з", + "Ж из", + "▁ви дение", + "▁виде ние", + "▁ видение", + "ect or", + "e ctor", + "ivers ary", + "▁поли тикой", + "▁полити кой", + "▁политик ой", + "́ в", + "мо гу", + "▁ва кан", + "▁вак ан", + "щи кам", + "щик ам", + "щика м", + "▁G reg", + "▁Gre g", + "▁r uled", + "▁rul ed", + "▁ru led", + "▁rule d", + "▁ги бри", + "▁гиб ри", + "▁пере дали", + "▁перед али", + "▁переда ли", + "▁передал и", + "▁п еть", + "▁пе ть", + "▁пет ь", + "▁ петь", + "▁розы гры", + "Го р", + "Г ор", + "▁По ве", + "▁ба шня", + "▁баш ня", + "▁социаль ная", + "▁соци альная", + "▁четвер тый", + "▁не сло", + "▁нес ло", + "▁ несло", + "▁Ф ро", + "▁начина ли", + "▁начинал и", + "▁начи нали", + "ma d", + "m ad", + "▁le gend", + "▁leg end", + "or ney", + "orn ey", + "ссам бле", + "▁эта ж", + "▁паро ход", + "▁призна ется", + "▁признает ся", + "▁сро ком", + "▁срок ом", + "▁О ренбург", + "▁S om", + "▁So m", + "▁яй цо", + "▁пода льше", + "▁о ф", + "▁клу бы", + "▁клуб ы", + "▁W W", + "▁глубо кого", + "▁глубоко го", + "▁прис ваи", + "▁с тена", + "▁ст ена", + "▁сте на", + "▁стен а", + "▁в клады", + "▁вклад ы", + "▁вкла ды", + "▁по лете", + "▁пол ете", + "▁поле те", + "▁полет е", + "▁наслед ство", + "▁С эм", + "▁Сэ м", + "!) ,", + "! ),", + "▁P ass", + "▁комму ны", + "▁общепри ня", + "▁Г О", + "▁ ГО", + "▁writ ers", + "▁writer s", + "▁d ipl", + "▁di pl", + "▁устанавли вать", + "▁европей ского", + "ле тие", + "▁за жига", + "▁зажи га", + "▁ле тать", + "▁лета ть", + "▁Кра сная", + "▁A h", + "▁да нную", + "▁дан ную", + "▁П ас", + "▁Па с", + "▁способ ных", + "▁способны х", + "▁выступа я", + "▁выступ ая", + "▁буржуа зии", + "val ue", + "▁Не кра", + "▁Нек ра", + "ъю нк", + "оло ка", + "о лока", + "▁вы слу", + "▁выс лу", + "▁E very", + "▁Ev ery", + "▁кол хоза", + "▁колхо за", + "▁колхоз а", + "▁фак том", + "▁факт ом", + "▁ма ну", + "▁ ману", + "▁Не а", + "▁написа н", + "▁напи сан", + "фо нов", + "фон ов", + "ф онов", + "жник а", + "ж ника", + "▁вла стям", + "▁п рит", + "▁при т", + "▁пр ит", + "пла не", + "план е", + "▁про жил", + "▁прожи л", + "▁оста льным", + "▁ост альным", + "▁фу тов", + "▁фут ов", + "▁аэрод рома", + "▁аэродром а", + "▁аэродро ма", + "ни а", + "ow nt", + "own t", + "▁при ступил", + "▁стади оне", + "▁стадион е", + "ча к", + "ч ак", + "ря ми", + "р ями", + "▁ле сной", + "▁лес ной", + "▁подроб нее", + "▁коро лева", + "▁королев а", + "▁короле ва", + "цки м", + "ц ким", + "▁аре ст", + "▁ро лях", + "▁инте нси", + "▁интен си", + "ды й", + "▁Ман дель", + "▁s afe", + "▁saf e", + "▁выделя ют", + "▁выде ляют", + "io t", + "i ot", + "go ing", + "▁ра ка", + "▁р ака", + "▁рак а", + "▁ рака", + "▁хра нятся", + "▁дож дя", + "зе ме", + "зем е", + "▁poss ibly", + "до вое", + "дов ое", + "дово е", + "▁та бу", + "▁француз ском", + "ure au", + "▁се мена", + "▁сем ена", + "▁семе на", + "▁цивили зация", + "▁a x", + "▁ ax", + "▁П руссии", + "▁Пру ссии", + "▁та ков", + "▁так ов", + "▁пого ду", + "▁кли мат", + "▁клима т", + "▁E arl", + "▁Ear l", + "▁exp ression", + "▁express ion", + "▁за груз", + "▁загру з", + "▁under standing", + "▁understand ing", + "▁У эль", + "▁Уэ ль", + "▁подписа н", + "▁подпи сан", + "▁ин тернациона", + "▁интер национа", + ", [", + "▁N ick", + "▁Nic k", + "▁re ality", + "▁real ity", + "▁комплек сов", + "▁комплекс ов", + "м ли", + "▁cast le", + "▁cas tle", + "▁де ление", + "▁деле ние", + "▁ деление", + "▁ed ge", + "▁г ры", + "▁гр ы", + "▁ гры", + "▁маль чиков", + "▁мальчик ов", + "▁мальчи ков", + "▁А ба", + "▁Аб а", + "▁ва жная", + "▁важ ная", + "▁важна я", + "▁temper ature", + "▁бе седа", + "▁бесе да", + "пе ред", + "пер ед", + "пере д", + "▁фраг менты", + "▁фрагмент ы", + "ep er", + "e per", + "ic ide", + "▁M ic", + "▁пору чил", + "▁под ходят", + "▁подход ят", + "▁подходя т", + "▁max imum", + "▁удовлет ворение", + "▁удовлетво рение", + "▁д лине", + "▁дли не", + "▁длин е", + "ul ty", + "ult y", + "iv ered", + "ive red", + "iver ed", + "▁пар ня", + "▁неме цком", + "▁немец ком", + "▁немецко м", + "▁Кор ни", + "▁r ich", + "▁ri ch", + "▁ rich", + "▁S et", + "▁Se t", + "▁ини ции", + "▁за бот", + "▁забо т", + "▁заб от", + "▁па виль", + "▁Mean while", + "▁ситуа цией", + "▁у ют", + "при меча", + "▁Та бли", + "▁на шёл", + "▁наш ёл", + "▁Ле чение", + "▁необходи мого", + "▁необходимо го", + "У Н", + "▁у ходя", + "▁ухо дя", + "▁уход я", + "iv a", + "i va", + "▁тай ной", + "▁тайно й", + "▁сай тов", + "▁сайт ов", + "ot ten", + "ott en", + "▁религиоз ного", + "▁neighbor hood", + "▁дол гих", + "▁долг их", + "ве на", + "вен а", + "в ена", + "▁христи а", + "▁н ью", + "▁ нью", + "▁Все х", + "an na", + "ann a", + "то кси", + "ток си", + "▁Р ек", + "▁Ре к", + "▁Ки евской", + "▁Киев ской", + "▁F ront", + "▁счита лись", + "▁считали сь", + "об ъек", + "́ ние", + "▁per fect", + "но вна", + "нов на", + "▁исчер пы", + "▁нару шением", + "▁нарушение м", + "▁вы ступила", + "▁выступил а", + "▁выступ ила", + "дор ф", + "▁e g", + "at ures", + "ature s", + "atur es", + "гу а", + "г уа", + "▁при нялся", + "▁приня лся", + "▁принял ся", + "▁промышлен ного", + "▁Му зе", + "▁А О", + "▁ АО", + "O L", + "▁я вилось", + "вле нными", + "влен ными", + "вленным и", + "в ленными", + "▁R oll", + "▁Ro ll", + "▁по вели", + "▁пове ли", + "▁И З", + "▁ ИЗ", + "ст ке", + "с тке", + "▁холо дно", + "▁хол одно", + "▁холод но", + "le ts", + "let s", + "l ets", + "▁О бя", + "▁Об я", + "▁тран сли", + "▁транс ли", + "▁Рабо ты", + "▁L incoln", + "▁отра жения", + "▁c lin", + "▁cl in", + "▁доб рые", + "▁oppos ite", + "▁кана лы", + "▁кан алы", + "▁канал ы", + "▁полу чении", + "во ем", + "вое м", + "▁Д я", + "▁еги п", + "▁в рожден", + "▁получи вший", + "▁получив ший", + "ну той", + "нут ой", + "▁пострада вших", + "▁Ал тай", + "▁Be ach", + "▁Viet nam", + "▁хра мов", + "▁храм ов", + "▁спо ров", + "▁спор ов", + "▁Пер вого", + "▁Перво го", + "▁осве щения", + "▁про ше", + "▁прош е", + "▁рас ще", + "Al l", + "A ll", + "▁З дание", + "▁на стро", + "▁нас тро", + "▁fl u", + "▁держа вы", + "▁держав ы", + "▁х ар", + "▁ха р", + "▁ хар", + "▁пото ки", + "▁поток и", + "▁ш ёл", + "▁ шёл", + "▁S em", + "▁Se m", + "▁в ступили", + "▁вступил и", + "▁вступи ли", + "▁вступ или", + "▁слабо сти", + "▁рассказыва ли", + "▁рассказывал и", + "▁рассказы вали", + "▁ro oms", + "▁room s", + "▁Brig ade", + "▁purch ase", + "об у", + "о бу", + "▁B all", + "▁Bal l", + "▁Ba ll", + "▁о том", + "▁от ом", + "▁ото м", + "▁Э лиза", + "▁Эли за", + "▁проце дура", + "▁процеду ра", + "тка м", + "тк ам", + "т кам", + "▁бога тый", + "▁богаты й", + "▁не способ", + "▁Х ро", + "▁дви жению", + "он о", + "о но", + "▁це нные", + "▁цен ные", + "▁пригла шение", + "▁т ун", + "▁ту н", + "▁о ро", + "▁ор о", + "▁улуч шение", + "▁Уче ные", + "▁c atch", + "▁cat ch", + "пла н", + "п лан", + "▁веду щие", + "жда ются", + "ждают ся", + "▁моду ля", + "▁вклю чён", + "▁красо ту", + "▁experience d", + "▁experien ced", + "▁вы дать", + "▁выда ть", + "▁does n", + "М П", + "▁ва жна", + "▁важ на", + "▁бе лыми", + "▁белым и", + "▁необходи мую", + "▁необходим ую", + "ком па", + "▁com mitted", + "▁commit ted", + "▁выну ждена", + "▁вынужден а", + "▁cerem ony", + "▁С цена", + "al ty", + "alt y", + "чи ва", + "чив а", + "▁го во", + "▁ гово", + "▁до ставки", + "▁доста вки", + "▁тан ковых", + "▁танков ых", + "▁митрополи т", + "▁митропо лит", + "▁бо ятся", + "▁боя тся", + "ни ческим", + "ль ностью", + "льно стью", + "льность ю", + "▁Г А", + "▁ ГА", + "en nes", + "enn es", + "▁fl at", + "▁япо нского", + "▁япон ского", + "▁Север ный", + "▁зе лень", + "▁зеле нь", + "▁овла деть", + "▁f ired", + "▁fire d", + "▁рабо тами", + "▁работа ми", + "?\" ,", + "? \",", + "▁пре дки", + "▁пред ки", + "▁во дки", + "▁вод ки", + "▁Че хии", + "▁techn iques", + "▁technique s", + "▁приня ло", + "▁принял о", + "sc h", + "s ch", + "▁exhib ition", + "▁жи ра", + "сло й", + "сл ой", + "с лой", + "▁proper ties", + "▁выпол нял", + "▁выполня л", + "▁выше у", + "лад ший", + "▁h ope", + "▁hop e", + "▁ме стными", + "▁мест ными", + "▁местным и", + "▁за пуск", + "▁запу ск", + "де лия", + "дели я", + "жа м", + "ж ам", + "▁за полне", + "▁запо лне", + "▁запол не", + "▁встре чает", + "▁встреча ет", + "▁Ал жи", + "▁красо та", + ": #", + "▁опублико ваны", + "▁опубликова ны", + "▁опубликован ы", + "p a", + "ков ская", + "▁при еха", + "▁прие ха", + "ear s", + "e ars", + "▁гра бе", + "▁психо логической", + "▁психологи ческой", + "л та", + "▁s ession", + "Л Е", + "▁показа н", + "▁пока зан", + "ти ровки", + "▁лауре ат", + "▁лауреа т", + "▁продви жения", + "r c", + "▁т рей", + "▁тре й", + "▁тр ей", + "▁опыт ы", + "▁опы ты", + "ли вым", + "▁Ч или", + "▁Чи ли", + "▁ле жала", + "▁лежа ла", + "▁лежал а", + "Мо р", + "М ор", + "▁с эр", + "дви г", + "▁раз бе", + "▁При шлось", + "▁Ал лах", + "▁Алла х", + "▁ска лы", + "▁ск алы", + "▁взаимоот ношений", + "▁arr ival", + "▁out put", + "▁пря мом", + "▁прямо м", + "▁прокуро ра", + "▁прокурор а", + "при им", + "▁те рять", + "▁тер ять", + "▁теря ть", + "▁стати стики", + "▁отмет ила", + "▁отме тила", + "▁отметил а", + "▁попыта лись", + "▁компенса ции", + "▁Во лы", + "▁Вол ы", + "▁пле чами", + "▁у ехать", + "▁во стре", + "▁вос тре", + "То р", + "Т ор", + "▁Прак тически", + "▁Ф И", + "ва йтесь", + "вай тесь", + "вайте сь", + "▁dif ference", + "▁differ ence", + "с ви", + "▁обрабо тке", + "сс кий", + "с ский", + "▁Совет ском", + "in ois", + "ino is", + "▁литератур ный", + "▁нем ногие", + "▁немно гие", + "▁выс шие", + "▁искус ственного", + "▁искусстве нного", + "▁искусственно го", + "лл у", + "л лу", + "▁постоя нные", + "▁содержа тся", + "▁содержат ся", + "▁придума ть", + "▁свя щенно", + "▁священ но", + "г л", + "лы к", + "▁ре че", + "du cing", + "duc ing", + "s ize", + "▁А рно", + "▁Ар но", + "... \",", + "...\" ,", + "▁револю ционного", + "▁а пте", + "▁ап те", + "▁г ерба", + "▁ге рба", + "▁гер ба", + "▁Нере дко", + "▁надея лся", + "▁че шу", + "▁чеш у", + "но стях", + "нос тях", + "▁ф из", + "▁фи з", + "▁подразуме вает", + "▁D or", + "▁Do r", + "▁уров нях", + "▁уровня х", + "▁под лежа", + "▁подле жа", + "▁наз ваний", + "▁назва ний", + "▁ве дение", + "▁ ведение", + "▁утвер жден", + "▁катастро фи", + "ca r", + "c ar", + "▁невы носи", + "▁под ста", + "▁подс та", + "▁соответ ствующее", + "▁соответству ющее", + "▁dec or", + "▁Х ам", + "▁Ха м", + "▁h ors", + "▁hor s", + "▁на ходить", + "▁находи ть", + "▁находит ь", + "▁наход ить", + "▁b ond", + "▁bo nd", + "▁вы сла", + "▁выс ла", + "▁си льная", + "▁силь ная", + "чи кам", + "чик ам", + "чика м", + "▁кван товой", + "▁заслу живает", + "▁заслужи вает", + "ду ши", + "душ и", + "▁Gold en", + "▁commission ed", + "▁Ab out", + "▁запла тить", + "▁сул тана", + "с мысле", + "▁sur vey", + "▁surv ey", + "ra cy", + "rac y", + "r acy", + "▁изме нилась", + "▁измени лась", + "▁изме няется", + "▁изменя ется", + "pect ive", + "▁Ф рун", + "фе н", + "ф ен", + "▁цвет ом", + "▁цве том", + "▁широ ким", + "▁сен тябрь", + "пе нди", + "пен ди", + "▁про сыпа", + "ч жу", + "▁комисса р", + "▁пре ссы", + "▁пресс ы", + "▁Сред ний", + "▁ни сколько", + "▁Тро цкий", + "an te", + "ant e", + "▁chem ical", + "▁организа торов", + "▁организатор ов", + "▁удосто ве", + "мс кий", + "м ский", + "▁бы вал", + "▁противоре чие", + "▁противоречи е", + "us er", + "use r", + "u ser", + "▁ну жный", + "▁нуж ный", + "▁нужны й", + "▁д лится", + "▁дли тся", + "образ ные", + "▁анг л", + "▁ан гл", + "▁прозви ще", + "▁ре альный", + "▁реаль ный", + "▁реа льный", + "▁old est", + "▁раз броса", + "▁предо стере", + "▁Результа т", + "го ворить", + "гово рить", + "говор ить", + "говори ть", + "▁вели чину", + "▁величи ну", + "я дер", + "▁По пов", + "ё к", + "де и", + "▁па рус", + "▁пар ус", + "▁пару с", + "▁fact ory", + "▁factor y", + "▁подраз деление", + "▁подразделе ние", + "▁б рали", + "▁бра ли", + "▁брал и", + "▁Dan iel", + "▁Dani el", + "▁возвра щает", + "▁возвраща ет", + "ья ми", + "ь ями", + "▁P ython", + "▁герман ского", + "▁Ear ly", + "▁Earl y", + "▁дли нной", + "▁длин ной", + "▁связа нный", + "▁связан ный", + "▁Куй бы", + "▁s olid", + "▁sol id", + "▁от деле", + "▁отде ле", + "▁отдел е", + "▁бе лка", + "B e", + "по сти", + "▁уво лен", + "▁прави теля", + "ва рить", + "вар ить", + "вари ть", + "▁поряд ку", + "▁fun ctions", + "▁function s", + "▁с енса", + "▁се нса", + "▁сен са", + "▁W ind", + "▁Win d", + "▁Wi nd", + "▁сере бро", + "▁al leg", + "▁alle g", + "▁К рю", + "шня я", + "ш няя", + "▁engine ering", + "▁т ворения", + "▁тво рения", + "▁пере ходить", + "▁переход ить", + "▁переходит ь", + "▁тво их", + "▁твои х", + "▁большо му", + "▁большом у", + "▁g ender", + "▁gen der", + "▁ge nder", + "▁sup posed", + "▁удоб ства", + "er ts", + "ert s", + "▁диапазо не", + "▁ка зар", + "▁каза р", + "▁каз ар", + "то вский", + "тов ский", + "▁трево ги", + "▁Израи ле", + "▁генера лов", + "▁генерал ов", + "▁об мени", + "▁обмен и", + "зя н", + "з ян", + "▁За кона", + "▁Зак она", + "▁Закон а", + "▁возник новение", + "▁возникнове ние", + "▁В одо", + "▁Во до", + "▁твор ческого", + "▁с лез", + "▁сле з", + "▁сл ез", + "▁good s", + "▁есте ство", + "▁вос ходя", + "ха ли", + "хал и", + "х али", + "▁р ва", + "▁ рва", + "▁техни кой", + "▁призна лся", + "▁признал ся", + "▁из редка", + "▁изре дка", + "▁Ра дио", + "▁Ради о", + "ри цы", + "▁партий ной", + "▁многочисле нными", + "▁на нима", + "▁за числе", + "▁carry ing", + "▁v oted", + "▁vot ed", + "▁vote d", + "▁vo ted", + "▁Хо чу", + "▁бе лая", + "▁Is lands", + "▁Island s", + "▁ис торий", + "▁исто рий", + "▁истори й", + "тре т", + "тр ет", + "т рет", + "▁недвижи мости", + "z z", + "▁право су", + "▁[... ]", + "▁кол ба", + "▁пар ни", + "КО В", + "К ОВ", + "▁Г ёте", + "▁снаб жения", + "▁ снабжения", + "▁Ве ду", + "▁Досто евский", + "▁счита ем", + "▁при страсти", + "тт и", + "т ти", + "ля лся", + "лял ся", + "▁und ert", + "▁under t", + "ва нным", + "ван ным", + "▁liter ary", + "▁по лы", + "▁пол ы", + "▁appro pri", + "▁опера циях", + "▁операция х", + "▁мы шь", + "▁мыш ь", + "▁мо ментов", + "▁момент ов", + "▁за кри", + "▁зак ри", + "▁h a", + "▁ ha", + "▁насе лён", + "▁населё н", + "▁prep ared", + "▁prepar ed", + "▁конструк цию", + "▁министер ство", + "▁К ю", + "on ym", + "ony m", + "▁Ф ей", + "▁Фе й", + "▁тек стом", + "▁текст ом", + "▁тексто м", + "ri x", + "r ix", + "▁Д ТП", + "▁привиле ги", + "▁опера тивной", + "▁оперативно й", + "не я", + "▁смы слу", + "▁смысл у", + "de v", + "d ev", + "ши р", + "ш ир", + "▁юриди ческого", + "P D", + "▁де тек", + "▁дет ек", + "▁дете к", + "▁Го лова", + "▁Голо ва", + "▁Да ма", + "▁ти шина", + "ше вского", + "шев ского", + "ш евского", + "ча тых", + "чат ых", + "▁жиз ненных", + "▁жизне нных", + "▁доро гие", + "▁дороги е", + "▁start s", + "▁star ts", + "▁f il", + "▁библиоте ку", + "▁библиотек у", + "▁пенси он", + "▁пен сион", + "▁Де ни", + "▁Ден и", + "▁c ro", + "▁cr o", + "▁Пе рио", + "▁Ad minist", + "f oot", + "хо ло", + "хол о", + "х оло", + "▁скло нность", + "хе р", + "х ер", + "▁закон чился", + "▁закончи лся", + "▁закончил ся", + "k m", + "ети и", + "е тии", + "ли тет", + "лит ет", + "лите т", + "ти лле", + "тил ле", + "▁федера льных", + "ро ву", + "ров у", + "▁М сти", + "▁th ick", + "▁пре терпе", + "▁bott om", + "▁symb ol", + "эл и", + "э ли", + "ИТ АР", + "И ТАР", + "▁красно ре", + "ap es", + "ape s", + "a pes", + "▁return s", + "▁дела ла", + "▁дел ала", + "▁делал а", + "▁detail s", + "▁устанавли вает", + "▁во дах", + "▁вода х", + "▁авто бус", + "▁автобу с", + "▁cor por", + "▁W i", + "▁че ки", + "pos s", + "po ss", + "p oss", + "▁им пор", + "▁ге нов", + "▁ген ов", + "▁гено в", + "▁ генов", + "▁П ана", + "▁Па на", + "▁Пан а", + "▁вы жить", + "▁выжи ть", + "▁расска зывают", + "▁рассказыва ют", + "▁рассказы вают", + "с бор", + "▁про сту", + "▁прос ту", + "▁прост у", + "ag a", + "a ga", + "▁фено мен", + "па ти", + "▁earl iest", + "▁I ns", + "▁In s", + "З ве", + "пи в", + "п ив", + "▁у чить", + "▁учи ть", + "▁уч ить", + "▁специали ста", + "▁специалист а", + "wh o", + "w ho", + "▁коэффици ент", + "▁привле чения", + "▁передви жения", + "ни чной", + "▁не ду", + "во де", + "вод е", + "▁ра змы", + "▁раз мы", + "▁тради ционные", + "▁гри бы", + "▁гриб ы", + "▁систе мами", + "▁система ми", + "▁демонстри рует", + "▁Про шу", + "▁настоя щем", + "▁sugg ests", + "▁suggest s", + "▁при думы", + "и гры", + "▁по дор", + "▁под ор", + "▁подо р", + "зо вые", + "зовы е", + "те мати", + "тема ти", + "▁под суди", + "▁при ступить", + "ко рей", + "кор ей", + "▁наси лие", + "▁насили е", + "▁second s", + "аль ным", + "а льным", + "▁полага ть", + "▁пола гать", + "achus etts", + "несе но", + "несен о", + "angu age", + "▁замеча ния", + "ло вка", + "лов ка", + "со вым", + "Ко ро", + "Кор о", + "▁освобо ждении", + "▁го нке", + "▁гон ке", + "▁гарни зо", + "ти шь", + "▁посту пок", + "▁поступ ок", + "▁укреп ление", + "▁укре пление", + "▁укрепле ние", + "▁музы кой", + "am i", + "▁конкурен тов", + "щи ца", + "ше вский", + "шев ский", + "ш евский", + "▁заба стов", + "▁сказа в", + "▁ска зав", + "▁сказ ав", + "▁regard ed", + "▁к исти", + "▁ки сти", + "▁воск лица", + "▁нео фициаль", + "▁Mos cow", + "ри йский", + "рий ский", + "▁Пале сти", + "▁прось бу", + "▁объек тами", + "▁объекта ми", + "пре м", + "пр ем", + "п рем", + "▁O S", + "▁ OS", + "▁иде ями", + "▁идея ми", + "ле ба", + "леб а", + "▁про сили", + "▁прос или", + "▁просил и", + "▁проси ли", + "▁уби вать", + "мо нта", + "мон та", + "монт а", + "▁выс шим", + "▁ана логии", + "▁аналоги и", + "пере да", + "перед а", + "▁фло ти", + "▁флот и", + "▁an aly", + "▁anal y", + "▁Во скре", + "▁Вос кре", + "▁loc ations", + "▁location s", + "ф ло", + "▁Ста ти", + "▁Mil itary", + "▁сложи лась", + "is ta", + "ist a", + "▁о зер", + "▁озе р", + "▁оз ер", + "ди лось", + "дило сь", + "▁з вании", + "▁шпи она", + "▁intro duction", + "▁использова лась", + "I F", + "▁люби ла", + "▁любил а", + "▁из ле", + "▁ко декса", + "▁коде кса", + "▁Squad ron", + "Ф о", + "▁террито риях", + "▁территория х", + "▁из би", + "▁воору жений", + "▁бит ва", + "га ра", + "гар а", + "г ара", + "▁сати ри", + "▁dis appe", + "▁ста вил", + "▁став ил", + "▁здоров о", + "▁здоро во", + "▁Wh it", + "кур с", + "пля р", + "п ляр", + "ч жоу", + "▁е ле", + "▁за пада", + "▁запа да", + "▁запад а", + "▁поэ зия", + "▁ин квизи", + "▁э р", + "▁ эр", + "▁D own", + "▁Do wn", + "▁Ду б", + "▁от дели", + "▁отде ли", + "▁отдел и", + "▁пло тности", + "▁плотно сти", + "▁плот ности", + "▁вели чине", + "▁величи не", + "▁О й", + "Йор ка", + "Йорк а", + "▁f lying", + "▁fl ying", + "▁fly ing", + "▁петру шки", + "▁Р ам", + "▁Ра м", + "▁плани ровалось", + "▁h uge", + "▁озе ре", + "▁оз ере", + "▁озер е", + "▁У каза", + "▁вре менной", + "▁времен ной", + "▁време нной", + "▁временно й", + "▁Des ign", + "▁рит ми", + "▁ритм и", + "▁Ш вар", + "▁За бо", + "▁ли чном", + "▁лично м", + "▁отве чают", + "▁отвеча ют", + "▁пусты ни", + "▁пода рки", + "▁подар ки", + "▁S n", + "▁несо стоя", + "▁це ленапра", + "▁профсо ю", + "▁ро дных", + "▁род ных", + "▁ родных", + "▁вече ру", + "▁вечер у", + "▁плодо твор", + "сто ра", + "стор а", + "с тора", + "▁mot ion", + "▁Н ина", + "▁Ни на", + "▁п ь", + "▁ пь", + "▁describ es", + "▁H ou", + "▁Ho u", + "▁рим лян", + "▁римля н", + "▁цвета ми", + "▁цве тами", + "▁тро ллей", + "НИ Е", + "Н ИЕ", + "re ll", + "rel l", + "r ell", + "ри йского", + "рий ского", + "us al", + "en ses", + "ens es", + "ense s", + "▁cont aining", + "▁contain ing", + "▁se ats", + "▁sea ts", + "▁seat s", + "▁дополни тельного", + "▁дополнительно го", + "▁ля гу", + "▁развед ку", + "▁разве дку", + "▁по ступила", + "▁посту пила", + "▁поступ ила", + "▁поступил а", + "▁поступи ла", + "▁о характери", + "▁миро вом", + "▁миров ом", + "▁равновеси е", + "▁off ices", + "▁offic es", + "▁office s", + "▁та ковой", + "▁таков ой", + "▁продви жение", + "▁Stud ies", + "▁opin ion", + "▁п рив", + "▁при в", + "▁пр ив", + "ht ml", + "▁колле гами", + "▁я вились", + "▁за нялся", + "▁заня лся", + "▁занял ся", + "▁ак тивов", + "▁актив ов", + "▁изме нил", + "▁измени л", + "▁измен ил", + "▁поста влена", + "▁постав лена", + "▁поставлен а", + "re es", + "ree s", + "r ees", + "▁occ as", + "▁Squ are", + "▁тон кие", + "ор и", + "о ри", + "▁о бры", + "▁об ры", + "▁show ing", + "ско ро", + "скор о", + "с коро", + "▁Ге рои", + "▁Геро и", + "▁на логи", + "▁налог и", + "бле нием", + "бление м", + "б лением", + "▁архи пе", + "ik a", + "i ka", + "▁Оде ссе", + "▁безу пре", + "▁сугу бо", + "ва лов", + "вал ов", + "вало в", + "в алов", + "▁по рядо", + "▁поряд о", + "▁архиеписко п", + "▁повто рять", + "▁повторя ть", + "▁коль це", + "▁при дать", + "▁прида ть", + "▁inter ested", + "▁interest ed", + "▁Р У", + "▁ РУ", + "▁бога тые", + "▁богаты е", + "▁К Б", + "▁Кузне цов", + "▁гвардей ского", + "же ло", + "жел о", + "фо с", + "ф ос", + "▁При ня", + "▁Прин я", + "▁докла да", + "▁доклад а", + "▁претен зии", + "▁до шло", + "▁Ильи ч", + "▁те стов", + "▁тесто в", + "▁тест ов", + "▁ж юри", + "▁Зака вказ", + "▁Чу ть", + "га да", + "г ада", + "▁med al", + "▁тру дового", + "▁трудо вого", + "▁Б рэ", + "те ста", + "тес та", + "▁pro ducing", + "▁produ cing", + "▁produc ing", + "aval ry", + "▁государ ственная", + "▁государстве нная", + "▁hold s", + "▁пере ез", + "▁принадле жала", + "▁принадлежа ла", + "▁принадлежал а", + "▁успе шного", + "▁успеш ного", + "▁успешно го", + "▁хо р", + "▁х ор", + "▁ хор", + "▁стра хом", + "▁страхо м", + "▁страх ом", + "▁person nel", + "▁иностран ные", + "▁Е ле", + "▁библи о", + "▁опреде ленном", + "▁определен ном", + "▁определенно м", + "▁S at", + "▁Sa t", + "▁исклю чить", + "▁исключи ть", + "▁защи ща", + "▁Воло год", + "ци ско", + "▁пере ведён", + "▁Sim on", + "▁Si mon", + "▁hum ans", + "▁human s", + "▁С ера", + "▁Се ра", + "▁Сер а", + "▁догово рились", + "▁договори лись", + "▁art icles", + "▁article s", + "▁де лятся", + "▁дел ятся", + "▁H ere", + "▁He re", + "▁Her e", + "▁догово ров", + "▁договор ов", + "Фон тан", + "▁алкого ля", + "си сте", + "сист е", + "сис те", + "▁поло су", + "▁P ict", + "▁Стар ший", + "▁по лов", + "▁пол ов", + "▁поло в", + "▁подле жит", + "▁char ged", + "▁charg ed", + "▁charge d", + "▁дека брь", + "▁M arc", + "▁Mar c", + "▁Ma rc", + "ри ди", + "▁у казом", + "▁ука зом", + "▁указ ом", + "лё нные", + "лён ные", + "л ённые", + "▁ви дах", + "▁вида х", + "▁histor ic", + "▁бро ш", + "▁высоко поста", + "на з", + "н аз", + "▁сфе рах", + "▁сфера х", + "▁t ail", + "▁охла ждения", + "▁предусмотре но", + "▁предусмотрен о", + "▁В ере", + "▁Ве ре", + "▁Вер е", + "▁Ко реи", + "за й", + "з ай", + "▁устрой стве", + "▁устройств е", + "▁dam aged", + "▁damage d", + "▁дога ды", + "▁R un", + "▁Ru n", + "▁Т еха", + "▁Те ха", + "▁Тех а", + "▁b ass", + "▁bas s", + "▁N Y", + "х нуть", + "▁мра мор", + "▁Об ъяс", + "▁Объ яс", + "▁г нева", + "▁гне ва", + "▁гнев а", + "▁ве рующих", + "▁веру ющих", + "▁пирами ды", + "▁опреде лил", + "д э", + "ма ла", + "мал а", + "м ала", + "по каза", + "▁современ ная", + "▁Holly wood", + "▁Гон ча", + ", '", + "ем ен", + "е мен", + "▁цар ем", + "▁ца рем", + "▁царе м", + "▁Информа ция", + "▁Представи тели", + "▁ми рных", + "▁мир ных", + "▁дю й", + "шно е", + "шн ое", + "ш ное", + "▁город ские", + "▁пу га", + "▁ пуга", + "▁program ming", + "▁го нки", + "▁гон ки", + "▁пло дов", + "▁плодо в", + "▁плод ов", + "▁меся це", + "▁месяц е", + "▁се льском", + "▁сель ском", + "▁nomin ated", + "▁древ ний", + "▁Мини стр", + "▁г р", + "▁ гр", + "риф мети", + "Та й", + "Т ай", + "▁поедин ке", + "ти мся", + "тим ся", + "▁доба вляет", + "▁Ад мирал", + "▁хра нение", + "▁cl imate", + "▁КН ДР", + "▁энергети ки", + "▁Kore an", + "▁Korea n", + "▁Ме ж", + "▁форму лы", + "▁режисс ера", + "▁режиссе ра", + "▁режиссер а", + "пт у", + "п ту", + "▁куль турой", + "▁культур ой", + "E X", + "ни мом", + "ним ом", + "▁чи стый", + "▁Ро бин", + "▁Роб ин", + "▁подвод ной", + "▁подво дной", + "▁бере гам", + "▁берега м", + "▁берег ам", + "ин тер", + "инте р", + "и нтер", + "▁продоволь ствия", + "▁conf ig", + "▁Mass achusetts", + "ри да", + "р ида", + "▁напо ловину", + "▁налого об", + "▁откры ла", + "▁открыл а", + "▁hy dro", + "▁одно и", + "▁и дио", + "▁иди о", + "▁Р ен", + "▁Ре н", + "▁ю вели", + "▁нау кой", + "▁наук ой", + "▁Тео рия", + "▁инфек ции", + "▁захо тел", + "▁про живания", + "▁прожи вания", + "▁extrem ely", + "▁Mar ine", + "▁Ma rine", + "▁Ва дим", + "▁созна нием", + "▁сознание м", + "те льские", + "тель ские", + "щ ность", + "▁приобре ла", + "▁приобрел а", + "▁коле со", + "▁колес о", + "гро в", + "гр ов", + "г ров", + "▁St adium", + "▁пропо ве", + "▁рекла му", + "▁реклам у", + "▁С ки", + "▁Ск и", + "▁семей ство", + "▁к ив", + "▁ки в", + "▁покупа телей", + "зо ре", + "зор е", + "▁устано вку", + "▁установ ку", + "▁понрави лось", + "▁двига тели", + "▁поч ты", + "▁Л юк", + "▁Лю к", + "▁ent ertain", + "▁enter tain", + "▁эксперти зы", + "▁и нди", + "▁ин ди", + "▁S i", + "▁оформ ления", + "▁гре ч", + "▁отмеча лось", + "▁И ор", + "▁Ио р", + "▁до стать", + "▁доста ть", + "▁товари ще", + "▁товарищ е", + "▁объя влен", + "▁пересе лен", + "▁design ated", + "▁Россий ская", + "Ц ИЯ", + "▁Ill inois", + "▁поло вого", + "▁Б лю", + "▁музыка нтов", + "▁музыкан тов", + "▁бе лков", + "▁раз рыва", + "▁разры ва", + "▁разрыв а", + "▁смер тной", + "▁Ж ор", + "▁Жо р", + "вы бор", + "▁Фили ппа", + "▁Филип па", + "▁Филипп а", + "▁с рабаты", + "▁сра баты", + "▁bo at", + "▁За вер", + "▁но чам", + "▁но сом", + "▁нос ом", + "▁за грузки", + "▁загру зки", + "▁загруз ки", + "▁N et", + "▁Ne t", + "▁руко пись", + "▁рукопи сь", + "In d", + "I nd", + "▁N a", + "▁оказа ли", + "▁ока зали", + "▁оказал и", + "▁dr ama", + "▁dram a", + "▁dra ma", + "шн ы", + "ш ны", + "▁мощ ные", + "▁уси ление", + "▁T ok", + "▁To k", + "H L", + "▁w indows", + "▁wind ows", + "▁window s", + "та ций", + "▁М эй", + "▁Мэ й", + "ру йте", + "▁т рога", + "▁тро га", + "▁Ме рку", + "▁Мер ку", + "▁ref uge", + "▁B ab", + "▁Ba b", + "един ённых", + "единён ных", + "▁П ьер", + "▁Пье р", + "▁меч тал", + "▁мечта л", + "▁Ка ким", + "▁Как им", + "ind ing", + "▁двига телем", + "▁предоста вления", + "▁располага лся", + "х э", + "▁ри тори", + "▁рит ори", + "не сена", + "нес ена", + "несе на", + "несен а", + "ству ющее", + "O n", + "▁поли тиков", + "▁полити ков", + "▁политик ов", + "▁вы йдя", + "se ct", + "sec t", + "s ect", + "во дом", + "вод ом", + "▁Re al", + "▁sp oke", + "тчи ка", + "тчик а", + "т чика", + "▁разно образие", + "▁clos ely", + "▁close ly", + "▁ext ension", + "▁х руп", + "▁хру п", + "▁па пи", + "▁пап и", + "▁пожи з", + "▁выз доро", + "▁рабо чем", + "▁опи раясь", + "▁опира ясь", + "▁це лям", + "▁бе жали", + "▁бежал и", + "▁выгля дел", + "▁перегово рах", + "ap ore", + "▁и ную", + "▁ин ую", + "▁соору жение", + "▁неот ъемле", + "ме нного", + "мен ного", + "менно го", + "rol ler", + "roll er", + "un es", + "une s", + "u nes", + "пу с", + "п ус", + "▁Возро ждения", + "▁кро ше", + "▁A BC", + "▁са ло", + "ли вые", + "▁доста точной", + "▁достаточно й", + "▁достато чной", + "▁critic ized", + "▁ма сле", + "Андже ле", + "▁На ука", + "▁Нау ка", + "ess age", + "▁бель гий", + "▁материа лом", + "▁материал ом", + "▁требования ми", + "▁требованиям и", + "▁Сле дующий", + "▁Следу ющий", + "▁Ал ма", + "▁стра нное", + "▁стран ное", + "▁странно е", + "пла нет", + "плане т", + "план ет", + "▁не мысли", + "обо рудова", + "▁st atic", + "▁stat ic", + "▁круп ная", + "▁eng ines", + "▁engine s", + "мор ских", + "▁b ands", + "▁band s", + "▁отме чено", + "▁пя тый", + "▁основа нный", + "▁осно ванный", + "▁основан ный", + "▁су ществи", + "▁суще стви", + "▁существ и", + "▁enc ounter", + "▁живо тным", + "▁живот ным", + "▁Университе та", + "▁Университет а", + "та ется", + "тает ся", + "▁fact ors", + "▁factor s", + "▁tr uth", + "▁Не за", + "▁ху ли", + "▁Яро сла", + "▁вообра жа", + "▁Mc G", + "▁б аз", + "▁ба з", + "то рией", + "тори ей", + "▁Са мой", + "▁Сам ой", + "▁Само й", + "▁выпол нены", + "▁выполнен ы", + "▁вер мах", + "▁адмира ла", + "▁адмирал а", + "▁gr ounds", + "▁ground s", + "▁з верь", + "▁зве рь", + "▁звер ь", + "▁по кра", + "▁M iller", + "▁Mil ler", + "▁Mill er", + "▁при ходил", + "▁приходи л", + "▁приход ил", + "▁прихо дил", + "▁пред лагается", + "▁предлага ется", + "▁предлагает ся", + "кс ом", + "ксо м", + "к сом", + "вя зки", + "вяз ки", + "▁у род", + "▁уро д", + "▁днев нике", + "▁на но", + "▁н ано", + "▁резер ва", + "▁на ций", + "▁наци й", + "▁c ook", + "▁co ok", + "▁само от", + "▁самоо т", + "▁посе лений", + "lo ok", + "l ook", + "▁матери ального", + "▁материа льного", + "▁материаль ного", + "▁se lection", + "▁select ion", + "as ure", + "▁па льца", + "▁паль ца", + "▁ма сон", + "▁со гре", + "▁поза бо", + "▁Man chester", + "▁специаль ным", + "▁специ альным", + "▁L abor", + "▁La bor", + "▁Lab or", + "пле й", + "п лей", + "▁ожида ет", + "▁ожи дает", + "▁журна листы", + "▁журнали сты", + "▁журналист ы", + "▁С ор", + "▁Со р", + "вя зать", + "вяза ть", + "▁tra ined", + "▁tr ained", + "▁train ed", + "ма ло", + "мал о", + "▁дома шнего", + "▁домаш него", + "is ted", + "ist ed", + "▁эска дры", + "▁p oly", + "▁pol y", + "▁po ly", + "▁про читал", + "▁прочи тал", + "▁прочита л", + "▁на вести", + "▁наве сти", + "▁great est", + "▁О Г", + "▁ ОГ", + "▁e re", + "▁er e", + "▁ ere", + "▁f ur", + "▁n ull", + "▁забо ты", + "▁забот ы", + "▁A st", + "▁As t", + "гово рили", + "говор или", + "говори ли", + "говорил и", + "▁бом бо", + "▁бомб о", + "▁eth nic", + "▁co ord", + "kn ow", + "k now", + "▁О г", + "▁t ries", + "▁tr ies", + "▁tri es", + "▁r oot", + "▁ro ot", + "▁север нее", + "▁пере ворот", + "▁перево рот", + "вно е", + "в ное", + "▁подчер кивает", + "▁подчерки вает", + "ва ющую", + "ваю щую", + "▁генера лом", + "▁генерал ом", + "ру ющим", + "рую щим", + "▁T urn", + "▁Tur n", + "▁эффек ты", + "▁эффект ы", + "▁молодё жи", + "▁первен стве", + "▁вы ку", + "▁обви ни", + "▁использу ем", + "▁производ ством", + "▁производство м", + "▁пользу ясь", + "▁те рпи", + "▁тер пи", + "▁П ир", + "▁Пи р", + "▁с мена", + "▁сме на", + "▁см ена", + "▁внима нием", + "▁внимание м", + "▁document ary", + "C S", + "▁во дных", + "▁вод ных", + "▁ водных", + "▁се ления", + "▁селе ния", + "▁serv es", + "▁ser ves", + "▁serve s", + "▁conf ront", + "▁объеди нить", + "▁на несен", + "▁нанес ен", + "▁магази ны", + "▁магазин ы", + "▁за дум", + "▁зад ум", + "▁заду м", + "▁озна менова", + "▁Тру дового", + "▁inj ured", + "г мати", + "▁аргу менты", + "▁Р О", + "▁ РО", + "ну сь", + "нус ь", + "би ны", + "бин ы", + "б ины", + "ни цкого", + "ниц кого", + "▁кам ере", + "▁камер е", + "▁каме ре", + "▁Inf antry", + "▁del ivered", + "▁deliver ed", + "х во", + "▁ос ваи", + "▁европей ские", + "▁пла нета", + "▁плане та", + "▁планет а", + "жи вание", + "▁деву шкой", + "нг о", + "н го", + "▁ва жен", + "▁важ ен", + "▁К ристо", + "▁Кри сто", + "▁Пре обра", + "▁Serv ices", + "▁Service s", + "▁сра жаться", + "▁испол нял", + "▁исполня л", + "цки е", + "ц кие", + "▁деревя нные", + "▁жан ре", + "▁жанр е", + "▁k id", + "вто ри", + "в тори", + "x ual", + "▁Б лок", + "▁Бло к", + "бо на", + "бон а", + "б она", + "▁тор гового", + "▁торго вого", + "▁с гора", + "▁распоря жения", + "▁к э", + "▁принадле жали", + "▁принадлежа ли", + "▁принадлежал и", + "▁х восто", + "▁хво сто", + "▁хвост о", + "▁Язы к", + "▁пом нит", + "van t", + "va nt", + "v ant", + "гна н", + "г нан", + "▁demon st", + "▁Калифор нии", + "▁Лауре ат", + "▁созда нные", + "▁создан ные", + "Фо р", + "Ф ор", + "▁зарабо тать", + "▁Се ме", + "▁Сем е", + "▁сохра нил", + "▁сохрани л", + "▁сохран ил", + "▁s ed", + "▁se d", + "▁b es", + "▁be s", + "▁ bes", + "▁Вене су", + "▁отра слей", + "▁отрас лей", + "даго ги", + "зи рованного", + "зирова нного", + "зирован ного", + "az a", + "a za", + "▁Ex ec", + "▁помо гали", + "▁помог али", + "▁помога ли", + "▁помогал и", + "ни шь", + "▁способ ствовало", + "▁доче рей", + "▁дочер ей", + "▁con vent", + "▁conv ent", + "▁Ло ги", + "▁hab it", + "▁ha bit", + "▁мерт вых", + "▁ше е", + "▁ шее", + "▁до су", + "стре лко", + "▁Д жер", + "▁Дж ер", + "▁Дже р", + "▁sur re", + "▁туа лет", + "▁кило грам", + "go r", + "g or", + "▁про лив", + "▁проли в", + "▁с най", + "▁сна й", + "he red", + "her ed", + "here d", + "h ered", + "▁Обра тите", + "▁програм мой", + "▁программ ой", + "▁col lected", + "▁collect ed", + "▁нач нется", + "▁начнет ся", + "ст рит", + "стри т", + "стр ит", + "F i", + "▁П аль", + "▁Па ль", + "▁кры ши", + "▁Ко лле", + "▁Кол ле", + "▁Полков ник", + "ic it", + "▁Кен неди", + "▁ко шки", + "▁кош ки", + "▁живо пис", + "▁живопи с", + "▁страхо вания", + "▁с ень", + "▁се нь", + "▁сен ь", + "▁ сень", + "та нные", + "тан ные", + "▁Ду хов", + "M y", + "▁собра ны", + "▁собран ы", + "w ick", + "▁исто рика", + "▁истори ка", + "▁историк а", + "▁Во рон", + "▁Воро н", + "▁Вор он", + "но стям", + "▁вся кую", + "▁сты дно", + "ва ющими", + "ваю щими", + "вающим и", + "▁раз уме", + "▁разу ме", + "▁разум е", + "▁ разуме", + "▁Ch air", + "▁постра дали", + "▁пострада ли", + "▁пострадал и", + "▁Дне про", + "▁every one", + "▁госпо дина", + "▁господ ина", + "▁господин а", + "▁Ко смо", + "▁Jac ob", + "▁прави льный", + "▁каза ки", + "▁Основ ным", + "▁компози тора", + "▁композитор а", + "▁раз бо", + "ph one", + "▁упра вляет", + "▁управля ет", + "▁D ark", + "▁Dar k", + "▁Гос думы", + "▁юби лей", + "▁brief ly", + "▁должно стных", + "▁пар ков", + "▁парк ов", + "▁P ier", + "▁фи кса", + "▁reg iment", + "▁привы чки", + "▁вне дре", + "▁внед ре", + "▁при дает", + "▁прида ет", + "▁Не зависи", + "▁Неза виси", + "▁броси лся", + "▁бросил ся", + "са к", + "с ак", + "▁за тя", + "▁зат я", + "во дных", + "вод ных", + "▁man ner", + "ua tion", + "u ation", + "▁чле нам", + "▁член ам", + "▁члена м", + "ва жно", + "стан дар", + "▁зло б", + "▁Am azon", + "▁фир м", + "▁Ниц ше", + "ain ts", + "aint s", + "▁про ница", + "▁прони ца", + "зи руют", + "зиру ют", + "▁ма тчи", + "▁мат чи", + "▁матч и", + "▁быст рый", + "▁быстры й", + "▁Stud io", + "у краин", + "▁W olf", + "O W", + "▁educ ational", + "▁education al", + "▁на полне", + "▁напо лне", + "▁напол не", + "пу нк", + "▁ко лы", + "▁кол ы", + "▁ колы", + "▁мыс ленно", + "▁мысле нно", + "▁G ord", + "▁Go rd", + "▁Нача льник", + "▁д ен", + "▁де н", + "▁ ден", + "▁хо ре", + "▁хор е", + "bo y", + "b oy", + "▁кише чника", + "▁ро дила", + "▁роди ла", + "▁род ила", + "щё нный", + "щён ный", + "щ ённый", + "▁живу щих", + "▁дости гнуть", + "▁достиг нуть", + "▁достигну ть", + "четы ре", + "тер национа", + "терна циона", + "гра жда", + "▁гне з", + "▁с вар", + "▁сва р", + "▁св ар", + "▁protect ed", + "цион ному", + "цио нному", + "ционно му", + "ционном у", + "▁Пре мия", + "▁леген да", + "▁совеща ния", + "▁d ream", + "▁беспо кои", + "▁беспоко и", + "произ води", + "производ и", + "gh an", + "g han", + "▁экспеди ция", + "▁под ходе", + "▁подход е", + "▁Ба бу", + "▁о той", + "▁от ой", + "▁ото й", + "чи тал", + "чита л", + "чит ал", + "▁t error", + "▁ter ror", + "▁расска зе", + "▁рассказ е", + "▁да мы", + "▁дам ы", + "▁по ступления", + "▁посту пления", + "▁поступ ления", + "▁В сю", + "▁ra ise", + "▁ста вили", + "▁став или", + "▁ставил и", + "не во", + "нев о", + "н ево", + "ни стов", + "нис тов", + "нист ов", + "▁Tr ust", + "▁А виа", + "▁а спект", + "▁аспек т", + "in th", + "int h", + "▁ше и", + "о д", + "▁S ony", + "▁So ny", + "▁Son y", + "▁я вилась", + "▁М ое", + "▁Мо е", + "▁Генна дий", + "▁коммента риях", + "▁any one", + "▁Де вушка", + "▁про тека", + "▁проте ка", + "▁значи мости", + "▁обозна чение", + "кс я", + "к ся", + "▁подтвер дили", + "▁подтвердил и", + "▁а не", + "▁ан е", + "▁ ане", + "▁ро маны", + "▁роман ы", + "▁рома ны", + "▁Таджи ки", + "▁ку льт", + "▁куль т", + "▁спро воци", + "▁устано вке", + "▁установ ке", + "▁круп но", + "▁кру пно", + "▁анали зе", + "▁анализ е", + "▁использу емых", + "▁используем ых", + "▁китай ского", + "▁кита йского", + "▁индивиду ального", + "▁индивидуаль ного", + "▁во рон", + "▁воро н", + "▁вор он", + "▁oper ate", + "▁превра щения", + "▁Ал ба", + "▁ра кови", + "▁гре ческих", + "▁по ловых", + "▁поло вых", + "▁полов ых", + "▁L ow", + "▁Lo w", + "▁фа зы", + "oc ation", + "oca tion", + "▁поста вок", + "▁постав ок", + "ти мента", + "тим ента", + "▁prison ers", + "▁paint ings", + "▁painting s", + "▁встре чался", + "▁встреча лся", + "▁встречал ся", + "▁И а", + "▁моло д", + "▁мол од", + "сту пы", + "ступ ы", + "▁М ани", + "▁Ма ни", + "▁Ман и", + "▁Jes us", + "Ph one", + "▁за со", + "▁зас о", + "▁ми нус", + "▁мину с", + "▁мин ус", + "▁полё та", + "▁пи лот", + "▁пило т", + "▁polic ies", + "▁ла би", + "ec k", + "e ck", + "▁соли дар", + "▁чу жие", + "ко ны", + "кон ы", + "к оны", + "▁недоста тка", + "▁слы шу", + "ко сми", + "кос ми", + "▁москов ской", + "▁ш изо", + "▁ши зо", + "▁ло дку", + "▁ран нем", + "▁ваго нов", + "▁вагон ов", + "ку ляр", + "куля р", + "▁подтвер ждения", + "▁За поро", + "▁г ан", + "▁га н", + "▁ ган", + "та льной", + "таль ной", + "т альной", + "▁церков ью", + "▁церковь ю", + "▁ка ту", + "▁побли зости", + "▁п ал", + "▁па л", + "▁ пал", + "▁For est", + "▁Fore st", + "▁начина ются", + "▁начинают ся", + "ки с", + "к ис", + "Золо той", + "▁приобре тения", + "▁приобрете ния", + "ро ды", + "род ы", + "▁program me", + "▁колле гии", + "▁коллеги и", + "▁опреде ленно", + "▁определен но", + "▁се мян", + "▁сем ян", + "▁Черни гов", + "▁во ю", + "▁ вою", + "ха ра", + "хар а", + "х ара", + "▁скон центри", + "ри лась", + "рила сь", + "▁опа сения", + "▁Дже фф", + "▁дер жится", + "▁держит ся", + "▁спи ны", + "▁Ис следова", + "▁H it", + "▁Nether lands", + "▁урав нения", + "▁жан р", + "▁завое вала", + "▁завоевал а", + "f rom", + "▁Лю бой", + "▁Любо й", + "▁взаимо по", + "▁Афгани стане", + "in us", + "inu s", + "▁M ach", + "▁Mac h", + "▁Ma ch", + "▁vict ims", + "▁присут ствовал", + "M P", + "▁мыс лью", + "▁мысль ю", + "▁строи тельству", + "▁pict ure", + "▁принима я", + "▁вос тока", + "▁восто ка", + "▁восток а", + "▁образова ний", + "▁dec ade", + "▁номер е", + "▁номе ре", + "▁П ей", + "▁Пе й", + "Д ру", + "▁jud ge", + "▁итальян ской", + "чи тельно", + "чите льно", + "до чной", + "▁мел кими", + "▁за писать", + "▁запи сать", + "▁записа ть", + "an ned", + "ann ed", + "pl ate", + "ле ру", + "лер у", + "л еру", + "▁V ar", + "▁tw elve", + "▁терро ристов", + "▁террори стов", + "▁транспорт ного", + "▁транспор тного", + "▁ВВ П", + "▁авто биографи", + "че вский", + "чев ский", + "ч евский", + "▁Де ль", + "▁dr awn", + "▁draw n", + "▁dra wn", + "▁портре ты", + "▁портрет ы", + "▁Золо той", + "▁ Золотой", + "▁increasing ly", + "нс а", + "н са", + "▁духов ное", + "▁духо вное", + "▁духовно е", + "▁Не ме", + "▁Нем е", + "▁до лл", + "▁дол л", + "▁предпоч тение", + "ish ment", + "▁подоб ная", + "▁commun ication", + "ту ет", + "▁Людови ка", + "▁упомина ет", + "ти нского", + "тин ского", + "кру п", + "к руп", + "iss ance", + "▁Боль шую", + "ak h", + "a kh", + "▁пло ти", + "▁плот и", + "▁вы ходом", + "▁выход ом", + "▁моря ков", + "▁топли во", + "▁топ ливо", + "▁зарпла ты", + "▁s am", + "▁П ОЛ", + "▁ПО Л", + "▁зна чением", + "▁значение м", + "▁B oe", + "▁Bo e", + "al o", + "a lo", + "v o", + "▁с ква", + "▁ск ва", + "▁ба лло", + "▁бал ло", + "▁взрос лые", + "▁business es", + "q l", + "▁орби ту", + "ы х", + "ро дных", + "род ных", + "▁Вой ска", + "ст вах", + "ства х", + "▁ве лик", + "▁вели к", + "бо ли", + "бол и", + "▁пор ту", + "▁порт у", + "▁ве рили", + "▁вер или", + "▁верил и", + "▁вери ли", + "▁ut il", + "▁u til", + "▁в ступ", + "B I", + "▁d ress", + "▁dr ess", + "▁Mex ican", + "ке вич", + "к евич", + "▁обы чай", + "▁обыча й", + "▁д рай", + "▁дра й", + "▁др ай", + "▁Мар се", + "▁Строи тельство", + "▁магни то", + "▁магнит о", + "си а", + "▁широ ких", + "ри ал", + "риа л", + "▁испол нять", + "▁исполня ть", + "ut t", + "u tt", + "▁станови лась", + "▁стано вилась", + "▁ор то", + "▁склады вается", + "▁живо тными", + "▁живот ными", + "▁животным и", + "▁поме шать", + "▁ра ски", + "▁рас ки", + "цо вой", + "цов ой", + "де льно", + "дель но", + "▁surv ived", + "ric ts", + "rict s", + "▁тру де", + "▁труд е", + "▁журна лах", + "▁журнала х", + "▁капита ном", + "▁капитан ом", + "ви та", + "вит а", + "жка х", + "ж ках", + "▁e asy", + "▁eas y", + "▁кров оте", + "▁крово те", + "▁напада ющий", + "ol i", + "o li", + "▁тяже лым", + "▁невозмо жным", + "ви дел", + "виде л", + "▁Фре де", + "ло жению", + "ложе нию", + "▁золо тую", + "▁г радо", + "▁гра до", + "▁у пло", + "▁атмо сфера", + "▁атмосф ера", + "▁атмосфер а", + "Ob ject", + "▁бе дных", + "▁бед ных", + "▁церков ных", + "▁Op era", + "▁Oper a", + "ти за", + "▁разру шение", + "чи ло", + "чил о", + "▁K han", + "▁Kh an", + "▁следу ют", + "ra ge", + "rag e", + "r age", + "▁Ю ли", + "ков ья", + "ковь я", + "Р Ф", + "дни к", + "д ник", + "▁россий ском", + "▁отде льная", + "▁отдель ная", + "pe n", + "p en", + "W hat", + "▁опыт ных", + "▁опы тных", + "▁во льно", + "▁ вольно", + "▁пре подоб", + "▁препо доб", + "гу ляр", + "щи ну", + "щин у", + "▁знако мы", + "▁знаком ы", + "▁свадь бы", + "▁труд ностей", + "▁трудно стей", + "▁заста вля", + "▁ез дил", + "▁дея тели", + "▁по це", + "▁Чи сле", + "▁бесе де", + "▁р во", + "▁к ровать", + "▁кро вать", + "▁крова ть", + "▁се риал", + "▁сериа л", + "▁дове лось", + "▁в дали", + "▁вд али", + "▁вда ли", + "▁Приме нение", + "▁le ads", + "▁lead s", + "▁разрабо тать", + "▁разработа ть", + "▁оста нки", + "▁Шев ченко", + "▁Об щество", + "▁Обще ство", + "▁stre ets", + "▁street s", + "но са", + "нос а", + "н оса", + "st ances", + "stance s", + "жи в", + "ж ив", + "▁на право", + "▁напра во", + "▁масшта бе", + "▁масштаб е", + "ст ку", + "с тку", + "at ically", + "atic ally", + "▁he at", + "▁дей ствию", + "▁действи ю", + "кро ва", + "кров а", + "к рова", + "▁Dou gl", + "▁sy nt", + "▁syn t", + "▁радо стно", + "▁учреждения х", + "▁коро ткой", + "▁корот кой", + "▁коротко й", + "▁де ви", + "▁дев и", + "▁по ступили", + "▁посту пили", + "▁поступ или", + "▁поступил и", + "▁поступи ли", + "▁Mod ern", + "▁Со ро", + "▁Сор о", + "hed ral", + "▁вок зала", + "▁вокза ла", + "▁по ехали", + "▁пое хали", + "▁поехал и", + "▁жи теля", + "▁патро нов", + "▁при бытия", + "▁прибы тия", + "▁inter pret", + "▁ду мая", + "▁дума я", + "▁значи тельным", + "▁ste am", + "▁six th", + "▁d ivers", + "▁div ers", + "▁di vers", + "до подоб", + "▁уда рил", + "▁удар ил", + "▁стра нам", + "▁стран ам", + "▁страна м", + "▁Ст рук", + "▁Стру к", + "сно сти", + "с ности", + "▁Med ical", + "▁до лей", + "▁дол ей", + "▁Air port", + "ца рь", + "цар ь", + "ц арь", + "▁коми ссию", + "▁arr ang", + "▁arran g", + "▁лёг кой", + "▁люби мый", + "рас преде", + "▁m and", + "▁man d", + "▁re aching", + "▁reach ing", + "▁превосход ство", + "▁полуостро ве", + "▁H and", + "▁Ha nd", + "▁Han d", + "▁Фран цией", + "▁Франци ей", + "▁се льской", + "▁сель ской", + "▁Сред неве", + "▁интерфей са", + "▁интерфейс а", + "▁необходи мый", + "▁необходимы й", + "ord ers", + "order s", + "▁Един ственное", + "▁яй це", + "▁за тяну", + "▁затя ну", + "▁Бе ля", + "▁Бел я", + "▁состоя щий", + "▁обслужи вание", + "▁индиви да", + "▁инди вида", + "▁слу чится", + "▁случи тся", + "▁К инг", + "▁Ки нг", + "▁Кин г", + "▁A ge", + "▁Ag e", + "▁чи тали", + "▁чита ли", + "▁читал и", + "зо ры", + "зор ы", + "деся тых", + "десят ых", + "▁рассмотре нии", + "▁про мо", + "▁По се", + "C D", + "▁им прови", + "ли вая", + "лив ая", + "лива я", + "▁s urg", + "▁sur g", + "▁национа льности", + "▁национально сти", + "▁Ан дро", + "▁Анд ро", + "▁с ед", + "▁се д", + "▁ сед", + "▁цар ей", + "▁ца рей", + "▁царе й", + "▁живо тно", + "▁живот но", + "Е ФА", + "▁у целе", + "х ристиан", + "▁гро мо", + "▁гром о", + "▁Ex press", + "▁т уре", + "▁ту ре", + "▁тур е", + "▁ туре", + "▁differ ences", + "▁difference s", + "▁полу чим", + "▁получи м", + "▁вы годно", + "▁выго дно", + "▁выгод но", + "▁изда нии", + "▁E th", + "le vel", + "lev el", + "ле теть", + "лет еть", + "лете ть", + "▁Го ра", + "▁Гор а", + "▁кварти р", + "▁квар тир", + "ши в", + "ш ив", + "▁На родный", + "▁Народ ный", + "or i", + "o ri", + "▁сопер ника", + "▁jo bs", + "▁job s", + "ш т", + "▁municip ality", + "▁municipal ity", + "▁o ption", + "▁op tion", + "▁opt ion", + "▁т вою", + "▁тво ю", + "▁accompan ied", + "ar ant", + "ara nt", + "a rant", + "▁крестьян ских", + "▁крестья нских", + "▁центра лизова", + "as p", + "a sp", + "▁с я", + "▁ ся", + "▁лег кий", + "▁ча стного", + "▁част ного", + "▁час тного", + "▁церков ной", + "▁ком ната", + "▁комна та", + "un c", + "▁под час", + "▁на ри", + "▁нар и", + "▁абсолю тной", + "▁абсолютно й", + "кло в", + "кл ов", + "к лов", + "▁ку льта", + "▁куль та", + "▁культ а", + "▁разгово ров", + "▁разговор ов", + "ре нными", + "рен ными", + "ренным и", + "▁узна ла", + "▁узнал а", + "st ar", + "ля тора", + "лятор а", + "▁ens ure", + "▁возмо жна", + "▁двой ной", + "▁отдох нуть", + "▁полу чены", + "▁s elling", + "▁sell ing", + "▁У ва", + "тро пи", + "троп и", + "▁Божи ей", + "▁кру ги", + "▁круг и", + "▁мастер ство", + "▁био логических", + "▁биологи ческих", + "M od", + "▁Фе о", + "▁Вели кая", + "гро б", + "гр об", + "г роб", + "▁w arm", + "▁war m", + "▁wa rm", + "▁в ходи", + "▁вход и", + "▁ссы лке", + "▁art illery", + "▁Луч ший", + "▁моди фикации", + "▁модифика ции", + "во рения", + "▁R ub", + "▁Ru b", + "▁m arg", + "▁mar g", + "▁бес числе", + "▁ch ampion", + "▁ду ху", + "▁дух у", + "про ти", + "пр оти", + "▁Григо рия", + "G et", + "▁Ди к", + "▁ми стер", + "▁благо со", + "▁вер блю", + "▁посвя щены", + "▁посвящен ы", + "▁Н еве", + "▁Не ве", + "▁Сте пан", + "▁Степа н", + "▁ми ровая", + "▁миро вая", + "▁миров ая", + "ва лом", + "вал ом", + "вало м", + "▁суще ствующие", + "▁существу ющие", + "▁ф ру", + "▁публика ций", + "B O", + "▁понима ем", + "▁знамени тых", + "ма рка", + "мар ка", + "▁си гнали", + "▁сигна ли", + "▁сигнал и", + "▁социаль ную", + "▁Б оло", + "▁Бо ло", + "▁Бол о", + "▁ответ или", + "▁отве тили", + "▁ответил и", + "▁оли гар", + "▁автомоби ле", + "▁сум мар", + "▁сумма р", + "▁При меня", + "▁Приме ня", + "▁legisl ation", + "Челове к", + "ak i", + "a ki", + "co h", + "c oh", + "▁верто лета", + "▁вертолет а", + "▁m ir", + "▁mi r", + "▁ mir", + "▁гаран тии", + "▁поро ждает", + "▁предприятия х", + "▁да льность", + "▁даль ность", + "▁п рон", + "▁про н", + "▁пр он", + "▁в да", + "▁вд а", + "Золо тая", + "▁бое вую", + "▁боев ую", + "▁на рисо", + "▁нари со", + "▁ту рок", + "▁тур ок", + "о чень", + "▁R and", + "▁Се вера", + "▁Север а", + "▁Ника ких", + "▁до цен", + "▁столк нулся", + "▁столкну лся", + "Та м", + "Т ам", + "ic on", + "ico n", + "i con", + "кон струи", + "▁вол нения", + "е д", + "▁doc uments", + "▁document s", + "▁комму низма", + "▁коммуни зма", + "поли тической", + "be l", + "b el", + "▁Да нная", + "▁Дан ная", + "зо вых", + "зов ых", + "зовы х", + "ба ль", + "бал ь", + "б аль", + "▁про рыва", + "▁проры ва", + "▁прорыв а", + "▁по шёл", + "▁пош ёл", + "▁захва т", + "▁в реза", + "▁вре за", + "▁тео рий", + "▁норма льного", + "▁нормально го", + "▁норм ального", + "▁краси вый", + "ма ш", + "▁изда тельство", + "▁вы текает", + "▁вытека ет", + "▁world wide", + "▁верх него", + "ер ей", + "ере й", + "е рей", + "▁respons ibility", + "▁Х ристиан", + "▁Бре ж", + "У Т", + "▁солн цем", + "▁солнце м", + "ле вых", + "лев ых", + "▁устро ил", + "▁устрои л", + "▁signific antly", + "▁significant ly", + "▁о вра", + "▁ов ра", + "▁нарко тиков", + "au x", + "a ux", + "▁sever e", + "▁att ached", + "▁объяви ть", + "▁объя вить", + "▁по благода", + "yle s", + "yl es", + "y les", + "▁Спа си", + "▁Спас и", + "▁w aters", + "▁water s", + "▁wa ters", + "▁Л уна", + "▁Лу на", + "пи лись", + "пили сь", + "▁Бо жь", + "▁объек тивно", + "ok es", + "oke s", + "o kes", + "▁испы ту", + "▁репута цию", + "▁слуша телей", + "виде тельство", + "▁r ates", + "▁ra tes", + "▁rate s", + "▁rat es", + "▁смо трю", + "▁яр кие", + "но ваться", + "нова ться", + "ви ну", + "вин у", + "▁fin ishing", + "▁finish ing", + "▁анти совет", + "▁% ,", + "▁ %,", + "▁Al b", + "▁бо льным", + "▁боль ным", + "▁кам нями", + "▁камня ми", + "▁про двига", + "▁продви га", + "▁прод вига", + "▁бу кси", + "▁бук си", + "▁повлия ть", + "ска зу", + "▁одино чку", + "ant asy", + "anta sy", + "▁prom pt", + "▁умень шения", + "ши не", + "шин е", + "▁написа ли", + "▁написал и", + "▁спи р", + "▁вар вар", + "стоя ния", + "▁is ol", + "▁Константино поль", + "▁У сть", + "▁Ус ть", + "ра нь", + "ран ь", + "р ань", + "дя м", + "д ям", + "▁потре бля", + "▁потреб ля", + "а в", + "▁под бо", + "▁И сти", + "▁Ис ти", + "▁ка мера", + "▁кам ера", + "▁камер а", + "▁каме ра", + "ти ком", + "тик ом", + "тико м", + "це нка", + "цен ка", + "▁объяс нять", + "▁f illed", + "▁fil led", + "▁москов ский", + "▁карто фель", + "▁картофе ль", + "▁ra cial", + "ra nt", + "ran t", + "r ant", + "ни что", + "▁s che", + "▁sc he", + "▁sch e", + "▁партий ных", + "▁хозяй ственной", + "▁хозяйстве нной", + "▁Фё дор", + "▁бе жит", + "▁помо гло", + "▁помог ло", + "▁спут ника", + "▁спутник а", + "▁aff ili", + "▁рису нке", + "▁докла де", + "▁доклад е", + "▁L ist", + "▁Li st", + "▁Lis t", + "▁ List", + "▁за пе", + "▁vill ages", + "▁village s", + "▁масшта ба", + "▁масштаб а", + "▁да ма", + "▁дам а", + "E E", + "▁та щи", + "▁ тащи", + "f ather", + "▁обще образова", + "▁Я сно", + "▁пла мя", + "▁philosoph y", + "▁Пере вод", + "▁p hen", + "▁ph en", + "▁c risis", + "▁З во", + "▁с няли", + "▁сня ли", + "▁снял и", + "▁сни жается", + "▁у бо", + "▁фрон том", + "▁фронт ом", + "▁малей шего", + "▁пу ли", + "▁жан дар", + "▁К ОН", + "▁КО Н", + "▁ве рят", + "▁вер ят", + "▁понима ешь", + "▁долла ра", + "▁долл ара", + "▁у ход", + "▁ухо д", + "A d", + "▁Гла вной", + "▁Глав ной", + "▁свобо дным", + "▁свобод ным", + "ва телей", + "▁pra ised", + "▁нагля дно", + "▁Мекси ки", + "▁пред писы", + "▁st ores", + "▁store s", + "▁chall enge", + "▁challeng e", + "▁осве дом", + "▁ча стям", + "▁част ям", + "тни ков", + "тник ов", + "т ников", + "at ched", + "atch ed", + "пе нга", + "пен га", + "▁зна мена", + "▁dr iving", + "▁un iform", + "ве ром", + "вер ом", + "веро м", + "▁те сты", + "▁тест ы", + "▁Ле ни", + "▁Лен и", + "▁ию нь", + "▁Вашинг тоне", + "▁Вашингтон е", + "х ли", + "▁Ц вета", + "▁Цвет а", + "▁приве з", + "▁прив ез", + "▁низ ким", + "▁О в", + "ен а", + "е на", + "▁иу дей", + "▁оче рта", + "▁очер та", + "▁встре чаться", + "▁встреча ться", + "ц ком", + "▁кол ду", + "▁В Ц", + "▁се стре", + "op her", + "oph er", + "▁же нский", + "▁жен ский", + "▁k ick", + "▁жи тельства", + "▁житель ства", + "▁физи к", + "де сант", + "▁экзем пляр", + "▁экземпля р", + "▁вол нова", + "▁ волнова", + "▁доба вляют", + "▁гре ки", + "▁испол нилось", + "▁исполни лось", + "ail ed", + "ai led", + "a iled", + "▁не сли", + "▁н если", + "▁нес ли", + "▁ несли", + "▁ве ктор", + "▁век тор", + "▁происходя щее", + "смо тр", + "▁стои мостью", + "▁стоимость ю", + "▁стоимо стью", + "▁горо дке", + "▁город ке", + "▁I l", + "жа не", + "жан е", + "ж ане", + "▁ш ку", + "▁ шку", + "ur is", + "u ris", + "▁потерпе л", + "▁потер пел", + "▁we ak", + "▁ж ут", + "▁жу т", + "▁ жут", + "▁вре менного", + "▁времен ного", + "▁време нного", + "▁временно го", + "▁B ah", + "▁Ba h", + "▁ра да", + "▁р ада", + "▁рад а", + "▁Балтий ского", + "▁F und", + "▁Fu nd", + "▁Университе т", + "▁пово рота", + "▁поворот а", + "▁поворо та", + "▁сохра нилась", + "▁сохрани лась", + "ue se", + "ues e", + "u ese", + "▁Swed en", + "▁Con c", + "▁ph one", + "▁ phone", + "▁expl os", + "ag h", + "a gh", + "▁T rib", + "▁Tr ib", + "▁Tri b", + "▁закры тия", + "▁Красно зна", + "▁Сло вом", + "▁Слово м", + "▁вы ключа", + "▁выклю ча", + "▁эпизо дов", + "▁эпизод ов", + "▁sched uled", + "▁из менять", + "▁изме нять", + "▁изменя ть", + "▁измен ять", + "▁с тира", + "▁сти ра", + "▁с нис", + "▁сни с", + "ле тки", + "лет ки", + "он ера", + "оне ра", + "онер а", + "о нера", + "▁Сток голь", + "ш н", + "▁ф ила", + "▁фи ла", + "▁секрета рем", + "▁секретар ем", + "▁ню ан", + "ве ни", + "вен и", + "▁Верхов ной", + "▁жела ющих", + "▁созда ются", + "▁создают ся", + "▁applic ations", + "▁application s", + "▁J ane", + "▁Jan e", + "▁напра влено", + "▁направлен о", + "▁Та ври", + "▁совеща ние", + "▁посе тить", + "▁посети ть", + "ду ра", + "д ура", + "ста ви", + "став и", + "▁вла дел", + "▁владе л", + "▁incorpor ated", + "▁обеспе чивать", + "▁обеспечи вать", + "▁рас цвета", + "▁ви дам", + "▁вид ам", + "▁вида м", + "▁Ста рый", + "▁при слуши", + "▁мар ша", + "▁марш а", + "ро динами", + "роди нами", + "▁т щет", + "▁времен ам", + "▁време нам", + "▁времена м", + "ку ла", + "▁Аль бер", + "ou ri", + "our i", + "▁крей сера", + "▁крейсер а", + "ро дные", + "род ные", + "▁ран ние", + "Ве н", + "В ен", + "▁er ror", + "▁err or", + "▁ error", + "ви дение", + "виде ние", + "▁пузы рь", + "ин те", + "и нте", + "▁во лость", + "▁воло сть", + "▁волос ть", + "▁согла сова", + "▁согласо ва", + "ar ner", + "arn er", + "▁ликви да", + "▁страте гия", + "▁стратеги я", + "▁обе спо", + "▁mult i", + "▁жи телям", + "▁жителя м", + "ру са", + "рус а", + "р уса", + "▁Со колов", + "ra c", + "r ac", + "хо р", + "х ор", + "ствен на", + "стве нна", + "am ic", + "ami c", + "▁о бая", + "▁об ая", + "▁оба я", + "▁Ба шки", + "▁Баш ки", + "▁останови лись", + "▁остано вились", + "▁в вел", + "▁кра тков", + "▁крат ков", + "▁кратко в", + "▁ви до", + "▁вид о", + "▁чемпиона тов", + "▁чемпионат ов", + "▁ка зна", + "▁каз на", + "ду х", + "▁съ ё", + "▁не деля", + "▁неде ля", + "▁внед рения", + "▁внедре ния", + "om ic", + "▁По ра", + "▁Пор а", + "▁серьез ный", + "▁accom mod", + "▁t ank", + "▁чув ствуют", + "▁чувству ют", + "▁чувствую т", + "ще нными", + "щен ными", + "щенным и", + "▁ле ди", + "▁л еди", + "▁лед и", + "▁бо рода", + "▁бор ода", + "▁боро да", + "жи вают", + "▁сла бые", + "▁слабы е", + "▁Sing apore", + "▁стрель бе", + "▁футбо льный", + "▁футболь ный", + "▁тер ра", + "▁v ocal", + "▁voc al", + "▁сви ре", + "▁прави лами", + "▁правила ми", + "▁правилам и", + "▁B ol", + "▁Bo l", + "▁вся кая", + "▁трибу на", + "▁сове сть", + "ме нная", + "мен ная", + "▁следу ющая", + "▁Аб ха", + "▁учё ные", + "▁Р П", + "▁ремесле н", + "▁прио ритет", + "▁приорите т", + "▁comb ination", + "▁оказа л", + "▁ока зал", + "▁T ai", + "▁И тальян", + "▁Госпо ди", + "ac ent", + "ace nt", + "a cent", + "▁Е р", + "цен тр", + "▁мо роз", + "▁мор оз", + "▁моро з", + "▁де зин", + "ря дка", + "ряд ка", + "ра циона", + "▁публи ке", + "▁удовлет ворить", + "▁удовлетво рить", + "▁удовлетвори ть", + "ле ю", + "▁специаль ное", + "▁специ альное", + "▁специально е", + "бо вал", + "бов ал", + "бова л", + "ос та", + "о ста", + "▁сериа ле", + "▁сериал е", + "▁жиз ненно", + "▁жизне нно", + "in ch", + "inc h", + "▁соот но", + "▁Выступа л", + "▁Что б", + "▁коммер ческих", + "▁T en", + "▁Te n", + "▁раз мести", + "▁разме сти", + "▁поверх ностью", + "▁поверхность ю", + "▁поверхно стью", + "▁den ied", + "▁Ельци на", + "▁у жи", + "▁уж и", + "▁извест ными", + "▁известны ми", + "▁известным и", + "▁изве стными", + "▁ар те", + "▁арт е", + "▁own ers", + "▁owner s", + "▁пенси и", + "▁пен сии", + "▁се ктор", + "▁сек тор", + "▁miss ing", + "▁в яз", + "▁вя з", + "▁ вяз", + "▁подраз деля", + "▁E vent", + "▁Ev ent", + "▁Even t", + "▁Каждо е", + "▁состя за", + "▁скульп туры", + "▁скульптур ы", + "▁ле нинград", + "▁з вери", + "▁зве ри", + "▁звер и", + "▁за вет", + "▁заве т", + "чё те", + "чёт е", + "ч ёте", + "сти жи", + "▁се ро", + "▁сер о", + "▁банк рот", + "▁банкро т", + "▁вече рин", + "▁вечер ин", + "▁выстре ла", + "юр ера", + "юре ра", + "юрер а", + "поль зова", + "▁Дви жение", + "▁Но чью", + "▁под во", + "▁об ходи", + "▁обход и", + "▁ обходи", + "▁попро сили", + "▁попросил и", + "▁И в", + "▁обнару жен", + "бе ка", + "бек а", + "▁диа метр", + "▁диамет р", + "▁исти нно", + "▁stay ed", + "Фран циско", + "▁turn s", + "▁tur ns", + "про вода", + "провод а", + "▁min ute", + "▁кру гов", + "▁круг ов", + "▁круго в", + "ж ская", + "▁за вла", + "▁Жен щины", + "▁реаль ностью", + "▁реа льностью", + "▁реальность ю", + "▁реально стью", + "▁гото вится", + "▁готов ится", + "▁бы вшим", + "▁ин спек", + "▁инспе к", + "чи вание", + "чива ние", + "▁горо док", + "▁город ок", + "▁я влением", + "▁яв лением", + "▁явление м", + "u ilt", + "▁И Г", + "▁воз люблен", + "ol ished", + "olis hed", + "▁Ку ли", + "▁диа лога", + "▁диалог а", + "С Е", + "od ox", + "▁популяр ной", + "▁популя рной", + "▁ал ьян", + "▁аль ян", + "▁скульп тур", + "▁с корей", + "▁ско рей", + "▁скор ей", + "то вать", + "това ть", + "▁а мор", + "▁ам ор", + "▁прожи вали", + "▁ча сами", + "▁часа ми", + "▁Худо жник", + "▁стра нные", + "▁стран ные", + "▁го тово", + "▁гото во", + "▁готов о", + "▁найден о", + "▁найде но", + "▁res idence", + "▁собы тием", + "▁событие м", + "▁тра вя", + "▁трав я", + "▁наи мень", + "▁тю рк", + "▁V i", + "ру сской", + "рус ской", + "▁у т", + "▁ ут", + "Л С", + "▁И бра", + "▁утвер ждали", + "▁утвержда ли", + "▁утверждал и", + "про сто", + "прос то", + "\" »", + "▁а ни", + "▁ан и", + "▁ ани", + "▁зим них", + "▁се строй", + "▁pract ices", + "▁practice s", + "▁серд цу", + "▁T ony", + "▁To ny", + "▁фран ков", + "▁фра нков", + "▁свет у", + "▁све ту", + "▁св ету", + "▁полицей ские", + "▁основа телей", + "▁осно вателей", + "com ing", + "co ming", + "▁моди фика", + "▁Fam ily", + "▁ве щах", + "▁веща х", + "▁Андре ев", + "▁лиш ним", + "▁st orage", + "▁независи мых", + "▁напра сно", + "го нь", + "гон ь", + "▁пи ща", + "▁чер ту", + "▁черт у", + "це ден", + "▁прокуро р", + "▁про честь", + "▁ди ких", + "▁дик их", + "▁хо рва", + "▁хор ва", + "▁concern s", + "▁сотруд ником", + "▁сотрудни ком", + "▁сотрудник ом", + "▁Ти бе", + "▁государства ми", + "▁процеду ру", + "▁си они", + "▁от ступ", + "ь ба", + "▁ка зен", + "▁каз ен", + "▁гражда нам", + "▁граждан ам", + "▁Э лли", + "▁Эл ли", + "▁обли га", + "▁Mag azine", + "▁инициа тиву", + "▁design s", + "qu es", + "que s", + "q ues", + "▁вы раста", + "▁выра ста", + "▁под писи", + "▁подпи си", + "▁писа телем", + "▁Современ ные", + "▁agricult ural", + "▁ви зит", + "▁визи т", + "▁оста влять", + "▁оставля ть", + "▁в р", + "▁ вр", + "ra it", + "r ait", + "▁пара метр", + "▁парамет р", + "▁ка знь", + "▁каз нь", + "▁С Т", + "▁ СТ", + "▁современ ное", + "секре тарь", + "▁о сты", + "▁ос ты", + "▁ост ы", + "▁сохра ня", + "▁сохран я", + "ug by", + "▁anc est", + "ub le", + "ubl e", + "u ble", + "▁с пит", + "▁спи т", + "▁занима ла", + "▁занимал а", + "ви ны", + "вин ы", + "в ины", + "али зации", + "а лизации", + "▁совер шении", + "▁мета лло", + "▁метал ло", + "▁металл о", + "жа ю", + "тчи ками", + "тчика ми", + "т чиками", + "▁ev olution", + "▁Восто чного", + "▁Вос точного", + "▁Восточно го", + "▁поступа ют", + "▁пунк тах", + "▁пункта х", + "▁за б", + "▁ги гие", + "▁глав ном", + "хе й", + "х ей", + "▁характери стика", + "▁характеристи ка", + "▁характеристик а", + "▁без жало", + "▁пере пол", + "▁Со кра", + "▁withd raw", + "ed ing", + "▁рас четы", + "▁расчет ы", + "▁расче ты", + "▁во шло", + "▁С кан", + "▁Ска н", + "▁Ск ан", + "sc ape", + "▁посоль ство", + "▁f an", + "▁fa n", + "af e", + "a fe", + "зу т", + "з ут", + "▁живо та", + "▁живот а", + "at han", + "ath an", + "▁развед ка", + "▁разве дка", + "▁те зи", + "▁о вец", + "▁ов ец", + "▁за тво", + "▁зат во", + "▁m ine", + "▁min e", + "▁mi ne", + "жи вал", + "жив ал", + "▁един ственного", + "▁единственно го", + "▁проек тирования", + "▁проектирова ния", + "к ни", + "▁усу гу", + "вз я", + "в зя", + "▁потом ков", + "▁у еди", + "▁описа нии", + "▁верх них", + "▁оп ья", + "су да", + "с уда", + "▁налого платель", + "рё л", + "р ёл", + "▁Г аль", + "▁Га ль", + "▁або нен", + "пп ер", + "ппе р", + "п пер", + "▁вели кая", + "▁велика я", + "▁велик ая", + "▁мастер ства", + "▁Шта тах", + "ро дной", + "род ной", + "▁com edy", + "▁выделя ются", + "▁выде ляются", + "▁выделяют ся", + "ration s", + "rat ions", + "r ations", + "▁вообра жения", + "▁совет скими", + "▁советским и", + "x x", + "▁S ab", + "▁Sa b", + "ra py", + "rap y", + "▁ОК Б", + "▁assist ance", + "▁Л ью", + "▁Ль ю", + "ло вым", + "корреспонден т", + "▁особенно стями", + "▁особен ностями", + "зи руя", + "зиру я", + "▁ба рон", + "▁бар он", + "▁баро н", + "▁ри мской", + "▁рим ской", + "▁темпера туру", + "▁температур у", + "▁экс пан", + "в лю", + "му нд", + "м унд", + "▁Д ево", + "▁Де во", + "▁участ никам", + "▁участник ам", + "▁участника м", + "▁A uthor", + "▁мене джер", + "▁менедже р", + "▁менедж ер", + "▁раскры ть", + "▁неко тором", + "▁некото ром", + "it le", + "i tle", + "ци зм", + "ц изм", + "▁свиде телем", + "▁кри пто", + "▁Друго е", + "▁Анто нио", + "▁ядер ных", + "▁example s", + "▁exam ples", + "▁Ди они", + "▁зак лина", + "▁законо проек", + "ха ри", + "хар и", + "▁un f", + "ra ction", + "ract ion", + "rac tion", + "r action", + "▁заклю чен", + "▁Е вра", + "▁Ев ра", + "▁s hel", + "▁sh el", + "▁she l", + "ти руются", + "тиру ются", + "тируют ся", + "▁сто лица", + "▁столи ца", + "▁ин су", + "▁то тали", + "▁тот али", + "▁з рение", + "▁зре ние", + "▁ зрение", + "▁Вален тин", + "▁ми ров", + "▁мир ов", + "▁миро в", + "▁низ кий", + "▁не совершен", + "▁несо вершен", + "та и", + "▁се ли", + "▁сел и", + "▁ сели", + ": \"", + "▁Gl obal", + "▁похо жие", + "▁похожи е", + "▁тур изма", + "▁тури зма", + "▁ра ст", + "▁рас т", + "▁продю сер", + "▁понима нию", + "▁строи тельных", + "ем ле", + "T ime", + "▁успе шной", + "▁успеш ной", + "▁успешно й", + "▁ре шается", + "▁реша ется", + "▁решает ся", + "▁корреспонден т", + "▁ корреспондент", + "▁воспринима ется", + "▁H ug", + "▁Hu g", + "▁Джор джа", + "▁Джордж а", + "щи ку", + "щик у", + "ъе сте", + "▁и ндо", + "▁ин до", + "▁И рак", + "▁Ир ак", + "▁Ира к", + "▁х ана", + "▁ха на", + "▁хан а", + "▁ хана", + "▁ак тивную", + "▁актив ную", + "▁regular ly", + "▁ра кета", + "▁ракет а", + "▁раке та", + "▁способ ные", + "▁способны е", + "▁поя влению", + "▁об щина", + "▁общи на", + "▁общ ина", + "▁общин а", + "P R", + "пра ва", + "прав а", + "▁спа си", + "▁спас и", + "▁ass umed", + "▁ниж них", + "▁си дела", + "▁сидел а", + "▁траге дия", + "ри ны", + "рин ы", + "р ины", + "▁э фир", + "▁эфи р", + "▁вра гами", + "▁врага ми", + "▁субъек т", + "▁воору женные", + "ф ли", + "▁набере жной", + "сте ров", + "стер ов", + "с теров", + "▁P ot", + "▁Po t", + "▁объеди няет", + "▁объединя ет", + "▁бого слов", + "▁Гла внокоман", + "▁эми гри", + "▁неприя теля", + "▁K at", + "▁испа нский", + "▁испан ский", + "▁С Д", + "▁расти тельного", + "вали фици", + "▁ ]", + "▁от кли", + "▁отк ли", + "дд а", + "д да", + "▁индивиду альной", + "▁индивидуаль ной", + "▁д оса", + "▁до са", + "▁ю жном", + "▁южно м", + "▁диви зию", + "▁дивизи ю", + "▁Фе дорович", + "▁Федо рович", + "▁неу верен", + "чник ом", + "чни ком", + "ч ником", + "▁inhab itants", + "▁retire ment", + "▁Импе рии", + "зи рованы", + "зирова ны", + "зирован ы", + "▁истреби тели", + "ста нно", + "стан но", + "▁found ation", + "▁P it", + "▁Си туация", + "as te", + "ast e", + "a ste", + "▁кар ьера", + "▁карь ера", + "ру м", + "р ум", + "▁кора бе", + "го лу", + "▁раз гра", + "▁d uties", + "▁du ties", + "▁n one", + "▁no ne", + "▁non e", + "▁sw itch", + "ло гу", + "лог у", + "▁чуде са", + "ска ра", + "ск ара", + "скар а", + "с кара", + "▁то лка", + "▁тол ка", + "▁серви сов", + "▁сервис ов", + "▁необычай но", + "▁совершен ства", + "▁Пар ла", + "▁f olk", + "▁ак тивным", + "▁актив ным", + "лли вуд", + "▁прид ётся", + "or er", + "ore r", + "▁бой цы", + "▁pass es", + "щи не", + "щин е", + "▁ro ads", + "▁road s", + "▁чу гу", + "▁город ском", + "▁Чарль з", + "ar o", + "a ro", + "служ бы", + "▁про хлад", + "▁па ст", + "▁пас т", + "▁каза лся", + "▁Поль шу", + "▁мета лл", + "▁метал л", + "▁про пустить", + "▁пропу стить", + "▁им порт", + "▁импор т", + "▁люби мого", + "▁откры тое", + "▁открыто е", + "▁открыт ое", + "▁яр ких", + "▁f ly", + "▁fl y", + "▁ве сть", + "▁вес ть", + "▁инстру ментом", + "▁инструмент ом", + "▁выход ные", + "▁вы вел", + "▁выве л", + "чу т", + "ч ут", + "О Й", + "▁вер немся", + "▁устро или", + "▁устрои ли", + "▁устроил и", + "▁особ ая", + "▁осо бая", + "▁C ab", + "▁Ca b", + "▁цивили зова", + "▁пи ки", + "▁пик и", + "▁b asketball", + "за ла", + "зал а", + "з ала", + "▁U SS", + "▁US S", + "atur day", + "b ian", + "▁res igned", + "▁слу читься", + "▁случи ться", + "▁у зла", + "▁уз ла", + "▁c ool", + "▁co ol", + "▁S ound", + "▁So und", + "▁при ехать", + "▁прие хать", + "▁приеха ть", + "та ре", + "тар е", + "ing ly", + "ро дного", + "род ного", + "▁по больше", + "▁побо льше", + "▁без обра", + "▁безо бра", + "во ил", + "вои л", + "рд жи", + "р джи", + "▁pro test", + "▁prote st", + "▁prot est", + "то ну", + "тон у", + "т ону", + "▁Do ctor", + "▁орби ты", + "ко к", + "к ок", + "▁раз лу", + "▁cour ts", + "▁court s", + "графи ческой", + "▁Не доста", + "▁дости гают", + "▁достига ют", + "▁b le", + "▁bl e", + "▁ ble", + "▁еврей ских", + "an es", + "ane s", + "a nes", + "ч та", + "▁постра дал", + "▁пострада л", + "гово ры", + "говор ы", + "▁про рыв", + "▁проры в", + "ни ны", + "нин ы", + "н ины", + "▁К об", + "▁Ко б", + "▁Э нер", + "▁Эн ер", + "▁C N", + "▁Во льф", + "▁Воль ф", + "▁совет ника", + "▁советник а", + "▁h ang", + "▁ha ng", + "▁соста вом", + "▁состав ом", + "ней шего", + "▁буты лки", + "▁поло тен", + "▁деву шке", + "ва нная", + "ван ная", + "▁покры тия", + "▁кух ни", + "▁shoot ing", + "▁боль ший", + "ми ри", + "мир и", + "▁пи том", + "▁прове рять", + "▁провер ять", + "▁проверя ть", + "▁Fore ign", + "▁возбу ди", + "▁D isc", + "▁Dis c", + "▁Di sc", + "▁з ме", + "▁ зме", + "▁му нди", + "▁влия ть", + "ва рда", + "вар да", + "вард а", + "▁ch urches", + "▁church es", + "▁жиз ненного", + "▁жизне нного", + "▁жизненно го", + "▁/ *", + "▁уверен ностью", + "▁уверенность ю", + "▁уверенно стью", + "▁p p", + "▁ pp", + "мо ни", + "мон и", + "м они", + "; #", + "▁освобо жден", + "▁при носят", + "▁О лега", + "▁Олег а", + "▁Оле га", + "▁откры вать", + "▁вла дений", + "▁владе ний", + "▁Ра ссе", + "▁Рас се", + "▁Расс е", + "▁Mount ain", + "▁deb ate", + "▁соот ношения", + "▁соотно шения", + "▁пе ска", + "▁пес ка", + "ate gy", + "ateg y", + "▁m ode", + "▁mod e", + "▁Г от", + "▁Го т", + "▁дене жные", + "▁от бира", + "▁отби ра", + "ри зации", + "▁ез дить", + "▁пригла сили", + "▁пригласил и", + "▁Из обра", + "▁Изо бра", + "ми нг", + "мин г", + "м инг", + "▁неме цкая", + "▁немец кая", + "▁He art", + "▁Де нис", + "▁Ден ис", + "▁Дени с", + "▁Ро зен", + "▁челове ко", + "▁человек о", + "то чная", + "▁По тре", + "▁духовен ства", + "ол е", + "о ле", + "зи стен", + "зис тен", + "▁Де я", + "ри ке", + "рик е", + "▁мыс лями", + "▁Hot el", + "▁мощ ным", + "бр ы", + "б ры", + "▁краси вые", + "▁фено мена", + "▁феномен а", + "▁фа ктора", + "▁фак тора", + "▁фактор а", + "▁от ныне", + "▁же ниться", + "▁жени ться", + "▁Наде жда", + "▁сте нами", + "▁стена ми", + "▁ви дна", + "▁вид на", + "▁военноп ленных", + "▁phot ograph", + "as hed", + "ash ed", + "▁вз волнова", + "uc ks", + "uck s", + "u cks", + "▁Эй зен", + "▁не обо", + "▁нео бо", + "▁необ о", + "фа кс", + "фак с", + "▁Ки евского", + "▁Киев ского", + "▁спу тник", + "▁спут ник", + "▁се ме", + "▁сем е", + "▁без грани", + "▁нау чился", + "щи н", + "щ ин", + "пс а", + "п са", + "▁пре взо", + "▁сто ловой", + "▁столо вой", + "пят ь", + "пя ть", + "п ять", + "ag ues", + "ague s", + "agu es", + "▁дей ствии", + "▁действи и", + "▁he aded", + "▁head ed", + "▁дума ешь", + "▁Ис полни", + "▁Испо лни", + "in ton", + "int on", + "▁отмеча ли", + "▁отме чали", + "▁отмечал и", + "▁прос вети", + "▁просве ти", + "▁просвет и", + "ю к", + "н це", + "▁яр кий", + "▁R ose", + "▁Ros e", + "▁Ro se", + "▁п лит", + "▁пли т", + "▁луч шая", + "▁ше стой", + "▁шест ой", + "▁догово ром", + "▁договор ом", + "▁с проек", + "▁спро ек", + "▁d rew", + "▁dr ew", + "▁союз ники", + "▁ла ко", + "ival ent", + "▁occ urs", + "▁occur s", + "▁специаль ную", + "▁выро сли", + "▁вырос ли", + "▁NAS A", + "▁Б ло", + "▁П ять", + "▁Пя ть", + "▁Пят ь", + "▁Y our", + "▁You r", + "▁не кро", + "▁мо ими", + "▁мои ми", + "▁моим и", + "▁Ав торы", + "▁Авто ры", + "▁Автор ы", + "▁рабо тая", + "▁работа я", + "▁работ ая", + "▁привле кает", + "▁привлека ет", + "▁ку лина", + "Ро ссий", + "▁ad mitted", + "Х А", + "▁холо да", + "▁хол ода", + "▁холод а", + "▁y ellow", + "▁цело стности", + "▁ре зю", + "▁рез ю", + "▁орке стр", + "эн д", + "э нд", + "▁Ч о", + "▁Принци п", + "С вя", + "▁par allel", + "▁оказа ния", + "▁ока зания", + "сколь з", + "ba l", + "b al", + "▁st ret", + "▁str et", + "▁stre t", + "▁обусло вли", + "▁Те одо", + "▁Тео до", + "ле тела", + "лете ла", + "летел а", + "▁каза ться", + "▁dev ices", + "▁device s", + "▁Пла ни", + "▁План и", + "▁поля ков", + "дж о", + "д жо", + "▁со хран", + "▁сохра н", + "▁ку рт", + "▁кур т", + "▁Та ган", + "▁посла ние", + "лё нных", + "лён ных", + "л ённых", + "▁re new", + "▁ren ew", + "▁присут ствовать", + "▁полу чат", + "▁получа т", + "▁жало б", + "▁жал об", + "▁господ ства", + "▁str uck", + "ne e", + "n ee", + "▁отря дом", + "▁отряд ом", + "▁прави льное", + "▁правильно е", + "▁под полков", + "▁подпо лков", + "id el", + "ide l", + "▁рису нки", + "▁С пас", + "▁Спа с", + "▁диза йна", + "▁дизай на", + "▁дизайн а", + "▁found ing", + "▁преж него", + "▁малень кую", + "in it", + "ini t", + "▁меда лей", + "де лки", + "дел ки", + "st ance", + "▁обна ро", + "▁гне зда", + "▁гнез да", + "ки ло", + "pr ison", + "pri son", + "p rison", + "▁ка ш", + "▁после довал", + "▁последова л", + "▁Мин ске", + "▁сочи нение", + "▁по пла", + "▁поп ла", + "▁ги ган", + "▁философ ских", + "▁ци кло", + "▁цикл о", + "▁шко льников", + "▁безу слов", + "oc ol", + "o col", + "▁Х мель", + "includ ing", + "▁ощу щений", + "▁полу чился", + "▁получи лся", + "▁получил ся", + "O P", + "▁способ ствуют", + "▁E ric", + "▁Er ic", + "▁при водить", + "▁приводи ть", + "▁приводит ь", + "▁приво дить", + "▁В ода", + "▁Во да", + "▁об ход", + "▁наз ваны", + "▁назва ны", + "▁назван ы", + "▁Мето д", + "▁Мет од", + "et ime", + "e time", + "▁япо нский", + "▁япон ский", + "▁митрополи та", + "▁митропо лита", + "▁митрополит а", + "▁се тях", + "▁сет ях", + "▁мо заи", + "▁доступ ен", + "▁употребля ть", + "▁Д ор", + "▁До р", + "▁перио дом", + "▁период ом", + "▁но га", + "▁ног а", + "▁ ́", + "▁досто примеча", + "ли ровать", + "▁Pol it", + "▁вы мышлен", + "▁опера тивного", + "▁оперативно го", + "▁t ons", + "▁to ns", + "▁награ жден", + "▁стать ях", + "▁статья х", + "▁ро ждается", + "▁рожда ется", + "for mer", + "form er", + "▁гео графии", + "▁географи и", + "▁допуска ется", + "it able", + "ita ble", + "▁стро ку", + "▁строк у", + "▁зая вку", + "ow ered", + "ower ed", + "▁приз ёром", + "▁призёр ом", + "▁сла бе", + "▁пересе ка", + "▁с пал", + "▁спа л", + "▁бес стра", + "▁бесс тра", + "за на", + "зан а", + "з ана", + "ки вает", + "s ub", + "▁болез нью", + "▁болезнь ю", + "▁пролета р", + "▁проле тар", + "▁ар хаи", + "▁пообе щал", + "▁пись мах", + "▁письма х", + "▁шан сов", + "▁шанс ов", + "▁ожида ли", + "▁ожи дали", + "▁ожидал и", + "▁празд ники", + "▁праздник и", + "▁праздни ки", + "▁ба зой", + "▁базо й", + "▁баз ой", + "▁фло том", + "▁флот ом", + "тки н", + "тк ин", + "т кин", + "▁Сла вя", + "▁bene fit", + "▁benef it", + "▁class ical", + "▁созда нных", + "▁создан ных", + "м би", + "▁постано вке", + "▁постанов ке", + "▁потенциа ла", + "▁потенциал а", + "▁Элиза бет", + "▁про живает", + "▁прожи вает", + "▁ко лен", + "▁кол ен", + "▁коле н", + "▁p ool", + "▁po ol", + "▁ pool", + "▁доро гах", + "▁дорога х", + "▁пре кло", + "un nel", + "unn el", + "▁по двиг", + "▁подви г", + "▁устраи вает", + "▁Брита нии", + "▁к ин", + "▁ки н", + "▁ кин", + "▁съ емо", + "▁съе мо", + "▁съем о", + "▁взя лся", + "▁взял ся", + "▁одино честве", + "▁приобре тение", + "▁приобрете ние", + "▁продол жались", + "▁продолжа лись", + "▁продолжали сь", + "▁кри чит", + "igr ants", + "▁propos al", + "▁с ара", + "▁са ра", + "▁от стоя", + "▁f inding", + "▁find ing", + "▁поя влялись", + "▁появля лись", + "▁исто лко", + "▁иденти фика", + "▁взаимодей ствии", + "▁опо ры", + "▁опор ы", + "▁оцени вается", + "▁subject s", + "ур ов", + "у ров", + "▁к лин", + "▁кли н", + "▁тор говой", + "▁торго вой", + "▁торгов ой", + "▁подготов и", + "▁подгото ви", + "ти кой", + "тик ой", + "тико й", + "▁космо се", + "▁космос е", + "▁cap able", + "▁Само лет", + "▁ви дения", + "▁виде ния", + "▁trans ition", + "юще мся", + "ющем ся", + "▁согла сны", + "▁м эра", + "▁мэ ра", + "▁исполни телей", + "▁жа лко", + "▁жал ко", + "▁З ла", + "▁про бы", + "▁пр обы", + "▁проб ы", + "▁выго ды", + "▁выгод ы", + "▁Sil ver", + "▁земле дель", + "▁до казывает", + "▁доказыва ет", + "▁дока зывает", + "▁ху тор", + "дя х", + "д ях", + "ж ских", + "▁подо шла", + "▁наде ясь", + "▁надея сь", + "▁T reat", + "▁Tre at", + "▁ро з", + "▁р оз", + "▁ роз", + "ro ns", + "ron s", + "r ons", + "нх ен", + "н хен", + "▁pro sec", + "▁pros ec", + "▁п ерей", + "▁пере й", + "▁пер ей", + "▁пе рей", + "ров ском", + "▁c ensus", + "▁дер жали", + "▁держа ли", + "▁держал и", + "▁потом ки", + "▁ста вку", + "▁став ку", + "R L", + "Т ре", + "сс ой", + "ссо й", + "с сой", + "▁ли нией", + "▁электро нов", + "▁задей ствова", + "▁А ля", + "▁Ал я", + "▁проек тирова", + "▁дополни тельной", + "▁дополнительно й", + "▁а рабо", + "▁араб о", + "▁ара бо", + "▁большин ством", + "▁большинство м", + "t ion", + "▁N ever", + "▁Ne ver", + "▁бабу шки", + "▁L is", + "▁Li s", + "▁случа лось", + "ut or", + "▁Сим феро", + "▁древ е", + "▁др еве", + "▁дре ве", + "▁Sum mer", + "▁i OS", + "▁Горь кий", + "▁pur poses", + "▁purpose s", + "▁ма мы", + "▁pain ted", + "▁paint ed", + "▁пригово ра", + "▁приговор а", + "ch ang", + "chan g", + "▁опыт у", + "▁опы ту", + "▁adv oc", + "би нской", + "бин ской", + "▁повы шает", + "▁Inst ead", + "▁преу спе", + "Ш е", + "▁бе ге", + "▁бег е", + "▁гото вят", + "▁готов ят", + "▁изме нениями", + "▁изменения ми", + "▁разнови дность", + "▁Ла дно", + "▁увеличи вает", + "▁увели чивает", + "▁опера ционной", + "▁совеща нии", + "▁массо вые", + "▁су ши", + "▁само созна", + "▁ба ры", + "▁бар ы", + "out heast", + "▁С офи", + "▁Со фи", + "▁Соф и", + "му ществ", + "муще ств", + "▁пара диг", + "▁Colon el", + "ри х", + "р их", + "▁Донец кой", + "▁полез ным", + "ор дини", + "▁Об щий", + "▁b rig", + "▁br ig", + "▁Ко рот", + "▁Кор от", + "▁Коро т", + "ни чный", + "▁гипоте за", + "▁методи ки", + "▁ре альное", + "▁реаль ное", + "▁реа льное", + "▁реально е", + "э пи", + "▁у де", + "▁уд е", + "жи я", + "▁Рас простра", + "▁не кая", + "▁поезд ов", + "▁поез дов", + "▁sing ing", + "▁огне стре", + "▁психи ческих", + "▁в лю", + "▁ влю", + "▁h ttps", + "▁http s", + "Д И", + "▁Фрей д", + "▁отста вке", + "▁отстав ке", + "▁Новгород е", + "▁Новго роде", + "sc ript", + "s cript", + "▁Чи каго", + "▁глав ными", + "▁главным и", + "▁D ick", + "▁Di ck", + "▁обеспе чению", + "m m", + "▁извле чь", + "зи ровали", + "зирова ли", + "зировал и", + "▁проте ст", + "▁Т они", + "▁То ни", + "▁Тон и", + "то вания", + "това ния", + "▁ба лли", + "▁бал ли", + "▁ка бины", + "▁каби ны", + "▁нару шении", + "ще нную", + "щен ную", + "▁противоре чий", + "▁противоречи й", + "▁гу ля", + "▁по мы", + "▁пом ы", + "▁вызыва ли", + "▁несов мести", + "▁центра льный", + "▁центр альный", + "over ty", + "▁факультет е", + "▁факульте те", + "▁стратеги ческих", + "гото вка", + "готов ка", + "▁found er", + "▁проя влять", + "▁проявля ть", + "▁анали зу", + "▁анализ у", + "▁l ake", + "▁la ke", + "▁удоб нее", + "▁по кое", + "▁поко е", + "▁изме нением", + "▁изменение м", + "▁некото рую", + "▁исто рио", + "▁истори о", + "▁re tained", + "▁ret ained", + "▁Се ль", + "▁gr ade", + "▁grad e", + "▁gra de", + "▁municip al", + "ба вок", + "▁импера тору", + "▁император у", + "▁Об щее", + "▁Обще е", + "▁умер ших", + "бле нию", + "б лению", + "▁Ф БР", + "▁тра ва", + "▁трав а", + "▁ветера нов", + "▁по чек", + "▁поч ек", + "▁поче к", + "▁суб си", + "▁без воз", + "▁з мей", + "▁зме й", + "▁предложи ла", + "▁предложил а", + "▁де жур", + "▁дежу р", + "▁thous and", + "▁выпу стила", + "▁выпусти ла", + "▁выпустил а", + "va rd", + "var d", + "v ard", + "▁C all", + "▁Cal l", + "▁Ca ll", + "▁а пел", + "▁сла до", + "▁слад о", + "▁answ er", + "ти ни", + "тин и", + "lo ck", + "l ock", + "ло жив", + "ложи в", + "лож ив", + "▁ар мян", + "▁армя н", + "▁пят надцати", + "▁ре форми", + "▁реформ и", + "▁рефор ми", + "▁Пре свя", + "▁Мар са", + "▁de leg", + "▁R ights", + "к м", + "▁платфор ме", + "▁с кото", + "▁ско то", + "▁скот о", + "▁un us", + "ле ка", + "лек а", + "▁вопло щение", + "▁Пись мо", + "▁Oper ation", + "▁Opera tion", + "▁серьез ным", + "▁Белару си", + "▁тех но", + "▁кор ней", + "▁корне й", + "би не", + "бин е", + "▁орга низу", + "▁органи зу", + "▁О га", + "▁Ог а", + "▁до ложил", + "▁у пру", + "▁на йдет", + "▁най дет", + "▁найде т", + "▁sup erv", + "▁super v", + "сте ром", + "стер ом", + "с тером", + "▁str ategy", + "▁strateg y", + "▁возвра щался", + "▁возвраща лся", + "▁совет ом", + "▁сове том", + "▁принима ется", + "▁принимает ся", + "▁ch ain", + "▁ди стри", + "▁дис три", + "▁уничто жены", + "▁в ед", + "▁ве д", + "▁ вед", + "▁пользова телям", + "▁пользователя м", + "▁Кон тро", + "▁Е ре", + "▁Ер е", + "▁dep th", + "▁Н ер", + "▁Не р", + "▁p ull", + "▁pul l", + "▁гре хов", + "▁грех ов", + "▁попа ло", + "▁попал о", + "▁Википе дии", + "▁заве домо", + "▁Д ек", + "▁Де к", + "чи вые", + "▁поэ том", + "▁поэт ом", + "▁c rown", + "▁cr own", + "▁cro wn", + "▁собесед ника", + "▁собеседник а", + "▁ста рую", + "▁стар ую", + "▁стару ю", + "три н", + "тр ин", + "т рин", + "▁Pr ior", + "▁Pri or", + "▁превос ходя", + "▁превосход я", + "▁requ ires", + "▁require s", + "▁малень ким", + "▁архитек туре", + "▁архитектур е", + "▁специаль ная", + "▁специ альная", + "▁вку са", + "▁вкус а", + "▁кре сла", + "▁Ми ровой", + "▁Миро вой", + "▁St ock", + "▁G ib", + "▁Gi b", + "▁D ream", + "▁consider able", + "▁мол чали", + "▁молча ли", + "▁сред ствах", + "▁средства х", + "▁беспокой ство", + "▁F a", + "хо л", + "х ол", + "▁уме ло", + "▁умел о", + "▁заста вляют", + "▁заставля ют", + "▁v eter", + "▁ve ter", + "▁f rag", + "▁fr ag", + "ев рей", + "▁финанси рование", + "▁на лог", + "▁тяже лое", + "▁тяжело е", + "▁particip ate", + "▁вто рг", + "▁втор г", + "▁Мюн хе", + "▁register ed", + "▁Свердлов ской", + "ев ская", + "▁от зыв", + "▁а с", + "▁ ас", + "ло ма", + "лом а", + "▁дела ете", + "▁делает е", + "▁гла зом", + "▁глаз ом", + "С ША", + "▁зам ке", + "су рд", + "сур д", + "ал ов", + "а лов", + "▁Ро ль", + "▁долго го", + "▁typ ical", + "▁Е фре", + "ты вает", + "ши но", + "шин о", + "ш ино", + "▁С емен", + "▁Се мен", + "▁Сем ен", + "▁Семе н", + "▁ря дов", + "▁ряд ов", + "▁м исти", + "▁ми сти", + "▁O nt", + "▁On t", + "▁кра тко", + "▁крат ко", + "▁inter ior", + "▁Portug uese", + "▁ниж нем", + "▁но меров", + "▁номер ов", + "▁номе ров", + "то вской", + "тов ской", + "▁юно шей", + "▁юноше й", + "▁упомина ния", + "▁захо чет", + "▁филосо фа", + "▁философ а", + "%) ,", + "% ),", + "▁G h", + "▁Анали з", + "▁вре менных", + "▁времен ных", + "▁време нных", + "сы лка", + "▁предпринима тель", + "▁Уильям а", + "▁Уилья ма", + "▁союз ных", + "▁указа нием", + "▁указание м", + "▁Кра сный", + "▁Ham ilton", + "▁Нем цы", + "▁пере дана", + "▁перед ана", + "▁переда на", + "▁передан а", + "▁J S", + "▁про водя", + "▁прово дя", + "▁провод я", + "▁Ph ys", + "б ба", + "▁популяр ностью", + "▁популярность ю", + "▁ва х", + "▁ вах", + "▁обра дова", + "▁Р ису", + "▁Ри су", + "▁Рис у", + "по том", + "пот ом", + "st ruct", + "str uct", + "▁teac hers", + "▁teacher s", + "раз рабо", + "▁ма йора", + "▁майор а", + "▁ майора", + "▁моги лы", + "▁g ather", + "▁уси лить", + "▁усили ть", + "▁за писки", + "▁запи ски", + "пе ри", + "пер и", + "л с", + "▁позволя ло", + "▁бе дра", + "▁бед ра", + "▁перевод чик", + "▁откры тые", + "▁открыты е", + "▁in put", + "▁им мигра", + "▁B urn", + "▁Bur n", + "▁N ich", + "▁Nic h", + "▁ q", + "а зиат", + "▁художе ств", + "▁прекра сной", + "▁прекрасно й", + "▁кру то", + "▁теку щей", + "O D", + "пле та", + "плет а", + "п лета", + "▁determ ine", + "зи лся", + "зил ся", + "з ился", + "Я Т", + "▁К руг", + "▁Кру г", + "про вер", + "▁взрос лого", + "▁взросло го", + "▁при шель", + "▁пришел ь", + "час тие", + "части е", + "▁вы веден", + "▁выве ден", + "w ich", + "▁sec ure", + "▁несо гла", + "▁официаль ные", + "▁S D", + "▁ак теров", + "▁актер ов", + "▁превы ша", + "▁Тбили си", + "▁Ж ак", + "▁Жа к", + "▁при ехала", + "▁приехал а", + "▁приеха ла", + "pos t", + "po st", + "p ost", + "▁Ли тератур", + "▁Литера тур", + "▁до полне", + "▁допол не", + "▁лам по", + "▁показа ло", + "▁показал о", + "ific ations", + "ification s", + "▁к рики", + "▁кри ки", + "▁крик и", + "ри йской", + "рий ской", + "▁столи цей", + "▁столице й", + "▁мо сту", + "▁мост у", + "▁выпол нен", + "▁ме няются", + "▁меня ются", + "* .", + "шо м", + "ш ом", + "▁v o", + "▁ vo", + "▁дома шней", + "▁домаш ней", + "▁хоро шень", + "▁свя зывает", + "▁связыва ет", + "▁у бра", + "▁О писание", + "▁запа са", + "▁запас а", + "ва ш", + "▁Эр н", + "F S", + "▁и ст", + "▁ис т", + "▁ ист", + "▁ва сса", + "▁вас са", + "стре би", + "ско ва", + "сков а", + "с кова", + "▁l ies", + "▁ме ща", + "▁фон дов", + "▁фонд ов", + "▁под няли", + "▁подня ли", + "▁поднял и", + "▁r ose", + "▁ro se", + "▁пе вица", + "▁Г ЛА", + "▁эм бле", + "ши вают", + "▁Batt alion", + "те нти", + "тен ти", + "тент и", + "▁album s", + "▁Prem ier", + "▁верх нем", + "ie ge", + "▁пла ву", + "▁плав у", + "▁Кры мской", + "▁Крым ской", + "▁Са му", + "▁Сам у", + "▁поддержи вали", + "▁поддерживал и", + "▁находя щийся", + "▁дет ство", + "▁Л ор", + "▁Ло р", + "▁на ки", + "▁серьез ное", + "▁серьезно е", + "B N", + "▁М ере", + "▁Ме ре", + "▁Мер е", + "▁поговори м", + "▁подписа ли", + "▁подписал и", + "▁critic ism", + "▁мо ё", + "▁Ц ин", + "▁Ци н", + "▁подру га", + "▁раство ра", + "▁раствор а", + "▁устра нения", + "▁поезд ку", + "▁поез дку", + "▁напра вленные", + "▁направлен ные", + "▁rep utation", + "▁относи тельности", + "▁относительно сти", + "▁при город", + "▁приго род", + "▁Ad am", + "▁приспо со", + "▁х вали", + "▁хва ли", + "▁Во просы", + "▁Вопрос ы", + "▁мане ре", + "▁требо ванием", + "▁требование м", + "▁Addition ally", + "▁тео рией", + "In t", + "I nt", + "ut her", + "uth er", + "u ther", + "V I", + "▁отде льности", + "▁отдель ности", + "▁отдельно сти", + "▁Ю жная", + "> >", + "И Х", + "us ing", + "▁документа ми", + "▁Mem orial", + "чник е", + "чни ке", + "ч нике", + "▁Ге рак", + "▁Гер ак", + "▁Гера к", + "шне е", + "ш нее", + "▁невозможно сти", + "▁невозмо жности", + "▁squad ron", + "P ar", + "▁глю ко", + "▁то чное", + "▁точно е", + "▁точ ное", + "▁ точное", + "▁все сторон", + "▁Р яза", + "▁Ря за", + "по мя", + "пом я", + "гра н", + "гр ан", + "г ран", + "▁созда нной", + "▁создан ной", + "▁разрабо тана", + "▁разработан а", + "▁разработа на", + "▁приня тии", + "▁L ieutenant", + "▁де спо", + "▁ме стам", + "▁мест ам", + "▁места м", + "▁драматур г", + "▁за шел", + "▁о ва", + "▁ов а", + "ownt own", + "▁c oun", + "▁co un", + "▁cou n", + "▁Челя бин", + "▁устой чивости", + "▁устойчи вости", + "▁B ureau", + "▁верто летов", + "▁вертолет ов", + "v i", + "▁жела ний", + "▁Со став", + "кле и", + "▁япо нцы", + "▁япон цы", + "▁гости ницы", + "▁фраг мента", + "▁фрагмент а", + "ко т", + "к от", + "▁гри бов", + "▁гриб ов", + "do n", + "d on", + "▁Воору жённых", + "▁re nd", + "▁r end", + "▁ren d", + "▁in tern", + "▁int ern", + "▁inter n", + "▁Аль берт", + "▁Альбер т", + "▁popular ity", + "▁У ЕФА", + "▁S R", + "▁э ква", + "▁эк ва", + "▁по ступи", + "▁посту пи", + "▁поступ и", + "▁Кор не", + "▁подчи нения", + "▁F inal", + "▁Fin al", + "ни вшись", + "нив шись", + "▁револю ционных", + "ze ch", + "z ech", + "▁Ф ай", + "▁Фа й", + "L C", + "▁освое ния", + "де кса", + "декс а", + "ro ke", + "r oke", + "му ж", + "▁входя щих", + "▁процесса х", + "▁Бу дет", + "▁Буд ет", + "чи с", + "ч ис", + "▁за роды", + "▁заро ды", + "▁Ro ute", + "▁Rou te", + "ga s", + "g as", + "▁Т им", + "▁Ти м", + "▁Числе нность", + "зе на", + "зен а", + "з ена", + "▁продук тами", + "▁продукта ми", + "Ж а", + "эм п", + "▁p ray", + "▁pr ay", + "▁pra y", + "▁кафе дра", + "▁з меи", + "▁зме и", + "▁страда ний", + "▁I C", + "▁ IC", + "са сы", + "▁ко че", + "▁впечат ля", + "▁ве гета", + "▁урав нове", + "▁ура внове", + "▁Моло дой", + "▁показа ний", + "▁А рт", + "▁Ар т", + "▁га ллю", + "▁гал лю", + "▁япо нцев", + "▁япон цев", + "] :", + "▁ре воль", + "▁Stud ios", + "▁Studio s", + "▁st adium", + "▁test ing", + "у чи", + "▁супру же", + "▁land ing", + "▁ника кие", + "▁скан дал", + "▁сканда л", + "дравству йте", + "▁Вол ги", + "▁cred it", + "▁завое вать", + "tra ck", + "tr ack", + "t rack", + "▁Шек спи", + "▁ро дины", + "▁роди ны", + "▁род ины", + "▁последу ющей", + "▁коммента риев", + "▁тек сти", + "▁текст и", + "▁contro vers", + "▁девя но", + "ти цы", + "▁за брать", + "▁забра ть", + "▁заб рать", + "▁Молда вии", + "▁право вых", + "▁восклик нул", + "k h", + "ва емым", + "та мина", + "тами на", + "там ина", + "▁подтвер дить", + "▁иде ально", + "▁идеаль но", + "▁идеа льно", + "ма ров", + "мар ов", + "▁z one", + "▁полу чите", + "▁получи те", + "▁получит е", + "▁дей ствующей", + "▁действу ющей", + "▁R ang", + "ри ко", + "рик о", + "▁Фё дорович", + "▁пье са", + "▁пьес а", + "спо кой", + "▁по ложению", + "▁поло жению", + "▁гри б", + "▁бактери й", + "пто м", + "пт ом", + "п том", + "▁ф ли", + "▁ фли", + "w orld", + "▁контр развед", + "▁ф лаго", + "▁фла го", + "▁флаг о", + "▁v ary", + "▁var y", + "▁t ur", + "▁а пель", + "▁апел ь", + "▁фор ума", + "▁фору ма", + "А д", + "▁Pal est", + "▁би леты", + "▁билет ы", + "▁ком пре", + "▁комп ре", + "▁Пла тона", + "▁Ц у", + "▁больше вики", + "▁большеви ки", + "▁При бы", + "▁про сты", + "▁прос ты", + "▁прост ы", + "▁дли нных", + "▁длин ных", + "▁ро ждение", + "ша лось", + "шало сь", + "▁t ick", + "▁ды ма", + "▁дым а", + "▁нагруз ку", + "▁a ired", + "▁air ed", + "▁Муж чина", + "▁HT ML", + "▁ко зы", + "▁коз ы", + "▁всеоб щего", + "▁компе тент", + "▁компетен т", + "▁вы нес", + "▁th inking", + "▁think ing", + "▁постано влением", + "▁постанов лением", + "▁постановление м", + "▁да дут", + "▁Wal ter", + "▁депре ссии", + "▁истори ческом", + "▁чер той", + "▁черт ой", + "▁ат ака", + "▁ата ка", + "▁атак а", + "▁techn ique", + "atab ase", + "▁обрабо тка", + "▁параш ют", + "▁парашю т", + "▁ди к", + "▁ дик", + "▁дере ву", + "▁дерев у", + "▁дер еву", + "▁Роди тели", + "▁suff icient", + "▁у казывается", + "▁указыва ется", + "▁указывает ся", + "▁ис ходит", + "▁исход ит", + "зы вов", + "зыв ов", + "▁логи ке", + "▁in her", + "▁ар ген", + "со вета", + "совет а", + "▁ex erc", + "▁конгре сс", + "жда лся", + "ждал ся", + "▁pro hib", + "▁откло нения", + "▁юриди ческой", + "еди но", + "един о", + "ед ино", + "е дино", + "▁Bar b", + "▁ex ception", + "▁except ion", + "ря н", + "р ян", + "так те", + "такт е", + "По чему", + "▁стро ю", + "▁телекана ла", + "▁candid ates", + "▁candidate s", + "▁ну жное", + "▁нужно е", + "▁нуж ное", + "▁И Н", + "▁ ИН", + "▁низ ких", + "▁Свет лана", + "▁Зе ландии", + "▁торго влю", + "▁торгов лю", + "▁оцен ил", + "▁оце нил", + "▁оцени л", + "▁Dougl as", + "ил ла", + "илл а", + "и лла", + "▁в водить", + "▁китай ский", + "▁кита йский", + "er to", + "ert o", + "ap ping", + "app ing", + "▁Эд вард", + "▁утвер ждён", + "▁способ ствовали", + "▁испыты вают", + "▁Ад риа", + "▁п али", + "▁па ли", + "▁пал и", + "▁ пали", + "▁Turk ish", + "▁Гра ф", + "ra ce", + "rac e", + "r ace", + "▁обусло влено", + "▁де по", + "▁извести е", + "▁испол нил", + "▁исполни л", + "▁Л ам", + "▁Ла м", + "▁переда ется", + "▁передает ся", + "образова ния", + "il st", + "ils t", + "ie ties", + "iet ies", + "▁лек ций", + "ни честве", + "▁зая влял", + "▁заявля л", + "▁д вести", + "▁две сти", + "▁похо жий", + "▁похожи й", + "По след", + "После д", + "▁Си нга", + "▁Син га", + "ph a", + "p ha", + "▁зна ниями", + "▁знания ми", + "▁гря зь", + "▁гряз ь", + "▁хреб та", + "▁журна лы", + "▁журнал ы", + "▁Мар ты", + "▁ву зов", + "▁о сматри", + "▁ос матри", + "▁числе нностью", + "▁численность ю", + "▁Э нциклопе", + "▁s kin", + "▁sk in", + "мо вых", + "мов ых", + "▁плохо го", + "▁Не извест", + "oc racy", + "ocr acy", + "▁гер мети", + "▁стрем ясь", + "▁стремя сь", + "▁пре сса", + "▁пресс а", + "▁Восто чно", + "▁Вос точно", + "▁изо ляции", + "▁иде ал", + "▁идеа л", + "▁по кая", + "▁пока я", + "▁В ласти", + "▁Вла сти", + "▁запро са", + "▁запрос а", + "▁выбира ет", + "▁f iled", + "▁file d", + "▁fil ed", + "▁сторо нами", + "▁сторона ми", + "▁сторонам и", + "▁ста рое", + "▁стар ое", + "▁старо е", + "▁маши ной", + "▁машин ой", + "▁машино й", + "лка х", + "л ках", + "ar sh", + "ars h", + "▁пло д", + "▁фа вори", + "ma p", + "m ap", + "t ure", + "тех нической", + "техни ческой", + "▁официаль ное", + "▁официально е", + "▁зая влении", + "▁заболевания х", + "▁форму ла", + "▁re act", + "ль ником", + "льник ом", + "▁А ки", + "▁Ак и", + "▁ри мский", + "▁рим ский", + "▁вы пря", + "il ler", + "ill er", + "ille r", + "▁нелег ко", + "▁на ходили", + "▁находи ли", + "▁наход или", + "▁находил и", + "▁фор мами", + "▁форма ми", + "▁моги ле", + "▁увели чением", + "▁увеличе нием", + "▁увеличение м", + "es c", + "e sc", + "▁ста ну", + "▁стан у", + "▁пье с", + "▁инже нером", + "▁инженер ом", + "▁B arn", + "▁Bar n", + "ra v", + "r av", + "il it", + "ili t", + "▁па кета", + "▁пакет а", + "▁паке та", + "▁st ands", + "▁stand s", + "▁присоеди ниться", + "▁Интер нете", + "▁Интернет е", + "▁интеллек т", + "ло ву", + "лов у", + "ди ями", + "дия ми", + "▁по при", + "▁поп ри", + "▁слы шит", + "да же", + "▁invest ment", + "▁мо деля", + "▁моде ля", + "▁состоя ло", + "▁состоял о", + "▁poet ry", + "▁пода рил", + "▁подар ил", + "▁а рифмети", + "uz z", + "u zz", + "▁це лой", + "▁цело й", + "▁проя вить", + "▁прояви ть", + "▁e rect", + "▁er ect", + "▁ere ct", + "▁тон кий", + "▁сосед ней", + "▁сдела нные", + "▁сделан ные", + "▁Буда пе", + "um a", + "u ma", + "▁r ating", + "▁ra ting", + "▁rat ing", + "▁C ape", + "▁Cap e", + "▁Ca pe", + "сно в", + "с нов", + "▁прой дут", + "▁Литера тура", + "▁Литератур а", + "▁средневе ковой", + "▁про воци", + "▁прово ци", + "▁Ка зи", + "▁person s", + "▁pers ons", + "▁accom pl", + "Х у", + "▁шу тку", + "▁до ходит", + "▁доход ит", + "ov en", + "ove n", + "o ven", + "es ter", + "est er", + "e ster", + "▁Mel bourne", + "▁соответ ствия", + "▁Af ghan", + "▁re serv", + "▁res erv", + "▁пле мя", + "▁пору чено", + "▁и зре", + "▁из ре", + "▁sat isf", + "▁aspect s", + "▁оцени вать", + "▁успе ла", + "▁успел а", + "▁Суво рова", + "▁зоо пар", + "▁е ли", + "▁Вене ции", + "▁Conf eder", + "на с", + "н ас", + "▁ра зоб", + "▁раз об", + "▁разо б", + "▁католи ческой", + "▁наме рение", + "▁намере ние", + "▁re action", + "▁react ion", + "Е вро", + "мет рия", + "метри я", + "▁спраши вал", + "▁пода вления", + "▁g ang", + "▁Ду ха", + "К ре", + "ло гами", + "лога ми", + "▁аэрод роме", + "▁аэродром е", + "▁аэродро ме", + "▁в их", + "▁ви х", + "▁гне здо", + "▁гнез до", + "▁гра би", + "po wer", + "p ower", + "▁Зе ле", + "▁у пад", + "▁упа д", + "▁кре сло", + "!) .", + "! ).", + "▁хими ческого", + "м вор", + "▁буты лку", + "▁супру гов", + "▁пробле мах", + "▁проблема х", + "од но", + "о дно", + "ст ному", + "стно му", + "стном у", + "с тному", + "ши вать", + "▁созда ла", + "▁создал а", + "▁соз дала", + "С О", + "вле нно", + "влен но", + "в ленно", + "▁поя влении", + "▁напо добие", + "▁лам пы", + "▁Ры ба", + "b us", + "▁О кс", + "▁Ок с", + "▁не бре", + "▁ небре", + "▁С ена", + "▁Се на", + "▁Сен а", + "▁пере менной", + "▁переме нной", + "▁перемен ной", + "( (", + "▁Закон ода", + "▁Законо да", + "▁loc omot", + "▁ве дении", + "▁ ведении", + "▁защи той", + "▁защит ой", + "▁приобре ли", + "▁приоб рели", + "▁приобрел и", + "▁рассматри ваются", + "▁инициа тивы", + "▁настоя щих", + "▁К В", + "▁часто та", + "ли тся", + "лит ся", + "л ится", + "ру ющее", + "рую щее", + "▁ва гон", + "▁ваго н", + "▁интере сом", + "▁интерес ом", + "▁интересо м", + "ко ди", + "ти ей", + "тие й", + "▁ref ers", + "▁refer s", + "ar go", + "arg o", + "▁брат ьями", + "▁брать ями", + "▁братья ми", + "▁с пора", + "▁спо ра", + "▁спор а", + "▁позна ва", + "▁за пута", + "▁запу та", + "▁призна ком", + "▁признак ом", + "ТО Р", + "Т ОР", + "ва к", + "в ак", + "ol as", + "ola s", + "▁div or", + "▁M oh", + "▁Mo h", + "▁семей ной", + "▁ресур с", + "▁сексуаль ной", + "▁усили ями", + "▁усилия ми", + "СКА Я", + "ру т", + "р ут", + "n i", + "▁Не бе", + "лл ь", + "л ль", + "▁вер хом", + "▁верх ом", + "▁пере писы", + "▁перепи сы", + "hi re", + "h ire", + "чи ке", + "чик е", + "▁социаль ное", + "▁социально е", + "▁соци альное", + "ста ть", + "с тать", + "▁Един ственный", + "▁base ball", + "▁concern ed", + "▁лето писи", + "▁летопи си", + "▁рекомен дова", + "▁ко шка", + "▁кош ка", + "▁фа льси", + "▁фаль си", + "▁Д ья", + "▁под чёр", + "▁rail road", + "▁дипло мат", + "▁диплома т", + "▁диплом ат", + "шко ва", + "шков а", + "ш кова", + "рес чур", + "▁промышлен ной", + "▁по ехать", + "▁пое хать", + "▁Бо жий", + "▁Божи й", + "▁ве тром", + "▁вет ром", + "▁защит ника", + "▁защитник а", + "▁А ЭС", + "▁inn ov", + "▁прави телей", + "не ся", + "нес я", + "▁расстре ля", + "▁вра чу", + "▁врач у", + "▁L td", + "▁прави льного", + "▁правильно го", + "сф ер", + "с фер", + "▁histor ian", + "▁исполни тель", + "▁Фран ци", + "▁Фра нци", + "▁рее стре", + "▁килограм мов", + "▁W he", + "▁Wh e", + "▁Севасто поль", + "сси они", + "ссион и", + "▁О конча", + "▁Окон ча", + "▁вое вода", + "▁отпра вилась", + "▁Ш ми", + "▁у езде", + "▁уезд е", + "▁уез де", + "дс кий", + "д ский", + "ос нова", + "о снова", + "▁account s", + "▁кило метра", + "▁километ ра", + "▁заим ствова", + "▁вы ехал", + "▁не жи", + "▁образу я", + "мя т", + "м ят", + "▁оста вляют", + "▁оставля ют", + "o is", + "▁описа ны", + "▁чита тели", + "▁вы пустить", + "▁выпу стить", + "▁выпусти ть", + "▁повсе местно", + "пс о", + "п со", + "▁К ино", + "▁Ки но", + "▁Кин о", + "произ вод", + "▁прав де", + "же ва", + "жев а", + "ж ева", + "жё р", + "ж ёр", + "▁следу я", + "жь те", + "ж ьте", + "▁пере ходя", + "▁переход я", + "▁От сутствие", + "▁t all", + "▁tal l", + "▁And erson", + "▁im prison", + "▁imp rison", + "▁солне чных", + "▁хло по", + "▁хлоп о", + "▁Boe ing", + "▁фо кус", + "▁зве рей", + "▁зв ерей", + "▁звер ей", + "▁j ourney", + "▁циф ровой", + "▁ожида ется", + "▁ожидает ся", + "▁отрица тельно", + "▁дли нными", + "▁длин ными", + "ре не", + "рен е", + "▁об нима", + "▁при родного", + "▁приро дного", + "▁природ ного", + "▁Севасто поля", + "▁пережи ваний", + "▁деся ток", + "an th", + "ant h", + "ar ry", + "▁rel ief", + "си тесь", + "сите сь", + "▁Поль ша", + "▁ка менные", + "▁камен ные", + "▁каме нные", + "▁не стаби", + "Восто чной", + "▁За байка", + "▁т в", + "▁В за", + "▁Вз а", + "▁Уз нав", + "▁Узна в", + "образ но", + "▁p ric", + "▁pr ic", + "▁pri c", + "▁раз ницы", + "▁Иоси фа", + "▁Иосиф а", + "l s", + "rel ated", + "▁other wise", + "▁ради олока", + "▁радио лока", + "▁обозна чает", + "▁обознача ет", + "▁результа тами", + "▁результатам и", + "▁результата ми", + "▁с кру", + "▁ск ру", + "igh ters", + "ight ers", + "ighter s", + "▁н я", + "▁ ня", + "▁электри ческих", + "th eless", + "the less", + "▁Все ленная", + "▁invol ving", + "▁замы сел", + "▁пред логом", + "▁тре тью", + "▁треть ю", + "пи ю", + "▁пред чув", + "▁е хал", + "▁еха л", + "▁ ехал", + "▁от нима", + "▁физи ка", + "▁физик а", + "▁Полу чается", + "▁K al", + "▁отече ственных", + "▁от клады", + "▁ме стном", + "▁мест ном", + "▁ка чеством", + "▁каче ством", + "▁качество м", + "▁качеств ом", + "▁собе се", + "▁откры лась", + "▁открыла сь", + "ос и", + "о си", + "▁process es", + "▁ве рный", + "▁вер ный", + "Он и", + "О ни", + "er ted", + "ert ed", + "ди нга", + "дин га", + "динг а", + "▁Ан таркти", + "▁По дума", + "▁Под ума", + "▁Сред него", + "▁Ско тт", + "▁академи ка", + "▁академик а", + "▁за горе", + "▁мо тори", + "▁мото ри", + "▁мотор и", + "▁про сят", + "▁прос ят", + "▁Особ ое", + "▁Осо бое", + "▁В ре", + "ги вает", + "▁fix ed", + "▁несколь ким", + "▁валю ты", + "▁пра вы", + "▁прав ы", + "▁раз ницу", + "▁Ва ша", + "▁Ваш а", + "▁Championship s", + "▁ле до", + "▁лед о", + "мен кла", + "▁re nt", + "▁r ent", + "▁ren t", + "▁ rent", + "▁му сор", + "▁мусо р", + "▁на ряд", + "▁наря д", + "▁По ст", + "▁законо проект", + "▁законопроек т", + "ль щики", + "▁Иль ин", + "▁Ильи н", + "▁И нте", + "▁Ин те", + "▁гу стой", + "▁С вою", + "▁Сво ю", + "▁тра ве", + "▁трав е", + "ству ющая", + "▁ста туи", + "▁стату и", + "▁на ращи", + "▁вклю чена", + "og ether", + "o gether", + "▁сопри косно", + "▁ам пли", + "▁sequ ence", + "ли чные", + "▁v ision", + "▁vis ion", + "▁реаги ровать", + "▁бли зки", + "▁близ ки", + "▁decl ined", + "▁истори ческое", + "▁m yth", + "▁my th", + "▁G ab", + "▁a wards", + "▁award s", + "▁aw ards", + "▁руко ят", + "▁Ме та", + "▁Мет а", + "▁т р", + "▁ тр", + "нь те", + "н ьте", + "▁Ц ы", + "▁t act", + "Се й", + "С ей", + "ме нным", + "мен ным", + "▁пере менных", + "▁переме нных", + "▁перемен ных", + "▁фото аппара", + "▁транс форми", + "▁Ста мбу", + "гра ть", + "г рать", + "▁d ates", + "▁date s", + "▁В ор", + "▁Во р", + "це нден", + "цен ден", + "▁приве зли", + "▁привез ли", + "▁разрабо ткой", + "▁интер вен", + "▁n aval", + "▁e cho", + "▁ec ho", + "▁учеб ные", + "▁созда нная", + "▁создан ная", + "▁столк нулись", + "▁столкну лись", + "▁And re", + "ИЧ Е", + "ron ze", + "▁r ain", + "▁ra in", + "▁ rain", + "▁кры ше", + "▁си не", + "▁а мино", + "▁ам ино", + "▁исче зла", + "▁исчез ла", + "▁про филь", + "▁профи ль", + "▁проф иль", + "то ка", + "ток а", + "лко ма", + "лком а", + "л кома", + "▁С хема", + "▁откры лся", + "▁открыл ся", + "el lect", + "ell ect", + "elle ct", + "▁rec ru", + "▁съем ки", + "▁S aturday", + "▁Тро цкого", + "een th", + "e enth", + "▁пере жить", + "▁пережи ть", + "▁А са", + "▁не прав", + "▁муж чиной", + "▁мужчи ной", + "▁мужчин ой", + "▁пропо вед", + "▁пропове д", + "ле ев", + "лее в", + "▁passeng er", + "▁Тре бу", + "▁площа дку", + "▁соста вило", + "▁составил о", + "▁Люд мила", + "▁коро лём", + "▁раз грани", + "▁разгра ни", + "▁де кре", + "▁Ind ones", + "▁dipl om", + "логи ческая", + "вле нном", + "влен ном", + "вленно м", + "в ленном", + "▁По началу", + "▁strong ly", + "▁На за", + "▁Наз а", + "▁поме стить", + "П Л", + "по сть", + "▁ко гни", + "▁го товых", + "▁гото вых", + "▁готов ых", + "▁готовы х", + "ien cy", + "i ency", + "▁про пуск", + "▁пропу ск", + "▁прио станови", + "да в", + "д ав", + "▁на жима", + "▁нажи ма", + "▁Никола евна", + "▁Николаев на", + "▁о тру", + "▁от ру", + "N e", + "▁Сю да", + "▁разви тых", + "▁напом нить", + "▁Ш ам", + "▁Ша м", + "щую ся", + "▁стро ке", + "▁строк е", + "▁возду хом", + "▁воздух ом", + "▁стади он", + "▁разли чий", + "▁различи й", + "ер ба", + "е рба", + "▁Islam ic", + "▁выпол нена", + "▁выполнен а", + "шн ую", + "ш ную", + "▁жи лой", + "▁жил ой", + "▁к ля", + "▁ кля", + "▁рас твори", + "▁раство ри", + "▁раствор и", + "▁раст вори", + "▁квали фика", + "▁Тихо го", + "▁a gency", + "▁ag ency", + "▁математи ке", + "▁матема тике", + "▁до чер", + "▁доче р", + "▁з веря", + "▁зве ря", + "▁звер я", + "▁Узбеки стана", + "as ka", + "ask a", + "▁До чь", + "▁стихотво рений", + "▁German s", + "До ну", + "Дон у", + "Д ону", + "▁fact or", + "▁fa ctor", + "▁на ступил", + "▁наступ ил", + "кс ы", + "к сы", + "▁Вы ше", + "▁ин станции", + "▁приме няться", + "▁применя ться", + "▁применять ся", + "ст ем", + "сте м", + "с тем", + "▁жа жду", + "▁Яковле вич", + "▁ви не", + "▁вин е", + "▁о м", + "▁ ом", + "▁культур ные", + "og en", + "o gen", + "igen ous", + "▁магази нах", + "▁магазина х", + "▁описы вается", + "▁описывает ся", + "вы вает", + "▁Не сом", + "▁эпизо де", + "▁эпизод е", + "д д", + "▁Ц ИК", + "▁dep ict", + "▁se ctions", + "▁section s", + "▁тех ническим", + "▁техни ческим", + "▁ноя брь", + "▁Со бор", + "▁Соб ор", + "▁попро сить", + "▁Ш ли", + "сно му", + "сном у", + "с ному", + "▁у стье", + "▁ус тье", + "▁Табли ца", + "▁bring ing", + "▁пре дви", + "▁пред ви", + "▁итальян ских", + "▁теоре тически", + "▁фраг мент", + "▁ископа емых", + "гни т", + "г нит", + "▁E xt", + "▁Ex t", + "▁обви нению", + "▁у му", + "▁ум у", + "▁насе лённые", + "▁населё нные", + "▁населён ные", + "▁и поте", + "▁m ys", + "▁my s", + "▁деревя нных", + "▁прогре сси", + "▁прогресс и", + "▁за ду", + "▁зад у", + "▁координа ты", + "▁координат ы", + "ine ma", + "inem a", + "▁ве щами", + "▁веща ми", + "▁St aff", + "▁каза лась", + "▁з лове", + "▁зло ве", + "▁rel ative", + "▁Java Script", + "▁республи ка", + "▁республик а", + "▁пра вам", + "▁прав ам", + "▁права м", + "Мо н", + "М он", + "▁d iam", + "▁di am", + "▁не мину", + "▁ко пей", + "▁коп ей", + "▁оста вила", + "▁оставил а", + "до у", + "▁Петро пав", + "▁Там бов", + "▁возвра тился", + "сси ми", + "сс ими", + "▁Даль нем", + "▁национа льным", + "▁ре шают", + "▁реша ют", + "▁A li", + "▁Al i", + "▁предназна чен", + "чи ваться", + "чивать ся", + "чива ться", + "числе ния", + "чис ления", + "рным и", + "р ными", + "▁пер о", + "▁пе ро", + "▁фигу ру", + "▁фигур у", + "▁п ету", + "▁пе ту", + "▁пет у", + "▁корот ких", + "▁жерт вами", + "▁ли чную", + "▁а мерика", + "▁предпри нять", + "▁предприня ть", + "▁Tem ple", + "us hing", + "ush ing", + "В И", + "т ль", + "▁ще л", + "▁возду шные", + "▁воздуш ные", + "▁Европе йского", + "▁Европей ского", + "▁ни к", + "▁ ник", + "▁Сто имость", + "▁Хру щев", + "юр а", + "ю ра", + "▁meas ures", + "▁measure s", + "▁насле дие", + "▁за коне", + "▁зако не", + "▁закон е", + "▁зак оне", + "▁предста влено", + "▁представлен о", + "▁на ду", + "▁над у", + "▁P ear", + "▁Pe ar", + "▁с вести", + "▁све сти", + "▁рав ны", + "▁посе лка", + "▁произ вел", + "ва рь", + "вар ь", + "в арь", + "▁Л ек", + "▁Ле к", + "▁N aval", + "▁Na val", + "▁За втра", + "▁G it", + "▁Gi t", + "▁Пара лле", + "▁мисси с", + "▁ак тивные", + "▁актив ные", + "▁деревя нный", + "rick et", + "▁T ype", + "▁Ty pe", + "▁ Type", + "▁зарпла ту", + "▁популяр ным", + "▁популя рным", + "Ма й", + "М ай", + "▁коммуника ций", + "▁Мар ша", + "▁appe al", + "ун да", + "унд а", + "у нда", + "▁на ти", + "▁особ ей", + "▁осо бей", + "▁превра тились", + "к р", + "▁n ort", + "▁nor t", + "нт у", + "н ту", + "▁B uilding", + "▁злоу мышлен", + "▁совпада ют", + "▁совпа дают", + "пре дь", + "пред ь", + "▁Х леб", + "▁национа льном", + "▁национально м", + "реди енты", + "ж мите", + "▁фабри ка", + "ag s", + "a gs", + "▁Генера льный", + "▁Те ль", + "▁значи мость", + "▁знач имость", + "▁моно поли", + "▁монопо ли", + "▁С р", + "▁Ара вии", + "▁Арави и", + "▁ка ло", + "▁ кало", + "▁жертво при", + "ри но", + "рин о", + "р ино", + "▁b irds", + "▁ад ъютан", + "▁образ цо", + "▁э ссе", + "▁эс се", + "▁уче ника", + "▁ученик а", + "ду тся", + "дут ся", + "▁на сти", + "▁нас ти", + "О Б", + "ев ка", + "е вка", + "▁D om", + "▁Do m", + "▁зака зу", + "▁заказ у", + "▁res emb", + "▁rese mb", + "▁ни чуть", + "▁Н евского", + "▁Не вского", + "▁How ard", + "▁Ho ward", + "▁каза лись", + "▁achie ve", + "▁Ис ходя", + "по жа", + "▁Те атра", + "▁cour ses", + "▁course s", + "Е Ч", + "▁Ко нец", + "▁Кон ец", + "▁голо вок", + "▁голов ок", + "▁корпу сом", + "▁корпус ом", + "▁ль ду", + "▁Die go", + "ри ков", + "рик ов", + "рико в", + "▁конферен ция", + "бы тия", + "хо вского", + "хов ского", + "ри мина", + "рим ина", + "▁О тра", + "▁От ра", + "▁солне чной", + "c i", + "▁пе вец", + "▁пев ец", + "▁в ходить", + "▁входит ь", + "▁вход ить", + "▁входи ть", + "▁кварта ле", + "▁ве ри", + "▁вер и", + "▁ вери", + "pt y", + "p ty", + "ad s", + "en ch", + "enc h", + "▁play off", + "▁за пра", + "▁хра мы", + "▁храм ы", + "▁убеди тельно", + "▁рассматри ваться", + "▁рассматривать ся", + "▁да льности", + "▁даль ности", + "Но р", + "Н ор", + "▁consec utive", + "▁отре аги", + "▁че ресчур", + "▁rest ored", + "▁ре фор", + "▁реф ор", + "▁артилле рийского", + "▁артиллерий ского", + "▁pl us", + "ва ющихся", + "ваю щихся", + "вающих ся", + "▁При чиной", + "▁m ob", + "▁масси ва", + "▁массив а", + "▁вспы х", + "▁насе лению", + "▁предусмотре нных", + "▁предусмотрен ных", + "▁О су", + "▁Ос у", + "▁по интере", + "▁Органи зация", + "▁организова н", + "▁свя зывают", + "▁связыва ют", + "▁П ят", + "▁Пя т", + "▁че рная", + "▁чер ная", + "M C", + "▁станов ления", + "▁стано вления", + "ve ments", + "vement s", + "v ements", + "▁Im perial", + "▁сохра нился", + "▁сохрани лся", + "▁сохранил ся", + "▁сохран ился", + "▁пи рат", + "▁пира т", + "▁пир ат", + "▁нау чная", + "▁B os", + "▁Bo s", + "▁коме дий", + "▁скан дина", + "▁стади она", + "▁стадион а", + "▁бо льные", + "▁боль ные", + "▁сформи ровать", + "oc a", + "o ca", + "▁сложи лось", + "и муще", + "▁завер шении", + "▁ком по", + "▁комп о", + "▁результа тах", + "▁результата х", + "▁выра жению", + "▁кафе дре", + "B ut", + "▁шири ну", + "▁с фера", + "▁сф ера", + "▁сфе ра", + "▁ сфера", + "▁ма лый", + "▁малы й", + "▁на ходил", + "▁находи л", + "▁наход ил", + "▁за тяги", + "▁затя ги", + "▁стаби льности", + "▁Ж ил", + "▁Жи л", + "▁испыта ние", + "▁с вязать", + "▁свя зать", + "▁связа ть", + "▁R oy", + "▁Ro y", + "▁футбо ль", + "▁фут боль", + "▁футбол ь", + "be s", + "b es", + "ма д", + "м ад", + "▁er r", + "▁ err", + "▁Ш ере", + "▁Ше ре", + "▁Шер е", + "▁Пол тав", + "▁ве чной", + "▁вечно й", + "▁Кон струк", + "▁воору жён", + "раз ум", + "разу м", + "мо ли", + "мол и", + "▁consist ing", + "▁к ром", + "▁кро м", + "▁кр ом", + "▁ли мон", + "▁лим он", + "▁поку пку", + "▁Ф рэн", + "▁Фрэ н", + "▁по дко", + "▁под ко", + "▁буд ьте", + "▁будь те", + "▁погре ба", + "▁несо ответ", + "би ю", + "▁о хота", + "▁охо та", + "▁охот а", + "▁особенно стью", + "▁особен ностью", + "▁особенность ю", + "▁St art", + "▁Star t", + "▁есте ственный", + "▁v ice", + "▁разрабо таны", + "▁разработан ы", + "▁разработа ны", + "▁пре зира", + "▁ме бель", + "▁У чеб", + "▁Уче б", + "нк ом", + "н ком", + "ль цев", + "▁Ря д", + "▁с пле", + "▁st ages", + "▁stage s", + "▁бе лом", + "▁бело м", + "▁глубо ких", + "М С", + "▁m olec", + "▁кратков ремен", + "▁кратко времен", + "▁вдох нови", + "▁вдохнов и", + "▁кварти ра", + "▁квар тира", + "▁квартир а", + "▁Стани слава", + "▁Станислав а", + "де нный", + "ден ный", + "▁der ived", + "▁боя лись", + "▁обре сти", + "али зация", + "а лизация", + "▁ве лась", + "▁вела сь", + "o j", + "▁возмо жен", + "▁В он", + "▁Во н", + "▁ле жать", + "▁лежа ть", + "▁лежат ь", + "▁обсу ждали", + "▁обсужда ли", + "▁от рас", + "▁отра с", + "▁го рной", + "▁гор ной", + "▁горно й", + "▁зали ве", + "▁залив е", + "▁буду щим", + "ге но", + "ген о", + "▁д жи", + "▁ джи", + "то чное", + "точно е", + "▁поправ ки", + "▁попра вки", + "▁H ans", + "▁Ha ns", + "▁Han s", + "▁социаль ным", + "▁соци альным", + "▁пе сне", + "▁пес не", + "▁учё том", + "гра фы", + "граф ы", + "▁пра вами", + "▁права ми", + "▁правам и", + "▁H ur", + "▁Hu r", + "▁Джей мса", + "▁Джеймс а", + "r m", + "▁require ments", + "ie val", + "▁изу чением", + "▁изучение м", + "▁прекра сные", + "▁библиоте к", + "▁библио тек", + "▁O cean", + "▁ло дке", + "▁с ном", + "▁сно м", + "▁ сном", + "▁про коммен", + "▁j e", + "▁ je", + "гра фов", + "граф ов", + "▁излу чение", + "ви чей", + "вич ей", + "ро дом", + "род ом", + "▁ко пий", + "▁копи й", + "▁Жи тели", + "▁стра шный", + "▁страш ный", + "▁удержи вать", + "▁is lands", + "▁island s", + "▁уточ нил", + "▁исследова нию", + "▁колле дж", + "▁твор ческих", + "▁ex port", + "▁exp ort", + "▁воз дви", + "▁ф ин", + "▁фи н", + "▁ фин", + "▁назна чении", + "▁S el", + "▁Se l", + "▁m ental", + "▁ment al", + "▁Л ё", + "▁ана то", + "▁снима ет", + "▁наро дами", + "▁народа ми", + "▁ка менных", + "▁камен ных", + "▁каме нных", + "▁проя вляет", + "▁проявля ет", + "▁D omin", + "▁Do min", + "▁Dom in", + "▁го товые", + "▁гото вые", + "▁готовы е", + "лу к", + "▁соб рали", + "▁собра ли", + "▁собрал и", + "▁d ies", + "▁di es", + "▁die s", + "▁упомя нуть", + "▁упомяну ть", + "▁Воз ника", + "▁Возник а", + "▁плате жей", + "▁вы су", + "▁выс у", + "▁еди ную", + "▁един ую", + "▁king dom", + "▁напра вленных", + "▁направлен ных", + "▁чу дом", + "▁чудо м", + "снаб жения", + "▁С тало", + "▁Ста ло", + "▁ст ул", + "▁сту л", + "зо вского", + "зов ского", + "кос новен", + "косно вен", + "▁Ви део", + "▁максима льная", + "ли вой", + "ливо й", + "лив ой", + "▁мо ды", + "▁Фран ко", + "▁Франк о", + "▁добро го", + "▁доб рого", + "вар дии", + "▁позд ней", + "▁жи лого", + "▁у ступил", + "▁уступ ил", + "id ers", + "ider s", + "лет ние", + "▁первен ства", + "▁охра ну", + "▁охран у", + "ки нг", + "кин г", + "к инг", + "▁ad vent", + "▁adv ent", + "▁у говари", + "▁уго вари", + "ша р", + "ш ар", + "▁ре чной", + "▁сна ряд", + "▁снаря д", + "▁Ont ario", + "су щ", + "▁называ ем", + "▁ску чно", + "▁б лин", + "▁бли н", + "▁St ring", + "▁ String", + "балан си", + "▁Тер рито", + "▁челове ческая", + "▁Кон вен", + "▁шер сти", + "ро ман", + "ром ан", + "рома н", + "с ре", + "▁С мы", + "▁См ы", + "▁бо жества", + "▁боже ства", + "▁катастро фа", + "▁составля ющие", + "▁завер ша", + "▁университе тов", + "▁университет ов", + "▁i Phone", + "▁« »", + "▁Gord on", + "ri ent", + "rie nt", + "r ient", + "́ к", + "ag u", + "a gu", + "▁Фридри ха", + "▁Фридрих а", + "▁пре дел", + "▁преде л", + "▁просле дить", + "▁обо рачи", + "▁организа циях", + "▁организация х", + "iv ate", + "iva te", + "▁сте ной", + "▁стен ой", + "▁мор ально", + "▁мора льно", + "▁C zech", + "вре менно", + "времен но", + "в ременно", + "▁he ads", + "▁head s", + "дне е", + "д нее", + "▁Вне за", + "▁краси вая", + "▁поэ ты", + "▁поэт ы", + "ше нными", + "шен ными", + "шенным и", + "▁High way", + "▁горо дами", + "▁города ми", + "▁ре альным", + "▁реаль ным", + "▁реа льным", + "ne st", + "nes t", + "n est", + "▁Hou ston", + "▁Основ ными", + "▁Основным и", + "▁в ступила", + "▁вступил а", + "▁вступи ла", + "▁вступ ила", + "се нь", + "сен ь", + "с ень", + "▁От ве", + "▁бога той", + "▁богат ой", + "▁Тек ст", + "▁Ка пи", + "про цен", + "проце н", + "▁при жи", + "▁Воору женных", + "▁про рока", + "▁проро ка", + "го ни", + "гон и", + "г они", + "L a", + "ни ор", + "нио р", + "▁ре зь", + "▁рез ь", + "▁повто рил", + "▁Тер мин", + "▁предыду щие", + "pl ication", + "plic ation", + "▁Древ ней", + "▁серде чно", + "▁практи ческих", + "▁прак тических", + "▁практически х", + "▁ла п", + "▁л ап", + "но вую", + "нов ую", + "нову ю", + "▁сбор ника", + "▁сборник а", + "▁нау чились", + "▁сверх ъесте", + "во рение", + "▁subs id", + "▁День ги", + "ha rd", + "h ard", + "▁комбина ции", + "▁оста льными", + "▁остальным и", + "▁воспомина ниях", + "▁воспоминания х", + "▁Евро со", + "ма йора", + "майор а", + "ту ар", + "туа р", + "С вобо", + "▁a thlet", + "▁вз лета", + "▁потенциаль ных", + "▁потенциа льных", + "▁I ron", + "▁Ir on", + "▁солне чного", + "▁жест ко", + "ord an", + "лю т", + "л ют", + "▁генера лу", + "▁генерал у", + "фи р", + "ф ир", + "▁ю мора", + "▁юмо ра", + "▁команду ющим", + "▁свя ты", + "▁за ходит", + "▁захо дит", + "▁телеви зор", + "ре вич", + "р евич", + "▁паль то", + "▁Ser ver", + "▁Serv er", + "▁институ ты", + "▁институт ы", + "М К", + "й ка", + "▁корпу сов", + "▁корпус ов", + "▁медици нский", + "▁ста вится", + "▁став ится", + "▁ставит ся", + "▁вмеша тельство", + "▁Д ли", + "▁Пред полага", + "▁Предпо лага", + "▁чу же", + "▁ме стона", + "▁место на", + "▁мест она", + "▁spirit ual", + "▁hor ses", + "▁horse s", + "▁hors es", + "▁Я ну", + "▁Ян у", + "▁B rand", + "▁Br and", + "▁Bra nd", + "▁C H", + "▁ CH", + "▁ка дет", + "▁кад ет", + "▁означа ть", + "▁озна чать", + "ал е", + "а ле", + "▁Ва г", + "▁испо ве", + "▁сы рье", + "▁встре чал", + "▁встреча л", + "▁встреч ал", + "▁оты скать", + "▁отыска ть", + "▁фе стивале", + "▁фестива ле", + "▁нале во", + "ще нности", + "щен ности", + "щенно сти", + "▁искус ственно", + "▁искусств енно", + "▁искусстве нно", + "▁очевид ным", + "▁Росси йский", + "▁Россий ский", + "▁в ведены", + "▁введен ы", + "▁Дзер жи", + "▁Прем ьера", + "▁Премьер а", + "▁Swed ish", + "▁требо ванию", + "▁Э тому", + "▁Это му", + "▁про спект", + "▁проспек т", + "▁бы вшая", + "ropol itan", + "▁использова н", + "▁де да", + "▁дед а", + "▁вы езд", + "▁выез д", + "▁Con nect", + "ig g", + "▁Га лли", + "́ м", + "▁подъ ема", + "▁подъем а", + "▁Монго лии", + "▁dist ricts", + "▁district s", + "▁m urd", + "▁mur d", + "▁Вслед ствие", + "ва ющиеся", + "ваю щиеся", + "вающие ся", + "m osp", + "▁Византи и", + "▁согла сован", + "▁согласо ван", + "▁согласова н", + "▁за сло", + "▁зас ло", + "▁игру шки", + "▁верх ний", + "▁кусо чек", + "▁Хо зя", + "th odox", + "▁координа т", + "▁метео ро", + "ра ка", + "рак а", + "р ака", + "▁обо рон", + "▁оборо н", + "гу ш", + "▁Гла вные", + "▁Глав ные", + "▁улыб нулся", + "▁смотри те", + "▁смотрит е", + "▁ смотрите", + "▁тро их", + "▁холо дный", + "▁холод ный", + "▁Te levision", + "ma t", + "m at", + "▁Побе дитель", + "▁журнали ста", + "▁журналист а", + "▁Я на", + "▁Ян а", + "▁учеб но", + "▁ст вол", + "▁ство л", + "▁да вало", + "▁давал о", + "▁табли цу", + "▁настаи вал", + "▁прогно з", + "▁спо рить", + "▁спор ить", + "▁француз ская", + "▁Пе ча", + "▁Ис следования", + "▁Исследова ния", + "че вского", + "чев ского", + "ч евского", + "▁great ly", + "▁построе нный", + "▁построен ный", + "▁догово риться", + "▁договори ться", + "▁P HP", + "▁тех нический", + "▁техни ческий", + "ял и", + "я ли", + "фи лд", + "▁Фрун зе", + "▁теоре тической", + "ab el", + "a bel", + "▁духов но", + "▁духо вно", + "▁изме нился", + "▁измени лся", + "▁измен ился", + "▁изменил ся", + "▁ме шок", + "▁свиде тельств", + "▁свидетель ств", + "▁тру довых", + "▁трудо вых", + "▁трудов ых", + "▁на коп", + "▁нако п", + "▁всевозмо жные", + "▁О х", + "## ##", + "▁Ar men", + "▁Arm en", + "▁зи ма", + "▁зим а", + "▁Хо се", + "▁пла вно", + "▁плав но", + "▁непред сказу", + "▁попа дания", + "▁попада ния", + "▁Основ ное", + "▁у голь", + "▁уго ль", + "▁угол ь", + "▁ уголь", + "▁прекра сное", + "▁прекрасно е", + "▁компьютер ной", + "▁Б ом", + "▁Бо м", + "▁ш три", + "▁шт ри", + "▁дворян ства", + "▁телеви дении", + "▁телевиде нии", + "▁pl ane", + "▁plan e", + "с це", + "▁M it", + "▁тепло й", + "▁теп лой", + "▁нау чить", + "▁г ну", + "▁ гну", + "ме ние", + "мени е", + "▁Си ти", + "▁A T", + "▁ AT", + "ра жи", + "раж и", + "▁бо гом", + "▁бого м", + "▁бог ом", + "дд и", + "д ди", + "▁ко ля", + "▁кол я", + "▁У голов", + "▁духов ную", + "▁Верх не", + "▁air port", + "▁релье ф", + "▁депута та", + "▁депутат а", + "▁w ave", + "▁wa ve", + "▁Выс шей", + "▁ост рый", + "▁про слежи", + "▁просле жи", + "▁уз лы", + "▁электри ческого", + "н рав", + "▁слия ния", + "▁Руко водство", + "▁ну ждаются", + "▁нужда ются", + "▁совер шается", + "▁соверша ется", + "▁совершает ся", + "▁выдержа ть", + "▁сбор нике", + "▁сборник е", + "▁компьютер ных", + "У кра", + "▁ре йс", + "▁р ейс", + "▁рей с", + "▁а рене", + "▁аре не", + "▁арен е", + "▁о чу", + "▁ре кой", + "▁реко й", + "▁рек ой", + "▁not ably", + "▁де ловой", + "▁дело вой", + "▁примени тельно", + "ст ол", + "сто л", + "с тол", + "▁полузащи тник", + "ol is", + "oli s", + "▁золо ти", + "▁prof ession", + "▁profess ion", + "▁cy cle", + "▁пере пле", + "▁ло ндо", + "▁над пи", + "▁задержа н", + "▁наблю дали", + "▁наблюда ли", + "▁наблюдал и", + "edd ing", + "▁предприя тии", + "▁выстре лов", + "да кти", + "дак ти", + "фи лософ", + "Ку р", + "К ур", + "фе я", + "▁с вети", + "▁свет и", + "▁све ти", + "▁св ети", + "▁лест ницы", + "▁F u", + "▁Экс пер", + "▁link ed", + "▁на сторо", + "▁нас торо", + "▁насто ро", + "▁серьез ной", + "▁серьезно й", + "▁ann iversary", + "▁эли ты", + "▁ово щей", + "▁re pro", + "▁rep ro", + "▁про пита", + "▁православ ных", + "▁правосла вных", + "▁явля ясь", + "▁наро дная", + "▁народ ная", + "▁о сы", + "▁ос ы", + "▁выс ший", + "▁з вена", + "▁зве на", + "▁зв ена", + "▁слы шно", + "▁здоров ью", + "▁здоро вью", + "▁органи затор", + "▁организа тор", + "▁последу ющим", + "▁воору жённых", + "▁вооружён ных", + "▁истреби теля", + "Из вести", + "A G", + "▁F ederation", + "▁ро дились", + "▁роди лись", + "▁Институ те", + "▁Институт е", + "▁защи тников", + "▁защит ников", + "▁защитник ов", + "▁объ явление", + "▁объя вление", + "▁сло жное", + "▁сложно е", + "▁вер нется", + "▁наличие м", + "▁наличи ем", + "▁втором у", + "▁второ му", + "▁сдела ло", + "▁сделал о", + "ти ль", + "тил ь", + "т иль", + "▁ac know", + "▁Елиза веты", + "▁ле сных", + "▁лес ных", + "ти роваться", + "тирова ться", + "тировать ся", + "▁на верх", + "▁навер х", + "▁духов ные", + "▁духо вные", + "▁С лава", + "▁Сла ва", + "▁res erve", + "▁reserv e", + "Жи знь", + "Жиз нь", + "▁в зи", + "▁вз и", + "▁ |", + "atio n", + "▁fo r", + "▁yo u", + "▁ you", + "▁ that", + "▁ {", + "▁ was", + "e rs", + "o rt", + "▁ }", + "a rt", + "u rn", + "i ght", + "▁t his", + "o uld", + "▁fro m", + "po rt", + "tu rn", + "t urn", + "--- -", + "- ---", + "▁hav e", + "▁ have", + "▁hi s", + "▁ his", + "u lt", + "ro u", + "r ou", + "▁ su", + "▁ca n", + "▁ had", + "*** *", + "* ***", + "▁ &", + "yp e", + "▁yo ur", + "▁ your", + "▁ou t", + "li c", + "l ic", + "▁ they", + "▁re turn", + "▁r eturn", + "▁ return", + "▁* *", + "▁ **", + "▁ will", + "▁c omp", + "▁ comp", + "▁ she", + "▁l i", + "▁ li", + "▁s a", + "▁ sa", + "e g", + "ea r", + "▁ +", + "ub lic", + "u blic", + "▁wer e", + "▁ were", + "{ \\", + "▁ has", + "al ue", + "alu e", + "fo rm", + "▁ma n", + "▁mo re", + "▁wo uld", + "▁ about", + "iti on", + "e rr", + "atio ns", + "rin g", + "▁ dis", + "-- ------", + "--- -----", + "----- ---", + "------ --", + "------- -", + "- -------", + "▁hi m", + "▁ him", + "▁ import", + "▁ti me", + "Us er", + "Use r", + "U ser", + "o rs", + "▁ther e", + "▁ there", + "▁li ke", + "▁ when", + "ve rs", + "▁ some", + "▁pa rt", + "i cal", + "▁fu n", + "▁ fun", + "▁ov er", + "pu t", + "ar am", + "ara m", + "a ram", + "▁s tat", + "▁sta t", + "▁ stat", + "▁ what", + "tex t", + "▁sa id", + "▁ ###", + "▁ju st", + "▁ just", + "irs t", + "▁ into", + "▁ const", + "e rv", + "_ {", + "▁pub lic", + "▁pu blic", + "▁publi c", + "▁ public", + "▁ot her", + "▁ @", + "oin t", + "oi nt", + "oi d", + "re turn", + "ret urn", + "r eturn", + "fte r", + "** ******", + "****** **", + "▁ou r", + "ri v", + "r iv", + "▁ than", + "pec t", + "ys t", + "y st", + "▁co uld", + "▁ could", + "a nn", + "e nc", + "a nc", + "▁als o", + "▁ also", + "rea t", + "pe c", + "p ec", + "opl e", + "tr ing", + "tri ng", + "t ring", + "▁T his", + "▁ This", + "▁ba ck", + "▁fi n", + "▁ fin", + "Co n", + "▁ did", + "▁ only", + "▁c lass", + "▁clas s", + "▁$ \\", + "▁ $\\", + "▁ye ar", + "} ,", + "▁ del", + "fi g", + "f ig", + "rou nd", + "▁ di", + "t his", + "f r", + "essa ge", + "f o", + "▁ people", + "yst em", + "ys tem", + "▁fir st", + "▁ first", + "▁ function", + "▁ho w", + "▁ how", + "ifi c", + "rea d", + "▁ bet", + "a rg", + "▁ need", + "ma th", + "mat h", + "m ath", + "e rt", + "Pr o", + "▁pa r", + "▁ Wh", + "▁ want", + "Na me", + "▁ =>", + "▁qu e", + "▁q ue", + "▁ que", + "▁ bu", + "eq u", + "cr e", + "c re", + "▁va r", + "=== =", + "= ===", + "▁mo d", + "te rn", + "} }", + "▁ “", + "▁r eg", + "^ {", + "▁ She", + "▁ */", + "▁ two", + "▁ma y", + "▁ may", + "fo re", + "rou gh", + "Ty pe", + "Typ e", + "fu l", + "▁sel f", + "▁ every", + "re f", + "r ef", + "▁ even", + "▁han d", + "▁ should", + "▁af ter", + "gh t", + "g ht", + "a tor", + "ri but", + "rib ut", + "ribu t", + "▁ca ll", + "▁ call", + "▁ma ke", + "▁ make", + "othe r", + "▁lon g", + "le ment", + "lem ent", + "l ement", + "▁wo r", + "▁ wor", + "▁ If", + "dat a", + "▁thro ugh", + "▁ through", + "▁dow n", + "▁ static", + "i cs", + "▁ void", + "owe r", + "▁thin k", + "▁ think", + "* /", + "▁a gain", + "▁ again", + "atin g", + "▁mo st", + "▁mos t", + "▁req u", + "▁ requ", + "abe l", + ")) ;", + ") );", + "▁b ecause", + "▁ because", + "u lar", + "rou p", + "r oup", + "▁ cons", + "▁ri ght", + "▁rig ht", + "▁ fr", + "ea d", + "▁els e", + "▁ else", + "▁ som", + "eme nt", + "emen t", + "au lt", + "se rt", + "ser t", + "s ert", + "typ e", + "iden t", + "▁p rov", + "▁ prov", + "▁ true", + "▁ As", + "} \\", + "▁ inst", + "▁na me", + "▁nam e", + "▁ sur", + "par am", + "pa ram", + "para m", + "p aram", + "▁sta rt", + "▁ start", + "S E", + "Str ing", + "S tring", + "ti ng", + "▁b efore", + "▁bef ore", + "▁ before", + "▁ pol", + "▁wel l", + "Co m", + "olo g", + "▁e rr", + "a rs", + "▁in cl", + "▁inc l", + "▁ incl", + "e rn", + "o dy", + "-- --------------", + "---- ------------", + "--- -------------", + "------------ ----", + "----- -----------", + "---------- ------", + "------ ----------", + "------------- ---", + "-------------- --", + "--------- -------", + "------- ---------", + "----------- -----", + "▁da ta", + "▁dat a", + "▁ good", + "▁ Q", + "▁mu ch", + "▁cu r", + "▁ cur", + "▁v alue", + "▁ loc", + "re ak", + "rea k", + "ativ e", + "▁ die", + "▁ trans", + "▁ result", + "▁au t", + "▁& &", + "▁ &&", + "} $", + "con d", + "co nd", + "c ond", + "▁fi l", + "▁ fil", + "iti es", + "▁p rodu", + "▁prod u", + "▁ produ", + "▁fo rm", + "▁ca se", + "▁ case", + "▁s pec", + "▁ spec", + "▁ é", + "▁ does", + "mi n", + "▁nu ll", + "▁ null", + "r r", + "Li st", + "ri ght", + "▁U ser", + "▁Us er", + "▁Use r", + "▁ User", + "U L", + "ati onal", + "atio nal", + "▁b eing", + "▁bei ng", + "▁ being", + "▁ca r", + "▁ dist", + "p lic", + "ol low", + "▁ pres", + "▁ such", + "rea m", + "▁Fo r", + "riv ate", + "▁ye ars", + "▁se rv", + "▁ma de", + "▁mad e", + "▁ made", + "; \r", + "▁li st", + "▁ cor", + "▁ det", + "eg in", + "e gin", + "▁c har", + "▁cha r", + "▁ char", + "tr ans", + "tra ns", + "▁! =", + "▁ !=", + "▁ dec", + "▁ma ny", + "▁ many", + "▁ à", + "▁si m", + "▁ sim", + "a sed", + "▁d iffer", + "▁diff er", + "▁fi nd", + "▁ find", + "▁ \r", + "▁i nv", + "▁ inv", + "▁poi nt", + "▁ They", + "▁u sed", + "i ó", + "▁sa y", + "▁ say", + "▁he lp", + "▁ help", + "▁ cre", + "▁ Tr", + "umen t", + "ou ght", + "m essage", + "▁mo n", + "wor k", + "iste r", + "a rn", + "i zed", + "Dat a", + "Da ta", + "o rn", + "D E", + "▁ person", + "e ngth", + "▁fal se", + "▁fals e", + "▁ false", + "▁s how", + "▁ show", + "▁sa me", + "▁ same", + "▁gene r", + "▁ gener", + "cu r", + "c ur", + "stru ct", + "be gin", + "b egin", + "cep t", + "▁F r", + "▁ Fr", + "▁ stud", + "( \\", + "▁ too", + "▁da y", + "▁fol low", + "▁ follow", + "atu re", + "r eg", + "uri ng", + "cr i", + "c ri", + "▁ /*", + "C T", + "▁Ther e", + "▁ There", + "▁tak e", + "▁ta ke", + "▁ take", + "ca l", + "c al", + "fo r", + "** **************", + "**** ************", + "******** ********", + "************ ****", + "************** **", + "s ource", + "▁ eff", + "mo d", + "} {", + "▁ around", + "pres s", + "pon se", + "pons e", + "▁li ne", + "▁lin e", + "dat e", + "cod e", + "[ '", + "▁li fe", + "▁u sing", + "▁va l", + "y p", + "▁fo und", + "▁fou nd", + "▁ found", + "ol ut", + "olu t", + "' ]", + "▁s tring", + "▁w r", + "▁ wr", + "stri ng", + "s tring", + "si ze", + "▁ each", + "v alue", + "▁las t", + "▁ last", + "▁ got", + "Se t", + "S et", + "▁ cr", + "é s", + "▁ between", + "et hing", + "eth ing", + "e thing", + "de x", + "d ex", + "▁pas s", + "▁pa ss", + "Ge t", + "▁ sup", + "Val ue", + "V alue", + "▁ try", + "lat ion", + "l ation", + "▁ exper", + "T r", + "▁ Mar", + "se rv", + "▁nu mber", + "▁ number", + "i nal", + "cen t", + "/ *", + "io nal", + "iona l", + "i onal", + "▁fi nal", + "▁ final", + "▁ never", + "▁hi gh", + "▁ high", + "▁ best", + "▁si gn", + "▁sig n", + "▁ sign", + "▁ dem", + "▁g iv", + "▁gi v", + "▁chi ld", + "▁ child", + "in cl", + "inc l", + "ind ow", + "indo w", + "rien d", + "▁ los", + "fil e", + "fi le", + "format ion", + "cc ess", + "c cess", + "▁i l", + "▁ il", + "isi on", + "▁a rt", + "Co nt", + "▁tu rn", + "▁ turn", + "te rs", + "ar get", + "arg et", + "arge t", + "Er r", + "E rr", + "ti me", + "tim e", + "▁ So", + "di v", + "▁di dn", + "} )", + "▁som ething", + "▁ something", + "() .", + "( ).", + "eve r", + "tr y", + "t ry", + "▁ rep", + "la bel", + "lab el", + "l abel", + "▁bot h", + "▁ both", + "* ,", + "▁ open", + "_{ \\", + "_ {\\", + "▁ol d", + ". _", + "M E", + "i fy", + "g g", + "Co l", + "▁mu st", + "▁ must", + "▁d ifferent", + "i sts", + "▁s ystem", + "▁sys tem", + "▁syst em", + "▁ system", + "ive rs", + "atu s", + "gra m", + "▁p rivate", + "▁ private", + "op y", + "o py", + "▁fee l", + "▁ How", + "// //", + "/// /", + "/ ///", + "loc k", + "▁ Sch", + "▁ma t", + "▁ho me", + "▁ home", + "per ty", + "pert y", + "lo c", + "l oc", + "▁w om", + "▁wo m", + "ar ly", + "arl y", + "ete r", + "▁incl ud", + "▁inclu d", + "UL L", + "U LL", + "▁ mem", + "▁litt le", + "▁a rg", + "▁} ,", + "▁ },", + "in clude", + "incl ude", + "et a", + "e ta", + "▁p lace", + "▁plac e", + "id th", + "us tom", + "▁| |", + "▁ ||", + "▁ tem", + "▁ fact", + "▁ Pl", + "op t", + "o pt", + "el e", + "e le", + "inte r", + "() ,", + "( ),", + "iq ue", + "avi ng", + "▁thou ght", + "fr ac", + "f rac", + "▁ca re", + "▁ care", + "() );", + "()) ;", + "( ));", + "▁pu t", + "▁mi ght", + "▁mig ht", + "▁A mer", + "▁Am er", + "▁ Amer", + "▁( !", + "▁ (!", + "▁sta te", + "su b", + "▁ Or", + "▁si ze", + "▁ without", + "e q", + "▁ expect", + "▁se cond", + "▁ second", + "▁S tring", + "▁Str ing", + "▁ next", + "+ +", + "re qu", + "req u", + "r equ", + "▁ When", + "amen t", + "trans lation", + "transl ation", + "▁va n", + "▁ano ther", + "Mo d", + "IO N", + "I ON", + "▁wo rd", + "Err or", + "Er ror", + "▁ contin", + "▁ three", + "Obj ect", + "▁parti c", + "$ .", + "▁vi s", + "pt ions", + "ption s", + "▁b reak", + "▁ break", + "▁thin gs", + "▁ That", + "u rs", + "▁fi le", + "igne d", + "pa rt", + "▁eq u", + "( &", + "▁ small", + "▁ always", + "▁ El", + "▁wo n", + "▁ won", + "▁l eft", + "▁ left", + "it em", + "ite m", + "i tem", + "ho r", + "h or", + "▁ away", + "b b", + "fu n", + "f un", + "▁stru ct", + "▁proc ess", + "▁proces s", + "▁ process", + "▁s upport", + "▁supp ort", + "▁ support", + "); \r", + ") ;\r", + "ió n", + "i ón", + "L O", + "▁ ·", + "P E", + "' ;", + "$ ,", + "▁ Gr", + "i nit", + "u mn", + "vers ion", + "v ersion", + "▁ ref", + "sta nd", + "stan d", + "▁ At", + "▁e in", + "fa ce", + "fac e", + "ifi ed", + "su m", + "s um", + "i tal", + "▁mo v", + "▁ mov", + "e lt", + "c tor", + "▁ build", + "i nc", + "in fo", + "inf o", + "c hn", + "▁ week", + "H E", + "ic ense", + "▁que st", + "▁q uest", + "le ft", + "l eft", + "▁ma r", + "▁b eh", + "▁fi eld", + "▁ keep", + "i tor", + "▁ non", + "▁_ _", + "▁ __", + "▁u na", + "▁un a", + "▁ una", + "▁ pop", + "▁sin ce", + "▁sinc e", + "▁ since", + "p i", + "ut il", + "uti l", + "u til", + "▁ soc", + "Ex ception", + "▁lo cal", + "▁ local", + "▁dir ect", + "▁ direct", + "▁ sure", + "▁d a", + "▁ da", + "▁curr ent", + "▁ current", + "' :", + "W h", + "▁ information", + "Te xt", + "Tex t", + "T ext", + "▁stan d", + "▁sta nd", + "▁c heck", + "▁ check", + "▁n a", + "▁ na", + "▁u nt", + "▁un t", + "▁ unt", + "b f", + "▁co nf", + "c lass", + "be rs", + "In fo", + "Inf o", + "▁ Br", + "erv ice", + "() )", + "( ))", + "▁pa t", + "o rg", + "▁tel l", + "▁al low", + "▁ allow", + "▁tea m", + "▁ team", + "le ase", + "ht t", + "h tt", + "▁ Pr", + "/* *", + "/ **", + "▁si ng", + "▁sin g", + "▁ sing", + "Re qu", + "Req u", + "R equ", + "▁obj ect", + "▁ object", + "B y", + "i ded", + "▁ free", + "ci te", + "cit e", + "c ite", + "▁) ;", + "▁ );", + "▁dur ing", + "▁l eg", + "▁si t", + "l eg", + "▁mo m", + "▁ expl", + "▁ develop", + "▁ event", + "▁N ULL", + "▁ NULL", + "oh n", + "o hn", + "▁// /", + "▁/ //", + "▁ ///", + "▁ business", + "▁ prof", + "▁p or", + "▁po r", + "▁ por", + "▁com mun", + "▁ commun", + "iu m", + "Te st", + "T est", + "ou ble", + "ri te", + "rit e", + "r ite", + "rea dy", + "▁{ \r", + "▁ {\r", + "▁thin g", + "a rl", + "con st", + "cons t", + ".. /", + ". ./", + "▁pow er", + "rib ute", + "ribut e", + "ribu te", + "▁ talk", + "▁ called", + "▁ca me", + "▁be lie", + "Ad d", + "A dd", + "e lla", + "oba l", + "▁u ntil", + "▁unt il", + "▁ until", + "▁ hum", + "atel y", + "### #", + "# ###", + "pu blic", + "pub lic", + "p ublic", + "[ ]", + "le n", + "l en", + "▁f amily", + "▁famil y", + "▁ family", + "▁pr ogram", + "▁ program", + "▁hi st", + "▁mu s", + "▁ mus", + "I m", + "el se", + "els e", + "ail s", + "ai ls", + "a ils", + "▁ love", + "ä r", + "ou rs", + "di s", + "d is", + "ö r", + "at eg", + "stat e", + "sta te", + "St ate", + "Stat e", + "erta in", + "▁e ffect", + "▁ effect", + "▁ big", + "in dex", + "ind ex", + "inde x", + "▁p ub", + "▁pu b", + "▁ pub", + "ve rt", + "m d", + "▁meth od", + "▁ method", + "▁gam e", + "▁ga me", + "▁ game", + "le te", + "let e", + "l ete", + "It em", + "I tem", + "IN G", + "I NG", + "re sent", + "oc ument", + "▁b eg", + "} .", + "▁ school", + "▁ lot", + "▁a dv", + "▁ adv", + "▁ca p", + "▁ cap", + "▁li ght", + "▁lig ht", + "Ke y", + "K ey", + "iti ons", + "▁/ **", + "▁/* *", + "▁ /**", + "▁wen t", + "ã o", + "▁thou gh", + "▁gr oup", + "▁ group", + "▁ mean", + "▁nu m", + "▁ num", + "▁ cond", + "н і", + "▁giv en", + "▁gi ven", + "▁ why", + "▁si de", + "▁sid e", + "▁ far", + "Con text", + "Cont ext", + "Vi ew", + "▁< <", + "▁ <<", + "fi l", + "f il", + "oa d", + "▁prod uct", + "▁ product", + "▁p aram", + "▁par am", + "▁para m", + "▁pa ram", + "▁ param", + "▁ prote", + "Tim e", + "olut ion", + "▁mont h", + "▁ month", + "▁a ppe", + "tr act", + "tra ct", + "t ract", + "é e", + "▁giv e", + "▁gi ve", + "▁ki nd", + "▁kin d", + "▁ kind", + "▁ count", + "co unt", + "cou nt", + "c ount", + "▁sto p", + "▁ stop", + "▁g over", + "▁go ver", + "▁ mil", + "yn c", + "y nc", + "▁ni ght", + "▁ sol", + "▁wat er", + "eri ng", + "▁li m", + "Par am", + "P aram", + "▁ho use", + "▁S ystem", + "▁ System", + "▁pa y", + "▁ pay", + "▁: =", + ", \\", + "le ngth", + "l ength", + "▁s i", + "▁ si", + "▁ interest", + "ct ed", + "c ted", + "enti on", + "▁ appro", + "▁thro w", + "▁ throw", + "math cal", + "i rl", + "▁ prom", + "▁req uest", + "▁ request", + "equ ation", + "eq uation", + "ol ogy", + "olo gy", + "mi t", + "▁pa ck", + "▁pac k", + "▁ pack", + "ar ray", + "arr ay", + "ti l", + "▁pre sent", + "▁ present", + "▁org an", + "Fil e", + "Fi le", + "F ile", + "▁ orig", + "▁ful l", + "▁fu ll", + "▁ full", + "is tr", + "ist r", + "i str", + "▁as sert", + "▁ass ert", + "▁ assert", + "ar ds", + "ur l", + "u rl", + "e nn", + "▁l evel", + "▁lev el", + "wor d", + "▁bo dy", + "▁bod y", + "í a", + "Q u", + "▁ma in", + "▁mai n", + "▁ main", + "A B", + "plo y", + "Ev ent", + "Even t", + "E vent", + "▁s uper", + "▁ super", + "A s", + "th ers", + "ther s", + "the rs", + "▁da ys", + "▁ days", + "▁ done", + "▁vi ew", + "▁vie w", + "si de", + "sid e", + "') ;", + "' );", + "▁ vol", + "▁ tot", + "ca se", + "cas e", + "c ase", + "▁af f", + "Requ est", + "Re quest", + "Req uest", + "\\ \\", + "▁J ohn", + "▁Jo hn", + "▁ John", + "▁u ne", + "▁un e", + "▁ une", + "[ \"", + "fi eld", + "▁perf orm", + "▁ perform", + "ail able", + "Con fig", + "Conf ig", + "O r", + "▁mo del", + "▁ model", + "▁ create", + "▁a nn", + "▁ Im", + "a nte", + "con fig", + "conf ig", + "\" ]", + "l t", + "▁tex t", + "▁ May", + "▁o rg", + "▁or g", + "▁ org", + "▁po rt", + "▁por t", + "P l", + "▁ door", + "▁( *", + "▁ (*", + "k t", + "enti al", + "▁i nc", + "No de", + "N ode", + "ivel y", + "▁as ked", + "i rt", + "▁ Te", + "▁repo rt", + "▁ report", + "▁c hang", + "▁cha ng", + "Si ze", + "S ize", + "▁oc c", + "▁ occ", + "▁ mind", + "▁ whe", + "▁ important", + "▁ Not", + "▁wr it", + "▁e yes", + "▁ desc", + "mo st", + "mos t", + "▁su ccess", + "▁succ ess", + "▁ success", + "co re", + "cor e", + "c ore", + "} (", + "▁ar ray", + "▁arr ay", + "▁ array", + "Fi eld", + "F ield", + "i ds", + "hin g", + "▁ca l", + "▁ cal", + "arin g", + "a lt", + "▁d é", + "al pha", + "alph a", + "▁fo ur", + "▁fou r", + "▁ four", + "no de", + "nod e", + "n ode", + "▁Pa r", + "▁ Eng", + "▁mo ve", + "▁ move", + "▁L icense", + "▁Lic ense", + "▁ License", + "cu l", + "c ul", + ") $", + "▁ tw", + "▁ With", + "▁ once", + "Serv ice", + "S ervice", + "bo l", + "b ol", + "▁Q u", + "▁ Qu", + "▁ grow", + "▁c onne", + "▁conn e", + "▁ conne", + "▁h tt", + "▁ htt", + "▁} ;", + "▁ };", + "▁wal k", + "▁ walk", + "▁i nit", + "na l", + "n al", + "ende r", + "cri ption", + "le cted", + "▁n il", + "▁ni l", + "▁ nil", + "▁p rob", + "▁ prob", + "▁ Ste", + "iso n", + "an ds", + "os ed", + "ose d", + "o sed", + "▁Hi s", + "▁ His", + "ü r", + "Ma n", + "El ement", + "Elem ent", + "E lement", + "In dex", + "Ind ex", + "se arch", + "s earch", + "▁ma g", + "▁ mag", + "▁c ourse", + "▁cours e", + "▁ course", + "▁ Car", + "▁e xp", + "▁ exp", + "▁m it", + "▁mi t", + "▁ mit", + "▁def ault", + "▁ default", + "/ >", + "▁s ervice", + "▁ service", + "uf fer", + "uff er", + "▁ Do", + "▁in cre", + "} ^", + "▁lo oked", + "ay er", + "aye r", + "a yer", + "▁ One", + "▁ba s", + "▁ bas", + "▁ job", + "m u", + "bu t", + "el ta", + "elt a", + "▁ Christ", + "▁re cord", + "▁ record", + "▁ Univers", + "ivi d", + "i vid", + "val id", + "▁hol d", + "▁ho ld", + "▁tab le", + "▁ta ble", + "▁ table", + "lin k", + "l ink", + "▁ Ge", + "For m", + "F orm", + "= {", + "stan ce", + "▁go vern", + "▁gover n", + "▁ govern", + "▁tech n", + "▁ techn", + "▁ prim", + "ma x", + "m ax", + "▁fo re", + "▁ Can", + "▁po lit", + "▁ polit", + "orie s", + "▁ti mes", + "▁ times", + "▁d ans", + "▁da ns", + "▁dan s", + "▁ai r", + "} _", + "▁l east", + "EN T", + "E NT", + "▁cos t", + "▁ cost", + ". ”", + "▁ children", + "abil ity", + "Bu t", + "▁pa th", + "res ult", + "▁e lement", + "▁elem ent", + "▁ element", + "▁w ait", + "▁wa it", + "▁ wait", + "▁mo ney", + "Ma p", + "M ap", + "oi n", + "o in", + "ivi ng", + "ic ht", + "ich t", + "i cht", + "i lle", + "i sed", + "▁cust om", + "▁ custom", + "▁hav ing", + "pon ent", + "po nent", + "▁ By", + "atte r", + "iti ve", + "De f", + "D ef", + "▁m oment", + "▁mo ment", + "▁ moment", + "at erial", + "ate rial", + "ater ial", + "Cl ass", + "C lass", + "o graph", + "▁ large", + "▁# ###", + "▁ Then", + "▁ Gu", + "ole an", + "o lean", + "pe rt", + "per t", + "p ert", + "▁ Ab", + "▁ short", + "imen t", + "▁ project", + "cri pt", + "cr ipt", + "▁incl uding", + "▁inclu ding", + "▁ma king", + "▁ making", + "▁ Fl", + "▁sa t", + "▁ sat", + "▁ company", + "oc us", + "p u", + "▁ God", + "▁ sn", + "▁a u", + "▁ au", + "▁ cou", + "á s", + "en ded", + "end ed", + "ende d", + "▁ pot", + "▁t yp", + "▁ typ", + "▁it em", + "▁i tem", + "▁ item", + "At t", + "A tt", + "▁yo ung", + "} \r", + "nde r", + "st art", + "sta rt", + "star t", + "* )", + "▁e nc", + "▁wom en", + "▁wo men", + "▁lo oking", + "▁ looking", + "▁heal th", + "▁ health", + "Pat h", + "P ath", + "▁ After", + "▁mu lt", + "▁mul t", + "▁ mult", + "▁{ \\", + "▁ {\\", + "▁lan d", + "▁ Des", + "in put", + "▁ Pol", + "\" \"", + "Co de", + "C ode", + "▁s upp", + "▁su pp", + "▁sup p", + "▁ supp", + "ain er", + "ai ner", + "aine r", + "a iner", + "he ck", + "▁mo r", + "▁ mor", + "▁ mill", + "f s", + "ting s", + "t ings", + "▁to get", + "▁cer tain", + "▁toget her", + "C E", + "▁Amer ican", + "a bles", + "▁pa rent", + "▁pare nt", + "▁ parent", + "amb da", + "an do", + "and o", + "= \\", + "en ding", + "end ing", + "▁ possible", + "ivi ty", + "nu m", + "n um", + "r t", + "ajo r", + "a jor", + "cre ate", + "creat e", + "c reate", + "ri de", + "rid e", + "r ide", + "▁kne w", + "bi t", + "it ional", + "ition al", + "iti onal", + "▁li k", + "▁ lik", + "▁ Her", + "▁ exist", + "i nn", + "bu f", + "b uf", + "▁ Me", + "▁ seen", + "No t", + "N ot", + "▁contr ol", + "▁ control", + "▁res pon", + "▁resp on", + "▁ respon", + "} ;", + "i lt", + "▁ba d", + "▁ bad", + "▁o ften", + "▁pas t", + "▁pa st", + "▁ reason", + "et ers", + "eter s", + "ete rs", + "e ters", + "▁w anted", + "ta ble", + "tab le", + "t able", + "or mal", + "orm al", + "wid th", + "w idth", + "pt r", + "p tr", + "▁ dest", + "▁de sign", + "▁ design", + "▁sou nd", + "▁ sound", + "▁ plan", + "▁ba se", + "▁ base", + "▁sa ys", + "fun ction", + "f unction", + "▁ tri", + "m t", + "▁av ailable", + "▁ available", + "ay out", + "a yout", + "▁o ch", + "▁oc h", + "▁ och", + "▁l as", + "▁la s", + "▁ las", + "mo n", + "Ha nd", + "H and", + "F r", + "pa ce", + "p ace", + "▁p ara", + "▁par a", + "▁pa ra", + "▁ para", + "▁ sum", + "M essage", + "ic i", + "i ci", + "▁k nown", + "am ma", + "amm a", + "a mma", + "ar r", + "a rr", + "▁ tre", + "~ \\", + "▁experi ence", + "icl e", + "▁ Il", + "▁ sent", + "▁o thers", + "▁ others", + "▁s oft", + "▁ma x", + "▁ max", + "▁mar ket", + "▁ market", + "▁p our", + "▁po ur", + "▁pou r", + "pr ession", + "press ion", + "p ression", + "ep s", + "e ps", + "▁sa w", + "▁a cross", + "▁ Su", + "O ver", + "u lation", + "▁R eg", + "▁ Reg", + "▁+ =", + "▁ +=", + "bo dy", + ") \\", + "▁prin t", + "d b", + "war ds", + "▁ black", + "▁ Ed", + "▁com plet", + "▁s ingle", + "▁sin gle", + "▁ single", + "b t", + "▁cod e", + "▁b ool", + "▁bo ol", + "▁ bool", + "▁a rea", + "▁ar ea", + "▁ area", + "▁re quire", + "▁ require", + "▁pro blem", + "▁prob lem", + "Eq u", + "E qu", + "▁con fig", + "▁ config", + "ve c", + "v ec", + "▁ac count", + "▁ account", + "ym bol", + "Ar ray", + "Arr ay", + "em pl", + "emp l", + "con text", + "cont ext", + "De s", + "D es", + "Res ult", + "ec ut", + "e cut", + "▁t arget", + "▁tar get", + "▁ target", + "\" />", + "o gle", + "▁wa sn", + "▁blo ck", + "p orts", + "rea te", + "= '", + "c d", + "loc ation", + "l ocation", + "▁a ccess", + "▁ access", + "gre ss", + "gres s", + "U p", + "▁ working", + "▁ Am", + "iq u", + "▁( (", + "▁ ((", + "▁ Per", + "▁f unc", + "▁fun c", + "▁fu nc", + "▁ func", + "▁gi rl", + "▁gir l", + "▁ girl", + "id o", + "i do", + "▁v ersion", + "▁ version", + "T Y", + "ma ry", + "mar y", + "m ary", + "a bled", + "anne l", + "▁ example", + "▁ context", + "▁c ir", + "▁ci r", + "▁ cir", + "Lo g", + "L og", + "▁s pace", + "▁ space", + "▁f ut", + "▁fu t", + "▁G ener", + "▁Ge ner", + "▁Gen er", + "▁Gene r", + "▁ Gener", + "▁d ri", + "▁dr i", + "_ .", + "▁fe lt", + "▁fel t", + "▁= ==", + "▁== =", + "▁ ===", + "▁} );", + "▁}) ;", + "▁ });", + "▁fro nt", + "▁ front", + "sign ed", + "sig ned", + "s igned", + "▁ye t", + "▁ input", + "▁ca mp", + "▁ camp", + "▁hal f", + "▁ half", + "▁cov er", + "▁ cover", + "▁b en", + "▁be n", + "▁ ben", + "▁d iff", + "▁di ff", + "▁dif f", + "▁ diff", + "_ \\", + "▁mo t", + "▁ mot", + "▁s ocial", + "▁soci al", + "▁ social", + "//// ////", + "▁s tre", + "▁ stre", + "gro und", + "і в", + "ob ject", + "obj ect", + "re ed", + "ree d", + "r eed", + "▁e en", + "▁ een", + "▁ba sed", + "u rg", + "▁lear n", + "▁ learn", + "▁e xc", + "▁ exc", + "▁ imp", + "▁w ur", + "en ds", + "end s", + "vo id", + "v oid", + "▁s td", + "▁st d", + "▁ std", + "▁part icular", + "▁particul ar", + "▁parti cular", + "▁sour ce", + "▁ source", + "def ault", + "▁a ls", + "▁al s", + "▁ als", + "sc ri", + "scr i", + "s cri", + "st atus", + "stat us", + "▁stor y", + "▁sto ry", + "▁ story", + "▁b egin", + "▁ begin", + "▁posit ion", + "▁ special", + "ph p", + "p hp", + "▁ba r", + "▁prac t", + "cal l", + "ca ll", + "c all", + "▁d as", + "▁da s", + "▁ das", + "▁clo se", + "▁ close", + "▁ Er", + "▁ low", + "pa ck", + "p ack", + "Re g", + "R eg", + "O f", + "atu res", + "é n", + "ede r", + "uild er", + "cas t", + "co nom", + "c onom", + "raf t", + "▁ma kes", + "Lo c", + "L oc", + "ht tp", + "htt p", + "▁ abs", + "▁ Will", + "bre ak", + "b reak", + "▁o ptions", + "▁opt ions", + "▁option s", + "▁ options", + "fo rt", + "▁a nal", + "▁ anal", + "▁e nv", + "▁en v", + "▁ env", + "( {", + "ev ent", + "even t", + "eve nt", + "e vent", + "▁pa ge", + "▁pag e", + "▁ page", + "ter nal", + "▁d istribut", + "▁dist ribut", + "▁fo od", + "▁foo d", + "▁ food", + "che ck", + "c heck", + "C K", + "as sert", + "ass ert", + "asse rt", + "á n", + "ba se", + "bas e", + "b ase", + "▁w hole", + "ac ión", + "ació n", + "aci ón", + "a ción", + "ig ma", + "▁res ponse", + "▁respon se", + "▁ response", + "ap ter", + "apt er", + "▁ results", + "▁re present", + "▁Ce nt", + "▁ Cent", + "▁ Some", + "▁be hind", + "▁ creat", + "plac e", + "p lace", + "s u", + "▁Pa rt", + "▁ Part", + "math bb", + "pi ng", + "pin g", + "▁ match", + "O ut", + "▁s itu", + "▁si tu", + "▁w indow", + "▁ window", + "lish ed", + "l ished", + "▁ Ver", + "▁ message", + "▁ Em", + "▁ human", + "per ties", + "pert ies", + "le m", + "l em", + "OR T", + "O RT", + "▁e arly", + "▁qui ck", + "▁ quick", + "▁c ountry", + "▁coun try", + "▁countr y", + "▁ country", + "▁ due", + "▁ Die", + "▁t rying", + "▁li ve", + "▁liv e", + "▁ live", + "IN T", + "I NT", + "W ith", + "ov ed", + "ove d", + "o ved", + "▁ specific", + "▁fal l", + "▁ fall", + "▁gene ral", + "▁ general", + "▁na mes", + "▁nam es", + "▁ names", + "whe re", + "▁ These", + "▁si l", + "▁ sil", + "é t", + "▁e ner", + "▁en er", + "▁ ener", + "▁ Now", + "▁addr ess", + "▁ address", + "Res ponse", + "▁ Mr", + "▁ans w", + "▁fi lm", + "▁ film", + "▁stro ng", + "▁ strong", + "▁Unit ed", + "▁wom an", + "▁wo man", + "▁ woman", + "en ame", + "ena me", + "e name", + "▁de scrib", + "isi ng", + "i sing", + "▁fu r", + "▁ fur", + "▁ Cal", + "▁ Dr", + "ER R", + "E RR", + "▁\\ \\", + "▁ \\\\", + "an gle", + "ang le", + "ur ope", + "uro pe", + "urop e", + "▁ci ty", + "▁ city", + "▁in dex", + "▁ind ex", + "▁inde x", + "▁ index", + "▁ However", + "▁fi g", + "▁ fig", + "▁ question", + "▁Ja n", + "▁ Jan", + "▁ Med", + "Cal l", + "C all", + "tt y", + "t ty", + "▁ind ivid", + "pa ge", + "pag e", + "p age", + "▁ comb", + "se ction", + "sect ion", + "s ection", + "▁ Comm", + "▁h et", + "▁he t", + "▁ het", + "▁ Bar", + "agem ent", + "fi n", + "f in", + "▁ma jor", + "▁maj or", + "▁ major", + "ap i", + "a pi", + "▁ „", + "▁a uf", + "▁au f", + "▁ auf", + "cur rent", + "curr ent", + "▁in clude", + "▁incl ude", + "▁inclu de", + "▁ include", + "▁qu i", + "▁q ui", + "U E", + "▁id ea", + "▁ idea", + "▁ required", + "▁ heart", + "ibil ity", + "Mod el", + "Mode l", + "Mo del", + "wr ite", + "writ e", + "w rite", + "▁conten t", + "▁ content", + "▁w er", + "▁we r", + "▁ wer", + "▁han ds", + "ch ar", + "cha r", + "c har", + "}^ {", + "} ^{", + "▁ma ss", + "▁mas s", + "▁ mass", + "▁n at", + "▁na t", + "▁ nat", + "▁d at", + "▁da t", + "▁ dat", + "==== ============", + "======== ========", + "============ ====", + "i mal", + "▁pro bably", + "i lar", + "▁wat ch", + "▁ watch", + "▁cu lt", + "▁cul t", + "▁mo ther", + "▁ mother", + "or ding", + "▁( )", + "▁ ()", + "▁lin k", + "▁ link", + "gr oup", + "gro up", + "g roup", + "▁ Ser", + "Se r", + "S er", + "▁ values", + "▁j ava", + "▁ja va", + "▁ java", + "full y", + "Co unt", + "C ount", + "++ )", + "▁v i", + "▁ vi", + "▁ white", + "ct x", + "c tx", + "▁co nc", + "▁ conc", + "▁sta y", + "gi ng", + "▁ clear", + "▁c opy", + "▁ copy", + "▁wor ds", + "▁ words", + "com p", + "co mp", + "c omp", + "ar gs", + "arg s", + "▁pi ck", + "▁pic k", + "▁ pick", + "ul y", + "u ly", + "▁va ri", + "▁ vari", + "▁bel ieve", + "▁ Co", + "Pro perty", + "Gr oup", + "G roup", + "is chen", + "isch en", + "ische n", + "isc hen", + "i schen", + "et urn", + "e turn", + "Sys tem", + "S ystem", + "C L", + "▁t otal", + "▁to tal", + "▁ total", + "▁is t", + "▁i st", + "▁ ist", + "In put", + "umen ts", + "Man ager", + "le ep", + "lee p", + "н ого", + "r uction", + "▁i nte", + "▁ inte", + "Ap p", + "A pp", + "av or", + "avo r", + "a vor", + "▁re spect", + "▁ respect", + "ato rs", + "▁c omo", + "▁com o", + "▁co mo", + "▁cu t", + "▁ cut", + "▁ App", + "F I", + "▁so rt", + "▁sor t", + "▁ sort", + "ј е", + "i cro", + "Tr ans", + "Tra ns", + "л і", + "▁ Inst", + "re quest", + "requ est", + "req uest", + "▁relation s", + "- \\", + "St atus", + "Stat us", + "▁fat her", + "c s", + "is ch", + "isc h", + "i sch", + "}_ {", + "} _{", + "AT E", + "A TE", + "it ten", + "itt en", + "itte n", + "T H", + "▁ho m", + "▁ hom", + "▁t oday", + "▁tod ay", + "▁toda y", + "▁z u", + "▁ zu", + "▁is n", + "▁i sn", + "▁ opt", + "é r", + "ix ed", + "ph i", + "p hi", + "iden ce", + "Cl ient", + "A t", + "▁ Let", + "iu s", + "be n", + "b en", + ") \r", + ">< /", + "> (", + "▁w rite", + "▁wr ite", + "▁ write", + "fin d", + "fi nd", + "f ind", + "▁pers onal", + "▁persona l", + "▁ personal", + "] [", + "▁fo ot", + "▁foo t", + "▁re search", + "iron ment", + "▁n om", + "▁no m", + "▁ nom", + "▁ instance", + "▁ held", + "▁ members", + "▁fi re", + "▁fir e", + "▁ fire", + "▁hi story", + "▁ history", + "▁ma p", + "▁dis cuss", + "▁e spec", + "▁es pec", + "▁esp ec", + "▁ espec", + "▁tak ing", + "▁ta king", + "▁s ervices", + "▁ services", + "▁indu st", + "▁ indust", + "ige n", + "▁ Ass", + "▁e xpected", + "▁ expected", + "▁wur de", + "di r", + "d ir", + "▁a mong", + "▁su gg", + "▁sug g", + "In ter", + "Int er", + "blo ck", + "▁ Rep", + "▁pa in", + "▁fi ve", + "▁ five", + "▁fu nd", + "▁ fund", + "ar row", + "arr ow", + "▁deter m", + "ic ult", + "F un", + "▁mont hs", + "js on", + "j son", + ", ”", + "▁c los", + "▁clo s", + "ie rs", + "ai rs", + "a irs", + "def ine", + "I f", + "▁w onder", + "▁won der", + "▁wo nder", + "qu ery", + "que ry", + "quer y", + "p g", + "▁m aterial", + "▁mat erial", + "▁mate rial", + "▁ material", + "y d", + "Re ad", + "R ead", + "h tml", + "T E", + "P r", + "^{ \\", + "^ {\\", + "▁ga ve", + "▁s uggest", + "▁sug gest", + "Over ride", + "ro du", + "rod u", + "Fr om", + "F rom", + "▁E urope", + "▁Europ e", + "▁ Europe", + "P O", + "hos t", + "▁ Ber", + "▁ Har", + "▁e nergy", + "▁ener gy", + "▁energ y", + "▁ energy", + "> <", + "fr ame", + "wi th", + "▁m o", + "▁ mo", + "p m", + "▁o m", + "▁ om", + "ne xt", + "nex t", + "n ext", + "▁ status", + "▁} \r", + "▁ }\r", + "▁ Dis", + "▁ho st", + "▁c omes", + "▁ comes", + "u sed", + "▁fut ure", + "▁ future", + "lic k", + "li ck", + "l ick", + "▁ compet", + "▁ voice", + "ev el", + "eve l", + "e vel", + "▁n eg", + "▁ neg", + "▁com mand", + "▁ command", + "▁f ür", + "▁pi e", + "▁ pie", + "▁qui te", + "▁quit e", + "▁b lo", + "▁bl o", + "▁ blo", + "il on", + "ilo n", + "i lon", + "▁t each", + "▁te ach", + "▁tea ch", + "▁prev ious", + "▁ previous", + "▁si te", + "▁ site", + "co lor", + "col or", + "colo r", + "at tr", + "att r", + "▁ accept", + ") }", + "Dat e", + "Da te", + "D ate", + "▁o u", + "▁ ou", + "▁pre tty", + "▁pret ty", + "▁ image", + "B U", + "▁sear ch", + "▁ search", + "▁ è", + "▁Va l", + "▁ ‘", + "▁Da v", + "sr c", + "s rc", + "in cip", + "▁could n", + "ad os", + "ado s", + "▁d ro", + "▁dr o", + "▁ dro", + "be ta", + "bet a", + "b eta", + "▁minut es", + "▁gran d", + "▁ grand", + "▁ »", + "▁O ur", + "▁ Our", + "St r", + "S tr", + "VE R", + "V ER", + "ma z", + "m az", + "▁or iginal", + "▁ original", + "▁ coll", + "lo at", + "▁o s", + "▁ os", + "}) ;", + "} );", + "sum mary", + "▁wal l", + "▁ wall", + "Col or", + "Co lor", + "▁ve rs", + "▁d ella", + "▁de lla", + "▁del la", + "▁dell a", + "▁\" \"\"", + "▁\"\" \"", + "▁ \"\"\"", + "math bf", + "▁ associ", + "▁in de", + "▁i nde", + "▁ind e", + "▁ inde", + "a gue", + "▁A pr", + "▁Ap r", + "▁ Apr", + "ro ups", + "rou ps", + "roup s", + "▁s eries", + "▁serie s", + "▁ series", + "▁in stead", + "▁si x", + "▁ six", + "▁ Rec", + "▁c oming", + "u rt", + "▁glob al", + "▁glo bal", + "▁ global", + "▁neces s", + "▁ necess", + "Po s", + "P os", + "▁ leave", + "▁p od", + "▁po d", + "▁ pod", + "ateg ory", + "ategor y", + "▁ deep", + "▁outs ide", + "ha s", + "h as", + "opt ions", + "option s", + "o ptions", + "▁ Sm", + "Su b", + "S ub", + "ro ws", + "row s", + "r ows", + "▁Stat es", + "▁Sta tes", + "▁ States", + "▁wr ong", + "▁ sem", + "▁ catch", + "mod el", + "mode l", + "mo del", + "▁htt p", + "▁ option", + "▁ä r", + "▁ är", + "▁enjo y", + "n u", + "▁p as", + "▁pa s", + "▁ pas", + "▁a mount", + "▁ amount", + "▁res pons", + "▁respon s", + "▁ respons", + "▁In tern", + "▁Inter n", + "▁Int ern", + "▁ Intern", + "▁my self", + "▁o pp", + "▁op p", + "▁ opp", + "▁ Sim", + "E d", + "▁( \\", + "▁ (\\", + "▁ points", + "ar ning", + "arn ing", + "U P", + "elli ng", + "▁c annot", + "▁le ngth", + "▁ length", + "nu ll", + "n ull", + "ui nt", + "u int", + "wi se", + "▁d ouble", + "▁ double", + "ig e", + "i ge", + "i sta", + "▁est ab", + "▁es tab", + "▁esta b", + "an ch", + "anc h", + "▁bou nd", + "▁ bound", + "▁ fa", + "▁c lean", + "▁ clean", + "▁simpl e", + "▁ simple", + "m i", + "#### ####", + "if ier", + "ifi er", + "▁Gener al", + "▁Gene ral", + "▁ General", + "▁se emed", + "end if", + "▁ca us", + "▁ educ", + "▁cel l", + "Ge ner", + "Gen er", + "G ener", + "sp ace", + "s pace", + "▁ Your", + "g t", + "▁l imit", + "▁li mit", + "▁ limit", + "▁da te", + "▁dat e", + "Ut il", + "U til", + "▁Nat ional", + "▁Nation al", + "▁ National", + "o ws", + "qu ad", + "▁o k", + "▁ ok", + "ar th", + "art h", + "▁ec onom", + "▁ econom", + "Com ponent", + "▁be low", + "sig ma", + "s igma", + "▁com put", + "▁comp ut", + "▁ comput", + "▁N one", + "▁No ne", + "▁Non e", + "▁ None", + "▁ta sk", + "▁ task", + "en te", + "ent e", + "e nte", + "pp ed", + "ppe d", + "p ped", + "▁a us", + "▁au s", + "▁ aus", + "Att ribute", + "Attrib ute", + "re q", + "r eq", + "ad dr", + "add r", + "li ght", + "co ver", + "cov er", + "c over", + "up port", + "upp ort", + "▁ Gl", + "▁ San", + "▁wr iting", + "▁ writing", + "▁ Mark", + "▁ gre", + "TY PE", + "T YPE", + "▁Sou th", + "▁Sout h", + "▁ South", + "▁perf ect", + "▁pack age", + "▁ package", + "▁ infl", + "▁ Ang", + "res pon", + "resp on", + "pte mber", + "▁ building", + "VA L", + "V AL", + "fr ee", + "fre e", + "f ree", + "H T", + "▁Fr om", + "▁Fro m", + "▁ From", + "d s", + "ach ine", + "achi ne", + "no wn", + "now n", + "n own", + "▁sa ying", + "Re f", + "R ef", + "▁ network", + "par ent", + "pa rent", + "pare nt", + "paren t", + "p arent", + "> \r", + "Build er", + "B uilder", + "▁li ving", + "▁liv ing", + "▁ continue", + "an ger", + "ang er", + "ange r", + "▁ Red", + "▁ dead", + "▁bo olean", + "▁ boolean", + "▁cl ient", + "▁ client", + "▁ •", + "ol der", + "old er", + "ud io", + "udi o", + "▁d eg", + "asi ng", + "a sing", + "▁ step", + "▁pe rs", + "▁ pers", + "ç ão", + "ob j", + "▁rou nd", + "▁re source", + "▁res ource", + "▁ resource", + "▁val id", + "▁ valid", + "bu g", + "b ug", + "st d", + "s td", + "sp an", + "s pan", + "po l", + "p ol", + "ial og", + "ia log", + "▁p hot", + "? '", + "D B", + "▁Fi n", + "▁ Fin", + "V E", + "E m", + "▁ca m", + "▁ cam", + "tar get", + "t arget", + "pe cted", + "pec ted", + "He l", + "H el", + "▁Tes t", + "▁ Test", + "▁tow n", + "▁ town", + "al ign", + "ali gn", + "▁ except", + "▁ initial", + "lic h", + "li ch", + "l ich", + "▁Au t", + "▁ Aut", + "▁ fail", + "▁ben ef", + "is che", + "isch e", + "isc he", + "i sche", + ". *", + "▁ contact", + "Re c", + "R ec", + "a rio", + "ot tom", + "ott om", + "otto m", + "▁rel ationship", + "▁relation ship", + "]) ;", + "] );", + "He ad", + "H ead", + "form at", + "for mat", + "▁é t", + "▁ ét", + "▁ More", + "act ory", + "actor y", + "port un", + "+ \\", + "▁simpl y", + "▁Rus s", + "n í", + "▁lon ger", + "in ition", + "init ion", + "ec tor", + "apt ion", + "a ption", + "▁profes s", + "▁ Mus", + "è s", + "▁ Act", + "off set", + "offs et", + "▁il l", + "▁ Ag", + "cont ent", + "▁ works", + "yn am", + "yna m", + "y nam", + "p lement", + "Res ource", + "Re source", + "Act ion", + "A ction", + "▁diff icult", + "▁Wes t", + "▁ West", + "▁vide o", + "▁ video", + "▁T HE", + "▁TH E", + "▁ THE", + "▁ decl", + "ondo n", + "de d", + "d ed", + "}{ \\", + "} {\\", + "o cr", + "▁Cit y", + "▁Ci ty", + "▁ City", + "ue r", + "u er", + "c z", + "▁i mag", + "▁ imag", + "c r", + "et e", + "e te", + "id get", + "idge t", + "▁ forward", + "▁pi ct", + "▁pic t", + "or ge", + "org e", + "▁ subject", + "up date", + "s a", + "▁ Ant", + "▁r unning", + "▁ running", + "▁sa l", + "▁ sal", + "con ne", + "conn e", + "c onne", + "▁ output", + "ad ata", + "ada ta", + "a data", + "Che ck", + "C heck", + "l edge", + "▁pa per", + "▁pap er", + "▁ paper", + "param s", + "par ams", + "para ms", + "a vy", + "▁a f", + "▁ af", + "▁e ine", + "▁ein e", + "▁j our", + "▁jo ur", + "▁jou r", + "▁ jour", + "A Y", + "▁S tr", + "▁St r", + "▁ Str", + "st yle", + "sty le", + "Th at", + "T hat", + "▁ language", + ") (", + "▁b uy", + "▁.. .", + "▁ activ", + "ap ped", + "app ed", + "appe d", + "a pped", + "But ton", + "B utton", + "To ken", + "Tok en", + "T oken", + "ibe r", + "▁c reated", + "▁ created", + "cur ity", + "c urity", + "En d", + "E nd", + "a ł", + "izi ng", + "i zing", + "▁s ich", + "▁si ch", + "▁ See", + "▁u int", + "▁ui nt", + "▁ uint", + "▁ label", + "vo l", + "v ol", + "ó w", + "oco l", + "▁inte rn", + "▁ intern", + "R un", + "▁ Oct", + "▁C omp", + "▁ Comp", + "Ac t", + "A ct", + "▁tou r", + "▁Stat e", + "▁Sta te", + "▁ State", + "▁ad ded", + "▁ added", + "htt ps", + "http s", + "stre am", + "▁ lower", + "▁ Sk", + "▁ cross", + "▁ echo", + "▁ device", + "▁gam es", + "▁ga mes", + "P L", + "W indow", + "ti tle", + "tit le", + "t itle", + "St ream", + "z t", + "▁ Sw", + "▁ role", + "k u", + "seq u", + "▁ late", + "Com m", + "Co mm", + "C omm", + "▁en tre", + "▁ent re", + "▁entr e", + "▁ entre", + "▁ dog", + "dev ice", + "▁ likely", + "^{ -", + "^ {-", + "▁l en", + "▁le n", + "▁ len", + "▁Pa ul", + "▁ Paul", + "▁t ool", + "▁to ol", + "▁too l", + "▁ tool", + "Of f", + "O ff", + "▁f amil", + "▁fam il", + "▁fa mil", + "▁ draw", + "a pping", + "▁ events", + "cre t", + "cr et", + "c ret", + "rou ght", + "Cont ent", + "ms g", + "m sg", + "ga mma", + "g amma", + "Op er", + "O per", + "▁your self", + "▁yours elf", + "▁li ter", + "▁ liter", + "em p", + "e mp", + "▁sep ar", + "▁ separ", + "▁ti tle", + "▁ title", + "M ethod", + "math rm", + "▁s low", + "▁ Rom", + "▁ta x", + "▁ tax", + "empl ate", + "emp late", + "o i", + "▁A rt", + "▁ Art", + "f alse", + "oc ket", + "T O", + "am ente", + "ame nte", + "ament e", + "amen te", + "a mente", + "lo cal", + "loc al", + "l ocal", + "chi e", + "▁pa n", + "ch ema", + "che ma", + "chem a", + "▁Nort h", + "▁> =", + "▁ >=", + "A ut", + "▁ dig", + "sol e", + "um er", + "ume r", + "u mer", + "del ta", + "d elta", + "it é", + "i té", + "ab ase", + "aba se", + "a base", + "ra f", + "r af", + "▁obs erv", + "▁ observ", + "▁ Est", + "▁s eg", + "▁se g", + "▁ seg", + "▁[ ]", + "▁ []", + "▁ Pres", + "pu sh", + "pus h", + "p ush", + "▁ Off", + "a ti", + "▁ dim", + "En t", + "E nt", + "___ _", + "_ ___", + "en try", + "ent ry", + "entr y", + "▁fi ght", + "▁ cred", + "▁O R", + "▁ OR", + "▁ Dep", + "$ {", + "Creat e", + "C reate", + "▁Apr il", + "▁Ap ril", + "min istr", + "▁ Ap", + "▁ Here", + "priv ate", + "p rivate", + "In stance", + "Inst ance", + "ie m", + "i em", + "▁ third", + "▁up date", + "▁ update", + "Lin e", + "Li ne", + "L ine", + "ta g", + "t ag", + "▁e specially", + "▁espec ially", + "▁especial ly", + "▁ especially", + "▁c u", + "▁ cu", + "▁ki ll", + "▁ kill", + "au ght", + "Option s", + "Opt ions", + "O ptions", + "ju st", + "j ust", + "▁ While", + "iz er", + "ize r", + "i zer", + "▁a uto", + "▁aut o", + "▁au to", + "▁ auto", + "▁ba nd", + "iq ues", + "N O", + "▁O F", + "▁ OF", + "▁ Acc", + "EX T", + "E XT", + "en sor", + "ens or", + "enso r", + "▁ lat", + "bi g", + "b ig", + "▁Ki ng", + "▁Kin g", + "▁ King", + "s i", + "▁Hi st", + "▁ Hist", + "▁ quality", + "mod e", + "mo de", + "m ode", + "▁op portun", + "▁would n", + ":* *", + ": **", + "out put", + "▁fee t", + "d f", + "agi ng", + "▁d efined", + "▁define d", + "▁ defined", + "▁ review", + "▁F il", + "▁Fi l", + "▁ Fil", + "▁prin cip", + "Bas e", + "B ase", + "di ct", + "d ict", + "ve rage", + "ver age", + "ici ent", + "▁hi t", + "▁ hit", + "Pag e", + "P age", + "▁p erm", + "▁per m", + "▁pe rm", + "▁ perm", + "í t", + "▁expr ess", + "▁ express", + "▁Sept ember", + "im age", + "ima ge", + "imag e", + "▁ products", + "▁medi a", + "▁ media", + "ig ger", + "igg er", + "▁ send", + "la st", + "las t", + "l ast", + "mi ng", + "uar y", + "y sis", + "lik e", + "в і", + "▁Mi ch", + "M O", + "▁J ah", + "▁Ja h", + "▁shar e", + "▁sha re", + "▁ share", + "sp ec", + "spe c", + "s pec", + "▁ fast", + "H O", + "▁part icip", + "▁parti cip", + "Bl ock", + "Blo ck", + "B lock", + "▁vi ol", + "▁fr ame", + "▁fra me", + "▁fram e", + "▁ frame", + "▁ qual", + "tr e", + "t re", + "▁tow ard", + "f g", + "Bo x", + "B ox", + "Col umn", + "▁mil it", + "▁mi lit", + "pas s", + "▁ Ben", + "Fr ame", + "▁n ormal", + "▁nor mal", + "▁ normal", + "op en", + "ope n", + "o pen", + "p x", + "▁Eve n", + "▁ Even", + "▁m a", + "▁ ma", + "St art", + "Star t", + "rh o", + "r ho", + "gr aph", + "gra ph", + "g raph", + "aci ng", + "arte r", + "in st", + "ins t", + "activ e", + "▁ fem", + "▁m oved", + "▁mo ved", + "▁stor e", + "▁sto re", + "▁ store", + "▁p rice", + "▁ price", + "be rg", + "b erg", + "▁ nov", + "▁ca rd", + "▁ card", + "el low", + "▁ party", + "▁ percent", + "▁ training", + "▁in g", + "▁i ng", + "▁ ing", + "im er", + "ime r", + "i mer", + "▁ Sam", + "Def ault", + "▁f uck", + "▁fu ck", + "▁com plete", + "▁comp lete", + "▁compl ete", + "▁ complete", + "ui d", + "u id", + "▁det ails", + "▁ details", + "Po int", + "P oint", + "▁Coun t", + "▁Cou nt", + "▁ Count", + "z o", + "▁ Bro", + "▁ recogn", + "▁ Hol", + "el ement", + "ele ment", + "elem ent", + "e lement", + "Mod e", + "Mo de", + "M ode", + "▁E X", + "▁ EX", + "Im age", + "ri ter", + "rit er", + "rite r", + "r iter", + "s oft", + "▁int rodu", + "▁intro du", + "▁sur pr", + "Buf fer", + "Buff er", + "B uffer", + "le ctor", + "lect or", + "l ector", + "an ged", + "ang ed", + "ange d", + "▁Pa t", + "▁ Pat", + "▁Pa l", + "▁ Pal", + "▁con tr", + "▁cont r", + "▁ contr", + "Hand ler", + "Handle r", + "▁ features", + "ip le", + "i ple", + "▁C ON", + "▁CO N", + "▁ CON", + "Fi l", + "F il", + "▁Po rt", + "▁Por t", + "▁ Port", + "▁thin king", + "do c", + "d oc", + "▁wor ked", + "c m", + "da t", + "d at", + "PR O", + "P RO", + "▁Ever y", + "▁Eve ry", + "▁ Every", + "▁ First", + "▁imm edi", + "ov ember", + "ove mber", + "apa n", + "▁extr a", + "▁ extra", + "▁sect ion", + "▁ section", + "▁Jun e", + "▁vi a", + "▁ via", + "▁s tri", + "▁ stri", + "^ \\", + "▁arc h", + "S ource", + "▁co nv", + "▁ conv", + "▁Lond on", + "▁ London", + "Num ber", + "N umber", + "an did", + "and id", + "en v", + "e nv", + "▁nat ural", + "▁natur al", + "▁ natural", + "▁ne ws", + "▁ news", + "▁c hall", + "▁cha ll", + "* }", + "N ull", + "rot e", + "▁ bi", + "▁wr itten", + "▁ written", + "▁blo od", + "▁happen ed", + "▁ca use", + "as hing", + "ash ing", + "ashi ng", + "a dem", + "▁displ ay", + "▁ display", + "ta b", + "t ab", + "ni e", + "n ie", + "▁h ers", + "▁he rs", + "▁her s", + "▁ Pre", + "buf fer", + "buff er", + "b uffer", + "▁his tor", + "en u", + "e nu", + "▁ar riv", + "▁arr iv", + "▁ Dem", + "▁f avor", + "▁fa vor", + "▁hand le", + "▁ handle", + "SE T", + "S ET", + "▁Pub lic", + "▁Pu blic", + "▁ Public", + "r upt", + "▁é s", + "▁ és", + "Pr e", + "P re", + "р і", + "th eta", + "the ta", + "i sf", + "▁nat ional", + "Equ al", + "Eq ual", + "E qual", + "▁ca pt", + "▁ Inter", + "ta u", + "t au", + "▁s leep", + "▁ sleep", + "../ ../", + "▁ issue", + "▁ member", + "▁a wait", + "▁aw ait", + "▁ await", + "▁Da n", + "▁ Dan", + "z i", + "i nate", + "▁ sym", + "cha n", + "▁Ja ck", + "▁ Jack", + "▁ English", + "▁s z", + "▁ sz", + "rib utes", + "ribut es", + "ribute s", + "ribu tes", + "▁ig n", + "á l", + "id ge", + "▁co uple", + "▁coup le", + "we b", + "w eb", + "▁usual ly", + "▁vi ll", + "▁vil l", + "▁W hy", + "▁Wh y", + "▁ Why", + "eb ru", + "e bru", + "or ds", + "▁i nf", + "▁ loss", + "▁o d", + "▁ od", + "▁ Phil", + "ser ver", + "serv er", + "serve r", + "▁ Up", + "▁b uff", + "▁bu ff", + "▁buf f", + "▁ buff", + "▁fil ename", + "▁file name", + "▁ filename", + "AB LE", + "iti ng", + "ef ore", + "e fore", + "() ->", + "( )->", + "▁ conditions", + "v m", + "i tz", + "▁ Trans", + "▁w eight", + "▁weigh t", + "vi der", + "vid er", + "v ider", + "c oming", + "▁l ock", + "▁loc k", + "▁lo ck", + "▁ lock", + "▁e tc", + "▁ etc", + "▁a vec", + "▁av ec", + "▁ave c", + "▁tak es", + "▁ta kes", + "▁C har", + "▁Cha r", + "▁ Char", + "▁N ovember", + "m ethod", + "▁A ustral", + "▁ Austral", + "▁Amer ica", + "▁ America", + "lon g", + "fl ow", + "f low", + "▁may be", + "▁ maybe", + "La yout", + "L ayout", + "ic ip", + "ici p", + "i cip", + "part ial", + "Tr ue", + "▁f loor", + "▁ floor", + "▁ Def", + "▁conce rn", + "▁concer n", + "▁an swer", + "▁ans wer", + "▁ answer", + "▁ba ll", + "▁ Rev", + "▁ sun", + "ment e", + "me nte", + "men te", + "m ente", + "▁ Mal", + "▁ issues", + "ec ause", + "eca use", + "▁p layer", + "▁pl ayer", + "▁ player", + "▁ parents", + "▁popula r", + "▁popul ar", + "▁mo de", + "▁ mode", + "N E", + "Lo ad", + "L oad", + "▁regul ar", + "▁ regular", + "? :", + "fun c", + "fu nc", + "f unc", + "▁per formance", + "▁J uly", + "th ern", + "ther n", + "the rn", + "▁we bsite", + "▁web site", + "fo rd", + "l evel", + "fl ags", + "flag s", + "▁cor respon", + "si m", + "s im", + "▁ alone", + "▁ har", + "obi le", + "obil e", + "▁d ru", + "▁dr u", + "▁ dru", + "ch i", + "c hi", + "▁D avid", + "▁Da vid", + "▁ David", + "▁ column", + "() ;\r", + "(); \r", + "( );\r", + "Z E", + "▁reli g", + "▁ region", + "a dy", + "I O", + "ande r", + "Ne t", + "N et", + "▁ built", + "▁ install", + "C ur", + "▁fi ne", + "▁talk ing", + "▁tal king", + "▁ch anges", + "▁ changes", + "St yle", + "▁Ma rt", + "▁ Mart", + "res ponse", + "respon se", + "respons e", + "te ger", + "{ \r", + "iri t", + "▁prote cted", + "▁ protected", + "▁r ele", + "un signed", + "uns igned", + "ial ize", + "▁htt ps", + "▁ https", + "T ag", + "▁$ (", + "▁ $(", + "mo re", + "mor e", + "ype s", + "yp es", + "y pes", + "et ch", + "etc h", + "▁ engine", + "K E", + "cm d", + "c md", + "scri pt", + "scr ipt", + "t tp", + "▁a void", + "▁t err", + "▁te rr", + "▁ter r", + "▁ rock", + "▁f ul", + "▁fu l", + "▁ ful", + "Up date", + "▁env ironment", + "▁environ ment", + "▁ environment", + "▁ prec", + "▁ca ses", + "▁ cases", + "▁off set", + "▁ offset", + "▁r ais", + "▁ra is", + "▁ rais", + "ée s", + "é es", + "a a", + "y t", + "▁a rr", + "▁ arr", + "opy right", + "f irst", + "▁ util", + "▁ feature", + "po sed", + "p osed", + "ff ect", + "f fect", + "itu de", + "itud e", + "emen ts", + "le ctions", + "lect ions", + "lection s", + "▁ club", + "] {", + "▁* )", + "▁ *)", + "▁ imm", + "▁forme r", + "▁decide d", + "▁decid ed", + "▁ rev", + "▁st ru", + "▁str u", + "▁ stru", + "▁I tal", + "a lle", + "▁b is", + "▁bi s", + "▁ bis", + "ge ner", + "gen er", + "g ener", + "▁in tegr", + "▁int egr", + "▁inte gr", + "▁ integr", + "ry pt", + "s b", + "▁t ypes", + "▁ types", + "▁R E", + "▁ RE", + "In it", + "I nit", + "▁comme nt", + "▁ comment", + "AR T", + "A RT", + "F O", + "Con ne", + "Conn e", + "C onne", + "▁sq u", + "id ad", + "ida d", + "cia l", + "▁ Of", + "▁tr avel", + "') .", + "' ).", + "u y", + "i lla", + "is try", + "istr y", + "▁v a", + "▁ va", + "▁ Che", + "ER T", + "E RT", + "en de", + "end e", + "e nde", + "un gen", + "ung en", + "unge n", + "▁sa m", + "▁ sam", + "▁ex ecut", + "▁exec ut", + "▁ execut", + "▁ Us", + "▁mu t", + "▁ mut", + "▁ba l", + "as se", + "ass e", + "▁k ids", + "▁kid s", + "▁ki ds", + "▁fin anc", + "▁ Sec", + "be rt", + "▁Hig h", + "▁Hi gh", + "▁ High", + "▁ је", + "but ton", + "b utton", + "it ory", + "itor y", + "ito ry", + "▁ Rem", + "▁D E", + "▁ DE", + "▁r each", + "▁ reach", + "La bel", + "L abel", + "á t", + "▁pas sed", + "▁be hav", + "xF F", + "x FF", + "▁R eturn", + "▁Re turn", + "▁Ret urn", + "▁ Return", + "ST R", + "S TR", + "▁ Les", + "inge r", + "▁Sin ce", + "▁ Since", + "▁exper i", + "▁exp eri", + "▁s hall", + "▁sha ll", + "▁ shall", + "▁s tar", + "▁sta r", + "no n", + "n on", + "▁ gun", + "▁ Bel", + "▁ob j", + "▁ obj", + "r s", + "ne n", + "n en", + "▁S tre", + "▁St re", + "▁Str e", + "▁ î", + "time s", + "ti mes", + "tim es", + "t imes", + "▁ register", + "▁mod ule", + "▁mo dule", + "▁ module", + "▁app lic", + "▁appl ic", + "▁ cook", + "▁sa ve", + "▁sav e", + "▁ save", + "▁ Cr", + ", \r", + "▁sta tes", + "▁ states", + "▁em pty", + "▁emp ty", + "▁empt y", + "▁ empty", + "▁au tom", + "▁auto m", + "▁ autom", + "fig ure", + "▁h appy", + "▁happ y", + "▁f n", + "▁ fn", + "▁ju d", + "▁ jud", + "▁h at", + "▁ha t", + "▁ hat", + "AC K", + "A CK", + "▁ Fe", + "$ -", + "ivi l", + "i vil", + "▁size of", + "▁ sizeof", + "▁li ves", + "▁liv es", + "▁fe eling", + "▁feel ing", + "▁fee ling", + "▁ris k", + "▁Januar y", + "▁Ob ject", + "▁ Object", + "ea h", + "e ah", + "▁com plex", + "▁ complex", + "print f", + "ist ance", + "istan ce", + "i stance", + "li k", + "l ik", + "Ar g", + "A rg", + "▁mo dern", + "▁mode rn", + "▁moder n", + "ion es", + "io nes", + "ione s", + "i ones", + "▁ Mag", + "▁ condition", + "Le ngth", + "L ength", + "▁fi t", + "oun ds", + "▁ch anged", + "▁ changed", + "▁g uy", + "▁gu y", + "fil ter", + "at ever", + "ate ver", + "é d", + "re move", + "rem ove", + "▁ho p", + "▁ hop", + "▁ Out", + "▁Ric h", + "▁ Rich", + "ch ild", + "chi ld", + "▁in cluded", + "▁incl uded", + "▁inclu ded", + "$ \\", + "▁ Tom", + "eli ne", + "elin e", + "▁s ometimes", + "▁some times", + "▁sometime s", + "▁dr ink", + "▁ quant", + "▁p lease", + "▁ple ase", + "▁ex actly", + "▁exact ly", + "cin g", + "▁all owed", + "▁ allowed", + "bu ild", + "b uild", + "▁beaut iful", + "▁Wel l", + "▁ Well", + "▁look s", + "▁lo oks", + "▁ ü", + "▁wr ote", + "▁ nor", + "▁ failed", + "Me t", + "M et", + "▁p rior", + "or ia", + "ori a", + "o ria", + "▁ web", + "▁mes s", + "le q", + "l eq", + "d y", + "te x", + "t ex", + "▁a nim", + "▁ anim", + "atu r", + "▁str ucture", + "▁ structure", + "opt ion", + "o ption", + "▁ actual", + "▁Fr anc", + "▁Fra nc", + "▁Fran c", + ".< /", + ". ", + "▁ />", + "▁p roduction", + "▁prod uction", + "▁ production", + "ige r", + "sh ow", + "s how", + "▁popul ation", + "▁ park", + "▁ necessary", + "▁t rust", + "mod ule", + "mo dule", + "G E", + "▁class Name", + "▁ className", + "▁cal cul", + "▁calc ul", + "Fun ction", + "F unction", + "▁ Sal", + "O K", + "▁en try", + "▁entr y", + "▁ entry", + "▁ Stud", + "▁item s", + "▁ items", + "▁se curity", + "▁secur ity", + "▁ security", + "En try", + "Ent ry", + "f loat", + "▁cont ribut", + "▁C heck", + "▁Che ck", + "▁ Check", + "M D", + "Par t", + "P art", + "▁syst ems", + "▁ policy", + "▁s creen", + "▁scr een", + "▁ screen", + "▁A ny", + "▁An y", + "▁ Any", + "al loc", + "all oc", + "allo c", + "▁ É", + "▁e mail", + "▁em ail", + "▁ email", + "= >", + "▁ Hen", + "▁in fo", + "▁inf o", + "▁ info", + "▁f loat", + "▁flo at", + "▁ float", + "▁ switch", + "▁as sum", + "▁ass um", + "us tr", + "ust r", + "u str", + "▁g roups", + "▁gro ups", + "▁ groups", + "▁R ead", + "▁Re ad", + "▁ Read", + "▁w at", + "▁wa t", + "RA N", + "R AN", + "AL L", + "A LL", + "▁h us", + "▁ hus", + "Sp ec", + "Spe c", + "S pec", + "\") )", + "\" ))", + "▁C lass", + "▁ Class", + "▁presid ent", + "▁def init", + "▁defin it", + "▁T hom", + "W idth", + "D o", + "▁{ @", + "a gon", + "▁ Lu", + "M M", + "tm p", + "t mp", + "▁th rows", + "▁throw s", + "▁thr ows", + "▁thro ws", + "▁ throws", + "IT Y", + "I TY", + "é g", + "▁inter face", + "▁ interface", + "▁sa f", + "B ack", + "▁s peed", + "▁ speed", + "▁ext ends", + "▁extend s", + "em pty", + "empt y", + "emp ty", + "▁d riv", + "▁dr iv", + "▁dri v", + "▁c enter", + "▁ center", + "he ader", + "head er", + "▁} )", + "▁ })", + "▁ middle", + "▁ch oose", + "▁cho ose", + "▁St ad", + "▁Sta d", + "S O", + "Fact ory", + "Factor y", + "F actory", + "De v", + "D ev", + "icl es", + "▁appl ication", + "▁ application", + "▁ models", + "pi te", + "pit e", + "ca p", + "c ap", + "x i", + "▁dre am", + "EN D", + "E ND", + "▁con tract", + "▁contr act", + "▁contra ct", + "▁ contract", + "icro soft", + "▁thou s", + "i zes", + "▁d irection", + "▁di rection", + "▁dir ection", + "▁ direction", + "▁` `", + "▁ ``", + "▁d rive", + "▁dri ve", + "▁driv e", + "▁ drive", + "Ma x", + "M ax", + "ci a", + "c ia", + "▁Ale x", + "▁ Alex", + "▁gol d", + "▁ gold", + "▁p rep", + "▁or igin", + "▁ origin", + "O p", + "PO RT", + "P ORT", + "▁sa fe", + "▁ safe", + "ap ache", + "apa che", + "▁t emper", + "▁temp er", + "s z", + "▁u nit", + "▁ unit", + "▁ cop", + "eq n", + "List ener", + "Listen er", + "▁forma t", + "▁ format", + "se lect", + "sel ect", + "s elect", + "▁com fort", + "▁ comfort", + "id ay", + "ida y", + "i day", + "em e", + "e me", + "▁ note", + "▁Mi l", + "▁ Mil", + "on ly", + "▁< =", + "▁ <=", + "▁nei gh", + "▁ blue", + "Ch ild", + "Add ress", + "Addr ess", + "▁cl osed", + "▁clo sed", + "▁ closed", + "inde r", + "ol o", + "o lo", + "▁a lt", + "▁a dm", + "▁ad m", + "Form at", + "For mat", + "U I", + "▁f requ", + "▁in depend", + "▁inde pend", + "▁ independ", + "▁Lan d", + "▁ Land", + "▁ tor", + "in fty", + "inf ty", + "▁Wor k", + "▁ Work", + "▁Coun ty", + "▁s rc", + "▁ src", + "}$ ,", + "} $,", + "par se", + "pars e", + "p arse", + "▁Cou r", + "▁f ol", + "▁fo l", + "▁ fol", + "Ent ity", + "pg f", + "▁Chi na", + "▁ Sub", + "▁ fields", + "▁y es", + "▁ye s", + "▁ yes", + "re nd", + "ren d", + "r end", + "▁tow ards", + "▁sta ff", + "▁ staff", + "▁ Air", + "▁ station", + "ativ es", + "iss ions", + "ission s", + "| \\", + "Pt r", + "P tr", + "Po l", + "P ol", + "▁ progress", + "i tar", + "▁p arts", + "▁ parts", + "▁ plant", + "▁abs olut", + "▁gu ess", + "eq ref", + "▁ti m", + "▁ tim", + "▁ Lou", + "al u", + "a lu", + "▁mo uth", + "▁mou th", + "▁ mouth", + "▁h eight", + "▁ height", + "▁Pos t", + "▁ Post", + "▁ti t", + "▁ tit", + "▁ho ur", + "▁ hour", + "▁ser ver", + "▁serv er", + "▁serve r", + "▁ server", + "▁p layers", + "ri er", + "rie r", + "r ier", + "Lin k", + "L ink", + "] (", + "▁constr uct", + "▁constru ct", + "▁ construct", + "hand le", + "}$ .", + "} $.", + "ry ing", + "r ying", + "▁s hop", + "▁ shop", + "ex p", + "e xp", + "Hel per", + "Help er", + "Off set", + "▁conn ection", + "▁ connection", + "▁d ifference", + "serv ice", + "s ervice", + "▁ga s", + "▁p riv", + "▁ priv", + "▁ univers", + "▁w ish", + "▁wis h", + "Re m", + "R em", + "U rl", + "ge b", + "g eb", + "S o", + "Mod ule", + "Mo dule", + "SI ZE", + "wind ow", + "w indow", + "de l", + "d el", + "▁a verage", + "▁ave rage", + "xi m", + "x im", + "▁p u", + "▁ pu", + "an ç", + "De t", + "D et", + "▁ Det", + "▁p å", + "▁na med", + "▁nam ed", + "▁ named", + "▁decis ion", + "wi n", + "▁Ge orge", + "▁s olution", + "▁sol ution", + "▁mult iple", + "▁ multiple", + "at egy", + "▁le arning", + "▁lear ning", + "▁ learning", + "▁se cret", + "▁secre t", + "▁ secret", + "D O", + "▁n ice", + "▁ni ce", + "▁nic e", + "▁ nice", + "//////// ////////", + "S u", + "itat ion", + "▁j oin", + "▁ join", + "▁elem ents", + "▁ elements", + "til de", + "t ilde", + "▁ dep", + "▁s hot", + "▁ shot", + "▁pl atform", + "▁ platform", + "edi a", + "( [", + "▁dre ss", + "▁off icial", + "este rn", + "▁dis cover", + "▁disco ver", + "▁ mi", + "od ing", + "odi ng", + "o ding", + "▁Fou nd", + "▁Fo und", + "▁ Found", + "▁a ffect", + "▁af fect", + "Vi s", + "V is", + "st ract", + "str act", + "stra ct", + "s tract", + "de bug", + "d ebug", + "▁relate d", + "▁ spect", + "сь ко", + "▁ bank", + "▁c ele", + "▁ce le", + "▁cel e", + "AN D", + "A ND", + "▁f ill", + "▁fil l", + "▁fi ll", + "▁ fill", + "▁giv es", + "▁gi ves", + "ar on", + "aro n", + "a ron", + "RE G", + "▁s udd", + "▁su dd", + "▁sud d", + "date d", + "da ted", + "dat ed", + "d ated", + "▁g i", + "▁ gi", + "se nd", + "sen d", + "s end", + "cp p", + "c pp", + "▁s pent", + "an de", + "and e", + "a nde", + "▁ operation", + "pro cess", + "proc ess", + "▁info rm", + "▁Fr ee", + "▁ Free", + "yo nd", + "y ond", + "▁su rv", + "▁L oc", + "▁Lo c", + "▁ Loc", + "▁con cl", + "▁conc l", + "▁ Over", + "ho l", + "h ol", + "ra z", + "r az", + "Wr ite", + "Writ e", + "W rite", + "▁giv ing", + "▁gi ving", + "in stance", + "inst ance", + "▁re leased", + "▁ Ro", + "▁grap h", + "▁ graph", + "▁ figure", + "Fil ter", + "HE CK", + "id x", + "i dx", + "▁g lass", + "▁ glass", + "sk i", + "s ki", + "com es", + "co mes", + "come s", + "c omes", + "▁ca t", + "▁ cat", + "go to", + "got o", + "g oto", + "u fact", + "▁C opyright", + "▁Copy right", + "▁ Copyright", + "}} \\", + "} }\\", + "▁d ir", + "▁di r", + "▁ dir", + "to ken", + "tok en", + "t oken", + "▁oc cur", + "arl ier", + "▁ measure", + "▁m ás", + "▁má s", + "▁ Net", + "▁arg ument", + "▁ argument", + "▁s ou", + "▁so u", + "▁m oving", + "▁mo ving", + "▁p refer", + "▁pre fer", + "▁pref er", + "ma sk", + "mas k", + "m ask", + "< <", + "▁bre ath", + "▁breat h", + "▁posit ive", + "▁s or", + "▁so r", + "▁ sor", + "▁re move", + "▁rem ove", + "▁ remove", + "▁k it", + "▁ki t", + "▁ kit", + "▁me eting", + "▁Da ta", + "▁Dat a", + "og raf", + "▁param eters", + "▁parameter s", + "▁ parameters", + "▁ Att", + "es ch", + "esc h", + "e sch", + "▁involve d", + "ä t", + "B ar", + "GE T", + "G ET", + "▁pr event", + "▁prev ent", + "▁ prevent", + "▁be yond", + "▁Ot her", + "▁ Other", + "ä n", + "by te", + "▁sudd en", + "▁sud den", + "ol ve", + "olv e", + "LO G", + "L OG", + "un it", + "uni t", + "u nit", + "S D", + "▁e at", + "▁ Mad", + "▁ session", + "De le", + "Del e", + "D ele", + "▁conve rs", + "cent er", + "cen ter", + "c enter", + "ot ion", + "oti on", + "ca che", + "c ache", + "dis play", + "disp lay", + "▁p ow", + "▁po w", + "▁ pow", + "CT ION", + "C TION", + "▁ Mac", + "m o", + "▁d istance", + "▁ distance", + "▁Ti me", + "g i", + "▁seq u", + "T arget", + "Ser ver", + "Serv er", + "cl ose", + "clos e", + "Ex t", + "E xt", + "▁s elect", + "▁sel ect", + "▁sele ct", + "▁ select", + "▁ pattern", + "\") );", + "\")) ;", + "\" ));", + "Pro vider", + "Prov ider", + "UR L", + "U RL", + "▁ green", + "▁wait ing", + "▁wa iting", + "pro to", + "pr oto", + "prot o", + "▁immediate ly", + "com mon", + "comm on", + "az ione", + "azi one", + "a zione", + "ri ver", + "riv er", + "rive r", + "r iver", + "▁! ==", + "▁!= =", + "▁Febru ary", + "▁Februar y", + "u rb", + "de st", + "des t", + "d est", + "< ?", + "▁ edge", + "▁m ais", + "▁ma is", + "▁mai s", + "gor ith", + "cp u", + "c pu", + "▁associate d", + "No ne", + "Non e", + "N one", + "se m", + "s em", + "▁b ud", + "▁bu d", + "▁ bud", + "▁a uch", + "▁au ch", + "▁ auch", + "▁ Life", + "▁f iles", + "▁fil es", + "▁file s", + "▁fi les", + "▁ files", + "▁ leading", + "▁obt ain", + "i table", + "▁ont o", + "▁bo rn", + "or em", + "ore m", + "o rem", + "▁Stre et", + "▁m aint", + "▁main t", + "▁ma int", + "▁mai nt", + "Param s", + "Par ams", + "ma in", + "m ain", + "We b", + "W eb", + "ais e", + "ai se", + "a ise", + "▁de scribed", + "▁desc ribed", + "▁describe d", + "▁Da y", + "▁ Day", + "▁Vo l", + "▁ Vol", + "▁hug e", + "Ha s", + "H as", + "He ader", + "Head er", + "▁a ren", + "▁are n", + "▁ar en", + "▁ aren", + "▁en sure", + "▁ ensure", + "mu lt", + "mul t", + "m ult", + "▁ Like", + "▁manage ment", + "▁ management", + "▁ background", + "o unter", + "bo ol", + "b ool", + "N um", + "▁ex cl", + "▁exc l", + "im g", + "i mg", + "▁ Hel", + "Opt ion", + "O ption", + "▁sto pped", + "▁th read", + "▁thr ead", + "▁ thread", + "to type", + "tot ype", + "t otype", + "▁stag e", + "▁sta ge", + "▁ stage", + "▁ü ber", + "▁ über", + "▁ although", + "Type s", + "Ty pes", + "Typ es", + "T ypes", + "▁ Oh", + "▁ eight", + "▁de scription", + "▁des cription", + "▁ description", + "' '", + "ö n", + "▁surf ace", + "▁ surface", + "▁Intern ational", + "▁cha rg", + "▁ charg", + "▁ collection", + "▁use rs", + "▁ users", + "▁ob vious", + "▁artic le", + "▁ article", + "▁\" \\", + "▁ \"\\", + "di m", + "d im", + "▁s in", + "▁si n", + "▁ sin", + "Cont rol", + "▁ commit", + "cript or", + "▁N OT", + "▁NO T", + "▁ NOT", + "▁M ichael", + "▁n od", + "▁no d", + "▁ nod", + "▁mo rt", + "iv o", + "i vo", + "▁ Po", + "▁P aris", + "▁Pa ris", + "▁ad ministr", + "▁admin istr", + "▁ administr", + "bu rg", + "cd ot", + "c dot", + "▁milit ary", + "▁militar y", + "▁Bes t", + "▁ Best", + "IN E", + "I NE", + "S l", + "▁im pl", + "▁imp l", + "▁ impl", + "cont rol", + "contr ol", + "▁u it", + "▁ui t", + "▁ uit", + "▁un signed", + "▁uns igned", + "▁ unsigned", + "Ch ar", + "C har", + "м і", + "▁c ourt", + "▁cou rt", + "▁ court", + "vi lle", + "vil le", + "▁ Cam", + ". \r", + "▁curr ently", + "ro t", + "r ot", + "▁D ate", + "▁Da te", + "▁Dat e", + "▁ Date", + "▁s hit", + "▁sh it", + "▁ shit", + "▁$ {\\", + "▁${ \\", + "u nn", + "U s", + "▁b uffer", + "▁buff er", + "▁buf fer", + "▁ buffer", + "▁s ont", + "▁so nt", + "▁son t", + "▁lett er", + "▁ letter", + "Ch ange", + "▁h ref", + "▁hr ef", + "▁ href", + "▁lac k", + "▁ Cons", + "BU G", + "B UG", + "▁pro perties", + "▁ properties", + "▁r andom", + "▁ran dom", + "▁rand om", + "▁ random", + "▁p iece", + "▁ piece", + "isti cs", + "gl obal", + "glob al", + "▁ transform", + "er d", + "e rd", + "▁B ecause", + "▁ Because", + "PE CT", + "P ECT", + "▁ Met", + "▁p sy", + "▁ps y", + "▁ psy", + "▁ god", + "▁ Del", + "base d", + "ba sed", + "bas ed", + "▁v oor", + "▁vo or", + "▁ Call", + "▁fil ter", + "▁ filter", + "▁incl udes", + "▁inclu des", + "▁ includes", + "olut ions", + "olution s", + "f d", + "▁ wind", + "ca rd", + "car d", + "c ard", + "▁n umer", + "▁num er", + "▁nu mer", + "▁ numer", + "add ress", + "addr ess", + "ash ington", + "ashing ton", + "ab a", + "a ba", + "▁ Log", + "Set tings", + "Setting s", + "▁p i", + "▁ pi", + "iri ng", + "F T", + "co nf", + "ta sk", + "t ask", + "▁î n", + "▁re ceive", + "▁ root", + "pat ch", + "p atch", + "é l", + "▁ methods", + "▁plac es", + "▁capit al", + "▁Germ an", + "\\ ,", + "ec ute", + "ecut e", + "col umn", + "▁ functions", + "▁co unter", + "▁ counter", + "▁ arms", + "▁fee d", + "▁ feed", + "he nt", + "hen t", + "h ent", + "MA X", + "M AX", + "▁app ly", + "▁ap ply", + "▁appl y", + "▁ apply", + "▁hus band", + "▁S pec", + "▁Sp ec", + "▁Spe c", + "▁ Spec", + "ent ity", + "enti ty", + "▁e arlier", + "▁Mi ss", + "▁Mis s", + "▁ Miss", + "▁ setting", + "▁ ded", + "Ro w", + "R ow", + "▁Y es", + "▁Ye s", + "▁ Yes", + "▁financ ial", + "s ession", + "ishi ng", + "▁ne arly", + "▁d ur", + "▁du r", + "▁m achine", + "▁ machine", + "xf f", + "x ff", + "▁s ymbol", + "▁sym bol", + "▁ symbol", + "lan ds", + "Ac c", + "A cc", + "d i", + "pro p", + "pr op", + "p rop", + "uri ty", + "▁## ###", + "▁walk ed", + "▁wal ked", + "▁internation al", + "Y es", + "▁re lease", + "▁ release", + "st atic", + "stat ic", + "▁b ei", + "▁be i", + "al low", + "all ow", + "allo w", + "▁ People", + "▁param eter", + "▁ parameter", + "C ache", + "▁$ $", + "▁ $$", + "▁ Mer", + "▁k om", + "▁ko m", + "▁ kom", + "le ted", + "let ed", + "lete d", + "l eted", + "oi s", + "▁ Open", + "ty pes", + "type s", + "typ es", + "t ypes", + "▁f ue", + "▁fu e", + "ac ters", + "act ers", + "acter s", + "▁ reference", + "Equ als", + "Equal s", + "Eq uals", + "▁ aware", + "▁h ol", + "▁ho l", + "▁ hol", + "▁de mand", + "▁v eh", + "▁ veh", + "▁not ice", + "▁ notice", + "▁com ponent", + "▁compon ent", + "▁ component", + "f n", + "▁analy sis", + "▁analys is", + "▁ analysis", + "mat ch", + "m atch", + "▁ effective", + "pro duct", + "produ ct", + "prod uct", + "▁ legal", + "se mb", + "sem b", + "s emb", + "▁locate d", + "Q L", + "et o", + "e to", + "Dr aw", + "D raw", + "▁scal e", + "▁ scale", + "▁w ants", + "▁want s", + "H ow", + "▁w el", + "▁we l", + "isi ons", + "▁de liver", + "unde r", + "▁j u", + "▁ ju", + "val ues", + "value s", + "▁si ster", + "▁sist er", + "▁C reate", + "▁Creat e", + "▁Cre ate", + "▁ Create", + "▁I nc", + "▁a ux", + "▁au x", + "▁ aux", + "▁ White", + "Me nu", + "Men u", + "M enu", + "re source", + "res ource", + "▁ca b", + "▁li f", + "▁ lif", + "▁c ulture", + "ic he", + "ich e", + "i che", + "▁wh atever", + "▁what ever", + "▁de signed", + "▁ Mont", + "▁ charge", + "Name s", + "Na mes", + "N ames", + "▁custom ers", + "▁customer s", + "o sa", + "E Q", + "▁o pin", + "▁Fr e", + "▁ seek", + "▁p ush", + "▁pu sh", + "▁ push", + "▁n av", + "▁na v", + "▁ nav", + "▁bu rn", + "▁ burn", + "arde n", + "ha sh", + "has h", + "h ash", + "▁opportun ity", + "▁ Mat", + "oya l", + "▁pu n", + "sc ale", + "scal e", + "yn amic", + "ynam ic", + "yna mic", + "▁Typ e", + "▁qu ery", + "▁que ry", + "▁quer y", + "▁ query", + "▁ Once", + "▁medic al", + "▁medi cal", + "li e", + "l ie", + "▁ student", + "ede ral", + "▁ lov", + "▁alter n", + "▁ altern", + "bi n", + "od er", + "ode r", + "o der", + "▁ returns", + "reg ister", + "C I", + "▁ Tor", + "C R", + "▁ Los", + "am ily", + "ami ly", + "amil y", + "air e", + "ai re", + "a ire", + "++ ;", + "Cont roller", + "Control ler", + "wi de", + "wid e", + "row ser", + "rows er", + "▁ Book", + "Cont ainer", + "pl oad", + "plo ad", + "p load", + "▁ Ev", + "▁ta l", + "▁ tal", + "eqn array", + "▁rep orted", + "▁me aning", + "ri be", + "rib e", + "r ibe", + "hol d", + "▁of fers", + "▁t empl", + "▁tem pl", + "▁temp l", + "cs s", + "c ss", + "▁p icture", + "▁ picture", + "▁a sync", + "▁as ync", + "▁ async", + "▁sto ck", + "▁ stock", + "▁inter nal", + "▁ internal", + "t i", + "V er", + "▁d emon", + "▁demo n", + "▁l augh", + "▁la ugh", + "▁laug h", + "▁ End", + "▁k on", + "▁ko n", + "▁ kon", + "▁c andid", + "▁can did", + "Me m", + "M em", + "iz z", + "i zz", + "re fix", + "ref ix", + "▁A ND", + "▁AN D", + "▁ AND", + "eg en", + "e gen", + "E l", + "H ttp", + "▁ Rob", + "д і", + "▁ bul", + "▁countr ies", + "▁ex pression", + "▁expr ession", + "▁ expression", + "s f", + "▁certain ly", + "▁A NY", + "▁AN Y", + "▁ ANY", + "▁conn ect", + "▁ connect", + "F E", + "▁and roid", + "▁ android", + "▁Gol d", + "▁ Gold", + "▁opp os", + "ove rn", + "o vern", + "▁Com mun", + ", _", + "asi on", + "▁fi rm", + "▁fir m", + "▁ Good", + "▁ brand", + "M in", + "fil l", + "fi ll", + "f ill", + "'] ,", + "' ],", + "in gle", + "ing le", + "it hub", + "ith ub", + "▁ Div", + "▁ce rt", + "▁cer t", + "▁ cert", + "He ight", + "H eight", + "The re", + "Th ere", + "T here", + "it ute", + "itut e", + "itu te", + "▁a maz", + "▁am az", + "▁ amaz", + "▁S E", + "▁ SE", + "▁pull ed", + "▁pul led", + "▁re sources", + "▁resource s", + "▁ resources", + "▁ Max", + "▁ag reed", + "▁agree d", + "\"> < /", + "\" > >", + "▁ >>", + "com mand", + "comm and", + "at z", + "a tz", + "▁m al", + "▁ma l", + "▁ mal", + "▁ Press", + "▁char acters", + "▁z ero", + "▁ze ro", + "▁ zero", + "AG E", + "A GE", + "rap per", + "▁kit chen", + "▁re str", + "▁r estr", + "▁res tr", + "▁rest r", + "▁Ar ray", + "▁Arr ay", + "▁ Array", + "▁fres h", + "▁sh ift", + "▁ shift", + "▁spec ified", + "pl ete", + "ple te", + "plet e", + "p lete", + "IT E", + "I TE", + "▁ Camp", + "c b", + "▁ TH", + "I B", + "▁ ú", + "▁par ams", + "▁param s", + "▁para ms", + "▁ params", + "ign ment", + "ad ding", + "add ing", + "▁ degree", + "Loc al", + "Lo cal", + "L ocal", + "O h", + "▁z ur", + "▁zu r", + "▁lev els", + "fin ished", + "finish ed", + "C ase", + "ri age", + "ria ge", + "Vec tor", + "V ector", + "▁s ea", + "▁ sea", + "anti c", + "▁ther efore", + "On e", + "O ne", + "Re turn", + "Ret urn", + "R eturn", + "Acc ess", + "Ac cess", + "A ccess", + "va s", + "v as", + "Bi g", + "B ig", + "▁be havior", + "▁behavi or", + "k r", + "▁un defined", + "▁und efined", + "▁ undefined", + "▁ Es", + "el es", + "ele s", + "e les", + "▁W AR", + "▁WA R", + "▁ WAR", + "St at", + "S tat", + "▁ Google", + "▁c redit", + "▁cre dit", + "▁cr edit", + "▁F ile", + "▁Fil e", + "▁Fi le", + "▁ File", + "an ging", + "ang ing", + "hou se", + "rom ise", + "▁soci ety", + "▁societ y", + "▁enc our", + "▁pa int", + "▁ UK", + "aw s", + "a ws", + "on om", + "ono m", + "o nom", + "G l", + "}_ {\\", + "}_{ \\", + "} _{\\", + "ele ss", + "eles s", + "em y", + "e my", + "▁ images", + "▁ ö", + "▁f ont", + "▁fo nt", + "▁fon t", + "▁ font", + "cl ear", + "cle ar", + "c lear", + "gi n", + "▁Lor d", + "▁ transport", + "▁: :", + "▁ ::", + "▁c up", + "▁cu p", + "▁ cup", + "u late", + "▁Dur ing", + "pr iv", + "p riv", + "▁extr em", + "▁ Di", + "▁d oubt", + "▁dou bt", + "▁doub t", + "P y", + "sp lit", + "spl it", + "s plit", + "eg o", + "e go", + "git hub", + "g ithub", + "RO M", + "R OM", + "▁cha ir", + "▁ chair", + "▁t rade", + "▁n icht", + "▁ni cht", + "▁nic ht", + "To p", + "T op", + "St ore", + "▁p arte", + "▁part e", + "▁par te", + "pro ject", + "ni a", + "n ia", + "▁в ід", + "▁ві д", + "Th read", + "с тва", + "aut hor", + "auth or", + "▁dol l", + "▁ harm", + "▁ Gen", + "tr ee", + "tre e", + "t ree", + "eti me", + "cf g", + "c fg", + "▁gu ys", + "▁guy s", + "▁Cal ifornia", + "▁ Green", + "▁mo vement", + "ie j", + "i ej", + "▁ statement", + "▁se eing", + "▁see ing", + "▁h aven", + "▁have n", + "▁ha ven", + "▁hav en", + "S L", + "ched ul", + "ie rt", + "ier t", + "i ert", + "▁pr imary", + "▁pri mary", + "▁prima ry", + "▁ primary", + "▁ci vil", + "▁civ il", + "▁b utton", + "▁but ton", + "▁butt on", + "▁ button", + "▁li ved", + "▁liv ed", + "P ass", + "so r", + "s or", + "▁watch ing", + "▁wat ching", + "▁skill s", + "te e", + "t ee", + "Le vel", + "L evel", + "h s", + "▁a gre", + "ca t", + "c at", + "▁Mi ll", + "▁ Mill", + "▁ Cap", + "OR D", + "O RD", + "gl e", + "g le", + "▁ah ead", + "is cher", + "isch er", + "ische r", + "isc her", + "ș i", + "▁sou th", + "▁sout h", + "▁con sum", + "▁ consum", + "R ange", + "Se c", + "S ec", + "▁sa les", + "▁fi x", + "▁ fix", + "▁j ed", + "▁je d", + "▁ jed", + "ve ctor", + "vec tor", + "v ector", + "▁s pot", + "▁spo t", + "▁ spot", + "or row", + "orr ow", + "si gn", + "sig n", + "s ign", + "▁colleg e", + "▁d river", + "▁dri ver", + "▁driv er", + "▁ driver", + "▁def initely", + "▁definit ely", + "ativ ely", + "b i", + "Call back", + "▁particul arly", + "▁h ell", + "▁he ll", + "▁hel l", + "▁ hell", + "PR E", + "P RE", + "▁cle arly", + "▁clear ly", + "P T", + "othe s", + "Loc ation", + "L ocation", + "▁ Run", + "▁f ixed", + "▁ fixed", + "▁ Hand", + "d ouble", + "C an", + "Om ega", + "▁stan ding", + "it en", + "ite n", + "i ten", + "▁d urch", + "▁dur ch", + "▁d ell", + "▁de ll", + "▁del l", + "▁rais ed", + "▁ weak", + "▁ Du", + "gra d", + "▁scen e", + "▁ scene", + "▁t on", + "▁to n", + "▁ ton", + "▁e arth", + "▁stre ngth", + "a ked", + "▁re main", + "▁ Bi", + "▁custom er", + "▁cust omer", + "▁ customer", + "ON E", + "O NE", + "▁c off", + "▁co ff", + "re quire", + "requ ire", + "▁ Only", + "▁ Web", + "▁ activity", + "▁r out", + "▁ro ut", + "▁rou t", + "bl ing", + "b ling", + "S Y", + "▁Ric hard", + "▁R ef", + "▁Re f", + "▁ Ref", + "▁j un", + "▁ju n", + "bo rn", + "ij n", + "Config uration", + "▁f at", + "▁fa t", + "▁ki d", + "▁Tu r", + "▁ Tur", + "▁ Big", + "Ga mma", + "G amma", + "▁ Health", + "▁T R", + "▁ TR", + "▁s ię", + "▁si ę", + "▁constr uction", + "▁constru ction", + "▁ construction", + "▁ Bet", + "bu s", + "▁e arn", + "▁ear n", + "▁f ra", + "▁fr a", + "▁ Op", + "FI G", + "F IG", + "em a", + "e ma", + "▁ Saint", + "AR E", + "A RE", + "ur i", + "u ri", + "{ }", + "▁s itting", + "▁sit ting", + "rop ri", + "▁ol der", + "▁ older", + "▁pres sure", + "Im pl", + "Imp l", + "Conne ction", + "Conn ection", + "Connect ion", + "▁f i", + "▁ fi", + "ape rs", + "a pers", + "Po rt", + "P ort", + "▁L ook", + "▁Lo ok", + "▁ Look", + "au th", + "aut h", + "a uth", + "au to", + "aut o", + "a uto", + "▁un less", + "▁Wa l", + "w s", + "▁ core", + "( -", + "▁c lim", + "▁cl im", + "▁call back", + "▁ callback", + "▁ Long", + "} =", + "ъ р", + "▁shar ed", + "▁sha red", + "▁ shared", + "gorith m", + "▁ Home", + "▁vil lage", + "s v", + "▁ Cast", + "▁P erson", + "▁Per son", + "▁Pers on", + "▁ Person", + "▁Ra d", + "▁ Rad", + "pon ents", + "ponent s", + "▁wer den", + "▁werd en", + "▁ bow", + "a mi", + "Inter face", + "▁b asis", + "▁ba sis", + "▁Compan y", + "▁ Company", + "er nel", + "ern el", + "erne l", + "it u", + "i tu", + "Has h", + "Ha sh", + "H ash", + "▁a an", + "▁s mile", + "▁sm ile", + "x ml", + "▁s cen", + "▁sc en", + "to ol", + "too l", + "t ool", + "▁ac cur", + "▁ accur", + "set tings", + "setting s", + "ac ement", + "ace ment", + "pow er", + "( !", + "▁ calls", + "▁ basic", + "▁set tings", + "▁sett ings", + "▁setting s", + "▁ settings", + "r ipt", + "ct ors", + "ctor s", + "▁ Foundation", + "KE Y", + "K EY", + "fo ot", + "foo t", + "▁r adio", + "▁radi o", + "▁ radio", + "ma nn", + "▁j ump", + "▁ju mp", + "▁ti ck", + "▁ tick", + "▁gr owing", + "at en", + "ate n", + "a ten", + "rea l", + "Dev ice", + "var epsilon", + "vare psilon", + "▁ sets", + "Op en", + "O pen", + "▁supp osed", + "▁suppose d", + "ed e", + "e de", + "tee n", + "if def", + "▁de lete", + "▁del ete", + "▁delet e", + "▁ delete", + "▁& =", + "▁ &=", + "▁Bil l", + "▁ Bill", + "▁ai m", + "▁O k", + "▁ Ok", + "▁ Av", + "re ci", + "rec i", + "ac ks", + "ack s", + "a cks", + "is te", + "ist e", + "i ste", + "Pro perties", + "▁t mp", + "▁tm p", + "▁ tmp", + "▁d ei", + "▁de i", + "PE R", + "P ER", + "st a", + "s ta", + "▁ limited", + "de scription", + "des cription", + "con s", + "co ns", + "c ons", + "▁W ho", + "▁Wh o", + "▁ Who", + "▁te lev", + "▁tele v", + "▁tel ev", + "it ution", + "itut ion", + "▁e qual", + "▁eq ual", + "▁ equal", + "к і", + "ä h", + "▁C aption", + "▁Capt ion", + "▁Ca ption", + "em por", + "emp or", + "▁+ +", + "▁ ++", + "▁l ib", + "▁li b", + "▁ lib", + "ma ke", + "m ake", + "▁M A", + "▁ MA", + "co py", + "cop y", + "c opy", + "▁\\ ,", + "▁ \\,", + "od ed", + "ode d", + "o ded", + "▁ none", + "▁ev alu", + "▁eval u", + "▁ evalu", + "sto n", + "> ,", + "FO R", + "F OR", + "▁ norm", + "a ppe", + "S ession", + "▁hosp ital", + "pro perty", + "fin al", + "fi nal", + "f inal", + "▁n u", + "▁ nu", + "se cond", + "sec ond", + "▁a spect", + "▁asp ect", + "\") ]", + "\" )]", + "am ento", + "ament o", + "amen to", + "▁r ac", + "▁ra c", + "▁ rac", + "sa ve", + "s ave", + "A b", + "un gs", + "ung s", + "ab il", + "abi l", + "a bil", + "▁Arc h", + "▁ Arch", + "sys tem", + "s ystem", + "his t", + "▁l uck", + "▁lu ck", + "▁luc k", + "re nder", + "ren der", + "rend er", + "r ender", + "▁se in", + "▁sei n", + "ion i", + "io ni", + "i oni", + "▁ rot", + "▁app ropri", + "▁ap propri", + "▁ appropri", + "▁Soft ware", + "▁t ele", + "▁tel e", + "▁ tele", + "De lete", + "Dele te", + "Del ete", + "▁li c", + "▁ lic", + "se ts", + "set s", + "s ets", + "▁v el", + "▁ve l", + "▁ vel", + "▁ rank", + "▁ex isting", + "▁ existing", + "av ax", + "ava x", + "▁r is", + "▁ri s", + "▁ ris", + "▁def ine", + "▁defin e", + "▁ define", + "▁con vert", + "▁conv ert", + "▁conver t", + "▁conve rt", + "▁ convert", + "em ail", + "ema il", + "e mail", + "▁Und er", + "▁ Under", + "▁Gran d", + "▁ex ists", + "▁exist s", + "▁ exists", + "sy s", + "s ys", + "ef f", + "e ff", + "▁ Top", + "▁ č", + "▁t empor", + "▁tem por", + "▁temp or", + "▁tempo r", + "▁arg uments", + "▁argument s", + "▁ arguments", + "▁supp orted", + "▁ supported", + "en sed", + "ens ed", + "ense d", + "▁Franc is", + "▁ coord", + "▁N ame", + "▁Na me", + "▁Nam e", + "▁ Name", + "▁J ahr", + "▁Jah r", + "▁Ja hr", + "sh e", + "s he", + "▁ Dev", + "▁a lla", + "▁al la", + "▁all a", + "▁ alla", + "▁W IT", + "ag ment", + "c ustom", + "& &", + "W E", + "▁h olding", + "▁hol ding", + "pro totype", + "proto type", + "prot otype", + "▁f ing", + "▁fin g", + "▁fi ng", + "▁b ag", + "▁ba g", + "▁ bag", + "st ack", + "sta ck", + "▁Ga l", + "iden ts", + "▁J un", + "▁Ju n", + "▁sh owed", + "▁ Bay", + "▁S O", + "▁ SO", + "▁\" <", + "graph ics", + "▁f u", + "▁ fu", + "cl ick", + "cli ck", + "c lick", + "▁bat tle", + "{ {", + "▁Eve nt", + "▁ Event", + "ri or", + "rio r", + "r ior", + "ch aft", + "cha ft", + "▁f avorite", + "▁favor ite", + "us ive", + "sup port", + "supp ort", + "s upport", + "b m", + "K ind", + "▁E nt", + "▁En t", + "▁ Ent", + "cu p", + "c up", + "▁destro y", + "▁ destroy", + "id en", + "ide n", + "i den", + "######## ########", + "de c", + "d ec", + "▁z a", + "▁ za", + "▁s even", + "▁ seven", + "ar ely", + "are ly", + "arel y", + "▁f lag", + "▁ flag", + "Di r", + "D ir", + "▁Ca rl", + "▁doc tor", + "▁L in", + "▁Li n", + "▁ Lin", + "▁t om", + "▁to m", + "▁ tom", + "^{ (", + "^ {(", + "B o", + "an tes", + "ant es", + "ante s", + "▁ mine", + "▁Mi t", + "▁de scribe", + "▁desc ribe", + "▁describ e", + "Ar gs", + "Arg s", + "AP I", + "A PI", + "▁ Luc", + "▁ science", + "▁ Oper", + "Ne xt", + "N ext", + "▁G overn", + "▁Go vern", + "▁ objects", + "▁Lo uis", + "▁Return s", + "▁ Returns", + "▁h an", + "▁ha n", + "▁ han", + "▁com me", + "▁comm e", + "▁p el", + "▁pe l", + "▁ pel", + "▁ detect", + ") =", + "▁ric h", + "▁classe s", + "▁clas ses", + "▁ classes", + "▁ expand", + "▁ Dom", + "▁ Dec", + "s n", + "pe ed", + "p eed", + "▁Ji m", + "sh ould", + "▁p ages", + "▁page s", + "▁pa ges", + "▁pag es", + "▁ pages", + "ri cs", + "a ds", + "un icip", + "uni cip", + "▁down load", + "▁ download", + "▁st ress", + "▁str ess", + "▁stre ss", + "▁ Pet", + "me nu", + "men u", + "m enu", + "r eme", + "▁com pared", + "▁compare d", + "St e", + "S te", + "IN D", + "I ND", + "cont ainer", + "or en", + "ore n", + "o ren", + "▁s es", + "▁se s", + "▁ ses", + "▁ Whe", + "▁r oku", + "▁ro ku", + "▁estab lished", + "__ (", + "_ _(", + "=\" +", + "= \"+", + "V ar", + "▁M ake", + "▁Ma ke", + "▁Mak e", + "▁ Make", + "▁rem oved", + "▁remove d", + "▁ removed", + "ü n", + "▁ mix", + "er k", + "ou ter", + "out er", + "oute r", + "o uter", + "S K", + "▁be comes", + "▁bec omes", + "sc ious", + "▁w atched", + "▁watch ed", + "▁wat ched", + "▁ga ther", + "▁ gather", + "▁Res ult", + "▁ Result", + "pro of", + "pa y", + "p ay", + "▁prod uced", + "▁| =", + "▁bord er", + "▁ border", + "▁d in", + "▁di n", + "▁scr ipt", + "▁m as", + "▁ma s", + "▁ mas", + "▁Tech n", + "Js on", + "J son", + "▁fill ed", + "▁ filled", + "und le", + "To ol", + "Too l", + "T ool", + "▁ki ng", + "▁kin g", + "▁pre dict", + "▁pred ict", + "▁ predict", + "▁l ui", + "▁lu i", + "▁WAR RAN", + "▁F un", + "▁Fu n", + "▁ Fun", + "▁l ose", + "▁lo se", + "▁los e", + "▁da ily", + "▁dai ly", + "▁ar rived", + "▁arriv ed", + "▁arrive d", + "St ack", + "sc ope", + "s cope", + "▁ Back", + "el ij", + "eli j", + "e lij", + "▁z e", + "▁ ze", + "ke ys", + "key s", + "{ \"", + "VI D", + "V ID", + "▁l icense", + "▁lic ense", + "▁ license", + "wh at", + "w hat", + "▁proc ed", + "ag ram", + "agr am", + "agra m", + "a gram", + "▁L O", + "▁ LO", + "▁fl ags", + "▁flag s", + "▁ flags", + "Do wn", + "D own", + "scri ption", + "script ion", + "s cription", + "▁famil ies", + "▁familie s", + "is se", + "iss e", + "— \"", + "▁ brief", + "▁cl ients", + "▁client s", + "ran gle", + "r angle", + "▁amaz ing", + "▁s ind", + "▁si nd", + "▁sin d", + "▁cov ered", + "▁ covered", + "We ll", + "W ell", + "▁ Bas", + "to tal", + "tot al", + "t otal", + "▁I nit", + "▁ Init", + "▁sa nd", + "Un it", + "U nit", + "▁b right", + "▁br ight", + "▁brig ht", + "ic ans", + "ica ns", + "ican s", + "▁att ribute", + "▁attribut e", + "▁ attribute", + "f c", + "▁plac ed", + "ES T", + "E ST", + "Var i", + "V ari", + "▁c os", + "▁co s", + "▁ cos", + "▁at tract", + "▁attr act", + "▁attra ct", + "an el", + "ane l", + "a nel", + "}) .", + "} ).", + "by tes", + "byte s", + "▁p arse", + "▁par se", + "▁ parse", + "P o", + "▁c alling", + "▁? >", + "▁ ?>", + "▁it er", + "▁i ter", + "▁ iter", + "▁u rl", + "▁ur l", + "▁ url", + "▁hon est", + "▁dir ector", + "R C", + "▁ solid", + "ie ne", + "ien e", + "i ene", + "FA ULT", + "co pe", + "cop e", + "c ope", + "▁Hi story", + "▁ History", + "▁ Team", + "ree dom", + "reed om", + "U B", + "▁w orse", + "▁wor se", + "im o", + "i mo", + "Ma t", + "M at", + "ac tor", + "act or", + "a ctor", + "▁v or", + "▁vo r", + "▁ vor", + "▁experi ment", + "▁ Play", + "▁happ ens", + "▁happen s", + "▁patient s", + "▁ rend", + "▁ Mo", + "▁ Tex", + "▁w ed", + "▁we d", + "▁ wed", + "t n", + "in sert", + "ins ert", + "▁an ti", + "▁ anti", + "Mat ch", + "M atch", + "▁ Hot", + "▁ phase", + "▁t emplate", + "▁templ ate", + "▁temp late", + "▁ template", + "st op", + "sto p", + "s top", + "▁manage d", + "▁ managed", + "wa it", + "w ait", + "▁* (", + "▁ *(", + "▁ appoint", + "ł a", + "▁s tick", + "▁st ick", + "▁ stick", + "▁F OR", + "▁FO R", + "▁ FOR", + "▁ Vis", + "to r", + "t or", + "▁p ř", + "q uest", + "\"); \r", + "\") ;\r", + "\" );\r", + "▁sudden ly", + "▁sud denly", + "é c", + "N D", + "ur op", + "uro p", + "u rop", + "▁ins urance", + "ac cess", + "acc ess", + "a ccess", + "un finished", + "▁t amb", + "▁ta mb", + "▁tam b", + "▁sa c", + "▁C ourt", + "▁Cou rt", + "▁mis sing", + "▁ missing", + "▁W here", + "▁Wh ere", + "▁Whe re", + "▁ Where", + "▁ Sum", + "}^ {\\", + "}^{ \\", + "} ^{\\", + "▁s ua", + "▁su a", + "_ ,", + "▁Tr ump", + "▁Tru mp", + "▁ operations", + "▁de ux", + "d z", + "Temp late", + "T emplate", + "▁\" /", + "▁o dd", + "▁od d", + "▁ odd", + "▁tea ms", + "▁c er", + "▁ce r", + "▁ cer", + "▁ și", + "▁cl oud", + "▁clo ud", + "▁ cloud", + "it ems", + "ite ms", + "item s", + "right arrow", + ")- >", + ") ->", + "▁w riter", + "▁wr iter", + "▁ writer", + "re place", + "rep lace", + "je n", + "j en", + "▁o t", + "▁ ot", + "▁oc cup", + "▁ occup", + "▁M ath", + "▁Mat h", + "▁Ma th", + "▁ Math", + "▁con serv", + "▁cons erv", + "▁conse rv", + "am er", + "ame r", + "a mer", + "▁Fo rt", + "▁co sts", + "▁cos ts", + "▁ forms", + "▁Vic t", + "PA R", + "P AR", + "frame work", + "Oper ation", + "▁t ight", + "▁ti ght", + "In valid", + "▁th ank", + "▁than k", + "▁ guard", + "Bo dy", + "B ody", + "▁e mot", + "fa st", + "fas t", + "f ast", + "щ о", + "ñ o", + "ni ght", + "▁S ci", + "▁Sc i", + "▁T O", + "▁ TO", + "▁individ uals", + "}) ,", + "} ),", + "F alse", + "(\" %", + "( \"%", + "▁op tim", + "▁opt im", + "▁ optim", + "▁- ->", + "▁-- >", + "▁ -->", + "▁f actor", + "▁fac tor", + "▁ factor", + "▁sm aller", + "sp ect", + "spec t", + "spe ct", + "s pect", + "Eng ine", + "▁ann ounced", + "▁announce d", + "▁ rob", + "▁f lat", + "▁ flat", + "oso ph", + "Se arch", + "S earch", + "ah l", + "a hl", + "▁Ex ception", + "▁Except ion", + "▁ Exception", + "equ als", + "eq uals", + "equal s", + "▁un ter", + "▁unt er", + "▁ unter", + "sh ape", + "sha pe", + "Ob j", + "▁spe cies", + "wei ght", + "w eight", + "yo u", + "y ou", + "▁e ste", + "▁est e", + "▁es te", + "▁ este", + "▁V iew", + "▁Vi ew", + "▁ View", + "▁jour nal", + "▁ journal", + "Value s", + "Val ues", + "▁ein em", + "▁eine m", + "is mo", + "ism o", + "▁ projects", + "▁D as", + "▁Da s", + "ri ble", + "rib le", + "r ible", + "▁ serve", + "▁h ur", + "▁ USA", + "il iar", + "ili ar", + "ilia r", + "id os", + "ido s", + "B r", + "est amp", + "esta mp", + "▁t ools", + "▁to ols", + "▁too ls", + "▁tool s", + "▁ tools", + "an ner", + "ann er", + "anne r", + "R T", + "▁Sta rt", + "▁ Start", + "▁b ath", + "▁bat h", + "▁ba th", + "▁coff ee", + "orte r", + "in ternal", + "inter nal", + "intern al", + "file s", + "fil es", + "fi les", + "f iles", + "IN VAL", + "ak o", + "a ko", + "d t", + "▁Se cond", + "▁ Second", + "▁al loc", + "▁all oc", + "▁ alloc", + "▁en ded", + "▁ende d", + "▁ ended", + "ac ional", + "aci onal", + "acion al", + "acio nal", + "▁manage r", + "▁ manager", + "▁ Sun", + "ag g", + "a gg", + "olve d", + "olv ed", + "▁trad itional", + "sh ot", + "s hot", + "C F", + "▁ Each", + "w r", + "▁ Som", + "▁mater ials", + "▁m sg", + "▁ms g", + "▁ msg", + "▁ syn", + "▁prod uce", + "▁stor age", + "▁sto rage", + "▁ storage", + "sub section", + "▁S ie", + "▁Si e", + "CE SS", + "Re cord", + "Rec ord", + "▁mark eting", + "▁market ing", + "pl et", + "ple t", + "p let", + "D ialog", + "▁ment ioned", + "▁ Na", + "▁ Union", + "▁AP I", + "▁ API", + "▁ negative", + "tx t", + "t xt", + "▁eas ier", + "le gal", + "leg al", + "De p", + "D ep", + "▁nove l", + "eu r", + "e ur", + "ac ió", + "aci ó", + "a ció", + "▁B ud", + "▁Bu d", + "sch aft", + "s chaft", + ">( );", + ">() ;", + "> ();", + "ie der", + "ied er", + "i eder", + "▁r oute", + "▁rout e", + "▁rou te", + "▁ route", + "ik el", + "ike l", + "i kel", + "▁l isten", + "▁li sten", + "▁list en", + "▁ listen", + "ashi on", + "▁M rs", + "ag ger", + "agg er", + "▁T hus", + "▁mat rix", + "▁ matrix", + "al la", + "all a", + "a lla", + "▁con versation", + "▁convers ation", + "Mo n", + "M on", + "our nal", + "▁minut e", + "▁ minute", + "A m", + "Ap i", + "A pi", + "▁for get", + "▁forg et", + "M e", + "lev ant", + "te mp", + "tem p", + "t emp", + "▁t elling", + "▁tell ing", + "▁tel ling", + "mo ve", + "mov e", + "m ove", + "▁in dependent", + "to String", + "ed it", + "edi t", + "e dit", + "▁Ja c", + "re act", + "rea ct", + "▁c in", + "▁ci n", + "▁ cin", + "▁P rov", + "▁ Prov", + "iste d", + "i sted", + "▁h ash", + "▁has h", + "▁ha sh", + "▁ hash", + "on na", + "▁gener ated", + "▁generate d", + "▁gene rated", + "▁ generated", + "Re nder", + "Rend er", + "R ender", + "▁psy ch", + "▁ps ych", + "na v", + "n av", + "▁en tr", + "▁ent r", + "▁ entr", + "r x", + "AT H", + "A TH", + "▁ass ume", + "▁assum e", + "Tr ee", + "T ree", + "semb ly", + "sembl y", + "ca ption", + "c aption", + "▁s olutions", + "▁solution s", + "▁fait h", + "▁digit al", + "▁ex cell", + "▁exc ell", + "▁V ersion", + "▁Vers ion", + "▁ Version", + "De bug", + "D ebug", + "re set", + "res et", + "▁slow ly", + "▁ owner", + "▁D id", + "▁Di d", + "▁ Did", + "▁g est", + "▁ge st", + "▁ges t", + "▁ gest", + "▁é té", + "▁ét é", + "▁ été", + "▁pro of", + "▁ proof", + "F ont", + "▁ nob", + "C o", + "▁G NU", + "▁li ber", + "▁lib er", + "▁h ij", + "▁hi j", + "▁v ert", + "▁ver t", + "▁ve rt", + "▁ vert", + "FL AG", + "ME NT", + "M ENT", + "Mu lt", + "M ult", + "▁d istrict", + "▁di strict", + "conne ct", + "conn ect", + "ject ion", + "je ction", + "j ection", + "▁real ized", + "▁realize d", + "▁realiz ed", + "mo s", + "m os", + "▁re nder", + "▁r ender", + "▁ren der", + "▁rend er", + "▁ render", + "ri o", + "r io", + "▁ interpret", + "fi x", + "f ix", + "atr e", + "a tre", + "▁benef its", + "▁benefit s", + "▁Fac e", + "▁ Face", + "iv ery", + "ive ry", + "iver y", + "i very", + "doc ument", + "d ocument", + "▁as king", + "▁ask ing", + "La st", + "L ast", + "ar ante", + "ara nte", + "aran te", + "▁v ector", + "▁ve ctor", + "▁vec tor", + "▁ vector", + "▁ forced", + "P H", + "W R", + "▁K l", + "▁s ky", + "▁sk y", + "▁ sky", + "▁strat egy", + "oc ked", + "▁ne ck", + "ś ci", + "O UT", + ")) ,", + ") ),", + "C ustom", + "▁w ie", + "▁ wie", + "▁s weet", + "▁swe et", + "▁t emp", + "▁te mp", + "▁tem p", + "▁ temp", + "▁hal l", + "▁ hall", + "as tr", + "ast r", + "a str", + "As s", + "A ss", + "MO DE", + "MOD E", + "▁maxim um", + "an nels", + "ann els", + "annel s", + "anne ls", + "▁t ip", + "▁ti p", + "▁ tip", + "▁sec onds", + "▁ seconds", + "▁st ack", + "▁sta ck", + "▁ stack", + "ig a", + "i ga", + "▁r aise", + "▁rais e", + "▁ raise", + "en able", + "ena ble", + "oi r", + "▁s oul", + "▁so ul", + "▁sou l", + "K e", + ")$ .", + ") $.", + "▁Ti m", + "▁ Tim", + "AL SE", + "cont in", + "▁m ad", + "▁ma d", + "▁ mad", + "lic hen", + "li chen", + "lich en", + "liche n", + "l ichen", + "ab e", + "a be", + "sa fe", + "▁conce nt", + "bo und", + "b ound", + "▁R equ", + "▁Re qu", + "▁ Requ", + "sw itch", + "▁sto ne", + "▁ transl", + "▁va c", + "ando n", + "▁Fo re", + "▁ Fore", + "▁s ounds", + "▁sound s", + "▁ Pop", + "▁ HT", + "li a", + "l ia", + "en ter", + "ent er", + "ente r", + "▁hel ps", + "▁help s", + "e dy", + "an ted", + "ant ed", + "ante d", + "▁ Step", + "I con", + "▁EX PECT", + "▁ EXPECT", + "ial ized", + "ialize d", + "Pos t", + "Po st", + "P ost", + "az e", + "a ze", + "▁re q", + "▁r eq", + "▁ req", + "▁upp er", + "▁ upper", + "▁ Sy", + "▁ex plain", + "▁expl ain", + "▁' ./", + "▁'. /", + "ut ils", + "util s", + "uti ls", + "poss ible", + "▁d ont", + "▁do nt", + "▁don t", + "H ost", + "▁appro xim", + "▁approx im", + "As ync", + "A sync", + "▁g rab", + "▁gr ab", + "▁gra b", + "▁sour ces", + "▁ sources", + "▁Germ any", + "▁Ger many", + "▁r ub", + "▁ru b", + "▁ rub", + "CH AN", + "▁tr uly", + "▁< ?", + "▁ ", + "_ ->", + "ag nost", + "agn ost", + "▁prop osed", + "▁propose d", + "▁Ga me", + "▁Gam e", + "▁ Game", + "▁eff orts", + "t c", + "▁int ent", + "▁inte nt", + "▁ intent", + "▁h olds", + "▁hol ds", + "▁ holds", + "om etry", + "ome try", + "omet ry", + "o metry", + "▁H ave", + "▁Ha ve", + "▁Hav e", + "▁ Have", + "▁de tail", + "▁ detail", + "▁WIT HOUT", + "▁WITH OUT", + "▁K on", + "▁Ko n", + "▁not iced", + "▁notice d", + "▁requirement s", + "DE BUG", + "▁S pan", + "▁Sp an", + "▁ Span", + "▁ca rs", + "me ta", + "met a", + "m eta", + "▁ki l", + "▁ kil", + "▁B ron", + "▁Br on", + "▁Bro n", + "▁experi enced", + "▁re mind", + "▁rem ind", + "our se", + "ours e", + "▁Wes tern", + "tere d", + "▁ devices", + "▁pict ures", + "▁picture s", + "▁t ut", + "▁tu t", + "\" `", + "▁im possible", + "▁fe els", + "▁feel s", + "▁fee ls", + "ic as", + "ica s", + "i cas", + "▁' @", + "▁n otes", + "▁ notes", + "Par ser", + "Parse r", + "Pars er", + "▁dis covered", + "▁Roma n", + "▁bud get", + "▁gu ide", + "▁guid e", + "▁in cred", + "▁inc red", + "▁incre d", + "ol ar", + "ola r", + "o lar", + "en den", + "end en", + "ende n", + "Des c", + "De sc", + "D esc", + "▁ wave", + "ig t", + "i gt", + "▁re strict", + "▁rest rict", + "▁restr ict", + "▁ Ret", + "▁m ac", + "▁ma c", + "▁ mac", + "í s", + "de m", + "d em", + "▁ ordered", + "dr op", + "dro p", + "d rop", + "▁ Review", + "▁liter ally", + "▁literal ly", + "▁ Sir", + "▁Y eah", + "▁Ye ah", + "▁ Yeah", + "▁dens ity", + "▁ density", + "ri z", + "r iz", + "in de", + "ind e", + "i nde", + "▁ga in", + "▁ gain", + "▁p anel", + "▁pan el", + "▁pa nel", + "▁ panel", + "je t", + "j et", + "▁Ti mes", + "▁ Times", + "▁n ella", + "▁ne lla", + "▁nel la", + "▁nell a", + "▁pre viously", + "▁prev iously", + "point s", + "Se nd", + "S end", + "▁Brow n", + "ea ch", + "e ach", + "▁tr igger", + "▁ trigger", + "ome times", + "omet imes", + "ic os", + "ico s", + "i cos", + "G R", + "Pane l", + "Pan el", + "P anel", + "oge n", + "▁ cm", + "ru ctions", + "ruct ions", + "ruction s", + "▁k iss", + "▁ki ss", + "▁s olo", + "▁f amous", + "▁th ro", + "▁thr o", + "Gr aph", + "G raph", + "im it", + "imi t", + "i mit", + "▁V alue", + "▁Val ue", + "▁ Value", + "▁st arts", + "ip eline", + "ipe line", + "h d", + "▁dis cussion", + "▁discuss ion", + "▁tr uck", + "On ly", + "▁E qu", + "▁Eq u", + "▁ Equ", + "▁k ö", + "▁ kö", + "▁B es", + "▁Be s", + "▁bat t", + "▁ba tt", + "▁S ection", + "▁Se ction", + "▁ Section", + "Sh ow", + "S how", + "g p", + "ST ATE", + "STAT E", + "PO ST", + "POS T", + "P OST", + "▁N ord", + "▁No rd", + "▁Nor d", + "▁in nov", + "▁cri m", + "▁ crim", + "ax is", + "a xis", + "▁Tu rn", + "▁ Turn", + "con n", + "co nn", + "Run time", + "osto n", + "▁ windows", + "▁v ide", + "▁vi de", + "▁vid e", + "P P", + "ch ron", + "chr on", + "▁sa n", + "▁ san", + "▁ris e", + "▁ rise", + "▁d elle", + "▁de lle", + "▁del le", + "▁dell e", + "▁D ur", + "▁Du r", + "▁ra pid", + "ce rt", + "cer t", + "c ert", + "ed ge", + "▁\\ ]", + "▁ \\]", + "▁l aws", + "▁la ws", + "▁ph oto", + "▁phot o", + "▁ photo", + "▁ap plications", + "▁appl ications", + "▁fed eral", + "▁feder al", + "▁R ussia", + "▁us ual", + "▁r aw", + "▁ra w", + "▁ raw", + "▁pi ù", + "êt re", + "ê tre", + "JS ON", + "J SON", + "SI ON", + "S ION", + "xt ure", + "ist ent", + "iste nt", + "isten t", + "▁Pow er", + "▁ Power", + "Bi t", + "B it", + "▁capac ity", + "▁ capacity", + "▁c ards", + "▁car ds", + "▁card s", + "▁ cards", + "UI D", + "U ID", + "imen ts", + "▁d ar", + "▁da r", + "▁ dar", + "▁Ch icago", + "▁comfort able", + "ti p", + "t ip", + "ba s", + "b as", + "▁m u", + "▁ mu", + "▁en emy", + "ya n", + "y an", + "▁up dated", + "▁update d", + "▁ updated", + "an go", + "ang o", + "E v", + "E ffect", + "os ing", + "osi ng", + "o sing", + "▁d efe", + "▁i p", + "▁ ip", + "▁t out", + "▁to ut", + "▁tou t", + "▁f reedom", + "▁freed om", + "▁a o", + "▁ ao", + "▁There fore", + "▁Ther efore", + "Ed it", + "E dit", + "RE E", + "R EE", + "▁Da m", + "▁ Dam", + "▁traff ic", + "ño s", + "ñ os", + "▁a lle", + "▁ depth", + "No w", + "N ow", + "▁si des", + "▁sid es", + "▁го ди", + "▁год и", + "Des criptor", + "▁art ikel", + "▁n arrow", + "▁narr ow", + "__ _", + "_ __", + "k w", + "ut o", + "u to", + "▁Fac ebook", + "te gr", + "t egr", + "bo olean", + "ni k", + "n ik", + "b d", + "Tr ack", + "Tra ck", + "▁g ran", + "▁gr an", + "▁gra n", + "res hold", + "resh old", + "wr ap", + "w rap", + "▁n oise", + "▁no ise", + "ig u", + "i gu", + "▁ Bon", + "▁w y", + "▁ wy", + "lin ux", + "▁ma ch", + "▁mac h", + "▁p rices", + "▁pr ices", + "▁pri ces", + "▁price s", + "é v", + "stan ding", + "▁cat eg", + "; \\", + "▁de cre", + "▁m enu", + "▁me nu", + "▁men u", + "▁ menu", + "▁Y et", + "▁Ye t", + "lic he", + "li che", + "lich e", + "l iche", + "u sing", + "▁Soci ety", + "▁nu c", + "oria l", + "▁af raid", + "▁turn ing", + "▁tur ning", + "ds t", + "d st", + "math frak", + "le rs", + "▁l ots", + "▁lo ts", + "▁lot s", + "▁ á", + "▁ Tra", + "n p", + "▁ rose", + "▁G L", + "▁ GL", + "▁hel ping", + "▁help ing", + "Mo ck", + "M ock", + "Us e", + "U se", + "Co py", + "Cop y", + "C opy", + "▁ fly", + "SE R", + "S ER", + "am il", + "ami l", + "a mil", + "▁rel igious", + "su per", + "sup er", + "s uper", + "sc reen", + "scr een", + "s creen", + "▁f urn", + "▁fur n", + "▁fu rn", + "▁surpr ised", + "▁surprise d", + "▁re plied", + "▁repl ied", + "Act ivity", + "Activ ity", + "▁Dow n", + "▁ Down", + "▁in sert", + "▁ins ert", + "▁ insert", + "▁point ed", + "▁po inted", + "▁ Card", + "dr iver", + "drive r", + "d river", + "▁D a", + "▁ Da", + "! --", + "ro ud", + "rou d", + "r oud", + "un do", + "und o", + "▁m essages", + "▁message s", + "▁mess ages", + "▁ messages", + "▁ Point", + "V M", + "▁p lane", + "▁ plane", + "x c", + "▁telev ision", + "▁tele vision", + "▁televis ion", + "▁c ris", + "▁cr is", + "▁cri s", + "▁ delay", + "▁N ext", + "▁Ne xt", + "▁ Next", + "▁no mbre", + "▁nom bre", + "▁t u", + "▁ tu", + "▁sk ip", + "▁ski p", + "▁ skip", + "istr ation", + "▁tu r", + "▁Devel op", + "▁wonder ful", + "> &", + "▁Lib er", + "▁s cope", + "▁sc ope", + "▁ scope", + "▁man age", + "▁ma nage", + "▁d ass", + "▁da ss", + "▁das s", + "▁re call", + "▁rec all", + "P M", + "▁re levant", + "▁relev ant", + "▁E arth", + "▁a pr", + "▁ap r", + "▁A SS", + "▁AS S", + "▁ ASS", + "ié n", + "i én", + "▁S H", + "▁ SH", + "it et", + "ite t", + "no ne", + "non e", + "n one", + "as i", + "a si", + "▁mo tor", + "▁S how", + "▁ Show", + "n b", + "▁fa ctors", + "▁f orest", + "▁fo rest", + "th m", + "t hm", + "▁Di vision", + "struct or", + "stru ctor", + "▁some where", + "▁Afr ican", + "▁Inst itute", + "▁Institut e", + "Gr id", + "G rid", + "▁te acher", + "▁teach er", + "▁tea cher", + "uri es", + "▁respective ly", + "▁ SD", + "▁a live", + "▁al ive", + "▁ali ve", + "▁p ou", + "▁po u", + "▁Wa ter", + "▁ Water", + "▁ch anging", + "▁chang ing", + "▁ changing", + "▁after noon", + "▁or ders", + "Re t", + "R et", + "Point er", + "Po inter", + "▁s av", + "▁sa v", + "er g", + "e rg", + "ok ed", + "oke d", + "o ked", + "▁Fi re", + "▁ Fire", + "im m", + "i mm", + "▁des ire", + "▁ що", + "▁De sign", + "▁ Design", + "▁c md", + "▁cm d", + "▁ cmd", + "▁e ating", + "▁eat ing", + "Net work", + "▁rou gh", + "oper ator", + "IG N", + "I GN", + "▁sp orts", + "▁w eren", + "▁we ren", + "▁were n", + "▁wer en", + "▁a nx", + "▁an x", + "▁i o", + "▁ io", + "▁con du", + "▁cond u", + "el les", + "ell es", + "elle s", + "id ade", + "ida de", + "idad e", + "R I", + "/ \\", + "ap shot", + "aps hot", + "▁ta il", + "▁ tail", + "mod els", + "model s", + "mode ls", + "og y", + "o gy", + "▁J eff", + "ir ation", + "irat ion", + "▁Ko re", + "▁Kor e", + "ba t", + "b at", + "Ad apter", + "c ategory", + "ang ular", + "angu lar", + "▁s aved", + "▁sa ved", + "▁save d", + "▁sav ed", + "▁ saved", + "▁ uniform", + "▁n é", + "▁ né", + "His t", + "Hi st", + "H ist", + "do main", + "dom ain", + "▁ Si", + "ra ise", + "rais e", + "rai se", + "r aise", + "▁wa rn", + "▁ warn", + "▁G ro", + "▁Gr o", + ")) .", + ") ).", + "} >", + "▁Amaz on", + "▁ Organ", + "▁ag reement", + "▁agree ment", + "x a", + "▁perm an", + "▁st range", + "▁str ange", + "▁strang e", + "ст і", + "с ті", + "▁st upid", + "▁spe aking", + "▁speak ing", + "▁Intern et", + "pre fix", + "pref ix", + "p refix", + "As sert", + "Ass ert", + "pro te", + "pr ote", + "prot e", + "p rote", + "▁m anner", + "▁S z", + "u nte", + "Pro file", + "▁forme d", + "▁ formed", + "▁li t", + "▁ lit", + "▁ec onomy", + "▁c z", + "▁ cz", + "wi d", + "w id", + "RE Q", + "R EQ", + "▁P rodu", + "▁Pro du", + "▁ Produ", + "stan ces", + "▁conf irm", + "▁ confirm", + "▁d éc", + "▁dé c", + "ý ch", + "▁ill ustr", + "TI ES", + "T IES", + "▁P ub", + "▁Pu b", + "▁ Pub", + "▁ba n", + "a ded", + "ah n", + "a hn", + "no number", + "non umber", + "▁wor st", + "st ats", + "stat s", + "sta ts", + "▁c ant", + "▁can t", + "▁ca nt", + "▁al ign", + "▁ali gn", + "▁ align", + "kap pa", + "k appa", + "▁h en", + "▁he n", + "▁ hen", + "▁in iti", + "'] )", + "' ])", + "▁g arden", + "▁gar den", + "▁gard en", + "▁secur e", + "▁ secure", + "▁\\ [", + "▁ \\[", + "hand ler", + "handle r", + "el li", + "ell i", + "e lli", + "ld ots", + "l dots", + "se cut", + "sec ut", + "s ecut", + "▁ext ended", + "} -", + "an ie", + "ani e", + "a nie", + "▁F ind", + "▁Fin d", + "▁Fi nd", + "▁ Find", + "▁M useum", + "▁Muse um", + "▁C onne", + "▁Con ne", + "▁ Conne", + "y y", + "▁pass ion", + "ake rs", + "a kers", + "ah r", + "a hr", + "ologie s", + "▁equ ation", + "▁eq uation", + "▁ equation", + "Le t", + "L et", + "'] ['", + "'][ '", + "' ]['", + "Pr int", + "ie nte", + "ient e", + "ien te", + "i ente", + "▁T oday", + "LE CT", + "L ECT", + "▁ Af", + "▁` ``", + "▁`` `", + "ev en", + "eve n", + "e ven", + "si n", + "s in", + "u rer", + "▁ °", + "ot imes", + "oti mes", + "o times", + "▁I O", + "▁ IO", + "() ));", + "()) );", + "())) ;", + "( )));", + "▁ −", + "▁ad opt", + "ph ere", + "pher e", + "p here", + "# [", + "▁c entre", + "ov es", + "ove s", + "o ves", + "▁a ns", + "▁an s", + "▁ ans", + "d p", + "▁Ki r", + "▁applic able", + "f p", + "▁ok ay", + "or o", + "o ro", + "▁opportun ities", + "Re pository", + "Rep ository", + "▁l l", + "▁ ll", + "▁con ven", + "▁conv en", + "▁conve n", + "▁ Spe", + "Am er", + "A mer", + "▁c ette", + "▁cet te", + "Con d", + "Co nd", + "C ond", + "de p", + "d ep", + "O wn", + "▁h ook", + "▁ho ok", + "▁ hook", + "▁d ict", + "▁di ct", + "▁dic t", + "▁ dict", + "▁Th ose", + "▁fel low", + "▁philos oph", + "fer ences", + "ference s", + "ha v", + "h av", + "▁ad ding", + "▁add ing", + "▁ adding", + "ivers e", + "iver se", + "i verse", + "ga me", + "g ame", + "▁ Blue", + "not e", + "no te", + "n ote", + "▁Ra m", + "co very", + "cover y", + "cov ery", + "c overy", + "ñ a", + "▁' \\", + "▁ '\\", + "▁re ader", + "▁read er", + "▁ reader", + "ност и", + "▁pay ment", + "▁ payment", + "▁L ic", + "▁Li c", + "▁l ips", + "▁li ps", + "▁lip s", + "C HECK", + "Ed itor", + "Edit or", + "▁zo ne", + "▁ zone", + "it ure", + "itu re", + "run time", + "▁proc eed", + "ol ver", + "olve r", + "olv er", + "▁Th anks", + "▁Thank s", + "▁ Thanks", + "▁should n", + "▁Mod el", + "▁Mo del", + "▁Mode l", + "▁ Model", + "▁S ov", + "▁So v", + "! '", + "D i", + "▁c ancer", + "Id ent", + "i nf", + "LE N", + "L EN", + "() {", + "( ){", + "\"] ,", + "\" ],", + "u h", + "▁ph otos", + "▁phot os", + "▁photo s", + "▁t iny", + "▁ti ny", + "▁tin y", + "▁ tiny", + "▁g ent", + "▁gen t", + "▁ge nt", + "▁ gent", + "ü l", + "▁T ake", + "▁Ta ke", + "▁Tak e", + "▁ Take", + "i del", + "ou ting", + "out ing", + "In ternal", + "Inter nal", + "Intern al", + "▁cel ls", + "har d", + "▁Tow n", + "pl ex", + "ple x", + "p lex", + "to ns", + "ton s", + "t ons", + "▁conc entr", + "▁concent r", + "mo ck", + "m ock", + "v c", + "á z", + "▁Champion ship", + "▁Champions hip", + "ér i", + "é ri", + "ier te", + "iert e", + "▁tot ally", + "▁total ly", + "▁A uf", + "▁Au f", + "▁our selves", + "▁S elf", + "▁Sel f", + "▁ Self", + "Form s", + "For ms", + "fm t", + "f mt", + "▁r c", + "▁ rc", + "▁tel ls", + "B B", + "di t", + "d it", + "▁vari ables", + "▁variable s", + "▁ variables", + "▁int ended", + "▁intend ed", + "iz ont", + "izon t", + "izo nt", + "da m", + "d am", + "se q", + "s eq", + "▁ Sup", + "▁c ultural", + "▁sc ream", + "__ ,", + "_ _,", + "ci pl", + "cip l", + "Time out", + "or te", + "ort e", + "▁Spec ial", + "▁ Special", + "el len", + "ell en", + "elle n", + "T e", + "o lt", + "j u", + "Arg ument", + "▁ne ut", + "▁neu t", + "▁ neut", + "▁Ra y", + "▁ Ray", + "▁Po lit", + "▁crow d", + "▁cro wd", + "▁Window s", + "▁ Windows", + "ie go", + "ieg o", + "i ego", + "▁ escape", + "▁Ap ache", + "sy nc", + "syn c", + "s ync", + "eb en", + "e ben", + "if ies", + "ifi es", + "ethe r", + "Met a", + "Me ta", + "M eta", + "▁big gest", + "Ga me", + "G ame", + "▁trans action", + "▁ transaction", + "En v", + "E nv", + "▁pl enty", + "▁ mel", + "▁mot iv", + "▁m ock", + "▁mo ck", + "▁ mock", + "▁$ _", + "▁ $_", + "ен е", + "е не", + "▁N umber", + "▁Num ber", + "▁Nu mber", + "▁ Number", + "ck now", + "c know", + "▁Up date", + "▁ Update", + "ze ro", + "zer o", + "z ero", + "▁sur prise", + "▁surpr ise", + "pd f", + "p df", + "Gl obal", + "▁f ond", + "▁fo nd", + "▁fon d", + "▁under stood", + "Na v", + "N av", + "▁Mi c", + "▁ Mic", + "= $", + "ok ing", + "oki ng", + "o king", + "▁Stad ium", + "Cl ose", + "▁soldier s", + "▁O P", + "▁ OP", + "ag ne", + "agn e", + "Ma in", + "M ain", + "á k", + "▁# [", + "▁ #[", + "▁Com mit", + "▁Comm it", + "▁ Commit", + "py x", + "▁ east", + "▁Ord er", + "▁ Order", + "F loat", + "▁mon itor", + "▁ monitor", + "▁p ad", + "▁pa d", + "▁ pad", + "oni c", + "▁p ushed", + "▁push ed", + "▁rep lace", + "▁ replace", + "CR E", + "C RE", + "▁r ide", + "▁ri de", + "▁rid e", + "▁ ride", + "fo und", + "f ound", + "= %", + "▁ matches", + "▁L ie", + "▁Li e", + "▁exper iences", + "▁experience s", + "▁experi ences", + "Po ol", + "P ool", + "up s", + "u ps", + "A V", + "▁ex istence", + "▁t hin", + "▁th in", + "▁m agn", + "▁mag n", + "▁ma gn", + "CO MP", + "COM P", + "ho me", + "hom e", + "h ome", + "▁n i", + "▁ ni", + "▁wur den", + "▁wurde n", + "▁te eth", + "▁S tan", + "▁Sta n", + "ap pro", + "app ro", + "an ny", + "ann y", + "if ts", + "ift s", + "▁ unknown", + "▁h omes", + "▁ho mes", + "▁ent ity", + "▁ entity", + "ci e", + "c ie", + "ia r", + "i ar", + "▁compl iance", + "=\\ \"", + "= \\\"", + "com ponents", + "component s", + "Att r", + "At tr", + "all ery", + "alle ry", + "aller y", + "▁ident ify", + "O k", + "pi e", + "p ie", + "▁St ill", + "▁off ering", + "▁offer ing", + "▁bu sy", + "▁bus y", + "ct l", + "c tl", + "ito rs", + "▁concer ned", + "▁b rown", + "▁br own", + "▁bro wn", + "▁brow n", + "cl k", + "Se lected", + "Select ed", + "▁B lock", + "▁Bl ock", + "▁Blo ck", + "▁ Block", + "▁e gy", + "▁eg y", + "▁ egy", + "ic ing", + "ici ng", + "i cing", + "▁U RL", + "▁ URL", + "▁t opic", + "▁to pic", + "▁top ic", + "▁ topic", + "▁Pro duct", + "▁Produ ct", + "▁ Product", + "▁week end", + "l u", + "▁E gy", + "▁Eg y", + "x C", + "▁n ove", + "▁no ve", + "▁nov e", + "▁l ett", + "▁le tt", + "▁let t", + "▁ lett", + "en ne", + "enn e", + "() ).", + "()) .", + "( )).", + ".* *", + ". **", + "▁p romise", + "▁prom ise", + "el ection", + "ele ction", + "elect ion", + "e lection", + "Aut h", + "A uth", + "r v", + "ri l", + "r il", + "▁condu ct", + "▁ conduct", + "▁maint ain", + "▁ boat", + "▁op posite", + "sp in", + "spi n", + "s pin", + "web pack", + "▁o rient", + "▁or ient", + "▁ orient", + "▁ex ercise", + "▁exerc ise", + "▁eff icient", + "▁ efficient", + "▁z w", + "▁ zw", + "▁S ud", + "▁Su d", + "▁Pi er", + "in v", + "i nv", + "ip es", + "ipe s", + "i pes", + "ensure math", + "▁conve r", + "cre en", + "cr een", + "c reen", + "▁terr or", + "▁in valid", + "▁ invalid", + "ceive d", + "▁w ire", + "▁wir e", + "▁ wire", + "ap plication", + "sh ift", + "Gener ic", + "▁ Plan", + "▁Wa ll", + "▁ Wall", + "▁direct ory", + "▁director y", + "▁ directory", + "▁e gg", + "▁eg g", + "▁ wealth", + "ran dom", + "rand om", + "r andom", + "att ribute", + "▁h ide", + "▁hi de", + "▁hid e", + "▁ hide", + "Se rial", + "Ser ial", + "S erial", + "ca m", + "c am", + "▁it al", + "▁i tal", + "▁ ital", + "▁Lin e", + "▁ Line", + "▁C HECK", + "▁ CHECK", + "ploy ment", + "▁mass ive", + "▁ex tract", + "▁ext ract", + "▁extra ct", + "▁extr act", + "▁ extract", + "ch ain", + "cha in", + "Res t", + "Re st", + "R est", + "▁L as", + "▁La s", + "▁b ear", + "▁be ar", + "▁ bear", + "▁l inks", + "▁link s", + "▁lin ks", + "▁ links", + "▁F C", + "▁ FC", + "Car d", + "C ard", + "▁v isible", + "▁vis ible", + "▁ visible", + "▁res erved", + "▁reserv ed", + "▁reserve d", + "lic enses", + "license s", + "d c", + "▁In formation", + "▁ Information", + "S k", + "*) ,", + "* ),", + "Sc ope", + "S cope", + "'] ;", + "' ];", + "▁Mi r", + "▁ Mir", + "ud ing", + "udi ng", + "u ding", + "▁t rend", + "▁tr end", + "▁tre nd", + "▁tren d", + "re p", + "r ep", + "▁ne ither", + "▁nei ther", + "▁C reat", + "▁Cre at", + "▁ Creat", + "▁posit ions", + "r idge", + "▁office rs", + "▁vi olence", + "▁Wa y", + "Af ter", + "A fter", + "ac ket", + "ack et", + "▁S ou", + "▁So u", + "ac er", + "ace r", + "a cer", + "| |", + "▁r emark", + "▁ remark", + "n ě", + "▁ sed", + "E ach", + "▁photo graph", + "▁lett ers", + "▁in vent", + "▁inv ent", + "▁s ongs", + "ó l", + "ki nd", + "kin d", + "k ind", + "▁N on", + "▁No n", + "▁ Non", + "▁d ust", + "▁du st", + "** :", + "* *:", + "nab la", + ".\" ,", + ". \",", + "Loc k", + "Lo ck", + "L ock", + "▁cl uster", + "▁ cluster", + "lo ss", + "los s", + "l oss", + "▁ASS ERT", + "▁ ASSERT", + "fa ll", + "f all", + "▁ reject", + "▁ Spring", + "▁wed ding", + "▁g rav", + "▁gr av", + "▁gra v", + "▁ grav", + "li mit", + "lim it", + "l imit", + "RE S", + "R ES", + "] }", + "▁li sted", + "▁ listed", + "▁T ele", + "▁Tel e", + "▁ Tele", + "hl ine", + "h line", + "▁chi ef", + "ME M", + "M EM", + "▁exp ensive", + "tr ace", + "tra ce", + "▁ Coll", + "▁Aut hor", + "▁Auth or", + "▁ Author", + "▁ Board", + "▁C apt", + "▁Cap t", + "▁Ca pt", + "▁ Capt", + "TE XT", + "T EXT", + "es ta", + "est a", + "e sta", + "▁proper ly", + "▁& \\", + "▁ &\\", + "le ton", + "let on", + "l eton", + "ik er", + "ike r", + "i ker", + "G u", + "▁K om", + "▁Ko m", + "oc o", + "o co", + "▁any more", + "▁t aste", + "▁ta ste", + "▁tast e", + "ge x", + "g ex", + "▁Se cret", + "▁ Secret", + "▁tal ent", + "▁tale nt", + "▁mom ents", + "▁moment s", + "▁mo ments", + "▁ex tr", + "▁ext r", + "▁ extr", + "▁mod ify", + "▁Fig ure", + "▁ Figure", + "▁ domin", + "▁p lot", + "▁ plot", + "en ger", + "eng er", + "enge r", + "▁ci ties", + "▁n ut", + "▁nu t", + "▁ nut", + "pro file", + "prof ile", + "▁S tat", + "▁St at", + "▁Sta t", + "▁ Stat", + "▁n odes", + "▁no des", + "▁node s", + "▁nod es", + "▁ nodes", + "▁n s", + "▁ ns", + "ess ages", + "essage s", + "essa ges", + "im pl", + "imp l", + "ic ker", + "ick er", + "i cker", + "▁ex amples", + "abe th", + "abet h", + "▁sta ted", + "fi re", + "f ire", + "bu l", + "b ul", + "▁danger ous", + "▁P ay", + "▁Pa y", + "▁ Pay", + "▁ Gre", + "▁Mon day", + "▁Mond ay", + "es ome", + "eso me", + "e some", + "iga n", + "ru nd", + "run d", + "r und", + "p rise", + "fa il", + "f ail", + "▁Nev er", + "▁ Never", + "A v", + "▁line ar", + "▁lin ear", + "▁ linear", + "▁u l", + "▁ ul", + "WA R", + "W AR", + "▁d op", + "▁do p", + "▁n ou", + "▁no u", + "Des t", + "De st", + "D est", + "en da", + "end a", + "▁c razy", + "▁cr azy", + "ge l", + "g el", + "og gle", + "ogg le", + "▁rep resentation", + "▁represent ation", + "in en", + "ine n", + "i nen", + "▁alter native", + "D M", + "AB ILITY", + "face s", + "fa ces", + "fac es", + "f aces", + "▁do ors", + "▁door s", + "▁ doors", + "at iv", + "ati v", + "Lo ok", + "L ook", + "▁J SON", + "▁JS ON", + "▁ JSON", + "▁appe arance", + "S QL", + "▁sil ence", + "ud o", + "u do", + "▁Dire ctor", + "▁Dir ector", + "State ment", + "Stat ement", + "se lected", + "select ed", + "hi gh", + "h igh", + "pr ime", + "prim e", + "▁ign ore", + "▁ignor e", + "▁ ignore", + "▁col ors", + "▁color s", + "▁ colors", + "▁vi rt", + "▁ virt", + "man ager", + "▁rem ote", + "▁remot e", + "▁ remote", + "ł o", + "sm all", + "▁cri me", + "r b", + "▁c reation", + "▁S ign", + "▁Si gn", + "▁Sig n", + "▁ Sign", + "IL E", + "I LE", + "▁D O", + "▁ DO", + "com ment", + "comm ent", + "▁C ost", + "▁Co st", + "▁Cos t", + "▁ Cost", + "._ _", + ". __", + "▁ Cop", + "▁v om", + "▁vo m", + "▁Sci ence", + "oo p", + "o op", + "inter face", + "▁WARRAN TIES", + "▁P age", + "▁Pa ge", + "▁ Page", + "** ****", + "**** **", + "*** ***", + "TR UE", + "▁re peated", + "▁repeat ed", + "▁r oz", + "▁ro z", + "▁ roz", + "P e", + "▁IS BN", + "ir ts", + "irt s", + "p oses", + "}) $", + "} )$", + "▁ І", + "child ren", + "ble s", + "bl es", + "b les", + "EC T", + "E CT", + "▁i z", + "▁ iz", + "▁b uilder", + "▁build er", + "▁ builder", + "▁ Media", + "▁contr ast", + "▁contra st", + "” ,", + "▁L ink", + "▁Lin k", + "▁ Link", + "▁ joint", + "▁ex ternal", + "▁extern al", + "▁ external", + "▁b its", + "▁bit s", + "▁bi ts", + "▁ bits", + "FO RM", + "FOR M", + "F ORM", + "w p", + "▁Mi ke", + "▁Mik e", + "▁ Master", + "▁N av", + "▁Na v", + "▁ Nav", + "el ing", + "eli ng", + "elin g", + "e ling", + "f x", + "▁ta ll", + "▁s ono", + "▁so no", + "▁son o", + "▁an che", + "▁anc he", + "▁anch e", + "▁ anche", + "ic ken", + "ick en", + "i cken", + "lo op", + "l oop", + "ici ency", + "empor ary", + "▁D oes", + "▁Do es", + "▁ Does", + "▁re lation", + "▁rel ation", + "▁ relation", + "wa s", + "w as", + "lo w", + "l ow", + "ich te", + "icht e", + "i chte", + "▁bed room", + "DI S", + "D IS", + "▁mag net", + "▁magn et", + "▁ Engine", + "▁feel ings", + "▁feeling s", + "▁fee lings", + "G C", + "▁t orn", + "▁to rn", + "▁tor n", + "▁relationship s", + "▁relation ships", + "▁p roud", + "▁pro ud", + "▁pr oud", + "▁t we", + "▁tw e", + "ov al", + "ova l", + "o val", + "▁w aste", + "▁was te", + "▁wa ste", + "▁red uced", + "▁redu ced", + "B P", + "▁for got", + "▁forg ot", + "▁bod ies", + "la g", + "l ag", + "do or", + "d oor", + "▁s ufficient", + "▁doll ars", + "▁dollar s", + "Le n", + "L en", + "▁talk ed", + "▁tal ked", + "▁bon d", + "}} {", + "} }{", + "ro d", + "r od", + "Pass word", + "qu are", + "▁l ights", + "▁light s", + "▁ lights", + "er en", + "ere n", + "e ren", + "▁th irty", + "N C", + "▁T ODO", + "▁TO DO", + "▁respon d", + "dir ect", + "di rect", + "dire ct", + "d irect", + "a ção", + "Med ia", + "M edia", + "ex it", + "e xit", + "L icense", + "▁m ixed", + "▁d esk", + "▁de sk", + "▁des k", + "▁teach ing", + "▁tea ching", + "▁m aj", + "▁ma j", + "▁n erv", + "▁ne rv", + "▁ner v", + "in ations", + "ination s", + "type of", + "▁be side", + "▁bes ide", + "um my", + "umm y", + "Do c", + "D oc", + "▁sche dule", + "▁schedul e", + "▁sched ule", + "▁ schedule", + "▁re cover", + "▁Fur ther", + "bo ot", + "b oot", + "▁Per haps", + "▁ Os", + "Supp ort", + "Sup port", + "S upport", + "▁( _", + "▁ (_", + "ni l", + "n il", + "pi s", + "p is", + "x pected", + "▁process ing", + "▁proces sing", + "▁ processing", + "Bu ild", + "B uild", + "▁i con", + "▁ic on", + "▁ icon", + "▁C A", + "▁ CA", + "wi ck", + "= (", + "▁al gorithm", + "▁ algorithm", + "▁ Management", + "▁anci ent", + "ност ь", + "o ti", + "wor ld", + "n n", + "en abled", + "ena bled", + "enable d", + "A c", + "C CESS", + "ar ation", + "▁bl ocks", + "▁block s", + "▁blo cks", + "▁ blocks", + "▁Ang eles", + "▁Q ual", + "▁Qu al", + "▁ Qual", + "▁suc ceed", + "▁succ eed", + "net work", + "▁ob lig", + "spring framework", + "mu n", + "m un", + "▁ Network", + "De l", + "D el", + "▁esta te", + "▁l iqu", + "▁li qu", + "▁p ob", + "▁po b", + "▁d ad", + "▁da d", + "▁T it", + "▁Ti t", + "▁L ear", + "▁Le ar", + "and roid", + "andro id", + "sub set", + "▁whis per", + "Vo l", + "V ol", + "ul ous", + "ulo us", + "▁l ug", + "▁lu g", + "pi d", + "p id", + "oc ity", + "oci ty", + "o city", + "sk b", + "s kb", + "▁t ea", + "▁te a", + "▁ho nor", + "▁ Ins", + "▁g ew", + "▁ge w", + "▁ gew", + "Det ails", + "Detail s", + "ene ath", + "e neath", + "at ar", + "ata r", + "a tar", + "▁_ {", + "▁ _{", + "am en", + "ame n", + "a men", + "▁set up", + "▁ setup", + "Trans action", + "▁bl ank", + "▁ blank", + "Fail ed", + "F ailed", + "jo b", + "j ob", + "▁p ret", + "▁pre t", + "▁pr et", + "▁ pret", + "ß e", + "lo or", + "l oor", + "ř í", + "nc ia", + "n cia", + "▁any where", + "▁Li ght", + "▁ Light", + "B D", + "▁exc ited", + "▁excit ed", + "ag ers", + "age rs", + "ager s", + "a gers", + "▁w arning", + "▁war ning", + "▁warn ing", + "▁ warning", + "▁proces ses", + "h u", + "▁yo uth", + "▁d ogs", + "▁do gs", + "▁dog s", + "▁o ct", + "▁oc t", + "▁ oct", + "▁ni ne", + "▁nin e", + "Write r", + "Wr iter", + "Writ er", + "W riter", + "gr id", + "g rid", + "▁care fully", + "▁careful ly", + "ma ster", + "mas ter", + "m aster", + "▁dec isions", + "▁decision s", + "▁decis ions", + "▁p in", + "▁pi n", + "▁ pin", + "▁cr ack", + "TE ST", + "TES T", + "T EST", + "▁L ocal", + "▁Loc al", + "▁Lo cal", + "▁ Local", + "▁R ight", + "▁ Right", + "▁v ast", + "▁va st", + "▁vas t", + "▁f aster", + "▁fa ster", + "▁fast er", + "▁inst itut", + "LA N", + "L AN", + "▁e pisode", + "▁del ivery", + "▁deliver y", + "t l", + "F P", + "ci rc", + "cir c", + "ig o", + "i go", + "▁int el", + "▁inte l", + "▁ intel", + "na t", + "n at", + "x b", + ") -", + "▁ Bal", + "▁g onna", + "▁R est", + "▁Re st", + "▁Res t", + "▁ Rest", + "jo r", + "j or", + "oni a", + "o nia", + "ov ery", + "ove ry", + "over y", + "o very", + "LI NE", + "LIN E", + "L INE", + "Que ue", + "▁com pare", + "▁comp are", + "▁compar e", + "▁ compare", + "▁ap artment", + "▁apart ment", + "D r", + "▁ob viously", + "▁obvious ly", + "zi e", + "z ie", + "yc l", + "y cl", + "fort unately", + "fortun ately", + "fortunate ly", + "▁ste pped", + "▁step ped", + "▁S eg", + "▁Se g", + "▁ Seg", + "▁Wh ich", + "▁ Which", + "end or", + "endo r", + "▁per mission", + "▁perm ission", + "▁ permission", + "CO L", + "C OL", + "▁T EST", + "▁TE ST", + "▁ TEST", + "P ay", + "ère s", + "è res", + "▁accomp l", + "ro le", + "rol e", + "r ole", + "Wh ere", + "Whe re", + "W here", + "proto buf", + "met adata", + "meta data", + "Jo b", + "J ob", + "▁Fou r", + "▁Fo ur", + "pl ements", + "ple ments", + "plement s", + "dis able", + "▁l oud", + "▁lo ud", + "▁lou d", + "▁happ ening", + "▁happen ing", + "▁U sing", + "▁Us ing", + "▁ Using", + "▁depend s", + "▁dep ends", + "í m", + "' \\", + "sh ared", + "sha red", + "share d", + "▁att ributes", + "▁attribute s", + "▁attribut es", + "▁ attributes", + "▁A ction", + "▁Act ion", + "▁ Action", + "▁d ess", + "▁de ss", + "▁des s", + "▁ dess", + "▁h ouses", + "▁ho uses", + "▁re set", + "▁res et", + "▁ reset", + "▁b ien", + "▁bi en", + "▁ex plicit", + "▁expl icit", + "LO W", + "-> _", + "▁P M", + "▁ PM", + "C ategory", + "oi ce", + "in to", + "int o", + "▁m ail", + "▁ma il", + "▁mai l", + "▁ mail", + "▁una ble", + "file name", + "fil ename", + "é k", + "▁sec tor", + "▁sect or", + "ap point", + "app oint", + "▁han g", + "▁ hang", + "▁c el", + "▁ce l", + "▁ cel", + "it ate", + "ita te", + "itat e", + "▁' <", + "▁c heap", + "▁che ap", + "▁en abled", + "▁enable d", + "▁ enabled", + "▁di vision", + "▁divis ion", + "An y", + "A ny", + "▁h ier", + "▁hi er", + "▁ Head", + "nt ax", + "n tax", + "ud a", + "u da", + "▁lim itations", + "▁limit ations", + "▁limitation s", + "▁st udio", + "med ia", + "medi a", + "m edia", + "▁cir cle", + "▁circ le", + "▁ circle", + "▁l aug", + "▁la ug", + "ac ts", + "act s", + "ó d", + "pl ed", + "ple d", + "p led", + "LO C", + "L OC", + "Ex pr", + "Exp r", + "> :", + "▁pr és", + "▁pré s", + "▁ prés", + "▁laugh ed", + "▁laug hed", + "▁ Three", + "▁en ds", + "▁ ends", + "▁fund ament", + "▁ inher", + "▁l iv", + "▁li v", + "▁ liv", + "bi d", + "b id", + "▁check ed", + "▁ checked", + "▁Pa c", + "▁f ault", + "▁fa ult", + "▁s alt", + "▁sa lt", + "▁sal t", + "▁Franc isco", + "▁ ^", + "▁O N", + "▁ ON", + "▁beaut y", + "y g", + "▁ Aff", + "▁E q", + "▁ Eq", + "▁mag ic", + "▁hand ler", + "▁handle r", + "▁ handler", + "x E", + "▁numer ous", + "▁numero us", + "▁h ole", + "▁hol e", + "▁ho le", + "▁ hole", + "▁ rooms", + "cc ión", + "cció n", + "c ción", + "▁ Arm", + "per son", + "pers on", + "p erson", + "▁p late", + "▁pl ate", + "▁plat e", + "ble d", + "bl ed", + "b led", + "er rors", + "err ors", + "error s", + "▁A gain", + "▁Ag ain", + "▁Def ault", + "▁ Default", + "▁ Hard", + "t ó", + "hu s", + "h us", + "▁dim ension", + "ial e", + "ia le", + "i ale", + "▁M ult", + "▁Mu lt", + "▁Mul t", + "▁ Mult", + "▁Govern ment", + "Fun c", + "F unc", + "▁b low", + "▁bl ow", + "▁blo w", + "▁re ct", + "▁r ect", + "▁rec t", + "▁ rect", + "er ra", + "err a", + "conne ction", + "connect ion", + "conn ection", + "▁pas sing", + "ße n", + "ß en", + "p has", + "ens ional", + "ension al", + "re cord", + "rec ord", + "co hol", + "▁Harr y", + "izont al", + "izon tal", + "▁f inger", + "▁fin ger", + "▁fing er", + "▁S C", + "▁ SC", + "oper ation", + "B Y", + "▁ Bad", + "▁stor m", + "▁sto rm", + "▁ storm", + "▁N at", + "▁Na t", + "▁bu ying", + "▁buy ing", + "▁S ometimes", + "▁Some times", + "es sed", + "esse d", + "▁da mn", + "▁dam n", + "▁m eg", + "▁me g", + "ün d", + "ü nd", + "w d", + "hid den", + "h idden", + "ar do", + "ard o", + "▁d iet", + "▁di et", + "▁die t", + "ot ted", + "ott ed", + "otte d", + "▁b at", + "▁ba t", + "▁ bat", + "an cer", + "ance r", + "anc er", + "▁f mt", + "▁ fmt", + "▁ Pen", + "▁t il", + "▁ti l", + "▁ til", + "En um", + "E num", + "PA TH", + "P ATH", + "▁mat ters", + "▁matter s", + "▁matt ers", + "time out", + "-- ----------", + "---- --------", + "-------- ----", + "--- ---------", + "----- -------", + "---------- --", + "------ ------", + "--------- ---", + "------- -----", + "----------- -", + "- -----------", + "ka n", + "k an", + "▁Cor por", + "=\" ../../", + "=\"../ ../", + "▁A le", + "▁Al e", + "hent ication", + "hentic ation", + "▁com plic", + "▁comp lic", + "▁compl ic", + "▁Se curity", + "▁ Security", + "OF F", + "O FF", + "R ad", + "ap se", + "aps e", + "a pse", + "▁dan ce", + "▁perm issions", + "▁permission s", + "▁war rant", + "▁l ad", + "▁la d", + "▁ lad", + "▁i sol", + "d l", + "▁A u", + "ye s", + "y es", + "▁t v", + "▁ tv", + "▁pro vider", + "▁prov ider", + "▁provide r", + "▁ provider", + "▁ter rible", + "▁terr ible", + "▁implement ation", + "S R", + "▁h earing", + "▁he aring", + "▁hear ing", + "F R", + "t v", + "F UN", + "▁dur ante", + "▁durant e", + "osi s", + "o sis", + "▁task s", + "▁ tasks", + "▁B lo", + "▁Bl o", + "▁ Blo", + "▁br anch", + "▁ branch", + "▁E lle", + "▁El le", + "▁Ell e", + "ex pr", + "exp r", + "pr ec", + "pre c", + "p rec", + "Sig ma", + "S igma", + "imat ely", + "t k", + "ach ment", + "▁Ent er", + "▁ Enter", + "▁cre ative", + "▁creat ive", + "ap py", + "app y", + "un ched", + "unch ed", + "unc hed", + "▁' ',", + "▁'' ,", + "onde r", + "{ -", + "NU M", + "N UM", + "▁n arr", + "▁na rr", + "▁nar r", + "Mem ory", + "▁ winning", + "▁Fol low", + "▁ Follow", + "*/ \r", + "vis ion", + "v ision", + "res ents", + "resent s", + "zi one", + "z ione", + "▁requ ests", + "▁request s", + "▁ requests", + "▁m argin", + "▁mar gin", + "▁marg in", + "▁ margin", + "▁{ \"", + "▁ {\"", + "v ideo", + "c n", + "▁Im age", + "▁ Image", + "T im", + "CON FIG", + "CONF IG", + "▁all owing", + "▁combine d", + "PU T", + "P UT", + "▁instance of", + "ig in", + "igi n", + "i gin", + "▁p ero", + "▁per o", + "▁pe ro", + "▁' '", + "▁ ''", + "▁conf idence", + "▁equ ivalent", + "▁equival ent", + "pa d", + "p ad", + "ef fect", + "eff ect", + "e ffect", + "R X", + "▁l ang", + "▁la ng", + "▁lan g", + "▁ lang", + "str ong", + "▁br idge", + "▁ bridge", + "▁t reated", + "▁tre ated", + "▁treat ed", + "▁f orth", + "▁for th", + "▁fort h", + "S W", + "▁P O", + "▁ PO", + "▁list ening", + "▁listen ing", + "Ro ute", + "R oute", + "() ))", + "()) )", + "( )))", + "cp y", + "c py", + "▁g ate", + "▁ga te", + "▁ gate", + "▁ Walk", + "▁some how", + "t f", + "▁l ayout", + "▁la yout", + "▁lay out", + "▁ layout", + "um in", + "umi n", + "u min", + "▁consider ing", + "▁consid ering", + "▁pre mi", + "▁pr emi", + "▁M om", + "▁Mo m", + "a than", + "Ge n", + "G en", + "▁plan et", + "▁plane t", + "am ples", + "amp les", + "ample s", + "▁M O", + "▁ MO", + "sh op", + "s hop", + "▁prem ier", + "▁premi er", + "▁s impl", + "▁sim pl", + "▁s egu", + "▁se gu", + "▁seg u", + "L Y", + "Su m", + "S um", + "▁t ables", + "▁table s", + "▁tab les", + "▁ta bles", + "▁ tables", + "sk a", + "s ka", + "▁ ž", + "p d", + "▁s ous", + "▁so us", + "▁sou s", + "▁confer ence", + "▁D at", + "▁Da t", + "▁ Dat", + "Sc roll", + "es se", + "ess e", + "▁citizen s", + "▁dem ocr", + "▁demo cr", + "▁ Sem", + "he aders", + "head ers", + "header s", + "im ento", + "iment o", + "imen to", + "ko m", + "k om", + "Co r", + "C or", + "MI N", + "M IN", + "us her", + "ush er", + "Data base", + "Dat abase", + "▁f ormal", + "▁for mal", + "▁forma l", + "ig ne", + "ign e", + "▁organ izations", + "▁I re", + "▁Ir e", + "X ml", + "▁bom b", + "▁ma nd", + "▁ mand", + "▁c lock", + "▁cl ock", + "▁clo ck", + "▁ clock", + "▁b uck", + "▁bu ck", + "en sch", + "ens ch", + "▁v olt", + "▁vo lt", + "▁vol t", + "▁ volt", + "in ode", + "ino de", + "i node", + "Bo olean", + "▁restaur ant", + "ía n", + "í an", + "page s", + "pa ges", + "pag es", + "p ages", + "▁wor dt", + "▁word t", + "(\" /", + "▁c opyright", + "▁copy right", + "▁ copyright", + "▁r it", + "▁ri t", + "▁ rit", + "size of", + "Tr ace", + "Tra ce", + "ue nt", + "uen t", + "u ent", + "▁k o", + "▁ ko", + ": \\", + "▁b igger", + "▁big ger", + "▁perfect ly", + "ten ance", + "MA SK", + "M ASK", + "r é", + "▁e tt", + "▁et t", + "▁ ett", + "▁n ose", + "▁no se", + "▁nos e", + "▁c raft", + "▁cr aft", + "▁ craft", + "it eral", + "ite ral", + "iter al", + "▁discuss ed", + "C ap", + "▁Un less", + "Att ributes", + "Attribute s", + "Attrib utes", + "▁l unch", + "▁lun ch", + "ö l", + "at r", + "a tr", + "▁pay ing", + "▁pa ying", + "Par se", + "Pars e", + "P arse", + "() \r", + "( )\r", + "la d", + "l ad", + "▁[ ];", + "▁[] ;", + "▁ [];", + "sto ne", + "▁u nc", + "▁defens e", + "} +", + "▁ Global", + "▁Sov iet", + "▁g li", + "▁gl i", + "var iant", + "vari ant", + "St ep", + "Ste p", + "me mber", + "mem ber", + "m ember", + "Sc h", + "S ch", + "▁Commit tee", + "▁s pending", + "▁sp ending", + "▁spend ing", + "▁ Tri", + "▁Jour nal", + "▁ Journal", + "▁s ugar", + "▁su gar", + "▁sug ar", + "el ly", + "ell y", + "HT ML", + "wi ng", + "▁Wh ether", + "▁Whe ther", + "▁N E", + "▁ NE", + "iv eness", + "ive ness", + "iven ess", + "▁h av", + "▁ha v", + "▁ hav", + "▁con scious", + "▁ conscious", + "Sym bol", + "S ymbol", + "Log ger", + "▁Lit tle", + "wide t", + "wi det", + "wid et", + "pi n", + "p in", + "▁sym met", + "▁pos ts", + "▁po sts", + "▁post s", + "▁ posts", + "sh al", + "sha l", + "s hal", + "▁Co nf", + "▁ Conf", + "ma l", + "m al", + "ul o", + "u lo", + "▁M ethod", + "▁ Method", + "▁miss ed", + "▁mis sed", + "Re move", + "Rem ove", + "Aut o", + "A uto", + "VAL UE", + "▁ Force", + "p f", + "la te", + "lat e", + "l ate", + "▁pu l", + "▁ pul", + "Po p", + "P op", + "air es", + "ai res", + "aire s", + "a ires", + "res sed", + "resse d", + "AM E", + "A ME", + "achi ng", + "a ching", + "i ć", + "ec ho", + "ech o", + "e cho", + "H S", + "▁fun ny", + "▁e er", + "▁ve get", + "c f", + "trans form", + "▁g rown", + "▁gr own", + "▁grow n", + "▁gro wn", + "si te", + "s ite", + "▁b eneath", + "▁be neath", + "▁s hell", + "▁ shell", + "x d", + "Pl ay", + "P lay", + "sh ort", + "Ro le", + "R ole", + "in ator", + "ina tor", + "} <", + "\" ><", + "aj o", + "a jo", + "ex ports", + "exp orts", + "export s", + "▁N ode", + "▁No de", + "▁ Node", + "▁j ako", + "▁ja ko", + "▁jak o", + "▁y a", + "▁ ya", + "▁friend ly", + "▁ friendly", + "buf f", + "bu ff", + "b uff", + "DE FAULT", + "▁pre gn", + "▁preg n", + "Requ ired", + "Require d", + "▁b inary", + "▁bin ary", + "▁ binary", + "is ting", + "ist ing", + "isti ng", + "▁st ared", + "▁star ed", + "▁stare d", + "▁sta red", + "▁circum stances", + "re i", + "r ei", + "Trans form", + "cn t", + "c nt", + "▁ Ext", + "re port", + "rep ort", + "repo rt", + "VER SION", + "▁ analy", + "▁Ma rg", + "▁all eg", + "build er", + "b uilder", + "To String", + "La yer", + "L ayer", + "ís t", + "í st", + "Pro p", + "Pr op", + "P rop", + "▁E mp", + "▁Em p", + "▁ Emp", + "} ]", + "▁sel ling", + "▁ selling", + "▁que ue", + "▁ queue", + "▁ser iously", + "▁serious ly", + "▁L ead", + "▁Le ad", + "▁ Lead", + "text it", + "tex tit", + "test ing", + "tes ting", + "se curity", + "sec urity", + "ia ł", + "i ał", + "ú n", + "ch ip", + "chi p", + "c hip", + "▁c andidate", + "▁mini ster", + "▁minist er", + "▁ minister", + "er ia", + "eri a", + "e ria", + "▁H et", + "▁He t", + "▁b arely", + "▁bar ely", + "▁bare ly", + "▁s ty", + "▁st y", + "▁ sty", + "▁Span ish", + "time r", + "ti mer", + "tim er", + "t imer", + "кі в", + "к ів", + "(' .", + "( '.", + "▁d ebug", + "▁de bug", + "▁deb ug", + "▁ debug", + "▁contr o", + "▁j oy", + "▁jo y", + "▁ joy", + "S n", + "In v", + "I nv", + "▁pro tocol", + "▁proto col", + "▁prot ocol", + "▁ protocol", + "▁f aces", + "▁face s", + "▁fac es", + "▁fa ces", + "▁ faces", + "se d", + "s ed", + "Con f", + "Co nf", + "AR G", + "A RG", + "▁e volution", + "▁t od", + "▁to d", + "▁P romise", + "▁Prom ise", + "▁ Promise", + "▁pos ted", + "▁po sted", + "▁post ed", + "Per m", + "Pe rm", + "P erm", + "be t", + "b et", + "An g", + "A ng", + "J ust", + "▁r um", + "▁ru m", + "▁ rum", + "la yer", + "lay er", + "l ayer", + "▁beh avi", + "▁behav i", + "ip ping", + "ipp ing", + "ippi ng", + "i pping", + "▁d ynam", + "▁dy nam", + "▁dyn am", + "▁sch eme", + "▁sche me", + "▁ scheme", + "▁pro to", + "▁pr oto", + "▁prot o", + "▁ proto", + ") /", + "Col lections", + "Collection s", + "Collect ions", + "ri ev", + "rie v", + "r iev", + "▁C lick", + "▁Cl ick", + "▁ Click", + "▁ uns", + "wide tilde", + "widet ilde", + "▁remember ed", + "г і", + "in ates", + "ina tes", + "inate s", + "▁De scription", + "▁Des cription", + "▁ Description", + "▁pre pare", + "▁prep are", + "▁prepar e", + "▁ prepare", + "▁Fi nal", + "▁ Final", + "▁Qu een", + "▁Que en", + "> ;", + "▁autom atically", + "▁automatic ally", + "▁sh arp", + "▁shar p", + "▁sha rp", + "▁me at", + "at eur", + "ate ur", + "aste rn", + "▁st uck", + "ASS ERT", + "do ts", + "dot s", + "d ots", + "ook ie", + "oo kie", + "▁His tor", + "▁re views", + "IM P", + "I MP", + "▁answ ered", + "▁answer ed", + "To tal", + "T otal", + "▁s au", + "▁sa u", + "▁Me xico", + "contin ue", + "like ly", + "lik ely", + "з ва", + "us ers", + "use rs", + "user s", + "▁L ev", + "▁Le v", + "▁m ol", + "▁mo l", + "▁comm itted", + "wr it", + "ri ft", + "rif t", + "r ift", + "▁inter rupt", + "▁ interrupt", + "▁read only", + "sch ema", + "sche ma", + "s chema", + "S m", + "D ouble", + "▁ Hal", + "Mo ve", + "M ove", + "▁S eries", + "▁Serie s", + "▁ Series", + "in line", + "so c", + "s oc", + "▁t ent", + "▁te nt", + "▁ten t", + "▁a mer", + "▁am er", + "▁ amer", + "▁l ady", + "▁la dy", + "▁lad y", + "▁t ired", + "▁ti red", + "▁tire d", + "▁tir ed", + "if i", + "i fi", + "▁m ême", + "▁ même", + "ou ver", + "▁a side", + "▁as ide", + "Di d", + "D id", + "', \r", + "' ,\r", + "▁br inging", + "Draw ing", + "es so", + "ess o", + "mitt ed", + "m itted", + "▁abs olute", + "▁absolut e", + "▁ absolute", + "ha ust", + "haus t", + "(( )", + "( ()", + "▁T ask", + "▁Ta sk", + "▁ Task", + "ER S", + "E RS", + "▁^ {", + "▁ ^{", + "▁t one", + "▁to ne", + "▁ton e", + "dis t", + "di st", + "d ist", + "v s", + "▁whe el", + "▁ wheel", + "▁administr ation", + "▁admin istration", + "▁point er", + "▁po inter", + "▁ pointer", + "▁en counter", + "▁n ord", + "▁no rd", + "▁nor d", + "ke t", + "k et", + "▁b each", + "▁be ach", + "▁enjoy ed", + "cont ains", + "▁app end", + "▁ap pend", + "▁appe nd", + "▁ append", + "W ait", + "▁s quad", + "ze l", + "z el", + "▁med ium", + "▁medi um", + "▁ medium", + "▁s ending", + "▁send ing", + "▁sen ding", + "▁La dy", + "▁Lad y", + "ç ões", + "▁dest ination", + "▁destin ation", + "▁ destination", + "ny ch", + "n ych", + "▁conf lict", + "▁conflic t", + "▁v ul", + "▁vu l", + "▁bas ically", + "▁basic ally", + "re ated", + "reat ed", + "reate d", + "rea ted", + "bl ack", + "ug ins", + "ugin s", + "▁cal m", + "▁ca lm", + "ér ie", + "éri e", + "é rie", + "ha r", + "h ar", + "w atch", + "▁P ut", + "▁Pu t", + "▁ Put", + "▁d ump", + "▁du mp", + "▁ dump", + "ac her", + "ach er", + "ache r", + "a cher", + "sc roll", + "scr oll", + "▁cl aimed", + "▁ claimed", + "▁Cont rol", + "▁ Control", + "▁bl ind", + "en ti", + "ent i", + "▁Ke ep", + "▁ Keep", + "im ages", + "image s", + "ima ges", + "imag es", + "▁t ough", + "▁to ugh", + "▁tou gh", + "ge bra", + "geb ra", + "▁se pt", + "▁sep t", + "▁s kill", + "▁sk ill", + "▁ski ll", + "▁ skill", + "▁Ta y", + "▁k tó", + "ow ner", + "own er", + "par e", + "pa re", + "p are", + "▁f ee", + "▁fe e", + "▁ fee", + "▁k an", + "▁ka n", + "▁ kan", + "▁c ha", + "▁ch a", + "▁ cha", + "ov o", + "o vo", + "▁Ni ght", + "ict ure", + "▁es say", + "▁ess ay", + "▁sup pose", + "▁supp ose", + "eti c", + "Ar t", + "A rt", + "ac on", + "aco n", + "a con", + "ll a", + "l la", + "word s", + "wor ds", + "w ords", + "▁compar ison", + "▁B E", + "▁ BE", + "▁challeng es", + "▁challenge s", + "▁o l", + "▁ ol", + "cite p", + "cit ep", + "▁Fo ot", + "▁ Foot", + "▁S uch", + "▁Su ch", + "▁ Such", + "▁p apers", + "▁paper s", + "▁pa pers", + "▁pap ers", + "act iv", + "qu er", + "que r", + "q uer", + "сь кий", + "do ne", + "don e", + "d one", + "▁sh ock", + "▁dedic ated", + "▁correspon d", + "Se cond", + "Sec ond", + "▁b ull", + "▁bu ll", + "▁bul l", + "lif e", + "ind ent", + "inde nt", + "inden t", + "▁Andr ew", + "is p", + "i sp", + "F ull", + "▁Reg ister", + "▁ Register", + "Sc ale", + "Scal e", + "ic ations", + "ication s", + "pa ir", + "p air", + "▁pers pective", + "▁n os", + "▁no s", + "▁ nos", + "ap a", + "a pa", + "ost ał", + "osta ł", + "▁Pe rs", + "▁ Pers", + "ic er", + "ice r", + "i cer", + "▁pl astic", + "ci ples", + "cipl es", + "cip les", + "z ą", + "c los", + "▁ Á", + "pl ugin", + "plug in", + "▁an gle", + "▁ang le", + "▁angl e", + "▁ angle", + "▁fun ds", + "▁in du", + "▁ind u", + "▁d rawn", + "á m", + "▁seg ment", + "▁ segment", + "is me", + "ism e", + "sc r", + "s cr", + "▁li es", + "▁lie s", + "▁I L", + "▁ IL", + "▁a pi", + "▁ap i", + "▁ api", + "Ext ension", + "▁s cal", + "▁sc al", + "▁ scal", + "inst all", + "▁ Week", + "▁gen tle", + "▁gent le", + "▁d ialog", + "▁dial og", + "▁dia log", + "▁ dialog", + "▁artic les", + "The me", + "Th eme", + "S M", + "▁ Bul", + "▁l eur", + "▁le ur", + "▁s tom", + "▁st om", + "▁sto m", + "Pl ugin", + "▁st ead", + "▁ste ad", + "▁ stead", + "▁ ś", + "ip her", + "iph er", + "i pher", + "▁pr ze", + "▁prz e", + "▁ draft", + "bot tom", + "b ottom", + "▁{ };", + "▁{} ;", + "fe ature", + "feat ure", + "▁fab ric", + "ç a", + "(' #", + "re a", + "r ea", + "▁re put", + "▁rep ut", + "▁C ir", + "▁Ci r", + "▁ Cir", + "▁A L", + "▁ AL", + "▁assert Equals", + "▁ assertEquals", + "result s", + "▁ Cross", + "urs day", + "▁a udio", + "▁aud io", + "▁ audio", + "▁g ap", + "▁ga p", + "pl atform", + "▁a uss", + "▁au ss", + "▁aus s", + "▁part ial", + "▁parti al", + "▁ partial", + "u nc", + "▁cho ices", + "▁choice s", + "pr ed", + "pre d", + "p red", + "▁ heads", + "ter day", + "▁Ni ck", + "▁we ird", + "as ant", + "asa nt", + "or ders", + "cl ock", + "c lock", + "arte rs", + "C md", + "og a", + "o ga", + "Key s", + "Ke ys", + "Re port", + "Rep ort", + "Repo rt", + "▁Vil l", + "▁ Mu", + "▁ owned", + "SU CCESS", + "▁type of", + "▁ typeof", + "hd r", + "h dr", + "ua ble", + "u able", + "▁A P", + "▁ AP", + "▁sh adow", + "▁ shadow", + "STR ING", + "▁video s", + "▁vide os", + "ле ння", + "лен ня", + "ex pect", + "exp ect", + "▁Vall ey", + "▁g oto", + "▁go to", + "▁got o", + "▁ goto", + "fr astr", + "▁opera ting", + "▁License d", + "▁Lic ensed", + "Var iable", + "Vari able", + "cl one", + "▁G esch", + "▁Ge sch", + "▁Ges ch", + "▁Ban d", + "▁ Band", + "... .....", + "..... ...", + "▁hundred s", + "▁emot ional", + "▁emotion al", + ") +", + "▁Egy pt", + "▁fr anç", + "▁ š", + "▁f asc", + "▁fa sc", + "▁A dam", + "▁r ig", + "▁ri g", + "▁ rig", + "▁det ailed", + "▁detail ed", + "▁im plements", + "▁implement s", + "▁impl ements", + "▁ Hy", + "▁g rid", + "▁gr id", + "▁gri d", + "▁ grid", + "St op", + "S top", + "▁s lot", + "▁sl ot", + "▁ slot", + "▁ang ry", + "▁- =", + "▁wait ed", + "▁wa ited", + "Ver t", + "V ert", + "\": \"", + "\" :\"", + "▁e lem", + "▁el em", + "▁ele m", + "▁ elem", + "▁r ég", + "▁ré g", + "ow ed", + "owe d", + "o wed", + "Mem ber", + "Me mber", + "M ember", + "▁r atio", + "▁rat io", + "▁ ratio", + "is en", + "ise n", + "i sen", + "▁L em", + "▁Le m", + "ge ry", + "ger y", + "g ery", + "▁c ream", + "▁cre am", + "▁ét ait", + "▁ était", + "▁g eb", + "▁ge b", + "▁ geb", + "un ique", + "uni que", + "▁D eb", + "▁De b", + "▁f actory", + "▁ factory", + "ż e", + "d ialog", + "▁Con fig", + "▁Conf ig", + "▁ Config", + "Sy nc", + "S ync", + "an gers", + "ang ers", + "ange rs", + "anger s", + "▁gover ning", + "▁govern ing", + "Sp ace", + "S pace", + "▁j est", + "▁je st", + "ic ious", + "ici ous", + "icio us", + "▁emp has", + "um ps", + "ump s", + "▁E sp", + "▁Es p", + "▁ Esp", + "▁s ul", + "▁su l", + "ij a", + "i ja", + "▁l ying", + "▁ly ing", + "▁ lying", + "▁St eve", + "▁me asures", + "os to", + "ost o", + "o sto", + "? ”", + "▁p ocket", + "▁poc ket", + "▁p itch", + "▁pit ch", + "▁n atur", + "▁nat ur", + "ad ores", + "ado res", + "ador es", + "(\" \\", + "( \"\\", + "▁ex pos", + "▁exp os", + "mat erial", + "mate rial", + "m aterial", + "▁app arently", + "▁apparent ly", + "▁appar ently", + "▁B ox", + "▁Bo x", + "▁ Box", + "▁s paces", + "▁sp aces", + "▁space s", + "ex ists", + "exist s", + "OR Y", + "Go od", + "G ood", + "ien ne", + "i enne", + "▁f ruit", + "▁fr uit", + "▁fru it", + "ie ra", + "ier a", + "i era", + "▁ Lim", + "▁t rait", + "▁tr ait", + "▁tra it", + "▁ trait", + "▁ab sor", + "▁abs or", + "rai t", + "LO AD", + "▁mov ies", + "▁movie s", + "▁d ynamic", + "▁dynam ic", + "▁dyn amic", + "▁ dynamic", + "as ts", + "ast s", + "a sts", + "▁In teger", + "▁ Integer", + "▁sm oke", + "п і", + "an gel", + "ang el", + "ange l", + ">( \"", + "> (\"", + "▁in strument", + "▁fue l", + "▁fu el", + "но ї", + "atal ogue", + "atalog ue", + "▁s erial", + "▁se rial", + "▁ser ial", + "▁ serial", + "File s", + "Fil es", + "Fi les", + "F iles", + "▁bath room", + "il o", + "i lo", + "es to", + "est o", + "e sto", + "▁p m", + "▁ pm", + "ent ials", + "ential s", + "enti als", + "▁On line", + "wh ite", + "▁t ips", + "▁tip s", + "▁ti ps", + "Fi g", + "F ig", + "k é", + "bit r", + "bi tr", + "b itr", + "Map ping", + "Ma pping", + "M apping", + "▁t ak", + "▁ta k", + ")\" ,", + ") \",", + "▁K arl", + "▁Kar l", + "▁Ka rl", + "▁Hum an", + "▁rep resents", + "▁represent s", + "▁cons istent", + "▁consist ent", + "_ (", + "we n", + "w en", + "▁F ROM", + "▁FR OM", + "▁ FROM", + "▁e dit", + "▁ed it", + "▁ edit", + "▁ch apter", + "▁chap ter", + "▁wonder ed", + "▁Ma jor", + "▁Maj or", + "▁g es", + "▁ge s", + "▁ ges", + "▁dire cted", + "er os", + "ero s", + "e ros", + "li ament", + "lia ment", + "Bo ok", + "B ook", + "user name", + "ho t", + "h ot", + "▁n am", + "▁na m", + "▁ nam", + "▁Ta l", + "▁ex ports", + "▁exp orts", + "▁export s", + "▁ exports", + "( @", + "▁sh aring", + "▁shar ing", + "▁sha ring", + "ś ć", + "ues day", + "yl v", + "y lv", + "el en", + "ele n", + "e len", + "Se lection", + "Select ion", + "S election", + "▁conf ident", + "ry pto", + "rypt o", + "▁ho rs", + "ed itor", + "edit or", + "edi tor", + "▁should ers", + "▁shoulder s", + "get Name", + "en cing", + "enc ing", + "enci ng", + "SE LECT", + "SEL ECT", + "▁kind s", + "▁kin ds", + "▁W el", + "▁We l", + "Mat rix", + "in valid", + "▁ owners", + "▁Record s", + "▁ Records", + "▁Pro cess", + "▁ Process", + "▁c hat", + "▁ch at", + "▁cha t", + "▁ chat", + "▁b in", + "▁bi n", + "▁ bin", + "re dit", + "red it", + "r edit", + "oi re", + "oir e", + "o ire", + "▁T otal", + "▁To tal", + "▁Tot al", + "▁ Total", + "▁F amily", + "▁Famil y", + "▁ Family", + "AR Y", + "▁b read", + "▁br ead", + "▁bre ad", + "▁ bread", + "▁com pre", + "▁comp re", + "▁compr e", + "▁sh oes", + "▁shoe s", + "▁r az", + "▁ra z", + "▁ raz", + "▁tr ace", + "▁tra ce", + "▁ trace", + "ne j", + "n ej", + "or ted", + "ort ed", + "orte d", + "h n", + "▁pro cedure", + "▁proced ure", + "pro perties", + "pl ier", + "▁ hero", + "pan el", + "pa nel", + "p anel", + "▁mar ked", + "▁wor ried", + "\\ |", + "pt s", + "p ts", + "▁S upport", + "▁Sup port", + "▁Supp ort", + "▁ Support", + "F ail", + "▁dis appoint", + "▁ple asure", + "▁j udge", + "▁judg e", + "ze ich", + "▁for ever", + "▁fore ver", + "▁Ze it", + "uo us", + "u ous", + "inen t", + "i nent", + "▁d w", + "▁ dw", + "▁w aren", + "▁war en", + "▁wa ren", + "▁ware n", + "▁fl ash", + "▁ flash", + "▁dr ugs", + "▁dru gs", + "▁drug s", + "▁dia m", + ". ~", + "im p", + "i mp", + "in ned", + "inn ed", + "▁E V", + "▁ EV", + "St ruct", + "Str uct", + "▁just ice", + "▁offic ials", + "ff ff", + "fff f", + "f fff", + "▁ Common", + "▁ Cat", + "▁tom orrow", + "▁é l", + "▁ él", + "Text ure", + "Te xture", + "qp oint", + "q point", + "▁F ried", + "▁Fr ied", + "▁T erm", + "▁Te rm", + "▁Ter m", + "▁ Term", + "pgf qpoint", + "▁n em", + "▁ne m", + "▁ nem", + "no rm", + "nor m", + "n orm", + "▁hard ly", + "od a", + "o da", + "ze ta", + "zet a", + "z eta", + "em ic", + "emi c", + "e mic", + "▁lo aded", + "▁load ed", + "▁ loaded", + "ci ó", + "c ió", + "▁f ool", + "▁fo ol", + "▁foo l", + "▁t rick", + "▁tr ick", + "▁tri ck", + "▁d st", + "▁ds t", + "▁ dst", + "Fin d", + "Fi nd", + "F ind", + "}} ,", + "} },", + "▁frame work", + "▁ framework", + "▁mer ely", + "▁mere ly", + "▁ union", + "Fl ag", + "F lag", + "▁cris is", + "▁cri sis", + "▁fin ite", + "▁ finite", + "▁l ol", + "▁lo l", + "▁Ki m", + "sin ce", + "s ince", + "▁com pat", + "▁comp at", + "▁ compat", + "▁p ert", + "▁per t", + "▁pe rt", + "▁ pert", + "ib ilities", + "ibil ities", + "▁tamb ién", + "ib li", + "▁t een", + "▁te en", + "▁ teen", + "▁sym pt", + "de rs", + "der s", + "d ers", + "ot te", + "ott e", + "▁Ja ne", + "▁thro at", + "ma g", + "m ag", + "su p", + "s up", + "un i", + "u ni", + "$ $", + "▁ Library", + "▁att acks", + "in gen", + "ing en", + "inge n", + "(' /", + "▁h es", + "▁he s", + "▁ hes", + "co in", + "c oin", + "oun ce", + "MOD ULE", + "▁A dv", + "▁Ad v", + "▁ Adv", + ")^ {", + ") ^{", + "▁b ij", + "▁bi j", + "ev ents", + "event s", + "even ts", + "▁F ern", + "▁Fe rn", + "▁Fer n", + "▁b er", + "▁be r", + "▁ ber", + "▁sil ent", + "▁p ier", + "▁pie r", + "▁pi er", + "▁Y O", + "▁pl ain", + "▁ plain", + "B as", + "▁p ill", + "▁pi ll", + "▁pil l", + "ra se", + "ras e", + "r ase", + "▁car rying", + "▁r esp", + "▁ resp", + "Wrap per", + "W rapper", + "▁g au", + "▁ga u", + "▁h al", + "▁ha l", + "▁ hal", + "th row", + "Cl uster", + "▁Ga b", + "▁Gi rl", + "▁Gir l", + "qu ir", + "▁A rg", + "▁Ar g", + "▁ Arg", + "▁relie f", + "▁reli ef", + "d m", + "▁fr ustr", + "▁fru str", + "\\ %", + "▁stor es", + "▁sto res", + "▁bott le", + "▁bot tle", + "tw o", + "t wo", + "st ad", + "sta d", + "▁che ek", + "▁concer ns", + "▁help ful", + "▁co verage", + "▁cover age", + "is i", + "i si", + "AD D", + "A DD", + "as ync", + "asy nc", + "a sync", + "▁approxim ately", + "▁approximate ly", + "if fer", + "iff er", + "iffe r", + "ho ok", + "h ook", + "▁e num", + "▁en um", + "▁ enum", + "ov á", + "o vá", + "▁e vil", + "▁ev il", + "▁const antly", + "▁constant ly", + "ap ply", + "app ly", + "▁si è", + "▁te achers", + "▁teach ers", + "▁ Sn", + "▁Aw ards", + "▁subst ant", + "▁$ .", + "▁ $.", + "d k", + "▁mo b", + "▁ mob", + "▁ing red", + "ve re", + "ver e", + "v ere", + "Mult i", + "st al", + "sta l", + "s tal", + "yar d", + "requ ired", + "require d", + "▁intellig ence", + "▁th inks", + "▁think s", + "▁thin ks", + "▁person ally", + "▁personal ly", + "▁ trained", + "orne y", + ") \\", + "an al", + "ana l", + "a nal", + "Se ction", + "S ection", + "pl us", + "ü t", + "▁em bed", + "▁emb ed", + "▁ embed", + "▁st rings", + "▁str ings", + "▁string s", + "▁ strings", + "Be fore", + "B efore", + "pro c", + "pr oc", + "p roc", + "▁сп о", + "tr l", + "t rl", + "v r", + "Back ground", + "log ger", + "ag raph", + "agr aph", + "agra ph", + "a graph", + "bat ch", + "b atch", + "▁opt ional", + "▁option al", + "▁ optional", + "▁recogn ize", + "wal k", + "w alk", + "▁Hi t", + "▁ Hit", + "} :", + "▁care ful", + "кра ї", + "▁d isk", + "▁dis k", + "▁di sk", + "▁ disk", + "▁ ships", + "▁s uo", + "▁su o", + "▁s owie", + "▁so wie", + "▁sow ie", + "▁E ss", + "▁Es s", + "▁H ash", + "▁Ha sh", + "▁Has h", + "▁ Hash", + "▁reason able", + "▁More over", + "▁form ula", + "▁C entre", + "▁resid ents", + "R S", + "Id s", + "I ds", + "▁K now", + "▁Kn ow", + "▁r és", + "▁ré s", + "▁s table", + "▁st able", + "▁sta ble", + "▁stab le", + "▁ stable", + "▁W ould", + "▁Wo uld", + "▁ Would", + "▁break ing", + "▁bre aking", + "▁ breaking", + "▁me al", + "▁f el", + "▁fe l", + "▁ fel", + "▁Fr ed", + "Aut hor", + "Auth or", + "▁c apture", + "▁ capture", + "op ts", + "opt s", + "o pts", + "▁every where", + "▁s que", + "▁squ e", + "▁sq ue", + "▁m oder", + "▁mod er", + "▁mo der", + "▁mode r", + "set up", + "▁S upp", + "▁Su pp", + "▁Sup p", + "▁ Supp", + "▁when ever", + "▁whe never", + "{ (", + "wa rt", + "war t", + "w art", + "▁t oe", + "▁to e", + "Pre fix", + "Pref ix", + "P refix", + "ho u", + "h ou", + "ga ge", + "g age", + "> \"", + "▁fra g", + "▁ frag", + "▁The orem", + "mem ory", + "▁cont ents", + "▁content s", + "▁conten ts", + "▁ contents", + "do cs", + "doc s", + "} '", + "The n", + "Th en", + "T hen", + "aa ts", + "aat s", + "a ats", + "Sa ve", + "S ave", + "▁F unction", + "▁Fun ction", + "▁ Function", + "N N", + "dest roy", + "▁M essage", + "▁Mess age", + "▁ Message", + "▁c ancel", + "▁can cel", + "▁ cancel", + "▁super ior", + "▁P ART", + "▁PA RT", + "▁PAR T", + "▁ PART", + "I l", + "eng ine", + "▁b asket", + "▁bas ket", + "wor th", + "wort h", + "f etch", + "▁St adt", + "▁Stad t", + "▁Sta dt", + "▁con j", + "▁se iner", + "▁sein er", + "▁seine r", + "▁sei ner", + "▁confirm ed", + "▁Arg ent", + "am ar", + "ama r", + "a mar", + "pgf path", + "▁strugg le", + "Pat tern", + "i tan", + "▁m oon", + "▁mo on", + "or ough", + "oro ugh", + "o rough", + "▁stru ck", + "] ->", + "▁we apon", + "▁weap on", + "▁su bst", + "▁sub st", + "▁subs t", + "▁inst ructions", + "▁instruct ions", + "▁instruction s", + "▁oc cas", + "prote cted", + "▁L ess", + "▁Le ss", + "▁Les s", + "▁ Less", + "▁b atch", + "▁bat ch", + "▁ batch", + "▁con tra", + "▁cont ra", + "▁contr a", + "▁de ck", + "▁dec k", + "▁ deck", + "▁ign ored", + "▁ignore d", + "▁ignor ed", + "▁refuse d", + "tr igger", + "G A", + "ol ly", + "oll y", + "for ward", + "▁p refix", + "▁pre fix", + "▁pref ix", + "▁ prefix", + "▁im mediate", + "▁immedi ate", + "▁as signed", + "▁assign ed", + "▁ele cted", + "▁to night", + "▁ton ight", + "▁D ies", + "▁Die s", + "▁Di es", + "▁B each", + "▁pre ced", + "▁prec ed", + "ow ał", + "owa ł", + "▁gal ax", + "▁log ic", + "en za", + "enz a", + "▁Capt ain", + "▁f acts", + "▁fact s", + "▁fac ts", + "t é", + "▁s b", + "▁ sb", + "op ed", + "ope d", + "o ped", + "▁com bat", + "▁expl ore", + "▁explo re", + "▁( -", + "▁ (-", + "Load er", + "Lo ader", + "▁l ocked", + "▁loc ked", + "▁lock ed", + "▁ locked", + ": )", + "▁qu el", + "▁que l", + "▁q uel", + "▁ quel", + "T y", + "▁tem ps", + "▁temp s", + "▁g host", + "Mat erial", + "M aterial", + "ER CHANT", + "point er", + "po inter", + "ah a", + "a ha", + "▁sup plement", + "▁supp lement", + "▁d ismiss", + "▁cl osing", + "▁clos ing", + "▁clo sing", + "▁vul ner", + "▁ap rès", + "▁apr ès", + "▁over whel", + "▁dis ag", + "ac ia", + "aci a", + "a cia", + "ru ption", + "rupt ion", + "End point", + "Re al", + "▁T ag", + "▁Ta g", + "▁ Tag", + "▁st airs", + "▁sta irs", + "▁stair s", + "▁ stairs", + "▁e leg", + "▁el eg", + "▁ele g", + "▁vet er", + "factor y", + "fact ory", + "f actory", + "an ne", + "ann e", + "▁fr anc", + "▁fra nc", + "lu ng", + "l ung", + "▁\" '", + ".' ,", + ". ',", + "▁C ountry", + "▁Count ry", + "▁Coun try", + "▁ Country", + "^{ [", + "▁y ours", + "▁you rs", + "▁your s", + "▁yo urs", + "ail ability", + "Cl ear", + "C lear", + "ät t", + "ä tt", + "▁j oke", + "▁jo ke", + "▁ann oy", + "▁r ag", + "▁ra g", + "▁ rag", + "var i", + "va ri", + "v ari", + "ле кс", + "лек с", + "▁P sy", + "il ty", + "ilt y", + "mo unt", + "m ount", + "▁c ual", + "▁cu al", + "▁s olar", + "▁so lar", + "▁sol ar", + "}^ {(", + "}^{ (", + "} ^{(", + "Sh ort", + "▁tax es", + "App end", + "Ap pend", + "Appe nd", + "W in", + "est yle", + "esty le", + "e style", + "▁fac il", + "▁fa cil", + "▁sou ght", + "▁b are", + "▁bar e", + "▁ba re", + "▁ react", + "ja r", + "j ar", + "MA C", + "M AC", + "lo v", + "l ov", + "wa rn", + "war n", + "w arn", + "▁cru cial", + "▁m useum", + "May be", + "▁b ike", + "▁bi ke", + "▁Add ress", + "▁ Address", + "X ML", + "▁adm itted", + "▁admit ted", + "▁$ (\\", + "▁$( \\", + "▁sp ell", + "▁spe ll", + "▁spel l", + "▁ spell", + "▁v ic", + "▁vi c", + "gr e", + "g re", + "▁p roc", + "▁pro c", + "▁pr oc", + "▁ proc", + "▁N om", + "▁No m", + "▁Ra il", + "▁acc eler", + "▁con vin", + "▁conv in", + "▁Pro perty", + "▁ Property", + "▁D A", + "▁ DA", + "▁cl ip", + "▁ clip", + "▁pl ugin", + "▁plug in", + "▁ plugin", + "Lim it", + "Li mit", + "L imit", + "view s", + "br u", + "b ru", + "▁a k", + "▁ ak", + "▁e j", + "▁ ej", + "▁o pts", + "▁op ts", + "▁opt s", + "▁ opts", + "▁sl ip", + "▁gan g", + "▁ga ng", + "▁ gang", + "as ted", + "ast ed", + "aste d", + "a sted", + "ual s", + "ua ls", + "u als", + "▁d ying", + "▁dy ing", + "Col l", + "Co ll", + "C oll", + "am men", + "amm en", + "▁Pol icy", + "▁ Policy", + "ERCHANT ABILITY", + "▁Col lection", + "▁Coll ection", + "▁Collect ion", + "▁ Collection", + "▁v ec", + "▁ve c", + "▁ vec", + "st ud", + "▁la yers", + "▁lay ers", + "▁layer s", + "▁ layers", + "▁t ied", + "▁tie d", + "▁ti ed", + "}\\ \\", + "} \\\\", + "▁al ors", + "▁j ou", + "▁jo u", + "▁ch icken", + "▁chi cken", + "▁chick en", + "▁Every thing", + "▁ Low", + "▁C ook", + "▁Co ok", + "▁pe ak", + "▁PARTIC ULAR", + "▁d ear", + "▁de ar", + "i č", + "▁introdu ce", + "▁ca using", + "Bo und", + "B ound", + "hu nd", + "h und", + "mult i", + "mul ti", + "▁p are", + "▁par e", + "▁pa re", + "▁ pare", + "an nt", + "ann t", + "▁b reat", + "▁bre at", + "▁commit ment", + "▁F riend", + "▁ Friend", + "▁stat istics", + "▁statist ics", + "▁Man ager", + "▁ Manager", + "pl icate", + "plic ate", + "plica te", + "Cl oud", + "ac i", + "a ci", + "Sp an", + "S pan", + "▁C EO", + "▁CE O", + "▁W ait", + "▁Wa it", + "▁ Wait", + "▁O ber", + "▁Ob er", + "if ting", + "ift ing", + "im iento", + "imi ento", + "get Element", + "▁g le", + "▁gl e", + "▁ gle", + "▁w ieder", + "▁wie der", + "▁inst ruction", + "▁instr uction", + "▁instruct ion", + "gl y", + "g ly", + "▁bl ame", + "▁list ade", + "▁lista de", + "▁a apt", + "Fr agment", + "▁g ear", + "▁ge ar", + "mi ll", + "mil l", + "m ill", + "pro d", + "pr od", + "p rod", + "▁bur ning", + "▁burn ing", + "є ться", + "▁m é", + "▁ mé", + "è ne", + "▁com plicated", + "▁compl icated", + "▁complic ated", + "b h", + "▁t ested", + "▁te sted", + "▁test ed", + "▁st aring", + "▁star ing", + "▁sta ring", + "▁surv ive", + "▁surviv e", + "▁c ous", + "▁co us", + "▁cou s", + "▁r ib", + "▁ri b", + "▁ rib", + "am l", + "a ml", + "▁T rust", + "▁Tru st", + "▁c ad", + "▁ca d", + "▁T err", + "▁Te rr", + "▁Ter r", + "▁m apping", + "▁map ping", + "▁ma pping", + "▁ mapping", + "▁gran t", + "▁th orough", + "▁ Ü", + "▁fol ks", + "▁folk s", + "▁Cont ent", + "▁ Content", + "▁child hood", + "ck er", + "cke r", + "c ker", + "RE CT", + "REC T", + "R ECT", + "▁f inale", + "▁fin ale", + "▁final e", + "▁sh ower", + "▁show er", + "ér ic", + "éri c", + "é ric", + "▁s pat", + "▁sp at", + "od ge", + "▁p es", + "▁pe s", + "▁ pes", + "ed a", + "e da", + "D b", + "▁Ant onio", + "▁Anton io", + "▁engage d", + "val s", + "va ls", + "v als", + "▁elect ronic", + "▁electron ic", + "▁electro nic", + "le mma", + "lem ma", + "▁W y", + "mer ge", + "ap on", + "a pon", + "▁priv ile", + "▁nov embre", + "▁nove mbre", + "▁Sp orts", + "▁Sport s", + "wi ll", + "w ill", + "▁control s", + "▁contr ols", + "▁contro ls", + "▁ controls", + "▁c ategories", + "▁categ ories", + "▁categor ies", + "▁ categories", + "ip edia", + "▁A V", + "▁ AV", + "at ori", + "ator i", + "ato ri", + "▁_ __", + "▁__ _", + "▁ ___", + "▁ À", + "▁R yan", + "▁Ry an", + "▁Char lie", + "▁Charl ie", + "▁em otion", + "▁emot ion", + "▁co oking", + "▁cook ing", + "▁FIT NESS", + "ät er", + "ä ter", + "En able", + "D T", + "▁Ch ange", + "▁ Change", + "Asp Net", + "▁ord inary", + "▁ordin ary", + "▁S QL", + "▁ SQL", + "pl ane", + "plan e", + "p lane", + "▁av ait", + "up p", + "u pp", + "▁ill ness", + "UI NT", + "U INT", + "> {", + "▁zw ischen", + "▁hard ware", + "▁sound ed", + "equ iv", + "▁p iano", + "▁pi ano", + "▁pian o", + "us et", + "use t", + "u set", + "TR Y", + "▁b ab", + "▁ba b", + "▁rel iable", + "▁reli able", + "▁Bron nen", + "▁St ore", + "▁Sto re", + "▁ Store", + "A z", + "▁» ,", + "▁ »,", + "St atic", + "Stat ic", + "d w", + "gr een", + "gre en", + "g reen", + "▁' ';", + "▁'' ;", + "li j", + "l ij", + "ev a", + "e va", + "ні й", + "▁S yd", + "con vert", + "conv ert", + "▁decl are", + "▁declar e", + "br es", + "bre s", + "b res", + "IN K", + "▁acc ord", + "▁ac cord", + "▁m ars", + "▁mar s", + "▁ma rs", + "Sequ ence", + "zi p", + "z ip", + "▁Braz il", + "▁meet ings", + "▁meeting s", + "▁accur acy", + "▁M achine", + "▁Mach ine", + "▁ Machine", + "▁aut or", + "▁au tor", + "▁auto r", + "▁ autor", + "▁a insi", + "▁ain si", + "Sim ple", + "Res ources", + "Re sources", + "Resource s", + "th ey", + "the y", + "▁Ban g", + "▁e ing", + "▁ein g", + "▁ eing", + "ate ful", + "▁Some thing", + "▁Som ething", + "▁ Something", + "▁up set", + "Hist ory", + "Hi story", + "dim ensional", + "▁explan ation", + "▁c iv", + "▁ci v", + "▁c once", + "▁con ce", + "▁conc e", + "▁kö z", + "▁prom ised", + "▁promise d", + "we d", + "w ed", + "For e", + "F ore", + "Am ount", + "A mount", + "a bb", + "▁cl othing", + "▁cloth ing", + "▁clo thing", + "oe n", + "o en", + "▁Pr int", + "▁Pri nt", + "▁Prin t", + "▁ Print", + "▁s izes", + "▁size s", + "▁si zes", + "▁b anks", + "▁bank s", + "▁ban ks", + "ri bed", + "rib ed", + "ribe d", + "▁' ../", + "▁'. ./", + "FI X", + "F IX", + "▁z n", + "▁ zn", + "▁I NT", + "▁IN T", + "▁ INT", + "▁in stances", + "▁inst ances", + "▁instance s", + "Name space", + "Names pace", + "▁a sc", + "▁as c", + "▁ asc", + "▁w aves", + "▁wa ves", + "▁wave s", + "▁p om", + "▁po m", + "D uration", + "day s", + "da ys", + "d ays", + "$ (", + "▁grab bed", + "▁sur gery", + "▁surge ry", + "▁surg ery", + "▁re store", + "▁rest ore", + "▁ restore", + "Norm al", + "N ormal", + "▁L eb", + "▁Le b", + "▁anal yt", + "▁analy t", + "Lite ral", + "L iteral", + "H A", + "▁sh ares", + "▁share s", + "▁shar es", + "▁sha res", + "il let", + "ill et", + "ille t", + "▁D og", + "▁Do g", + "or no", + "orn o", + "▁man ip", + "ja v", + "j av", + "▁ess entially", + "▁essential ly", + "▁cas ual", + "op l", + "o pl", + "▁S U", + "▁ SU", + "▁engineer ing", + "▁Prim e", + "▁S W", + "▁ SW", + "▁K re", + "▁Kr e", + "▁opp on", + "pro gram", + "pr ogram", + "em per", + "emp er", + "is Empty", + "▁U nit", + "▁Un it", + "▁ Unit", + "IN TER", + "INT ER", + "INTE R", + "et he", + "eth e", + "e the", + "z d", + "CU R", + "C UR", + "▁v m", + "▁ vm", + "con v", + "co nv", + "ro pol", + "r opol", + "▁S elect", + "▁Se lect", + "▁Sel ect", + "▁ Select", + "ow y", + "o wy", + "ce ptions", + "ception s", + "cept ions", + "class es", + "▁w orden", + "▁wor den", + "▁word en", + "▁d ual", + "▁du al", + "OR K", + "▁in ches", + "▁inc hes", + "▁inch es", + "▁F A", + "▁ FA", + "▁Stat ion", + "▁ Station", + "▁person ality", + "▁personal ity", + "▁s car", + "▁sc ar", + "▁ scar", + "▁reg ime", + "▁not en", + "▁no ten", + "▁note n", + "iz a", + "i za", + "Aud io", + "A udio", + "▁dis put", + "▁disp ut", + "▁ave r", + "▁o bst", + "▁ob st", + "▁obs t", + "▁Reg ion", + "▁ Region", + "ut f", + "u tf", + "▁C ass", + "▁Cas s", + "▁Ca ss", + "hs pace", + "h space", + "▁sh ipping", + "▁ship ping", + "ik o", + "i ko", + "ic ked", + "ick ed", + "num er", + "nu mer", + "n umer", + "ri el", + "rie l", + "r iel", + "dis abled", + "disable d", + "op ol", + "o pol", + "lo oking", + "look ing", + "▁classic al", + "▁constru cted", + "▁refer enties", + "] +", + "▁min imal", + "▁minim al", + "▁mini mal", + "▁s ock", + "▁so ck", + "▁soc k", + "▁ sock", + "fa ther", + "is ión", + "isi ón", + "▁equ ally", + "▁equal ly", + "▁eq ually", + "▁red uction", + "▁redu ction", + "An t", + "A nt", + "ais on", + "ai son", + "a ison", + "▁ar gue", + "▁arg ue", + "cir cle", + "circ le", + "▁t oler", + "▁to ler", + "}\" ,", + "} \",", + "usa l", + "u sal", + "▁al gebra", + "▁gather ed", + "▁Re member", + "▁Rem ember", + "_) ;", + "_ );", + "UT E", + "U TE", + "▁K it", + "▁Ki t", + "▁ Kit", + "S y", + "HE AD", + "▁re cipe", + "▁rec ipe", + "▁recip e", + "▁sc enario", + "▁scen ario", + "VA R", + "V AR", + "▁y ard", + "▁ya rd", + "▁ yard", + "▁st ad", + "▁sta d", + "▁ stad", + "* (", + "▁valid ate", + "▁ validate", + "DE X", + "D EX", + "▁commit tee", + "▁t emporary", + "▁tempor ary", + "▁consequ ences", + "▁consequence s", + "▁égal ement", + "кти в", + "к тив", + "▁dis pl", + "▁di spl", + "▁disp l", + "▁app s", + "▁ap ps", + "▁ apps", + "▁Te il", + "▁» .", + "▁ ».", + "▁adopt ed", + "ten sor", + "t ensor", + "▁fe min", + "▁fem in", + "te ch", + "t ech", + "▁R ot", + "▁Ro t", + "▁ Rot", + "▁kn ees", + "▁kne es", + "▁knee s", + "ph ys", + "phy s", + "ow ej", + "owe j", + "ан д", + "а нд", + "he ll", + "hel l", + "h ell", + "ograf ia", + "▁ex posed", + "▁exp osed", + "▁expos ed", + "▁expose d", + "kt op", + "k top", + "ob y", + "o by", + "lo wer", + "low er", + "l ower", + "▁Se nate", + "▁s word", + "▁sw ord", + "▁swo rd", + "Fl ow", + "F low", + "▁Un fortunately", + "▁box es", + "▁ boxes", + "▁cu ando", + "▁pi lot", + "▁Al bum", + "▁Alb um", + "B al", + "So rt", + "S ort", + "FI ELD", + "▁de sert", + "▁des ert", + "CO MM", + "COM M", + "ad ows", + "ado ws", + "adow s", + "▁l oyal", + "▁lo yal", + "▁as set", + "▁ass et", + "▁ asset", + "▁m ud", + "▁mu d", + "▁ secondary", + "▁c ul", + "▁cu l", + "▁ cul", + "▁stay ing", + "▁sta ying", + "▁data set", + "▁dat aset", + "▁ dataset", + "▁U SE", + "▁US E", + "▁ USE", + "▁l oves", + "▁lo ves", + "▁love s", + "▁lov es", + "▁vel ocity", + "▁veloc ity", + "á v", + "SO C", + "S OC", + "▁compet itive", + "is ka", + "isk a", + "i ska", + "▁kn ock", + "st airs", + "sta irs", + "az y", + "a zy", + "▁v end", + "▁ve nd", + "▁ven d", + "▁ arts", + "▁B ras", + "▁Br as", + "▁Bra s", + "ue la", + "uel a", + "u ela", + "tr im", + "tri m", + "t rim", + "▁d irty", + "▁dir ty", + "▁dirt y", + "▁ dirty", + "▁webs ites", + "▁website s", + "▁In dep", + "▁Ind ep", + "s r", + "▁t icket", + "▁tick et", + "at ile", + "ati le", + "a tile", + "▁implement ed", + "▁bo wl", + "▁bow l", + "DA TE", + "DAT E", + "D ATE", + "▁al ter", + "▁alt er", + "▁ alter", + "▁S pace", + "▁ Space", + "▁accomp an", + "or don", + "ord on", + "▁do ctors", + "▁doctor s", + "ist as", + "ista s", + "C ast", + "CT L", + "C TL", + "ur ers", + "ure rs", + "urer s", + "▁ingred ients", + "▁calcul ated", + "▁calculate d", + "▁calc ulated", + "▁le ather", + "▁s ensitive", + "▁sens itive", + "▁sus pic", + "▁susp ic", + "st an", + "sta n", + "s tan", + "▁an ni", + "▁ann i", + "▁ anni", + "aw ait", + "awa it", + "a wait", + "▁Fr anç", + "▁Fran ç", + "▁ab ort", + "▁ abort", + "▁Sp irit", + "▁W alter", + "▁Walt er", + "un kt", + "unk t", + "▁vert ical", + "▁ vertical", + "OR S", + "O RS", + "be st", + "bes t", + "b est", + "▁Cl ient", + "▁ Client", + "it ated", + "ita ted", + "itate d", + "itat ed", + "▁ Č", + "▁v ille", + "▁vi lle", + "▁vill e", + "▁vil le", + "▁ ville", + "▁di plom", + "or ne", + "orn e", + "▁b ars", + "▁bar s", + "▁ba rs", + "▁ bars", + "U ri", + "AP TER", + "pon s", + "po ns", + "p ons", + "ut z", + "u tz", + "Pro to", + "Pr oto", + "▁st ir", + "▁pr imer", + "▁prim er", + "▁pri mer", + "▁prime r", + "ig ible", + "igi ble", + "ex tra", + "ext ra", + "extr a", + "▁Bo oks", + "▁Book s", + "▁E t", + "▁W elt", + "▁We lt", + "▁Wel t", + "▁Ko rea", + "▁Kor ea", + "р ито", + "▁v ibr", + "▁vi br", + "S elf", + "line ar", + "lin ear", + "▁L ang", + "▁La ng", + "▁Lan g", + "▁ Lang", + "▁de eper", + "▁deep er", + "▁term in", + "▁ter min", + "▁ termin", + "en schaft", + "ens chaft", + "ensch aft", + "▁ро ці", + "am med", + "amm ed", + "vis ible", + "v isible", + "▁IO Exception", + "▁ IOException", + "us qu", + "▁S top", + "▁St op", + "▁Sto p", + "▁ Stop", + "IN VALID", + "INVAL ID", + "▁c ub", + "▁cu b", + "▁j ew", + "▁je w", + "з і", + "ch unk", + "apt ure", + "ash board", + "▁divid ed", + "▁divide d", + "▁extens ive", + "▁s uffer", + "▁suff er", + "▁he ading", + "▁head ing", + "▁ heading", + "cre ated", + "create d", + "creat ed", + "c reated", + "▁quiet ly", + "▁n y", + "▁ ny", + "\" +", + "ik an", + "ika n", + "i kan", + "z u", + "}+ \\", + "} +\\", + "Oper ator", + "▁Le mma", + "▁Lem ma", + "ac ji", + "Serv let", + "▁K evin", + "▁Ke vin", + "st age", + "sta ge", + "b n", + "text width", + "fa iled", + "fail ed", + "f ailed", + "▁Sta ff", + "▁e nem", + "un de", + "und e", + "u nde", + "Pack et", + "P acket", + "▁A ls", + "▁Al s", + "ka r", + "k ar", + "][ '", + "] ['", + "ke d", + "k ed", + "Per s", + "Pe rs", + "P ers", + ">: :", + "> ::", + "▁a rc", + "▁ar c", + "▁ arc", + "SP E", + "S PE", + "▁M i", + "▁De ath", + "b rowser", + "▁D ave", + "▁Dav e", + "▁Da ve", + "▁s ucc", + "▁su cc", + "▁suc c", + "t oggle", + "▁t ack", + "▁ta ck", + "Com ment", + "Comm ent", + "er on", + "ero n", + "e ron", + "▁aware ness", + "▁h ug", + "▁cont emporary", + "▁contempor ary", + "ul ating", + "ula ting", + "▁T itle", + "▁Tit le", + "▁Ti tle", + "▁ Title", + "▁TH IS", + "hav ior", + "ran k", + "r ank", + "▁do zen", + "▁che ese", + "co ln", + "col n", + "▁rad ius", + "▁radi us", + "▁ radius", + "▁dim ensions", + "▁dimension s", + "rodu ction", + "rod uction", + "▁ad ds", + "▁add s", + "▁D avis", + "▁Da vis", + "pk g", + "p kg", + "{ $", + "▁cas ino", + "▁P ierre", + "▁Pier re", + "▁Pi erre", + "▁object ive", + "tr ain", + "tra in", + "pay load", + "▁r ug", + "▁ru g", + "▁ rug", + "▁se vere", + "me an", + "▁t oss", + "▁to ss", + "▁embar rass", + "▁V ery", + "▁Ver y", + "▁Ve ry", + "▁ Very", + "▁Com put", + "▁Comp ut", + "▁ Comput", + "▁forgot ten", + "▁k ernel", + "▁ker nel", + "▁ kernel", + "▁car bon", + "▁carb on", + "f w", + "▁Emp ire", + "▁qu ote", + "▁quot e", + "▁ quote", + "et z", + "e tz", + "▁m ini", + "▁min i", + "▁mi ni", + "▁p ipe", + "▁pi pe", + "▁pip e", + "▁ pipe", + "▁n ous", + "▁no us", + "▁nou s", + "▁M ove", + "▁Mo ve", + "▁Mov e", + "▁ Move", + "▁nerv ous", + "* \r", + "▁B ush", + "▁Bus h", + "▁Bu sh", + "▁pe er", + "▁ peer", + "▁Wr it", + "▁ Writ", + "▁satisf ied", + "▁pull ing", + "▁pul ling", + "▁P ur", + "▁Pu r", + "▁F L", + "▁ FL", + "am az", + "ama z", + "a maz", + "▁ mile", + "▁N eed", + "▁Ne ed", + "▁ Need", + "▁sup plies", + "▁a ño", + "▁p ace", + "▁pa ce", + "▁pac e", + "▁ pace", + "▁Vict oria", + "▁ou ght", + "▁ ought", + "▁P layer", + "▁Pl ayer", + "▁Play er", + "▁ Player", + "agnost ic", + "▁v iv", + "▁vi v", + "▁ viv", + "▁Pat rick", + "▁Patri ck", + "▁ Š", + "▁St ory", + "▁Sto ry", + "ac a", + "a ca", + "▁mount ains", + "▁mountain s", + "CL ASS", + "▁fr agment", + "▁frag ment", + "▁ fragment", + "▁sett lement", + "▁Further more", + "▁dr ivers", + "▁dri vers", + "▁driv ers", + "▁drive rs", + "▁driver s", + "Row s", + "Ro ws", + "R ows", + "▁im pression", + "▁imp ression", + "▁impress ion", + "▁in fer", + "▁inf er", + "▁Ex pl", + "▁Exp l", + "ol ute", + "olut e", + "olu te", + "ov an", + "ova n", + "o van", + "ar ance", + "aran ce", + "CA P", + "C AP", + "▁en force", + "▁Bu rn", + "Res et", + "Re set", + "mo ther", + "mot her", + "m other", + "▁ Battle", + "pad ding", + "p adding", + "▁c ried", + "▁cr ied", + "▁cri ed", + "A K", + "un s", + "u ns", + "▁siè cle", + "▁Cont in", + "▁ Contin", + "ban k", + "b ank", + "ju nit", + "j unit", + "object s", + "Ro t", + "R ot", + "is sa", + "iss a", + "▁be gun", + "▁beg un", + "* -", + "▁vis iting", + "▁visit ing", + "▁target s", + "▁tar gets", + "▁L atin", + "▁E sc", + "▁Es c", + "* ;", + "ån g", + "å ng", + "▁( {", + "▁ ({", + "▁di agram", + "▁dia gram", + "Mod els", + "Model s", + "Mode ls", + "▁part nership", + "▁partners hip", + "▁fr ån", + "Po d", + "P od", + "CA LL", + "CAL L", + "C ALL", + "mod al", + "mo dal", + "si g", + "s ig", + "it el", + "ite l", + "▁convin ced", + "▁convince d", + "▁c ot", + "▁co t", + "▁re peat", + "▁repe at", + "▁ repeat", + "▁l ists", + "▁li sts", + "▁list s", + "▁ lists", + "so und", + "s ound", + "▁gr ace", + "▁gra ce", + "▁o raz", + "▁or az", + "Not ification", + "pr ite", + "prit e", + "p rite", + "▁arriv al", + "an cell", + "ance ll", + "anc ell", + "ancel l", + "hent ic", + "de code", + "dec ode", + "▁fant astic", + "pro gress", + "pro xy", + "pr oxy", + "z ő", + "ke l", + "k el", + "▁conven ient", + "aqu e", + "a que", + "ri et", + "rie t", + "r iet", + "▁Dig ital", + "io rs", + "ior s", + "i ors", + "▁Bud d", + "and ra", + "ad dy", + "add y", + "▁o vers", + "▁over s", + "▁ov ers", + "▁consum ers", + "▁consumer s", + "▁consume rs", + "p n", + "mo use", + "m ouse", + "d eg", + "pe rm", + "per m", + "p erm", + "it és", + "ité s", + "h east", + "ho ur", + "hou r", + "h our", + "PAR AM", + "con scious", + "▁atmos phere", + "▁g ig", + "▁gi g", + "▁con tre", + "▁cont re", + "▁contr e", + "▁Fr ont", + "▁Fro nt", + "▁ Front", + "▁Ha rt", + "▁n urs", + "▁nu rs", + "▁nur s", + "ur as", + "ura s", + "u ras", + "▁T ru", + "▁Tr u", + "▁s ud", + "▁su d", + "▁per forming", + "▁conf used", + "▁che cks", + "▁check s", + "am t", + "a mt", + "Ma ke", + "M ake", + "▁R O", + "▁ RO", + "▁d f", + "▁ df", + "iz ations", + "ization s", + "▁deg li", + "Render er", + "▁p tr", + "▁pt r", + "▁ ptr", + "▁die ser", + "▁dies er", + "▁diese r", + "sub mit", + "▁top ics", + "▁topic s", + "▁princip les", + "▁prin ciples", + "▁principle s", + "var s", + "va rs", + "v ars", + "so ck", + "soc k", + "s ock", + "▁ton gue", + "▁tong ue", + "▁percent age", + "▁d ol", + "▁do l", + "▁r ice", + "▁ri ce", + "▁ric e", + "▁ rice", + "í o", + "▁Easter n", + "▁E rn", + "▁Er n", + "▁U t", + "▁ Ut", + "▁c aut", + "▁ca ut", + "▁Cl oud", + "▁ Cloud", + "▁con version", + "▁conv ersion", + "▁convers ion", + "▁M E", + "▁ ME", + "▁sur ely", + "▁sure ly", + "▁g ard", + "▁gar d", + "▁ga rd", + "pu is", + "p uis", + "▁u rg", + "▁ur g", + "▁ urg", + "im i", + "i mi", + "▁abs ence", + "L anguage", + "▁HT TP", + "▁ HTTP", + "w t", + "▁trans lation", + "▁transl ation", + "▁ translation", + "▁K ind", + "▁Ki nd", + "▁Kin d", + "▁ Kind", + "Tw o", + "T wo", + "▁Re volution", + "In sert", + "Ins ert", + "Ev ery", + "E very", + "or ient", + "ori ent", + "orie nt", + "o rient", + "▁emot ions", + "▁emotion s", + "det ails", + "detail s", + "▁f lu", + "▁ flu", + "▁opera te", + "A g", + "un ning", + "unn ing", + "▁part ie", + "▁parti e", + "tr i", + "t ri", + "▁gold en", + "▁gol den", + "is ten", + "ist en", + "iste n", + "i sten", + "▁Car los", + "▁Carl os", + "▁Carlo s", + "Child ren", + "▁neigh b", + "▁C art", + "▁Car t", + "▁Ca rt", + "▁ Cart", + "Be gin", + "B egin", + "▁s cheduled", + "▁schedule d", + "▁schedul ed", + "' >", + "▁observ ations", + "▁observation s", + "ath ers", + "ather s", + "a thers", + "▁expect ations", + "▁expectation s", + "os o", + "o so", + "z h", + "mu table", + "mut able", + "▁wr ites", + "▁writ es", + "▁write s", + "▁p ushing", + "▁push ing", + "▁br east", + "▁bre ast", + "ap ing", + "api ng", + "a ping", + "▁Sim ple", + "▁ Simple", + "▁s ocket", + "▁soc ket", + "▁sock et", + "▁ socket", + "▁sl ave", + "▁sla ve", + "▁ slave", + "il ey", + "ile y", + "i ley", + "▁ass istant", + "▁t rim", + "▁tr im", + "▁tri m", + "▁ trim", + "▁land scape", + "▁landsc ape", + "qu ant", + "▁swe at", + "en gers", + "eng ers", + "enge rs", + "enger s", + "? _", + "é p", + "> .", + "▁c urious", + "▁cur ious", + "▁Com ponent", + "▁ Component", + "▁re placement", + "▁repl acement", + "▁replace ment", + "▁Tr ack", + "▁Tra ck", + "▁ Track", + "▁Re move", + "▁Rem ove", + "▁ Remove", + "▁S ize", + "▁Si ze", + "▁ Size", + "▁cal culate", + "▁calcul ate", + "▁calc ulate", + "▁s essions", + "▁session s", + "▁type d", + "▁typ ed", + "▁ty ped", + "▁sub mit", + "▁subm it", + "▁ submit", + "▁part ition", + "▁ partition", + "edi ng", + "e ding", + "-- ---", + "---- -", + "--- --", + "- ----", + "az ioni", + "azi oni", + "lie ß", + "on al", + "ona l", + "o nal", + "▁sh ru", + "▁shr u", + "▁RE G", + "▁ REG", + "▁F ac", + "▁Fa c", + "▁ Fac", + "config uration", + "▁A mong", + "__ );", + "__) ;", + "_ _);", + "▁ Server", + "▁L OG", + "▁LO G", + "▁ LOG", + "▁ca nd", + "'] );", + "']) ;", + "' ]);", + "go v", + "g ov", + "un defined", + "und efined", + "undef ined", + "as a", + "a sa", + "▁part icles", + "▁partic les", + "▁particle s", + "▁parti cles", + "` `", + "el and", + "ela nd", + "e land", + "fo ld", + "fol d", + "f old", + "og o", + "o go", + "▁appro aches", + "▁approach es", + "on da", + "ond a", + "ag r", + "a gr", + ", $", + "▁{ {", + "▁ {{", + "▁Mo dern", + "▁Mode rn", + "▁W inter", + "▁Win ter", + "av ailable", + "▁L ud", + "▁Lu d", + "▁c asa", + "▁cas a", + "▁ca sa", + "▁C ould", + "▁Co uld", + "▁Cou ld", + "▁ Could", + "▁fif teen", + "▁pot entially", + "▁potential ly", + "^ ^", + "▁se it", + "▁sei t", + "An imation", + "Anim ation", + "к ого", + "Z one", + "el if", + "eli f", + "e lif", + "▁acknow led", + "▁own ership", + "▁owner ship", + "▁owners hip", + "▁describe s", + "▁re verse", + "▁revers e", + "▁rever se", + "▁ reverse", + "▁opp osed", + "fl ex", + "f lex", + "kr e", + "k re", + "▁mer ge", + "▁ merge", + "▁cover ing", + "▁cov ering", + "▁hon estly", + "▁honest ly", + "▁M ess", + "▁Me ss", + "▁Mes s", + "▁r arely", + "▁rare ly", + "▁incred ible", + "▁victim s", + "w l", + "iz za", + "izz a", + "i zza", + "d n", + "on de", + "ond e", + "o nde", + "▁pr zy", + "▁prz y", + "▁ HTML", + "▁pay load", + "▁ payload", + "Bu s", + "B us", + "us b", + "u sb", + "F n", + "▁display ed", + "▁o cean", + "▁Av enue", + "ac ion", + "aci on", + "acio n", + "met ric", + "m etric", + "▁attract ive", + "▁attr active", + "▁f ö", + "▁ fö", + "C reat", + "ver ter", + "vert er", + "▁Al ice", + "▁Ali ce", + "▁f raction", + "▁fr action", + "▁fra ction", + "▁fract ion", + "▁behav iour", + "▁behavi our", + "▁re venue", + "▁rev enue", + "▁reven ue", + "▁t res", + "▁tr es", + "▁tre s", + "▁ tres", + "IL D", + "I LD", + "▁É t", + "▁s ync", + "▁sy nc", + "▁syn c", + "▁ sync", + "wi ch", + "ъ т", + "om o", + "o mo", + "▁I de", + "▁Id e", + "▁ga ined", + "▁moment um", + "▁K o", + "ie u", + "i eu", + "ie lt", + "iel t", + "i elt", + "▁bon us", + "▁te xture", + "▁text ure", + "▁ texture", + "Mod al", + "Mo dal", + "NE XT", + "N EXT", + "▁годи не", + "▁l anguages", + "v t", + "▁represent ing", + "▁Dre am", + "cur r", + "cu rr", + "qu al", + "q ual", + "▁j s", + "▁ js", + "bu rn", + "bur n", + "b urn", + "▁contribut ions", + "▁contribution s", + "▁r ic", + "▁ri c", + "▁ ric", + "}- \\", + "} -\\", + "={ {", + "= {{", + "ca rt", + "car t", + "c art", + "F B", + "ju d", + "j ud", + "es p", + "e sp", + "▁elect ron", + "▁electro n", + "▁e ll", + "▁el l", + "▁ ell", + "▁Run time", + "▁ Runtime", + "a chel", + "\\ _", + "we ek", + "pack et", + "p acket", + "▁Jahr hund", + "▁th reshold", + "▁ threshold", + "ba ge", + "bag e", + "b age", + "▁con cer", + "▁conc er", + "▁conce r", + "▁b one", + "▁bo ne", + "▁bon e", + "▁ bone", + "Cur sor", + "C ursor", + "▁aw arded", + "▁sum mary", + "▁summar y", + "▁ summary", + "ag gio", + "agg io", + "aggi o", + "▁st ell", + "▁ste ll", + "▁ stell", + "▁f lesh", + "▁fl esh", + "▁fle sh", + "P air", + "▁' .", + "▁ '.", + "as er", + "ase r", + "a ser", + "▁qu art", + "▁q uart", + "▁quar t", + "ry ption", + "rypt ion", + "All oc", + "Al loc", + "ft en", + "fte n", + "f ten", + "Oper and", + "▁ind icated", + "▁indic ated", + "▁indicate d", + "($ _", + "( $_", + "get String", + "▁list ener", + "▁listen er", + "▁ listener", + "sp ir", + "spi r", + ") _", + "ve ns", + "ven s", + "v ens", + "▁food s", + "▁foo ds", + "an za", + "anz a", + "te il", + "DE SC", + "▁n otion", + "▁not ion", + "▁em ployment", + "▁employ ment", + "▁s wing", + "▁sw ing", + "▁ swing", + "nb sp", + "▁p ounds", + "▁pound s", + "to ols", + "tool s", + "too ls", + "t ools", + "▁T ax", + "▁Ta x", + "▁ Tax", + "ap ol", + "a pol", + "▁f ost", + "▁fo st", + "▁fos t", + "com pat", + "comp at", + "▁rapid ly", + "▁W is", + "▁Wi s", + "Event Listener", + "▁prem ière", + "▁premi ère", + "us o", + "u so", + "ext end", + "▁M ERCHANTABILITY", + "UT F", + "U TF", + "▁exper iments", + "▁experi ments", + "▁experiment s", + "sin gle", + "sing le", + "s ingle", + "z k", + "▁n aj", + "▁na j", + "}} }", + "} }}", + "Li n", + "L in", + "▁inter act", + "▁inte ract", + "▁c ms", + "▁cm s", + "▁Ro ger", + "▁Rog er", + "> '", + "com mit", + "comm it", + "▁out come", + "▁h its", + "▁hit s", + "▁hi ts", + "▁s park", + "▁sp ark", + "con sole", + "cons ole", + "▁ver w", + "▁ve rw", + "agnost ics", + "agnostic s", + "▁s oci", + "▁so ci", + "▁soc i", + "▁d ining", + "▁di ning", + "▁din ing", + "▁t ech", + "▁te ch", + "▁ tech", + "š t", + "fo lio", + "fol io", + "ult ane", + "ultan e", + "Jo in", + "J oin", + "▁pos it", + "Pub lic", + "P ublic", + "AspNet Core", + "▁S hop", + "▁Sh op", + "▁ Shop", + "▁co inc", + "▁coin c", + "▁re ferences", + "▁refer ences", + "▁reference s", + "ab out", + "name space", + "names pace", + "D L", + "▁I R", + "▁ IR", + "▁c ada", + "▁ca da", + "▁cad a", + "▁Jord an", + "▁g ep", + "▁ge p", + "▁b ron", + "▁br on", + "▁bro n", + "andid ate", + "EX PECT", + "EXP ECT", + "am o", + "a mo", + "▁De utsch", + "au c", + "a uc", + "▁ра йо", + "▁рай о", + "▁surround ed", + "▁n ome", + "▁no me", + "▁nom e", + "▁under lying", + "R IGHT", + "CO UNT", + "Ty p", + "T yp", + "um ph", + "ump h", + "fo ur", + "f our", + "Control s", + "▁c p", + "▁ cp", + "co st", + "cos t", + "c ost", + "▁mechan ism", + "en ess", + "ene ss", + "enes s", + "e ness", + "é qu", + "▁acquire d", + "▁f alls", + "▁fall s", + "▁fal ls", + "▁ falls", + "▁L E", + "▁ LE", + "for Each", + "▁ver tex", + "▁vert ex", + "▁ vertex", + "▁I F", + "▁ IF", + "cur s", + "cu rs", + "c urs", + "' =>", + "▁S A", + "▁ SA", + "ri ers", + "rie rs", + "rier s", + "r iers", + "▁u w", + "▁ uw", + "▁m arks", + "▁mark s", + "▁mar ks", + "▁ marks", + "▁en erg", + "▁ener g", + "ho f", + "h of", + "ylv ania", + "▁Al len", + "▁All en", + "um py", + "ump y", + "о го", + "vo ice", + "v oice", + "▁en gage", + "▁eng age", + "▁m ant", + "▁man t", + "▁ma nt", + "or se", + "ors e", + "== =", + "= ==", + "▁impro vement", + "▁improve ment", + "Op t", + "O pt", + "it ched", + "itch ed", + "soc ket", + "sock et", + "s ocket", + "▁c ycl", + "▁cy cl", + "▁ cycl", + "▁S M", + "▁ SM", + "▁S ex", + "▁Se x", + "▁neut ral", + "▁neutr al", + "▁J ess", + "▁Je ss", + "▁Jes s", + "▁d ip", + "▁di p", + "▁b orrow", + "▁bor row", + "▁av ant", + "▁t a", + "▁ ta", + "An im", + "A nim", + "▁Ga ll", + "rg b", + "r gb", + "▁gu ilty", + "▁guilt y", + "▁g y", + "▁ gy", + "Init ial", + "▁acc omp", + "▁ac comp", + "▁accom p", + "▁breath ing", + "▁breat hing", + "ber ry", + "b erry", + "GR O", + "G RO", + "rou pe", + "roup e", + "ulp t", + "t b", + "▁ ä", + "P i", + "arg v", + "▁M ust", + "▁Mus t", + "▁Mu st", + "▁ Must", + ": '", + "sv g", + "ou p", + "o up", + "▁prec isely", + "▁precise ly", + "▁T a", + "re na", + "ren a", + "r ena", + "▁f older", + "▁fol der", + "▁fold er", + "▁ folder", + "▁ Channel", + "▁re vol", + "▁rev ol", + "M iss", + "red dit", + "▁dis crim", + "▁disc rim", + "▁a ve", + "▁av e", + "▁ ave", + "pl eted", + "ple ted", + "plete d", + "plet ed", + "p leted", + "▁g ently", + "▁gent ly", + "FF FF", + "ro py", + "rop y", + "r opy", + "▁dia l", + "Not Found", + "▁\" [", + "Hom e", + "H ome", + "on te", + "ont e", + "o nte", + "▁re lie", + "▁rel ie", + "▁reli e", + "▁Con text", + "▁Cont ext", + "▁ Context", + "▁st ats", + "▁stat s", + "▁sta ts", + "▁ stats", + "▁E nergy", + "oun ced", + "ounce d", + "▁gr ave", + "▁grav e", + "▁gra ve", + "▁re cip", + "▁rec ip", + "bl og", + "blo g", + "b log", + "▁na am", + "▁w o", + "▁ wo", + "▁direct ions", + "▁dire ctions", + "▁direction s", + "▁Lin coln", + "un ci", + "unc i", + "ne q", + "n eq", + "Tag s", + "T ags", + "▁t um", + "▁tu m", + "▁s aving", + "▁sa ving", + "▁sav ing", + "ail le", + "ai lle", + "a ille", + "item ize", + "▁F amil", + "▁Fa mil", + "ms m", + "m sm", + "ne ws", + "new s", + "FF ER", + "F FER", + "▁D ead", + "▁De ad", + "▁ Dead", + "▁terr itory", + "▁territor y", + "▁territo ry", + "▁Ka t", + "o cker", + "in teger", + "inte ger", + "▁s ne", + "▁sn e", + "▁f ails", + "▁fa ils", + "▁fail s", + "▁franç ais", + "▁int roduction", + "▁introdu ction", + "▁G rant", + "▁Gr ant", + "▁Gran t", + "▁Gra nt", + "ycl e", + "yc le", + "y cle", + "'] .", + "' ].", + "▁v ier", + "▁vi er", + "▁vie r", + "▁ vier", + "nat ive", + "n ative", + "▁K le", + "▁Kl e", + "quot e", + "User s", + "Us ers", + "Use rs", + "▁ad vis", + "▁adv is", + "▁g ym", + "▁gy m", + "▁prote in", + "ا ل", + "▁M ai", + "▁Ma i", + "▁prov iders", + "▁provide rs", + "▁provider s", + "▁so il", + "gu i", + "g ui", + "▁N ation", + "▁Nat ion", + "re ation", + "reat ion", + "▁T ab", + "▁Ta b", + "▁ Tab", + "en sis", + "ens is", + "in as", + "ina s", + "i nas", + "▁dis patch", + "▁disp atch", + "▁ dispatch", + "un ion", + "uni on", + "▁b ere", + "▁be re", + "▁ber e", + "▁ bere", + "▁P ow", + "▁Po w", + "▁H ig", + "▁Hi g", + "▁stud ying", + "▁study ing", + "RE F", + "R EF", + "SS L", + "S SL", + "▁f right", + "▁fr ight", + "▁S ORT", + "▁SO RT", + "▁com pr", + "▁comp r", + "▁Mad rid", + "row ned", + "rown ed", + "r owned", + "op es", + "ope s", + "o pes", + "pd ev", + "p dev", + "▁w ash", + "▁was h", + "▁wa sh", + "▁' ../../", + "▁'../ ../", + "}} _", + "} }_", + "▁acc um", + "rol ling", + "roll ing", + "▁N C", + "▁ NC", + "▁f iction", + "▁fi ction", + "▁fict ion", + "ip t", + "i pt", + "conne cted", + "connect ed", + "lim its", + "limit s", + "▁l ap", + "▁la p", + "▁ lap", + "▁where as", + "pro m", + "pr om", + "p rom", + "▁appoint ment", + "Pro gram", + "Pr ogram", + "na h", + "n ah", + "Valid ation", + "ic ons", + "ico ns", + "icon s", + "i cons", + "äl l", + "ä ll", + "▁rad ical", + "▁radi cal", + "▁ex clusive", + "▁excl usive", + "▁exclus ive", + "em ony", + "emon y", + "▁challeng ing", + "▁m s", + "▁ ms", + "▁P rivate", + "▁Priv ate", + "▁ Private", + "▁v ida", + "▁vi da", + "▁vid a", + "▁cam pus", + "form s", + "for ms", + "pl aat", + "bs t", + "b st", + "AT ED", + "ATE D", + "▁Ab stract", + "▁Abs tract", + "▁ Abstract", + "▁int ense", + "▁intens e", + "ó g", + "▁s ă", + "▁lan ding", + "! =", + "▁scen es", + "▁Cha p", + "▁sp oken", + "▁spoke n", + "▁spo ken", + "cre d", + "cr ed", + "c red", + "▁p ride", + "▁pr ide", + "▁pri de", + "qu et", + "que t", + "▁m eter", + "▁me ter", + "▁met er", + "▁de utsch", + "uu m", + "u um", + "▁b less", + "▁bl ess", + "▁ble ss", + "▁H ann", + "▁Ha nn", + "▁Han n", + "▁input s", + "▁ inputs", + "▁R ow", + "▁Ro w", + "▁ Row", + "▁with draw", + "P al", + "ac les", + "acle s", + "acl es", + "a cles", + "as sets", + "ass ets", + "asse ts", + "asset s", + "▁v l", + "▁ vl", + "▁G ot", + "▁Go t", + "win d", + "wi nd", + "w ind", + "▁ch ocolate", + "▁h ö", + "▁ hö", + "▁al arm", + "FT WARE", + "▁J ay", + "▁Ja y", + "▁s ake", + "▁sa ke", + "▁reg istration", + "▁registr ation", + "vi d", + "v id", + "▁user name", + "▁ username", + "▁h ack", + "▁ha ck", + "index Of", + "c x", + "▁fest ival", + "case s", + "ca ses", + "cas es", + "c ases", + "CT RL", + "]; \r", + "] ;\r", + "▁Au d", + "▁ Aud", + "▁prim era", + "▁prime ra", + "▁primer a", + "ва т", + "в ат", + "▁brill iant", + "▁difficult y", + "it als", + "ital s", + "ita ls", + "▁sc ores", + "▁score s", + "▁pol ít", + "data base", + "dat abase", + "a ska", + "▁## ####", + "▁### ###", + "▁#### ##", + "▁##### #", + "▁a cid", + "▁ac id", + "at on", + "ato n", + "a ton", + "at omic", + "ato mic", + "atom ic", + "fr eq", + "fre q", + "f req", + "▁WARRAN TY", + "▁report ing", + "▁n ights", + "▁night s", + ")} {", + ") }{", + "xi c", + "x ic", + "▁s po", + "▁sp o", + "line d", + "li ned", + "lin ed", + "l ined", + "er ee", + "ere e", + "e ree", + "mer s", + "me rs", + "m ers", + "▁s erves", + "en so", + "ens o", + "▁env iron", + "▁ environ", + "Li ke", + "L ike", + "an che", + "anc he", + "anch e", + "▁cr ash", + "▁K ap", + "▁Ka p", + "no indent", + "Con n", + "Co nn", + "▁in frastructure", + "IM E", + "I ME", + "▁R oom", + "▁Ro om", + "▁ Room", + "ne ed", + "n eed", + "o rer", + "▁D est", + "▁De st", + "▁Des t", + "▁ Dest", + "ather ine", + "▁g auge", + "▁gau ge", + "▁ga uge", + "▁j et", + "▁je t", + "▁ jet", + "b ably", + "▁comm only", + "ia h", + "i ah", + "n l", + "et en", + "ete n", + "e ten", + "_ )", + "ia c", + "i ac", + "am os", + "amo s", + "a mos", + "ne ment", + "nem ent", + "n ement", + "ko n", + "k on", + "Inter val", + "▁cab in", + "▁ca bin", + "▁ eg", + "▁sh ots", + "▁shot s", + "▁ shots", + "▁A rea", + "▁Ar ea", + "▁Are a", + "▁ Area", + "sm ith", + "param eter", + "' }", + "▁h em", + "▁he m", + "▁ hem", + "▁s inging", + "▁sin ging", + "▁access ible", + "▁P rin", + "▁Pr in", + "▁Pri n", + "opt ional", + "option al", + "ancia l", + "sh ips", + "ship s", + "▁can vas", + "▁ canvas", + "▁address es", + "▁x ml", + "▁ xml", + "▁' \"", + "▁ '\"", + "▁k ar", + "▁ka r", + "▁ kar", + "ö ff", + "▁a ges", + "▁ag es", + "▁age s", + "▁ ages", + "zi ng", + "zin g", + "z ing", + "▁ö ver", + "▁C lean", + "▁Cle an", + "▁ Clean", + "he alth", + "Al i", + "A li", + "▁t s", + "▁ ts", + "at ern", + "ate rn", + "ater n", + "a tern", + "▁cho osing", + "▁bur ned", + "▁burn ed", + "br id", + "b rid", + "ro oms", + "room s", + "öt t", + "ö tt", + "K ERN", + "▁d ish", + "▁dis h", + "▁di sh", + "S a", + "De tail", + "Det ail", + "▁Hi nd", + "▁D ans", + "▁Dan s", + "▁Da ns", + "i ę", + "▁J ahren", + "▁Jah ren", + "▁Jahr en", + "▁Jahre n", + "▁Ja hren", + "ext ension", + "al las", + "all as", + "alla s", + "▁B illy", + "▁Bill y", + "▁Bil ly", + "us ammen", + "it ud", + "itu d", + "ge on", + "geo n", + "Te mp", + "T emp", + "Le g", + "L eg", + "itt el", + "itte l", + "add le", + "▁mus cle", + "▁sc ared", + "▁scar ed", + "ss on", + "s son", + "▁de note", + "▁den ote", + "ie urs", + "ieu rs", + "ieur s", + "i eurs", + "▁o range", + "▁or ange", + "▁h ub", + "▁ hub", + "▁ reb", + "ed i", + "e di", + "▁vo ices", + "▁voice s", + "F older", + "▁s uspend", + "▁sus pend", + "▁susp end", + "▁ suspend", + "▁sc rap", + "▁scr ap", + "▁a ggreg", + "▁ag greg", + "▁Gu ide", + "trans action", + "▁r iding", + "▁ri ding", + "▁rid ing", + "▁v á", + "▁ vá", + "▁b reed", + "▁br eed", + "▁bre ed", + "▁bree d", + "▁con cert", + "▁conce rt", + "▁concer t", + "appro x", + "▁ch ances", + "▁chance s", + "To k", + "T ok", + "E q", + "par ts", + "part s", + "p arts", + "▁sch olar", + "▁schol ar", + "of fs", + "off s", + "fl ush", + "flu sh", + "! ”", + "▁lo gin", + "▁log in", + "▁ login", + "▁so ort", + "▁M and", + "▁Man d", + "▁Ma nd", + "▁function al", + "▁B ou", + "▁Bo u", + "my s", + "m ys", + "▁extra ord", + "▁Build ing", + "ik t", + "i kt", + "B ad", + "ia mi", + "iam i", + "i ami", + "Dr iver", + "D river", + "êt e", + "ê te", + "▁k v", + "▁ kv", + "▁t imer", + "▁time r", + "▁tim er", + "▁ti mer", + "▁ timer", + "ition ally", + "itional ly", + "▁ath let", + "▁\" );", + "▁\") ;", + "▁ \");", + "w y", + "CF G", + "▁he aven", + "▁heav en", + "▁exper imental", + "▁experiment al", + "▁b ounds", + "▁bound s", + "▁ bounds", + "IC K", + "I CK", + "▁ex cit", + "▁exc it", + "▁qu it", + "▁qui t", + "▁q uit", + "▁univers al", + "▁S P", + "▁ SP", + "▁st ub", + "▁ stub", + "▁k le", + "▁kl e", + "▁ kle", + "▁B art", + "▁Bar t", + "▁Ba rt", + "▁\" @", + "pe l", + "p el", + "▁( !(", + "▁(! (", + "▁se lector", + "▁select or", + "▁sel ector", + "▁sele ctor", + "▁ selector", + "E B", + "▁c oc", + "▁co c", + "et ed", + "ete d", + "e ted", + "ют ь", + "ю ть", + "▁poss ess", + "▁R ick", + "▁Ric k", + "▁unus ual", + "ter min", + "term in", + "▁b ags", + "▁bag s", + "▁ba gs", + "▁lo ading", + "▁load ing", + "▁ loading", + "▁t f", + "▁ tf", + "▁) \r", + "▁ )\r", + "pro vider", + "prov ider", + "plet ion", + "▁c ursor", + "▁cur sor", + "▁ cursor", + "▁pa used", + "▁paus ed", + "▁pause d", + "▁coun sel", + "] <", + "zec h", + "▁t ie", + "▁ti e", + "▁M oon", + "▁Mo on", + "▁ armed", + "▁ob serve", + "▁observ e", + "▁obs erve", + "▁per met", + "▁perm et", + "▁J ob", + "▁Jo b", + "▁ Job", + "fö r", + "f ör", + "arg ument", + "▁egg s", + "▁eg gs", + "ás t", + "á st", + "▁incred ibly", + "wer ken", + "werk en", + "iz ard", + "izar d", + "iza rd", + "▁p ainted", + "▁pa inted", + "▁vi olent", + "▁viol ent", + "Es t", + "E st", + "ier ra", + "i erra", + "re ader", + "read er", + "rea der", + "we ise", + "wei se", + "▁J osh", + "▁Jo sh", + "▁Jos h", + "▁H im", + "▁Hi m", + "as hes", + "ash es", + "or igin", + "orig in", + "ori gin", + "▁sp ir", + "▁ spir", + "▁T ree", + "▁Tr ee", + "▁Tre e", + "▁ Tree", + "▁n iet", + "▁nie t", + "▁ni et", + "WI N", + "W IN", + "mar gin", + "m argin", + "▁inv olves", + "▁invol ves", + "▁involve s", + "▁organ is", + "▁N acional", + "bar a", + "ba ra", + "b ara", + "▁de puis", + "▁dep uis", + "pi o", + "p io", + "fe atures", + "feature s", + "feat ures", + "st ru", + "str u", + "▁restaur ants", + "▁restaurant s", + "Mil l", + "M ill", + ")) \r", + ") )\r", + "rem ote", + "▁Th ird", + "▁al gun", + "▁alg un", + "] $", + "▁em ployed", + "po t", + "p ot", + "▁Un ityEngine", + "▁ UnityEngine", + "▁integr ation", + "▁risk s", + "▁ris ks", + "▁st ro", + "▁str o", + "▁ag osto", + "▁ago sto", + "incl uding", + "▁M ind", + "▁Min d", + "▁Mi nd", + "▁st roke", + "▁str oke", + "▁stro ke", + "▁ stroke", + "▁de als", + "▁deal s", + "aj ax", + "aja x", + "a jax", + "▁\\ |", + "▁ \\|", + "ta r", + "t ar", + "▁s ab", + "▁sa b", + "pu r", + "p ur", + "▁sc rew", + "▁scr ew", + "▁in ev", + "▁\\ ;", + "▁Don ald", + "▁ Donald", + "ö d", + "cc a", + "c ca", + "es is", + "esi s", + "e sis", + "▁separ ated", + "▁separate d", + "DB G", + "D BG", + "ag ent", + "age nt", + "agen t", + "a gent", + "▁p acked", + "▁pack ed", + "▁pac ked", + "▁ packed", + "н ня", + "in tern", + "int ern", + "inter n", + "inte rn", + "▁M onte", + "▁Mon te", + "▁Mont e", + "▁Mo nte", + "▁provinc e", + "▁exp anded", + "▁appro ached", + "▁approach ed", + "CL K", + "▁o re", + "▁or e", + "▁ ore", + "B atch", + "▁impress ive", + "R M", + "▁L ocation", + "▁Loc ation", + "▁ Location", + "▁sh ame", + "▁sha me", + "wrap per", + "w rapper", + "un wrap", + "pe er", + "Bit s", + "Bi ts", + "B its", + "▁S N", + "▁ SN", + "sc ar", + "s car", + "Com e", + "Co me", + "C ome", + "▁shout ed", + "ma king", + "m aking", + "▁M aur", + "▁Ma ur", + "▁Mau r", + "▁w is", + "LE TE", + "LET E", + "▁f s", + "▁ fs", + "▁d z", + "▁ dz", + "un que", + "ue go", + "u ego", + "R andom", + "H tml", + "ze m", + "z em", + "▁Gol den", + "▁T ar", + "▁Ta r", + "▁H erm", + "▁He rm", + "▁Her m", + "▁str etch", + "▁stret ch", + "W I", + "▁disappe ared", + "▁disappear ed", + "▁cr usher", + "▁crush er", + "▁K an", + "▁Ka n", + "Ma g", + "M ag", + "ø r", + "▁Cam bridge", + "▁do po", + "▁dop o", + "at ura", + "atur a", + "atu ra", + "he art", + "▁Sp iel", + "/* *\r", + "/** \r", + "Dir ection", + "Direct ion", + "Di rection", + "D irection", + "at ting", + "att ing", + "atti ng", + "wi g", + "w ig", + "▁c odes", + "▁co des", + "▁code s", + "▁cod es", + "▁ codes", + "▁pow der", + "al ert", + "ale rt", + "aler t", + "sem bl", + "semb l", + "▁y e", + "▁ ye", + "St ar", + "S tar", + "▁ro ots", + "▁root s", + "▁H oll", + "▁Hol l", + "▁Ho ll", + "Re le", + "Rel e", + "R ele", + "▁const itu", + "n c", + "“ .", + "re ference", + "refer ence", + "if icial", + "ific ial", + "ifi cial", + "clos ure", + "▁fig ured", + "▁figure d", + "▁assum ption", + "getElement ById", + "▁A G", + "▁ AG", + "os es", + "ose s", + "o ses", + "▁_ \"", + "ep per", + "ob re", + "o bre", + "en umerate", + "▁less ons", + "▁lesson s", + "▁qual ified", + "Per son", + "Pers on", + "P erson", + "an se", + "ans e", + "▁M ort", + "▁Mor t", + "▁Mo rt", + "s ylvania", + "▁c ré", + "▁cr é", + "Bind ing", + "Bin ding", + "B inding", + "і с", + "▁V ari", + "▁Var i", + "▁Va ri", + "▁ Vari", + "▁re minded", + "▁remind ed", + "▁members hip", + "▁member ship", + "ip er", + "ipe r", + "i per", + "zt e", + "z te", + "▁c ref", + "▁cre f", + "▁cr ef", + "▁ cref", + "▁P A", + "▁ PA", + "plaat st", + "▁Env ironment", + "▁ Environment", + "▁ph rase", + "▁phr ase", + "▁ phrase", + "riv ial", + "▁p se", + "▁ps e", + "▁ pse", + "▁tour nament", + ")} ,", + ") },", + "▁Sou nd", + "▁ Sound", + "▁V el", + "▁Ve l", + "▁ Vel", + "▁B erg", + "▁Be rg", + "▁Ber g", + "el son", + "els on", + "▁else where", + "qu ality", + "qual ity", + "▁F lo", + "▁Fl o", + "ib il", + "i bil", + "UA L", + "U AL", + "▁Pl atz", + "▁d elta", + "▁del ta", + "▁ delta", + "▁B uy", + "▁Bu y", + "ri ère", + "r ière", + "▁fl our", + "▁flo ur", + "▁laugh ing", + "▁laug hing", + "▁Look ing", + "▁Lo oking", + "Ag ent", + "A gent", + "▁w x", + "▁ wx", + "▁Wa les", + "C tx", + "▁c ake", + "▁ca ke", + "▁c rate", + "▁cr ate", + "▁ crate", + "an ga", + "ang a", + "Z ero", + "▁amount s", + "Tr a", + "T ra", + "om etric", + "omet ric", + "o metric", + "▁con straints", + "▁constr aints", + "▁constraint s", + "▁templ e", + "▁temp le", + "▁install ation", + "st roke", + "str oke", + "▁N eder", + "▁Ne der", + "▁Ned er", + "ț i", + "▁I bid", + "▁o bs", + "▁ob s", + "▁ obs", + "ent ries", + "entr ies", + "▁j usqu", + "OR M", + "O RM", + "ik es", + "ike s", + "i kes", + "na k", + "n ak", + "▁m odes", + "▁mod es", + "▁mo des", + "▁mode s", + "▁Hit ler", + "▁b elt", + "▁be lt", + "▁bel t", + "▁point ing", + "▁B an", + "▁Ba n", + "ign ore", + "▁per su", + "▁pers u", + "▁Bes ides", + "yn om", + "y nom", + "▁leg is", + "▁C PU", + "▁CP U", + "▁ CPU", + "an ded", + "and ed", + "ande d", + "ui s", + "u is", + "bs ite", + "b site", + "▁Eu ro", + "▁ut ter", + "▁ utter", + "e clipse", + "▁ir re", + "▁irr e", + "▁D ocument", + "▁Doc ument", + "▁ Document", + "▁famil ie", + "ver ify", + "▁J ason", + "▁Ja son", + "▁O rt", + "▁Or t", + "▁ci udad", + "▁techn ologies", + "ni ca", + "nic a", + "n ica", + "can cel", + "c ancel", + "V irtual", + "▁ev ident", + "am an", + "ama n", + "a man", + "at oes", + "ato es", + "▁ste ady", + "▁stead y", + "▁month ly", + "▁SO FTWARE", + "Di e", + "D ie", + "▁app lying", + "▁apply ing", + "▁appl ying", + "Di g", + "D ig", + "vi er", + "v ier", + "▁W H", + "▁ WH", + "▁min ds", + "▁mind s", + "▁k am", + "▁ka m", + "▁expert ise", + "▁not ification", + "▁ notification", + "▁del iber", + "▁H E", + "▁ HE", + "ou tes", + "out es", + "oute s", + "o utes", + "spec ial", + "spe cial", + "▁p resentation", + "▁present ation", + "mi r", + "▁r ust", + "▁ru st", + "▁rus t", + "▁ rust", + "▁n ations", + "▁nat ions", + "▁nation s", + "▁G ets", + "▁Ge ts", + "▁Get s", + "▁respon ses", + "▁response s", + "▁respons es", + "ar ded", + "ard ed", + "arde d", + "im mer", + "imm er", + "▁reve al", + "▁M eg", + "▁Me g", + "▁tod os", + "▁todo s", + "▁a de", + "▁ad e", + "▁ ade", + "ateg ories", + "ategor ies", + "▁pay ments", + "▁payment s", + "ô t", + "En umer", + "Enum er", + "E numer", + "▁platform s", + "▁plat forms", + "▁life time", + "▁lif etime", + "Com plete", + "Comp lete", + "Qu est", + "Que st", + "Q uest", + "en ders", + "end ers", + "ender s", + "ende rs", + "▁c um", + "▁cu m", + "pl er", + "ple r", + "p ler", + "▁app l", + "▁ap pl", + "äh rend", + "ähr end", + "en ez", + "ene z", + "e nez", + "yn chron", + "▁argue d", + "▁K ath", + "▁Kat h", + "▁Ka th", + "▁s ynchron", + "▁syn chron", + "▁B uilder", + "▁Build er", + "▁ Builder", + "B order", + "Pl an", + "P lan", + "ri eb", + "rie b", + "r ieb", + "n m", + "FOR MAT", + "FORM AT", + "us k", + "u sk", + "▁j umped", + "▁jump ed", + "ch arg", + "char g", + "cha rg", + "▁cont ribute", + "▁contribut e", + "Me sh", + "M esh", + "Un ivers", + "▁p olar", + "▁pol ar", + "▁po lar", + "▁tr ois", + "▁tro is", + "ic io", + "ici o", + "i cio", + "Group s", + "G roups", + "▁( %", + "▁ (%", + "Lo op", + "L oop", + "▁g az", + "▁ga z", + "db g", + "d bg", + "LA Y", + "L AY", + "Jo hn", + "J ohn", + "bl ocks", + "block s", + "blo cks", + "▁l ung", + "▁lu ng", + "▁lun g", + "▁ lung", + "▁k ön", + "▁kö n", + "th rough", + "lish er", + "l isher", + "▁inv olving", + "▁De ep", + "▁ Deep", + "▁s ull", + "▁su ll", + "▁sul l", + "Ex port", + "Exp ort", + "▁K ate", + "▁Kat e", + "▁Ka te", + "per iod", + "ch arge", + "char ge", + "charg e", + "G T", + "\"> \r", + "\" >\r", + "▁Ot t", + "▁inter actions", + "▁interaction s", + "▁interact ions", + "TR ACE", + "TRA CE", + "▁d ifer", + "▁di fer", + "▁dif er", + "▁lib eral", + "▁liber al", + "▁p article", + "▁part icle", + "▁partic le", + "▁parti cle", + "▁sur ve", + "▁surv e", + "al ous", + "alo us", + "re ason", + "rea son", + "▁de pression", + "▁dep ression", + "▁depress ion", + "▁f lower", + "▁fl ower", + "▁flo wer", + "▁flow er", + "▁wa ar", + "▁h ade", + "▁had e", + "▁ha de", + "par ty", + "part y", + "▁appro val", + "gener ate", + "▁Ba rn", + "▁ma rg", + "▁m onde", + "▁mon de", + "▁mo nde", + "▁mond e", + "▁o ok", + "▁ ook", + "▁Clar k", + "▁the oret", + "vious ly", + "vi ously", + "v iously", + "▁R ud", + "▁Ru d", + "st mt", + "in ction", + "inct ion", + "▁t un", + "▁tu n", + "▁rot ation", + "▁ rotation", + "pp en", + "ppe n", + "p pen", + "sen sor", + "s ensor", + "▁K ol", + "▁Ko l", + "id elines", + "ide lines", + "idel ines", + "▁ є", + "▁comp osed", + "▁v irus", + "▁vi rus", + "▁vir us", + "' $", + "S N", + "▁V on", + "▁Vo n", + "mon t", + "mo nt", + "m ont", + "la r", + "l ar", + "▁opin ions", + "▁opinion s", + "uct ion", + "u ction", + "ru pal", + "rup al", + "under line", + "▁hor ror", + "Mus t", + "Mu st", + "M ust", + "ot to", + "ott o", + "o tto", + "Sh ould", + "▁stat ist", + "▁g em", + "▁ge m", + "▁ gem", + "▁se cre", + "▁sec re", + "▁st rip", + "▁str ip", + "▁stri p", + "▁ strip", + "▁d irt", + "▁di rt", + "▁dir t", + "ama zon", + "amaz on", + "▁R ound", + "▁Ro und", + "▁Rou nd", + "▁ Round", + "▁dis covery", + "▁disc overy", + "▁discover y", + "▁disco very", + "▁G O", + "▁ GO", + "▁substant ial", + "ib t", + "i bt", + "▁dem ands", + "▁demand s", + "▁every day", + "▁b esch", + "▁be sch", + "▁bes ch", + "▁Br idge", + "▁ HD", + "▁D ol", + "▁Do l", + "▁t rès", + "▁tr ès", + "an ni", + "ann i", + "ro it", + "() );\r", + "()); \r", + "()) ;\r", + "( ));\r", + "fa r", + "f ar", + "tim estamp", + "▁bul k", + "Bl ack", + "▁g an", + "▁ga n", + "▁ gan", + "set ting", + "ret val", + "nu ng", + "n ung", + "▁talk s", + "▁tal ks", + "▁scient ists", + "▁scientist s", + "▁v ig", + "▁vi g", + "▁quant ity", + "▁G ard", + "▁Gar d", + "▁Ga rd", + "▁mov ements", + "▁move ments", + "▁movement s", + "äh r", + "ä hr", + "ling s", + "lin gs", + "l ings", + "te am", + "ri to", + "rit o", + "r ito", + "▁as sembly", + "▁ assembly", + "i lst", + "▁happ iness", + "▁le af", + "▁ leaf", + "▁ass essment", + "▁assess ment", + "Co ord", + "ir s", + "i rs", + "sa m", + "s am", + "▁att orney", + "▁g eme", + "▁ge me", + "▁gem e", + "▁ geme", + "ID E", + "I DE", + "▁V ere", + "▁Ver e", + "▁Ve re", + "▁Anth ony", + "am iento", + "ami ento", + "▁cir cul", + "▁circ ul", + "▁Fr ances", + "▁Franc es", + "▁France s", + "▁Fran ces", + "▁p ent", + "▁pe nt", + "▁pen t", + "▁ pent", + "▁m ate", + "▁mat e", + "▁ma te", + "▁ mate", + "▁Trans port", + "▁ Transport", + "ow o", + "o wo", + "is tes", + "ist es", + "iste s", + "TR AN", + "TRA N", + "T RAN", + "IM PORT", + "IMP ORT", + "▁B reak", + "▁Bre ak", + "▁ Break", + "▁invest ors", + "TH OD", + "▁pan ic", + "▁pa nic", + "▁ panic", + "▁d etection", + "▁det ection", + "▁detect ion", + "▁sim ultane", + "nt e", + "n te", + "▁list ened", + "▁listen ed", + "Option al", + "Opt ional", + "▁a bund", + "▁ab und", + "▁c riteria", + "▁crit eria", + "▁c hip", + "▁ch ip", + "▁chi p", + "▁ chip", + "▁Con stant", + "▁Const ant", + "▁ Constant", + "▁m ining", + "▁min ing", + "▁mi ning", + "▁mini ng", + "ma tes", + "mat es", + "mate s", + "m ates", + "▁w orship", + "▁wor ship", + "ro uter", + "rou ter", + "route r", + "r outer", + "C N", + "▁M atch", + "▁Mat ch", + "▁ Match", + "▁C ole", + "▁Col e", + "▁Co le", + "▁down t", + "▁dow nt", + "▁h oles", + "▁hol es", + "▁ho les", + "▁hole s", + "▁gr ateful", + "RES ULT", + "▁Europ a", + "▁Euro pa", + "▁con sent", + "▁cons ent", + "▁conse nt", + "l ä", + "op ter", + "opt er", + "▁colle agues", + "or ous", + "oro us", + "o rous", + "▁enem ies", + "ha ng", + "han g", + "h ang", + "act ual", + "Object s", + "▁я к", + "▁fl uid", + "▁flu id", + "fix ed", + "f ixed", + "▁G raph", + "▁Gr aph", + "▁Gra ph", + "▁ Graph", + "▁scr atch", + "ce rs", + "cer s", + "c ers", + "ri bu", + "rib u", + "▁valid ation", + "▁ validation", + "▁com pletion", + "▁complet ion", + "▁B egin", + "▁Be gin", + "▁Beg in", + "▁ Begin", + "end point", + "rien t", + "C M", + "▁S ite", + "▁Si te", + "▁ Site", + "▁expl ains", + "▁explain s", + "tr es", + "tre s", + "t res", + "▁any body", + "fo reach", + "fore ach", + "for each", + "lo n", + "l on", + "Ch ain", + "▁B uff", + "▁Bu ff", + "▁ Buff", + "o cal", + "▁M organ", + "▁Mor gan", + "▁s ang", + "▁sa ng", + "▁san g", + "▁pas ses", + "@ @", + "ij d", + "i jd", + "W ord", + "▁v ý", + "ba st", + "bas t", + "b ast", + "▁enter tainment", + "▁entertain ment", + "hi n", + "h in", + "▁g rat", + "▁gr at", + "▁gra t", + "▁M ember", + "▁Me mber", + "▁Mem ber", + "▁ Member", + "▁M inn", + "▁Min n", + "▁Mi nn", + "▁pr inted", + "▁print ed", + "▁prin ted", + "▁Frank lin", + "▁I mp", + "▁Im p", + "▁ Imp", + "M achine", + "column s", + "▁de leted", + "▁del eted", + "▁delete d", + "▁delet ed", + "▁ deleted", + "▁manufact uring", + "▁re ly", + "▁r ely", + "▁rel y", + "▁con se", + "▁cons e", + "▁f ishing", + "▁fish ing", + "▁fis hing", + "bl o", + "b lo", + "- $", + "▁. \"", + "▁ .\"", + "▁clin ical", + "▁clinic al", + "def inition", + "▁evalu ation", + "▁eval uation", + "▁att acked", + "▁fro zen", + "ze nt", + "zen t", + "z ent", + "▁ú lt", + "▁r ational", + "▁rat ional", + "▁ratio nal", + "ot he", + "oth e", + "o the", + "Can cel", + "C ancel", + "hi story", + "hist ory", + "set Text", + "▁a lc", + "▁al c", + "▁h ydro", + "▁hyd ro", + "▁M aterial", + "▁Mat erial", + "▁ Material", + "IO Exception", + "**** **/", + "****** /", + "sp l", + "s pl", + "NO DE", + "att rs", + "attr s", + "▁m ie", + "▁mi e", + "r ó", + "▁j am", + "▁ja m", + "▁Id ent", + "▁Ide nt", + "▁ Ident", + "v é", + "Set ting", + "▁Sev eral", + "▁dec ay", + "And roid", + "▁S ave", + "▁Sa ve", + "▁Sav e", + "▁ Save", + "un ted", + "unt ed", + "unte d", + "us c", + "u sc", + "▁mar zo", + "▁a sleep", + "▁as leep", + "▁sold ier", + "▁D ouble", + "▁Dou ble", + "▁ Double", + "P K", + "▁cont rad", + "▁contr ad", + "▁contra d", + "▁w ins", + "▁win s", + "ce iver", + "ceive r", + "▁seas ons", + "▁C hall", + "▁Ch all", + "▁Cha ll", + "▁health care", + "ła d", + "ł ad", + "▁F ive", + "▁Fi ve", + "▁H ell", + "▁He ll", + "▁Hel l", + "▁' ,", + "▁ ',", + "ma de", + "mad e", + "m ade", + "▁respon ded", + "▁respond ed", + "▁a y", + "▁ ay", + "▁proced ures", + "▁procedure s", + "▁cle ared", + "▁clear ed", + "\"] .", + "\" ].", + "▁T arget", + "▁Tar get", + "▁ Target", + "▁S ide", + "▁Si de", + "▁Sid e", + "▁ Side", + "omi n", + "▁T ell", + "▁Te ll", + "▁Tel l", + "▁ Tell", + "▁on going", + "fl oor", + "f loor", + "▁b ones", + "▁bo nes", + "▁bon es", + "▁bone s", + "▁De lete", + "▁Del ete", + "▁ Delete", + "▁shru gged", + "O ur", + "De r", + "D er", + "▁init ialize", + "▁initial ize", + "▁ initialize", + "▁T ed", + "▁Te d", + "MA GE", + "MAG E", + "M AGE", + "▁h ire", + "▁hi re", + "▁ hire", + "▁tr acking", + "▁track ing", + "▁a sh", + "▁as h", + "▁ ash", + "▁ce iling", + "et ti", + "ett i", + "e tti", + "▁cour age", + "▁cou rage", + "ensch app", + "Mo re", + "M ore", + "▁fol g", + "▁fo lg", + "▁ folg", + "▁Gr ace", + "▁Gra ce", + "▁K elly", + "▁Kel ly", + "▁re ven", + "▁r even", + "▁rev en", + "▁reve n", + "▁ Ali", + "▁d isp", + "▁ disp", + "▁de feat", + "▁cre ature", + "▁creat ure", + "▁Kenn edy", + "▁D iego", + "▁Di ego", + "EM P", + "E MP", + "▁s team", + "end ance", + "▁ign or", + "▁ig nor", + "em en", + "eme n", + "e men", + "▁G ru", + "▁Gr u", + "▁pro posal", + "▁we iter", + "▁weit er", + "▁ лі", + "ib les", + "ible s", + "i bles", + "▁consider ation", + "▁belie ves", + "▁believe s", + "▁S oph", + "▁So ph", + "“ ,", + "▁Matt hew", + "▁circ uit", + "▁sin ger", + "▁S quare", + "ç o", + "Ed ge", + "▁a str", + "▁as tr", + "▁ast r", + "▁ astr", + "▁represent ative", + "▁comprehens ive", + "li ga", + "lig a", + "l iga", + "▁m ere", + "▁me re", + "▁mer e", + "tb l", + "t bl", + "▁contin uing", + "▁continu ing", + "ograph er", + "ograp her", + "LE D", + "L ED", + "▁/* **/", + "▁/** */", + "▁s ear", + "▁se ar", + "▁sea r", + "▁enorm ous", + "iz i", + "i zi", + "Di t", + "D it", + "th ere", + "ther e", + "the re", + "t here", + "і н", + "▁gu erra", + "▁end point", + "▁ endpoint", + "▁le sson", + "▁les son", + "▁less on", + "zo n", + "z on", + "var iable", + "vari able", + "▁research ers", + "▁e nf", + "▁en f", + "▁de fin", + "▁aw ful", + "▁lo west", + "▁low est", + "ru les", + "rule s", + "r ules", + "▁un like", + "inter val", + "▁K am", + "▁Ka m", + "▁I MP", + "▁IM P", + "▁ IMP", + "Gener al", + "Gen eral", + "▁f aire", + "▁fa ire", + "▁fair e", + "▁max im", + "▁ma xim", + "as semb", + "ass emb", + "asse mb", + "assem b", + "? >", + "pl ica", + "plic a", + "p lica", + "▁r am", + "▁ra m", + "▁ ram", + "ma te", + "mat e", + "m ate", + "m n", + "▁H i", + "▁ Hi", + "▁stag es", + "▁sta ges", + "▁Ed itor", + "▁Edit or", + "▁ Editor", + "▁t ang", + "▁tan g", + "▁ta ng", + "R D", + "▁i ch", + "▁ic h", + "▁ ich", + "▁depend ent", + "▁dep endent", + "▁ dependent", + "li fer", + "life r", + "lif er", + "l ifer", + "as cript", + "asc ript", + "a script", + "▁expos ure", + "▁m art", + "▁mar t", + "▁ma rt", + "▁ mart", + "▁Bar cel", + "xs pace", + "x space", + "SE SSION", + "▁p rest", + "▁pre st", + "▁pr est", + "▁pres t", + "UR CE", + "- .", + "ha ve", + "hav e", + "h ave", + "▁observ ation", + "▁obs ervation", + "▁comm ands", + "▁command s", + "▁ commands", + "▁e ager", + "▁out door", + "▁DE BUG", + "▁ DEBUG", + "▁h r", + "▁ hr", + "A X", + "▁p uzz", + "▁pu zz", + "bl ank", + "▁k ennis", + "▁reg arded", + "▁} ),", + "▁}) ,", + "▁ }),", + "vol ume", + "▁Tr aining", + "▁Tra ining", + "▁Train ing", + "a ñ", + "▁f ois", + "▁foi s", + "▁fo is", + "в ня", + "▁opt imal", + "▁optim al", + "▁sub scription", + "▁subs cription", + "▁ subscription", + "br idge", + "brid ge", + "b ridge", + "im ental", + "iment al", + "imen tal", + "▁Th ink", + "▁\" ;", + "▁ \";", + "▁legis l", + "▁H op", + "▁Ho p", + "▁br anches", + "▁branch es", + "▁V eg", + "▁Ve g", + "▁s print", + "▁spr int", + "▁fl ux", + "▁flu x", + "▁Fr eder", + "si s", + "s is", + "not ify", + "so m", + "s om", + "ny m", + "n ym", + "▁R é", + "le tt", + "let t", + "l ett", + "ing ham", + "▁F arm", + "▁Far m", + "▁Fa rm", + "DO M", + "D OM", + "▁sh ield", + "He re", + "Her e", + "H ere", + "▁Lu ke", + "▁un safe", + "an ton", + "ant on", + "anto n", + "▁Im per", + "▁Imp er", + "▁tele phone", + "▁un lock", + "▁ unlock", + "Own er", + "col lection", + "coll ection", + "collect ion", + "▁s nd", + "▁sn d", + "▁ snd", + "▁su iv", + "▁ent ering", + "▁enter ing", + "▁L abel", + "▁La bel", + "▁Lab el", + "▁ Label", + "se lector", + "sel ector", + "select or", + "▁G ET", + "▁ GET", + "▁qu ando", + "▁quand o", + "▁f ed", + "▁fe d", + "▁ fed", + "j Query", + "Or igin", + "▁A lan", + "▁Al an", + "math scr", + "▁pregn ant", + "▁preg nant", + "Ex pect", + "Exp ect", + "re sources", + "res ources", + "resource s", + "▁er sten", + "▁erst en", + "▁ers ten", + "▁erste n", + "al ia", + "ali a", + "a lia", + "û t", + "Cr ed", + "C red", + "▁m éd", + "▁mé d", + "▁e rh", + "▁er h", + "Frame work", + "Sl ot", + "S lot", + "d uration", + "sa l", + "s al", + "▁com position", + "▁compos ition", + "art icle", + "gp u", + "g pu", + "▁per mitted", + "▁perm itted", + "▁permit ted", + "▁F ont", + "▁Fo nt", + "▁ Font", + "▁M uch", + "▁Mu ch", + "▁p ending", + "▁pen ding", + "▁ pending", + "▁ag encies", + "Column s", + "▁k lik", + "▁kl ik", + "▁ rating", + "min d", + "mi nd", + "m ind", + "J ava", + "ab stract", + "abs tract", + "▁d umb", + "▁du mb", + "us a", + "u sa", + "Rem ote", + "▁YO U", + "▁Cre ek", + "Bot tom", + "B ottom", + "▁roll ing", + "▁ rolling", + "▁b undle", + "▁bund le", + "▁ bundle", + "▁g olf", + "▁gol f", + "gp io", + "g pio", + "▁Cha ir", + "▁c ls", + "▁cl s", + "▁ cls", + "$ }", + "▁Par liament", + "f ühr", + "Man y", + "Ma ny", + "M any", + "▁S ep", + "▁Se p", + "▁ Sep", + "▁bad ly", + "ig i", + "i gi", + "▁Geme inde", + "Il l", + "I ll", + "ua rt", + "uar t", + "u art", + "it empty", + "item pty", + "▁N iger", + "▁Ni ger", + "▁im migr", + "▁imm igr", + "Su per", + "Sup er", + "S uper", + "v á", + "ist ribute", + "istribut e", + "Hel pers", + "Helper s", + "Help ers", + "▁wat ers", + "▁join ing", + "▁jo ining", + "om itempty", + "▁Other wise", + "▁H ost", + "▁Ho st", + "▁ Host", + "▁re dd", + "▁red d", + "▁d y", + "▁ dy", + "▁con verted", + "▁convert ed", + "▁pr ayer", + "▁pray er", + "▁pra yer", + "▁У краї", + "▁Укра ї", + "▁e lections", + "re b", + "r eb", + "er ie", + "eri e", + "e rie", + "Ab s", + "A bs", + "ie mbre", + "iem bre", + "i embre", + "hol ders", + "hold ers", + "holder s", + "▁R ol", + "▁Ro l", + "ut schen", + "uts chen", + "utsch en", + "utsche n", + "ter y", + "te ry", + "t ery", + "▁narr ative", + "min us", + "m inus", + "=\" #", + "▁w and", + "▁wa nd", + "▁ wand", + "▁w ished", + "▁wish ed", + "▁wis hed", + "ic ode", + "ico de", + "i code", + "or r", + "o rr", + "[ [", + "▁detect ed", + "▁P our", + "▁Po ur", + "▁Se rv", + "▁ Serv", + "cite t", + "cit et", + "c itet", + "▁g rey", + "▁gr ey", + "▁gre y", + "▁R ap", + "▁Ra p", + "▁v oy", + "▁vo y", + "▁l leg", + "▁ll eg", + "▁cur rency", + "▁curr ency", + "▁ currency", + "▁S cript", + "▁Sc ript", + "▁ Script", + "str ument", + "stru ment", + "▁expect ing", + "▁t ickets", + "▁tick ets", + "▁ticket s", + "▁b ucket", + "▁buck et", + "▁ bucket", + "eg r", + "e gr", + "▁j acket", + "▁jack et", + "dr v", + "d rv", + "▁lo ans", + "▁loan s", + "▁k ann", + "▁kan n", + "▁ka nn", + "▁integr al", + "▁character istics", + "▁characteristic s", + "(\" .", + "( \".", + "▁man ual", + "▁d ynamics", + "▁dynam ics", + "▁dynamic s", + ": *", + "sh a", + "s ha", + "re ens", + "ree ns", + "reen s", + "on ical", + "oni cal", + "onic al", + "▁to ile", + "añ a", + "a ña", + "▁d istant", + "▁di stant", + "▁dist ant", + "▁hand led", + "▁handle d", + "Bo ol", + "B ool", + "▁pe nal", + "▁pen al", + "▁Th ings", + "▁ex ped", + "▁exp ed", + "▁He lp", + "▁Hel p", + "▁ Help", + "▁a sp", + "▁as p", + "▁ asp", + "la p", + "l ap", + "▁A uth", + "▁Aut h", + "▁Au th", + "▁ Auth", + "Bas ic", + "ach uset", + "▁B ild", + "▁Bi ld", + "▁Bil d", + "▁j ag", + "▁ja g", + "▁m emor", + "▁me mor", + "▁mem or", + "▁memo r", + "or ts", + "ort s", + "▁ap plies", + "▁appl ies", + "▁L anguage", + "▁ Language", + "spec ific", + "achuset ts", + "HA ND", + "H AND", + "▁R oute", + "▁ Route", + "mark et", + "mar ket", + "▁K y", + "▁p ose", + "▁pos e", + "▁po se", + "▁ pose", + "AC HE", + "ACH E", + "po ll", + "pol l", + "p oll", + "▁r ocks", + "▁ro cks", + "▁rock s", + "bo ne", + "bon e", + "b one", + "▁D IS", + "▁DI S", + "▁ DIS", + "W atch", + "▁sm iling", + "Mon th", + "Mont h", + "▁e fter", + "con struct", + "const ruct", + "▁ban ds", + "▁ bands", + "▁collabor ation", + "gl as", + "g las", + "▁v y", + "▁ vy", + "▁eng agement", + "▁engage ment", + "__ )", + "_ _)", + "▁w ings", + "▁win gs", + "▁wing s", + "net je", + "at iva", + "ati va", + "ativ a", + "▁With in", + "▁d ove", + "▁do ve", + "▁c b", + "▁ cb", + "ye rs", + "yer s", + "y ers", + "po w", + "p ow", + "[ (", + "▁evalu ate", + "▁eval uate", + "Point s", + "▁р і", + "▁ рі", + "od igd", + "odi gd", + "on omy", + "ono my", + "onom y", + "▁T yp", + "▁Ty p", + "▁ Typ", + "▁coord inates", + "▁coordinate s", + "pis ode", + "uck ed", + "uc ked", + "▁f lav", + "▁fl av", + "▁br ands", + "▁brand s", + "▁cal endar", + "▁ calendar", + "Li b", + "L ib", + "▁uit gen", + "▁t ale", + "▁tal e", + "▁ta le", + "▁m ic", + "▁mi c", + "▁ mic", + "RE SS", + "RES S", + "▁sp äter", + "▁integr ated", + "▁integrate d", + "▁cook ies", + "▁cookie s", + "▁uitgen odigd", + "▁P riv", + "▁Pr iv", + "▁Pri v", + "▁ Priv", + "▁phen omen", + "▁vo egen", + "Su pp", + "Sup p", + "S upp", + "▁re fers", + "▁Cl inton", + "▁Clin ton", + "▁ass ignment", + "▁assign ment", + "i nals", + "▁a sym", + "▁as ym", + "cy cle", + "cycl e", + "c ycle", + "▁Anders on", + "▁b inding", + "▁bin ding", + "▁bind ing", + "▁ binding", + "ri que", + "r ique", + "hi nd", + "hin d", + "h ind", + "▁be half", + "▁beh alf", + "▁break s", + "▁bre aks", + "▁so ap", + "▁ soap", + "▁v ä", + "▁ vä", + "▁c rying", + "▁cr ying", + "▁cry ing", + "▁ →", + "▁m sm", + "▁ms m", + "▁ msm", + "▁bo ots", + "▁boot s", + "ow ing", + "owi ng", + "o wing", + "▁b ell", + "▁be ll", + "▁bel l", + "▁ bell", + "su ite", + "suit e", + "▁Bund es", + "▁Bun des", + "Y ear", + "nd ef", + "nde f", + "n def", + "O ther", + "▁go ogle", + "▁goog le", + "▁ google", + "EN CE", + "ENC E", + "WE R", + "W ER", + "Le s", + "L es", + "Sh ared", + "Share d", + "▁E D", + "▁ ED", + "IF T", + "I FT", + "▁flo ating", + "▁float ing", + "ý m", + "{} ,", + "{ },", + "Bin ary", + "B inary", + "▁ro ce", + "ra j", + "r aj", + "▁be werken", + "B F", + "ce n", + "c en", + "▁c amb", + "▁cam b", + "▁ca mb", + "▁log ging", + "▁ logging", + "Ten sor", + "T ensor", + "▁op ens", + "▁open s", + "▁ opens", + "▁R io", + "▁klik ken", + "apor e", + "w x", + "▁Ni ch", + "na n", + "n an", + "com pare", + "comp are", + "compar e", + "th a", + "t ha", + "Sam ple", + "S ample", + "Sh ell", + "She ll", + "S hell", + "▁re ceiver", + "▁rece iver", + "▁receive r", + "▁h opes", + "▁hope s", + "▁hop es", + "▁ho pes", + "▁b yl", + "▁by l", + "▁pro xy", + "▁pr oxy", + "▁ proxy", + "▁gal l", + "▁ga ll", + "get Id", + "fe ld", + "fel d", + "f eld", + "▁\" _", + "▁H ab", + "▁Ha b", + "sim ple", + "▁execut ed", + "▁execute d", + "▁a te", + "▁at e", + "▁ ate", + "▁an imation", + "▁anim ation", + "▁ animation", + "▁r outer", + "▁ro uter", + "▁rout er", + "▁route r", + "▁rou ter", + "▁ router", + "▁gl ob", + "▁glo b", + "▁ glob", + "Ge plaatst", + "▁begin netje", + "▁K ur", + "▁Ku r", + "al igned", + "align ed", + "▁cert ificate", + "▁ Å", + "▁s oll", + "▁so ll", + "▁sol l", + "▁Im port", + "▁Imp ort", + "▁ Import", + "▁pand emic", + "▁n ic", + "▁ni c", + "▁ nic", + "v ä", + "▁S ay", + "▁Sa y", + "▁д і", + "▁ ді", + "▁N um", + "▁Nu m", + "▁ Num", + "▁rough ly", + "▁des pués", + "▁ ​", + "▁spec ify", + "Map per", + "lic ht", + "li cht", + "lich t", + "l icht", + "▁th umb", + "▁ thumb", + "wi e", + "w ie", + "▁un likely", + "▁unlike ly", + "▁ unlikely", + "▁E dd", + "▁Ed d", + "He y", + "H ey", + "▁O pt", + "▁Op t", + "▁ Opt", + "B LOCK", + "▁ ×", + "▁b a", + "▁ ba", + "▁period s", + "Me d", + "M ed", + "▁f on", + "▁fo n", + "▁ fon", + "▁b ast", + "▁bas t", + "▁ba st", + "▁ bast", + "▁F orest", + "▁Fo rest", + "▁ №", + "on ds", + "ond s", + "▁f al", + "▁fa l", + "▁g esch", + "▁ge sch", + "▁ges ch", + "▁ gesch", + "dir ection", + "di rection", + "direct ion", + "dire ction", + "d irection", + "IF Y", + "▁L A", + "▁ LA", + "▁( ((", + "▁(( (", + "▁ (((", + "GT H", + "G TH", + "it udes", + "itude s", + "itu des", + "itud es", + "▁dest ruction", + "▁destruct ion", + "▁J a", + "▁s take", + "▁st ake", + "▁sta ke", + "iffer ent", + "iffe rent", + "▁ident ical", + "▁f og", + "▁fo g", + "▁R eb", + "▁Re b", + "▁ Reb", + "ja x", + "j ax", + "▁M ars", + "▁Mar s", + "▁Ma rs", + "▁hist oric", + "▁V o", + "▁ Vo", + "▁entre pre", + "▁t ension", + "▁tens ion", + "▁W HERE", + "▁WH ERE", + "▁WHE RE", + "Count er", + "Co unter", + "C ounter", + "▁fr ames", + "▁frame s", + "▁fra mes", + "▁fram es", + "▁ frames", + "▁m uy", + "▁mu y", + "e j", + "ö t", + "e u", + "PRO C", + "PR OC", + "▁res olved", + "▁resolve d", + "▁ resolved", + "▁t ape", + "▁tap e", + "▁ta pe", + "▁sing ular", + "▁O cc", + "▁ Occ", + "▁scal ar", + "▁ scalar", + "de ss", + "des s", + "d ess", + "▁c able", + "▁cab le", + "▁ca ble", + "be ing", + "b eing", + "▁J enn", + "▁Je nn", + "▁Jen n", + "▁er st", + "▁ers t", + "▁ erst", + "Action s", + "Act ions", + "A ctions", + "Env ironment", + "vi a", + "v ia", + "▁strugg ling", + "wh e", + "w he", + "▁throw ing", + "▁thr owing", + "▁thro wing", + "Bound s", + "B ounds", + "▁M D", + "▁ MD", + "▁\" ../", + "▁\". ./", + "▁satisf y", + "▁Color ado", + "▁Act ive", + "▁Activ e", + "▁ Active", + "Task s", + "<>( );", + "<> ();", + "< >();", + "▁sl ipped", + "▁slip ped", + "▁po ison", + "▁poi son", + "z b", + "Dis patch", + "war ning", + "warn ing", + "w arning", + "▁ult imate", + "p icture", + "ex pression", + "exp ression", + "expr ession", + "express ion", + "▁T alk", + "▁Tal k", + "▁f lick", + "▁fl ick", + "▁rais ing", + "▁ra ising", + "▁ raising", + "▁trans actions", + "▁transaction s", + "▁gl ance", + "▁g ri", + "▁gr i", + "▁п рез", + "▁пре з", + "se lection", + "sel ection", + "select ion", + "s election", + "њ а", + "en dl", + "end l", + "▁A bb", + "▁b old", + "▁bo ld", + "▁bol d", + "▁ bold", + "▁maint ained", + "Ex ists", + "▁encour aged", + "▁encourage d", + "Qu al", + "Q ual", + "▁ess ere", + "▁hi red", + "▁hire d", + "let ter", + "lett er", + "lette r", + "it ches", + "itch es", + "oth ers", + "other s", + "othe rs", + "o thers", + "▁w oj", + "▁wo j", + "▁inj uries", + "▁d il", + "▁di l", + "ex ecut", + "exec ut", + "▁Ste el", + "▁G arden", + "▁Gar den", + "▁Gard en", + "\\, \\", + "\\ ,\\", + "▁An gel", + "pr im", + "p rim", + ">: ]<", + "g b", + "pe at", + "in te", + "int e", + "i nte", + "▁ap olog", + "▁reg ulations", + "▁regul ations", + "▁regulation s", + "S rc", + "Up load", + "U pload", + "ma pping", + "map ping", + "m apping", + "▁p resents", + "▁pres ents", + "▁present s", + "▁po etry", + "▁st ops", + "▁stop s", + "▁sto ps", + "▁T ol", + "▁To l", + "▁tow er", + "▁O UT", + "▁ OUT", + "Th ank", + "Than k", + "▁organ ic", + "▁d rei", + "▁dr ei", + "▁dre i", + "▁p ound", + "▁po und", + "▁pou nd", + "▁mod ules", + "▁module s", + "▁ modules", + "▁w orn", + "▁wor n", + "▁wo rn", + "▁par ad", + "▁para d", + "▁pa rad", + "▁C os", + "▁Co s", + "fi c", + "▁Jim my", + "▁lan ds", + "▁min ist", + "▁mini st", + "vs pace", + "v space", + "▁light ing", + "▁n aked", + "▁na ked", + "▁design er", + "▁St ream", + "▁Stre am", + "▁ Stream", + "TM P", + "T MP", + "Cent er", + "C enter", + "resent ation", + "ON T", + "O NT", + "▁e rs", + "▁er s", + "▁ ers", + "▁measure ment", + "▁mus cles", + "▁muscle s", + "▁I gn", + "▁ Ign", + "▁C OM", + "▁CO M", + "▁ COM", + "▁f ru", + "▁fr u", + "▁gen re", + "▁al pha", + "▁ alpha", + "▁ret irement", + "▁G on", + "▁Go n", + "ő l", + "cont ents", + "content s", + "▁he aling", + "▁heal ing", + "▁s ido", + "▁si do", + "▁sid o", + "incip al", + "Per mission", + "Perm ission", + "▁G ordon", + "▁Gor don", + "▁R ank", + "▁Ran k", + "▁ Rank", + "▁Aut om", + "▁Au tom", + "▁Auto m", + "▁ Autom", + "Con structor", + "Construct or", + "wi ki", + "wik i", + "w iki", + "▁concern ing", + "▁concer ning", + "riz ona", + "▁var iant", + "▁vari ant", + "▁ variant", + "▁arr anged", + "▁arrang ed", + "▁arrange d", + "BP ACK", + "B PACK", + "Tim estamp", + "re store", + "rest ore", + "aw are", + "awa re", + "a ware", + "▁Ob serv", + "▁ Observ", + "▁S V", + "▁ SV", + "▁Execut ive", + "▁col leg", + "▁coll eg", + "▁colle g", + "▁explicit ly", + "wr itten", + "writ ten", + "▁K ön", + "▁Kö n", + "ir us", + "i rus", + "▁H old", + "▁Hol d", + "▁Ho ld", + "▁P ract", + "▁Pr act", + "▁Pra ct", + "Char acter", + "▁red istribute", + "uer to", + "▁Stud ent", + "▁ Student", + "▁el der", + "▁D op", + "▁Do p", + "v p", + "▁H ub", + "▁Hu b", + "▁ Hub", + "▁sign als", + "▁sig nals", + "▁signal s", + "▁g ifts", + "▁gift s", + "▁streng then", + "▁strength en", + "▁L yn", + "▁Ly n", + "com mun", + "comm un", + "▁fin ance", + "▁financ e", + "no c", + "n oc", + "he lm", + "hel m", + "h elm", + "▁c uts", + "▁cut s", + "▁cu ts", + "▁advent ure", + "▁R ic", + "▁intellect ual", + "▁Out put", + "▁ Output", + "▁aw k", + "▁ awk", + "▁concentr ation", + "▁guid ance", + "Buf f", + "Bu ff", + "B uff", + "▁f illing", + "▁fil ling", + "▁fill ing", + "▁reg ul", + "▁del icious", + "([ ]", + "( []", + "▁ton s", + "▁ tons", + "act ivity", + "activ ity", + "G P", + "LO B", + "L OB", + "st adt", + "sta dt", + "stad t", + "ta l", + "t al", + "▁im g", + "▁i mg", + "▁ img", + "▁r ush", + "▁ru sh", + "▁rus h", + "att ice", + "atti ce", + "▁p ok", + "▁po k", + "st eps", + "ste ps", + "step s", + "▁l id", + "▁li d", + "▁D NA", + "B rowser", + "▁lad ies", + "▁an nées", + "▁ann ées", + "▁resc ue", + "av ity", + "avi ty", + "ro ck", + "roc k", + "r ock", + "▁glass es", + "▁B ey", + "▁Be y", + ")} $", + ") }$", + "de tail", + "det ail", + "▁d és", + "▁dé s", + "ta x", + "t ax", + "▁favour ite", + "▁prec ision", + "▁con oc", + "▁co noc", + "M s", + "▁Nat ive", + "▁ Native", + "▁P il", + "▁Pi l", + "Input Stream", + "or p", + "o rp", + "▁P ap", + "▁Pa p", + "▁p icking", + "▁pick ing", + "▁pic king", + "ip h", + "i ph", + "Load ing", + "Lo ading", + "▁pr iest", + "▁pri est", + "H ook", + "▁p ist", + "▁pi st", + "▁U ne", + "▁Un e", + "▁ Une", + "▁b il", + "▁bi l", + "▁ bil", + "▁conserv ative", + "ev al", + "eva l", + "e val", + "ik ing", + "iki ng", + "i king", + "'} ,", + "' },", + "▁sa uce", + "▁sau ce", + "as sen", + "ass en", + "asse n", + "▁occasion ally", + "▁occasional ly", + "un known", + "unk nown", + "DE D", + "D ED", + "▁dru m", + "▁d ub", + "▁du b", + "AT URE", + "us age", + "usa ge", + "get Type", + "re ply", + "rep ly", + "▁strateg ic", + "▁k ap", + "▁ka p", + "▁ kap", + "de sign", + "des ign", + "date time", + "dat etime", + "▁P rim", + "▁Pr im", + "▁Pri m", + "▁ Prim", + "Ma ster", + "M aster", + "▁T u", + "▁t ous", + "▁to us", + "▁tou s", + "▁c lar", + "▁cl ar", + "▁po em", + "al bum", + "] *", + "lo aded", + "load ed", + "▁travel ing", + "▁trav eling", + "▁F err", + "▁Fe rr", + "▁Fer r", + "▁p harm", + "▁ph arm", + "ab i", + "a bi", + "▁} \\", + "▁ }\\", + "col lect", + "coll ect", + "▁B our", + "▁Bo ur", + "▁Bou r", + "▁measure ments", + "▁measurement s", + "▁Profess ional", + "▁s ensor", + "▁sens or", + "▁sen sor", + "▁ sensor", + "ut sche", + "uts che", + "utsch e", + "▁dem anded", + "▁demand ed", + "▁p rend", + "▁pre nd", + "▁pr end", + "▁enc oding", + "▁ encoding", + "▁Gesch ichte", + "▁m ig", + "▁mi g", + "▁Re ich", + "▁m yster", + "▁my ster", + "▁myst er", + "▁M ock", + "▁Mo ck", + "▁ Mock", + "▁phys ically", + "▁physical ly", + "▁B au", + "▁Ba u", + "▁S ingle", + "▁Sing le", + "▁Sin gle", + "▁ Single", + "▁man aging", + "▁K il", + "▁Ki l", + "▁Temp le", + "▁l ev", + "▁le v", + "▁ lev", + "▁l í", + "CP U", + "C PU", + "▁G ive", + "▁Gi ve", + "ir i", + "i ri", + "N V", + "▁A I", + "▁ AI", + "▁f p", + "▁ fp", + "лекс анд", + "▁t ant", + "▁tan t", + "▁ta nt", + "▁f ot", + "▁fo t", + "Null able", + "▁gu ards", + "▁guard s", + "On ce", + "▁ch amber", + "▁cha mber", + "fil m", + "fi lm", + "▁b ias", + "▁bi as", + "▁ bias", + "▁Ta i", + "ins ic", + "insi c", + "▁m l", + "▁ ml", + "▁K a", + "▁S ER", + "▁SE R", + "▁ SER", + "▁Some one", + "}} _{", + "}}_ {", + "} }_{", + "Fix ed", + "F ixed", + "▁b ent", + "▁be nt", + "▁ben t", + "▁b id", + "▁bi d", + "▁ bid", + "▁fe wer", + "▁few er", + "▁l ugar", + "▁lug ar", + "▁lu gar", + "▁de serve", + "▁des erve", + "ss l", + "s sl", + "▁c fg", + "▁cf g", + "▁ cfg", + "re ck", + "rec k", + "▁st ability", + "▁stabil ity", + "▁stab ility", + "re size", + "res ize", + "▁assert That", + "Tr igger", + "pl ugins", + "plugin s", + "plug ins", + "▁l ets", + "▁le ts", + "▁let s", + "▁ lets", + "хі д", + "х ід", + "▁La ura", + "▁Lau ra", + "▁br ut", + "▁bru t", + "▁F I", + "▁ FI", + "is ons", + "ison s", + "iso ns", + "▁dy n", + "▁ dyn", + "ic her", + "ich er", + "iche r", + "i cher", + "ray ed", + "▁frequ ent", + "▁jed och", + "st rings", + "str ings", + "string s", + "▁U til", + "▁Ut il", + "▁ Util", + "▁b os", + "▁bo s", + "Mu s", + "M us", + "▁Portug al", + "Str ategy", + "▁sl ice", + "▁slic e", + "▁ slice", + "▁ins ight", + "▁w idget", + "▁wid get", + "▁ widget", + "▁gén éral", + "message s", + "m essages", + "▁requ irement", + "▁require ment", + "Si de", + "S ide", + "empl ates", + "emplate s", + "▁cer emony", + "▁ceremon y", + "▁phys ics", + "▁grad uate", + "▁gradu ate", + "▁ graduate", + "par a", + "pa ra", + "p ara", + "▁pre serv", + "▁pres erv", + "▁sh ops", + "▁shop s", + "▁ shops", + "ze k", + "z ek", + "▁u b", + "▁ ub", + "pre pare", + "▁O il", + "▁f ib", + "▁fi b", + "▁run time", + "▁ runtime", + "▁h ogy", + "▁ho gy", + "Warn ing", + "War ning", + "W arning", + "▁Con vert", + "▁ Convert", + "▁emer ged", + "▁emerge d", + "gu ard", + "ka l", + "k al", + "valid ation", + "ên cia", + "ê ncia", + "▁dr inks", + "▁drink s", + "the orem", + "H R", + "ie v", + "i ev", + "ploy ee", + "Us age", + "▁сп е", + "dis patch", + "disp atch", + "▁inst antly", + "▁instant ly", + "ob i", + "o bi", + "▁just ify", + "▁N ev", + "▁Ne v", + "ag ra", + "agr a", + "a gra", + "▁trans mission", + "▁transm ission", + "fl y", + "f ly", + "; ' ;", + "> ';", + "▁cou sin", + "▁cous in", + "create Element", + "Co uld", + "C ould", + "▁cap ac", + "▁p ause", + "▁pa use", + "▁paus e", + "▁ pause", + "Array List", + "kt e", + "k te", + "ord ered", + "order ed", + "▁sh aking", + "▁sha king", + "label s", + "lab els", + "▁redu cing", + "US ED", + "USE D", + "U SED", + "▁v oting", + "▁vo ting", + "▁vot ing", + "▁M ig", + "▁Mi g", + "▁C hen", + "▁Ch en", + "▁Che n", + "▁ac company", + "▁accompan y", + "▁accomp any", + "ul le", + "ull e", + "u lle", + "▁g a", + "▁ ga", + "▁equ ipped", + "▁equip ped", + "▁n un", + "▁nu n", + "Be t", + "B et", + "▁lic ensed", + "▁license d", + "AR CH", + "F N", + "▁s ter", + "▁st er", + "▁ste r", + "▁ ster", + "▁loc ale", + "▁local e", + "▁ locale", + "lin ks", + "link s", + "l inks", + "▁Cap ital", + "▁al ien", + "▁ali en", + "W r", + "р ъ", + "Car t", + "C art", + "▁Mark eting", + "▁Market ing", + "▁R T", + "▁ RT", + "File Name", + "▁t i", + "▁ ti", + "ij i", + "i ji", + "▁vers us", + "li ve", + "liv e", + "l ive", + "Sy m", + "S ym", + "ko r", + "k or", + "▁e mission", + "▁em ission", + "um m", + "u mm", + "yc z", + "y cz", + "▁clim bed", + "▁climb ed", + "▁plus ieurs", + "ya r", + "y ar", + "os ten", + "ost en", + "o sten", + "▁u sb", + "▁us b", + "▁ usb", + "▁cross ing", + "▁pol ynom", + "▁poly nom", + "▁rem oval", + "▁Ad ams", + "▁Adam s", + "▁i hre", + "▁ih re", + "▁ihr e", + "an den", + "and en", + "ande n", + "▁Ben j", + "▁P hill", + "▁Ph ill", + "▁Phil l", + "▁wound ed", + "bi ld", + "bil d", + "b ild", + "An notation", + "Process or", + "▁t in", + "▁ti n", + "fo lg", + "fol g", + "▁Stud ents", + "▁Student s", + "▁administr ative", + "IL ED", + "ILE D", + "I LED", + "▁con qu", + "▁che er", + "▁C es", + "▁Ce s", + "B ecause", + "▁J uni", + "▁Jun i", + "▁Ju ni", + "▁en contr", + "av i", + "a vi", + "ak u", + "a ku", + "▁T on", + "▁To n", + "▁sm oking", + "▁b ay", + "▁ba y", + "work s", + "wor ks", + "at tered", + "att ered", + "atter ed", + "atte red", + "▁Bo olean", + "▁ Boolean", + "▁Ba lt", + "de fer", + "def er", + "path y", + "pat hy", + "pa thy", + "A h", + "▁a kt", + "▁ak t", + "▁ akt", + "▁gover nor", + "P ad", + "▁si sters", + "▁sister s", + "▁sist ers", + "La t", + "L at", + "▁re vel", + "▁r evel", + "▁rev el", + "▁reve l", + "▁S Y", + "▁ SY", + "it os", + "ito s", + "i tos", + "▁fil ters", + "▁filter s", + "▁ filters", + "Ch unk", + "con sum", + "cons um", + "▁rem oving", + "▁H err", + "▁He rr", + "▁Her r", + "▁gener ator", + "▁ generator", + "▁C ra", + "▁Cr a", + "▁far mers", + "▁farm ers", + "▁farmer s", + "▁Mem bers", + "▁Member s", + "▁ Members", + "▁over come", + "▁C in", + "▁Ci n", + "ig keit", + "cri ptions", + "cription s", + "cript ions", + "Test s", + "Te sts", + "T ests", + "▁sh ake", + "▁sha ke", + "▁ shake", + "▁y y", + "▁ yy", + "pl acement", + "place ment", + "plac ement", + "▁Bl ood", + "▁Blo od", + "▁bul let", + "▁bull et", + "▁ bullet", + "▁v iene", + "▁vi ene", + "▁vie ne", + "▁Fin ancial", + "F uture", + "▁r ou", + "▁ro u", + "▁ rou", + "▁bi ologie", + "▁use State", + "ia ni", + "ian i", + "i ani", + "pie ce", + "p iece", + "▁spe aker", + "▁speak er", + "▁re fr", + "▁ref r", + "AR K", + "▁M IT", + "▁MI T", + "▁ MIT", + "▁T an", + "▁Ta n", + "▁B ased", + "▁Bas ed", + "▁Base d", + "▁Ba sed", + "▁ Based", + "▁cult iv", + "▁hung ry", + "▁A y", + "▁H ey", + "▁He y", + "▁ Hey", + "▁excit ement", + "ibr aries", + "Hi t", + "H it", + "▁E nde", + "▁En de", + "▁End e", + "N G", + "FI L", + "F IL", + ".\" )", + ". \")", + "F amily", + "in ery", + "ine ry", + "iner y", + "ne cess", + "ve lope", + "vel ope", + "velop e", + "▁B ot", + "▁Bo t", + "▁ Bot", + "port er", + "por ter", + "porte r", + "p orter", + "▁cl imb", + "▁clim b", + "▁E li", + "▁El i", + "ur ent", + "ure nt", + "uren t", + "u rent", + "▁mist akes", + "▁mistake s", + "áb an", + "á ban", + "mark s", + "mar ks", + "m arks", + "pk t", + "p kt", + "L ibrary", + "st ed", + "ste d", + "s ted", + "ublic e", + "ubl ice", + "▁Administr ation", + "▁Admin istration", + "▁sh apes", + "▁shape s", + "▁sha pes", + "Go d", + "G od", + "in nen", + "inn en", + "<< <<", + "ib e", + "i be", + "ê s", + "▁ Foreign", + "▁Marg aret", + "▁g ene", + "▁gen e", + "▁ge ne", + "▁dist urb", + "▁on Click", + "▁Engine ering", + "▁stop ping", + "▁sto pping", + "▁restr ictions", + "▁restrict ions", + "▁restriction s", + ", *", + "BU F", + "▁sh adows", + "▁shadow s", + "hc i", + "h ci", + "▁Christ ians", + "▁Christian s", + "▁f ence", + "▁fen ce", + "▁lux ury", + "co ord", + "▁invest igate", + "▁investig ate", + "▁convent ional", + "▁convention al", + "\" —", + "▁vis its", + "▁visit s", + "is é", + "▁S ac", + "▁Sa c", + "class Name", + "▁Psy ch", + "▁ref lected", + "▁reflect ed", + "▁V ice", + "▁Vi ce", + "▁Vic e", + "ła w", + "ł aw", + "▁Wol f", + "re nte", + "ren te", + "rent e", + "r ente", + "▁Ch ampion", + "▁sim ulation", + "es ota", + "eso ta", + "▁S oon", + "▁So on", + "▁C el", + "▁Ce l", + "▁the ories", + "▁S TR", + "▁ST R", + "▁ STR", + "▁collect ive", + "▁coord inate", + "query Selector", + "em ed", + "eme d", + "e med", + "B reak", + "▁g ef", + "▁ge f", + "▁electric ity", + "▁gather ing", + "ate rs", + "ex per", + "exp er", + "▁R oma", + "▁Rom a", + "▁Ro ma", + "▁Co oper", + "SY MBOL", + "v d", + "ain es", + "ai nes", + "aine s", + "a ines", + "▁G rad", + "▁Gr ad", + "▁Gra d", + "▁ Grad", + "wo h", + "w oh", + "▁con sequence", + "▁consequ ence", + "▁convers ations", + "▁conversation s", + "▁and ere", + "▁ander e", + "▁System s", + "▁mo ist", + "▁mois t", + "fl u", + "f lu", + "ці я", + "ни ш", + "▁r ode", + "▁ro de", + "▁rod e", + "▁p erd", + "▁per d", + "▁pe rd", + "▁s zer", + "▁sz er", + "▁in tim", + "▁int im", + "std err", + "▁ref lection", + "▁reflect ion", + "Sc an", + "S can", + "▁dis aster", + "ake spe", + "akes pe", + "▁In valid", + "▁ Invalid", + "▁hum or", + "▁Fried rich", + "▁suggest ions", + "▁suggestion s", + "uv ud", + "De lay", + "Del ay", + "br ief", + "b rief", + "gl ied", + "fa s", + "f as", + "▁S mart", + "▁Sm art", + "▁m edi", + "▁me di", + "▁med i", + "▁ medi", + "sd k", + "s dk", + "▁se us", + "▁seu s", + "▁A rizona", + "▁innoc ent", + "War n", + "W arn", + "ac ious", + "aci ous", + "acio us", + "▁c aps", + "▁cap s", + "▁ca ps", + "▁ caps", + "Dele gate", + "▁dram atic", + "bo oks", + "book s", + "▁sh ore", + "▁ shore", + "uk i", + "u ki", + "▁Russ ell", + "▁cor relation", + "▁corre lation", + "▁correl ation", + "He lp", + "Hel p", + "▁pub blic", + "zy m", + "z ym", + "com b", + "co mb", + "c omb", + "E Y", + "LEN GTH", + "▁M ün", + "▁_ .", + "▁ _.", + "▁f erm", + "▁fe rm", + "▁fer m", + "▁I an", + "▁St udio", + "▁aff airs", + "▁affair s", + "lo s", + "l os", + "Rule s", + "R ules", + "run ning", + "r unning", + "▁Post ed", + "▁Po sted", + "▁Pos ted", + "P ixel", + "▁d ancing", + "▁dan cing", + "▁agree ments", + "▁agre ements", + "▁agreement s", + "▁P ic", + "▁Pi c", + "an cia", + "anc ia", + "a ncia", + "▁m á", + "ation Token", + "des criptor", + "▁C arter", + "▁Car ter", + "▁Cart er", + "Re lease", + "Rele ase", + "**** ********", + "******** ****", + "****** ******", + "▁out standing", + "ch anges", + "change s", + "chan ges", + "AR RAY", + "▁Bar bara", + "▁Barb ara", + "▁nur se", + "▁nurs e", + "( \r", + "▁Dou glas", + "▁Doug las", + "▁nu cle", + "▁nuc le", + "o uri", + "▁St yle", + "▁ Style", + "av o", + "a vo", + "▁pain ful", + "▁s lic", + "▁sl ic", + "▁sein em", + "▁seine m", + "▁sei nem", + "SUP PORT", + "og ene", + "ogen e", + "oge ne", + "▁sat ell", + "ta gon", + "tag on", + "t agon", + "▁coll apse", + "▁ collapse", + "ve lle", + "vel le", + "v elle", + "MO N", + "M ON", + "augh ters", + "aught ers", + "aughter s", + "▁threat ened", + "▁Il legal", + "▁desper ate", + "st rict", + "str ict", + "stri ct", + "\\\" :", + "\\ \":", + "▁conf lic", + "down load", + "at os", + "ato s", + "a tos", + "▁Pos ition", + "▁ Position", + ".* ;", + ". *;", + "▁the ater", + "▁ple asant", + "▁C ette", + "he et", + "▁p ir", + "▁pi r", + "▁ac quis", + "▁acqu is", + "▁на зва", + "вер сите", + "▁res pective", + "▁respect ive", + "▁t unnel", + "▁tun nel", + "▁tunn el", + "▁De an", + "D u", + "▁un cle", + "▁unc le", + "▁off ensive", + "co lo", + "col o", + "c olo", + "▁Un like", + "se ries", + "ser ies", + "serie s", + "s eries", + "▁A rn", + "▁Ar n", + "min ute", + "▁des criptor", + "▁ descriptor", + "▁st ones", + "▁stone s", + "▁sto nes", + "IC ATION", + "▁P ad", + "▁Pa d", + "▁ Pad", + "e i", + "▁fant asy", + "\" }", + "▁or th", + "▁ orth", + "hal ten", + "halt en", + "de ep", + "▁K ay", + "▁Ka y", + "requ ency", + "▁dut ies", + "aw t", + "a wt", + "▁ne arest", + "▁near est", + "▁dis order", + "▁Ch ile", + "▁Chi le", + "▁s eq", + "▁se q", + "▁ seq", + "▁transport ation", + "O O", + "▁D ez", + "▁De z", + "ij u", + "i ju", + "▁Result s", + "▁ Results", + "je d", + "j ed", + "iv el", + "ive l", + "i vel", + "HO ST", + "H OST", + "▁ €", + "▁ Î", + "▁c hin", + "▁ch in", + "▁chi n", + "▁m att", + "▁mat t", + "▁ma tt", + "▁ge hör", + "▁s ue", + "▁su e", + "▁leg acy", + "в ся", + "SO URCE", + "W ORK", + "it is", + "iti s", + "▁$ |", + "▁n r", + "▁ nr", + "▁T amb", + "▁Ta mb", + "▁Tam b", + "▁sn ap", + "▁ snap", + "▁im pressed", + "▁imp ressed", + "▁impress ed", + "▁depos it", + "▁d ivid", + "▁di vid", + "▁div id", + "Seg ment", + "▁G as", + "▁Ga s", + "▁cr imes", + "▁crim es", + "▁crime s", + "▁cri mes", + "▁ins ult", + "▁H um", + "▁Hu m", + "▁bound ed", + "▁k icked", + "▁kick ed", + "▁| \\", + "▁ |\\", + "ad ded", + "add ed", + "Pro du", + "P rodu", + "▁. /", + "▁ ./", + "▁awk ward", + "▁ ї", + "▁CON TR", + "▁be im", + "▁bei m", + "▁place holder", + "▁ placeholder", + "sp i", + "s pi", + "▁B ei", + "▁Be i", + "▁P f", + "ient es", + "ien tes", + "iente s", + "i entes", + "dis k", + "di sk", + "d isk", + "bl k", + "ne o", + "it arian", + "ita rian", + "itar ian", + "▁c ogn", + "▁co gn", + "▁s out", + "▁so ut", + "▁sou t", + "▁tr ash", + "▁tra sh", + "▁tras h", + "▁R ab", + "▁Ra b", + "▁dec line", + "▁decl ine", + "ta t", + "t at", + "▁comb ine", + "▁T ot", + "▁To t", + "▁dr ops", + "▁dro ps", + "▁drop s", + "Time s", + "Tim es", + "T imes", + "ched uler", + "chedul er", + "▁govern ments", + "▁government s", + "Te x", + "T ex", + "▁U sed", + "▁Us ed", + "▁Use d", + "▁ Used", + "▁p d", + "▁ pd", + "▁&= &", + "▁N ag", + "▁Na g", + "▁Al ways", + "rt c", + "r tc", + "rupt ed", + "rup ted", + "▁man agers", + "▁manager s", + "▁manage rs", + "▁P itt", + "▁Pi tt", + "▁myst ery", + "▁myster y", + "ul se", + "uls e", + "cr oss", + "cro ss", + "c ross", + "quest ion", + "as ha", + "ash a", + "a sha", + "se ed", + "see d", + "s eed", + "ur able", + "ura ble", + "Fin al", + "Fi nal", + "F inal", + "++ ++", + "input s", + "▁back up", + "▁ backup", + "▁Le arning", + "▁Lear ning", + "▁Learn ing", + "▁* ,", + "▁ *,", + "lo go", + "log o", + "l ogo", + "▁se inen", + "▁sein en", + "▁seine n", + "▁sei nen", + "▁vulner able", + "direct ory", + "i ë", + "▁friend ship", + "▁friends hip", + "t u", + "▁V ec", + "▁Ve c", + "▁ Vec", + "rif ice", + "rific e", + "▁inv olve", + "▁invol ve", + "TO N", + "T ON", + "▁cor rid", + "se par", + "sep ar", + "Dest roy", + "▁j ul", + "▁ju l", + "▁inequ ality", + "▁a in", + "▁ai n", + "▁ ain", + "he x", + "h ex", + "▁w ider", + "▁wide r", + "▁wid er", + "▁j ack", + "▁ja ck", + "▁ jack", + "▁qu ot", + "▁ quot", + "▁G len", + "▁Gl en", + "▁Gle n", + "init ely", + "ih ood", + "i hood", + "▁wa ist", + "reg ular", + "▁( &", + "▁ (&", + "▁mass es", + "▁mas ses", + "▁DE FAULT", + "▁ DEFAULT", + "▁ch airs", + "▁chair s", + "▁cha irs", + "▁F ast", + "▁Fa st", + "▁ Fast", + "▁c itt", + "▁cit t", + "▁ci tt", + "_{ {\\", + "_ {{\\", + "o a", + "▁$ \\{", + "▁$\\ {", + "▁se eds", + "▁see ds", + "▁seed s", + "▁A ld", + "▁Al d", + "fa b", + "f ab", + "▁democr acy", + "DT O", + "D TO", + "▁H ij", + "▁Hi j", + "PT R", + "P TR", + "N a", + "▁Har vard", + "si d", + "s id", + "Pr ed", + "Pre d", + "P red", + "fer s", + "fe rs", + "f ers", + "▁s pare", + "▁sp are", + "AM P", + "A MP", + "▁g roupe", + "▁group e", + "▁s ender", + "▁se nder", + "▁send er", + "▁sen der", + "▁ sender", + "▁Christ opher", + "▁prisoner s", + "▁K er", + "▁Ke r", + "▁C rist", + "▁Cr ist", + "▁Cris t", + "▁A LL", + "▁AL L", + "▁ ALL", + "ri ce", + "ric e", + "r ice", + "▁an tes", + "▁ant es", + "▁ante s", + "▁ antes", + "nat ural", + "▁Su san", + "▁Sus an", + "▁J uli", + "▁Jul i", + "▁Ju li", + "▁di ab", + "▁dia b", + "ix on", + "ic ator", + "ica tor", + "▁flex ible", + "▁re serve", + "Cont ains", + "▁H il", + "▁Hi l", + "▁I sa", + "▁Is a", + "▁tow ns", + "G S", + "▁T rad", + "▁Tr ad", + "▁Tra d", + "▁L ock", + "▁Loc k", + "▁Lo ck", + "▁ Lock", + "▁G rund", + "▁Gr und", + "▁Gru nd", + "▁crit icism", + "▁c ă", + "▁polit ician", + "st able", + "sta ble", + "s table", + "Ac cept", + "Sum mary", + "▁tamb ém", + "▁també m", + "}^ {-", + "}^{ -", + "} ^{-", + "▁I M", + "▁ IM", + "id al", + "ida l", + "i dal", + "Bl ue", + "GRO UP", + "▁term inal", + "▁termin al", + "▁complex ity", + "▁loc ally", + "▁local ly", + "DO WN", + "▁N ear", + "▁Ne ar", + "Dep th", + "▁p ole", + "▁pol e", + "▁po le", + "▁e quality", + "▁equ ality", + "▁equal ity", + "Si te", + "S ite", + "▁is instance", + "Sp eed", + "Spe ed", + "S peed", + "ip pi", + "ipp i", + ", &", + "▁E nc", + "▁En c", + "▁ Enc", + "▁ma ter", + "▁mate r", + "▁sl aves", + "▁slave s", + "▁sla ves", + "AC TION", + "ACT ION", + "A CTION", + "usal em", + "usa lem", + "▁h az", + "▁ha z", + "▁Be at", + "▁w rest", + "▁wr est", + "▁l lam", + "▁ll am", + "In s", + "I ns", + "▁бу в", + "▁Fr ame", + "▁Fra me", + "▁ Frame", + "us hes", + "ush es", + "▁virtual ly", + "▁virt ually", + "▁P erm", + "▁Per m", + "▁Pe rm", + "▁ Perm", + "▁we ights", + "▁weight s", + "▁weigh ts", + "▁ weights", + "▁ll vm", + "▁ llvm", + "▁c ave", + "▁ca ve", + "▁cav e", + "st ates", + "state s", + "stat es", + "sta tes", + "DM A", + "D MA", + "el lt", + "ell t", + "if act", + "ifa ct", + "i fact", + "v endor", + "▁E mma", + "▁Em ma", + "Loc ale", + "Local e", + "▁S ET", + "▁SE T", + "▁ SET", + "▁ge ometry", + "▁ geometry", + "St yles", + "Style s", + "▁Ref eree", + "▁Refer ee", + "▁we it", + "fi ca", + "fic a", + "f ica", + "▁a ds", + "▁ad s", + "▁ ads", + "gr ay", + "gra y", + "g ray", + "▁B urg", + "▁Bur g", + "▁Bu rg", + "ion a", + "io na", + "i ona", + "dag ger", + "d agger", + "▁Jan uar", + "ister schaft", + "pp o", + "p po", + "oid s", + "oi ds", + "o ids", + "▁dé part", + "Sh ader", + "▁con straint", + "▁constr aint", + "▁ constraint", + "Se cret", + "Sec ret", + "▁P eters", + "▁Pe ters", + "▁Peter s", + "▁Pet ers", + "▁Pete rs", + "▁ey eb", + "▁eye b", + "▁m esh", + "▁me sh", + "▁mes h", + "▁ mesh", + "▁c ookie", + "▁cook ie", + "▁ cookie", + "▁P ick", + "▁Pic k", + "▁Pi ck", + "▁n ick", + "▁ni ck", + "▁nic k", + "▁ nick", + "by e", + "b ye", + "▁sav ings", + "▁saving s", + "Tr y", + "T ry", + "py thon", + "▁p atri", + "▁pat ri", + "▁pa tri", + "▁mul tip", + "▁ multip", + "▁k inda", + "▁kind a", + "▁kin da", + "▁' _", + "▁ '_", + "▁Fr anz", + "▁Fran z", + "▁cl oth", + "▁clo th", + "▁human ity", + "re sa", + "res a", + "r esa", + "bl ob", + "blo b", + "▁T X", + "▁ TX", + "▁B uch", + "▁Bu ch", + "▁Buc h", + "▁L ond", + "▁Lo nd", + "▁val ley", + "▁m urm", + "▁mur m", + "▁mu rm", + "▁T rade", + "▁Tr ade", + "▁Tra de", + "▁Trad e", + "line width", + "▁e special", + "▁espec ial", + "up per", + "upp er", + "▁h osp", + "▁ho sp", + "▁t anto", + "▁tan to", + "▁tant o", + "▁ol dest", + "▁R oose", + "▁Ro ose", + "▁h itting", + "▁hit ting", + "do g", + "d og", + "ov i", + "o vi", + "}, \r", + "} ,\r", + "▁compat ible", + "▁ compatible", + "▁We bsite", + "▁Web site", + "po ch", + "p och", + "▁B ag", + "▁Ba g", + "▁ Bag", + "▁accompl ish", + "▁accomp lish", + "Ch rist", + "as set", + "ass et", + "asse t", + "▁U ntil", + "▁Un til", + "▁ Until", + "▁g eld", + "▁ge ld", + "▁gel d", + "List en", + "Li sten", + "L isten", + "S B", + "Set up", + "ic ia", + "ici a", + "i cia", + "▁l um", + "▁lu m", + "▁jan vier", + "PA GE", + "P AGE", + "▁N u", + "/ \"", + "▁divor ce", + "Ex ecute", + "Execut e", + "Exec ute", + "De pend", + "Dep end", + "▁T s", + "ru ppe", + "rup pe", + "▁ref use", + "▁Ok tober", + "ij k", + "i jk", + "▁A my", + "▁Am y", + "▁di min", + "▁dim in", + "▁g ross", + "▁gr oss", + "▁gro ss", + "▁t rat", + "▁tr at", + "▁tra t", + "is ible", + "isi ble", + "mix er", + "m ixer", + "▁aut res", + "▁au tres", + "▁autre s", + "▁ autres", + "▁ne at", + "▁ot ros", + "▁otro s", + "Vo id", + "V oid", + "▁sc hol", + "▁Wal ker", + "▁Walk er", + "▁t ube", + "▁tu be", + "▁tub e", + "olog ists", + "ologist s", + "▁h aben", + "▁hab en", + "▁ha ben", + "ub er", + "ube r", + "u ber", + "ACT IVE", + "▁Att endance", + "▁bl ade", + "opl us", + "o plus", + "▁Or iginal", + "▁Origin al", + "▁ Original", + "▁manufact urer", + "as z", + "a sz", + "ât e", + "â te", + "re r", + "r er", + "▁J son", + "▁ Json", + "▁succeed ed", + "uff le", + "▁b acked", + "▁back ed", + "es ian", + "esi an", + "ti ck", + "t ick", + "Ex ternal", + "▁he arts", + "▁heart s", + "▁hear ts", + "ol u", + "o lu", + "VI CE", + "V ICE", + "ár io", + "á rio", + "▁fr aud", + "▁fra ud", + "ed u", + "e du", + "Pr imary", + "Prim ary", + "▁g aming", + "▁gam ing", + "▁ga ming", + "▁p lt", + "▁pl t", + "ig ator", + "iga tor", + "IE S", + "I ES", + "Comp iler", + "▁mon ument", + "ag em", + "age m", + "a gem", + "▁R ain", + "▁Ra in", + "▁mo ins", + "ok u", + "o ku", + "os ex", + "ose x", + "o sex", + "▁K ansas", + "▁gep ublice", + "▁J oy", + "▁Jo y", + "Sc ene", + "ri ces", + "ric es", + "rice s", + "r ices", + "▁ju in", + "▁uncomfort able", + "▁M oney", + "▁Mon ey", + "▁Mo ney", + "ob b", + "o bb", + "ex pl", + "exp l", + "str cmp", + "▁d read", + "▁dr ead", + "▁dre ad", + "rit ion", + "r ition", + "▁C hi", + "▁Ch i", + "▁demonstr ated", + "▁demonstrate d", + "▁vert ices", + "▁C ulture", + "▁ Culture", + "F X", + "D ictionary", + "▁D ru", + "▁Dr u", + "tr m", + "t rm", + "▁ex amine", + "▁exam ine", + "▁the rap", + "▁ther ap", + "i ème", + "▁produ ces", + "▁produce s", + "▁photograph s", + "▁thread s", + "▁ threads", + "▁M I", + "▁ MI", + "▁extraord inary", + "▁gepublice erd", + "▁guarante ed", + "▁guarantee d", + "R G", + "os c", + "o sc", + "err no", + "sc ience", + "if fs", + "iff s", + "▁Ta m", + "▁B eth", + "▁Be th", + "▁Bet h", + "▁Tr avel", + "▁Tra vel", + "▁trans late", + "▁transl ate", + "▁ translate", + "ch é", + "▁l ing", + "▁li ng", + "▁lin g", + "▁ ling", + "▁bel ongs", + "▁belong s", + "▁elect rical", + "▁electric al", + "en sk", + "ens k", + "▁Com pet", + "▁Comp et", + "c g", + "V C", + "to pic", + "top ic", + "t opic", + "▁pre sum", + "▁pres um", + "▁approxim ation", + "▁approx imation", + "▁g rim", + "▁gr im", + "▁gri m", + "_{ (", + "_ {(", + "uti on", + "ow ych", + "owy ch", + "å g", + "ster reich", + "▁character istic", + "om ing", + "omin g", + "omi ng", + "o ming", + "▁/* !", + "▁ /*!", + "▁pr ize", + "▁pri ze", + "▁Minn esota", + "▁O m", + "▁ Om", + "▁ind ices", + "▁indic es", + "▁ indices", + "▁s tem", + "▁st em", + "▁ste m", + "re gon", + "reg on", + "ни че", + "▁Sal v", + "▁Sa lv", + "és e", + "é se", + "▁a ged", + "▁ag ed", + "▁age d", + "▁ aged", + "▁P ast", + "▁Pa st", + "▁Pas t", + "▁intern ation", + "▁V ic", + "▁Vi c", + "▁res ume", + "▁ resume", + "akespe are", + "▁est ado", + "▁esta do", + "▁estad o", + "▁ab ilities", + "▁ abilities", + "▁b row", + "▁br ow", + "▁bro w", + "▁N FL", + "▁tr ends", + "▁trend s", + "▁tren ds", + "▁Aust in", + "▁L IMIT", + "▁LI MIT", + "▁ LIMIT", + "▁K or", + "▁Ko r", + "▁fol k", + "▁ folk", + "▁w ard", + "▁war d", + "▁wa rd", + "▁ ward", + "▁n est", + "▁ne st", + "▁Jun ior", + "▁Juni or", + "▁maint aining", + "▁maintain ing", + "P ub", + "OB JECT", + "▁blo ody", + "▁blood y", + "▁s j", + "▁d type", + "▁dt ype", + "▁ dtype", + "Pan e", + "P ane", + "▁b acter", + "▁grad ually", + "▁gradu ally", + "m r", + "Te am", + "▁ind icating", + "▁indic ating", + "▁decre ase", + "te k", + "t ek", + "▁Re present", + "▁Rep resent", + "▁develop ers", + "▁developer s", + "Gu id", + "Gui d", + "G uid", + "▁D iet", + "▁Die t", + "▁Di et", + "▁re tr", + "▁r etr", + "▁ret r", + "Nav igation", + "es i", + "e si", + "▁l azy", + "▁la zy", + "Stand ard", + "E r", + "A W", + "▁Ét ats", + "▁ass ured", + "▁assure d", + "Sa n", + "S an", + "▁Andr e", + "’ ,", + "fa ng", + "fan g", + "f ang", + "ér ation", + "▁indust ries", + "▁in con", + "▁inc on", + "Em it", + "E mit", + "▁ret riev", + "▁retr iev", + "en i", + "e ni", + "▁Tur key", + "▁Turk ey", + "iz ers", + "ize rs", + "izer s", + "An gle", + "Ang le", + "▁o c", + "▁ oc", + "▁pal m", + "▁pa lm", + "▁s tan", + "▁st an", + "▁sta n", + "▁ stan", + "▁C SS", + "▁CS S", + "▁ CSS", + "▁fr ances", + "▁franc es", + "▁g rin", + "▁gr in", + "▁gri n", + "▁tiem po", + "▁P rix", + "▁Pr ix", + "▁Pri x", + "]) .", + "] ).", + "▁de put", + "▁dep ut", + "▁P in", + "▁Pi n", + "▁ Pin", + "▁si xt", + "▁six t", + "▁predict ed", + "▁pred icted", + "az ure", + "azu re", + "▁Mo tor", + "▁Mot or", + "▁i hm", + "▁ih m", + "▁man us", + "ap os", + "a pos", + "▁instr uments", + "▁instrument s", + "▁co unts", + "▁coun ts", + "▁count s", + "▁aim ed", + "▁ai med", + "▁ aimed", + "pro fit", + "prof it", + "▁d ok", + "▁do k", + "▁e stud", + "▁est ud", + "ie sz", + "ies z", + "i esz", + "▁p iss", + "▁pi ss", + "▁in aug", + "▁vo ters", + "▁vote rs", + "▁vot ers", + "▁pack ages", + "▁package s", + "▁ packages", + "▁c ute", + "▁cut e", + "▁cu te", + "▁f itness", + "▁fit ness", + "▁l eurs", + "▁le urs", + "▁leur s", + "▁s orted", + "▁sort ed", + "▁sor ted", + "ph ant", + "pha nt", + "phan t", + "OP T", + "O PT", + "▁z ip", + "▁ zip", + "se ason", + "sea son", + "em i", + "e mi", + "enc oding", + "wo n", + "w on", + "el ect", + "ele ct", + "e lect", + "▁t ooth", + "▁to oth", + "▁too th", + "▁up coming", + "▁G raham", + "▁Gra ham", + "nu t", + "n ut", + "▁Ar k", + "äl t", + "ä lt", + "▁prec ious", + "ag le", + "a gle", + "né e", + "n ée", + "ar is", + "ari s", + "a ris", + "▁p ile", + "▁pi le", + "▁pil e", + "co le", + "col e", + "c ole", + "▁W ITH", + "▁WIT H", + "▁ WITH", + "rou ting", + "r outing", + "▁* **", + "▁** *", + "▁ ***", + "Appe arance", + "ll vm", + "▁O liver", + "▁Ol iver", + "▁P L", + "▁ PL", + "if ndef", + "et zt", + "etz t", + "sk iego", + "ski ego", + "▁p on", + "▁po n", + "▁ pon", + "AR GET", + "ARG ET", + "k ö", + "▁= \\", + "▁ =\\", + "su re", + "sur e", + "s ure", + "mat ches", + "match es", + "▁temper atures", + "▁temperature s", + "SE L", + "S EL", + "▁cl one", + "▁clo ne", + "▁ clone", + "▁el ler", + "▁elle r", + "▁ell er", + "▁ eller", + "er na", + "ern a", + "Man agement", + "comp any", + "▁l un", + "▁lu n", + "▁stre aming", + "▁stream ing", + "▁N i", + "▁s í", + "Cont act", + "▁C redit", + "▁Cr edit", + "▁Cre dit", + "▁O ak", + "▁пред став", + "rad ius", + "cl i", + "c li", + "IE NT", + "I ENT", + "▁Lu cy", + "▁Luc y", + "▁calcul ation", + "▁calc ulation", + "▁p ixel", + "▁ pixel", + "▁m ul", + "▁mu l", + "▁ mul", + "▁out comes", + "▁outcome s", + "▁cent ers", + "▁center s", + "▁resid ence", + "Con straint", + "▁pre serve", + "▁pres erve", + "▁preserv e", + "pe on", + "uf fix", + "uff ix", + "▁Rober ts", + "▁Robert s", + "▁Rob erts", + "▁pro mot", + "bal ance", + "▁dis g", + "▁di sg", + "PR INT", + "PRI NT", + "el fare", + "elf are", + "▁ret reat", + "Co st", + "C ost", + "al so", + "als o", + "▁F ür", + "▁Mär z", + "DI O", + "D IO", + "▁b ez", + "▁be z", + "▁ bez", + "AUT H", + "AU TH", + "De n", + "D en", + "▁a tom", + "▁at om", + "▁ atom", + "▁r oman", + "▁ro man", + "▁rom an", + "▁P el", + "▁Pe l", + "▁Roose velt", + "▁Pl ant", + "▁Plan t", + "Cont ents", + "Content s", + "▁cou pling", + "▁coup ling", + "str ucture", + "struct ure", + "▁Mar shall", + "▁Mars hall", + "▁Marshal l", + "▁Care er", + "▁Bur eau", + "▁poss ibilities", + "▁k or", + "▁ko r", + "▁ kor", + "){ \r", + ") {\r", + "mer o", + "me ro", + "m ero", + "mo v", + "m ov", + "анг л", + "AI N", + "A IN", + "mu nd", + "mun d", + "m und", + "let te", + "lett e", + "l ette", + "▁sum mar", + "▁describ ing", + "▁NA S", + "▁E mb", + "▁Em b", + "▁ Emb", + "Inst ruction", + "li est", + "lie st", + "l iest", + "▁S ig", + "▁Si g", + "▁ Sig", + "Bi ll", + "B ill", + "▁v erd", + "▁ver d", + "▁ve rd", + "pl ant", + "plan t", + "▁galax ies", + "\"] )", + "\" ])", + "▁Py Object", + "▁ PyObject", + "▁G y", + "▁m ě", + "▁organ isation", + "▁organis ation", + "He r", + "H er", + "Se p", + "S ep", + "oc om", + "oco m", + "o com", + "▁S ame", + "▁Sam e", + "▁Sa me", + "▁ Same", + "▁b ite", + "▁bit e", + "▁bi te", + "▁Se attle", + "Ob server", + "Observ er", + "’ .", + "▁m orph", + "▁mor ph", + "al ph", + "re ement", + "ree ment", + "con sin", + "cons in", + "^ -", + "▁d ann", + "▁da nn", + "▁dan n", + "trans late", + "transl ate", + "ви х", + "Re act", + "▁c ats", + "▁cat s", + "▁ca ts", + "▁b rew", + "▁br ew", + "▁bre w", + "▁ brew", + "▁d s", + "▁ ds", + "▁cir cles", + "▁circ les", + "▁circle s", + "▁d rift", + "▁dr ift", + "▁dri ft", + "ag ma", + "▁Val ent", + "PI N", + "P IN", + "AR M", + "A RM", + "▁sur viv", + "▁surv iv", + "al in", + "ali n", + "a lin", + "Pr ef", + "Pre f", + "P ref", + "friend ly", + "▁uncertain ty", + "▁f d", + "▁ fd", + "▁engine er", + "Be n", + "B en", + "ic ular", + "i cular", + "or est", + "ore st", + "ores t", + "o rest", + "▁hor izontal", + "▁horizon tal", + "▁ horizontal", + "UT C", + "U TC", + "text rm", + "tex trm", + "Li ve", + "L ive", + "Sc ore", + "S core", + "▁Germ ans", + "▁Ger mans", + "di stance", + "dist ance", + "d istance", + "ut i", + "u ti", + "▁é qu", + "▁ équ", + "▁numer ical", + "▁re ass", + "Act iv", + "▁c od", + "▁co d", + "▁ cod", + "bul let", + "en sing", + "ens ing", + "▁G em", + "▁Ge m", + "▁nav igation", + "▁navig ation", + "▁ navigation", + "add Class", + "▁simultane ously", + "▁йо го", + "▁й ого", + "▁H ö", + "▁har sh", + "prec ated", + "p recated", + "▁Equ ip", + "ad get", + "▁T YPE", + "▁ TYPE", + "▁m g", + "▁ mg", + "IG H", + "▁v in", + "▁vi n", + "▁ vin", + "▁fin dings", + "▁find ings", + "▁finding s", + "iv an", + "iva n", + "i van", + "▁pos session", + "▁poss ession", + "▁possess ion", + "▁т ого", + "▁par sed", + "▁parse d", + "▁ parsed", + "ri ors", + "rior s", + "rio rs", + "r iors", + "zeich net", + "Work er", + "▁en ables", + "▁enable s", + "▁( $\\", + "▁($ \\", + "▁C opy", + "▁Co py", + "▁Cop y", + "▁ Copy", + "▁orient ation", + "▁Ind ians", + "▁India ns", + "▁Indian s", + "▁G ary", + "▁Gar y", + "▁Ga ry", + "▁Ins urance", + "is an", + "isa n", + "i san", + "Ch at", + "C hat", + "▁com un", + "▁co mun", + "▁co ron", + "▁cor on", + "up dated", + "update d", + "The se", + "Th ese", + "SE C", + "S EC", + "▁boy friend", + "Di agnostics", + "Hi nt", + "H int", + "mu l", + "m ul", + "▁in ode", + "▁i node", + "▁ inode", + "x A", + "ef t", + "e ft", + "OP TION", + "OPT ION", + "un ct", + "unc t", + "an non", + "ann on", + "anno n", + "EN S", + "E NS", + "st rip", + "str ip", + "stri p", + "▁enthus i", + "▁W hit", + "au de", + "aud e", + "a ude", + "▁disag ree", + "▁sn apped", + "▁snap ped", + "Ph ys", + "▁S yn", + "▁Sy n", + "▁s our", + "▁so ur", + "▁sou r", + "▁L ux", + "▁Lu x", + "ug ar", + "uga r", + "u gar", + "til e", + "ti le", + "t ile", + "▁in fection", + "▁inf ection", + "▁infect ion", + "▁C hem", + "▁Ch em", + "▁Che m", + "data set", + "dat aset", + "ch ts", + "cht s", + "D ynamic", + "▁qu een", + "▁que en", + "work er", + "wor ker", + "sw ap", + "▁tim estamp", + "▁ timestamp", + "▁In tegr", + "▁Int egr", + "▁ Integr", + "▁inter views", + "▁interview s", + "su ch", + "s uch", + "▁l aughter", + "▁laugh ter", + "pro f", + "pr of", + "▁B ird", + "▁Bi rd", + "▁Bir d", + "( |", + "â n", + "▁ gra", + "& =", + "ze ns", + "zen s", + "z ens", + "get Message", + "▁O st", + "▁Os t", + "▁g ab", + "▁ga b", + "▁mort gage", + "mult icol", + "multi col", + "LE VEL", + "part ition", + "se en", + "see n", + "s een", + "▁dec lar", + "▁decl ar", + "A U", + "▁o x", + "▁ ox", + "▁l igger", + "▁lig ger", + "▁C arm", + "▁Car m", + "▁Ca rm", + "ge me", + "gem e", + "g eme", + "▁Ve gas", + "▁Veg as", + "▁E ug", + "▁Eu g", + "or us", + "o rus", + "▁b rick", + "▁br ick", + "▁as í", + "HasColumn Type", + "V R", + "lic her", + "li cher", + "lich er", + "liche r", + "l icher", + "▁F uture", + "▁Fut ure", + "▁ Future", + "▁J ug", + "▁Ju g", + "at tan", + "att an", + "atta n", + "con structor", + "construct or", + "V P", + "Comp arator", + "Compar ator", + "▁aut hentic", + "▁mon ster", + "▁trans formed", + "▁transform ed", + "▁firm s", + "▁fir ms", + "F W", + "▁c atalog", + "▁catal og", + "▁ catalog", + "bo ards", + "board s", + "▁dise ases", + "▁disease s", + "▁Benj amin", + "▁hor izon", + "▁Av ailable", + "▁ Available", + "M vc", + "St ud", + "▁l ord", + "▁lo rd", + "▁ lord", + "gen eral", + "gener al", + "▁cab inet", + "▁cabin et", + "▁Bas ic", + "▁ Basic", + "Test Case", + "an sk", + "ans k", + "▁S now", + "▁Sn ow", + "ier ten", + "iert en", + "ierte n", + "i erten", + "▁vo cal", + "Pad ding", + "P adding", + "ha lt", + "hal t", + "h alt", + "▁Alex and", + "▁Col omb", + "iv amente", + "iva mente", + "▁art ificial", + "▁Atl anta", + "▁m entre", + "▁men tre", + "▁ment re", + "▁est aba", + "▁estab a", + "▁esta ba", + "je kt", + "jek t", + "j ekt", + "▁sle pt", + "▁end less", + "▁endl ess", + "ér o", + "é ro", + "at tery", + "att ery", + "atter y", + "atte ry", + "uu r", + "u ur", + "▁weak ness", + "▁attempt ing", + "BY TE", + "▁fo under", + "▁fou nder", + "▁sa lv", + "▁sal v", + "▁Medic ine", + "ti d", + "t id", + "▁Sch we", + "▁Schw e", + "▁ ¿", + "cr ate", + "c rate", + "SER VER", + "▁comp ound", + "▁con ve", + "▁conv e", + "▁c af", + "▁ca f", + "▁hand ful", + "on ne", + "úblic a", + "▁def ensive", + "▁defens ive", + "Al ignment", + "Align ment", + "▁pr éc", + "▁pré c", + "▁signific ance", + "él é", + "é lé", + "ar ta", + "art a", + "Da m", + "D am", + "▁per pet", + "▁c aller", + "▁call er", + "▁cal ler", + "ic ients", + "ici ents", + "icient s", + "ce p", + "c ep", + "▁Mult i", + "▁Mul ti", + "▁ Multi", + "▁st olen", + "▁sto len", + "▁stole n", + "▁focus ing", + "em bed", + "emb ed", + "▁b ree", + "▁br ee", + "▁bre e", + "▁A B", + "▁ AB", + "▁occasion s", + "▁occas ions", + "se a", + "s ea", + "Pro v", + "Pr ov", + "P rov", + "▁C ategory", + "▁ Category", + "▁s q", + "▁ sq", + "V A", + "Di ff", + "D iff", + "Tr i", + "T ri", + "iss ement", + "isse ment", + "▁act ress", + "▁j ej", + "▁je j", + "▁tw isted", + "▁twist ed", + "▁N icol", + "▁Nic ol", + "▁Ni col", + "▁jun ior", + "▁junio r", + "▁juni or", + "So und", + "S ound", + "▁Bra sil", + "▁Bras il", + "▁ju ice", + "▁> >>", + "▁>> >", + "▁ >>>", + "▁A lb", + "▁soft ly", + "▁Mc K", + "▁G ren", + "▁Gr en", + "▁Gre n", + "▁ital iano", + "▁cre atures", + "▁creat ures", + "▁creature s", + "▁res idential", + "▁resident ial", + "▁resid ential", + "▁Inst agram", + "▁k iller", + "▁kill er", + "▁kil ler", + "▁John ny", + "▁enter prise", + "D to", + "ch estra", + "chestr a", + "▁T el", + "▁Te l", + "▁Act iv", + "▁ Activ", + "fa ctor", + "fac tor", + "fact or", + "f actor", + "ou st", + "ous t", + "o ust", + "▁vac uum", + "') ->", + "' )->", + "▁L eft", + "▁Le ft", + "▁ Left", + "▁de fect", + "▁def ect", + "▁defe ct", + "▁nine te", + "▁nin ete", + "fa re", + "far e", + "f are", + "▁reg ret", + "▁s har", + "▁sh ar", + "▁sha r", + "ctr ine", + "me sh", + "mes h", + "m esh", + "ci ty", + "cit y", + "c ity", + "ici t", + "i cit", + "▁F em", + "▁Fe m", + "lim ited", + "limit ed", + "ok a", + "o ka", + "!\\ !\\", + "Don ald", + "з но", + "▁pro vision", + "▁prov ision", + "▁discuss ions", + "▁discussion s", + "Dr ag", + "D rag", + "▁In cl", + "▁Inc l", + "Ex it", + "E xit", + "▁A bd", + "▁Ab d", + "st ory", + "sto ry", + "ie ve", + "iev e", + "i eve", + "▁by ł", + "ol ving", + "olv ing", + "woh ner", + "▁gu idelines", + "▁guide lines", + "▁guid elines", + "▁st raw", + "▁str aw", + "▁stra w", + "ü ss", + "▁бу ло", + "▁bur den", + "▁spat ial", + "▁stret ched", + "▁stretch ed", + "▁I nf", + "▁ Inf", + "▁type def", + "▁typed ef", + "▁ro bot", + "▁rob ot", + "▁D oc", + "▁Do c", + "▁ Doc", + "pl iers", + "plier s", + "wa l", + "w al", + "ca mp", + "cam p", + "c amp", + "▁dif fé", + "▁diff é", + "▁t el", + "▁te l", + "ar ette", + "aret te", + "▁sub sequently", + "▁h oney", + "▁hon ey", + "▁ho ney", + "FUN C", + "te sy", + "tes y", + "▁któ ry", + "▁F O", + "▁ FO", + "▁m p", + "▁ mp", + "Scal ar", + "▁Y an", + "▁Ya n", + "ck en", + "cke n", + "c ken", + "▁var iation", + "▁vari ation", + "i ą", + "op tim", + "opt im", + "az or", + "tu ple", + "t uple", + "▁gr avity", + "▁grav ity", + "▁con clude", + "▁concl ude", + "▁col lections", + "▁collection s", + "▁collect ions", + "▁colle ctions", + "és z", + "é sz", + "▁L iver", + "▁Li ver", + "▁Live r", + "▁Liv er", + "comp ile", + "▁p arl", + "▁par l", + "▁pa rl", + "Sur face", + "{ '", + "▁par agraph", + "▁para graph", + "▁ paragraph", + "pos ite", + "po site", + "ít ulo", + "ob a", + "o ba", + "bin ary", + "b inary", + "ro b", + "r ob", + "▁Pe dro", + "▁Ped ro", + "▁f is", + "▁fi s", + "▁Gr ande", + "▁Grand e", + "▁Gran de", + "▁Gra nde", + "odo x", + "▁pos ting", + "▁post ing", + "< !--", + "▁rac ial", + "CO M", + "C OM", + "▁A UT", + "▁AU T", + "▁ AUT", + "▁d ishes", + "▁dis hes", + "▁dish es", + "assert True", + "▁G row", + "▁Gr ow", + "▁Gro w", + "▁sl id", + "▁ju illet", + "Run ner", + "Sa l", + "S al", + "Sa me", + "Sam e", + "S ame", + "▁Stud y", + "▁Col onel", + "▁J oin", + "▁Jo in", + "▁ Join", + "ar ms", + "arm s", + "▁cur ves", + "▁curve s", + "▁curv es", + "He alth", + "▁M OD", + "▁MO D", + "▁ MOD", + "▁pr imo", + "▁prim o", + "▁pri mo", + "ock ets", + "ocket s", + "multi column", + "multicol umn", + "▁H unter", + "▁Hun ter", + "▁Hunt er", + "Custom er", + "ot hy", + "oth y", + "o thy", + "Des ign", + "De sign", + "ma ss", + "mas s", + "m ass", + "▁fam ille", + "▁famil le", + "▁fue ron", + "▁fu eron", + "▁fuer on", + "ä m", + "▁d ign", + "▁di gn", + "▁dig n", + "▁Ro bin", + "▁Rob in", + "▁me ets", + "▁meet s", + "▁so it", + ")\" );", + ") \");", + "▁w rapper", + "▁wrap per", + "▁ wrapper", + "▁theoret ical", + "▁u d", + "▁ ud", + "pl icity", + "plic ity", + "plicit y", + "▁w p", + "▁ wp", + "▁c amps", + "▁camp s", + "▁cam ps", + "▁A gency", + "▁Ag ency", + "g c", + "hu m", + "h um", + "AT T", + "A TT", + "B tn", + "C ent", + "▁H elen", + "▁He len", + "▁Hel en", + "▁am plit", + "▁ampl it", + "und ial", + "SH IFT", + "wi k", + "w ik", + "▁Lie utenant", + "VAL ID", + "▁B ath", + "▁Ba th", + "▁Bat h", + "▁Jeff erson", + "▁C ut", + "▁Cu t", + "▁ Cut", + "▁ser vers", + "▁serv ers", + "▁server s", + "▁serve rs", + "▁ servers", + "ly ph", + "▁CO PY", + "▁COP Y", + "▁comput ers", + "▁computer s", + "▁compute rs", + "const ruction", + "construct ion", + "▁P DF", + "▁PD F", + "▁ PDF", + "▁pro tagon", + "▁prot agon", + "▁fore head", + "custom er", + "Un is", + "U nis", + "▁sign ing", + "▁sig ning", + ". ’", + "F etch", + "▁S core", + "▁Sc ore", + "▁ Score", + "hu man", + "hum an", + "h uman", + "▁down town", + "▁downt own", + "In tern", + "Int ern", + "Inter n", + "▁bes ides", + "▁beside s", + "▁c c", + "▁ cc", + "▁D ebug", + "▁De bug", + "▁Deb ug", + "▁ Debug", + "▁Cl ose", + "▁ Close", + "el ihood", + "eli hood", + "▁al gorithms", + "▁algorithm s", + "▁H amb", + "▁Ham b", + "▁Ha mb", + "▁c ust", + "▁cu st", + "▁mo unted", + "▁mount ed", + "par en", + "pa ren", + "pare n", + "p aren", + "▁isol ated", + "▁A gr", + "▁Ag r", + "▁or bit", + "▁orb it", + "print k", + "▁t urb", + "▁tu rb", + "▁tur b", + "▁gru po", + "\"\" \"", + "\" \"\"", + "▁h ills", + "▁hill s", + "▁B od", + "▁Bo d", + "est one", + "esto ne", + "eston e", + "e stone", + "▁satisf ying", + "▁satisfy ing", + "▁I van", + "▁Iv an", + "▁associ ate", + "name d", + "na med", + "nam ed", + "n amed", + "oc cup", + "occ up", + "GP IO", + "G PIO", + "hi t", + "h it", + "▁dis tract", + "▁di stract", + "▁dist ract", + "▁bar rel", + "▁barr el", + "▁in variant", + "di d", + "d id", + "▁l ieu", + "▁li eu", + "▁lie u", + "sc ene", + "UN K", + "▁M ission", + "▁Miss ion", + "zi al", + "z ial", + "▁comp ete", + "▁compet e", + "▁cou ples", + "▁couple s", + "▁coup les", + "SH A", + "S HA", + "▁s ei", + "▁se i", + "▁m igration", + "▁migr ation", + "ac ked", + "ack ed", + "▁b arn", + "▁bar n", + "▁ba rn", + "hal f", + "h alf", + "▁neigh bour", + "▁neighb our", + "ft e", + "f te", + "▁od ds", + "▁odd s", + "▁optim ization", + "▁H end", + "▁He nd", + "▁Hen d", + "pay ment", + "M r", + "') :", + "' ):", + "vo ir", + "v oir", + "▁R ange", + "▁Rang e", + "▁Ran ge", + "▁ Range", + "▁polit icians", + "▁politician s", + "▁shel ter", + "▁tim ing", + "▁ti ming", + "Create d", + "Creat ed", + "C reated", + "▁sept embre", + "li t", + "l it", + "▁S hel", + "▁She l", + "▁Sh el", + "▁c ouch", + "▁co uch", + "▁cou ch", + "▁d är", + "ult ur", + "▁G iov", + "▁Gi ov", + "ô le", + "RE AM", + "▁M B", + "▁ MB", + "▁lie gt", + "▁o v", + "▁ ov", + "▁car pet", + "▁го дина", + "▁годи на", + "▁S ão", + "ab ling", + "abl ing", + "a bling", + "▁purs ue", + "▁Const itution", + "an j", + "▁F BI", + "▁ar row", + "▁arr ow", + "▁ arrow", + "ph ones", + "phone s", + "▁kn ocked", + "▁knock ed", + "▁de com", + "▁dec om", + "ie k", + "i ek", + "St rip", + "Str ip", + "▁V enez", + "▁Ven ez", + "▁Ve nez", + "▁p upp", + "▁pu pp", + "▁pup p", + "bi an", + "bia n", + "▁cot ton", + "h p", + "▁accept able", + "cuss ion", + "▁r ounds", + "▁round s", + "▁act ively", + "▁activ ely", + "▁active ly", + "▁among st", + "▁a bc", + "▁ab c", + "▁ abc", + "F M", + "Pop up", + "▁divers ity", + "us z", + "u sz", + "▁employ er", + "spec ially", + "special ly", + "▁sus pected", + "▁suspect ed", + "▁c rypt", + "▁cry pt", + "▁O scar", + "▁Os car", + "no r", + "n or", + "▁bab ies", + "▁m undo", + "▁li bert", + "▁lib ert", + "▁liber t", + "S G", + "ah ren", + "ahr en", + "a hren", + "▁magn itude", + "T M", + "' +", + "▁G ust", + "▁Gu st", + "▁gr ain", + "▁gra in", + "to Equal", + "▁m os", + "▁mo s", + "▁ mos", + "▁consist ently", + "▁consistent ly", + "▁domin ant", + "Con verter", + "Convert er", + "at able", + "ata ble", + "a table", + "▁J ag", + "▁Ja g", + "scri ptions", + "script ions", + "scription s", + "s criptions", + "x B", + "▁ ©", + "fol der", + "fold er", + "f older", + "▁sub stance", + "▁subst ance", + "L o", + "BU S", + "B US", + "bas ic", + "us sen", + "uss en", + "▁co ins", + "▁coin s", + ": -", + "▁N elson", + "▁Nel son", + "In ner", + "ograf ía", + "▁ex empl", + "▁exem pl", + "ch g", + "▁sy nd", + "▁syn d", + "dyn amic", + "d ynamic", + "ver ted", + "vert ed", + "▁EV ENT", + "▁ EVENT", + "se ek", + "see k", + "av ier", + "avi er", + "a vier", + "▁p rot", + "▁ prot", + "-- ----", + "---- --", + "--- ---", + "----- -", + "- -----", + "▁con vention", + "▁conv ention", + "▁convent ion", + "▁станов ника", + "gl ing", + "g ling", + "hor a", + "ho ra", + "h ora", + "▁wh ilst", + "ser ialize", + "serial ize", + "s erialize", + "▁R ing", + "([ '", + "( ['", + "▁c her", + "▁ch er", + "▁che r", + "▁ cher", + "сь кі", + "▁D anny", + "▁Dan ny", + "▁re aches", + "▁reach es", + "▁el igible", + "▁P arent", + "▁Par ent", + "▁Pa rent", + "▁ Parent", + "▁came ras", + "▁cam eras", + "▁camera s", + "▁discipl ine", + "▁s illy", + "▁sil ly", + "re ts", + "ret s", + "r ets", + "yt ics", + "▁Reg ional", + "▁Region al", + "▁B aby", + "▁Ba by", + "▁Bab y", + "te le", + "t ele", + "WAR NING", + "WARN ING", + "su pp", + "sup p", + "s upp", + "▁refer ring", + "▁merc h", + "ol ves", + "olve s", + "olv es", + "eme t", + "ck e", + "c ke", + "▁M unicip", + "▁Mun icip", + "Wh ite", + "▁ Ś", + "ri os", + "rio s", + "r ios", + "log ging", + "▁d x", + "▁ dx", + "ex ternal", + "▁Liber al", + "▁Lib eral", + "▁Init ialize", + "▁Initial ize", + "▁ Initialize", + "▁exhibit ion", + "▁ext ensions", + "▁extension s", + "▁extens ions", + "▁ extensions", + "ke eper", + "keep er", + "kee per", + "SY S", + "▁J ake", + "▁Ja ke", + "▁Jak e", + "fo oter", + "foot er", + "foo ter", + "▁ph ones", + "▁phone s", + "▁ phones", + "▁real m", + "▁contribut ed", + "▁contribute d", + "ME SS", + "▁For mat", + "▁Form at", + "▁ Format", + "Per iod", + "▁h id", + "▁hi d", + "▁ hid", + "▁me tres", + "▁D im", + "▁Di m", + "▁ Dim", + "ache lor", + "achel or", + "▁T ak", + "▁Ta k", + "▁g ram", + "▁gr am", + "▁gra m", + "▁ gram", + "▁M Y", + "▁ MY", + "on ders", + "ond ers", + "onder s", + "onde rs", + "'; \r", + "' ;\r", + "▁F ro", + "▁Fr o", + "▁advant ages", + "▁advantage s", + "io v", + "i ov", + "▁she ets", + "▁sheet s", + "ce mbre", + "c embre", + "ž e", + "] \r", + "▁D J", + "subset eq", + "UP DATE", + "▁b locked", + "▁bl ocked", + "▁block ed", + "▁pan els", + "▁pa nels", + "▁panel s", + "E A", + "nd e", + "n de", + "ê t", + "Bu l", + "B ul", + "▁m eters", + "▁me ters", + "▁met ers", + "▁meter s", + "jo ur", + "j our", + "▁rap port", + "▁rapp ort", + "▁J ak", + "▁Ja k", + "▁V AL", + "▁VA L", + "▁ VAL", + "▁pu p", + "▁k a", + "▁ ka", + "for ced", + "force d", + "ener gy", + "e nergy", + "▁V a", + "not es", + "no tes", + "note s", + "n otes", + "▁relax ed", + "C r", + "id ding", + "idd ing", + "▁def ines", + "▁define s", + "▁defin es", + "▁kiss ed", + "▁invas ion", + "▁sc reens", + "▁screen s", + "C trl", + "▁pass engers", + "▁passenger s", + "ation ship", + "ations hip", + "per cent", + "\\ }", + "▁be ating", + "▁beat ing", + "life ray", + "lifer ay", + "▁V M", + "▁ VM", + "▁Gab riel", + "▁g allery", + "▁gall ery", + "iv ot", + "ivo t", + "▁r ental", + "▁ren tal", + "▁rent al", + "▁sh ocked", + "▁shock ed", + "▁Ste in", + "Un e", + "U ne", + "▁kom mun", + "an ka", + "ank a", + "Re ady", + "Read y", + "tr ag", + "tra g", + "t rag", + "Al ign", + "Ali gn", + "▁ho sted", + "▁\\ (", + "▁S ession", + "▁ Session", + "ys k", + "y sk", + "Pen ding", + "P ending", + "elli gence", + "▁Never theless", + "bit ro", + "bitr o", + "ho lm", + "hol m", + "quir y", + "▁mechan ical", + "▁D é", + "an eous", + "ane ous", + "▁psych ological", + "▁a broad", + "▁ab road", + "▁a voir", + "▁av oir", + "▁separ ation", + "▁sep aration", + "▁Haw ai", + "iej sc", + "▁sub tle", + "bi rd", + "b ird", + "▁mark er", + "▁mar ker", + "▁ marker", + "▁Work ing", + "▁Wor king", + "▁h over", + "▁ho ver", + "▁ hover", + "%%%% %%%%", + "▁s oup", + "▁so up", + "▁sou p", + "Al ert", + "ch r", + "c hr", + "▁P CI", + "▁PC I", + "▁ PCI", + "▁m ús", + "ient ras", + "ien tras", + "▁St orage", + "▁Sto rage", + "▁ Storage", + "▁av ailability", + "▁op era", + "▁oper a", + "▁P roduction", + "▁Produ ction", + "▁Product ion", + "ia ne", + "ian e", + "i ane", + "▁Bet ter", + "▁B utton", + "▁But ton", + "▁ Button", + "▁Pe ace", + "▁Mor ris", + "▁s ib", + "▁si b", + "▁f iber", + "▁fi ber", + "▁fib er", + "Int ent", + "▁D esc", + "▁De sc", + "▁Des c", + "▁ Desc", + "ning en", + "n ingen", + "ze j", + "z ej", + "av an", + "ava n", + "a van", + "cover ed", + "cov ered", + "▁s yst", + "▁sy st", + "▁sys t", + "_ +", + "▁Re lig", + "▁Rel ig", + "▁s pite", + "▁sp ite", + "▁re prés", + "▁~ ~", + "▁ ~~", + "▁to xic", + "▁a pro", + "▁ap ro", + "▁apr o", + "X Y", + "▁tr ips", + "▁tri ps", + "▁trip s", + "▁pl aats", + "▁con vey", + "▁conv ey", + "▁conve y", + "Pr im", + "P rim", + "ok o", + "o ko", + "▁l obby", + "▁lob by", + "▁recommend ations", + "▁recommendation s", + "SP ACE", + "▁overwhel ming", + "ennes see", + "▁ac quire", + "▁acqu ire", + "w m", + "LOB AL", + "▁D EF", + "▁DE F", + "▁ DEF", + "je r", + "j er", + "▁re cur", + "▁rec ur", + "om men", + "omm en", + "▁j og", + "▁jo g", + "▁n ast", + "▁na st", + "▁nas t", + "▁L P", + "▁ LP", + "jo n", + "j on", + "▁w ishes", + "▁wish es", + "▁wis hes", + "▁N ancy", + "▁support ers", + "▁supp orters", + "^{ -\\", + "^{- \\", + "▁ Ä", + "▁disappoint ed", + "x D", + "li nt", + "lin t", + "l int", + "I p", + "än de", + "änd e", + "ä nde", + "end ment", + "dt ype", + "d type", + "▁di gest", + "▁dig est", + "▁Set tings", + "▁Setting s", + "▁ Settings", + "ér a", + "é ra", + "▁aggress ive", + "▁intellig ent", + "eder börd", + "ster dam", + "pc i", + "p ci", + "▁over flow", + "▁ overflow", + "re ach", + "rea ch", + "r each", + "cept or", + "cep tor", + "▁yield s", + "▁Se bast", + "▁ut ility", + "▁util ity", + "▁fac ulty", + "▁In ternal", + "▁Intern al", + "▁Inter nal", + "▁ Internal", + "▁attract ed", + "▁attra cted", + "рі в", + "р ів", + "▁mix ing", + "▁R uth", + "▁Ru th", + "▁esc aped", + "▁escape d", + "▁E asy", + "▁dr ain", + "▁r ings", + "▁ring s", + "▁ rings", + "qu ire", + "quir e", + "Av ailable", + "▁conv ince", + "▁convin ce", + "or sch", + "ors ch", + "ут бо", + "CP P", + "C PP", + "ч і", + "▁p rod", + "▁pro d", + "▁pr od", + "▁ prod", + "▁p ig", + "▁pi g", + "▁C atal", + "▁Cat al", + "▁Ca tal", + "▁al ias", + "▁ali as", + "▁ alias", + "▁че мпи", + "Pl ace", + "P lace", + "▁g orge", + "▁depend ence", + "▁cr uel", + "▁cru el", + "▁ther mal", + "▁therm al", + "ut down", + "ref resh", + "▁re sort", + "▁res ort", + "▁S HA", + "▁SH A", + "▁ SHA", + "fo od", + "foo d", + "f ood", + "▁N ad", + "▁Na d", + "▁pregn ancy", + "▁pro jection", + "▁project ion", + "▁pa ís", + "▁the mes", + "▁them es", + "▁theme s", + "▁fun eral", + "▁cas o", + "▁ca so", + "ле кт", + "лек т", + "Ex tra", + "Ext ra", + "▁t issue", + "▁dr agon", + "▁drag on", + "▁l ig", + "▁li g", + "▁ lig", + "▁n ei", + "▁ne i", + "▁come dy", + "▁comed y", + "▁pass enger", + "Cl one", + "i ção", + "yg on", + "y gon", + "▁H alf", + "▁Hal f", + "▁la bour", + "▁lab our", + "▁ві й", + "▁L isa", + "▁Li sa", + "▁Lis a", + "_ [", + "ba g", + "b ag", + "▁d iver", + "▁di ver", + "▁div er", + "▁dive r", + "▁M L", + "▁ ML", + "▁transl ated", + "▁translate d", + "▁per ò", + "ab ama", + "aba ma", + "▁ castle", + "* \\", + "▁reg ia", + "!! !!", + "!!! !", + "! !!!", + "*> (", + "* >(", + "▁Work s", + "▁Wor ks", + "▁N ature", + "▁Nat ure", + "▁Natur e", + "NE L", + "N EL", + "▁P om", + "▁Po m", + "tt a", + "t ta", + "▁Jam ie", + "▁p unch", + "▁pun ch", + "▁K rieg", + "▁Kr ieg", + "▁restr icted", + "▁restrict ed", + "mob ile", + "m obile", + "▁grand mother", + "Arg uments", + "Argument s", + "▁s inc", + "▁si nc", + "▁sin c", + "▁Mon th", + "▁Mont h", + "▁ Month", + "esc ape", + "e scape", + "▁opt ical", + "▁L ane", + "▁La ne", + "▁Lan e", + "▁Deutsch land", + "▁S aison", + "▁Sa ison", + "▁V irtual", + "▁ Virtual", + "pe z", + "p ez", + "In line", + "ow any", + "owa ny", + "rad io", + "r adio", + "ö ß", + "▁O thers", + "▁Other s", + "MA IN", + "M AIN", + "sc al", + "s cal", + "▁D allas", + "▁Dal las", + "▁an chor", + "▁anc hor", + "▁anch or", + "▁ anchor", + "en cias", + "enc ias", + "encia s", + "enci as", + "▁re porter", + "▁rep orter", + "▁report er", + "▁veget ables", + "▁enforce ment", + "▁Wis consin", + "▁con dem", + "▁cond em", + "▁e b", + "▁ eb", + "▁s its", + "▁sit s", + "▁si ts", + "▁calcul ations", + "▁calculation s", + "▁calc ulations", + "▁\" --", + "▁\"- -", + "ue lle", + "uel le", + "u elle", + "▁tip o", + "▁ti po", + "▁P AR", + "▁PA R", + "▁ PAR", + "co rd", + "cor d", + "c ord", + "▁ро ків", + "ph an", + "pha n", + "p han", + "▁kon nte", + "▁z ap", + "▁za p", + "wr iting", + "writ ing", + "en gu", + "eng u", + "▁pert urb", + "Fac e", + "F ace", + "ag og", + "ago g", + "▁De cl", + "▁Dec l", + "▁ Decl", + "est ly", + "▁War ren", + "▁H ills", + "▁Hill s", + "▁Hil ls", + "▁ref resh", + "▁refr esh", + "▁refres h", + "▁ refresh", + "▁fl ip", + "io p", + "i op", + "▁key board", + "is to", + "ist o", + "i sto", + "back s", + "ba cks", + "b acks", + "Enc oding", + "▁ ال", + "▁g min", + "▁follow ers", + "▁p epper", + "um ble", + "umb le", + "▁sp ray", + "▁spr ay", + "▁dr ives", + "▁dri ves", + "▁driv es", + "▁drive s", + "P ush", + "cook ie", + "c ookie", + "▁gel dig", + "▁geld ig", + "ig ung", + "igu ng", + "vis it", + "▁at omic", + "▁atom ic", + "▁ atomic", + "▁A thlet", + "▁Ath let", + "▁Or igin", + "▁Ori gin", + "▁ Origin", + "▁H appy", + "▁att ribut", + "▁n ost", + "▁no st", + "▁nos t", + "▁ nost", + "ur u", + "u ru", + "▁Ne ither", + "▁ma ar", + "ject ions", + "je ctions", + "jection s", + "▁re nov", + "▁ren ov", + "fin ity", + "f inity", + "gener ic", + "init ialize", + "initial ize", + "pgf set", + "▁hyp othes", + "▁ma cro", + "▁mac ro", + "ma ps", + "map s", + "m aps", + "▁f are", + "▁far e", + "▁fa re", + "▁ fare", + "Be st", + "B est", + "uch t", + "uc ht", + "u cht", + "co d", + "c od", + "▁h orm", + "▁hor m", + "▁ho rm", + "▁P oll", + "▁Pol l", + "▁Po ll", + "▁host ing", + "▁Re ading", + "▁Read ing", + "Cert ificate", + "▁и ма", + "▁им а", + "▁C ov", + "▁Co v", + "▁P red", + "▁Pr ed", + "▁Pre d", + "▁ Pred", + "re direct", + "red irect", + "▁l attice", + "▁port folio", + "▁o ven", + "▁ov en", + "▁ oven", + "ie len", + "iel en", + "iele n", + "i elen", + "sub scribe", + "foot note", + "▁mom ento", + "▁moment o", + "▁d ich", + "▁di ch", + "▁dic h", + "▁ent ert", + "▁enter t", + "▁g é", + "▁connect ing", + "▁n acional", + "▁o tt", + "▁ot t", + "▁ ott", + "ні в", + "н ів", + "▁rac ist", + "▁penal ty", + "ül t", + "ü lt", + "▁Israel i", + "▁( †", + "▁ос іб", + "▁b elly", + "▁bel ly", + "▁bell y", + "ні сть", + "▁encounter ed", + "T ip", + "▁gu ilt", + "▁d amp", + "▁da mp", + "▁dam p", + "ze ug", + "▁Mem ory", + "▁ Memory", + "Check ed", + "▁Sh akespeare", + "hi ll", + "h ill", + "▁w oke", + "▁wo ke", + "▁sal ary", + "eth eless", + "ethe less", + "e theless", + "er de", + "erd e", + "▁He in", + "▁g it", + "▁gi t", + "▁ git", + "=\" \"", + "= \"\"", + "ül l", + "ü ll", + "ge ben", + "geb en", + "g eben", + "Pr es", + "Pre s", + "P res", + "iev al", + "i eval", + "mark er", + "mar ker", + "▁oct obre", + "RO L", + "R OL", + "▁jan u", + "▁ja nu", + "▁) :", + "▁ ):", + "br anch", + "▁J erry", + "▁Jer ry", + "ke hr", + "▁contr acts", + "▁contract s", + "▁aff air", + "ja ck", + "j ack", + "AN G", + "A NG", + "▁dro pping", + "▁drop ping", + "▁d ic", + "▁di c", + "sch ool", + "▁Fin land", + "▁d ort", + "▁do rt", + "▁K ings", + "▁King s", + "▁Kin gs", + "▁Arg ument", + "▁ Argument", + "▁Sim ilarly", + "▁Similar ly", + "▁V erm", + "▁Ver m", + "▁Ve rm", + "▁pret end", + "! _", + "łu g", + "ł ug", + "же ння", + "жен ня", + "da ting", + "dat ing", + "d ating", + "cs v", + "c sv", + "▁dialog ue", + "▁dial ogue", + "STR U", + "▁public ly", + "wed ge", + "w edge", + "▁H och", + "▁Ho ch", + "▁spe aks", + "▁speak s", + "▁compens ation", + "an ca", + "anc a", + "text tt", + "▁Fil ter", + "▁ Filter", + "▁part ly", + "▁us eless", + "▁use less", + "▁d eter", + "▁de ter", + "▁det er", + "IE W", + "▁con secut", + "▁cons ecut", + "▁conse cut", + "▁h oly", + "▁hol y", + "▁ho ly", + "▁grad uated", + "▁graduate d", + "an dal", + "and al", + "anda l", + "ți e", + "ț ie", + "▁W ant", + "▁Wa nt", + "▁Aust ria", + "or den", + "ord en", + "fr ag", + "f rag", + "▁f oo", + "▁fo o", + "▁ foo", + "cl aimed", + "claim ed", + "▁no table", + "▁journal ist", + "▁M ail", + "▁Ma il", + "▁Mai l", + "▁ Mail", + "!( \"", + "! (\"", + "ps e", + "p se", + "▁C lay", + "▁Cl ay", + "iv i", + "i vi", + "▁sc ales", + "▁scale s", + "▁scal es", + "▁er ste", + "▁erst e", + "▁ers te", + "Data Type", + "▁D iam", + "▁Di am", + "í r", + "loc ale", + "local e", + "▁rel uct", + "ien st", + "iens t", + "ast ro", + "astr o", + "act ly", + "▁Vill age", + "▁Villa ge", + "▁Vil lage", + "▁d aughters", + "▁daughter s", + "▁manufact urers", + "▁manufacturer s", + "▁print ing", + "▁prin ting", + "Nd Ex", + "Ch anges", + "Change s", + "▁/ ******/", + "ver tex", + "vert ex", + "▁b rows", + "▁br ows", + "▁bro ws", + "▁brow s", + "▁K ö", + "not ations", + "notation s", + "▁i ls", + "▁il s", + "▁ ils", + "at el", + "ate l", + "C ir", + "▁meaning ful", + "q a", + "▁C old", + "▁Col d", + "▁Co ld", + "ue to", + "u eto", + "you r", + "yo ur", + "y our", + "m f", + "▁Ü ber", + "▁fam ilia", + "▁famil ia", + "▁ste ep", + "▁pres idential", + "▁president ial", + "▁presid ential", + "▁z á", + "▁ zá", + "▁w ars", + "▁war s", + "▁wa rs", + "▁C re", + "▁Cr e", + "▁after wards", + "▁afterward s", + "ha lb", + "hal b", + "▁strugg led", + "▁struggle d", + "Ch art", + "Char t", + "User Id", + "ac ular", + "a cular", + "iv ia", + "ivi a", + "i via", + "▁u gly", + "▁K unst", + "E s", + "▁Q String", + "▁C ow", + "▁Co w", + "Rad ius", + "▁Gr iff", + "▁V as", + "▁Va s", + "HA L", + "H AL", + "Mod ified", + "ra le", + "ral e", + "r ale", + "mem cpy", + "▁r s", + "▁ rs", + "▁h alt", + "▁ha lt", + "▁hal t", + "▁ halt", + "▁Miss iss", + "▁h uvud", + "ec a", + "e ca", + "▁Jahrhund ert", + "E urope", + "Sign ature", + "▁grand father", + "▁O regon", + "gu e", + "g ue", + "xy gen", + "fr ames", + "frame s", + "▁hab its", + "▁ha bits", + "▁habit s", + "Support ed", + "Supp orted", + "▁low ered", + "▁lower ed", + "▁rad iation", + "▁radi ation", + "ab en", + "abe n", + "a ben", + "▁Pro gress", + "▁ Progress", + "▁C osta", + "▁Co sta", + "▁Cost a", + "▁Cos ta", + "▁dev oted", + "▁gest ure", + "▁Dez ember", + "▁qu oted", + "▁quote d", + "▁quot ed", + "▁difficult ies", + "▁sustain able", + "▁d ense", + "▁den se", + "▁dens e", + "▁ih rer", + "▁ihr er", + "▁ihre r", + "▁firm ly", + "â t", + "om ent", + "ome nt", + "omen t", + "o ment", + "▁c out", + "▁co ut", + "▁cou t", + "▁ cout", + "▁p oi", + "▁po i", + "d jango", + "▁pro found", + "▁prof ound", + "▁Wil helm", + "▁fl ush", + "▁flu sh", + "▁ flush", + "▁av ril", + "LA B", + "L AB", + "▁B row", + "▁Br ow", + "▁Bro w", + "▁pro pose", + "▁prop ose", + "▁propos e", + "▁r anks", + "▁ran ks", + "▁rank s", + "WI D", + "W ID", + "▁mut ual", + "▁text s", + "▁tex ts", + "▁S ale", + "▁Sal e", + "▁Sa le", + "▁qu asi", + "▁n og", + "▁no g", + "▁ nog", + "▁nouve au", + "▁c v", + "▁ cv", + "▁no ble", + "▁nob le", + "▁dé cembre", + "▁déc embre", + "▁cl ever", + "▁cle ver", + "▁P ir", + "▁Pi r", + "▁graph ics", + "▁graphic s", + "▁ graphics", + "▁G R", + "▁ GR", + "▁s ag", + "▁sa g", + "ict ions", + "iction s", + "i ctions", + "na nt", + "nan t", + "n ant", + "▁th é", + "C G", + "▁Jac ques", + "W M", + "▁F inn", + "▁Fin n", + "▁Fi nn", + "▁dev ast", + "▁En tre", + "▁Ent re", + "▁fl uct", + "▁flu ct", + "▁Sc iences", + "▁Sci ences", + "▁Science s", + "path s", + "pat hs", + "▁sh orter", + "▁short er", + "▁suggest ion", + "ER Y", + "▁D ire", + "▁Di re", + "▁Dir e", + "at eurs", + "ate urs", + "ateur s", + "▁round ed", + "▁t art", + "▁tar t", + "▁ta rt", + "up er", + "u per", + "▁secret s", + "▁sec rets", + "▁secre ts", + "▁compan ion", + "▁K EY", + "▁ KEY", + "T ile", + "▁B ibli", + "x s", + "▁ang ular", + "▁ angular", + "pa g", + "p ag", + "er ness", + "ern ess", + "erne ss", + "▁S orry", + "▁Sor ry", + "▁ Sorry", + "▁pre diction", + "▁predict ion", + "▁pred iction", + "▁M aking", + "▁Ma king", + "▁Mak ing", + "ol are", + "ola re", + "olar e", + "rp c", + "r pc", + "▁t ens", + "▁te ns", + "▁ten s", + "en as", + "ena s", + "e nas", + "▁Re ally", + "▁Real ly", + "H I", + "port al", + "por tal", + "▁for me", + "▁form e", + "gan g", + "ga ng", + "g ang", + "▁l ane", + "▁la ne", + "▁lan e", + "▁ lane", + "▁s tag", + "▁st ag", + "▁sta g", + "▁Mar x", + "▁Ma rx", + "▁L LC", + "▁LL C", + "▁d are", + "▁da re", + "▁dar e", + "▁Olymp ic", + "▁p ant", + "▁pan t", + "▁pa nt", + "build ing", + "; ;", + "▁c ops", + "▁co ps", + "▁cop s", + "▁r ushed", + "▁rush ed", + "▁rus hed", + "▁L ot", + "▁Lo t", + "▁init iative", + "▁initi ative", + "▁inv ite", + "▁Saf ety", + "▁Safe ty", + "FA ILED", + "FAIL ED", + "▁habit ants", + "en sen", + "ens en", + "ense n", + "▁l ég", + "▁W elcome", + "▁Wel come", + "Valid ate", + "▁qu atre", + "▁G ray", + "▁Gr ay", + "▁Gra y", + "▁E ve", + "▁Ev e", + "▁C omb", + "▁Com b", + "▁Co mb", + "▁ Comb", + "▁p endant", + "a qu", + "con figure", + "config ure", + "▁A dm", + "▁Ad m", + "▁rif le", + "▁Exper ience", + "Decl aration", + "▁å r", + "▁ år", + "os pel", + "osp el", + "▁A rena", + "▁Ar ena", + "▁Are na", + "▁bo ards", + "▁board s", + "▁ boards", + "▁pur ple", + "▁p ills", + "▁pil ls", + "▁pill s", + "ueto oth", + "li que", + "l ique", + "▁pop ulations", + "▁population s", + "▁popul ations", + "▁acc ent", + "▁ac cent", + "▁r anges", + "▁range s", + "▁ran ges", + "▁rang es", + "▁Anal ysis", + "▁ Analysis", + "▁d ictionary", + "▁Dr agon", + "▁Drag on", + "re ction", + "rect ion", + "r ection", + "▁vis itor", + "▁visit or", + "seg ment", + "▁F uck", + "▁Fu ck", + "▁ident ification", + "Class Name", + "boot strap", + "▁sur faces", + "▁surface s", + "▁surf aces", + "▁scream ing", + "кт у", + "к ту", + "pl ain", + "sh adow", + "incl udes", + "include s", + "▁j azz", + "▁ja zz", + "▁á l", + "▁ ál", + "ri ka", + "rik a", + "r ika", + "ho p", + "h op", + "▁i on", + "▁io n", + "▁ ion", + "vr e", + "v re", + "▁newsp apers", + "▁newspaper s", + "▁i hn", + "▁ih n", + "▁P arse", + "▁Par se", + "▁Pars e", + "▁ Parse", + "▁strict ly", + "▁re covered", + "▁recover ed", + "▁U na", + "▁Un a", + "▁err e", + "▁er re", + "▁ erre", + "iss ues", + "issue s", + "▁exp ense", + "▁do nc", + "▁don c", + "Bi n", + "B in", + "▁Com ment", + "▁Comm ent", + "▁ Comment", + "▁sac rifice", + "▁sacrific e", + "T uple", + "() [", + "( )[", + "▁tra vers", + "▁trav ers", + "Im p", + "I mp", + "J e", + "▁Lin ux", + "▁P i", + "▁ Pi", + "▁cur ios", + "▁cu rios", + "▁r age", + "▁rag e", + "▁ra ge", + "▁ rage", + "▁e scal", + "▁es cal", + "▁esc al", + "▁al ignment", + "▁align ment", + "▁pent ru", + "▁cur r", + "▁cu rr", + "▁ curr", + "▁b este", + "▁be ste", + "▁best e", + "▁bes te", + "[] ,", + "[ ],", + "▁// !", + "H ub", + "Vis ibility", + "▁A sk", + "▁As k", + "ab ul", + "a bul", + "co lon", + "col on", + "colo n", + "▁D ays", + "▁Day s", + "▁Da ys", + "Aut hentication", + "ві т", + "▁l od", + "▁lo d", + "xF C", + "x FC", + "Look up", + "js ce", + "Al pha", + "▁harm ony", + "▁harmon y", + "▁W ard", + "▁War d", + "▁Wa rd", + "trans fer", + "▁H orn", + "▁Hor n", + "▁Ho rn", + "▁s d", + "▁ sd", + "so ap", + "▁z ich", + "▁Con sole", + "▁Cons ole", + "▁ Console", + "▁ко ли", + "▁Ph one", + "▁ Phone", + "pa per", + "p aper", + "▁z m", + "▁ zm", + "Do ne", + "Don e", + "D one", + "ph ase", + "pha se", + "phas e", + "▁Jul ia", + "▁Ju lia", + "▁Juli a", + "▁ed ited", + "▁edit ed", + "af fe", + "aff e", + "Sy ntax", + "yl l", + "y ll", + "▁Lu cas", + "▁Luc as", + "▁and eren", + "▁andere n", + "▁ander en", + "[ <", + "▁Data base", + "▁Dat abase", + "▁ Database", + "▁spect ral", + "▁spectra l", + "ass ador", + "ска та", + "с ката", + "▁import ante", + "▁important e", + "t z", + "▁s tere", + "▁st ere", + "▁ste re", + "▁ster e", + "▁m elt", + "▁me lt", + "▁mel t", + "▁C row", + "▁Cr ow", + "▁Cro w", + "it utes", + "itut es", + "itute s", + "itu tes", + "▁satisf ies", + "▁L iga", + "▁Li ga", + "▁t omb", + "▁to mb", + "▁tom b", + "▁f ühr", + "▁ führ", + "▁sol ely", + "▁sole ly", + "▁E ither", + "▁t ennis", + "▁ten nis", + "▁s igh", + "▁si gh", + "▁sig h", + "ser de", + "s erde", + "ub a", + "u ba", + "ę d", + "le z", + "l ez", + "Fac t", + "F act", + "▁sque ez", + "▁Thom pson", + "▁N L", + "▁ NL", + "▁P ara", + "▁Par a", + "▁Pa ra", + "▁? ?", + "▁ ??", + "She et", + "S heet", + "LIN K", + "L INK", + "▁l over", + "▁lo ver", + "▁love r", + "▁lov er", + "m achine", + "▁L esser", + "▁Les ser", + "▁Less er", + "▁pain tings", + "▁assum ptions", + "▁assumption s", + "▁mod ification", + "fr e", + "f re", + "▁U lt", + "▁Ul t", + "▁A F", + "▁ AF", + "R V", + "bin ding", + "bind ing", + "b inding", + "▁toile t", + "ra r", + "r ar", + "▁an ge", + "▁ang e", + "▁ ange", + "▁she ep", + "PRO TO", + "act ic", + "a ctic", + "▁S peed", + "▁Sp eed", + "▁Spe ed", + "▁ Speed", + "▁I ce", + "gn u", + "g nu", + "ow ned", + "own ed", + "Sub scription", + "yr ics", + "y rics", + "▁back ward", + ">\" .", + "> \".", + "pi t", + "p it", + "▁real istic", + "öff ent", + "az i", + "a zi", + "DE R", + "D ER", + "b ucket", + "én y", + "é ny", + "xF E", + "x FE", + "▁f ancy", + "▁fan cy", + "ex cept", + "▁S ul", + "▁Su l", + "▁l aser", + "▁la ser", + "▁las er", + "Mon itor", + "▁c omic", + "▁com ic", + "▁co mic", + "▁Arch itect", + "▁ex pr", + "▁exp r", + "▁ expr", + "ount ers", + "oun ters", + "ounter s", + "com plex", + "comp lex", + "'. $", + "' .$", + "omo t", + "o mot", + "▁M enu", + "▁Me nu", + "▁Men u", + "▁ Menu", + "astic search", + "▁ed iting", + "▁edit ing", + "Pre sent", + "Pres ent", + "P resent", + "op les", + "ople s", + "opl es", + "o ples", + "è ncia", + "gl ise", + "she et", + "s heet", + "▁he lic", + "▁hel ic", + "▁str anger", + "▁strange r", + "▁strang er", + "▁ exec", + "FE R", + "F ER", + "in ian", + "ini an", + "SET TING", + "▁M ix", + "▁Mi x", + "▁ Mix", + "▁com plain", + "▁compl ain", + "▁in crement", + "▁incre ment", + "CS S", + "C SS", + "mm a", + "m ma", + "sl ide", + "▁проти в", + "▁Lim ited", + "Con sole", + "Cons ole", + "▁eng aging", + "ul er", + "ule r", + "u ler", + "▁O ptions", + "▁Option s", + "▁Opt ions", + "▁ Options", + "▁l ens", + "▁le ns", + "▁len s", + "Ma il", + "M ail", + "▁bar rier", + "▁barr ier", + "trans port", + "▁c ups", + "▁cu ps", + "▁cup s", + "it err", + "ite rr", + "iter r", + "▁const ants", + "▁constant s", + "▁ constants", + "▁T ech", + "▁Te ch", + "iz io", + "izi o", + "▁Sw eden", + "at hon", + "ath on", + "a thon", + "▁M agn", + "▁Mag n", + "▁Ma gn", + "trans ition", + "es k", + "e sk", + "So ft", + "S oft", + "fun ctions", + "function s", + "ne a", + "n ea", + "Im plement", + "Impl ement", + "Imp lement", + "ev ery", + "ever y", + "eve ry", + "e very", + "▁Man ufact", + "▁improve ments", + "▁improvement s", + "▁Ind iana", + "▁India na", + "▁Indian a", + "▁host s", + "▁ho sts", + "C V", + "We st", + "W est", + "to wn", + "t own", + "can vas", + "▁Col umn", + "▁ Column", + "▁Par ker", + "▁Park er", + "▁es pa", + "▁esp a", + "▁Pub lish", + "av is", + "avi s", + "a vis", + "▁Z w", + "▁emphas is", + "ol v", + "o lv", + "▁re curs", + "▁rec urs", + "▁recur s", + "it aire", + "ita ire", + "▁Bi shop", + "▁Bis hop", + "ne ro", + "ner o", + "n ero", + "▁d eny", + "▁de ny", + "▁den y", + "peon ato", + "▁C ourse", + "▁Cour se", + "▁Que ens", + "▁Queen s", + "▁bl ur", + "el ed", + "ele d", + "e led", + "iz o", + "i zo", + "▁dé but", + "▁Mod ule", + "▁Mo dule", + "▁ Module", + "▁anx ious", + "▁st are", + "▁star e", + "▁sta re", + "▁Pro position", + "▁i c", + "▁ ic", + "Per cent", + "Qu ant", + "▁h ex", + "▁he x", + "▁ hex", + "ass oci", + "asso ci", + "▁arrang ement", + "▁arrange ment", + "▁bo ats", + "▁boat s", + "Un d", + "U nd", + "▁sl ots", + "▁slot s", + "necess ary", + "▁app earing", + "▁appe aring", + "▁appear ing", + "▁R ule", + "▁Ru le", + "▁ Rule", + "▁G T", + "▁ GT", + "For ce", + "et to", + "ett o", + "e tto", + "ze nia", + "zen ia", + "▁o uts", + "▁out s", + "▁ou ts", + "▁ outs", + "▁vari ations", + "▁variation s", + "▁wh ites", + "▁white s", + "▁g lo", + "▁gl o", + "▁B R", + "▁ BR", + "ic ky", + "ick y", + "▁j ury", + "▁ju ry", + "▁jur y", + "▁treat ments", + "▁treatment s", + "▁The ater", + "▁pro files", + "▁prof iles", + "▁profile s", + "▁con spir", + "▁class room", + "▁B ass", + "▁Bas s", + "▁Ba ss", + "▁law yers", + "▁lawyer s", + "v ue", + "▁A rc", + "▁Ar c", + "▁ Arc", + "▁s la", + "▁sl a", + "▁att ending", + "▁attend ing", + "n x", + "m x", + "TO P", + "T OP", + "▁b ored", + "▁bo red", + "▁bore d", + "▁bor ed", + "pre vious", + "prev ious", + "r w", + "pt ic", + "љ у", + "▁app ar", + "▁ap par", + "▁P ont", + "▁Po nt", + ": _", + "ii i", + "i ii", + "▁j erk", + "▁jer k", + "▁Pr ize", + "▁Pri ze", + "▁hand les", + "▁handle s", + "▁j ak", + "▁ja k", + "▁Afghan istan", + "▁b oring", + "▁bo ring", + "▁bor ing", + "if ik", + "ifi k", + "▁sh ade", + "▁sha de", + "air o", + "ai ro", + "a iro", + "od ay", + "oda y", + "o day", + "▁pl ates", + "▁plate s", + "▁plat es", + "▁Champion ships", + "▁che eks", + "▁cheek s", + "ri ke", + "rik e", + "r ike", + "▁kön nen", + "▁app le", + "▁ap ple", + "▁appl e", + "▁ apple", + "▁Ed die", + "▁Edd ie", + "▁s od", + "▁so d", + "pan ic", + "pa nic", + "▁Ad vent", + "▁Adv ent", + "ub re", + "u bre", + "▁d å", + "▁S ymbol", + "▁Sym bol", + "▁ Symbol", + "Sa m", + "S am", + "inher it", + "cam era", + "▁c ours", + "▁co urs", + "▁cour s", + "▁cou rs", + "▁make up", + "re gex", + "reg ex", + "▁U E", + "▁ UE", + "▁Det roit", + "▁W eight", + "▁We ight", + "▁ Weight", + "▁P iet", + "▁Pi et", + "▁a ria", + "▁ar ia", + "▁ aria", + "DI RECT", + "DIR ECT", + "ace ae", + "▁In fo", + "▁Inf o", + "▁ Info", + "an ya", + "any a", + "back end", + "▁T ennessee", + "pi cker", + "pic ker", + "pick er", + "p icker", + "▁Le o", + "▁P oss", + "▁Po ss", + "▁Pos s", + "pr ises", + "prise s", + "▁m ature", + "▁mat ure", + "сь ких", + "▁F ant", + "▁Fa nt", + "Re ason", + "▁m oy", + "▁mo y", + "▁B aker", + "▁Ba ker", + "▁Bak er", + "▁sub set", + "▁subs et", + "▁ subset", + "▁Stan ley", + "▁el even", + "▁ele ven", + "▁elev en", + "ol ate", + "ola te", + "o late", + "▁fort une", + "Status Code", + "▁ent ities", + "▁ entities", + "▁Ok ay", + "▁ Okay", + "an os", + "ano s", + "a nos", + "rel ative", + "▁order ing", + "▁ord ering", + "▁No body", + "▁Nob ody", + "▁str len", + "▁ strlen", + "▁r ope", + "▁ro pe", + "▁cig arette", + "hol ds", + "hold s", + "h olds", + "ir able", + "ira ble", + "value Of", + "St ub", + "▁phot ography", + "▁photograph y", + "es tra", + "est ra", + "estr a", + "e stra", + "▁cult ures", + "▁culture s", + "▁decl aration", + "▁declar ation", + "LI ED", + "au te", + "aut e", + "a ute", + "al ter", + "alt er", + "Sub mit", + "▁Mag ic", + "▁r hythm", + "Pay ment", + "ni h", + "n ih", + "▁inter section", + "l é", + "EN TRY", + "/ )", + "▁m og", + "▁mo g", + "ru st", + "rus t", + "r ust", + "▁threat s", + "ap or", + "a por", + "▁s igu", + "▁si gu", + "▁sig u", + "set minus", + "▁I ng", + "▁In g", + "st ation", + "stat ion", + "T ake", + "▁s hed", + "▁sh ed", + "▁she d", + "▁Fr ancia", + "▁Franc ia", + "▁Fra ncia", + "▁Fran cia", + "pos ts", + "po sts", + "post s", + "Mar ker", + "Mark er", + "Lower Case", + "▁be find", + "▁bef ind", + "▁Cz ech", + "ícul a", + "▁Per formance", + "▁W es", + "▁We s", + "▁L arry", + "▁Lar ry", + "▁o st", + "▁os t", + "▁ ost", + "▁em ails", + "▁email s", + "▁Re lease", + "▁ Release", + "▁ad apter", + "▁adapt er", + "▁ adapter", + "▁pad re", + "ac io", + "aci o", + "a cio", + "▁gen etic", + "▁ge netic", + "▁U nd", + "▁Un d", + "▁ Und", + "▁accept ance", + "▁Girl s", + "▁Gir ls", + "comp iler", + "compile r", + "su n", + "s un", + "▁whe els", + "▁wheel s", + "▁thorough ly", + "gr und", + "gru nd", + "g rund", + "unct ion", + "▁e lla", + "▁el la", + "▁ell a", + "▁ ella", + "X FF", + "ug s", + "u gs", + "ient os", + "ien tos", + "iento s", + "▁D M", + "▁ DM", + "▁polit ique", + "▁campaign s", + "▁Tok yo", + "KERN EL", + "pd ata", + "p data", + "▁lap top", + "▁lapt op", + "▁v ál", + "▁vá l", + "▁f ou", + "▁fo u", + "or b", + "o rb", + "▁T ower", + "▁To wer", + "▁Tow er", + "▁Get ting", + "▁cor ners", + "▁corner s", + "▁corn ers", + "pl ess", + "ple ss", + "ples s", + "p less", + "▁special ist", + "▁i v", + "▁ iv", + "Ui nt", + "U int", + "▁name ly", + "▁nam ely", + "▁sc aling", + "▁scal ing", + "Ext ensions", + "Extension s", + "▁cent ro", + "omorph ism", + "▁dé f", + "), \\", + ") ,\\", + "▁contr ary", + "▁contra ry", + "▁str iking", + "▁stri king", + "▁B ere", + "▁Be re", + "▁Ber e", + "▁fore cast", + "▁z ones", + "▁zone s", + "▁zo nes", + "sm art", + "s mart", + "as hi", + "ash i", + "ri n", + "r in", + "NE W", + "▁sim ulations", + "▁simulation s", + "▁R ather", + "▁Ra ther", + "▁Rat her", + "▁Writ ing", + "▁Wr iting", + "▁$ [", + "▁as sh", + "▁ass h", + "▁f ailing", + "▁fa iling", + "▁fail ing", + "▁man if", + "▁B og", + "▁Bo g", + "▁D ir", + "▁Di r", + "▁ Dir", + "conf irm", + "▁we igh", + "▁in ventory", + "▁invent ory", + "▁a pare", + "▁ap are", + "▁e u", + "▁ eu", + "char acter", + "io m", + "i om", + "▁o rb", + "▁or b", + "▁ orb", + "dev ices", + "device s", + "▁L ED", + "▁LE D", + "▁ LED", + "▁prop ortion", + "▁proport ion", + "▁Hon or", + "▁Ho nor", + "▁appro aching", + "▁approach ing", + "de leg", + "del eg", + "▁B B", + "▁ BB", + "hel pers", + "help ers", + "helper s", + "re pository", + "rep ository", + "▁inhab it", + "▁s ão", + "▁travel ed", + "▁trav eled", + "ne x", + "n ex", + "▁C lin", + "▁Cl in", + "CE PT", + "▁off ense", + "▁in cent", + "▁inc ent", + "ID S", + "I DS", + "▁coeff icients", + "▁coefficient s", + "▁l p", + "▁ lp", + "▁c d", + "▁ cd", + "mu st", + "mus t", + "m ust", + "▁soon er", + "ez e", + "e ze", + "C at", + "ma ker", + "make r", + "m aker", + "▁r anked", + "▁ran ked", + "ful ness", + "▁part ially", + "▁partial ly", + "▁parti ally", + "Pro m", + "Pr om", + "P rom", + "▁Pro bably", + "▁c ached", + "▁cache d", + "▁ca ched", + "▁ cached", + "▁bal anced", + "▁balance d", + "ah oma", + "aho ma", + "▁Mur ray", + "▁a li", + "▁al i", + "▁ ali", + "iv os", + "ivo s", + "▁b ark", + "▁bar k", + "IT EM", + "ITE M", + "▁Kir che", + "▁alloc ated", + "▁allocate d", + "Al t", + "A lt", + "▁am éric", + "íl ia", + "í lia", + "▁c ens", + "▁ce ns", + "▁lic enses", + "▁license s", + "▁ licenses", + "ac z", + "a cz", + "▁G ate", + "▁Ga te", + "▁ Gate", + "▁B L", + "▁ BL", + "▁re public", + "▁rep ublic", + "RO W", + "▁Fil ip", + "▁Ind ivid", + "▁tr ials", + "▁tri als", + "▁trial s", + "/* !", + "▁G P", + "▁ GP", + "ni ka", + "nik a", + "n ika", + "▁ex em", + "▁ad vers", + "▁adv ers", + "um ped", + "ump ed", + "▁Dev ice", + "▁ Device", + "wa ke", + "w ake", + "Ex ec", + "ar ding", + "ard ing", + "ardi ng", + "▁pobl ación", + "▁k een", + "▁ke en", + "▁b itch", + "▁bit ch", + "▁embed ded", + "▁B ond", + "▁Bo nd", + "▁Bon d", + "ri des", + "ride s", + "rid es", + "r ides", + "▁W oman", + "▁Wo man", + "ér é", + "é ré", + "▁Hash Map", + "▁ HashMap", + "▁co unting", + "▁coun ting", + "▁count ing", + "▁Init ial", + "▁ Initial", + "▁ver se", + "▁vers e", + "▁ verse", + "▁Vere in", + ">\" ,", + "> \",", + "▁an th", + "▁ant h", + "▁ anth", + "ci d", + "c id", + "▁h unt", + "▁hun t", + "ci es", + "cie s", + "c ies", + "Pi n", + "P in", + "▁# !", + "sn d", + "s nd", + "▁u k", + "▁ uk", + "▁sw ift", + "▁tempor ada", + "▁environment s", + "▁environ ments", + "claim er", + "eme tery", + "j är", + "Trans port", + "▁A rr", + "▁Ar r", + "▁ Arr", + "▁P aper", + "▁Pa per", + "▁Pap er", + "▁b ew", + "▁be w", + "▁ bew", + "▁har vest", + "▁- ----", + "▁-- ---", + "▁--- --", + "▁ -----", + "product s", + "ident ifier", + "RO OT", + "▁M ak", + "▁Ma k", + "▁App ro", + "▁Ap pro", + "▁ Appro", + "ie ri", + "ier i", + "i eri", + "▁F ly", + "▁Fl y", + "▁is set", + "▁iss et", + "▁ isset", + "▁determ ination", + "▁determin ation", + "Ge ometry", + "▁emer ging", + "sub scription", + "▁R ace", + "▁Ra ce", + "▁Config uration", + "▁ Configuration", + "▁Inter est", + "ist rz", + "istr z", + "▁S han", + "▁Sh an", + "▁Sha n", + "▁P ain", + "▁Pa in", + "CON NE", + "ma jor", + "m ajor", + "▁St ay", + "▁Sta y", + "▁bron ze", + "▁f itting", + "▁fit ting", + "▁J ar", + "▁Ja r", + "mg r", + "m gr", + "▁S har", + "▁Sh ar", + "▁Sha r", + "FL O", + "F LO", + "▁cont acts", + "▁contact s", + "▁f iring", + "▁fi ring", + "▁fir ing", + "▁prof es", + "sk é", + "s ké", + "=\" /", + "an dro", + "and ro", + "▁ens uring", + "iz en", + "ize n", + "i zen", + "ise cond", + "i second", + "ob il", + "obi l", + "o bil", + "▁re ck", + "▁rec k", + "▁ reck", + ")} (", + ") }(", + "bit map", + "▁B run", + "▁Br un", + "▁Bru n", + "▁Jer usalem", + "▁W o", + "▁Republic ans", + "▁Republican s", + "mat ic", + "m atic", + "▁d ock", + "▁do ck", + "▁doc k", + "▁M all", + "▁Mal l", + "▁Ma ll", + "k k", + "▁C OL", + "▁CO L", + "▁ COL", + "▁lat ach", + "UI nt", + "U Int", + "ци ональ", + "цион аль", + "циона ль", + "▁seg ments", + "▁segment s", + "▁re fund", + "▁ref und", + "fa c", + "f ac", + "▁Art icle", + "▁B orn", + "▁Bo rn", + "▁Bor n", + "² .", + "br and", + "bra nd", + "b rand", + "{$ \\", + "{ $\\", + "▁s s", + "▁ ss", + "▁Re sources", + "▁Res ources", + "▁Resource s", + "▁ Resources", + "▁re cycl", + "▁rec ycl", + "▁$ $\\", + "▁$$ \\", + "▁Conne ction", + "▁Connect ion", + "▁ Connection", + "▁imp erial", + "▁imper ial", + "▁pract ically", + "▁practical ly", + "▁– ,", + "▁Dis play", + "▁ Display", + "ier no", + "mo uth", + "m outh", + "ed es", + "ede s", + "e des", + "ba hn", + "b ahn", + "▁C atherine", + "▁high way", + "un ting", + "unt ing", + "▁Any way", + "Sp ell", + "Spe ll", + "▁L iste", + "▁List e", + "▁Li ste", + "▁Lis te", + "▁ret rieve", + "▁retr ieve", + "▁retriev e", + "▁z d", + "▁ zd", + "stra ße", + "▁dom inated", + "▁domin ated", + "to uch", + "t ouch", + "▁m b", + "▁ mb", + "LO NG", + "L ONG", + "as ures", + "asure s", + "TL S", + "T LS", + "▁accompl ished", + "▁accomp lished", + "▁accomplish ed", + "▁f ears", + "▁fe ars", + "▁fear s", + "▁seem ingly", + "▁d ag", + "▁da g", + "▁ dag", + "▁b ureau", + "▁bur eau", + "▁Gro ß", + "▁accord ance", + "ou x", + "o ux", + "▁col onial", + "▁colon ial", + "▁compass ion", + "th umb", + "▁s wo", + "▁sw o", + "on line", + "▁J i", + "▁work shop", + "▁works hop", + "▁l ub", + "▁lu b", + "év rier", + "ш і", + ">\" ;", + "> \";", + "▁gener ous", + "▁gene rous", + "ro us", + "rou s", + "r ous", + "av id", + "avi d", + "a vid", + "▁R aw", + "▁Ra w", + "▁ Raw", + "▁sw ap", + "▁ swap", + "h c", + "java script", + "jav ascript", + "Fact or", + "Fac tor", + "F actor", + "▁gar bage", + "▁Mi cro", + "co u", + "c ou", + "ü ber", + "▁f atal", + "▁fa tal", + "▁fat al", + "▁trans parent", + "▁b earing", + "▁be aring", + "▁bear ing", + "▁celebr ated", + "▁celebrate d", + "VI S", + "V IS", + "▁B M", + "▁ BM", + "▁pr ince", + "▁prin ce", + "to l", + "t ol", + "▁' ", + "\\ \">", + "▁du rant", + "▁dur ant", + "▁vent ure", + "▁F itz", + "▁Fi tz", + "▁C BD", + "▁CB D", + "▁b acking", + "▁back ing", + "▁w are", + "▁war e", + "▁wa re", + "▁ ware", + "ev e", + "e ve", + "O G", + "ed ish", + "edi sh", + "▁Giov anni", + "▁Sh are", + "▁Shar e", + "▁Sha re", + "▁ Share", + "▁rec ipes", + "▁recipe s", + "▁recip es", + "big g", + "bi gg", + "b igg", + "▁minor ity", + "▁na r", + "▁ nar", + "oll ary", + "ollar y", + "▁F E", + "▁ FE", + "sh irt", + "▁redu ces", + "▁reduce s", + "Ch e", + "C he", + "▁NOT E", + "▁NO TE", + "j query", + "▁F low", + "▁Fl ow", + "▁Flo w", + "▁ Flow", + "task s", + "pr event", + "pre vent", + "prev ent", + "it as", + "ita s", + "▁exam ined", + "▁examine d", + "ho n", + "h on", + "▁M ine", + "▁Min e", + "▁Mi ne", + "▁grad ient", + "▁V ien", + "▁Vi en", + "▁b eds", + "▁be ds", + "▁bed s", + "ET H", + "E TH", + "fl at", + "f lat", + "an son", + "ans on", + "▁in tu", + "▁int u", + "▁fl ows", + "▁flo ws", + "▁flow s", + "▁E ine", + "▁Ein e", + "▁aff ection", + "▁af fection", + "▁affect ion", + "▁p orts", + "▁por ts", + "▁port s", + "▁ ports", + "__ .", + "_ _.", + "re po", + "rep o", + "ail and", + "ai land", + "int age", + "inta ge", + "▁Prote ction", + "î t", + "▁[ {", + "▁l amp", + "▁la mp", + "▁benef icial", + "▁Станов ништво", + "▁l ined", + "▁li ned", + "▁line d", + "▁lin ed", + "▁ lined", + "▁Ex change", + "▁f itted", + "▁fit ted", + "▁v erk", + "▁ver k", + "▁focus es", + "vo d", + "v od", + "▁Car lo", + "▁Carl o", + "ain ted", + "aint ed", + "ainte d", + "a inted", + "▁r ape", + "▁rap e", + "▁ra pe", + "▁t ogg", + "▁to gg", + "ac ker", + "ack er", + "a cker", + "T w", + "ra h", + "r ah", + "trans l", + "▁je alous", + "▁re pository", + "▁rep ository", + "▁ repository", + "re marks", + "rem arks", + "remark s", + "▁i e", + "▁ ie", + "í d", + "▁sk ull", + "() ]", + "( )]", + "ri en", + "rie n", + "r ien", + "? (", + "▁K ids", + "▁Ki ds", + "▁Kid s", + "▁sw itched", + "▁switch ed", + "▁G ew", + "▁Ge w", + "▁be ef", + "▁Coll ins", + "▁V illa", + "▁Vill a", + "▁Vi lla", + "▁Vil la", + "▁z ona", + "▁zo na", + "▁n eu", + "▁ne u", + "▁х удо", + "▁oper ational", + "▁operation al", + "ON LY", + "▁h ockey", + "▁ś wi", + "ö k", + "Sl ice", + "Ref resh", + "▁n uts", + "▁nu ts", + "▁nut s", + "sa y", + "s ay", + "▁le aning", + "▁lean ing", + "▁H aus", + "▁Ha us", + "▁o ral", + "▁or al", + "▁ oral", + "▁ Ž", + "▁Sup pose", + "▁Supp ose", + "▁ess ence", + "EN TER", + "ENT ER", + "B ucket", + "▁C ant", + "▁Can t", + "▁Ca nt", + "▁N azi", + "▁Na zi", + "▁Naz i", + "ш ти", + "▁Vol ume", + "▁ Volume", + "▁wor thy", + "▁worth y", + "▁ worthy", + "B u", + "Ent ries", + "on ie", + "oni e", + "o nie", + "▁h ood", + "▁ho od", + "▁ hood", + "▁emp ire", + "▁dé velop", + "▁p robe", + "▁pro be", + "▁pr obe", + "▁prob e", + "▁ probe", + "▁K night", + "▁Kn ight", + "▁peace ful", + "hu b", + "h ub", + "▁ál bum", + "su it", + "s uit", + "▁sil k", + "+ =", + "▁p ione", + "▁pi one", + "' \"", + "▁N ull", + "▁Nu ll", + "▁ Null", + "Label s", + "au tres", + "aut res", + "autre s", + "to LowerCase", + "▁b uzz", + "▁bu zz", + "▁w ashed", + "▁was hed", + "▁wash ed", + "' *", + "itzer land", + "▁r amp", + "▁ra mp", + "▁ram p", + "▁k un", + "col ors", + "color s", + "colo rs", + "▁vacc ine", + "an imation", + "anim ation", + "▁Just in", + "mem set", + "▁cens us", + "in fl", + "inf l", + "▁statist ical", + "▁trop ical", + "Dis abled", + "Disable d", + "\r \r", + "▁Cra ig", + "Page s", + "Pag es", + "P ages", + "▁mag az", + "▁comput ing", + "▁flo ors", + "▁floor s", + "oin e", + "oi ne", + "o ine", + "▁tit olo", + "▁an ci", + "▁anc i", + "▁Indust ry", + "Bo ot", + "B oot", + "Cl ip", + "▁d v", + "▁ dv", + "▁met all", + "▁metal l", + "▁meta ll", + "▁Is abel", + "▁Isa bel", + "▁look up", + "▁ lookup", + "▁car ries", + "f u", + "tp l", + "t pl", + "pe rp", + "per p", + "▁St orm", + "▁Sto rm", + "eh icle", + "▁S even", + "▁Se ven", + "▁Sev en", + "љ а", + "▁l ut", + "▁lu t", + "th reshold", + "▁d ull", + "▁du ll", + "▁E ND", + "▁EN D", + "▁ END", + "▁O tto", + "▁Ot to", + "▁Ott o", + "▁there by", + "TE MP", + "T EMP", + "▁S cal", + "▁Sc al", + "▁ Scal", + "Com put", + "Comp ut", + "ip v", + "i pv", + "▁ins ane", + "▁myster ious", + "▁M is", + "▁Mi s", + "uch ar", + "uc har", + "u char", + "as ma", + "asm a", + "au ch", + "auc h", + "a uch", + "ne tt", + "net t", + "n ett", + "El em", + "E lem", + "de rive", + "der ive", + "▁murder ed", + "ak ten", + "akt en", + "akte n", + "▁a nos", + "▁an os", + "▁ano s", + "▁ anos", + "}} ^", + "} }^", + "▁F uß", + "▁Fu ß", + "▁S ister", + "▁Si ster", + "▁volunte er", + ":: _", + ": :_", + "er ta", + "ert a", + "og rá", + "▁Im Gui", + "sa me", + "sam e", + "s ame", + "Sh adow", + "▁re actions", + "▁reaction s", + "▁react ions", + "▁purch asing", + "PRE FIX", + "▁emb od", + "▁alt ogether", + "▁prom oting", + "▁promot ing", + "U V", + "▁ind uced", + "▁indu ced", + "▁eer ste", + "▁eerst e", + "Li fe", + "Lif e", + "L ife", + "hd d", + "h dd", + "ní ch", + "▁c hill", + "▁ch ill", + "▁chi ll", + "RG B", + "R GB", + "red uce", + "redu ce", + "FR OM", + "F ROM", + "dir name", + "▁t une", + "▁tu ne", + "▁tun e", + "▁r ay", + "▁ra y", + "▁ ray", + "T D", + "▁к ъ", + "▁Febru ar", + "▁suspend ed", + "▁susp ended", + "▁u pp", + "▁up p", + "▁ upp", + "er i", + "e ri", + "pr eter", + "pre ter", + "pret er", + "▁E R", + "▁ ER", + "▁c atal", + "▁cat al", + "▁ca tal", + "▁h iring", + "▁hi ring", + "▁п ів", + "▁пі в", + "▁Olymp ics", + "▁Olympic s", + "da le", + "dal e", + "d ale", + ":: {", + ": :{", + "▁expl oring", + "▁explo ring", + "▁univers ities", + "Class es", + "▁C ool", + "▁Co ol", + "th al", + "tha l", + "t hal", + "▁es crit", + "▁esc rit", + "▁cor ruption", + "▁corrupt ion", + "az ar", + "aza r", + "▁N eb", + "▁Ne b", + "▁Py thon", + "▁c him", + "▁ch im", + "▁chi m", + "▁cap ability", + "cy cl", + "c ycl", + "▁re try", + "▁r etry", + "▁ret ry", + "▁retr y", + "▁ retry", + "++ ]", + "▁t oy", + "▁to y", + "▁T erry", + "▁Ter ry", + "▁Terr y", + "View ById", + "▁v ine", + "▁vi ne", + "▁vin e", + "▁Kit chen", + "▁B iden", + "▁Bi den", + "Back end", + "gl ich", + "g lich", + "re lation", + "rel ation", + "▁rat ings", + "▁ra tings", + "▁rating s", + "Execut or", + "ibr ation", + ">( )", + "> ()", + "▁he al", + "if iable", + "ifi able", + "par k", + "p ark", + "▁P ete", + "▁Pe te", + "▁Pet e", + "▁tr aged", + "▁tra ged", + "▁trag ed", + "▁ch uck", + "▁wire less", + "▁wir eless", + "Re place", + "Rep lace", + "IR Q", + "i ß", + "▁j unto", + "▁jun to", + "Lo w", + "L ow", + "▁s id", + "▁si d", + "▁ sid", + "Tag Helpers", + "TagHelper s", + "▁comp aring", + "▁compar ing", + "▁c elle", + "▁cell e", + "▁ce lle", + "▁cel le", + "▁obt aining", + "▁obtain ing", + "▁qu ar", + "▁q uar", + "Br o", + "B ro", + "▁E C", + "▁ EC", + "in ea", + "ine a", + "i nea", + "▁F ue", + "▁Fu e", + "▁Prince ss", + "▁Prin cess", + "ij o", + "i jo", + "ge ns", + "gen s", + "g ens", + "PO L", + "P OL", + "è tres", + "▁h ind", + "▁hi nd", + "▁ hind", + "Var iant", + "Vari ant", + "▁rece ives", + "▁receive s", + "go d", + "g od", + "ik en", + "ike n", + "i ken", + "na il", + "n ail", + "▁amer ican", + "▁ american", + "br as", + "bra s", + "b ras", + "(' \\", + "( '\\", + "ie ce", + "if ference", + "iffer ence", + "iffe rence", + "▁b ubble", + "▁bub ble", + "▁B ear", + "▁Be ar", + "un ivers", + "uni vers", + "▁demand ing", + "sa ved", + "save d", + "s aved", + "▁cred entials", + "MS M", + "M SM", + "▁struct ural", + "Con s", + "Co ns", + "C ons", + "▁Way ne", + "▁blank et", + "▁re pet", + "▁rep et", + "▁repe t", + "Ne g", + "N eg", + "▁exclusive ly", + "▁exclus ively", + "IF I", + "I FI", + "▁arg uing", + "▁Re pub", + "▁Rep ub", + "▁f rowned", + "▁fr owned", + "Met ric", + "M etric", + "sk im", + "ski m", + "s kim", + "▁rele ases", + "▁release s", + "▁t ast", + "▁ta st", + "▁p reference", + "▁pre ference", + "▁prefer ence", + "▁S üd", + "▁Sü d", + "oc c", + "o cc", + "▁r x", + "▁ rx", + "activ ate", + "cl am", + "c lam", + "▁Sud denly", + "▁cr ushing", + "▁crush ing", + "▁L ower", + "▁Lo wer", + "▁Low er", + "▁ Lower", + "ei ng", + "e ing", + "wa lt", + "wal t", + "w alt", + "▁m ö", + "la gen", + "lag en", + "lage n", + "l agen", + "▁co aching", + "▁coach ing", + "▁bas ement", + "▁base ment", + "▁F IX", + "▁FI X", + "▁ FIX", + "Te le", + "T ele", + "With out", + "▁Com mons", + "▁Comm ons", + "▁Common s", + "h box", + "fl ash", + "▁por tal", + "▁port al", + "▁ portal", + "ot ype", + "o type", + "▁S or", + "▁So r", + "▁trou bles", + "▁trouble s", + "ar si", + "ars i", + "CA M", + "C AM", + "▁de notes", + "▁den otes", + "▁denote s", + "LA NG", + "LAN G", + "L ANG", + "▁Be yond", + "▁Bey ond", + "▁Bo wl", + "▁Bow l", + "▁import antly", + "▁important ly", + "▁W R", + "▁ WR", + "▁rel ating", + "▁a nder", + "▁and er", + "▁an der", + "▁ ander", + "▁gr inned", + "▁grin ned", + "▁D ak", + "▁Da k", + "▁Brook lyn", + "▁d p", + "▁ dp", + "▁P oly", + "▁Pol y", + "▁Po ly", + "▁ Poly", + "▁Sch ul", + "▁B uffer", + "▁Buff er", + "▁ Buffer", + "▁h older", + "▁hold er", + "▁hol der", + "▁ holder", + "IC AL", + "I CAL", + "▁tra iler", + "▁trail er", + "er ek", + "ere k", + "e rek", + "▁n ě", + "▁ ně", + "sh aped", + "shape d", + "sha ped", + ": `", + "▁de code", + "▁dec ode", + "▁ decode", + "▁co unted", + "▁coun ted", + "▁count ed", + "▁v amp", + "▁va mp", + "▁re late", + "▁rel ate", + "▁M ason", + "▁Ma son", + "▁Mas on", + "▁Kent ucky", + "▁Jenn ifer", + "▁mat rices", + "Cal endar", + "st s", + "s ts", + "Ass oci", + "▁f orum", + "▁for um", + "▁fo rum", + "▁s phere", + "▁sp here", + "▁spher e", + "▁S EO", + "▁SE O", + "pop up", + "▁Current ly", + "CL E", + "C LE", + "▁vol unt", + "▁stell ar", + "for all", + "Is s", + "I ss", + "im et", + "ime t", + "i met", + "q p", + "la test", + "lat est", + "late st", + "▁config ured", + "▁configure d", + "ab ol", + "a bol", + "ig ent", + "igen t", + "ige nt", + "i gent", + "▁delay ed", + "▁g ing", + "▁gi ng", + "▁ ging", + "▁s cent", + "▁sc ent", + "▁scen t", + "▁disg ust", + "▁disgu st", + "he sis", + "hes is", + "h esis", + "im en", + "ime n", + "i men", + "ul as", + "ula s", + "u las", + "um ing", + "umin g", + "umi ng", + "u ming", + "in nings", + "inn ings", + "Re nd", + "R end", + "id ity", + "idi ty", + "▁do zens", + "▁dozen s", + "wa rf", + "war f", + "▁Del hi", + "▁bi ological", + "▁corrid or", + "Vis ual", + "▁I z", + "▁s uits", + "▁su its", + "▁suit s", + "Py Object", + "ia go", + "i ago", + "▁div ide", + "▁divid e", + "pe nt", + "pen t", + "p ent", + "hel lo", + "hell o", + "h ello", + "▁b eta", + "▁be ta", + "▁bet a", + "▁ beta", + "▁ex terior", + "▁fin est", + "▁fine st", + "▁f reed", + "▁fr eed", + "▁free d", + "▁fre ed", + "Se m", + "S em", + "▁fr uits", + "▁fruit s", + "▁fru its", + "▁serv ants", + "▁servant s", + "▁pub lisher", + "▁publish er", + "▁cop per", + "ol ation", + "o lation", + "se p", + "s ep", + "ti k", + "t ik", + "▁m others", + "▁mother s", + "▁mo thers", + "A ug", + "▁je ans", + "[] )", + "[ ])", + "▁D ATA", + "▁DA TA", + "▁ DATA", + "▁reve als", + "▁reveal s", + "▁un conscious", + "▁h acer", + "▁ha cer", + "▁hace r", + "ric ulum", + "▁T ogether", + "or sz", + "ors z", + "▁c anal", + "▁can al", + "▁ca nal", + "ös t", + "ö st", + "▁equ als", + "▁equal s", + "▁eq uals", + "▁ equals", + "▁al location", + "▁all ocation", + "▁alloc ation", + "st änd", + "ac king", + "ack ing", + "▁motiv ation", + "▁R ole", + "▁Ro le", + "▁Rol e", + "▁ Role", + "App ly", + "Ap ply", + "ig es", + "ige s", + "i ges", + "* {", + "▁f ires", + "▁fire s", + "▁fi res", + "▁fir es", + "Us ed", + "Use d", + "U sed", + "▁he ute", + "sk iej", + "ski ej", + "▁Or leans", + "yl an", + "y lan", + "▁warm th", + "▁w elfare", + "▁wel fare", + "je m", + "j em", + "be z", + "b ez", + "ř e", + "ke e", + "k ee", + "▁segu ito", + "un ge", + "ung e", + "▁y oga", + "▁yo ga", + "▁d ug", + "▁du g", + "▁restore d", + "Dr oid", + "D roid", + "▁P ent", + "▁Pe nt", + "▁Pen t", + "▁ran king", + "▁rank ing", + "mo r", + "m or", + ".~ (\\", + "ograph ical", + "ographic al", + "▁p ian", + "▁pi an", + "▁g ates", + "▁gate s", + "▁ga tes", + "s quare", + "▁im plicit", + "▁impl icit", + "▁G ram", + "▁Gr am", + "▁Gra m", + "▁Apr ès", + "▁Ap rès", + "▁Ass istant", + "▁p ac", + "▁pa c", + "▁sc attering", + "▁scatter ing", + "стра тив", + "▁all ocate", + "▁alloc ate", + "▁Man hattan", + "▁inter rupted", + "▁interrupt ed", + "ér ieur", + "éri eur", + "érie ur", + "数 据", + "Sign al", + "Sig nal", + "▁Con tract", + "▁Cont ract", + "▁ Contract", + "ór ia", + "ó ria", + "WI TH", + "W ITH", + "Ag greg", + "A ggreg", + "cul es", + "cu les", + "cule s", + "c ules", + "J an", + "▁s to", + "▁st o", + "▁ sto", + "▁G PIO", + "▁GP IO", + "▁ GPIO", + "▁ident ifying", + "▁identify ing", + "▁p id", + "▁pi d", + "▁ pid", + "ę p", + "▁di git", + "▁dig it", + "el ia", + "eli a", + "e lia", + "inv oke", + "▁Fl oren", + "▁Flor en", + "▁Flo ren", + "▁sh allow", + "▁shall ow", + "get Class", + "getC lass", + "▁advert is", + "▁H R", + "▁ HR", + "ym an", + "y man", + "▁ CE", + "▁sec ured", + "▁secure d", + "▁secur ed", + "▁rel atives", + "▁relative s", + "▁relativ es", + "▁s ob", + "▁so b", + "▁s tab", + "▁st ab", + "▁sta b", + "Trans ition", + "▁w en", + "▁we n", + "▁ wen", + "sh ops", + "shop s", + "▁k ont", + "▁kon t", + "▁ko nt", + "▁h acia", + "▁ha cia", + "H y", + "sh ell", + "she ll", + "s hell", + "▁ant ib", + "▁anti b", + "env ironment", + "environ ment", + "um bs", + "umb s", + "Tr acker", + "Track er", + "Tra cker", + "en tr", + "ent r", + "▁Polit ical", + "ex tract", + "ext ract", + "extra ct", + "extr act", + "=\" {{", + "▁m erc", + "▁me rc", + "▁mer c", + "▁p oc", + "▁po c", + "▁Re set", + "▁Res et", + "▁ Reset", + "▁pur ely", + "▁pure ly", + "▁M ul", + "▁Mu l", + "▁gorge ous", + "▁Î n", + "ri ven", + "riv en", + "rive n", + "r iven", + "▁rom ance", + "▁roman ce", + "▁d av", + "▁da v", + "ér ica", + "éri ca", + "éric a", + "▁tra ject", + "▁a rise", + "▁ar ise", + "▁sw ung", + "▁p ockets", + "▁pocket s", + "▁trad itions", + "▁tradition s", + "▁re ver", + "▁r ever", + "▁rev er", + "▁reve r", + ">> >", + "> >>", + "▁n d", + "▁ nd", + "▁di vis", + "▁div is", + "▁bel oved", + "▁quant ities", + "▁é d", + "▁ éd", + "ien do", + "i endo", + "▁tal ented", + "▁talent ed", + "▁C ad", + "▁Ca d", + "▁imm igration", + "▁immigr ation", + "▁ju ris", + "▁jur is", + "▁a er", + "▁e aten", + "▁eat en", + "▁m iejsc", + "▁sum mon", + "pe ople", + "▁g ains", + "▁gain s", + "▁ga ins", + "▁restr iction", + "▁restrict ion", + "st ub", + "▁b out", + "▁bo ut", + "▁bou t", + "▁slave ry", + "▁sla very", + "▁comput ation", + "▁ar mor", + "▁arm or", + "▁e k", + "▁ ek", + "▁Muslim s", + "▁co operation", + "▁cooper ation", + "▁enh anced", + "▁enhance d", + "os lav", + "▁ab rupt", + "▁pod cast", + "▁hospital s", + "▁hosp itals", + "▁hot els", + "▁hotel s", + "▁Wik ipedia", + "G LOBAL", + "▁Commun ist", + "an gles", + "ang les", + "angle s", + "▁t high", + "▁th igh", + "▁K irk", + "▁Kir k", + "▁t ends", + "▁ten ds", + "▁tend s", + "▁M ode", + "▁Mod e", + "▁Mo de", + "▁ Mode", + "▁N atur", + "▁Nat ur", + "▁de let", + "▁del et", + "▁po pul", + "▁pop ul", + "▁Ch amber", + "▁Cha mber", + "▁Conserv ative", + "kr ieg", + "k rieg", + "▁Class ic", + "▁die sem", + "▁dies em", + "▁diese m", + "▁em power", + "▁emp ower", + "▁M es", + "▁Me s", + "▁de alt", + "▁deal t", + "▁e stad", + "▁est ad", + "▁esta d", + "▁Se it", + "▁cred its", + "▁credit s", + "sub subsection", + "Inv oke", + "▁phys ician", + "ás a", + "á sa", + "▁g ob", + "▁go b", + "▁R ug", + "▁Ru g", + "▁м іс", + "▁мі с", + "sh aller", + "shal ler", + "shall er", + "▁k ol", + "▁ko l", + "▁ kol", + "▁c ared", + "▁car ed", + "▁care d", + "▁ca red", + "▁of icial", + "no s", + "n os", + "▁j el", + "▁je l", + "▁ jel", + "null able", + "GU I", + "G UI", + "▁r app", + "▁rap p", + "▁ra pp", + "▁An nie", + "▁Ann ie", + "▁st ocks", + "▁stock s", + "▁sto cks", + "▁develop er", + "▁pl acement", + "▁place ment", + "▁plac ement", + "▁ placement", + "(\" <", + "▁l avor", + "▁la vor", + "▁lav or", + "▁acc us", + "Mar t", + "Ma rt", + "M art", + "amer ikan", + "▁sk etch", + "▁sent iment", + "An chor", + "Mer ge", + "Pe ople", + "▁rend ered", + "▁render ed", + "▁la und", + "▁n ons", + "▁no ns", + "▁non s", + "▁bl ew", + "▁ble w", + "k b", + "ate gor", + "ateg or", + "▁franç aise", + "▁français e", + "KE N", + "K EN", + "method s", + "▁Part icip", + "nost i", + "nos ti", + "n osti", + "▁com merce", + "▁commer ce", + "▁ commerce", + "▁d re", + "▁dr e", + "▁t win", + "▁tw in", + "▁ded ic", + "▁U TC", + "▁ UTC", + "We ek", + "▁differ ential", + "▁different ial", + "▁Ch oose", + "▁Cho ose", + "▁\" (", + "em ark", + "e mark", + "▁fe ared", + "▁fear ed", + "sk o", + "s ko", + "Br anch", + "▁in vention", + "▁inv ention", + "▁invent ion", + "er mine", + "erm ine", + "▁car act", + "▁ca ract", + "р ого", + "lo yd", + "▁del icate", + "Or gan", + "▁Im pro", + "▁Imp ro", + "▁r ip", + "▁ri p", + "▁ rip", + "Up dated", + "Update d", + "ul ent", + "ule nt", + "▁o bra", + "▁ob ra", + "s uspend", + "Line s", + "Lin es", + "Li nes", + "L ines", + "▁b anda", + "▁band a", + "▁ban da", + "ot ta", + "ott a", + "o tta", + "▁k ole", + "▁ko le", + "▁kol e", + "il io", + "ili o", + "i lio", + "▁output s", + "▁ outputs", + "est ro", + "estr o", + "AAAA AAAA", + "R UN", + "ne nt", + "nen t", + "n ent", + "▁d ated", + "▁da ted", + "▁dat ed", + "▁date d", + "▁ dated", + "▁s py", + "▁sp y", + "▁c rap", + "▁cr ap", + "▁in coming", + "▁inc oming", + "▁ф ев", + "▁фе в", + "PH Y", + "P HY", + "▁O range", + "▁Or ange", + "▁ob server", + "▁observ er", + "▁observe r", + "▁up stairs", + "ion ed", + "io ned", + "ione d", + "i oned", + "▁a tr", + "▁at r", + "▁ atr", + "igh bor", + "▁expect ation", + "Hi s", + "H is", + "im edia", + "i media", + "com put", + "comp ut", + "▁arg v", + "▁ argv", + "▁ear liest", + "ol len", + "oll en", + "ra ke", + "r ake", + "▁pat ience", + "▁bu yers", + "▁buy ers", + "▁buyer s", + "▁Conne ct", + "▁ Connect", + "▁Univers al", + "▁adjust ed", + "▁adj usted", + "im eq", + "ime q", + "el lers", + "ell ers", + "elle rs", + "eller s", + "▁ru in", + "▁Cr usher", + "▁Freder ick", + "ott age", + "otta ge", + "▁com prom", + "▁comp rom", + "▁compr om", + "ia sm", + "ias m", + "i asm", + "wa ve", + "w ave", + "▁encour aging", + "▁be ans", + "▁bean s", + "▁ beans", + "▁per ceived", + "… ]", + "▁gl obe", + "▁glob e", + "▁glo be", + "▁S F", + "▁ SF", + "he rent", + "her ent", + "here nt", + "▁a like", + "▁al ike", + "▁ali ke", + "▁hur ried", + "qu el", + "que l", + "q uel", + "▁mus icians", + "▁music ians", + "▁musician s", + "ar z", + "a rz", + "drop down", + "ac l", + "a cl", + "pre view", + "prev iew", + "p review", + "▁under neath", + "ze ś", + "list ener", + "listen er", + "▁C AN", + "▁CA N", + "▁ CAN", + "▁T ow", + "▁To w", + "▁pe ers", + "▁peer s", + "tl s", + "t ls", + "at ra", + "atr a", + "a tra", + "se nder", + "send er", + "sen der", + "s ender", + "TIME OUT", + "fu rt", + "fur t", + "f urt", + "▁Gu erra", + "{} )", + "{ })", + "▁D urch", + "▁Dur ch", + "▁s ki", + "▁sk i", + "▁ ski", + "il las", + "ill as", + "illa s", + "▁S of", + "▁So f", + "▁Organ ization", + "▁C leveland", + "▁b utt", + "▁but t", + "▁bu tt", + "▁sim ilarly", + "▁similar ly", + "▁assert True", + "▁ assertTrue", + "▁inev itable", + "ne ll", + "nel l", + "n ell", + "▁R af", + "▁Ra f", + "DIS ABLE", + "am ine", + "ami ne", + "amin e", + "a mine", + "▁Com plete", + "▁Comp lete", + "▁ Complete", + "▁be iden", + "▁bei den", + "▁Chall enge", + "Rad io", + "R adio", + "▁Not ice", + "He x", + "H ex", + "▁C uba", + "▁Cub a", + "▁Cu ba", + "▁aug ust", + "▁Philipp ines", + "Mar gin", + "M argin", + "ja l", + "j al", + "gener ator", + "▁t atto", + "▁ta tto", + "▁H em", + "▁He m", + "▁S alt", + "▁Sal t", + "▁Sa lt", + "un ately", + "unate ly", + "▁terr ain", + "▁terra in", + ",\\ ,", + ", \\,", + "▁c rop", + "▁cr op", + "▁cro p", + "Name d", + "Na med", + "N amed", + "▁W onder", + "▁Wo nder", + "▁Won der", + "es sen", + "ess en", + "esse n", + "▁f ist", + "▁fi st", + "▁fis t", + "▁z oom", + "▁zo om", + "▁ zoom", + "▁ru ling", + "▁rul ing", + "un likely", + "as sy", + "ass y", + "or ent", + "ore nt", + "oren t", + "o rent", + "▁g ibt", + "▁gi bt", + "▁A w", + "sim eq", + "s imeq", + "▁r aid", + "▁ra id", + "▁ raid", + "▁Com par", + "▁Comp ar", + "▁ Compar", + "▁free ly", + "▁fre ely", + "▁esp añ", + "▁espa ñ", + "▁py thon", + "▁ python", + "▁diagn osis", + "▁ch ips", + "▁chip s", + "▁chi ps", + "R azor", + "▁V ert", + "▁Ver t", + "▁Ve rt", + "▁ Vert", + "For ward", + "▁P é", + "▁compar able", + "▁anal ys", + "▁analy s", + "St d", + "S td", + "▁Franç ois", + "▁c ó", + "jo s", + "j os", + "▁p eg", + "▁pe g", + "▁ peg", + "CON ST", + "cl usive", + "▁voy age", + "▁Sch l", + "▁Sc hl", + "Group Layout", + "oi se", + "ois e", + "o ise", + "▁cr ush", + "▁cru sh", + "▁Die se", + "▁Di ese", + "▁Dies e", + "▁be kan", + "▁bek an", + "ci t", + "c it", + "▁Ein wohner", + "▁L an", + "▁La n", + "▁dress ing", + "▁s olved", + "▁sol ved", + "▁solve d", + "▁C hel", + "▁Ch el", + "▁Che l", + "par ed", + "pa red", + "pare d", + "p ared", + "▁se aled", + "▁sea led", + "▁seal ed", + "}) )", + "} ))", + "anc ouver", + "se h", + "s eh", + "ta bles", + "table s", + "tab les", + "t ables", + "▁red dit", + "▁redd it", + "▁ reddit", + "▁m our", + "▁mo ur", + "▁mou r", + "▁clean up", + "▁ cleanup", + "ov ić", + "ovi ć", + "▁Ur ban", + "oc t", + "o ct", + "▁Le gal", + "▁Leg al", + "▁J ur", + "▁Ju r", + "▁N as", + "▁Na s", + "C ity", + "▁un fortunately", + "▁unfortunate ly", + "▁P ER", + "▁PE R", + "▁ PER", + "ma kers", + "make rs", + "maker s", + "m akers", + "▁sig lo", + "▁k in", + "▁ki n", + "▁ kin", + "co des", + "code s", + "cod es", + "c odes", + "NI NG", + "N ING", + "▁C ec", + "▁Ce c", + "▁C T", + "▁ CT", + "▁R acing", + "▁Ra cing", + "da n", + "d an", + "▁He rz", + "▁Her z", + "▁gen ius", + "▁e urop", + "▁eu rop", + "serv let", + "ow ego", + "owe go", + "▁Im agine", + "▁Imp erial", + "▁Imper ial", + "Re gex", + "Reg ex", + "c é", + "HE D", + "H ED", + "det ect", + "io c", + "i oc", + "Anal ysis", + "Analy sis", + "▁* =", + "▁f ever", + "▁fe ver", + "▁Ob viously", + "F oot", + "Line ar", + "Lin ear", + "▁p ró", + "▁pr ó", + "▁satell ite", + "▁B eng", + "▁Be ng", + "▁Ben g", + "bound s", + "b ounds", + "▁J azz", + "▁Ja zz", + "▁C urt", + "▁Cur t", + "▁Cu rt", + "▁b ild", + "▁bi ld", + "▁bil d", + "▁ bild", + "▁\" \");", + "▁\"\" );", + "▁\"\") ;", + "▁gr asp", + "▁gra sp", + "▁gras p", + "▁d la", + "▁dl a", + "TR A", + "T RA", + "▁read ily", + "To r", + "T or", + "C ACHE", + "▁Const ruction", + "▁Construct ion", + "▁d ía", + "▁G rey", + "▁Gr ey", + "▁Gre y", + "run ner", + "le ading", + "▁co oked", + "▁cook ed", + "ro log", + "rol og", + "r olog", + "▁annoy ing", + "DE LETE", + "amer ican", + "▁Niger ia", + "▁d ai", + "▁da i", + "▁ dai", + "▁sac rific", + "▁serv ant", + "▁s kb", + "▁sk b", + "▁ skb", + "▁b arg", + "▁bar g", + "▁ba rg", + "pix el", + "p ixel", + "In ject", + "ca ched", + "cache d", + "c ached", + "▁cou pled", + "▁couple d", + "▁coup led", + "un gle", + "ung le", + "pro b", + "pr ob", + "p rob", + ">{ @", + "default s", + "▁por trait", + "▁port rait", + "▁d ental", + "▁den tal", + "▁dent al", + "▁d estro", + "▁dest ro", + "▁r ue", + "▁ru e", + "▁hy brid", + "▁CO MP", + "▁COM P", + "▁ COMP", + "▁B ent", + "▁Be nt", + "▁Ben t", + "Com pare", + "Comp are", + "Compar e", + "bo th", + "bot h", + "b oth", + "kl ahoma", + "ais er", + "ai ser", + "aise r", + "a iser", + "Su re", + "Sur e", + "S ure", + "▁s olving", + "▁sol ving", + "▁l ista", + "▁li sta", + "▁list a", + "▁ lista", + "▁Ev ans", + "▁Eva ns", + "▁f usion", + "▁fus ion", + "▁compl aint", + "▁complain t", + "He ap", + "al ways", + "M gr", + "▁ approx", + "display style", + "lo rd", + "lor d", + "l ord", + "in sn", + "ins n", + "▁Fe ature", + "▁ Feature", + "RP C", + "R PC", + "▁v et", + "▁ve t", + "▁ vet", + "▁kilom et", + "▁deliver ing", + "▁const itution", + "sh ine", + "▁prob able", + "▁run ner", + "▁ runner", + "hr en", + "hre n", + "h ren", + "▁N ep", + "▁Ne p", + "▁over night", + "pr ead", + "pre ad", + "p read", + "CL O", + "C LO", + "ie sa", + "ies a", + "i esa", + "▁object ives", + "▁objective s", + "con tract", + "cont ract", + "contr act", + "EX P", + "▁col ours", + "▁colour s", + "xi co", + "xic o", + "x ico", + "C lean", + "▁light ly", + "▁scen arios", + "▁scenario s", + "▁qu arters", + "▁quarter s", + "▁quart ers", + "▁quar ters", + "▁ quarters", + "▁D ear", + "▁De ar", + "▁l uc", + "▁lu c", + "▁app et", + "▁ap pet", + "▁appe t", + "▁de port", + "▁dep ort", + "Sa fe", + "▁me nos", + "▁men os", + "▁Paul o", + "▁Pa ulo", + "CI AL", + "C IAL", + "ці в", + "ц ів", + "▁R oc", + "▁Ro c", + "▁c aring", + "▁car ing", + "▁ca ring", + "▁elect ro", + "▁de cember", + "▁dec ember", + "▁dece mber", + "▁Phil osoph", + "▁col ored", + "▁color ed", + "▁ colored", + "it sch", + "its ch", + "os ti", + "ost i", + "▁N ut", + "▁Nu t", + "▁consecut ive", + "Pe er", + "ar ness", + "arn ess", + "▁ż e", + "▁ że", + "▁A round", + "▁Ar ound", + "af ka", + "▁d io", + "▁di o", + "ci p", + "c ip", + "▁to ys", + "▁toy s", + "cr o", + "c ro", + "▁m iser", + "▁mis er", + "▁mi ser", + "▁mise r", + "check box", + "▁F isher", + "▁Fish er", + "▁gover ned", + "▁govern ed", + "▁h á", + "▁En able", + "▁ Enable", + "▁t rivial", + "▁occup ation", + "ro rs", + "ror s", + "r ors", + "▁l av", + "▁la v", + "▁ lav", + "▁m ou", + "▁mo u", + "▁b ord", + "▁bo rd", + "▁bor d", + "ли ч", + "Ro om", + "R oom", + "') \r", + "' )\r", + "▁art ic", + "▁m ientras", + "ch air", + "cha ir", + "uation s", + "u ations", + "▁comm ented", + "▁comment ed", + "▁trigger ed", + "Can not", + "C annot", + "▁Marc us", + "▁p unct", + "▁pun ct", + "▁achie vement", + "▁achieve ment", + "ext ensions", + "extension s", + "ad ers", + "ade rs", + "ader s", + "a ders", + "jo urs", + "jour s", + "j ours", + "ir lines", + "irl ines", + "V IEW", + "▁Nap ole", + "Conf irm", + "▁por que", + "▁LI ABILITY", + "Wall et", + "W allet", + "Sub ject", + "al gorithm", + "▁tr iple", + "▁tri ple", + "▁trip le", + "ru b", + "r ub", + "▁se cur", + "▁sec ur", + "▁hand some", + "▁hands ome", + "▁d od", + "▁do d", + "r ès", + "ac ja", + "ch od", + "cho d", + "н ва", + "es ar", + "esa r", + "an chor", + "anc hor", + "anch or", + "▁Soph ie", + "▁Украї ни", + "Up per", + "am ous", + "amo us", + "Fe atures", + "Feature s", + "Supp ress", + "Sup press", + "▁kil om", + "▁Z u", + "▁belong ed", + "▁Red dit", + "▁pro ces", + "▁proc es", + "▁F est", + "▁Fe st", + "/ %", + "▁P am", + "▁Pa m", + "st orm", + "sto rm", + "W W", + "P aul", + "▁t ales", + "▁tal es", + "▁ta les", + "▁tale s", + "▁райо на", + "▁spread ing", + "▁ sched", + "le ased", + "lease d", + "Non Null", + "▁Re serve", + "▁Res erve", + "▁c ater", + "▁cat er", + "▁ca ter", + "▁t ire", + "▁ti re", + "▁tir e", + "▁por ch", + "qu ier", + "US A", + "U SA", + "▁Sw iss", + "▁ È", + "▁br ave", + "▁bra ve", + "▁explos ion", + "l r", + "▁class ified", + "Ab out", + "▁Pic t", + "▁Pi ct", + "▁Dub lin", + "▁separ ately", + "▁separate ly", + "▁bank ing", + "▁ban king", + "▁Christian ity", + "mi gr", + "m igr", + "Ro b", + "R ob", + "▁el f", + "▁ elf", + "▁employ ers", + "▁employer s", + "▁S low", + "▁Sl ow", + "▁j uli", + "▁ju li", + "▁jul i", + "west ern", + "w estern", + "▁anal yst", + "▁analy st", + "▁analys t", + "ob serv", + "obs erv", + "▁N ice", + "▁Nic e", + "▁Ni ce", + "▁G C", + "▁ GC", + "▁Let ter", + "▁ha rass", + "▁har ass", + "User name", + "▁A unt", + "▁Au nt", + "▁с ент", + "Su p", + "S up", + "IC ES", + "ICE S", + "RE NT", + "R ENT", + "rat io", + "r atio", + "▁an gles", + "▁ang les", + "▁angle s", + "▁angl es", + "▁ angles", + "▁l lev", + "▁ll ev", + "_ *", + "▁n it", + "▁ni t", + "▁ nit", + "▁w reck", + "▁pat rol", + "▁loyal ty", + "▁n ationale", + "▁nat ionale", + "▁national e", + "▁nation ale", + "go m", + "g om", + "}$ -", + "} $-", + "▁dis pute", + "▁disput e", + "▁disp ute", + "▁r us", + "▁ru s", + "▁ rus", + "▁П рез", + "▁Пре з", + "▁Indust rial", + "▁dem ocratic", + "▁democr atic", + "b w", + "li mp", + "lim p", + "l imp", + "ur bed", + "urb ed", + "▁mie jsce", + "▁miejsc e", + "ру д", + "▁t ex", + "▁te x", + "▁ tex", + "▁develop ments", + "▁development s", + "▁B right", + "▁Br ight", + "▁Brig ht", + "▁var ying", + "▁va rying", + "▁vary ing", + "fa ct", + "fac t", + "f act", + "▁Port al", + "▁Por tal", + "as is", + "asi s", + "a sis", + "▁cre ativity", + "▁creat ivity", + ")) ))", + "))) )", + ") )))", + ".\" ;", + ". \";", + "ie ux", + "ieu x", + "▁prov isions", + "▁provision s", + "uv e", + "u ve", + "La ng", + "L ang", + "miss ing", + "ph ony", + "▁out line", + "pa s", + "p as", + "el m", + "e lm", + "mon itor", + "TC P", + "T CP", + "ka t", + "k at", + "uc ed", + "uce d", + "u ced", + "\\\" ,", + "\\ \",", + "yn a", + "y na", + "oc ate", + "oca te", + "▁c ares", + "▁car es", + "▁care s", + "▁ca res", + "▁f ins", + "▁fin s", + "▁fi ns", + "▁he ap", + "▁ heap", + "▁small est", + "äch st", + "re cv", + "rec v", + "key word", + "▁at tra", + "▁att ra", + "▁attr a", + "▁sel bst", + "Un expected", + "Une xpected", + "Sm all", + "▁насе ље", + "▁H us", + "▁Hu s", + "Enc oder", + "Encode r", + "▁un set", + "▁uns et", + "▁home less", + "▁hom eless", + "▁Johann es", + "▁U RI", + "▁ URI", + "ant age", + "anta ge", + "▁in hib", + "▁appreci ated", + "▁appreciate d", + "ie lte", + "iel te", + "ielt e", + "i elte", + "▁st ays", + "▁stay s", + "▁sta ys", + "▁c oding", + "▁co ding", + "▁cod ing", + "▁tv å", + "pipe line", + "p ipeline", + "▁W or", + "▁Wo r", + "File Path", + "▁accept ing", + "▁Ex cell", + "▁L uther", + "▁Lu ther", + "▁Friend s", + "▁c urt", + "▁cur t", + "▁cu rt", + "▁' $", + "▁ '$", + "▁tight ly", + "▁cz ę", + "▁un necessary", + "▁F ed", + "▁Fe d", + "▁H P", + "▁ HP", + "▁String Builder", + "en burg", + "' (", + "vm a", + "v ma", + "▁Ab raham", + "W L", + "▁Re ference", + "▁Refer ence", + "▁ Reference", + "J o", + "Bl ob", + "Blo b", + "▁H ugh", + "▁Hug h", + "▁Hu gh", + "▁Bul gar", + "MESS AGE", + "▁avoid ed", + "▁po ems", + "▁poem s", + "▁O pp", + "▁Op p", + "av irus", + "avi rus", + "Pre view", + "Prev iew", + "P review", + "▁k er", + "▁ke r", + "▁ ker", + "ue va", + "u eva", + "fl ix", + "▁char ging", + "▁charg ing", + "▁motiv ated", + "▁O rd", + "▁Or d", + "▁ Ord", + "▁av eva", + "▁ave va", + "x l", + "▁flex ibility", + "ag na", + "agn a", + "▁rac ism", + "d h", + "▁b aking", + "▁ba king", + "F riend", + "ble r", + "bl er", + "b ler", + "▁Log ger", + "▁ Logger", + "Te n", + "T en", + "nav igation", + "▁att achment", + "▁attach ment", + "▁ attachment", + "▁b ajo", + "▁ba jo", + "▁pr icing", + "▁pri cing", + "▁T ip", + "▁Ti p", + "▁ Tip", + "da r", + "d ar", + "G G", + "To ols", + "Tool s", + "Too ls", + "T ools", + "vol ution", + "v olution", + "am as", + "ama s", + "a mas", + "▁b ibli", + "▁adapt ed", + "ox y", + "o xy", + "▁F reedom", + "▁Free dom", + "ri co", + "ric o", + "r ico", + "▁coll apsed", + "▁collapse d", + "z m", + "pl o", + "p lo", + "▁c ô", + "▁r t", + "▁ rt", + "än ger", + "äng er", + "änge r", + "▁D R", + "▁ DR", + "▁Bit coin", + "go w", + "g ow", + "▁ch ez", + "▁che z", + "▁ chez", + "▁ot ro", + "▁te il", + "▁ teil", + "▁St ars", + "▁Star s", + "▁Sta rs", + "▁invest ing", + "▁a board", + "▁ab oard", + "▁f lights", + "▁fl ights", + "▁flight s", + "▁genu inely", + "▁genuine ly", + "▁prom ising", + "Rot ation", + "O cc", + "▁su oi", + "▁suo i", + "string ify", + "ac ies", + "aci es", + "a cies", + "▁G round", + "▁Gr ound", + "▁Gro und", + "▁sequ ences", + "▁sequence s", + "▁c ure", + "▁cur e", + "▁cu re", + "out ine", + "▁! !", + "▁ !!", + "▁G ay", + "▁Ga y", + "▁garden s", + "▁gard ens", + "▁G las", + "▁Gl as", + "▁Tai wan", + "reg istry", + "▁# {", + "▁ #{", + "▁ins pection", + "▁insp ection", + "▁inspect ion", + "Te ll", + "T ell", + "▁` ${", + "p matrix", + "▁reg ulation", + "▁regul ation", + "fin ish", + "▁Ed ge", + "▁ Edge", + "Sp rite", + "S prite", + "▁immigr ants", + "▁elder ly", + "▁Quest ion", + "▁ Question", + "Gate way", + "fo ny", + "fon y", + "f ony", + "ît re", + "î tre", + "▁co sm", + "▁cos m", + "Ro und", + "R ound", + "▁ign oring", + "▁ignor ing", + "▁K i", + "▁sens itivity", + "âte au", + "ât eau", + "▁engine ers", + "▁engineer s", + "▁cor rel", + "▁corre l", + "ir teen", + "irt een", + "▁Sw itzerland", + "▁inher it", + "▁ inherit", + "wo r", + "w or", + "▁mid night", + "▁P un", + "▁Pu n", + "ak te", + "akt e", + "a kte", + "Dis able", + "▁es per", + "▁esp er", + "▁not ation", + "▁ notation", + "▁Univers idad", + "so l", + "s ol", + "de rn", + "der n", + "d ern", + "in ge", + "ing e", + "▁inv itation", + ")} }", + ") }}", + "▁ â", + "▁ess ays", + "▁essay s", + "ar med", + "arm ed", + "ch sel", + "chs el", + "▁confirm ation", + "unit y", + "uni ty", + "▁ Є", + "ni ce", + "nic e", + "n ice", + "▁S ue", + "▁Su e", + "▁t ray", + "▁tr ay", + "▁tra y", + "C ookie", + "▁Feder ation", + "IC T", + "I CT", + "▁p éri", + "stud ent", + "▁V ent", + "▁Ven t", + "▁Ve nt", + "K K", + "ST EM", + "aw k", + "▁re un", + "▁pe oples", + "▁people s", + "io res", + "ior es", + "iore s", + "i ores", + "ou bt", + "▁St age", + "▁Sta ge", + "▁ Stage", + "▁c harm", + "▁ch arm", + "▁char m", + "▁cha rm", + "ie ur", + "ieu r", + "i eur", + "▁util ize", + "▁utiliz e", + "▁d istribute", + "▁dist ribute", + "▁distribut e", + "▁g otta", + "▁go tta", + "▁got ta", + "▁block ing", + "H ot", + "br ew", + "bre w", + "b rew", + "▁b onds", + "▁bon ds", + "▁bond s", + "le af", + "Pro te", + "Pr ote", + "P rote", + "▁d ice", + "▁di ce", + "▁dic e", + "▁Nor man", + "▁Norm an", + "▁о кт", + "▁ок т", + "▁in spir", + "▁insp ir", + "Pr iv", + "P riv", + "▁P uerto", + "RS T", + "R ST", + "▁s f", + "▁ sf", + "▁qu ale", + "▁qual e", + "ni ck", + "nic k", + "n ick", + "▁sup press", + "▁supp ress", + "▁H ello", + "▁Hel lo", + "▁Hell o", + "▁ Hello", + "▁crow ded", + "▁crowd ed", + "hba r", + "h bar", + "▁lo ads", + "▁load s", + "▁ loads", + "▁cor rection", + "▁correct ion", + "▁corre ction", + "ad just", + "adj ust", + "▁E state", + "▁Est ate", + "▁Esta te", + "text sc", + "▁cool ing", + "iv eau", + "ive au", + "▁bet ting", + "==== ========", + "======== ====", + "re mark", + "rem ark", + "r emark", + "▁im plications", + "▁impl ications", + "▁p oz", + "▁po z", + "ün g", + "ü ng", + "▁reg ards", + "▁regard s", + "▁a mid", + "▁am id", + "▁habit antes", + "G I", + "▁F ou", + "▁Fo u", + "▁j ar", + "▁ja r", + "▁ jar", + "▁requ iring", + "▁D rupal", + "▁Dru pal", + "▁li ability", + "cz as", + "c zas", + "▁l yrics", + "▁ly rics", + "▁N ort", + "▁No rt", + "▁Nor t", + "si l", + "s il", + "▁M ey", + "▁Me y", + "UN IT", + "f uture", + "hi r", + "h ir", + "CA L", + "C AL", + "LAB EL", + "▁S weet", + "▁stat ue", + "bor ne", + "born e", + "b orne", + "Not ify", + "▁her itage", + "▁d orm", + "▁do rm", + "▁l ever", + "▁le ver", + "▁lev er", + "▁mut tered", + "} &", + "▁inter mediate", + "▁Wat son", + "▁view ing", + "▁vie wing", + "kt or", + "k tor", + "enti eth", + "xx x", + "x xx", + "at u", + "a tu", + "▁Inst all", + "▁ Install", + "Cont in", + "▁t oute", + "▁to ute", + "▁tou te", + "▁tout e", + "▁P T", + "▁ PT", + "▁u ri", + "▁ur i", + "▁ uri", + "Call ed", + "Cal led", + "C alled", + "▁O FF", + "▁OF F", + "▁ OFF", + "ig lia", + "ic hi", + "ich i", + "i chi", + "V o", + "▁exhib it", + "▁asym pt", + "▁G ulf", + "do min", + "dom in", + "d omin", + "▁départ ement", + "mi l", + "m il", + "▁B ez", + "▁Be z", + "▁l ately", + "▁late ly", + "▁lat ely", + "▁def ining", + "▁defin ing", + "▁E L", + "▁ EL", + "omorph ic", + "▁f ebru", + "▁fe bru", + "▁febr u", + "IS TER", + "IST ER", + "I STER", + "res olved", + "resolve d", + "▁S pect", + "▁Sp ect", + "▁Spec t", + "▁Spe ct", + "▁sem pre", + "▁Se pt", + "▁Sep t", + "▁cl earing", + "▁cle aring", + "▁clear ing", + "▁diam eter", + "in do", + "ind o", + "▁soc cer", + "▁D CHECK", + "▁DC HECK", + "vo te", + "v ote", + "▁nom in", + "Type d", + "Ty ped", + "Typ ed", + "Miss ing", + "W as", + "▁Cent ury", + "▁direct ors", + "▁dire ctors", + "▁director s", + "▁mode rate", + "▁moder ate", + "▁Ill uminate", + "▁ Illuminate", + "▁B apt", + "▁Ba pt", + "▁Qu ant", + "▁ Quant", + "▁tre ating", + "▁treat ing", + "ag i", + "a gi", + "Si l", + "S il", + "ring e", + "rin ge", + "r inge", + "ł ą", + "el lan", + "ell an", + "ella n", + "▁f ino", + "▁fin o", + "▁fi no", + "Capt ure", + "C apture", + "▁S ic", + "▁Si c", + "▁st amp", + "▁sta mp", + "▁stam p", + "▁B uen", + "▁Bu en", + "▁seg undo", + "▁in verse", + "▁d up", + "▁du p", + "▁ dup", + "▁br oker", + "▁bro ker", + "▁broke r", + "▁search ed", + "▁sear ched", + "be ans", + "bean s", + "▁AB C", + "is ha", + "ish a", + "i sha", + "▁Lin ked", + "▁Link ed", + "▁ Linked", + "▁Nich olas", + "▁Sw edish", + "he mal", + "hem al", + "▁E M", + "▁ EM", + "▁j ego", + "▁je go", + "lo t", + "l ot", + "▁dis cret", + "▁disc ret", + "▁discre t", + "▁E g", + "pi ck", + "pic k", + "p ick", + "am on", + "amo n", + "a mon", + "▁nav igate", + "▁navig ate", + "▁Comm ander", + "▁Command er", + "▁disappe ar", + "▁con gress", + "▁congr ess", + "▁graph ic", + "sp r", + "s pr", + "FLO AT", + "▁S erial", + "▁Se rial", + "▁Ser ial", + "▁ Serial", + "▁я нва", + "so cial", + "soc ial", + "s ocial", + "bu ch", + "b uch", + "▁se al", + "▁sea l", + "▁c ement", + "▁ce ment", + "▁Y e", + "ot ti", + "ott i", + "o tti", + "▁The od", + "remove Class", + "▁Jul ie", + "▁Ju lie", + "▁Juli e", + "▁gr öß", + "ST REAM", + "▁G B", + "▁ GB", + "▁Ben ef", + "▁Mat rix", + "▁ Matrix", + "▁ke ine", + "▁cont inent", + "▁contin ent", + "▁ja ar", + "DA I", + "D AI", + "▁S equ", + "▁Se qu", + "▁ Sequ", + "kre is", + "▁crow n", + "Init ialize", + "Initial ize", + "ax y", + "a xy", + "▁C IA", + "▁int end", + "▁inte nd", + "▁b ub", + "▁bu b", + "▁mask s", + "▁mas ks", + "▁sit uated", + "▁situ ated", + "▁E du", + "▁Ed u", + "▁particip ating", + "_{ -", + "_ {-", + "▁Tele vision", + "▁pre ferences", + "▁prefer ences", + "▁preference s", + "▁D rop", + "▁Dr op", + "▁ Drop", + "re view", + "rev iew", + "▁vi olation", + "▁viol ation", + "▁ch rist", + "▁chr ist", + "q q", + "▁M yst", + "▁My st", + "comm ands", + "command s", + "▁prim itive", + "ill ance", + "▁r anging", + "▁ran ging", + "▁rang ing", + "▁Adv anced", + ") &", + "▁sub str", + "▁subst r", + "▁subs tr", + "▁ substr", + "▁clos ure", + "▁clo sure", + "▁ closure", + "tw itter", + "ne z", + "n ez", + "▁pr zed", + "▁prz ed", + "▁prze d", + "▁mer ged", + "▁merge d", + "ur os", + "uro s", + "u ros", + "▁j er", + "▁je r", + "▁ jer", + "▁_ (", + "▁ _(", + "ar an", + "ara n", + "a ran", + "▁P atri", + "▁Pat ri", + "▁Pa tri", + "▁T un", + "▁Tu n", + "U K", + "il iation", + "ili ation", + "▁Ke ith", + "Own Property", + "op sis", + "ops is", + "Ma d", + "M ad", + "▁def ence", + "A ir", + "=$ {", + "= ${", + "cript ors", + "criptor s", + "So m", + "S om", + "▁ ±", + "▁HA VE", + "~~~~ ~~~~", + "▁be aten", + "▁beat en", + "▁int imate", + "▁intim ate", + "op ic", + "o pic", + "▁p řed", + "▁př ed", + "Sh op", + "S hop", + "Table s", + "Tab les", + "T ables", + "▁S I", + "▁ SI", + "re name", + "ren ame", + "rena me", + "r ename", + "▁product ive", + "rib ly", + "r ibly", + "▁L uck", + "▁Lu ck", + "▁Luc k", + "▁kl ub", + "}} ^{", + "}}^ {", + "} }^{", + "▁F ish", + "▁Fi sh", + "PR I", + "P RI", + "en ario", + "ena rio", + "▁pse ud", + "Or d", + "O rd", + "▁quel ques", + "▁D od", + "▁Do d", + "▁p unto", + "▁pun to", + "▁punt o", + "se nal", + "sen al", + "▁Br others", + "▁Bro thers", + "▁Brother s", + "▁diab etes", + "P aint", + "▁person as", + "▁persona s", + "в ър", + "▁n ep", + "▁ne p", + "▁El len", + "▁Ell en", + "▁Elle n", + "▁h ä", + "cr tc", + "c rtc", + "▁frustr ation", + ". ^{[", + "▁s printf", + "▁sprint f", + "▁ sprintf", + "+ -", + "En code", + "Enc ode", + "▁насе лення", + "Draw able", + "▁b ore", + "▁bo re", + "▁bor e", + "▁E ld", + "▁El d", + "T ick", + "ar ator", + "ara tor", + "▁Fin ance", + "▁agric ultural", + ")^ {-", + ")^{ -", + ") ^{-", + "may be", + "Sche dule", + "▁[ …]", + "et ection", + "ete ction", + "▁he els", + "▁En joy", + "Sy s", + "S ys", + "orsz ág", + "CONT ROL", + "cc cc", + "▁D ictionary", + "▁ Dictionary", + "Ne ed", + "N eed", + "▁He aven", + "▁vess els", + "▁vessel s", + "ec ycle", + "e cycle", + "ti es", + "▁e nde", + "▁en de", + "▁end e", + "▁ ende", + "SI NG", + "S ING", + "De scribe", + "Desc ribe", + "▁Pub lished", + "▁Publish ed", + "▁win ds", + "▁wind s", + "neh men", + "▁D ES", + "▁DE S", + "Hor izontal", + "▁L ost", + "▁Los t", + "▁Lo st", + "-- -----------", + "---- ---------", + "-------- -----", + "--- ----------", + "------------ -", + "----- --------", + "---------- ---", + "------ -------", + "--------- ----", + "------- ------", + "----------- --", + "- ------------", + "▁p x", + "▁ px", + "}( {\\", + "} ({\\", + "▁Hein rich", + "oms nitt", + "ho s", + "h os", + "Ro ll", + "R oll", + "tor ch", + "▁equ ity", + "▁eq uity", + "▁collect ing", + "▁l ifting", + "▁lif ting", + "▁lift ing", + "sub figure", + "Ne ver", + "N ever", + "▁L ength", + "▁Le ngth", + "▁ Length", + "▁w inners", + "▁win ners", + "▁winner s", + "▁U SD", + "▁US D", + "▁st esso", + "▁al tri", + "▁alt ri", + "▁produ cers", + "▁produce rs", + "▁producer s", + "mon s", + "mo ns", + "m ons", + "▁Pop ular", + "Com b", + "Co mb", + "C omb", + "ab lo", + "abl o", + "a blo", + "RE SET", + "RES ET", + "т ва", + "Over lay", + "▁id iot", + "▁idi ot", + "ex ist", + "Be havior", + "UB LE", + "ier re", + "i erre", + "mine craft", + "▁f os", + "▁fo s", + "▁encuent ra", + "▁scream ed", + "▁polynom ial", + "▁c one", + "▁con e", + "▁co ne", + "▁c ited", + "▁cit ed", + "▁ci ted", + "▁president e", + "▁presid ente", + "▁re sign", + "▁res ign", + "▁y elled", + "▁i k", + "▁ ik", + "Pl us", + "▁The me", + "▁Th eme", + "▁ Theme", + "▁re li", + "▁r eli", + "▁rel i", + "ne m", + "n em", + "▁a men", + "▁am en", + "▁ amen", + "▁ Ј", + "Th anks", + "Thank s", + "Than ks", + "▁al umin", + "▁sh elf", + "▁shel f", + "!\" );", + "! \");", + "append Child", + "▁l ogs", + "▁lo gs", + "▁log s", + "▁ logs", + "▁re gex", + "▁reg ex", + "▁ regex", + "▁p unk", + "▁pun k", + "CO RE", + "▁b orders", + "▁border s", + "▁bord ers", + "▁bor ders", + "▁Requ ired", + "▁ Required", + "▁f law", + "▁fl aw", + "▁cin ema", + "▁v í", + "▁ ví", + "▁ab ortion", + "▁abort ion", + "jour nal", + "j ournal", + "in itions", + "init ions", + "inition s", + "state ment", + "stat ement", + "▁o urs", + "▁our s", + "▁ou rs", + "▁ ours", + "ó t", + "▁Tur ner", + "▁Turn er", + "ev es", + "eve s", + "e ves", + "▁magazine s", + "▁magaz ines", + "… …", + "la ce", + "l ace", + "sl ider", + "slide r", + "▁l ocate", + "▁loc ate", + "▁des arroll", + "P an", + "To m", + "T om", + "▁Land es", + "▁Lan des", + "ol ia", + "oli a", + "o lia", + "▁u nm", + "▁un m", + "▁Sen ator", + "▁ad minister", + "▁admin ister", + "▁ко ји", + "▁' {", + "▁) {", + "▁ ){", + "▁G olf", + "▁Gol f", + "▁g ele", + "▁ge le", + "▁gel e", + "▁d rank", + "▁dr ank", + "pos ing", + "po sing", + "p osing", + "▁en semble", + "he ap", + "sign ature", + "scri ber", + "scr iber", + "scribe r", + "scrib er", + "▁ch amp", + "▁cha mp", + "ni o", + "n io", + "la yers", + "lay ers", + "layer s", + "▁tr ump", + "▁mod al", + "▁mo dal", + "▁ modal", + "on ces", + "once s", + "че ння", + "чен ня", + "▁C ort", + "▁Co rt", + "▁Cor t", + "▁sun light", + "▁M use", + "▁Mus e", + "▁Mu se", + "ém ent", + "é ment", + "▁curios ity", + "▁v r", + "▁ vr", + "O ct", + "yl on", + "y lon", + "▁rel ativ", + "st y", + "s ty", + "] /", + "az u", + "a zu", + "▁person a", + "▁pers ona", + "Me n", + "M en", + "▁w ides", + "▁wide s", + "▁wid es", + "▁K as", + "▁Ka s", + "ic ies", + "ici es", + "i cies", + "▁C off", + "▁Co ff", + "▁con solid", + "▁cons olid", + "▁inter active", + "▁interact ive", + "op ing", + "o ping", + "La nd", + "L and", + "▁energ ies", + "▁independ ently", + "▁independent ly", + "inner HTML", + "Requ ire", + "Re quire", + "▁abs urd", + "▁IN FO", + "▁ INFO", + "▁b und", + "▁bu nd", + "▁ bund", + "anz ös", + "▁G ent", + "▁Ge nt", + "▁Gen t", + "▁scholar s", + "▁C reated", + "▁Create d", + "▁Creat ed", + "▁Cre ated", + "▁ Created", + "▁mar ine", + "▁mari ne", + ".. .'", + "... '", + "EN V", + "E NV", + "ach te", + "acht e", + "a chte", + "am ents", + "ament s", + "amen ts", + "a ments", + "▁tr ucks", + "▁truck s", + "▁re wards", + "▁reward s", + "og s", + "o gs", + "Gr een", + "Gre en", + "G reen", + "▁n ä", + "▁inher ited", + "▁inherit ed", + "im ated", + "imate d", + "ima ted", + "imat ed", + "▁F REE", + "▁FR EE", + "▁ FREE", + "▁ext ens", + "da g", + "d ag", + "▁g low", + "▁gl ow", + "▁glo w", + "ar di", + "ard i", + "N F", + "▁evalu ated", + "▁evaluate d", + "▁eval uated", + "▁o ps", + "▁op s", + "▁ ops", + "▁cle aned", + "▁clean ed", + "▁Prov ince", + "▁Provinc e", + "ha bil", + "hab il", + "h abil", + "гра фі", + "▁T CP", + "▁ TCP", + "▁я кі", + "▁як і", + "▁de ce", + "▁dec e", + "▁cont empl", + "▁acquis ition", + "}) $.", + "})$ .", + "} )$.", + "=\" -", + "▁se ctors", + "▁sector s", + "▁sect ors", + ":: <", + "u ß", + "▁trab aj", + "th an", + "tha n", + "t han", + "▁S ta", + "▁St a", + "Mem bers", + "Member s", + "▁r v", + "▁ rv", + ")^ {\\", + ")^{ \\", + ") ^{\\", + "mit t", + "mi tt", + "m itt", + "▁W ang", + "▁Wa ng", + "▁W end", + "▁We nd", + "▁G lass", + "▁Gl ass", + "▁Glas s", + "▁t xt", + "▁tx t", + "▁ txt", + "▁Cam eron", + "ie ls", + "iel s", + "i els", + "▁im mer", + "▁imm er", + "▁ immer", + ".. . /", + "▁sophistic ated", + "▁R he", + "▁Rh e", + "us sy", + "uss y", + "▁Sy ria", + "▁Car oline", + "▁Carol ine", + "riter ion", + "ér c", + "é rc", + "Lo ve", + "L ove", + "▁cy cles", + "▁cycle s", + "▁cycl es", + "▁Ter ms", + "▁Term s", + "▁med ieval", + "▁medi eval", + "▁m issions", + "▁miss ions", + "▁mission s", + "Har d", + "Ha rd", + "H ard", + "▁rég ion", + "▁Ph oenix", + "De ep", + "▁sam pling", + "▁dismiss ed", + "prop ri", + "p ropri", + "▁jud ges", + "▁judge s", + "▁judg es", + "ał a", + "a ła", + "ul os", + "ulo s", + "u los", + "▁L ion", + "▁Li on", + "▁loc als", + "▁local s", + "neg ative", + "ogen eous", + "ogene ous", + "▁A pi", + "▁Ap i", + "▁ Api", + "▁d ici", + "▁di ci", + "▁dic i", + "▁author ized", + "▁ authorized", + "ze rw", + "zer w", + "▁p g", + "▁ pg", + "▁A WS", + "▁key word", + "▁ keyword", + "▁entrepre neur", + "▁п рое", + "▁про е", + "▁V ancouver", + "it ating", + "ita ting", + "itat ing", + "F ast", + "▁acknowled ged", + "▁acknowledge d", + "▁tour ist", + "▁tou rist", + "▁G rid", + "▁Gr id", + "▁ Grid", + "▁En try", + "▁Ent ry", + "▁ Entry", + "▁g ebru", + "▁ge bru", + "▁geb ru", + "sa t", + "s at", + "ber ger", + "berg er", + "▁T F", + "▁ TF", + "▁m t", + "▁ mt", + "▁Mar cel", + "▁Marc el", + "▁Tw enty", + "▁ ”", + "{} {", + "{ }{", + "hi nt", + "hin t", + "h int", + "▁an onymous", + "Cam p", + "C amp", + "▁** _", + "By Comparator", + "U C", + "▁t ö", + "Event Handler", + "▁t ours", + "▁to urs", + "▁tour s", + "▁tou rs", + "▁lon ely", + "▁Sum mary", + "▁ Summary", + "st ick", + "s tick", + "All owed", + "Allow ed", + "лі в", + "л ів", + "▁B rew", + "▁Br ew", + "▁Bre w", + "AME TER", + "▁review ed", + "ir at", + "ira t", + "i rat", + "▁n erve", + "▁nerv e", + "▁ner ve", + "▁L inda", + "▁Lin da", + "▁Lind a", + "▁dec is", + "▁sp okes", + "▁spoke s", + "▁spo kes", + "▁qu ed", + "▁que d", + "▁q ued", + "▁F T", + "▁ FT", + "▁в ін", + "▁ві н", + "ou sing", + "ous ing", + "o using", + "▁L arge", + "▁Lar ge", + "▁ Large", + "▁op ponents", + "▁oppon ents", + "▁opponent s", + "Found ation", + "EQ UAL", + "og g", + "o gg", + "Re try", + "Ret ry", + "R etry", + "CHAN NEL", + "▁i i", + "▁ ii", + "de ad", + "d ead", + "▁M ale", + "▁Mal e", + "▁Ma le", + "Com pleted", + "Comp leted", + "Complete d", + "ty p", + "t yp", + "▁Ty ler", + "Dis k", + "Di sk", + "D isk", + "Hi de", + "H ide", + "iju ana", + "▁public ations", + "▁publication s", + "fo x", + "f ox", + "vis ed", + "vi sed", + "v ised", + "Fore ign", + "Write Line", + "▁remain der", + "Pi cker", + "P icker", + "we alth", + "▁G or", + "▁Go r", + "sequ ently", + "▁coll ision", + "▁Harr ison", + "▁Harris on", + "▁work place", + "▁N ormal", + "▁Nor mal", + "▁Norm al", + "▁ Normal", + "▁B irth", + "▁Bir th", + "▁cons ume", + "▁consum e", + "Sh ift", + "▁avoid ing", + "▁C ha", + "▁Ch a", + "▁An ti", + "▁Ant i", + "▁ch arts", + "▁char ts", + "▁chart s", + "▁P av", + "▁Pa v", + "ual mente", + "an ed", + "ane d", + "a ned", + "▁A uch", + "▁Au ch", + "rd ev", + "r dev", + "▁she er", + "▁an gl", + "▁ang l", + "sub str", + "Gener ate", + "> =", + "▁B ev", + "▁Be v", + "▁camp o", + "▁cam po", + "▁lect ure", + "hy per", + "▁Balt imore", + "mi x", + "m ix", + "ke iten", + "keit en", + "▁l asted", + "▁la sted", + "▁last ed", + "▁las ted", + "▁discrim ination", + "ig te", + "igt e", + "ok al", + "oka l", + "o kal", + "Ph ase", + "▁T itel", + "▁Tit el", + "▁Fif th", + "▁di agnostic", + "su ng", + "sun g", + "s ung", + "▁giorn ata", + "os ta", + "ost a", + "o sta", + "is co", + "isc o", + "▁S ara", + "▁Sa ra", + "▁Sar a", + "m v", + "▁el ő", + "▁R osen", + "▁Ro sen", + "▁Ros en", + "▁Rose n", + "▁E SP", + "▁ES P", + "ph er", + "p her", + "▁a j", + "▁ aj", + "Path s", + "Pat hs", + "▁R alph", + "▁ž e", + "▁ že", + "▁Ag reement", + "▁Word Press", + "an try", + "▁p icks", + "▁pick s", + "▁pi cks", + "▁pic ks", + "▁N ur", + "▁Nu r", + "chedul ed", + "ki e", + "k ie", + "▁represent ations", + "▁representation s", + "++ ){", + "++) {", + "ess ment", + "▁count less", + "Block s", + "Bl ocks", + "Blo cks", + "ym e", + "y me", + "▁c lo", + "▁cl o", + "▁B ened", + "▁Be ned", + "▁Ben ed", + "ch ars", + "char s", + "cha rs", + "▁A gent", + "▁Ag ent", + "▁Age nt", + "▁ Agent", + "▁hist oria", + "▁histor ia", + "▁F loor", + "▁Fl oor", + "▁Flo or", + "▁ten ía", + "▁long est", + "▁lon gest", + "fr ica", + "▁b ef", + "▁be f", + "▁mechan isms", + "▁mechanism s", + "ла зи", + "▁h eter", + "▁he ter", + "▁het er", + "▁athlet es", + "▁period ic", + "▁V otes", + "▁Vo tes", + "▁n á", + "▁ ná", + "▁m aid", + "▁ma id", + "▁mai d", + "▁s wear", + "▁sw ear", + "▁swe ar", + "▁wip ed", + "▁graph s", + "▁grap hs", + "▁t hesis", + "▁the sis", + "▁th esis", + "▁sens ation", + "pers istence", + "▁V il", + "▁Vi l", + "ac s", + "a cs", + "▁de el", + "sc rib", + "scri b", + "scr ib", + "ie ro", + "ier o", + "i ero", + "▁dis cre", + "▁disc re", + "air y", + "ai ry", + "Data Source", + "q t", + "ic iones", + "ici ones", + "icio nes", + "icion es", + "▁res pected", + "▁respect ed", + "▁fra m", + "▁spec ialized", + "▁special ized", + "▁prés ent", + "▁pré sent", + "Tur n", + "T urn", + "▁compl aints", + "▁complain ts", + "▁complaint s", + "(\" ,", + "( \",", + "▁Rel ated", + "▁Set ting", + "▁ Setting", + "▁s ą", + "▁P le", + "▁Pl e", + "▁d isse", + "▁dis se", + "▁diss e", + "ca ps", + "cap s", + "c aps", + "▁C ash", + "▁Cas h", + "▁Ca sh", + "▁cons umed", + "▁consum ed", + "▁consume d", + "▁l b", + "▁ lb", + "Ad just", + "Ser ialize", + "Serial ize", + "S erialize", + "is y", + "i sy", + "▁pat ent", + "▁vis ibility", + "▁S ach", + "▁Sa ch", + "▁Sac h", + "ün st", + "▁cy ber", + "▁Bl ake", + "▁Bl oom", + "▁Blo om", + "▁Sh ah", + "▁Sha h", + "PO WER", + "▁in clusion", + "▁incl usion", + "se rie", + "ser ie", + "s erie", + "▁man era", + "sec onds", + "second s", + "is ches", + "isch es", + "ische s", + "isc hes", + "▁C andidate", + "W D", + "op ath", + "o path", + "▁про гра", + "▁efficient ly", + "ap ps", + "app s", + "tool bar", + "we nd", + "wen d", + "w end", + "▁Ne il", + "▁form ats", + "▁format s", + "▁forma ts", + "▁T emplate", + "▁Temp late", + "▁ Template", + "▁min istry", + "▁minist ry", + "▁Char acter", + "▁ Character", + "Un iform", + "▁fon ction", + "Wh ile", + "рі я", + "▁D L", + "▁ DL", + "▁L ayout", + "▁La yout", + "▁Lay out", + "▁ Layout", + "▁c aval", + "▁ca val", + "▁cav al", + "▁H ob", + "▁Ho b", + "SP I", + "S PI", + "▁h ely", + "▁he ly", + "▁hel y", + "Dest ination", + "), \r", + ") ,\r", + "▁ad mission", + "▁adm ission", + "▁c ss", + "▁cs s", + "▁ css", + "user Id", + "um bling", + "umb ling", + "▁bo oking", + "▁book ing", + "▁COPY RIGHT", + "▁b land", + "▁bl and", + "output s", + "▁sub mission", + "▁subm ission", + "ti t", + "t it", + "fe ctions", + "fect ions", + "fection s", + "fr agment", + "frag ment", + "▁fa ç", + "▁Through out", + "▁distingu ished", + "▁distinguish ed", + "▁ar range", + "▁arr ange", + "▁arrang e", + "ume ric", + "umer ic", + "xf e", + "x fe", + "ip age", + "ipa ge", + "i page", + "ер жа", + "▁C ars", + "▁Car s", + "▁Ca rs", + "▁P AGE", + "▁PA GE", + "▁ PAGE", + "▁a unque", + "▁insert ed", + "smith y", + "AL LOC", + "ALL OC", + "RE C", + "R EC", + "▁B ak", + "▁Ba k", + "▁Str ong", + "ac hen", + "ach en", + "ache n", + "a chen", + "▁Spec ific", + "w q", + "MO VE", + "▁mús ica", + "▁C ris", + "▁Cr is", + "ea u", + "e au", + "▁F orum", + "▁For um", + "▁Fo rum", + "li sted", + "list ed", + "l isted", + ")\\ \\", + ") \\\\", + "/ $", + "Be r", + "B er", + "▁tact ics", + "Form atter", + "Format ter", + "op ens", + "ope ns", + "open s", + "▁r h", + "▁ rh", + "▁t ram", + "▁tr am", + "▁tra m", + "V L", + "▁Pro file", + "▁Prof ile", + "▁ Profile", + "▁Ray mond", + "▁cont empor", + "▁Pl anning", + "▁Plan ning", + "▁A RM", + "▁AR M", + "▁ ARM", + "▁des ires", + "▁desire s", + "k v", + "O s", + "▁m iner", + "▁min er", + "▁mi ner", + "▁mine r", + "▁qual ify", + "ik u", + "i ku", + "▁der ni", + "ol óg", + "▁K id", + "▁Ki d", + "ane an", + "▁Hol land", + "▁Holl and", + "Aut om", + "Auto m", + "▁Hamilton ian", + "St ation", + "Stat ion", + "js p", + "j sp", + "▁YO UR", + "▁YOU R", + "▁Th ailand", + "effect ive", + "▁relie ved", + "▁O klahoma", + "▁Jul ian", + "▁Juli an", + "▁Julia n", + "▁ind ent", + "▁inde nt", + "▁ indent", + "if r", + "i fr", + "▁fl ame", + "on io", + "oni o", + "o nio", + "As sign", + "Ass ign", + "▁sh ifts", + "▁shift s", + "▁car acter", + "▁caract er", + "if icates", + "ific ates", + "ificate s", + "ifica tes", + "X R", + "▁G FP", + "▁GF P", + "FE ATURE", + "▁M aine", + "▁Ma ine", + "▁Main e", + "▁Mai ne", + "▁f rank", + "▁fr ank", + "▁al igned", + "▁align ed", + "▁ aligned", + "▁p ří", + "▁př í", + "Code Attribute", + "▁M AC", + "▁MA C", + "▁ MAC", + "▁R oot", + "▁Ro ot", + "▁ Root", + "▁F M", + "▁ FM", + "с лі", + "▁s hy", + "▁sh y", + "▁partic ul", + "▁parti cul", + "pl atz", + "▁hypothes is", + "at hol", + "ath ol", + "s With", + "J s", + "$ ^{-", + "▁#! /", + "▁l emon", + "▁le mon", + "▁a bol", + "▁ab ol", + "▁ abol", + "▁Mil an", + "▁Mi lan", + "an ten", + "ant en", + "ante n", + "a nten", + "▁s ia", + "▁si a", + "ri as", + "ria s", + "r ias", + "▁con sid", + "as so", + "ass o", + "ain ers", + "ai ners", + "ainer s", + "aine rs", + "▁cir ca", + "▁circ a", + "re try", + "ret ry", + "r etry", + "▁nue vo", + "const ants", + "constant s", + "▁Med iterr", + "ion en", + "io nen", + "ione n", + "i onen", + "c rypto", + "▁ev olved", + "▁\" ?", + "▁p úblic", + "▁comp rend", + "▁compre nd", + "▁compr end", + "al lo", + "all o", + "zo om", + "z oom", + "▁dat etime", + "▁date time", + "▁ datetime", + "▁mond iale", + "▁M ask", + "▁Ma sk", + "▁Mas k", + "▁ Mask", + "▁p row", + "▁pro w", + "▁pr ow", + "▁belong ing", + "+ '", + "OUT PUT", + "▁G rab", + "▁Gr ab", + "▁Gra b", + "M ir", + "▁accommod ate", + "▁$ ('#", + "▁ $('#", + "▁Lou ise", + "▁Louis e", + "▁da mit", + "▁dam it", + "}' ,", + "} ',", + "scri pts", + "script s", + "sn apshot", + "snap shot", + "▁sh itty", + "▁shit ty", + "▁y o", + "▁ yo", + "▁belie ving", + "▁inhabit ants", + "W P", + "▁Colomb ia", + "li sts", + "list s", + "l ists", + "▁Mur phy", + "Data set", + "Dat aset", + "▁(! $", + "▁tremend ous", + "▁se ñ", + "▁S ed", + "▁Se d", + "▁sw allowed", + "▁swallow ed", + "om p", + "o mp", + "▁L ate", + "▁La te", + "▁Lat e", + "▁an ys", + "▁any s", + "▁dead ly", + "fol low", + "f ollow", + "▁A nc", + "▁An c", + "▁h w", + "▁ hw", + "wik ipedia", + "ic ts", + "ict s", + "▁Al aska", + "▁sc ary", + "▁scar y", + "▁second o", + "▁sec ondo", + "▁her oes", + "▁hero es", + "▁veter an", + "▁behav iors", + "▁behavior s", + "▁behavi ors", + "- %", + "▁E z", + "▁с і", + "▁ сі", + "tik z", + "▁spect acular", + "▁Ch ron", + "▁( @", + "▁ (@", + "▁de mo", + "▁dem o", + "▁ demo", + "▁ser ialized", + "▁serial ized", + "▁In depend", + "▁Indep end", + "BU ILD", + "fail ure", + "▁P ORT", + "▁PO RT", + "▁ PORT", + "ю чи", + "▁med itation", + "sample s", + "sam ples", + "s amples", + "i ão", + "▁Tr uth", + "▁Tru th", + "▁co efficient", + "▁coeff icient", + "sl ug", + "ia o", + "i ao", + "de ck", + "dec k", + "▁ad oles", + "ar ius", + "ari us", + "▁H az", + "▁Ha z", + "▁Pro test", + "▁Prote st", + "ra de", + "rad e", + "r ade", + "▁cl ause", + "conne ctor", + "connect or", + "conn ector", + "RA TE", + "R ATE", + "ц ю", + "▁Conne cticut", + "V S", + "abul ary", + "HO W", + "▁d elen", + "▁de len", + "▁del en", + "▁su ited", + "▁suit ed", + "▁suite d", + "▁Sur vey", + "ze c", + "z ec", + "ți i", + "ț ii", + "▁b acks", + "▁back s", + "▁ba cks", + "▁ backs", + "com merce", + "▁And rea", + "▁Andre a", + "▁Andr ea", + "▁propag anda", + "iz ioni", + "izi oni", + "izio ni", + "▁B il", + "▁Bi l", + "▁In nov", + "▁Inn ov", + "▁forg ive", + "▁oper ates", + "▁operate s", + "▁opera tes", + "ч ний", + "▁l ingu", + "▁lin gu", + "▁ling u", + "▁c ollar", + "▁col lar", + "▁coll ar", + "сі й", + "zt en", + "zte n", + "z ten", + "im at", + "ima t", + "i mat", + "▁sh oe", + "ge nder", + "gen der", + "g ender", + "▁leg ally", + "▁legal ly", + "RO P", + "R OP", + "▁S leep", + "deleg ate", + "ID s", + "▁build s", + "▁qu er", + "▁que r", + "▁q uer", + "▁ quer", + "uls ion", + ". “", + "ri se", + "ris e", + "r ise", + "th ink", + "▁bacter ia", + "▁magn ific", + "▁prison er", + "Cl ock", + "C lock", + "R B", + "ú t", + "▁L iz", + "▁Li z", + "gr a", + "g ra", + "▁And ré", + "▁Andr é", + "▁D ennis", + "▁Den nis", + "▁sur ge", + "▁surg e", + "ex isting", + "exist ing", + "▁W ald", + "▁Wal d", + "▁Wa ld", + "▁S chema", + "▁Sch ema", + "▁Sche ma", + "▁ Schema", + "▁war nings", + "▁warn ings", + "▁warning s", + "▁qu adr", + "▁quad r", + "at te", + "att e", + "▁E ins", + "▁Ein s", + "▁ad option", + "▁adopt ion", + "▁w anna", + "▁de rive", + "▁der ive", + "▁deriv e", + "▁ derive", + "▁a rena", + "▁are na", + "▁ar ena", + "▁aren a", + "▁Den ver", + "▁F i", + "▁ Fi", + "▁Jess ica", + "acy j", + "R atio", + "▁Act ivity", + "▁Activ ity", + "▁ Activity", + "em u", + "e mu", + "▁St alin", + "▁Sta lin", + "ag gi", + "agg i", + "a ggi", + "▁f ün", + "▁f ils", + "▁fil s", + "▁fi ls", + "aj u", + "a ju", + "card s", + "car ds", + "c ards", + "▁att raction", + "▁attract ion", + "▁attr action", + "▁attra ction", + "od ot", + "odo t", + "o dot", + "F at", + "▁H aven", + "▁Ha ven", + "▁Have n", + "▁Hav en", + "▁nine teenth", + "▁ninete enth", + "▁* *\"", + "▁** \"", + "▁m aggio", + "▁mag gio", + "ma ny", + "man y", + "m any", + "win ning", + "▁G A", + "▁ GA", + "▁d ummy", + "▁ dummy", + "Un able", + "en ci", + "enc i", + "ère nt", + "è rent", + "Im g", + "I mg", + "▁t ob", + "▁to b", + "DI P", + "D IP", + "S ince", + "▁Sa fe", + "▁Saf e", + "▁ Safe", + "Gu ard", + "is ure", + "i sure", + "port e", + "por te", + "p orte", + "▁stad ium", + "in di", + "ind i", + "▁App arently", + "ug no", + "▁w olf", + "▁ne ces", + "▁overse as", + "of s", + "o fs", + "ar el", + "are l", + "a rel", + "▁F ine", + "▁Fin e", + "▁Fi ne", + "▁cor rupt", + "▁n ovember", + "▁nov ember", + "▁nove mber", + "▁interpret ed", + "ib ile", + "ibil e", + "▁w ages", + "▁wa ges", + "▁wage s", + "▁Pre tty", + "▁Her bert", + "▁reg istr", + "an swer", + "ans wer", + "▁m orte", + "▁mor te", + "▁mort e", + "▁com posite", + "▁compos ite", + "Tool bar", + "▁iter ator", + "▁ iterator", + "ant ine", + "anti ne", + "▁init ialized", + "▁initial ized", + "▁initialize d", + "▁ initialized", + "▁poor ly", + "Access or", + "▁Han nah", + "▁Hann ah", + "ol an", + "ola n", + "o lan", + "▁o tto", + "▁ot to", + "▁ott o", + "▁ otto", + "▁str ikes", + "▁stri kes", + "▁strike s", + "▁conflict s", + "▁conflic ts", + "▁su rg", + "▁historia n", + "wo man", + "w oman", + "▁l ibraries", + "be w", + "b ew", + ")- -(", + ")-- (", + "ga ther", + "g ather", + "▁L ip", + "▁Li p", + "▁f ict", + "▁fi ct", + "FIL TER", + "@ {", + "▁bl essed", + "▁bless ed", + "et ics", + "etic s", + "eti cs", + "▁f ork", + "▁for k", + "▁Me tal", + "▁Met al", + "▁Meta l", + "po lation", + "pol ation", + "p olation", + "▁negoti ations", + "▁gen us", + "▁genu s", + "▁cont rolling", + "▁control ling", + "VER T", + "VE RT", + "V ERT", + "▁P erry", + "▁Per ry", + "▁S PD", + "▁SP D", + "CA SE", + "C ASE", + "▁C rown", + "▁Cr own", + "▁Cro wn", + "▁Crow n", + "▁ind ul", + "▁indu l", + "▁e hemal", + "▁ampl itude", + "▁amplit ude", + "▁B ach", + "▁Ba ch", + "▁phot ographer", + "▁photograph er", + "n ý", + "▁inv ested", + "▁invest ed", + "▁P arte", + "▁Par te", + "▁Part e", + "▁pro long", + "C U", + "icht et", + "ichte t", + "res ume", + "▁c arb", + "▁car b", + "▁ca rb", + "ur st", + "urs t", + "▁N ixon", + "▁n eur", + "▁ne ur", + "▁neu r", + "▁ neur", + "▁corpor ations", + "▁corporation s", + "Op s", + "O ps", + "u u", + "l m", + "ap ple", + "app le", + "ch te", + "cht e", + "▁deliber ately", + "ber e", + "be re", + "b ere", + "▁fe br", + "▁provinc ia", + "▁provin cia", + "Over flow", + "▁E ight", + "▁ind ication", + "▁indic ation", + "▁pist ol", + "oc ial", + "oci al", + "o cial", + "▁r und", + "▁run d", + "▁ru nd", + "▁ rund", + "▁se hr", + "ok at", + "oka t", + "o kat", + "ül et", + "ü let", + "▁He at", + "IC S", + "I CS", + "ay e", + "a ye", + "▁eight een", + "▁t ug", + "▁tu g", + "LO T", + "L OT", + "▁L ar", + "▁La r", + "ning s", + "n ings", + "▁T odd", + "▁To dd", + "▁Tod d", + "▁organis ations", + "▁organisation s", + "▁g enes", + "▁gen es", + "▁ge nes", + "▁gene s", + "B ag", + "Ke ep", + "^{ +", + "Base d", + "Bas ed", + "B ased", + "sk in", + "ski n", + "s kin", + "▁to das", + "▁tod as", + "▁toda s", + "▁illustr ated", + "▁c f", + "▁ cf", + "▁ar riving", + "▁arriv ing", + "▁arr iving", + "▁excess ive", + "▁tra its", + "▁trait s", + "▁s ank", + "▁san k", + "▁Att ribute", + "▁ Attribute", + "▁G D", + "▁ GD", + "com par", + "comp ar", + "▁dent ro", + "br is", + "b ris", + "▁at oms", + "▁atom s", + "fr ed", + "fre d", + "f red", + "▁E val", + "▁Ev al", + "▁Eva l", + "▁ Eval", + "▁di stances", + "▁dist ances", + "▁distance s", + "st aw", + "sta w", + "краї н", + "vari ables", + "variable s", + "l c", + "wi j", + "w ij", + "▁Sim ilar", + "je k", + "j ek", + "Pe t", + "P et", + "=\" $", + "▁Ra ng", + "▁Ran g", + "ion ato", + "iona to", + "▁bek annt", + "▁bekan nt", + "! *", + "Li m", + "L im", + "▁concl usions", + "▁conclusion s", + "ain te", + "ai nte", + "aint e", + "a inte", + "▁g ł", + "▁pass ive", + "▁Ga ussian", + "▁stag ione", + "ME DI", + "MED I", + "it ol", + "ito l", + "i tol", + "▁Jer emy", + "View s", + "class List", + "▁desper ately", + "▁desperate ly", + "▁ver l", + "▁ve rl", + "br ace", + "bra ce", + "N P", + "▁c ob", + "▁co b", + "▁A rist", + "▁Ar ist", + "▁Ari st", + "da p", + "d ap", + "Fil ters", + "Filter s", + "'=> '", + "ul tan", + "ult an", + "▁F actory", + "▁ Factory", + "è le", + "▁l asting", + "▁last ing", + "▁las ting", + "▁element ary", + "▁C M", + "▁ CM", + "▁Louis iana", + "▁p ov", + "▁po v", + "PC I", + "P CI", + "è de", + "▁P ink", + "▁Pin k", + "▁Br uno", + "▁Bru no", + "▁Brun o", + "▁Y ellow", + "▁ev angel", + "▁lik elihood", + "WID TH", + "▁$ -", + "▁ $-", + "ni co", + "nic o", + "n ico", + "hu i", + "h ui", + "ak ter", + "akt er", + "akte r", + "ne urs", + "neur s", + "n eurs", + "▁bre eze", + "▁bree ze", + "▁He ader", + "▁Head er", + "▁ Header", + "om rå", + "▁D ylan", + "▁Dy lan", + "▁Bi ographie", + "▁Univers ität", + "on so", + "ons o", + "HAND LE", + "J ournal", + "ea st", + "e ast", + "▁sup pliers", + "▁supplier s", + "▁table t", + "▁tab let", + "LI C", + "L IC", + "PER TY", + "ї в", + "▁z aw", + "▁za w", + "▁su bm", + "▁sub m", + "▁Fern ando", + "▁nou velle", + "▁nouve lle", + "▁Point s", + "▁ Points", + "▁str angers", + "▁strange rs", + "▁stranger s", + "▁strang ers", + "Component Model", + "ist ro", + "istr o", + "au rus", + "aur us", + "▁san ct", + "vert ical", + "Sp ring", + "▁Har old", + "▁Back ground", + "▁ Background", + "Bal ance", + "Key word", + "~$ \\", + "~ $\\", + "mal loc", + "m alloc", + "ORM AL", + "Sk ip", + "▁Mu ham", + "▁back wards", + "▁backward s", + "c ów", + "▁back end", + "▁ backend", + "▁de emed", + "▁accur ately", + "▁accurate ly", + "▁trans c", + "▁Broad way", + "▁g rud", + "▁gr ud", + "▁gru d", + "▁N amen", + "▁Name n", + "▁Na men", + "▁Nam en", + "▁sh ifting", + "▁shift ing", + "▁ment ally", + "▁mental ly", + "▁cal ories", + "▁cons ensus", + "Perm issions", + "Permission s", + "▁ob jet", + "▁obj et", + "▁elabor ate", + "at ts", + "att s", + "▁sn ake", + "▁ref res", + "▁refr es", + "ar u", + "a ru", + "▁reflect s", + "oun ge", + "o unge", + "R ank", + "▁K urt", + "▁Kur t", + "▁Ku rt", + "▁p ied", + "▁pie d", + "▁pi ed", + "▁exped ition", + "V el", + "▁O wen", + "Le ad", + "L ead", + "▁utter ly", + "▁Ar be", + "▁bre asts", + "▁breast s", + "IP S", + "I PS", + "▁hung er", + "▁hun ger", + "at em", + "ate m", + "a tem", + "▁vers chied", + "▁versch ied", + "▁Cam era", + "▁ Camera", + "▁Mün chen", + "i vals", + "▁sp raw", + "▁spr aw", + "▁S ü", + "▁Was ser", + "▁mechan ics", + "Load ed", + "Lo aded", + "db c", + "d bc", + "▁re marks", + "▁rem arks", + "▁remark s", + "▁ remarks", + "▁} ).", + "▁}) .", + "▁ }).", + "▁pain ter", + "▁pa inter", + "▁paint er", + "▁h aut", + "▁ha ut", + "Mar shal", + "IS D", + "I SD", + "▁ve loc", + "▁vel oc", + "▁In cre", + "▁Inc re", + "W ar", + "▁com pte", + "▁comp te", + "▁compt e", + "ü g", + "▁Def inition", + "▁ Definition", + "▁G am", + "▁Ga m", + "▁H ir", + "▁Hi r", + "▁witness ed", + "▁g ren", + "▁gr en", + "▁gre n", + "▁ gren", + "▁hur ry", + "ch et", + "che t", + "c het", + "re verse", + "G F", + "▁Qu arter", + "▁s ar", + "▁sa r", + "sb urg", + "sbur g", + "s burg", + "▁D it", + "▁Di t", + "▁ Dit", + "▁Arn old", + "j k", + "▁l ambda", + "▁ lambda", + "è ge", + "▁o z", + "▁ oz", + "▁h ans", + "▁ha ns", + "▁han s", + "▁answ ering", + "▁answer ing", + "▁o live", + "▁ol ive", + "▁sp ont", + "▁spo nt", + "▁inter vals", + "▁interval s", + "> @", + "▁F ocus", + "▁ Focus", + "ч них", + "▁tri angle", + "▁r ally", + "▁P unk", + "▁Pun k", + "▁G and", + "▁Ga nd", + "se ctions", + "section s", + "sect ions", + "AC CESS", + "A CCESS", + "ha rm", + "har m", + "h arm", + "▁Sk ip", + "▁ Skip", + "▁D river", + "▁Dr iver", + "▁Drive r", + "▁ Driver", + "▁Sant iago", + "it ung", + "itu ng", + "▁B arr", + "▁Bar r", + "▁Ba rr", + "process or", + "▁real ised", + "▁realise d", + "ą z", + "le ave", + "▁C omo", + "▁Com o", + "▁Co mo", + "▁Re views", + "▁Review s", + "▁earn ings", + "▁ear nings", + "▁earning s", + "▁S creen", + "▁Sc reen", + "▁Scre en", + "▁ Screen", + "gr and", + "gra nd", + "g rand", + "▁ap ril", + "▁apr il", + "▁sil ently", + "▁silent ly", + "ed o", + "e do", + "ue st", + "ues t", + "u est", + "oo oo", + "MAGE S", + "MAG ES", + "▁Sing h", + "▁Sin gh", + "▁Per fect", + "▁revolution ary", + "▁н і", + "▁ ні", + "▁Sch ools", + "▁School s", + "R ich", + "▁ch rom", + "▁chr om", + "▁an terior", + "▁ante rior", + "▁Indones ia", + "Con straints", + "Constraint s", + "▁\" __", + "▁\"_ _", + "▁six teen", + "▁sixt een", + "ér e", + "é re", + "N il", + "je l", + "j el", + "▁thr one", + "▁thro ne", + "▁aud iences", + "▁audience s", + "▁i hren", + "▁ih ren", + "▁ihr en", + "▁ihre n", + "Qu ick", + "in burgh", + "fi co", + "fic o", + "f ico", + "▁kid n", + "▁ki dn", + "irm ingham", + "is le", + "isl e", + "iz ación", + "iza ción", + "▁Ch ampions", + "▁Champion s", + "ol er", + "ole r", + "o ler", + "▁z ak", + "▁za k", + "▁p lat", + "at ique", + "ati que", + "li ter", + "lit er", + "l iter", + "▁P rest", + "▁Pr est", + "▁Pres t", + "▁Pre st", + "in is", + "ini s", + "i nis", + "▁scient ist", + "▁m ån", + "▁må n", + "ke ley", + "kel ey", + "▁h yd", + "▁hy d", + "grad uate", + "of t", + "o ft", + "▁N GC", + "on gs", + "ong s", + "▁t ier", + "▁tie r", + "▁ti er", + "▁Sh aw", + "▁Sha w", + "un ächst", + "▁establish ing", + "▁ind icator", + "▁indic ator", + "▁Par ad", + "▁Pa rad", + "▁Para d", + "▁Tr ail", + "▁Tra il", + "UM N", + "▁sp ine", + "▁spin e", + "▁Vis ual", + "▁ Visual", + ":: $", + "▁t eles", + "▁te les", + "▁tele s", + "▁tel es", + "OP ER", + "O PER", + "▁pack aging", + "to ire", + "t oire", + "▁product ivity", + "A f", + "ні ї", + "▁de gener", + "▁deg ener", + "br it", + "b rit", + "U i", + "▁Y am", + "▁Ya m", + "▁d ough", + "▁do ugh", + "▁dou gh", + "os ph", + "osp h", + "▁cl ue", + "▁me ille", + "▁tend ency", + "▁re lay", + "▁rel ay", + "▁design ers", + "▁designer s", + "Sh are", + "▁b icy", + "▁bi cy", + "▁M asters", + "▁Ma sters", + "▁Mas ters", + "▁Master s", + "▁altern atives", + "▁alternative s", + "ет о", + "е то", + "▁coun tr", + "▁count r", + "▁W ow", + "▁Wo w", + "LO CAL", + "LOC AL", + "en ue", + "enu e", + "▁s lim", + "▁sl im", + "▁t ir", + "▁ti r", + "▁do it", + "lic a", + "li ca", + "l ica", + "ci pe", + "cip e", + "c ipe", + "iz ia", + "izi a", + "▁A ires", + "▁Air es", + "▁F alls", + "▁Fall s", + "▁Fal ls", + "▁concent rate", + "▁concentr ate", + "▁ne gl", + "▁neg l", + "▁Re in", + "? ,", + "▁G ott", + "▁Go tt", + "▁Got t", + "▁Ver ify", + "▁ Verify", + "$ ('#", + "ow ym", + "owy m", + "я в", + "Prim itive", + "▁tax i", + "▁ta xi", + "▁Com mercial", + "place holder", + "se au", + "sea u", + "s eau", + "cor rect", + "he imer", + "heim er", + "▁H of", + "▁Ho f", + "▁d ia", + "▁di a", + "▁i rr", + "▁ir r", + "▁ur ged", + "▁urg ed", + "▁urge d", + "▁a nom", + "▁an om", + "▁ano m", + "▁t arde", + "▁tar de", + "▁tard e", + "ur m", + "u rm", + "▁se ized", + "▁sei zed", + "▁seiz ed", + "DO T", + "D OT", + "op acity", + "St rings", + "String s", + "Str ings", + "▁dec iding", + "▁decid ing", + "▁listen ers", + "▁listener s", + "ár a", + "á ra", + "▁pl anted", + "▁plan ted", + "▁plant ed", + "▁é taient", + "▁ét aient", + "Z oom", + "st ví", + "ng th", + "ä ude", + "▁C av", + "▁Ca v", + "▁v endor", + "▁vend or", + "▁ vendor", + "▁ ż", + "▁meas uring", + "▁necess ity", + "▁r ivers", + "▁ri vers", + "▁river s", + "▁riv ers", + "▁labor atory", + "▁E ff", + "▁reprodu ce", + "▁S ak", + "▁Sa k", + "▁not ebook", + "▁note book", + "▁reason ably", + "isecond s", + "i seconds", + "▁Part ial", + "▁ Partial", + "GUI D", + "GU ID", + "G UID", + "▁Per iod", + "▁ Period", + "▁reve aling", + "▁reveal ing", + "▁conv iction", + "▁бу ли", + "▁altern ate", + "▁alter nate", + "cc iones", + "▁N AT", + "▁NA T", + "▁can onical", + "▁canon ical", + "mo z", + "m oz", + "▁Mé xico", + "M o", + "lim inary", + "f é", + "▁Ham burg", + "▁Hamb urg", + "▁influ ential", + "▁b olt", + "▁bo lt", + "▁bol t", + "az zo", + "azz o", + "PH P", + "P HP", + "▁Sa udi", + "▁Saud i", + "▁Sau di", + "▁r m", + "▁ rm", + "▁cer ca", + "▁decor ated", + "▁st aat", + "▁sta at", + "Lo u", + "L ou", + "▁compet itors", + "во ї", + "▁diam ond", + "▁dia mond", + "▁m obil", + "▁mo bil", + "▁mob il", + "Click Listener", + "set State", + "▁s üd", + "; \"", + "œ ur", + "▁Lud wig", + "▁clin ic", + "▁e go", + "▁eg o", + "▁ ego", + "Thread ing", + "▁f ract", + "▁fr act", + "▁fra ct", + "Ref lection", + "oss ip", + "\"] [\"", + "▁L ov", + "▁Lo v", + "Ex press", + "Exp ress", + "Expr ess", + "if acts", + "ifact s", + "▁O ften", + "▁Of ten", + "▁p ets", + "▁pe ts", + "▁pet s", + "▁address ing", + "▁m ens", + "▁me ns", + "▁men s", + "▁ED IT", + "▁ EDIT", + "ud der", + "udd er", + "Vert ical", + "Cap t", + "C apt", + "verb ose", + "UNK NOWN", + "un its", + "unit s", + "uni ts", + "per mission", + "perm ission", + "[ _", + "▁er sch", + "▁ers ch", + "▁comm unes", + "▁commun es", + "▁commune s", + "Un ityEngine", + "▁com mut", + "▁comm ut", + "kl ass", + "k lass", + "▁volt age", + "▁volta ge", + "re zent", + "rez ent", + "pe rf", + "per f", + "DR V", + "D RV", + "▁f ame", + "▁fam e", + "▁fa me", + "▁S pot", + "▁Sp ot", + "▁c asting", + "▁cas ting", + "▁cast ing", + "hi m", + "h im", + "▁en gl", + "▁eng l", + "▁intr o", + "Comp any", + "some thing", + "som ething", + "▁cl icking", + "▁click ing", + "жи ва", + "▁fl ames", + "▁flame s", + "▁random ly", + "ex tr", + "ext r", + "Equal To", + "an ners", + "ann ers", + "anner s", + "anne rs", + "▁p arks", + "▁par ks", + "▁park s", + "▁murm ured", + "▁reason ing", + "▁n er", + "▁ne r", + "▁ ner", + "▁é c", + "▁ éc", + "ow ners", + "own ers", + "owner s", + "▁me er", + "▁typ ing", + "▁ty ping", + "▁happ ily", + ".. ...", + "... ..", + ".... .", + ". ....", + "be cca", + "bec ca", + "▁P apers", + "▁Pa pers", + "▁Pap ers", + "▁Paper s", + "▁Or acle", + "▁equ ilibrium", + "man agement", + "Li te", + "L ite", + "▁des ktop", + "▁desk top", + "ă r", + "▁G ill", + "▁Gi ll", + "▁Gil l", + "do rf", + "d orf", + "i gg", + "▁qu esta", + "▁que sta", + "▁quest a", + "▁ questa", + "Warning s", + "Warn ings", + "War nings", + "over flow", + "▁V T", + "▁ VT", + "▁A bu", + "▁Ab u", + "v scale", + "J O", + "ah o", + "a ho", + "▁T ensor", + "▁Ten sor", + "▁ Tensor", + "▁hes itated", + "▁w enn", + "▁we nn", + "▁wen n", + "map sto", + "maps to", + "▁controvers ial", + "M F", + "▁l ac", + "▁la c", + "▁an ch", + "▁anc h", + "▁ anch", + "▁A A", + "▁ AA", + "it ta", + "itt a", + "i tta", + "ul in", + "uli n", + "u lin", + "▁c ler", + "▁cl er", + "▁cle r", + "▁D iana", + "▁Di ana", + "▁Fre ud", + "▁challeng ed", + "▁challenge d", + "▁se ated", + "▁sea ted", + "▁seat ed", + "▁sm iles", + "▁smile s", + "▁cr acked", + "▁crack ed", + "▁а ктив", + "ско ј", + "dict ion", + "di ction", + "d iction", + "ex press", + "exp ress", + "expr ess", + "▁im posed", + "▁imp osed", + "▁pro tests", + "▁prote sts", + "▁protest s", + "▁prot ests", + "▁w ounds", + "▁wound s", + "C ulture", + "N Y", + "prevent Default", + "ad io", + "adi o", + "▁NE W", + "▁ NEW", + "B attle", + "▁se colo", + "▁sec olo", + "▁A x", + "(\" -", + "▁ret ro", + "▁retr o", + "▁pot atoes", + "import ant", + "ie me", + "iem e", + "i eme", + "ys ide", + "y side", + "d ummy", + "▁t ilt", + "▁til t", + "▁ti lt", + "▁R ules", + "▁Ru les", + "▁Rule s", + "▁ Rules", + "▁un ters", + "▁unt ers", + "▁unter s", + "A ud", + "V ENDOR", + "ud ge", + "un al", + "una l", + "u nal", + "▁Ad ult", + "▁im pat", + "▁imp at", + "▁rep airs", + "▁repair s", + "▁F erd", + "▁Fe rd", + "▁Fer d", + "▁Az ure", + "▁ Azure", + ")) :", + ") ):", + "▁pag ina", + "▁E pisode", + "File name", + "Fil ename", + "▁j á", + "▁oblig ation", + "ig hed", + "igh ed", + "▁pers istent", + "Mus ic", + "▁C ele", + "▁Ce le", + "▁Cel e", + "▁r y", + "▁ ry", + "▁cert ification", + "ul d", + "u ld", + "▁T L", + "▁ TL", + "▁sk irt", + "▁ski rt", + "▁M ini", + "▁Min i", + "▁Mi ni", + "▁B ring", + "▁Br ing", + ">< ?", + "> %", + "▁P and", + "▁Pan d", + "▁Pa nd", + "▁S UB", + "▁SU B", + "▁ SUB", + "▁compan ions", + "▁companion s", + "▁RE AD", + "▁ READ", + "▁S olutions", + "▁Solution s", + "▁acc essed", + "▁access ed", + "▁p osto", + "▁pos to", + "▁po sto", + "▁post o", + "▁pur suit", + "▁purs uit", + "ow i", + "o wi", + "▁gro cery", + "Sp e", + "S pe", + "haus en", + "▁normal ized", + "▁tra uma", + "gg i", + "g gi", + "ie nia", + "ien ia", + "▁aut umn", + "▁so vere", + "▁sov ere", + "▁Men schen", + "▁Mens chen", + "▁D AG", + "▁DA G", + "▁S ort", + "▁So rt", + "▁Sor t", + "▁ Sort", + "| ---", + "▁l iver", + "▁li ver", + "▁live r", + "▁liv er", + "▁ liver", + "env iron", + "DE CL", + "DEC L", + "▁N ak", + "▁Na k", + "bet ween", + "▁gentle man", + "in ging", + "ing ing", + "▁su bur", + "▁sub ur", + "ST O", + "S TO", + "ace ut", + "\\ !", + "▁Fuß ball", + "na r", + "n ar", + "▁b og", + "▁bo g", + "Token s", + "Tok ens", + "▁cer emon", + "▁cere mon", + "DA Y", + "D AY", + "▁out fit", + "▁agric ulture", + "▁N in", + "▁Ni n", + "▁Sp rings", + "▁Spring s", + "▁Spr ings", + "▁Co ach", + "▁d jango", + "▁ django", + "▁C rim", + "▁Cr im", + "▁te cn", + "Th ree", + "em os", + "e mos", + "▁be an", + "▁ bean", + "pi eler", + "pie ler", + "p ieler", + "ri tz", + "rit z", + "r itz", + "ta bs", + "tab s", + "t abs", + "▁Pro blem", + "in and", + "ina nd", + "oc on", + "oco n", + "o con", + "њ и", + "▁bu yer", + "▁buy er", + "us ement", + "use ment", + "▁sett embre", + "pp e", + "p pe", + "▁D eg", + "▁De g", + "▁W a", + "▁w ives", + "▁fr anzös", + "▁mar ca", + "▁des cent", + "▁desc ent", + "▁S ha", + "▁Sh a", + "ver ts", + "vert s", + "v erts", + "▁Sh adow", + "▁ Shadow", + "▁Hug o", + "▁Hu go", + "▁A ppe", + "▁App e", + "▁Ap pe", + "▁ Appe", + "▁L ac", + "▁La c", + "al len", + "all en", + "alle n", + "os ity", + "osi ty", + "▁consult ation", + "▁T i", + "▁er ano", + "▁era no", + "▁eran o", + "▁lo vers", + "▁love rs", + "▁lov ers", + "▁lover s", + "▁уни версите", + "▁virt ue", + "▁view ers", + "M u", + "c ategories", + "▁over look", + "▁overl ook", + "▁Oper ations", + "▁Operation s", + "▁ Operations", + "è ve", + "- (", + "▁ Ż", + "je v", + "j ev", + "▁c rist", + "▁cr ist", + "▁cris t", + "▁cri st", + "product ion", + "produ ction", + "prod uction", + "p roduction", + "▁T all", + "▁Tal l", + "▁Ta ll", + "Requ ests", + "Request s", + "▁t iles", + "▁til es", + "▁tile s", + "▁ti les", + "ref lect", + "▁ar gc", + "▁arg c", + "▁ argc", + "▁t emplates", + "▁templ ates", + "▁template s", + "▁ templates", + "AR B", + "A RB", + "▁weiter e", + "▁weit ere", + ")? ;", + ") ?;", + "▁t oll", + "▁to ll", + "▁correspond ence", + "$ ;", + "L T", + "▁t am", + "▁ta m", + "de cess", + "dec ess", + "built in", + "da sh", + "das h", + "d ash", + "ze nie", + "zen ie", + "▁mole cular", + "▁chem icals", + "▁chemical s", + "▁rend ering", + "▁render ing", + "▁Sing les", + "▁Sin gles", + "▁Single s", + "Init ialized", + "Initial ized", + "Initialize d", + "▁Mar tha", + "▁Mart ha", + "ri ere", + "rie re", + "rier e", + "r iere", + "par agraph", + "para graph", + "as ters", + "ast ers", + "aster s", + "aste rs", + "a sters", + "▁dec ides", + "▁decide s", + "▁decid es", + "▁Flor ence", + "▁Flo rence", + "▁Floren ce", + "▁And ers", + "▁An ders", + "▁a pt", + "▁ap t", + "▁ apt", + "▁affili ate", + "ch el", + "che l", + "c hel", + "▁re vision", + "▁rev ision", + "Pat ch", + "P atch", + "▁fi scal", + "▁fis cal", + "wi ę", + "w ię", + "N ational", + "▁depend encies", + "TRAN S", + "TRA NS", + "▁r ack", + "▁rac k", + "▁ra ck", + "sel ling", + "s elling", + "na issance", + "c atalog", + "Sh ip", + "S hip", + "IM AGE", + "I MAGE", + "'] [", + "' ][", + "▁p rv", + "▁pr v", + "▁F en", + "▁Fe n", + "▁rad ar", + "▁ra dar", + "cond itions", + "condition s", + "▁Quest ions", + "▁Question s", + "▁v ivid", + "▁vi vid", + "▁viv id", + "op f", + "o pf", + "FA CE", + "F ACE", + "ry s", + "r ys", + "Ex tract", + "Ext ract", + "Extra ct", + "il ians", + "ili ans", + "ilia ns", + "pl ug", + "▁a té", + "▁at é", + "▁like wise", + "▁L il", + "▁Li l", + "▁Cam peonato", + "AUT O", + "AU TO", + "▁M eta", + "▁Me ta", + "▁Met a", + "▁ Meta", + "re no", + "ren o", + "r eno", + "▁Trans fer", + "▁ Transfer", + "▁Mich elle", + "▁Michel le", + "▁Miche lle", + "bi s", + "b is", + "ń st", + "▁C ultural", + "com pass", + "comp ass", + "▁my sql", + "▁ mysql", + "▁cancel led", + "▁cancell ed", + "▁ ’", + "to o", + "t oo", + "▁re bell", + "▁reb ell", + "▁rebel l", + "ég e", + "é ge", + "os z", + "o sz", + "▁com poser", + "▁comp oser", + "▁compos er", + "}\" )", + "} \")", + "▁des erves", + "▁deserve s", + "▁oh ne", + "▁J ed", + "▁Je d", + "K ernel", + "▁pract ition", + "▁in door", + "▁ind oor", + "▁config urations", + "▁configuration s", + "▁m eth", + "▁me th", + "▁met h", + "+ (", + "Quest ion", + "▁bl own", + "▁blo wn", + "▁blow n", + ") '", + "▁Ar gs", + "▁Arg s", + "▁ Args", + "F ake", + "▁d even", + "▁de ven", + "▁dev en", + "istrz ost", + "na io", + "▁\" {", + "▁L it", + "▁Li t", + "com ed", + "co med", + "come d", + "c omed", + "▁st am", + "▁sta m", + "▁pl ugins", + "▁plugin s", + "▁plug ins", + "▁ plugins", + "▁travel ling", + "▁trav elling", + "na ire", + "n aire", + "▁aut onom", + "▁auto nom", + "STRU CT", + "n h", + "né es", + "née s", + "n ées", + "▁consider ably", + "B G", + "▁lad der", + "▁h ast", + "▁has t", + "▁ha st", + "iz ado", + "iza do", + "▁s ele", + "▁se le", + "▁sel e", + "▁W ere", + "▁We re", + "▁Wer e", + "ar don", + "ard on", + "ardo n", + "B ank", + "bund le", + "b undle", + "▁anticip ated", + "▁C ot", + "▁Co t", + "▁else if", + "▁ elseif", + "▁Bl ues", + "▁Blue s", + "▁fil tered", + "▁filter ed", + "▁a uction", + "▁au ction", + "ed uc", + "edu c", + "e duc", + "▁Ex pression", + "▁Express ion", + "▁Exp ression", + "▁ Expression", + "in x", + "i nx", + "▁s ucks", + "▁su cks", + "▁suc ks", + "▁suck s", + "EL L", + "E LL", + "▁Hud son", + "it ä", + "▁fem me", + "in ho", + "▁e vt", + "▁ev t", + "▁ evt", + "istribut ions", + "istribution s", + "▁r uss", + "▁ru ss", + "▁rus s", + "▁pet ition", + "▁petit ion", + "Si g", + "S ig", + "▁T ut", + "▁Tu t", + "Part ial", + "Ent ities", + "▁b ears", + "▁be ars", + "▁bear s", + "▁h ollow", + "▁hol low", + "__ [\"", + "▁R is", + "ț ă", + "dim s", + "di ms", + "d ims", + "▁compl ained", + "▁complain ed", + "▁m apped", + "▁map ped", + "▁ma pped", + "▁initi atives", + "▁initiative s", + "▁own s", + "ch ez", + "che z", + "▁dis pon", + "▁disp on", + "▁m ush", + "▁mus h", + "▁mu sh", + "q s", + "▁er folg", + "▁Nor weg", + "▁c et", + "▁ce t", + "im ag", + "ima g", + "i mag", + "Un til", + "U ntil", + "▁s talk", + "▁st alk", + "uv o", + "u vo", + "ie rz", + "ier z", + "ri eben", + "rie ben", + "rieb en", + "X T", + "ic als", + "ical s", + "ica ls", + "std out", + "▁extra cted", + "▁extract ed", + "▁Im ages", + "▁Image s", + "▁ Images", + "un def", + "und ef", + "unde f", + "u ndef", + "▁L é", + "▁accommod ation", + "▁T ouch", + "▁To uch", + "▁ Touch", + "▁intent ions", + "▁intention s", + "▁concent rated", + "▁concentr ated", + "▁concentrate d", + "▁Насе ление", + "▁ut ilis", + "▁util is", + "li f", + "l if", + "▁comp ris", + "▁compr is", + "med ium", + "medi um", + "St ates", + "State s", + "Stat es", + "▁Би ография", + "▁Fa ith", + "U A", + "ADD RESS", + "▁r ated", + "▁rate d", + "▁rat ed", + "▁ra ted", + "▁ rated", + "▁R ena", + "▁Re na", + "▁Ren a", + "▁C ache", + "▁Ca che", + "▁ Cache", + "▁pe que", + "▁un used", + "▁unus ed", + "▁ unused", + "ni m", + "n im", + "ol ding", + "old ing", + "▁N r", + "R ay", + "ur ls", + "url s", + "▁em issions", + "▁emission s", + "I r", + "▁m å", + "be ar", + "b ear", + "▁L ub", + "▁Lu b", + "▁Out side", + "min ded", + "mind ed", + "▁PRO VID", + "▁s ó", + "▁civil ian", + "Find er", + "Fin der", + "Fi nder", + "F inder", + "▁achie ving", + "mod ified", + "la ne", + "lan e", + "l ane", + "Se nder", + "Send er", + "S ender", + "▁Cr ime", + "▁Crim e", + "REQ UI", + "▁open ly", + "▁Belg ium", + "ic ity", + "ici ty", + "icit y", + "i city", + "▁M az", + "▁Ma z", + "▁st agger", + "▁stag ger", + "}} $,", + "}}$ ,", + "} }$,", + "na te", + "nat e", + "n ate", + "'' '", + "' ''", + "▁Ge off", + "ll i", + "l li", + "Su ite", + "▁D istribution", + "▁я кий", + "Com bo", + "Comb o", + "ho oks", + "hook s", + "▁F ight", + "▁Fig ht", + "▁Fi ght", + "Set s", + "Se ts", + "S ets", + "▁m k", + "▁ mk", + "▁gu ides", + "▁guide s", + "▁guid es", + "▁princip ale", + "▁principal e", + "Pre ferences", + "ti ny", + "t iny", + "ap pen", + "app en", + "appe n", + "a ppen", + "▁ru ined", + "▁ruin ed", + "▁sl iding", + "▁slid ing", + "▁Z en", + "▁Ze n", + "▁oct ubre", + "pos er", + "po ser", + "pose r", + "p oser", + "▁F lag", + "▁Fl ag", + "▁ Flag", + "▁b oom", + "▁bo om", + "▁Det ect", + "▁activ ation", + "▁entertain ing", + "▁entert aining", + "▁protect ive", + "ál l", + "á ll", + "▁Fl ash", + "▁mid st", + "▁mi dst", + "▁Ph D", + "ij ing", + "iji ng", + "cl ub", + "get C", + "▁tro uve", + "▁trou ve", + "am bers", + "amb ers", + "amber s", + "▁g reed", + "▁gr eed", + "▁gre ed", + "am arin", + "ama rin", + "amar in", + "▁suspic ious", + "▁susp icious", + "▁dep uty", + "▁deput y", + "as per", + "asp er", + "▁fun ded", + "▁fund ed", + "al one", + "alo ne", + "▁t ract", + "▁tr act", + "▁tra ct", + "▁ tract", + "▁R ating", + "▁Ra ting", + "▁Rat ing", + "ad ays", + "ada ys", + "a days", + "▁st att", + "▁stat t", + "▁sta tt", + "▁Priv acy", + "▁_ _(", + "▁__ (", + "▁ __(", + "▁f ights", + "▁fight s", + "á j", + "\\ ]", + "or na", + "orn a", + "▁Diam ond", + "▁pro totype", + "▁proto type", + "▁prot otype", + "▁ prototype", + "▁Str ateg", + "ha do", + "had o", + "h ado", + "▁l ungs", + "▁lung s", + "▁lun gs", + "Pro totype", + "Proto type", + "ließ lich", + "▁d ive", + "▁di ve", + "▁div e", + "co v", + "c ov", + "▁M ist", + "▁Mi st", + "▁Mis t", + "▁T ypes", + "▁Type s", + "▁Ty pes", + "▁Typ es", + "▁ Types", + "▁di agonal", + "▁p review", + "▁pre view", + "▁prev iew", + "▁ preview", + "▁Cont ainer", + "▁ Container", + "DESC RIP", + "▁brit ann", + "▁C ord", + "▁Co rd", + "▁Cor d", + "ak ov", + "ako v", + "a kov", + "▁far ming", + "▁farm ing", + "▁p ère", + "▁k ills", + "▁kill s", + "▁kil ls", + "▁Car ib", + "▁Ca rib", + "ћ и", + "? ;", + "▁En sure", + "par sed", + "parse d", + "pars ed", + "än ge", + "äng e", + "▁D elta", + "▁Del ta", + "▁ Delta", + "▁g aining", + "▁gain ing", + "▁ga ining", + "▁n oting", + "▁not ing", + "▁no ting", + "▁B arb", + "▁Ba rb", + "▁фев ра", + "Em p", + "E mp", + "▁{ })", + "▁{} )", + "▁ {})", + "▁sy ntax", + "▁syn tax", + "▁synt ax", + "W alk", + "▁P ere", + "▁Per e", + "▁Pe re", + "Is Null", + "▁U V", + "▁ UV", + "▁ret val", + "▁ retval", + "▁sim plicity", + "▁simpl icity", + "▁rein force", + "Lin q", + "▁diff usion", + "▁dis orders", + "▁disorder s", + "ât re", + "â tre", + "ui ty", + "uit y", + "u ity", + "▁hel pless", + "▁help less", + "Me asure", + "▁com pression", + "▁comp ression", + "▁compr ession", + "▁compress ion", + "▁Co al", + "olut ely", + "olute ly", + "o gue", + "▁up ward", + "▁Block ly", + "▁b ride", + "▁br ide", + "parse Int", + "▁is olation", + "▁isol ation", + "▁regul atory", + "ș ti", + "ric ane", + "м б", + "▁sa lad", + "▁sal ad", + "we i", + "w ei", + "▁B asket", + "▁Bas ket", + "▁M ON", + "▁MO N", + "▁ MON", + "\"> &", + "\" >&", + "do ors", + "door s", + "▁K ill", + "▁Kil l", + "▁Ki ll", + "▁conspir acy", + "▁M iles", + "▁Mil es", + "▁Mi les", + "wa nt", + "wan t", + "w ant", + "Mod ifier", + "▁batter ies", + "▁batt eries", + "iv as", + "iva s", + "i vas", + "▁att endance", + "▁attend ance", + "▁AUT H", + "▁AU TH", + "▁ AUTH", + "▁с ві", + ".. .,", + "... ,", + "▁aggreg ate", + "▁de struct", + "▁dest ruct", + "▁four teen", + "▁both ered", + "▁bother ed", + "el te", + "elt e", + "e lte", + "▁m ism", + "▁mis m", + "▁mi sm", + "▁res ting", + "▁rest ing", + "▁P ars", + "▁Par s", + "▁Pa rs", + "▁ Pars", + "▁id le", + "▁ idle", + "▁d eren", + "▁de ren", + "▁der en", + "▁dere n", + "▁di ary", + "▁dia ry", + "▁v ague", + "▁va gue", + "▁vag ue", + "▁margin al", + "▁marg inal", + "Wr it", + "W rit", + "Bo t", + "B ot", + "▁Met ro", + "▁e arning", + "▁earn ing", + "▁ear ning", + "hist oire", + "his toire", + "▁end orse", + "▁be ard", + "▁bear d", + "▁Chair man", + "ie b", + "i eb", + "▁neut r", + "▁neu tr", + "▁am bit", + "▁amb it", + "▁Leon ard", + "ban ds", + "band s", + "b ands", + "▁D ale", + "▁Da le", + "▁Dal e", + "▁ver ified", + "Al gorithm", + "Enumer able", + "op code", + "cast le", + "cas tle", + "š e", + "▁Venez uela", + "▁de scriptions", + "▁des criptions", + "▁description s", + "▁value d", + "▁val ued", + "▁chapter s", + "▁chap ters", + "▁I ls", + "▁Il s", + "▁cl arity", + "▁clar ity", + "▁tour ists", + "▁tourist s", + "Da n", + "D an", + "▁t ribe", + "▁tr ibe", + "▁tri be", + "▁trib e", + "fol k", + "f olk", + "ac cur", + "acc ur", + "▁St ack", + "▁Sta ck", + "▁ Stack", + "▁adv ocate", + "▁advoc ate", + "▁G ene", + "▁Ge ne", + "▁Gen e", + "Im ages", + "Image s", + "▁rig id", + "▁con greg", + "▁congr eg", + "▁start up", + "▁dead line", + "co uld", + "cou ld", + "c ould", + "▁beg ann", + "▁began n", + "▁cal ci", + "▁calc i", + "▁Cir cle", + "▁Circ le", + "▁in cons", + "▁inc ons", + "▁incon s", + "aaaa aaaa", + "▁rub bed", + "ape ut", + "ua rio", + "uar io", + "u ario", + "worth y", + "wor thy", + "wort hy", + "▁fam ília", + "▁synchron ized", + "▁unf air", + "rs p", + "r sp", + "▁soc ieties", + "▁societ ies", + "bo at", + "gr o", + "g ro", + "▁k at", + "▁ka t", + "▁ kat", + "▁p oker", + "▁po ker", + "▁pok er", + "▁l ocks", + "▁loc ks", + "▁lo cks", + "▁lock s", + "▁G F", + "▁ GF", + "▁re conc", + "▁recon c", + "▁Maur ice", + "▁Mau rice", + "__( /*!", + "▁ble eding", + "äs ident", + "▁deriv ative", + "cc ió", + "c ció", + "▁cr ushed", + "▁crush ed", + "▁tempor arily", + "▁co aches", + "▁coach es", + "▁Mo vement", + "▁Move ment", + "▁Mov ement", + "}} $.", + "}}$ .", + "} }$.", + "▁K yle", + "▁Ky le", + "▁S ohn", + "▁So hn", + "▁cre ator", + "▁creat or", + "ind ust", + "▁E rik", + "▁Er ik", + "▁se iz", + "▁sei z", + "▁dim ensional", + "▁dimension al", + "▁ dimensional", + "▁I st", + "▁Is t", + "▁pre val", + "▁pr eval", + "▁prev al", + "he ads", + "head s", + "▁про ти", + "▁determ ines", + "▁determine s", + "▁determin es", + "eg y", + "e gy", + "▁U INT", + "▁UI NT", + "▁ UINT", + "▁V olk", + "▁Vol k", + "pa wn", + "p awn", + "Ph oto", + "▁C olin", + "▁Col in", + "▁Co lin", + "ap propri", + "app ropri", + "ort ion", + "st eller", + "stell er", + "É tat", + "▁im ply", + "▁imp ly", + "▁impl y", + "▁t outes", + "▁to utes", + "▁tou tes", + "▁tout es", + "▁toute s", + "VO L", + "V OL", + "an ing", + "ani ng", + "a ning", + "Tool tip", + "ig ious", + "igi ous", + "▁e ternal", + "▁etern al", + "▁P oz", + "▁Po z", + "▁bank rupt", + "▁fail ures", + "▁failure s", + "uer te", + "zu ng", + "z ung", + "▁t cp", + "▁tc p", + "▁ tcp", + "▁cont ainers", + "▁contain ers", + "▁container s", + "ou sel", + "ous el", + "ouse l", + "▁H IV", + "▁con ced", + "▁conc ed", + "▁conce d", + "▁sept iembre", + "gi rl", + "g irl", + "▁C ho", + "▁Ch o", + "▁f az", + "▁fa z", + "▁Up per", + "▁ Upper", + "▁For ces", + "▁Force s", + "äh lt", + "in ject", + "Re ceived", + "MA T", + "M AT", + "ag lia", + "ów nie", + "ówn ie", + "/ '", + "▁p ip", + "▁pi p", + "▁G est", + "▁Ge st", + "▁Ges t", + "▁l ado", + "▁la do", + "▁lad o", + "▁compat ibility", + "▁m are", + "▁mar e", + "▁ma re", + "▁ mare", + "▁Cle arly", + "▁Clear ly", + "vers ation", + "Ver s", + "V ers", + "▁ch ick", + "▁chi ck", + "▁organ ize", + "▁organiz e", + "▁econom ics", + "▁economic s", + "▁ancest ors", + "ME D", + "M ED", + "▁sc rub", + "▁scr ub", + "▁label ed", + "▁lab eled", + "▁S uz", + "▁Su z", + "▁A str", + "▁As tr", + "▁Ast r", + "allow een", + "allo ween", + "rh s", + "r hs", + "as ci", + "asc i", + "▁C ancer", + "▁Can cer", + "▁H unt", + "▁Hun t", + "▁Hu nt", + "▁switch ing", + "▁R idge", + "Se q", + "S eq", + "▁gi ugno", + "bus iness", + "▁char ming", + "▁charm ing", + "▁I o", + "▁ Io", + "▁prés ident", + "ek ing", + "e king", + "í l", + "en h", + "e nh", + "pr it", + "p rit", + "erc ise", + "án ak", + "á nak", + "▁b ugs", + "▁bu gs", + "▁bug s", + "▁light ning", + "▁never theless", + "▁length s", + "G U", + "H idden", + "Act or", + "Ac tor", + "A ctor", + "To pic", + "Top ic", + "T opic", + "▁H orse", + "▁Hor se", + "ћ е", + "el ines", + "eline s", + "eli nes", + "elin es", + "e lines", + "▁trag edy", + "▁traged y", + "int endo", + "▁abund ance", + "▁ev ac", + "it ably", + "+\\ _\\", + "▁rec ib", + "ua ted", + "uate d", + "u ated", + "рі ї", + "▁fool ish", + "▁foo lish", + "▁t m", + "▁ tm", + "▁des pair", + "▁desp air", + "TO KEN", + "▁comp romise", + "▁comprom ise", + "▁Person en", + "▁Pers onen", + "▁investig ated", + "▁investigate d", + "▁ex clude", + "▁excl ude", + "▁telev is", + "▁tele vis", + "▁pull s", + "▁pul ls", + "▁according ly", + "▁accord ingly", + "▁f ő", + "▁Le ave", + "▁ Leave", + "oper ations", + "operation s", + "cri m", + "cr im", + "c rim", + "▁r hs", + "▁rh s", + "▁ rhs", + "▁form ally", + "▁formal ly", + "▁L ily", + "▁Li ly", + "▁Lil y", + "▁Com ments", + "▁Comm ents", + "▁Comment s", + "▁se ptember", + "▁sept ember", + "ie fs", + "ief s", + "▁tre asure", + "Http Servlet", + "ді в", + "д ів", + "▁dis claimer", + "lu ss", + "l uss", + "▁ка о", + "ro gen", + "rog en", + "r ogen", + "▁Start ing", + "▁Star ting", + "▁d ém", + "▁dé m", + "▁select ing", + "▁ ↘", + "▁Pract ice", + "▁p orte", + "▁por te", + "▁port e", + "▁ porte", + "▁as sure", + "▁ass ure", + "▁frustr ated", + "S ink", + "▁esc ort", + "ais es", + "ai ses", + "aise s", + "a ises", + "▁b ush", + "▁bu sh", + "▁bus h", + "▁Se ine", + "▁F ill", + "▁Fil l", + "▁Fi ll", + "▁ Fill", + "▁S ull", + "▁Su ll", + "▁Sul l", + "Do t", + "D ot", + "vi l", + "v il", + "un ing", + "uni ng", + "u ning", + "Render ing", + "Rend ering", + "sh ake", + "sha ke", + "pt e", + "p te", + "▁b end", + "▁be nd", + "▁ben d", + "▁jewel ry", + "▁Stock holm", + "▁Hon estly", + "! [", + "▁array s", + "▁arr ays", + "▁War ner", + "▁sh aft", + "▁sha ft", + "▁C ann", + "▁Can n", + "▁Ca nn", + "▁Pitt sburgh", + "ir ical", + "iri cal", + "i rical", + "au tre", + "aut re", + "▁R ück", + "▁gen naio", + "an nte", + "ann te", + "annt e", + "ps hire", + "p shire", + "ét a", + "é ta", + "▁pr inter", + "▁print er", + "▁prin ter", + "▁dam ages", + "▁damage s", + "▁Isa ac", + "▁Famil ie", + "Code s", + "Co des", + "C odes", + "th rift", + "no b", + "n ob", + "▁c av", + "▁ca v", + "▁techn ically", + "▁technical ly", + "▁I mm", + "▁Im m", + "▁tr icks", + "▁tri cks", + "▁trick s", + "EA R", + "E AR", + "▁Sub ject", + "▁ Subject", + "▁ne eding", + "▁need ing", + "▁G ir", + "▁Gi r", + "Bo ard", + "B oard", + "▁re he", + "▁rem inder", + "▁remind er", + "▁sh iver", + "K it", + "▁strugg les", + "▁struggle s", + "▁gen om", + "▁ge nom", + "im il", + "imi l", + "i mil", + "Reg istration", + "▁gl oves", + "▁glo ves", + "▁Z ur", + "▁Zu r", + "▁B eg", + "▁Be g", + "▁in clusive", + "▁incl usive", + "og an", + "oga n", + "o gan", + "po que", + "cont rib", + "contr ib", + "▁M ama", + "▁Ma ma", + "▁Mam a", + "print s", + "▁re named", + "ють ся", + "ю ться", + "net dev", + "▁comp ile", + "▁ compile", + "▁ §", + "M UL", + "▁dr aws", + "▁draw s", + "co ck", + "c ock", + "▁M um", + "▁Mu m", + "sp ieler", + "spi eler", + "s pieler", + "▁n ail", + "▁na il", + "▁ nail", + "▁trans it", + "▁S aw", + "▁Sa w", + "▁com press", + "▁comp ress", + "▁compre ss", + "▁compr ess", + "▁ compress", + "▁purch ases", + "▁purchase s", + "▁per forms", + "▁perform s", + "▁dem ol", + "▁demo l", + "▁comm ence", + "▁C B", + "▁ CB", + "▁A ber", + "▁Ab er", + "▁c ush", + "▁cu sh", + "▁Muham mad", + "▁Net flix", + "▁Environment al", + "No rm", + "N orm", + "▁w ir", + "null ptr", + "▁refuge es", + "▁B irmingham", + "New s", + "Ne ws", + "Or ient", + "O rient", + "As sembly", + "▁introdu cing", + "fin der", + "find er", + "fi nder", + "f inder", + "▁scholar ship", + "▁scholars hip", + "if a", + "i fa", + "Si ng", + "S ing", + "ib lic", + "ibli c", + "i blic", + "istribut ed", + "istribute d", + "▁depart ments", + "▁department s", + "CR EF", + "CRE F", + "C REF", + "▁Malays ia", + "CO NF", + "CON F", + "▁Cl aud", + "▁Bu ilt", + "▁ Built", + "RAN GE", + "Re direct", + "Red irect", + "LE ASE", + "-- -------", + "---- -----", + "-------- -", + "--- ------", + "----- ----", + "------ ---", + "------- --", + "- --------", + "▁n umpy", + "▁num py", + "▁project ed", + "▁remind s", + "▁- *-", + "ib ling", + "ibli ng", + "i bling", + "▁s lower", + "▁sl ower", + "▁slow er", + "op p", + "o pp", + "ro pic", + "rop ic", + "r opic", + "▁Mont real", + "▁detect ive", + "TH READ", + "▁qu é", + "▁R osa", + "▁Ro sa", + "▁Ros a", + "▁seven th", + "▁sevent h", + "Col ors", + "Color s", + "de mo", + "dem o", + "▁E sta", + "▁Est a", + "▁Es ta", + "ff f", + "f ff", + "ick ets", + "icket s", + "Gr e", + "G re", + "á b", + "bo ost", + "▁Go ing", + "▁Su ite", + "▁ Suite", + "▁adapt ation", + "▁j ours", + "▁jour s", + "▁jo urs", + "▁jou rs", + "▁ jours", + "▁Or th", + "▁Ort h", + "х і", + "Fig ure", + "▁su pers", + "▁sup ers", + "▁super s", + "▁access ories", + "we ak", + "▁dist ress", + "fr ied", + "f ried", + "▁go og", + "▁far mer", + "▁farm er", + "it ational", + "itation al", + "itat ional", + "Go ld", + "G old", + "▁ass hole", + "▁assh ole", + "▁Cont roller", + "▁Control ler", + "▁ Controller", + "To o", + "T oo", + "▁mol to", + "▁p ropri", + "▁prop ri", + "▁ propri", + "▁al go", + "▁alg o", + "Af f", + "A ff", + "re sc", + "res c", + "r esc", + "▁D y", + "▁con gr", + "▁T es", + "▁Te s", + "▁W IN", + "▁ WIN", + "de serialize", + "des erialize", + "sy n", + "s yn", + "▁chem istry", + "m iddle", + "▁an imated", + "▁anim ated", + "▁K um", + "▁Ku m", + "file Name", + "Amer ica", + "▁dr ums", + "▁dru ms", + "▁drum s", + "▁program a", + "▁n ej", + "▁ne j", + "▁ nej", + "Read Only", + "-- -----", + "---- ---", + "--- ----", + "----- --", + "------ -", + "- ------", + "Mut ex", + "Mu tex", + "un ned", + "unn ed", + "ynam ics", + "ynamic s", + "co system", + "cos ystem", + "▁R ect", + "▁Re ct", + "▁Rec t", + "▁ Rect", + "▁an ime", + "▁anim e", + "▁need le", + "es ser", + "ess er", + "esse r", + "▁incl u", + "▁inc lu", + "Le an", + "tr aining", + "tra ining", + "train ing", + "▁b our", + "▁bo ur", + "▁bou r", + "▁ bour", + "ab ases", + "abase s", + "aba ses", + "▁tak że", + "wa rz", + "war z", + "w arz", + "▁ste pping", + "▁step ping", + "▁T IME", + "▁ TIME", + "▁Ein stein", + "▁Log in", + "▁Lo gin", + "▁ Login", + "pon ential", + "ponent ial", + "De ad", + "D ead", + "in str", + "ins tr", + "inst r", + "▁ne ural", + "▁neu ral", + "▁neur al", + "▁ub ic", + "▁Init ialized", + "▁Initialize d", + "▁Initial ized", + "▁ Initialized", + "▁facil itate", + "G D", + "}{ (", + "} {(", + "D ark", + "▁n ag", + "▁na g", + "min ipage", + "Size s", + "Si zes", + "S izes", + "▁w orm", + "▁wor m", + "▁wo rm", + "bi as", + "bia s", + "b ias", + "Su ch", + "S uch", + "wick lung", + "▁sp ouse", + "▁spo use", + "▁surviv ors", + "er st", + "ers t", + "at ype", + "aty pe", + "a type", + "}) $,", + "})$ ,", + "} )$,", + "▁n l", + "▁ nl", + "▁cogn itive", + "▁o nde", + "▁on de", + "▁ onde", + "▁en abling", + "▁soc iet", + "▁soci et", + "▁c lan", + "▁cl an", + "▁ex cluded", + "▁excl uded", + "▁exclude d", + "▁th under", + "▁ent ropy", + "▁entr opy", + "▁fast est", + "RE EN", + "REE N", + "▁Vien na", + "▁fl owing", + "▁flo wing", + "▁flow ing", + "▁aff irm", + "al om", + "alo m", + "▁h ips", + "▁hi ps", + "▁hip s", + "▁can nab", + "▁st icks", + "▁stick s", + "▁cur riculum", + "▁retain ed", + "▁ext ending", + "▁extend ing", + "ó z", + "he aded", + "head ed", + "ex c", + "e xc", + "▁je ho", + "▁for ests", + "▁fore sts", + "▁forest s", + "ma nia", + "man ia", + "m ania", + "▁C anal", + "▁Can al", + "▁Ca nal", + "▁S out", + "▁So ut", + "▁Sou t", + "▁B ahn", + "▁Ba hn", + "▁Bah n", + "▁T EXT", + "▁TE XT", + "▁ TEXT", + "▁др жа", + "▁User s", + "▁Us ers", + "▁Use rs", + "▁ Users", + "▁G EN", + "▁ GEN", + "sl ash", + "ben falls", + "Text Field", + "▁r av", + "▁ra v", + "▁ rav", + "▁continu ously", + "▁continuous ly", + "IT ER", + "ITE R", + "I TER", + "▁Jen ny", + "▁Jenn y", + "ch os", + "cho s", + "c hos", + "▁am big", + "▁amb ig", + "Aut ow", + "Auto w", + "▁V eter", + "▁Ve ter", + "▁dest in", + "H om", + "au ge", + "aug e", + "a uge", + "▁com mod", + "▁comm od", + "▁gar lic", + "< =", + "▁dram atically", + "▁dramatic ally", + "CA N", + "C AN", + "an cers", + "ance rs", + "anc ers", + "ancer s", + "() }", + "( )}", + "gh ai", + "▁tw ee", + "▁twe e", + "▁сент ября", + "GP U", + "G PU", + "▁B omb", + "▁Bo mb", + "▁young est", + "▁c age", + "▁ca ge", + "ok s", + "o ks", + "ic hes", + "ich es", + "iche s", + "i ches", + "▁T ests", + "▁Te sts", + "▁Test s", + "▁Tes ts", + "▁ Tests", + "sk ý", + "cur y", + "cu ry", + "c ury", + "na ls", + "nal s", + "n als", + "ț a", + "▁V oice", + "▁Vo ice", + "Depend ency", + "v f", + "e ous", + "▁Z a", + "▁am ateur", + "▁G host", + "▁Gh ost", + "▁dis ability", + "▁rev enge", + "▁reven ge", + "Trans lation", + "▁cour tesy", + "ски я", + "▁bl ob", + "▁blo b", + "▁ blob", + "ä ß", + "ó j", + "▁print s", + "▁prin ts", + "▁ prints", + "▁pro ves", + "▁pr oves", + "▁prov es", + "▁prove s", + ">? [<", + "▁ut ils", + "▁util s", + "▁ utils", + "ty pen", + "type n", + "typ en", + "▁t erra", + "▁ter ra", + "▁terr a", + "▁ terra", + "▁min eral", + "▁mine ral", + "▁miner al", + "▁war rior", + "▁D S", + "▁ DS", + "Em b", + "E mb", + "get Data", + "лич и", + "▁sa fer", + "▁saf er", + "▁safe r", + "▁com une", + "▁comun e", + "▁hier archy", + "Cred entials", + "res se", + "ress e", + "r esse", + "gr av", + "gra v", + "g rav", + "lo gs", + "log s", + "l ogs", + "br os", + "bro s", + "b ros", + "BUT TON", + "lit eral", + "liter al", + "l iteral", + "▁S r", + "an tal", + "ant al", + "anta l", + "▁mer cy", + "▁merc y", + "DA P", + "D AP", + "▁Mag gie", + "▁sust ained", + "▁sustain ed", + "N M", + "Re view", + "Rev iew", + "▁Buen os", + "▁de aler", + "▁deal er", + "▁file Name", + "▁ fileName", + "bb ra", + "b bra", + "Inst all", + "▁Mor ning", + "LE T", + "L ET", + "ip a", + "i pa", + "G a", + "▁Sche dule", + "▁ Schedule", + "▁rep orters", + "▁report ers", + "▁reporter s", + "▁pecul iar", + "▁sup plier", + ")$ -", + ") $-", + "ë l", + "▁roll s", + "▁né cess", + "▁p reg", + "▁pre g", + "▁pr eg", + "▁Re yn", + "▁sur render", + "▁contribut ing", + ")+ \\", + ") +\\", + "PRO P", + "PR OP", + "P ROP", + "▁dec imal", + "▁Town ship", + "gr p", + "g rp", + "▁terror ist", + "pt o", + "p to", + "on en", + "one n", + "o nen", + "▁Polit ics", + "▁Pe arl", + "▁Pear l", + "▁pil low", + "▁pill ow", + "▁gr ades", + "▁grad es", + "▁grade s", + "▁gra des", + "▁ grades", + "TH E", + "T HE", + "▁num ero", + "▁numer o", + "▁nu mero", + "i NdEx", + "M igration", + "PE ND", + "P END", + "ph oto", + "▁cent ered", + "▁center ed", + "▁r het", + "▁rh et", + "egr ünd", + "▁laund ry", + "get Node", + "▁est imation", + "▁estim ation", + "▁I v", + "▁wh oles", + "▁who les", + "▁whole s", + "▁const itutional", + "▁constitution al", + "am ination", + "amin ation", + "▁Municip al", + "ad t", + "a dt", + "th y", + "t hy", + "▁pub li", + "▁di cembre", + "▁dic embre", + "▁dice mbre", + "` )", + "▁Ch rome", + "ef e", + "e fe", + "con g", + "co ng", + "c ong", + "bre aking", + "break ing", + "es tr", + "est r", + "e str", + "▁i di", + "▁id i", + "▁ idi", + "VER Y", + "V ERY", + "▁app el", + "▁ap pel", + "▁appe l", + "▁Techn ical", + "tc x", + "t cx", + "DO UBLE", + "se k", + "s ek", + "hu ng", + "h ung", + "▁A ur", + "▁Au r", + "coll apse", + "▁adv ise", + "▁advis e", + "▁Pr imary", + "▁Pri mary", + "▁Prim ary", + "▁ Primary", + "ia z", + "i az", + "▁a nten", + "▁an ten", + "▁ant en", + "▁ante n", + "▁ anten", + "▁bro ader", + "▁broad er", + "▁ju nio", + "▁jun io", + "▁juni o", + "▁w ool", + "▁wo ol", + "▁hat red", + "▁ex agger", + "Con v", + "Co nv", + "kt ur", + "▁em peror", + "▁Pack age", + "▁ Package", + "TD M", + "T DM", + "\\{ \\", + "\\ {\\", + "whe el", + "▁fe as", + "▁js ou", + "", + "< ?>", + "INST ANCE", + "▁ch ant", + "▁cha nt", + "▁ chant", + "▁Re fer", + "▁Ref er", + "▁S hir", + "▁Sh ir", + "▁Me eting", + "▁Meet ing", + "▁n v", + "▁ nv", + "▁associ ations", + "▁association s", + "it ations", + "itation s", + "itat ions", + "or um", + "o rum", + "▁t ires", + "▁ti res", + "▁tire s", + "▁tir es", + "▁d ash", + "▁da sh", + "▁das h", + "▁ dash", + "▁} ));", + "▁}) );", + "ar to", + "art o", + "▁Ed inburgh", + "W T", + "▁inv ented", + "▁invent ed", + "ve h", + "v eh", + "▁Hind u", + "▁Насе лення", + "▁ur gent", + "▁urg ent", + "▁urge nt", + "text color", + "we rp", + "wer p", + "▁det ector", + "▁detect or", + "▁al tered", + "▁alt ered", + "▁alter ed", + "▁t b", + "▁ tb", + "▁Nav al", + "▁mem br", + "style sheet", + "styles heet", + "un ts", + "unt s", + "▁nut rition", + "▁S ylv", + "▁Sy lv", + "▁e numer", + "▁en umer", + "▁enum er", + "▁m ines", + "▁min es", + "▁mi nes", + "▁mine s", + "▁l itter", + "▁lit ter", + "▁litt er", + "ž í", + "con current", + "▁sw allow", + "Si r", + "S ir", + "tal k", + "t alk", + "▁de utschen", + "▁deutsch en", + "re peat", + "▁dom ains", + "▁domain s", + "▁Mc Donald", + "▁cand le", + "▁pl ural", + "▁sharp ly", + "▁shar ply", + "orig ine", + "origin e", + "▁c andy", + "▁can dy", + "▁cand y", + "▁kilomet res", + "▁power ed", + "▁pow ered", + "▁ powered", + "▁s ep", + "▁se p", + "▁ sep", + "▁S oci", + "▁So ci", + "▁Soc i", + "▁Ber nie", + "▁Bern ie", + "GE NER", + "GEN ER", + "Ex per", + "Exp er", + "▁Al low", + "▁All ow", + "▁ Allow", + "▁Ern st", + "▁Re becca", + "▁Cont ribut", + "ro utes", + "rou tes", + "route s", + "r outes", + "▁s uffix", + "▁suff ix", + "▁ju lio", + "▁jul io", + "▁juli o", + "▁provinc ial", + "▁provincia l", + "▁provin cial", + "▁appreci ation", + "Us ing", + "U sing", + "abs olute", + "▁cr icket", + "W ould", + "▁Equip ment", + "▁tort ure", + "ut ton", + "utt on", + "▁out break", + "▁prevent ing", + "▁mad re", + "end region", + "▁f ais", + "▁fa is", + "▁remember ing", + "▁Al ban", + "▁Alb an", + "▁a rist", + "▁ar ist", + "▁work out", + "▁u z", + "▁ uz", + "as to", + "ast o", + "a sto", + "fort unate", + "fortun ate", + "▁p aste", + "▁past e", + "▁pas te", + "▁pa ste", + "▁M R", + "▁ MR", + "▁o tra", + "▁ot ra", + "S v", + "an gen", + "ang en", + "ange n", + "▁S ierra", + "▁Si erra", + "▁n au", + "▁na u", + "▁s era", + "▁se ra", + "▁ser a", + "$ ~", + "▁cos ì", + ")( (", + ") ((", + "▁propos als", + "▁proposal s", + "▁P ero", + "▁Per o", + "▁Pe ro", + "▁te nant", + "▁ten ant", + "▁ tenant", + "Y P", + "▁Param eter", + "▁ Parameter", + "sp ell", + "spe ll", + "▁e merge", + "▁emer ge", + "▁g ek", + "▁ge k", + "ol ence", + "olen ce", + "ot os", + "oto s", + "o tos", + "▁witness es", + "▁watch es", + "▁wat ches", + "▁A ch", + "▁Ac h", + "Cr oss", + "C ross", + "; }", + "▁O NE", + "▁ON E", + "▁ ONE", + "▁care ers", + "▁career s", + "▁faith ful", + "▁J our", + "▁Jo ur", + "▁Gener ate", + "▁Gene rate", + "▁ Generate", + "▁recommend ation", + "w b", + "sk ich", + "ski ch", + "bold math", + "▁orig ins", + "▁origin s", + "▁spin ning", + "▁// \r", + "▁bomb s", + "▁bom bs", + "min ister", + "I o", + "öl ker", + "Autow ired", + "um per", + "ump er", + "ich ael", + "▁contribut ors", + "▁contributor s", + "▁n asty", + "▁na sty", + "▁nas ty", + "▁nast y", + "▁d rap", + "▁dr ap", + "▁Bud apest", + "ur ious", + "uri ous", + "hi d", + "h id", + "▁wel comed", + "▁welcome d", + "▁w agon", + "▁wa gon", + "▁embarrass ed", + "▁Har vey", + "Lo s", + "L os", + "▁S ter", + "▁St er", + "▁Ste r", + "▁enjoy able", + "ör t", + "ö rt", + "Mill is", + "-- )", + "- -)", + "▁d ashed", + "▁das hed", + "▁dash ed", + "\"> < ?", + "\" >' ,", + "> ',", + "▁all iance", + "ic ism", + "ici sm", + "▁NA SA", + "▁p ode", + "▁po de", + "▁pod e", + "č ní", + "▁respon ding", + "▁respond ing", + "▁bl owing", + "▁blo wing", + "▁blow ing", + "ic ké", + "ick é", + "▁H off", + "▁Ho ff", + "▁Hof f", + "MB ER", + "M BER", + "▁civil ization", + "ar ía", + "a ría", + "Un lock", + "ge ts", + "get s", + "g ets", + "no d", + "n od", + "▁S TE", + "▁ST E", + "▁con science", + "PE G", + "ch anging", + "chan ging", + "▁Rich mond", + "ling ton", + "l ington", + "ocr atic", + "▁trav és", + "▁up dating", + "process ing", + "Al ex", + "A lex", + "▁mil itar", + "▁milit ar", + "▁pse udo", + "▁pseud o", + "str len", + "▁be have", + "▁beh ave", + "▁behav e", + "▁distinct ive", + "▁E c", + "▁c x", + "▁ cx", + "▁journal ists", + "▁journalist s", + "vo lt", + "vol t", + "v olt", + "▁sp un", + "▁d urable", + "▁dur able", + "▁pro position", + "▁propos ition", + "▁ proposition", + "thread s", + "▁tw entieth", + "▁ф і", + "▁ фі", + "en son", + "ens on", + "enso n", + "▁self ish", + "▁sel fish", + "ar ium", + "ari um", + "a rium", + "▁de cid", + "▁dec id", + "▁psy chiat", + "▁psych iat", + "g d", + "Z Z", + "ug u", + "u gu", + "▁i ds", + "▁id s", + "▁ ids", + "Man aged", + "▁Leg isl", + "ancell ationToken", + "▁gr ants", + "▁gran ts", + "▁grant s", + "▁lie utenant", + "▁lieu tenant", + "▁Fle et", + "** /", + "* */", + "▁T ig", + "▁Ti g", + "▁accept s", + "▁system atic", + ", {\\", + "▁aus ge", + "▁dial ect", + "▁dia lect", + "st ri", + "str i", + "s tri", + "er me", + "erm e", + "▁B esch", + "▁Be sch", + "▁Bes ch", + "lo ve", + "lov e", + "l ove", + "S ensor", + "▁B IT", + "▁ BIT", + "▁mist aken", + "▁mistake n", + "p v", + "▁u tf", + "▁ut f", + "▁ utf", + "▁[ \\", + "▁ [\\", + "▁Geb iet", + "▁Mann schaft", + "PAR AMETER", + "▁u rb", + "▁ur b", + "▁ urb", + "▁R eed", + "▁Re ed", + "▁c ough", + "▁co ugh", + "▁cou gh", + "wa ld", + "wal d", + "w ald", + "▁L amb", + "▁La mb", + "▁Lam b", + "▁surv iving", + "▁surviv ing", + "▁s way", + "▁sw ay", + "WI SE", + "ä ger", + "f y", + "sk e", + "s ke", + "▁s og", + "▁so g", + "▁Im plement", + "▁Imp lement", + "▁ Implement", + "获 取", + "▁T ools", + "▁To ols", + "▁Tool s", + "▁Too ls", + "▁ Tools", + "▁ne wer", + "▁new er", + "▁exempl e", + "▁exem ple", + "▁l itt", + "▁li tt", + "▁lit t", + "▁у прав", + "Em itter", + "Emit ter", + "IS ING", + "I SING", + "▁М і", + "▁Ex amples", + "▁Example s", + "▁I con", + "▁ Icon", + "Get ter", + "▁L ay", + "▁La y", + "▁Col lect", + "▁Coll ect", + "▁ Collect", + "Sa int", + "S aint", + "or able", + "ora ble", + "▁f ick", + "▁fi ck", + "ik h", + "i kh", + "sl ave", + "▁c lay", + "▁cl ay", + "▁W A", + "▁ WA", + "Re po", + "Rep o", + "it r", + "i tr", + "pa id", + "p aid", + "▁home work", + "M iddleware", + "▁r éal", + "▁ré al", + "ê m", + "ès e", + "è se", + "▁W ells", + "▁Well s", + "▁Wel ls", + "▁e nero", + "▁en ero", + "▁ener o", + "emperature n", + "▁N aj", + "▁Na j", + "▁Re agan", + "▁comp elling", + "▁tri bes", + "▁trib es", + "▁tribe s", + "▁to String", + "▁ toString", + "pace s", + "pa ces", + "p aces", + "▁harm ful", + "▁Con se", + "▁Cons e", + "od io", + "odi o", + "▁m im", + "▁mi m", + "get Item", + "▁script s", + "▁ scripts", + "ra is", + "rai s", + "r ais", + "▁Ph ase", + "▁ Phase", + "▁An swer", + "▁$ |\\", + "▁$| \\", + "▁as sembled", + "el in", + "eli n", + "e lin", + "ph abet", + "pha bet", + "▁to ast", + "▁tut ti", + "▁tu tti", + "▁be zeichnet", + "Gre at", + "G reat", + "et tes", + "ett es", + "ette s", + "e ttes", + "F ULL", + "▁re gener", + "▁reg ener", + "▁któ re", + "is ce", + "isc e", + "▁t oda", + "▁to da", + "▁tod a", + "▁eth ical", + "i q", + "P t", + "ar in", + "ari n", + "a rin", + "ig os", + "igo s", + "i gos", + "▁work shops", + "▁workshop s", + "▁R oche", + "▁Ro che", + "▁Roc he", + "Get String", + "мини стратив", + "m ême", + "▁D aw", + "▁Da w", + "ar ians", + "ari ans", + "aria ns", + "arian s", + "▁imp acts", + "▁impact s", + "▁por table", + "▁port able", + ")- \\", + ") -\\", + "sh ots", + "shot s", + "▁re lev", + "▁rel ev", + "▁rele v", + "PR IV", + "PRI V", + "▁бу ла", + "ard less", + "ul ously", + "ulous ly", + "-- >", + "- ->", + "ol ent", + "ole nt", + "olen t", + "▁Gener ic", + "▁Gene ric", + "▁ Generic", + "▁* /,", + "▁*/ ,", + "▁comb inations", + "▁combination s", + "▁re jo", + "cap acity", + "▁tr aces", + "▁tra ces", + "▁trace s", + "▁op acity", + "▁ opacity", + "▁Off icial", + "ic ion", + "ici on", + "icio n", + "▁emotional ly", + "▁emotion ally", + "▁Jo el", + "▁Joe l", + "сько му", + "▁legend ary", + "▁p am", + "▁pa m", + "▁Tamb ién", + ". <", + "ib a", + "i ba", + "mi dt", + "mid t", + "▁en suite", + "Author ization", + "P ag", + "▁hel met", + "▁ter rito", + "▁terr ito", + "second ary", + "▁seg unda", + "▁W ire", + "▁Wi re", + "rec ated", + "▁inv oked", + "▁invoke d", + "▁Value Error", + "AL IGN", + "CUR RENT", + "\\ +\\_\\", + "▁comp ilation", + "æ r", + "▁Pal mar", + "▁Palm ar", + "▁influ ences", + "▁influence s", + "/ :", + "M ix", + "NO P", + "N OP", + "ec onom", + "e conom", + "▁t ucked", + "▁} );\r", + "▁}); \r", + "▁}) ;\r", + "▁ });\r", + "AN K", + "re ject", + "▁p ension", + "▁pens ion", + "▁gener ates", + "▁generate s", + "▁in cap", + "▁inc ap", + "▁cl icked", + "▁click ed", + "▁f us", + "▁fu s", + "our ses", + "ours es", + "ourse s", + "▁E aster", + "▁East er", + "% ;", + "zi n", + "z in", + "▁oblig ations", + "▁obligation s", + "▁T ips", + "▁Tip s", + "▁Ti ps", + "}; \r", + "} ;\r", + ".\" _", + "▁B SD", + "▁BS D", + "át ica", + "▁ex pose", + "▁exp ose", + "▁expos e", + "Par s", + "P ars", + "▁Am anda", + "▁gu essed", + "▁guess ed", + "ds i", + "d si", + "▁Le ip", + "Br oad", + "Bro ad", + "B road", + "▁Hug hes", + "▁Hugh es", + "i é", + "▁W ahl", + "▁Wa hl", + "▁former ly", + "Rel ative", + "▁Y u", + "▁Mount ains", + "▁Mountain s", + "▁E num", + "▁En um", + "▁ Enum", + "▁str ang", + "▁stra ng", + "_ -", + "re cht", + "rec ht", + "vi v", + "v iv", + "pa use", + "p ause", + "▁Lond res", + "▁el bow", + "▁Hawai i", + "▁Cas ino", + "Th reshold", + "Un its", + "Unit s", + "In clude", + "ит о", + "и то", + "as ury", + "▁ste ht", + "▁dam ned", + "▁damn ed", + "▁pack ets", + "▁packet s", + "▁W erk", + "▁Wer k", + "▁elev ator", + "ied ad", + "go vern", + "gov ern", + "g overn", + "▁CONTR ACT", + "ma ls", + "mal s", + "m als", + "▁re mem", + "▁rem em", + "▁ent onces", + "▁v as", + "▁va s", + "▁ vas", + "▁sym pathy", + "▁befind et", + "in cing", + "inc ing", + "Data Set", + "▁add itionally", + "▁addition ally", + "▁additional ly", + "▁mus ician", + "▁music ian", + "▁li stop", + "▁list op", + ">\" )", + "> \")", + "Print f", + "▁Fel ix", + "▁car ved", + "▁nice ly", + "▁nic ely", + "ch ap", + "cha p", + "▁N ieder", + "▁Ni eder", + "▁Nie der", + "▁L av", + "▁La v", + "▁mod ifications", + "▁modification s", + "mo ment", + "m oment", + "▁bal con", + "▁depend ency", + "CK ET", + "▁van ished", + "▁f ighters", + "▁fight ers", + "▁fighter s", + "▁z unächst", + "io ctl", + "ioc tl", + "▁def ens", + "▁defe ns", + "▁N em", + "▁Ne m", + "Util ity", + "Ut ility", + "▁cur v", + "▁cu rv", + "▁DA MAGES", + "▁Ro gers", + "▁Rog ers", + "▁Roger s", + "▁grat itude", + "▁Den mark", + "gr pc", + "grp c", + "g rpc", + "▁j uni", + "▁ju ni", + "▁jun i", + "▁окт ября", + "▁imm ense", + "▁prevent ed", + "▁prev ented", + "▁fo am", + "▁Ex tra", + "▁Ext ra", + "▁ Extra", + "ai med", + "aim ed", + "▁C riteria", + "▁Crit eria", + "▁ Criteria", + "▁Sim ply", + "box es", + "▁Leg end", + "▁P layers", + "▁Play ers", + "▁Player s", + "▁Mer cedes", + "▁Merc edes", + "▁Br anch", + "▁ Branch", + "TER N", + "T ERN", + "om ena", + "ome na", + "omen a", + "▁incorpor ate", + "con de", + "co nde", + "cond e", + "c onde", + "▁Est ado", + "▁Esta do", + "▁w asted", + "▁was ted", + "▁wa sted", + "▁waste d", + "▁compl aining", + "▁complain ing", + "▁war riors", + "▁warrior s", + "ot er", + "ote r", + "o ter", + "▁con ten", + "▁cont en", + "▁co nten", + "▁machine ry", + "▁mach inery", + "▁techn ological", + "▁T D", + "▁ TD", + "▁g ras", + "▁gr as", + "▁gra s", + "▁minim ize", + "▁D oor", + "▁Do or", + "▁b zw", + "▁p rac", + "▁pr ac", + "▁pra c", + "TR EE", + "T REE", + "▁W ing", + "▁Win g", + "▁Wi ng", + "▁Trans action", + "▁ Transaction", + "▁M VT", + "▁Kle in", + "com mons", + "comm ons", + "common s", + "▁} {", + "▁ }{", + "▁Her itage", + "▁f ade", + "▁fa de", + "set Value", + "▁Wal lace", + "▁Wall ace", + "M X", + "▁A CT", + "▁AC T", + "▁ ACT", + "▁foot age", + "▁ent stand", + "ar ga", + "arg a", + "▁n ails", + "▁na ils", + "▁nail s", + "▁capital ism", + "▁G arc", + "▁Gar c", + "▁Ga rc", + "▁susp ension", + "il is", + "ili s", + "uff led", + "uffle d", + "Ar c", + "A rc", + "▁Beaut iful", + "WA Y", + "W AY", + "Par allel", + "XX XX", + "di ag", + "▁D T", + "▁ DT", + "m q", + "Text View", + "ML E", + "M LE", + "en nen", + "enn en", + "enne n", + "▁infect ed", + "▁therap ist", + "IN GS", + "ING S", + "▁c idade", + "ъ н", + "▁p df", + "▁pd f", + "▁ pdf", + "▁b ump", + "▁bu mp", + "CT X", + "C TX", + "▁IN CLUDING", + "▁ INCLUDING", + "▁G ef", + "▁Ge f", + "ENT IAL", + "▁h andy", + "▁hand y", + "▁han dy", + "▁tempor al", + "▁temp oral", + "▁tempo ral", + "At A", + "IS H", + "I SH", + "▁Pat tern", + "▁ Pattern", + "▁l an", + "▁la n", + "▁ lan", + "ep endant", + "▁sh ining", + "id y", + "i dy", + "▁N T", + "▁ NT", + "▁Fr an", + "▁Fra n", + "▁nur ses", + "▁nurs es", + "▁nurse s", + "▁bet ray", + "▁sens ible", + "▁' [", + "▁th irteen", + ")} _{", + ") }_{", + "▁No ah", + "INS ERT", + "ist ically", + "istic ally", + "▁Append ix", + "▁re cher", + "▁rec her", + "Re ceiver", + "▁der nier", + "▁derni er", + "▁Part ido", + "▁max imal", + "▁maxim al", + "sn ap", + "ST OP", + "STO P", + "S TOP", + "▁ult ra", + "▁ul tra", + "▁dévelop p", + "▁t egen", + "▁te gen", + "LI B", + "L IB", + "▁bas eline", + "▁base line", + "re load", + "rel oad", + "▁Ar bitro", + "▁k all", + "▁ka ll", + "c apture", + "Ar m", + "A rm", + "qu in", + "im pse", + "imp se", + "za s", + "z as", + "▁C and", + "▁Can d", + "▁Ca nd", + "▁br ains", + "▁brain s", + "▁bra ins", + "▁host ile", + "▁mar ble", + "oo ns", + "oon s", + "o ons", + "▁L oss", + "▁Los s", + "▁Lo ss", + "Meta Data", + "▁Rep ública", + "▁and ra", + "▁ andra", + "od en", + "ode n", + "o den", + "▁document ed", + "▁M oses", + "▁Mo ses", + "▁Mos es", + "od d", + "o dd", + "▁w ax", + "▁wa x", + "us ch", + "usc h", + "u sch", + "▁diagn osed", + "in kle", + "ink le", + "▁X box", + "▁seven ty", + "▁sevent y", + "ci as", + "cia s", + "c ias", + "▁nov iembre", + "Com pute", + "Comp ute", + "Comput e", + "}) ;\r", + "}); \r", + "} );\r", + "▁Philip pe", + "▁Philipp e", + "▁F ör", + "Le ave", + "▁s age", + "▁sa ge", + "▁sag e", + "▁un pre", + "▁Fort unately", + "▁a post", + "▁ap ost", + "ent ities", + "enti ties", + "▁el los", + "▁ell os", + "author ized", + "GB T", + "G BT", + "▁ins ist", + "▁insp ire", + "▁inspir e", + "Ma ss", + "M ass", + "▁r ôle", + "fe e", + "f ee", + "ip art", + "ipa rt", + "i part", + "un ate", + "una te", + "u nate", + "▁C NN", + ": }", + "▁unh appy", + "▁import ed", + "▁imp orted", + "H IGH", + "ring s", + "rin gs", + "r ings", + "▁In stance", + "▁Inst ance", + "▁ Instance", + "B ay", + "ag les", + "agle s", + "a gles", + "me e", + "m ee", + "ber y", + "be ry", + "b ery", + "▁St ories", + "▁Sto ries", + "▁Ch ase", + "▁Cha se", + "▁car riage", + "▁mis under", + "▁imag in", + "p w", + "▁M eter", + "▁Me ter", + "▁Met er", + "▁crow ds", + "▁crowd s", + "▁F ame", + "▁Fa me", + "sk ill", + "ski ll", + "s kill", + "▁c omed", + "▁com ed", + "▁co med", + "▁come d", + "▁ comed", + "▁r anch", + "▁ran ch", + "▁l acking", + "▁lack ing", + "▁lac king", + "▁sub mar", + "▁subm ar", + "ia nte", + "ian te", + "iant e", + "i ante", + "▁l anz", + "▁lan z", + "-- ---------", + "---- -------", + "-------- ---", + "--- --------", + "----- ------", + "---------- -", + "------ -----", + "--------- --", + "------- ----", + "- ----------", + "▁ob ten", + "▁obt en", + "▁down stairs", + "Y N", + "rot ation", + "▁J esse", + "▁Jes se", + "▁Jess e", + "$ (\"#", + "▁p uls", + "▁pu ls", + "▁pul s", + "ir ling", + "irl ing", + "▁Sch aus", + "▁Sc haus", + "▁de ployed", + "▁deploy ed", + "▁{ }\",", + "▁{} \",", + "▁Mar vel", + "EN UM", + "E NUM", + "▁Mat hemat", + "▁Math emat", + "▁n n", + "▁ nn", + "com pet", + "comp et", + "k ów", + "bi l", + "b il", + "Wh ich", + "is ine", + "isi ne", + "▁r ude", + "▁ru de", + "▁n iveau", + "▁á rea", + "▁p rès", + "▁pr ès", + "at is", + "ati s", + "fu r", + "f ur", + "pack ed", + "p acked", + "м ене", + "script style", + "▁A th", + "▁At h", + "▁d esp", + "▁de sp", + "▁des p", + "elt emperaturen", + "▁tal ents", + "▁talent s", + "oc y", + "o cy", + "▁r aises", + "▁rais es", + "▁raise s", + "▁ra ises", + "LI MIT", + "L IMIT", + "▁editor ial", + "▁edit orial", + "▁An imal", + "▁Anim al", + "dr ive", + "d rive", + "bs s", + "b ss", + "▁S ev", + "▁Se v", + "ep och", + "e poch", + "▁R C", + "▁ RC", + "UN USED", + "▁mand atory", + "( ?:", + "▁B in", + "▁Bi n", + "▁ Bin", + "▁synt hetic", + "▁g own", + "▁go wn", + "▁D ob", + "▁Do b", + "ka p", + "k ap", + "▁har mon", + "▁harm on", + "▁liber ty", + "▁libert y", + "▁R ice", + "▁Ric e", + "▁pray ers", + "▁pra yers", + "▁prayer s", + "▁m ise", + "▁mis e", + "▁mi se", + "▁conf using", + "▁le ap", + "▁arriv es", + "▁arr ives", + "▁arrive s", + "ka mp", + "k amp", + "▁th ats", + "▁that s", + "AC C", + "A CC", + "▁Param eters", + "▁Parameter s", + "▁ Parameters", + "▁B io", + "▁Bi o", + "d ensity", + "▁gl impse", + "FO RE", + "FOR E", + "▁L isten", + "▁List en", + "▁Li sten", + "▁Liste n", + "▁Lis ten", + "▁ Listen", + "Pr ev", + "Pre v", + "P rev", + "}\\ ,\\", + "}\\, \\", + "} \\,\\", + "▁S EC", + "▁SE C", + "▁ SEC", + "▁expl ored", + "▁explore d", + "▁explo red", + "▁mean time", + "▁meant ime", + "AI L", + "A IL", + "▁W P", + "▁ WP", + "▁r aison", + "▁rais on", + "▁ra ison", + "▁ex iste", + "▁exist e", + "▁l esser", + "▁les ser", + "▁less er", + "▁Valid ate", + "▁ Validate", + "▁ca ution", + "▁caut ion", + "u sta", + "he ading", + "head ing", + "EF F", + "E FF", + ".' \"", + ". '\"", + "▁Gil bert", + "▁lim itation", + "▁limit ation", + "▁ret our", + "▁Common wealth", + "▁gew ann", + "▁miser able", + "▁net working", + "▁network ing", + "▁ott obre", + "▁otto bre", + "▁D ise", + "▁Dis e", + "▁Di se", + "ed ges", + "edge s", + "▁s ede", + "▁se de", + "▁sed e", + "un iform", + "uni form", + "ir os", + "iro s", + "i ros", + "▁d esen", + "▁de sen", + "▁des en", + "▁p arc", + "▁par c", + "▁pa rc", + "▁R ico", + "▁Ric o", + "N s", + "gu id", + "gui d", + "g uid", + "or io", + "ori o", + "o rio", + "ave length", + "avel ength", + "▁G le", + "▁Gl e", + "ince ton", + "inc eton", + "Am az", + "A maz", + "Con struct", + "Const ruct", + "▁m x", + "▁ mx", + "▁V ern", + "▁Ver n", + "▁Ve rn", + "▁Gener ation", + "▁ Generation", + "J ack", + "ro mag", + "rom ag", + "▁vi agra", + "▁via gra", + "▁P eg", + "▁Pe g", + "▁Up dated", + "▁Update d", + "▁ Updated", + "▁over lap", + "▁overl ap", + "Event Args", + "▁* «", + "▁quest ioned", + "▁question ed", + "So uth", + "S outh", + "not ice", + "▁perman ently", + "▁permanent ly", + "ls t", + "l st", + "fi cie", + "fic ie", + "▁qu ella", + "▁que lla", + "▁quel la", + "▁college s", + "▁colle ges", + "▁colleg es", + "▁disappoint ment", + "▁Lu ft", + "img ur", + "▁trans itions", + "▁transition s", + "▁transit ions", + "▁s eller", + "▁sell er", + "▁sel ler", + "▁O g", + "▁A DD", + "▁AD D", + "▁ ADD", + "▁P ays", + "▁Pa ys", + "▁Pay s", + "COMM AND", + "gr ades", + "grad es", + "grade s", + "gra des", + "▁fe bbra", + "▁C yr", + "▁Cy r", + "▁febbra io", + "et i", + "e ti", + "▁a rom", + "▁ar om", + "▁Cl aude", + "▁Claud e", + "▁UE FA", + "▁жи ве", + "▁Victor ian", + "▁Victoria n", + "ke eping", + "keep ing", + "kee ping", + "ê n", + "▁FIX ME", + "it ime", + "iti me", + "i time", + "ch estr", + "che str", + "ches tr", + "▁Sam sung", + "▁do ctrine", + "▁p ear", + "▁pe ar", + "▁Mediterr anean", + "▁Y a", + "▁v ault", + "▁va ult", + "▁Hist oric", + "▁Histor ic", + "▁se dan", + "▁sed an", + "▁he ated", + "▁heat ed", + "▁polít ica", + "Pro of", + ": {", + "fe m", + "f em", + "▁Frank furt", + "pect ives", + "pective s", + "M G", + "▁E ye", + "da i", + "d ai", + "▁res erves", + "▁reserv es", + "▁reserve s", + "NE R", + "N ER", + "▁tob acco", + "▁frag ments", + "▁fragment s", + "ic c", + "i cc", + "▁b ooth", + "▁bo oth", + "▁boot h", + "▁cru ise", + "▁Test ament", + "co la", + "col a", + "c ola", + "▁Le op", + "▁Leo p", + "▁n oon", + "▁no on", + "▁ noon", + "▁terr ified", + "v b", + "int el", + "inte l", + "al ie", + "ali e", + "a lie", + "▁ver ification", + "yst er", + "ys ter", + "y ster", + "AD ER", + "A DER", + "ch ied", + "chie d", + "chi ed", + "▁data sets", + "▁dat asets", + "▁dataset s", + "▁з і", + "▁ зі", + "▁m iem", + "▁mi em", + "▁mie m", + "ul ates", + "ula tes", + "ulate s", + "▁u uid", + "▁ uuid", + "▁Pict ures", + "▁Picture s", + "▁B rend", + "▁Br end", + "▁Bre nd", + "▁Bren d", + "Bill board", + "▁s tern", + "▁st ern", + "▁ste rn", + "▁ster n", + "▁de nom", + "▁den om", + "▁acc idents", + "▁accident s", + "▁p acking", + "▁pack ing", + "▁pac king", + "ци ја", + "ibli cal", + "iblic al", + "▁wh isk", + "▁whis k", + "▁l uego", + "▁lu ego", + "▁rect angle", + "▁ho oks", + "▁hook s", + "▁ hooks", + "▁neg lect", + "▁negl ect", + "▁s ober", + "▁so ber", + "▁sob er", + "pro position", + "Mult iple", + "Multi ple", + ":\" ,", + ": \",", + "▁b apt", + "▁ba pt", + "Par ts", + "Part s", + "P arts", + "▁S election", + "▁Se lection", + "▁Sel ection", + "▁Select ion", + "▁ Selection", + "▁Al pha", + "▁ Alpha", + "we ights", + "weight s", + "ha ll", + "hal l", + "h all", + "▁l ur", + "▁lu r", + "▁ép oca", + "▁re sted", + "▁r ested", + "▁res ted", + "▁rest ed", + "▁reste d", + "amb igu", + "▁taste s", + "▁tast es", + "amazon aws", + "▁conf ess", + "▁dic iembre", + "▁dici embre", + "im plement", + "impl ement", + "imp lement", + "▁absor ption", + "Ha l", + "H al", + "LE AN", + "▁Z ach", + "▁Za ch", + "▁free ze", + "▁fre eze", + "L BL", + "ST M", + "S TM", + "▁ca lc", + "▁ calc", + "={ ()", + "= */", + "▁b t", + "▁ bt", + "Re b", + "R eb", + "▁W ien", + "▁Wi en", + "an ska", + "ans ka", + "ansk a", + "▁s urn", + "▁su rn", + "▁sur n", + "iat ive", + "i ative", + "▁inv ån", + "C Y", + "▁l à", + "am ba", + "amb a", + "le en", + "lee n", + "l een", + "wa hl", + "w ahl", + "▁function ing", + "ți a", + "ț ia", + "get Context", + "ga rt", + "gar t", + "g art", + "Pe n", + "P en", + "vi k", + "v ik", + "Sl ider", + "▁Ac cept", + "▁ Accept", + "Ga p", + "G ap", + "▁J orge", + "SI G", + "S IG", + "▁period o", + "▁pat ches", + "▁patch es", + "ко ї", + "är e", + "ä re", + "eng ono", + "li sta", + "list a", + "l ista", + "hor n", + "ho rn", + "h orn", + "▁Com plex", + "▁Comp lex", + "▁ Complex", + "Se nt", + "S ent", + "tr fs", + "▁conv ex", + "▁conve x", + "Gener ation", + "▁міс це", + "com press", + "comp ress", + "▁S ax", + "▁Sa x", + "▁u id", + "▁ui d", + "▁ uid", + "▁Leb ens", + "▁Leben s", + "Com pletion", + "\\| _{", + "\\ |_{", + "in sky", + "ins ky", + "▁sc hon", + "▁sch on", + "▁m asters", + "▁ma sters", + "▁master s", + "▁mas ters", + "▁mast ers", + "in depend", + "inde pend", + "ne ys", + "ney s", + "▁l ied", + "▁li ed", + "▁lie d", + "▁a spir", + "▁asp ir", + "ч ні", + "▁break down", + "▁H arm", + "▁Har m", + "▁Ha rm", + "▁design ing", + "h f", + "▁Ang ela", + "▁Angel a", + "▁con fer", + "▁conf er", + "▁part ido", + "▁parti do", + "▁inter ference", + "ma o", + "m ao", + "▁absor bed", + "▁absorb ed", + "▁V all", + "▁Val l", + "▁Va ll", + "Error Code", + "▁Publish ing", + "va no", + "van o", + "v ano", + "BIT S", + "BI TS", + "B ITS", + "▁de er", + "▁Camp aign", + "▁g raz", + "▁gr az", + "▁gra z", + "CHAN GE", + "▁f eder", + "▁fe der", + "▁fed er", + "if fe", + "iff e", + "hand ed", + "han ded", + "h anded", + "c q", + "um bing", + "umb ing", + "▁un re", + "▁s iendo", + "▁si endo", + "▁sim pler", + "▁simple r", + "▁simpl er", + "wh y", + "w hy", + "ar ettes", + "are ttes", + "aret tes", + "arette s", + "an st", + "ans t", + "▁h ass", + "▁has s", + "▁ha ss", + "▁Enter prise", + "▁m ois", + "▁mo is", + "▁F o", + "ff en", + "f fen", + "▁MOD ULE", + "▁ MODULE", + "▁activ ated", + "▁activate d", + "▁intern acional", + "▁M ittel", + "deg ree", + "▁& (", + "get Property", + "is z", + "i sz", + "ced ure", + "▁en ters", + "▁ent ers", + "▁enter s", + "▁S ally", + "▁Sal ly", + "▁Tr ain", + "▁Tra in", + "▁lo gged", + "▁log ged", + "▁R av", + "▁Ra v", + "▁A void", + "▁Av oid", + "▁K aiser", + "▁Ka iser", + "▁ex pend", + "▁exp end", + "ap hor", + "aph or", + "▁b rass", + "▁br ass", + "▁bra ss", + "▁bras s", + "▁mel od", + "▁att itudes", + "▁attitude s", + "* \"", + "W all", + "▁o we", + "▁ owe", + "▁b amb", + "▁ba mb", + "sh ader", + "sha der", + "ce ster", + "ces ter", + "c ester", + "▁P P", + "▁ PP", + "▁migr ations", + "▁migration s", + "ent ric", + "entr ic", + "▁Set up", + "▁ Setup", + "▁Art ist", + "hr e", + "h re", + "▁pol ite", + "▁polit e", + "ah an", + "aha n", + "a han", + "▁lug lio", + "▁pre decess", + "▁S IG", + "▁SI G", + "▁ SIG", + "ті в", + "т ів", + "▁R F", + "▁ RF", + "▁D ry", + "▁Dr y", + "▁m aker", + "▁make r", + "▁ma ker", + "▁ maker", + "▁S ounds", + "▁Sound s", + "▁implement ing", + "▁a h", + "▁ ah", + "▁g ev", + "▁ge v", + "▁du plicate", + "▁L ogan", + "▁Log an", + "▁Lo gan", + "▁G rade", + "▁Gr ade", + "▁Grad e", + "▁Gra de", + "DU CT", + "ís es", + "í ses", + "ér t", + "é rt", + "▁nons ense", + "back up", + "Att achment", + "▁e cc", + "▁ec c", + "le arn", + "lear n", + "de precated", + "dep recated", + "▁A ub", + "▁Au b", + "▁G ol", + "▁Go l", + "▁over l", + "SER VICE", + "▁beautiful ly", + "RE L", + "R EL", + "▁G ian", + "▁Gi an", + "▁P apa", + "▁Pa pa", + "▁Pap a", + "respon d", + "resp ond", + "▁Carib bean", + "r n", + "C fg", + "ra i", + "r ai", + "▁sn iff", + "tt o", + "t to", + "▁r b", + "▁ rb", + "▁inc idents", + "▁incident s", + "▁d uck", + "▁du ck", + "▁PROVID ED", + "Source s", + "S ources", + "▁Chel sea", + "▁t ek", + "▁te k", + "▁ tek", + "▁на лази", + "▁pil ots", + "▁pilot s", + "▁tr aded", + "▁trad ed", + "▁tra ded", + "▁trade d", + "▁Be ijing", + "▁Greg ory", + "scal ar", + "▁incl ined", + "▁inc lined", + "▁K amp", + "▁Kam p", + "▁Ka mp", + "▁M arian", + "▁Mar ian", + "▁Ma rian", + "▁Maria n", + "▁fier ce", + "▁the ft", + "▁th eft", + "▁In to", + "▁Int o", + "▁ Into", + "con straint", + "parent Node", + "id ental", + "ident al", + "iden tal", + "▁gouver nement", + "▁S ND", + "▁SN D", + "▁Rub y", + "▁Ru by", + "▁mon aster", + "Rec ords", + "Record s", + "▁K ab", + "▁Ka b", + "▁Un iverse", + "▁Univers e", + "▁approxim ate", + "▁approx imate", + "W ater", + "▁Phys ical", + "ap pers", + "app ers", + "appe rs", + "oubt edly", + "▁tow el", + "▁sib lings", + "ic ios", + "ici os", + "icio s", + "▁out rage", + "▁tamb é", + "SR C", + "S RC", + "V i", + ".' );", + ". ');", + "L M", + "▁m itt", + "▁mit t", + "▁mi tt", + "▁ mitt", + "▁w eed", + "▁we ed", + "▁cr ops", + "▁cro ps", + "▁crop s", + "im an", + "ima n", + "i man", + "Cl aim", + "ins ula", + "▁( “", + "▁Ch anges", + "▁Change s", + "▁ Changes", + "▁invån are", + "ag ain", + "aga in", + "a gain", + "▁c nt", + "▁ cnt", + "▁G az", + "▁Ga z", + "▁a ustral", + "over lay", + "▁Me chan", + "▁sl ammed", + "▁tr ailing", + "▁tra iling", + "▁trail ing", + "▁Bi ography", + "▁appe aling", + "▁appeal ing", + "IV ER", + "IVE R", + "I VER", + "▁A ve", + "▁Av e", + "▁P lot", + "▁Pl ot", + "vo j", + "v oj", + "▁s ung", + "▁su ng", + "▁sun g", + "▁ sung", + "▁u nos", + "▁un os", + "▁uno s", + "Effect s", + "v v", + "co ok", + "c ook", + "But tons", + "Button s", + "▁trans m", + "ier to", + "iert o", + "CON TEXT", + "CONT EXT", + "▁dign ity", + "air ed", + "ai red", + "aire d", + "a ired", + "java x", + "jav ax", + "j avax", + "▁Albert o", + "▁Alber to", + "▁Rec ently", + "▁Recent ly", + "▁fac ial", + "▁fa cial", + "math op", + "mat hop", + "ał o", + "a ło", + "co tt", + "c ott", + "Vari ables", + "Variable s", + "▁R an", + "▁Ra n", + "▁b unk", + "am iliar", + "amil iar", + "CA ST", + "C AST", + "▁fr ü", + "VE D", + "V ED", + "▁NOT ICE", + "▁turn o", + "▁tur no", + "valid ator", + "▁question ing", + "}} )", + "} })", + "▁l ear", + "▁le ar", + "▁ lear", + "X amarin", + "▁dis adv", + "enc oded", + "encode d", + "▁K ot", + "▁Ko t", + "▁The ory", + "ci us", + "c ius", + "▁Dar win", + "ђ е", + "▁dé cl", + "▁déc l", + "▁mob ility", + "▁mobil ity", + "V F", + "un til", + "unt il", + "u ntil", + "▁bar riers", + "▁barrier s", + "▁barr iers", + "gi f", + "g if", + "▁R oh", + "▁Ro h", + "▁a ging", + "▁ag ing", + "▁ aging", + "▁W idget", + "▁ Widget", + "▁f arms", + "▁far ms", + "▁farm s", + "Check er", + "Che cker", + "Int roduction", + "▁Russ ians", + "▁Russian s", + "▁Russia ns", + "na ments", + "nam ents", + "nament s", + "n aments", + "▁In sert", + "▁Ins ert", + "▁ Insert", + "▁When ever", + "▁Whe never", + "er set", + "ers et", + "it ori", + "itor i", + "ito ri", + "▁D ort", + "▁Do rt", + "▁Dor t", + "▁cost ume", + "▁mathemat ical", + "▁B ast", + "▁Bas t", + "▁Ba st", + "▁nom inated", + "▁rest oration", + "pos al", + "po sal", + "▁un fortunate", + "P s", + "LI N", + "L IN", + "▁int act", + "▁prov oc", + "▁situ ée", + "▁но ября", + "er mo", + "erm o", + "▁f isher", + "▁fish er", + "▁fis her", + "▁con ting", + "▁cont ing", + "▁contin g", + "▁Do ug", + "▁Dou g", + "▁E va", + "▁Ev a", + "▁t ops", + "▁to ps", + "▁top s", + "▁Rem ote", + "▁ Remote", + "▁art work", + "qu ick", + "▁Arab ia", + "▁SD Value", + "▁Dak ota", + "ia ted", + "iat ed", + "iate d", + "i ated", + "▁Op tim", + "▁Opt im", + "but tons", + "button s", + "▁c ottage", + "▁where in", + "▁tut orial", + "▁S cre", + "▁Sc re", + "▁swe ep", + "▁Coff ee", + "}) }", + "} )}", + "host name", + "▁T emp", + "▁Te mp", + "▁Tem p", + "▁ Temp", + "▁F ut", + "▁Fu t", + "re spect", + "res pect", + "resp ect", + "oc z", + "o cz", + "▁pre domin", + "▁pred omin", + "Ind icator", + "en cial", + "enc ial", + "encia l", + "enci al", + "UM ENT", + "U MENT", + "▁SH ALL", + "▁SHA LL", + "▁comm anded", + "▁command ed", + "▁withdraw al", + "io ur", + "i our", + "REG ION", + "s printf", + "▁Pay ment", + "▁ Payment", + "▁A nim", + "▁An im", + "▁ Anim", + "pub lish", + "▁se eks", + "▁see ks", + "▁seek s", + "ou w", + "o uw", + "▁G M", + "▁ GM", + "ru gu", + "rug u", + "r ugu", + "us tain", + "ust ain", + "usta in", + "▁) )", + "▁ ))", + "▁consult ing", + "▁D ialog", + "▁ Dialog", + "▁L ars", + "▁La rs", + "▁Lar s", + "▁crit ique", + "▁circ ulation", + "▁circul ation", + "▁land sc", + "▁lands c", + "man aged", + "▁C raft", + "▁Cr aft", + "▁Cra ft", + "▁h erman", + "▁her man", + "af i", + "a fi", + "am y", + "a my", + "▁disc our", + "▁disco ur", + "<> (", + "< >(", + "▁St eph", + "▁Ste ph", + "▁Step h", + "▁toler ance", + "type name", + "typ ename", + "typen ame", + "vent ions", + "vention s", + "zi ał", + "z iał", + "▁st icking", + "▁stick ing", + "AS C", + "A SC", + "IS O", + "I SO", + "▁Sp encer", + "▁Di dn", + "▁Did n", + "gom ery", + "im iter", + "imit er", + "imi ter", + "dr u", + "d ru", + "Cl ause", + "▁sl ides", + "▁slide s", + "▁slid es", + "## #", + "# ##", + "▁S ugar", + "▁Su gar", + "H Y", + "▁Ed wards", + "▁Edward s", + "▁c ents", + "▁cent s", + "oy a", + "o ya", + "ser ts", + "sert s", + "s erts", + "▁H ass", + "▁Ha ss", + "▁Has s", + "▁in gen", + "▁ing en", + "▁ ingen", + "▁s addle", + "sol id", + "s olid", + "▁ch ampions", + "▁champion s", + "▁champ ions", + "- )", + "▁S lov", + "▁Sl ov", + "▁sh iny", + "▁* )&", + "▁*) &", + "▁Def ine", + "č e", + "▁scr ut", + "on den", + "ond en", + "onde n", + "'\" ,", + "' \",", + "uf fs", + "uff s", + "▁o lymp", + "id ential", + "ident ial", + "wa nd", + "wan d", + "w and", + "▁ann ually", + "▁annual ly", + "▁Ark ansas", + "▁s aint", + "▁sa int", + "▁gle ich", + "▁per fection", + "▁perfect ion", + "▁perf ection", + ") >", + "▁sh orts", + "▁short s", + "▁just ified", + "pe ated", + "peat ed", + "pack ages", + "package s", + "dr iven", + "drive n", + "d riven", + "▁Liber ty", + "▁str ipped", + "▁stri pped", + "▁strip ped", + "▁fün f", + "▁e cosystem", + "ix a", + "i xa", + "▁F resh", + "▁Fr esh", + "▁Fre sh", + "var t", + "va rt", + "v art", + "▁tre ats", + "▁treat s", + "▁st ance", + "▁stan ce", + "▁ stance", + "▁p ity", + "▁pi ty", + "▁pit y", + "ad ém", + "▁C hand", + "▁Ch and", + "▁Cha nd", + "in ski", + "ins ki", + "▁contin ually", + "▁continu ally", + "▁D addy", + "▁Dad dy", + "▁night mare", + "ic ional", + "ici onal", + "icio nal", + "icion al", + "▁e fect", + "ue blo", + "▁l anç", + "▁lan ç", + "▁Col lections", + "▁Collection s", + "▁Collect ions", + "▁ Collections", + "du e", + "d ue", + "am pton", + "amp ton", + "▁mem cpy", + "▁ memcpy", + "▁* *(", + "▁** (", + "is sent", + "iss ent", + "isse nt", + "issen t", + "▁In sp", + "▁Ins p", + "▁Glas gow", + "▁fur ono", + "▁kind ness", + "B i", + "▁comp eted", + "▁compet ed", + "▁compete d", + "▁o ak", + "L arge", + "▁dis gu", + "▁disg u", + "▁k ings", + "▁king s", + "▁kin gs", + "▁st uffed", + "▁stuff ed", + "▁h ilar", + "▁hi lar", + "pub lished", + "publish ed", + "▁st ressed", + "▁str essed", + "▁stress ed", + "▁Pe ak", + "▁lo ader", + "▁load er", + "▁ loader", + "Key board", + "▁re construction", + "▁v od", + "▁vo d", + "▁ vod", + "▁d un", + "▁du n", + "▁understand s", + "te nant", + "ten ant", + "▁ch aque", + "▁cha que", + "▁pre jud", + "ut at", + "uta t", + "u tat", + "▁u so", + "▁us o", + "▁ uso", + "▁He avy", + "▁cu atro", + "▁side walk", + "▁B ug", + "▁Bu g", + "▁mån aden", + "ge o", + "▁un ited", + "▁unit ed", + "▁F iles", + "▁Fil es", + "▁File s", + "▁Fi les", + "▁ Files", + "▁rug by", + "▁fin ancing", + "▁financ ing", + "▁com ply", + "▁comp ly", + "▁compl y", + "& #", + "▁r ushing", + "▁rush ing", + "▁rus hing", + "▁f en", + "▁fe n", + "▁ fen", + "mon g", + "mo ng", + "m ong", + "▁sp é", + "▁present ing", + "IN CLUDING", + "ě l", + "zeich nung", + "Back up", + "▁pe tit", + "▁pet it", + "▁all erg", + "▁alle rg", + "▁aller g", + "▁wor rying", + "▁worry ing", + "▁m amm", + "▁ma mm", + "▁oper and", + "▁opera nd", + ":%.* ]]", + "▁real ise", + "Comm ands", + "Command s", + "▁B ew", + "▁Be w", + "▁ass umes", + "▁assum es", + "▁assume s", + "▁Co vid", + "▁Cov id", + "▁qu and", + "ty ard", + "t yard", + "▁M ono", + "▁Mon o", + "▁Mo no", + "lin ked", + "link ed", + "M ARK", + "Es p", + "E sp", + "▁bless ing", + "▁eyeb rows", + "▁N V", + "▁ NV", + "▁mod eling", + "▁model ing", + "▁mode ling", + "▁gre eted", + "Work space", + "▁pe dest", + "▁ped est", + "lem agne", + "Stat istics", + "▁a ument", + "▁au ment", + "▁spe eds", + "▁speed s", + "▁synd rome", + "CONNE CT", + "za hl", + "z ahl", + "ver so", + "vers o", + "érc ito", + "▁astr onom", + "▁ap rile", + "▁apr ile", + "▁april e", + "že n", + "ž en", + "dr aft", + "d raft", + "▁g ioc", + "▁gi oc", + "▁com port", + "▁comp ort", + "▁var iance", + "▁vari ance", + "▁real izing", + "▁realiz ing", + "ED IT", + "оло ві", + "▁e star", + "▁est ar", + "▁es tar", + "▁esta r", + "▁s ost", + "▁so st", + "N ORMAL", + "▁ ó", + "▁And r", + "▁An dr", + "ATTR IB", + "▁re de", + "▁r ede", + "▁red e", + "▁t oes", + "▁to es", + "▁toe s", + "▁adv ances", + "▁advance s", + "▁Again st", + "TO M", + "T OM", + "rs s", + "r ss", + "MM MM", + "▁ne west", + "▁new est", + "▁V ER", + "▁ VER", + "▁phrase s", + "▁phr ases", + "an ter", + "ant er", + "ante r", + "La unch", + "▁c hr", + "▁ch r", + "▁ chr", + "▁manufact ured", + "$) ,", + "$ ),", + "roll ment", + "es ton", + "est on", + "esto n", + "e ston", + "▁pe int", + "” )", + "en det", + "end et", + "ende t", + "▁H air", + "▁Ha ir", + "▁up right", + "gr en", + "gre n", + "g ren", + "an ked", + "ank ed", + "wr ight", + "w right", + "▁m ast", + "▁ma st", + "▁mas t", + "▁on Change", + "▁de bris", + "▁deb ris", + "▁g rap", + "▁gr ap", + "▁gra p", + "et ry", + "etr y", + "e try", + "▁( __", + "▁(_ _", + "▁ (__", + "▁Com merce", + "BO X", + "T ax", + "▁о три", + "▁от ри", + "▁pre vention", + "▁prevent ion", + "▁prev ention", + "▁Fe el", + "▁ex otic", + "▁B ark", + "▁Bar k", + "▁S team", + "▁Ste am", + "fo n", + "f on", + "ol in", + "oli n", + "o lin", + "▁elim inated", + "▁eliminate d", + "▁b c", + "▁ bc", + "▁C ycl", + "▁Cy cl", + "▁$ (\"#", + "▁ $(\"#", + "▁P arl", + "▁Par l", + "▁Pa rl", + "man uel", + "os pher", + "osp her", + "osph er", + "W F", + "An aly", + "Anal y", + "▁nav ig", + "▁re nown", + "▁ren own", + "R x", + "▁W alt", + "▁Wal t", + "▁Wa lt", + "uf fed", + "uff ed", + "▁f oster", + "▁fo ster", + "▁fost er", + "▁fos ter", + "$ :", + "sh ore", + "Conne ctor", + "Conn ector", + "Connect or", + "▁real ization", + "▁realiz ation", + "L i", + "ct xt", + "ctx t", + "c txt", + "ah oo", + "aho o", + "▁mir acle", + "▁E T", + "▁ ET", + "▁G PS", + "▁GP S", + "▁Observ able", + "▁h f", + "▁ hf", + "▁magnific ent", + "BI N", + "B IN", + "▁D orf", + "▁Do rf", + "▁Dor f", + "ie ck", + "ve e", + "v ee", + "▁C raw", + "▁Cr aw", + "▁Cra w", + "/ #", + "▁p ci", + "▁pc i", + "▁ pci", + "ip pet", + "ipp et", + "▁Hill ary", + "▁g ir", + "▁gi r", + "▁r and", + "▁ran d", + "▁ra nd", + "▁ rand", + "▁la ying", + "▁lay ing", + "▁D ifferent", + "bo ys", + "boy s", + "vi rt", + "vir t", + "v irt", + "▁enc ryption", + "ás z", + "á sz", + "▁sm elled", + "▁smell ed", + "▁sus cept", + "cl uded", + "clude d", + "▁C arn", + "▁Car n", + "▁Ca rn", + "ig ten", + "igt en", + "igte n", + "▁Ch uck", + "▁Prov inc", + "▁per í", + "▁Mar shal", + "▁Mars hal", + "▁ Marshal", + "мо ж", + "g fx", + "os hi", + "osh i", + "▁W HE", + "▁WH E", + "▁relax ation", + ", .", + "we re", + "wer e", + "w ere", + "▁var ieties", + "▁W on", + "▁Wo n", + "▁g aps", + "▁gap s", + "▁ga ps", + "▁st ole", + "▁sto le", + "ig ua", + "igu a", + "▁Ham pshire", + "ph rase", + "▁pel ícula", + "Process ing", + "▁initial ization", + "oust ic", + "▁Jose f", + "▁Jos ef", + "ic ating", + "ica ting", + "▁good ness", + "TE S", + "T ES", + "▁c ope", + "▁co pe", + "▁cop e", + "▁ cope", + "▁ignor ance", + "▁B rist", + "▁Br ist", + "▁par as", + "▁para s", + "▁pa ras", + "▁accident ally", + "▁t and", + "▁tan d", + "▁ta nd", + "it test", + "itt est", + "itte st", + "▁sh ipped", + "▁ship ped", + "else if", + "▁u size", + "▁us ize", + "hor izontal", + "▁C arr", + "▁Car r", + "▁Ca rr", + "▁pre cip", + "▁prec ip", + "ro z", + "r oz", + "path etic", + "pat hetic", + "ri ved", + "riv ed", + "rive d", + "r ived", + "ro k", + "r ok", + "▁dig ging", + "▁M ull", + "▁Mu ll", + "▁Mul l", + "▁pe as", + "▁f oul", + "▁fo ul", + "▁fou l", + "▁travel s", + "▁trav els", + "▁N g", + "Mon t", + "Mo nt", + "M ont", + "ar de", + "ard e", + "▁Ste fan", + "^^ ^^", + "▁K iss", + "▁Ki ss", + "▁E k", + "▁ok tober", + "▁mem orable", + "▁memor able", + "') ).", + "')) .", + "' )).", + "▁V ision", + "▁Vis ion", + "▁N ina", + "▁Ni na", + "▁Nin a", + "▁S olar", + "▁So lar", + "▁Sol ar", + "▁highlight ed", + "▁me mo", + "▁mem o", + "me isterschaft", + "side bar", + "SE E", + "S EE", + "▁Nev ada", + "D a", + "▁draw er", + "ast ically", + "astic ally", + "el de", + "eld e", + "sc ribed", + "scri bed", + "scribe d", + "scrib ed", + "▁pri ests", + "▁priest s", + "▁hom mes", + "▁homme s", + "▁in structor", + "▁instruct or", + "▁sp ett", + "▁spe tt", + "\\ -", + "▁Look s", + "▁Lo oks", + "▁sle eve", + "▁strong est", + "▁t ête", + "▁Nic ole", + "▁Ni cole", + "▁Nicol e", + "im per", + "imp er", + "ip per", + "ipp er", + "▁in won", + "il ers", + "ile rs", + "iler s", + "i lers", + "▁Dep uty", + "og e", + "o ge", + "▁de pressed", + "▁dep ressed", + "▁depress ed", + "▁ar te", + "▁art e", + "▁ arte", + "▁comb ining", + "LA ST", + "L AST", + "in ted", + "int ed", + "inte d", + "▁A verage", + "▁Ave rage", + "▁poll ution", + "▁Phill ips", + "▁W M", + "▁ WM", + "}} }\\", + "}}} \\", + "} }}\\", + "Add ed", + "Ad ded", + "▁per ipher", + "Creat ion", + "C reation", + "▁ital ien", + "▁Ch oice", + "▁Cho ice", + "▁ Choice", + "▁EX PRESS", + "▁St ruct", + "▁Str uct", + "▁ Struct", + "ys z", + "y sz", + "Res ize", + "Re size", + "AR GS", + "ARG S", + "▁re po", + "▁rep o", + "▁ repo", + "▁p ref", + "▁pre f", + "▁pr ef", + "▁ pref", + "▁earth qu", + "▁F inale", + "▁Fin ale", + "▁Final e", + "▁h echo", + "▁he cho", + "requ ests", + "request s", + "C ut", + "▁des erved", + "▁deserve d", + "▁Re cent", + "▁Rec ent", + "▁ди визи", + "▁support ive", + "▁irre levant", + "' \r", + "▁c trl", + "▁ ctrl", + "▁De al", + "iz ada", + "iza da", + "u o", + "▁no rt", + "ge ometry", + "geo metry", + "▁Individ ual", + "er eg", + "ere g", + "e reg", + "cre f", + "cr ef", + "c ref", + "═ ═", + "▁com erc", + "▁come rc", + "= _", + "bu nd", + "b und", + "il en", + "ile n", + "i len", + "▁corpor ation", + "es z", + "e sz", + "▁= =>", + "▁== >", + "ab lish", + "abl ish", + "Ap r", + "A pr", + "▁r ipped", + "▁ri pped", + "▁rip ped", + "Var s", + "V ars", + "st ret", + "str et", + "stre t", + "▁Frances co", + "Na N", + "▁any time", + "▁autom ated", + "ost ream", + "o stream", + "▁draw ings", + "▁drawing s", + "▁enhance ment", + "ok rat", + "▁Iss ue", + "Cur rency", + "▁w yn", + "▁wy n", + "izar re", + "ét ico", + "mult iple", + "multi ple", + "multip le", + "▁R ate", + "▁Ra te", + "▁Rat e", + "▁ Rate", + "▁I ch", + "▁A uss", + "▁Aus s", + "▁Au ss", + "▁For mer", + "▁Form er", + "Cur ve", + "▁mar vel", + "att ro", + "attr o", + "▁с п", + "BO OL", + "go ld", + "g old", + "▁N intendo", + "▁Salv ador", + "▁S olution", + "▁Sol ution", + "AD C", + "A DC", + "▁Ben nett", + "▁F R", + "▁ FR", + "▁pu eden", + "▁pued en", + "▁puede n", + "pat ient", + "▁P G", + "▁ PG", + "▁J in", + "▁Ji n", + "▁cr ashed", + "▁crash ed", + "▁d enen", + "▁de nen", + "▁den en", + "▁S ample", + "▁Sam ple", + "▁ Sample", + "▁Que bec", + "it ories", + "itor ies", + "ito ries", + "itori es", + "▁b linked", + "▁blink ed", + "▁l ion", + "▁li on", + "▁vo ce", + "▁voc e", + "▁Imp act", + "▁M au", + "▁Ma u", + "▁N ie", + "▁Ni e", + "▁l ob", + "▁lo b", + "or neys", + "orney s", + "orne ys", + "▁coast al", + "▁s ensors", + "▁sens ors", + "▁sensor s", + "▁ill usion", + "oj i", + "o ji", + "▁I NC", + "▁IN C", + "▁Dun can", + "y k", + "▁affect ing", + "pu l", + "p ul", + "▁Napole on", + "▁com pt", + "▁comp t", + "▁prof itable", + "▁profit able", + "lo e", + "l oe", + "▁deux ième", + "▁W C", + "▁ WC", + "▁v iable", + "▁vi able", + "▁via ble", + "▁D rug", + "▁Dr ug", + "▁Dru g", + "Text Box", + "▁lum inos", + "au té", + "aut é", + "y c", + "št ě", + "▁affili ates", + "▁affiliate s", + "il da", + "ild a", + "con duct", + "cond uct", + "▁e benfalls", + "▁A MD", + "▁AM D", + "▁Mon itor", + "▁ Monitor", + "▁Compan ies", + "▁correct ed", + "▁corre cted", + "ä ck", + "SY STEM", + "other apy", + "▁п еред", + "▁bl ues", + "▁blue s", + "at isf", + "ati sf", + "atis f", + "al though", + "alth ough", + "ro st", + "ros t", + "r ost", + "SC AN", + "S CAN", + "▁R AM", + "ці ональ", + "▁vend ors", + "▁vendor s", + "▁custom s", + "▁cust oms", + "▁activ ate", + "▁ activate", + "▁b logs", + "▁bl ogs", + "▁blo gs", + "▁blog s", + "▁br ace", + "▁bra ce", + "▁ brace", + "▁st rat", + "▁str at", + "▁stra t", + "an je", + "anj e", + "▁t ide", + "▁tid e", + "▁ti de", + "get Operand", + "▁al iment", + "▁ali ment", + "▁achieve ments", + "▁achievement s", + "▁suspic ion", + "▁susp icion", + "▁touch down", + "br oad", + "bro ad", + "b road", + "io re", + "ior e", + "i ore", + "Compar ison", + "▁m um", + "▁mu m", + "Eng lish", + "▁P icture", + "▁Pict ure", + "▁M ouse", + "▁Mo use", + "▁ Mouse", + "am d", + "a md", + "▁[ `", + "▁den omin", + "▁denom in", + "▁Al eks", + "▁Ale ks", + "▁pr events", + "▁prevent s", + "▁prev ents", + "ó b", + "fe d", + "f ed", + "▁P ray", + "▁Pr ay", + "▁Pra y", + "▁sh ine", + "▁ shine", + "▁cl utch", + "mu x", + "m ux", + "App ro", + "Ap pro", + "ch io", + "chi o", + "na ge", + "n age", + "HA S", + "H AS", + "▁' )", + "▁ ')", + "▁M iche", + "▁Mich e", + "▁Mic he", + "▁Mi che", + "t g", + ":: ~", + "▁am ely", + "▁ro dz", + "▁rod z", + "z s", + "tr ait", + "tra it", + "t rait", + "▁k lass", + "▁kl ass", + "▁ klass", + "f ö", + "▁dest ac", + "▁Cl ara", + "▁Clar a", + "f requency", + "▁frequ encies", + "▁febr ero", + "▁st umbled", + "▁N ames", + "▁Name s", + "▁Na mes", + "▁Nam es", + "▁ Names", + "▁F light", + "▁Fl ight", + "▁p rey", + "▁pre y", + "▁pr ey", + "▁med io", + "▁medi o", + "▁V AR", + "▁VA R", + "▁ VAR", + "▁F loat", + "▁Flo at", + "▁ Float", + "▁Ern est", + "▁Marc atori", + "op ort", + "o port", + "▁cancel lation", + "▁cancell ation", + "▁Br yan", + "▁Bry an", + "—— ——", + "Lu c", + "L uc", + "▁li bre", + "▁lib re", + "▁t ítulo", + "* >", + "▁S andy", + "▁San dy", + "▁Sand y", + "▁Mar ina", + "Be en", + "B een", + "▁w al", + "▁wa l", + "▁ wal", + "▁K ultur", + "▁expl ode", + "▁explo de", + "▁lim iting", + "▁limit ing", + "▁presum ably", + "▁p b", + "▁ pb", + "▁M erc", + "▁Me rc", + "▁Mer c", + "le arning", + "lear ning", + "learn ing", + "C atalog", + "▁C ensus", + "lt e", + "l te", + "▁N ET", + "▁NE T", + "▁ NET", + "ra ising", + "rais ing", + "rai sing", + "сь ке", + "st aff", + "sta ff", + "▁Qu inn", + "▁mem orial", + "▁memor ial", + "▁memo rial", + "п ня", + "▁cu enta", + "lb l", + "l bl", + "▁v aries", + "▁var ies", + "▁vari es", + "▁va ries", + "▁fluct uations", + "▁осо би", + "▁ware house", + "How ever", + "▁correct ions", + "▁corre ctions", + "▁correction s", + "dh d", + "d hd", + "▁f als", + "▁fa ls", + "▁fal s", + "▁controvers y", + "▁cur se", + "▁t élé", + "▁té lé", + "ře d", + "ř ed", + "▁A U", + "▁ AU", + "▁cr ít", + "id an", + "ida n", + "i dan", + "ili ary", + "iliar y", + "ilia ry", + "▁P anel", + "▁Pan el", + "▁Pa nel", + "▁ Panel", + "cul e", + "cu le", + "c ule", + "▁P oor", + "▁Po or", + "▁B A", + "▁ BA", + "▁ignor ant", + "ème s", + "è mes", + "▁aest hetic", + "Link ed", + "Lin ked", + "get Int", + "Un icode", + "[ @", + "▁Z ent", + "▁Ze nt", + "▁Zen t", + "Man ifest", + "▁v ars", + "▁var s", + "▁va rs", + "▁ vars", + "P B", + "▁De scribe", + "▁Desc ribe", + "▁ Describe", + "▁Any thing", + "oi rs", + "oir s", + "o irs", + "▁s ocks", + "▁so cks", + "▁soc ks", + "▁sock s", + "▁im ped", + "▁imp ed", + "▁ne ue", + "▁neu e", + "▁dis pers", + "▁disp ers", + "Col lect", + "Coll ect", + "file r", + "fil er", + "fi ler", + "f iler", + "▁Fr au", + "▁Fra u", + "▁H ockey", + "▁te ens", + "▁teen s", + "▁Rober to", + "▁Robert o", + "la uf", + "l auf", + "ват ь", + "is Array", + "▁teen ager", + "Bu ilt", + "▁loud ly", + "Cap acity", + "▁advent ures", + "▁adventure s", + "▁M olly", + "▁Mol ly", + "rec ogn", + "bar s", + "ba rs", + "b ars", + "▁L or", + "▁Lo r", + "▁pu ò", + "▁m ong", + "▁mon g", + "▁mo ng", + "▁ mong", + "in ement", + "ine ment", + "i nement", + "Ass ignment", + "Assign ment", + "▁d iz", + "▁di z", + "less ness", + "▁H alloween", + "▁bit map", + "▁ bitmap", + "Ro m", + "R om", + "▁re bel", + "▁reb el", + "▁rad ial", + "▁radi al", + "me asure", + "ni t", + "n it", + "▁Ass ume", + "▁assign ments", + "▁assignment s", + "▁I sn", + "▁Is n", + "▁al tre", + "▁alt re", + "ße r", + "ß er", + "на ль", + "нал ь", + "н аль", + "▁fl ies", + "▁d roit", + "▁dro it", + "▁thick ness", + "▁en jo", + "▁d well", + "▁dw ell", + "▁hom osexual", + "▁e val", + "▁ev al", + "▁ eval", + "$_ {", + "$ _{", + "as ia", + "asi a", + "▁phil os", + "get Current", + "▁veter ans", + "▁veteran s", + "▁Ber keley", + "▁wild life", + "Co p", + "C op", + "ve rn", + "ver n", + "v ern", + "▁ Ú", + "to s", + "t os", + "▁L ed", + "▁Le d", + "▁key words", + "▁keyword s", + "▁med ications", + "▁medic ations", + "▁medication s", + "ne um", + "▁jam ais", + "▁B uc", + "▁Bu c", + "▁P D", + "▁ PD", + "▁State ment", + "▁Stat ement", + "▁ Statement", + "▁P I", + "▁ PI", + "▁Jack ie", + "▁Jac kie", + "▁ord in", + "▁k ör", + "▁kö r", + "en ze", + "enz e", + "▁util ized", + "▁utiliz ed", + "▁utilize d", + "á ct", + "az ed", + "aze d", + "a zed", + "▁sever ely", + "▁severe ly", + "▁ä ven", + "▁li bro", + "▁lib ro", + "▁E u", + "äs t", + "ä st", + "PAR T", + "PA RT", + "P ART", + "▁But ler", + "▁puzz le", + "F all", + "Count ry", + "C ountry", + "pf n", + "p fn", + "▁у країн", + "▁Or chestra", + "▁al to", + "▁alt o", + "▁anc ora", + "▁decom position", + "▁ م", + "▁appet ite", + "ad u", + "a du", + "▁TH AT", + "▁com enz", + "min a", + "mi na", + "m ina", + "▁init iated", + "▁initi ated", + "▁T at", + "▁Ta t", + "▁some time", + "▁som etime", + "▁somet ime", + "re k", + "r ek", + "br ead", + "bre ad", + "b read", + "▁Stat istics", + "▁ Statistics", + "▁C ob", + "▁Co b", + "F ollow", + "▁ge ometric", + "▁proceed ings", + "D lg", + "se ven", + "s even", + "▁[ -", + "▁ [-", + "▁Buff alo", + "▁bl acks", + "▁black s", + "▁s ov", + "▁so v", + "▁cust ody", + "▁r as", + "▁ra s", + "▁ ras", + "▁tatto o", + "öffent licht", + "Bl o", + "B lo", + "A ustral", + "▁rec uper", + "▁b em", + "▁be m", + "▁t hou", + "▁th ou", + "ori ented", + "orient ed", + "vi r", + "v ir", + "▁col ony", + "▁colon y", + "▁Stan ford", + "Abs olute", + "ad rat", + "adr at", + "▁S itu", + "▁Si tu", + "▁sou vent", + "EX EC", + "▁m ű", + "▁apart ments", + "▁apartment s", + "▁a no", + "▁an o", + "▁ ano", + "WIN DO", + "ac ci", + "acc i", + "▁L au", + "▁La u", + "co urt", + "cou rt", + "c ourt", + "▁manif old", + "▁coal ition", + "Att rib", + "Attr ib", + "asc ade", + "▁whe at", + "▁strength s", + "FR EE", + "F REE", + "EMP TY", + "▁h ey", + "▁he y", + "as cular", + "asc ular", + "▁pl asma", + "▁b ob", + "▁bo b", + "Sep arator", + "=\" ${", + "=\"$ {", + "▁Z ag", + "▁Za g", + "▁pro jet", + "▁smooth ly", + "SE QU", + "an aly", + "ana ly", + "anal y", + "att achment", + "attach ment", + "▁E S", + "▁ ES", + "▁po pped", + "▁pop ped", + "ő s", + "to m", + "t om", + "▁s ón", + "▁só n", + "▁r ott", + "▁ro tt", + "▁rot t", + "▁ rott", + "Util ities", + "Ut ilities", + "had oop", + "hado op", + "▁s otto", + "▁so tto", + "au tor", + "aut or", + "auto r", + "▁George s", + "▁Georg es", + "▁kter ý", + "▁gru ppo", + "▁instrument al", + "▁W riter", + "▁Write r", + "▁Writ er", + "▁Wr iter", + "▁ Writer", + "▁set Timeout", + "ik k", + "i kk", + "▁Do po", + "▁Dop o", + "]) ;\r", + "]); \r", + "] );\r", + "▁pract icing", + "▁Ron ald", + "▁ag rees", + "▁agree s", + "▁agre es", + "▁den oted", + "▁denote d", + "is miss", + "ism iss", + "▁interview ed", + "template s", + "t emplates", + "ř i", + "ad ministr", + "admin istr", + "▁B utter", + "▁But ter", + "▁position ed", + "▁posit ioned", + "▁Four th", + "▁overwhel med", + "▁Reg ular", + "▁rep rezent", + "▁expect s", + "Ind ices", + "▁mar ijuana", + "▁z aj", + "▁za j", + "▁B ren", + "▁Br en", + "▁Bre n", + "▁be gg", + "▁beg g", + "▁na hm", + "▁nah m", + "▁inter rog", + "▁B un", + "▁Bu n", + "▁с еред", + "▁се ред", + "▁shel ves", + "▁Fra uen", + "▁Frau en", + "▁Serge ant", + "mat ched", + "match ed", + "m atched", + "▁d onne", + "▁don ne", + "▁touch es", + "▁tou ches", + "ab ort", + "abor t", + "▁v ale", + "▁val e", + "▁va le", + "▁inst itutional", + "▁institut ional", + "▁institution al", + "▁M ons", + "▁Mon s", + "▁Mo ns", + "▁ambit ious", + "▁non etheless", + "▁none theless", + "j d", + "▁back pack", + "da o", + "d ao", + "▁surround ings", + "▁surrounding s", + "| _{", + "▁g egründ", + "dis p", + "di sp", + "d isp", + "▁moist ure", + "▁w yd", + "▁wy d", + "▁tr aders", + "▁trad ers", + "▁tra ders", + "▁trade rs", + "▁Er st", + "▁Gal axy", + "▁Per u", + "▁Pe ru", + "▁prior ities", + "▁pron ounced", + "▁C BS", + "▁CB S", + "▁Pal m", + "▁Pa lm", + "▁exp ans", + "▁ener get", + "▁energ et", + "▁Cond ition", + "▁ Condition", + "▁S ver", + "▁Sv er", + "ne sted", + "nes ted", + "n ested", + "he ro", + "her o", + "h ero", + "▁Fil ms", + "▁Film s", + "Bo n", + "B on", + "é al", + "ploy ed", + "tr ained", + "tra ined", + "train ed", + "▁els ő", + "▁l ust", + "▁lu st", + "ati num", + "atin um", + "oy le", + "o yle", + "▁J et", + "▁Je t", + "▁survey s", + "▁surve ys", + "be e", + "b ee", + "work ers", + "worker s", + "wor kers", + "rec ords", + "record s", + "cal endar", + "bb ing", + "b bing", + "reg ation", + "dash board", + "d ashboard", + "K ing", + "▁v ista", + "▁vis ta", + "▁vi sta", + "▁dep icted", + "▁occur ring", + "▁sand wich", + "rc u", + "r cu", + "ke rn", + "ker n", + "k ern", + "▁min ut", + "▁mi nut", + "▁t d", + "▁ td", + "so lete", + "sole te", + "sol ete", + "Com plex", + "Comp lex", + "▁t unn", + "▁tu nn", + "▁tun n", + "▁sc arc", + "▁scar c", + "st ead", + "ste ad", + "▁F ail", + "▁Fa il", + "▁ Fail", + "▁R s", + "▁tr ails", + "▁tra ils", + "▁trail s", + "ke m", + "k em", + "▁Rom ans", + "▁Ro mans", + "▁Roman s", + "▁Roma ns", + "at ivity", + "ativ ity", + "Pre vious", + "Prev ious", + "▁de press", + "▁dep ress", + "▁re signed", + "▁resign ed", + "get Default", + "▁Tib et", + "▁Ti bet", + "▁Fr anco", + "▁Franc o", + "▁Fran co", + "\") ));", + "\")) );", + "\" )));", + "▁in jection", + "▁inj ection", + "▁inject ion", + "rem oved", + "remove d", + "▁praise d", + "▁A sc", + "▁As c", + "er ase", + "era se", + "eras e", + "e rase", + "MA IL", + "M AIL", + "▁B oh", + "▁Bo h", + "Pol y", + "Po ly", + "P oly", + "▁cin q", + "▁Ab ove", + "▁Josh ua", + "ZE RO", + "Z ERO", + "▁sum mit", + "▁U rs", + "▁Ur s", + "▁c url", + "▁cur l", + "▁cu rl", + "▁v isa", + "▁vis a", + "▁vi sa", + "▁re sur", + "▁res ur", + "={ '", + "= {'", + "fe at", + "▁abs orb", + "▁absor b", + "▁plan ets", + "▁plane ts", + "▁planet s", + "▁prin cess", + "▁prince ss", + "▁Jahrhund erts", + "▁Jahrhundert s", + "x p", + "▁N BC", + "▁F UN", + "▁ FUN", + "▁ne uen", + "▁neu en", + "▁neue n", + "▁dé jà", + "▁O z", + "bb en", + "b ben", + "VID EO", + "▁ej empl", + "▁cons iders", + "▁consider s", + "▁consid ers", + "at ri", + "atr i", + "a tri", + "▁ar rog", + "▁arr og", + "io so", + "ios o", + "i oso", + "▁h ace", + "▁ha ce", + "▁contact ed", + "▁un ple", + "▁spons ored", + "▁tr ainer", + "▁tra iner", + "▁train er", + "sb i", + "s bi", + "C riterion", + "но то", + "sch eme", + "sche me", + "enn ial", + "per form", + "perf orm", + "▁fix ing", + "ar b", + "a rb", + "EX IT", + "▁ca fé", + "▁caf é", + "itut ed", + "itute d", + "itu ted", + "ri ages", + "ria ges", + "riage s", + "T ur", + "▁hab er", + "▁ha ber", + "el asticsearch", + "r h", + "▁v oll", + "▁vo ll", + "▁vol l", + "CL U", + "M il", + "▁mem bres", + "▁membr es", + "▁membre s", + "▁remark ed", + "=\" _", + "Le ss", + "Les s", + "L ess", + "(\" \");", + "▁Y ale", + "▁Ya le", + "ber ries", + "▁rele asing", + "▁im ports", + "▁import s", + "▁imp orts", + "id ea", + "ide a", + "▁( +", + "▁ar qu", + "ific ación", + "ifica ción", + "▁R angers", + "▁Range rs", + "▁Rang ers", + "▁Ran gers", + "M ic", + "▁n ederbörd", + "▁imag inary", + "▁imagin ary", + "▁special ists", + "▁specialist s", + "▁ho of", + "Mod ules", + "Module s", + "▁sad ly", + "ce il", + "Tab Index", + "at ionale", + "ation ale", + "ational e", + "▁Part ner", + "tb ody", + "t body", + "▁le verage", + "▁lever age", + "D N", + "▁P rec", + "▁Pr ec", + "▁Pre c", + "▁S é", + "▁M am", + "▁Ma m", + "▁a fin", + "▁af in", + "is Valid", + "Ps e", + "P se", + "▁cho pped", + "▁chop ped", + "▁Min or", + "▁Mi nor", + "▁d abei", + "Da vid", + "D avid", + "uss ia", + "▁дере вня", + "▁Id entity", + "▁Ident ity", + "▁ Identity", + "▁L GBT", + "ци је", + "▁Or ts", + "▁Ort s", + "▁part i", + "▁par ti", + "▁B achelor", + "ug a", + "u ga", + "▁O PT", + "▁OP T", + "▁ OPT", + "▁S eth", + "▁Se th", + "▁Set h", + "▁LI ABLE", + "▁inaug ur", + "▁Shan ghai", + "▁relax ing", + "\" %", + "▁o bey", + "▁ob ey", + "▁A irlines", + "▁Air lines", + "Link s", + "Lin ks", + "L inks", + "▁C elt", + "▁Ce lt", + "▁Cel t", + "▁Ad min", + "▁Adm in", + "▁ Admin", + "ag ation", + "▁wor ries", + "IN TE", + "INT E", + "ar ith", + "ari th", + "Fat alf", + "]] )", + "] ])", + "co lm", + "col m", + "▁arch ae", + "▁br ushed", + "▁brush ed", + "▁t ät", + "▁struct ured", + "▁structure d", + "▁home m", + "▁hom em", + "▁ho mem", + "[: ,", + "▁n avy", + "▁na vy", + "▁nav y", + "get Key", + "power ed", + "pow ered", + "▁s ucked", + "▁suc ked", + "▁suck ed", + "▁z omb", + "▁zo mb", + "iss ant", + "issa nt", + "▁M ight", + "▁Mi ght", + "▁Mig ht", + "▁P ull", + "▁Pu ll", + "▁Pul l", + "ri r", + "r ir", + "▁п і", + "▁ пі", + "▁se as", + "▁sea s", + "▁W rest", + "▁Wr est", + "▁t ense", + "▁ten se", + "▁tens e", + "▁a tm", + "▁at m", + "▁have t", + "▁ha vet", + "▁hav et", + "▁pier ws", + "▁trag ic", + "▁D iff", + "▁Di ff", + "▁ Diff", + "▁conf idential", + "▁confident ial", + "success ful", + "ę ż", + "▁Ch ain", + "▁Cha in", + "▁ Chain", + "▁Ken ya", + "Ch oice", + "oc ur", + "o cur", + "an iu", + "ani u", + "▁consult ant", + "▁Ad vis", + "▁Adv is", + "Li f", + "L if", + "▁L ors", + "▁Lo rs", + "▁Lor s", + "avor ite", + "avo rite", + "▁util izing", + "▁utiliz ing", + "▁v intage", + "Mat cher", + "Match er", + "▁m embre", + "▁me mbre", + "▁mem bre", + "▁membr e", + "▁Ex pect", + "▁Exp ect", + "▁ Expect", + "▁tr acing", + "▁tra cing", + "no g", + "n og", + "▁d ej", + "▁de j", + "▁lo ops", + "▁loop s", + "▁on click", + "▁G PU", + "▁GP U", + "▁ GPU", + "▁Album s", + "▁Alb ums", + "▁Arch ives", + "ва та", + "ват а", + "▁st ove", + "▁sto ve", + "an cies", + "anc ies", + "▁geme ente", + "mo b", + "m ob", + "PD F", + "P DF", + "es o", + "e so", + "▁v ég", + "▁vé g", + "Res olve", + "▁te aches", + "▁teach es", + "▁tea ches", + "▁f id", + "▁fi d", + "Some thing", + "Som ething", + "▁ne bo", + "▁Valent ine", + "row ning", + "rown ing", + "▁а ле", + "▁ал е", + "aw i", + "a wi", + "is hi", + "ish i", + "▁S PI", + "▁SP I", + "▁ SPI", + "▁s pel", + "▁sp el", + "▁spe l", + "▁б іль", + "▁бі ль", + "▁particip ant", + "▁N ed", + "▁Ne d", + "▁G ast", + "▁Ga st", + "▁Gas t", + "▁bl ond", + "▁blo nd", + "▁s aves", + "▁sa ves", + "▁save s", + "▁sav es", + "col ored", + "color ed", + "colo red", + "▁A CTION", + "▁AC TION", + "▁ACT ION", + "▁ ACTION", + "▁Polit iker", + "}$ )", + "} $)", + "▁D um", + "▁Du m", + "den try", + "d entry", + "Stud ent", + "▁~ =", + "lo ads", + "load s", + "▁F oster", + "▁Fo ster", + "一 个", + "▁P K", + "▁ PK", + "▁S B", + "▁ SB", + "▁H ern", + "▁He rn", + "▁Her n", + "▁Ex hib", + "Listener s", + "Listen ers", + "Su n", + "S un", + "pl ac", + "▁B ever", + "▁Be ver", + "▁Bev er", + "▁incl uy", + "▁inclu y", + "▁d c", + "▁ dc", + "ar gc", + "arg c", + "▁g ed", + "▁ge d", + "▁ ged", + "▁Form ula", + "▁em pt", + "▁emp t", + "▁ empt", + "un register", + "▁Queens land", + "ánd ez", + "ot ive", + "oti ve", + "▁al ley", + "▁all ey", + "▁alle y", + "▁Democr at", + "▁trav ail", + "▁$ ,", + "▁ $,", + "R P", + "pers onal", + "person al", + "▁péri ode", + "HO ME", + "om es", + "ome s", + "o mes", + "▁recogn ised", + "he ng", + "hen g", + "h eng", + "▁J ung", + "▁Jun g", + "▁Ju ng", + "▁Ro land", + "▁Rol and", + "▁conv icted", + "Loc ked", + "Lock ed", + "L ocked", + "▁m ari", + "▁mar i", + "▁ma ri", + "▁Lux em", + "refer to", + "De leted", + "Dele ted", + "Delete d", + "Del eted", + "int ent", + "inte nt", + "▁St aats", + "▁Sta ats", + "▁обла сті", + "▁са ве", + "▁Pro tocol", + "▁ Protocol", + "ają c", + "ch k", + "Type Info", + "▁p kt", + "▁ pkt", + "▁sc andal", + "▁scan dal", + "▁individ ually", + "▁individual ly", + "FM T", + "F MT", + "▁n j", + "ab ile", + "abil e", + "abi le", + "▁R ivers", + "▁River s", + "PRO PERTY", + "V B", + "wo rt", + "wor t", + "w ort", + "▁split ting", + "▁spl itting", + "ach ten", + "acht en", + "achte n", + "a chten", + "▁AR ISING", + "▁s ip", + "▁si p", + "▁f res", + "▁fr es", + "▁fre s", + "▁g room", + "▁gr oom", + "▁gro om", + "H ol", + "▁c anon", + "▁can on", + "▁ca non", + "▁abrupt ly", + "▁after ward", + "▁R unning", + "▁Run ning", + "▁ Running", + "▁j i", + "▁ ji", + "▁Palest inian", + "R W", + "pgf scope", + "▁country side", + "▁countr yside", + "▁fort unate", + "▁ fortunate", + "▁c él", + "▁Po inter", + "▁Point er", + "▁ Pointer", + "ens ors", + "ensor s", + "enso rs", + "ra ting", + "rat ing", + "r ating", + "▁buff ers", + "▁buffer s", + "▁buf fers", + "▁re mot", + "▁rem ot", + "▁Prop Types", + "▁N ah", + "▁Na h", + "al tern", + "alt ern", + "alter n", + "▁eas iest", + "▁in vas", + "▁inv as", + "▁cl k", + "▁ clk", + "copy right", + "c opyright", + "▁bl anc", + "SA MP", + "S AMP", + "▁Co hen", + "▁S hell", + "▁She ll", + "▁Sh ell", + "▁Shel l", + "▁ Shell", + "▁destroy ing", + "▁destro ying", + "▁Z el", + "▁Ze l", + "date r", + "da ter", + "dat er", + "d ater", + "če n", + "č en", + "▁f iling", + "▁fil ing", + "▁fi ling", + "▁integr ate", + "xi t", + "x it", + "▁R ET", + "▁RE T", + "▁ RET", + "le ne", + "len e", + "l ene", + "cal ls", + "call s", + "c alls", + "▁sl aughter", + "init ialized", + "initial ized", + "initialize d", + "un ches", + "unch es", + "unc hes", + "▁Tr ace", + "▁Tra ce", + "▁ Trace", + "eff icient", + "▁Wood s", + "▁long itud", + "G N", + "▁K ont", + "▁Kon t", + "▁Ko nt", + "▁chunk s", + "á ch", + "▁unem ployment", + "ac om", + "aco m", + "a com", + "▁sl owed", + "▁slow ed", + "▁out lined", + "▁outline d", + "xff ff", + "xf fff", + "x ffff", + "▁ik ke", + "▁work space", + "▁works pace", + "M c", + "▁k icking", + "▁kick ing", + "▁embed ding", + "ch nitt", + "chn itt", + "er ten", + "ert en", + "▁In terior", + "▁Inter ior", + "▁S ongs", + "▁Son gs", + "▁Song s", + "mm c", + "m mc", + "▁analy zed", + "▁analyze d", + "▁Cou pe", + "▁favor ites", + "▁favorite s", + "▁t t", + "▁ tt", + "R outing", + "▁Sil va", + "▁andere m", + "▁ander em", + "▁h onom", + "▁hon om", + "▁ho nom", + ".\" ]", + ". \"]", + "▁W u", + "le gt", + "leg t", + "▁s poon", + "▁sp oon", + "▁spo on", + "▁j ap", + "▁ja p", + "▁Ext ension", + "▁ Extension", + "er ne", + "ern e", + "▁v agy", + "▁va gy", + "▁vag y", + "▁ф унк", + "▁anal ytics", + "▁analyt ics", + "▁s ug", + "▁su g", + "▁A sync", + "▁As ync", + "▁ Async", + "▁pe aks", + "▁peak s", + "▁G ym", + "▁Gy m", + "▁law suit", + "▁laws uit", + "< >", + "ial is", + "i alis", + "et ric", + "etr ic", + "face d", + "fa ced", + "fac ed", + "f aced", + "▁dis rupt", + "▁f å", + "Input s", + "`) ;", + "` );", + "▁M end", + "▁Me nd", + "▁Men d", + "go n", + "g on", + "▁\" ,\"", + "▁\", \"", + "▁ \",\"", + "▁n erves", + "▁nerv es", + "▁nerve s", + "▁ner ves", + "▁doubt s", + "▁doub ts", + "sa p", + "s ap", + "▁s ow", + "▁so w", + ",\\ ,\\", + ",\\, \\", + ", \\,\\", + "▁B S", + "▁ BS", + "▁G lad", + "▁Gl ad", + "▁a ster", + "▁as ter", + "▁ast er", + "▁ aster", + "œuv re", + "▁Bang l", + "▁Ban gl", + "▁i Pad", + "use ppe", + "▁conduct ing", + "▁( {\\", + "▁({ \\", + "▁ ({\\", + "▁Har bor", + "ps z", + "p sz", + "▁FI FA", + "_* *", + "_ **", + "em or", + "e mor", + "▁ ▁", + "▁▁ ▁▁", + "▁▁▁ ▁", + "▁ ▁▁▁", + "▁▁ ▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁", + "▁▁▁▁▁ ▁▁▁", + "▁▁▁▁▁▁ ▁▁", + "▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁▁ ▁", + "▁ ▁▁▁▁▁▁▁", + "▁▁ ▁▁▁", + "▁▁▁▁ ▁", + "▁▁▁ ▁▁", + "▁ ▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁", + "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁", + "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁", + "▁▁ ▁▁▁▁", + "▁▁▁▁ ▁▁", + "▁▁▁▁▁ ▁", + "▁▁▁ ▁▁▁", + "▁ ▁▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁▁▁", + "▁▁▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁ ▁▁", + "▁▁▁ ▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁▁▁", + "▁▁▁▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁ ▁", + "▁ ▁▁▁▁▁▁▁▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁ ▁", + "▁▁▁▁▁▁▁▁▁▁ ▁▁▁", + "▁▁▁ ▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁▁▁▁", + "▁▁▁▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁ ▁▁", + "▁ ▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁", + "▁▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁", + "▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁", + "▁▁▁▁▁▁▁ ▁▁▁", + "▁ ▁▁▁▁▁▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁ ▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁ ▁▁", + "▁▁▁▁▁▁▁▁▁▁▁▁▁ ▁", + "▁▁▁▁▁▁▁▁▁▁ ▁▁▁▁", + "▁▁▁ ▁▁▁▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁▁ ▁▁▁", + "▁ ▁▁▁▁▁▁▁▁▁▁▁▁▁", + "▁▁ ▁", + "▁ ▁▁", + "▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁", + "▁▁▁▁▁ ▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁", + "▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁▁ ▁▁", + "▁ ▁▁▁▁▁▁▁▁", + "▁▁ ▁▁▁▁▁", + "▁▁▁▁ ▁▁▁", + "▁▁▁▁▁ ▁▁", + "▁▁▁▁▁▁ ▁", + "▁▁▁ ▁▁▁▁", + "▁ ▁▁▁▁▁▁", + "▁▁ ▁▁▁▁▁▁▁▁▁", + "▁▁▁▁ ▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁ ▁▁▁", + "▁▁▁▁▁ ▁▁▁▁▁▁", + "▁▁▁▁▁▁ ▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁▁ ▁", + "▁▁▁ ▁▁▁▁▁▁▁▁", + "▁▁▁▁▁▁▁▁▁ ▁▁", + "▁▁▁▁▁▁▁ ▁▁▁▁", + "▁ ▁▁▁▁▁▁▁▁▁▁" + ] + } +} \ No newline at end of file diff --git a/tokenizer_config.json b/tokenizer_config.json new file mode 100644 index 0000000000000000000000000000000000000000..81730cd96b4768bd1a77a4bd8269c72ea708870b --- /dev/null +++ b/tokenizer_config.json @@ -0,0 +1,42 @@ +{ + "add_bos_token": true, + "add_eos_token": false, + "added_tokens_decoder": { + "0": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "1": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + }, + "2": { + "content": "", + "lstrip": false, + "normalized": false, + "rstrip": false, + "single_word": false, + "special": true + } + }, + "additional_special_tokens": [], + "bos_token": "", + "clean_up_tokenization_spaces": false, + "eos_token": "", + "legacy": true, + "model_max_length": 1000000000000000019884624838656, + "pad_token": null, + "sp_model_kwargs": {}, + "spaces_between_special_tokens": false, + "tokenizer_class": "LlamaTokenizer", + "unk_token": "", + "use_default_system_prompt": false +} diff --git a/train_results.json b/train_results.json new file mode 100644 index 0000000000000000000000000000000000000000..d046539f265b9c971b7fdf5e79fa322c8d3cbf01 --- /dev/null +++ b/train_results.json @@ -0,0 +1,8 @@ +{ + "epoch": 1.0, + "train_loss": 2.52519507538886, + "train_runtime": 21683.5632, + "train_samples": 2824235, + "train_samples_per_second": 130.248, + "train_steps_per_second": 1.018 +} \ No newline at end of file diff --git a/trainer_state.json b/trainer_state.json new file mode 100644 index 0000000000000000000000000000000000000000..330c1873404c24432c8178c5289c6166a5528c79 --- /dev/null +++ b/trainer_state.json @@ -0,0 +1,13365 @@ +{ + "best_metric": null, + "best_model_checkpoint": null, + "epoch": 1.0, + "eval_steps": 2000, + "global_step": 22065, + "is_hyper_param_search": false, + "is_local_process_zero": true, + "is_world_process_zero": true, + "log_history": [ + { + "epoch": 0.0, + "learning_rate": 2.0000000000000003e-06, + "loss": 6.5194, + "step": 10 + }, + { + "epoch": 0.0, + "learning_rate": 4.000000000000001e-06, + "loss": 6.4472, + "step": 20 + }, + { + "epoch": 0.0, + "learning_rate": 6e-06, + "loss": 6.313, + "step": 30 + }, + { + "epoch": 0.0, + "learning_rate": 8.000000000000001e-06, + "loss": 6.188, + "step": 40 + }, + { + "epoch": 0.0, + "learning_rate": 1e-05, + "loss": 6.0095, + "step": 50 + }, + { + "epoch": 0.0, + "learning_rate": 1.2e-05, + "loss": 5.8336, + "step": 60 + }, + { + "epoch": 0.0, + "learning_rate": 1.4e-05, + "loss": 5.4948, + "step": 70 + }, + { + "epoch": 0.0, + "learning_rate": 1.6000000000000003e-05, + "loss": 5.2933, + "step": 80 + }, + { + "epoch": 0.0, + "learning_rate": 1.8e-05, + "loss": 4.908, + "step": 90 + }, + { + "epoch": 0.0, + "learning_rate": 2e-05, + "loss": 4.6039, + "step": 100 + }, + { + "epoch": 0.0, + "learning_rate": 1.9999989771610435e-05, + "loss": 4.37, + "step": 110 + }, + { + "epoch": 0.01, + "learning_rate": 1.9999959086462666e-05, + "loss": 4.2062, + "step": 120 + }, + { + "epoch": 0.01, + "learning_rate": 1.999990794461946e-05, + "loss": 4.0018, + "step": 130 + }, + { + "epoch": 0.01, + "learning_rate": 1.999983634618544e-05, + "loss": 3.914, + "step": 140 + }, + { + "epoch": 0.01, + "learning_rate": 1.9999744291307077e-05, + "loss": 3.7417, + "step": 150 + }, + { + "epoch": 0.01, + "learning_rate": 1.9999631780172678e-05, + "loss": 3.652, + "step": 160 + }, + { + "epoch": 0.01, + "learning_rate": 1.999949881301241e-05, + "loss": 3.6293, + "step": 170 + }, + { + "epoch": 0.01, + "learning_rate": 1.9999345390098276e-05, + "loss": 3.5554, + "step": 180 + }, + { + "epoch": 0.01, + "learning_rate": 1.9999171511744134e-05, + "loss": 3.4717, + "step": 190 + }, + { + "epoch": 0.01, + "learning_rate": 1.9998977178305683e-05, + "loss": 3.3474, + "step": 200 + }, + { + "epoch": 0.01, + "learning_rate": 1.9998762390180467e-05, + "loss": 3.3879, + "step": 210 + }, + { + "epoch": 0.01, + "learning_rate": 1.999852714780787e-05, + "loss": 3.3087, + "step": 220 + }, + { + "epoch": 0.01, + "learning_rate": 1.9998271451669127e-05, + "loss": 3.2531, + "step": 230 + }, + { + "epoch": 0.01, + "learning_rate": 1.9997995302287306e-05, + "loss": 3.2259, + "step": 240 + }, + { + "epoch": 0.01, + "learning_rate": 1.999769870022732e-05, + "loss": 3.1982, + "step": 250 + }, + { + "epoch": 0.01, + "learning_rate": 1.9997381646095923e-05, + "loss": 3.2029, + "step": 260 + }, + { + "epoch": 0.01, + "learning_rate": 1.9997044140541704e-05, + "loss": 3.1327, + "step": 270 + }, + { + "epoch": 0.01, + "learning_rate": 1.9996686184255093e-05, + "loss": 3.1122, + "step": 280 + }, + { + "epoch": 0.01, + "learning_rate": 1.999630777796835e-05, + "loss": 3.0607, + "step": 290 + }, + { + "epoch": 0.01, + "learning_rate": 1.9995908922455574e-05, + "loss": 3.0865, + "step": 300 + }, + { + "epoch": 0.01, + "learning_rate": 1.9995489618532696e-05, + "loss": 3.0345, + "step": 310 + }, + { + "epoch": 0.01, + "learning_rate": 1.9995049867057475e-05, + "loss": 3.066, + "step": 320 + }, + { + "epoch": 0.01, + "learning_rate": 1.99945896689295e-05, + "loss": 3.0605, + "step": 330 + }, + { + "epoch": 0.02, + "learning_rate": 1.9994109025090193e-05, + "loss": 2.9867, + "step": 340 + }, + { + "epoch": 0.02, + "learning_rate": 1.9993607936522795e-05, + "loss": 2.9954, + "step": 350 + }, + { + "epoch": 0.02, + "learning_rate": 1.9993086404252368e-05, + "loss": 2.9902, + "step": 360 + }, + { + "epoch": 0.02, + "learning_rate": 1.99925444293458e-05, + "loss": 2.967, + "step": 370 + }, + { + "epoch": 0.02, + "learning_rate": 1.9991982012911796e-05, + "loss": 2.9373, + "step": 380 + }, + { + "epoch": 0.02, + "learning_rate": 1.9991399156100888e-05, + "loss": 2.9242, + "step": 390 + }, + { + "epoch": 0.02, + "learning_rate": 1.99907958601054e-05, + "loss": 2.8879, + "step": 400 + }, + { + "epoch": 0.02, + "learning_rate": 1.9990172126159493e-05, + "loss": 2.8951, + "step": 410 + }, + { + "epoch": 0.02, + "learning_rate": 1.9989527955539117e-05, + "loss": 2.9223, + "step": 420 + }, + { + "epoch": 0.02, + "learning_rate": 1.998886334956204e-05, + "loss": 2.9071, + "step": 430 + }, + { + "epoch": 0.02, + "learning_rate": 1.9988178309587834e-05, + "loss": 2.8767, + "step": 440 + }, + { + "epoch": 0.02, + "learning_rate": 1.9987472837017875e-05, + "loss": 2.8798, + "step": 450 + }, + { + "epoch": 0.02, + "learning_rate": 1.998674693329532e-05, + "loss": 2.8751, + "step": 460 + }, + { + "epoch": 0.02, + "learning_rate": 1.9986000599905144e-05, + "loss": 2.8694, + "step": 470 + }, + { + "epoch": 0.02, + "learning_rate": 1.9985233838374095e-05, + "loss": 2.8434, + "step": 480 + }, + { + "epoch": 0.02, + "learning_rate": 1.9984446650270735e-05, + "loss": 2.8669, + "step": 490 + }, + { + "epoch": 0.02, + "learning_rate": 1.9983639037205383e-05, + "loss": 2.8698, + "step": 500 + }, + { + "epoch": 0.02, + "learning_rate": 1.9982811000830168e-05, + "loss": 2.7942, + "step": 510 + }, + { + "epoch": 0.02, + "learning_rate": 1.9981962542838973e-05, + "loss": 2.8396, + "step": 520 + }, + { + "epoch": 0.02, + "learning_rate": 1.998109366496748e-05, + "loss": 2.8324, + "step": 530 + }, + { + "epoch": 0.02, + "learning_rate": 1.9980204368993125e-05, + "loss": 2.8112, + "step": 540 + }, + { + "epoch": 0.02, + "learning_rate": 1.9979294656735128e-05, + "loss": 2.789, + "step": 550 + }, + { + "epoch": 0.03, + "learning_rate": 1.9978364530054465e-05, + "loss": 2.7973, + "step": 560 + }, + { + "epoch": 0.03, + "learning_rate": 1.997741399085387e-05, + "loss": 2.7944, + "step": 570 + }, + { + "epoch": 0.03, + "learning_rate": 1.997644304107785e-05, + "loss": 2.8026, + "step": 580 + }, + { + "epoch": 0.03, + "learning_rate": 1.9975451682712653e-05, + "loss": 2.7717, + "step": 590 + }, + { + "epoch": 0.03, + "learning_rate": 1.997443991778627e-05, + "loss": 2.7765, + "step": 600 + }, + { + "epoch": 0.03, + "learning_rate": 1.9973407748368456e-05, + "loss": 2.7911, + "step": 610 + }, + { + "epoch": 0.03, + "learning_rate": 1.9972355176570695e-05, + "loss": 2.7744, + "step": 620 + }, + { + "epoch": 0.03, + "learning_rate": 1.9971282204546206e-05, + "loss": 2.7749, + "step": 630 + }, + { + "epoch": 0.03, + "learning_rate": 1.997018883448995e-05, + "loss": 2.7949, + "step": 640 + }, + { + "epoch": 0.03, + "learning_rate": 1.9969075068638603e-05, + "loss": 2.73, + "step": 650 + }, + { + "epoch": 0.03, + "learning_rate": 1.996794090927058e-05, + "loss": 2.7475, + "step": 660 + }, + { + "epoch": 0.03, + "learning_rate": 1.9966786358705997e-05, + "loss": 2.7215, + "step": 670 + }, + { + "epoch": 0.03, + "learning_rate": 1.9965611419306697e-05, + "loss": 2.7395, + "step": 680 + }, + { + "epoch": 0.03, + "learning_rate": 1.9964416093476227e-05, + "loss": 2.7544, + "step": 690 + }, + { + "epoch": 0.03, + "learning_rate": 1.996320038365984e-05, + "loss": 2.7504, + "step": 700 + }, + { + "epoch": 0.03, + "learning_rate": 1.9961964292344485e-05, + "loss": 2.7467, + "step": 710 + }, + { + "epoch": 0.03, + "learning_rate": 1.9960707822058807e-05, + "loss": 2.7522, + "step": 720 + }, + { + "epoch": 0.03, + "learning_rate": 1.995943097537314e-05, + "loss": 2.7601, + "step": 730 + }, + { + "epoch": 0.03, + "learning_rate": 1.99581337548995e-05, + "loss": 2.7437, + "step": 740 + }, + { + "epoch": 0.03, + "learning_rate": 1.9956816163291583e-05, + "loss": 2.7516, + "step": 750 + }, + { + "epoch": 0.03, + "learning_rate": 1.9955478203244758e-05, + "loss": 2.7282, + "step": 760 + }, + { + "epoch": 0.03, + "learning_rate": 1.9954119877496058e-05, + "loss": 2.7259, + "step": 770 + }, + { + "epoch": 0.04, + "learning_rate": 1.995274118882418e-05, + "loss": 2.7284, + "step": 780 + }, + { + "epoch": 0.04, + "learning_rate": 1.9951342140049483e-05, + "loss": 2.723, + "step": 790 + }, + { + "epoch": 0.04, + "learning_rate": 1.9949922734033958e-05, + "loss": 2.7367, + "step": 800 + }, + { + "epoch": 0.04, + "learning_rate": 1.9948482973681267e-05, + "loss": 2.7136, + "step": 810 + }, + { + "epoch": 0.04, + "learning_rate": 1.9947022861936686e-05, + "loss": 2.7344, + "step": 820 + }, + { + "epoch": 0.04, + "learning_rate": 1.9945542401787137e-05, + "loss": 2.7196, + "step": 830 + }, + { + "epoch": 0.04, + "learning_rate": 1.9944041596261162e-05, + "loss": 2.7228, + "step": 840 + }, + { + "epoch": 0.04, + "learning_rate": 1.994252044842893e-05, + "loss": 2.6978, + "step": 850 + }, + { + "epoch": 0.04, + "learning_rate": 1.9940978961402217e-05, + "loss": 2.7169, + "step": 860 + }, + { + "epoch": 0.04, + "learning_rate": 1.993941713833441e-05, + "loss": 2.7058, + "step": 870 + }, + { + "epoch": 0.04, + "learning_rate": 1.9937834982420492e-05, + "loss": 2.7083, + "step": 880 + }, + { + "epoch": 0.04, + "learning_rate": 1.993623249689705e-05, + "loss": 2.7348, + "step": 890 + }, + { + "epoch": 0.04, + "learning_rate": 1.9934609685042248e-05, + "loss": 2.7023, + "step": 900 + }, + { + "epoch": 0.04, + "learning_rate": 1.9932966550175842e-05, + "loss": 2.69, + "step": 910 + }, + { + "epoch": 0.04, + "learning_rate": 1.9931303095659153e-05, + "loss": 2.6818, + "step": 920 + }, + { + "epoch": 0.04, + "learning_rate": 1.9929619324895074e-05, + "loss": 2.724, + "step": 930 + }, + { + "epoch": 0.04, + "learning_rate": 1.9927915241328056e-05, + "loss": 2.6865, + "step": 940 + }, + { + "epoch": 0.04, + "learning_rate": 1.992619084844411e-05, + "loss": 2.6784, + "step": 950 + }, + { + "epoch": 0.04, + "learning_rate": 1.992444614977078e-05, + "loss": 2.6982, + "step": 960 + }, + { + "epoch": 0.04, + "learning_rate": 1.992268114887717e-05, + "loss": 2.698, + "step": 970 + }, + { + "epoch": 0.04, + "learning_rate": 1.992089584937389e-05, + "loss": 2.6747, + "step": 980 + }, + { + "epoch": 0.04, + "learning_rate": 1.9919090254913095e-05, + "loss": 2.6793, + "step": 990 + }, + { + "epoch": 0.05, + "learning_rate": 1.9917264369188453e-05, + "loss": 2.685, + "step": 1000 + }, + { + "epoch": 0.05, + "learning_rate": 1.9915418195935128e-05, + "loss": 2.6685, + "step": 1010 + }, + { + "epoch": 0.05, + "learning_rate": 1.9913551738929803e-05, + "loss": 2.672, + "step": 1020 + }, + { + "epoch": 0.05, + "learning_rate": 1.9911665001990648e-05, + "loss": 2.7005, + "step": 1030 + }, + { + "epoch": 0.05, + "learning_rate": 1.9909757988977315e-05, + "loss": 2.678, + "step": 1040 + }, + { + "epoch": 0.05, + "learning_rate": 1.9907830703790943e-05, + "loss": 2.6533, + "step": 1050 + }, + { + "epoch": 0.05, + "learning_rate": 1.9905883150374134e-05, + "loss": 2.6703, + "step": 1060 + }, + { + "epoch": 0.05, + "learning_rate": 1.9903915332710952e-05, + "loss": 2.6778, + "step": 1070 + }, + { + "epoch": 0.05, + "learning_rate": 1.990192725482693e-05, + "loss": 2.6672, + "step": 1080 + }, + { + "epoch": 0.05, + "learning_rate": 1.9899918920789017e-05, + "loss": 2.6442, + "step": 1090 + }, + { + "epoch": 0.05, + "learning_rate": 1.9897890334705636e-05, + "loss": 2.662, + "step": 1100 + }, + { + "epoch": 0.05, + "learning_rate": 1.9895841500726606e-05, + "loss": 2.6608, + "step": 1110 + }, + { + "epoch": 0.05, + "learning_rate": 1.9893772423043188e-05, + "loss": 2.6562, + "step": 1120 + }, + { + "epoch": 0.05, + "learning_rate": 1.9891683105888048e-05, + "loss": 2.6866, + "step": 1130 + }, + { + "epoch": 0.05, + "learning_rate": 1.9889573553535258e-05, + "loss": 2.6592, + "step": 1140 + }, + { + "epoch": 0.05, + "learning_rate": 1.988744377030028e-05, + "loss": 2.6526, + "step": 1150 + }, + { + "epoch": 0.05, + "learning_rate": 1.988529376053997e-05, + "loss": 2.644, + "step": 1160 + }, + { + "epoch": 0.05, + "learning_rate": 1.988312352865254e-05, + "loss": 2.6692, + "step": 1170 + }, + { + "epoch": 0.05, + "learning_rate": 1.9880933079077605e-05, + "loss": 2.663, + "step": 1180 + }, + { + "epoch": 0.05, + "learning_rate": 1.9878722416296104e-05, + "loss": 2.6357, + "step": 1190 + }, + { + "epoch": 0.05, + "learning_rate": 1.9876491544830352e-05, + "loss": 2.6277, + "step": 1200 + }, + { + "epoch": 0.05, + "learning_rate": 1.9874240469243987e-05, + "loss": 2.6691, + "step": 1210 + }, + { + "epoch": 0.06, + "learning_rate": 1.9871969194141985e-05, + "loss": 2.6788, + "step": 1220 + }, + { + "epoch": 0.06, + "learning_rate": 1.986967772417065e-05, + "loss": 2.6312, + "step": 1230 + }, + { + "epoch": 0.06, + "learning_rate": 1.9867366064017584e-05, + "loss": 2.6423, + "step": 1240 + }, + { + "epoch": 0.06, + "learning_rate": 1.9865034218411698e-05, + "loss": 2.6013, + "step": 1250 + }, + { + "epoch": 0.06, + "learning_rate": 1.9862682192123203e-05, + "loss": 2.6355, + "step": 1260 + }, + { + "epoch": 0.06, + "learning_rate": 1.9860309989963585e-05, + "loss": 2.6463, + "step": 1270 + }, + { + "epoch": 0.06, + "learning_rate": 1.9857917616785606e-05, + "loss": 2.6404, + "step": 1280 + }, + { + "epoch": 0.06, + "learning_rate": 1.9855505077483288e-05, + "loss": 2.6601, + "step": 1290 + }, + { + "epoch": 0.06, + "learning_rate": 1.9853072376991913e-05, + "loss": 2.6469, + "step": 1300 + }, + { + "epoch": 0.06, + "learning_rate": 1.9850619520288e-05, + "loss": 2.6393, + "step": 1310 + }, + { + "epoch": 0.06, + "learning_rate": 1.9848146512389305e-05, + "loss": 2.6231, + "step": 1320 + }, + { + "epoch": 0.06, + "learning_rate": 1.984565335835481e-05, + "loss": 2.6386, + "step": 1330 + }, + { + "epoch": 0.06, + "learning_rate": 1.9843140063284694e-05, + "loss": 2.6451, + "step": 1340 + }, + { + "epoch": 0.06, + "learning_rate": 1.9840606632320362e-05, + "loss": 2.6009, + "step": 1350 + }, + { + "epoch": 0.06, + "learning_rate": 1.9838053070644388e-05, + "loss": 2.621, + "step": 1360 + }, + { + "epoch": 0.06, + "learning_rate": 1.983547938348054e-05, + "loss": 2.633, + "step": 1370 + }, + { + "epoch": 0.06, + "learning_rate": 1.9832885576093755e-05, + "loss": 2.6157, + "step": 1380 + }, + { + "epoch": 0.06, + "learning_rate": 1.983027165379013e-05, + "loss": 2.6275, + "step": 1390 + }, + { + "epoch": 0.06, + "learning_rate": 1.9827637621916897e-05, + "loss": 2.6063, + "step": 1400 + }, + { + "epoch": 0.06, + "learning_rate": 1.9824983485862446e-05, + "loss": 2.6351, + "step": 1410 + }, + { + "epoch": 0.06, + "learning_rate": 1.9822309251056286e-05, + "loss": 2.6623, + "step": 1420 + }, + { + "epoch": 0.06, + "learning_rate": 1.981961492296903e-05, + "loss": 2.6489, + "step": 1430 + }, + { + "epoch": 0.07, + "learning_rate": 1.981690050711242e-05, + "loss": 2.6471, + "step": 1440 + }, + { + "epoch": 0.07, + "learning_rate": 1.9814166009039266e-05, + "loss": 2.6274, + "step": 1450 + }, + { + "epoch": 0.07, + "learning_rate": 1.9811411434343467e-05, + "loss": 2.633, + "step": 1460 + }, + { + "epoch": 0.07, + "learning_rate": 1.9808636788660008e-05, + "loss": 2.6094, + "step": 1470 + }, + { + "epoch": 0.07, + "learning_rate": 1.9805842077664913e-05, + "loss": 2.6053, + "step": 1480 + }, + { + "epoch": 0.07, + "learning_rate": 1.9803027307075258e-05, + "loss": 2.6303, + "step": 1490 + }, + { + "epoch": 0.07, + "learning_rate": 1.9800192482649164e-05, + "loss": 2.6214, + "step": 1500 + }, + { + "epoch": 0.07, + "learning_rate": 1.9797337610185763e-05, + "loss": 2.6238, + "step": 1510 + }, + { + "epoch": 0.07, + "learning_rate": 1.979446269552521e-05, + "loss": 2.6193, + "step": 1520 + }, + { + "epoch": 0.07, + "learning_rate": 1.9791567744548644e-05, + "loss": 2.6114, + "step": 1530 + }, + { + "epoch": 0.07, + "learning_rate": 1.9788652763178215e-05, + "loss": 2.6314, + "step": 1540 + }, + { + "epoch": 0.07, + "learning_rate": 1.9785717757377033e-05, + "loss": 2.6047, + "step": 1550 + }, + { + "epoch": 0.07, + "learning_rate": 1.9782762733149167e-05, + "loss": 2.6028, + "step": 1560 + }, + { + "epoch": 0.07, + "learning_rate": 1.977978769653965e-05, + "loss": 2.6117, + "step": 1570 + }, + { + "epoch": 0.07, + "learning_rate": 1.977679265363445e-05, + "loss": 2.603, + "step": 1580 + }, + { + "epoch": 0.07, + "learning_rate": 1.9773777610560458e-05, + "loss": 2.5901, + "step": 1590 + }, + { + "epoch": 0.07, + "learning_rate": 1.977074257348548e-05, + "loss": 2.6346, + "step": 1600 + }, + { + "epoch": 0.07, + "learning_rate": 1.9767687548618227e-05, + "loss": 2.5964, + "step": 1610 + }, + { + "epoch": 0.07, + "learning_rate": 1.9764612542208297e-05, + "loss": 2.6068, + "step": 1620 + }, + { + "epoch": 0.07, + "learning_rate": 1.976151756054616e-05, + "loss": 2.5897, + "step": 1630 + }, + { + "epoch": 0.07, + "learning_rate": 1.975840260996315e-05, + "loss": 2.6059, + "step": 1640 + }, + { + "epoch": 0.07, + "learning_rate": 1.9755267696831454e-05, + "loss": 2.6095, + "step": 1650 + }, + { + "epoch": 0.08, + "learning_rate": 1.9752112827564098e-05, + "loss": 2.6109, + "step": 1660 + }, + { + "epoch": 0.08, + "learning_rate": 1.9748938008614925e-05, + "loss": 2.6161, + "step": 1670 + }, + { + "epoch": 0.08, + "learning_rate": 1.974574324647859e-05, + "loss": 2.6231, + "step": 1680 + }, + { + "epoch": 0.08, + "learning_rate": 1.9742528547690554e-05, + "loss": 2.6016, + "step": 1690 + }, + { + "epoch": 0.08, + "learning_rate": 1.9739293918827047e-05, + "loss": 2.5802, + "step": 1700 + }, + { + "epoch": 0.08, + "learning_rate": 1.9736039366505087e-05, + "loss": 2.5746, + "step": 1710 + }, + { + "epoch": 0.08, + "learning_rate": 1.973276489738243e-05, + "loss": 2.6299, + "step": 1720 + }, + { + "epoch": 0.08, + "learning_rate": 1.9729470518157595e-05, + "loss": 2.5615, + "step": 1730 + }, + { + "epoch": 0.08, + "learning_rate": 1.972615623556981e-05, + "loss": 2.6017, + "step": 1740 + }, + { + "epoch": 0.08, + "learning_rate": 1.972282205639904e-05, + "loss": 2.5797, + "step": 1750 + }, + { + "epoch": 0.08, + "learning_rate": 1.9719467987465934e-05, + "loss": 2.5667, + "step": 1760 + }, + { + "epoch": 0.08, + "learning_rate": 1.9716094035631843e-05, + "loss": 2.5938, + "step": 1770 + }, + { + "epoch": 0.08, + "learning_rate": 1.9712700207798783e-05, + "loss": 2.5997, + "step": 1780 + }, + { + "epoch": 0.08, + "learning_rate": 1.970928651090943e-05, + "loss": 2.6088, + "step": 1790 + }, + { + "epoch": 0.08, + "learning_rate": 1.9705852951947115e-05, + "loss": 2.5769, + "step": 1800 + }, + { + "epoch": 0.08, + "learning_rate": 1.9702399537935785e-05, + "loss": 2.5784, + "step": 1810 + }, + { + "epoch": 0.08, + "learning_rate": 1.9698926275940017e-05, + "loss": 2.6015, + "step": 1820 + }, + { + "epoch": 0.08, + "learning_rate": 1.9695433173064987e-05, + "loss": 2.5902, + "step": 1830 + }, + { + "epoch": 0.08, + "learning_rate": 1.9691920236456462e-05, + "loss": 2.5692, + "step": 1840 + }, + { + "epoch": 0.08, + "learning_rate": 1.968838747330077e-05, + "loss": 2.6207, + "step": 1850 + }, + { + "epoch": 0.08, + "learning_rate": 1.9684834890824813e-05, + "loss": 2.5922, + "step": 1860 + }, + { + "epoch": 0.08, + "learning_rate": 1.9681262496296028e-05, + "loss": 2.5989, + "step": 1870 + }, + { + "epoch": 0.09, + "learning_rate": 1.9677670297022383e-05, + "loss": 2.5859, + "step": 1880 + }, + { + "epoch": 0.09, + "learning_rate": 1.9674058300352364e-05, + "loss": 2.5726, + "step": 1890 + }, + { + "epoch": 0.09, + "learning_rate": 1.9670426513674954e-05, + "loss": 2.6198, + "step": 1900 + }, + { + "epoch": 0.09, + "learning_rate": 1.9666774944419613e-05, + "loss": 2.5914, + "step": 1910 + }, + { + "epoch": 0.09, + "learning_rate": 1.9663103600056276e-05, + "loss": 2.6187, + "step": 1920 + }, + { + "epoch": 0.09, + "learning_rate": 1.965941248809534e-05, + "loss": 2.5771, + "step": 1930 + }, + { + "epoch": 0.09, + "learning_rate": 1.965570161608762e-05, + "loss": 2.5923, + "step": 1940 + }, + { + "epoch": 0.09, + "learning_rate": 1.965197099162437e-05, + "loss": 2.6079, + "step": 1950 + }, + { + "epoch": 0.09, + "learning_rate": 1.9648220622337245e-05, + "loss": 2.6138, + "step": 1960 + }, + { + "epoch": 0.09, + "learning_rate": 1.9644450515898293e-05, + "loss": 2.5875, + "step": 1970 + }, + { + "epoch": 0.09, + "learning_rate": 1.9640660680019938e-05, + "loss": 2.5786, + "step": 1980 + }, + { + "epoch": 0.09, + "learning_rate": 1.9636851122454965e-05, + "loss": 2.5824, + "step": 1990 + }, + { + "epoch": 0.09, + "learning_rate": 1.9633021850996496e-05, + "loss": 2.6021, + "step": 2000 + }, + { + "epoch": 0.09, + "eval_accuracy": 0.5305171973647798, + "eval_loss": 2.3284668922424316, + "eval_runtime": 9.9238, + "eval_samples_per_second": 137.749, + "eval_steps_per_second": 1.108, + "step": 2000 + }, + { + "epoch": 0.09, + "learning_rate": 1.9629172873477995e-05, + "loss": 2.5867, + "step": 2010 + }, + { + "epoch": 0.09, + "learning_rate": 1.9625304197773226e-05, + "loss": 2.5904, + "step": 2020 + }, + { + "epoch": 0.09, + "learning_rate": 1.962141583179625e-05, + "loss": 2.571, + "step": 2030 + }, + { + "epoch": 0.09, + "learning_rate": 1.9617507783501416e-05, + "loss": 2.5682, + "step": 2040 + }, + { + "epoch": 0.09, + "learning_rate": 1.9613580060883336e-05, + "loss": 2.5904, + "step": 2050 + }, + { + "epoch": 0.09, + "learning_rate": 1.960963267197686e-05, + "loss": 2.5614, + "step": 2060 + }, + { + "epoch": 0.09, + "learning_rate": 1.960566562485707e-05, + "loss": 2.5949, + "step": 2070 + }, + { + "epoch": 0.09, + "learning_rate": 1.9601678927639275e-05, + "loss": 2.555, + "step": 2080 + }, + { + "epoch": 0.09, + "learning_rate": 1.959767258847897e-05, + "loss": 2.5861, + "step": 2090 + }, + { + "epoch": 0.1, + "learning_rate": 1.9593646615571834e-05, + "loss": 2.5877, + "step": 2100 + }, + { + "epoch": 0.1, + "learning_rate": 1.958960101715371e-05, + "loss": 2.5815, + "step": 2110 + }, + { + "epoch": 0.1, + "learning_rate": 1.9585535801500593e-05, + "loss": 2.5512, + "step": 2120 + }, + { + "epoch": 0.1, + "learning_rate": 1.9581450976928603e-05, + "loss": 2.5319, + "step": 2130 + }, + { + "epoch": 0.1, + "learning_rate": 1.957734655179397e-05, + "loss": 2.5692, + "step": 2140 + }, + { + "epoch": 0.1, + "learning_rate": 1.9573222534493034e-05, + "loss": 2.5709, + "step": 2150 + }, + { + "epoch": 0.1, + "learning_rate": 1.9569078933462206e-05, + "loss": 2.5987, + "step": 2160 + }, + { + "epoch": 0.1, + "learning_rate": 1.9564915757177955e-05, + "loss": 2.5647, + "step": 2170 + }, + { + "epoch": 0.1, + "learning_rate": 1.9560733014156798e-05, + "loss": 2.5883, + "step": 2180 + }, + { + "epoch": 0.1, + "learning_rate": 1.9556530712955282e-05, + "loss": 2.5858, + "step": 2190 + }, + { + "epoch": 0.1, + "learning_rate": 1.9552308862169962e-05, + "loss": 2.5903, + "step": 2200 + }, + { + "epoch": 0.1, + "learning_rate": 1.9548067470437386e-05, + "loss": 2.5687, + "step": 2210 + }, + { + "epoch": 0.1, + "learning_rate": 1.9543806546434074e-05, + "loss": 2.5815, + "step": 2220 + }, + { + "epoch": 0.1, + "learning_rate": 1.95395260988765e-05, + "loss": 2.5657, + "step": 2230 + }, + { + "epoch": 0.1, + "learning_rate": 1.9535226136521088e-05, + "loss": 2.5691, + "step": 2240 + }, + { + "epoch": 0.1, + "learning_rate": 1.9530906668164172e-05, + "loss": 2.5632, + "step": 2250 + }, + { + "epoch": 0.1, + "learning_rate": 1.9526567702642e-05, + "loss": 2.5308, + "step": 2260 + }, + { + "epoch": 0.1, + "learning_rate": 1.9522209248830686e-05, + "loss": 2.564, + "step": 2270 + }, + { + "epoch": 0.1, + "learning_rate": 1.951783131564623e-05, + "loss": 2.5459, + "step": 2280 + }, + { + "epoch": 0.1, + "learning_rate": 1.9513433912044473e-05, + "loss": 2.587, + "step": 2290 + }, + { + "epoch": 0.1, + "learning_rate": 1.9509017047021085e-05, + "loss": 2.5739, + "step": 2300 + }, + { + "epoch": 0.1, + "learning_rate": 1.950458072961155e-05, + "loss": 2.5777, + "step": 2310 + }, + { + "epoch": 0.11, + "learning_rate": 1.950012496889114e-05, + "loss": 2.5725, + "step": 2320 + }, + { + "epoch": 0.11, + "learning_rate": 1.9495649773974913e-05, + "loss": 2.5745, + "step": 2330 + }, + { + "epoch": 0.11, + "learning_rate": 1.9491155154017675e-05, + "loss": 2.5686, + "step": 2340 + }, + { + "epoch": 0.11, + "learning_rate": 1.948664111821397e-05, + "loss": 2.5904, + "step": 2350 + }, + { + "epoch": 0.11, + "learning_rate": 1.948210767579806e-05, + "loss": 2.5503, + "step": 2360 + }, + { + "epoch": 0.11, + "learning_rate": 1.9477554836043907e-05, + "loss": 2.5743, + "step": 2370 + }, + { + "epoch": 0.11, + "learning_rate": 1.947298260826516e-05, + "loss": 2.5746, + "step": 2380 + }, + { + "epoch": 0.11, + "learning_rate": 1.946839100181512e-05, + "loss": 2.5761, + "step": 2390 + }, + { + "epoch": 0.11, + "learning_rate": 1.9463780026086735e-05, + "loss": 2.5883, + "step": 2400 + }, + { + "epoch": 0.11, + "learning_rate": 1.945914969051258e-05, + "loss": 2.5673, + "step": 2410 + }, + { + "epoch": 0.11, + "learning_rate": 1.9454500004564825e-05, + "loss": 2.5564, + "step": 2420 + }, + { + "epoch": 0.11, + "learning_rate": 1.9449830977755234e-05, + "loss": 2.5568, + "step": 2430 + }, + { + "epoch": 0.11, + "learning_rate": 1.9445142619635127e-05, + "loss": 2.5582, + "step": 2440 + }, + { + "epoch": 0.11, + "learning_rate": 1.9440434939795382e-05, + "loss": 2.5595, + "step": 2450 + }, + { + "epoch": 0.11, + "learning_rate": 1.943570794786639e-05, + "loss": 2.5521, + "step": 2460 + }, + { + "epoch": 0.11, + "learning_rate": 1.9430961653518056e-05, + "loss": 2.5493, + "step": 2470 + }, + { + "epoch": 0.11, + "learning_rate": 1.9426196066459766e-05, + "loss": 2.5564, + "step": 2480 + }, + { + "epoch": 0.11, + "learning_rate": 1.942141119644038e-05, + "loss": 2.5652, + "step": 2490 + }, + { + "epoch": 0.11, + "learning_rate": 1.9416607053248203e-05, + "loss": 2.5486, + "step": 2500 + }, + { + "epoch": 0.11, + "learning_rate": 1.941178364671096e-05, + "loss": 2.5633, + "step": 2510 + }, + { + "epoch": 0.11, + "learning_rate": 1.940694098669579e-05, + "loss": 2.5736, + "step": 2520 + }, + { + "epoch": 0.11, + "learning_rate": 1.9402079083109217e-05, + "loss": 2.5312, + "step": 2530 + }, + { + "epoch": 0.12, + "learning_rate": 1.939719794589712e-05, + "loss": 2.5523, + "step": 2540 + }, + { + "epoch": 0.12, + "learning_rate": 1.9392297585044748e-05, + "loss": 2.5435, + "step": 2550 + }, + { + "epoch": 0.12, + "learning_rate": 1.9387378010576653e-05, + "loss": 2.5447, + "step": 2560 + }, + { + "epoch": 0.12, + "learning_rate": 1.9382439232556696e-05, + "loss": 2.5613, + "step": 2570 + }, + { + "epoch": 0.12, + "learning_rate": 1.9377481261088036e-05, + "loss": 2.5827, + "step": 2580 + }, + { + "epoch": 0.12, + "learning_rate": 1.937250410631308e-05, + "loss": 2.5472, + "step": 2590 + }, + { + "epoch": 0.12, + "learning_rate": 1.9367507778413483e-05, + "loss": 2.5242, + "step": 2600 + }, + { + "epoch": 0.12, + "learning_rate": 1.9362492287610126e-05, + "loss": 2.5497, + "step": 2610 + }, + { + "epoch": 0.12, + "learning_rate": 1.9357457644163086e-05, + "loss": 2.5683, + "step": 2620 + }, + { + "epoch": 0.12, + "learning_rate": 1.9352403858371618e-05, + "loss": 2.5524, + "step": 2630 + }, + { + "epoch": 0.12, + "learning_rate": 1.9347330940574145e-05, + "loss": 2.5521, + "step": 2640 + }, + { + "epoch": 0.12, + "learning_rate": 1.9342238901148222e-05, + "loss": 2.5512, + "step": 2650 + }, + { + "epoch": 0.12, + "learning_rate": 1.933712775051052e-05, + "loss": 2.5571, + "step": 2660 + }, + { + "epoch": 0.12, + "learning_rate": 1.933199749911681e-05, + "loss": 2.5624, + "step": 2670 + }, + { + "epoch": 0.12, + "learning_rate": 1.932684815746193e-05, + "loss": 2.5375, + "step": 2680 + }, + { + "epoch": 0.12, + "learning_rate": 1.9321679736079777e-05, + "loss": 2.5468, + "step": 2690 + }, + { + "epoch": 0.12, + "learning_rate": 1.9316492245543276e-05, + "loss": 2.5677, + "step": 2700 + }, + { + "epoch": 0.12, + "learning_rate": 1.9311285696464362e-05, + "loss": 2.5439, + "step": 2710 + }, + { + "epoch": 0.12, + "learning_rate": 1.9306060099493956e-05, + "loss": 2.5453, + "step": 2720 + }, + { + "epoch": 0.12, + "learning_rate": 1.930081546532195e-05, + "loss": 2.5596, + "step": 2730 + }, + { + "epoch": 0.12, + "learning_rate": 1.929555180467717e-05, + "loss": 2.5487, + "step": 2740 + }, + { + "epoch": 0.12, + "learning_rate": 1.9290269128327374e-05, + "loss": 2.567, + "step": 2750 + }, + { + "epoch": 0.13, + "learning_rate": 1.9284967447079218e-05, + "loss": 2.5375, + "step": 2760 + }, + { + "epoch": 0.13, + "learning_rate": 1.9279646771778234e-05, + "loss": 2.5614, + "step": 2770 + }, + { + "epoch": 0.13, + "learning_rate": 1.927430711330881e-05, + "loss": 2.5561, + "step": 2780 + }, + { + "epoch": 0.13, + "learning_rate": 1.926894848259416e-05, + "loss": 2.557, + "step": 2790 + }, + { + "epoch": 0.13, + "learning_rate": 1.9263570890596327e-05, + "loss": 2.5625, + "step": 2800 + }, + { + "epoch": 0.13, + "learning_rate": 1.9258174348316126e-05, + "loss": 2.514, + "step": 2810 + }, + { + "epoch": 0.13, + "learning_rate": 1.925275886679315e-05, + "loss": 2.5545, + "step": 2820 + }, + { + "epoch": 0.13, + "learning_rate": 1.924732445710572e-05, + "loss": 2.5612, + "step": 2830 + }, + { + "epoch": 0.13, + "learning_rate": 1.92418711303709e-05, + "loss": 2.5577, + "step": 2840 + }, + { + "epoch": 0.13, + "learning_rate": 1.923639889774443e-05, + "loss": 2.516, + "step": 2850 + }, + { + "epoch": 0.13, + "learning_rate": 1.9230907770420737e-05, + "loss": 2.536, + "step": 2860 + }, + { + "epoch": 0.13, + "learning_rate": 1.9225397759632905e-05, + "loss": 2.5547, + "step": 2870 + }, + { + "epoch": 0.13, + "learning_rate": 1.9219868876652637e-05, + "loss": 2.5592, + "step": 2880 + }, + { + "epoch": 0.13, + "learning_rate": 1.9214321132790247e-05, + "loss": 2.5764, + "step": 2890 + }, + { + "epoch": 0.13, + "learning_rate": 1.9208754539394632e-05, + "loss": 2.537, + "step": 2900 + }, + { + "epoch": 0.13, + "learning_rate": 1.920316910785325e-05, + "loss": 2.5297, + "step": 2910 + }, + { + "epoch": 0.13, + "learning_rate": 1.9197564849592093e-05, + "loss": 2.5446, + "step": 2920 + }, + { + "epoch": 0.13, + "learning_rate": 1.919194177607567e-05, + "loss": 2.5511, + "step": 2930 + }, + { + "epoch": 0.13, + "learning_rate": 1.9186299898806983e-05, + "loss": 2.5469, + "step": 2940 + }, + { + "epoch": 0.13, + "learning_rate": 1.9180639229327483e-05, + "loss": 2.5429, + "step": 2950 + }, + { + "epoch": 0.13, + "learning_rate": 1.9174959779217087e-05, + "loss": 2.5394, + "step": 2960 + }, + { + "epoch": 0.13, + "learning_rate": 1.9169261560094122e-05, + "loss": 2.5503, + "step": 2970 + }, + { + "epoch": 0.14, + "learning_rate": 1.9163544583615303e-05, + "loss": 2.5425, + "step": 2980 + }, + { + "epoch": 0.14, + "learning_rate": 1.9157808861475723e-05, + "loss": 2.5261, + "step": 2990 + }, + { + "epoch": 0.14, + "learning_rate": 1.9152054405408823e-05, + "loss": 2.5452, + "step": 3000 + }, + { + "epoch": 0.14, + "learning_rate": 1.914628122718637e-05, + "loss": 2.5342, + "step": 3010 + }, + { + "epoch": 0.14, + "learning_rate": 1.9140489338618423e-05, + "loss": 2.5413, + "step": 3020 + }, + { + "epoch": 0.14, + "learning_rate": 1.9134678751553325e-05, + "loss": 2.5623, + "step": 3030 + }, + { + "epoch": 0.14, + "learning_rate": 1.912884947787766e-05, + "loss": 2.5459, + "step": 3040 + }, + { + "epoch": 0.14, + "learning_rate": 1.9123001529516246e-05, + "loss": 2.524, + "step": 3050 + }, + { + "epoch": 0.14, + "learning_rate": 1.9117134918432106e-05, + "loss": 2.5516, + "step": 3060 + }, + { + "epoch": 0.14, + "learning_rate": 1.911124965662643e-05, + "loss": 2.5663, + "step": 3070 + }, + { + "epoch": 0.14, + "learning_rate": 1.9105345756138575e-05, + "loss": 2.5605, + "step": 3080 + }, + { + "epoch": 0.14, + "learning_rate": 1.9099423229046015e-05, + "loss": 2.5279, + "step": 3090 + }, + { + "epoch": 0.14, + "learning_rate": 1.909348208746433e-05, + "loss": 2.5512, + "step": 3100 + }, + { + "epoch": 0.14, + "learning_rate": 1.9087522343547195e-05, + "loss": 2.523, + "step": 3110 + }, + { + "epoch": 0.14, + "learning_rate": 1.9081544009486316e-05, + "loss": 2.5283, + "step": 3120 + }, + { + "epoch": 0.14, + "learning_rate": 1.9075547097511435e-05, + "loss": 2.5236, + "step": 3130 + }, + { + "epoch": 0.14, + "learning_rate": 1.9069531619890314e-05, + "loss": 2.5417, + "step": 3140 + }, + { + "epoch": 0.14, + "learning_rate": 1.9063497588928676e-05, + "loss": 2.5548, + "step": 3150 + }, + { + "epoch": 0.14, + "learning_rate": 1.90574450169702e-05, + "loss": 2.5413, + "step": 3160 + }, + { + "epoch": 0.14, + "learning_rate": 1.905137391639651e-05, + "loss": 2.5521, + "step": 3170 + }, + { + "epoch": 0.14, + "learning_rate": 1.904528429962712e-05, + "loss": 2.5547, + "step": 3180 + }, + { + "epoch": 0.14, + "learning_rate": 1.9039176179119418e-05, + "loss": 2.528, + "step": 3190 + }, + { + "epoch": 0.15, + "learning_rate": 1.9033049567368655e-05, + "loss": 2.5322, + "step": 3200 + }, + { + "epoch": 0.15, + "learning_rate": 1.90269044769079e-05, + "loss": 2.533, + "step": 3210 + }, + { + "epoch": 0.15, + "learning_rate": 1.902074092030804e-05, + "loss": 2.5438, + "step": 3220 + }, + { + "epoch": 0.15, + "learning_rate": 1.901455891017772e-05, + "loss": 2.5053, + "step": 3230 + }, + { + "epoch": 0.15, + "learning_rate": 1.900835845916334e-05, + "loss": 2.5348, + "step": 3240 + }, + { + "epoch": 0.15, + "learning_rate": 1.900213957994903e-05, + "loss": 2.5244, + "step": 3250 + }, + { + "epoch": 0.15, + "learning_rate": 1.899590228525661e-05, + "loss": 2.5434, + "step": 3260 + }, + { + "epoch": 0.15, + "learning_rate": 1.898964658784558e-05, + "loss": 2.5258, + "step": 3270 + }, + { + "epoch": 0.15, + "learning_rate": 1.8983372500513075e-05, + "loss": 2.5363, + "step": 3280 + }, + { + "epoch": 0.15, + "learning_rate": 1.8977080036093863e-05, + "loss": 2.5525, + "step": 3290 + }, + { + "epoch": 0.15, + "learning_rate": 1.89707692074603e-05, + "loss": 2.5336, + "step": 3300 + }, + { + "epoch": 0.15, + "learning_rate": 1.8964440027522306e-05, + "loss": 2.5109, + "step": 3310 + }, + { + "epoch": 0.15, + "learning_rate": 1.8958092509227347e-05, + "loss": 2.5359, + "step": 3320 + }, + { + "epoch": 0.15, + "learning_rate": 1.8951726665560395e-05, + "loss": 2.536, + "step": 3330 + }, + { + "epoch": 0.15, + "learning_rate": 1.8945342509543923e-05, + "loss": 2.5076, + "step": 3340 + }, + { + "epoch": 0.15, + "learning_rate": 1.8938940054237856e-05, + "loss": 2.5351, + "step": 3350 + }, + { + "epoch": 0.15, + "learning_rate": 1.8932519312739554e-05, + "loss": 2.5101, + "step": 3360 + }, + { + "epoch": 0.15, + "learning_rate": 1.8926080298183784e-05, + "loss": 2.5267, + "step": 3370 + }, + { + "epoch": 0.15, + "learning_rate": 1.89196230237427e-05, + "loss": 2.5512, + "step": 3380 + }, + { + "epoch": 0.15, + "learning_rate": 1.8913147502625802e-05, + "loss": 2.5042, + "step": 3390 + }, + { + "epoch": 0.15, + "learning_rate": 1.8906653748079927e-05, + "loss": 2.5479, + "step": 3400 + }, + { + "epoch": 0.15, + "learning_rate": 1.89001417733892e-05, + "loss": 2.5267, + "step": 3410 + }, + { + "epoch": 0.15, + "learning_rate": 1.889361159187502e-05, + "loss": 2.5475, + "step": 3420 + }, + { + "epoch": 0.16, + "learning_rate": 1.8887063216896043e-05, + "loss": 2.5353, + "step": 3430 + }, + { + "epoch": 0.16, + "learning_rate": 1.8880496661848132e-05, + "loss": 2.551, + "step": 3440 + }, + { + "epoch": 0.16, + "learning_rate": 1.8873911940164344e-05, + "loss": 2.5408, + "step": 3450 + }, + { + "epoch": 0.16, + "learning_rate": 1.88673090653149e-05, + "loss": 2.528, + "step": 3460 + }, + { + "epoch": 0.16, + "learning_rate": 1.886068805080715e-05, + "loss": 2.5241, + "step": 3470 + }, + { + "epoch": 0.16, + "learning_rate": 1.885404891018556e-05, + "loss": 2.5586, + "step": 3480 + }, + { + "epoch": 0.16, + "learning_rate": 1.8847391657031674e-05, + "loss": 2.5153, + "step": 3490 + }, + { + "epoch": 0.16, + "learning_rate": 1.884071630496409e-05, + "loss": 2.5022, + "step": 3500 + }, + { + "epoch": 0.16, + "learning_rate": 1.8834022867638423e-05, + "loss": 2.527, + "step": 3510 + }, + { + "epoch": 0.16, + "learning_rate": 1.8827311358747295e-05, + "loss": 2.512, + "step": 3520 + }, + { + "epoch": 0.16, + "learning_rate": 1.882058179202029e-05, + "loss": 2.5374, + "step": 3530 + }, + { + "epoch": 0.16, + "learning_rate": 1.8813834181223935e-05, + "loss": 2.5514, + "step": 3540 + }, + { + "epoch": 0.16, + "learning_rate": 1.880706854016166e-05, + "loss": 2.5169, + "step": 3550 + }, + { + "epoch": 0.16, + "learning_rate": 1.88002848826738e-05, + "loss": 2.4966, + "step": 3560 + }, + { + "epoch": 0.16, + "learning_rate": 1.8793483222637524e-05, + "loss": 2.5155, + "step": 3570 + }, + { + "epoch": 0.16, + "learning_rate": 1.8786663573966845e-05, + "loss": 2.509, + "step": 3580 + }, + { + "epoch": 0.16, + "learning_rate": 1.877982595061256e-05, + "loss": 2.5304, + "step": 3590 + }, + { + "epoch": 0.16, + "learning_rate": 1.877297036656225e-05, + "loss": 2.5268, + "step": 3600 + }, + { + "epoch": 0.16, + "learning_rate": 1.8766096835840226e-05, + "loss": 2.5605, + "step": 3610 + }, + { + "epoch": 0.16, + "learning_rate": 1.8759205372507528e-05, + "loss": 2.5112, + "step": 3620 + }, + { + "epoch": 0.16, + "learning_rate": 1.8752295990661857e-05, + "loss": 2.5627, + "step": 3630 + }, + { + "epoch": 0.16, + "learning_rate": 1.8745368704437594e-05, + "loss": 2.5212, + "step": 3640 + }, + { + "epoch": 0.17, + "learning_rate": 1.8738423528005733e-05, + "loss": 2.5379, + "step": 3650 + }, + { + "epoch": 0.17, + "learning_rate": 1.8731460475573864e-05, + "loss": 2.5574, + "step": 3660 + }, + { + "epoch": 0.17, + "learning_rate": 1.8724479561386152e-05, + "loss": 2.5381, + "step": 3670 + }, + { + "epoch": 0.17, + "learning_rate": 1.87174807997233e-05, + "loss": 2.5339, + "step": 3680 + }, + { + "epoch": 0.17, + "learning_rate": 1.871046420490252e-05, + "loss": 2.5476, + "step": 3690 + }, + { + "epoch": 0.17, + "learning_rate": 1.8703429791277502e-05, + "loss": 2.5304, + "step": 3700 + }, + { + "epoch": 0.17, + "learning_rate": 1.8696377573238393e-05, + "loss": 2.5252, + "step": 3710 + }, + { + "epoch": 0.17, + "learning_rate": 1.8689307565211757e-05, + "loss": 2.5276, + "step": 3720 + }, + { + "epoch": 0.17, + "learning_rate": 1.868221978166056e-05, + "loss": 2.5171, + "step": 3730 + }, + { + "epoch": 0.17, + "learning_rate": 1.8675114237084117e-05, + "loss": 2.5023, + "step": 3740 + }, + { + "epoch": 0.17, + "learning_rate": 1.8667990946018086e-05, + "loss": 2.5093, + "step": 3750 + }, + { + "epoch": 0.17, + "learning_rate": 1.866084992303443e-05, + "loss": 2.5555, + "step": 3760 + }, + { + "epoch": 0.17, + "learning_rate": 1.8653691182741374e-05, + "loss": 2.5282, + "step": 3770 + }, + { + "epoch": 0.17, + "learning_rate": 1.8646514739783404e-05, + "loss": 2.5215, + "step": 3780 + }, + { + "epoch": 0.17, + "learning_rate": 1.863932060884121e-05, + "loss": 2.5001, + "step": 3790 + }, + { + "epoch": 0.17, + "learning_rate": 1.8632108804631653e-05, + "loss": 2.4973, + "step": 3800 + }, + { + "epoch": 0.17, + "learning_rate": 1.862487934190778e-05, + "loss": 2.5067, + "step": 3810 + }, + { + "epoch": 0.17, + "learning_rate": 1.861763223545873e-05, + "loss": 2.517, + "step": 3820 + }, + { + "epoch": 0.17, + "learning_rate": 1.8610367500109757e-05, + "loss": 2.529, + "step": 3830 + }, + { + "epoch": 0.17, + "learning_rate": 1.8603085150722165e-05, + "loss": 2.5225, + "step": 3840 + }, + { + "epoch": 0.17, + "learning_rate": 1.8595785202193295e-05, + "loss": 2.5309, + "step": 3850 + }, + { + "epoch": 0.17, + "learning_rate": 1.8588467669456494e-05, + "loss": 2.5283, + "step": 3860 + }, + { + "epoch": 0.18, + "learning_rate": 1.8581132567481075e-05, + "loss": 2.5573, + "step": 3870 + }, + { + "epoch": 0.18, + "learning_rate": 1.8573779911272293e-05, + "loss": 2.5339, + "step": 3880 + }, + { + "epoch": 0.18, + "learning_rate": 1.856640971587132e-05, + "loss": 2.5111, + "step": 3890 + }, + { + "epoch": 0.18, + "learning_rate": 1.855902199635519e-05, + "loss": 2.5247, + "step": 3900 + }, + { + "epoch": 0.18, + "learning_rate": 1.855161676783681e-05, + "loss": 2.529, + "step": 3910 + }, + { + "epoch": 0.18, + "learning_rate": 1.8544194045464888e-05, + "loss": 2.5396, + "step": 3920 + }, + { + "epoch": 0.18, + "learning_rate": 1.8536753844423923e-05, + "loss": 2.5122, + "step": 3930 + }, + { + "epoch": 0.18, + "learning_rate": 1.8529296179934167e-05, + "loss": 2.5119, + "step": 3940 + }, + { + "epoch": 0.18, + "learning_rate": 1.8521821067251604e-05, + "loss": 2.5135, + "step": 3950 + }, + { + "epoch": 0.18, + "learning_rate": 1.8514328521667904e-05, + "loss": 2.5477, + "step": 3960 + }, + { + "epoch": 0.18, + "learning_rate": 1.8506818558510404e-05, + "loss": 2.5173, + "step": 3970 + }, + { + "epoch": 0.18, + "learning_rate": 1.8499291193142072e-05, + "loss": 2.5303, + "step": 3980 + }, + { + "epoch": 0.18, + "learning_rate": 1.8491746440961463e-05, + "loss": 2.5448, + "step": 3990 + }, + { + "epoch": 0.18, + "learning_rate": 1.8484184317402725e-05, + "loss": 2.5355, + "step": 4000 + }, + { + "epoch": 0.18, + "eval_accuracy": 0.5364902773874621, + "eval_loss": 2.274355888366699, + "eval_runtime": 9.8852, + "eval_samples_per_second": 138.288, + "eval_steps_per_second": 1.113, + "step": 4000 + }, + { + "epoch": 0.18, + "learning_rate": 1.8476604837935515e-05, + "loss": 2.5192, + "step": 4010 + }, + { + "epoch": 0.18, + "learning_rate": 1.846900801806501e-05, + "loss": 2.5216, + "step": 4020 + }, + { + "epoch": 0.18, + "learning_rate": 1.846139387333186e-05, + "loss": 2.5109, + "step": 4030 + }, + { + "epoch": 0.18, + "learning_rate": 1.845376241931215e-05, + "loss": 2.492, + "step": 4040 + }, + { + "epoch": 0.18, + "learning_rate": 1.8446113671617376e-05, + "loss": 2.4837, + "step": 4050 + }, + { + "epoch": 0.18, + "learning_rate": 1.843844764589441e-05, + "loss": 2.5299, + "step": 4060 + }, + { + "epoch": 0.18, + "learning_rate": 1.8430764357825482e-05, + "loss": 2.5008, + "step": 4070 + }, + { + "epoch": 0.18, + "learning_rate": 1.842306382312811e-05, + "loss": 2.4974, + "step": 4080 + }, + { + "epoch": 0.19, + "learning_rate": 1.8415346057555122e-05, + "loss": 2.5336, + "step": 4090 + }, + { + "epoch": 0.19, + "learning_rate": 1.8407611076894572e-05, + "loss": 2.524, + "step": 4100 + }, + { + "epoch": 0.19, + "learning_rate": 1.839985889696974e-05, + "loss": 2.5193, + "step": 4110 + }, + { + "epoch": 0.19, + "learning_rate": 1.839208953363909e-05, + "loss": 2.4849, + "step": 4120 + }, + { + "epoch": 0.19, + "learning_rate": 1.8384303002796236e-05, + "loss": 2.5555, + "step": 4130 + }, + { + "epoch": 0.19, + "learning_rate": 1.8376499320369917e-05, + "loss": 2.5041, + "step": 4140 + }, + { + "epoch": 0.19, + "learning_rate": 1.8368678502323947e-05, + "loss": 2.4856, + "step": 4150 + }, + { + "epoch": 0.19, + "learning_rate": 1.8360840564657202e-05, + "loss": 2.5083, + "step": 4160 + }, + { + "epoch": 0.19, + "learning_rate": 1.8352985523403584e-05, + "loss": 2.5207, + "step": 4170 + }, + { + "epoch": 0.19, + "learning_rate": 1.8345113394631973e-05, + "loss": 2.5169, + "step": 4180 + }, + { + "epoch": 0.19, + "learning_rate": 1.8337224194446205e-05, + "loss": 2.5269, + "step": 4190 + }, + { + "epoch": 0.19, + "learning_rate": 1.8329317938985052e-05, + "loss": 2.5056, + "step": 4200 + }, + { + "epoch": 0.19, + "learning_rate": 1.8321394644422155e-05, + "loss": 2.5142, + "step": 4210 + }, + { + "epoch": 0.19, + "learning_rate": 1.8313454326966035e-05, + "loss": 2.5418, + "step": 4220 + }, + { + "epoch": 0.19, + "learning_rate": 1.8305497002860015e-05, + "loss": 2.5119, + "step": 4230 + }, + { + "epoch": 0.19, + "learning_rate": 1.829752268838222e-05, + "loss": 2.5243, + "step": 4240 + }, + { + "epoch": 0.19, + "learning_rate": 1.8289531399845528e-05, + "loss": 2.4917, + "step": 4250 + }, + { + "epoch": 0.19, + "learning_rate": 1.8281523153597543e-05, + "loss": 2.4768, + "step": 4260 + }, + { + "epoch": 0.19, + "learning_rate": 1.8273497966020553e-05, + "loss": 2.4815, + "step": 4270 + }, + { + "epoch": 0.19, + "learning_rate": 1.8265455853531516e-05, + "loss": 2.5219, + "step": 4280 + }, + { + "epoch": 0.19, + "learning_rate": 1.8257396832581997e-05, + "loss": 2.4825, + "step": 4290 + }, + { + "epoch": 0.19, + "learning_rate": 1.8249320919658158e-05, + "loss": 2.5093, + "step": 4300 + }, + { + "epoch": 0.2, + "learning_rate": 1.8241228131280716e-05, + "loss": 2.5584, + "step": 4310 + }, + { + "epoch": 0.2, + "learning_rate": 1.823311848400491e-05, + "loss": 2.5098, + "step": 4320 + }, + { + "epoch": 0.2, + "learning_rate": 1.8224991994420466e-05, + "loss": 2.5519, + "step": 4330 + }, + { + "epoch": 0.2, + "learning_rate": 1.8216848679151565e-05, + "loss": 2.4879, + "step": 4340 + }, + { + "epoch": 0.2, + "learning_rate": 1.820868855485681e-05, + "loss": 2.5185, + "step": 4350 + }, + { + "epoch": 0.2, + "learning_rate": 1.8200511638229178e-05, + "loss": 2.5258, + "step": 4360 + }, + { + "epoch": 0.2, + "learning_rate": 1.8192317945996016e-05, + "loss": 2.5009, + "step": 4370 + }, + { + "epoch": 0.2, + "learning_rate": 1.8184107494918976e-05, + "loss": 2.517, + "step": 4380 + }, + { + "epoch": 0.2, + "learning_rate": 1.8175880301793995e-05, + "loss": 2.4987, + "step": 4390 + }, + { + "epoch": 0.2, + "learning_rate": 1.816763638345126e-05, + "loss": 2.498, + "step": 4400 + }, + { + "epoch": 0.2, + "learning_rate": 1.815937575675518e-05, + "loss": 2.5115, + "step": 4410 + }, + { + "epoch": 0.2, + "learning_rate": 1.8151098438604323e-05, + "loss": 2.5069, + "step": 4420 + }, + { + "epoch": 0.2, + "learning_rate": 1.8142804445931425e-05, + "loss": 2.5153, + "step": 4430 + }, + { + "epoch": 0.2, + "learning_rate": 1.8134493795703325e-05, + "loss": 2.5119, + "step": 4440 + }, + { + "epoch": 0.2, + "learning_rate": 1.812616650492093e-05, + "loss": 2.5026, + "step": 4450 + }, + { + "epoch": 0.2, + "learning_rate": 1.81178225906192e-05, + "loss": 2.5119, + "step": 4460 + }, + { + "epoch": 0.2, + "learning_rate": 1.81094620698671e-05, + "loss": 2.5089, + "step": 4470 + }, + { + "epoch": 0.2, + "learning_rate": 1.810108495976755e-05, + "loss": 2.527, + "step": 4480 + }, + { + "epoch": 0.2, + "learning_rate": 1.8092691277457432e-05, + "loss": 2.4969, + "step": 4490 + }, + { + "epoch": 0.2, + "learning_rate": 1.8084281040107505e-05, + "loss": 2.5204, + "step": 4500 + }, + { + "epoch": 0.2, + "learning_rate": 1.8075854264922417e-05, + "loss": 2.5072, + "step": 4510 + }, + { + "epoch": 0.2, + "learning_rate": 1.8067410969140627e-05, + "loss": 2.524, + "step": 4520 + }, + { + "epoch": 0.21, + "learning_rate": 1.8058951170034407e-05, + "loss": 2.5161, + "step": 4530 + }, + { + "epoch": 0.21, + "learning_rate": 1.8050474884909772e-05, + "loss": 2.5365, + "step": 4540 + }, + { + "epoch": 0.21, + "learning_rate": 1.804198213110648e-05, + "loss": 2.4983, + "step": 4550 + }, + { + "epoch": 0.21, + "learning_rate": 1.8033472925997963e-05, + "loss": 2.498, + "step": 4560 + }, + { + "epoch": 0.21, + "learning_rate": 1.8024947286991316e-05, + "loss": 2.4998, + "step": 4570 + }, + { + "epoch": 0.21, + "learning_rate": 1.8016405231527253e-05, + "loss": 2.4966, + "step": 4580 + }, + { + "epoch": 0.21, + "learning_rate": 1.8007846777080064e-05, + "loss": 2.5147, + "step": 4590 + }, + { + "epoch": 0.21, + "learning_rate": 1.7999271941157596e-05, + "loss": 2.5035, + "step": 4600 + }, + { + "epoch": 0.21, + "learning_rate": 1.7990680741301195e-05, + "loss": 2.499, + "step": 4610 + }, + { + "epoch": 0.21, + "learning_rate": 1.7982073195085692e-05, + "loss": 2.4885, + "step": 4620 + }, + { + "epoch": 0.21, + "learning_rate": 1.7973449320119355e-05, + "loss": 2.5061, + "step": 4630 + }, + { + "epoch": 0.21, + "learning_rate": 1.796480913404385e-05, + "loss": 2.4925, + "step": 4640 + }, + { + "epoch": 0.21, + "learning_rate": 1.795615265453422e-05, + "loss": 2.4839, + "step": 4650 + }, + { + "epoch": 0.21, + "learning_rate": 1.7947479899298837e-05, + "loss": 2.5002, + "step": 4660 + }, + { + "epoch": 0.21, + "learning_rate": 1.7938790886079355e-05, + "loss": 2.5347, + "step": 4670 + }, + { + "epoch": 0.21, + "learning_rate": 1.7930085632650706e-05, + "loss": 2.5222, + "step": 4680 + }, + { + "epoch": 0.21, + "learning_rate": 1.7921364156821024e-05, + "loss": 2.5128, + "step": 4690 + }, + { + "epoch": 0.21, + "learning_rate": 1.7912626476431648e-05, + "loss": 2.5115, + "step": 4700 + }, + { + "epoch": 0.21, + "learning_rate": 1.7903872609357057e-05, + "loss": 2.5147, + "step": 4710 + }, + { + "epoch": 0.21, + "learning_rate": 1.7895102573504843e-05, + "loss": 2.5246, + "step": 4720 + }, + { + "epoch": 0.21, + "learning_rate": 1.788631638681567e-05, + "loss": 2.5282, + "step": 4730 + }, + { + "epoch": 0.21, + "learning_rate": 1.787751406726325e-05, + "loss": 2.4971, + "step": 4740 + }, + { + "epoch": 0.22, + "learning_rate": 1.7868695632854294e-05, + "loss": 2.4834, + "step": 4750 + }, + { + "epoch": 0.22, + "learning_rate": 1.785986110162848e-05, + "loss": 2.4973, + "step": 4760 + }, + { + "epoch": 0.22, + "learning_rate": 1.785101049165841e-05, + "loss": 2.5288, + "step": 4770 + }, + { + "epoch": 0.22, + "learning_rate": 1.784214382104958e-05, + "loss": 2.4988, + "step": 4780 + }, + { + "epoch": 0.22, + "learning_rate": 1.7833261107940347e-05, + "loss": 2.4955, + "step": 4790 + }, + { + "epoch": 0.22, + "learning_rate": 1.782436237050188e-05, + "loss": 2.5097, + "step": 4800 + }, + { + "epoch": 0.22, + "learning_rate": 1.7815447626938125e-05, + "loss": 2.5047, + "step": 4810 + }, + { + "epoch": 0.22, + "learning_rate": 1.780651689548578e-05, + "loss": 2.512, + "step": 4820 + }, + { + "epoch": 0.22, + "learning_rate": 1.7797570194414246e-05, + "loss": 2.4946, + "step": 4830 + }, + { + "epoch": 0.22, + "learning_rate": 1.7788607542025592e-05, + "loss": 2.476, + "step": 4840 + }, + { + "epoch": 0.22, + "learning_rate": 1.7779628956654513e-05, + "loss": 2.5146, + "step": 4850 + }, + { + "epoch": 0.22, + "learning_rate": 1.777063445666831e-05, + "loss": 2.5086, + "step": 4860 + }, + { + "epoch": 0.22, + "learning_rate": 1.7761624060466824e-05, + "loss": 2.4862, + "step": 4870 + }, + { + "epoch": 0.22, + "learning_rate": 1.775259778648243e-05, + "loss": 2.5173, + "step": 4880 + }, + { + "epoch": 0.22, + "learning_rate": 1.7743555653179978e-05, + "loss": 2.5241, + "step": 4890 + }, + { + "epoch": 0.22, + "learning_rate": 1.773449767905676e-05, + "loss": 2.5003, + "step": 4900 + }, + { + "epoch": 0.22, + "learning_rate": 1.7725423882642467e-05, + "loss": 2.5295, + "step": 4910 + }, + { + "epoch": 0.22, + "learning_rate": 1.771633428249917e-05, + "loss": 2.4967, + "step": 4920 + }, + { + "epoch": 0.22, + "learning_rate": 1.770722889722126e-05, + "loss": 2.5178, + "step": 4930 + }, + { + "epoch": 0.22, + "learning_rate": 1.769810774543543e-05, + "loss": 2.4951, + "step": 4940 + }, + { + "epoch": 0.22, + "learning_rate": 1.768897084580061e-05, + "loss": 2.4986, + "step": 4950 + }, + { + "epoch": 0.22, + "learning_rate": 1.767981821700796e-05, + "loss": 2.5109, + "step": 4960 + }, + { + "epoch": 0.23, + "learning_rate": 1.7670649877780803e-05, + "loss": 2.5234, + "step": 4970 + }, + { + "epoch": 0.23, + "learning_rate": 1.7661465846874618e-05, + "loss": 2.5029, + "step": 4980 + }, + { + "epoch": 0.23, + "learning_rate": 1.7652266143076964e-05, + "loss": 2.5181, + "step": 4990 + }, + { + "epoch": 0.23, + "learning_rate": 1.7643050785207478e-05, + "loss": 2.5092, + "step": 5000 + }, + { + "epoch": 0.23, + "learning_rate": 1.7633819792117815e-05, + "loss": 2.5061, + "step": 5010 + }, + { + "epoch": 0.23, + "learning_rate": 1.762457318269161e-05, + "loss": 2.5022, + "step": 5020 + }, + { + "epoch": 0.23, + "learning_rate": 1.7615310975844447e-05, + "loss": 2.5213, + "step": 5030 + }, + { + "epoch": 0.23, + "learning_rate": 1.7606033190523823e-05, + "loss": 2.507, + "step": 5040 + }, + { + "epoch": 0.23, + "learning_rate": 1.7596739845709096e-05, + "loss": 2.519, + "step": 5050 + }, + { + "epoch": 0.23, + "learning_rate": 1.7587430960411454e-05, + "loss": 2.5171, + "step": 5060 + }, + { + "epoch": 0.23, + "learning_rate": 1.757810655367388e-05, + "loss": 2.5059, + "step": 5070 + }, + { + "epoch": 0.23, + "learning_rate": 1.7568766644571108e-05, + "loss": 2.5114, + "step": 5080 + }, + { + "epoch": 0.23, + "learning_rate": 1.7559411252209583e-05, + "loss": 2.5041, + "step": 5090 + }, + { + "epoch": 0.23, + "learning_rate": 1.7550040395727422e-05, + "loss": 2.4847, + "step": 5100 + }, + { + "epoch": 0.23, + "learning_rate": 1.754065409429438e-05, + "loss": 2.5067, + "step": 5110 + }, + { + "epoch": 0.23, + "learning_rate": 1.7531252367111812e-05, + "loss": 2.4977, + "step": 5120 + }, + { + "epoch": 0.23, + "learning_rate": 1.752183523341262e-05, + "loss": 2.4925, + "step": 5130 + }, + { + "epoch": 0.23, + "learning_rate": 1.7512402712461222e-05, + "loss": 2.5229, + "step": 5140 + }, + { + "epoch": 0.23, + "learning_rate": 1.7502954823553522e-05, + "loss": 2.4954, + "step": 5150 + }, + { + "epoch": 0.23, + "learning_rate": 1.749349158601686e-05, + "loss": 2.4876, + "step": 5160 + }, + { + "epoch": 0.23, + "learning_rate": 1.7484013019209968e-05, + "loss": 2.4912, + "step": 5170 + }, + { + "epoch": 0.23, + "learning_rate": 1.7474519142522938e-05, + "loss": 2.5208, + "step": 5180 + }, + { + "epoch": 0.24, + "learning_rate": 1.7465009975377193e-05, + "loss": 2.4989, + "step": 5190 + }, + { + "epoch": 0.24, + "learning_rate": 1.745548553722542e-05, + "loss": 2.5165, + "step": 5200 + }, + { + "epoch": 0.24, + "learning_rate": 1.7445945847551553e-05, + "loss": 2.4886, + "step": 5210 + }, + { + "epoch": 0.24, + "learning_rate": 1.7436390925870722e-05, + "loss": 2.4798, + "step": 5220 + }, + { + "epoch": 0.24, + "learning_rate": 1.7426820791729223e-05, + "loss": 2.5086, + "step": 5230 + }, + { + "epoch": 0.24, + "learning_rate": 1.741723546470447e-05, + "loss": 2.4916, + "step": 5240 + }, + { + "epoch": 0.24, + "learning_rate": 1.740763496440495e-05, + "loss": 2.4957, + "step": 5250 + }, + { + "epoch": 0.24, + "learning_rate": 1.739801931047019e-05, + "loss": 2.5054, + "step": 5260 + }, + { + "epoch": 0.24, + "learning_rate": 1.7388388522570734e-05, + "loss": 2.4975, + "step": 5270 + }, + { + "epoch": 0.24, + "learning_rate": 1.737874262040806e-05, + "loss": 2.4723, + "step": 5280 + }, + { + "epoch": 0.24, + "learning_rate": 1.7369081623714582e-05, + "loss": 2.4917, + "step": 5290 + }, + { + "epoch": 0.24, + "learning_rate": 1.735940555225359e-05, + "loss": 2.5188, + "step": 5300 + }, + { + "epoch": 0.24, + "learning_rate": 1.7349714425819203e-05, + "loss": 2.5201, + "step": 5310 + }, + { + "epoch": 0.24, + "learning_rate": 1.7340008264236355e-05, + "loss": 2.4911, + "step": 5320 + }, + { + "epoch": 0.24, + "learning_rate": 1.7330287087360712e-05, + "loss": 2.5128, + "step": 5330 + }, + { + "epoch": 0.24, + "learning_rate": 1.7320550915078683e-05, + "loss": 2.4931, + "step": 5340 + }, + { + "epoch": 0.24, + "learning_rate": 1.7310799767307337e-05, + "loss": 2.4939, + "step": 5350 + }, + { + "epoch": 0.24, + "learning_rate": 1.730103366399438e-05, + "loss": 2.5136, + "step": 5360 + }, + { + "epoch": 0.24, + "learning_rate": 1.729125262511811e-05, + "loss": 2.5051, + "step": 5370 + }, + { + "epoch": 0.24, + "learning_rate": 1.728145667068739e-05, + "loss": 2.5114, + "step": 5380 + }, + { + "epoch": 0.24, + "learning_rate": 1.7271645820741586e-05, + "loss": 2.466, + "step": 5390 + }, + { + "epoch": 0.24, + "learning_rate": 1.7261820095350535e-05, + "loss": 2.5067, + "step": 5400 + }, + { + "epoch": 0.25, + "learning_rate": 1.7251979514614504e-05, + "loss": 2.514, + "step": 5410 + }, + { + "epoch": 0.25, + "learning_rate": 1.7242124098664157e-05, + "loss": 2.4983, + "step": 5420 + }, + { + "epoch": 0.25, + "learning_rate": 1.72322538676605e-05, + "loss": 2.4783, + "step": 5430 + }, + { + "epoch": 0.25, + "learning_rate": 1.722236884179484e-05, + "loss": 2.4695, + "step": 5440 + }, + { + "epoch": 0.25, + "learning_rate": 1.7212469041288763e-05, + "loss": 2.4844, + "step": 5450 + }, + { + "epoch": 0.25, + "learning_rate": 1.7202554486394068e-05, + "loss": 2.475, + "step": 5460 + }, + { + "epoch": 0.25, + "learning_rate": 1.7192625197392745e-05, + "loss": 2.5036, + "step": 5470 + }, + { + "epoch": 0.25, + "learning_rate": 1.718268119459692e-05, + "loss": 2.534, + "step": 5480 + }, + { + "epoch": 0.25, + "learning_rate": 1.717272249834882e-05, + "loss": 2.475, + "step": 5490 + }, + { + "epoch": 0.25, + "learning_rate": 1.7162749129020728e-05, + "loss": 2.4817, + "step": 5500 + }, + { + "epoch": 0.25, + "learning_rate": 1.7152761107014945e-05, + "loss": 2.5154, + "step": 5510 + }, + { + "epoch": 0.25, + "learning_rate": 1.714275845276375e-05, + "loss": 2.4787, + "step": 5520 + }, + { + "epoch": 0.25, + "learning_rate": 1.7132741186729347e-05, + "loss": 2.5196, + "step": 5530 + }, + { + "epoch": 0.25, + "learning_rate": 1.7122709329403845e-05, + "loss": 2.5128, + "step": 5540 + }, + { + "epoch": 0.25, + "learning_rate": 1.711266290130918e-05, + "loss": 2.5025, + "step": 5550 + }, + { + "epoch": 0.25, + "learning_rate": 1.7102601922997122e-05, + "loss": 2.5246, + "step": 5560 + }, + { + "epoch": 0.25, + "learning_rate": 1.709252641504918e-05, + "loss": 2.4984, + "step": 5570 + }, + { + "epoch": 0.25, + "learning_rate": 1.7082436398076608e-05, + "loss": 2.4903, + "step": 5580 + }, + { + "epoch": 0.25, + "learning_rate": 1.7072331892720323e-05, + "loss": 2.4873, + "step": 5590 + }, + { + "epoch": 0.25, + "learning_rate": 1.7062212919650895e-05, + "loss": 2.4894, + "step": 5600 + }, + { + "epoch": 0.25, + "learning_rate": 1.7052079499568477e-05, + "loss": 2.4858, + "step": 5610 + }, + { + "epoch": 0.25, + "learning_rate": 1.7041931653202788e-05, + "loss": 2.5158, + "step": 5620 + }, + { + "epoch": 0.26, + "learning_rate": 1.703176940131305e-05, + "loss": 2.4952, + "step": 5630 + }, + { + "epoch": 0.26, + "learning_rate": 1.702159276468796e-05, + "loss": 2.504, + "step": 5640 + }, + { + "epoch": 0.26, + "learning_rate": 1.7011401764145637e-05, + "loss": 2.4712, + "step": 5650 + }, + { + "epoch": 0.26, + "learning_rate": 1.7001196420533584e-05, + "loss": 2.503, + "step": 5660 + }, + { + "epoch": 0.26, + "learning_rate": 1.699097675472865e-05, + "loss": 2.4978, + "step": 5670 + }, + { + "epoch": 0.26, + "learning_rate": 1.6980742787636977e-05, + "loss": 2.5121, + "step": 5680 + }, + { + "epoch": 0.26, + "learning_rate": 1.697049454019397e-05, + "loss": 2.5233, + "step": 5690 + }, + { + "epoch": 0.26, + "learning_rate": 1.696023203336424e-05, + "loss": 2.5124, + "step": 5700 + }, + { + "epoch": 0.26, + "learning_rate": 1.6949955288141566e-05, + "loss": 2.5144, + "step": 5710 + }, + { + "epoch": 0.26, + "learning_rate": 1.6939664325548868e-05, + "loss": 2.4903, + "step": 5720 + }, + { + "epoch": 0.26, + "learning_rate": 1.6929359166638132e-05, + "loss": 2.4857, + "step": 5730 + }, + { + "epoch": 0.26, + "learning_rate": 1.69190398324904e-05, + "loss": 2.5045, + "step": 5740 + }, + { + "epoch": 0.26, + "learning_rate": 1.69087063442157e-05, + "loss": 2.4727, + "step": 5750 + }, + { + "epoch": 0.26, + "learning_rate": 1.6898358722953028e-05, + "loss": 2.4956, + "step": 5760 + }, + { + "epoch": 0.26, + "learning_rate": 1.688799698987028e-05, + "loss": 2.4701, + "step": 5770 + }, + { + "epoch": 0.26, + "learning_rate": 1.6877621166164222e-05, + "loss": 2.5074, + "step": 5780 + }, + { + "epoch": 0.26, + "learning_rate": 1.6867231273060452e-05, + "loss": 2.4902, + "step": 5790 + }, + { + "epoch": 0.26, + "learning_rate": 1.6856827331813344e-05, + "loss": 2.5153, + "step": 5800 + }, + { + "epoch": 0.26, + "learning_rate": 1.684640936370601e-05, + "loss": 2.5026, + "step": 5810 + }, + { + "epoch": 0.26, + "learning_rate": 1.6835977390050256e-05, + "loss": 2.4931, + "step": 5820 + }, + { + "epoch": 0.26, + "learning_rate": 1.6825531432186545e-05, + "loss": 2.5182, + "step": 5830 + }, + { + "epoch": 0.26, + "learning_rate": 1.6815071511483933e-05, + "loss": 2.4823, + "step": 5840 + }, + { + "epoch": 0.27, + "learning_rate": 1.680459764934006e-05, + "loss": 2.5198, + "step": 5850 + }, + { + "epoch": 0.27, + "learning_rate": 1.6794109867181066e-05, + "loss": 2.4722, + "step": 5860 + }, + { + "epoch": 0.27, + "learning_rate": 1.6783608186461576e-05, + "loss": 2.4904, + "step": 5870 + }, + { + "epoch": 0.27, + "learning_rate": 1.6773092628664654e-05, + "loss": 2.4845, + "step": 5880 + }, + { + "epoch": 0.27, + "learning_rate": 1.6762563215301735e-05, + "loss": 2.5111, + "step": 5890 + }, + { + "epoch": 0.27, + "learning_rate": 1.6752019967912613e-05, + "loss": 2.4876, + "step": 5900 + }, + { + "epoch": 0.27, + "learning_rate": 1.6741462908065373e-05, + "loss": 2.5221, + "step": 5910 + }, + { + "epoch": 0.27, + "learning_rate": 1.6730892057356363e-05, + "loss": 2.518, + "step": 5920 + }, + { + "epoch": 0.27, + "learning_rate": 1.6720307437410134e-05, + "loss": 2.4853, + "step": 5930 + }, + { + "epoch": 0.27, + "learning_rate": 1.6709709069879413e-05, + "loss": 2.5022, + "step": 5940 + }, + { + "epoch": 0.27, + "learning_rate": 1.6699096976445046e-05, + "loss": 2.5092, + "step": 5950 + }, + { + "epoch": 0.27, + "learning_rate": 1.668847117881596e-05, + "loss": 2.4856, + "step": 5960 + }, + { + "epoch": 0.27, + "learning_rate": 1.6677831698729106e-05, + "loss": 2.5005, + "step": 5970 + }, + { + "epoch": 0.27, + "learning_rate": 1.666717855794944e-05, + "loss": 2.5036, + "step": 5980 + }, + { + "epoch": 0.27, + "learning_rate": 1.6656511778269856e-05, + "loss": 2.4962, + "step": 5990 + }, + { + "epoch": 0.27, + "learning_rate": 1.664583138151115e-05, + "loss": 2.5063, + "step": 6000 + }, + { + "epoch": 0.27, + "eval_accuracy": 0.539072438522612, + "eval_loss": 2.253763437271118, + "eval_runtime": 9.8813, + "eval_samples_per_second": 138.342, + "eval_steps_per_second": 1.113, + "step": 6000 + }, + { + "epoch": 0.27, + "learning_rate": 1.663513738952198e-05, + "loss": 2.4694, + "step": 6010 + }, + { + "epoch": 0.27, + "learning_rate": 1.6624429824178794e-05, + "loss": 2.4673, + "step": 6020 + }, + { + "epoch": 0.27, + "learning_rate": 1.6613708707385832e-05, + "loss": 2.4789, + "step": 6030 + }, + { + "epoch": 0.27, + "learning_rate": 1.660297406107505e-05, + "loss": 2.495, + "step": 6040 + }, + { + "epoch": 0.27, + "learning_rate": 1.6592225907206065e-05, + "loss": 2.4933, + "step": 6050 + }, + { + "epoch": 0.27, + "learning_rate": 1.6581464267766144e-05, + "loss": 2.4915, + "step": 6060 + }, + { + "epoch": 0.28, + "learning_rate": 1.6570689164770138e-05, + "loss": 2.5032, + "step": 6070 + }, + { + "epoch": 0.28, + "learning_rate": 1.6559900620260435e-05, + "loss": 2.4912, + "step": 6080 + }, + { + "epoch": 0.28, + "learning_rate": 1.654909865630692e-05, + "loss": 2.5178, + "step": 6090 + }, + { + "epoch": 0.28, + "learning_rate": 1.6538283295006933e-05, + "loss": 2.4834, + "step": 6100 + }, + { + "epoch": 0.28, + "learning_rate": 1.6527454558485222e-05, + "loss": 2.4941, + "step": 6110 + }, + { + "epoch": 0.28, + "learning_rate": 1.6516612468893892e-05, + "loss": 2.5131, + "step": 6120 + }, + { + "epoch": 0.28, + "learning_rate": 1.650575704841237e-05, + "loss": 2.485, + "step": 6130 + }, + { + "epoch": 0.28, + "learning_rate": 1.6494888319247345e-05, + "loss": 2.5086, + "step": 6140 + }, + { + "epoch": 0.28, + "learning_rate": 1.648400630363274e-05, + "loss": 2.4829, + "step": 6150 + }, + { + "epoch": 0.28, + "learning_rate": 1.6473111023829646e-05, + "loss": 2.5099, + "step": 6160 + }, + { + "epoch": 0.28, + "learning_rate": 1.6462202502126307e-05, + "loss": 2.4983, + "step": 6170 + }, + { + "epoch": 0.28, + "learning_rate": 1.6451280760838036e-05, + "loss": 2.4665, + "step": 6180 + }, + { + "epoch": 0.28, + "learning_rate": 1.6440345822307204e-05, + "loss": 2.5018, + "step": 6190 + }, + { + "epoch": 0.28, + "learning_rate": 1.6429397708903172e-05, + "loss": 2.5068, + "step": 6200 + }, + { + "epoch": 0.28, + "learning_rate": 1.6418436443022254e-05, + "loss": 2.5092, + "step": 6210 + }, + { + "epoch": 0.28, + "learning_rate": 1.6407462047087667e-05, + "loss": 2.5059, + "step": 6220 + }, + { + "epoch": 0.28, + "learning_rate": 1.639647454354949e-05, + "loss": 2.4755, + "step": 6230 + }, + { + "epoch": 0.28, + "learning_rate": 1.638547395488462e-05, + "loss": 2.5195, + "step": 6240 + }, + { + "epoch": 0.28, + "learning_rate": 1.6374460303596718e-05, + "loss": 2.5125, + "step": 6250 + }, + { + "epoch": 0.28, + "learning_rate": 1.6363433612216163e-05, + "loss": 2.4828, + "step": 6260 + }, + { + "epoch": 0.28, + "learning_rate": 1.635239390330002e-05, + "loss": 2.4812, + "step": 6270 + }, + { + "epoch": 0.28, + "learning_rate": 1.6341341199431974e-05, + "loss": 2.5017, + "step": 6280 + }, + { + "epoch": 0.29, + "learning_rate": 1.6330275523222294e-05, + "loss": 2.5011, + "step": 6290 + }, + { + "epoch": 0.29, + "learning_rate": 1.6319196897307795e-05, + "loss": 2.4904, + "step": 6300 + }, + { + "epoch": 0.29, + "learning_rate": 1.6308105344351776e-05, + "loss": 2.4735, + "step": 6310 + }, + { + "epoch": 0.29, + "learning_rate": 1.6297000887043978e-05, + "loss": 2.5133, + "step": 6320 + }, + { + "epoch": 0.29, + "learning_rate": 1.6285883548100552e-05, + "loss": 2.4806, + "step": 6330 + }, + { + "epoch": 0.29, + "learning_rate": 1.6274753350263987e-05, + "loss": 2.4784, + "step": 6340 + }, + { + "epoch": 0.29, + "learning_rate": 1.6263610316303084e-05, + "loss": 2.4876, + "step": 6350 + }, + { + "epoch": 0.29, + "learning_rate": 1.62524544690129e-05, + "loss": 2.4851, + "step": 6360 + }, + { + "epoch": 0.29, + "learning_rate": 1.6241285831214707e-05, + "loss": 2.4619, + "step": 6370 + }, + { + "epoch": 0.29, + "learning_rate": 1.623010442575594e-05, + "loss": 2.4809, + "step": 6380 + }, + { + "epoch": 0.29, + "learning_rate": 1.621891027551015e-05, + "loss": 2.5083, + "step": 6390 + }, + { + "epoch": 0.29, + "learning_rate": 1.6207703403376973e-05, + "loss": 2.4874, + "step": 6400 + }, + { + "epoch": 0.29, + "learning_rate": 1.619648383228205e-05, + "loss": 2.489, + "step": 6410 + }, + { + "epoch": 0.29, + "learning_rate": 1.6185251585177013e-05, + "loss": 2.4943, + "step": 6420 + }, + { + "epoch": 0.29, + "learning_rate": 1.6174006685039425e-05, + "loss": 2.505, + "step": 6430 + }, + { + "epoch": 0.29, + "learning_rate": 1.6162749154872725e-05, + "loss": 2.4801, + "step": 6440 + }, + { + "epoch": 0.29, + "learning_rate": 1.6151479017706192e-05, + "loss": 2.5019, + "step": 6450 + }, + { + "epoch": 0.29, + "learning_rate": 1.6140196296594903e-05, + "loss": 2.508, + "step": 6460 + }, + { + "epoch": 0.29, + "learning_rate": 1.612890101461967e-05, + "loss": 2.4834, + "step": 6470 + }, + { + "epoch": 0.29, + "learning_rate": 1.6117593194886998e-05, + "loss": 2.4867, + "step": 6480 + }, + { + "epoch": 0.29, + "learning_rate": 1.6106272860529047e-05, + "loss": 2.5108, + "step": 6490 + }, + { + "epoch": 0.29, + "learning_rate": 1.6094940034703577e-05, + "loss": 2.4923, + "step": 6500 + }, + { + "epoch": 0.3, + "learning_rate": 1.6083594740593896e-05, + "loss": 2.5038, + "step": 6510 + }, + { + "epoch": 0.3, + "learning_rate": 1.6072237001408822e-05, + "loss": 2.5141, + "step": 6520 + }, + { + "epoch": 0.3, + "learning_rate": 1.6060866840382632e-05, + "loss": 2.5012, + "step": 6530 + }, + { + "epoch": 0.3, + "learning_rate": 1.6049484280775012e-05, + "loss": 2.4999, + "step": 6540 + }, + { + "epoch": 0.3, + "learning_rate": 1.6038089345871015e-05, + "loss": 2.4975, + "step": 6550 + }, + { + "epoch": 0.3, + "learning_rate": 1.6026682058981006e-05, + "loss": 2.5073, + "step": 6560 + }, + { + "epoch": 0.3, + "learning_rate": 1.6015262443440618e-05, + "loss": 2.4875, + "step": 6570 + }, + { + "epoch": 0.3, + "learning_rate": 1.6003830522610712e-05, + "loss": 2.5146, + "step": 6580 + }, + { + "epoch": 0.3, + "learning_rate": 1.599238631987731e-05, + "loss": 2.4881, + "step": 6590 + }, + { + "epoch": 0.3, + "learning_rate": 1.598092985865157e-05, + "loss": 2.481, + "step": 6600 + }, + { + "epoch": 0.3, + "learning_rate": 1.5969461162369718e-05, + "loss": 2.4918, + "step": 6610 + }, + { + "epoch": 0.3, + "learning_rate": 1.595798025449301e-05, + "loss": 2.4875, + "step": 6620 + }, + { + "epoch": 0.3, + "learning_rate": 1.5946487158507693e-05, + "loss": 2.4693, + "step": 6630 + }, + { + "epoch": 0.3, + "learning_rate": 1.5934981897924937e-05, + "loss": 2.5047, + "step": 6640 + }, + { + "epoch": 0.3, + "learning_rate": 1.5923464496280797e-05, + "loss": 2.5147, + "step": 6650 + }, + { + "epoch": 0.3, + "learning_rate": 1.5911934977136167e-05, + "loss": 2.4647, + "step": 6660 + }, + { + "epoch": 0.3, + "learning_rate": 1.5900393364076735e-05, + "loss": 2.4744, + "step": 6670 + }, + { + "epoch": 0.3, + "learning_rate": 1.5888839680712918e-05, + "loss": 2.4781, + "step": 6680 + }, + { + "epoch": 0.3, + "learning_rate": 1.587727395067983e-05, + "loss": 2.5232, + "step": 6690 + }, + { + "epoch": 0.3, + "learning_rate": 1.5865696197637234e-05, + "loss": 2.4996, + "step": 6700 + }, + { + "epoch": 0.3, + "learning_rate": 1.5854106445269483e-05, + "loss": 2.4779, + "step": 6710 + }, + { + "epoch": 0.3, + "learning_rate": 1.584250471728548e-05, + "loss": 2.5024, + "step": 6720 + }, + { + "epoch": 0.31, + "learning_rate": 1.5830891037418615e-05, + "loss": 2.4704, + "step": 6730 + }, + { + "epoch": 0.31, + "learning_rate": 1.5819265429426748e-05, + "loss": 2.5011, + "step": 6740 + }, + { + "epoch": 0.31, + "learning_rate": 1.5807627917092118e-05, + "loss": 2.4715, + "step": 6750 + }, + { + "epoch": 0.31, + "learning_rate": 1.579597852422133e-05, + "loss": 2.5069, + "step": 6760 + }, + { + "epoch": 0.31, + "learning_rate": 1.5784317274645294e-05, + "loss": 2.4801, + "step": 6770 + }, + { + "epoch": 0.31, + "learning_rate": 1.5772644192219164e-05, + "loss": 2.4633, + "step": 6780 + }, + { + "epoch": 0.31, + "learning_rate": 1.5760959300822313e-05, + "loss": 2.4838, + "step": 6790 + }, + { + "epoch": 0.31, + "learning_rate": 1.574926262435826e-05, + "loss": 2.4959, + "step": 6800 + }, + { + "epoch": 0.31, + "learning_rate": 1.573755418675464e-05, + "loss": 2.4952, + "step": 6810 + }, + { + "epoch": 0.31, + "learning_rate": 1.572583401196315e-05, + "loss": 2.4767, + "step": 6820 + }, + { + "epoch": 0.31, + "learning_rate": 1.5714102123959485e-05, + "loss": 2.4918, + "step": 6830 + }, + { + "epoch": 0.31, + "learning_rate": 1.5702358546743314e-05, + "loss": 2.5085, + "step": 6840 + }, + { + "epoch": 0.31, + "learning_rate": 1.569060330433821e-05, + "loss": 2.5108, + "step": 6850 + }, + { + "epoch": 0.31, + "learning_rate": 1.5678836420791618e-05, + "loss": 2.5056, + "step": 6860 + }, + { + "epoch": 0.31, + "learning_rate": 1.5667057920174785e-05, + "loss": 2.4979, + "step": 6870 + }, + { + "epoch": 0.31, + "learning_rate": 1.565526782658273e-05, + "loss": 2.5092, + "step": 6880 + }, + { + "epoch": 0.31, + "learning_rate": 1.5643466164134196e-05, + "loss": 2.4869, + "step": 6890 + }, + { + "epoch": 0.31, + "learning_rate": 1.5631652956971576e-05, + "loss": 2.4805, + "step": 6900 + }, + { + "epoch": 0.31, + "learning_rate": 1.561982822926089e-05, + "loss": 2.4754, + "step": 6910 + }, + { + "epoch": 0.31, + "learning_rate": 1.5607992005191717e-05, + "loss": 2.5099, + "step": 6920 + }, + { + "epoch": 0.31, + "learning_rate": 1.5596144308977167e-05, + "loss": 2.476, + "step": 6930 + }, + { + "epoch": 0.31, + "learning_rate": 1.5584285164853802e-05, + "loss": 2.5084, + "step": 6940 + }, + { + "epoch": 0.31, + "learning_rate": 1.5572414597081617e-05, + "loss": 2.4775, + "step": 6950 + }, + { + "epoch": 0.32, + "learning_rate": 1.5560532629943968e-05, + "loss": 2.4663, + "step": 6960 + }, + { + "epoch": 0.32, + "learning_rate": 1.5548639287747537e-05, + "loss": 2.4791, + "step": 6970 + }, + { + "epoch": 0.32, + "learning_rate": 1.5536734594822266e-05, + "loss": 2.4713, + "step": 6980 + }, + { + "epoch": 0.32, + "learning_rate": 1.552481857552132e-05, + "loss": 2.4699, + "step": 6990 + }, + { + "epoch": 0.32, + "learning_rate": 1.5512891254221046e-05, + "loss": 2.4678, + "step": 7000 + }, + { + "epoch": 0.32, + "learning_rate": 1.5500952655320892e-05, + "loss": 2.4733, + "step": 7010 + }, + { + "epoch": 0.32, + "learning_rate": 1.5489002803243396e-05, + "loss": 2.5095, + "step": 7020 + }, + { + "epoch": 0.32, + "learning_rate": 1.5477041722434096e-05, + "loss": 2.4851, + "step": 7030 + }, + { + "epoch": 0.32, + "learning_rate": 1.5465069437361516e-05, + "loss": 2.4988, + "step": 7040 + }, + { + "epoch": 0.32, + "learning_rate": 1.54530859725171e-05, + "loss": 2.4799, + "step": 7050 + }, + { + "epoch": 0.32, + "learning_rate": 1.5441091352415148e-05, + "loss": 2.4921, + "step": 7060 + }, + { + "epoch": 0.32, + "learning_rate": 1.5429085601592794e-05, + "loss": 2.5083, + "step": 7070 + }, + { + "epoch": 0.32, + "learning_rate": 1.541706874460994e-05, + "loss": 2.466, + "step": 7080 + }, + { + "epoch": 0.32, + "learning_rate": 1.5405040806049202e-05, + "loss": 2.4906, + "step": 7090 + }, + { + "epoch": 0.32, + "learning_rate": 1.5393001810515865e-05, + "loss": 2.4883, + "step": 7100 + }, + { + "epoch": 0.32, + "learning_rate": 1.538095178263784e-05, + "loss": 2.4842, + "step": 7110 + }, + { + "epoch": 0.32, + "learning_rate": 1.5368890747065604e-05, + "loss": 2.4967, + "step": 7120 + }, + { + "epoch": 0.32, + "learning_rate": 1.535681872847215e-05, + "loss": 2.4957, + "step": 7130 + }, + { + "epoch": 0.32, + "learning_rate": 1.5344735751552935e-05, + "loss": 2.5003, + "step": 7140 + }, + { + "epoch": 0.32, + "learning_rate": 1.533264184102585e-05, + "loss": 2.4989, + "step": 7150 + }, + { + "epoch": 0.32, + "learning_rate": 1.5320537021631126e-05, + "loss": 2.4865, + "step": 7160 + }, + { + "epoch": 0.32, + "learning_rate": 1.5308421318131333e-05, + "loss": 2.4966, + "step": 7170 + }, + { + "epoch": 0.33, + "learning_rate": 1.5296294755311295e-05, + "loss": 2.4821, + "step": 7180 + }, + { + "epoch": 0.33, + "learning_rate": 1.528415735797806e-05, + "loss": 2.4826, + "step": 7190 + }, + { + "epoch": 0.33, + "learning_rate": 1.5272009150960828e-05, + "loss": 2.4998, + "step": 7200 + }, + { + "epoch": 0.33, + "learning_rate": 1.5259850159110917e-05, + "loss": 2.4705, + "step": 7210 + }, + { + "epoch": 0.33, + "learning_rate": 1.5247680407301708e-05, + "loss": 2.4692, + "step": 7220 + }, + { + "epoch": 0.33, + "learning_rate": 1.52354999204286e-05, + "loss": 2.4782, + "step": 7230 + }, + { + "epoch": 0.33, + "learning_rate": 1.5223308723408936e-05, + "loss": 2.5029, + "step": 7240 + }, + { + "epoch": 0.33, + "learning_rate": 1.5211106841181988e-05, + "loss": 2.5012, + "step": 7250 + }, + { + "epoch": 0.33, + "learning_rate": 1.519889429870887e-05, + "loss": 2.4967, + "step": 7260 + }, + { + "epoch": 0.33, + "learning_rate": 1.5186671120972514e-05, + "loss": 2.469, + "step": 7270 + }, + { + "epoch": 0.33, + "learning_rate": 1.5174437332977606e-05, + "loss": 2.4666, + "step": 7280 + }, + { + "epoch": 0.33, + "learning_rate": 1.5162192959750532e-05, + "loss": 2.5038, + "step": 7290 + }, + { + "epoch": 0.33, + "learning_rate": 1.5149938026339341e-05, + "loss": 2.4995, + "step": 7300 + }, + { + "epoch": 0.33, + "learning_rate": 1.5137672557813672e-05, + "loss": 2.485, + "step": 7310 + }, + { + "epoch": 0.33, + "learning_rate": 1.5125396579264728e-05, + "loss": 2.4878, + "step": 7320 + }, + { + "epoch": 0.33, + "learning_rate": 1.5113110115805208e-05, + "loss": 2.5114, + "step": 7330 + }, + { + "epoch": 0.33, + "learning_rate": 1.5100813192569254e-05, + "loss": 2.4687, + "step": 7340 + }, + { + "epoch": 0.33, + "learning_rate": 1.5088505834712414e-05, + "loss": 2.521, + "step": 7350 + }, + { + "epoch": 0.33, + "learning_rate": 1.5076188067411582e-05, + "loss": 2.4765, + "step": 7360 + }, + { + "epoch": 0.33, + "learning_rate": 1.5063859915864936e-05, + "loss": 2.4709, + "step": 7370 + }, + { + "epoch": 0.33, + "learning_rate": 1.5051521405291905e-05, + "loss": 2.5008, + "step": 7380 + }, + { + "epoch": 0.33, + "learning_rate": 1.5039172560933109e-05, + "loss": 2.4881, + "step": 7390 + }, + { + "epoch": 0.34, + "learning_rate": 1.5026813408050305e-05, + "loss": 2.4938, + "step": 7400 + }, + { + "epoch": 0.34, + "learning_rate": 1.5014443971926338e-05, + "loss": 2.4877, + "step": 7410 + }, + { + "epoch": 0.34, + "learning_rate": 1.5002064277865094e-05, + "loss": 2.4864, + "step": 7420 + }, + { + "epoch": 0.34, + "learning_rate": 1.4989674351191436e-05, + "loss": 2.4753, + "step": 7430 + }, + { + "epoch": 0.34, + "learning_rate": 1.4977274217251166e-05, + "loss": 2.5124, + "step": 7440 + }, + { + "epoch": 0.34, + "learning_rate": 1.4964863901410962e-05, + "loss": 2.493, + "step": 7450 + }, + { + "epoch": 0.34, + "learning_rate": 1.4952443429058334e-05, + "loss": 2.4917, + "step": 7460 + }, + { + "epoch": 0.34, + "learning_rate": 1.4940012825601569e-05, + "loss": 2.4878, + "step": 7470 + }, + { + "epoch": 0.34, + "learning_rate": 1.4927572116469672e-05, + "loss": 2.4643, + "step": 7480 + }, + { + "epoch": 0.34, + "learning_rate": 1.4915121327112338e-05, + "loss": 2.4884, + "step": 7490 + }, + { + "epoch": 0.34, + "learning_rate": 1.4902660482999865e-05, + "loss": 2.4961, + "step": 7500 + }, + { + "epoch": 0.34, + "learning_rate": 1.4890189609623122e-05, + "loss": 2.4694, + "step": 7510 + }, + { + "epoch": 0.34, + "learning_rate": 1.4877708732493508e-05, + "loss": 2.471, + "step": 7520 + }, + { + "epoch": 0.34, + "learning_rate": 1.4865217877142872e-05, + "loss": 2.4625, + "step": 7530 + }, + { + "epoch": 0.34, + "learning_rate": 1.4852717069123483e-05, + "loss": 2.4878, + "step": 7540 + }, + { + "epoch": 0.34, + "learning_rate": 1.484020633400797e-05, + "loss": 2.4999, + "step": 7550 + }, + { + "epoch": 0.34, + "learning_rate": 1.4827685697389265e-05, + "loss": 2.4931, + "step": 7560 + }, + { + "epoch": 0.34, + "learning_rate": 1.4815155184880557e-05, + "loss": 2.4862, + "step": 7570 + }, + { + "epoch": 0.34, + "learning_rate": 1.4802614822115235e-05, + "loss": 2.496, + "step": 7580 + }, + { + "epoch": 0.34, + "learning_rate": 1.479006463474685e-05, + "loss": 2.4618, + "step": 7590 + }, + { + "epoch": 0.34, + "learning_rate": 1.4777504648449044e-05, + "loss": 2.4749, + "step": 7600 + }, + { + "epoch": 0.34, + "learning_rate": 1.4764934888915494e-05, + "loss": 2.4874, + "step": 7610 + }, + { + "epoch": 0.35, + "learning_rate": 1.4752355381859888e-05, + "loss": 2.4869, + "step": 7620 + }, + { + "epoch": 0.35, + "learning_rate": 1.4739766153015842e-05, + "loss": 2.473, + "step": 7630 + }, + { + "epoch": 0.35, + "learning_rate": 1.4727167228136862e-05, + "loss": 2.4901, + "step": 7640 + }, + { + "epoch": 0.35, + "learning_rate": 1.4714558632996297e-05, + "loss": 2.4881, + "step": 7650 + }, + { + "epoch": 0.35, + "learning_rate": 1.4701940393387264e-05, + "loss": 2.4849, + "step": 7660 + }, + { + "epoch": 0.35, + "learning_rate": 1.468931253512262e-05, + "loss": 2.4872, + "step": 7670 + }, + { + "epoch": 0.35, + "learning_rate": 1.4676675084034897e-05, + "loss": 2.4706, + "step": 7680 + }, + { + "epoch": 0.35, + "learning_rate": 1.4664028065976245e-05, + "loss": 2.4929, + "step": 7690 + }, + { + "epoch": 0.35, + "learning_rate": 1.4651371506818395e-05, + "loss": 2.5027, + "step": 7700 + }, + { + "epoch": 0.35, + "learning_rate": 1.463870543245259e-05, + "loss": 2.4725, + "step": 7710 + }, + { + "epoch": 0.35, + "learning_rate": 1.4626029868789535e-05, + "loss": 2.4946, + "step": 7720 + }, + { + "epoch": 0.35, + "learning_rate": 1.4613344841759354e-05, + "loss": 2.465, + "step": 7730 + }, + { + "epoch": 0.35, + "learning_rate": 1.4600650377311523e-05, + "loss": 2.4928, + "step": 7740 + }, + { + "epoch": 0.35, + "learning_rate": 1.4587946501414832e-05, + "loss": 2.4926, + "step": 7750 + }, + { + "epoch": 0.35, + "learning_rate": 1.4575233240057314e-05, + "loss": 2.4775, + "step": 7760 + }, + { + "epoch": 0.35, + "learning_rate": 1.4562510619246213e-05, + "loss": 2.4851, + "step": 7770 + }, + { + "epoch": 0.35, + "learning_rate": 1.454977866500791e-05, + "loss": 2.4875, + "step": 7780 + }, + { + "epoch": 0.35, + "learning_rate": 1.4537037403387882e-05, + "loss": 2.4923, + "step": 7790 + }, + { + "epoch": 0.35, + "learning_rate": 1.4524286860450646e-05, + "loss": 2.5041, + "step": 7800 + }, + { + "epoch": 0.35, + "learning_rate": 1.451152706227971e-05, + "loss": 2.4803, + "step": 7810 + }, + { + "epoch": 0.35, + "learning_rate": 1.4498758034977507e-05, + "loss": 2.4748, + "step": 7820 + }, + { + "epoch": 0.35, + "learning_rate": 1.4485979804665358e-05, + "loss": 2.473, + "step": 7830 + }, + { + "epoch": 0.36, + "learning_rate": 1.4473192397483403e-05, + "loss": 2.4936, + "step": 7840 + }, + { + "epoch": 0.36, + "learning_rate": 1.4460395839590563e-05, + "loss": 2.501, + "step": 7850 + }, + { + "epoch": 0.36, + "learning_rate": 1.4447590157164466e-05, + "loss": 2.5057, + "step": 7860 + }, + { + "epoch": 0.36, + "learning_rate": 1.4434775376401424e-05, + "loss": 2.4603, + "step": 7870 + }, + { + "epoch": 0.36, + "learning_rate": 1.442195152351634e-05, + "loss": 2.4675, + "step": 7880 + }, + { + "epoch": 0.36, + "learning_rate": 1.4409118624742696e-05, + "loss": 2.507, + "step": 7890 + }, + { + "epoch": 0.36, + "learning_rate": 1.4396276706332461e-05, + "loss": 2.4854, + "step": 7900 + }, + { + "epoch": 0.36, + "learning_rate": 1.4383425794556072e-05, + "loss": 2.4905, + "step": 7910 + }, + { + "epoch": 0.36, + "learning_rate": 1.437056591570235e-05, + "loss": 2.4925, + "step": 7920 + }, + { + "epoch": 0.36, + "learning_rate": 1.435769709607847e-05, + "loss": 2.4565, + "step": 7930 + }, + { + "epoch": 0.36, + "learning_rate": 1.4344819362009885e-05, + "loss": 2.4914, + "step": 7940 + }, + { + "epoch": 0.36, + "learning_rate": 1.4331932739840298e-05, + "loss": 2.4601, + "step": 7950 + }, + { + "epoch": 0.36, + "learning_rate": 1.4319037255931582e-05, + "loss": 2.4923, + "step": 7960 + }, + { + "epoch": 0.36, + "learning_rate": 1.4306132936663749e-05, + "loss": 2.4638, + "step": 7970 + }, + { + "epoch": 0.36, + "learning_rate": 1.4293219808434875e-05, + "loss": 2.4854, + "step": 7980 + }, + { + "epoch": 0.36, + "learning_rate": 1.4280297897661063e-05, + "loss": 2.5125, + "step": 7990 + }, + { + "epoch": 0.36, + "learning_rate": 1.4267367230776383e-05, + "loss": 2.4939, + "step": 8000 + }, + { + "epoch": 0.36, + "eval_accuracy": 0.5401815307188504, + "eval_loss": 2.244050979614258, + "eval_runtime": 9.925, + "eval_samples_per_second": 137.733, + "eval_steps_per_second": 1.108, + "step": 8000 + }, + { + "epoch": 0.36, + "learning_rate": 1.4254427834232811e-05, + "loss": 2.4725, + "step": 8010 + }, + { + "epoch": 0.36, + "learning_rate": 1.4241479734500187e-05, + "loss": 2.4881, + "step": 8020 + }, + { + "epoch": 0.36, + "learning_rate": 1.422852295806615e-05, + "loss": 2.4651, + "step": 8030 + }, + { + "epoch": 0.36, + "learning_rate": 1.4215557531436095e-05, + "loss": 2.5104, + "step": 8040 + }, + { + "epoch": 0.36, + "learning_rate": 1.4202583481133107e-05, + "loss": 2.4719, + "step": 8050 + }, + { + "epoch": 0.37, + "learning_rate": 1.418960083369791e-05, + "loss": 2.4504, + "step": 8060 + }, + { + "epoch": 0.37, + "learning_rate": 1.417660961568883e-05, + "loss": 2.4851, + "step": 8070 + }, + { + "epoch": 0.37, + "learning_rate": 1.4163609853681704e-05, + "loss": 2.4842, + "step": 8080 + }, + { + "epoch": 0.37, + "learning_rate": 1.4150601574269862e-05, + "loss": 2.4873, + "step": 8090 + }, + { + "epoch": 0.37, + "learning_rate": 1.4137584804064055e-05, + "loss": 2.4766, + "step": 8100 + }, + { + "epoch": 0.37, + "learning_rate": 1.41245595696924e-05, + "loss": 2.492, + "step": 8110 + }, + { + "epoch": 0.37, + "learning_rate": 1.4111525897800333e-05, + "loss": 2.4844, + "step": 8120 + }, + { + "epoch": 0.37, + "learning_rate": 1.4098483815050548e-05, + "loss": 2.4887, + "step": 8130 + }, + { + "epoch": 0.37, + "learning_rate": 1.4085433348122946e-05, + "loss": 2.4792, + "step": 8140 + }, + { + "epoch": 0.37, + "learning_rate": 1.4072374523714577e-05, + "loss": 2.4944, + "step": 8150 + }, + { + "epoch": 0.37, + "learning_rate": 1.4059307368539594e-05, + "loss": 2.4783, + "step": 8160 + }, + { + "epoch": 0.37, + "learning_rate": 1.4046231909329184e-05, + "loss": 2.4608, + "step": 8170 + }, + { + "epoch": 0.37, + "learning_rate": 1.4033148172831526e-05, + "loss": 2.4837, + "step": 8180 + }, + { + "epoch": 0.37, + "learning_rate": 1.402005618581173e-05, + "loss": 2.477, + "step": 8190 + }, + { + "epoch": 0.37, + "learning_rate": 1.4006955975051788e-05, + "loss": 2.4932, + "step": 8200 + }, + { + "epoch": 0.37, + "learning_rate": 1.399384756735051e-05, + "loss": 2.489, + "step": 8210 + }, + { + "epoch": 0.37, + "learning_rate": 1.3980730989523473e-05, + "loss": 2.4782, + "step": 8220 + }, + { + "epoch": 0.37, + "learning_rate": 1.3967606268402975e-05, + "loss": 2.4819, + "step": 8230 + }, + { + "epoch": 0.37, + "learning_rate": 1.3954473430837965e-05, + "loss": 2.4772, + "step": 8240 + }, + { + "epoch": 0.37, + "learning_rate": 1.3941332503694001e-05, + "loss": 2.4997, + "step": 8250 + }, + { + "epoch": 0.37, + "learning_rate": 1.3928183513853188e-05, + "loss": 2.4828, + "step": 8260 + }, + { + "epoch": 0.37, + "learning_rate": 1.3915026488214118e-05, + "loss": 2.5103, + "step": 8270 + }, + { + "epoch": 0.38, + "learning_rate": 1.3901861453691834e-05, + "loss": 2.503, + "step": 8280 + }, + { + "epoch": 0.38, + "learning_rate": 1.3888688437217757e-05, + "loss": 2.4911, + "step": 8290 + }, + { + "epoch": 0.38, + "learning_rate": 1.3875507465739633e-05, + "loss": 2.4989, + "step": 8300 + }, + { + "epoch": 0.38, + "learning_rate": 1.3862318566221481e-05, + "loss": 2.4716, + "step": 8310 + }, + { + "epoch": 0.38, + "learning_rate": 1.3849121765643549e-05, + "loss": 2.5075, + "step": 8320 + }, + { + "epoch": 0.38, + "learning_rate": 1.3835917091002236e-05, + "loss": 2.5114, + "step": 8330 + }, + { + "epoch": 0.38, + "learning_rate": 1.3822704569310053e-05, + "loss": 2.4933, + "step": 8340 + }, + { + "epoch": 0.38, + "learning_rate": 1.3809484227595564e-05, + "loss": 2.4884, + "step": 8350 + }, + { + "epoch": 0.38, + "learning_rate": 1.3796256092903333e-05, + "loss": 2.4812, + "step": 8360 + }, + { + "epoch": 0.38, + "learning_rate": 1.3783020192293858e-05, + "loss": 2.4746, + "step": 8370 + }, + { + "epoch": 0.38, + "learning_rate": 1.3769776552843532e-05, + "loss": 2.4646, + "step": 8380 + }, + { + "epoch": 0.38, + "learning_rate": 1.3756525201644577e-05, + "loss": 2.5032, + "step": 8390 + }, + { + "epoch": 0.38, + "learning_rate": 1.3743266165804983e-05, + "loss": 2.4692, + "step": 8400 + }, + { + "epoch": 0.38, + "learning_rate": 1.3729999472448474e-05, + "loss": 2.4748, + "step": 8410 + }, + { + "epoch": 0.38, + "learning_rate": 1.3716725148714429e-05, + "loss": 2.465, + "step": 8420 + }, + { + "epoch": 0.38, + "learning_rate": 1.3703443221757838e-05, + "loss": 2.4649, + "step": 8430 + }, + { + "epoch": 0.38, + "learning_rate": 1.3690153718749248e-05, + "loss": 2.4688, + "step": 8440 + }, + { + "epoch": 0.38, + "learning_rate": 1.36768566668747e-05, + "loss": 2.4741, + "step": 8450 + }, + { + "epoch": 0.38, + "learning_rate": 1.3663552093335676e-05, + "loss": 2.4869, + "step": 8460 + }, + { + "epoch": 0.38, + "learning_rate": 1.3650240025349055e-05, + "loss": 2.4578, + "step": 8470 + }, + { + "epoch": 0.38, + "learning_rate": 1.3636920490147034e-05, + "loss": 2.4768, + "step": 8480 + }, + { + "epoch": 0.38, + "learning_rate": 1.3623593514977098e-05, + "loss": 2.5064, + "step": 8490 + }, + { + "epoch": 0.39, + "learning_rate": 1.361025912710194e-05, + "loss": 2.4767, + "step": 8500 + }, + { + "epoch": 0.39, + "learning_rate": 1.3596917353799426e-05, + "loss": 2.475, + "step": 8510 + }, + { + "epoch": 0.39, + "learning_rate": 1.3583568222362526e-05, + "loss": 2.4926, + "step": 8520 + }, + { + "epoch": 0.39, + "learning_rate": 1.3570211760099265e-05, + "loss": 2.4748, + "step": 8530 + }, + { + "epoch": 0.39, + "learning_rate": 1.3556847994332662e-05, + "loss": 2.507, + "step": 8540 + }, + { + "epoch": 0.39, + "learning_rate": 1.3543476952400676e-05, + "loss": 2.491, + "step": 8550 + }, + { + "epoch": 0.39, + "learning_rate": 1.3530098661656155e-05, + "loss": 2.468, + "step": 8560 + }, + { + "epoch": 0.39, + "learning_rate": 1.351671314946677e-05, + "loss": 2.5024, + "step": 8570 + }, + { + "epoch": 0.39, + "learning_rate": 1.3503320443214968e-05, + "loss": 2.4747, + "step": 8580 + }, + { + "epoch": 0.39, + "learning_rate": 1.3489920570297916e-05, + "loss": 2.4857, + "step": 8590 + }, + { + "epoch": 0.39, + "learning_rate": 1.3476513558127433e-05, + "loss": 2.4804, + "step": 8600 + }, + { + "epoch": 0.39, + "learning_rate": 1.346309943412995e-05, + "loss": 2.4737, + "step": 8610 + }, + { + "epoch": 0.39, + "learning_rate": 1.3449678225746445e-05, + "loss": 2.4841, + "step": 8620 + }, + { + "epoch": 0.39, + "learning_rate": 1.3436249960432386e-05, + "loss": 2.4936, + "step": 8630 + }, + { + "epoch": 0.39, + "learning_rate": 1.3422814665657677e-05, + "loss": 2.5065, + "step": 8640 + }, + { + "epoch": 0.39, + "learning_rate": 1.340937236890661e-05, + "loss": 2.4979, + "step": 8650 + }, + { + "epoch": 0.39, + "learning_rate": 1.339592309767779e-05, + "loss": 2.4755, + "step": 8660 + }, + { + "epoch": 0.39, + "learning_rate": 1.3382466879484092e-05, + "loss": 2.4979, + "step": 8670 + }, + { + "epoch": 0.39, + "learning_rate": 1.336900374185261e-05, + "loss": 2.4854, + "step": 8680 + }, + { + "epoch": 0.39, + "learning_rate": 1.3355533712324586e-05, + "loss": 2.4722, + "step": 8690 + }, + { + "epoch": 0.39, + "learning_rate": 1.3342056818455359e-05, + "loss": 2.4854, + "step": 8700 + }, + { + "epoch": 0.39, + "learning_rate": 1.3328573087814314e-05, + "loss": 2.4955, + "step": 8710 + }, + { + "epoch": 0.4, + "learning_rate": 1.3315082547984819e-05, + "loss": 2.4944, + "step": 8720 + }, + { + "epoch": 0.4, + "learning_rate": 1.330158522656418e-05, + "loss": 2.5024, + "step": 8730 + }, + { + "epoch": 0.4, + "learning_rate": 1.328808115116356e-05, + "loss": 2.4808, + "step": 8740 + }, + { + "epoch": 0.4, + "learning_rate": 1.3274570349407956e-05, + "loss": 2.4916, + "step": 8750 + }, + { + "epoch": 0.4, + "learning_rate": 1.3261052848936116e-05, + "loss": 2.4632, + "step": 8760 + }, + { + "epoch": 0.4, + "learning_rate": 1.3247528677400486e-05, + "loss": 2.4657, + "step": 8770 + }, + { + "epoch": 0.4, + "learning_rate": 1.3233997862467169e-05, + "loss": 2.4718, + "step": 8780 + }, + { + "epoch": 0.4, + "learning_rate": 1.3220460431815859e-05, + "loss": 2.478, + "step": 8790 + }, + { + "epoch": 0.4, + "learning_rate": 1.320691641313977e-05, + "loss": 2.4887, + "step": 8800 + }, + { + "epoch": 0.4, + "learning_rate": 1.3193365834145606e-05, + "loss": 2.4611, + "step": 8810 + }, + { + "epoch": 0.4, + "learning_rate": 1.3179808722553486e-05, + "loss": 2.469, + "step": 8820 + }, + { + "epoch": 0.4, + "learning_rate": 1.31662451060969e-05, + "loss": 2.4403, + "step": 8830 + }, + { + "epoch": 0.4, + "learning_rate": 1.3152675012522629e-05, + "loss": 2.4769, + "step": 8840 + }, + { + "epoch": 0.4, + "learning_rate": 1.3139098469590716e-05, + "loss": 2.4568, + "step": 8850 + }, + { + "epoch": 0.4, + "learning_rate": 1.31255155050744e-05, + "loss": 2.4885, + "step": 8860 + }, + { + "epoch": 0.4, + "learning_rate": 1.3111926146760047e-05, + "loss": 2.4722, + "step": 8870 + }, + { + "epoch": 0.4, + "learning_rate": 1.309833042244711e-05, + "loss": 2.4638, + "step": 8880 + }, + { + "epoch": 0.4, + "learning_rate": 1.308472835994806e-05, + "loss": 2.4892, + "step": 8890 + }, + { + "epoch": 0.4, + "learning_rate": 1.3071119987088339e-05, + "loss": 2.4763, + "step": 8900 + }, + { + "epoch": 0.4, + "learning_rate": 1.3057505331706288e-05, + "loss": 2.494, + "step": 8910 + }, + { + "epoch": 0.4, + "learning_rate": 1.3043884421653115e-05, + "loss": 2.4811, + "step": 8920 + }, + { + "epoch": 0.4, + "learning_rate": 1.303025728479281e-05, + "loss": 2.4878, + "step": 8930 + }, + { + "epoch": 0.41, + "learning_rate": 1.3016623949002104e-05, + "loss": 2.4671, + "step": 8940 + }, + { + "epoch": 0.41, + "learning_rate": 1.3002984442170416e-05, + "loss": 2.4678, + "step": 8950 + }, + { + "epoch": 0.41, + "learning_rate": 1.2989338792199782e-05, + "loss": 2.4962, + "step": 8960 + }, + { + "epoch": 0.41, + "learning_rate": 1.2975687027004804e-05, + "loss": 2.4836, + "step": 8970 + }, + { + "epoch": 0.41, + "learning_rate": 1.29620291745126e-05, + "loss": 2.5108, + "step": 8980 + }, + { + "epoch": 0.41, + "learning_rate": 1.2948365262662734e-05, + "loss": 2.4853, + "step": 8990 + }, + { + "epoch": 0.41, + "learning_rate": 1.2934695319407176e-05, + "loss": 2.463, + "step": 9000 + }, + { + "epoch": 0.41, + "learning_rate": 1.2921019372710217e-05, + "loss": 2.4847, + "step": 9010 + }, + { + "epoch": 0.41, + "learning_rate": 1.2907337450548446e-05, + "loss": 2.4742, + "step": 9020 + }, + { + "epoch": 0.41, + "learning_rate": 1.289364958091067e-05, + "loss": 2.4816, + "step": 9030 + }, + { + "epoch": 0.41, + "learning_rate": 1.2879955791797853e-05, + "loss": 2.4556, + "step": 9040 + }, + { + "epoch": 0.41, + "learning_rate": 1.2866256111223085e-05, + "loss": 2.4868, + "step": 9050 + }, + { + "epoch": 0.41, + "learning_rate": 1.2852550567211498e-05, + "loss": 2.4913, + "step": 9060 + }, + { + "epoch": 0.41, + "learning_rate": 1.2838839187800218e-05, + "loss": 2.4818, + "step": 9070 + }, + { + "epoch": 0.41, + "learning_rate": 1.282512200103831e-05, + "loss": 2.5155, + "step": 9080 + }, + { + "epoch": 0.41, + "learning_rate": 1.2811399034986726e-05, + "loss": 2.4636, + "step": 9090 + }, + { + "epoch": 0.41, + "learning_rate": 1.2797670317718234e-05, + "loss": 2.47, + "step": 9100 + }, + { + "epoch": 0.41, + "learning_rate": 1.2783935877317362e-05, + "loss": 2.4984, + "step": 9110 + }, + { + "epoch": 0.41, + "learning_rate": 1.2770195741880356e-05, + "loss": 2.4898, + "step": 9120 + }, + { + "epoch": 0.41, + "learning_rate": 1.2756449939515107e-05, + "loss": 2.4708, + "step": 9130 + }, + { + "epoch": 0.41, + "learning_rate": 1.2742698498341098e-05, + "loss": 2.4779, + "step": 9140 + }, + { + "epoch": 0.41, + "learning_rate": 1.2728941446489347e-05, + "loss": 2.47, + "step": 9150 + }, + { + "epoch": 0.42, + "learning_rate": 1.2715178812102353e-05, + "loss": 2.4753, + "step": 9160 + }, + { + "epoch": 0.42, + "learning_rate": 1.2701410623334037e-05, + "loss": 2.5039, + "step": 9170 + }, + { + "epoch": 0.42, + "learning_rate": 1.2687636908349671e-05, + "loss": 2.4783, + "step": 9180 + }, + { + "epoch": 0.42, + "learning_rate": 1.2673857695325846e-05, + "loss": 2.4995, + "step": 9190 + }, + { + "epoch": 0.42, + "learning_rate": 1.2660073012450389e-05, + "loss": 2.4753, + "step": 9200 + }, + { + "epoch": 0.42, + "learning_rate": 1.2646282887922325e-05, + "loss": 2.4616, + "step": 9210 + }, + { + "epoch": 0.42, + "learning_rate": 1.2632487349951805e-05, + "loss": 2.4776, + "step": 9220 + }, + { + "epoch": 0.42, + "learning_rate": 1.2618686426760058e-05, + "loss": 2.4758, + "step": 9230 + }, + { + "epoch": 0.42, + "learning_rate": 1.2604880146579326e-05, + "loss": 2.4691, + "step": 9240 + }, + { + "epoch": 0.42, + "learning_rate": 1.2591068537652813e-05, + "loss": 2.4921, + "step": 9250 + }, + { + "epoch": 0.42, + "learning_rate": 1.257725162823462e-05, + "loss": 2.4803, + "step": 9260 + }, + { + "epoch": 0.42, + "learning_rate": 1.2563429446589695e-05, + "loss": 2.4763, + "step": 9270 + }, + { + "epoch": 0.42, + "learning_rate": 1.2549602020993769e-05, + "loss": 2.4785, + "step": 9280 + }, + { + "epoch": 0.42, + "learning_rate": 1.2535769379733305e-05, + "loss": 2.5066, + "step": 9290 + }, + { + "epoch": 0.42, + "learning_rate": 1.2521931551105427e-05, + "loss": 2.4683, + "step": 9300 + }, + { + "epoch": 0.42, + "learning_rate": 1.2508088563417875e-05, + "loss": 2.4796, + "step": 9310 + }, + { + "epoch": 0.42, + "learning_rate": 1.2494240444988943e-05, + "loss": 2.4638, + "step": 9320 + }, + { + "epoch": 0.42, + "learning_rate": 1.2480387224147426e-05, + "loss": 2.4631, + "step": 9330 + }, + { + "epoch": 0.42, + "learning_rate": 1.2466528929232548e-05, + "loss": 2.4953, + "step": 9340 + }, + { + "epoch": 0.42, + "learning_rate": 1.245266558859392e-05, + "loss": 2.4954, + "step": 9350 + }, + { + "epoch": 0.42, + "learning_rate": 1.2438797230591468e-05, + "loss": 2.481, + "step": 9360 + }, + { + "epoch": 0.42, + "learning_rate": 1.2424923883595389e-05, + "loss": 2.4852, + "step": 9370 + }, + { + "epoch": 0.43, + "learning_rate": 1.2411045575986079e-05, + "loss": 2.4744, + "step": 9380 + }, + { + "epoch": 0.43, + "learning_rate": 1.2397162336154085e-05, + "loss": 2.4688, + "step": 9390 + }, + { + "epoch": 0.43, + "learning_rate": 1.2383274192500048e-05, + "loss": 2.4656, + "step": 9400 + }, + { + "epoch": 0.43, + "learning_rate": 1.2369381173434636e-05, + "loss": 2.4552, + "step": 9410 + }, + { + "epoch": 0.43, + "learning_rate": 1.235548330737849e-05, + "loss": 2.4615, + "step": 9420 + }, + { + "epoch": 0.43, + "learning_rate": 1.2341580622762164e-05, + "loss": 2.4731, + "step": 9430 + }, + { + "epoch": 0.43, + "learning_rate": 1.2327673148026079e-05, + "loss": 2.4722, + "step": 9440 + }, + { + "epoch": 0.43, + "learning_rate": 1.2313760911620447e-05, + "loss": 2.4791, + "step": 9450 + }, + { + "epoch": 0.43, + "learning_rate": 1.229984394200522e-05, + "loss": 2.4814, + "step": 9460 + }, + { + "epoch": 0.43, + "learning_rate": 1.2285922267650038e-05, + "loss": 2.4528, + "step": 9470 + }, + { + "epoch": 0.43, + "learning_rate": 1.2271995917034166e-05, + "loss": 2.4879, + "step": 9480 + }, + { + "epoch": 0.43, + "learning_rate": 1.2258064918646424e-05, + "loss": 2.4689, + "step": 9490 + }, + { + "epoch": 0.43, + "learning_rate": 1.2244129300985153e-05, + "loss": 2.4963, + "step": 9500 + }, + { + "epoch": 0.43, + "learning_rate": 1.2230189092558138e-05, + "loss": 2.4701, + "step": 9510 + }, + { + "epoch": 0.43, + "learning_rate": 1.2216244321882553e-05, + "loss": 2.4841, + "step": 9520 + }, + { + "epoch": 0.43, + "learning_rate": 1.2202295017484911e-05, + "loss": 2.4951, + "step": 9530 + }, + { + "epoch": 0.43, + "learning_rate": 1.2188341207900991e-05, + "loss": 2.4291, + "step": 9540 + }, + { + "epoch": 0.43, + "learning_rate": 1.2174382921675799e-05, + "loss": 2.4742, + "step": 9550 + }, + { + "epoch": 0.43, + "learning_rate": 1.2160420187363484e-05, + "loss": 2.4867, + "step": 9560 + }, + { + "epoch": 0.43, + "learning_rate": 1.2146453033527315e-05, + "loss": 2.4603, + "step": 9570 + }, + { + "epoch": 0.43, + "learning_rate": 1.213248148873958e-05, + "loss": 2.4703, + "step": 9580 + }, + { + "epoch": 0.43, + "learning_rate": 1.2118505581581568e-05, + "loss": 2.4585, + "step": 9590 + }, + { + "epoch": 0.44, + "learning_rate": 1.2104525340643479e-05, + "loss": 2.4888, + "step": 9600 + }, + { + "epoch": 0.44, + "learning_rate": 1.2090540794524382e-05, + "loss": 2.4635, + "step": 9610 + }, + { + "epoch": 0.44, + "learning_rate": 1.2076551971832154e-05, + "loss": 2.4772, + "step": 9620 + }, + { + "epoch": 0.44, + "learning_rate": 1.2062558901183422e-05, + "loss": 2.4872, + "step": 9630 + }, + { + "epoch": 0.44, + "learning_rate": 1.2048561611203501e-05, + "loss": 2.4838, + "step": 9640 + }, + { + "epoch": 0.44, + "learning_rate": 1.2034560130526341e-05, + "loss": 2.4642, + "step": 9650 + }, + { + "epoch": 0.44, + "learning_rate": 1.2020554487794455e-05, + "loss": 2.5052, + "step": 9660 + }, + { + "epoch": 0.44, + "learning_rate": 1.2006544711658884e-05, + "loss": 2.4885, + "step": 9670 + }, + { + "epoch": 0.44, + "learning_rate": 1.1992530830779116e-05, + "loss": 2.4674, + "step": 9680 + }, + { + "epoch": 0.44, + "learning_rate": 1.1978512873823036e-05, + "loss": 2.4788, + "step": 9690 + }, + { + "epoch": 0.44, + "learning_rate": 1.1964490869466869e-05, + "loss": 2.4905, + "step": 9700 + }, + { + "epoch": 0.44, + "learning_rate": 1.1950464846395123e-05, + "loss": 2.5041, + "step": 9710 + }, + { + "epoch": 0.44, + "learning_rate": 1.1936434833300517e-05, + "loss": 2.4659, + "step": 9720 + }, + { + "epoch": 0.44, + "learning_rate": 1.1922400858883942e-05, + "loss": 2.4741, + "step": 9730 + }, + { + "epoch": 0.44, + "learning_rate": 1.1908362951854393e-05, + "loss": 2.4725, + "step": 9740 + }, + { + "epoch": 0.44, + "learning_rate": 1.1894321140928901e-05, + "loss": 2.478, + "step": 9750 + }, + { + "epoch": 0.44, + "learning_rate": 1.1880275454832493e-05, + "loss": 2.47, + "step": 9760 + }, + { + "epoch": 0.44, + "learning_rate": 1.1866225922298116e-05, + "loss": 2.474, + "step": 9770 + }, + { + "epoch": 0.44, + "learning_rate": 1.185217257206659e-05, + "loss": 2.4519, + "step": 9780 + }, + { + "epoch": 0.44, + "learning_rate": 1.183811543288654e-05, + "loss": 2.4818, + "step": 9790 + }, + { + "epoch": 0.44, + "learning_rate": 1.1824054533514349e-05, + "loss": 2.4663, + "step": 9800 + }, + { + "epoch": 0.44, + "learning_rate": 1.1809989902714085e-05, + "loss": 2.4877, + "step": 9810 + }, + { + "epoch": 0.45, + "learning_rate": 1.1795921569257456e-05, + "loss": 2.4713, + "step": 9820 + }, + { + "epoch": 0.45, + "learning_rate": 1.178184956192374e-05, + "loss": 2.4738, + "step": 9830 + }, + { + "epoch": 0.45, + "learning_rate": 1.1767773909499729e-05, + "loss": 2.457, + "step": 9840 + }, + { + "epoch": 0.45, + "learning_rate": 1.1753694640779677e-05, + "loss": 2.4695, + "step": 9850 + }, + { + "epoch": 0.45, + "learning_rate": 1.1739611784565232e-05, + "loss": 2.4408, + "step": 9860 + }, + { + "epoch": 0.45, + "learning_rate": 1.1725525369665383e-05, + "loss": 2.4893, + "step": 9870 + }, + { + "epoch": 0.45, + "learning_rate": 1.1711435424896395e-05, + "loss": 2.4603, + "step": 9880 + }, + { + "epoch": 0.45, + "learning_rate": 1.169734197908176e-05, + "loss": 2.4992, + "step": 9890 + }, + { + "epoch": 0.45, + "learning_rate": 1.1683245061052126e-05, + "loss": 2.4855, + "step": 9900 + }, + { + "epoch": 0.45, + "learning_rate": 1.1669144699645249e-05, + "loss": 2.4751, + "step": 9910 + }, + { + "epoch": 0.45, + "learning_rate": 1.1655040923705926e-05, + "loss": 2.4548, + "step": 9920 + }, + { + "epoch": 0.45, + "learning_rate": 1.1640933762085943e-05, + "loss": 2.4694, + "step": 9930 + }, + { + "epoch": 0.45, + "learning_rate": 1.1626823243644006e-05, + "loss": 2.469, + "step": 9940 + }, + { + "epoch": 0.45, + "learning_rate": 1.161270939724569e-05, + "loss": 2.5118, + "step": 9950 + }, + { + "epoch": 0.45, + "learning_rate": 1.1598592251763378e-05, + "loss": 2.4749, + "step": 9960 + }, + { + "epoch": 0.45, + "learning_rate": 1.1584471836076208e-05, + "loss": 2.4817, + "step": 9970 + }, + { + "epoch": 0.45, + "learning_rate": 1.1570348179069998e-05, + "loss": 2.4811, + "step": 9980 + }, + { + "epoch": 0.45, + "learning_rate": 1.1556221309637204e-05, + "loss": 2.4543, + "step": 9990 + }, + { + "epoch": 0.45, + "learning_rate": 1.1542091256676846e-05, + "loss": 2.463, + "step": 10000 + }, + { + "epoch": 0.45, + "eval_accuracy": 0.5409716963389947, + "eval_loss": 2.238548755645752, + "eval_runtime": 9.8782, + "eval_samples_per_second": 138.385, + "eval_steps_per_second": 1.114, + "step": 10000 + }, + { + "epoch": 0.45, + "learning_rate": 1.1527958049094466e-05, + "loss": 2.5025, + "step": 10010 + }, + { + "epoch": 0.45, + "learning_rate": 1.1513821715802052e-05, + "loss": 2.4632, + "step": 10020 + }, + { + "epoch": 0.45, + "learning_rate": 1.149968228571799e-05, + "loss": 2.4893, + "step": 10030 + }, + { + "epoch": 0.46, + "learning_rate": 1.1485539787767e-05, + "loss": 2.4654, + "step": 10040 + }, + { + "epoch": 0.46, + "learning_rate": 1.1471394250880077e-05, + "loss": 2.4884, + "step": 10050 + }, + { + "epoch": 0.46, + "learning_rate": 1.1457245703994433e-05, + "loss": 2.4646, + "step": 10060 + }, + { + "epoch": 0.46, + "learning_rate": 1.1443094176053439e-05, + "loss": 2.5017, + "step": 10070 + }, + { + "epoch": 0.46, + "learning_rate": 1.1428939696006564e-05, + "loss": 2.4983, + "step": 10080 + }, + { + "epoch": 0.46, + "learning_rate": 1.1414782292809314e-05, + "loss": 2.4971, + "step": 10090 + }, + { + "epoch": 0.46, + "learning_rate": 1.1400621995423175e-05, + "loss": 2.4909, + "step": 10100 + }, + { + "epoch": 0.46, + "learning_rate": 1.1386458832815554e-05, + "loss": 2.467, + "step": 10110 + }, + { + "epoch": 0.46, + "learning_rate": 1.1372292833959723e-05, + "loss": 2.4878, + "step": 10120 + }, + { + "epoch": 0.46, + "learning_rate": 1.135812402783475e-05, + "loss": 2.5128, + "step": 10130 + }, + { + "epoch": 0.46, + "learning_rate": 1.1343952443425452e-05, + "loss": 2.4584, + "step": 10140 + }, + { + "epoch": 0.46, + "learning_rate": 1.1329778109722325e-05, + "loss": 2.4873, + "step": 10150 + }, + { + "epoch": 0.46, + "learning_rate": 1.1315601055721488e-05, + "loss": 2.4796, + "step": 10160 + }, + { + "epoch": 0.46, + "learning_rate": 1.130142131042463e-05, + "loss": 2.4332, + "step": 10170 + }, + { + "epoch": 0.46, + "learning_rate": 1.1287238902838942e-05, + "loss": 2.4768, + "step": 10180 + }, + { + "epoch": 0.46, + "learning_rate": 1.1273053861977062e-05, + "loss": 2.4962, + "step": 10190 + }, + { + "epoch": 0.46, + "learning_rate": 1.1258866216857015e-05, + "loss": 2.4744, + "step": 10200 + }, + { + "epoch": 0.46, + "learning_rate": 1.124467599650215e-05, + "loss": 2.4636, + "step": 10210 + }, + { + "epoch": 0.46, + "learning_rate": 1.1230483229941092e-05, + "loss": 2.4826, + "step": 10220 + }, + { + "epoch": 0.46, + "learning_rate": 1.1216287946207667e-05, + "loss": 2.4625, + "step": 10230 + }, + { + "epoch": 0.46, + "learning_rate": 1.1202090174340855e-05, + "loss": 2.4428, + "step": 10240 + }, + { + "epoch": 0.46, + "learning_rate": 1.1187889943384722e-05, + "loss": 2.4797, + "step": 10250 + }, + { + "epoch": 0.46, + "learning_rate": 1.117368728238837e-05, + "loss": 2.4933, + "step": 10260 + }, + { + "epoch": 0.47, + "learning_rate": 1.115948222040587e-05, + "loss": 2.4521, + "step": 10270 + }, + { + "epoch": 0.47, + "learning_rate": 1.11452747864962e-05, + "loss": 2.4748, + "step": 10280 + }, + { + "epoch": 0.47, + "learning_rate": 1.1131065009723195e-05, + "loss": 2.4887, + "step": 10290 + }, + { + "epoch": 0.47, + "learning_rate": 1.111685291915548e-05, + "loss": 2.4836, + "step": 10300 + }, + { + "epoch": 0.47, + "learning_rate": 1.1102638543866418e-05, + "loss": 2.5095, + "step": 10310 + }, + { + "epoch": 0.47, + "learning_rate": 1.108842191293404e-05, + "loss": 2.4714, + "step": 10320 + }, + { + "epoch": 0.47, + "learning_rate": 1.1074203055440995e-05, + "loss": 2.4761, + "step": 10330 + }, + { + "epoch": 0.47, + "learning_rate": 1.1059982000474486e-05, + "loss": 2.4847, + "step": 10340 + }, + { + "epoch": 0.47, + "learning_rate": 1.104575877712621e-05, + "loss": 2.4751, + "step": 10350 + }, + { + "epoch": 0.47, + "learning_rate": 1.1031533414492301e-05, + "loss": 2.4657, + "step": 10360 + }, + { + "epoch": 0.47, + "learning_rate": 1.1017305941673269e-05, + "loss": 2.4617, + "step": 10370 + }, + { + "epoch": 0.47, + "learning_rate": 1.100307638777394e-05, + "loss": 2.5021, + "step": 10380 + }, + { + "epoch": 0.47, + "learning_rate": 1.0988844781903402e-05, + "loss": 2.4764, + "step": 10390 + }, + { + "epoch": 0.47, + "learning_rate": 1.0974611153174934e-05, + "loss": 2.5, + "step": 10400 + }, + { + "epoch": 0.47, + "learning_rate": 1.0960375530705958e-05, + "loss": 2.4802, + "step": 10410 + }, + { + "epoch": 0.47, + "learning_rate": 1.0946137943617967e-05, + "loss": 2.4398, + "step": 10420 + }, + { + "epoch": 0.47, + "learning_rate": 1.0931898421036484e-05, + "loss": 2.4764, + "step": 10430 + }, + { + "epoch": 0.47, + "learning_rate": 1.0917656992090984e-05, + "loss": 2.4588, + "step": 10440 + }, + { + "epoch": 0.47, + "learning_rate": 1.0903413685914843e-05, + "loss": 2.4786, + "step": 10450 + }, + { + "epoch": 0.47, + "learning_rate": 1.0889168531645277e-05, + "loss": 2.4669, + "step": 10460 + }, + { + "epoch": 0.47, + "learning_rate": 1.0874921558423288e-05, + "loss": 2.4847, + "step": 10470 + }, + { + "epoch": 0.47, + "learning_rate": 1.0860672795393588e-05, + "loss": 2.468, + "step": 10480 + }, + { + "epoch": 0.48, + "learning_rate": 1.0846422271704561e-05, + "loss": 2.4586, + "step": 10490 + }, + { + "epoch": 0.48, + "learning_rate": 1.083217001650819e-05, + "loss": 2.4695, + "step": 10500 + }, + { + "epoch": 0.48, + "learning_rate": 1.0817916058959994e-05, + "loss": 2.4669, + "step": 10510 + }, + { + "epoch": 0.48, + "learning_rate": 1.0803660428218982e-05, + "loss": 2.4742, + "step": 10520 + }, + { + "epoch": 0.48, + "learning_rate": 1.0789403153447584e-05, + "loss": 2.4924, + "step": 10530 + }, + { + "epoch": 0.48, + "learning_rate": 1.077514426381159e-05, + "loss": 2.5009, + "step": 10540 + }, + { + "epoch": 0.48, + "learning_rate": 1.0760883788480095e-05, + "loss": 2.4916, + "step": 10550 + }, + { + "epoch": 0.48, + "learning_rate": 1.0746621756625442e-05, + "loss": 2.4864, + "step": 10560 + }, + { + "epoch": 0.48, + "learning_rate": 1.0732358197423149e-05, + "loss": 2.4607, + "step": 10570 + }, + { + "epoch": 0.48, + "learning_rate": 1.071809314005187e-05, + "loss": 2.4872, + "step": 10580 + }, + { + "epoch": 0.48, + "learning_rate": 1.070382661369331e-05, + "loss": 2.4654, + "step": 10590 + }, + { + "epoch": 0.48, + "learning_rate": 1.0689558647532197e-05, + "loss": 2.4703, + "step": 10600 + }, + { + "epoch": 0.48, + "learning_rate": 1.0675289270756186e-05, + "loss": 2.4827, + "step": 10610 + }, + { + "epoch": 0.48, + "learning_rate": 1.066101851255583e-05, + "loss": 2.473, + "step": 10620 + }, + { + "epoch": 0.48, + "learning_rate": 1.0646746402124504e-05, + "loss": 2.4486, + "step": 10630 + }, + { + "epoch": 0.48, + "learning_rate": 1.0632472968658348e-05, + "loss": 2.4877, + "step": 10640 + }, + { + "epoch": 0.48, + "learning_rate": 1.0618198241356206e-05, + "loss": 2.4764, + "step": 10650 + }, + { + "epoch": 0.48, + "learning_rate": 1.0603922249419579e-05, + "loss": 2.4597, + "step": 10660 + }, + { + "epoch": 0.48, + "learning_rate": 1.0589645022052544e-05, + "loss": 2.4598, + "step": 10670 + }, + { + "epoch": 0.48, + "learning_rate": 1.057536658846171e-05, + "loss": 2.4909, + "step": 10680 + }, + { + "epoch": 0.48, + "learning_rate": 1.0561086977856157e-05, + "loss": 2.4626, + "step": 10690 + }, + { + "epoch": 0.48, + "learning_rate": 1.0546806219447363e-05, + "loss": 2.4911, + "step": 10700 + }, + { + "epoch": 0.49, + "learning_rate": 1.0532524342449165e-05, + "loss": 2.4544, + "step": 10710 + }, + { + "epoch": 0.49, + "learning_rate": 1.0518241376077678e-05, + "loss": 2.4779, + "step": 10720 + }, + { + "epoch": 0.49, + "learning_rate": 1.050395734955126e-05, + "loss": 2.4778, + "step": 10730 + }, + { + "epoch": 0.49, + "learning_rate": 1.0489672292090419e-05, + "loss": 2.4548, + "step": 10740 + }, + { + "epoch": 0.49, + "learning_rate": 1.0475386232917789e-05, + "loss": 2.4474, + "step": 10750 + }, + { + "epoch": 0.49, + "learning_rate": 1.046109920125804e-05, + "loss": 2.4791, + "step": 10760 + }, + { + "epoch": 0.49, + "learning_rate": 1.0446811226337839e-05, + "loss": 2.4879, + "step": 10770 + }, + { + "epoch": 0.49, + "learning_rate": 1.0432522337385782e-05, + "loss": 2.4726, + "step": 10780 + }, + { + "epoch": 0.49, + "learning_rate": 1.041823256363233e-05, + "loss": 2.4786, + "step": 10790 + }, + { + "epoch": 0.49, + "learning_rate": 1.0403941934309763e-05, + "loss": 2.465, + "step": 10800 + }, + { + "epoch": 0.49, + "learning_rate": 1.0389650478652103e-05, + "loss": 2.4702, + "step": 10810 + }, + { + "epoch": 0.49, + "learning_rate": 1.037535822589506e-05, + "loss": 2.4907, + "step": 10820 + }, + { + "epoch": 0.49, + "learning_rate": 1.036106520527599e-05, + "loss": 2.4662, + "step": 10830 + }, + { + "epoch": 0.49, + "learning_rate": 1.03467714460338e-05, + "loss": 2.4916, + "step": 10840 + }, + { + "epoch": 0.49, + "learning_rate": 1.0332476977408927e-05, + "loss": 2.468, + "step": 10850 + }, + { + "epoch": 0.49, + "learning_rate": 1.0318181828643244e-05, + "loss": 2.4903, + "step": 10860 + }, + { + "epoch": 0.49, + "learning_rate": 1.0303886028980019e-05, + "loss": 2.4821, + "step": 10870 + }, + { + "epoch": 0.49, + "learning_rate": 1.028958960766386e-05, + "loss": 2.4746, + "step": 10880 + }, + { + "epoch": 0.49, + "learning_rate": 1.0275292593940634e-05, + "loss": 2.4571, + "step": 10890 + }, + { + "epoch": 0.49, + "learning_rate": 1.026099501705743e-05, + "loss": 2.4814, + "step": 10900 + }, + { + "epoch": 0.49, + "learning_rate": 1.0246696906262484e-05, + "loss": 2.4966, + "step": 10910 + }, + { + "epoch": 0.49, + "learning_rate": 1.0232398290805123e-05, + "loss": 2.5007, + "step": 10920 + }, + { + "epoch": 0.5, + "learning_rate": 1.0218099199935715e-05, + "loss": 2.4785, + "step": 10930 + }, + { + "epoch": 0.5, + "learning_rate": 1.0203799662905592e-05, + "loss": 2.4657, + "step": 10940 + }, + { + "epoch": 0.5, + "learning_rate": 1.0189499708966997e-05, + "loss": 2.4478, + "step": 10950 + }, + { + "epoch": 0.5, + "learning_rate": 1.0175199367373032e-05, + "loss": 2.456, + "step": 10960 + }, + { + "epoch": 0.5, + "learning_rate": 1.0160898667377594e-05, + "loss": 2.4703, + "step": 10970 + }, + { + "epoch": 0.5, + "learning_rate": 1.0146597638235303e-05, + "loss": 2.4726, + "step": 10980 + }, + { + "epoch": 0.5, + "learning_rate": 1.0132296309201463e-05, + "loss": 2.4659, + "step": 10990 + }, + { + "epoch": 0.5, + "learning_rate": 1.0117994709531987e-05, + "loss": 2.528, + "step": 11000 + }, + { + "epoch": 0.5, + "learning_rate": 1.0103692868483338e-05, + "loss": 2.5046, + "step": 11010 + }, + { + "epoch": 0.5, + "learning_rate": 1.0089390815312476e-05, + "loss": 2.4595, + "step": 11020 + }, + { + "epoch": 0.5, + "learning_rate": 1.00750885792768e-05, + "loss": 2.4854, + "step": 11030 + }, + { + "epoch": 0.5, + "learning_rate": 1.0060786189634075e-05, + "loss": 2.4941, + "step": 11040 + }, + { + "epoch": 0.5, + "learning_rate": 1.0046483675642386e-05, + "loss": 2.4553, + "step": 11050 + }, + { + "epoch": 0.5, + "learning_rate": 1.0032181066560066e-05, + "loss": 2.4882, + "step": 11060 + }, + { + "epoch": 0.5, + "learning_rate": 1.001787839164565e-05, + "loss": 2.4697, + "step": 11070 + }, + { + "epoch": 0.5, + "learning_rate": 1.0003575680157802e-05, + "loss": 2.4672, + "step": 11080 + }, + { + "epoch": 0.5, + "learning_rate": 9.989272961355266e-06, + "loss": 2.4758, + "step": 11090 + }, + { + "epoch": 0.5, + "learning_rate": 9.974970264496798e-06, + "loss": 2.4676, + "step": 11100 + }, + { + "epoch": 0.5, + "learning_rate": 9.960667618841101e-06, + "loss": 2.4688, + "step": 11110 + }, + { + "epoch": 0.5, + "learning_rate": 9.946365053646796e-06, + "loss": 2.4346, + "step": 11120 + }, + { + "epoch": 0.5, + "learning_rate": 9.932062598172308e-06, + "loss": 2.5007, + "step": 11130 + }, + { + "epoch": 0.5, + "learning_rate": 9.917760281675867e-06, + "loss": 2.4631, + "step": 11140 + }, + { + "epoch": 0.51, + "learning_rate": 9.903458133415398e-06, + "loss": 2.4774, + "step": 11150 + }, + { + "epoch": 0.51, + "learning_rate": 9.889156182648498e-06, + "loss": 2.4702, + "step": 11160 + }, + { + "epoch": 0.51, + "learning_rate": 9.87485445863234e-06, + "loss": 2.493, + "step": 11170 + }, + { + "epoch": 0.51, + "learning_rate": 9.860552990623657e-06, + "loss": 2.4554, + "step": 11180 + }, + { + "epoch": 0.51, + "learning_rate": 9.846251807878638e-06, + "loss": 2.4582, + "step": 11190 + }, + { + "epoch": 0.51, + "learning_rate": 9.831950939652903e-06, + "loss": 2.4747, + "step": 11200 + }, + { + "epoch": 0.51, + "learning_rate": 9.817650415201415e-06, + "loss": 2.4689, + "step": 11210 + }, + { + "epoch": 0.51, + "learning_rate": 9.80335026377845e-06, + "loss": 2.4748, + "step": 11220 + }, + { + "epoch": 0.51, + "learning_rate": 9.789050514637507e-06, + "loss": 2.4528, + "step": 11230 + }, + { + "epoch": 0.51, + "learning_rate": 9.774751197031264e-06, + "loss": 2.464, + "step": 11240 + }, + { + "epoch": 0.51, + "learning_rate": 9.760452340211525e-06, + "loss": 2.4807, + "step": 11250 + }, + { + "epoch": 0.51, + "learning_rate": 9.746153973429138e-06, + "loss": 2.4558, + "step": 11260 + }, + { + "epoch": 0.51, + "learning_rate": 9.731856125933962e-06, + "loss": 2.455, + "step": 11270 + }, + { + "epoch": 0.51, + "learning_rate": 9.717558826974789e-06, + "loss": 2.4982, + "step": 11280 + }, + { + "epoch": 0.51, + "learning_rate": 9.703262105799286e-06, + "loss": 2.4671, + "step": 11290 + }, + { + "epoch": 0.51, + "learning_rate": 9.688965991653934e-06, + "loss": 2.466, + "step": 11300 + }, + { + "epoch": 0.51, + "learning_rate": 9.674670513783989e-06, + "loss": 2.4909, + "step": 11310 + }, + { + "epoch": 0.51, + "learning_rate": 9.660375701433384e-06, + "loss": 2.455, + "step": 11320 + }, + { + "epoch": 0.51, + "learning_rate": 9.64608158384471e-06, + "loss": 2.4938, + "step": 11330 + }, + { + "epoch": 0.51, + "learning_rate": 9.631788190259118e-06, + "loss": 2.485, + "step": 11340 + }, + { + "epoch": 0.51, + "learning_rate": 9.617495549916297e-06, + "loss": 2.4972, + "step": 11350 + }, + { + "epoch": 0.51, + "learning_rate": 9.603203692054376e-06, + "loss": 2.4789, + "step": 11360 + }, + { + "epoch": 0.52, + "learning_rate": 9.588912645909905e-06, + "loss": 2.4842, + "step": 11370 + }, + { + "epoch": 0.52, + "learning_rate": 9.574622440717748e-06, + "loss": 2.4695, + "step": 11380 + }, + { + "epoch": 0.52, + "learning_rate": 9.560333105711073e-06, + "loss": 2.4725, + "step": 11390 + }, + { + "epoch": 0.52, + "learning_rate": 9.54604467012125e-06, + "loss": 2.4497, + "step": 11400 + }, + { + "epoch": 0.52, + "learning_rate": 9.531757163177819e-06, + "loss": 2.4851, + "step": 11410 + }, + { + "epoch": 0.52, + "learning_rate": 9.517470614108422e-06, + "loss": 2.4984, + "step": 11420 + }, + { + "epoch": 0.52, + "learning_rate": 9.503185052138725e-06, + "loss": 2.4936, + "step": 11430 + }, + { + "epoch": 0.52, + "learning_rate": 9.4889005064924e-06, + "loss": 2.473, + "step": 11440 + }, + { + "epoch": 0.52, + "learning_rate": 9.474617006391015e-06, + "loss": 2.4945, + "step": 11450 + }, + { + "epoch": 0.52, + "learning_rate": 9.460334581054019e-06, + "loss": 2.4932, + "step": 11460 + }, + { + "epoch": 0.52, + "learning_rate": 9.446053259698649e-06, + "loss": 2.4301, + "step": 11470 + }, + { + "epoch": 0.52, + "learning_rate": 9.431773071539894e-06, + "loss": 2.4555, + "step": 11480 + }, + { + "epoch": 0.52, + "learning_rate": 9.41749404579041e-06, + "loss": 2.4897, + "step": 11490 + }, + { + "epoch": 0.52, + "learning_rate": 9.403216211660498e-06, + "loss": 2.4859, + "step": 11500 + }, + { + "epoch": 0.52, + "learning_rate": 9.388939598357995e-06, + "loss": 2.4884, + "step": 11510 + }, + { + "epoch": 0.52, + "learning_rate": 9.374664235088262e-06, + "loss": 2.4721, + "step": 11520 + }, + { + "epoch": 0.52, + "learning_rate": 9.36039015105409e-06, + "loss": 2.4489, + "step": 11530 + }, + { + "epoch": 0.52, + "learning_rate": 9.346117375455658e-06, + "loss": 2.4761, + "step": 11540 + }, + { + "epoch": 0.52, + "learning_rate": 9.33184593749047e-06, + "loss": 2.4561, + "step": 11550 + }, + { + "epoch": 0.52, + "learning_rate": 9.317575866353293e-06, + "loss": 2.4629, + "step": 11560 + }, + { + "epoch": 0.52, + "learning_rate": 9.303307191236087e-06, + "loss": 2.4816, + "step": 11570 + }, + { + "epoch": 0.52, + "learning_rate": 9.289039941327979e-06, + "loss": 2.5062, + "step": 11580 + }, + { + "epoch": 0.53, + "learning_rate": 9.274774145815155e-06, + "loss": 2.4586, + "step": 11590 + }, + { + "epoch": 0.53, + "learning_rate": 9.260509833880848e-06, + "loss": 2.4809, + "step": 11600 + }, + { + "epoch": 0.53, + "learning_rate": 9.246247034705235e-06, + "loss": 2.4802, + "step": 11610 + }, + { + "epoch": 0.53, + "learning_rate": 9.23198577746542e-06, + "loss": 2.4742, + "step": 11620 + }, + { + "epoch": 0.53, + "learning_rate": 9.217726091335333e-06, + "loss": 2.4741, + "step": 11630 + }, + { + "epoch": 0.53, + "learning_rate": 9.203468005485702e-06, + "loss": 2.4874, + "step": 11640 + }, + { + "epoch": 0.53, + "learning_rate": 9.189211549083985e-06, + "loss": 2.4788, + "step": 11650 + }, + { + "epoch": 0.53, + "learning_rate": 9.174956751294288e-06, + "loss": 2.4903, + "step": 11660 + }, + { + "epoch": 0.53, + "learning_rate": 9.160703641277347e-06, + "loss": 2.455, + "step": 11670 + }, + { + "epoch": 0.53, + "learning_rate": 9.146452248190425e-06, + "loss": 2.4857, + "step": 11680 + }, + { + "epoch": 0.53, + "learning_rate": 9.132202601187292e-06, + "loss": 2.4862, + "step": 11690 + }, + { + "epoch": 0.53, + "learning_rate": 9.117954729418125e-06, + "loss": 2.4894, + "step": 11700 + }, + { + "epoch": 0.53, + "learning_rate": 9.103708662029492e-06, + "loss": 2.457, + "step": 11710 + }, + { + "epoch": 0.53, + "learning_rate": 9.089464428164247e-06, + "loss": 2.4887, + "step": 11720 + }, + { + "epoch": 0.53, + "learning_rate": 9.075222056961515e-06, + "loss": 2.486, + "step": 11730 + }, + { + "epoch": 0.53, + "learning_rate": 9.06098157755659e-06, + "loss": 2.4873, + "step": 11740 + }, + { + "epoch": 0.53, + "learning_rate": 9.046743019080915e-06, + "loss": 2.4694, + "step": 11750 + }, + { + "epoch": 0.53, + "learning_rate": 9.032506410661991e-06, + "loss": 2.4844, + "step": 11760 + }, + { + "epoch": 0.53, + "learning_rate": 9.018271781423334e-06, + "loss": 2.4693, + "step": 11770 + }, + { + "epoch": 0.53, + "learning_rate": 9.004039160484409e-06, + "loss": 2.4867, + "step": 11780 + }, + { + "epoch": 0.53, + "learning_rate": 8.98980857696058e-06, + "loss": 2.464, + "step": 11790 + }, + { + "epoch": 0.53, + "learning_rate": 8.975580059963027e-06, + "loss": 2.4595, + "step": 11800 + }, + { + "epoch": 0.54, + "learning_rate": 8.961353638598724e-06, + "loss": 2.4671, + "step": 11810 + }, + { + "epoch": 0.54, + "learning_rate": 8.947129341970342e-06, + "loss": 2.4666, + "step": 11820 + }, + { + "epoch": 0.54, + "learning_rate": 8.932907199176206e-06, + "loss": 2.4859, + "step": 11830 + }, + { + "epoch": 0.54, + "learning_rate": 8.91868723931025e-06, + "loss": 2.4529, + "step": 11840 + }, + { + "epoch": 0.54, + "learning_rate": 8.904469491461917e-06, + "loss": 2.462, + "step": 11850 + }, + { + "epoch": 0.54, + "learning_rate": 8.890253984716152e-06, + "loss": 2.4492, + "step": 11860 + }, + { + "epoch": 0.54, + "learning_rate": 8.876040748153301e-06, + "loss": 2.4945, + "step": 11870 + }, + { + "epoch": 0.54, + "learning_rate": 8.861829810849067e-06, + "loss": 2.4905, + "step": 11880 + }, + { + "epoch": 0.54, + "learning_rate": 8.847621201874447e-06, + "loss": 2.49, + "step": 11890 + }, + { + "epoch": 0.54, + "learning_rate": 8.833414950295685e-06, + "loss": 2.4897, + "step": 11900 + }, + { + "epoch": 0.54, + "learning_rate": 8.81921108517419e-06, + "loss": 2.4593, + "step": 11910 + }, + { + "epoch": 0.54, + "learning_rate": 8.805009635566502e-06, + "loss": 2.4447, + "step": 11920 + }, + { + "epoch": 0.54, + "learning_rate": 8.790810630524205e-06, + "loss": 2.4568, + "step": 11930 + }, + { + "epoch": 0.54, + "learning_rate": 8.776614099093897e-06, + "loss": 2.483, + "step": 11940 + }, + { + "epoch": 0.54, + "learning_rate": 8.762420070317102e-06, + "loss": 2.4614, + "step": 11950 + }, + { + "epoch": 0.54, + "learning_rate": 8.748228573230237e-06, + "loss": 2.4272, + "step": 11960 + }, + { + "epoch": 0.54, + "learning_rate": 8.73403963686453e-06, + "loss": 2.4839, + "step": 11970 + }, + { + "epoch": 0.54, + "learning_rate": 8.719853290245977e-06, + "loss": 2.4769, + "step": 11980 + }, + { + "epoch": 0.54, + "learning_rate": 8.705669562395276e-06, + "loss": 2.4887, + "step": 11990 + }, + { + "epoch": 0.54, + "learning_rate": 8.691488482327762e-06, + "loss": 2.4559, + "step": 12000 + }, + { + "epoch": 0.54, + "eval_accuracy": 0.5414407901370168, + "eval_loss": 2.2359259128570557, + "eval_runtime": 9.8425, + "eval_samples_per_second": 138.887, + "eval_steps_per_second": 1.118, + "step": 12000 + }, + { + "epoch": 0.54, + "learning_rate": 8.67731007905336e-06, + "loss": 2.4765, + "step": 12010 + }, + { + "epoch": 0.54, + "learning_rate": 8.66313438157651e-06, + "loss": 2.4874, + "step": 12020 + }, + { + "epoch": 0.55, + "learning_rate": 8.648961418896134e-06, + "loss": 2.5224, + "step": 12030 + }, + { + "epoch": 0.55, + "learning_rate": 8.634791220005539e-06, + "loss": 2.4972, + "step": 12040 + }, + { + "epoch": 0.55, + "learning_rate": 8.620623813892397e-06, + "loss": 2.4834, + "step": 12050 + }, + { + "epoch": 0.55, + "learning_rate": 8.606459229538645e-06, + "loss": 2.4802, + "step": 12060 + }, + { + "epoch": 0.55, + "learning_rate": 8.592297495920475e-06, + "loss": 2.4945, + "step": 12070 + }, + { + "epoch": 0.55, + "learning_rate": 8.57813864200822e-06, + "loss": 2.4804, + "step": 12080 + }, + { + "epoch": 0.55, + "learning_rate": 8.563982696766343e-06, + "loss": 2.4684, + "step": 12090 + }, + { + "epoch": 0.55, + "learning_rate": 8.549829689153346e-06, + "loss": 2.4806, + "step": 12100 + }, + { + "epoch": 0.55, + "learning_rate": 8.535679648121725e-06, + "loss": 2.4539, + "step": 12110 + }, + { + "epoch": 0.55, + "learning_rate": 8.521532602617901e-06, + "loss": 2.4654, + "step": 12120 + }, + { + "epoch": 0.55, + "learning_rate": 8.507388581582183e-06, + "loss": 2.4793, + "step": 12130 + }, + { + "epoch": 0.55, + "learning_rate": 8.493247613948673e-06, + "loss": 2.4696, + "step": 12140 + }, + { + "epoch": 0.55, + "learning_rate": 8.47910972864524e-06, + "loss": 2.4889, + "step": 12150 + }, + { + "epoch": 0.55, + "learning_rate": 8.464974954593443e-06, + "loss": 2.4896, + "step": 12160 + }, + { + "epoch": 0.55, + "learning_rate": 8.45084332070848e-06, + "loss": 2.478, + "step": 12170 + }, + { + "epoch": 0.55, + "learning_rate": 8.436714855899114e-06, + "loss": 2.454, + "step": 12180 + }, + { + "epoch": 0.55, + "learning_rate": 8.422589589067645e-06, + "loss": 2.4744, + "step": 12190 + }, + { + "epoch": 0.55, + "learning_rate": 8.40846754910981e-06, + "loss": 2.4624, + "step": 12200 + }, + { + "epoch": 0.55, + "learning_rate": 8.394348764914758e-06, + "loss": 2.4692, + "step": 12210 + }, + { + "epoch": 0.55, + "learning_rate": 8.380233265364973e-06, + "loss": 2.4601, + "step": 12220 + }, + { + "epoch": 0.55, + "learning_rate": 8.36612107933622e-06, + "loss": 2.476, + "step": 12230 + }, + { + "epoch": 0.55, + "learning_rate": 8.352012235697492e-06, + "loss": 2.4928, + "step": 12240 + }, + { + "epoch": 0.56, + "learning_rate": 8.33790676331093e-06, + "loss": 2.5132, + "step": 12250 + }, + { + "epoch": 0.56, + "learning_rate": 8.323804691031797e-06, + "loss": 2.4658, + "step": 12260 + }, + { + "epoch": 0.56, + "learning_rate": 8.309706047708378e-06, + "loss": 2.469, + "step": 12270 + }, + { + "epoch": 0.56, + "learning_rate": 8.29561086218197e-06, + "loss": 2.4982, + "step": 12280 + }, + { + "epoch": 0.56, + "learning_rate": 8.281519163286772e-06, + "loss": 2.4755, + "step": 12290 + }, + { + "epoch": 0.56, + "learning_rate": 8.26743097984987e-06, + "loss": 2.4668, + "step": 12300 + }, + { + "epoch": 0.56, + "learning_rate": 8.25334634069114e-06, + "loss": 2.4874, + "step": 12310 + }, + { + "epoch": 0.56, + "learning_rate": 8.239265274623227e-06, + "loss": 2.4933, + "step": 12320 + }, + { + "epoch": 0.56, + "learning_rate": 8.22518781045145e-06, + "loss": 2.4909, + "step": 12330 + }, + { + "epoch": 0.56, + "learning_rate": 8.211113976973768e-06, + "loss": 2.4741, + "step": 12340 + }, + { + "epoch": 0.56, + "learning_rate": 8.197043802980712e-06, + "loss": 2.4819, + "step": 12350 + }, + { + "epoch": 0.56, + "learning_rate": 8.18297731725533e-06, + "loss": 2.4838, + "step": 12360 + }, + { + "epoch": 0.56, + "learning_rate": 8.168914548573113e-06, + "loss": 2.4663, + "step": 12370 + }, + { + "epoch": 0.56, + "learning_rate": 8.154855525701965e-06, + "loss": 2.4944, + "step": 12380 + }, + { + "epoch": 0.56, + "learning_rate": 8.140800277402116e-06, + "loss": 2.4747, + "step": 12390 + }, + { + "epoch": 0.56, + "learning_rate": 8.12674883242607e-06, + "loss": 2.4589, + "step": 12400 + }, + { + "epoch": 0.56, + "learning_rate": 8.112701219518567e-06, + "loss": 2.4612, + "step": 12410 + }, + { + "epoch": 0.56, + "learning_rate": 8.09865746741649e-06, + "loss": 2.4959, + "step": 12420 + }, + { + "epoch": 0.56, + "learning_rate": 8.084617604848838e-06, + "loss": 2.4851, + "step": 12430 + }, + { + "epoch": 0.56, + "learning_rate": 8.07058166053665e-06, + "loss": 2.4846, + "step": 12440 + }, + { + "epoch": 0.56, + "learning_rate": 8.056549663192942e-06, + "loss": 2.4935, + "step": 12450 + }, + { + "epoch": 0.56, + "learning_rate": 8.04252164152266e-06, + "loss": 2.4802, + "step": 12460 + }, + { + "epoch": 0.57, + "learning_rate": 8.028497624222626e-06, + "loss": 2.4761, + "step": 12470 + }, + { + "epoch": 0.57, + "learning_rate": 8.014477639981455e-06, + "loss": 2.4767, + "step": 12480 + }, + { + "epoch": 0.57, + "learning_rate": 8.000461717479525e-06, + "loss": 2.4622, + "step": 12490 + }, + { + "epoch": 0.57, + "learning_rate": 7.986449885388889e-06, + "loss": 2.4456, + "step": 12500 + }, + { + "epoch": 0.57, + "learning_rate": 7.972442172373256e-06, + "loss": 2.4738, + "step": 12510 + }, + { + "epoch": 0.57, + "learning_rate": 7.958438607087884e-06, + "loss": 2.484, + "step": 12520 + }, + { + "epoch": 0.57, + "learning_rate": 7.944439218179565e-06, + "loss": 2.4505, + "step": 12530 + }, + { + "epoch": 0.57, + "learning_rate": 7.930444034286532e-06, + "loss": 2.4804, + "step": 12540 + }, + { + "epoch": 0.57, + "learning_rate": 7.916453084038432e-06, + "loss": 2.4537, + "step": 12550 + }, + { + "epoch": 0.57, + "learning_rate": 7.902466396056234e-06, + "loss": 2.4594, + "step": 12560 + }, + { + "epoch": 0.57, + "learning_rate": 7.888483998952204e-06, + "loss": 2.4833, + "step": 12570 + }, + { + "epoch": 0.57, + "learning_rate": 7.874505921329823e-06, + "loss": 2.45, + "step": 12580 + }, + { + "epoch": 0.57, + "learning_rate": 7.860532191783729e-06, + "loss": 2.4693, + "step": 12590 + }, + { + "epoch": 0.57, + "learning_rate": 7.846562838899679e-06, + "loss": 2.4696, + "step": 12600 + }, + { + "epoch": 0.57, + "learning_rate": 7.832597891254463e-06, + "loss": 2.4672, + "step": 12610 + }, + { + "epoch": 0.57, + "learning_rate": 7.818637377415872e-06, + "loss": 2.4988, + "step": 12620 + }, + { + "epoch": 0.57, + "learning_rate": 7.804681325942616e-06, + "loss": 2.488, + "step": 12630 + }, + { + "epoch": 0.57, + "learning_rate": 7.790729765384286e-06, + "loss": 2.4743, + "step": 12640 + }, + { + "epoch": 0.57, + "learning_rate": 7.776782724281275e-06, + "loss": 2.4833, + "step": 12650 + }, + { + "epoch": 0.57, + "learning_rate": 7.762840231164745e-06, + "loss": 2.4573, + "step": 12660 + }, + { + "epoch": 0.57, + "learning_rate": 7.748902314556539e-06, + "loss": 2.468, + "step": 12670 + }, + { + "epoch": 0.57, + "learning_rate": 7.73496900296915e-06, + "loss": 2.4519, + "step": 12680 + }, + { + "epoch": 0.58, + "learning_rate": 7.721040324905642e-06, + "loss": 2.4748, + "step": 12690 + }, + { + "epoch": 0.58, + "learning_rate": 7.707116308859609e-06, + "loss": 2.4708, + "step": 12700 + }, + { + "epoch": 0.58, + "learning_rate": 7.693196983315094e-06, + "loss": 2.4529, + "step": 12710 + }, + { + "epoch": 0.58, + "learning_rate": 7.679282376746567e-06, + "loss": 2.4409, + "step": 12720 + }, + { + "epoch": 0.58, + "learning_rate": 7.665372517618818e-06, + "loss": 2.4931, + "step": 12730 + }, + { + "epoch": 0.58, + "learning_rate": 7.651467434386951e-06, + "loss": 2.4605, + "step": 12740 + }, + { + "epoch": 0.58, + "learning_rate": 7.637567155496277e-06, + "loss": 2.4621, + "step": 12750 + }, + { + "epoch": 0.58, + "learning_rate": 7.623671709382297e-06, + "loss": 2.481, + "step": 12760 + }, + { + "epoch": 0.58, + "learning_rate": 7.609781124470613e-06, + "loss": 2.4536, + "step": 12770 + }, + { + "epoch": 0.58, + "learning_rate": 7.595895429176891e-06, + "loss": 2.473, + "step": 12780 + }, + { + "epoch": 0.58, + "learning_rate": 7.582014651906788e-06, + "loss": 2.4774, + "step": 12790 + }, + { + "epoch": 0.58, + "learning_rate": 7.5681388210559056e-06, + "loss": 2.4565, + "step": 12800 + }, + { + "epoch": 0.58, + "learning_rate": 7.5542679650097286e-06, + "loss": 2.4743, + "step": 12810 + }, + { + "epoch": 0.58, + "learning_rate": 7.540402112143551e-06, + "loss": 2.4498, + "step": 12820 + }, + { + "epoch": 0.58, + "learning_rate": 7.526541290822453e-06, + "loss": 2.4811, + "step": 12830 + }, + { + "epoch": 0.58, + "learning_rate": 7.5126855294012e-06, + "loss": 2.4997, + "step": 12840 + }, + { + "epoch": 0.58, + "learning_rate": 7.498834856224226e-06, + "loss": 2.4737, + "step": 12850 + }, + { + "epoch": 0.58, + "learning_rate": 7.48498929962554e-06, + "loss": 2.4443, + "step": 12860 + }, + { + "epoch": 0.58, + "learning_rate": 7.471148887928698e-06, + "loss": 2.4566, + "step": 12870 + }, + { + "epoch": 0.58, + "learning_rate": 7.457313649446719e-06, + "loss": 2.4765, + "step": 12880 + }, + { + "epoch": 0.58, + "learning_rate": 7.44348361248205e-06, + "loss": 2.4601, + "step": 12890 + }, + { + "epoch": 0.58, + "learning_rate": 7.429658805326485e-06, + "loss": 2.469, + "step": 12900 + }, + { + "epoch": 0.59, + "learning_rate": 7.415839256261133e-06, + "loss": 2.4644, + "step": 12910 + }, + { + "epoch": 0.59, + "learning_rate": 7.402024993556338e-06, + "loss": 2.4645, + "step": 12920 + }, + { + "epoch": 0.59, + "learning_rate": 7.3882160454716325e-06, + "loss": 2.4595, + "step": 12930 + }, + { + "epoch": 0.59, + "learning_rate": 7.374412440255673e-06, + "loss": 2.4701, + "step": 12940 + }, + { + "epoch": 0.59, + "learning_rate": 7.360614206146198e-06, + "loss": 2.4651, + "step": 12950 + }, + { + "epoch": 0.59, + "learning_rate": 7.346821371369945e-06, + "loss": 2.4749, + "step": 12960 + }, + { + "epoch": 0.59, + "learning_rate": 7.333033964142609e-06, + "loss": 2.5187, + "step": 12970 + }, + { + "epoch": 0.59, + "learning_rate": 7.31925201266879e-06, + "loss": 2.471, + "step": 12980 + }, + { + "epoch": 0.59, + "learning_rate": 7.305475545141916e-06, + "loss": 2.4607, + "step": 12990 + }, + { + "epoch": 0.59, + "learning_rate": 7.291704589744209e-06, + "loss": 2.4629, + "step": 13000 + }, + { + "epoch": 0.59, + "learning_rate": 7.2779391746466e-06, + "loss": 2.4691, + "step": 13010 + }, + { + "epoch": 0.59, + "learning_rate": 7.264179328008702e-06, + "loss": 2.4992, + "step": 13020 + }, + { + "epoch": 0.59, + "learning_rate": 7.250425077978726e-06, + "loss": 2.4771, + "step": 13030 + }, + { + "epoch": 0.59, + "learning_rate": 7.236676452693438e-06, + "loss": 2.4698, + "step": 13040 + }, + { + "epoch": 0.59, + "learning_rate": 7.2229334802780956e-06, + "loss": 2.4695, + "step": 13050 + }, + { + "epoch": 0.59, + "learning_rate": 7.209196188846399e-06, + "loss": 2.4729, + "step": 13060 + }, + { + "epoch": 0.59, + "learning_rate": 7.195464606500415e-06, + "loss": 2.4422, + "step": 13070 + }, + { + "epoch": 0.59, + "learning_rate": 7.181738761330546e-06, + "loss": 2.459, + "step": 13080 + }, + { + "epoch": 0.59, + "learning_rate": 7.168018681415441e-06, + "loss": 2.4536, + "step": 13090 + }, + { + "epoch": 0.59, + "learning_rate": 7.154304394821973e-06, + "loss": 2.4786, + "step": 13100 + }, + { + "epoch": 0.59, + "learning_rate": 7.14059592960515e-06, + "loss": 2.4563, + "step": 13110 + }, + { + "epoch": 0.59, + "learning_rate": 7.12689331380808e-06, + "loss": 2.4681, + "step": 13120 + }, + { + "epoch": 0.6, + "learning_rate": 7.113196575461896e-06, + "loss": 2.4908, + "step": 13130 + }, + { + "epoch": 0.6, + "learning_rate": 7.099505742585719e-06, + "loss": 2.4829, + "step": 13140 + }, + { + "epoch": 0.6, + "learning_rate": 7.085820843186584e-06, + "loss": 2.4811, + "step": 13150 + }, + { + "epoch": 0.6, + "learning_rate": 7.07214190525938e-06, + "loss": 2.4819, + "step": 13160 + }, + { + "epoch": 0.6, + "learning_rate": 7.0584689567868156e-06, + "loss": 2.4804, + "step": 13170 + }, + { + "epoch": 0.6, + "learning_rate": 7.0448020257393335e-06, + "loss": 2.4538, + "step": 13180 + }, + { + "epoch": 0.6, + "learning_rate": 7.031141140075081e-06, + "loss": 2.4562, + "step": 13190 + }, + { + "epoch": 0.6, + "learning_rate": 7.01748632773982e-06, + "loss": 2.4731, + "step": 13200 + }, + { + "epoch": 0.6, + "learning_rate": 7.003837616666906e-06, + "loss": 2.4594, + "step": 13210 + }, + { + "epoch": 0.6, + "learning_rate": 6.990195034777202e-06, + "loss": 2.4747, + "step": 13220 + }, + { + "epoch": 0.6, + "learning_rate": 6.976558609979041e-06, + "loss": 2.4613, + "step": 13230 + }, + { + "epoch": 0.6, + "learning_rate": 6.962928370168148e-06, + "loss": 2.4849, + "step": 13240 + }, + { + "epoch": 0.6, + "learning_rate": 6.949304343227611e-06, + "loss": 2.4788, + "step": 13250 + }, + { + "epoch": 0.6, + "learning_rate": 6.9356865570277985e-06, + "loss": 2.4661, + "step": 13260 + }, + { + "epoch": 0.6, + "learning_rate": 6.922075039426315e-06, + "loss": 2.4745, + "step": 13270 + }, + { + "epoch": 0.6, + "learning_rate": 6.908469818267938e-06, + "loss": 2.4808, + "step": 13280 + }, + { + "epoch": 0.6, + "learning_rate": 6.8948709213845755e-06, + "loss": 2.4845, + "step": 13290 + }, + { + "epoch": 0.6, + "learning_rate": 6.881278376595182e-06, + "loss": 2.5033, + "step": 13300 + }, + { + "epoch": 0.6, + "learning_rate": 6.867692211705735e-06, + "loss": 2.4862, + "step": 13310 + }, + { + "epoch": 0.6, + "learning_rate": 6.854112454509143e-06, + "loss": 2.4932, + "step": 13320 + }, + { + "epoch": 0.6, + "learning_rate": 6.840539132785224e-06, + "loss": 2.4466, + "step": 13330 + }, + { + "epoch": 0.6, + "learning_rate": 6.826972274300617e-06, + "loss": 2.4699, + "step": 13340 + }, + { + "epoch": 0.61, + "learning_rate": 6.8134119068087425e-06, + "loss": 2.484, + "step": 13350 + }, + { + "epoch": 0.61, + "learning_rate": 6.79985805804975e-06, + "loss": 2.4772, + "step": 13360 + }, + { + "epoch": 0.61, + "learning_rate": 6.786310755750446e-06, + "loss": 2.4542, + "step": 13370 + }, + { + "epoch": 0.61, + "learning_rate": 6.772770027624249e-06, + "loss": 2.4706, + "step": 13380 + }, + { + "epoch": 0.61, + "learning_rate": 6.759235901371124e-06, + "loss": 2.4257, + "step": 13390 + }, + { + "epoch": 0.61, + "learning_rate": 6.745708404677541e-06, + "loss": 2.4684, + "step": 13400 + }, + { + "epoch": 0.61, + "learning_rate": 6.7321875652163926e-06, + "loss": 2.4852, + "step": 13410 + }, + { + "epoch": 0.61, + "learning_rate": 6.718673410646971e-06, + "loss": 2.466, + "step": 13420 + }, + { + "epoch": 0.61, + "learning_rate": 6.705165968614873e-06, + "loss": 2.4785, + "step": 13430 + }, + { + "epoch": 0.61, + "learning_rate": 6.6916652667519855e-06, + "loss": 2.4711, + "step": 13440 + }, + { + "epoch": 0.61, + "learning_rate": 6.678171332676387e-06, + "loss": 2.4601, + "step": 13450 + }, + { + "epoch": 0.61, + "learning_rate": 6.664684193992326e-06, + "loss": 2.5161, + "step": 13460 + }, + { + "epoch": 0.61, + "learning_rate": 6.651203878290139e-06, + "loss": 2.4911, + "step": 13470 + }, + { + "epoch": 0.61, + "learning_rate": 6.6377304131462175e-06, + "loss": 2.4763, + "step": 13480 + }, + { + "epoch": 0.61, + "learning_rate": 6.624263826122923e-06, + "loss": 2.4514, + "step": 13490 + }, + { + "epoch": 0.61, + "learning_rate": 6.610804144768562e-06, + "loss": 2.47, + "step": 13500 + }, + { + "epoch": 0.61, + "learning_rate": 6.597351396617304e-06, + "loss": 2.4567, + "step": 13510 + }, + { + "epoch": 0.61, + "learning_rate": 6.583905609189141e-06, + "loss": 2.4374, + "step": 13520 + }, + { + "epoch": 0.61, + "learning_rate": 6.570466809989824e-06, + "loss": 2.4939, + "step": 13530 + }, + { + "epoch": 0.61, + "learning_rate": 6.5570350265108005e-06, + "loss": 2.464, + "step": 13540 + }, + { + "epoch": 0.61, + "learning_rate": 6.543610286229183e-06, + "loss": 2.4703, + "step": 13550 + }, + { + "epoch": 0.61, + "learning_rate": 6.530192616607658e-06, + "loss": 2.4654, + "step": 13560 + }, + { + "epoch": 0.62, + "learning_rate": 6.516782045094463e-06, + "loss": 2.456, + "step": 13570 + }, + { + "epoch": 0.62, + "learning_rate": 6.5033785991233e-06, + "loss": 2.4836, + "step": 13580 + }, + { + "epoch": 0.62, + "learning_rate": 6.489982306113309e-06, + "loss": 2.4499, + "step": 13590 + }, + { + "epoch": 0.62, + "learning_rate": 6.47659319346899e-06, + "loss": 2.4631, + "step": 13600 + }, + { + "epoch": 0.62, + "learning_rate": 6.463211288580152e-06, + "loss": 2.4528, + "step": 13610 + }, + { + "epoch": 0.62, + "learning_rate": 6.4498366188218635e-06, + "loss": 2.472, + "step": 13620 + }, + { + "epoch": 0.62, + "learning_rate": 6.4364692115543944e-06, + "loss": 2.465, + "step": 13630 + }, + { + "epoch": 0.62, + "learning_rate": 6.423109094123148e-06, + "loss": 2.4635, + "step": 13640 + }, + { + "epoch": 0.62, + "learning_rate": 6.409756293858628e-06, + "loss": 2.4981, + "step": 13650 + }, + { + "epoch": 0.62, + "learning_rate": 6.396410838076357e-06, + "loss": 2.4745, + "step": 13660 + }, + { + "epoch": 0.62, + "learning_rate": 6.3830727540768445e-06, + "loss": 2.4769, + "step": 13670 + }, + { + "epoch": 0.62, + "learning_rate": 6.3697420691455095e-06, + "loss": 2.4806, + "step": 13680 + }, + { + "epoch": 0.62, + "learning_rate": 6.356418810552645e-06, + "loss": 2.4537, + "step": 13690 + }, + { + "epoch": 0.62, + "learning_rate": 6.3431030055533405e-06, + "loss": 2.4497, + "step": 13700 + }, + { + "epoch": 0.62, + "learning_rate": 6.329794681387451e-06, + "loss": 2.4794, + "step": 13710 + }, + { + "epoch": 0.62, + "learning_rate": 6.316493865279516e-06, + "loss": 2.483, + "step": 13720 + }, + { + "epoch": 0.62, + "learning_rate": 6.303200584438722e-06, + "loss": 2.4723, + "step": 13730 + }, + { + "epoch": 0.62, + "learning_rate": 6.289914866058846e-06, + "loss": 2.4575, + "step": 13740 + }, + { + "epoch": 0.62, + "learning_rate": 6.276636737318178e-06, + "loss": 2.4786, + "step": 13750 + }, + { + "epoch": 0.62, + "learning_rate": 6.263366225379504e-06, + "loss": 2.4861, + "step": 13760 + }, + { + "epoch": 0.62, + "learning_rate": 6.250103357390007e-06, + "loss": 2.4715, + "step": 13770 + }, + { + "epoch": 0.62, + "learning_rate": 6.2368481604812515e-06, + "loss": 2.4597, + "step": 13780 + }, + { + "epoch": 0.62, + "learning_rate": 6.223600661769094e-06, + "loss": 2.4618, + "step": 13790 + }, + { + "epoch": 0.63, + "learning_rate": 6.210360888353657e-06, + "loss": 2.4722, + "step": 13800 + }, + { + "epoch": 0.63, + "learning_rate": 6.197128867319244e-06, + "loss": 2.4829, + "step": 13810 + }, + { + "epoch": 0.63, + "learning_rate": 6.183904625734319e-06, + "loss": 2.4703, + "step": 13820 + }, + { + "epoch": 0.63, + "learning_rate": 6.17068819065141e-06, + "loss": 2.4897, + "step": 13830 + }, + { + "epoch": 0.63, + "learning_rate": 6.157479589107092e-06, + "loss": 2.4974, + "step": 13840 + }, + { + "epoch": 0.63, + "learning_rate": 6.144278848121912e-06, + "loss": 2.4877, + "step": 13850 + }, + { + "epoch": 0.63, + "learning_rate": 6.131085994700328e-06, + "loss": 2.4798, + "step": 13860 + }, + { + "epoch": 0.63, + "learning_rate": 6.11790105583067e-06, + "loss": 2.4666, + "step": 13870 + }, + { + "epoch": 0.63, + "learning_rate": 6.104724058485086e-06, + "loss": 2.4675, + "step": 13880 + }, + { + "epoch": 0.63, + "learning_rate": 6.091555029619453e-06, + "loss": 2.4579, + "step": 13890 + }, + { + "epoch": 0.63, + "learning_rate": 6.078393996173375e-06, + "loss": 2.4621, + "step": 13900 + }, + { + "epoch": 0.63, + "learning_rate": 6.0652409850700775e-06, + "loss": 2.4689, + "step": 13910 + }, + { + "epoch": 0.63, + "learning_rate": 6.052096023216395e-06, + "loss": 2.4858, + "step": 13920 + }, + { + "epoch": 0.63, + "learning_rate": 6.038959137502678e-06, + "loss": 2.4593, + "step": 13930 + }, + { + "epoch": 0.63, + "learning_rate": 6.025830354802767e-06, + "loss": 2.4603, + "step": 13940 + }, + { + "epoch": 0.63, + "learning_rate": 6.01270970197392e-06, + "loss": 2.4746, + "step": 13950 + }, + { + "epoch": 0.63, + "learning_rate": 5.999597205856766e-06, + "loss": 2.459, + "step": 13960 + }, + { + "epoch": 0.63, + "learning_rate": 5.9864928932752575e-06, + "loss": 2.4795, + "step": 13970 + }, + { + "epoch": 0.63, + "learning_rate": 5.973396791036585e-06, + "loss": 2.4831, + "step": 13980 + }, + { + "epoch": 0.63, + "learning_rate": 5.960308925931167e-06, + "loss": 2.4637, + "step": 13990 + }, + { + "epoch": 0.63, + "learning_rate": 5.9472293247325485e-06, + "loss": 2.5186, + "step": 14000 + }, + { + "epoch": 0.63, + "eval_accuracy": 0.5415494826024122, + "eval_loss": 2.234656810760498, + "eval_runtime": 9.8993, + "eval_samples_per_second": 138.09, + "eval_steps_per_second": 1.111, + "step": 14000 + }, + { + "epoch": 0.63, + "learning_rate": 5.934158014197391e-06, + "loss": 2.4902, + "step": 14010 + }, + { + "epoch": 0.64, + "learning_rate": 5.9210950210653795e-06, + "loss": 2.4741, + "step": 14020 + }, + { + "epoch": 0.64, + "learning_rate": 5.908040372059195e-06, + "loss": 2.4564, + "step": 14030 + }, + { + "epoch": 0.64, + "learning_rate": 5.894994093884439e-06, + "loss": 2.4434, + "step": 14040 + }, + { + "epoch": 0.64, + "learning_rate": 5.8819562132296e-06, + "loss": 2.4497, + "step": 14050 + }, + { + "epoch": 0.64, + "learning_rate": 5.868926756765979e-06, + "loss": 2.5057, + "step": 14060 + }, + { + "epoch": 0.64, + "learning_rate": 5.85590575114765e-06, + "loss": 2.4718, + "step": 14070 + }, + { + "epoch": 0.64, + "learning_rate": 5.842893223011394e-06, + "loss": 2.4651, + "step": 14080 + }, + { + "epoch": 0.64, + "learning_rate": 5.829889198976655e-06, + "loss": 2.4535, + "step": 14090 + }, + { + "epoch": 0.64, + "learning_rate": 5.816893705645475e-06, + "loss": 2.4601, + "step": 14100 + }, + { + "epoch": 0.64, + "learning_rate": 5.803906769602451e-06, + "loss": 2.4967, + "step": 14110 + }, + { + "epoch": 0.64, + "learning_rate": 5.7909284174146675e-06, + "loss": 2.4893, + "step": 14120 + }, + { + "epoch": 0.64, + "learning_rate": 5.777958675631657e-06, + "loss": 2.4555, + "step": 14130 + }, + { + "epoch": 0.64, + "learning_rate": 5.764997570785329e-06, + "loss": 2.47, + "step": 14140 + }, + { + "epoch": 0.64, + "learning_rate": 5.752045129389932e-06, + "loss": 2.4638, + "step": 14150 + }, + { + "epoch": 0.64, + "learning_rate": 5.739101377941991e-06, + "loss": 2.4654, + "step": 14160 + }, + { + "epoch": 0.64, + "learning_rate": 5.72616634292025e-06, + "loss": 2.4784, + "step": 14170 + }, + { + "epoch": 0.64, + "learning_rate": 5.713240050785625e-06, + "loss": 2.4875, + "step": 14180 + }, + { + "epoch": 0.64, + "learning_rate": 5.700322527981146e-06, + "loss": 2.4501, + "step": 14190 + }, + { + "epoch": 0.64, + "learning_rate": 5.687413800931905e-06, + "loss": 2.4733, + "step": 14200 + }, + { + "epoch": 0.64, + "learning_rate": 5.674513896044998e-06, + "loss": 2.4574, + "step": 14210 + }, + { + "epoch": 0.64, + "learning_rate": 5.661622839709478e-06, + "loss": 2.4738, + "step": 14220 + }, + { + "epoch": 0.64, + "learning_rate": 5.648740658296293e-06, + "loss": 2.4581, + "step": 14230 + }, + { + "epoch": 0.65, + "learning_rate": 5.635867378158237e-06, + "loss": 2.4966, + "step": 14240 + }, + { + "epoch": 0.65, + "learning_rate": 5.623003025629894e-06, + "loss": 2.4455, + "step": 14250 + }, + { + "epoch": 0.65, + "learning_rate": 5.610147627027589e-06, + "loss": 2.4658, + "step": 14260 + }, + { + "epoch": 0.65, + "learning_rate": 5.597301208649318e-06, + "loss": 2.4797, + "step": 14270 + }, + { + "epoch": 0.65, + "learning_rate": 5.584463796774732e-06, + "loss": 2.4531, + "step": 14280 + }, + { + "epoch": 0.65, + "learning_rate": 5.571635417665022e-06, + "loss": 2.4901, + "step": 14290 + }, + { + "epoch": 0.65, + "learning_rate": 5.558816097562937e-06, + "loss": 2.4704, + "step": 14300 + }, + { + "epoch": 0.65, + "learning_rate": 5.546005862692665e-06, + "loss": 2.4684, + "step": 14310 + }, + { + "epoch": 0.65, + "learning_rate": 5.533204739259823e-06, + "loss": 2.4764, + "step": 14320 + }, + { + "epoch": 0.65, + "learning_rate": 5.5204127534513895e-06, + "loss": 2.4556, + "step": 14330 + }, + { + "epoch": 0.65, + "learning_rate": 5.507629931435645e-06, + "loss": 2.4633, + "step": 14340 + }, + { + "epoch": 0.65, + "learning_rate": 5.4948562993621266e-06, + "loss": 2.4738, + "step": 14350 + }, + { + "epoch": 0.65, + "learning_rate": 5.482091883361571e-06, + "loss": 2.4838, + "step": 14360 + }, + { + "epoch": 0.65, + "learning_rate": 5.469336709545864e-06, + "loss": 2.4699, + "step": 14370 + }, + { + "epoch": 0.65, + "learning_rate": 5.456590804007976e-06, + "loss": 2.4543, + "step": 14380 + }, + { + "epoch": 0.65, + "learning_rate": 5.443854192821938e-06, + "loss": 2.434, + "step": 14390 + }, + { + "epoch": 0.65, + "learning_rate": 5.4311269020427395e-06, + "loss": 2.4642, + "step": 14400 + }, + { + "epoch": 0.65, + "learning_rate": 5.418408957706331e-06, + "loss": 2.4769, + "step": 14410 + }, + { + "epoch": 0.65, + "learning_rate": 5.405700385829518e-06, + "loss": 2.4864, + "step": 14420 + }, + { + "epoch": 0.65, + "learning_rate": 5.3930012124099585e-06, + "loss": 2.4804, + "step": 14430 + }, + { + "epoch": 0.65, + "learning_rate": 5.380311463426056e-06, + "loss": 2.4896, + "step": 14440 + }, + { + "epoch": 0.65, + "learning_rate": 5.367631164836965e-06, + "loss": 2.4535, + "step": 14450 + }, + { + "epoch": 0.66, + "learning_rate": 5.354960342582478e-06, + "loss": 2.4588, + "step": 14460 + }, + { + "epoch": 0.66, + "learning_rate": 5.34229902258303e-06, + "loss": 2.475, + "step": 14470 + }, + { + "epoch": 0.66, + "learning_rate": 5.3296472307395896e-06, + "loss": 2.4587, + "step": 14480 + }, + { + "epoch": 0.66, + "learning_rate": 5.3170049929336586e-06, + "loss": 2.4349, + "step": 14490 + }, + { + "epoch": 0.66, + "learning_rate": 5.304372335027184e-06, + "loss": 2.4759, + "step": 14500 + }, + { + "epoch": 0.66, + "learning_rate": 5.291749282862505e-06, + "loss": 2.4796, + "step": 14510 + }, + { + "epoch": 0.66, + "learning_rate": 5.2791358622623336e-06, + "loss": 2.4795, + "step": 14520 + }, + { + "epoch": 0.66, + "learning_rate": 5.266532099029651e-06, + "loss": 2.4616, + "step": 14530 + }, + { + "epoch": 0.66, + "learning_rate": 5.253938018947713e-06, + "loss": 2.4727, + "step": 14540 + }, + { + "epoch": 0.66, + "learning_rate": 5.2413536477799365e-06, + "loss": 2.483, + "step": 14550 + }, + { + "epoch": 0.66, + "learning_rate": 5.228779011269906e-06, + "loss": 2.4836, + "step": 14560 + }, + { + "epoch": 0.66, + "learning_rate": 5.216214135141262e-06, + "loss": 2.4657, + "step": 14570 + }, + { + "epoch": 0.66, + "learning_rate": 5.203659045097706e-06, + "loss": 2.4742, + "step": 14580 + }, + { + "epoch": 0.66, + "learning_rate": 5.191113766822905e-06, + "loss": 2.4922, + "step": 14590 + }, + { + "epoch": 0.66, + "learning_rate": 5.178578325980457e-06, + "loss": 2.4533, + "step": 14600 + }, + { + "epoch": 0.66, + "learning_rate": 5.1660527482138365e-06, + "loss": 2.4693, + "step": 14610 + }, + { + "epoch": 0.66, + "learning_rate": 5.153537059146343e-06, + "loss": 2.492, + "step": 14620 + }, + { + "epoch": 0.66, + "learning_rate": 5.141031284381042e-06, + "loss": 2.4795, + "step": 14630 + }, + { + "epoch": 0.66, + "learning_rate": 5.128535449500725e-06, + "loss": 2.4912, + "step": 14640 + }, + { + "epoch": 0.66, + "learning_rate": 5.11604958006784e-06, + "loss": 2.4671, + "step": 14650 + }, + { + "epoch": 0.66, + "learning_rate": 5.103573701624458e-06, + "loss": 2.4684, + "step": 14660 + }, + { + "epoch": 0.66, + "learning_rate": 5.091107839692208e-06, + "loss": 2.4717, + "step": 14670 + }, + { + "epoch": 0.67, + "learning_rate": 5.078652019772226e-06, + "loss": 2.4664, + "step": 14680 + }, + { + "epoch": 0.67, + "learning_rate": 5.066206267345111e-06, + "loss": 2.4638, + "step": 14690 + }, + { + "epoch": 0.67, + "learning_rate": 5.053770607870863e-06, + "loss": 2.4742, + "step": 14700 + }, + { + "epoch": 0.67, + "learning_rate": 5.041345066788832e-06, + "loss": 2.4715, + "step": 14710 + }, + { + "epoch": 0.67, + "learning_rate": 5.028929669517678e-06, + "loss": 2.4495, + "step": 14720 + }, + { + "epoch": 0.67, + "learning_rate": 5.016524441455304e-06, + "loss": 2.4717, + "step": 14730 + }, + { + "epoch": 0.67, + "learning_rate": 5.004129407978808e-06, + "loss": 2.4551, + "step": 14740 + }, + { + "epoch": 0.67, + "learning_rate": 4.991744594444439e-06, + "loss": 2.4574, + "step": 14750 + }, + { + "epoch": 0.67, + "learning_rate": 4.979370026187535e-06, + "loss": 2.4722, + "step": 14760 + }, + { + "epoch": 0.67, + "learning_rate": 4.967005728522479e-06, + "loss": 2.4583, + "step": 14770 + }, + { + "epoch": 0.67, + "learning_rate": 4.95465172674264e-06, + "loss": 2.4863, + "step": 14780 + }, + { + "epoch": 0.67, + "learning_rate": 4.942308046120328e-06, + "loss": 2.497, + "step": 14790 + }, + { + "epoch": 0.67, + "learning_rate": 4.929974711906736e-06, + "loss": 2.4474, + "step": 14800 + }, + { + "epoch": 0.67, + "learning_rate": 4.9176517493318935e-06, + "loss": 2.4806, + "step": 14810 + }, + { + "epoch": 0.67, + "learning_rate": 4.905339183604614e-06, + "loss": 2.4521, + "step": 14820 + }, + { + "epoch": 0.67, + "learning_rate": 4.893037039912441e-06, + "loss": 2.4732, + "step": 14830 + }, + { + "epoch": 0.67, + "learning_rate": 4.880745343421597e-06, + "loss": 2.4738, + "step": 14840 + }, + { + "epoch": 0.67, + "learning_rate": 4.868464119276936e-06, + "loss": 2.4462, + "step": 14850 + }, + { + "epoch": 0.67, + "learning_rate": 4.856193392601881e-06, + "loss": 2.481, + "step": 14860 + }, + { + "epoch": 0.67, + "learning_rate": 4.8439331884984e-06, + "loss": 2.4777, + "step": 14870 + }, + { + "epoch": 0.67, + "learning_rate": 4.831683532046909e-06, + "loss": 2.4696, + "step": 14880 + }, + { + "epoch": 0.67, + "learning_rate": 4.8194444483062645e-06, + "loss": 2.4729, + "step": 14890 + }, + { + "epoch": 0.68, + "learning_rate": 4.807215962313688e-06, + "loss": 2.4823, + "step": 14900 + }, + { + "epoch": 0.68, + "learning_rate": 4.794998099084726e-06, + "loss": 2.4952, + "step": 14910 + }, + { + "epoch": 0.68, + "learning_rate": 4.782790883613189e-06, + "loss": 2.453, + "step": 14920 + }, + { + "epoch": 0.68, + "learning_rate": 4.770594340871107e-06, + "loss": 2.4983, + "step": 14930 + }, + { + "epoch": 0.68, + "learning_rate": 4.758408495808683e-06, + "loss": 2.4949, + "step": 14940 + }, + { + "epoch": 0.68, + "learning_rate": 4.7462333733542235e-06, + "loss": 2.4553, + "step": 14950 + }, + { + "epoch": 0.68, + "learning_rate": 4.734068998414118e-06, + "loss": 2.4503, + "step": 14960 + }, + { + "epoch": 0.68, + "learning_rate": 4.7219153958727485e-06, + "loss": 2.4675, + "step": 14970 + }, + { + "epoch": 0.68, + "learning_rate": 4.709772590592483e-06, + "loss": 2.4864, + "step": 14980 + }, + { + "epoch": 0.68, + "learning_rate": 4.697640607413576e-06, + "loss": 2.4899, + "step": 14990 + }, + { + "epoch": 0.68, + "learning_rate": 4.685519471154173e-06, + "loss": 2.4719, + "step": 15000 + }, + { + "epoch": 0.68, + "learning_rate": 4.673409206610199e-06, + "loss": 2.4789, + "step": 15010 + }, + { + "epoch": 0.68, + "learning_rate": 4.66130983855537e-06, + "loss": 2.492, + "step": 15020 + }, + { + "epoch": 0.68, + "learning_rate": 4.6492213917410815e-06, + "loss": 2.4628, + "step": 15030 + }, + { + "epoch": 0.68, + "learning_rate": 4.6371438908964165e-06, + "loss": 2.4774, + "step": 15040 + }, + { + "epoch": 0.68, + "learning_rate": 4.6250773607280375e-06, + "loss": 2.4933, + "step": 15050 + }, + { + "epoch": 0.68, + "learning_rate": 4.613021825920189e-06, + "loss": 2.4983, + "step": 15060 + }, + { + "epoch": 0.68, + "learning_rate": 4.600977311134612e-06, + "loss": 2.4851, + "step": 15070 + }, + { + "epoch": 0.68, + "learning_rate": 4.588943841010496e-06, + "loss": 2.4699, + "step": 15080 + }, + { + "epoch": 0.68, + "learning_rate": 4.576921440164456e-06, + "loss": 2.4793, + "step": 15090 + }, + { + "epoch": 0.68, + "learning_rate": 4.56491013319044e-06, + "loss": 2.4855, + "step": 15100 + }, + { + "epoch": 0.68, + "learning_rate": 4.552909944659726e-06, + "loss": 2.4873, + "step": 15110 + }, + { + "epoch": 0.69, + "learning_rate": 4.540920899120821e-06, + "loss": 2.4707, + "step": 15120 + }, + { + "epoch": 0.69, + "learning_rate": 4.528943021099466e-06, + "loss": 2.4558, + "step": 15130 + }, + { + "epoch": 0.69, + "learning_rate": 4.516976335098526e-06, + "loss": 2.4868, + "step": 15140 + }, + { + "epoch": 0.69, + "learning_rate": 4.505020865598001e-06, + "loss": 2.4713, + "step": 15150 + }, + { + "epoch": 0.69, + "learning_rate": 4.493076637054916e-06, + "loss": 2.4521, + "step": 15160 + }, + { + "epoch": 0.69, + "learning_rate": 4.481143673903327e-06, + "loss": 2.4822, + "step": 15170 + }, + { + "epoch": 0.69, + "learning_rate": 4.4692220005542294e-06, + "loss": 2.4968, + "step": 15180 + }, + { + "epoch": 0.69, + "learning_rate": 4.457311641395526e-06, + "loss": 2.4652, + "step": 15190 + }, + { + "epoch": 0.69, + "learning_rate": 4.445412620791978e-06, + "loss": 2.45, + "step": 15200 + }, + { + "epoch": 0.69, + "learning_rate": 4.433524963085147e-06, + "loss": 2.4471, + "step": 15210 + }, + { + "epoch": 0.69, + "learning_rate": 4.421648692593352e-06, + "loss": 2.4728, + "step": 15220 + }, + { + "epoch": 0.69, + "learning_rate": 4.409783833611617e-06, + "loss": 2.4617, + "step": 15230 + }, + { + "epoch": 0.69, + "learning_rate": 4.397930410411623e-06, + "loss": 2.4828, + "step": 15240 + }, + { + "epoch": 0.69, + "learning_rate": 4.3860884472416555e-06, + "loss": 2.4692, + "step": 15250 + }, + { + "epoch": 0.69, + "learning_rate": 4.374257968326561e-06, + "loss": 2.4842, + "step": 15260 + }, + { + "epoch": 0.69, + "learning_rate": 4.362438997867676e-06, + "loss": 2.4953, + "step": 15270 + }, + { + "epoch": 0.69, + "learning_rate": 4.350631560042821e-06, + "loss": 2.4676, + "step": 15280 + }, + { + "epoch": 0.69, + "learning_rate": 4.338835679006206e-06, + "loss": 2.4856, + "step": 15290 + }, + { + "epoch": 0.69, + "learning_rate": 4.327051378888405e-06, + "loss": 2.4651, + "step": 15300 + }, + { + "epoch": 0.69, + "learning_rate": 4.315278683796299e-06, + "loss": 2.4919, + "step": 15310 + }, + { + "epoch": 0.69, + "learning_rate": 4.303517617813031e-06, + "loss": 2.4883, + "step": 15320 + }, + { + "epoch": 0.69, + "learning_rate": 4.2917682049979535e-06, + "loss": 2.4892, + "step": 15330 + }, + { + "epoch": 0.7, + "learning_rate": 4.2800304693865824e-06, + "loss": 2.4552, + "step": 15340 + }, + { + "epoch": 0.7, + "learning_rate": 4.268304434990542e-06, + "loss": 2.4524, + "step": 15350 + }, + { + "epoch": 0.7, + "learning_rate": 4.2565901257975236e-06, + "loss": 2.468, + "step": 15360 + }, + { + "epoch": 0.7, + "learning_rate": 4.24488756577123e-06, + "loss": 2.4851, + "step": 15370 + }, + { + "epoch": 0.7, + "learning_rate": 4.2331967788513295e-06, + "loss": 2.477, + "step": 15380 + }, + { + "epoch": 0.7, + "learning_rate": 4.2215177889534075e-06, + "loss": 2.4709, + "step": 15390 + }, + { + "epoch": 0.7, + "learning_rate": 4.209850619968916e-06, + "loss": 2.4456, + "step": 15400 + }, + { + "epoch": 0.7, + "learning_rate": 4.198195295765123e-06, + "loss": 2.4752, + "step": 15410 + }, + { + "epoch": 0.7, + "learning_rate": 4.186551840185069e-06, + "loss": 2.4709, + "step": 15420 + }, + { + "epoch": 0.7, + "learning_rate": 4.174920277047512e-06, + "loss": 2.4657, + "step": 15430 + }, + { + "epoch": 0.7, + "learning_rate": 4.16330063014689e-06, + "loss": 2.473, + "step": 15440 + }, + { + "epoch": 0.7, + "learning_rate": 4.151692923253252e-06, + "loss": 2.4582, + "step": 15450 + }, + { + "epoch": 0.7, + "learning_rate": 4.140097180112229e-06, + "loss": 2.4701, + "step": 15460 + }, + { + "epoch": 0.7, + "learning_rate": 4.128513424444978e-06, + "loss": 2.461, + "step": 15470 + }, + { + "epoch": 0.7, + "learning_rate": 4.1169416799481285e-06, + "loss": 2.4839, + "step": 15480 + }, + { + "epoch": 0.7, + "learning_rate": 4.105381970293747e-06, + "loss": 2.4982, + "step": 15490 + }, + { + "epoch": 0.7, + "learning_rate": 4.093834319129274e-06, + "loss": 2.4623, + "step": 15500 + }, + { + "epoch": 0.7, + "learning_rate": 4.082298750077485e-06, + "loss": 2.4681, + "step": 15510 + }, + { + "epoch": 0.7, + "learning_rate": 4.070775286736438e-06, + "loss": 2.4705, + "step": 15520 + }, + { + "epoch": 0.7, + "learning_rate": 4.05926395267943e-06, + "loss": 2.475, + "step": 15530 + }, + { + "epoch": 0.7, + "learning_rate": 4.047764771454935e-06, + "loss": 2.4782, + "step": 15540 + }, + { + "epoch": 0.7, + "learning_rate": 4.036277766586588e-06, + "loss": 2.4762, + "step": 15550 + }, + { + "epoch": 0.71, + "learning_rate": 4.0248029615730864e-06, + "loss": 2.4666, + "step": 15560 + }, + { + "epoch": 0.71, + "learning_rate": 4.013340379888199e-06, + "loss": 2.4874, + "step": 15570 + }, + { + "epoch": 0.71, + "learning_rate": 4.001890044980662e-06, + "loss": 2.4638, + "step": 15580 + }, + { + "epoch": 0.71, + "learning_rate": 3.990451980274187e-06, + "loss": 2.486, + "step": 15590 + }, + { + "epoch": 0.71, + "learning_rate": 3.979026209167355e-06, + "loss": 2.4787, + "step": 15600 + }, + { + "epoch": 0.71, + "learning_rate": 3.9676127550336295e-06, + "loss": 2.4796, + "step": 15610 + }, + { + "epoch": 0.71, + "learning_rate": 3.9562116412212455e-06, + "loss": 2.4748, + "step": 15620 + }, + { + "epoch": 0.71, + "learning_rate": 3.944822891053227e-06, + "loss": 2.49, + "step": 15630 + }, + { + "epoch": 0.71, + "learning_rate": 3.933446527827275e-06, + "loss": 2.471, + "step": 15640 + }, + { + "epoch": 0.71, + "learning_rate": 3.922082574815765e-06, + "loss": 2.4741, + "step": 15650 + }, + { + "epoch": 0.71, + "learning_rate": 3.910731055265697e-06, + "loss": 2.4513, + "step": 15660 + }, + { + "epoch": 0.71, + "learning_rate": 3.899391992398607e-06, + "loss": 2.4789, + "step": 15670 + }, + { + "epoch": 0.71, + "learning_rate": 3.888065409410581e-06, + "loss": 2.4613, + "step": 15680 + }, + { + "epoch": 0.71, + "learning_rate": 3.876751329472146e-06, + "loss": 2.478, + "step": 15690 + }, + { + "epoch": 0.71, + "learning_rate": 3.865449775728279e-06, + "loss": 2.4754, + "step": 15700 + }, + { + "epoch": 0.71, + "learning_rate": 3.854160771298307e-06, + "loss": 2.4561, + "step": 15710 + }, + { + "epoch": 0.71, + "learning_rate": 3.842884339275907e-06, + "loss": 2.4551, + "step": 15720 + }, + { + "epoch": 0.71, + "learning_rate": 3.831620502729014e-06, + "loss": 2.48, + "step": 15730 + }, + { + "epoch": 0.71, + "learning_rate": 3.820369284699823e-06, + "loss": 2.487, + "step": 15740 + }, + { + "epoch": 0.71, + "learning_rate": 3.8091307082046958e-06, + "loss": 2.4888, + "step": 15750 + }, + { + "epoch": 0.71, + "learning_rate": 3.7979047962341408e-06, + "loss": 2.4476, + "step": 15760 + }, + { + "epoch": 0.71, + "learning_rate": 3.7866915717527587e-06, + "loss": 2.4976, + "step": 15770 + }, + { + "epoch": 0.72, + "learning_rate": 3.7754910576991954e-06, + "loss": 2.4457, + "step": 15780 + }, + { + "epoch": 0.72, + "learning_rate": 3.7643032769860943e-06, + "loss": 2.4718, + "step": 15790 + }, + { + "epoch": 0.72, + "learning_rate": 3.753128252500051e-06, + "loss": 2.4773, + "step": 15800 + }, + { + "epoch": 0.72, + "learning_rate": 3.7419660071015673e-06, + "loss": 2.4611, + "step": 15810 + }, + { + "epoch": 0.72, + "learning_rate": 3.7308165636250014e-06, + "loss": 2.4912, + "step": 15820 + }, + { + "epoch": 0.72, + "learning_rate": 3.7196799448785246e-06, + "loss": 2.4799, + "step": 15830 + }, + { + "epoch": 0.72, + "learning_rate": 3.70855617364407e-06, + "loss": 2.4868, + "step": 15840 + }, + { + "epoch": 0.72, + "learning_rate": 3.6974452726772925e-06, + "loss": 2.4607, + "step": 15850 + }, + { + "epoch": 0.72, + "learning_rate": 3.686347264707516e-06, + "loss": 2.4613, + "step": 15860 + }, + { + "epoch": 0.72, + "learning_rate": 3.67526217243769e-06, + "loss": 2.461, + "step": 15870 + }, + { + "epoch": 0.72, + "learning_rate": 3.6641900185443445e-06, + "loss": 2.486, + "step": 15880 + }, + { + "epoch": 0.72, + "learning_rate": 3.6531308256775375e-06, + "loss": 2.4613, + "step": 15890 + }, + { + "epoch": 0.72, + "learning_rate": 3.642084616460818e-06, + "loss": 2.4438, + "step": 15900 + }, + { + "epoch": 0.72, + "learning_rate": 3.631051413491171e-06, + "loss": 2.4679, + "step": 15910 + }, + { + "epoch": 0.72, + "learning_rate": 3.620031239338977e-06, + "loss": 2.4533, + "step": 15920 + }, + { + "epoch": 0.72, + "learning_rate": 3.6090241165479625e-06, + "loss": 2.4828, + "step": 15930 + }, + { + "epoch": 0.72, + "learning_rate": 3.5980300676351544e-06, + "loss": 2.4579, + "step": 15940 + }, + { + "epoch": 0.72, + "learning_rate": 3.587049115090836e-06, + "loss": 2.4736, + "step": 15950 + }, + { + "epoch": 0.72, + "learning_rate": 3.5760812813785006e-06, + "loss": 2.4806, + "step": 15960 + }, + { + "epoch": 0.72, + "learning_rate": 3.565126588934803e-06, + "loss": 2.4707, + "step": 15970 + }, + { + "epoch": 0.72, + "learning_rate": 3.554185060169516e-06, + "loss": 2.4677, + "step": 15980 + }, + { + "epoch": 0.72, + "learning_rate": 3.5432567174654806e-06, + "loss": 2.4921, + "step": 15990 + }, + { + "epoch": 0.73, + "learning_rate": 3.53234158317857e-06, + "loss": 2.4755, + "step": 16000 + }, + { + "epoch": 0.73, + "eval_accuracy": 0.5415931026049723, + "eval_loss": 2.23403000831604, + "eval_runtime": 9.8805, + "eval_samples_per_second": 138.354, + "eval_steps_per_second": 1.113, + "step": 16000 + }, + { + "epoch": 0.73, + "learning_rate": 3.5214396796376315e-06, + "loss": 2.4601, + "step": 16010 + }, + { + "epoch": 0.73, + "learning_rate": 3.5105510291444446e-06, + "loss": 2.4698, + "step": 16020 + }, + { + "epoch": 0.73, + "learning_rate": 3.499675653973691e-06, + "loss": 2.474, + "step": 16030 + }, + { + "epoch": 0.73, + "learning_rate": 3.488813576372876e-06, + "loss": 2.4743, + "step": 16040 + }, + { + "epoch": 0.73, + "learning_rate": 3.477964818562316e-06, + "loss": 2.4599, + "step": 16050 + }, + { + "epoch": 0.73, + "learning_rate": 3.467129402735074e-06, + "loss": 2.472, + "step": 16060 + }, + { + "epoch": 0.73, + "learning_rate": 3.456307351056921e-06, + "loss": 2.4705, + "step": 16070 + }, + { + "epoch": 0.73, + "learning_rate": 3.4454986856662898e-06, + "loss": 2.4786, + "step": 16080 + }, + { + "epoch": 0.73, + "learning_rate": 3.4347034286742277e-06, + "loss": 2.4673, + "step": 16090 + }, + { + "epoch": 0.73, + "learning_rate": 3.4239216021643538e-06, + "loss": 2.4549, + "step": 16100 + }, + { + "epoch": 0.73, + "learning_rate": 3.4131532281928105e-06, + "loss": 2.4825, + "step": 16110 + }, + { + "epoch": 0.73, + "learning_rate": 3.40239832878823e-06, + "loss": 2.4727, + "step": 16120 + }, + { + "epoch": 0.73, + "learning_rate": 3.3916569259516597e-06, + "loss": 2.4705, + "step": 16130 + }, + { + "epoch": 0.73, + "learning_rate": 3.3809290416565656e-06, + "loss": 2.4846, + "step": 16140 + }, + { + "epoch": 0.73, + "learning_rate": 3.370214697848728e-06, + "loss": 2.4725, + "step": 16150 + }, + { + "epoch": 0.73, + "learning_rate": 3.3595139164462575e-06, + "loss": 2.4895, + "step": 16160 + }, + { + "epoch": 0.73, + "learning_rate": 3.348826719339493e-06, + "loss": 2.4706, + "step": 16170 + }, + { + "epoch": 0.73, + "learning_rate": 3.338153128391012e-06, + "loss": 2.485, + "step": 16180 + }, + { + "epoch": 0.73, + "learning_rate": 3.327493165435528e-06, + "loss": 2.4644, + "step": 16190 + }, + { + "epoch": 0.73, + "learning_rate": 3.316846852279907e-06, + "loss": 2.4653, + "step": 16200 + }, + { + "epoch": 0.73, + "learning_rate": 3.3062142107030626e-06, + "loss": 2.4959, + "step": 16210 + }, + { + "epoch": 0.74, + "learning_rate": 3.2955952624559653e-06, + "loss": 2.4861, + "step": 16220 + }, + { + "epoch": 0.74, + "learning_rate": 3.284990029261562e-06, + "loss": 2.4701, + "step": 16230 + }, + { + "epoch": 0.74, + "learning_rate": 3.2743985328147353e-06, + "loss": 2.4711, + "step": 16240 + }, + { + "epoch": 0.74, + "learning_rate": 3.2638207947822885e-06, + "loss": 2.4783, + "step": 16250 + }, + { + "epoch": 0.74, + "learning_rate": 3.253256836802853e-06, + "loss": 2.4762, + "step": 16260 + }, + { + "epoch": 0.74, + "learning_rate": 3.242706680486898e-06, + "loss": 2.4604, + "step": 16270 + }, + { + "epoch": 0.74, + "learning_rate": 3.2321703474166312e-06, + "loss": 2.4659, + "step": 16280 + }, + { + "epoch": 0.74, + "learning_rate": 3.2216478591460097e-06, + "loss": 2.4723, + "step": 16290 + }, + { + "epoch": 0.74, + "learning_rate": 3.2111392372006434e-06, + "loss": 2.4733, + "step": 16300 + }, + { + "epoch": 0.74, + "learning_rate": 3.2006445030778e-06, + "loss": 2.4744, + "step": 16310 + }, + { + "epoch": 0.74, + "learning_rate": 3.190163678246314e-06, + "loss": 2.4804, + "step": 16320 + }, + { + "epoch": 0.74, + "learning_rate": 3.179696784146584e-06, + "loss": 2.4829, + "step": 16330 + }, + { + "epoch": 0.74, + "learning_rate": 3.1692438421905037e-06, + "loss": 2.4611, + "step": 16340 + }, + { + "epoch": 0.74, + "learning_rate": 3.158804873761424e-06, + "loss": 2.4778, + "step": 16350 + }, + { + "epoch": 0.74, + "learning_rate": 3.1483799002141136e-06, + "loss": 2.4949, + "step": 16360 + }, + { + "epoch": 0.74, + "learning_rate": 3.1379689428747085e-06, + "loss": 2.4535, + "step": 16370 + }, + { + "epoch": 0.74, + "learning_rate": 3.127572023040676e-06, + "loss": 2.4756, + "step": 16380 + }, + { + "epoch": 0.74, + "learning_rate": 3.1171891619807637e-06, + "loss": 2.4812, + "step": 16390 + }, + { + "epoch": 0.74, + "learning_rate": 3.106820380934963e-06, + "loss": 2.4504, + "step": 16400 + }, + { + "epoch": 0.74, + "learning_rate": 3.096465701114458e-06, + "loss": 2.4971, + "step": 16410 + }, + { + "epoch": 0.74, + "learning_rate": 3.086125143701594e-06, + "loss": 2.4903, + "step": 16420 + }, + { + "epoch": 0.74, + "learning_rate": 3.0757987298498106e-06, + "loss": 2.4753, + "step": 16430 + }, + { + "epoch": 0.75, + "learning_rate": 3.0654864806836325e-06, + "loss": 2.4555, + "step": 16440 + }, + { + "epoch": 0.75, + "learning_rate": 3.0551884172985992e-06, + "loss": 2.4669, + "step": 16450 + }, + { + "epoch": 0.75, + "learning_rate": 3.0449045607612305e-06, + "loss": 2.486, + "step": 16460 + }, + { + "epoch": 0.75, + "learning_rate": 3.034634932108985e-06, + "loss": 2.4763, + "step": 16470 + }, + { + "epoch": 0.75, + "learning_rate": 3.024379552350214e-06, + "loss": 2.4611, + "step": 16480 + }, + { + "epoch": 0.75, + "learning_rate": 3.0141384424641228e-06, + "loss": 2.4502, + "step": 16490 + }, + { + "epoch": 0.75, + "learning_rate": 3.0039116234007225e-06, + "loss": 2.4697, + "step": 16500 + }, + { + "epoch": 0.75, + "learning_rate": 2.9936991160807925e-06, + "loss": 2.4622, + "step": 16510 + }, + { + "epoch": 0.75, + "learning_rate": 2.9835009413958314e-06, + "loss": 2.472, + "step": 16520 + }, + { + "epoch": 0.75, + "learning_rate": 2.9733171202080226e-06, + "loss": 2.4652, + "step": 16530 + }, + { + "epoch": 0.75, + "learning_rate": 2.963147673350181e-06, + "loss": 2.4879, + "step": 16540 + }, + { + "epoch": 0.75, + "learning_rate": 2.952992621625722e-06, + "loss": 2.4528, + "step": 16550 + }, + { + "epoch": 0.75, + "learning_rate": 2.942851985808609e-06, + "loss": 2.4515, + "step": 16560 + }, + { + "epoch": 0.75, + "learning_rate": 2.9327257866433178e-06, + "loss": 2.4785, + "step": 16570 + }, + { + "epoch": 0.75, + "learning_rate": 2.9226140448447895e-06, + "loss": 2.4765, + "step": 16580 + }, + { + "epoch": 0.75, + "learning_rate": 2.912516781098389e-06, + "loss": 2.4486, + "step": 16590 + }, + { + "epoch": 0.75, + "learning_rate": 2.902434016059874e-06, + "loss": 2.4713, + "step": 16600 + }, + { + "epoch": 0.75, + "learning_rate": 2.8923657703553254e-06, + "loss": 2.4536, + "step": 16610 + }, + { + "epoch": 0.75, + "learning_rate": 2.8823120645811333e-06, + "loss": 2.4894, + "step": 16620 + }, + { + "epoch": 0.75, + "learning_rate": 2.8722729193039435e-06, + "loss": 2.4423, + "step": 16630 + }, + { + "epoch": 0.75, + "learning_rate": 2.8622483550606116e-06, + "loss": 2.4793, + "step": 16640 + }, + { + "epoch": 0.75, + "learning_rate": 2.8522383923581674e-06, + "loss": 2.4523, + "step": 16650 + }, + { + "epoch": 0.76, + "learning_rate": 2.8422430516737733e-06, + "loss": 2.47, + "step": 16660 + }, + { + "epoch": 0.76, + "learning_rate": 2.8322623534546734e-06, + "loss": 2.4773, + "step": 16670 + }, + { + "epoch": 0.76, + "learning_rate": 2.822296318118164e-06, + "loss": 2.4868, + "step": 16680 + }, + { + "epoch": 0.76, + "learning_rate": 2.8123449660515424e-06, + "loss": 2.4751, + "step": 16690 + }, + { + "epoch": 0.76, + "learning_rate": 2.8024083176120665e-06, + "loss": 2.4977, + "step": 16700 + }, + { + "epoch": 0.76, + "learning_rate": 2.7924863931269288e-06, + "loss": 2.45, + "step": 16710 + }, + { + "epoch": 0.76, + "learning_rate": 2.7825792128931783e-06, + "loss": 2.4585, + "step": 16720 + }, + { + "epoch": 0.76, + "learning_rate": 2.772686797177726e-06, + "loss": 2.4805, + "step": 16730 + }, + { + "epoch": 0.76, + "learning_rate": 2.7628091662172572e-06, + "loss": 2.4609, + "step": 16740 + }, + { + "epoch": 0.76, + "learning_rate": 2.7529463402182354e-06, + "loss": 2.4742, + "step": 16750 + }, + { + "epoch": 0.76, + "learning_rate": 2.7430983393568144e-06, + "loss": 2.4473, + "step": 16760 + }, + { + "epoch": 0.76, + "learning_rate": 2.7332651837788427e-06, + "loss": 2.4716, + "step": 16770 + }, + { + "epoch": 0.76, + "learning_rate": 2.7234468935997783e-06, + "loss": 2.4421, + "step": 16780 + }, + { + "epoch": 0.76, + "learning_rate": 2.7136434889046913e-06, + "loss": 2.4503, + "step": 16790 + }, + { + "epoch": 0.76, + "learning_rate": 2.7038549897481835e-06, + "loss": 2.4651, + "step": 16800 + }, + { + "epoch": 0.76, + "learning_rate": 2.6940814161543706e-06, + "loss": 2.457, + "step": 16810 + }, + { + "epoch": 0.76, + "learning_rate": 2.684322788116843e-06, + "loss": 2.4748, + "step": 16820 + }, + { + "epoch": 0.76, + "learning_rate": 2.674579125598602e-06, + "loss": 2.4787, + "step": 16830 + }, + { + "epoch": 0.76, + "learning_rate": 2.6648504485320527e-06, + "loss": 2.4896, + "step": 16840 + }, + { + "epoch": 0.76, + "learning_rate": 2.655136776818923e-06, + "loss": 2.4548, + "step": 16850 + }, + { + "epoch": 0.76, + "learning_rate": 2.645438130330269e-06, + "loss": 2.4798, + "step": 16860 + }, + { + "epoch": 0.76, + "learning_rate": 2.635754528906386e-06, + "loss": 2.4825, + "step": 16870 + }, + { + "epoch": 0.77, + "learning_rate": 2.626085992356815e-06, + "loss": 2.4685, + "step": 16880 + }, + { + "epoch": 0.77, + "learning_rate": 2.616432540460255e-06, + "loss": 2.4365, + "step": 16890 + }, + { + "epoch": 0.77, + "learning_rate": 2.6067941929645692e-06, + "loss": 2.4293, + "step": 16900 + }, + { + "epoch": 0.77, + "learning_rate": 2.5971709695867096e-06, + "loss": 2.4729, + "step": 16910 + }, + { + "epoch": 0.77, + "learning_rate": 2.5875628900126914e-06, + "loss": 2.47, + "step": 16920 + }, + { + "epoch": 0.77, + "learning_rate": 2.5779699738975495e-06, + "loss": 2.4668, + "step": 16930 + }, + { + "epoch": 0.77, + "learning_rate": 2.5683922408653027e-06, + "loss": 2.4559, + "step": 16940 + }, + { + "epoch": 0.77, + "learning_rate": 2.5588297105089067e-06, + "loss": 2.4613, + "step": 16950 + }, + { + "epoch": 0.77, + "learning_rate": 2.5492824023902185e-06, + "loss": 2.498, + "step": 16960 + }, + { + "epoch": 0.77, + "learning_rate": 2.5397503360399555e-06, + "loss": 2.4832, + "step": 16970 + }, + { + "epoch": 0.77, + "learning_rate": 2.5302335309576553e-06, + "loss": 2.4554, + "step": 16980 + }, + { + "epoch": 0.77, + "learning_rate": 2.5207320066116392e-06, + "loss": 2.4544, + "step": 16990 + }, + { + "epoch": 0.77, + "learning_rate": 2.511245782438957e-06, + "loss": 2.4382, + "step": 17000 + }, + { + "epoch": 0.77, + "learning_rate": 2.5017748778453755e-06, + "loss": 2.4771, + "step": 17010 + }, + { + "epoch": 0.77, + "learning_rate": 2.4923193122053136e-06, + "loss": 2.473, + "step": 17020 + }, + { + "epoch": 0.77, + "learning_rate": 2.482879104861813e-06, + "loss": 2.4811, + "step": 17030 + }, + { + "epoch": 0.77, + "learning_rate": 2.4734542751264967e-06, + "loss": 2.4655, + "step": 17040 + }, + { + "epoch": 0.77, + "learning_rate": 2.4640448422795305e-06, + "loss": 2.4916, + "step": 17050 + }, + { + "epoch": 0.77, + "learning_rate": 2.4546508255695846e-06, + "loss": 2.477, + "step": 17060 + }, + { + "epoch": 0.77, + "learning_rate": 2.44527224421379e-06, + "loss": 2.4873, + "step": 17070 + }, + { + "epoch": 0.77, + "learning_rate": 2.4359091173977033e-06, + "loss": 2.4731, + "step": 17080 + }, + { + "epoch": 0.77, + "learning_rate": 2.426561464275269e-06, + "loss": 2.491, + "step": 17090 + }, + { + "epoch": 0.77, + "learning_rate": 2.417229303968771e-06, + "loss": 2.4704, + "step": 17100 + }, + { + "epoch": 0.78, + "learning_rate": 2.407912655568806e-06, + "loss": 2.4689, + "step": 17110 + }, + { + "epoch": 0.78, + "learning_rate": 2.3986115381342347e-06, + "loss": 2.4711, + "step": 17120 + }, + { + "epoch": 0.78, + "learning_rate": 2.389325970692148e-06, + "loss": 2.4638, + "step": 17130 + }, + { + "epoch": 0.78, + "learning_rate": 2.380055972237826e-06, + "loss": 2.438, + "step": 17140 + }, + { + "epoch": 0.78, + "learning_rate": 2.3708015617347e-06, + "loss": 2.475, + "step": 17150 + }, + { + "epoch": 0.78, + "learning_rate": 2.3615627581143132e-06, + "loss": 2.4604, + "step": 17160 + }, + { + "epoch": 0.78, + "learning_rate": 2.3523395802762817e-06, + "loss": 2.4708, + "step": 17170 + }, + { + "epoch": 0.78, + "learning_rate": 2.3431320470882557e-06, + "loss": 2.4791, + "step": 17180 + }, + { + "epoch": 0.78, + "learning_rate": 2.333940177385885e-06, + "loss": 2.4956, + "step": 17190 + }, + { + "epoch": 0.78, + "learning_rate": 2.3247639899727736e-06, + "loss": 2.4711, + "step": 17200 + }, + { + "epoch": 0.78, + "learning_rate": 2.315603503620444e-06, + "loss": 2.4586, + "step": 17210 + }, + { + "epoch": 0.78, + "learning_rate": 2.306458737068302e-06, + "loss": 2.4329, + "step": 17220 + }, + { + "epoch": 0.78, + "learning_rate": 2.2973297090235946e-06, + "loss": 2.457, + "step": 17230 + }, + { + "epoch": 0.78, + "learning_rate": 2.2882164381613713e-06, + "loss": 2.462, + "step": 17240 + }, + { + "epoch": 0.78, + "learning_rate": 2.279118943124452e-06, + "loss": 2.4808, + "step": 17250 + }, + { + "epoch": 0.78, + "learning_rate": 2.2700372425233783e-06, + "loss": 2.4858, + "step": 17260 + }, + { + "epoch": 0.78, + "learning_rate": 2.260971354936383e-06, + "loss": 2.4725, + "step": 17270 + }, + { + "epoch": 0.78, + "learning_rate": 2.251921298909362e-06, + "loss": 2.4557, + "step": 17280 + }, + { + "epoch": 0.78, + "learning_rate": 2.2428870929558012e-06, + "loss": 2.4702, + "step": 17290 + }, + { + "epoch": 0.78, + "learning_rate": 2.2338687555567884e-06, + "loss": 2.4876, + "step": 17300 + }, + { + "epoch": 0.78, + "learning_rate": 2.2248663051609267e-06, + "loss": 2.4866, + "step": 17310 + }, + { + "epoch": 0.78, + "learning_rate": 2.2158797601843407e-06, + "loss": 2.4528, + "step": 17320 + }, + { + "epoch": 0.79, + "learning_rate": 2.2069091390105958e-06, + "loss": 2.4904, + "step": 17330 + }, + { + "epoch": 0.79, + "learning_rate": 2.197954459990704e-06, + "loss": 2.4492, + "step": 17340 + }, + { + "epoch": 0.79, + "learning_rate": 2.1890157414430448e-06, + "loss": 2.4789, + "step": 17350 + }, + { + "epoch": 0.79, + "learning_rate": 2.1800930016533673e-06, + "loss": 2.4603, + "step": 17360 + }, + { + "epoch": 0.79, + "learning_rate": 2.1711862588747157e-06, + "loss": 2.4672, + "step": 17370 + }, + { + "epoch": 0.79, + "learning_rate": 2.162295531327415e-06, + "loss": 2.4695, + "step": 17380 + }, + { + "epoch": 0.79, + "learning_rate": 2.153420837199042e-06, + "loss": 2.4806, + "step": 17390 + }, + { + "epoch": 0.79, + "learning_rate": 2.1445621946443486e-06, + "loss": 2.4707, + "step": 17400 + }, + { + "epoch": 0.79, + "learning_rate": 2.135719621785275e-06, + "loss": 2.455, + "step": 17410 + }, + { + "epoch": 0.79, + "learning_rate": 2.126893136710868e-06, + "loss": 2.4655, + "step": 17420 + }, + { + "epoch": 0.79, + "learning_rate": 2.1180827574772846e-06, + "loss": 2.5176, + "step": 17430 + }, + { + "epoch": 0.79, + "learning_rate": 2.109288502107709e-06, + "loss": 2.4658, + "step": 17440 + }, + { + "epoch": 0.79, + "learning_rate": 2.1005103885923683e-06, + "loss": 2.4609, + "step": 17450 + }, + { + "epoch": 0.79, + "learning_rate": 2.0917484348884443e-06, + "loss": 2.4808, + "step": 17460 + }, + { + "epoch": 0.79, + "learning_rate": 2.0830026589200835e-06, + "loss": 2.49, + "step": 17470 + }, + { + "epoch": 0.79, + "learning_rate": 2.074273078578315e-06, + "loss": 2.442, + "step": 17480 + }, + { + "epoch": 0.79, + "learning_rate": 2.0655597117210557e-06, + "loss": 2.4991, + "step": 17490 + }, + { + "epoch": 0.79, + "learning_rate": 2.0568625761730475e-06, + "loss": 2.4852, + "step": 17500 + }, + { + "epoch": 0.79, + "learning_rate": 2.0481816897258256e-06, + "loss": 2.4643, + "step": 17510 + }, + { + "epoch": 0.79, + "learning_rate": 2.039517070137691e-06, + "loss": 2.4727, + "step": 17520 + }, + { + "epoch": 0.79, + "learning_rate": 2.030868735133661e-06, + "loss": 2.4714, + "step": 17530 + }, + { + "epoch": 0.79, + "learning_rate": 2.022236702405447e-06, + "loss": 2.4597, + "step": 17540 + }, + { + "epoch": 0.8, + "learning_rate": 2.0136209896114044e-06, + "loss": 2.4604, + "step": 17550 + }, + { + "epoch": 0.8, + "learning_rate": 2.005021614376511e-06, + "loss": 2.4699, + "step": 17560 + }, + { + "epoch": 0.8, + "learning_rate": 1.9964385942923116e-06, + "loss": 2.4238, + "step": 17570 + }, + { + "epoch": 0.8, + "learning_rate": 1.9878719469169104e-06, + "loss": 2.4799, + "step": 17580 + }, + { + "epoch": 0.8, + "learning_rate": 1.9793216897748967e-06, + "loss": 2.4426, + "step": 17590 + }, + { + "epoch": 0.8, + "learning_rate": 1.9707878403573532e-06, + "loss": 2.4655, + "step": 17600 + }, + { + "epoch": 0.8, + "learning_rate": 1.9622704161217844e-06, + "loss": 2.476, + "step": 17610 + }, + { + "epoch": 0.8, + "learning_rate": 1.9537694344920945e-06, + "loss": 2.4877, + "step": 17620 + }, + { + "epoch": 0.8, + "learning_rate": 1.945284912858556e-06, + "loss": 2.441, + "step": 17630 + }, + { + "epoch": 0.8, + "learning_rate": 1.9368168685777667e-06, + "loss": 2.5043, + "step": 17640 + }, + { + "epoch": 0.8, + "learning_rate": 1.9283653189726172e-06, + "loss": 2.4792, + "step": 17650 + }, + { + "epoch": 0.8, + "learning_rate": 1.9199302813322564e-06, + "loss": 2.454, + "step": 17660 + }, + { + "epoch": 0.8, + "learning_rate": 1.9115117729120548e-06, + "loss": 2.4713, + "step": 17670 + }, + { + "epoch": 0.8, + "learning_rate": 1.90310981093357e-06, + "loss": 2.4868, + "step": 17680 + }, + { + "epoch": 0.8, + "learning_rate": 1.8947244125845077e-06, + "loss": 2.4803, + "step": 17690 + }, + { + "epoch": 0.8, + "learning_rate": 1.886355595018693e-06, + "loss": 2.4637, + "step": 17700 + }, + { + "epoch": 0.8, + "learning_rate": 1.8780033753560322e-06, + "loss": 2.4517, + "step": 17710 + }, + { + "epoch": 0.8, + "learning_rate": 1.869667770682475e-06, + "loss": 2.4766, + "step": 17720 + }, + { + "epoch": 0.8, + "learning_rate": 1.8613487980499856e-06, + "loss": 2.4674, + "step": 17730 + }, + { + "epoch": 0.8, + "learning_rate": 1.8530464744765008e-06, + "loss": 2.4586, + "step": 17740 + }, + { + "epoch": 0.8, + "learning_rate": 1.8447608169459019e-06, + "loss": 2.4749, + "step": 17750 + }, + { + "epoch": 0.8, + "learning_rate": 1.836491842407976e-06, + "loss": 2.4648, + "step": 17760 + }, + { + "epoch": 0.81, + "learning_rate": 1.8282395677783792e-06, + "loss": 2.4878, + "step": 17770 + }, + { + "epoch": 0.81, + "learning_rate": 1.8200040099386084e-06, + "loss": 2.4559, + "step": 17780 + }, + { + "epoch": 0.81, + "learning_rate": 1.8117851857359635e-06, + "loss": 2.4712, + "step": 17790 + }, + { + "epoch": 0.81, + "learning_rate": 1.8035831119835111e-06, + "loss": 2.4596, + "step": 17800 + }, + { + "epoch": 0.81, + "learning_rate": 1.795397805460053e-06, + "loss": 2.492, + "step": 17810 + }, + { + "epoch": 0.81, + "learning_rate": 1.787229282910088e-06, + "loss": 2.4697, + "step": 17820 + }, + { + "epoch": 0.81, + "learning_rate": 1.7790775610437838e-06, + "loss": 2.4374, + "step": 17830 + }, + { + "epoch": 0.81, + "learning_rate": 1.770942656536937e-06, + "loss": 2.4926, + "step": 17840 + }, + { + "epoch": 0.81, + "learning_rate": 1.7628245860309435e-06, + "loss": 2.489, + "step": 17850 + }, + { + "epoch": 0.81, + "learning_rate": 1.7547233661327567e-06, + "loss": 2.4658, + "step": 17860 + }, + { + "epoch": 0.81, + "learning_rate": 1.7466390134148713e-06, + "loss": 2.4838, + "step": 17870 + }, + { + "epoch": 0.81, + "learning_rate": 1.7385715444152595e-06, + "loss": 2.4489, + "step": 17880 + }, + { + "epoch": 0.81, + "learning_rate": 1.7305209756373732e-06, + "loss": 2.4781, + "step": 17890 + }, + { + "epoch": 0.81, + "learning_rate": 1.722487323550075e-06, + "loss": 2.4737, + "step": 17900 + }, + { + "epoch": 0.81, + "learning_rate": 1.714470604587638e-06, + "loss": 2.4854, + "step": 17910 + }, + { + "epoch": 0.81, + "learning_rate": 1.7064708351496774e-06, + "loss": 2.4807, + "step": 17920 + }, + { + "epoch": 0.81, + "learning_rate": 1.6984880316011554e-06, + "loss": 2.4651, + "step": 17930 + }, + { + "epoch": 0.81, + "learning_rate": 1.6905222102723074e-06, + "loss": 2.4797, + "step": 17940 + }, + { + "epoch": 0.81, + "learning_rate": 1.6825733874586458e-06, + "loss": 2.4639, + "step": 17950 + }, + { + "epoch": 0.81, + "learning_rate": 1.674641579420897e-06, + "loss": 2.5059, + "step": 17960 + }, + { + "epoch": 0.81, + "learning_rate": 1.6667268023849848e-06, + "loss": 2.4473, + "step": 17970 + }, + { + "epoch": 0.81, + "learning_rate": 1.6588290725419998e-06, + "loss": 2.4591, + "step": 17980 + }, + { + "epoch": 0.82, + "learning_rate": 1.6509484060481451e-06, + "loss": 2.4699, + "step": 17990 + }, + { + "epoch": 0.82, + "learning_rate": 1.6430848190247362e-06, + "loss": 2.4813, + "step": 18000 + }, + { + "epoch": 0.82, + "eval_accuracy": 0.5416867783481749, + "eval_loss": 2.233830690383911, + "eval_runtime": 9.9255, + "eval_samples_per_second": 137.726, + "eval_steps_per_second": 1.108, + "step": 18000 + }, + { + "epoch": 0.82, + "learning_rate": 1.6352383275581274e-06, + "loss": 2.4915, + "step": 18010 + }, + { + "epoch": 0.82, + "learning_rate": 1.6274089476997257e-06, + "loss": 2.4732, + "step": 18020 + }, + { + "epoch": 0.82, + "learning_rate": 1.6195966954659093e-06, + "loss": 2.467, + "step": 18030 + }, + { + "epoch": 0.82, + "learning_rate": 1.6118015868380387e-06, + "loss": 2.4746, + "step": 18040 + }, + { + "epoch": 0.82, + "learning_rate": 1.6040236377623874e-06, + "loss": 2.4808, + "step": 18050 + }, + { + "epoch": 0.82, + "learning_rate": 1.596262864150141e-06, + "loss": 2.4675, + "step": 18060 + }, + { + "epoch": 0.82, + "learning_rate": 1.5885192818773399e-06, + "loss": 2.4639, + "step": 18070 + }, + { + "epoch": 0.82, + "learning_rate": 1.5807929067848593e-06, + "loss": 2.4783, + "step": 18080 + }, + { + "epoch": 0.82, + "learning_rate": 1.573083754678374e-06, + "loss": 2.4318, + "step": 18090 + }, + { + "epoch": 0.82, + "learning_rate": 1.5653918413283276e-06, + "loss": 2.4574, + "step": 18100 + }, + { + "epoch": 0.82, + "learning_rate": 1.5577171824698945e-06, + "loss": 2.464, + "step": 18110 + }, + { + "epoch": 0.82, + "learning_rate": 1.550059793802957e-06, + "loss": 2.4461, + "step": 18120 + }, + { + "epoch": 0.82, + "learning_rate": 1.5424196909920663e-06, + "loss": 2.5064, + "step": 18130 + }, + { + "epoch": 0.82, + "learning_rate": 1.53479688966641e-06, + "loss": 2.5071, + "step": 18140 + }, + { + "epoch": 0.82, + "learning_rate": 1.527191405419789e-06, + "loss": 2.4901, + "step": 18150 + }, + { + "epoch": 0.82, + "learning_rate": 1.5196032538105653e-06, + "loss": 2.4794, + "step": 18160 + }, + { + "epoch": 0.82, + "learning_rate": 1.5120324503616613e-06, + "loss": 2.4578, + "step": 18170 + }, + { + "epoch": 0.82, + "learning_rate": 1.5044790105605e-06, + "loss": 2.4956, + "step": 18180 + }, + { + "epoch": 0.82, + "learning_rate": 1.4969429498589861e-06, + "loss": 2.4597, + "step": 18190 + }, + { + "epoch": 0.82, + "learning_rate": 1.489424283673473e-06, + "loss": 2.4543, + "step": 18200 + }, + { + "epoch": 0.83, + "learning_rate": 1.4819230273847295e-06, + "loss": 2.4628, + "step": 18210 + }, + { + "epoch": 0.83, + "learning_rate": 1.474439196337909e-06, + "loss": 2.4726, + "step": 18220 + }, + { + "epoch": 0.83, + "learning_rate": 1.4669728058425215e-06, + "loss": 2.4595, + "step": 18230 + }, + { + "epoch": 0.83, + "learning_rate": 1.4595238711723958e-06, + "loss": 2.4566, + "step": 18240 + }, + { + "epoch": 0.83, + "learning_rate": 1.452092407565654e-06, + "loss": 2.4618, + "step": 18250 + }, + { + "epoch": 0.83, + "learning_rate": 1.4446784302246753e-06, + "loss": 2.4595, + "step": 18260 + }, + { + "epoch": 0.83, + "learning_rate": 1.437281954316071e-06, + "loss": 2.4806, + "step": 18270 + }, + { + "epoch": 0.83, + "learning_rate": 1.4299029949706478e-06, + "loss": 2.4581, + "step": 18280 + }, + { + "epoch": 0.83, + "learning_rate": 1.4225415672833798e-06, + "loss": 2.4576, + "step": 18290 + }, + { + "epoch": 0.83, + "learning_rate": 1.4151976863133775e-06, + "loss": 2.4914, + "step": 18300 + }, + { + "epoch": 0.83, + "learning_rate": 1.407871367083855e-06, + "loss": 2.4491, + "step": 18310 + }, + { + "epoch": 0.83, + "learning_rate": 1.4005626245821036e-06, + "loss": 2.486, + "step": 18320 + }, + { + "epoch": 0.83, + "learning_rate": 1.3932714737594544e-06, + "loss": 2.4876, + "step": 18330 + }, + { + "epoch": 0.83, + "learning_rate": 1.3859979295312554e-06, + "loss": 2.4538, + "step": 18340 + }, + { + "epoch": 0.83, + "learning_rate": 1.3787420067768342e-06, + "loss": 2.4468, + "step": 18350 + }, + { + "epoch": 0.83, + "learning_rate": 1.371503720339471e-06, + "loss": 2.4683, + "step": 18360 + }, + { + "epoch": 0.83, + "learning_rate": 1.36428308502637e-06, + "loss": 2.4853, + "step": 18370 + }, + { + "epoch": 0.83, + "learning_rate": 1.3570801156086254e-06, + "loss": 2.481, + "step": 18380 + }, + { + "epoch": 0.83, + "learning_rate": 1.349894826821192e-06, + "loss": 2.4568, + "step": 18390 + }, + { + "epoch": 0.83, + "learning_rate": 1.342727233362856e-06, + "loss": 2.4875, + "step": 18400 + }, + { + "epoch": 0.83, + "learning_rate": 1.3355773498962054e-06, + "loss": 2.4554, + "step": 18410 + }, + { + "epoch": 0.83, + "learning_rate": 1.3284451910475992e-06, + "loss": 2.4949, + "step": 18420 + }, + { + "epoch": 0.84, + "learning_rate": 1.3213307714071343e-06, + "loss": 2.4547, + "step": 18430 + }, + { + "epoch": 0.84, + "learning_rate": 1.314234105528629e-06, + "loss": 2.4623, + "step": 18440 + }, + { + "epoch": 0.84, + "learning_rate": 1.307155207929568e-06, + "loss": 2.4404, + "step": 18450 + }, + { + "epoch": 0.84, + "learning_rate": 1.3000940930911032e-06, + "loss": 2.4754, + "step": 18460 + }, + { + "epoch": 0.84, + "learning_rate": 1.2930507754579924e-06, + "loss": 2.4613, + "step": 18470 + }, + { + "epoch": 0.84, + "learning_rate": 1.2860252694386044e-06, + "loss": 2.4751, + "step": 18480 + }, + { + "epoch": 0.84, + "learning_rate": 1.2790175894048529e-06, + "loss": 2.4724, + "step": 18490 + }, + { + "epoch": 0.84, + "learning_rate": 1.272027749692203e-06, + "loss": 2.4683, + "step": 18500 + }, + { + "epoch": 0.84, + "learning_rate": 1.2650557645996053e-06, + "loss": 2.4751, + "step": 18510 + }, + { + "epoch": 0.84, + "learning_rate": 1.258101648389507e-06, + "loss": 2.4795, + "step": 18520 + }, + { + "epoch": 0.84, + "learning_rate": 1.2511654152877805e-06, + "loss": 2.4547, + "step": 18530 + }, + { + "epoch": 0.84, + "learning_rate": 1.2442470794837281e-06, + "loss": 2.4755, + "step": 18540 + }, + { + "epoch": 0.84, + "learning_rate": 1.2373466551300394e-06, + "loss": 2.4778, + "step": 18550 + }, + { + "epoch": 0.84, + "learning_rate": 1.2304641563427543e-06, + "loss": 2.4878, + "step": 18560 + }, + { + "epoch": 0.84, + "learning_rate": 1.223599597201256e-06, + "loss": 2.4586, + "step": 18570 + }, + { + "epoch": 0.84, + "learning_rate": 1.2167529917482123e-06, + "loss": 2.471, + "step": 18580 + }, + { + "epoch": 0.84, + "learning_rate": 1.2099243539895822e-06, + "loss": 2.4661, + "step": 18590 + }, + { + "epoch": 0.84, + "learning_rate": 1.2031136978945513e-06, + "loss": 2.4942, + "step": 18600 + }, + { + "epoch": 0.84, + "learning_rate": 1.1963210373955348e-06, + "loss": 2.4489, + "step": 18610 + }, + { + "epoch": 0.84, + "learning_rate": 1.1895463863881219e-06, + "loss": 2.4902, + "step": 18620 + }, + { + "epoch": 0.84, + "learning_rate": 1.1827897587310744e-06, + "loss": 2.4806, + "step": 18630 + }, + { + "epoch": 0.84, + "learning_rate": 1.176051168246266e-06, + "loss": 2.4844, + "step": 18640 + }, + { + "epoch": 0.85, + "learning_rate": 1.1693306287186913e-06, + "loss": 2.464, + "step": 18650 + }, + { + "epoch": 0.85, + "learning_rate": 1.1626281538964057e-06, + "loss": 2.4944, + "step": 18660 + }, + { + "epoch": 0.85, + "learning_rate": 1.1559437574905153e-06, + "loss": 2.46, + "step": 18670 + }, + { + "epoch": 0.85, + "learning_rate": 1.1492774531751416e-06, + "loss": 2.4967, + "step": 18680 + }, + { + "epoch": 0.85, + "learning_rate": 1.1426292545873952e-06, + "loss": 2.479, + "step": 18690 + }, + { + "epoch": 0.85, + "learning_rate": 1.1359991753273504e-06, + "loss": 2.5162, + "step": 18700 + }, + { + "epoch": 0.85, + "learning_rate": 1.1293872289580133e-06, + "loss": 2.4849, + "step": 18710 + }, + { + "epoch": 0.85, + "learning_rate": 1.1227934290052989e-06, + "loss": 2.4682, + "step": 18720 + }, + { + "epoch": 0.85, + "learning_rate": 1.1162177889579906e-06, + "loss": 2.4756, + "step": 18730 + }, + { + "epoch": 0.85, + "learning_rate": 1.1096603222677406e-06, + "loss": 2.493, + "step": 18740 + }, + { + "epoch": 0.85, + "learning_rate": 1.1031210423490036e-06, + "loss": 2.4884, + "step": 18750 + }, + { + "epoch": 0.85, + "learning_rate": 1.096599962579048e-06, + "loss": 2.4543, + "step": 18760 + }, + { + "epoch": 0.85, + "learning_rate": 1.0900970962978985e-06, + "loss": 2.4616, + "step": 18770 + }, + { + "epoch": 0.85, + "learning_rate": 1.0836124568083263e-06, + "loss": 2.4939, + "step": 18780 + }, + { + "epoch": 0.85, + "learning_rate": 1.077146057375814e-06, + "loss": 2.4483, + "step": 18790 + }, + { + "epoch": 0.85, + "learning_rate": 1.0706979112285343e-06, + "loss": 2.4408, + "step": 18800 + }, + { + "epoch": 0.85, + "learning_rate": 1.0642680315573162e-06, + "loss": 2.4837, + "step": 18810 + }, + { + "epoch": 0.85, + "learning_rate": 1.0578564315156215e-06, + "loss": 2.4425, + "step": 18820 + }, + { + "epoch": 0.85, + "learning_rate": 1.0514631242195195e-06, + "loss": 2.4882, + "step": 18830 + }, + { + "epoch": 0.85, + "learning_rate": 1.0450881227476583e-06, + "loss": 2.5087, + "step": 18840 + }, + { + "epoch": 0.85, + "learning_rate": 1.0387314401412375e-06, + "loss": 2.4761, + "step": 18850 + }, + { + "epoch": 0.85, + "learning_rate": 1.0323930894039825e-06, + "loss": 2.4945, + "step": 18860 + }, + { + "epoch": 0.86, + "learning_rate": 1.026073083502116e-06, + "loss": 2.4795, + "step": 18870 + }, + { + "epoch": 0.86, + "learning_rate": 1.0197714353643351e-06, + "loss": 2.4768, + "step": 18880 + }, + { + "epoch": 0.86, + "learning_rate": 1.0134881578817834e-06, + "loss": 2.4765, + "step": 18890 + }, + { + "epoch": 0.86, + "learning_rate": 1.0072232639080215e-06, + "loss": 2.4482, + "step": 18900 + }, + { + "epoch": 0.86, + "learning_rate": 1.0009767662590053e-06, + "loss": 2.4471, + "step": 18910 + }, + { + "epoch": 0.86, + "learning_rate": 9.947486777130565e-07, + "loss": 2.4803, + "step": 18920 + }, + { + "epoch": 0.86, + "learning_rate": 9.885390110108396e-07, + "loss": 2.482, + "step": 18930 + }, + { + "epoch": 0.86, + "learning_rate": 9.823477788553305e-07, + "loss": 2.5003, + "step": 18940 + }, + { + "epoch": 0.86, + "learning_rate": 9.761749939117982e-07, + "loss": 2.4727, + "step": 18950 + }, + { + "epoch": 0.86, + "learning_rate": 9.700206688077707e-07, + "loss": 2.4685, + "step": 18960 + }, + { + "epoch": 0.86, + "learning_rate": 9.638848161330161e-07, + "loss": 2.4901, + "step": 18970 + }, + { + "epoch": 0.86, + "learning_rate": 9.577674484395127e-07, + "loss": 2.4798, + "step": 18980 + }, + { + "epoch": 0.86, + "learning_rate": 9.516685782414248e-07, + "loss": 2.4721, + "step": 18990 + }, + { + "epoch": 0.86, + "learning_rate": 9.455882180150744e-07, + "loss": 2.5014, + "step": 19000 + }, + { + "epoch": 0.86, + "learning_rate": 9.39526380198923e-07, + "loss": 2.471, + "step": 19010 + }, + { + "epoch": 0.86, + "learning_rate": 9.334830771935344e-07, + "loss": 2.4707, + "step": 19020 + }, + { + "epoch": 0.86, + "learning_rate": 9.274583213615662e-07, + "loss": 2.4536, + "step": 19030 + }, + { + "epoch": 0.86, + "learning_rate": 9.214521250277208e-07, + "loss": 2.4662, + "step": 19040 + }, + { + "epoch": 0.86, + "learning_rate": 9.154645004787488e-07, + "loss": 2.4724, + "step": 19050 + }, + { + "epoch": 0.86, + "learning_rate": 9.094954599633953e-07, + "loss": 2.4818, + "step": 19060 + }, + { + "epoch": 0.86, + "learning_rate": 9.035450156924009e-07, + "loss": 2.4598, + "step": 19070 + }, + { + "epoch": 0.86, + "learning_rate": 8.976131798384502e-07, + "loss": 2.474, + "step": 19080 + }, + { + "epoch": 0.87, + "learning_rate": 8.916999645361768e-07, + "loss": 2.4635, + "step": 19090 + }, + { + "epoch": 0.87, + "learning_rate": 8.858053818821089e-07, + "loss": 2.4736, + "step": 19100 + }, + { + "epoch": 0.87, + "learning_rate": 8.799294439346661e-07, + "loss": 2.4871, + "step": 19110 + }, + { + "epoch": 0.87, + "learning_rate": 8.740721627141246e-07, + "loss": 2.4839, + "step": 19120 + }, + { + "epoch": 0.87, + "learning_rate": 8.68233550202594e-07, + "loss": 2.4924, + "step": 19130 + }, + { + "epoch": 0.87, + "learning_rate": 8.624136183440001e-07, + "loss": 2.4486, + "step": 19140 + }, + { + "epoch": 0.87, + "learning_rate": 8.566123790440406e-07, + "loss": 2.4702, + "step": 19150 + }, + { + "epoch": 0.87, + "learning_rate": 8.508298441701923e-07, + "loss": 2.4545, + "step": 19160 + }, + { + "epoch": 0.87, + "learning_rate": 8.450660255516497e-07, + "loss": 2.4544, + "step": 19170 + }, + { + "epoch": 0.87, + "learning_rate": 8.393209349793363e-07, + "loss": 2.4588, + "step": 19180 + }, + { + "epoch": 0.87, + "learning_rate": 8.335945842058524e-07, + "loss": 2.5121, + "step": 19190 + }, + { + "epoch": 0.87, + "learning_rate": 8.278869849454718e-07, + "loss": 2.4971, + "step": 19200 + }, + { + "epoch": 0.87, + "learning_rate": 8.221981488740971e-07, + "loss": 2.4697, + "step": 19210 + }, + { + "epoch": 0.87, + "learning_rate": 8.165280876292625e-07, + "loss": 2.4947, + "step": 19220 + }, + { + "epoch": 0.87, + "learning_rate": 8.10876812810083e-07, + "loss": 2.4556, + "step": 19230 + }, + { + "epoch": 0.87, + "learning_rate": 8.052443359772466e-07, + "loss": 2.4741, + "step": 19240 + }, + { + "epoch": 0.87, + "learning_rate": 7.996306686529886e-07, + "loss": 2.4592, + "step": 19250 + }, + { + "epoch": 0.87, + "learning_rate": 7.940358223210631e-07, + "loss": 2.4832, + "step": 19260 + }, + { + "epoch": 0.87, + "learning_rate": 7.884598084267225e-07, + "loss": 2.4762, + "step": 19270 + }, + { + "epoch": 0.87, + "learning_rate": 7.82902638376698e-07, + "loss": 2.4659, + "step": 19280 + }, + { + "epoch": 0.87, + "learning_rate": 7.773643235391682e-07, + "loss": 2.4634, + "step": 19290 + }, + { + "epoch": 0.87, + "learning_rate": 7.71844875243739e-07, + "loss": 2.4579, + "step": 19300 + }, + { + "epoch": 0.88, + "learning_rate": 7.663443047814289e-07, + "loss": 2.4547, + "step": 19310 + }, + { + "epoch": 0.88, + "learning_rate": 7.608626234046279e-07, + "loss": 2.4457, + "step": 19320 + }, + { + "epoch": 0.88, + "learning_rate": 7.553998423270948e-07, + "loss": 2.4728, + "step": 19330 + }, + { + "epoch": 0.88, + "learning_rate": 7.499559727239192e-07, + "loss": 2.4711, + "step": 19340 + }, + { + "epoch": 0.88, + "learning_rate": 7.445310257315041e-07, + "loss": 2.461, + "step": 19350 + }, + { + "epoch": 0.88, + "learning_rate": 7.391250124475436e-07, + "loss": 2.4891, + "step": 19360 + }, + { + "epoch": 0.88, + "learning_rate": 7.337379439310011e-07, + "loss": 2.4915, + "step": 19370 + }, + { + "epoch": 0.88, + "learning_rate": 7.283698312020814e-07, + "loss": 2.4784, + "step": 19380 + }, + { + "epoch": 0.88, + "learning_rate": 7.230206852422161e-07, + "loss": 2.4649, + "step": 19390 + }, + { + "epoch": 0.88, + "learning_rate": 7.176905169940351e-07, + "loss": 2.4806, + "step": 19400 + }, + { + "epoch": 0.88, + "learning_rate": 7.123793373613441e-07, + "loss": 2.4849, + "step": 19410 + }, + { + "epoch": 0.88, + "learning_rate": 7.070871572091076e-07, + "loss": 2.4658, + "step": 19420 + }, + { + "epoch": 0.88, + "learning_rate": 7.0181398736342e-07, + "loss": 2.4855, + "step": 19430 + }, + { + "epoch": 0.88, + "learning_rate": 6.965598386114903e-07, + "loss": 2.5001, + "step": 19440 + }, + { + "epoch": 0.88, + "learning_rate": 6.913247217016128e-07, + "loss": 2.4582, + "step": 19450 + }, + { + "epoch": 0.88, + "learning_rate": 6.861086473431522e-07, + "loss": 2.4426, + "step": 19460 + }, + { + "epoch": 0.88, + "learning_rate": 6.809116262065152e-07, + "loss": 2.4672, + "step": 19470 + }, + { + "epoch": 0.88, + "learning_rate": 6.757336689231342e-07, + "loss": 2.4626, + "step": 19480 + }, + { + "epoch": 0.88, + "learning_rate": 6.705747860854405e-07, + "loss": 2.4726, + "step": 19490 + }, + { + "epoch": 0.88, + "learning_rate": 6.654349882468491e-07, + "loss": 2.4695, + "step": 19500 + }, + { + "epoch": 0.88, + "learning_rate": 6.603142859217293e-07, + "loss": 2.4723, + "step": 19510 + }, + { + "epoch": 0.88, + "learning_rate": 6.552126895853883e-07, + "loss": 2.4674, + "step": 19520 + }, + { + "epoch": 0.89, + "learning_rate": 6.501302096740503e-07, + "loss": 2.4626, + "step": 19530 + }, + { + "epoch": 0.89, + "learning_rate": 6.450668565848317e-07, + "loss": 2.4773, + "step": 19540 + }, + { + "epoch": 0.89, + "learning_rate": 6.400226406757226e-07, + "loss": 2.4693, + "step": 19550 + }, + { + "epoch": 0.89, + "learning_rate": 6.349975722655633e-07, + "loss": 2.4922, + "step": 19560 + }, + { + "epoch": 0.89, + "learning_rate": 6.299916616340262e-07, + "loss": 2.4772, + "step": 19570 + }, + { + "epoch": 0.89, + "learning_rate": 6.250049190215901e-07, + "loss": 2.4792, + "step": 19580 + }, + { + "epoch": 0.89, + "learning_rate": 6.200373546295246e-07, + "loss": 2.4621, + "step": 19590 + }, + { + "epoch": 0.89, + "learning_rate": 6.150889786198711e-07, + "loss": 2.46, + "step": 19600 + }, + { + "epoch": 0.89, + "learning_rate": 6.101598011154064e-07, + "loss": 2.4741, + "step": 19610 + }, + { + "epoch": 0.89, + "learning_rate": 6.052498321996458e-07, + "loss": 2.459, + "step": 19620 + }, + { + "epoch": 0.89, + "learning_rate": 6.003590819167982e-07, + "loss": 2.4543, + "step": 19630 + }, + { + "epoch": 0.89, + "learning_rate": 5.954875602717702e-07, + "loss": 2.4536, + "step": 19640 + }, + { + "epoch": 0.89, + "learning_rate": 5.906352772301193e-07, + "loss": 2.4733, + "step": 19650 + }, + { + "epoch": 0.89, + "learning_rate": 5.858022427180598e-07, + "loss": 2.5068, + "step": 19660 + }, + { + "epoch": 0.89, + "learning_rate": 5.809884666224208e-07, + "loss": 2.4655, + "step": 19670 + }, + { + "epoch": 0.89, + "learning_rate": 5.761939587906362e-07, + "loss": 2.4941, + "step": 19680 + }, + { + "epoch": 0.89, + "learning_rate": 5.714187290307272e-07, + "loss": 2.4348, + "step": 19690 + }, + { + "epoch": 0.89, + "learning_rate": 5.66662787111274e-07, + "loss": 2.472, + "step": 19700 + }, + { + "epoch": 0.89, + "learning_rate": 5.619261427614054e-07, + "loss": 2.4812, + "step": 19710 + }, + { + "epoch": 0.89, + "learning_rate": 5.572088056707648e-07, + "loss": 2.4567, + "step": 19720 + }, + { + "epoch": 0.89, + "learning_rate": 5.525107854895107e-07, + "loss": 2.4716, + "step": 19730 + }, + { + "epoch": 0.89, + "learning_rate": 5.478320918282731e-07, + "loss": 2.484, + "step": 19740 + }, + { + "epoch": 0.9, + "learning_rate": 5.431727342581583e-07, + "loss": 2.4682, + "step": 19750 + }, + { + "epoch": 0.9, + "learning_rate": 5.38532722310705e-07, + "loss": 2.4756, + "step": 19760 + }, + { + "epoch": 0.9, + "learning_rate": 5.339120654778884e-07, + "loss": 2.473, + "step": 19770 + }, + { + "epoch": 0.9, + "learning_rate": 5.293107732120794e-07, + "loss": 2.4958, + "step": 19780 + }, + { + "epoch": 0.9, + "learning_rate": 5.247288549260454e-07, + "loss": 2.4707, + "step": 19790 + }, + { + "epoch": 0.9, + "learning_rate": 5.201663199929097e-07, + "loss": 2.4914, + "step": 19800 + }, + { + "epoch": 0.9, + "learning_rate": 5.15623177746154e-07, + "loss": 2.4894, + "step": 19810 + }, + { + "epoch": 0.9, + "learning_rate": 5.110994374795819e-07, + "loss": 2.4628, + "step": 19820 + }, + { + "epoch": 0.9, + "learning_rate": 5.065951084473087e-07, + "loss": 2.4489, + "step": 19830 + }, + { + "epoch": 0.9, + "learning_rate": 5.021101998637412e-07, + "loss": 2.4862, + "step": 19840 + }, + { + "epoch": 0.9, + "learning_rate": 4.976447209035584e-07, + "loss": 2.4711, + "step": 19850 + }, + { + "epoch": 0.9, + "learning_rate": 4.93198680701692e-07, + "loss": 2.4756, + "step": 19860 + }, + { + "epoch": 0.9, + "learning_rate": 4.887720883533053e-07, + "loss": 2.4947, + "step": 19870 + }, + { + "epoch": 0.9, + "learning_rate": 4.843649529137861e-07, + "loss": 2.4581, + "step": 19880 + }, + { + "epoch": 0.9, + "learning_rate": 4.799772833987082e-07, + "loss": 2.5007, + "step": 19890 + }, + { + "epoch": 0.9, + "learning_rate": 4.7560908878383495e-07, + "loss": 2.5006, + "step": 19900 + }, + { + "epoch": 0.9, + "learning_rate": 4.712603780050806e-07, + "loss": 2.4506, + "step": 19910 + }, + { + "epoch": 0.9, + "learning_rate": 4.6693115995851136e-07, + "loss": 2.4519, + "step": 19920 + }, + { + "epoch": 0.9, + "learning_rate": 4.626214435003118e-07, + "loss": 2.4831, + "step": 19930 + }, + { + "epoch": 0.9, + "learning_rate": 4.5833123744677297e-07, + "loss": 2.4764, + "step": 19940 + }, + { + "epoch": 0.9, + "learning_rate": 4.5406055057427453e-07, + "loss": 2.4708, + "step": 19950 + }, + { + "epoch": 0.9, + "learning_rate": 4.4980939161926583e-07, + "loss": 2.4668, + "step": 19960 + }, + { + "epoch": 0.91, + "learning_rate": 4.455777692782504e-07, + "loss": 2.4599, + "step": 19970 + }, + { + "epoch": 0.91, + "learning_rate": 4.413656922077636e-07, + "loss": 2.4717, + "step": 19980 + }, + { + "epoch": 0.91, + "learning_rate": 4.371731690243586e-07, + "loss": 2.4609, + "step": 19990 + }, + { + "epoch": 0.91, + "learning_rate": 4.330002083045881e-07, + "loss": 2.4797, + "step": 20000 + }, + { + "epoch": 0.91, + "eval_accuracy": 0.5417811691733867, + "eval_loss": 2.2338173389434814, + "eval_runtime": 9.8192, + "eval_samples_per_second": 139.217, + "eval_steps_per_second": 1.12, + "step": 20000 + }, + { + "epoch": 0.91, + "learning_rate": 4.288468185849848e-07, + "loss": 2.4755, + "step": 20010 + }, + { + "epoch": 0.91, + "learning_rate": 4.2471300836204655e-07, + "loss": 2.4592, + "step": 20020 + }, + { + "epoch": 0.91, + "learning_rate": 4.205987860922167e-07, + "loss": 2.4843, + "step": 20030 + }, + { + "epoch": 0.91, + "learning_rate": 4.1650416019187065e-07, + "loss": 2.4376, + "step": 20040 + }, + { + "epoch": 0.91, + "learning_rate": 4.1242913903729364e-07, + "loss": 2.4909, + "step": 20050 + }, + { + "epoch": 0.91, + "learning_rate": 4.0837373096466626e-07, + "loss": 2.4521, + "step": 20060 + }, + { + "epoch": 0.91, + "learning_rate": 4.043379442700468e-07, + "loss": 2.489, + "step": 20070 + }, + { + "epoch": 0.91, + "learning_rate": 4.003217872093557e-07, + "loss": 2.4717, + "step": 20080 + }, + { + "epoch": 0.91, + "learning_rate": 3.9632526799835537e-07, + "loss": 2.4628, + "step": 20090 + }, + { + "epoch": 0.91, + "learning_rate": 3.923483948126383e-07, + "loss": 2.4842, + "step": 20100 + }, + { + "epoch": 0.91, + "learning_rate": 3.883911757876058e-07, + "loss": 2.5103, + "step": 20110 + }, + { + "epoch": 0.91, + "learning_rate": 3.8445361901845333e-07, + "loss": 2.4585, + "step": 20120 + }, + { + "epoch": 0.91, + "learning_rate": 3.805357325601544e-07, + "loss": 2.4485, + "step": 20130 + }, + { + "epoch": 0.91, + "learning_rate": 3.766375244274412e-07, + "loss": 2.4609, + "step": 20140 + }, + { + "epoch": 0.91, + "learning_rate": 3.7275900259479357e-07, + "loss": 2.4653, + "step": 20150 + }, + { + "epoch": 0.91, + "learning_rate": 3.689001749964183e-07, + "loss": 2.4603, + "step": 20160 + }, + { + "epoch": 0.91, + "learning_rate": 3.650610495262319e-07, + "loss": 2.4683, + "step": 20170 + }, + { + "epoch": 0.91, + "learning_rate": 3.6124163403784773e-07, + "loss": 2.4605, + "step": 20180 + }, + { + "epoch": 0.92, + "learning_rate": 3.574419363445647e-07, + "loss": 2.4574, + "step": 20190 + }, + { + "epoch": 0.92, + "learning_rate": 3.536619642193351e-07, + "loss": 2.4544, + "step": 20200 + }, + { + "epoch": 0.92, + "learning_rate": 3.4990172539476784e-07, + "loss": 2.472, + "step": 20210 + }, + { + "epoch": 0.92, + "learning_rate": 3.461612275630977e-07, + "loss": 2.4651, + "step": 20220 + }, + { + "epoch": 0.92, + "learning_rate": 3.4244047837618255e-07, + "loss": 2.4505, + "step": 20230 + }, + { + "epoch": 0.92, + "learning_rate": 3.3873948544547174e-07, + "loss": 2.5009, + "step": 20240 + }, + { + "epoch": 0.92, + "learning_rate": 3.3505825634200904e-07, + "loss": 2.4679, + "step": 20250 + }, + { + "epoch": 0.92, + "learning_rate": 3.313967985964006e-07, + "loss": 2.4656, + "step": 20260 + }, + { + "epoch": 0.92, + "learning_rate": 3.277551196988105e-07, + "loss": 2.468, + "step": 20270 + }, + { + "epoch": 0.92, + "learning_rate": 3.241332270989417e-07, + "loss": 2.4618, + "step": 20280 + }, + { + "epoch": 0.92, + "learning_rate": 3.205311282060186e-07, + "loss": 2.4926, + "step": 20290 + }, + { + "epoch": 0.92, + "learning_rate": 3.169488303887769e-07, + "loss": 2.4725, + "step": 20300 + }, + { + "epoch": 0.92, + "learning_rate": 3.133863409754423e-07, + "loss": 2.4697, + "step": 20310 + }, + { + "epoch": 0.92, + "learning_rate": 3.0984366725372304e-07, + "loss": 2.4938, + "step": 20320 + }, + { + "epoch": 0.92, + "learning_rate": 3.0632081647078536e-07, + "loss": 2.4824, + "step": 20330 + }, + { + "epoch": 0.92, + "learning_rate": 3.028177958332512e-07, + "loss": 2.4705, + "step": 20340 + }, + { + "epoch": 0.92, + "learning_rate": 2.9933461250716836e-07, + "loss": 2.4558, + "step": 20350 + }, + { + "epoch": 0.92, + "learning_rate": 2.9587127361801247e-07, + "loss": 2.4638, + "step": 20360 + }, + { + "epoch": 0.92, + "learning_rate": 2.9242778625065414e-07, + "loss": 2.4622, + "step": 20370 + }, + { + "epoch": 0.92, + "learning_rate": 2.8900415744936405e-07, + "loss": 2.4284, + "step": 20380 + }, + { + "epoch": 0.92, + "learning_rate": 2.856003942177821e-07, + "loss": 2.4643, + "step": 20390 + }, + { + "epoch": 0.92, + "learning_rate": 2.822165035189117e-07, + "loss": 2.4735, + "step": 20400 + }, + { + "epoch": 0.92, + "learning_rate": 2.7885249227510235e-07, + "loss": 2.4592, + "step": 20410 + }, + { + "epoch": 0.93, + "learning_rate": 2.755083673680392e-07, + "loss": 2.4702, + "step": 20420 + }, + { + "epoch": 0.93, + "learning_rate": 2.721841356387245e-07, + "loss": 2.4666, + "step": 20430 + }, + { + "epoch": 0.93, + "learning_rate": 2.6887980388746515e-07, + "loss": 2.467, + "step": 20440 + }, + { + "epoch": 0.93, + "learning_rate": 2.6559537887385966e-07, + "loss": 2.4946, + "step": 20450 + }, + { + "epoch": 0.93, + "learning_rate": 2.6233086731678234e-07, + "loss": 2.4656, + "step": 20460 + }, + { + "epoch": 0.93, + "learning_rate": 2.5908627589437575e-07, + "loss": 2.4694, + "step": 20470 + }, + { + "epoch": 0.93, + "learning_rate": 2.55861611244026e-07, + "loss": 2.4681, + "step": 20480 + }, + { + "epoch": 0.93, + "learning_rate": 2.5265687996235854e-07, + "loss": 2.459, + "step": 20490 + }, + { + "epoch": 0.93, + "learning_rate": 2.4947208860522376e-07, + "loss": 2.4609, + "step": 20500 + }, + { + "epoch": 0.93, + "learning_rate": 2.4630724368767565e-07, + "loss": 2.4642, + "step": 20510 + }, + { + "epoch": 0.93, + "learning_rate": 2.4316235168397097e-07, + "loss": 2.4708, + "step": 20520 + }, + { + "epoch": 0.93, + "learning_rate": 2.400374190275423e-07, + "loss": 2.487, + "step": 20530 + }, + { + "epoch": 0.93, + "learning_rate": 2.3693245211099837e-07, + "loss": 2.4803, + "step": 20540 + }, + { + "epoch": 0.93, + "learning_rate": 2.3384745728610047e-07, + "loss": 2.4987, + "step": 20550 + }, + { + "epoch": 0.93, + "learning_rate": 2.307824408637538e-07, + "loss": 2.4644, + "step": 20560 + }, + { + "epoch": 0.93, + "learning_rate": 2.27737409113995e-07, + "loss": 2.4638, + "step": 20570 + }, + { + "epoch": 0.93, + "learning_rate": 2.2471236826597797e-07, + "loss": 2.4529, + "step": 20580 + }, + { + "epoch": 0.93, + "learning_rate": 2.217073245079626e-07, + "loss": 2.4804, + "step": 20590 + }, + { + "epoch": 0.93, + "learning_rate": 2.1872228398730045e-07, + "loss": 2.4638, + "step": 20600 + }, + { + "epoch": 0.93, + "learning_rate": 2.1575725281042236e-07, + "loss": 2.4938, + "step": 20610 + }, + { + "epoch": 0.93, + "learning_rate": 2.128122370428287e-07, + "loss": 2.4722, + "step": 20620 + }, + { + "epoch": 0.93, + "learning_rate": 2.0988724270907146e-07, + "loss": 2.4603, + "step": 20630 + }, + { + "epoch": 0.94, + "learning_rate": 2.0698227579274643e-07, + "loss": 2.4643, + "step": 20640 + }, + { + "epoch": 0.94, + "learning_rate": 2.0409734223648337e-07, + "loss": 2.4598, + "step": 20650 + }, + { + "epoch": 0.94, + "learning_rate": 2.0123244794192366e-07, + "loss": 2.4557, + "step": 20660 + }, + { + "epoch": 0.94, + "learning_rate": 1.9838759876972035e-07, + "loss": 2.4597, + "step": 20670 + }, + { + "epoch": 0.94, + "learning_rate": 1.9556280053951714e-07, + "loss": 2.4743, + "step": 20680 + }, + { + "epoch": 0.94, + "learning_rate": 1.927580590299427e-07, + "loss": 2.4815, + "step": 20690 + }, + { + "epoch": 0.94, + "learning_rate": 1.8997337997859522e-07, + "loss": 2.4572, + "step": 20700 + }, + { + "epoch": 0.94, + "learning_rate": 1.87208769082029e-07, + "loss": 2.4441, + "step": 20710 + }, + { + "epoch": 0.94, + "learning_rate": 1.8446423199574903e-07, + "loss": 2.4685, + "step": 20720 + }, + { + "epoch": 0.94, + "learning_rate": 1.8173977433419421e-07, + "loss": 2.4815, + "step": 20730 + }, + { + "epoch": 0.94, + "learning_rate": 1.7903540167072742e-07, + "loss": 2.4675, + "step": 20740 + }, + { + "epoch": 0.94, + "learning_rate": 1.7635111953762218e-07, + "loss": 2.4717, + "step": 20750 + }, + { + "epoch": 0.94, + "learning_rate": 1.7368693342605824e-07, + "loss": 2.469, + "step": 20760 + }, + { + "epoch": 0.94, + "learning_rate": 1.7104284878609934e-07, + "loss": 2.4535, + "step": 20770 + }, + { + "epoch": 0.94, + "learning_rate": 1.684188710266943e-07, + "loss": 2.5172, + "step": 20780 + }, + { + "epoch": 0.94, + "learning_rate": 1.6581500551565267e-07, + "loss": 2.4841, + "step": 20790 + }, + { + "epoch": 0.94, + "learning_rate": 1.6323125757964799e-07, + "loss": 2.451, + "step": 20800 + }, + { + "epoch": 0.94, + "learning_rate": 1.6066763250419338e-07, + "loss": 2.449, + "step": 20810 + }, + { + "epoch": 0.94, + "learning_rate": 1.5812413553364381e-07, + "loss": 2.4326, + "step": 20820 + }, + { + "epoch": 0.94, + "learning_rate": 1.5560077187117162e-07, + "loss": 2.4364, + "step": 20830 + }, + { + "epoch": 0.94, + "learning_rate": 1.5309754667876652e-07, + "loss": 2.4445, + "step": 20840 + }, + { + "epoch": 0.94, + "learning_rate": 1.5061446507722232e-07, + "loss": 2.4838, + "step": 20850 + }, + { + "epoch": 0.95, + "learning_rate": 1.4815153214612243e-07, + "loss": 2.4709, + "step": 20860 + }, + { + "epoch": 0.95, + "learning_rate": 1.4570875292383657e-07, + "loss": 2.4599, + "step": 20870 + }, + { + "epoch": 0.95, + "learning_rate": 1.432861324075019e-07, + "loss": 2.4633, + "step": 20880 + }, + { + "epoch": 0.95, + "learning_rate": 1.4088367555302185e-07, + "loss": 2.4856, + "step": 20890 + }, + { + "epoch": 0.95, + "learning_rate": 1.3850138727504735e-07, + "loss": 2.4685, + "step": 20900 + }, + { + "epoch": 0.95, + "learning_rate": 1.3613927244697567e-07, + "loss": 2.4809, + "step": 20910 + }, + { + "epoch": 0.95, + "learning_rate": 1.3379733590092924e-07, + "loss": 2.4867, + "step": 20920 + }, + { + "epoch": 0.95, + "learning_rate": 1.3147558242776027e-07, + "loss": 2.4943, + "step": 20930 + }, + { + "epoch": 0.95, + "learning_rate": 1.291740167770239e-07, + "loss": 2.4762, + "step": 20940 + }, + { + "epoch": 0.95, + "learning_rate": 1.2689264365698506e-07, + "loss": 2.4526, + "step": 20950 + }, + { + "epoch": 0.95, + "learning_rate": 1.246314677345972e-07, + "loss": 2.4894, + "step": 20960 + }, + { + "epoch": 0.95, + "learning_rate": 1.2239049363549916e-07, + "loss": 2.4844, + "step": 20970 + }, + { + "epoch": 0.95, + "learning_rate": 1.2016972594400155e-07, + "loss": 2.4698, + "step": 20980 + }, + { + "epoch": 0.95, + "learning_rate": 1.1796916920308043e-07, + "loss": 2.4719, + "step": 20990 + }, + { + "epoch": 0.95, + "learning_rate": 1.1578882791436374e-07, + "loss": 2.5049, + "step": 21000 + }, + { + "epoch": 0.95, + "learning_rate": 1.136287065381303e-07, + "loss": 2.4826, + "step": 21010 + }, + { + "epoch": 0.95, + "learning_rate": 1.11488809493292e-07, + "loss": 2.4676, + "step": 21020 + }, + { + "epoch": 0.95, + "learning_rate": 1.0936914115738717e-07, + "loss": 2.4727, + "step": 21030 + }, + { + "epoch": 0.95, + "learning_rate": 1.0726970586657726e-07, + "loss": 2.4444, + "step": 21040 + }, + { + "epoch": 0.95, + "learning_rate": 1.051905079156279e-07, + "loss": 2.4453, + "step": 21050 + }, + { + "epoch": 0.95, + "learning_rate": 1.0313155155791122e-07, + "loss": 2.4894, + "step": 21060 + }, + { + "epoch": 0.95, + "learning_rate": 1.0109284100538575e-07, + "loss": 2.4744, + "step": 21070 + }, + { + "epoch": 0.96, + "learning_rate": 9.907438042859874e-08, + "loss": 2.4806, + "step": 21080 + }, + { + "epoch": 0.96, + "learning_rate": 9.707617395666946e-08, + "loss": 2.469, + "step": 21090 + }, + { + "epoch": 0.96, + "learning_rate": 9.509822567728588e-08, + "loss": 2.4879, + "step": 21100 + }, + { + "epoch": 0.96, + "learning_rate": 9.314053963669245e-08, + "loss": 2.461, + "step": 21110 + }, + { + "epoch": 0.96, + "learning_rate": 9.120311983968455e-08, + "loss": 2.4678, + "step": 21120 + }, + { + "epoch": 0.96, + "learning_rate": 8.92859702495974e-08, + "loss": 2.4626, + "step": 21130 + }, + { + "epoch": 0.96, + "learning_rate": 8.738909478830382e-08, + "loss": 2.4806, + "step": 21140 + }, + { + "epoch": 0.96, + "learning_rate": 8.551249733619981e-08, + "loss": 2.4655, + "step": 21150 + }, + { + "epoch": 0.96, + "learning_rate": 8.365618173219791e-08, + "loss": 2.4862, + "step": 21160 + }, + { + "epoch": 0.96, + "learning_rate": 8.182015177372271e-08, + "loss": 2.4743, + "step": 21170 + }, + { + "epoch": 0.96, + "learning_rate": 8.000441121669978e-08, + "loss": 2.486, + "step": 21180 + }, + { + "epoch": 0.96, + "learning_rate": 7.82089637755501e-08, + "loss": 2.4695, + "step": 21190 + }, + { + "epoch": 0.96, + "learning_rate": 7.643381312318121e-08, + "loss": 2.4692, + "step": 21200 + }, + { + "epoch": 0.96, + "learning_rate": 7.467896289097831e-08, + "loss": 2.4777, + "step": 21210 + }, + { + "epoch": 0.96, + "learning_rate": 7.294441666880092e-08, + "loss": 2.4675, + "step": 21220 + }, + { + "epoch": 0.96, + "learning_rate": 7.123017800497067e-08, + "loss": 2.4658, + "step": 21230 + }, + { + "epoch": 0.96, + "learning_rate": 6.95362504062691e-08, + "loss": 2.4707, + "step": 21240 + }, + { + "epoch": 0.96, + "learning_rate": 6.786263733792542e-08, + "loss": 2.4809, + "step": 21250 + }, + { + "epoch": 0.96, + "learning_rate": 6.62093422236132e-08, + "loss": 2.4608, + "step": 21260 + }, + { + "epoch": 0.96, + "learning_rate": 6.457636844544258e-08, + "loss": 2.453, + "step": 21270 + }, + { + "epoch": 0.96, + "learning_rate": 6.29637193439503e-08, + "loss": 2.4788, + "step": 21280 + }, + { + "epoch": 0.96, + "learning_rate": 6.137139821809857e-08, + "loss": 2.4687, + "step": 21290 + }, + { + "epoch": 0.97, + "learning_rate": 5.979940832526399e-08, + "loss": 2.4851, + "step": 21300 + }, + { + "epoch": 0.97, + "learning_rate": 5.8247752881228634e-08, + "loss": 2.4515, + "step": 21310 + }, + { + "epoch": 0.97, + "learning_rate": 5.671643506018343e-08, + "loss": 2.4553, + "step": 21320 + }, + { + "epoch": 0.97, + "learning_rate": 5.520545799470811e-08, + "loss": 2.4838, + "step": 21330 + }, + { + "epoch": 0.97, + "learning_rate": 5.371482477577683e-08, + "loss": 2.4465, + "step": 21340 + }, + { + "epoch": 0.97, + "learning_rate": 5.224453845274591e-08, + "loss": 2.4926, + "step": 21350 + }, + { + "epoch": 0.97, + "learning_rate": 5.079460203334608e-08, + "loss": 2.4768, + "step": 21360 + }, + { + "epoch": 0.97, + "learning_rate": 4.936501848368025e-08, + "loss": 2.5071, + "step": 21370 + }, + { + "epoch": 0.97, + "learning_rate": 4.795579072821688e-08, + "loss": 2.454, + "step": 21380 + }, + { + "epoch": 0.97, + "learning_rate": 4.656692164978216e-08, + "loss": 2.4656, + "step": 21390 + }, + { + "epoch": 0.97, + "learning_rate": 4.519841408955339e-08, + "loss": 2.467, + "step": 21400 + }, + { + "epoch": 0.97, + "learning_rate": 4.385027084705673e-08, + "loss": 2.454, + "step": 21410 + }, + { + "epoch": 0.97, + "learning_rate": 4.252249468016056e-08, + "loss": 2.4797, + "step": 21420 + }, + { + "epoch": 0.97, + "learning_rate": 4.1215088305065484e-08, + "loss": 2.4861, + "step": 21430 + }, + { + "epoch": 0.97, + "learning_rate": 3.992805439630432e-08, + "loss": 2.4652, + "step": 21440 + }, + { + "epoch": 0.97, + "learning_rate": 3.866139558673432e-08, + "loss": 2.4647, + "step": 21450 + }, + { + "epoch": 0.97, + "learning_rate": 3.741511446753165e-08, + "loss": 2.4553, + "step": 21460 + }, + { + "epoch": 0.97, + "learning_rate": 3.618921358818473e-08, + "loss": 2.4962, + "step": 21470 + }, + { + "epoch": 0.97, + "learning_rate": 3.498369545649416e-08, + "loss": 2.4711, + "step": 21480 + }, + { + "epoch": 0.97, + "learning_rate": 3.379856253855951e-08, + "loss": 2.4661, + "step": 21490 + }, + { + "epoch": 0.97, + "learning_rate": 3.2633817258782565e-08, + "loss": 2.4791, + "step": 21500 + }, + { + "epoch": 0.97, + "learning_rate": 3.1489461999855144e-08, + "loss": 2.4574, + "step": 21510 + }, + { + "epoch": 0.98, + "learning_rate": 3.036549910276243e-08, + "loss": 2.4967, + "step": 21520 + }, + { + "epoch": 0.98, + "learning_rate": 2.926193086676743e-08, + "loss": 2.4959, + "step": 21530 + }, + { + "epoch": 0.98, + "learning_rate": 2.817875954941762e-08, + "loss": 2.4495, + "step": 21540 + }, + { + "epoch": 0.98, + "learning_rate": 2.7115987366530537e-08, + "loss": 2.4738, + "step": 21550 + }, + { + "epoch": 0.98, + "learning_rate": 2.6073616492198196e-08, + "loss": 2.4714, + "step": 21560 + }, + { + "epoch": 0.98, + "learning_rate": 2.5051649058773775e-08, + "loss": 2.472, + "step": 21570 + }, + { + "epoch": 0.98, + "learning_rate": 2.4050087156874957e-08, + "loss": 2.4784, + "step": 21580 + }, + { + "epoch": 0.98, + "learning_rate": 2.3068932835373924e-08, + "loss": 2.4815, + "step": 21590 + }, + { + "epoch": 0.98, + "learning_rate": 2.2108188101395147e-08, + "loss": 2.4427, + "step": 21600 + }, + { + "epoch": 0.98, + "learning_rate": 2.1167854920315367e-08, + "loss": 2.4588, + "step": 21610 + }, + { + "epoch": 0.98, + "learning_rate": 2.0247935215751414e-08, + "loss": 2.4685, + "step": 21620 + }, + { + "epoch": 0.98, + "learning_rate": 1.9348430869564616e-08, + "loss": 2.4702, + "step": 21630 + }, + { + "epoch": 0.98, + "learning_rate": 1.846934372184861e-08, + "loss": 2.4726, + "step": 21640 + }, + { + "epoch": 0.98, + "learning_rate": 1.7610675570934876e-08, + "loss": 2.4615, + "step": 21650 + }, + { + "epoch": 0.98, + "learning_rate": 1.677242817338165e-08, + "loss": 2.4679, + "step": 21660 + }, + { + "epoch": 0.98, + "learning_rate": 1.595460324397169e-08, + "loss": 2.4779, + "step": 21670 + }, + { + "epoch": 0.98, + "learning_rate": 1.5157202455712285e-08, + "loss": 2.4525, + "step": 21680 + }, + { + "epoch": 0.98, + "learning_rate": 1.4380227439828586e-08, + "loss": 2.4903, + "step": 21690 + }, + { + "epoch": 0.98, + "learning_rate": 1.3623679785761402e-08, + "loss": 2.4855, + "step": 21700 + }, + { + "epoch": 0.98, + "learning_rate": 1.2887561041162732e-08, + "loss": 2.4625, + "step": 21710 + }, + { + "epoch": 0.98, + "learning_rate": 1.2171872711895794e-08, + "loss": 2.4875, + "step": 21720 + }, + { + "epoch": 0.98, + "learning_rate": 1.147661626202723e-08, + "loss": 2.4627, + "step": 21730 + }, + { + "epoch": 0.99, + "learning_rate": 1.080179311382823e-08, + "loss": 2.4736, + "step": 21740 + }, + { + "epoch": 0.99, + "learning_rate": 1.0147404647770087e-08, + "loss": 2.4471, + "step": 21750 + }, + { + "epoch": 0.99, + "learning_rate": 9.513452202519757e-09, + "loss": 2.4759, + "step": 21760 + }, + { + "epoch": 0.99, + "learning_rate": 8.899937074940967e-09, + "loss": 2.4866, + "step": 21770 + }, + { + "epoch": 0.99, + "learning_rate": 8.306860520086446e-09, + "loss": 2.4661, + "step": 21780 + }, + { + "epoch": 0.99, + "learning_rate": 7.734223751201253e-09, + "loss": 2.4702, + "step": 21790 + }, + { + "epoch": 0.99, + "learning_rate": 7.182027939715008e-09, + "loss": 2.4996, + "step": 21800 + }, + { + "epoch": 0.99, + "learning_rate": 6.650274215243002e-09, + "loss": 2.4813, + "step": 21810 + }, + { + "epoch": 0.99, + "learning_rate": 6.138963665581754e-09, + "loss": 2.4799, + "step": 21820 + }, + { + "epoch": 0.99, + "learning_rate": 5.648097336709013e-09, + "loss": 2.4832, + "step": 21830 + }, + { + "epoch": 0.99, + "learning_rate": 5.177676232777096e-09, + "loss": 2.4554, + "step": 21840 + }, + { + "epoch": 0.99, + "learning_rate": 4.727701316117328e-09, + "loss": 2.4958, + "step": 21850 + }, + { + "epoch": 0.99, + "learning_rate": 4.298173507233383e-09, + "loss": 2.4828, + "step": 21860 + }, + { + "epoch": 0.99, + "learning_rate": 3.889093684801282e-09, + "loss": 2.4568, + "step": 21870 + }, + { + "epoch": 0.99, + "learning_rate": 3.5004626856660615e-09, + "loss": 2.4764, + "step": 21880 + }, + { + "epoch": 0.99, + "learning_rate": 3.1322813048406674e-09, + "loss": 2.4882, + "step": 21890 + }, + { + "epoch": 0.99, + "learning_rate": 2.78455029550706e-09, + "loss": 2.4632, + "step": 21900 + }, + { + "epoch": 0.99, + "learning_rate": 2.457270369010667e-09, + "loss": 2.4827, + "step": 21910 + }, + { + "epoch": 0.99, + "learning_rate": 2.1504421948603804e-09, + "loss": 2.4838, + "step": 21920 + }, + { + "epoch": 0.99, + "learning_rate": 1.864066400727449e-09, + "loss": 2.4774, + "step": 21930 + }, + { + "epoch": 0.99, + "learning_rate": 1.5981435724454764e-09, + "loss": 2.4562, + "step": 21940 + }, + { + "epoch": 0.99, + "learning_rate": 1.3526742540070913e-09, + "loss": 2.4619, + "step": 21950 + }, + { + "epoch": 1.0, + "learning_rate": 1.1276589475617272e-09, + "loss": 2.4786, + "step": 21960 + }, + { + "epoch": 1.0, + "learning_rate": 9.230981134200623e-10, + "loss": 2.4812, + "step": 21970 + }, + { + "epoch": 1.0, + "learning_rate": 7.389921700462488e-10, + "loss": 2.4755, + "step": 21980 + }, + { + "epoch": 1.0, + "learning_rate": 5.753414940623536e-10, + "loss": 2.4642, + "step": 21990 + }, + { + "epoch": 1.0, + "learning_rate": 4.321464202450276e-10, + "loss": 2.4525, + "step": 22000 + }, + { + "epoch": 1.0, + "eval_accuracy": 0.5417711580252581, + "eval_loss": 2.2337894439697266, + "eval_runtime": 9.8291, + "eval_samples_per_second": 139.076, + "eval_steps_per_second": 1.119, + "step": 22000 + }, + { + "epoch": 1.0, + "learning_rate": 3.094072415255056e-10, + "loss": 2.4573, + "step": 22010 + }, + { + "epoch": 1.0, + "learning_rate": 2.0712420898849616e-10, + "loss": 2.4752, + "step": 22020 + }, + { + "epoch": 1.0, + "learning_rate": 1.2529753187218164e-10, + "loss": 2.4564, + "step": 22030 + }, + { + "epoch": 1.0, + "learning_rate": 6.392737756710788e-11, + "loss": 2.4718, + "step": 22040 + }, + { + "epoch": 1.0, + "learning_rate": 2.3013871617294513e-11, + "loss": 2.4656, + "step": 22050 + }, + { + "epoch": 1.0, + "learning_rate": 2.5570977180144896e-12, + "loss": 2.4693, + "step": 22060 + }, + { + "epoch": 1.0, + "step": 22065, + "total_flos": 1.2504673732201021e+20, + "train_loss": 2.52519507538886, + "train_runtime": 21683.5632, + "train_samples_per_second": 130.248, + "train_steps_per_second": 1.018 + } + ], + "logging_steps": 10, + "max_steps": 22065, + "num_input_tokens_seen": 0, + "num_train_epochs": 1, + "save_steps": 10000, + "total_flos": 1.2504673732201021e+20, + "train_batch_size": 4, + "trial_name": null, + "trial_params": null +} diff --git a/training_args.bin b/training_args.bin new file mode 100644 index 0000000000000000000000000000000000000000..4793ec6dee2eae23d1f3821508b7907ed56716bb --- /dev/null +++ b/training_args.bin @@ -0,0 +1,3 @@ +version https://git-lfs.github.com/spec/v1 +oid sha256:96b8baeb7fe2c3b0d6996a0ed15501705ce8aa377ed7c36383783f4e6a77263b +size 4856